(57)【要約】【課題】外部装置における操作により端末装置の動作を制御する際のユーザの利便性を向上させることが可能な端末装置を提供する。【解決手段】端末装置は、予め定められた機能が割り当てられた第１のオブジェクトを表示可能であり、第１のオブジェクトに対する操作を受け付けるタッチパネルと、第１のオブジェクトに割り当てられた機能とは異なる機能が割り当てられた操作キーと、プロセッサとを含む。プロセッサは、操作キーに割り当てられた機能に関連付けられた第２のオブジェクトと、タッチパネルの表示画像とを合成した合成画像を生成する合成手段と、合成画像を外部装置に出力する出力手段と、外部装置のディスプレイに表示される第２のオブジェクトに対する操作情報を取得する取得手段と、操作情報に基づいて、第２のオブジェクトに関連付けられた機能を実行する実行手段とを含む。【選択図】図１
2015049718.tif 000002
【特許請求の範囲】
【請求項１】
外部装置と通信可能に構成された端末装置であって、
予め定められた機能が割り当てられた第１のオブジェクトを表示可能であり、前記第１のオブジェクトに対する操作を受け付けるタッチパネルと、
前記第１のオブジェクトに割り当てられた機能とは異なる機能が割り当てられた操作キーと、
前記タッチパネルおよび前記操作キーに対する操作に応答して前記端末装置の動作を制御するプロセッサとを備え、
前記プロセッサは、
前記操作キーに割り当てられた機能に関連付けられ、前記外部装置において操作対象となる第２のオブジェクトと、前記タッチパネルに表示されている画像とを合成した合成画像を生成する合成手段と、
前記合成手段により生成された前記合成画像を前記外部装置に出力する出力手段と、
前記外部装置のディスプレイに表示される前記第２のオブジェクトに対する操作情報を前記外部装置から取得する取得手段と、
前記取得手段により取得された前記操作情報に基づいて、前記第２のオブジェクトに関連付けられた機能を実行する実行手段とを備える、端末装置。
【請求項２】
前記プロセッサは、
前記外部装置から前記合成画像を生成するための生成指示を受け付ける指示受付手段をさらに備え、
前記合成手段は、前記指示受付手段により前記生成指示が受け付けられた場合に、前記合成画像を生成する、請求項１に記載の端末装置。
【請求項３】
前記指示受付手段は、前記合成画像の生成を中止するための中止指示をさらに受け付け可能に構成されており、
前記合成手段は、前記出力手段により前記合成画像が前記外部装置に出力されているときに前記指示受付手段により前記中止指示が受け付けられた場合には、前記合成画像の生成を中止する、請求項２に記載の端末装置。
【請求項４】
前記操作キーには、前記操作キーに対する複数の操作態様のそれぞれに対応する複数の機能が割り当てられており、
前記合成手段は、前記操作キーに割り当てられた前記複数の機能のそれぞれに関連付けられた複数の前記第２のオブジェクトと、前記タッチパネルに表示されている画像とを合成した合成画像を生成する、請求項１〜３のいずれか１項に記載の端末装置。
【請求項５】
前記操作キーには、前記操作キーに対する複数の操作態様のそれぞれに対応する複数の機能が割り当てられており、
前記端末装置は、
前記複数の機能の各々について、前記第２のオブジェクトに対する操作態様を示すオブジェクト操作態様情報を対応付けて格納するためのメモリをさらに備え、
前記合成手段は、前記操作キーに割り当てられた前記複数の機能に関連付けられた前記第２のオブジェクトと、前記タッチパネルに表示されている画像とを合成した合成画像を生成し、
前記取得手段は、前記外部装置から前記第２のオブジェクトに対する前記オブジェクト操作態様情報を取得し、
前記実行手段は、前記メモリを参照して、前記第２のオブジェクトに関連付けられた前記複数の機能のうち、前記取得手段により取得された前記オブジェクト操作態様情報に対応する機能を実行する、請求項１〜３のいずれか１項に記載の端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置に関し、特に、外部装置と通信可能に構成された端末装置に関する。
【背景技術】
【０００２】
従来、画像データなどを内部のディスプレイに出力（表示）するとともに、通信インターフェイスを介して当該画像データを外部出力して外部の表示装置に表示させることが可能な端末装置が存在する。外部出力方式としては、端末装置と外部装置とをＭＨＬ（Mobile  High-definition  Link）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）ケーブルなどにより有線接続して外部出力させる方式がある。また、ＷｉＦｉ（wireless  fidelity）（登録商標）等を利用することにより、無線で端末装置からデータを外部装置に出力する方式もある。
【０００３】
たとえば、特開２０１３−７５６１０号公報（特許文献１）に開示された技術では、外部機器から車載機に送信された画像情報に基づいてソフトキーが表示された状態のタッチパネルが押下されたときに、当該タッチパネルの押下が、１つのハードキーに割り当てられた複数の機能の１つを指定するためのソフトキーの操作か否かを判定する。当該ソフトキーの操作に該当すると判定された場合に、１つのハードキーの機能受付状態を遷移させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−７５６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、端末装置の外部出力先である外部装置側では、端末装置に搭載されたハードキーに割り当てられた機能を端末装置に実行させることはできず、当該機能を端末装置に実行させるためには、当該ハードキーを直接操作する必要があるという問題がある。
【０００６】
本発明は、上記のような問題点を解決するためになされたものであって、外部装置における操作により端末装置の動作を制御する際のユーザの利便性を向上させることが可能な端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
ある実施の形態に従うと、外部装置と通信可能に構成された端末装置が提供される。端末装置は、予め定められた機能が割り当てられた第１のオブジェクトを表示可能であり、第１のオブジェクトに対する操作を受け付けるタッチパネルと、第１のオブジェクトに割り当てられた機能とは異なる機能が割り当てられた操作キーと、タッチパネルおよび操作キーに対する操作に応答して端末装置の動作を制御するプロセッサとを含む。プロセッサは、操作キーに割り当てられた機能に関連付けられ、外部装置において操作対象となる第２のオブジェクトと、タッチパネルに表示されている画像とを合成した合成画像を生成する合成手段と、合成手段により生成された合成画像を外部装置に出力する出力手段と、外部装置のディスプレイに表示される第２のオブジェクトに対する操作情報を外部装置から取得する取得手段と、取得手段により取得された操作情報に基づいて、第２のオブジェクトに関連付けられた機能を実行する実行手段とを含む。
【発明の効果】
【０００８】
ある局面によると、外部装置における操作により端末装置の動作を制御する際のユーザの利便性を向上させることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態に従う情報処理システムの全体構成を示す概略図である。
【図２】本実施の形態に従う操作キーに割り当てられた機能を示す情報テーブルを示す図である。
【図３】本実施の形態に従う端末装置の外部出力方式の変形例を説明するための図である。
【図４】本実施の形態に従う電源キーに割り当てられた複数の機能と、オブジェクトに対する操作態様とを対応付けた情報テーブルを示す図である。
【図５】本実施の形態に従う端末装置のハードウェア構成を示すブロック図である。
【図６】本実施の形態に従う外部装置のハードウェア構成を示すブロック図である。
【図７】本実施の形態に従う端末装置および外部装置の機能ブロック図である。
【図８】本実施の形態に従う端末装置が実行する外部出力処理手順を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
【００１１】
＜システム概要＞
【００１２】
図１は、本実施の形態に従う情報処理システム１０００の全体構成を示す概略図である。
【００１３】
図１を参照して、本実施の形態に従う情報処理システム１０００は、端末装置１０と、外部装置２０とを含む。以下の説明では、端末装置１０がスマートフォンである場合について説明する。ただし、本実施の形態に従う端末装置１０は、種類を問わず任意の装置として実現できる。例えば、端末装置１０は、タブレット端末装置、ＰＤＡ（Personal  Digital  Assistance）などとして実装することもできる。
【００１４】
端末装置１０は、表示装置としてのディスプレイ１１０と、当該ディスプレイ１１０に対してタッチ入力された位置（タッチ位置）を検出可能な位置入力装置とが一体化されたタッチパネル１０６を含む。端末装置１０は、各種の操作を行なうためのディスプレイ１１０に表示されないキーとしてのホームキー１５０Ａ、バックキー１５０Ｂ、メニューキー１５０Ｃ、ボリュームキー１５０Ｄ、および電源キー１５０Ｅ（以下「操作キー１５０」とも総称する。）をさらに含む。端末装置１０は、タッチパネル１０６および操作キー１５０を介して、ユーザからの各種の指示を受け付けることが可能である。
【００１５】
端末装置１０は、タッチパネル１０６（ディスプレイ１１０）に、ユーザによる直感的な操作が可能となるように１つまたは複数のオブジェクト４００Ａ，４００Ｂ，４００Ｃ（以下「オブジェクト４００」とも総称する。）を表示可能に構成されている。オブジェクト４００は、ユーザの操作を受け付けるためにタッチパネル１０６に表示される各種の画像である。オブジェクト４００の一例としては、アプリケーションに関連して設けられるアイコンやウィジェットなどが挙げられる。オブジェクト４００には予め定められた機能が割り当てられており、端末装置１０は、オブジェクト４００に対する操作入力を受け付けると、当該割り当てられた機能を実行する。
【００１６】
端末装置１０と外部装置２０とは、それぞれ通信インターフェイスを介して互いに通信可能に構成される。たとえば、端末装置１０と外部装置２０とは、無線ＬＡＮ（Local Area Network）を利用した通信が行なわれる。
【００１７】
外部装置２０は、表示装置としてのディスプレイ２１０と位置入力装置とが一体化されたタッチパネル２０６を含む。タッチパネル２０６（ディスプレイ２１０）には、端末装置１０から外部装置２０に外部出力された画像情報が表示される。具体的には、タッチパネル２０６には、端末装置１０に表示されている画像（画像３００およびオブジェクト４００）に複数のオブジェクト５００Ａ，５００Ｂ，５００Ｃ，５００Ｄ，５００Ｅ，５００Ｆ（以下「オブジェクト５００」とも総称する。）を合成した合成画像が表示される。なお、オブジェクト５００は、たとえば、アイコンやウィジェットなどの画像である。
【００１８】
次に、本実施の形態に従う端末装置１０の外部出力方式について説明する。
【００１９】
端末装置１０は、ユーザから外部出力処理の開始指示を受け付けると、タッチパネル１０６に表示されている画像に、操作キー１５０に割り当てられた機能に関連付けられたオブジェクト５００を合成した合成画像を外部装置２０に出力する。
【００２０】
図２は、本実施の形態に従う操作キー１５０に割り当てられた機能を示す情報テーブル７００を示す図である。端末装置１０のメモリは、図２に示すような情報テーブル７００を予め格納している。ここで、本実施の形態においては、操作キー１５０に割り当てられた機能は、タッチパネル１０６に表示されるオブジェクト４００に予め割り当てられた機能とは異なる。
【００２１】
図２を参照して、情報テーブル７００は、操作キー１５０と、当該操作キー１５０に予め定められた機能との関係を示している。具体的には、ホームキー１５０Ａには「ホーム画面の表示」機能が割り当てられ、バックキー１５０Ｂには「１つ前の画面の表示」機能が割り当てられ、メニューキー１５０Ｃには「メニュー画面の表示」機能が割り当てられ、ボリュームキー１５０Ｄには「ボリュームの調整」機能が割り当てられ、電源キー１５０Ｅには機能Ａとして「電源ＯＦＦ」機能が割り当てられ、機能Ｂとして「バックライトＯＦＦ」機能が割り当てられている。端末装置１０は、操作キー１５０に対するユーザ操作に応答して、当該操作キー１５０に割り当てられた機能を実行する。
【００２２】
なお、電源キー１５０Ｅには、複数の機能が割り当てられているが、これは端末装置１０が電源キー１５０Ｅに対する操作態様に応じて異なる機能を実行することを示している。具体的には、電源キー１５０Ｅには、２つの操作態様のそれぞれに対応する２つの機能が割り当てられている。たとえば、電源キー１５０Ｅを押下した時間が所定時間（たとえば、２秒）以上である場合には（第１のキー操作態様）、機能Ａである「電源ＯＦＦ」機能が端末装置１０によって実行される。一方、電源キー１５０Ｅを押下した時間が所定時間未満である場合には（第２のキー操作態様）、機能Ｂである「バックライトＯＦＦ」機能が端末装置１０によって実行される。
【００２３】
再び、図１を参照して、端末装置１０が外部装置２０に合成画像を出力すると、外部装置２０は、当該合成画像をタッチパネル２０６（ディスプレイ２１０）に表示する。
【００２４】
ここで、タッチパネル２０６に表示されているオブジェクト５００Ａは、ホームキー１５０Ａに割り当てられた「ホーム画面の表示」機能に関連付けられている。オブジェクト５００Ｂは、バックキー１５０Ｂに割り当てられた「１つ前の画面の表示」機能に関連付けられている。オブジェクト５００Ｃは、メニューキー１５０Ｃに割り当てられた「メニュー画面の表示」機能に関連付けられている。オブジェクト５００Ｄは、ボリュームキー１５０Ｄに割り当てられた「ボリュームの調整」機能に関連付けられている。オブジェクト５００Ｅは、電源キー１５０Ｅに割り当てられた機能Ａである「電源ＯＦＦ」機能に関連付けられている。オブジェクト５００Ｆは、電源キー１５０Ｅに割り当てられた機能Ｂである「バックライトＯＦＦ」機能に関連付けられている。
【００２５】
ユーザによりタッチパネル２０６に表示されているオブジェクト５００に対して操作が行なわれると、外部装置２０は、当該操作に関する操作情報を端末装置１０に送信する。端末装置１０は、外部装置２０から受信した当該操作情報に基づいて、オブジェクト５００に関連付けられた機能を実行する。たとえば、端末装置１０は、オブジェクト５００Ａが選択されたことを示す操作情報を外部装置２０から受信した場合には、当該オブジェクト５００Ａに関連付けられた「ホーム画面の表示」機能を実行する。
【００２６】
上記では、１つの操作キー１５０（本実施の形態では電源キー１５０Ｅ）に複数の機能が割り当てられている場合には、端末装置１０が、タッチパネル１０６に表示されている画像に、当該複数の機能のそれぞれに関連付けられた複数のオブジェクト５００（オブジェクト５００Ｅ、５００Ｆ）を合成した合成画像を外部装置２０に出力する実施形態について説明した。
【００２７】
しかし、以下に説明するように、端末装置１０は、１つの操作キー１５０に複数の機能が割り当てられている場合であっても、タッチパネル１０６に表示されている画像に、１つの操作キー１５０の複数の機能に関連付けられた１つのオブジェクト５００を合成した合成画像を外部装置２０に出力してもよい。
【００２８】
図３は、本実施の形態に従う端末装置１０の外部出力方式の変形例を説明するための図である。なお、画像３００と、オブジェクト４００と、１つの機能が割り当てられている操作キー１５０Ａ〜１５０Ｄにそれぞれ対応するオブジェクト５００Ａ〜５００Ｄとは、図１と同じように表示される。
【００２９】
図３を参照して、端末装置１０は、タッチパネル１０６に表示されている画像に、電源キー１５０Ｅに割り当てられた２つの機能に関連付けられたオブジェクト５００Ｅを合成した合成画像を外部装置２０に出力する。外部装置２０は、当該合成画像をタッチパネル２０６（ディスプレイ２１０）に表示する。このとき、図１とは異なり、電源キー１５０Ｅには２つの機能が割り当てられているが、電源キー１５０Ｅの当該２つの機能に対応するオブジェクトはオブジェクト５００Ｅの１つであることがわかる。すなわち、操作キー１５０に割り当てられている機能の数に関わらず、操作キー１５０の数とオブジェクト５００の数とは一致する。
【００３０】
ここで、端末装置１０が、電源キー１５０Ｅに割り当てられた２つの機能を実行する方式について説明する。概略として、端末装置１０は、外部装置２０からオブジェクト５００Ｅに対するジェスチャ操作を示す情報を取得する。そして、端末装置１０は、以下に示す情報テーブル８００を参照して、電源キー１５０Ｅに割り当てられた２つの機能のうち当該ジェスチャ操作に応じた機能を実行する。
【００３１】
図４は、本実施の形態に従う電源キー１５０Ｅに割り当てられた複数の機能と、オブジェクト５００Ｅに対する操作態様とを対応付けた情報テーブル８００を示す図である。端末装置１０のメモリは、図３に示すような情報テーブル８００を予め格納している。
【００３２】
図４を参照して、電源キー１５０Ｅに割り当てられた機能Ａには、オブジェクト５００Ｅに対する操作態様Ａが対応付けられており、電源キー１５０Ｅに割り当てられた機能Ｂには、オブジェクト５００Ｅに対する操作態様Ｂが対応付けられている。
【００３３】
再び、図３を参照して、端末装置１０は、外部装置２０から、オブジェクト５００Ｅに対してどのようなジェスチャ操作がなされたのかを示すオブジェクト操作態様情報を取得する。そして、端末装置１０は、情報テーブル８００を参照して、オブジェクト５００Ｅに関連付けられた２つの機能のうち、取得されたオブジェクト操作態様情報に対応する機能を実行する。たとえば、端末装置１０は、取得されたオブジェクト操作態様情報が操作態様Ａを示している場合には機能Ａである「電源ＯＦＦ」機能を実行し、取得されたオブジェクト操作態様情報が操作態様Ｂを示している場合には機能Ｂである「バックライトＯＦＦ機能」を実行する。図３の例では、操作態様Ａは、オブジェクト５００Ｅをタッチした後に、左上にスライドするジェスチャ操作であり、操作態様Ｂは、オブジェクト５００Ｅをタッチした後、左にスライドするジェスチャ操作である。
【００３４】
＜ハードウェア構成＞
【００３５】
（端末装置１０）
【００３６】
図５は、本実施の形態に従う端末装置１０のハードウェア構成を示すブロック図である。
【００３７】
図５を参照して、端末装置１０は、主たる構成要素として、ＣＰＵ（Central  Processing  Unit）１０２と、メモリ１０４と、タッチパネル１０６と、操作キー１５０と、無線通信部１１２と、通信アンテナ１１３と、メモリインターフェイス（Ｉ／Ｆ）１１４と、スピーカ１１６と、通信インターフェイス（Ｉ／Ｆ）１１８とを含む。
【００３８】
ＣＰＵ１０２は、メモリ１０４に記憶されたプログラムを読み出して実行することで、端末装置１０の各部の動作を制御する。より詳細にはＣＰＵ１０２は、当該プログラムを実行することによって、後述する端末装置１０の処理（ステップ）の各々を実現する。ＣＰＵ１０２は、例えば、マイクロプロセッサ（Microprocessor）である。なお、当該ハードウェアは、ＣＰＵ以外のＦＰＧＡ（Field  Programmable  Gate Array）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）およびその他の演算機能を有する回路などであってもよい。たとえば、ＣＰＵ１０２は、タッチパネル１０６および操作キー１５０に対する操作に応答して端末装置１０の動作を制御する。
【００３９】
メモリ１０４は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read-Only  Memory）、ハードディスクなどによって実現される。メモリ１０４は、ＣＰＵ１０２によって実行されるプログラム、データなどを記憶する。
【００４０】
タッチパネル１０６は、ディスプレイ１１０と位置入力装置とから構成されている。タッチパネル１０６は、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などのいずれのタイプであってもよい。タッチパネル１０６は、所定時間毎に外部の物体によるタッチパネル１０６へのタッチ操作を検知して、タッチ座標（タッチ位置）をＣＰＵ１０２に入力する。たとえば、タッチパネル１０６は、オブジェクト４００に対する操作を受け付ける。
【００４１】
操作キー１５０は、端末装置１０の筐体に配置された物理キーなどのボタン、当該筐体内に埋め込まれた板状の静電パッドなどのディスプレイ１１０に表示されないキーである。操作キー１５０は、ユーザからの指示を受け付けてＣＰＵ１０２に当該指示を入力する。
【００４２】
無線通信部１１２は、通信アンテナ１１３を介して移動体通信網に接続し無線通信のための信号を送受信する。これにより、端末装置１０は、例えば、第３世代移動通信システム（３Ｇ）、ＬＴＥ（Long  Term  Evolution）などの移動体通信網を介して所定の通信装置との通信が可能となる。
【００４３】
メモリインターフェイス（Ｉ／Ｆ）１１４は、外部の記憶媒体１１５からデータを読み出す。ＣＰＵ１０２は、メモリ１０４からデータを読み出して、メモリインターフェイス１１４を介して当該データを外部の記憶媒体１１５に格納する。なお、記憶媒体１１５としては、ＣＤ（Compact  Disc）、ＤＶＤ（Digital  Versatile  Disk）、ＢＤ（Blu-ray（登録商標）  Disc）、ＵＳＢ（Universal  Serial  Bus）メモリなどの不揮発的にプログラムを格納する媒体が挙げられる。
【００４４】
スピーカ１１６は、ＣＰＵ１０２からの指示に基づいて、音声を出力する。
【００４５】
通信インターフェイス（Ｉ／Ｆ）１１８は、端末装置１０と外部装置２０との間で各種データをやり取りするための通信インターフェイスであり、アダプタやコネクタなどによって実現される。なお、通信方式としては、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどによる無線通信であってもよいし、ＵＳＢ（Universal  Serial  Bus）などを利用した有線通信であってもよい。
【００４６】
（外部装置２０）
【００４７】
図６は、本実施の形態に従う外部装置２０のハードウェア構成を示すブロック図である。
【００４８】
図６を参照して、外部装置２０は、主たる構成要素として、ＣＰＵ２０２と、メモリ２０４と、タッチパネル２０６と、スピーカ２１６と、通信インターフェイス（Ｉ／Ｆ）２１８とを含む。ＣＰＵ２０２、メモリ２０４、タッチパネル２０６、スピーカ２１６、および通信インターフェイス２１８は、それぞれ、端末装置１０におけるＣＰＵ１０２、メモリ１０４、タッチパネル１０６、スピーカ１１６、通信インターフェイス１１８と同様の機能を有するハードウェアである。したがって、外部装置２０のハードウェア構成については、その詳細な説明は繰り返さない。
【００４９】
＜機能構成＞
【００５０】
図７は、本実施の形態に従う端末装置１０および外部装置２０の機能ブロック図である。図７を参照して、端末装置１０は、その主たる機能構成として、表示制御部１７２と、合成部１７４と、外部出力部１７６と、指示受付部１７８と、取得部１８０と、実行部１８２とを含む。これらの機能は、主に、端末装置１０のＣＰＵ１０２がメモリ１０４に格納されたプログラムを実行し、端末装置１０の構成要素へ指令を与えることなどによって実現される。ＣＰＵ１０２は、端末装置１０の動作全体を制御する制御部としての機能を有する。なお、これらの機能構成の一部または全部はハードウェアで実現されていてもよい。
【００５１】
表示制御部１７２は、アプリケーションなどで生成された画像データをタッチパネル１０６に表示させる。たとえば、表示制御部１７２は、画像３００、オブジェクト４００などをタッチパネル１０６に表示させる。
【００５２】
合成部１７４は、操作キー１５０に割り当てられた機能に関連付けられ、外部装置２０において操作対象となるオブジェクト５００と、タッチパネル１０６に表示されている画像とを合成した合成画像を生成する。具体的には、合成部１７４は、メモリ１０４を参照して、操作キー１５０に割り当てられた機能を関連付けたオブジェクト５００を生成する。合成部１７４は、表示制御部１７２からタッチパネル１０６に現在表示されている画像データを取得する。そして、合成部１７４は、当該画像データに当該オブジェクト５００を合成した合成画像データを生成する。
【００５３】
操作キー１５０に、当該操作キー１５０に対する複数の操作態様のそれぞれに対応する複数の機能が割り当てられている場合には、合成部１７４は、ある局面では、当該操作キー１５０に割り当てられた複数の機能のそれぞれに関連付けられた複数のオブジェクト５００と、タッチパネル１０６に表示されている画像とを合成した合成画像を生成する。合成部１７４は、別の局面では、操作キー１５０に割り当てられた複数の機能に関連付けられたオブジェクト５００と、タッチパネル１０６に表示されている画像とを合成した合成画像を生成する。
【００５４】
外部出力部１７６は、通信インターフェイス１１８を介して、合成部１７４により生成された合成画像を外部装置２０に外部出力する。
【００５５】
指示受付部１７８は、通信インターフェイス１１８を介して、外部装置２０から合成画像を生成するための生成指示を受け付ける。指示受付部１７８は、当該生成指示を合成部１７４に出力する。合成部１７４は、当該生成指示に従って合成画像を生成する。つまり、合成部１７４は、指示受付部１７８により合成画像を生成するための生成指示が受け付けられた場合に、当該合成画像を生成する。
【００５６】
また、指示受付部１７８は、通信インターフェイス１１８を介して、外部装置２０から合成画像の生成を中止するための中止指示を受け付ける。指示受付部１７８は、当該中止指示を合成部１７４に出力する。合成部１７４は、当該中止指示に従って合成画像の生成を中止する。つまり、合成部１７４は、外部出力部１７６により合成画像が外部装置２０に出力されているときに指示受付部１７８により中止指示が受け付けられた場合に、当該合成画像の生成を中止する。
【００５７】
取得部１８０は、外部装置２０のタッチパネル２０６（ディスプレイ２１０）に表示されるオブジェクト５００に対する操作情報を外部装置２０から取得する。具体的には、取得部１８０は、操作情報として、外部装置２０からオブジェクト５００が選択されたことを示す情報を取得する。たとえば、端末装置１０が、合成画像におけるオブジェクト５００の表示位置を把握している場合には、操作情報は、外部装置２０のタッチパネル２０６におけるタッチされた位置を示す情報である。
【００５８】
また、取得部１８０は、通信インターフェイス１１８を介して、操作情報として、オブジェクト５００に対する操作態様を示すオブジェクト操作態様情報を外部装置２０から取得する。たとえば、取得部１８０は、オブジェクト５００に対してどのようなジェスチャ操作がなされたのかを示す情報を取得する。
【００５９】
実行部１８２は、取得部１８０により取得された操作情報に基づいて、オブジェクト５００に関連付けられた機能を実行する。実行部１８２は、操作キー１５０に複数の機能が割り当てられている場合には、複数の機能の各々について、オブジェクト５００に対する操作態様を示すオブジェクト操作態様情報が対応付けられている情報テーブル８００を参照する。実行部１８２は、オブジェクト５００に関連付けられた当該複数の機能のうち、取得部１８０により取得されたオブジェクト操作態様情報に対応する機能を実行する。
【００６０】
次に、外部装置２０の機能構成について説明する。外部装置２０は、その主たる機能構成として、表示制御部２７２と、指示送信部２７８と、操作情報送信部２８０とを含む。これらの機能は、主に、外部装置２０のＣＰＵ２０２がメモリ２０４に格納されたプログラムを実行し、外部装置２０の構成要素へ指令を与えることなどによって実現される。ＣＰＵ２０２は、外部装置２０の動作全体を制御する制御部としての機能を有する。なお、これらの機能構成の一部または全部はハードウェアで実現されていてもよい。
【００６１】
表示制御部２７２は、タッチパネル２０６の表示を制御する。具体的には、表示制御部２７２は、通信インターフェイス２１８を介して、端末装置１０から外部出力された合成画像を受信して、当該合成画像をタッチパネル２０６に表示させる。
【００６２】
指示送信部２７８は、合成画像の生成を指示する入力を受け付けると、通信インターフェイス２１８を介して、当該生成指示を端末装置１０に送信する。たとえば、指示送信部２７８は、合成画像の生成指示として、タッチパネル２０６の表示領域における所定のエリアが選択されたことを受け付ける。
【００６３】
また、指示送信部２７８は、合成画像の生成の中止を指示する入力を受け付けると、通信インターフェイス２１８を介して、当該中止指示を端末装置１０に送信する。たとえば、指示送信部２７８は、合成画像の中止指示として、合成画像が表示されているときにタッチパネル２０６の表示領域における所定のエリアが選択されたことを受け付ける。
【００６４】
なお、指示送信部２７８は、外部装置２０に物理キーが搭載されている場合には、当該物理キーを介して、上述した生成指示および中止指示を受け付けてもよい。
【００６５】
操作情報送信部２８０は、タッチパネル２０６に表示されているオブジェクト５００（または４００）に対する操作を受け付けて、オブジェクト５００（または４００）に対する操作情報を送信する。たとえば、操作情報送信部２８０は、どのオブジェクトが選択されたのかを示す情報を送信したり、タッチパネル２０６においてタッチされた位置を示す情報を送信したりする。
【００６６】
＜処理手順＞
【００６７】
図８は、本実施の形態に従う端末装置１０が実行する外部出力処理手順を示す図である。以下の各ステップは、基本的には、端末装置１０のＣＰＵ１０２がメモリ１０４に格納されたプログラムを実行することによって実現される。
【００６８】
図８を参照して、ＣＰＵ１０２は、外部出力処理を開始するか否かを判断する（ステップＳ１０）。具体的には、ＣＰＵ１０２は、タッチパネル１０６を介してユーザから外部出力処理の開始指示を受け付けたか否かを判断する。ＣＰＵ１０２は、外部出力処理を開始しない場合には（ステップＳ１０においてＮＯ）、ステップＳ１０の処理を繰り返す。
【００６９】
これに対して、ＣＰＵ１０２は、外部出力処理を開始する場合には（ステップＳ１０においてＹＥＳ）、外部装置２０からの指示に基づいて、タッチパネル１０６の表示画面の画像と、オブジェクト５００とを合成した合成画像を生成するか否かを判断する（ステップＳ１２）。具体的には、ＣＰＵ１０２は、通信インターフェイス１１８を介して、外部装置２０から当該合成画像の生成指示を受け付けた場合に、当該合成画像を生成する。
【００７０】
ＣＰＵ１０２は、合成画像を生成しない場合には（ステップＳ１２においてＮＯ）、タッチパネル２０６の表示画面の画像を外部装置２０に外部出力して（ステップＳ１８）、後述するステップＳ２０の処理を実行する。
【００７１】
これに対して、ＣＰＵ１０２は、合成画像を生成する場合には（ステップＳ１２においてＹＥＳ）、生成された合成画像を外部装置２０に外部出力する（ステップＳ１４）。続いて、ＣＰＵ１０２は、外部装置２０からの指示に基づいて、合成画像の生成を中止するか否かを判断する（ステップＳ１６）。具体的には、ＣＰＵ１０２は、外部装置２０から当該合成画像の生成の中止指示を受け付けた場合に、当該合成画像の生成を中止する。
【００７２】
ＣＰＵ１０２は、合成画像の生成を中止する場合には（ステップＳ１６においてＹＥＳ）、タッチパネル２０６の表示画面の画像を外部装置２０に外部出力する（ステップＳ１８）。これに対して、ＣＰＵ１０２は、合成画像の生成を中止しない場合には（ステップＳ１６においてＮＯ）、ステップＳ２０の処理を実行する。
【００７３】
ＣＰＵ１０２は、外部装置２０からオブジェクトに対する操作情報を受信したか否かを判断する（ステップＳ２０）。ＣＰＵ１０２は、当該操作情報を受信していない場合には（ステップＳ２０においてＮＯ）、ステップＳ２０の処理を繰り返す。これに対して、ＣＰＵ１０２は、当該操作情報を受信した場合には（ステップＳ２０においてＹＥＳ）、当該操作情報に基づいて、オブジェクトに関連付けられた機能を実行する（ステップＳ２２）。具体的には、ＣＰＵ１０２は、受信した操作情報が、オブジェクト４００に対する操作を示している場合には、オブジェクト４００に予め割り当てられた機能を実行する。また、ＣＰＵ１０２は、受信した操作情報がオブジェクト５００に対する操作を示している場合には、オブジェクト５００に関連付けられた、操作キー１５０に割り当てられた機能を実行する。
【００７４】
上記では、端末装置１０が、外部装置２０から合成画像の生成指示または中止指示に基づいて、合成画像を生成する否かを判断する場合について説明したが、これに限られない。たとえば、端末装置１０は、外部装置２０からの指示によらず、常に合成画像を生成するように構成されていてもよい。
【００７５】
＜その他の実施の形態＞
【００７６】
上述した実施の形態では、外部装置２０がタッチパネル２０６を備える場合について説明したが、これに限られず、表示手段としてディスプレイ２１０のみを備える場合であってもよい。この場合、外部装置２０にはディスプレイ２１０に表示されたオブジェクトを選択するための入力装置が別途設けられる。
上述した実施の形態では、オブジェクト５００が外部装置２０のタッチパネル２０６のみ（ディスプレイ２１０）に表示される場合について説明したが、端末装置１０は、タッチパネル１０６（ディスプレイ１１０）にもオブジェクト５００を表示するように構成されていてもよい。
また、端末装置１０と外部装置２０とでディスプレイのアスペクト比が異なる場合、あるいは、端末装置１０が縦向きの画面表示であり外部装置２０が横向きの画面表示など、互いの表示方向が異なる場合には、外部装置２０のディスプレイにおいて黒帯表示領域が存在する場合がある。このような場合には、端末装置１０は、外部装置２０のディスプレイの黒帯表示領域にオブジェクト５００を表示するように構成されていてもよい。
【００７７】
なお、コンピュータを機能させて、上述のフローチャートで説明したような制御を実行させるプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact  Disk  Read  Only  Memory）、ＲＯＭ、ＲＡＭおよびメモリカードなどの一時的でないコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【００７８】
プログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本実施の形態にかかるプログラムに含まれ得る。
【００７９】
また、本実施の形態にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本実施の形態にかかるプログラムに含まれ得る。
【００８０】
＜実施の形態の効果＞
【００８１】
本実施の形態によると、外部装置に表示されるオブジェクト（ソフトウェアキー）を、端末装置に搭載されるディスプレイに表示されないキーの代替として利用することができる。これにより、外部装置を操作することで、端末装置のハードウェアキーに割り当てられた機能を端末装置に実行させることができる。
【００８２】
本実施の形態によると、外部装置側から端末装置における合成画像の生成および中止を指示することができる。これにより、ユーザは、外部装置を操作することで端末装置の処理負荷等に応じて合成画像を生成させたり、当該生成を中止させたりすることができる。
【００８３】
本実施の形態によると、端末装置の操作キーに複数の機能が割り当てられている場合には、それぞれの機能に対応するオブジェクトが外部装置に表示される。これにより、当該オブジェクトを選択することで、操作キーに割り当てられた全ての機能を端末装置に実行させることができる。また、操作キーに割り当てられた機能を端末装置に実行させるために、操作キーで煩雑な操作を行なわなければならない場合（何度も操作キーを押下する等）には、オブジェクトを選択する操作のみで当該機能を端末装置に実行させることができるため、ユーザの操作負担を軽減することができる。
【００８４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００８５】
１０  端末装置、２０  外部装置、１０２，２０２  ＣＰＵ、１０４，２０４  メモリ、１０６，２０６  タッチパネル、１１０，２１０  ディスプレイ、１１２  無線通信部、１１３  通信アンテナ、１１４  メモリインターフェイス、１１５  記憶媒体、１１６，２１６  スピーカ、１１８，２１８  通信インターフェイス、１５０  操作キー、１５０Ａ  ホームキー、１５０Ｂ  バックキー、１５０Ｃ  メニューキー、１５０Ｄ  ボリュームキー、１５０Ｅ  電源キー、１７２，２７２  表示制御部、１７４  合成部、１７６  外部出力部、１７８  指示受付部、１８０  取得部、１８２  実行部、２７８  指示送信部、２８０  操作情報送信部、３００  画像、４００，５００  オブジェクト、７００，８００  情報テーブル、１０００  情報処理システム。
【図１】
2015049718.tif 000003
【図２】
2015049718.tif 000004
【図３】
2015049718.tif 000005
【図４】
2015049718.tif 000006
【図５】
2015049718.tif 000007
【図６】
2015049718.tif 000008
【図７】
2015049718.tif 000009
【図８】
2015049718.tif 000010