(57)【要約】【課題】タッチパネル付きの端末の操作のプレゼンテーションが、プロジェクタ装置などを使って良好に出来るようにする。【解決手段】端末１００は、表示部１１０と、表示部のパネル表面のタッチを検出するタッチ入力検出部と、画像合成部と、画像出力部とを備える。画像合成部は、タッチ入力検出部で検出したタッチ状態に応じて、表示部が表示する画像に手指の画像を合成する。画像出力部は、画像合成部が合成した画像データを出力する。このようにすることで、例えば画像出力部が出力する画像データをプロジェクタ装置２００に送り、スクリーン２１０に投射することで、投射画像には、端末１００のパネルをタッチする手指ｆと同様の手指２２３が表示されるようになる。【選択図】図１
2015230587.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
前記表示部のパネル表面のタッチを検出するタッチ入力検出部と、
前記タッチ入力検出部で検出したタッチ状態に応じて、前記表示部が表示する画像に手指の画像を合成する画像合成部と、
前記画像合成部が合成した画像データを出力する画像出力部と、
を備えるプレゼンテーション用端末。
【請求項２】
前記画像合成部が合成する手指の画像は、前記タッチ入力検出部が検出したタッチの数に応じて決まる形状の手指の画像である
請求項１に記載のプレゼンテーション用端末。
【請求項３】
前記表示部のパネルが配置された側の周囲を撮影するカメラを備え、
前記画像合成部は、前記カメラが撮影した画像に基づいて、前記表示部のパネル表面に近接した手指の画像を合成する
請求項２に記載のプレゼンテーション用端末。
【請求項４】
前記画像合成部が合成する前記表示部のパネル表面に近接した手指の画像には、手指の影を加える
請求項３に記載のプレゼンテーション用端末。
【請求項５】
前記画像合成部が合成する手指の画像は、前記表示部が備えるパネルのサイズに応じて選ばれた指がパネルをタッチする手指の画像である
請求項３に記載のプレゼンテーション用端末。
【請求項６】
前記画像合成部は、プレゼンテーション用端末の筐体の画像を用意し、その筐体の表示パネルの箇所に、前記表示部が表示する画像を配置した上で、手指の画像を合成する
請求項１に記載のプレゼンテーション用端末。
【請求項７】
さらに前記画像合成部は、プレゼンテーション用端末の筐体の側面の画像を合成する
請求項６に記載のプレゼンテーション用端末。
【請求項８】
他の端末の表示部で表示された画像データと、前記表示部のパネル表面のタッチ位置のデータとが入力される入力部と、
前記入力部に入力した画像データによる画像に、前記タッチ位置のデータで示されたタッチ検出状態に応じた手指の画像を合成する画像合成部と、
前記画像合成部が合成した画像データを出力する画像出力部と、
を備えるプレゼンテーション用端末。
【請求項９】
タッチパネル付きの表示部が表示した画像を取得する画像取得処理ステップと、
前記タッチパネルでのタッチ状態を検出するタッチ入力検出処理ステップと、
前記タッチ入力検出処理ステップで検出したタッチ状態に応じて、前記画像取得処理ステップで取得した画像に手指の画像を合成する画像合成処理ステップと、
前記画像合成処理ステップで合成された画像データを出力する画像出力処理ステップと、
を含むプレゼンテーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルを備えた端末を使用してプレゼンテーションを行う場合に適用されるプレゼンテーション用端末、及びその端末を使用して行われるプレゼンテーション方法に関する。
【背景技術】
【０００２】
従来、多数の人に対して、端末の操作方法などをプレゼンテーションする場合、プロジェクタ装置を使用して、操作方法の画像をスクリーンなどに拡大投影し、その投影画像で案内するのが一般的である。この場合、プレゼンテーションを実行する操作者は、レーザーポインタなどを使用して、画像中の操作が必要な箇所を指し示すことで、どの箇所を具体的に操作すればよいかの指示を行う。
【０００３】
例えば、タブレット端末と称されるタッチパネルを備えた情報処理端末は、表示パネルの表面を操作者が直接タッチして、様々な操作を行うことができる。したがって、タブレット端末の操作を説明するときには、実際のタブレット端末をタッチ操作して表示される画像を、プロジェクタ装置で拡大投影すれば、端末の操作方法を効率よくプレゼンテーションすることができる。
【０００４】
しかしながら、実際のタブレット端末に表示される画像は、ユーザが操作した結果の画像であるため、実際のタブレット端末に表示される画像をそのまま拡大投影しただけでは、操作者が、端末をどのようにタッチ操作したのか分からないという問題がある。
すなわち、タブレット端末の画像データ出力端子をプロジェクタ装置に接続して、タブレット端末が表示する画像を拡大投影するだけでは、操作者の指の動きなどは表示されない。このため、指を動かす方向や動かす速度などに特徴がある操作を、このような拡大投影で的確に説明することは困難である。
【０００５】
特許文献１には、携帯端末の画像をプロジェクタ装置が投影してプレゼンテーションを行う場合に、携帯端末のタッチパネルのタッチ軌跡を投影画像に合成する点についての記載がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−７３５９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１には、端末のタッチパネルのタッチ軌跡をマーカーとして表示する方法が記載されている。しかしながら、このようなタッチ軌跡をマーカーとして表示した場合、その表示画像を見ている者には、どこをタッチしたのかが分かるだけであり、より詳細な操作状況までは分からない。すなわち、近年、タブレット端末のタッチパネルを使用した操作は、非常に複雑化しており、指を動かす速さや方向などにより、指示を行う内容が様々であり、そのような複雑な操作を、タッチ軌跡だけで指示することは簡単ではない。特に、タブレット端末では、複数本の指を使用したマルチタッチによる操作があるが、マーカーによるタッチ軌跡の表示では、このようなマルチタッチの操作を的確に表示することは困難であった。
【０００８】
この問題点を解決するためには、例えば端末とは別にビデオカメラを用意して、そのビデオカメラで操作者がタッチパネルを操作する様子を撮影して、撮影画像を投射することが考えられる。しかしながら、端末とは別にビデオカメラを用意すると、プレゼンテーションを行うためのシステム構成が非常に大がかりなものになる。また、ビデオカメラで撮影した画像には、天井の照明の映り込みが入る可能性が高く、非常に見にくい画像になってしまうという問題がある。さらに、ビデオカメラは、端末の表示パネルに表示される画面を撮影する位置に固定する必要があり、ビデオカメラを固定するための複雑な機構が必要になるという問題もある。
【０００９】
本発明のプレゼンテーション用端末及びプレゼンテーション方法は、タッチパネル付きの端末の操作のプレゼンテーションが、プロジェクタ装置などを使って良好にできるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明のプレゼンテーション用端末は、表示部と、表示部のパネル表面のタッチを検出するタッチ入力検出部と、画像合成部と、画像出力部とを備える。
画像合成部は、タッチ入力検出部で検出したタッチ状態に応じて、表示部が表示する画像に手指の画像を合成する。
画像出力部は、画像合成部が合成した画像データを出力する。
【００１１】
また、本発明のプレゼンテーション用端末は、表示部とタッチ入力検出部を備える代わりに、入力部を備えるようにしてもよい。
この場合、入力部からは、他の端末の表示部で表示された画像データと、他の端末の表示部のパネル表面のタッチ位置のデータとが入力される。そして、画像合成部は、入力部から入力された画像データによる画像に、タッチ状態に応じた手指の画像を合成する。
【００１２】
また、本発明のプレゼンテーション方法は、画像取得処理と、タッチ入力検出処理と、画像合成処理と、画像出力処理とを行う。
画像取得処理は、タッチパネル付きの表示部が表示した画像を取得する。
タッチ入力検出処理は、タッチパネルでのタッチ状態を検出する。
画像合成処理は、タッチ位置検出処理で検出したタッチ状態に応じて、画像取得処理で取得した画像に手指の画像を合成する。
画像出力処理は、画像合成処理で合成された画像データを出力する。
【発明の効果】
【００１３】
本発明によると、例えば端末が出力する画像データをプロジェクタ装置に送ってスクリーンに投射することで、投射画像には、端末のパネルをプレゼンターがタッチする手と同様の手指が表示されるようになる。したがって、端末のタッチ操作の詳細と、そのタッチ操作で生じる画面遷移を、多数の人に良好にプレゼンテーションすることが可能になる。
また、端末が出力する画像データを、遠隔地の受講者に伝送することで、遠隔地の人にも良好にプレゼンテーションすることが可能になる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態例によるシステム構成を示す説明図である。
【図２】本発明の第１の実施の形態例による端末の構成を示すブロック図である。
【図３】本発明の第１の実施の形態例による表示処理の流れを示すフローチャートである。
【図４】本発明の第１の実施の形態例による表示例（一点タッチの例）を示す説明図である。
【図５】本発明の第１の実施の形態例による表示例（一点タッチ後のリリース操作の例）を示す説明図である。
【図６】本発明の第１の実施の形態例による表示例（二点タッチの例）を示す説明図である。
【図７】本発明の第１の実施の形態例による表示例（二点タッチ後のピンチイン操作の例）を示す説明図である。
【図８】本発明の第１の実施の形態例による表示例（二点タッチ後のピンチアウト操作の例）を示す説明図である。
【図９】本発明の第１の実施の形態例による表示例（二点タッチ後のドラッグ操作の例）を示す説明図である。
【図１０】本発明の第１の実施の形態例による表示例（二点タッチ後のリリース操作の例）を示す説明図である。
【図１１】本発明の第１の実施の形態例による表示例（三点タッチの例）を示す説明図である。
【図１２】端末の種類とサイズによって操作を行う指の相違を示す説明図である。
【図１３】本発明の第１の実施の形態例による端末の種類と指の割り当てを示す説明図である。
【図１４】本発明の第２の実施の形態例によるシステム構成を示す説明図である。
【図１５】本発明の第２の実施の形態例による端末の構成を示すブロック図である。
【図１６】本発明の第２の実施の形態例による表示処理の流れを示すフローチャートである。
【図１７】本発明の実施の形態例の変形例を示す説明図である。
【発明を実施するための形態】
【００１５】
＜１．第１の実施の形態の例＞
以下、本発明の第１の実施の形態例を、図１〜図１３を参照して説明する。
［１−１．システム全体の構成例］
図１は、本発明の第１の実施の形態例のシステム全体の概要を示す図である。
図１に示すように、このシステムでは、端末１００とプロジェクタ装置２００が用意される。端末１００は、プレゼンターが操作方法をプレゼンテーションする機器である。端末１００は、表示部１１０の表示パネルがタッチパネルを備え、利用者が指でタッチパネルをタッチすることで様々な操作を行うことができる。ここでは、端末１００として、表示パネルの対角線のサイズが１０インチ程度のタブレット端末を使用する。但し、タブレット端末を使用するのは１つの例であり、その他の形態のタッチパネル付きの端末を使用してもよい。
【００１６】
端末１００は、出力ポート１０１から画像データが出力される。この出力される画像データは、伝送ケーブル１０２を介してプロジェクタ装置２００に供給される。プロジェクタ装置２００は、端末１００から伝送された画像をスクリーン２１０に拡大投射する。このスクリーン２１０上での投射画像２２０により、端末１００の操作方法がプレゼンテーションされる。
【００１７】
プレゼンターがプレゼンテーションする操作は、端末１００の表示部１１０の表示パネル上を指ｆでタッチして行う操作である。端末１００をタッチ操作する指ｆは、プレゼンターの指である。したがって、端末１００の表示部１１０に表示される画像を、そのままプロジェクタ装置２００に伝送して、スクリーン２１０に投射したとしても、投射画像２２０には、指ｆは表示されない。
【００１８】
ここで本実施の形態例においては、図１に示すように、スクリーン２１０上に、端末表示画像２２２に操作手指２２３を合成した投射画像２２０を表示するようにした。また、端末１００の外形形状とほぼ等しい筐体画像２２１をスクリーン２２０上に表示し、その筐体画像２２１の表示パネルの箇所に、端末表示画像２２２を表示するようにした。これらの投射画像２２０の元になる画像データを作成する処理は、端末１００の内部で行われ、プロジェクタ装置２００は、端末１００から伝送された画像をそのままスクリーン２１０に投射する。したがって、プロジェクタ装置２００は、本実施の形態例の処理を行う上で特別な処理を必要としない。
【００１９】
［１−２．端末の構成例］
図２は、端末１００の内部構成を示す図である。
端末１００は、表示部１１０と制御部１２０とを備える。表示部１１０の表示パネルには、タッチパネルが一体化され、制御部１２０内のタッチ入力検出部１２１がタッチ操作を検出する。
【００２０】
制御部１２０は、表示部１１０に表示される画像を記憶する第１フレームメモリ１２２を備える。この第１フレームメモリ１２２には、端末１００に実装されたアプリケーションプログラムを実行することにより得られた画像が記憶される。なお、アプリケーションプログラムは、記憶部１３３に記憶されている。
端末１００が実行中のアプリケーションプログラムは、タッチパネルのタッチ操作で様々な操作の指示を行うものである。例えば、端末１００は、タッチ操作により表示画像を切り替える操作や、表示中の画像に関連した別の情報を表示する操作や、表示中の画像の拡大又は縮小を指示する操作などを行うことができる。
【００２１】
また、制御部１２０は、第１フレームメモリ１２２に記憶された表示中の画像データを、画像合成部１２３に供給する。画像合成部１２３では、図１で説明した筐体画像や手指の画像を合成する処理が行われる。画像合成部１２３で合成処理が行われた画像データは第２フレームメモリ１２４に供給され、第２フレームメモリ１２４に記憶される。
画像合成部１２３で合成される筐体画像や手指の画像のデータは、例えば記憶部１３３に予め記憶されている。この画像合成部１２３で合成される手指の画像については、例えば、手指が綺麗な人物（モデル、タレントなど）の手指を撮影して得た画像とするのが好ましい。また、記憶部１３３には、制御部１２０が実行する制御処理に必要なデータも記憶されている。
第２フレームメモリ１２４に記憶された画像合成後の画像データは、出力ポート１０１から外部に出力される。出力ポート１０１は、所定の伝送フォーマットで画像データを出力する画像出力部として機能するものである。この出力ポート１０１には、図１に示す伝送ケーブル１０２が接続される。
【００２２】
また、端末１００は、重力が働く方向を検出する重力センサ１３１を備え、端末１００を構成する筐体の向きを検出する。すなわち、制御部１２０は、重力センサ１３１の検出データに基づいて、筐体の向きが、表示パネルが縦長になる向きと、表示パネルが横長になる向きの、いずれであるかを判断する。この制御部１２０での向きの判断に基づいて、制御部１２０は、表示部１１０に表示される画像の縦と横の方向や、下側や上側となる方向を決める。
【００２３】
さらに、端末１００は、フェイスカメラ１３２と操作スイッチ１３４を備える。フェイスカメラ１３２は、図１に示すように、端末１００の表示パネルの上部に配置され、表示パネルの近傍を撮影するものである。フェイスカメラ１３２は、通常、端末１００に近接した操作者の顔などを撮影するものであるが、本実施の形態の例では、表示パネルに近接した手指を撮影する。制御部１２０は、フェイスカメラ１３２が撮影した画像から、表示パネルに近接した手指を検出する。なお、フェイスカメラ１３２は、手指の検出を行うために撮影を行う際には、制御部１２０の制御で、フォーカスが合う範囲を、表示パネル面から数センチから１０センチ程度の非常に近い範囲にオートフォーカス機能で設定する。なお、通常時には、フォーカスが合う範囲は、より遠い範囲に設定されている。
操作スイッチ１３４は、例えば端末１００の筐体の側面などに配置されるスイッチである。端末１００が実行中のアプリケーションプログラムによっては、この操作スイッチ１３４の操作が必要となる場合もある。
【００２４】
［１−３．表示処理の流れの例］
次に、端末１００が行う表示処理の流れを、図３のフローチャートを参照して説明する。図３のフローチャートでは、端末１００の制御部１２０が行う表示のための制御の流れをステップＳ１１〜Ｓ１３で示すと共に、制御部１２０内の画像合成部１２３で行われる画像処理の流れをステップＳ２１〜Ｓ２３で示す。さらに図３のフローチャートでは、制御部１２０とその周辺部とのデータのやり取りについても、破線で示す。
【００２５】
制御部１２０が行う制御としては、まず制御部１２０で、表示部１１０のタッチパネルでタッチされた位置などを判断するタッチ入力検出処理が行われる（ステップＳ１１）。この制御部１２０によるタッチ位置の判断は、表示部１１０に配置されたタッチパネルのタッチ入力検出部１２１におけるタッチ位置の検出に基づいて行われる。
次に、制御部１２０は、手指の検出処理を行う（ステップＳ１２）。ここでは、制御部１２０は、ステップＳ１１で判断したタッチ位置と、重力センサ１３１の検出データと、フェイスカメラ１３２が撮影した画像データとを使用する。すなわち、重力センサ１３１での検出データに基づいて、表示部１１０の表示パネルの底面（下側）がどの方向かを判断する。また、フェイスカメラ１３２が撮影した画像から、手指が表示パネルに接近しているか否かを判断する。これらの判断に基づいて、タッチパネルへのタッチを検出した際には、そのタッチした指の向きなどを判断する。また、タッチパネルでタッチを検出しない状態で、フェイスカメラ１３２の撮影画像から手指を検出したときには、制御部１２０は、タッチパネルに手指が接近した状態であると判断する。
【００２６】
そして、制御部１２０は、ステップＳ１１，Ｓ１２でのタッチ位置などの判断に基づいて、表示部１１０に表示する画像を確定し、その表示画像を第１フレームメモリ１２２に描画する（ステップＳ１３）。ここでは、制御部１２０は、例えば表示画像中の特定箇所がタッチ操作で選択されたとき、その選択箇所の画像に変形を加える等の効果を施し、アプリケーションプログラムの実行状況に応じた画像処理を行う。表示部１１０は、第１フレームメモリ１２２に描画された画像の表示を行う。
制御部１２０では、表示部１１０が画像を表示する間、このステップＳ１１，Ｓ１２，Ｓ１３の処理が繰り返し実行される。
【００２７】
また、上述した表示部１１０での表示処理と並行して、画像合成部１２３において、出力ポート１０１から出力される画像データの生成処理が行われる。すなわち、画像合成部１２３は、ステップＳ１３で第１フレームメモリ１２２に描画された画像データを取り込み、表示用の画像データを取得する画像取得処理を行う（ステップＳ２１）。
【００２８】
次に、画像合成部１２３は、画像に手指画像を合成する処理を行う（ステップＳ２２）。このとき、画像合成部１２３は、制御部１２０がステップＳ１２で検出した手指の位置に手指画像を合成する。また、画像合成部１２３は、第１フレームメモリ１２２から得た画像の周囲に、端末の筐体画像を合成する。これらの手指画像や筐体画像は、記憶部１３３から読み出した画像である。
なお、後述する例のように、手指の状態によっては、手指画像を合成する際の、その手指の影の画像を付加する場合がある。この影の画像も、記憶部１３３に予め記憶されている画像である。
【００２９】
そして、画像合成部１２３は、合成された画像を第２フレームメモリ１２４に供給し、第２フレームメモリ１２４上で端末の筐体や手指が合成された画像を描画する（ステップＳ２３）。この第２フレームメモリ１２４で描画された画像が、出力ポート１０１から外部に出力され、プロジェクタ装置２００でスクリーン２１０に投射される。
画像合成部１２３では、表示部１１０が画像を表示する間、このステップＳ２１，Ｓ２２，Ｓ２３の処理が繰り返し実行される。
【００３０】
［１−４．一点タッチの表示例］
次に、プレゼンターが端末１００を操作したときに、スクリーン２１０上が表示する画像の例を説明する。
まず、図４を参照して、プレゼンターが端末１００の表示パネル上の一点をタッチしたときに、スクリーン２１０上に表示される画像の例を説明する。
【００３１】
図４Ａは、制御部１２０による指のタッチ認識と近接認識が行われる期間を示す。図４Ｂは、プレゼンターの手指による端末１００（実機）の表示パネルの表面のタッチ操作状態を示す。図４Ｃは、スクリーン２１０に投射される画像を示す。これら図４Ａ，Ｂ，Ｃは、それぞれ左から右に操作状態が進んで行く様子を示す。後述する図５〜図１１についても、同様に各図のＡが、タッチ認識と近接認識が行われる期間を示し、各図のＢがプレゼンターの手指によるタッチ操作状態を示し、各図のＣが端末１００の第２フレームメモリ１２４に描画されて、スクリーン２１０に投射される画像を示す。また、プレゼンターが実際に操作を説明する際には、何らかの画像が端末１００や投射画像内の端末に表示されているが、図４〜図１１では、端末内の表示画像は省略する。
【００３２】
プレゼンターによる操作状態としては、最初の状態は、図４Ｂに左から順に示すように、表示パネル１１０−１は、何もタッチされていない状態である。次の表示パネル１１０−２は、手指ｆ１がパネル表面に近づいた状態である。但し、この表示パネル１１０−２の状態では、手指ｆ１の位置はパネル表面から遠く、制御部１２０は、手指の接近を検出しない。したがって、図４Ｃに示すように、それぞれのタイミングでスクリーン２１０に投射される画像による筐体画像２２１−１，２２２−２には、手指画像が表示されない。
【００３３】
図４Ａに示すように、フェイスカメラ１３２が手指の近接を検出したタイミングｔ１になると、図４Ｂに示す表示パネル１１０−３のほぼ中央に手指ｆ１が近接した状態に変化する。このとき、図４Ｃに示すように、スクリーン２１０に投射される筐体画像２２１−３には、手指画像２２３−３が合成された状態になる。そして、矢印ＵＰで示すように、筐体画像２２１−３の下側から手指画像２２３−３が徐々に上がって行き、図４Ｃに示す位置になる。この場合、手指画像２２３−３は、例えば１秒程度の時間をかけて移動する。
また、このように手指ｆ１の近接を検出した際に表示される手指画像２２３−３には、その手指の影画像２２４−３が付加されている。この影画像２２４−３が付加されることで、合成された手指画像２２３−３による指が、表示パネルの表面から離れた状態であることが分かる表示となる。
【００３４】
その後、タッチ入力検出部１２１でタッチを検出するタイミングｔ２（図４Ａ参照）で、プレゼンンターは、図４Ｂに示す表示パネル１１０−４の特定箇所Ａを手指ｆ１でタッチする。この特定箇所Ａの位置は、図４Ｂに示すように、表示パネル上の水平方向ｘと垂直方向ｙで決まる。このとき、図４Ｃに示すように、スクリーン２１０に投射される筐体画像２２１−４には、特定箇所Ａを人差し指の先端がタッチした手指画像２２３−４が合成された状態になる。この場合の手指画像２２３−４にも、その手指の影画像２２４−４が付加されている。但し、手指画像２２３−４は、特定箇所Ａをタッチした状態を示しているため、タッチ箇所の指の部分では、ほとんど影がない状態であり、タッチ箇所から離れた箇所で、わずかな影を表示した状態である。
なお、図４に示すように一点タッチの際に人差し指がタッチした画像となるのは１つの例であり、手指の画像を合成する際に、タッチを行う指を割り当てる方法については後述する。
【００３５】
［１−５．一点タッチ後のリリース操作時の表示例］
次に、先に図４で説明した一点タッチが行われた後に、手指が表示パネルの表面から離されるリリース操作時の表示例を、図５を参照して説明する。
図５Ｂの左端に示す表示パネル１１０−４の手指ｆ１によるタッチ操作状態は、図４Ｂの右端に示す表示パネル１１０−４の手指ｆによるタッチ操作状態と同じ状態である。図５Ｃの左端に示す手指画像２２３−４についても、図５Ｃの左端に示す手指画像２２３−４と同じである。
【００３６】
この状態で、図５Ａに示すようにタイミングｔ３で、タッチ入力検出部１２１により指の特定箇所Ａからのリリースが検出され、タイミングｔ３の直後のタイミングｔ４で、フェイスカメラ１３２により手指が近接していない状態が検出されたとする。
このとき、図５Ｃに示すように、手指画像２２３−５が筐体画像２２１−５の表面から離れた状態に合成される。この手指が離れた状態は、手指の影画像２２４−５の付加で示される。そして、この図５Ｃに示す手指画像２２３−５は、矢印ＤＯＷＮで示すように、時間の経過と共に下側に移動する。このときの手指２２３−５の下側への移動は、例えば１秒程度の時間で行われる。
そして、図５Ｂの右端に示すように手指ｆ１が端末１００から完全に離れた状態では、図５Ｃの右端に示すように、投射画像中の筐体画像２２１−６には手指画像が合成されない。
【００３７】
［１−６．二点タッチの表示例］
図６は、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした場合の例である。
最初の状態では、図６Ｂの左端に示すように、表示パネル１１０−１１は、何もタッチされていない状態であり。次の表示パネル１１０−１２は、手指ｆ２がパネル表面に近づいた状態である。但し、この表示パネル１１０−１２の状態では、手指ｆ２の位置はパネル表面から遠く、制御部１２０は、まだ手指の接近を検出しない。したがって、図６Ｃに示すように、それぞれのタイミングでスクリーン２１０に投射される画像による筐体画像２２１−１１，２２２−１２には、手指画像が表示されない。
【００３８】
そして、図６Ａに示すように、フェイスカメラ１３２が手指の近接を検出したタイミングｔ１１になると、図６Ｂに示す表示パネル１１０−１３のほぼ中央に手指ｆ２が近接した状態に変化する。このとき、図６Ｃに示すように、スクリーン２１０に投射される筐体画像２２１−１３は、手指画像２２３−１３が合成された状態になる。また、このように手指ｆ２の近接を検出した際に表示される手指画像２２３−１３には、その手指の影画像２２４−１３が付加される。
ここまでは図４に示した一点タッチの場合と同じであり、手指画像２２３−１３は指１本が伸びた画像である。
【００３９】
その後、図６Ａに示すように、タッチ入力検出部１２１でタッチを検出したタイミングｔ１２では、プレゼンターが、図６Ｂに示す表示パネル１１０−４の２つの特定箇所Ａ，Ｂを手指ｆ２ａ，ｆ２ｂがタッチした状態とする。２つの特定箇所Ａ，Ｂは、図６Ｂに示すように、表示パネル上の水平方向の座標ｘ１，ｘ２と垂直方向の座標ｙ１，ｙ２でタッチ位置が決まる。このとき、図６Ｃに示すように、スクリーン２１０に投射される筐体画像２２１−１４には、特定箇所Ａ、Ｂをそれぞれ別の指でタッチした手指画像２２３−１４が合成された状態になる。手指画像２２３−１４では、左下の特定箇所Ａを親指がタッチした状態とし、右上の特定箇所Ｂを人差し指がタッチした状態とする。このタッチする指の割り当て状態の例は後述する。
また、この場合の手指画像２２３−１４にも、その手指の影画像２２４−１４が付加されている。但し、手指画像２２３−１４は、特定箇所Ａをタッチした状態を示しているため、タッチ箇所Ａ、Ｂの指の部分では、ほとんど影がない状態であり、タッチ箇所Ａ、Ｂから離れた箇所で、わずかな影を表示した状態である。
【００４０】
［１−７．二点タッチ後のピンチイン操作の表示例］
図７は、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態で、そのタッチした二点の距離を縮めるピンチイン操作を行った場合の例である。このピンチイン操作は、例えば表示画像の縮小を指示する際に行われる。ここでは、図７Ａに示すように、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態が継続している。
図７Ｂの左側に示す表示パネル１１０−１５の操作状態は、図６Ｂの右端に示す操作状態と同じであり、２本の指２ｆａ，２ｆｂで特定位置Ａ，Ｂをタッチした状態である。ここで、プレゼンターは、図７Ｂの右側に示すように、表示パネル１１０−１６の上で、タッチした特定位置Ａ，Ｂの距離を狭くするピンチイン操作を行ったとする。
【００４１】
このとき、ピンチイン操作前には、図７Ｃの左側に示すように、筐体画像２２１−１５として、タッチした特定位置Ａ，Ｂの距離が長い手指画像２２３−１５が合成された状態である。これに対して、ピンチイン操作後には、図７Ｃの右側に示すように、筐体画像２２１−１５として、タッチした特定位置Ａ，Ｂの距離が短い手指画像２２３−１５に変化する。図７ではピンチイン操作前とピンチイン操作後の２つの状態を示すが、実際には連続して手指画像の指が指し示す位置が変化する。手指画像２２３−１５で示されるタッチ位置Ａ，Ｂは、実際にプレゼンターが２本の指２ｆａ，２ｆｂでタッチした特定位置Ａ，Ｂと一致している。
【００４２】
［１−８．二点タッチ後のピンチアウト操作の表示例］
図８は、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態で、そのタッチした二点の距離を広げるピンチアウト操作を行った場合の例である。このピンチアウト操作は、例えば表示画像の拡大を指示する際に行われる。ここでは、図８Ａに示すように、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態が継続している。
図８Ｂの左側に示す表示パネル１１０−１７の操作状態は、図７Ｂの右端に示す表示パネル１１０−１７の操作状態と同じであり、２本の指２ｆａ，２ｆｂで特定位置Ａ，Ｂをタッチした状態である。ここで、プレゼンターは、図８Ｂの右側に示すように、表示パネル１１０−１８の上で、タッチした特定位置Ａ，Ｂの距離を広げるピンチアウト操作を行ったとする。
【００４３】
このとき、ピンチアウト操作前には、図８Ｃの左側に示すように、筐体画像２２１−１７として、タッチした特定位置Ａ，Ｂの距離が短い手指画像２２３−１７が合成された状態である。これに対して、ピンチアウト操作後には、図８Ｃの右側に示すように、筐体画像２２１−１８として、タッチした特定位置Ａ，Ｂの距離が長い手指画像２２３−１８に変化する。図８ではピンチアウト操作前とピンチアウト操作後の２つの状態を示すが、実際には連続して手指画像の指が指し示す位置が変化する。手指画像２２３−１８で示されるタッチ位置Ａ，Ｂは、実際にプレゼンターが２本の指２ｆａ，２ｆｂでタッチした特定位置Ａ，Ｂと一致している。
【００４４】
［１−９．二点タッチ後のドラッグ操作の表示例］
図９は、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態で、その二点のタッチ位置をほぼ平行に移動させるドラッグ操作を行った場合の例である。ドラッグ操作は、例えば表示画像を移動させる指示を行う際に行われる。ここでは、図９Ａに示すように、プレゼンターが端末１００の表示パネル上の二点を同時にタッチした状態が継続している。
図９Ｂの左側に示す表示パネル１１０−２１の操作状態は、２本の指２ｆａ，２ｆｂで特定位置Ａ，Ｂをタッチした状態である。ここで、プレゼンターは、図９Ｂの右側に示すように、表示パネル１１０−２２の上で、タッチした特定位置Ａ，Ｂをほぼ平行に上側に移動した特定位置Ａ′，Ｂ′に変化させるドラッグ操作を行ったとする。特定位置Ａ′，Ｂ′は、図９Ｂに示すように、表示パネル上の水平方向の座標ｘ１′，ｘ２′と垂直方向の座標ｙ１′，ｙ２′で位置が決まる。
【００４５】
このとき、ドラッグ操作前には、図９Ｃの左側に示すように、筐体画像２２１−２１として、特定位置Ａ，Ｂをタッチした状態の手指画像２２３−２１が合成された状態である。これに対して、ドラッグ操作後には、図９Ｃの右側に示すように、筐体画像２２１−２２として、特定位置Ａ′，Ｂ′をタッチした状態の手指画像２２３−２２に変化する。図９はドラッグ操作前とドラッグ操作後の２つの状態を示すが、実際には連続して手指画像の位置が変化する。図９Ｃの右側に示される手指画像２２３−２２で示されるタッチ位置Ａ′，Ｂ′は、プレゼンターが２本の指２ｆａ，２ｆｂで実際にタッチした特定位置Ａ′，Ｂ′（図９Ｂの右側の図）と一致している。
【００４６】
［１−１０．二点タッチ後のリリース操作の表示例］
次に、図６〜図９で説明した二点タッチが行われた後に、２つの手指が表示パネルの表面から離される、二点タッチ後のリリース操作時の表示例を、図１０を参照して説明する。
ここでは、図１０Ａに示すようにタイミングｔ２１で、タッチ入力検出部１２１により指の特定箇所Ａからのリリースが検出されるとほぼ同時に、フェイスカメラ１３２により手指が近接していない状態が検出されたとする。
このときの実際のタッチ状態としては、図１０Ｂの左側に示すように、表示パネル１１０−３１の特定位置Ａ，Ｂを、２本の指２ｆａ，２ｆｂでタッチした状態から、図１０Ｂの右側に示すように、２本の指２ｆａ，２ｆｂが右側に離れて行く状態である。
【００４７】
このとき、図１０Ｃに示すように、手指画像２２３−３１が筐体画像２２１−３１の上に合成された状態から、手指画像２２３−３２が下側に下がって行く筐体画像２２１−３２に変化する。このように手指画像２２３−３２が矢印ＤＯＷＮで示すように下側に下がって行くことで、筐体画像２２１−３２の上には、手指画像が表示されなくなる。
【００４８】
［１−１１．三点タッチの表示例］
図１１は、プレゼンターが端末１００の表示パネル上の三点を同時にタッチした場合の例である。
最初の状態では、図１１Ｂの左端に示すように、表示パネル１１０−４１には、手指ｆ３が近接した状態である。この手指ｆ３の近接が、図１１Ａに示すように、タイミングｔ３１でフェイスカメラ１３２の撮影画像から検出される。
このとき、図１１Ｃの左端に示すように、スクリーン２１０に投射される画像による筐体画像２２１−４１には、パネル上に近接した手指画像２２３−４１が合成される。このとき、例えば指に影を付加することにより、手指がパネル表面から浮いた状態とするのが好ましい（図１１では影は不図示）。
【００４９】
そして、タイミングｔ３２でタッチ入力検出部１２１により三点の同時タッチが検出されたとする。このとき、図１１Ｂの中央に示すように、表示パネル１１０−４２の３つの特定箇所Ａ，Ｂ，Ｃを、手指ｆ３ａ，ｆ３ｂ，ｆ３ｃがタッチした状態となる。３つの特定箇所Ａ，Ｂ，Ｃは、図１１Ｂの中央に示すように、表示パネル上の水平方向の座標ｘ１，ｘ２，ｘ３と垂直方向の座標ｙ１，ｙ２，ｙ３でタッチ位置が決まる。
このとき、図１１Ｃの中央に示すように、スクリーン２１０に投射される筐体画像２２１−４２には、手指画像２２３−４３が合成された状態になる。この手指画像２２３−４２は、３本の指で特定箇所Ａ，Ｂ，Ｃをタッチした状態である。
【００５０】
その後、さらにタイミングｔ３３でタッチ入力検出部１２１により指の特定箇所Ａ，Ｂ，Ｃからのリリースが検出され、さらにタイミングｔ３４でフェイスカメラ１３２により手指が近接していない状態が検出されたとする。すなわち、図１１Ｂの右側に示すように、表示パネル１１０−４４から手指ｆ３ａ，ｆ３ｂ，ｆ３ｃが離れたとする。
このとき、図１１Ｃに示すように、手指画像２２３−４２が筐体画像２２１−４２の上に合成された状態から、手指画像２２３−４３が矢印ＤＯＷＮで示すように下側に下がって行く筐体画像２２１−４３に変化する。
【００５１】
［１−１２．端末の種類とサイズによって表示する指を設定する例］
ここで、本発明が適用される端末の筐体が備える表示パネルのサイズと、その端末を操作するプレゼンターの手指との関係の例を、図１２及び図１３を参照して説明する。
図１２は、端末と表示パネルのサイズによって想定される一般的な操作状態の例を示す。
図１２Ａは、タブレット端末などの比較的大型の表示パネルを備えた端末１０の例である。この場合には、左手で端末１０を持ちながら、右手の人差し指ｆ１１で、タッチ操作を行う状態が想定される。
図１２Ｂは、スマートフォンなどの比較的小型の表示パネルを備えた端末２０で、一点タッチが行われる例である。この場合には、右手の掌で端末２０を持ちながら、その右手の親指ｆ１２で、タッチ操作を行う状態が想定される。
図１２Ｃは、図１２Ｂと同じ端末２０で、二点タッチが行われる例である。この場合には、左手で端末２０を持ちながら、右手の人差し指ｆ１３と親指ｆ１４で、タッチ操作を行う状態が想定される。
【００５２】
このように、手指で端末をタッチする状態は、端末のサイズによって異なる。
図１３は、端末の機種（表示パネルのサイズ）と、操作される指の代表的な例を示す図である。図１３の例は、右下に示したように、親指をｐ、人差し指をｉ、中指をｍ、薬指をａ、小指をｃとして示す。
例えば、表示パネルの対角線が１０インチ程度のタブレット型の端末の場合には、一点タッチのとき、人差し指ｉでのタッチが想定され、二点タッチのとき、人差し指ｉと親指ｐでのタッチが想定される。また、三点タッチのとき、人差し指ｉと親指ｐと中指ｍでのタッチが想定され、四点タッチのとき、人差し指ｉと親指ｐと中指ｍと薬指ｍでのタッチが想定される。五点タッチのときは、全ての指でのタッチになる。
また、表示パネルの対角線が７インチ程度のタブレット型の端末の場合にも、１０インチのタブレット型と同じ指でのタッチが想定される。
【００５３】
また、表示パネルの対角線が４インチ程度のスマートフォン型の端末の場合には、一点タッチのとき、親指ｐでのタッチが想定され、二点タッチのとき、親指ｐと人差し指ｉでのタッチが想定される。また、三点タッチのとき、親指ｐと人差し指ｉと中指ｍでのタッチが想定され、四点タッチのとき、親指ｐと人差し指ｉと中指ｍと薬指ｍでのタッチが想定される。五点タッチのときは、全ての指でのタッチになる。
【００５４】
また、表示パネルの対角線が３インチ程度のスマートフォン型の端末の場合には、一点タッチのとき、親指ｐでのタッチが想定され、二点タッチのとき、親指ｐと人差し指ｉでのタッチが想定される。この３インチの端末の場合には、三点タッチ以上の同時タッチは困難である。
【００５５】
この図１３の情報を端末１００の制御部１２０が持つ。また、端末１００の制御部１２０は、この端末１００が備える表示部１１０のサイズについての情報を持つ。そして、制御部１２０が表示パネルのタッチを検出した際には、そのときの同時タッチ数と、端末のサイズとから決まる指がタッチした状態の手指画像を画像合成部１２３で合成する。
【００５６】
［１−１３．第１の実施の形態例による効果］
以上説明したように、プロジェクタ装置２００からスクリーン２１０に投射される画像中に表示される手指画像は、プレゼンターが端末１００の表示パネル上で操作した状態とほぼ同様の状態の指使いの画像になる。したがって、スクリーン２１０に投射される画像による端末１００の操作方法のプレゼンテーションが、実際の操作に近い状態で良好に行える。この場合、端末１００に外部のカメラを取り付けるようなことが必要なく、端末１００とプロジェクタ装置２００とをケーブルで接続するだけでよく、非常に簡単な構成で実現できる。
また、スクリーン２１０に投射される画像は、実際に端末１００の表示部１１０に表示される画像データを加工したものであるため、外部カメラで撮影した場合のような照明光の映り込みなどによる画像の劣化がなく、鮮明な画像によるプレゼンテーションができる。さらに、画像中に合成される手指として、手指が綺麗なモデルなどの手指画像とすることで、非常に綺麗な画像を使って操作説明を行うことができるという効果を奏する。
【００５７】
また、手指画像を筐体画像に合成する際には、図４や図５などで説明したように、下側から手指がタッチ位置まで移動すると共に、タッチ位置から離れた手指が下側に移動して離れるようにしたことで、自然な状態で手指が合成された状態になる。なお、例えば図１０の例のように、プレゼンターの手指が離れる方向と、表示画像中の手指が離れる方向とが相違する場合があるが、タッチ操作のやり方を説明する上で、この点の相違は問題にはならない。
【００５８】
さらに、図１２及び図１３で説明したように、プレゼンターが操作する端末１００のサイズに応じて、合成する手指の指を適切に選ぶようにしたことで、手指の合成画像は、実際の操作時の指使いと一致する可能性が高く、この点からも良好な操作説明ができる。
【００５９】
＜２．第２の実施の形態の例＞
以下、本発明の第２の実施の形態の例を、図１４〜図１６を参照して説明する。この図１４〜図１６において、第１の実施の形態の例で説明した図１〜図１３と同一箇所には同じ符号を付し、その詳細説明は省略する。
【００６０】
［２−１．システム全体の構成例］
図１４は、本発明の第２の実施の形態例のシステム全体の概要を示す図である。
この例では、図１に示すように、第１端末１００ａと第２端末１００ｂとを用意する。第１端末１００ａは、プレゼンターが手指ｆでタッチ操作を行うものである。第２端末１００ｂは、その第１端末１００ａから伝送された画像データに手指画像を合成する処理を行い、合成された画像をプロジェクタ装置２００に供給するものである。
ここでは、第１端末１００ａと第２端末１００ｂは、いずれもタブレット端末を使用する。
【００６１】
図１４に示すように、第１端末１００ａは、表示部１１０ａに表示される画像データとタッチ位置のデータを第２端末１００ｂに伝送する。第２端末１００ｂは、第１端末１００ａから伝送された画像１９２の周囲に筐体画像１９１を加えると共に、タッチ位置のデータに基づいて操作手指１９３を合成する。この合成処理が行われた画像が、第２端末１００ｂの表示部１１０ｂで表示されると共に、出力ポート１０１ｂからプロジェクタ装置２００に伝送される。
プロジェクタ装置２００は、第２端末１００ｂの出力ポート１０１ｂから出力される画像データを処理して、スクリーン２１０に投影させる。
【００６２】
［２−２．端末の構成例］
図１５は、第１端末１００ａと第２端末１００ｂの内部構成を示す図である。第１端末１００ａと第２端末１００ｂは、基本的に同一の構成であり、第１端末１００ａの各構成要素には符号ａを付し、第２端末１００ｂの各構成要素には符号ｂを付して示す。この例では、図２に示した端末１００内の第１フレームメモリ１２２での処理を、第１端末１００ａ内のフレームメモリ１２２ａが行い、第２フレームメモリ１４での処理を、第２端末１００ｂ内のフレームメモリ１２２ｂが行っている。
【００６３】
第１端末１００ａは、制御部１２０ａ内の画像描画部１２５ａによる描画処理でフレームメモリ１２２ａに作成された画像が、表示部１１０ａされる。また、フレームメモリ１２２ａに作成された画像データが、通信処理部１２６ａから第２端末１００ｂに無線伝送される。このとき、画像データと共にタッチ入力検出部１２１ａで検出したタッチ位置のデータについても、第２端末１００ｂに無線伝送される。
また、第１端末１００ａは、重力センサ１３１ａとフェイスカメラ１３２ａと記憶部１３３ａと操作スイッチ１３４ａを備える。
【００６４】
第２端末１００ｂは、通信処理部１２６ｂが受信した画像データとタッチ位置データに基づいて、画像描画部１２５ｂがフレームメモリ１２２ｂに画像の描画を行う。ここで画像描画部１２５ｂがフレームメモリ１２２ｂに描画させる画像は、第１端末１００ａが表示した画像に、第１端末１００ａの筐体枠を加えると共に、タッチ位置に応じた手指を合成した画像である。
第２端末１００ｂのフレームメモリ１２２ｂで得られた画像データは、表示部１１０ｂに供給されて表示されると共に、出力ポート１０１ｂからプロジェクタ装置２００に伝送される。
なお、図１５の構成では、第２端末１００ｂの通信処理部１２６ｂが、画像データとタッチ位置データの入力部として機能するようにしたが、ケーブルが接続される入力ポートを、これらの入力部としてもよい。
【００６５】
［２−３．表示処理の流れの例］
次に、２台の端末１００ａ，１００ｂが行う表示処理の流れを、図１６のフローチャートを参照して説明する。図１６のフローチャートでは、第１端末１００ａの制御部１２０ａが行う表示のための制御の流れをステップＳ３１〜Ｓ３３で示す。また、第２端末１００ｂの制御部１２０ｂ内の画像描画部１２５ｂで行われる画像処理の流れをステップＳ４１〜Ｓ４３で示す。さらに図１６のフローチャートでは、制御部１２０ａ，１２０ｂとその周辺部とのデータのやり取りについても、破線で示す。
【００６６】
第１端末１００ａ側の制御部１２０ａが行う制御としては、まず制御部１２０で、表示部１１０のタッチパネルでタッチされた位置などを判断するタッチ入力検出処理が行われる（ステップＳ３１）。この制御部１２０ａによるタッチ位置の判断は、表示部１１０ａに配置されたタッチパネルの状態のタッチ入力検出部１２１ａでの検出に基づいて行われる。
そして、制御部１２０ａは、手指の検出処理を行う（ステップＳ３２）。ここでは、制御部１２０ａは、ステップＳ３１で判断したタッチ位置と、重力センサ１３１ａの検出データと、フェイスカメラ１３２ａが撮影した画像データとを使用する。すなわち、重力センサ１３１ａでの検出データに基づいて、表示部１１０ａの表示パネルの底面がどの方向かを判断する。また、フェイスカメラ１３２ａが撮影した画像から、手指が表示パネルに接近しているか否かを判断する。これらの判断に基づいて、タッチパネルへのタッチを検出した際には、そのタッチした指の向きなどを判断する。また、タッチパネルでタッチを検出しない状態で、フェイスカメラ１３２ａの撮影画像から手指を検出したときには、制御部１２０ａは、タッチパネルに手指が接近した状態であると判断する。
【００６７】
そして、制御部１２０ａは、ステップＳ３１，Ｓ３２でのタッチ位置などの判断に基づいて、表示部１１０ａで表示させる画像を確定し、画像描画部１２５ａは、その表示画像をフレームメモリ１２２ａに描画する（ステップＳ３３）。表示部１１０ａは、フレームメモリ１２２ａに描画された画像の表示を行う。
制御部１２０ａでは、表示部１１０ａが画像を表示する間、このステップＳ３１，Ｓ３２，Ｓ３３の処理が繰り返し実行される。
【００６８】
そして、第２端末１００ｂでは、第１端末１００ａから伝送された画像に筐体画像や手指画像を合成する処理が行われる。すなわち、画像描画部１２５ｂは、ステップＳ３３でフレームメモリ１２２ａに描画された画像データを取り込み、表示用の画像データを取得する画像取得処理を行う（ステップＳ４１）。
【００６９】
次に、画像描画部１２５ｂは、画像に手指画像を合成する処理を行う（ステップＳ４２）。このときには、第１端末１００ａの制御部１２０ａがステップＳ３２で検出した手指の位置に、手指画像を合成する。また、画像描画部１２５ｂは、第１端末１００ａのフレームメモリ１２２ａから得た画像の周囲に、端末の筐体画像を合成する。これらの手指画像や筐体画像は、記憶部１３３bから読み出した画像である。
【００７０】
そして、制御部１２０ｂは、画像描画部１２５ｂにより描画された画像をフレームメモリ１２２ｂに書込む（ステップＳ４３）。このフレームメモリ１２２ｂに書き込まれた画像が、出力ポート１０１ｂから外部に出力され、プロジェクタ装置２００でスクリーン２１０に投射される。
画像描画部１２５ｂでは、表示部１１０ａが画像を表示する間、このステップＳ４１，Ｓ４２，Ｓ４３の処理が繰り返し実行される。
【００７１】
このような処理で第２端末１００ｂからプロジェクタ装置２００に画像データが伝送されることで、プロジェクタ装置２００でスクリーン２１０に投射される画像は、第１の実施の形態の例で説明したものと同様のものになる。すなわち、プレゼンターが手指ｆで第１端末１００ａをタッチ操作したとき、第２端末１００ｂ内で、手指画像などが合成されて、プロジェクタ装置２００に供給されて、投射されるようになる。手指画像や筐体画像が合成される状態は、第１の実施の形態の例の各図で説明した状態が適用される。
【００７２】
［２−４．第２の実施の形態例による効果］
この第２の実施の形態の例によると、プレゼンターが手指ｆで第１端末１００ａをタッチ操作した状態が、画像合成されてスクリーン２１０上に表示されるようになる。したがって、この第２の実施の形態の例によると、第１の実施の形態の例で説明した場合と同様に、タッチパネルを使った操作の良好なプレゼンテーションが可能になる。第２の実施の形態例では、具体的な手指画像の合成例は説明しないが、第１の実施の形態例で説明した合成例がそのまま適用できる。
また、第２の実施の形態例の場合、第１端末１００ａと第２端末１００ｂは、それぞれ画像処理を行うためのメモリであるフレームメモリ１２２ａ，１２２ｂが１個ずつでもよい。このため、第１端末１００ａと第２端末１００ｂとして、一般的な構成のタブレット端末やスマートフォン端末が適用可能である。なお、第２端末１００ｂについては、表示部での表示を行う必要がなく、タッチパネルを備える必要もない。このため、例えばパーソナルコンピュータ装置などの各種情報処理装置が、第２端末１００ｂとして機能するようにしてもよい。
【００７３】
＜３．変形例＞
［３−１．筐体の側面を表示する例］
図１や図１４に示した例では、スクリーン２１０に表示される画像として、端末の正面の筐体画像を表示するようにした。これに対して、筐体の側面などに配置された操作ボタンの操作を説明するために、操作ボタンなどが配置された筐体の側面の画像を、スクリーン２１０上に同時に表示させるようにしてもよい。
例えば図１７に示すように、端末１００（又は端末１００ｂ）内での画像合成処理では、スクリーン２１０上に端末の正面の筐体画像２２１Ｆを表示すると共に、その筐体画像２２１Ｆの脇に、側面の筐体画像２２１Ｓを表示している。また、端末１００の実際の構成に対応して、正面の筐体画像２２１Ｆには操作スイッチ２２５−１が配置され、側面の筐体画像２２１Ｓには操作スイッチ２２５−２が配置される。
【００７４】
そして、図１７に示すように、端末１００の側面に配置された操作スイッチ１３４−２の手指ｆ′による操作があったとき、制御部１２０は、側面の筐体画像２２１Ｓに表示された操作スイッチ２２５−２を操作する手指２２６を画像中に合成し、スクリーン２１０上に表示する。
【００７５】
このような側面の操作スイッチの操作状況についても表示することで、より良好なプレゼンテーションを行うことができる。なお、端末１００の正面に配置された操作スイッチ１３４−１が操作された場合にも、同様に手指の画像を合成して操作状態を説明するようにしてもよい。
また、図１７では、端末の右側面の画像だけを表示する例を示したが、制御部１２０は、左側面などの他の側面や背面の画像をスクリーン上に並べて表示させるようにしてもよい。
【００７６】
［３−２．その他の変形例］
上述した各実施の形態例では、端末１００又は１００ａに配置されたフェイスカメラ１３２又は１３２ａが撮影した画像から、表示パネルへの手指の接近を検出するようにした。これに対して、フェイスカメラが配置されていない端末、あるいはフェイスカメラでパネルに接近した手指の撮影が不可能な端末の場合には、合成画像で接近した手指を表示しないようにしてもよい。すなわち、タッチ入力検出部１２１又は１２１ａがタッチ入力を検出した時点で、スクリーン２１０に投射される画像にタッチした手指を合成するようにしてもよい。この場合には、画面上に突然手指が現れることになるが、端末の操作方法を説明するという目的は達成することができる。タッチを検出しなくなった場合にも、合成された手指が下などに移動して消えるのではなく、突然画面から消えるようにしてもよい。
【００７７】
また、ここまで説明した各実施の形態例では、端末１００又は１００ｂとプロジェクタ装置２００とを接続して、プロジェクタ装置２００がスクリーン２１０に投射する画像で、プレゼンテーションを行う例とした。これに対して、例えば端末１００又は１００ｂが備える画像出力部として、無線又は有線の所定のネットワークに画像データを出力する機能を備えるようにしてもよい。このようにすることで、ネットワークに接続された遠隔地の表示装置が、端末１００又は１００ｂが出力する画像を表示するようになる。したがって、端末１００又は１００ｂを操作しているプレゼンターが、遠隔地にいる者に対してプレゼンテーションを行うことができるようになる。
また、図１や図１４に示す構成において、端末１００又は１００ｂからプロジェクタ装置２００に、無線で画像データを伝送するようにしてもよい。また、プロジェクタ装置２００以外の表示装置が、画像を表示するようにしてもよい。
【００７８】
また、図３又は図１６のフローチャートに示す画像処理を行うプログラムを作成して、そのプログラムを既存の端末に実装することで、上述した第１又は第２の実施の形態の例で説明した処理を行うようにしてもよい。
【符号の説明】
【００７９】
１００…端末、１００ａ…第１端末、１００ｂ…第２端末、１０１，１０１ｂ…出力ポート、１０２…伝送ケーブル、１１０，１１０ａ，１１０ｂ…表示部、１２０，１２０ａ，１２０ｂ…制御部、１２１，１２１ａ…タッチ入力検出部、１２２…第１フレームメモリ、１２２ａ，１２２ｂ…フレームメモリ、１２３…画像合成部、１２４…第２フレームメモリ、１２５ａ，１２５ｂ…画像描画部、１２６ａ，１２６ｂ…通信処理部、１３１，１３１ａ…重力センサ、１３２，１３２ａ…フェイスカメラ、１３３，１３３ａ，１３３ｂ…記憶部、２００…プロジェクタ装置、２１０…スクリーン、２２０…投射画像、２２１…筐体画像、２２２…端末表示画像、２２３…合成された手指
【図１】
2015230587.tif 000003
【図２】
2015230587.tif 000004
【図３】
2015230587.tif 000005
【図４】
2015230587.tif 000006
【図５】
2015230587.tif 000007
【図６】
2015230587.tif 000008
【図７】
2015230587.tif 000009
【図８】
2015230587.tif 000010
【図９】
2015230587.tif 000011
【図１０】
2015230587.tif 000012
【図１１】
2015230587.tif 000013
【図１２】
2015230587.tif 000014
【図１３】
2015230587.tif 000015
【図１４】
2015230587.tif 000016
【図１５】
2015230587.tif 000017
【図１６】
2015230587.tif 000018
【図１７】
2015230587.tif 000019