(57)【要約】【課題】ディスプレイ装置に接続された情報処理装置に対する各種操作の情報を、情報処理装置からディスプレイ装置に送信する画像信号に含ませてディスプレイ装置に送ることができる表示システムを提供すること。【解決手段】情報処理装置と、前記情報処理装置が接続されたディスプレイ装置とを備える表示システムであって、前記情報処理装置は、前記情報処理装置に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部と、  前記操作情報画像の画像信号を、前記ディスプレイ装置に送信する第１の画像通信部と、  を具備し、前記ディスプレイ装置は、前記操作情報画像の画像信号を受信する第２の画像通信部と、前記操作情報画像から、前記操作情報を抽出する操作情報抽出部と、前記操作情報と対応付けられた画面制御を実行する画面制御部と、を具備することを特徴とする表示システムである。【選択図】図１
2014202797.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置と、前記情報処理装置が接続されたディスプレイ装置とを備える表示システムであって、
前記情報処理装置は、
前記情報処理装置に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部と、
前記操作情報画像の画像信号を、前記ディスプレイ装置に送信する第１の画像通信部と、
を具備し、
前記ディスプレイ装置は、
前記操作情報画像の画像信号を受信する第２の画像通信部と、
前記操作情報画像から、前記操作情報を抽出する操作情報抽出部と、
前記操作情報と対応付けられた画面制御を実行する画面制御部と、
を具備することを特徴とする表示システム。
【請求項２】
前記操作情報画像は、バーコード、文字列、カラーコード、のうち少なくともいずれか一つの、前記操作情報を表す画像である
ことを特徴とする請求項１に記載の表示システム。
【請求項３】
前記ディスプレイ装置は、
前記ディスプレイ装置が備える表示部の一部分を覆うように設けられたカバーを備え、
前記操作情報画像は、
前記カバーによって覆われた前記表示部の一部分に表示される
ことを特徴とする請求項１または請求項２に記載の表示システム。
【請求項４】
前記操作情報抽出部は、
前記カバーの裏面に設置される操作情報読取センサーを備え、該操作情報読取センサーが前記カバーによって覆われた前記表示部の一部分に表示される前記操作情報画像を読み取ることで、前記操作情報を抽出する
ことを特徴とする請求項３に記載の表示システム。
【請求項５】
前記ディスプレイ装置は、
前記操作情報画像を、別の画像に置き換えて、前記ディスプレイ装置の表示部に表示させる操作情報隠匿部を備える
ことを特徴とする請求項１または請求項２に記載の表示システム。  
【請求項６】
前記操作情報画像生成部は、前記情報処理装置に、所定の周辺機器が接続されたときのみ前記操作情報画像を生成する
ことを特徴とする請求項５に記載の表示システム。
【請求項７】
ディスプレイ装置が接続された情報処理装置であって、
自装置に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部と、
前記操作情報画像の信号を、前記ディスプレイ装置に送信する第１の画像通信部と
を具備することを特徴とする情報処理装置。
【請求項８】
情報処理装置が接続されたディスプレイ装置であって、
前記情報処理装置から、前記情報処理装置に行われた操作を示す操作情報を表す操作情報画像の画像信号を受信する第２の画像通信部と、
前記操作情報画像から、前記操作情報を抽出する操作情報抽出部と、
前記操作情報と対応付けられた画面制御を実行する画面制御部と、
を具備することを特徴とするディスプレイ装置。
【請求項９】
情報処理装置と、前記情報処理装置が接続されたディスプレイ装置とを備える表示システムにおける表示方法であって、
前記情報処理装置が、前記情報処理装置に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する第１の過程と、
前記情報処理装置が、前記操作情報画像の画像信号を、前記ディスプレイ装置に送信する第３の過程と、
前記ディスプレイ装置が、前記操作情報画像の画像信号を受信する第４の過程と、
前記ディスプレイ装置が、前記操作情報画像から、前記操作情報を抽出する第５の過程と、
前記ディスプレイ装置が、前記操作情報と対応付けられた画面制御を実行する第６の過程と、
を有することを特徴とする表示方法。
【請求項１０】
ディスプレイ装置が接続された情報処理装置のコンピュータを、
自装置に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部、
前記操作情報画像の画像信号を、接続されたディスプレイ装置に送信する第１の画像通信部、
として機能させるためのプログラム。
【請求項１１】
情報処理装置が接続されたディスプレイ装置のコンピュータを、
前記情報処理装置から、前記情報処理装置に行われた操作情報を表す操作情報画像の画像信号を受信する第２の画像通信部、
前記操作情報画像から、前記操作情報を抽出する操作情報抽出部、
前記操作情報と対応付けられた画面制御を実行する画面制御部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、表示システム、ディスプレイ装置、情報処理装置、表示方法及びプログラムに関する。
【背景技術】
【０００２】
近年、ディスプレイオーディオやカーナビゲーションなどのオーディオビジュアル機能を備えたディスプレイ装置には、携帯電話端末などの情報処理装置を接続することで、情報処理装置に表示された各種アプリケーションの画像を表示させるものがある。
【０００３】
特許文献１に記載の表示制御装置は、パーソナル・コンピュータとか、ワークステーションとかで使用する分離型ディスプレイの、停止、起動、表示形式の変更等の表示動作を制御する。その際、表示制御装置は、表示制御装置から分離型ディスプレイに送信する表示画像の画像信号に、実行させたい表示動作を表す画像制御信号を含めて受信させることによって、分離型ディスプレイの表示動作の制御を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−３４１７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載の表示制御装置は、自装置に接続された情報処理装置に対する操作を示す操作情報を、前述した表示画像の画像信号に含めて送信することができないという問題がある。例えば、表示制御装置によって、自装置に接続された多機能携帯電話端末（スマートフォン）のようなタッチパネル付の情報処理装置に対する、タップ、フリック、スワイプ等のタッチ操作を示す操作情報を、前述した表示画像の画像信号に含めて分離型ディスプレイに送信することができない。
【０００６】
そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、ディスプレイ装置に接続された情報処理装置に対する各種操作の情報を、情報処理装置からディスプレイ装置に送信する画像信号に含ませてディスプレイ装置に送ることができる表示システム、ディスプレイ装置、情報処理装置、表示方法及びプログラムを提供する。
【課題を解決するための手段】
【０００７】
上記課題の解決手段として、請求項１記載の発明は、情報処理装置（２００）と、前記情報処理装置（２００）が接続されたディスプレイ装置（１００）とを備える表示システムであって、前記情報処理装置（２００）は、前記情報処理装置（２００）に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部（２０５）と、前記操作情報画像の画像信号を、前記ディスプレイ装置（１００）に送信する第１の画像通信部（２０１）と、を具備し、前記ディスプレイ装置（１００）は、前記操作情報画像の画像信号を受信する第２の画像通信部（１０１）と、前記操作情報画像から、前記操作情報を抽出する操作情報抽出部（１０４）と、前記操作情報と対応付けられた画面制御を実行する画面制御部（１０５）と、を具備することを特徴とする表示システム（９０）である。
【０００８】
請求項２に記載の発明は、請求項１に記載の表示システムであって、前記操作情報画像は、バーコード、文字列、カラーコード、のうち少なくともいずれか一つの、前記操作情報を表す画像である。
請求項３に記載の発明は、請求項１または請求項２に記載の表示システム（９０）であって、前記ディスプレイ装置（１００）は、前記ディスプレイ装置（１００）が備える表示部（１０２）の一部分を覆うように設けられたカバーを備え、前記操作情報画像は、前記カバーによって覆われた前記表示部（１０２）の一部分に表示される。
【０００９】
請求項４に記載の発明は、請求項３に記載の表示システム（９０）であって、前記操作情報抽出部（１０４）は、前記カバーの裏面に設置される操作情報読取センサー（１１２）を備え、該操作情報読取センサー（１１２）が前記カバーによって覆われた前記表示部（１０２）の一部分に表示される前記操作情報画像を読み取ることで、前記操作情報を抽出する。
請求項５に記載の発明は、請求項１または請求項２に記載の表示システム（９０）であって、前記ディスプレイ装置（１００）は、前記操作情報画像を、別の画像に置き換えて、前記ディスプレイ装置（１００）の表示部（１０２）に表示させる操作情報隠匿部（１０９）を備える。
請求項６に記載の発明は、請求項５に記載の表示システム（９０）であって、前記操作情報画像生成部（２０５ｂ）は、前記情報処理装置（２００）に、所定の周辺機器が接続されたときのみ前記操作情報画像を生成する。
【００１０】
請求項７に記載の発明は、ディスプレイ装置（１００）が接続された情報処理装置（２００）であって、自装置（２００）に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部（２０５）と、前記操作情報画像の信号を、前記ディスプレイ装置（１００）に送信する第１の画像通信部（２０１）とを具備することを特徴とする情報処理装置（２００）である。
請求項８に記載の発明は、情報処理装置（２００）が接続されたディスプレイ装置（１００）であって、前記情報処理装置（２００）から、前記情報処理装置（２００）に行われた操作を示す操作情報を表す操作情報画像の画像信号を受信する第２の画像通信部（１０１）と、前記操作情報画像から、前記操作情報を抽出する操作情報抽出部（１０４）と、前記操作情報と対応付けられた画面制御を実行する画面制御部（１０５）と、を具備することを特徴とするディスプレイ装置（１００）である。
【００１１】
請求項９に記載の発明は、情報処理装置（２００）と、前記情報処理装置（２００）が接続されたディスプレイ装置（１００）とを備える表示システム（９０）における表示方法であって、前記情報処理装置（２００）が、前記情報処理装置（２００）に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する第１の過程と、前記情報処理装置（２００）が、前記操作情報画像の画像信号を、前記ディスプレイ装置（１００）に送信する第３の過程と、前記ディスプレイ装置（１００）が、前記操作情報画像の画像信号を受信する第４の過程と、前記ディスプレイ装置（１００）が、前記操作情報画像から、前記操作情報を抽出する第５の過程と、前記ディスプレイ装置（１００）が、前記操作情報と対応付けられた画面制御を実行する第６の過程と、を有することを特徴とする表示方法である。
【００１２】
請求項１０に記載の発明は、ディスプレイ装置（１００）が接続された情報処理装置（２００）のコンピュータを、自装置（２００）に行われた操作を示す操作情報を取得し、前記操作情報を表す操作情報画像を生成する操作情報画像生成部（２０５）、前記操作情報画像の画像信号を、接続されたディスプレイ装置（１００）に送信する第１の画像通信部（２０１）、として機能させるためのプログラムである。
【００１３】
請求項１１に記載の発明は、情報処理装置（２００）が接続されたディスプレイ装置（１００）のコンピュータを、前記情報処理装置（２００）から、前記情報処理装置（２００）に行われた操作情報を表す操作情報画像の画像信号を受信する第２の画像通信部（１０１）、前記操作情報画像から、前記操作情報を抽出する操作情報抽出部（１０４）、前記操作情報と対応付けられた画面制御を実行する画面制御部（１０５）、として機能させるためのプログラムである。
【発明の効果】
【００１４】
請求項１記載の発明によれば、ディスプレイ装置に接続された情報処理装置に対する各種操作の情報を、情報処理装置からディスプレイ装置に送信する画像信号に含ませてディスプレイ装置に送ることができる。
請求項３記載の発明によれば、ディスプレイ装置に表示された操作情報画像を、ユーザから見えないようにすることができる。
請求項４記載の発明によれば、ディスプレイ装置に表示された操作情報画像から、操作情報を抽出することができる。
請求項５記載の発明によれば、操作情報画像を、別の画像に置き換えることができる。
請求項６記載の発明によれば、所定の周辺機器が情報処理装置に接続されたときのみ、操作情報画像を生成できる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態における表示システムの利用状況を示す図である。
【図２】第１の実施形態におけるディスプレイ装置と情報処理装置の概略ブロック図である。
【図３】第１の実施形態における表示画像、操作情報画像、出力画像の例を表すイメージ図である。
【図４】第１の実施形態における情報処理装置とディスプレイ装置の動作を説明するシーケンス図である。
【図５】第１の実施形態におけるＶＲＡＭのメモリ領域と、操作情報画像の関係を説明するイメージ図である。
【図６】第２の実施形態におけるディスプレイ装置１００に表示される画像の例を示すイメージ図である。
【図７】第３の実施形態におけるディスプレイ装置と情報処理装置の概略ブロック図である。
【図８】第３の実施形態における操作情報抽出部の動作を説明するフローチャートである。
【図９】第４の実施形態におけるディスプレイ装置の外観を表すイメージ図である。
【図１０】第４の実施形態におけるディスプレイ装置と情報処理装置の概略ブロック図である。
【図１１】第５の実施形態におけるディスプレイ装置１００が、情報処理装置２００の該出力画像と同じ画像を表示している場合のイメージ図である。
【図１２】第５の実施形態におけるディスプレイ装置１００、情報処理装置２００の構成を表す概略ブロック図である。
【図１３】第６の実施形態における表示システム９０の利用状況を示す外観図である。
【図１４】第６の実施形態におけるディスプレイ装置１００に表示された画像の遷移を説明するイメージ図である。
【発明を実施するための形態】
【００１６】
[第１の実施形態]
以下、図面を参照して、第１の実施形態について説明する。
図１は、表示システム９０の利用状況を示す外観図である。本実施形態における表示システム９０は、ディスプレイ装置１００、情報処理装置２００が、ＨＤＭＩ（High-Definition Multimedia Interface、高精細度マルチメディアインターフェース、登録商標）用の通信用ケーブル３０、で接続されている。
【００１７】
本実施形態における表示システム９０は、情報処理装置２００から、ディスプレイ装置１００に出力画像を送信する。情報処理装置２００で生成される出力画像の一部分は、後述する操作情報画像が描画されている。ディスプレイ装置１００は、出力画像内の操作情報画像を読み取り、操作情報画像から操作情報を抽出する。操作情報は、情報処理装置２００に行った操作を表す情報である。その後、ディスプレイ装置１００は、抽出した操作情報に対して予め割り当てられた所定の動作を実行する。なお、所定の動作は、ユーザが後から設定できるとしてもよい。また、所定の動作は、例えば、ディスプレイ装置１００がオーディオビジュアル（以下、ＡＶという）機能を持っていた場合、オーディオの音量を制御する動作や、デジタルシグナルプロセッサによる音質を制御する動作や、再生しているＣＤ（Compact Disk）の曲順を制御する動作等であるが、これらに限定されない。
【００１８】
情報処理装置２００は、板状の筐体にコンピュータ本体としての処理機能、入力装置としてのタッチパネル２０９やハードウェアキーＫｙ、後述する表示部２０２のディスプレイ、スピーカ、マイクロフォン、その他に無線ＬＡＮ、携帯電話機の機能を備えた多機能携帯電話機（スマートフォン）やタブレット端末である。また、情報処理装置２００は、タッチパネルを備えた小型のパーソナル・コンピュータであってもよい。
【００１９】
情報処理装置２００の表示部２０２は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスを有し、画像を表示する。情報処理装置２００のタッチパネル２０９は、表示部２０２のパネルに重ねて配置され、抵抗膜方式又は静電容量方式を用いてユーザの指又はペンがタッチパネル上に触れた位置を検出する。情報処理装置２００のハードウェアキーＫｙは、ＯＳ（Operating System）や後述する操作情報取得部２０７によって割り当てられた所定の動作を、情報処理装置２００に実行させるボタンやスイッチである。この所定の動作は、具体的には、アプリケーションの終了とか、ホーム画面に戻るとかであるが、これらに限定されず、操作情報取得部２０７特有の動作、例えば、ディスプレイ装置１００の電源の表示形式を切り替える動作が割り当てられていてもよい。
【００２０】
ディスプレイ装置１００は、箱状の筐体にオーディオビジュアル機器としての処理機能、コンピュータとしての処理機能、入力装置としてのタッチパネルやハードウェアキー、後述する表示部１０２、スピーカやマイクロフォンへの音声の入出力機能を備えたディスプレイオーディオとかカーナビゲーションとかであるが、これらに限定されない。例えば、ディスプレイ装置１００は、オーディオビジュアル機器等の表示機能以外の処理機能を備えたデジタルサイネージとか広告表示装置とかであってもよい。ディスプレイ装置１００の表示部１０２は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスを有し、画像を表示する。
【００２１】
なお、通信用ケーブル３０は、ＭＨＬ（Mobile High-definition Link）とか、ＵＳＢ（Universal Serial Bus）ケーブルとか、ＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）１３９４ケーブルとかでもよいし、情報処理装置２００とディスプレイ装置１００との間で情報を伝送するための専用ケーブルであってもよい。また、例えば、ディスプレイ装置１００と、情報処理装置２００とは、Bluetooth（登録商標）やＷｉ‐Ｆｉ（Wireless Fidelity、登録商標）、無線ＬＡＮ（Local Area Network）等で、無線を用いて接続されているとしてもよい。
【００２２】
図２は、第１の実施形態におけるディスプレイ装置１００、情報処理装置２００の構成を表す概略ブロック図である。同図において、図１における各部に対応する部分には、同一の符号（３０、１０２、２０２、２０９）を付し、説明を省略する。情報処理装置２００は、画像通信部２０１、表示部２０２、内部画像バッファ部２０３、画像合成部２０４、操作情報画像生成部２０５、表示画像生成部２０６、操作情報取得部２０７、操作種別判別部２０８、タッチパネル２０９、ハードキー操作取得部２１０、外部画像バッファ部２１２を含んで構成される。
【００２３】
操作種別判別部２０８は、タッチパネル２０９から取得したタッチ位置を示す情報から、ユーザが行ったタッチ操作の種別を判別する。タッチ操作の種別は、例えば、タップ、フリック、スワイプ、ピンチイン、ピンチアウト等のことであるが、これらに限定されない。操作種別判別部２０８は、タッチ位置を示す情報と、タッチ操作の種別を示す情報とを、タッチ操作情報として、操作情報取得部２０７に出力する。
【００２４】
ハードキー操作取得部２１０は、ハードウェアキーＫｙを操作したことを示すハードキー操作情報を取得する。具体的には、例えばハードウェアキーＫｙがボタンの場合、ハードキー操作取得部２１０は、ユーザがそのボタンを押下すると、ハードキー操作情報を取得する。なお、ハードキー操作情報は、ハードウェアキーＫｙに対する操作に限定されず、例えば、ジャイロセンサーとか、加速度センサーとかから得られた情報処理装置を傾けた角度を示す情報であってもよい。ハードキー操作取得部２１０は、ハードキー操作情報を取得すると、このハードキー操作情報を操作情報取得部２０７に出力する。
【００２５】
操作情報取得部２０７は、タッチ操作情報、あるいは、ハードキー操作情報のうち少なくともいずれか一つを取得する。操作情報取得部２０７は、タッチ操作情報、あるいは、ハードキー操作情報を、操作情報として操作情報画像操作情報画像生成部２０５に出力操作情報画像する。また、操作情報取得部２０７は、操作情報を、表示画像生成部２０６に出力する。
【００２６】
表示画像生成部２０６は、情報処理装置２００上で実行しているアプリケーションが、表示画像生成部２０６が取得した操作情報に基づいて、画像の表示を要求している場合、要求された画像（以下、表示画像という）を生成する。その後、表示画像生成部２０６は、生成した表示画像を、内部画像バッファ部２０３、画像合成部２０４に出力する。
操作情報画像操作情報画像生成部２０５は、操作情報取得部２０７から、操作情報を取得する。操作情報画像生成部２０５は、操作情報に基づいて、操作情報画像を生成する。操作情報画像は、操作情報を文字列や、バーコードや、カラーコードや、ＱＲコード（Quick Responseコード、登録商標）等で表現したものであるが、これらに限定されない。操作情報画像操作情報画像生成部２０５は、操作情報画像を生成すると、画像合成部２０４に出力する。
【００２７】
画像合成部２０４は、操作情報画像を取得すると、表示画像生成部２０６から表示画像を取得する。画像合成部２０４は、取得した操作情報画像と、表示画像とを、出力画像として合成する。本実施形態において、操作情報画像と表示画像との合成は、表示画像の右端と、操作情報画像の右端と一致するように、表示画像の枠内に操作情報画像を配置して合成するが、これに限定されない。例えば、該合成は、表示画像と操作情報画像との上端同士、下端同士、左端同士のいずれかが一致するように、表示画像内に操作情報画像を配置して合成してもよいし、表示画像の端ではない部分に合成するとしてもよい。ただし、この合成は、表示画像の端ではない部分に操作情報画像を配置して行った場合、操作情報画像をユーザから見えないようにするのが難しくなるので、端に配置して合成する方が好ましい。画像合成部２０４は、出力画像を、外部画像バッファ部２１２に出力する。
【００２８】
内部画像バッファ部２０３は、画面１フレーム分、あるいは複数のフレーム分の画像を保持する。内部画像バッファ部２０３は、表示画像生成部２０６から取得して保持した表示画像の画像信号を、順番に表示部２０２に出力して表示させる。
外部画像バッファ部２１２は、画像合成部２０４から取得して保持した出力画像の画像信号を、画像通信部２０１を介して、画像通信部１０１に送信する。
画像通信部２０１は、外部画像バッファ部２１２から、出力画像の画像信号を取得すると、画像通信部１０１に送信する。
【００２９】
ディスプレイ装置１００は、画像通信部１０１、表示部１０２、画像書込制御部１０３、操作情報抽出部１０４、動作制御部１０５、装置画像生成部１０６、アプリケーション１０７、操作情報隠匿部１０９、表示制御部１１０、ＶＲＡＭ１１３を含んで構成される。
画像通信部１０１は、画像通信部２０１から、出力画像の画像信号を受信すると、この出力画像の画像信号を画像書込制御部１０３に出力する。
【００３０】
画像書込制御部１０３は、画像通信部１０１から出力画像を、装置画像生成部１０６から装置画像を取得する。画像書込制御部１０３は、出力画像と、装置画像とを、ユーザや動作制御部１０５によってディスプレイ装置１００に指定された所定の表示形式に従って配置したＤＳＰ画像としてＶＲＡＭ１１３に書き込む。ＶＲＡＭ１１３は、表示部１０２に表示する画像を一時的に蓄積・記憶するビデオランダムアクセスメモリである。ＶＲＡＭ１１３は、画像書込制御部１０３から、ＤＳＰ画像として、出力画像と、装置画像とを書き込まれ、それを記憶する。具体的には、ＤＳＰ画像の画像信号を取得すると、自身の記憶領域に、この出力画像の画像信号に基づいて、ＤＳＰ画像をメモリ上に構築する。ＶＲＡＭにＤＳＰ画像として操作情報画像が記憶された場合の詳細は後述する。
操作情報抽出部１０４は、ＶＲＡＭ１１３のＤＳＰ画像を読み込み、ＤＳＰ画像内にある操作情報画像を、操作情報に変換することで、操作情報を抽出する。その後、操作情報抽出部１０４は、抽出した操作情報を、動作制御部１０５に出力する。また、操作情報抽出部１０４は、操作情報の抽出が終了したことを、操作情報隠匿部１０９に伝達し、後述する操作情報隠匿処理を実行させる。
【００３１】
動作制御部１０５は、取得した操作情報に基づいて、操作情報に予め割り当てられたディスプレイ装置１００の所定の動作を実行する。所定の動作は、各種操作情報毎に予め割り当てられており、例えば、タッチ操作として上方向にフリックした場合、ディスプレイ装置１００のスピーカの音量を大きくする、右方向にフリックしたら、再生中の音楽を次の楽曲に先送りする等であるが、これらに限定されない。また、所定の動作は、ユーザによって後から設定できるとしてもよい。動作制御部１０５は、操作情報に割り当てられた所定の動作が、表示部１０２に表示されている画像の表示形式を切り替える動作だった場合、画像書込制御部１０３に、ＶＲＡＭ１１３へ書き込む表示形式を変更させる。これら所定の動作は、操作情報に対して各種ディスプレイ装置毎に異なる動作を割り当てられる。
【００３２】
操作情報隠匿部１０９は、操作情報抽出部１０４が操作情報を抽出した後、操作情報隠匿処理として、ＶＲＡＭ１１３に記憶されているＤＳＰ画像内の操作情報画像を、塗り潰す。なお、操作情報隠匿処理は、この操作情報画像を黒く塗り潰してもよいし、他の色で塗り潰してもよい。
【００３３】
アプリケーション１０７は、カーオーディオやカーナビゲーションの機能を実現する各種アプリケーションであるが、これらに限定されない。アプリケーション１０７は、実行しているアプリケーションが画像の表示を要求しているときは、アプリケーションが要求する画像を、装置画像生成部１０６に装置画像として生成させる。
【００３４】
装置画像生成部１０６は、アプリケーション１０７の要求に従い、装置画像を生成し、画像書込制御部１０３に出力する。
表示制御部１１０は、ＶＲＡＭに記憶されているＤＳＰ画像を読み込み、表示部１０２に表示させる。
【００３５】
図３は、表示画像、操作情報画像、出力画像を説明するためのイメージ図である。再右図の情報処理装置２００の表示部２０２には、表示画像生成部２０６が生成した表示画像ｉ１０１が表示されている。中図は、出力画像ｉ１００である。出力画像ｉ１００は、操作情報画像としてバーコードｂｃが、表示画像ｉ１０１の内側右端に合成されている。本実施形態では、この出力画像ｉ１００の画像信号を、通信ケーブル３０を介して、情報処理装置２００からディスプレイ装置１００に送信し、ディスプレイ装置１００の表示部１０２に表示させるのだが、このまま表示させると、バーコードｂｃがユーザの目に直接触れてしまうことになる。
【００３６】
そこで、操作情報隠匿部１０９は、出力画像ｉ１００のバーコードｂｃのみを、出力画像ｉ１００から見えなくするため、操作情報隠匿処理を行う。操作情報隠匿処理は、最左図の黒塗りｂｌｋのように、バーコードｂｃの部分を塗り潰してしまう処理である。この操作情報隠匿処理によって、バーコードｂｃは、ユーザから見えなくなる。なお、例えば、バーコードｂｃの部分を切り取り、無くなった出力画像ｉ１００の横幅分を補完するために、出力画像ｉ１００のバーコードｂｃを除いた部分であるｉ１０１の横幅を拡大してもよいし、黒塗りを他の色で塗り潰すようにしてもよい。
【００３７】
図４は、情報処理装置２００とディスプレイ装置１００との動作を説明するシーケンス図である。情報処理装置２００には、ユーザにより、ディスプレイ装置１００の操作を目的とした各種操作が行われる（ｓ１００）。情報処理装置２００は、操作情報を包含する操作情報画像を生成する（ｓ１０１）。
【００３８】
情報処理装置２００は、表示画像と、操作情報画像とを、出力画像として合成する（ｓ１０２）。情報処理装置２００は、出力画像の画像信号を、ディスプレイ装置１００に送信する（ｓ１０３）。ディスプレイ装置１００は、出力画像の画像信号を受信する（ｓ１０４）。ディスプレイ装置１００は、出力画像から、操作情報を抽出する（ｓ１０５）。ディスプレイ装置１００は、操作情報隠匿処理として、出力画像内の操作情報画像を黒く塗り潰してユーザから見えなくする（ｓ１０６）。ディスプレイ装置１００は、操作情報に予め割り当てられた、所定の動作を実行する（ｓ１０７）。  
【００３９】
図５は、ＶＲＡＭ１１３の、メモリ領域を説明するイメージ図である。ＶＲＡＭのメモリは、図５のｘ軸及びｙ軸を付けられた四角い領域ｍｅｍ内に、出力画像の各画素に対応したメモリが、各画素の並びと同じように平面上に並んでいる。例えば、再左上段のメモリａｄｄには、出力画像の再左上段の画素の色を表す情報が格納される。出力画像内の、操作情報画像の画素の情報は、領域ｂｃｄａｔａ内の各メモリに格納される。例えば、操作情報画像がバーコードだった場合、操作情報画像操作情報画像生成部２０５は、黒を示す情報が０、白を示す情報が２５５、というようにバーコードの情報として操作情報を画像にすることができ、操作情報抽出部１０４は、同様に操作情報画像から操作情報を抽出することができる。
【００４０】
このように、本実施形態における表示システム９０は、情報処理装置２００が、操作情報を包含した出力画像の画像信号を、ディスプレイ装置１００に送信することができる。そしてディスプレイ装置１００は、その画像信号を受信し、出力画像から操作情報を抽出することができる。従って、ディスプレイ装置１００は、操作情報毎に予め所定の動作を割り当てているのでユーザは、情報処理装置２００に対する操作によって、ディスプレイ装置１００に所定の動作を実行させることができる。また、操作情報隠匿部１０９が、操作情報画像に対して操作情報隠匿処理を行い、操作情報画像を黒く塗り潰すことによって、操作情報画像がユーザから見えないようにすることができる。
【００４１】
[第２の実施形態]
第２の実施形態では、操作情報隠匿部１０９は、出力画像内の操作情報画像を黒く塗り潰さず、別の画像に置き換えることで、ユーザから操作情報画像が見えないようにする。
図６は、第２の実施形態におけるディスプレイ装置１００に表示された画像の一例を表すイメージ図である。出力画像ｉ１００ａは、操作情報隠匿部１０９は、出力画像ｉ１００ａ内の操作情報画像を黒く塗り潰さず、操作情報画像に、画像隠匿画像ｃ１００として別の画像に置き換える。
【００４２】
該画像隠匿画像ｃ１００は、例えば、その時にディスプレイ装置１００で再生されている音楽の曲名を表示する画像や、ディスプレイ装置１００が出力しているラジオの曲名を表示する画像、あるいは、ディスプレイ装置１００の動作を制御するためのソフトウェアキーが並んだメニュー画像等であるが、これらに限定されない。
従って、ディスプレイ装置１００に表示された出力画像ｉ１００ａのように、操作情報画像はユーザから見られることはない。
このように、第２の実施形態における表示システム９０は、操作情報隠匿部１０９が、操作情報画像を、画像隠匿画像ｃ１００によって置き換えることで、第１の実施形態と同じ効果を得ることができる。また、第２の実施形態における表示システム９０は、表示部１０２に、黒く塗り潰されているだけの領域が表示される代わりに、ユーザにとって有用な情報を表示することになるので、ユーザはより良好に表示システム９０を利用することができる。
【００４３】
[第３の実施形態]
図７は、第３の実施形態における情報処理装置２００、ディスプレイ装置１００の構成を表す概略ブロック図である。第３の実施形態では、情報処理装置２００は、周辺機器が接続されているときのみ、操作情報画像を生成する。周辺機器は、例えば、ステアリングスイッチ等であるが、これに限定されない。情報処理装置２００に接続された周辺機器による操作情報は、ハードキー操作取得部２１０が取得する。同図において、図２における各部に対応する部分には、同一の符号（２０１〜２０４、２０６〜２１０、２１２、１０１〜１０７、１０９、１１０、１１３）を付し、説明を省略する。情報処理装置２００は、画像通信部２０１、表示部２０２、内部画像バッファ部２０３、画像合成部２０４ｂ、操作情報画像生成部２０５ｂ、表示画像生成部２０６、操作情報取得部２０７、操作種別判別部２０８、タッチパネル２０９、ハードキー操作取得部２１０、周辺機器情報取得部２１１、外部画像バッファ部２１２、操作情報画像生成許可情報記憶部２１３を含んで構成される。
【００４４】
周辺機器情報取得部２１１は、情報処理装置２００に、周辺機器が接続された場合に、周辺機器情報として、周辺機器の識別情報を取得し、操作情報画像生成部２０５ｂに出力する。この識別情報は、例えば、ＭＡＣアドレス等の個別識別可能な情報であってもよいし、製品番号等の機種を識別可能な情報であってもよいが、これらに限定されない。
操作情報画像生成許可情報記憶部２１３は、情報処理装置２００に周辺機器が接続されたときに、操作情報画像生成部２０５ｂが、操作情報画像を生成することを許可する周辺機器を表す識別情報を格納するテーブルを、操作情報画像生成許可情報として記憶する。
【００４５】
操作情報画像生成部２０５ｂは、操作情報を取得後、周辺機器情報取得部２１１から、周辺機器情報を取得する。ここで、操作情報画像生成部２０５ｂは、周辺機器情報がヌル情報だったような場合、つまり周辺機器が接続されていない場合、操作情報画像を生成しない。操作情報画像生成部２０５ｂは、周辺機器情報を取得すると、操作情報画像生成許可情報記憶部２１３から、操作情報画像生成許可情報を取得し、操作情報画像生成許可情報に、取得した周辺機器情報が含まれているか否かを判定する。
【００４６】
操作情報画像生成部２０５ｂは、操作情報画像生成許可情報に、周辺機器情報が含まれていた場合、取得した操作情報に基づいて操作情報画像を生成する。その後、操作情報画像生成部２０５ｂは、操作情報画像を画像合成部２０４に出力する。操作情報画像生成部２０５ｂは、操作情報画像生成許可情報に、周辺機器情報が含まれていなかった場合、取得した操作情報を破棄し、操作情報画像を生成しない。
【００４７】
図８は、第３の実施形態における操作情報画像生成部２０５ｂの動作を説明するフローチャートである。操作情報画像生成部２０５ｂは、操作情報と、周辺機器情報とを抽出する（ＳＴ１００）。次に、操作情報画像生成部２０５ｂは、操作情報画像生成許可情報を取得する（ＳＴ１０１）。次に、操作情報抽出部１０４ｂは、操作情報画像生成許可情報に、取得した周辺機器情報が含まれているか否かを判定する（ＳＴ１０２）。操作情報画像生成部２０５ｂは、操作情報画像生成許可情報に、周辺機器情報が格納されていたとき（ＳＴ１０２−Ｙｅｓ）、ＳＴ１０３に遷移する。操作情報画像生成部２０５ｂは、操作情報画像生成許可情報に、周辺機器情報が格納されていなかったとき（ＳＴ１０２−Ｎｏ）、ＳＴ１０４に遷移する。操作情報画像生成部２０５ｂは、操作情報画像を生成して動作制御部１０５に出力する（ＳＴ１０３）。操作情報画像生成部２０５ｂは、操作情報を破棄する（ＳＴ１０４）。
【００４８】
このように、第３の実施形態における表示システム９０は、情報処理装置２００に、所定の周辺機器が接続されている場合のみ、操作情報画像生成部２０５ｂが操作情報画像を生成し、第１の実施形態と同様の効果を得ることができる。なお、周辺機器情報取得部２１１、操作情報画像生成許可情報記憶部２１３は、ディスプレイ装置１００に同等の機能を持つ装置を備えていてもよい。その場合、情報処理装置２００からディスプレイ装置１００に、情報処理装置２００に接続された周辺機器情報を送信することになる。  
【００４９】
[第４の実施形態]
第４の実施形態では、ディスプレイ装置１００の表示部１０２のディスプレイの一部が、物理的にカバーで覆われており、出力画像内の操作情報画像は、このカバーで覆われた部分に表示され、ユーザは操作情報画像を見ることができない。従って、第４の実施形態のディスプレイ装置１００は、操作情報画像が物理的に覆い隠されてしまうため、操作情報隠匿部１０９に相当する機能を持たない。また、カバーの裏側には、操作情報抽出部１０４に相当する、出力画像から操作情報の抽出処理を行う操作情報読取センサー１１２が設置されている。従って、第４の実施形態のディスプレイ装置１００は、ＶＲＡＭ１１３に書き込まれた出力画像から操作情報を抽出することはしない。操作情報読取センサー１１２は、例えば、バーコードリーダーとかＱＲコードリーダーとかの機能を持ったセンサーであるが、これに限定されない。
【００５０】
図９は、第４の実施形態のディスプレイ装置１００の外観を示すイメージ図である。第４の実施形態のディスプレイ装置１００は、図中のカバーｃｖｒが、表示部１０２の一部分を覆い隠すように設けられており、カバーｃｖｒの裏面に、操作情報読取センサー１１２が設置されている。操作情報読取センサー１１２は、図中の操作情報画像であるバーコードｂｃを読み取り、操作情報を抽出する。
【００５１】
図１０は、第４の実施形態における情報処理装置２００、ディスプレイ装置１００の構成を表す概略ブロック図である。第４の実施形態におけるディスプレイ装置１００は、画像通信部１０１、表示部１０２、画像書込制御部１０３、動作制御部１０５ａ、装置画像生成部１０６、アプリケーション１０７、表示制御部１１０、操作情報読取センサー１１２を含んで構成される。同図において、図２における各部に対応する部分には、同一の符号（１０２、２０１〜２１０）を付し、説明を省略する。
【００５２】
操作情報読取センサー１１２は、表示部１０２に出力画像が表示されると、出力画像内の操作情報画像を読み取り、操作情報画像から操作情報を抽出する。操作情報読取センサー１１２は、操作情報を抽出すると、操作情報を動作制御部１０５ａに送信する。
動作制御部１０５ａは、操作情報読取センサー１１２から、操作情報を取得すると、操作情報に割り当てられたディスプレイ装置１００の所定の動作を、ディスプレイ装置１００に実行させる。
【００５３】
このように、第４の実施形態における表示システム９０は、操作情報読取センサー１１２が、ディスプレイ装置１００のディスプレイに表示された操作情報画像を読み取ることができ、操作情報抽出部１０４の機能を果たすことができる。従って、操作情報読取センサー１１２は、表示部１０２に表示された操作情報画像から、操作情報を抽出できる。それ故、第４の実施形態における表示システム９０は、第１の実施形態と同じ効果を得ることができる。また、第４の実施形態におけるディスプレイ装置は、物理的なカバーによって、操作情報画像が覆い隠しているため、操作情報画像はユーザから見えないようになっている。
【００５４】
[第５の実施形態]
第５の実施形態の情報処理装置２００は、情報処理装置２００からディスプレイ装置１００に送信する出力画像と同じ画像を表示する。
図１１は、ディスプレイ装置１００が、情報処理装置２００の該出力画像と同じ画像を表示している場合のイメージ図である。ただし、ディスプレイ装置１００の表示部１０２では、操作情報隠匿部１０９の操作情報隠匿処理により、バーコードｂｃは、黒塗りｂｌｋのように黒く塗り潰されている。
図１２は、第５の実施形態におけるディスプレイ装置１００、情報処理装置２００の構成を表す概略ブロック図である。同図において、図２における各部に対応する部分には、同一の符号（１０１〜１０７、１０９、１１０、２０１、２０２、２０５〜２１０）を付し、説明を省略する。
【００５５】
画像合成部２０４ｃは、操作情報画像を取得すると、表示画像生成部２０６から表示画像を取得する。画像合成部２０４は、取得した操作情報画像と、表示画像とを、出力画像として合成する。画像合成部２０４ｃは、出力画像を、内部画像バッファ部２０３ｃと、外部画像バッファ部２１２とに出力する。
内部画像バッファ部２０３ｃは、画像合成部２０４ｃから取得して保持した出力画像の画像信号を、順番に表示部２０２に出力して表示させる。
このように、第５の実施形態における表示システム９０は、情報処理装置２００の表示部２０２が、操作情報画像を包含する出力画像を表示しても、第１の実施形態と同じ効果が得られる。
【００５６】
[第６の実施形態]
第６の実施形態は、自動車の、タコメーターや燃費計等を表示するＭＩＤ（Multi Information Display）を含むメーターパネルに、表示システム９０を応用した一例である。第６の実施形態のディスプレイ装置１００は、出力画像から操作情報を抽出する。その後、ディスプレイ装置１００は、ディスプレイ装置１００側で該操作情報に対応付けた所定の動作として、表示部１０２の表示形式を切り替える動作を行う場合の例を説明するが、操作情報に対応付ける所定の動作はこれに限定されない。例えば、ＭＩＤに表示される、自動車の走行距離の数値をリセットする動作でもよいし、ＭＩＤの表示パネルの背景色を変える動作でもよい。第６の実施形態におけるディスプレイ装置１００、情報処理装置２００の構成を表す概略ブロック図は、図１２と同様であるため、説明を省略する。
【００５７】
図１３は、第６の実施形態における表示システム９０の利用状況を示す外観図である。同図において、図１における各部に対応する部分には、同一の符号（１０２、２００、２０２、２０９）を付し、説明を省略する。第６の実施形態の表示システム９０は、第１の実施形態同様に、ディスプレイ装置１００、情報処理装置２００が、通信用ケーブル３０、で接続されている。
第６の実施形態の情報処理装置２００は、第５の実施形態の情報処理装置２００と同様に、出力画像を表示する。従って、図１３上において、情報処理装置２００の表示部２０２は、操作情報画像であるバーコードｂｃを表示している。第６の実施形態の情報処理装置２００は、操作情報画像を、出力画像の上部に配置しているが、これに限定されず、例えば、出力画像の左端、右端、下端のいずれかに配置してもよい。
【００５８】
また、出力画像中のバーコードｂｃ以外の部分は、情報処理装置２００のＯＳ（Operation System）によるＧＵＩ（Graphical User Interface）画面ｈｍを表示している。ＧＵＩ画面ｈｍは、表示画像生成部２０６で生成された表示画像である。従って、例えば、ＧＵＩ画面ｈｍの部分には、情報処理装置２００上で起動する各種アプリケーションの画面が表示される場合もある。
【００５９】
第６の実施形態のディスプレイ装置１００は、自動車に搭載される、ＭＩＤとして表示部１０２を含んだメーターパネルである。ディスプレイ装置１００は、図１３のように、スピードメーターｍｐｈ、表示部１０２が設置されている。スピードメーターｍｐｈは、ディスプレイ装置１００が搭載された自動車のスピードを表示するメーターである。ディスプレイ装置１００の表示部１０２には、該自動車のエンジンの回転数を示すタコメーターｒｐｍが表示されている。また、表示部１０２には、タコメーターｒｐｍの上部に、黒塗りｂｌｋが表示されている。これは、本実施形態の画像書込制御部１０３が、出力画像と、装置画像とを、ＤＳＰ画像としてＶＲＡＭ１１３に書き込む際、常にバーコードｂｃが常にＤＳＰ画像の上部に表示されるように書き込むからである。
【００６０】
従って、本実施形態のディスプレイ装置１００は、出力画像から抽出された操作情報によって、表示形式が変わる場合、図１３上の黒塗りｂｌｋ以外の部分だけが変わり、常に黒塗りｂｌｋは表示されている。該表示形式が変わる場合の詳細は後述する。図１３上では、バーコードｂｃは、操作情報隠匿処理によって、黒塗りｂｌｋとして黒く塗り潰されている。なお、黒塗りｂｌｋは、黒塗りに限定されず、例えば、黒以外の色でもよいし、各種メーター名が記載あれた画像でもよい。また、本実施形態において、スピードメーターｍｐｈは、ＭＩＤとは別にディスプレイ装置１００に設置したが、これに限定されず、タコメーター等と同様に、ＭＩＤである表示部１０２に表示されるようにしてもよい。
【００６１】
図１４は、ディスプレイ装置１００が取得する操作情報に対応付けた所定の動作が、該ＭＩＤである表示部１０２の表示形式を変える動作の場合、例えば図１３における黒塗りｂｌｋの部分以外が遷移する状況を説明するイメージ図である。表示部１０２ａには、タコメーターｒｐｍと、黒塗りｂｌｋとが表示されている。この後、ディスプレイ装置１００が、情報処理装置２００から出力画像を取得すると、ディスプレイ装置１００は、出力画像から操作情報を抽出する。ディスプレイ装置１００が、該操作情報に対応付けた所定の動作として、表示形式の変更を対応付けていた場合、例えば、表示部１０２の表示領域１０２ａは、表示部１０２の表示領域１０２ｂのようになる。
【００６２】
表示部１０２の表示領域１０２ｂは、情報処理装置２００に表示されているＧＵＩ画面ｈｍと、黒塗りｂｌｋとが表示されている。つまり、ディスプレイ装置１００は、自動車に搭載されたディスプレイ装置１００に特有の装置画像であるタコメーターｒｐｍの画像部分を、情報処理装置２００のＧＵＩ画面ｈｍに遷移させる。この場合、ディスプレイ装置１００は、情報処理装置２００に表示されている画像と同じ画像が表示されている。そのため、情報処理装置２００側で、アプリケーションのアイコンａｐｌｉｃｎをタップし、該アプリケーションが起動した場合、表示部１０２の表示領域１０２ｃには、該アプリケーションの画面ａｐｌが表示される。また、次に再び別の表示形式を切り替える動作に対応付けられた操作情報を抽出した場合、ディスプレイ装置１００は、表示部１０２の表示領域１０２ｄのように、燃費計ｍｐｌの画像を表示する。
【００６３】
このように、第６の実施形態における表示システム９０は、情報処理装置２００から、ディスプレイ装置１００に操作情報を送信する。ディスプレイ装置１００は、該操作情報を取得し、ディスプレイ装置１００側で予め該操作情報に対応付けた所定の動作を行う。それ故、第１の実施形態と同様の効果が得られる。該所定の動作は、情報処理装置２００に接続された各種ディスプレイ装置毎に別の動作を対応付けることができるのに加えて、各種ディスプレイ装置毎に特有の動作を対応付けることができる。より具体的には、ディスプレイ装置１００が取得した、情報処理装置２００から送信された操作情報を、どのように解釈し、どのような動作を行わせるかは、接続するディスプレイ装置によって様々である。また、該所定の動作は、ユーザが後で設定できるとしてもよい。
【００６４】
従って、情報処理装置２００は、情報処理装置２００に対する操作を示す操作情報を送信した場合、ＭＩＤであるディスプレイ装置１００側で、該操作情報に対して、自動車のメーターに係わる表示を切り替える動作を対応付けることにより、ディスプレイ装置１００の表示を切り替えることができる。なお、本実施形態において、ディスプレイ装置１００に表示されるメーターは、タコメーターｒｐｍ、燃費計ｍｐｌとしたが、これに限定されない。例えば、スピードメーター、過給圧計、負圧計、電圧計、油圧計、水温計、高度計等であってもよいし、自動車の状態を知らせる警告等が表示されてもよい。
【００６５】
また、図２、７、１０、１２における情報処理装置２００、ディスプレイ装置１００の機能もしくはその一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報処理装置２００、ディスプレイ装置１００を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【産業上の利用可能性】
【００６８】
本発明は、情報処理装置とディスプレイ装置を接続して利用する際に好適に用いられるが、これに限られない。
【符号の説明】
【００６９】
３０・・・通信用ケーブル  
９０・・・表示システム  
１００・・・ディスプレイ装置  
１０１・・・画像通信部  
１０２・・・表示部  
１０３・・・画像バッファ部  
１０４・・・操作情報抽出部  
１０５・・・動作制御部  
１０６・・・装置画像生成部  
１０７・・・操作情報取得部  
１０９・・・操作情報隠匿部  
１１０・・・表示制御部  
１１２・・・操作情報読取センサー  
１１３・・・ＶＲＡＭ
２００・・・情報処理装置  
２０１・・・画像通信部  
２０２・・・表示部  
２０３・・・内部画像バッファ部  
２０４・・・画像合成部  
２０５・・・操作情報画像生成部  
２０６・・・表示画像生成部  
２０７・・・アプリケーション  
２０８・・・操作種別判別部  
２０９・・・タッチパネル  
２１０・・・ハードキー操作取得部
２１１・・・周辺機器情報取得部
２１２・・・外部画像バッファ部
２１３・・・操作情報画像生成許可情報記憶部
【図１】
2014202797.tif 000003
【図２】
2014202797.tif 000004
【図３】
2014202797.tif 000005
【図４】
2014202797.tif 000006
【図５】
2014202797.tif 000007
【図６】
2014202797.tif 000008
【図７】
2014202797.tif 000009
【図８】
2014202797.tif 000010
【図９】
2014202797.tif 000011
【図１０】
2014202797.tif 000012
【図１１】
2014202797.tif 000013
【図１２】
2014202797.tif 000014
【図１３】
2014202797.tif 000015
【図１４】
2014202797.tif 000016