(57)【要約】【課題】情報処理機器の利用者の利便性を向上させる。【解決手段】表示手段と音声出力手段とを備えた情報処理機器と、端末装置とに通信接続可能な接続手段と、接続手段を介して、情報処理機器と複数の端末装置とに接続された状態において、接続手段を介して接続された複数の端末装置を選択可能に表示手段に表示させ、表示された複数の端末装置から選択された第1の端末装置から送信される画面データを情報処理機器に送信して、表示手段に画面データに基づく表示を実行させる表示制御部と、表示された複数の端末装置から選択された第2の端末装置から送信される音声データを情報処理機器に送信して、音声出力手段に音声データに基づく音声出力を、表示手段による画面データに基づく表示と並行して実行させる音声出力制御部と、を備えたことを特徴とする制御装置。【選択図】図5
2016091313.tif 000002
【特許請求の範囲】
【請求項１】
表示手段と音声出力手段とを備えた情報処理機器と、端末装置とに通信接続可能な接続手段と、
前記接続手段を介して、前記情報処理機器と前記複数の端末装置とに接続された状態において、前記接続手段を介して接続された前記複数の端末装置を選択可能に前記表示手段に表示させ、表示された前記複数の端末装置から選択された第1の端末装置から送信される画面データを前記情報処理機器に送信して、前記表示手段に該画面データに基づく表示を実行させる表示制御部と、
表示された前記複数の端末装置から選択された第2の端末装置から送信される音声データを前記情報処理機器に送信して、前記音声出力手段に該音声データに基づく音声出力を、前記表示手段による前記画面データに基づく表示と並行して実行させる音声出力制御部と、
を備えたことを特徴とする制御装置。
【請求項２】
さらに、前記接続手段を介して接続された前記複数の端末装置を管理する管理部を備え、
前記表示制御部は、前記管理部により管理される前記複数の端末装置を選択する機器画面のデータを作成し、作成した機器画面のデータを前記情報処理機器に送信して、前記表示手段に該機器画面のデータに基づく表示を実行させ、
前記管理部は、前記機器画面を介して選択された前記第1の端末装置が作成した画面データを該第1の端末装置に送信させ、さらに、前記機器画面を介して選択された前記第2の端末装置が出力する音声データを該第2の端末装置に送信させ、
前記表示制御部は、選択された前記第1の端末装置から送信される画面データを前記情報処理機器に送信し、
前記音声出力制御部は、前記第2の端末装置から送信される音声データを前記情報処理機器に送信することを特徴とする請求項1に記載の制御装置。
【請求項３】
前記管理部は、前記接続手段を介して接続された前記複数の端末装置の各々の識別子を作成し、作成した該複数の端末装置の各々の識別子と、該複数の端末装置を選択する際に操作される選択画像が前記情報処理機器の表示手段に表示される表示領域を特定する第1の特定情報とを対応付けて記憶部に記憶し、
前記表示制御部は、前記複数の端末装置の各々の選択画像の第1の特定情報に基づき、前記選択画像を、前記機器画面に配置する領域を特定し、前記複数の端末装置の各々の前記選択画像が、特定した領域に配置された前記機器画面の画面データを作成することを特徴とする請求項2に記載の制御装置。
【請求項４】
音声出力手段と表示手段とを備える情報処理機器と、複数の端末装置と、に接続されたコンピュータに、
前記接続手段を介して、前記情報処理機器と前記複数の端末装置とに接続された状態において、前記接続手段を介して接続された前記複数の端末装置を選択可能に前記表示手段に表示させ、
表示された前記複数の端末装置から選択された第1の端末装置から送信される画面データを前記情報処理機器に送信して、前記表示手段に該画面データに基づく表示を実行させ、
表示された前記複数の端末装置から選択された第2の端末装置から送信される音声データを前記情報処理機器に送信して、前記音声出力手段に該音声データに基づく音声出力を、前記表示手段による前記画面データに基づく表示と並行して実行させる、
ことを特徴とする制御プログラム。
【請求項５】
音声出力手段と表示手段とを備える情報処理機器と、複数の端末装置と、に接続された制御装置の制御方法であって、
前記接続手段を介して、前記情報処理機器と前記複数の端末装置とに接続された状態において、前記接続手段を介して接続された前記複数の端末装置を選択可能に前記表示手段に表示させ、
表示された前記複数の端末装置から選択された第1の端末装置から送信される画面データを前記情報処理機器に送信して、前記表示手段に該画面データに基づく表示を実行させ、
表示された前記複数の端末装置から選択された第2の端末装置から送信される音声データを前記情報処理機器に送信して、前記音声出力手段に該音声データに基づく音声出力を、前記表示手段による前記画面データに基づく表示と並行して実行させる、
ことを特徴とする制御方法。
【請求項６】
表示手段と音声出力手段とを備えた情報処理機器と、端末装置とに通信接続可能な接続手段と、
前記複数の端末装置に含まれる第1の端末装置から音声データを受信し、受信した音声データを前記情報処理機器に送信して、前記音声出力手段に該音声データに基づく音声出力を実行させる音声出力制御部と、
前記音声出力制御部が前記複数の端末装置に含まれる第1の端末装置から音声データを受信している状態で、前記複数の端末装置に含まれる第2の端末装置の指定を受け付けた場合に、前記情報処理機器に前記第2の端末装置の画面データを送信して該画面データに基づく前記表示手段への表示を実行させる表示制御部とを備え、
前記音声出力制御部は、前記音声データの受信を続行して、該音声データに基づく前記音声出力手段による音声出力を実行させる、
ことを特徴とする制御装置。
【請求項７】
音声出力手段と表示手段とを備える情報処理機器と、複数の端末装置と、に接続されたコンピュータに、
前記複数の端末装置に含まれる第1の端末装置から音声データを受信している状態で、前記複数の端末装置に含まれる第2の端末装置の指定を受け付けた場合に、前記情報処理機器に前記第2の端末装置の画面データを送信して該画面データに基づく前記表示手段への表示を実行させる一方、前記第1の端末装置からの前記音声データの受信を続行して、該音声データに基づく前記音声出力手段による音声出力を実行させる、
ことを実行させることを特徴とする制御プログラム。
【請求項８】
音声出力手段と表示手段とを備える情報処理機器と、複数の端末装置と、に接続された制御装置の制御方法であって、
前記複数の端末装置に含まれる第1の端末装置から音声データを受信している状態で、前記複数の端末装置に含まれる第2の端末装置の指定を受け付けた場合に、前記情報処理機器に前記第2の端末装置の画面データを送信して該画面データに基づく前記表示手段への表示を実行させる一方、前記第1の端末装置からの前記音声データの受信を続行して、該音声データに基づく前記音声出力手段による音声出力を実行させる、
ことを特徴とする制御装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、制御プログラム、および、制御方法に関する。
【背景技術】
【０００２】
1台の情報処理機器と、1台の端末装置(例えば、スマートフォン(Smartphone))とを接続して連携させる技術が提案されている。かかる技術は、端末装置の画面を情報処理機器の表示装置に表示し、情報処理機器を介して端末装置を操作する。前記した技術を実現するため、MirrorLink（登録商標）と呼ばれる規格が提案されている。
【０００３】
情報処理機器は、表示装置と音声出力装置とを有し、例えば、自動車に搭載される。情報処理機器は、利用者からの再生指示操作に応答して、接続している1台の端末装置に記憶されている音楽コンテンツを、音声出力装置を介して音声出力する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３５２５２４号公報
【特許文献２】国際公開第２００９／０７２１９６号
【特許文献３】特開２０１４−１１８００３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
かかる情報処理機器は、1台の端末装置しか接続できないので、情報処理機器の利用者は、不便である。例えば、第1の端末装置に音楽コンテンツが記憶され、第2の端末装置にカーナビゲーション用のソフトウェア(以下、ソフトと適宜記す)が記憶されているとする。そして、利用者は、情報処理機器と第1の端末装置との接続操作を行い、第1の端末装置に記憶されている音楽コンテンツの再生操作を行う。
【０００６】
ここで、音楽コンテンツの再生中に、利用者が、カーナビゲーション用のソフトの実行を希望する場合を想定する。この場合、利用者は、情報処理機器と第1の端末装置との接続を解除する操作行う。この接続を解除する操作は、例えば、情報処理機器と第1の端末装置とがケーブルを介して接続している場合、このケーブルを第1の端末装置から抜く操作である。さらに、情報処理機器と第2の端末装置とを接続する操作を行う。この接続する操作は、例えば、第2の端末装置に、前記したケーブルを接続する操作である。
【０００７】
利用者にとって、かかる接続解除操作や、更なる接続操作を行うのは不便である。特に、利用者にとって、接続する端末装置を切り替える度に、かかる接続解除操作や、更なる接続操作を行うのは不便である。また、利用者は、音楽コンテンツの再生を継続できず不便である。
【０００８】
本実施の形態の一つの側面では、情報処理機器の利用者の利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
一つの態様では、表示手段と音声出力手段とを備えた情報処理機器と、端末装置とに通信接続可能な接続手段と、前記接続手段を介して、前記情報処理機器と前記複数の端末装置とに接続された状態において、前記接続手段を介して接続された前記複数の端末装置を選択可能に前記表示手段に表示させ、表示された前記複数の端末装置から選択された第1の端末装置から送信される画面データを前記情報処理機器に送信して、前記表示手段に該画面データに基づく表示を実行させる表示制御部と、表示された前記複数の端末装置から選択された第2の端末装置から送信される音声データを前記情報処理機器に送信して、前記音声出力手段に該音声データに基づく音声出力を、前記表示手段による前記画面データに基づく表示と並行して実行させる音声出力制御部と、を備えたことを特徴とする制御装置である。
【発明の効果】
【００１０】
一つの側面によれば、情報処理機器の利用者の利便性を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】図1は、本実施の形態における車載器システムSYSのブロック図である。
【図２】図2は、図1の情報処理機器IDVのハードウェアブロック図である。
【図３】図3は、図1の端末装置TAのハードウェアブロック図である。
【図４】図4は、図1の制御装置CAのハードウェアブロック図である。
【図５】図5は、図1の制御装置CAのソフトウェアブロック図である。
【図６】図6は、情報処理機器IDVに対する画像出力制御、音声出力制御の第1のパターンを説明する第1のフロー図である。
【図７】図7は、情報処理機器IDVに対する画像出力制御、音声出力制御の第2のパターンを説明する第2のフロー図である。
【図８】図8は、図4、図5の管理情報の一例を示す図である。
【図９】図9は、図4、図5の変換情報の第1の例を示す図である。
【図１０】図10は、端末装置TAの端末画面を示す図である。
【図１１】図11は、情報処理機器IDVの機器画面の第1の例を示す図である。
【図１２】図12は、図1、図4、図5の制御装置CAが行う端末装置TAの管理を説明するフロー図である。
【図１３】図13は、接続された複数の端末装置を選択可能に、情報処理機器IDVの表示装置105に表示させる処理について説明する第1のフロー図である。
【図１４】図14は、情報処理機器を介しての端末装置の操作を説明する第1のフロー図である。
【図１５】図15は、更新後のマージ画面を模式的に示す第1の図である。
【図１６】図16は、情報処理機器IDVの機器画面の第2の例を示す図である。
【図１７】図17は、図16の選択ボタンBT11、BT12、BT13の部分を拡大した図である。
【図１８】図18は、図4、図5で示した変換情報の第2の例を示す図である。
【図１９】図19は、接続された複数の端末装置を選択可能に、情報処理機器IDVの表示装置105に表示させる処理について説明する第2のフロー図である。
【図２０】図20は、情報処理機器を介しての端末装置の操作を説明する第2のフロー図である。
【図２１】図21は、更新後のマージ画面を模式的に示す第2の図である。
【発明を実施するための形態】
【００１２】
[第1の実施の形態]
図1は、本実施の形態における車載器システムSYSのブロック図である。車載器システムSYSの情報処理機器IDV、制御装置CAは、例えば、自動車のダッシュボードや、その付近に搭載される。なお、制御装置CAは、ハブ装置とも呼ばれる。
【００１３】
車載器システムSYSは、情報処理機器IDVと、制御装置CAと、第1の端末装置TA1〜第m(mは3以上の整数)の端末装置TAmとを備える。図1の"…"は、端末装置の省略を示す。なお、以下の図の説明において、同じ要素については同一の符号を付して、一度した説明を省略する。
【００１４】
制御装置CAは、情報処理機器IDVと接続し、さらに、第1の端末装置TA1〜第mの端末装置TAmと接続する。この接続は、無線通信や、有線通信による接続である。無線通信は、例えば、IEEE 802.15.1規格や、IEEE 802.11規格による無線通信である。有線通信は、例えば、USB(Universal Serial Bus)を利用した有線通信である。制御装置CAは、情報処理機器IDVに対する画像出力制御、音声出力制御などの各種制御を実行する。
【００１５】
第1の端末装置TA1〜第mの端末装置TAmは、持ち運び可能な(携帯可能とも呼ぶ)端末装置である。第1の端末装置TA1〜第mの端末装置TAmは、例えば、スマートフォンである。第1の端末装置TA1〜第mの端末装置TAmは、操作用の画面などの各種画面(端末画面とも呼ぶ)を自端末の表示装置に表示する。
【００１６】
情報処理機器IDVは、表示装置や音声出力装置を有する。情報処理機器IDVは、制御装置CAに接続している複数の端末装置を操作する機器として機能する。換言すれば、利用者は、情報処理機器IDVを介して、制御装置CAに接続している複数の端末装置を操作する。
【００１７】
制御装置CAは、情報処理機器IDVの表示装置に、制御装置CAに接続している端末装置が出力する画面データに基づく表示を実行させる。そして、制御装置CAは、情報処理機器IDVの音声出力装置に、制御装置CAに接続している端末装置が出力する音声データに基づく音声出力を実行させる。制御装置CAは、情報処理機器IDVに、前記した表示と音声出力とを並行して実行させる。
【００１８】
[情報処理機器]
図2は、図1の情報処理機器IDVのハードウェアブロック図である。情報処理機器IDVは、バスBに接続された、CPU101と、ストレージ装置102と、RAM103と、ROM104とを備える。さらに、情報処理機器IDVは、バスBに接続された、表示装置(表示手段)105と、タッチパネル(検知手段)106と、音声出力装置(音声出力手段)107と、接続装置108とを備える。
【００１９】
以下、ストレージ装置102をストレージ102と記し、表示装置(表示手段)105を表示装置105と記し、タッチパネル(検知手段)106をタッチパネル106と記し、音声出力装置(音声出力手段)107を音声出力装置107と記す。なお、CPUは"Central Processing Unit"の略語、RAMは"Random Access Memory"の略語、ROMは、"Read Only Memory"の略語である。
【００２０】
CPU101は、情報処理機器IDVを制御する中央演算処理装置である。ストレージ102は、大容量のデータを記憶可能な記憶装置であり、例えば、不揮発性の半導体メモリや、ハードディスクドライブ(HDD：Hard Disk Drive)や、ソリッドステートドライブ(SSD:Solid State Drive)などの大容量記憶装置である。ストレージ102は、例えば、制御ソフトSF1の実行ファイル(プログラムファイルとも呼ぶ)を記憶する。なお、制御ソフトは、制御プログラムとも呼ばれる。
【００２１】
RAM103は、CPU101が実行する処理や、制御ソフトSF1が実行する各ステップにおいて生成されたデータなどを一時的に記憶する。RAM103は、例えばDRAM(Dynamic Random Access Memory)などの半導体メモリである。制御ソフトSF1は、タッチパネル106が出力する接触座標を接続装置108に介して制御装置CAに出力する処理や、接続装置108を介して制御装置CAから受信したデータに基づき各種処理を実行する。
【００２２】
CPU101は、情報処理機器IDVの起動時に、ストレージ102から制御ソフトSF1の実行ファイルを読み出し、RAM103に展開する。図2では、CPU101が制御ソフトSF1をRAM103に展開している状態を模式的に示す。
【００２３】
ROM104は、各種設定情報を記憶する。表示装置105は、画像、文字などの各種情報を表示する表示手段として機能する装置である。表示装置105は、例えば、液晶ディスプレイと液晶ディスプレイの駆動装置とを含む装置である。タッチパネル106は、表示装置105の表示面側に設けられる。タッチパネル106は、利用者がこの表示面に指や筆記具(例えば、スタイラスペン)などで表示面に触れると、この接触位置を示す操作位置情報を制御ソフトSF1に出力する。タッチパネル106は、表示装置105に表示される画面への操作を検知し、表示装置105の表示領域における、検知した操作の位置を示す操作位置情報を出力する検知手段の一例である。接触位置情報は、例えば、接触位置の座標(以下、接触座標と適宜記す)を含む。
【００２４】
音声出力装置107は、音声を出力する手段として機能する装置である。音声出力装置107は、例えば、スピーカである。接続装置108は、制御装置CAと接続し通信する装置である。この通信が有線通信で行われる場合、接続装置108は、例えばUSBポートである。また、この通信が無線通信で行われる場合、接続装置108は、IEEE 802.15.1規格や、IEEE 802.11規格による無線通信を行う無線通信装置である。
【００２５】
[端末装置]
図3は、図1の端末装置TAのハードウェアブロック図である。端末装置TAは、図1の第1の端末装置TA1〜第mの端末装置TAmである。端末装置TAは、バスBに接続された、CPU201と、ストレージ装置202と、RAM203と、ROM204と、表示装置(表示手段)205と、タッチパネル(検知手段)206と、音声出力装置207と、接続装置208、通信装置209とを備える。以下、ストレージ装置202をストレージ202と、表示装置(表示手段)205を表示装置205と記し、タッチパネル(検知手段)206をタッチパネル206と記す。
【００２６】
CPU201は、端末装置TAを制御する中央演算処理装置である。ストレージ202は、大容量のデータを記憶可能な記憶装置であり、例えば、不揮発性の半導体メモリなどの大容量記憶装置である。ストレージ202は、例えば、制御ソフト(処理部)SF2a、ユーザソフトSF2bの実行ファイルを記憶する。以下、制御ソフト(処理部)SF2aを制御ソフトSF2aと記す。
【００２７】
RAM203は、CPU201が実行する処理や、制御ソフトSF2a、ユーザソフトSF2bが実行する各ステップにおいて生成されたデータなどを一時的に記憶する。RAM203は、例えばDRAMなどの半導体メモリである。制御ソフトSF2aは、タッチパネル206が出力する接触座標を接続装置208に介して制御装置CAに出力する処理や、接続装置208を介して制御装置CAから受信したデータに基づき各種処理を実行する。また、制御ソフトSF2aは、表示装置205に操作子を表示し、操作された操作子に対応する処理をユーザソフトSF2bに実行させる。かかる操作子としては，例えば，アイコン(Icon)がある。
【００２８】
ユーザソフトSF2bは、いわゆるユーザ用のソフトウェアであり、ブラウザ、カーナビゲーションソフト、音楽コンテンツの再生ソフトなどである。以下、カーナビゲーションをカーナビと適宜記す。
【００２９】
CPU201は、端末装置TAの起動時に、ストレージ202から制御ソフトSF2a、ユーザソフトSF2bの実行ファイルを読み出し、RAM203に展開する。図3では、CPU201が制御ソフトSF2a、ユーザソフトSF2bをRAM203に展開している状態を模式的に示す。
【００３０】
ROM204は、各種設定情報を記憶する。表示装置205は、画像、文字などの各種情報を表示する表示手段として機能する装置である。表示装置205は、例えば、液晶ディスプレイと液晶ディスプレイの駆動装置とを含む装置である。タッチパネル206は、表示装置205の表示面側に設けられる。タッチパネル206は、利用者がこの表示面に指や筆記具などで表示面に触れると、この接触位置を示す操作位置情報(例えば、接触座標)を制御ソフトSF2aに出力する。タッチパネル206は、表示装置205に表示される画面への操作を検知し、表示装置205の表示領域における、検知した操作の位置を示す操作位置情報を出力する検知手段の一例である。
【００３１】
音声出力装置207は、スピーカである。接続装置208は、制御装置CAと接続し通信する装置である。この通信が有線通信で行われる場合、接続装置208は、例えばUSBポートである。また、この通信が無線通信で行われる場合、接続装置208は、IEEE 802.15.1規格や、IEEE 802.11規格による無線通信を行う無線通信装置である。
【００３２】
なお、図3には示さないが、端末装置TAは、現在の緯度、経度、高度を測定する測定装置を有していてもよい。かかる測定装置は、例えばGPS(Global Positioning System)を利用して、現在の緯度、経度、高度を測定する。
【００３３】
通信装置209は、無線通信により、基地局やアクセスポイントに接続して、例えば、インターネットに接続するサーバ装置と通信する。また、通信装置209は、いわゆる電話機能を有していてもよい。
【００３４】
[制御装置]
図4は、図1の制御装置CAのハードウェアブロック図である。制御装置CAは、バスBに接続された、CPU301と、ストレージ装置(記憶部)302と、RAM303と、ROM304と、接続装置(接続手段)305と、第1の接続装置3051〜第mの接続装置305mと、情報処理機器用の接続装置306とを備える。以下、ストレージ装置(記憶部)302をストレージ302と記し、接続装置(接続手段)305を接続装置305と記す。
【００３５】
CPU301は、制御装置CAを制御する中央演算処理装置である。ストレージ302は、大容量のデータを記憶可能な記憶装置であり、例えば、不揮発性の半導体メモリや、ハードディスクドライブや、ソリッドステートドライブなどの大容量記憶装置である。ストレージ302は、管理情報記憶領域IR1と、座標変換情報記憶領域IR2を有する。管理情報記憶領域IR1は、接続している端末装置を管理する管理情報を記憶する領域である。なお、管理情報については、図8で説明する。座標変換情報記憶領域IR2は、情報処理機器IDVが出力する座標情報を端末装置TA用の座標情報に変換する際に参照される変換情報を記憶する領域である。なお、変換情報については、図9で説明する。
【００３６】
ストレージ302は、例えば、制御ソフトSF3の実行ファイルを記憶する。なお、制御ソフトは、制御プログラムとも呼ばれる。
【００３７】
RAM303は、CPU301が実行する処理や、制御ソフトSF3が実行する各ステップにおいて生成されたデータなどを一時的に記憶する。RAM303は、例えばDRAMなどの半導体メモリである。制御ソフトSF3は、情報処理機器IDVに対する画像出力制御、音声出力制御などの各種制御を実行する。
【００３８】
CPU301は、制御装置CAの起動時に、ストレージ302から制御ソフトSF3の実行ファイルを読み出し、RAM303に展開する。図4では、CPU301が制御ソフトSF3をRAM303に展開している状態を模式的に示す。ROM304は、各種設定情報を記憶する。
【００３９】
接続装置305は、情報処理機器IDVと、第1の端末装置TA1〜第mの端末装置TAmとに通信接続可能な接続手段の一例である。接続装置305は、第1の接続装置3051〜第mの接続装置305mと、情報処理機器用の接続装置306とを含む。
【００４０】
第n(nは1〜mの整数)の接続装置305nは、第nの端末装置TAnと接続し通信する装置である。情報処理機器用の接続装置306は、情報処理機器IDVと接続し通信する装置である。
【００４１】
前記した通信が、有線通信で行われる場合、第1の接続装置3051〜第mの接続装置305m、情報処理機器用の接続装置306は、例えばUSBポートである。また、前記した通信が、無線通信で行われる場合、第1の接続装置3051〜第mの接続装置305m、情報処理機器用の接続装置306は、IEEE 802.15.1規格や、IEEE 802.11規格による無線通信を行う無線通信装置である。なお、第1の接続装置3051〜第mの接続装置305m、情報処理機器用の接続装置306を1つの無線通信装置としてもよい。この1つの無線通信装置は、IEEE 802.15.1規格や、IEEE 802.11規格により、第1の端末装置TA1〜第mの端末装置TAm、情報処理機器IDVに無線接続し、無線通信する。
【００４２】
図5は、図1の制御装置CAのソフトウェアブロック図である。なお、図5においては、ハードウェア構成については、一点鎖線で図示している。また、図5では、図面の構成を簡略化するため、ハードウェア構成である図4の接続装置305のブロックの図示を省略している。
【００４３】
制御ソフトSF3は、表示制御部30と、画面制御部31と、マージ制御部32と、音声出力制御部33と、クライアント管理部34と、第1のクライアント部351〜第mのクライアント部35mとを有する。表示制御部30は、情報処理機器IDVの表示装置105に関連する各種制御を行う。表示制御部30は、この制御を行うため、画面制御部31と、マージ制御部32とを有する。
【００４４】
画面制御部31は、情報処理機器IDVのタッチパネル106が出力する接触座標に基づき、各種処理を実行する。マージ制御部32は、情報処理機器IDVの表示装置105に表示する画面のデータを作成する。音声出力制御部33は、制御装置CAに接続している端末装置TAから受信した音声データに基づく音声出力を、情報処理機器IDVの音声出力装置107に実行させる。
【００４５】
クライアント管理部34は、第1の接続装置3051〜第mの接続装置305mを介して接続された複数の端末装置(例えば、第1の端末装置TA1〜第mの端末装置TAm)を管理する。第n(nは1〜mの整数)のクライアント部35nは、第nの接続装置305nに対するインターフェイス機能をクライアント管理部34に提供する。
【００４６】
[制御装置CAの制御処理の流れ]
図6、図7を参照して、制御装置CAが実行する、情報処理機器IDVに対する画像出力制御、音声出力制御の流れを説明する。図6は、情報処理機器IDVに対する画像出力制御、音声出力制御の第1のパターンを説明する第1のフロー図である。
【００４７】
ステップS1：マージ制御部32は、図5の接続装置を介して、情報処理機器IDVと複数の端末装置とに接続された状態において、この複数の端末装置を選択可能に情報処理機器IDVの表示装置105に表示させる制御を行う。この接続装置は、例えば、第1の接続装置3051〜第mの接続装置305mである。また、複数の端末装置は、例えば、第1の端末装置TA1〜第mの端末装置TAmである。
【００４８】
ステップS2：マージ制御部32は、表示された複数の端末装置から選択された第1の端末装置から送信される画面データを情報処理機器IDVに送信して、情報処理機器IDVの表示装置105にこの画面データに基づく表示を実行させる。この選択された第1の端末装置は、例えば、第2の端末装置TA2である。この表示については、図11、図15、図16、図21で説明する。
【００４９】
ステップS3：音声出力制御部33は、表示された複数の端末装置から選択された第2の端末装置から送信される音声データを情報処理機器IDVに送信する。音声出力制御部33は、情報処理機器IDVの音声出力装置107に、この音声データに基づく音声出力を実行させる。この音声出力は、情報処理機器IDVの表示装置105による画面データに基づく表示と並行して実行される。この音声出力については、図15、図21で説明する。
【００５０】
図7は、情報処理機器IDVに対する画像出力制御、音声出力制御の第2のパターンを説明する第2のフロー図である。
【００５１】
ステップS11：音声出力制御部33は、図5の接続装置を介して、情報処理機器IDVと複数の端末装置とに接続された状態において、第1の端末装置から音声データを受信する。複数の端末装置は、例えば、第1の端末装置TA1〜第mの端末装置TAmである。また、第1の端末装置は、例えば、第2の端末装置TA2である。この音声出力については、図11、図15、図16、図21で説明する。以後、音声出力制御部33は、音声データの受信を続行する。
【００５２】
ステップS12：マージ制御部32は、画面制御部31が複数の端末装置に含まれる第2の端末装置の指定(選択とも呼ぶ)を受け付けた場合に、以下の処理を実行する。すなわち、マージ制御部32は、情報処理機器IDVに第2の端末装置の画面データを送信してこの画面データに基づく情報処理機器IDVの表示装置105への表示を実行させる。第2の端末装置は、例えば、第1の端末装置TA1である。一方、音声出力制御部33は、第1の端末装置からの音声データの受信を続行して、この音声データに基づく、情報処理機器IDVの音声出力装置107による音声出力を実行させる。
【００５３】
ここで、マージ制御部32は、クライアント管理部34により管理される複数の端末装置を選択する機器画面(図11、図16参照)のデータを作成する。そして、マージ制御部32は、作成した機器画面のデータを情報処理機器IDVに送信して、表示装置105にこの機器画面のデータに基づく表示を実行させる。
【００５４】
クライアント管理部34は、情報処理機器IDVの表示装置105に表示される前記した機器画面を介して、利用者により選択された端末装置が作成した画面データをこの端末装置に送信させる。そして、クライアント管理部34は、機器画面を介して選択された他の端末装置が出力する音声データを他の端末装置に送信させる。
【００５５】
マージ制御部32は、端末装置から送信される画面データを情報処理機器IDVに送信する。音声出力制御部33は、他の端末装置から送信される音声データを情報処理機器IDVに送信する。
【００５６】
次に、図8以下を参照して、制御装置CAが実行する、情報処理機器IDVに対する画像出力制御、音声出力制御について詳細に説明する。
【００５７】
[記憶領域]
まず、図8、図9を参照して、図4、図5のストレージ302の記憶領域に記憶されている情報について説明する。図8は、図4、図5の管理情報の一例を示す図である。図8の管理情報テーブルT1は、図4、図5の管理情報記憶領域IR1に記憶されている。管理情報テーブルT1は、識別子欄と、クライアントIP欄と、ポート番号欄とを有する。識別子欄は、制御装置CAと接続し通信する端末装置TAを一意に識別する識別子を記憶する。図8では、端末装置の識別子を、図1、図5で示した端末装置の符号(例えば、"TA1"、"TA2"など)で示している。
【００５８】
クライアントIP欄は、識別子欄の識別子により識別される端末装置に割り振られているIPアドレスを記憶する。なお、IPは、" Internet Protocol "の略語である。ポート番号欄は、識別子欄の識別子により識別される端末装置が接続している接続装置を識別するポート番号を記憶する欄である。図8では、ポート番号を、図4、図5で示した接続装置の符号(例えば、"3051"、"3052"など)で示している。
【００５９】
図9は、図4、図5の変換情報の第1の例を示す図である。図9の変換情報テーブルT2は、図4、図5の座標変換情報記憶領域IR2に記憶されている。変換情報テーブルT2は、情報処理機器開始座標欄と、情報処理機器終了座標欄と、端末装置開始座標欄と、端末装置終了座標欄と、識別子欄と、ポート番号欄とを有する。
【００６０】
図9の識別子欄と、ポート番号欄とは、図8で説明した、識別子欄と、ポート番号欄と同じ内容のデータが記憶されている。なお、情報処理機器開始座標欄と、情報処理機器終了座標欄と、端末装置開始座標欄と、端末装置終了座標欄とについては、後記する。
【００６１】
[画面]
図10、図11を参照して、端末装置TAの端末画面、情報処理機器IDVの機器画面について説明する。
【００６２】
(端末装置TAの端末画面)
図10は、端末装置TAの端末画面を示す図である。図10(A)〜図10(C)は、それぞれ、第1の端末装置TA1〜第3の端末装置TA3の端末画面を示す。以下の説明においては、第1の端末装置TA1〜第3の端末装置TA3が、制御装置CAに接続されるとする。
【００６３】
第1の端末装置TA1の制御ソフトSF2aは、自装置の表示装置205に、図10(A)に示すように、アイコンICN11〜アイコンIC14を含む端末画面TAS11を表示する。第2の端末装置TA2は、自装置の表示装置205に、図10(B)に示すように、アイコンICN21〜アイコンIC24を含む端末画面TAS12を表示する。第3の端末装置TA3は、自装置の表示装置205に、図10(C)に示すように、アイコンICN31〜アイコンIC34を含む端末画面TAS13を表示する。
【００６４】
端末装置TAの制御ソフトSF2aは、端末装置TAの表示装置205に表示される、端末装置TAが提供する画像出力処理、音声出力処理の何れかを指定する操作子を含む端末画面のデータを作成する。この端末画面は、例えば、図10(A)〜図10(C)に示した端末画面である。また、操作子は、図10に示したアイコンの画像である。
【００６５】
端末装置TAの制御ソフトSF2aは、端末装置TAの表示装置205に、端末装置の端末画面を表示する(例えば、図10(A)参照)。そして、端末装置TAの制御ソフトSF2aは、この端末装置TAの表示装置205に表示される操作子への操作の位置を示す操作位置情報に基づき、操作されたアイコンを特定する。制御ソフトSF2aは、特定したアイコンに対応する画像出力処理の実行結果である画面データまたは音声出力処理の実行結果である音声データを前記制御装置に送信する。
【００６６】
図10(B)に示すアイコンICN22が、カーナビソフトを起動するアイコンの場合を想定する。第2の端末装置TA2の制御ソフトSF2aは、利用者がアイコンICN22に接触操作を行うと、この接触操作の位置を示す接触座標に基づき、操作されたアイコンICN22を特定する。この制御ソフトSF2aは、特定したアイコンに対応するカーナビソフトを起動する。このカーナビソフトは、地図情報等を含む画像の出力処理を行う。
【００６７】
図10(A) に示すアイコンICN12が、音楽コンテンツを再送する再生ソフトを起動するアイコンの場合を想定する。第1の端末装置TA1の制御ソフトSF2aは、利用者がアイコンICN12に接触操作を行うと、この接触操作の位置を示す接触座標に基づき、操作されたアイコンICN12を特定する。制御ソフトSF2aは、特定したアイコンに対応する音楽再生ソフトを起動する。この音楽再生ソフトは、音楽などの音声の出力処理を行う。
【００６８】
ここで、図10(A)における点P11、P12は、それぞれ、端末画面TAS11において図面左上の角、図面右下の角を示す。なお、画面左上の角、画面右下の角は、端末画面が表示される表示装置205の表示領域(表示領域は、四角形)の左上の角および右下の角である。
【００６９】
図10(B)における点P21、P22は、それぞれ、端末画面TAS12において図面左上の角、図面右下の角を示す。図10(C)における点P31、P32は、それぞれ、端末画面TAS13において図面左上の角、図面右下の角を示す。
【００７０】
図10における、横幅W11xは、端末画面TAS11、TAS12、TAS13の横幅を示し、横幅W11yは、端末画面TAS11、TAS12、TAS13の縦幅を示す。この横幅、縦幅が、表示装置205の表示領域の横幅、縦幅である。なお、横幅W11xは、例えば640ピクセル、縦幅W11yは、例えば960ピクセルである。
【００７１】
以下の説明では、説明の便宜のため、表示装置205の表示領域の横幅および縦幅(解像度)は、それぞれ、全て同じであるとする。また、表示領域は四角形であるとする。この表示領域(換言すれば、端末画面)の左上の角の点の座標を開始座標とし、この表示領域の右下の角の点の座標を終了座標とする。
【００７２】
端末画面TAS11、TAS12、TAS13の開始座標におけるX座標、Y座標は0であるとする。この場合、点P11、点P21、点P31の座標は、(0,0)である。また、前記したように、第1の端末装置TA1〜第mの端末装置TAmの解像度は同じなので、点P12、点P22、点P32の座標は、同じである。点P12、点P22、点P32の座標は、例えば(X2,Y2)である。
【００７３】
図9の変換情報テーブルT2において、端末装置の識別子が記憶されたセルが属する行と、端末装置開始座標欄とが交わるセルに、この端末装置の表示装置205の表示領域の開始座標が予め記憶される。また、図9の変換情報テーブルT2において、端末装置の識別子が記憶されたセルが属する行と、端末装置終了座標欄とが交わるセルに、この端末装置の表示装置205の表示領域の終了座標が予め記憶される。クライアント管理部34は、この座標の記憶処理を予め実行している。なお、この座標は、例えば開発者により適宜調整可能である。
【００７４】
例えば、第1の端末装置TA1の識別子"TA1"が記憶されたセル(以下、TA1のセルと記す)が属する行と、端末装置開始座標欄とが交わるセルに点P11の座標が(0,0)記憶される。そして、TA1のセルが属する行と、端末装置終了座標欄とが交わるセルに点P12の座標(X2,Y2)が記憶される。
【００７５】
(情報処理機器IDVの機器画面)
図11は、情報処理機器IDVの機器画面の第1の例を示す図である。情報処理機器IDVの制御ソフトSF1は、情報処理機器IDVに接続された端末装置(例えば第1の端末装置TA1〜第3の端末装置TA3)を選択可能に表示する機器画面DVS1aを情報処理機器IDVの表示装置105に表示する。
【００７６】
以下の説明では、3つの端末装置(TA1〜TA3)が、制御装置CAに接続している場合を例示して説明する。図11において、第1の端末装置TA1を選択する選択画像は、例えば、端末画面TAS11である。また、第2の端末装置TA2を選択する選択画像は、例えば、端末画面TAS12である。また、第3の端末装置TA3を選択する選択画像は、例えば、端末画面TAS13である。この選択画像は、利用者が複数の端末装置を選択する際に、この利用者により接触操作される。
【００７７】
図11における点P1、P2は、それぞれ、機器画面DVS1aにおける図面左上の角、図面右下の角を示す。換言すれば、点P1、P2は、それぞれ、情報処理機器IDVの表示装置105の表示領域の図面左上の角および図面右下の角を示す。情報処理機器IDVの制御ソフトSF1は、図11に示すように、図10(A)の端末画面TAS11、図10(B)の端末画面TAS12、図10(C)の端末画面TAS13を、機器画面DVS1a内に表示する。
【００７８】
図11における点P11α、P12αは、それぞれ、図11の端末画面TAS11において画面左上の角、画面右下の角を示す。図11における点P21α、P22αは、それぞれ、図11の端末画面TAS12において画面左上の角、画面右下の角を示す。図11における点P31α、P32αは、それぞれ、図11の端末画面TAS13において画面左上の角、画面右下の角を示す。
【００７９】
また、横幅Xoは、点P1から点P11αまでの横オフセットを示し、縦幅Yoは、点P1から点P11αまでの縦オフセットを示す。ここで、点P11αの座標は(X11α,Y11α)、点P12αの座標は(X12α,Y12α)、点P21αの座標は(X21α,Y21α)、点P22αの座標は(X22α,Y22α)、点P31αの座標は(X31α,Y31α)、点P32αの座標は(X32α,Y32α)である。
【００８０】
図11に示すように、点P11αで示す開始座標(X11α,Y11α)と、点P12αで示す終了座標(X12α,Y12α)とで特定される表示領域に、第1の端末装置TA1の端末画面TAS11が表示される。また、点P21αで示す開始座標(X21α,Y21α)と、点P22αで示す終了座標(X22α,Y22α)とで特定される表示領域に、第2の端末装置TA2の端末画面TAS12が表示される。また、点P31αで示す開始座標(X31α,Y31α)と、点P32αで示す終了座標(X32α,Y32α)とで特定される表示領域に、第3の端末装置TA3の端末画面TAS13が表示される。
【００８１】
以下の説明では、図11の点P1の座標を(0,0)とする。すると、点P11αの座標は座標(Xo,Yo)、点P12αの座標は座標(Xo+W11x,Yo+W11y)である。また、点P21αの座標は座標(Xo+W11x,Yo)、点P22αの座標は座標(Xo+2×W11x,Yo+W11y)である。また、点P31αの座標は座標(Xo+2×W11x,Yo)、点P32αの座標は座標(Xo+3×W11x,Yo+W11y)である。
【００８２】
図9の変換情報テーブルT2と、前記した開始座標との関係について説明する。情報処理機器IDVの表示装置105において端末装置の端末画面の表示領域を特定する2つの座標(すなわち、開始座標、終了座標)が、それぞれ、図9の情報処理機器開始座標欄のセルと情報処理機器終了座標欄のセルに予め記憶されている。なお、この図9の情報処理機器開始座標欄のセルと情報処理機器終了座標欄のセルとは、同一行である。
【００８３】
例えば、第1の端末装置TA1の開始座標(X11α,Y11α)と終了座標(X12α,Y12α)とが、それぞれ、情報処理機器開始座標欄のセルと情報処理機器終了座標欄のセルに予め記憶されている(行LN2参照)。クライアント管理部34は、この座標の記憶処理を予め実行している。なお、この座標は、例えば開発者により適宜調整可能である。
【００８４】
[端末装置の管理]
図8〜図12を参照して、制御装置CAが行う端末装置の管理について説明する。利用者は、第nの端末装置TAn(すなわち図1の第mの端末装置TAmの何れかの端末装置)を制御装置CAの第nの接続装置305nに接続する。制御装置CAと第nの端末装置TAnとを有線接続する場合、利用者は、制御装置CAの第nの接続装置305nのUSBポートと、第nの端末装置TAnの接続装置208のUSBポートとをUSBケーブルで接続する。
【００８５】
(端末装置の管理のフロー図)
図12は、図1、図4、図5の制御装置CAが行う端末装置TAの管理を説明するフロー図である。なお、以下のフロー図の説明において、ステップSp（pは1以上の整数）をSpと適宜記す。図12のフロー図の説明では、利用者は、第nの端末装置TAnを制御装置CAの第nの接続装置305nに接続する。
【００８６】
ステップS21：制御装置CAの第nの接続装置3051は、第nの端末装置TAnの接続を検知し検知結果を、第nのクライアント部35nに通知する。
【００８７】
ステップS22：制御装置CAの第nのクライアント部35nは、検知結果の通知に応答して、第nの端末装置TAnにIPアドレスの送信要求(払出要求とも呼ぶ)を行う。この送信要求をS22〜S23への破線矢印で模式的に示す。
【００８８】
ステップS23：第nの端末装置TAnの制御ソフトSF2aは、この送信要求を、接続装置208を介して受信し、この送信要求に応答して、第nの端末装置TAnに予め割り振られているIPアドレスを制御装置CAに送信する。この送信を、S23〜S24への破線矢印で模式的に示す。
【００８９】
以下、端末装置に予め割り振られているIPアドレスを、端末装置のIPアドレスと記す。なお、例えば、第nの端末装置TAnのストレージ202が、第nの端末装置TAnのIPアドレス（第nのIPアドレスn）を記憶している。第nのIPアドレスnは、例えば、"192.168.0.n"である。
【００９０】
ステップS24：制御装置CAの第nのクライアント部35nは、第nの接続装置305nを介して、第nの端末装置TAnのIPアドレスを受信する。すると、第nのクライアント部35nは、受信したIPアドレスと、第nの端末装置TAnが接続している第nの接続装置305nのポート番号とをクライアント管理部34に通知する。
【００９１】
ステップS25：制御装置CAのクライアント管理部34は、接続した第nの端末装置TAnの識別子を作成し、作成した識別子と、通知されたIPアドレスとポート番号とをストレージ302に記憶する。具体的には、クライアント管理部34は、作成した識別子と、通知されたIPアドレスとポート番号とを、それぞれ、図8の管理情報テーブルT1の識別子欄と、クライアントIP欄と、ポート番号欄とに記憶する。さらに、クライアント管理部34は、作成された識別子とポート番号とを、それぞれ、図9の変換情報テーブルT2の識別子欄とポート番号欄とに記憶する。
【００９２】
(端末装置の管理の具体例)
次に、端末装置の管理の具体例について説明する。利用者は、第1の端末装置TA1〜第3の端末装置TA3を、それぞれ、制御装置CAの第1の接続装置3051〜第3の接続装置3053に接続する。
【００９３】
最初に、第1の端末装置TA1の接続について説明する。制御装置CAの第1の接続装置3051は、第1の端末装置TA1の接続を検知し検知結果を、第1のクライアント部351に通知する(S21)。制御装置CAの第1のクライアント部351は、検知結果の通知に応答して、第1の端末装置TA1にIPアドレスの送信要求を行う(S22)。
【００９４】
第1の端末装置TA1の制御ソフトSF2aは、この送信要求を、接続装置208を介して受信し、この送信要求に応答して、第1の端末装置TA1のIPアドレスを制御装置CAに送信する(S23）。第1の端末装置TA1のIPアドレスは、第1のIPアドレス1である。
【００９５】
制御装置CAの第1のクライアント部351は、第1の接続装置3051を介して、第1の端末装置TA1のIPアドレスを受信する(S24）。すると、第1のクライアント部351は、受信した第1のIPアドレス1と、第1の端末装置TA1が接続している第1の接続装置3051のポート番号とをクライアント管理部34に通知する(S24）。このポート番号は、例えば、第1の接続装置3051の符号"3051"である。
【００９６】
制御装置CAのクライアント管理部34は、接続した第1の端末装置TA1の識別子を作成する(S25）。この識別子は、例えば、第1の端末装置TA1の符号"TA1"である。クライアント管理部34は、作成した識別子"TA1"と、通知されたIPアドレス"第1のIPアドレス1"とポート番号"3051"とを、それぞれ、図8の管理情報テーブルT1の識別子欄と、クライアントIP欄と、ポート番号欄とに記憶する(S25）。
【００９７】
クライアント管理部34は、図8の管理情報テーブルT1の2行目(矢印LN1参照)の行と識別子欄とが交わるセルに識別子"TA1"を記憶し、行LN1とクライアントIP欄とが交わるセルにIPアドレス"第1のIPアドレス1"を記憶する。さらに、クライアント管理部34は、図8の管理情報テーブルT1の行LN1とポート番号欄とが交わるセルにポート番号"3051"を記憶する。
【００９８】
さらに、クライアント管理部34は、通知されたIPアドレスとポート番号とを、それぞれ、図9の変換情報テーブルT2の識別子欄とポート番号欄とに記憶する(S25）。クライアント管理部34は、図9の変換情報テーブルT2の2行目(矢印LN2参照)の行と識別子欄とが交わるセルに識別子"TA1"を記憶する。さらに、クライアント管理部34は、図9の変換情報テーブルT2の行LN2とポート番号欄とが交わるセルにポート番号"3051"を記憶する。
【００９９】
次に、第2の端末装置TA2の接続について説明する。制御装置CAの第2の接続装置3052は、第2の端末装置TA2の接続を検知し検知結果を、第2のクライアント部352に通知する(S21)。制御装置CAの第2のクライアント部352は、検知結果の通知に応答して、第2の端末装置TA2にIPアドレスの送信要求を行う(S22)。
【０１００】
第2の端末装置TA2の制御ソフトSF2aは、この送信要求を、接続装置208を介して受信し、この送信要求に応答して、第2の端末装置TA2のIPアドレスを制御装置CAに送信する(S23）。第2の端末装置TA2のIPアドレスは、第2のIPアドレス2である。
【０１０１】
制御装置CAの第2のクライアント部352は、第2の接続装置3052を介して、第2の端末装置TA2のIPアドレスを受信する(S24）。すると、第2のクライアント部352は、受信した第2のIPアドレス2と、第2の端末装置TA2が接続している第2の接続装置3052のポート番号とをクライアント管理部34に通知する(S24）。このポート番号は、例えば、第2の接続装置3052の符号"3052"である。
【０１０２】
制御装置CAのクライアント管理部34は、接続した第2の端末装置TA2の識別子を作成する(S25）。この識別子は、例えば、第2の端末装置TA2の符号"TA2"である。クライアント管理部34は、作成した識別子"TA2"と、通知されたIPアドレス"第2のIPアドレス2"とポート番号"3052"とを、それぞれ、図8の管理情報テーブルT1の識別子欄と、クライアントIP欄と、ポート番号欄とに記憶する(S25）。
【０１０３】
クライアント管理部34は、図8の管理情報テーブルT1の3行目の行と識別子欄とが交わるセルに識別子"TA2"を記憶し、3行目の行とクライアントIP欄とが交わるセルにIPアドレス"第2のIPアドレス2"を記憶する。さらに、クライアント管理部34は、図8の管理情報テーブルT1の3行目の行とポート番号欄とが交わるセルにポート番号"3052"を記憶する。
【０１０４】
さらに、クライアント管理部34は、通知されたIPアドレスとポート番号とを、それぞれ、図9の変換情報テーブルT2の識別子欄とポート番号欄とに記憶する(S25）。クライアント管理部34は、図9の変換情報テーブルT2の3行目の行と識別子欄とが交わるセルに識別子"TA2"を記憶する。さらに、クライアント管理部34は、図9の変換情報テーブルT2の3行目の行とポート番号欄とが交わるセルにポート番号"3052"を記憶する。
【０１０５】
第3の端末装置TA3の接続については、第1、第2の端末装置の接続と同様の処理であるので、その説明を省略する。
【０１０６】
ここで、接続した端末装置の識別子を作成する理由について説明する。複数の端末装置が接続されている場合、制御装置CAは、端末装置のIPアドレスに基づき、端末装置を管理することもできると考えられる。
【０１０７】
しかし、複数の端末装置の各々には、同じIPアドレスが割り振られることがある。このように、複数の端末装置の各々のIPアドレスが同じ場合、制御装置CAは、かかる複数の端末装置をIPアドレスに基づき、一意に管理（識別）することはできなくなる。そこで、制御装置CAは、接続した端末装置の識別子を個別に作成している。
【０１０８】
以上に説明したように、制御装置CAは、図8の管理情報テーブルT1、図9の変換情報テーブルT2を作成する。すなわち、クライアント管理部34は、制御装置CAに接続された複数の端末装置の各々の識別子を作成する。そして、クライアント管理部34は、作成した複数の端末装置の各々の識別子と、この複数の端末装置の第1の特定情報とを対応付けてストレージ302に記憶する。
【０１０９】
第1の特定情報は、例えば、図9の情報処理機器開始座標欄と情報処理機器終了座標欄とに記憶される座標を含む。この第1の特定情報は、制御装置CAに接続されている複数の端末装置を選択する選択画像が情報処理機器IDVの表示装置105に表示される表示領域を特定する情報である。なお、図9の情報処理機器開始座標欄と情報処理機器終了座標欄とに記憶される座標は、前記したように、予め記憶されている。
【０１１０】
利用者は、情報処理機器IDVの表示装置105に表示された選択画像に接触操作を行うことにより、制御装置CAに接続されている複数の端末装置の中から端末装置を選択する。この選択画像は、例えば、図11の端末画面や、図16の選択ボタンである。
【０１１１】
[表示処理]
図13を参照して、接続された複数の端末装置を選択可能に、情報処理機器IDVの表示装置105に表示させる処理について説明する。この説明では、図12で説明したように、第1の端末装置TA1〜第3の端末装置TA3が制御装置CAに接続されている。その結果、図8の管理情報テーブルT1、図9の変換情報テーブルT2が、ストレージ302に記憶されている。
【０１１２】
(フロー図)
図13は、接続された複数の端末装置を選択可能に、情報処理機器IDVの表示装置105に表示させる処理について説明する第1のフロー図である。
【０１１３】
ステップS31:制御装置CAのクライアント管理部34は、接続している複数の端末装置に画面データの送信要求を行う。この送信要求をS31〜S32への破線矢印で模式的に示す。具体的には、クライアント管理部34は、第nの端末装置TAnが接続している第nの接続装置305nに対応する第nのクライアント部35nに画面データの送信要求を行う。第nのクライアント部35nは、接続している第nの端末装置TAnに、第nの接続装置305nを介して、この画面データの送信要求を送信(転送)する。
【０１１４】
なお、クライアント管理部34は、図8、図9のポート番号欄に記憶されているポート番号で識別される接続装置が、端末装置が接続している接続装置であると判定する。図8、図9の例では、例えば、ポート番号3051で識別される第1の接続装置3051が、端末装置が接続している接続装置であると判定する。
【０１１５】
ステップS32:制御装置CAに接続している第nの端末装置TAnの制御ソフトSF2aは、画面データの送信要求を受信すると、現在、第nの端末装置TAnの表示装置205に表示されている画面のデータ(画面データ)を制御装置CAに送信する。この画面データの送信をS32〜S33への破線矢印で模式的に示す。この画面データは、例えば、図10(A)の端末画面TAS11の画面データである。
【０１１６】
ステップS33:制御装置CAの第nのクライアント部35nは、接続している第nの端末装置TAnからこの画面データを受信する。そして、第nのクライアント部35nは、受信した画面データをクライアント管理部34に送信する。クライアント管理部34は、マージ制御部32に画面データを出力する。
【０１１７】
ステップS34: 制御装置CAのマージ制御部32は、接続している全ての端末装置から、画面データを受信すると、図9の変換情報テーブルT2に基づき、接続している端末装置の各々の画面データをマージしたマージ画面データを作成する。そして、マージ制御部32は、作成したマージ画面データを情報処理機器IDVに送信する。
【０１１８】
具体的には、制御装置CAのマージ制御部32は、図9の変換情報テーブルT2における識別子欄の識別子で識別される端末装置の画面データを受信する。そして、マージ制御部32は、この端末装置の識別子が記憶されているセルが属する行と、情報処理機器開始座標欄とが交わるセルに記憶されている情報処理機器開始座標を特定する。そして、マージ制御部32は、この端末装置の識別子が記憶されているセルが属する行と、情報処理機器終了座標欄とが交わるセルに記憶されている情報処理機器終了座標を特定する。この特定後、マージ制御部32は、特定した情報処理機器開始座標と特定した情報処理機器終了座標とで示される領域を特定する。マージ制御部32は、前記した端末装置の画面データを、特定した領域に配置したマージ画面データを作成する。
【０１１９】
ステップS35: 情報処理機器IDVの制御ソフトSF1は、マージ画面データを受信し、表示装置105に表示する。
【０１２０】
図13のS34では、例えば、マージ制御部32は、クライアント管理部34により管理される複数の端末装置を選択する機器画面のデータを作成する(S34)。この機器画面のデータは、例えば、S34のマージ画面データである。マージ制御部32は、作成したマージ画面データを情報処理機器IDVに送信して(S34)、情報処理機器IDVの表示装置105にマージ画面データに基づく表示を実行させる(S35参照)。
【０１２１】
具体的には、マージ制御部32は、複数の端末装置(例えば、第1の端末装置TA1〜第3の端末装置TA3)の各々の選択画像の第1の特定情報に基づき、選択画像を、機器画面に配置する領域を特定する(S34)。
【０１２２】
端末装置TAの選択画像の第1の特定情報は、端末装置TAの情報処理機器開始座標と情報処理機器終了座標とを含む。図11の例では、第1の端末装置TA1を選択する選択画像は、端末画面TAS11である。機器画面は、図11の例では、機器画面DVS1aである。マージ制御部32は、複数の端末装置の各々の選択画像が、特定した領域に配置された機器画面の画面データを作成する(S34)。
【０１２３】
ここで、マージ制御部32は、この複数の端末装置の各々の選択画像の第1の特定情報に基づき、複数の端末装置の各々の端末画面を、機器画面に配置する領域を特定する。マージ制御部32は、特定した位置に基づき、複数の端末装置の各々の端末画面が機器画面に配置された機器画面の画面データを作成する(S34)。
【０１２４】
端末装置の端末画面は、図10で説明したように、画像出力処理、音声出力処理を指定する操作子(例えば、アイコン)を含む端末画面(例えば、図10の端末画面TAS11参照)である。図10、図11の例では、選択画像と、端末画面と、同じ画面である。すなわち、マージ制御部32は、端末画面が選択画像として配置された機器画面の画面データを作成する(S34)。
【０１２５】
(表示処理の第1の具体例)
次に、表示処理の第1の具体例を説明する。以下の説明では、前記した端末装置の管理の具体例で説明したように、第1の端末装置TA1〜第3の端末装置TA3が制御装置CAに接続されている。クライアント管理部34は、この接続により、図8の管理情報テーブルT1、図9の変換情報テーブルT2を作成済みである。
【０１２６】
制御装置CAのクライアント管理部34は、接続している第1の端末装置TA1〜第3の端末装置TA3に画面データの送信要求を行う(S31)。第1の端末装置TA1〜第3の端末装置TA3の制御ソフトSF2aは、画面データの送信要求を受信すると、表示装置205に表示されている画面のデータ(画面データ)を制御装置CAに送信する。この画面データのデータ形式は、例えばビットマップ形式である。第1の端末装置TA1の制御ソフトSF2aは、例えば、図10(A)に示す端末画面TAS11の画面データを制御装置CAに送信する。そして、第2の端末装置TA2の制御ソフトSF2aは、例えば、図10(B)に示す端末画面TAS12の画面データを制御装置CAに送信する。そして、第3の端末装置TA3の制御ソフトSF2aは、例えば、図10(C)に示す端末画面TAS13の画面データを制御装置CAに送信する。
【０１２７】
制御装置CAの第1のクライアント部351〜第3のクライアント部353は、それぞれ、第1の端末装置TA1の画面データ〜第3の端末装置T3の画面データを受信すると、受信した画面データをクライアント管理部34に送信する。クライアント管理部34は、マージ制御部32にこれらの画面データを送信する(S33)。
【０１２８】
制御装置CAのマージ制御部32は、図9において、第1の端末装置TA1の識別子"TA1"が記憶されているセルが属する行と、情報処理機器開始座標欄とが交わるセルに記憶されている情報処理機器開始座標(X11α,Y11α)を特定する。そして、マージ制御部32は、第1の端末装置TA1の識別子"TA1"が記憶されているセルが属する行と、情報処理機器終了座標欄とが交わるセルに記憶されている情報処理機器終了座標(X12α,Y12α)を特定する。
【０１２９】
以下、端末装置の識別子が記憶されているセルが属する行と、情報処理機器開始座標欄とが交わるセルに記憶されている情報処理機器開始座標を、この端末装置の開始座標と適宜記す。また、端末装置の識別子が記憶されているセルが属する行と、情報処理機器終了座標欄とが交わるセルに記憶されている情報処理機器終了座標を、この端末装置の終了座標と適宜記す。
【０１３０】
そして、制御装置CAのマージ制御部32は、図9において、第2の端末装置TA2の情報処理機器開始座標(X21α,Y21α)、情報処理機器終了座標(X22α,Y22α)を特定する。そして、制御装置CAのマージ制御部32は、図9において、第3の端末装置TA3の情報処理機器開始座標(X31α,Y31α)、情報処理機器終了座標(X32α,Y32α)を特定する。
【０１３１】
マージ制御部32は、情報処理機器IDVの表示装置105に表示される機器画面DVS1a(図11参照)の画面領域に対応する画面データを記憶する領域(以下、マージ画面領域と記す)をRAM303に確保する。このマージ画面領域は、図11の機器画面DVS1aの画面データを格納するメモリ領域である。
【０１３２】
マージ制御部32は、第1の端末装置TA1の画面データを座標(X11α,Y11α)と座標(X12α,Y12α)とで示される領域に配置する(図11の端末画面TAS11参照)。マージ制御部32は、第2の端末装置TA2の画面データを座標(X21α,Y21α)と座標(X22α,Y22α)とで示される領域に配置する(図11の端末画面TAS12参照)。さらに、マージ制御部32は、第3の端末装置TA3の画面データを座標(X31α,Y31α)と座標(X32α,Y32α)とで示される領域に配置する(図11の端末画面TAS13参照)。さらに、マージ制御部32は、バックボタンBT1、ホームボタンBT2の画面データを第1の端末装置TA1〜第3の端末装置TA3の画面データが割りあてられた領域以外の領域に配置する。
【０１３３】
なお、バックボタンBT1は、1つ前の画面に戻るボタンであり、ホームボタンTB2は、いわるトップ画面(デスクトップ画面とも呼ぶ)に戻るボタンである。
【０１３４】
すなわち、マージ制御部32は、第1の端末装置TA1〜第3の端末装置TA3の画面データやバックボタンBT1、ホームボタンBT2の画像データが割りてられた画面データをマージ画面データとして、RAM303のマージ画面領域に記憶する。このマージ画面を模式的に示した図が、図11の機器画面DVS1aである。
【０１３５】
マージ制御部32は、情報処理機器用の接続装置306を介して、マージ画面データを情報処理機器IDVに送信する。情報処理機器IDVの制御ソフトSF1は、接続装置108を介して、マージ画面データを受信し、図11に示すように、表示装置105に表示する(S35)。
【０１３６】
[情報処理機器を介しての端末装置の操作]
次に、情報処理機器を介する端末装置の操作について説明する。以下の説明では、前記した表示処理の第1の具体例で説明したように、情報処理機器IDVの表示装置105に、図11の機器画面DVS1aが表示されている。利用者は、情報処理機器IDVの表示装置105に表示された機器画面DVS1a(図11参照)に対して接触操作(タッチ)を行う。すると、情報処理機器IDVのタッチパネル106は、この接触を検知し、機器画面DVS1aの点P1の座標(0,0)を原点とする接触点の座標を、接続装置108を介して制御装置CAに送信する。
【０１３７】
(端末装置の操作のフロー図)
図14は、情報処理機器を介しての端末装置の操作を説明する第1のフロー図である。
【０１３８】
ステップS41:制御装置CAの画面制御部31は、情報処理機器IDVから送信された操作位置情報を情報処理機器用の接続装置306を介して受信する。この操作位置情報は、例えば、接触点の座標(以下、接触座標と記す)である。
【０１３９】
ステップS42:画面制御部31は、図9の変換情報テーブルT2と接触座標とに基づき、接続している複数の端末装置の中から、接触座標を送信する端末装置を特定する。この特定について、具体的に説明する。
【０１４０】
画面制御部31は、図9の変換情報テーブルT2の情報処理機器開始座標欄に記憶された開始座標と、情報処理機器終了座標欄に記憶された終了座標とで示される領域を特定する。画面制御部31は、図9の変換情報テーブルT2では、開始座標(X11α,Y11α)と終了座標(X12α,Y12α)とで示される第1の領域を特定する。この第1の領域は、図11の機器画面DVS1a内における端末画面TAS11の領域である。
【０１４１】
画面制御部31は、図9の変換情報テーブルT2では、開始座標(X21α,Y21α)と終了座標(X22α,Y22α)とで示される第2の領域を特定する。この第2の領域は、図11の機器画面DVS1a内における端末画面TAS12の領域である。画面制御部31は、図9の変換情報テーブルT2では、開始座標(X31α,Y31α)と終了座標(X32α,Y32α)とで示される第3の領域を特定する。この第3の領域は、図11の機器画面DVS1a内における端末画面TAS13の領域である。
【０１４２】
次いで、画面制御部31は、特定した各領域の中から、接触座標を含む領域を特定する。そして、画面制御部31は、図9の変換情報テーブルT2において、接触座標を含む領域を示す情報処理機器開始座標または情報処理機器終了座標が記憶されたセルが属する行と、識別子欄とが交わるセルに記憶された識別子で識別される端末装置を特定する。この特定した端末装置が、接触座標を送信する端末装置である。
【０１４３】
ステップS43:画面制御部31は、接触座標を送信する端末装置用に接触座標を変換する。
【０１４４】
具体的には、画面制御部31は、図11の機器画面DVS1aの点P1の座標(0,0)を原点とする接触点の座標を、S42で特定した領域の開始座標を原点とする座標に変換する。換言すれば、画面制御部31は、点P1の座標(0,0)を原点とする接触点の座標を、端末装置の表示装置205の画面左上角を原点とする座標に変換する。
【０１４５】
例えば、接触座標が(Xt,Yt)であるとする。画面制御部31は、S42で特定した領域が第1の領域(図11の端末画面TAS11)の場合、接触座標(Xt,Yt)を変換座標(Xt-Xo,Yt-Yo)に変換する。変換座標(Xt-Xo,Yt-Yo)は、接触座標(Xt,Yt)のX座標から横オフセットXoを減算し、接触座標(Xt,Yt)のY座標から縦オフセットYoを減算した座標である。
【０１４６】
また、画面制御部31は、S42で特定した領域が第2の領域(図11の端末画面TAS12)の場合、接触座標(Xt,Yt)を変換座標(Xt-Xo- W11x,Yt-Yo)に変換する。変換座標(Xt-Xo- W11x,Yt-Yo)は、接触座標(Xt,Yt)のX座標から横オフセットXoと横幅W11xとを減算し、接触座標(Xt,Yt)のY座標から縦オフセットYoを減算した座標である。
【０１４７】
また、画面制御部31は、S42で特定した領域が第3の領域(図11の端末画面TAS13)の場合、接触座標(Xt,Yt)を変換座標(Xt-Xo- 2×W11x,Yt-Yo)に変換する。変換座標(Xt-Xo-2×W11x,Yt-Yo)は、接触座標(Xt,Yt)のX座標から横オフセットXoと横幅W11xの2倍とを減算し、接触座標(Xt,Yt)のY座標から縦オフセットYoを減算した座標である。
【０１４８】
ステップS44:画面制御部31は、変換座標を、S42で特定した端末装置に送信する。
【０１４９】
具体的には、画面制御部31は、S42で特定した端末装置の識別子と、S43で変換した変換座標とをクライアント管理部34に送信する。クライアント管理部34は、図9の変換情報テーブルT2の識別子欄の中から、S42で特定した端末装置の識別子が記憶されているセルを特定する。クライアント管理部34は、特定したセルが属する行とポート番号欄とが交わるセルに記憶されたポート番号を特定する。
【０１５０】
クライアント管理部34は、特定したポート番号により識別される接続装置に対応するクライアント部に変換座標を送信する。クライアント管理部34は、S42で特定した端末装置の識別子がTAnの場合、ポート番号"305n"で識別される第nのクライアント部35nに、変換座標を送信する。第nのクライアント部35nは、変換座標を受信し、受信した変換座標を、第nの接続装置305nに送信する。第nの接続装置305nは、変換座標を受信し、受信した変換座標を、第nの端末装置TAnに送信する。変換座標の送信をS44からS45への破線矢印で模式的に示す。
【０１５１】
ステップS45: 制御装置CAに接続している第nの端末装置TAnの制御ソフトSF2aは、変換座標を受信すると、変換座標が示すタッチパネル206上の位置が接触操作されたものと見なして、この接触操作に対応する処理を実行する。
【０１５２】
図14で説明したように、画面制御部31は、情報処理機器IDVのタッチパネル106が出力した操作位置情報を受信する(S41)。画面制御部31は、操作位置情報と、ストレージ302に記憶された第1の特定情報(図9の変換情報テーブルT2参照)とに基づき、操作された位置に表示されている端末画面のデータを送信した端末装置を特定する(S42)。
【０１５３】
画面制御部31は、特定した端末装置の識別子に対応してストレージ302に記憶された第1の特定情報に基づき、受信した操作位置情報を、特定した端末装置用の操作位置情報に変換する(S43)。クライアント管理部34は、特定された端末装置に、変換された操作位置情報を送信する(S44)。
【０１５４】
(端末装置の操作の第1の具体例)
以下の説明では、前記した表示処理の第1の具体例で説明したように、情報処理機器IDVの表示装置105に、図11の機器画面DVS1aが表示されている。利用者は、図11の端末画面TAS11のアイコンICN12に対して接触操作を行う。この接触点を符号TAP1で示す。接触点TAP1の座標は(Xo+(W11x/4),Yo+(W11y/2))であるとする。制御装置CAの画面制御部31は、接触座標(Xo+(W11x/4),Yo+(W11y/2))を受信する(S41)。
【０１５５】
画面制御部31は、図9の変換情報テーブルT2と接触座標とに基づき、特定した各領域(第1の領域〜第3の領域)の中から、接触座標(Xo+(W11x/4),Yo+(W11y/2))を含む領域を特定する(S42)。第1の領域は、開始座標(X11α,Y11α)と終了座標(X12α,Y12α)とで示される領域である。開始座標(X11α,Y11α)は、開始座標(Xo,Yo)であり、終了座標(X12α,Y12α)は、座標(Xo+W11x,Yo+W11y)である。従って、第1の領域は、接触座標(Xo+(W11x/4),Yo+(W11y/2))を含む。そのため、画面制御部31は、接触座標(Xo+(W11x/4),Yo+(W11y/2))を含む第1の領域を特定する(S42)。
【０１５６】
そして、画面制御部31は、図9の変換情報テーブルT2において、この接触座標を含む第1の領域を示す情報処理機器開始座標が記憶されたセルが属する行と、識別子欄とが交わるセルに記憶された識別子"TA1"で識別される第1の端末装置TA1を特定する(S42)。
【０１５７】
画面制御部31は、この接触座標を送信する第1の端末装置TA1用に接触座標を変換する(S43)。画面制御部31は、接触座標(Xo+(W11x/4),Yo+(W11y/2))を(Xo+(W11x/4)-Xo,Yo+(W11y/2)-Yo)、すなわち(W11x/4,W11y/2)に変換する(S43)。
【０１５８】
画面制御部31は、変換座標(W11x/4,W11y/2)を、S42で特定した第1の端末装置TA1に送信する(S44)。第1の端末装置TA1の制御ソフトSF2aは、変換座標(W11x/4,W11y/2)を受信すると、変換座標が示すタッチパネル206上の位置が接触操作されたものと見なして、この接触操作に対応する処理を実行する。
【０１５９】
利用者が接触操作を行ったアイコンICN12(図10、図11参照)が音楽コンテンツを再送する再生ソフトを起動するアイコンであるとする。第1の端末装置TA1の制御ソフトSF2aは、ユーザソフトSF2bの再生ソフトを起動する。起動したユーザソフトSF2bの再生ソフトは、ストレージ302に記憶されている、この音楽コンテンツの音声データを読み出し、制御ソフトSF2aに出力する。制御ソフトSF2aは、この音声データを、接続装置208を介して、制御装置CAに送信する。なお、かかる音楽データの送信は、例えばRTP(Real-time Transport Protocol)を利用して実行される。
【０１６０】
制御装置CAの第1のクライアント部351は、第1の接続装置3051を介して、音楽データを受信し、クライアント管理部34に送信する。クライアント管理部34は、受信した音楽データを音声出力制御部33に送信する。音声出力制御部33は、音楽データを情報処理機器用の接続装置306を介して、情報処理機器IDVに送信する。情報処理機器IDVの制御ソフトSF1は、接続装置108を介して、音楽データを受信し、受信した音楽データを音声出力装置107に送信する。情報処理機器IDVの音声出力装置107は、受信した音楽データを音声出力する。
【０１６１】
(端末装置の操作の第2の具体例)
以下の説明では、前記した端末装置の操作の第1の具体例で説明したように、情報処理機器IDVの音声出力装置107は、音楽データを音声出力している。また、情報処理機器IDVの表示装置105に、図11の端末画面TAS12が表示されている。利用者は、図11の端末画面TAS12のアイコンICN22に対して接触操作を行う。この接触点を符号TAP2で示す。接触点TAP2の座標は(Xo+(W11x/4)+W11x,Yo+(W11y/2))であるとする。制御装置CAの画面制御部31は、接触座標(Xo+(W11x/4)+W11x,Yo+(W11y/2))を受信する(S41)。
【０１６２】
画面制御部31は、図9の変換情報テーブルT2と接触座標とに基づき、特定した各領域(第1の領域〜第3の領域)の中から、接触座標(Xo+(W11x/4)+W11x,Yo+(W11y/2))を含む領域を特定する。第2の領域は、開始座標(X21α,Y21α)と終了座標(X22α,Y22α)とで示される領域である。開始座標(X21α,Y21α)は、座標(Xo+W11x,Yo)であり、終了座標(X22α,Y22α)は、座標(Xo+2×W11x,Yo+W11y)である。である。従って、第2の領域は、接触座標(Xo+(W11x/4)+W11x,Yo+(W11y/2))を含む。そのため、画面制御部31は、接触座標(Xo+(W11x/4)+W11x,Yo+(W11y/2))を含む第2の領域を特定する(S42)。
【０１６３】
そして、画面制御部31は、図9の変換情報テーブルT2において、この接触座標を含む第2の領域を示す情報処理機器開始座標が記憶されたセルが属する行と、識別子欄とが交わるセルに記憶された識別子"TA2"で識別される第2の端末装置TA2を特定する(S42)。
【０１６４】
画面制御部31は、この接触座標を送信する第2の端末装置TA2用に接触座標を変換する(S43)。画面制御部31は、接触座標(Xo+(W11x/4)+W11x,Yo+(W11y/2))を(Xo+(W11x/4)+W11x-Xo-W11x,Yo+(W11y/2)-Yo)、すなわち((W11x/4),(W11y/2))に変換する(S43)。
【０１６５】
画面制御部31は、変換座標((W11x/4),(W11y/2))を、S42で特定した第2の端末装置TA2に送信する(S44)。第2の端末装置TA2の制御ソフトSF2aは、変換座標((W11x/4),(W11y/2))を受信すると、変換座標が示すタッチパネル206上の位置が接触操作されたものと見なして、この接触操作に対応する処理を実行する。
【０１６６】
利用者が接触操作を行ったアイコンICN22(図10、図11参照)がカーナビソフトを起動するアイコンであるとする。第2の端末装置TA2の制御ソフトSF2aは、ユーザソフトSF2bのカーナビソフトを起動する。起動したユーザソフトSF2bのカーナビソフトは、ストレージ302に記憶されている、このカーナビソフトの画像データを読み出し、制御ソフトSF2aに出力する。制御ソフトSF2aは、この画像データを、接続装置208を介して、制御装置CAに送信する。この画像データは、現在位置、および、現在位置の道路、現在位置付近の建物の情報を含む。なお、かかる画像データの送信は、例えばRTPや、VNC(Virtual Network Computing)プロトコルを利用して実行される。この画像データは、後記する図15の端末画面TAS12aの画面データである。
【０１６７】
制御装置CAの第2のクライアント部352は、第2の接続装置3052を介して、画像データを受信し、クライアント管理部34に送信する。クライアント管理部34は、受信した画像データをマージ制御部32に送信する。
【０１６８】
そして、制御装置CAのマージ制御部32は、画像データを送信した第2の端末装置TA2の情報処理機器開始座標(X21α,Y21α)、情報処理機器終了座標(X22α,Y22α)を特定する。マージ制御部32は、第2の端末装置TA2の画面データを座標(X21α,Y21α)と座標(X22α,Y22α)とで示される領域に配置して、RAM303のマージ画面領域に記憶されているマージ画面を更新する(図15参照)。
【０１６９】
マージ制御部32は、この更新において、以下の画面データや、画像データが配置されたデータをマージ画面データとして、RAM303のマージ画面領域に記憶する。この画面データは、第1の端末装置TA1の画面データ、第2の端末装置TA2の画面データ(カーナビ用の画像データ)、第3の端末装置TA3の画面データである。この画像データは、バックボタンBT1、ホームボタンBT2の画像データである。
【０１７０】
図15は、更新後のマージ画面を模式的に示す第1の図である。図15の機器画面DVS1b内の端末画面TAS12aに示すように、カーナビゲーションの画面が表示される。
【０１７１】
マージ制御部32は、情報処理機器用の接続装置306を介して、更新後のマージ画面を情報処理機器IDVに送信する。情報処理機器IDVの制御ソフトSF1は、接続装置108を介して、更新後のマージ画面データを受信し、図15に示すように、表示装置105に表示する。
【０１７２】
なお、制御装置CAは、前記した、図11の符号TAP2で示す接触座標の受信によって、接続している複数の端末装置(TA1〜TA3)に含まれる第2の端末装置TA2の指定(選択)を受け付けている。
【０１７３】
(音声の同時出力)
ここで、音声出力制御部33は、第1の端末装置TA1からの音声データの受信を続行し、マージ制御部32が実行するマージ画面データの送信処理と並行して、音声データの音声出力を情報処理機器IDVに実行させている。このマージ画面は、例えば、図15の機器画面DVS1bである。
【０１７４】
ユーザソフトSF2bのカーナビソフトが案内などの音声出力を行うことがある。このように、2つの系統の音声(1つは音楽、1つは案内などの音声)が同時に出力される場合について説明する。ユーザソフトSF2bのカーナビソフトは、案内などの音声データ(以下、第1の音声データと適宜記す)を作成し、制御ソフトSF2aに出力する。制御ソフトSF2aは、第1の音声データを、接続装置208を介して、制御装置CAに送信する。
【０１７５】
制御装置CAの第2のクライアント部352は、第2の接続装置3052を介して、第1の音声データを受信し、クライアント管理部34に送信する。クライアント管理部34は、受信した第1の音声データを音声出力制御部33に送信する。音声出力制御部33は、第1の音声データを情報処理機器用の接続装置306を介して、情報処理機器IDVに送信する。音声出力制御部33は、第1の音声データの送信時において、同時に、他の第2の音声データ(例えば、音楽データ)を送信している場合には、第2の音声データの音量を下げるように指示する制御信号を送信する。
【０１７６】
情報処理機器IDVの制御ソフトSF1は、接続装置108を介して、第1、第2の音声データと制御信号とを受信する。情報処理機器IDVの制御ソフトSF1は、第2の音声データの音量を下げる制御を音声出力装置107に対して行い、受信した第2の音声データを音声出力装置107に送信する。同時に、情報処理機器IDVの制御ソフトSF1は、受信した第1の音声データを音声出力装置107に送信する。音声出力装置107は、第2の音声データの音量を下げて、第2の音声データの音声出力を行うと共に、第1の音声データの音声出力を行う。かかる音量の制御を行うことで、カーナビの音声を聞き取りやすくする。
【０１７７】
以上説明したように、本実施の形態の制御装置によれば、1つの情報処理機器を操作して、同時に、複数の端末装置の各々にインストールされたソフトを実行させることができる。そのため、異なる端末装置にインストールされたソフトを切り替えるために、ケーブルを入れ替える接続解除および接続操作が不要になる。
【０１７８】
その結果、利用者の利便性が向上する。特に、利用者が、運転手であり、他に同乗者がいない場合であっても、短時間で1つの情報処理機器を操作して、複数の端末装置の各々にインストールされたソフトを実行させることができるので、利用者の利便性が向上する。
【０１７９】
具体的には、第1の端末装置に音楽コンテンツが記憶され、第2の端末装置にカーナビゲーション用のソフトが記憶されている場合、利用者は、音楽コンテンツの視聴と並行して、カーナビゲーション用のソフトによる案内を受けることができる。
【０１８０】
[第2の実施の形態]
図11、図15では、情報処理機器IDVの表示装置105に、制御装置CAに接続している複数の端末装置の端末画面を同時に表示した場合を例示した。情報処理機器IDVの表示装置105の解像度が低い場合に、制御装置CAに接続している複数の端末装置の端末画面を同時に表示しても、利用者は、各端末画面の内容を明確に理解できないことがある。
【０１８１】
このように、情報処理機器IDVの表示装置105の解像度が低い場合には、制御装置CAに接続している複数の端末装置の中で、利用者が選択した1つの端末装置の端末画面を、表示装置105に表示する。1つの端末装置の端末画面を、表示装置105に表示する場合を単独表示モードと適宜記す。
【０１８２】
[情報処理機器IDVの機器画面]
図16は、情報処理機器IDVの機器画面の第2の例を示す図である。情報処理機器IDVの制御ソフトSF1は、情報処理機器IDVに接続された端末装置(例えば第1の端末装置TA1〜第3の端末装置TA3)を選択可能に表示する機器画面DVS1bを情報処理機器IDVの表示装置105に表示する。以下の説明では、3つの端末装置(TA1〜TA3)が、制御装置CAに接続している場合を例示して説明する。
【０１８３】
図16における点P1、P2aは、機器画面DVS1cにおける図面左上の角、図面右下の角を示す。第2の実施の形態で説明する情報処理機器IDVの表示装置105の解像度は、第1の実施の形態で説明した情報処理機器IDVの表示装置105の解像度よりも低い。その結果、第2の実施の形態の機器画面DVS1cは、第1の実施の形態の機器画面DVS1a(図11参照)や機器画面DVS1b(図15参照)よりも解像度が低くなる。
【０１８４】
そのため、端末装置TAの表示装置205の解像度を維持しながら、第2の実施の形態で説明する情報処理機器IDVの表示装置105に、2つ以上の端末装置の端末画面を、同時に表示することは困難である。
【０１８５】
情報処理機器IDVの制御ソフトSF1は、図16に示すように、例えば図10(A)の端末画面TAS11を、機器画面DVS1c内に表示する。機器画面DVS1cの選択ボタンBT11、BT12、BT13は、情報処理機器IDVに接続された第1の端末装置T1〜第3の端末装置TA3の中から利用者が端末装置を選択するためのボタンである。換言すれば、利用者は、図16に示した選択ボタンBT11、BT12、BT13の何れかの選択ボタンに対して接触操作を行うことにより、端末装置を選択する。
【０１８６】
第1の端末装置TA1を選択する選択画像は、選択ボタンBT11である。選択ボタンBT11は、例えば利用者が第1の端末装置TA1を選択するボタンである。第2の端末装置TA2を選択する選択画像は、選択ボタンBT12である。選択ボタンBT12は、例えば利用者が第2の端末装置TA2を選択するボタンである。第3の端末装置TA3を選択する選択画像は、選択ボタンBT13である。選択ボタンBT13は、例えば利用者が第3の端末装置TA3を選択するボタンである。
【０１８７】
図16に示すように、点P11αで示す開始座標(X11α,Y11α)と、点P12αで示す終了座標(X12α,Y12α)とで特定される表示領域に、例えば、利用者が選択した第1の端末装置TA1の端末画面TAS11が表示される。
【０１８８】
図17は、図16の選択ボタンBT11、BT12、BT13の部分を拡大した図である。図17における点P41α、P42αは、それぞれ、選択ボタンBT11の左上の角、選択ボタンBT11の右下の角を示す。点P51α、P52αは、それぞれ、選択ボタンBT12の左上の角、選択ボタンBT12の右下の角を示す。点P61α、P62αは、それぞれ、選択ボタンBT13の左上の角、選択ボタンBT13の右下の角を示す。
【０１８９】
図17の横幅W21xは、選択ボタンBT11、BT12、BT13の横幅を示す。図17の縦幅W21yは、選択ボタンBT11、BT12、BT13の縦幅を示す。さらに、横幅Xoは、点P1から点P41αまでの横オフセットを示し、縦幅Yoは、点P1から点P41αまでの縦オフセットを示す。
【０１９０】
ここで、点P41αの座標は(X41α,Y41α)、点P42αの座標は(X42α,Y42α)、点P51αの座標は(X51α,Y51α)、点P52αの座標は(X52α,Y52α)、点P61αの座標は(X61α,Y61α)、点P62αの座標は(X62α,Y62α)である。以下の説明では、点P1の座標を(0,0)とする。すると、点P41αの座標は座標(Xo,Yo)、点P42αの座標は座標(Xo+W21x,Yo+W21y)である。また、点P51αの座標は座標(Xo+W21x,Yo)、点P52αの座標は座標(Xo+2×W21x,Yo+W21y)である。また、点P61αの座標は座標(Xo+2×W21x,Yo)、点P62αの座標は座標(Xo+3×W21x,Yo+W21y)である。
【０１９１】
図16において、前記したように点P1の座標を(0,0)とすると、図16の点P11αで示す開始座標(X11α,Y11α)は、(Xo,Yo+W21y)である。そして、図16の点P12αで示す終了座標(X12α,Y12α)は、(Xo+W11x,Yo+W21y+W11y)である。
【０１９２】
[端末装置の管理]
図12、図18を参照して、端末装置の管理について説明する。図18は、図4、図5で示した変換情報の第2の例を示す図である。図18の変換情報テーブルT2aの構成は、図9の変換情報テーブルT2の構成と同様である。なお、図18において、"-"はデータが記憶されないことを示す。
【０１９３】
図18の変換情報テーブルT2aにおいて、最下行(矢印LN4参照)に、情報処理機器IDVの表示装置105に表示される1つの端末装置に関する各種情報が記憶される。図18の例では、情報処理機器開始座標欄における最下行LN4のセルに、機器画面DVS1cにおいて端末装置の端末画面が表示される表示領域の開始座標(端末装置の開始座標)、すなわち点P11αの座標が(X11α,Y11α)が予め記憶される。情報処理機器終了座標欄における最下行LN4のセルに、機器画面DVS1cにおいて端末装置の端末画面が表示される表示領域の終了座標(端末装置の終了座標)、すなわち点P12αの座標が(X12α,Y12α)が予め記憶される。
【０１９４】
なお、端末装置開始座標欄における最下行LN4のセルに記憶されている"(0,0)"、端末装置終了座標欄における最下行LN4のセルに記憶されている"(X2,Y2)"については、図9で説明したので、その説明を省略する。
【０１９５】
以上説明したように、クライアント管理部34は、端末装置の端末画面が、情報処理機器IDVの表示装置105に表示される表示領域を特定する第2の特定情報をストレージ302に記憶する。第2の特定情報は、例えば、機器画面DVS1cにおいて端末装置の端末画面が表示される表示領域の開始座標と終了座標とを含む。
【０１９６】
図18の変換情報テーブルT2aにおいて、2行目(矢印LN3参照)以下から最下行LN4よりも1つ上の行までの行に、接続された端末装置を選択する選択ボタンに関する各種情報が記憶される。以下の説明では、2行目LN3から最下行LN4よりも1つ上の行までの行を、選択ボタン用の行と適宜記す。
【０１９７】
選択ボタン用の行において、端末装置の識別子が記憶されたセルが属する行と、情報処理機器開始座標欄とが交わるセルに、この端末装置を選択する選択ボタンの開始座標が予め記憶される。さらに、選択ボタン用の行において、端末装置の識別子が記憶されたセルが属する行と、情報処理機器終了座標欄とが交わるセルに、この端末装置を選択する選択ボタンの終了座標が予め記憶される。
【０１９８】
例えば、第1の端末装置TA1の識別子"TA1"が記憶されたセル(TA1のセル)が属する行と、情報処理機器開始座標欄とが交わるセルに点P41αの座標(X41α,Y41α)が予め記憶される。そして、TA1のセルが属する行と、情報処理機器終了座標欄とが交わるセルに点P42の座標(X42α,Y42α)が予め記憶される。
【０１９９】
クライアント管理部34は、前記した座標(端末装置の開始座標、終了座標と、情報処理機器の開始座標、終了座標)の記憶を予め実行する。なお、この座標は、例えば開発者により適宜調整可能である。
【０２００】
さて、利用者は、第1の端末装置TA1〜第3の端末装置TA3を、それぞれ、制御装置CAの第1の接続装置3051〜第3の接続装置3053に接続する。すると、図12のS21〜S24の処理が実行される。
【０２０１】
次いで、制御装置CAのクライアント管理部34は、接続した第1の端末装置TA1の識別子を作成する(S25）。そして、クライアント管理部34は、図8の管理情報テーブルT1を作成する(S25）。
【０２０２】
さらに、クライアント管理部34は、作成された識別子とポート番号とを、それぞれ、図18の変換情報テーブルT2aの識別子欄とポート番号欄とに記憶する(S25）。クライアント管理部34は、この記憶において、選択ボタン用の行と識別子欄とが交わるセルに、端末装置の識別子を記憶し、選択ボタン用の行とポート番号欄とが交わるセルに、ポート番号を記憶する。
【０２０３】
例えば、クライアント管理部34は、図18の変換情報テーブルT2aの行LN3と識別子欄とが交わるセルに識別子"TA1"を記憶する。さらに、クライアント管理部34は、図18の変換情報テーブルT2aの行LN3とポート番号欄とが交わるセルにポート番号"3051"を記憶する。
【０２０４】
第2の端末装置TA2、第3の端末装置TA3の接続による、図18の変換情報テーブルT2aにおける、端末装置の識別子とポート番号との記憶については、前記した端末装置の管理の具体例で説明したのでその説明を省略する。以上に説明したように、制御装置CAは、図8の管理情報テーブルT1、図18の変換情報テーブルT2aを作成する。
【０２０５】
[表示処理]
図16を参照して、接続された複数の端末装置を選択可能に、情報処理機器IDVの表示装置105に表示させる処理について説明する。この説明では、図12で説明したように、複数の端末装置が制御装置CAに接続されている。
【０２０６】
(フロー図)
図19は、接続された複数の端末装置を選択可能に、情報処理機器IDVの表示装置105に表示させる処理について説明する第2のフロー図である。図19のフロー図は、図13のフロー図のS31、S34をS31a、S34aに置き換えたフロー図である。従って、S32、S33、S35の説明は省略する。
【０２０７】
ステップS31a:制御装置CAのクライアント管理部34は、接続している1台の端末装置に画面データの送信要求を行う。この送信要求をS31a〜S32への破線矢印で模式的に示す。接続している1台の端末装置は、例えば、図8の管理情報テーブルT1の識別子欄の2行目のセルに記憶された識別子により識別される端末装置である。図8の例では、クライアント管理部34は、第1の端末装置TA1に画面データの送信要求を行う。なお、この送信要求の詳細については、図12のS1で説明したので、その説明を省略する。
【０２０８】
さらに、クライアント管理部34は、画面データの送信要求を行った端末装置の識別子を選択端末装置の識別子としてRAM303に記憶する。前記の例では、クライアント管理部34は、第1の端末装置TA1の識別子"TA1"を選択端末装置の識別子としてRAM303に記憶する。
【０２０９】
ステップS34a:制御装置CAのマージ制御部32は、画面データを受信すると、図18の変換情報テーブルT2aに基づき、接続している端末装置の選択ボタンの画面データと、受信した画面データとをマージしたマージ画面データを作成する。そして、マージ制御部32は、作成したマージ画面データを、情報処理機器IDVに送信する。
【０２１０】
具体的には、制御装置CAのマージ制御部32は、図18の変換情報テーブルT2aの情報処理機器開始座標欄における最下行LN4のセルに記憶された開始座標を特定する。さらに、マージ制御部32は、図18の変換情報テーブルT2aの情報処理機器終了座標欄における最下行LN4のセルに記憶された終了座標を特定する。
【０２１１】
この特定後、マージ制御部32は、受信した端末装置の画面データを、特定した情報処理機器開始座標と特定した情報処理機器終了座標とで示される領域に配置した第1のマージ画面データを作成する。
【０２１２】
マージ制御部32は、図18の変換情報テーブルT2aの情報処理機器開始座標欄における選択ボタン用の行のセルに記憶された開始座標を特定する。さらに、マージ制御部32は、図18の変換情報テーブルT2aの情報処理機器終了座標欄における選択ボタン用の行のセルに記憶された終了座標を特定する。
【０２１３】
この特定後、マージ制御部32は、第1のマージ画面データにおける、特定した情報処理機器開始座標と特定した情報処理機器終了座標とで示される領域を特定する。そして、マージ制御部32は、選択ボタン用の画像データを、特定した領域に配置した第2のマージ画面データを作成する。マージ制御部32は、作成した第2のマージ画面データを情報処理機器IDVに送信する。
【０２１４】
図19のS34aでは、例えば、マージ制御部32は、クライアント管理部34により管理される複数の端末装置を選択する機器画面のデータを作成する(S34a)。この機器画面のデータは、例えば、S34aのマージ画面データである。マージ制御部32は、作成した機器画面のデータを情報処理機器IDVに送信して(S34a)、情報処理機器IDVの表示装置105にこの機器画面のデータに基づく表示を実行させる(S35参照)。
【０２１５】
具体的には、マージ制御部32は、複数の端末装置(例えば、第1の端末装置TA1〜第3の端末装置TA3)の各々の選択画像の第1の特定情報に基づき、選択画像を、機器画面に配置する領域を特定する(S34a)。
【０２１６】
第1の特定情報は、端末装置TAを選択する選択画像(選択ボタン)が情報処理機器IDVの表示装置105に表示される表示領域を特定する開始座標と終了座標とを含む。
【０２１７】
図16の例では、第1の端末装置TA1を選択する選択画像は、選択ボタンBT11である。機器画面は、図16の例では、機器画面DVS1cである。マージ制御部32は、特定した領域に基づき、複数の端末装置の各々の選択画像が機器画面に配置される機器画面の画面データを作成する(S34a)。
【０２１８】
(表示処理の第2の具体例)
次に、表示処理の第2の具体例を説明する。以下の説明では、第1の端末装置TA1〜第3の端末装置TA3が制御装置CAに接続されている。クライアント管理部34は、この接続により、図8の管理情報テーブルT1、図18の変換情報テーブルT2aを作成済みである。
【０２１９】
制御装置CAのクライアント管理部34は、接続している第1の端末装置TA1〜第3の端末装置TA3の中の第1の端末装置TA1に画面データの送信要求を行う(S31a)。第1の端末装置TA1の制御ソフトSF2aは、画面データの送信要求を受信すると、表示装置205に表示されている画面のデータ(画面データ)を制御装置CAに送信する(S32)。第1の端末装置TA1の制御ソフトSF2aは、例えば、図10(A)に示す端末画面TAS11の画面データを制御装置CAに送信する。
【０２２０】
制御装置CAの第1のクライアント部351は、第1の端末装置TA1の画面データを受信すると、受信した画面データをクライアント管理部34に送信する。クライアント管理部34は、マージ制御部32にこれらの画面データを送信する(S33)。
【０２２１】
制御装置CAのマージ制御部32は、図18の選択ボタン用の行において、第1の端末装置TA1の選択ボタンBT11の情報処理機器開始座標(X41α,Y41α)、情報処理機器終了座標(X42α,Y42α)を特定する。そして、制御装置CAのマージ制御部32は、図18の選択ボタン用の行において、第2の端末装置TA2の選択ボタンBT12の情報処理機器開始座標(X51α,Y51α)、情報処理機器終了座標(X52α,Y52α)を特定する。そして、制御装置CAのマージ制御部32は、図18の選択ボタン用の行において、第3の端末装置TA3の選択ボタンBT13の情報処理機器開始座標(X61α,Y61α)、情報処理機器終了座標(X62α,Y62α)を特定する。
【０２２２】
さらに、制御装置CAのマージ制御部32は、図18の最下行LN4において、端末装置の情報処理機器開始座標(X11α,Y11α)、情報処理機器終了座標(X12α,Y12α)を特定する。
【０２２３】
マージ制御部32は、情報処理機器IDVの表示装置105に表示される機器画面DVS1cの画面領域に対応する画面データを記憶するマージ画面領域をRAM303に確保する。このマージ画面領域は、図16の機器画面DVS1cの画面データを格納するメモリ領域である。
【０２２４】
マージ制御部32は、第1の端末装置TA1の選択ボタンBT11の画像データを座標(X41α,Y41α)と座標(X42α,Y42α)とで示される領域に配置する(図16のボタンBT11参照)。マージ制御部32は、第2の端末装置TA2の選択ボタンBT12の画像データを座標(X51α,Y51α)と座標(X52α,Y52α)とで示される領域に配置する(図16のボタンBT12参照)。さらに、マージ制御部32は、第3の端末装置TA3の選択ボタンBT13の画像データを座標(X61α,Y61α)と座標(X62α,Y62α)とで示される領域に配置する(図16のボタンBT13参照)。なお、各選択ボタンの画像データは、ストレージ302に記憶されている。
【０２２５】
さらに、マージ制御部32は、受信した第1の端末装置TA1の画面データを座標(X11α,Y11α)と座標(X12α,Y12α)とで示される領域に配置する(図16の端末画面TAS11参照)。
【０２２６】
さらに、マージ制御部32は、バックボタンBT1、ホームボタンBT2の画像データを、選択ボタンBT11〜BT13の画像データと第1の端末装置TA1の画面データとが配置された領域以外の領域に配置する。
【０２２７】
そして、マージ制御部32は、選択ボタンBT11〜BT13の画像データや第1の端末装置TA1の画面データやバックボタンBT1、ホームボタンBT2の画像データが配置された画面データをマージ画面データとして、RAM303のマージ画面領域に記憶する。このマージ画面を模式的に示した図が、図16の機器画面DVS1cである。
【０２２８】
マージ制御部32は、情報処理機器用の接続装置306を介して、マージ画面を情報処理機器IDVに送信する。情報処理機器IDVの制御ソフトSF1は、接続装置108を介して、マージ画面データを受信し、表示装置105に表示する(S35)。
【０２２９】
[情報処理機器を介しての端末装置の操作]
次に、情報処理機器を介しての端末装置の操作について説明する。以下の説明では、前記した表示処理の第2の具体例で説明したように、情報処理機器IDVの表示装置105に、図16の機器画面DVS1cが表示されている。利用者は、情報処理機器IDVの表示装置105に表示された機器画面DVS1c(図16参照)に対して接触操作(タッチ)を行う。すると、情報処理機器IDVのタッチパネル106は、この接触を検知し、機器画面DVS1cの点P1の座標(0,0)を原点とする接触点の座標を、接続装置108を介して制御装置CAに送信する。
【０２３０】
(端末装置の操作のフロー図)
図20は、情報処理機器を介しての端末装置の操作を説明する第2のフロー図である。
【０２３１】
ステップS51:制御装置CAの画面制御部31は、制御装置CAから送信された接触座標を情報処理機器用の接続装置306を介して受信する。S51の処理は、図14のS41の処理と同じである。
【０２３２】
ステップS52:画面制御部31は、図18の変換情報テーブルT2aと接触座標とに基づき、接触座標が、選択ボタンの表示領域内か、端末装置の画面領域内か判定する。ここで、選択ボタンの表示領域は、図16の機器画面DVS1cにおける各選択ボタンの表示領域である。そして、端末装置の画面領域は、図16の機器画面DVS1cにおける端末装置の画面が表示される領域(符号TAS11参照)である。
【０２３３】
接触座標が、選択ボタンの表示領域内の場合(S52/選択ボタン)、S55に移る。接触座標が、端末装置の画面領域内の場合(S52/端末装置)、S53に移る。S52の判定について、具体的に説明する。
【０２３４】
画面制御部31は、選択ボタンの表示領域を特定する。画面制御部31は、図18の変換情報テーブルT2aの選択ボタン用の行において、開始座標と、終了座標とで示される選択ボタンの表示領域を特定する。画面制御部31は、図18の変換情報テーブルT2aでは、開始座標(X41α,Y41α)と終了座標(X42α,Y42α)とで示される第1の選択ボタン領域を特定する。この第1の選択ボタン領域は、図16の機器画面DVS1c内における選択ボタンBT11の領域である。
【０２３５】
画面制御部31は、図18の変換情報テーブルT2aでは、開始座標(X51α,Y51α)と終了座標(X52α,Y52α)とで示される第2の選択ボタン領域を特定する。この第2の選択ボタン領域は、図16の機器画面DVS1c内における選択ボタンBT12の領域である。画面制御部31は、図18の変換情報テーブルT2aでは、開始座標(X61α,Y61α)と終了座標(X62α,Y62α)とで示される第3の選択ボタン領域を特定する。この第3の選択ボタン領域は、図16の機器画面DVS1c内における選択ボタンBT13の領域である。
【０２３６】
さらに、画面制御部31は、図18の変換情報テーブルT2aでは、開始座標(X11α,Y11α)と終了座標(X12α,Y12α)とで示される端末装置の画面表示領域を特定する。この画面表示領域は、例えば、機器画面DVS1c内における端末画面TAS11の領域である。
【０２３７】
次いで、画面制御部31は、特定した各領域の中から、接触座標を含む領域を特定する。接触座標を含む領域が、選択ボタン領域の場合、すなわち、接触座標が、選択ボタンの表示領域内の場合(S52/選択ボタン)、S55に移る。接触座標を含む領域が、画面表示領域の場合、すなわち、接触座標が、端末装置の画面領域内の場合(S52/端末装置)、S53に移る。
【０２３８】
ステップS53:画面制御部31は、選択端末装置用に接触座標を変換する。選択端末装置は、利用者により選択された端末装置であり、この選択端末装置の識別子が、RAM303に記憶されている。
【０２３９】
この変換を具体的に説明する。画面制御部31は、図16の機器画面DVS1cの点P1の座標(0,0)を原点とする接触点の座標を、端末装置の画面領域の開始座標を原点とする座標に変換する。換言すれば、画面制御部31は、点P1の座標(0,0)を原点とする接触点の座標を、端末装置の表示装置205の画面左上角を原点とする座標に変換する。
【０２４０】
例えば、接触座標が(Xt,Yt)であるとする。この場合、画面制御部31は、接触座標(Xt,Yt)と、機器画面DVS1cにおいて端末装置の端末画面が表示される表示領域の開始座標(例えば(Xo,Yo+W21y))とに基づき、接触座標(Xt,Yt)を変換座標(Xt-Xo,Yt-Yo-W21y)に変換する。
【０２４１】
ここで、変換座標(Xt-Xo,Yt-Yo-W21y)は、接触座標(Xt,Yt)のX座標から横オフセットXoを減算し、接触座標(Xt,Yt)のY座標から縦オフセットYoと選択ボタンの縦幅W21yを減算した座標である。
【０２４２】
以上説明したように、画面制御部31は、操作位置情報と、ストレージ302に記憶された第2の特定情報(図18の説明参照)とに基づき、操作位置情報を、特定した端末装置用の操作位置情報に変換する。
【０２４３】
ステップS54:画面制御部31は、変換座標を、選択端末装置に送信する。具体的には、画面制御部31は、RAM303に記憶された、選択端末装置の識別子(図19のS31a参照、図20のS56参照)と変換座標をクライアント管理部34に送信する。クライアント管理部34は、図18の変換情報テーブルT2aの識別子欄の中から、選択端末装置の識別子が記憶されているセルを特定する。クライアント管理部34は、特定したセルが属する行とポート番号欄とが交わるセルに記憶されたポート番号を特定する。クライアント管理部34は、特定したポート番号により識別される接続装置に対応するクライアント部に変換座標を送信する。
【０２４４】
クライアント管理部34は、選択端末装置の識別子が"TAn"の場合、ポート番号"305n"で識別される第nのクライアント部35nに、変換座標を送信する。第nのクライアント部35nは、変換座標を受信し、受信した変換座標を、第nの接続装置305nに送信する。第nの接続装置305nは、変換座標を受信し、受信した変換座標を、第nの端末装置TAnに送信する。
【０２４５】
利用者が、図16のアイコンICN12(音楽コンテンツを再送する再生ソフトを起動するアイコン)に対して接触操作した場合、前記したように、音声出力制御部33は、音声出力を、情報処理機器IDVの音声出力装置107に実行させる。なお、変換座標を受信した第nの端末装置TAnが実行する処理については、端末装置の操作の第1の具体例や、端末装置の操作の第2の具体例で説明したので、その説明を省略する。
【０２４６】
ステップS55:画面制御部31は、複数の選択ボタンの表示領域の中から、接触座標を含む選択ボタンの表示領域を特定する。接触座標が、P41αで示す開始座標座標(X41α,Y41α)と点P42αで示す終了座標(X42α,Y42α)とで示される領域に含まれている場合を想定する。この場合、画面制御部31は、接触座標を含む選択ボタンの表示領域として、選択ボタンBT11の表示領域を特定する。
【０２４７】
ステップS56:画面制御部31は、利用者により選択された選択端末装置を特定する。具体的には、画面制御部31は、S55で特定された選択ボタンの表示領域を示す情報処理機器開始座標または情報処理機器終了座標が記憶されたセルが属する行と、識別子欄とが交わるセルに記憶された識別子で識別される端末装置を特定する。
【０２４８】
S55で接触座標を含む選択ボタンBT11の表示領域が特定された場合、画面制御部31は、以下の端末装置を特定する。すなわち、画面制御部31は、P41αで示す開始座標座標(X41α,Y41α)が記憶されたセルが属する行と、識別子欄とが交わるセルに記憶された識別子"TA1"で識別される第1の端末装置TA1を特定する。この特定した端末装置が、選択端末装置である。
【０２４９】
画面制御部31は、特定した選択端末装置の識別子を、選択端末装置の識別子としてRAM303に記憶する。
【０２５０】
ステップS57:制御装置CAのクライアント管理部34は、選択端末装置に画面データの送信要求を行う。
【０２５１】
ステップS58: 制御装置CAのマージ制御部32は、画面データを受信すると、図18の変換情報テーブルT2aに基づき、接続している端末装置の選択ボタンの画像データと、受信した画面データとをマージしたマージ画面データを作成する。そして、マージ制御部32は、マージ画面データを、情報処理機器IDVに送信する。S58の処理は、図19のS34aで説明したので、その説明を省略する。
【０２５２】
(端末装置の操作についての第3の具体例)
前記した表示処理の第2の具体例で説明したように、情報処理機器IDVは、図16の機器画面DVS1cを表示装置に表示しているとする。ここで、利用者が、選択端末装置の変更を意図し、現在の選択端末装置とは異なる端末装置を選択するボタンに対して接触操作を行う。図16の例では、現在の選択端末装置は第1の端末装置TA1である。利用者は、例えばカーナビソフトの起動を意図して、第2の端末装置TA2を選択する。利用者は、この選択のため、図16の第2の選択ボタンBT12に対して接触操作を行う。
【０２５３】
制御装置CAの画面制御部31は、接触座標を受信する(S51)。この接触座標は、P51αで示す開始座標座標(X51α,Y51α)と点P52αで示す終了座標(X52α,Y52α)とで示される領域に含まれる(図17、図18参照)。従って、画面制御部31は、図18の変換情報テーブルT2aと接触座標とに基づき、接触座標が、選択ボタンの表示領域内と判定し(S52/選択ボタン)、接触座標を含む選択ボタンの表示領域として、選択ボタンBT12の表示領域を特定する(S55)。
【０２５４】
S55で選択ボタンBT12の表示領域が特定されたので、画面制御部31は、以下の端末装置を特定する。すなわち、画面制御部31は、P51αで示す開始座標座標(X51α,Y51α)が記憶されたセルが属する行と、識別子欄とが交わるセルに記憶された識別子"TA2"で識別される第2の端末装置TA2を特定する(S56)。この特定した端末装置が、選択端末装置である。
【０２５５】
画面制御部31は、特定した選択端末装置(第2の端末装置TA2)の識別子"TA2"を、選択端末装置の識別子としてRAM303に記憶する(S56)。
【０２５６】
制御装置CAのクライアント管理部34は、選択端末装置に画面データの送信要求を行う(S57)。クライアント管理部34は、例えば、図18の変換情報テーブルT2aの識別子欄の中から、選択端末装置の識別子"TA2"が記憶されているセルを特定する(S57)。クライアント管理部34は、特定したセルが属する行とポート番号欄とが交わるセルに記憶されたポート番号を特定する(S57)。クライアント管理部34は、特定したポート番号により識別される接続装置に対応するクライアント部に画面データの送信要求を送信する(S57)。クライアント管理部34は、選択端末装置の識別子が"TA2"の場合、ポート番号"3052"で識別される第2のクライアント部352に、画面データの送信要求を送信する(S57)。
【０２５７】
第2のクライアント部352は、画面データの送信要求を受信し、受信した画面データの送信要求を、第2の接続装置3052に送信する(S57)。第2の接続装置3052は、画面データの送信要求を受信し、受信した画面データの送信要求を、第2の端末装置TA2に送信する(S57)。
【０２５８】
なお、制御装置CAは、前記した、選択ボタンBT12に対する接触操作により送信された接触座標の受信によって、接続している複数の端末装置(TA1〜TA3)に含まれる第2の端末装置TA2の指定(選択)を受け付けている。
【０２５９】
制御装置CAのマージ制御部32は、第2の端末装置TA2の画面データを受信すると、図18の変換情報テーブルT2aに基づき、接続している端末装置の選択ボタンの画面データと、受信した画面データとをマージした更新後のマージ画面データを作成する(S58)。
【０２６０】
図21は、更新後のマージ画面を模式的に示す第2の図である。第2の端末装置TA2の画面データは、図10(B)の第2の端末装置TA2の端末画面TAS12であるとする。この場合、更新後のマージ画面として、図21に示す機器画面DVS1dが表示される。
【０２６１】
図20で説明したように、画面制御部31は、情報処理機器IDVのタッチパネル106が出力した操作位置情報を受信する(S51)。画面制御部31は、操作位置情報と、ストレージ302に記憶された第1の特定情報とに基づき、操作された位置に表示されている選択画像(選択ボタン)に対応する端末装置を特定する(S56)。この選択ボタンに対応する端末装置は、この選択ボタンにより選択された端末装置である。
【０２６２】
制御装置CAのクライアント管理部34は、特定された端末装置に、操作子(アイコン)を含む端末画面のデータを送信させる(S57)。端末画面は、図21の例では、第2の端末装置TA2の端末画面TAS12である。
【０２６３】
マージ制御部32は、S56で特定された端末装置の端末画面を、機器画面に配置する領域を特定する(S58)。マージ制御部32は、特定した領域に基づき、この端末画面が機器画面に配置された機器画面の画面データを作成する(S58)。
【０２６４】
なお、利用者が、図21のアイコンICN22(カーナビソフトを起動するアイコン)に対して接触操作した場合、前記したように、マージ制御部32は、画像出力を、情報処理機器IDVの表示装置105に実行させる。図16の端末画面TAS11や図21の端末画面TAS12に対して接触操作を行った場合の処理については、前記した端末装置の操作の第1、第2の具体例で詳細に説明したので、その説明を省略する。
【０２６５】
図16〜図21で説明したように、制御装置CAは、情報処理機器IDVの表示装置105の解像度が低くても、利用者に、制御装置CAに接続している複数の端末装置の選択を実行させることができる。
【０２６６】
以上の実施の形態をまとめると、次の付記のとおりである。
【０２６７】
（付記１）
表示手段と音声出力手段とを備えた情報処理機器と、端末装置とに通信接続可能な接続手段と、
前記接続手段を介して、前記情報処理機器と前記複数の端末装置とに接続された状態において、前記接続手段を介して接続された前記複数の端末装置を選択可能に前記表示手段に表示させ、表示された前記複数の端末装置から選択された第1の端末装置から送信される画面データを前記情報処理機器に送信して、前記表示手段に該画面データに基づく表示を実行させる表示制御部と、
表示された前記複数の端末装置から選択された第2の端末装置から送信される音声データを前記情報処理機器に送信して、前記音声出力手段に該音声データに基づく音声出力を、前記表示手段による前記画面データに基づく表示と並行して実行させる音声出力制御部と、
を備えたことを特徴とする制御装置。
【０２６８】
（付記２）
さらに、前記接続手段を介して接続された前記複数の端末装置を管理する管理部を備え、
前記表示制御部は、前記管理部により管理される前記複数の端末装置を選択する機器画面のデータを作成し、作成した機器画面のデータを前記情報処理機器に送信して、前記表示手段に該機器画面のデータに基づく表示を実行させ、
前記管理部は、前記機器画面を介して選択された前記第1の端末装置が作成した画面データを該第1の端末装置に送信させ、さらに、前記機器画面を介して選択された前記第2の端末装置が出力する音声データを該第2の端末装置に送信させ、
前記表示制御部は、選択された前記第1の端末装置から送信される画面データを前記情報処理機器に送信し、
前記音声出力制御部は、前記第2の端末装置から送信される音声データを前記情報処理機器に送信することを特徴とする付記1に記載の制御装置。
【０２６９】
（付記３）
前記管理部は、前記接続手段を介して接続された前記複数の端末装置の各々の識別子を作成し、作成した該複数の端末装置の各々の識別子と、該複数の端末装置を選択する際に操作される選択画像が前記情報処理機器の表示手段に表示される表示領域を特定する第1の特定情報とを対応付けて記憶部に記憶し、
前記表示制御部は、前記複数の端末装置の各々の選択画像の第1の特定情報に基づき、前記選択画像を、前記機器画面に配置する領域を特定し、前記複数の端末装置の各々の前記選択画像が、特定した領域に配置された前記機器画面の画面データを作成することを特徴とする付記2に記載の制御装置。
【０２７０】
（付記４）
前記管理部は、前記接続手段を介して接続された前記複数の端末装置に、前記端末装置の表示手段に表示される、該端末装置が提供する画像出力処理、音声出力処理の何れかを指定する操作子を含む端末画面のデータを送信させ、
前記表示制御部は、前記端末画面が前記選択画像として配置される前記機器画面の画面データを作成することを特徴とする付記3に記載の制御装置。
【０２７１】
（付記５）
前記情報処理機器は、該情報処理機器の表示手段に表示される画面への操作を検知し該表示手段の表示領域における検知した前記操作の位置を示す操作位置情報を出力する検知手段をさらに備え、
前記端末装置は、該端末装置の表示手段に操作子を表示し、該端末装置の表示手段に表示される前記操作子への操作の位置を示す操作位置情報に基づき、操作された前記操作子を特定し、特定した前記操作子に対応する画像出力処理の実行結果である画面データまたは音声出力処理の実行結果である音声データを前記制御装置に送信する処理部を備え、
前記表示制御部は、前記検知手段が出力した操作位置情報と、前記記憶部に記憶された第1の特定情報とに基づき、操作された位置に表示されている前記端末画面のデータを送信した前記端末装置を特定し、特定した前記端末装置の識別子に対応して前記記憶部に記憶された前記第1の特定情報に基づき、前記操作位置情報を、特定した前記端末装置の操作位置情報に変換し、
前記管理部は、特定された前記端末装置の処理部に、変換された操作位置情報を送信することを特徴とする付記4に記載の制御装置。
【０２７２】
（付記６）
前記情報処理機器は、該情報処理機器の表示手段に表示される画面への操作を検知し該表示手段の表示領域における検知した前記操作の位置を示す操作位置情報を出力する検知手段をさらに備え、
前記管理部は、前記端末装置の表示手段に表示される、該端末装置が提供する画像出力処理、音声出力処理の何れかを指定する操作子を含む端末画面が、前記情報処理機器の表示手段に表示される表示領域を特定する第2の特定情報を前記記憶部に記憶し、
前記表示制御部は、前記検知手段が出力した操作位置情報と、前記記憶部に記憶された前記第1の特定情報とに基づき、操作された位置に表示されている前記選択画像に対応する端末装置を特定し、
前記管理部は、特定された前記端末装置に、該端末装置の端末画面のデータを送信させ、
前記作成部は、前記第2の特定情報に基づき、特定された前記端末装置の前記端末画面を、前記機器画面に配置する領域を特定し、特定した領域に該端末画面が配置された前記機器画面の画面データを作成することを特徴とする付記3に記載の制御装置。
【０２７３】
（付記７）
前記端末装置は、該端末装置の表示手段に、操作子を表示し、該端末装置の表示手段に表示される前記操作子への操作の位置を示す操作位置情報に基づき、操作された前記操作子に対応する画像出力処理の実行結果である画面データまたは音声出力処理の実行結果である音声データを前記制御装置に送信する処理部を備え、
前記表示制御部は、前記検知手段が出力した操作位置情報と、特定された前記端末装置の識別子に対応して前記記憶部に記憶された前記第2の特定情報とに基づき、前記操作位置情報を、特定した前記端末装置の操作位置情報に変換し、
前記管理部は、特定された前記端末装置の処理部に、変換された操作位置情報を送信することを特徴とする付記6に記載の制御装置。
【０２７４】
（付記８）
音声出力手段と表示手段とを備える情報処理機器と、複数の端末装置と、に接続されたコンピュータに、
前記接続手段を介して、前記情報処理機器と前記複数の端末装置とに接続された状態において、前記接続手段を介して接続された前記複数の端末装置を選択可能に前記表示手段に表示させ、
表示された前記複数の端末装置から選択された第1の端末装置から送信される画面データを前記情報処理機器に送信して、前記表示手段に該画面データに基づく表示を実行させ、
表示された前記複数の端末装置から選択された第2の端末装置から送信される音声データを前記情報処理機器に送信して、前記音声出力手段に該音声データに基づく音声出力を、前記表示手段による前記画面データに基づく表示と並行して実行させる、
ことを特徴とする制御プログラム。
【０２７５】
（付記９）
音声出力手段と表示手段とを備える情報処理機器と、複数の端末装置と、に接続された制御装置の制御方法であって、
前記接続手段を介して、前記情報処理機器と前記複数の端末装置とに接続された状態において、前記接続手段を介して接続された前記複数の端末装置を選択可能に前記表示手段に表示させ、
表示された前記複数の端末装置から選択された第1の端末装置から送信される画面データを前記情報処理機器に送信して、前記表示手段に該画面データに基づく表示を実行させ、
表示された前記複数の端末装置から選択された第2の端末装置から送信される音声データを前記情報処理機器に送信して、前記音声出力手段に該音声データに基づく音声出力を、前記表示手段による前記画面データに基づく表示と並行して実行させる、
ことを特徴とする制御方法。
【０２７６】
（付記１０）
表示手段と音声出力手段とを備えた情報処理機器と、端末装置とに通信接続可能な接続手段と、
前記複数の端末装置に含まれる第1の端末装置から音声データを受信し、受信した音声データを前記情報処理機器に送信して、前記音声出力手段に該音声データに基づく音声出力を実行させる音声出力制御部と、
前記音声出力制御部が前記複数の端末装置に含まれる第1の端末装置から音声データを受信している状態で、前記複数の端末装置に含まれる第2の端末装置の指定を受け付けた場合に、前記情報処理機器に前記第2の端末装置の画面データを送信して該画面データに基づく前記表示手段への表示を実行させる表示制御部とを備え、
前記音声出力制御部は、前記音声データの受信を続行して、該音声データに基づく前記音声出力手段による音声出力を実行させる、
ことを特徴とする制御装置。
【０２７７】
（付記１１）
音声出力手段と表示手段とを備える情報処理機器と、複数の端末装置と、に接続されたコンピュータに、
前記複数の端末装置に含まれる第1の端末装置から音声データを受信している状態で、前記複数の端末装置に含まれる第2の端末装置の指定を受け付けた場合に、前記情報処理機器に前記第2の端末装置の画面データを送信して該画面データに基づく前記表示手段への表示を実行させる一方、前記第1の端末装置からの前記音声データの受信を続行して、該音声データに基づく前記音声出力手段による音声出力を実行させる、
ことを実行させることを特徴とする制御プログラム。
【０２７８】
（付記１２）
音声出力手段と表示手段とを備える情報処理機器と、複数の端末装置と、に接続された制御装置の制御方法であって、
前記複数の端末装置に含まれる第1の端末装置から音声データを受信している状態で、前記複数の端末装置に含まれる第2の端末装置の指定を受け付けた場合に、前記情報処理機器に前記第2の端末装置の画面データを送信して該画面データに基づく前記表示手段への表示を実行させる一方、前記第1の端末装置からの前記音声データの受信を続行して、該音声データに基づく前記音声出力手段による音声出力を実行させる、
ことを特徴とする制御装置の制御方法。
【符号の説明】
【０２７９】
IDV…情報処理機器、CA…制御装置、TA1〜TAm…第1の端末装置TA1〜第mの端末装置TAm、TA…端末装置、101…CPU、102…ストレージ装置、103…RAM、104…ROM、105…表示装置(表示手段)、106…タッチパネル(検知手段)、107…音声出力装置(音声出力手段)、108…接続装置、SF1…制御ソフト、201…CPU、202…ストレージ装置、203…RAM、204…ROM、205…表示装置(表示手段)、206…タッチパネル(検知手段)、207…音声出力装置、208…接続装置、209…通信装置、SF2a…制御ソフト、SF2b…ユーザソフト、301…CPU、302…ストレージ装置、303…RAM、304…ROM、305…接続装置(接続手段)、3051〜305m…第1の接続装置〜第mの接続装置、306…情報処理機器用の接続装置、SF3…制御ソフト、30…表示制御部、31…画面制御部、32…マージ制御部、33…音声出力制御部、34…クライアント管理部、351〜35m…第1のクライアント部〜第mのクライアント部。
【図１】
2016091313.tif 000003
【図２】
2016091313.tif 000004
【図３】
2016091313.tif 000005
【図４】
2016091313.tif 000006
【図５】
2016091313.tif 000007
【図６】
2016091313.tif 000008
【図７】
2016091313.tif 000009
【図８】
2016091313.tif 000010
【図９】
2016091313.tif 000011
【図１０】
2016091313.tif 000012
【図１１】
2016091313.tif 000013
【図１２】
2016091313.tif 000014
【図１３】
2016091313.tif 000015
【図１４】
2016091313.tif 000016
【図１５】
2016091313.tif 000017
【図１６】
2016091313.tif 000018
【図１７】
2016091313.tif 000019
【図１８】
2016091313.tif 000020
【図１９】
2016091313.tif 000021
【図２０】
2016091313.tif 000022
【図２１】
2016091313.tif 000023