(57)【要約】  画像データを表示する表示部１０１と、表示部１０１の画面に表示された画像データに関する画像情報を取得する画像情報取得部１０３と、リモート装置２と通信を行う通信部１０４，１０９と、リモート装置２の種別を判別するリモート装置判別部１０６と、判別された種別のリモート装置２にない自身のインタフェースを当該リモート装置２で操作可能に模擬した仮想画像データを生成するデータ生成部１０７と、画像情報が示す表示部１０１の画像データに、仮想画像データを含めたリモート装置用画像データを、判別された種別のリモート装置２の表示画面に適合するように加工して通信部１０９により当該リモート装置２へ送信するデータ加工部１０８と、リモート装置２によってリモート装置用画像データを基に実行された操作情報を通信部１０４により受信すると、自身のインタフェースにおける当該操作情報に応じた操作を実行する制御部１１１とを備えた。
2012157014.tif 000002
【特許請求の範囲】
【請求項１】
画像データを表示する表示部と、
前記表示部の画面に表示された画像データに関する画像情報を取得する画像情報取得部と、
リモート装置と通信を行う通信部と、
前記リモート装置の種別を判別するリモート装置判別部と、
前記リモート装置判別部により判別された種別のリモート装置にない自身のインタフェースを当該リモート装置で操作可能に模擬した仮想画像データを生成するデータ生成部と、
前記画像情報取得部により取得された画像情報が示す前記表示部の画像データに、前記データ生成部により生成された仮想画像データを含めたリモート装置用画像データを、前記リモート装置判別部により判別された種別のリモート装置の表示画面に適合するように加工して前記通信部により当該リモート装置へ送信するデータ加工部と、
前記リモート装置によって前記リモート装置用画像データを基に実行された操作情報を前記通信部により受信すると、自身のインタフェースにおける当該操作情報に応じた操作を実行する制御部と
を備えた遠隔操作通信装置。
【請求項２】
前記データ生成部は、前記リモート装置判別部により判別された種別のリモート装置にない、前記表示部の画面外に設けられた操作部を当該リモート装置で操作可能に模擬した仮想画像データを生成し、
前記制御部は、前記リモート装置によって前記リモート装置用画像データを基に実行された操作情報を前記通信部により受信すると、前記操作部における当該操作情報に応じた操作を実行する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項３】
前記データ生成部は、前記表示部の画面外に設けられた操作部の表示形態を変えて当該リモート装置で操作可能に模擬した仮想画像データを生成する
ことを特徴とする請求項２記載の遠隔操作通信装置。
【請求項４】
前記データ生成部は、前記表示部の画像データとは異なる画像データを生成し、
前記データ加工部は、前記データ生成部により生成された画像データをリモート装置用画像データとして、前記リモート装置判別部により判別された種別のリモート装置の表示画面に適合するように加工して前記通信部により当該リモート装置へ送信する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項５】
前記データ加工部は、前記リモート装置用画像データを前記リモート装置の表示画面に適合した画面サイズに変更する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項６】
前記データ生成部は、前記表示部の画面に表示され得る複数の画像データを含む仮想画像データを生成する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項７】
前記データ生成部は、前記リモート装置判別部により判別された種別のリモート装置にない自身のインタフェースを当該リモート装置で操作可能に模擬した仮想画像データを、ブラウザソフトウェアで実行可能に生成し、
前記通信部は、前記ブラウザソフトウェアに対応したプロトコルで前記リモート装置用画像データを前記リモート装置へ送信する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項８】
前記通信部によるリモート装置との通信における通信状態を解析する通信状態解析部を備え、
前記データ加工部は、前記通信状態解析部により解析された通信状態に応じて、前記リモート装置用画像データの表示形態を変える
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項９】
前記データ加工部は、前記通信状態解析部により通信速度が所定閾値以下になったと判断された場合に、前記リモート装置に送信するリモート装置用画像データと当該リモート装置で表示されているリモート装置用画像データとの間で変化のある領域のデータを差分画像データとして抽出して前記通信部により当該リモート装置へ送信する
ことを特徴とする請求項８記載の遠隔操作通信装置。
【請求項１０】
前記データ加工部は、前記リモート装置用画像データに対して雑音処理または／および色数の削減を行う
ことを特徴とする請求項９記載の遠隔操作通信装置。
【請求項１１】
前記通信部は、前記リモート装置用画像データを複数に分割して、前記リモート装置の表示画面の中心位置から画面縁部へ向かって当該リモート装置へ送信する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項１２】
移動体に設けられ、請求項１から請求項１１のうちのいずれか１項記載の遠隔操作通信装置を備えたナビゲーション装置において、
前記データ生成部は、ナビゲーション処理に利用される自身のインタフェースを当該リモート装置で操作可能に模擬した仮想画像データを生成し、
前記データ加工部は、前記画像情報取得部により取得された画像情報が示す前記表示部の画像データに、前記データ生成部により生成された仮想画像データを含めたリモート装置用画像データを、前記リモート装置判別部により判別された種別のリモート装置の表示画面に適合するように加工して前記通信部により当該リモート装置へ送信し、
前記制御部は、前記リモート装置によって前記リモート装置用画像データを基に実行された操作情報を前記通信部により受信すると、自身のインタフェースにおける当該操作情報に応じたナビゲーション処理に関する操作を実行する
ことを特徴とするナビゲーション装置。
【請求項１３】
前記移動体の周囲の観光情報、交通情報、または当該移動体に関する情報を取得する情報取得部を備え、
データ生成部は、前記情報取得部により取得された情報を表す仮想画像データを生成する
ことを特徴とする請求項１２記載のナビゲーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、リモート装置により遠隔で操作される遠隔操作通信装置およびこの遠隔操作通信装置を適用したナビゲーション装置に関するものである。
【背景技術】
【０００２】
従来からＶＮＣ（Ｖｉｒｔｕａｌ  Ｎｅｔｗｏｒｋ  Ｃｏｍｐｕｔｉｎｇ）と呼ばれる遠隔操作用ソフトウェアが存在する。このＶＮＣの大多数は、ＲＦＢ（Ｒｅｍｏｔｅ  Ｆｒａｍｅ  Ｂｕｆｆｅｒ）プロトコルと呼ばれる汎用の遠隔操作用通信プロトコルに準拠した機能を保持している。
そして、ＲＦＢプロトコルおよびこれに準拠したＶＮＣは、通常、離れた場所に設置されたＰＣ間で用いられることが多い（例えば特許文献１参照）。そのため、ＲＦＢプロトコルでは、モニタサイズの交換、マウスやキーボード等の入力情報の交換等、ＰＣに対応した規格が規定されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５７２４０号公報
【特許文献２】特開２００７−１５７０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、ＲＦＢプロトコルおよびこれに準拠したＶＮＣでは、ＰＣ間で用いられることが多いため、ＰＣで利用しやすいように規格が設計されている。また、ＰＣとは異なるリモート装置を用いてＰＣを遠隔操作する場合にも、このリモート装置は、ＰＣと互換のある操作系を有する装置であることを前提としている。このため、どのようなデバイスをリモート装置に選んでも同一のインタフェースで処理される。【０００５】
したがって、このＶＮＣをそのまま適用して、ＰＣの操作系・表示系とは異なる標準的ではないサーバ（例えば車載器）を、さらに別の標準的ではないリモート装置（例えばモバイル端末）を用いて遠隔操作しようとした場合、画面サイズの差異等で操作が行いにくくなるという課題がある。また、サーバの表示部の画面外に設けられた操作ボタン等をリモート装置で操作することはできないという課題がある。【０００６】
また、ＶＮＣでは、その性質上、１つの表示画像データに対して遠隔操作を行う。そのため、サーバとリモート装置とで異なる表示画像データを表示しながらサーバを操作することはできないという課題がある。例えば、モバイル端末を用いて車載器を操作する場合に、車載器では地図画像データを表示し、モバイル端末では車載器に対する音楽選曲画像データを表示し、モバイル端末で車載器に対する音楽選曲を行う等の機能を達成することはできない。【０００７】
一方、これらを解決する方法の１つとして、特別に設計した遠隔操作用プロトコルを用いたソフトウェアを使用することが挙げられる。しかしながら、この場合、その特別なプロトコルに準拠した各装置が必要となり、接続性に課題が残る。
また、特許文献１では、リモート装置で画面サイズの変更等を行っている。しかしながらこの場合には、リモート装置の機能を拡張する必要があり、このような機能を有していない汎用のリモート装置との互換性がなくなってしまう。そのため、汎用のリモート装置を使用することができなくなってしまうという課題がある。【０００８】
この発明は、上記のような課題を解決するためになされたもので、ＰＣとは異なる標準的ではないデバイスを用いてＶＮＣ機能を実現する際に、特別なプロトコルの開発やリモート装置に対する機能拡張を行うことなく実現でき、接続性および操作性を向上させることができる遠隔操作通信装置およびナビゲーション装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
この発明に係る遠隔操作通信装置は、画像データを表示する表示部と、表示部の画面に表示された画像データに関する画像情報を取得する画像情報取得部と、リモート装置と通信を行う通信部と、リモート装置の種別を判別するリモート装置判別部と、リモート装置判別部により判別された種別のリモート装置にない自身のインタフェースを当該リモート装置で操作可能に模擬した仮想画像データを生成するデータ生成部と、画像情報取得部により取得された画像情報が示す表示部の画像データに、データ生成部により生成された仮想画像データを含めたリモート装置用画像データを、リモート装置判別部により判別された種別のリモート装置の表示画面に適合するように加工して通信部により当該リモート装置へ送信するデータ加工部と、リモート装置によってリモート装置用画像データを基に実行された操作情報を通信部により受信すると、自身のインタフェースにおける当該操作情報に応じた操作を実行する制御部とを備えたものである。
【発明の効果】
【００１０】
この発明によれば、上記のように構成したので、ＰＣとは異なる標準的ではないデバイスを用いてＶＮＣ機能を実現する際に、特別なプロトコルの開発やリモート装置に対する機能拡張を行うことなく実現でき、接続性および操作性を向上させることができる。また、サーバ（遠隔操作通信装置）からリモート装置に適合した表示画像データを生成・加工して送信することで、通常のＶＮＣ機能より操作性を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】この発明の実施の形態１に係る遠隔操作通信システムの動作概要を示す図である。
【図２】この発明の実施の形態１に係る遠隔操作通信システムの構成を示すブロック図である。
【図３】この発明の実施の形態１に係る遠隔操作通信システムのシーケンス図である。
【図４】この発明の実施の形態１に係るサーバによるリモート装置に対する仮想画像データの生成・リモート装置用画像データの加工を説明する図である。
【図５】この発明の実施の形態２に係る遠隔操作通信システムのシーケンス図である。
【図６】この発明の実施の形態２に係るサーバによる仮想画像データの生成・リモート装置用画像データの加工を説明する図である。
【図７】この発明の実施の形態３に係る遠隔操作通信システムのシーケンス図である。
【図８】この発明の実施の形態３に係るサーバによる仮想画像データの生成・リモート装置用画像データの加工を説明する図である。
【図９】この発明の実施の形態４に係る遠隔操作通信システムのシーケンス図である。
【図１０】この発明の実施の形態４に係るサーバによる仮想画像データの生成・リモート装置用画像データの加工を説明する図である。
【図１１】この発明の実施の形態５に係る遠隔操作通信システムのシーケンス図である。
【図１２】この発明の実施の形態５に係るサーバによる仮想画像データの生成・リモート装置用画像データの加工を説明する図である。
【図１３】この発明の実施の形態６に係るサーバによる仮想画像データの生成・リモート装置用画像データの加工を説明する図である。
【図１４】この発明の実施の形態７に係る遠隔操作通信システムの構成を示すブロック図である。
【図１５】この発明の実施の形態７に係るサーバによるリモート装置用画像データの平滑化処理を示す図である。
【図１６】この発明の実施の形態８に係るサーバによるリモート装置用画像データの分割・送信順序の決定を示す図である。
【図１７】この発明の実施の形態９に係る遠隔操作通信システムの構成を示すブロック図である。
【図１８】この発明の実施の形態９に係るサーバによる仮想画像データの生成・リモート装置用画像データの加工を説明する図である。
【発明を実施するための形態】
【００１２】
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
なお以下では、モバイル端末等のリモート装置２を用いて車載器（ナビゲーション装置）１を遠隔操作する場合について説明を行う。
遠隔操作通信システムは、図１に示すように、サーバ（遠隔操作通信装置）である車載器１と、この車載器１を遠隔操作するクライアント端末であるリモート装置２とから構成されている。車載器１には、表示部１０１と、表示部１０１の画面外に設けられた各種操作ボタン１０２ａとが設けられている。また、リモート装置２には、表示部２０４が設けられている。この車載器１とリモート装置２は、通信により接続されている。なお、通信形態は無線形式を想定しているが、これに限定されるものではなく、有線通信であっても同様に処理することができる。
また、車載器１とリモート装置２には、遠隔操作を行うためのＶＮＣ機能がそれぞれ搭載されている。このＶＮＣ機能を実現する際には、ＲＦＢプロトコルを用いるのが一般的であるが、これに限定されるものではなく、その他の汎用的なプロトコルを用いてもよい。
【００１３】
そして、車載器１は、リモート装置２からの要求に応じて、リモート装置２に適合した表示画像データ（リモート装置用画像データ）を生成・加工し、リモート装置２に送信する。そして、リモート装置２は、受信した表示画像データを表示部２０４に表示し、この表示画像データを基にユーザにより実行された操作情報を車載器１に送信する。そして、車載器１は、自身のインタフェースにおける操作情報に応じた操作を実行することで遠隔操作がなされる。
次に、車載器１およびリモート装置２の構成についてそれぞれ説明する。
【００１４】
車載器１は、図２に示すように、表示部１０１、操作系（操作部）１０２、画像情報取得部１０３、受信部（通信部）１０４、通信プロトコル解析部１０５、リモート装置判別部１０６、データ生成部１０７、データ加工部１０８、送信部（通信部）１０９、記憶部１１０および制御部１１１から構成されている。
【００１５】
表示部１０１は、地図画像データや音楽選曲画像データ等のイメージ画像データ（表示画像データ）を表示するものである。
操作系１０２は、表示部１０１に表示された表示画像データ上に存在する操作ボタン画像等の仮想的な操作系と、表示部１０１の画面外に設けられた操作ボタン１０２ａ等の物理的な操作系とからなるものである。そして、ユーザにより選択・押下されることで、予め割り当てられた操作を行う。
【００１６】
画像情報取得部１０３は、表示部１０１に表示された表示画像データに関する画像情報を取得するものである。ここで画像情報には、表示部１０１に表示されている表示画像データそのものや、表示画像データの一般的な解析情報（表示画像データの画面サイズ、表示画像データのヒストグラム等）や、一時的に一般的な手法で表示画像データを加工した結果（表示画像データを平滑化処理した後のヒストグラム等）等が含まれる。
【００１７】
受信部１０４は、リモート装置２からのメッセージを受信するものである。
通信プロトコル解析部１０５は、受信部１０４を介して取得したリモート装置２からのメッセージの解析、および、送信部１０９を介してリモート装置２に送信するメッセージの生成を行うものである。
リモート装置判別部１０６は、通信プロトコル解析部１０５を介して取得したリモート装置２からのメッセージに基づいて、リモート装置２の種別を判別するものである。
【００１８】
データ生成部１０７は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、記憶部１１０に記憶されているデータ部品を用いて、判別された種別のリモート装置２にない自身のインタフェースをこのリモート装置２で操作可能に模擬した適切なイメージ画像データ（仮想画像データ）を動的に生成するものである。ここで、データ生成部１０７は、記憶部１１０に記憶されているデータ部品を用いて、表示部１０１の画面外に設けられた物理的な操作系を模擬した仮想画像データを生成する。
【００１９】
データ加工部１０８は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、取得された画像情報が示す表示画像データにデータ生成部１０７により生成された仮想画像データを含めた表示画像データ（リモート装置用画像データ）を、判別された種別のリモート装置２の表示画面に適合するように加工するものである。ここで、データ加工部１０８は、表示部１０１に表示されている表示画像データに、データ生成部１０７により生成された仮想画像データを付加する。
【００２０】
送信部１０９は、通信プロトコル解析部１０５により生成されたメッセージやデータ加工部１０８により加工された表示画像データをリモート装置２に送信するものである。
記憶部１１０は、データ生成部１０７で利用するデータ部品や、その他必要のある情報（地図画像データ等）を記憶するものである。
【００２１】
制御部１１１は、通信プロトコル解析部１０５により操作情報を示すメッセージを受信したと判断された場合に、操作系１０２を制御して、自身のインタフェースにおけるこの操作情報に応じた操作を実行するものである。ここで、制御部１１１は、操作情報が、リモート装置２で表示されている表示画像データに含まれる仮想画像データ（仮想的な操作系）に対する操作を示している場合に、この仮想的な操作系における操作情報に応じた操作を実行する。一方、操作情報が、元の表示画像データ（表示部１０１で表示されている表示画像データ）の仮想的な操作系に対する操作を示している場合には、この仮想的な操作系における操作情報に応じた操作を実行する。
【００２２】
次に、リモート装置２の構成について説明する。
リモート装置２は、図２に示すように、受信部２０１、通信プロトコル解析部２０２、送信部２０３、表示部２０４および操作部２０５から構成されている。なお、リモート装置２は、ＶＮＣ機能を有する汎用のリモート装置２であればよい。
【００２３】
受信部２０１は、車載器１からの表示画像データ（リモート装置用画像データ）やメッセージを受信するものである。
通信プロトコル解析部２０２は、受信部２０１を介して車載器１から取得したメッセージの解析、および、送信部２０３を介して車載器１に送信するメッセージの生成を行うものである。また、通信プロトコル解析部２０２は、操作部２０５により受け付けられた操作情報を示すメッセージの生成も行う。
【００２４】
送信部２０３は、通信プロトコル解析部２０２により生成されたメッセージを車載器１に送信するものである。
表示部２０４は、通信プロトコル解析部２０２を介して取得した車載器１からの表示画像データを表示するものである。
操作部２０５は、表示部２０４に表示されている表示画像データに対するユーザからの操作を受け付けるものである。この操作部２０５は、例えばタッチパネル等から構成される。
【００２５】
次に、上記のように構成された遠隔操作通信システムの動作について説明する。
遠隔操作通信システムの動作では、図３に示すように、まず、リモート装置２は、接続要求を示すメッセージを車載器１に送信する（ステップＳＴ１）。すなわち、操作部２０５を介してユーザにより車載器１との接続要求を示す操作がなされると、まず、通信プロトコル解析部２０２は、車載器１との接続要求を示すメッセージを生成する。そして、送信部２０３は、このメッセージを車載器１に送信する。なお、伝送プロトコルは限定されるものではないが、通常、ＴＣＰ／ＩＰプロトコルが想定される。
【００２６】
次いで、車載器１は、リモート装置２からのメッセージに基づいて、このリモート装置２の種別を識別する（ステップＳＴ２）。すなわち、まず、受信部１０４は、リモート装置２からのメッセージを受信する。そして、通信プロトコル解析部１０５は、このメッセージを解析し、接続要求を示すものであると判断する。そして、リモート装置判別部１０６は、このメッセージに基づいて、リモート装置２の種別を判別する。
ここで、リモート装置判別部１０６によるリモート装置２の判別方法は、限定されるものではないが、例えばリモート装置２のＩＰを利用する方法が挙げられる。この場合の処理の例としては、リモート装置２側で予め定められたＩＰを記憶部１１０で予め記憶しておき、取得したメッセージから検出したＩＰと比較することで判別を行う。または、静的または動的に決定されるＩＰ範囲を利用して判別する方法でもよい。
【００２７】
次いで、車載器１は、自身の情報をリモート装置２に送信する（ステップＳＴ３）。すなわち、まず、通信プロトコル解析部１０５は、車載器１の情報を示すメッセージを生成する。そして、送信部１０９は、このメッセージをリモート装置２に送信する。なおＲＦＢプロトコルを用いる場合、この車載器１の情報にはサーバのバージョン情報が含まれている。ただし、プロトコルは限定されるものではないため、リモート装置２に送信される車載器１の情報はこれに限定されるものではない。
次いで、車載器１とリモート装置２との間で初期設定情報の交換を行う（ステップＳＴ４）。なおＲＦＢプロトコルを用いる場合、初期設定情報には、車載器１の画面サイズやリモート装置２の対応画像フォーマット等が含まれている。
【００２８】
次いで、リモート装置２は、表示画像データ（リモート装置用画像データ）の取得要求を示すメッセージを車載器１に送信する（ステップＳＴ５）。すなわち、まず、通信プロトコル解析部２０２は、表示画像データの取得要求を示すメッセージを生成する。そして、送信部２０３は、このメッセージを車載器１に送信する。
【００２９】
次いで、車載器１は、自身の物理的な操作系を模擬した仮想画像データを生成する（ステップＳＴ６）。すなわち、まず、受信部１０４は、リモート装置２からのメッセージを受信する。そして、通信プロトコル解析部１０５は、このメッセージを解析し、表示画像データの取得要求を示すものであると判断する。そして、データ生成部１０７は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、記憶部１１０に記憶されているデータ部品を用いて、表示部１０１の画面外に設けられた物理的な操作系を模擬した仮想画像データを生成する。なおこの際、データ生成部１０７は、予め設定された固定の仮想画像データを用いてもよいし、リモート装置２の種別や車載器１のモード等に応じて仮想画像データの大きさや各部品データの配置位置等を動的に変更してもよい。なお図４では、表示部１０１の画面外に設けられた各種操作ボタン１０２ａを一覧表示した操作ボタンバー画像データ４０１を生成した場合を示している。
また、画面情報取得部１０３による画像情報の取得処理は、このメッセージを受信したときに行ってもよいし、周期的に行って記憶部１１０に記憶させるようにしてもよい。
【００３０】
次いで、車載器１は、表示部１０１に表示されている表示画像データに、生成した仮想画像データを付加する（ステップＳＴ７）。すなわち、データ加工部１０８は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、表示部１０１に表示されている表示画像データに、データ生成部１０７により生成された仮想画像データを付加する。ここで、仮想画像データを付加する方法としては、表示部１０１に表示されている表示画像データとの結合や、表示画像データ上への重畳等の方法が挙げられる。そして例えば、比較的大きな表示部２０４を持つリモート装置２に対しては前者を利用し、小さな表示部２０４しか持たず、表示部１０１に表示されている表示画像データの一部だけを取得要求してくるリモート装置２に対しては後者を利用する等が考えられる。
また、データ加工部１０８は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、仮想画像データを付加した表示画像データを、リモート装置２で表示可能な画像フォーマットに加工する。
なお図４では、表示部１０１に表示されている表示画像データ４０２の下部に、操作ボタンバー画像データ４０１を結合した表示画像データ４０３を示している。
【００３１】
次いで、車載器１は、加工した表示画像データをリモート装置２に送信する（ステップＳＴ８）。すなわち、送信部１０９は、データ加工部１０８により加工された表示画像データをリモート装置２に送信する。
【００３２】
次いで、リモート装置２は、車載器１からの表示画像データを表示する（ステップＳＴ９）。すなわち、まず、受信部２０１は、車載器１からの表示画像データを受信する。そして、表示部２０４は、通信プロトコル解析部２０２を介して取得した表示画像データを表示する。なお、リモート装置２が受信する表示画像データは、このリモート装置２で表示可能な画像フォーマットで構成されているため、リモート装置２に特別な機能を搭載する必要はない。これにより、リモート装置２の表示部２０４に、図４に示す操作ボタンバー画像データ４０１を有する表示画像データ４０３が表示される。
【００３３】
次いで、リモート装置２は、表示している表示画像データに対するユーザ操作を受け付ける（ステップＳＴ１０）。すなわち、操作部２０５は、表示部２０４に表示されている表示画像データに対するユーザからの操作を受け付ける。例えば図４の表示画像データ４０３において、車載器１の操作ボタン１０２ａを選択する場合には、操作ボタンバー画像データ４０１上の所望の操作ボタン画像データを選択する。一方、車載器１で表示されている表示画像データ上の仮想的な操作ボタンを選択する場合には、通常通り、表示画像データ４０２上の操作ボタン画像データを選択する。
なお、リモート装置２は、この操作処理のためにＶＮＣ機能以外の特別な機能を搭載する必要はなく、汎用のプロトコルの範囲で処理を行うことができる。
【００３４】
次いで、リモート装置２は、操作情報を示すメッセージを生成し、車載器１に送信する（ステップＳＴ１１，１２）。すなわち、通信プロトコル解析部２０２は、操作部２０５により受け付けられた操作情報を示すメッセージを生成する。そして、送信部２０３は、このメッセージを車載器１に送信する。なお、リモート装置２は、この操作情報を示すメッセージの生成・送信処理のためにＶＮＣ機能以外の特別な機能を搭載する必要はなく、汎用のプロトコルの範囲で処理を行うことができる。また、この操作情報を示すメッセージは、ユーザによって操作がなされる度に生成され、車載器１に送信される。
【００３５】
次いで、車載器１は、リモート装置２からの操作情報に基づいて、車載器１の操作系１０２を制御する（ステップＳＴ１３）。すなわち、まず、受信部１０４は、リモート装置２からのメッセージを受信する。そして、通信プロトコル解析部１０５は、このメッセージを解析し、操作情報を示すものであると判断する。そして、制御部１１１は、この操作情報に基づいて、車載器１の操作系１０２を制御する。
ここで、制御部１１１は、操作情報に含まれる操作座標位置が、表示部２０４に表示されている表示画像データに含まれる仮想画像データ（仮想的な操作系）に位置していると判断した場合には、この仮想的な操作系に応じた操作を行う。すなわち、図４において、操作ボタンバー画像データ４０１の所定部分（ある操作ボタン画像）が選択された場合に、この操作ボタン画像が表す操作ボタン１０２ａが押下されたと判断し、この操作ボタン１０２ａにおける操作情報に応じた操作を行う。
一方、制御部１１１は、操作座標位置が、表示部２０４に表示されている表示画像データに含まれる元の表示画像データ（表示部１０１に表示されている表示画像データ）上の所定部分（仮想的な操作系）であると判断した場合には、この仮想的な操作系が選択（タッチやクリック等）されたと判断して、この操作系における操作情報に応じた操作を行う。
【００３６】
このように制御することで、表示部１０１の画面外に設けられた物理的な操作系（例えば操作ボタン１０２ａ）を有していないリモート装置２を用いた場合であっても、この物理的な操作系を模擬した仮想的な画像データを送信することで、リモート装置２側で車載器１の物理的な操作系を遠隔操作することができる。またこの際、特別なプロトコルを用いる必要はない。また、リモート装置２に対する機能の拡張も必要なく、リモート装置２は汎用のＶＮＣ機能を搭載しているだけよい。
【００３７】
以上のように、この実施の形態１によれば、車載器１で、リモート装置２の種別を判別し、この種別判別結果等に基づき、表示部１０１の表示画面データの外に設けられた自身の物理的な操作系を模擬した仮想画像データを生成してリモート装置２に送信し、リモート装置２で仮想画像データに対する操作がなされた場合に、該当する物理的な操作系が押下されたと判断して操作を行うように構成したので、ＰＣとは異なる標準的ではないデバイス間でＶＮＣ機能を実現する際に、特別なプロトコルの開発やリモート装置２に対する機能拡張を行うことなく、リモート装置２に車載器１の物理的な操作系と同等の仮想的な操作系を提供でき、接続性および操作性を向上させることができる。また、車載器１側で、リモート装置２の種別を判別し、適切な表示画像データを送信することで、通常のＶＮＣ機能より操作性を向上させることができる。
【００３８】
なお、実施の形態１では、物理的な操作系として車載器１に設けられた操作ボタン１０２ａを用いて説明を行ったが、これに限るものではなく、その他の物理的な操作系（例えばキーボード等）を用いた場合にも同様に適用することができる。
また、図４に示す表示画像データでは、車載器１での音楽を選曲するための音楽選曲画像データに仮想画像データを付加する例に示したが、表示画像データ（地図画像データ）に対して、ナビゲーション処理に利用される自身のインタフェース（操作ボタン１０２ａ等）をリモート装置２で操作可能に模擬した仮想画像データを付加するようにしてもよい。なおこの場合、制御部１１１は、リモート装置２側で仮想画像データが選択された場合には、自身のインタフェースにおける操作情報に応じたナビゲーション処理に関する操作を実行する。
【００３９】
実施の形態２．
実施の形態１では、車載器１に設けられた操作ボタン１０２ａ等の物理的な操作系をそのまま仮想的な画像データで表した場合について示したが、実施の形態２では、この物理的な操作系の表示形態を変えて、物理的な操作系を操作する別の仮想的な操作系を画像データで模擬した場合について示す。
なお、実施の形態２に係る遠隔操作通信システムは、図２に示す実施の形態１に係る遠隔操作通信システムの構成と同様であり、この図２を参照しながら説明を行う。
【００４０】
なお、データ生成部１０７は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、記憶部１１０に記憶されているデータ部品を用いて、車載器１の物理的な操作系を操作するための別の仮想の操作系を模擬した仮想画像データを動的に生成する。
【００４１】
次に、この遠隔操作通信システムの動作について説明する。なお、図５に示す実施の形態２に係る遠隔操作通信システムの動作において、図３に示す実施の形態１に係る遠隔操作通信システムと同様の動作については、同一の符号を付してその説明を簡略化する。
遠隔操作通信システムの動作では、図５に示すように、まず、リモート装置２と車載器１との間での通信接続を確立し、リモート装置２の種別を判別する（ステップＳＴ１〜４）。次いで、リモート装置２は、表示画像データの取得要求を示すメッセージを車載器１に送信する（ステップＳＴ５）。
【００４２】
次いで、車載器１は、自身の物理的な操作系を操作するための別の仮想的な操作系を模擬した仮想画像データを生成する（ステップＳＴ１４）。すなわち、データ生成部１０７は、車載器１に実際に設けられた操作ボタン１０２ａを忠実に模擬するのではなく、この操作ボタン１０２ａを操作するコントローラ等の別の仮想的な操作系を仮想画像データで模擬する。これにより、リモート装置２に対して、車載器１には存在しないキーボードのような複雑な形状の操作系を提供したり、特定の機能のみに絞った操作ボタンのみを提供したりすることができる。そして例えば、比較的大きな表示部２０４を持つリモート装置２に対しては前者を利用し、小さな表示部２０４しか持たないリモート装置２に対しては後者を利用すること等が考えられる。なおこの際、データ生成部１０７は、予め設定された固定の仮想画像データを用いてもよいし、リモート装置２の種別や車載器１のモード等に応じて仮想画像データの大きさや各部品データの配置位置等を動的に変更してもよい。
なお図６では、車載器１には存在しない、音楽選曲を行うための十字キー画像データ６０１と、音楽をシャッフルして再生するためのシャッフルボタン画像データ６０２とを含む仮想画像データ６０３を生成した場合を示している。
【００４３】
次いで、車載器１は、表示部１０１に表示されている表示画像データに、生成した仮想画像データを付加する（ステップＳＴ７）。なお図６では、表示部１０１に表示されている表示画像データ６０４の下部に仮想画像データ６０３を結合した表示画像データ６０５を示している。次いで、車載器１は、加工した表示画像データをリモート装置２に送信する（ステップＳＴ８）。
なお、仮想画像データの生成とともにクライアントＳＷ（ソフトウェア）も作成する場合には、この仮想画像データにヘッダを付加したり、描画コマンドのみを送信する等してその他の表示画像データと区別する。また、拡大表示や部分表示等を行っている場合にも仮想画像データを表示するようにすることもできる。
【００４４】
次いで、リモート装置２は、車載器１からの表示画像データを表示する（ステップＳＴ９）。これにより、リモート装置２の表示部２０４に、図６に示す仮想画像データ６０３（十字キー画像データ６０１、シャッフルボタン画像データ６０２）を有する表示画像データ６０５が表示される。次いで、リモート装置２は、表示している表示画像データに対するユーザ操作を受け付けて、操作情報を示すメッセージを生成し、車載器１に送信する（ステップＳＴ１０〜１２）。
【００４５】
次いで、車載器１は、リモート装置２からの操作情報に基づいて、車載器１の操作系１０２を制御する（ステップＳＴ１３）。ここで、例えば図６において、シャッフルボタン画像データ６０２が選択された場合には、制御部１１１は音楽のシャッフル再生処理を行う。
【００４６】
以上のように、この実施の形態２によれば、車載器１で、表示部１０１の表示画面データの外に設けられた自身の物理的な操作系を操作する別の仮想的な操作系を模擬した仮想画像データを生成し、リモート装置２に送信するように構成したので、特別なプロトコルの開発やリモート装置２の機能拡張を行うことなく、車載器１にもリモート装置２にも存在しない、リモート装置２の画面サイズ等に適合した独自の仮想的な操作系の提供や、リモート装置２で行える操作の制限等をコントロールすることが可能となる。そのため、リモート装置２に対して自然な操作系を提供することができる。
【００４７】
実施の形態３．
実施の形態１，２では、車載器１に表示されている表示画像データをベースにし、仮想画像データを付加してリモート装置２に送信するものについて示したが、実施の形態３では、車載器１とリモート装置２とで異なる表示画像データを表示して、車載器１をグラフィカルに遠隔操作する場合について示す。
なお、実施の形態３に係る遠隔操作通信システムは、図２に示す実施の形態１に係る遠隔操作通信システムの構成と同様であり、この図２を参照しながら説明を行う。
【００４８】
なお、データ生成部１０７は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、記憶部１１０に記憶されているデータ部品を用いて、表示部１０１に表示されている表示画像データとは別の表示画像データを表す仮想画像データを生成する。
また、データ加工部１０８は、データ生成部１０７により生成された仮想画像データをリモート装置用画像データとして、リモート装置判別部１０６により判別された種別のリモート装置２の表示画面に適合するように加工する。
【００４９】
次に、この遠隔操作通信システムの動作について説明する。なお、図７に示す実施の形態３に係る遠隔操作通信システムの動作において、図３に示す実施の形態１に係る遠隔操作通信システムと同様の動作については、同一の符号を付してその説明を簡略化する。
遠隔操作通信システムの動作では、図７に示すように、まず、リモート装置２と車載器１との間での通信接続を確立し、リモート装置２の種別を判別する（ステップＳＴ１〜４）。次いで、リモート装置２は、表示画像データの取得要求を示すメッセージを車載器１に送信する（ステップＳＴ５）。
【００５０】
次いで、車載器１は、リモート装置２で車載器１を操作するための、表示部１０１に表示されている表示画像データとは別の表示画像データを表す仮想画像データを生成する（ステップＳＴ１５）。すなわち、データ生成部１０７は、表示部１０１に表示されている表示画像データと同一のデータではなく、任意のカスタマイズされた表示画像データを生成する。例えば、車載器１で地図画像データを表示している場合に、リモート装置２では、図８に示すような、車載器１での音楽を選曲するための音楽選曲画像データ８０１を表示する。これにより、車載器１の表示画面を変更することなく、リモート装置２で別の遠隔操作を行うことが可能となる。そのため、リモート装置２に適合した、より洗練されたＵＩを提供することができる。なおこの際、データ生成部１０７は、予め設定された固定の仮想画像データを用いてもよいし、リモート装置２の種別や車載器１のモード等に応じて仮想画像データの大きさや各部品データの配置位置等を動的に変更してもよい。
なお図８では、音楽選曲画像データ８０１と、車載器１の各操作ボタン１０２ａの一覧を表した操作ボタンバー画像データ８０２とを生成した場合について示している。
【００５１】
次いで、車載器１は、生成した仮想画像データをリモート装置２に適合した表示画像データに加工する（ステップＳＴ１７）。なお図８では、データ生成部１０７により生成された音楽選曲画像データ８０１の下部に操作ボタンバー画像データ８０２を結合した表示画像データ８０３を示している。次いで、車載器１は、加工した表示画像データをリモート装置２に送信する（ステップＳＴ８）。
なお、仮想画像データの生成とともにクライアントＳＷも作成する場合には、描画コマンドのみを送信したり、描画イメージを非同期に送信するなどして各描画パーツを取得して、リモート装置２独自の描画チップを使用して画面を作成する。このとき、車載器１の形態としてはＶＮＣのコマンドのみ受け付けて状態遷移を行うサーバでもよいし、リモート装置２側の状態を確認することができる独自のサーバを追加してもよい。
【００５２】
次いで、リモート装置２は、車載器１からの表示画像データを表示する（ステップＳＴ９）。これにより、リモート装置２の表示部２０４に、図８に示す、表示部１０１に表示されている表示画像データとは別の表示画像データ８０３を表示することができる。次いで、リモート装置２は、表示している表示画像データに対するユーザ操作を受け付け、操作情報を示すメッセージを生成して、車載器１に送信する（ステップＳＴ１０〜１２）。
【００５３】
次いで、車載器１は、リモート装置２からの操作情報に基づいて、車載器１の操作系１０２を制御する（ステップＳＴ１３）。ここで、リモート装置２には車載器１とは別の表示画像データが表示されており、この表示画像データ上の所定部分（仮想的な操作系）に対して操作がなされた場合、制御部１１１は、この仮想的な操作系における操作情報に応じた操作を行う。例えば、図８に示す音楽選曲画像データ８０３に対して音楽が選曲された場合には、車載器１で、地図画像データを表示した状態のまま、選曲された音楽を再生する。
【００５４】
以上のように、この実施の形態３によれば、リモート装置２で車載器１を操作するための、表示部１０１に表示されている表示画像データとは別の表示画像データを表す仮想画像データを生成し、リモート装置２に送信するように構成したので、車載器１側の表示内容とリモート装置２側の表示内容を異なるものにでき、リモート装置２に適合した特別な操作系を提供することができ、操作性を向上させることができる。またこの際、プロトコルの開発やリモート装置２の機能拡張等は不要であり、リモート装置２は汎用のＶＮＣ機能を搭載していればよい。
【００５５】
実施の形態４．
モバイル端末等のリモート装置２を用いて車載器１を遠隔操作する場合等では、表示部１０１，２０４の画面サイズは同一ではなく、表示画像データの画面サイズを変更したい場合がある。この場合、従来では、リモート装置側で表示画像データの画面サイズ変更処理を行っていた。そのため、リモート装置に画面サイズを変更する機能が搭載されていない場合には、この変更処理を行うことができないという課題があった。そこで、実施の形態４では、表示部１０１，２０４の画面サイズが異なる場合に、車載器１側で表示画像データの画面サイズを変更するものについて示す。
なお、実施の形態４に係る遠隔操作通信システムは、図２に示す実施の形態１に係る遠隔操作通信システムの構成と同様であり、この図２を参照しながら説明を行う。
【００５６】
なお、データ加工部１０８は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、リモート装置２に送信する表示画像データをリモート装置２に適合した画面サイズに変更する。
【００５７】
次に、この遠隔操作通信システムの動作について説明する。なお、図９に示す実施の形態４に係る遠隔操作通信システムの動作において、図３に示す実施の形態１に係る遠隔操作通信システムと同様の動作については、同一の符号を付してその説明を簡略化する。
遠隔操作通信システムの動作では、図９に示すように、まず、リモート装置２と車載器１との間での通信接続を確立し、リモート装置２の種別を判別する（ステップＳＴ１〜４）。次いで、リモート装置２は、表示画像データの取得要求を示すメッセージを車載器１に送信する（ステップＳＴ５）。次いで、車載器１は、実施の形態１〜３の方法によって、リモート装置２で車載器１を操作するための仮想画像データを生成する（ステップＳＴ１７）。
【００５８】
次いで、車載器１は、実施の形態１〜３の方法によって、生成した仮想画像データを用いてリモート装置２に対する表示画像データに加工した後、リモート装置２に適合した画面サイズに変更する（ステップＳＴ１８）。なお、表示画像データの拡大・縮小は、一般的に利用される手法を用いることで実現できる。また、縮小拡大率は、予めリモート装置２ごとに定めた割合を利用してもよいし、リモート装置２から要求された表示画像データの画面範囲から動的に変更してもよい。動的に変更する場合は、例えば、常に要求してくる画面範囲に適合するような倍率を適宜算出する方法等が利用できる。なお図１０では、車載器１に対してリモート装置２の画面サイズが小さい場合を示し、車載器１に表示されている表示画像データに仮想画像データを結合した表示画像データ１００１を、１／４に縮小した場合について示している。次いで、車載器１は、加工した表示画像データをリモート装置２に送信する（ステップＳＴ８）。
【００５９】
次いで、リモート装置２は、車載器１からの表示画像データを表示する（ステップＳＴ９）。これにより、リモート装置２の表示部２０４に、図１０に示すリモート装置２に適合した画面サイズに変更された表示画像データ１００２が表示される。次いで、リモート装置２は、表示している表示画像データに対するユーザ操作を受け付け、操作情報を示すメッセージを生成し、車載器１に送信する（ステップＳＴ１０〜１２）。
【００６０】
次いで、車載器１は、リモート装置２からの操作情報に基づいて、車載器１の操作系１０２を制御する（ステップＳＴ１３）。ここで、リモート装置２には、加工した表示画像データを適当な倍率でリサイズして提供しているため、制御部１１１は、操作情報に含まれる操作座標位置をその倍率で修正したうえで、操作系１０２の制御を行う。例えば、図１０では、リモート装置２には、表示画像データ１００１（元の表示画像データに仮想画像データを結合した表示画像データ）を１／４に縮小した表示画像データ１００２が表示されているため、制御部１１１は、操作座標位置を４倍に換算したうえで、操作系１０２の制御を行う。
【００６１】
以上のように、この実施の形態４によれば、表示画像データをリモート装置２に適合した画面サイズに変更して、リモート装置２に送信するように構成したので、リモート装置２が画面サイズを変更する機能を搭載していない場合であっても、リモート装置２は自身２に適した画面サイズの表示画像データを得ることができ、操作性を向上させることができる。
【００６２】
実施の形態５．
実施の形態５では、車載器１に対してリモート装置２の画面サイズが十分大きい場合に、表示部１０１に表示され得る複数の表示画像データを結合して送信する場合について示す。
なお、実施の形態５に係る遠隔操作通信システムは、図２に示す実施の形態１に係る遠隔操作通信システムの構成と同様であり、この図２を参照しながら説明を行う。
【００６３】
なお、データ生成部１０７は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、記憶部１１０に記憶されているデータ部品を用いて、リモート装置２で車載器１を操作するための、表示部１０１に表示されている表示画像データとは別の表示画像データを表す仮想画像データを少なくとも１つ以上生成する。
また、データ加工部１０８は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、表示部１０１に表示されている表示画像データに、データ生成部１０７により生成された仮想画像データを結合する。
【００６４】
次に、この遠隔操作通信システムの動作について説明する。なお、図１１に示す実施の形態５に係る遠隔操作通信システムの動作において、図３に示す実施の形態１に係る遠隔操作通信システムと同様の動作については、同一の符号を付してその説明を簡略化する。
遠隔操作通信システムの動作では、図１１に示すように、まず、リモート装置２と車載器１との間での通信接続を確立し、リモート装置２の種別を判別する（ステップＳＴ１〜４）。次いで、リモート装置２は、表示画像データの取得要求を示すメッセージを車載器１に送信する（ステップＳＴ５）。
【００６５】
次いで、車載器１は、リモート装置２で車載器１を操作するための、表示部１０１に表示されている表示画像データとは別の表示画像データを表す仮想画像データを少なくとも１つ以上生成する（ステップＳＴ１９）。ここで、データ生成部１０７が生成する表示画像データは、新規に生成するようにしてもよいし、過去（例えば最後）に表示部１０１に表示されたものを記憶部１１０に記憶しておき、それを利用してもよい。なお図１２では、表示部１０１に表示されている音楽選曲画像データ１２０１とは異なる地図画像データ１２０２を生成した場合を示している。
【００６６】
次いで、車載器１は、表示部１０１に表示されている表示画像データと生成した仮想画像データとを結合し、リモート装置２に適合した表示画像データに加工する（ステップＳＴ２０）。ここで、複数の表示画像データを結合する方法としては、例えば４つの表示画像データがあった場合に、それぞれを４分の１に縮小して、左上、右上、左下、右下に配置して結合する方法等が挙げられる。なお図１２では、表示部１０１に表示されている音楽選曲画像データ１２０１と、生成した地図画像データ１２０２とをそれぞれ１／２に縮小して結合した表示画像データ１２０３を示している。
【００６７】
次いで、車載器１は、加工した表示画像データをリモート装置２に送信する（ステップＳＴ８）。次いで、リモート装置２は、車載器１からの表示画像データを表示する（ステップＳＴ９）。これにより、リモート装置２の表示部２０４に、図１２に示す、表示部１０１に表示されている音楽選曲画像データ１２０１と、表示部１０１には表示されていない地図画像データ１２０２とを並列して示した表示画像データ１２０３を表示することができる。次いで、リモート装置２は、表示した表示画像データに対するユーザ操作を受け付け、操作情報を示すメッセージを生成し、車載器１に送信する（ステップＳＴ１０〜１２）。
【００６８】
次いで、車載器１は、リモート装置２からの操作情報に基づいて、車載器１の操作系１０２を制御する（ステップＳＴ１３）。ここで、リモート装置２には、車載器１を操作するための複数の表示画像データを結合したデータを提供しているため、制御部１１１は、操作情報に含まれる操作座標位置に基づいて、どの表示画像データに対する操作であるかを判断したうえで、操作系１０２の制御を行う。例えば図１２において、操作座標位置が表示画像データ１２０３の左側領域に位置する場合には、制御部１１１は、音楽選曲画像データ１２０１に対して操作がなされたと判断する。一方、操作座標位置が右側領域に位置する場合には、制御部１１１は、地図画像データ１２０２に対して操作がなされたと判断する。なお図１２では、各表示画像データ１２０１，１２０２を１／２に縮小したものを結合してリモート装置２に提供しているため、実施の形態４と同様に、操作座標位置を２倍に換算した上で、操作系１０２の制御を行う。
【００６９】
以上のように、この実施の形態５によれば、車載器１の複数の表示画像データを結合してリモート装置２に送信するように構成したので、例えば、車載器１に対してリモート装置２の画面サイズが十分大きい場合等に、リモート装置２に車載器１の複数の表示画像データを並列に表示したり、ウインドウのようにして表示することで、並列操作を行うことが可能となり、リモート装置２の利便性を向上させることができる。なお、特別なプロトコルの開発やリモート装置２の機能拡張は不要であり、リモート装置２は汎用のＶＮＣ機能を搭載しているだけで実現できる。
【００７０】
実施の形態６．
実施の形態６では、リモート装置２の性能制約が厳しく、さまざまな機能を搭載することができない場合にも、ＶＮＣ機能を実現する場合について示す。以下では特に、ＨＴＴＰブラウザ機能（ブラウザソフトウェア）のみを搭載しているリモート装置２を用いた場合に、このブラウザソフトウェアに対応したＨＴＴＰプロトコルを用いてＶＮＣ機能を実現する場合について示す。
なお、実施の形態６に係る遠隔操作通信システムは、図２に示す実施の形態１に係る遠隔操作通信システムの構成と同様であり、この図２を参照しながら説明を行う。
【００７１】
リモート装置２がＨＴＴＰブラウザ機能のみを搭載している場合、データ生成部１０７が、例えば車載器１の物理的な操作系（操作ボタン１０２ａ）を模擬した仮想画像データを生成する場合には、このブラウザソフトウェアで実行可能とするため、図１３に示すように、この物理的な操作系に対応したハイパーリンクを含むＨＴＭＬ文書１３０１を生成する。
そして、データ加工部１０８は、表示部１０１に表示されている表示画像データ１３０２をＨＴＭＬ画像１３０３に変換し、データ生成部１０７により生成されたＨＴＭＬ文書１３０１を付加することで、リモート装置２に適合した表示画像データ１３０４に加工する。なお、物理的な操作系をハイパーリンク付画像に変換したり、画像とハイパーリンクの文字列を重ねて表示したりしてもよい。
【００７２】
このように制御することで、ＨＴＴＰブラウザ機能のみしか搭載していないリモート装置２を用いる場合であっても、ＨＴＴＰプロトコルを用いて、車載器１の物理的な操作系を模擬した仮想画像データを提供することができ、ＶＮＣ機能を実現することができる。なおこの際、リモート装置２の機能拡張は不要である。また、車載器１側の画面遷移が複雑でなく、イベントドリブンに変更される場合は特に有効であると考えられる。
なお、上記では物理的な操作系を模擬した仮想画像データを生成する場合について示したが、実施の形態２，３による方法を用いて操作系の表示形態を変えた仮想画像データを生成するようにしてもよい。
【００７３】
以上のように、この実施の形態６によれば、リモート装置２がＨＴＴＰブラウザ機能のみしか搭載していない場合であっても、このブラウザソフトウェアに対応したＨＴＴＰプロトコルを用いて、表示部１０１に表示されている表示画像データおよび仮想画像データをＨＴＭＬ画像およびハイパーリンクを用いてリモート装置２に送信するようにしたので、制限の厳しいリモート装置２に対してもＶＮＣ機能を実現することができる。
【００７４】
実施の形態７．
ＰＣに対してスペックの低いモバイル機器等を用いて遠隔操作を行う場合、大容量の表示画像データを伝送する際の帯域確保や通信処理負荷に対する問題点が挙げられる。そのため、リモート装置２に送信する表示画像データのデータ量の削減が求められる。一方、データ量の削減方法に関しては、すでにＪＰＥＧやＭＰＥＧ等で標準的な圧縮方法等が確立している。しかしながら、ＲＦＢプロトコルを用いる場合には、ＲＦＢがＪＰＥＧをサポートしていないため、この圧縮方法を適用することができない。また、ＪＰＥＧやＭＰＥＧ等の高度な圧縮方法では、多くのリソースを必要とするため、コストが高くなるという課題もある。そこで、実施の形態７では、通信状態に応じて送信する表示画像データの表示形態を変えて、標準的なプロトコルの範囲内で簡素な圧縮を実現し、接続性の維持と高速性を両立するものについて示す。
図１４に示す実施の形態７に係る遠隔操作通信システムは、図２に示す実施の形態１に係る遠隔操作通信システムの車載器１に通信状態解析部１１２を追加したものである。その他の構成は同様であり、同一の符号を付してその説明を省略する。
【００７５】
通信状態解析部１１２は、リモート装置２との間での通信状態を解析するものである。通信状態の解析方法は、特に限定されるものではなく、定期的な特定のパケットの送受信から算出してもよいし、下位レイヤの伝送プロトコル（ＴＣＰ等）のフロー制御機構の機能を用いてもよいし、リモート装置２からのＲＦＢプロトコルに準じる応答の頻度から求めてもよい。
【００７６】
なお、データ加工部１０８は、通信状態解析部１１２により通信速度が所定閾値以下になったと判断された場合に、リモート装置２に送信する表示画像データのデータ量を削減する。ここで、データ加工部１０８は、リモート装置２に送信する表示画像データとこのリモート装置２に送信済みの表示画像データ（リモート装置２で現在表示されている表示画像データ）とを、適当なブロックに分割して比較する。そして、ブロック内でピクセル値に変化のあるブロック（差分画像データ）のみを抽出することでデータ量を削減する。
【００７７】
また、表示画像データ上の動きの激しい部分は、人間の目でその変化を厳密に捉えることができない。そこで、この動きの激しい部分に対して、ブロック内のピクセル値を比較するサンプル数を減らすことでデータ量を削減することができる。なお、表示画像データ上の動きの激しい部分は、例えば単位時間当たりの各ピクセルまたはピクセル集合の変化率等で求めることが可能である。
また、表示画像データ上の動きの激しくない部分に対しても、同様にサンプル数を減らすことでデータ量を削減できる。しかしながら、人間の目は、動きが緩やかな部分に対しては、比較的敏感に知覚することができるため、違和感を与えてしまう恐れがある。
【００７８】
そこで、データ加工部１０８は、表示画像データ上の動きの緩やかな部分をなくすように予め修正する。この修正方法としては、例えば、平滑化フィルタやメディアンフィルタのような雑音除去処理を行って、できるだけ色の変化を少なくする手段が挙げられる。  例えば図１５（ａ）は、表示部１０１に表示されている表示画像データであり、所定のブロック１５０１内の色（空の色）がグラデーションになっている。そのため、車両が移動すると、この所定のブロック１５０１内の色が僅かに変化してしまう。そこで、図１５（ｂ）に示すように、表示画像データ内に対して雑音処理を行い、空の色を一色でベタ塗りにすることで、車両が移動してもブロック１５０１内の色の変化はなくなる。これにより、ブロック１５０１内の画像データをリモート装置２に送信する必要はなくなり、データ量を削減することができる。
【００７９】
また、色数を変更してデータ量を削減することも可能である。Ｔｒｕｅカラーの場合、１ピクセル当たり２４ｂｉｔ（３２ｂｉｔ）の情報量が必要であるが、画像のクオリティを下げ、１６ｂｉｔカラーにすることで伝送容量を半分にすることができる。この処理を動きの激しい部分に適用する等の条件により、動的に行うことで平均的な画面フレーム更新速度を向上することができる。１６ｂｉｔカラーで受け取ったデータは１６ｂｉｔカラーとして表示してもよいし、受信したリモート装置２側で１６ｂｉｔシフトして３２ｂｉｔカラーとして表示してもよい。
【００８０】
なお、データ加工部１０８は、通信状態解析部１１２により通信速度が所定閾値以上に戻ったと判断された場合には、リモート装置２に送信する表示画像データに対するデータ量削減処理を停止し、通常状態に戻す。
【００８１】
以上のように、この実施の形態７によれば、リモート装置２との通信速度が所定閾値以下になった場合に、表示画像データ上で動きのある領域のみを送信するように構成したので、リモート装置２に送信するデータ量を削減することができ、スペックの低いリモート装置２を用いる場合にも操作性を向上させることができる。また、表示画像データに対する雑音処理や色数の削減等を行うことで、データ量をさらに削減することができる。
【００８２】
実施の形態８．
実施の形態８では、リモート装置２に表示画像データを送信する際に体感的な速度を向上させるものについて示す。
なお、実施の形態８に係る遠隔操作通信システムは、図１４に示す実施の形態７に係る遠隔操作通信システムの構成と同様であり、この図１４を参照しながら説明を行う。
【００８３】
なお、データ加工部１０８は、リモート装置判別部１０６による種別判別結果や画像情報取得部１０３により取得された画像情報等に基づいて、リモート装置２に送信する表示画像データを複数に分割し、所定の送付順で、分割したデータ（分割画像データ）を抽出する。
また、送信部１０９は、データ加工部１０８により抽出された分割画像データをリモート装置２に送信する。
【００８４】
車載器１に対してリモート装置２の画面サイズが小さい場合、リモート装置２では表示部１０１に表示されている表示画像データのすべてを、解像度を維持したまま表示することができない。そこで、例えば図１６に示すように、データ加工部１０８は、リモート装置２から要求された画面範囲１６０１内の表示画像データを送信する際に、この表示画像データを複数のブロック１６０２に分割する。そして、リモート装置２の表示部２０４の中心に位置する分割画像データを最初に抽出し、送信部１０９を介して送信する。その後、画面縁部に向かい順に分割画像データを抽出し、送信する。
【００８５】
以上のように、この実施の形態８によれば、リモート装置２に送信する表示画像データを複数に分割し、中心位置から画面縁部へ向かって順に分割画像データを抽出するように構成したので、表示画面データの伝送容量は変わらないが、ユーザが最も注目する画面中心のデータを画面更新のタイミングですぐに表示することができ、体感的な速度を向上することができる。また、体感的な速度が向上するため、伝送スループットを下げる許容範囲を広げることができ、操作性を維持したまま、通信帯域の低減を実施することも可能となる。
【００８６】
実施の形態９．
実施の形態９では、車載器１に設けられた各種情報取得部により取得された観光情報、交通情報や車両に関する情報などを仮想画像データで表し、リモート装置２に送信するものについて示す。
図１７に示す実施の形態９に係る遠隔操作システムの構成は、図１４に示す実施の形態７に係る遠隔操作通信システムの車載器１に、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）センサ１１３、周囲情報取得部１１４、車両情報取得部１１５および経路探索部１１６を追加したものである。その他の構成は同様であり、同一の符号を付してその説明を省略する。
【００８７】
ＧＰＳセンサ１１３は、複数のＧＰＳ衛星からの電波を受信することによって、自車位置を計測するものである。
周囲情報取得部１１４は、自車の周囲の情報（ＧＰＳセンサ１１３により計測された自車位置および記憶部１１０に記憶された地図データに基づく、自車の周囲の観光情報や、ＶＩＣＳ（Ｖｅｈｉｃｌｅ  Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）からの交通情報等）を取得するものである。
【００８８】
車両情報取得部１１５は、自車に関する情報（速度情報、燃料情報等）を取得するものである。
経路探索部１１６は、ＧＰＳセンサ１１３により計測された自車位置に基づいて、操作系１０２を介してユーザにより入力された目的地までの経路探索を行うものである。この経路探索部１１６により探索された経路は、記憶部１１０に記憶された地図画像データ上に描画され、表示部１０１に表示される。
【００８９】
なお、データ生成部１０７は、記憶部１１０に記憶されているデータ部品を用いて、周囲情報取得部１１４や車両情報取得部１１５により取得された各種情報を表す仮想画像データを動的に生成する。例えば図１８では、周囲情報取得部１１４により渋滞や事故の発生等を示す交通警告情報が取得された場合に、この交通警告情報を表す警告画像データ１８０１を生成した場合を示している。そして、データ加工部１０８は、表示部１０１に表示されている表示画像データ１８０２上に警告画像データ１８０１を重畳させた表示画像データ１８０３を、リモート装置２に送信している。
またこれ以外にも、例えば、周囲情報取得部１１４により取得された観光情報を表す仮想画像データを表示画像データに付加してもよい。また、車両情報取得部１１５により取得された速度情報を表す速度メータ画像データや、速度超過の警告を表す警告画像データ、燃料情報を表す燃料メータ画像データ等を追加してもよい。
【００９０】
以上のように、この実施の形態９によれば、車載器１に取り付けられた情報取得部１１４，１１５により取得された各種情報を仮想画像データで表し、リモート装置２に送信するように構成したので、自車周囲の観光情報、交通情報や自車に関する情報等をリモート装置２にも提供することができる。
なお実施の形態９では、周囲情報取得部１１４や車両情報取得部１１５により取得された各種情報を仮想画像データで表す場合について示したが、これに限るものではなく、その他の情報取得部により取得された情報についても同様に適用することができる。また、実施の形態９では、車両用のナビゲーション装置を用いて説明を行ったが、その他の移動体用のナビゲーション装置、例えば、携帯電話等による歩行者用のナビゲーション装置に対しても同様に適用可能である。
【００９１】
また、実施の形態１〜９では、モバイル端末等のリモート装置２を用いて車載器１を遠隔操作する場合について示したが、これに限るものではなく、例えばその他のナビゲーション装置を遠隔操作する場合や、モバイル端末同士での遠隔操作に対しても同様に適用可能である。
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００９２】
この発明に係る遠隔操作通信装置およびナビゲーション装置は、ＰＣとは異なる標準的ではないデバイスを用いてＶＮＣ機能を実現する際に、特別なプロトコルの開発やリモート装置に対する機能拡張が不要であり、接続性および操作性を向上させることができ、リモート装置により遠隔で操作される遠隔操作通信装置およびこの遠隔操作通信装置を適用したナビゲーション装置等に用いるのに適している。
【符号の説明】
【００９３】
１  車載器（遠隔操作通信装置、ナビゲーション装置）、２  リモート装置、１０１  表示部、１０２  操作系（操作部）、１０２ａ  操作ボタン、１０３  画像情報取得部、１０４  受信部（通信部）、１０５  通信プロトコル解析部、１０６  リモート装置判別部、１０７  データ生成部、１０８  データ加工部、１０９  送信部（通信部）、１１０  記憶部、１１１  制御部、１１２  通信状態解析部、１１３  ＧＰＳセンサ、１１４  周囲情報取得部、１１５  車両情報取得部、１１６  経路探索部、２０１  受信部、２０２  通信プロトコル解析部、２０３  送信部、２０４  表示部、２０５  操作部。
【図１】
2012157014.tif 000003
【図２】
2012157014.tif 000004
【図３】
2012157014.tif 000005
【図４】
2012157014.tif 000006
【図５】
2012157014.tif 000007
【図６】
2012157014.tif 000008
【図７】
2012157014.tif 000009
【図８】
2012157014.tif 000010
【図９】
2012157014.tif 000011
【図１０】
2012157014.tif 000012
【図１１】
2012157014.tif 000013
【図１２】
2012157014.tif 000014
【図１３】
2012157014.tif 000015
【図１４】
2012157014.tif 000016
【図１５】
2012157014.tif 000017
【図１６】
2012157014.tif 000018
【図１７】
2012157014.tif 000019
【図１８】
2012157014.tif 000020
【手続補正書】
【提出日】平成25年12月27日(2013.12.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
この発明に係る遠隔操作通信装置は、画像データを表示する表示部と、表示部の画面に表示された画像データに関する画像情報を取得する画像情報取得部と、リモート装置と通信を行う通信部と、リモート装置の種別を判別するリモート装置判別部と、リモート装置で操作可能であって画像データとは異なる仮想画像データを生成するデータ生成部と、仮想画像データをリモート装置用画像データとして、リモート装置判別部により判別された種別のリモート装置の表示画面に適合するように加工して通信部により当該リモート装置へ送信するデータ加工部と、リモート装置によってリモート装置用画像データを基に実行された操作情報を通信部により受信して、当該操作情報に応じた操作を実行する制御部とを備えたものである。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データを表示する表示部と、
前記表示部の画面に表示された画像データに関する画像情報を取得する画像情報取得部と、
リモート装置と通信を行う通信部と、
前記リモート装置の種別を判別するリモート装置判別部と、
前記リモート装置で操作可能であって前記画像データとは異なる仮想画像データを生成するデータ生成部と、
前記仮想画像データをリモート装置用画像データとして、前記リモート装置判別部により判別された種別のリモート装置の表示画面に適合するように加工して前記通信部により当該リモート装置へ送信するデータ加工部と、
前記リモート装置によって前記リモート装置用画像データを基に実行された操作情報を前記通信部により受信して、当該操作情報に応じた操作を実行する制御部と
を備えた遠隔操作通信装置。
【請求項２】
前記データ生成部は、前記リモート装置判別部により判別された種別のリモート装置にない、前記表示部の画面外に設けられた操作部を当該リモート装置で操作可能に模擬した仮想画像データを生成し、
前記制御部は、前記リモート装置によって前記リモート装置用画像データを基に実行された操作情報を前記通信部により受信すると、前記操作部における当該操作情報に応じた操作を実行する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項３】
前記データ生成部は、前記表示部の画面外に設けられた操作部の表示形態を変えて当該リモート装置で操作可能に模擬した仮想画像データを生成する
ことを特徴とする請求項２記載の遠隔操作通信装置。
【請求項４】
前記データ加工部は、前記リモート装置用画像データを前記リモート装置の表示画面に適合した画面サイズに変更する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項５】
前記データ生成部は、前記表示部の画面に表示され得る複数の画像データを含む仮想画像データを生成する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項６】
前記データ生成部は、前記リモート装置判別部により判別された種別のリモート装置にない自身のインタフェースを当該リモート装置で操作可能に模擬した仮想画像データを、ブラウザソフトウェアで実行可能に生成し、
前記通信部は、前記ブラウザソフトウェアに対応したプロトコルで前記リモート装置用画像データを前記リモート装置へ送信する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項７】
前記通信部によるリモート装置との通信における通信状態を解析する通信状態解析部を備え、
前記データ加工部は、前記通信状態解析部により解析された通信状態に応じて、前記リモート装置用画像データの表示形態を変える
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項８】
前記データ加工部は、前記通信状態解析部により通信速度が所定閾値以下になったと判断された場合に、前記リモート装置に送信するリモート装置用画像データと当該リモート装置で表示されているリモート装置用画像データとの間で変化のある領域のデータを差分画像データとして抽出して前記通信部により当該リモート装置へ送信する
ことを特徴とする請求項７記載の遠隔操作通信装置。
【請求項９】
前記データ加工部は、前記リモート装置用画像データに対して雑音処理または／および色数の削減を行う
ことを特徴とする請求項８記載の遠隔操作通信装置。
【請求項１０】
前記通信部は、前記リモート装置用画像データを複数に分割して、前記リモート装置の表示画面の中心位置から画面縁部へ向かって当該リモート装置へ送信する
ことを特徴とする請求項１記載の遠隔操作通信装置。
【請求項１１】
移動体に設けられ、請求項１から請求項１０のうちのいずれか１項記載の遠隔操作通信装置を備えたナビゲーション装置において、
前記データ生成部は、ナビゲーション処理に利用される自身のインタフェースを当該リモート装置で操作可能に模擬した仮想画像データを生成し、
前記データ加工部は、前記画像情報取得部により取得された画像情報が示す前記表示部の画像データに、前記データ生成部により生成された仮想画像データを含めたリモート装置用画像データを、前記リモート装置判別部により判別された種別のリモート装置の表示画面に適合するように加工して前記通信部により当該リモート装置へ送信し、
前記制御部は、前記リモート装置によって前記リモート装置用画像データを基に実行された操作情報を前記通信部により受信すると、自身のインタフェースにおける当該操作情報に応じたナビゲーション処理に関する操作を実行する
ことを特徴とするナビゲーション装置。
【請求項１２】
前記移動体の周囲の観光情報、交通情報、または当該移動体に関する情報を取得する情報取得部を備え、
前記データ生成部は、前記情報取得部により取得された情報を表す仮想画像データを生成する
ことを特徴とする請求項１１記載のナビゲーション装置。
【国際調査報告】
2012157014.tif 000021
2012157014.tif 000022
2012157014.tif 000023
2012157014.tif 000024