(57)【要約】【課題】モバイル装置から自身が表示している映像と異なる映像の転送を受けて表示している場合にもモバイル装置の適正な操作を行える「情報処理装置及びコンピュータプログラム」を提供する。【解決手段】車載装置１の表示装置１０２に動画３０１のみを含む映像が表示され（ａ）、スマートフォン２のディスプレイ２０２に動画３０１と仮想操作子３０２とを含む映像が表示されている（ｂ）場合、ユーザが表示装置１０２の表示画面上にタッチ操作４１０を行うと（ａ）、スマートフォン２のディスプレイ２０２に表示されている映像のキャプチャ画像が車載装置１に転送され、車載装置１の表示装置１０２に表示される（ｃ）。そして、車載装置１の表示装置１０２に表示されたキャプチャ画像中の仮想操作子３０２に対するタッチ操作４２０が発生すると、車載装置１からスマートフォン２にタッチ操作の内容が通知される。【選択図】図４
2015153347.tif 000002
【特許請求の範囲】
【請求項１】
接続されたモバイル装置のユーザインタフェースを提供する情報処理装置であって、
表示装置と、
タッチパネルと、
前記接続されたモバイル装置から転送された映像を前記表示装置に表示する表示代行手段と、
タッチ操作通知手段とを有し、
前記タッチ操作通知手段は、前記接続されたモバイル装置から転送された映像を前記表示装置に表示している期間中に、前記タッチパネルに対する前記表示している前記映像上へのユーザのタッチ操作が発生したときに、前記接続されたモバイル装置から取得した当該モバイル装置自身が表示している映像の画像に基づいて、当該モバイル装置自身が表示している映像と前記表示装置に表示している映像の異同を判定し、当該モバイル装置自身が表示している映像と前記表示装置に表示している映像とが同じである場合に、当該タッチ操作の内容を、前記接続されたモバイル装置に通知し、当該モバイル装置自身が表示している映像と前記表示装置に表示している映像とが異なる場合には、当該タッチ操作の内容を、前記接続されたモバイル装置に通知しないことを特徴とする情報処理装置。
【請求項２】
請求項１記載の情報処理装置であって、
前記タッチ操作通知手段は、前記接続されたモバイル装置から転送された映像を前記表示装置に表示している期間中に、前記タッチパネルに対する前記表示している前記映像上へのユーザのタッチ操作が発生したときに、前記接続されたモバイル装置から当該モバイル装置自身が表示している映像と、前記表示装置に表示している映像が異なる場合には、前記接続されたモバイル装置から取得した画像を前記表示装置に表示すると共に、当該画像を前記表示装置に表示している期間中、前記タッチパネルに対する前記表示した前記画像上へのユーザのタッチ操作が発生したときに、当該ユーザのタッチ操作の内容を、前記接続されたモバイル装置に通知することを特徴とする情報処理装置。
【請求項３】
請求項２記載の情報処理装置であって、
前記タッチ操作通知手段は、前記接続されたモバイル装置から転送された映像と共に、前記接続されたモバイル装置から取得した画像を表示装置に表示することを特徴とする情報処理装置。
【請求項４】
表示装置とタッチパネルとを備えた、モバイル装置を接続可能なコンピュータによって読み取られ実行されるコンピュータプログラムであって、
前記コンピュータを、
前記接続されたモバイル装置から転送された映像を前記表示装置に表示する表示代行手段と、
前記タッチパネルに対して行われたユーザのタッチ操作の内容を、前記接続されたモバイル装置に通知するタッチ操作通知手段として機能させ、
前記タッチ操作通知手段は、前記接続されたモバイル装置から転送された映像を前記表示装置に表示している期間中に、前記タッチパネルに対する前記表示している前記映像上へのユーザのタッチ操作が発生したときに、前記接続されたモバイル装置から取得した当該モバイル装置自身が表示している映像の画像に基づいて、当該モバイル装置自身が表示している映像と前記表示装置に表示している映像の異同を判定し、当該モバイル装置自身が表示している映像と前記表示装置に表示している映像とが同じである場合に、当該タッチ操作の内容を、前記接続されたモバイル装置に通知し、当該モバイル装置自身が表示している映像と前記表示装置に表示している映像とが異なる場合には、当該タッチ操作の内容を、前記接続されたモバイル装置に通知しないことを特徴とするコンピュータプログラム。
【請求項５】
請求項４記載のコンピュータプログラムであって、
前記タッチ操作通知手段は、前記接続されたモバイル装置から転送された映像を前記表示装置に表示している期間中に、前記タッチパネルに対する前記表示している前記映像上へのユーザのタッチ操作が発生したときに、前記接続されたモバイル装置から当該モバイル装置自身が表示している映像と、前記表示装置に表示している映像が異なる場合には、前記接続されたモバイル装置から取得した画像を前記表示装置に表示すると共に、当該画像を前記表示装置に表示している期間中、前記タッチパネルに対する前記表示した前記画像上へのユーザのタッチ操作が発生したときに、当該ユーザのタッチ操作の内容を、前記接続されたモバイル装置に通知することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置においてモバイル装置のユーザインタフェースを提供する技術に関するものである。
【背景技術】
【０００２】
情報処理装置においてモバイル装置のユーザインタフェースを提供する技術としては、情報処理装置において、当該情報処理装置に接続されたモバイル装置から転送された映像を情報処理装置の表示装置に表示すると共に、情報処理装置のタッチパネルで受け付けたユーザ操作を、モバイル装置に転送し、モバイル装置において転送されたユーザ操作に応じた動作を行う技術が知られている（たとえば、特許文献１、２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２-２５３７３６号公報
【特許文献２】特開２０１２-２０２７０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように情報処理装置においてモバイル装置のユーザインタフェースを提供する場合、モバイル装置から、モバイル装置自身が表示している映像と異なる映像が情報処理に転送される場合がある。
【０００５】
たとえば、モバイル装置が、自身ではユーザ操作を受け付けるための仮想操作子を含むメニュー画面を表示しつつ、情報処理装置には、モバイル装置において再生中の動画等を転送することがある。
【０００６】
そして、このような場合、情報処理装置の表示装置を見ているユーザは、仮想操作子の存在や位置を認知できないので、情報処理装置において、タッチパネルで受け付けたユーザ操作をモバイル装置に転送すると、モバイル装置において仮想操作子の操作として受け付けられてしまいユーザの意図しない動作が行われてしまうことがある。
【０００７】
また、このような場合、情報処理装置の表示装置を見ているユーザは、仮想操作子の存在や位置を認知できないので、ユーザがこれらの仮想操作子を利用することができなくなってしまうという問題もある。
【０００８】
そこで、本発明は、モバイル装置のユーザインタフェースを提供する情報処理装置において、モバイル装置から転送された、モバイル装置自身が表示している映像と異なる映像を表示している場合であっても、情報処理装置の表示画面を見ているユーザのモバイル装置の誤操作が生じないようにすることを課題とする。また、併せて、本発明は、モバイル装置のユーザインタフェースを提供する情報処理装置において、モバイル装置がモバイル装置自身が表示している映像と異なる映像を情報処理装置に転送するものであっても、モバイル装置自身が表示している仮想操作子を利用したモバイル装置の操作を、情報処理装置の表示画面を見ているユーザが適正に行えるようにすることを課題とする。
【課題を解決するための手段】
【０００９】
前記課題達成のために、本発明は、接続されたモバイル装置のユーザインタフェースを提供する情報処理装置に、表示装置と、タッチパネルと、前記接続されたモバイル装置から転送された映像を前記表示装置に表示する表示代行手段と、タッチ操作通知手段とを設けたものである。ただし、前記タッチ操作通知手段は、前記接続されたモバイル装置から転送された映像を前記表示装置に表示している期間中に、前記タッチパネルに対する前記表示している前記映像上へのユーザのタッチ操作が発生したときに、前記接続されたモバイル装置から取得した当該モバイル装置自身が表示している映像の画像に基づいて、当該モバイル装置自身が表示している映像と前記表示装置に表示している映像の異同を判定し、当該モバイル装置自身が表示している映像と前記表示装置に表示している映像とが同じである場合に、当該タッチ操作の内容を、前記接続されたモバイル装置に通知し、当該モバイル装置自身が表示している映像と前記表示装置に表示している映像とが異なる場合には、当該タッチ操作の内容を、前記接続されたモバイル装置に通知しない。
【００１０】
以上のような情報処理装置によれば、情報処理装置において、モバイル装置から転送された、モバイル装置自身が表示している映像と異なる映像を表示している場合には、情報処理装置のタッチパネルに対するタッチ操作が発生しても、タッチ操作の内容をモバイル装置に通知しないので、ユーザの意図しないモバイル装置の操作の発生を抑止することができる。
【００１１】
ここで、このような情報処理装置は、前記タッチ操作通知手段において、前記接続されたモバイル装置から転送された映像を前記表示装置に表示している期間中に、前記タッチパネルに対する前記表示している前記映像上へのユーザのタッチ操作が発生したときに、前記接続されたモバイル装置から当該モバイル装置自身が表示している映像と、前記表示装置に表示している映像が異なる場合には、前記接続されたモバイル装置から取得した画像を前記表示装置に表示すると共に、当該画像を前記表示装置に表示している期間中、前記タッチパネルに対する前記表示した前記画像上へのユーザのタッチ操作が発生したときに、当該ユーザのタッチ操作の内容を、前記接続されたモバイル装置に通知するように構成することが好ましい。
【００１２】
このような情報処理装置によれば、モバイル装置から転送された、モバイル装置自身が表示している映像と異なる映像を表示している場合に、情報処理装置のタッチパネルに対するタッチ操作が発生した場合には、前記モバイル装置が表示している映像の画像を取得して表示し、前記タッチパネルに対する表示した前記画像上のユーザのタッチ操作を受け付けてモバイル装置に通知するので、モバイル装置自身が表示している映像に対して可能な操作をユーザが情報処理装置の表示上で適正に行えるようになる。
【００１３】
ここで、これらの情報処理装置は、前記タッチ操作通知手段において、前記接続されたモバイル装置から転送された映像と共に、前記接続されたモバイル装置から取得した画像を表示装置に表示するように構成してもよい。
【発明の効果】
【００１４】
以上のように、本発明によれば、モバイル装置のユーザインタフェースを提供する情報処理装置において、モバイル装置から転送された、モバイル装置自身が表示している映像と異なる映像を表示している場合であっても、情報処理装置の表示画面を見ているユーザのモバイル装置の誤操作が生じないようにすることができる。また、本発明によれば、モバイル装置のユーザインタフェースを提供する情報処理装置において、モバイル装置がモバイル装置自身が表示している映像と異なる映像を情報処理装置に転送するものであっても、モバイル装置自身が表示している仮想操作子を利用したモバイル装置の操作を、情報処理装置の表示画面を見ているユーザが適正に行えるようになる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る車載装置とスマートフォンの構成を示すブロック図である。
【図２】本発明の実施形態に係るタッチ操作代行受付処理を示すフローチャートである。
【図３】本発明の実施形態に係るタッチ操作代行受付処理の処理例を示す図である。
【図４】本発明の実施形態に係るタッチ操作代行受付処理の処理例を示す図である。
【図５】本発明の実施形態に係るタッチ操作代行受付処理の処理例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について説明する。
図１に、本第１実施形態に係る車載装置１とスマートフォン２の構成を示す。
車載装置１は自動車に搭載される情報処理装置であり、図示するようにタッチパネル１０１、タッチパネル１０１が表示面上に重ねて配置されている表示装置１０２、マイクやスピーカなどを備えた音声入出力装置１０３、外部インタフェース１０４、車載装置１のオペレーティングシステム１０５、記憶装置１０６、その他の周辺装置１０７、オペレーティングシステム１０５上で稼働するアプリケーションを備えている。
【００１７】
また、車載装置１は、上述したアプリケーションとして、ターミナルアプリケーション１１１と、その他のアプリケーション１１２とを備えている。
ただし、以上のような車載装置１は、ハードウエア的には、ＣＰＵやメモリなどを備えたコンピュータを用いて構成されるものであり、オペレーティングシステム１０５や、各アプリケーションは、当該コンピュータが、所定のコンピュータプログラムを実行することにより実現されるものである。
【００１８】
次に、スマートフォン２は、ユーザによって携帯されるモバイル装置であり、図示するように、タッチパネルなどの操作部２０１、ディスプレイ２０２、マイクやスピーカなどを備えた音声入出力部２０３、無線インタフェース２０４、スマートフォン２のＯＳであるところのモバイルオペレーティングシステム２０５、記憶部２０６、移動電話網にアクセスするための移動通信装置２０７、その他の周辺デバイス２０８、モバイルオペレーティングシステム２０５上で稼働するアプリケーションであるモバイルアプリケーション、を備えている。
【００１９】
ここで、スマートフォン２は、上述したモバイルアプリケーションとして、移動通信装置２０７や音声入出力部２０３や操作部２０１を用いた移動電話機能を提供する移動電話アプリケーション２１１と、状態通知アプリケーション２１２と、その他のモバイルアプリケーション２１３を備えている。
【００２０】
なお、スマートフォン２は、ハードウエア的には、ＣＰＵやメモリなどを備えたコンピュータを用いて構成されるものあり、モバイルオペレーティングシステム２０５や、モバイルアプリケーションなどは、当該コンピュータが、所定のコンピュータプログラムを実行することにより実現されるものである。
【００２１】
さて、このような構成において、車載装置１の外部インタフェース１０４とスマートフォン２の無線インタフェース２０４は、Wi-Fi、Bluetooth(登録商標)などの無線通信によって相互に接続することができる。
【００２２】
そして、車載装置１の外部インタフェース１０４にスマートフォン２の無線インタフェース２０４が接続された状態において、スマートフォン２のモバイルアプリケーションは、モバイルオペレーティングシステム２０５を介して、ディスプレイ２０２に映像を表示すると共に、無線インタフェース２０４を介して車載装置１に映像を転送する。
【００２３】
一方、車載装置１のターミナルアプリケーション１１１は、オペレーティングシステム１０５を介して、車載装置１から転送された映像を表示装置１０２に表示する動作を行う。
【００２４】
なお、スマートフォン２のモバイルアプリケーションがディスプレイ２０２に表示する映像と、スマートフォン２のモバイルアプリケーションから車載装置１のターミナルアプリケーション１１１に転送されて車載装置１の表示装置１０２に表示される映像は同一である場合と同一でない場合がある。
【００２５】
また、車載装置１のターミナルアプリケーション１１１は、車載装置１の表示装置１０２にスマートフォン２から転送された映像を表示している期間中、タッチ操作代行受付処理を行う。
【００２６】
図２に、このユーザタッチ操作代行受付処理の手順を示す。
図示するように、この処置では、タッチパネル１０１に対するユーザのタッチ操作の発生を監視する（ステップ２０２）。
そして、タッチ操作が発生したならば（ステップ２０２）、スマートフォン２の状態通知アプリケーション２１２に表示情報要求を発行し表示情報を取得する（ステップ２０４）。
【００２７】
ここで、スマートフォン２の状態通知アプリケーション２１２は、車載装置１のターミナルアプリケーション１１１から表示情報要求を受け取ったならば、スマートフォン２のディスプレイ２０２に表示されている映像の内容を表す表示情報を、車載装置１のターミナルアプリケーション１１１に転送する。なお、この表示情報は、スマートフォン２のディスプレイ２０２に表示されている映像をキャプチャした画像であってもよい。また、スマートフォン２のディスプレイ２０２に表示されている映像が縦長の映像であるか、横長の映像であるかの識別を表示情報として含めるようにしてもよい。
【００２８】
一方、このようにしてスマートフォン２から表示情報を受け取った車載装置１のターミナルアプリケーション１１１は、受け取った表示情報が表す映像とスマートフォン２から転送されている映像が同内容であるか否か、すなわち、車載装置１の表示装置１０２にスマートフォン２のディスプレイ２０２と同じ映像を表示しているか否かを判定する（ステップ２０６）。
【００２９】
ここで、表示情報としてスマートフォン２からキャプチャ画像を受け取る場合には、同内容か否かの判定は、スマートフォン２から転送されている映像とキャプチャ画像とを比較することにより行う。また、このようにスマートフォン２から転送されている映像とキャプチャ画像とを比較する場合には、当該比較は、スマートフォン２から転送されている映像がスマートフォン２のディスプレイ２０２にも表示されていると仮定した場合に、キャプチャ画像がスマートフォン２から転送されている映像中に現れることとなる時点の画像をスマートフォン２から転送されている映像から抽出して、キャプチャ画像と比較することにより行う。
【００３０】
また、ステップ２０６では、縦長映像であるか、横長映像であるかの識別が表示情報に含まれている場合には、スマートフォン２から転送され表示装置１０２に表示している映像の縦長、横長の如何が、表示情報に含まれる縦長の映像であるか、横長の映像であるかの識別と一致しない場合には、無条件に同内容でないと判定するようにしてもよい。
【００３１】
なお、ユーザタッチ操作代行受付処理ではステップ２０４を行わずに、車載装置１の表示装置１０２にスマートフォン２から転送された映像を表示している期間中、常時、スマートフォン２より定期的に表示情報を取得し、ステップ２０６では、最後に取得した表示情報を用いて、車載装置１の表示装置１０２にスマートフォン２のディスプレイ２０２と同じ映像を表示しているか否かを判定するようにしてもよい。
【００３２】
次に、表示情報が表す映像とスマートフォン２から転送されている映像が同内容であればステップ２０２で発生を検出したタッチ操作の内容を、スマートフォン２の車載装置１に映像を転送しているモバイルアプリケーションに通知する（ステップ２０８）。なお、この際に、ターミナルアプリケーション１１１は、タッチパネル１０１で検出した表示装置１０２の表示映像上の座標を、スマートフォン２のディスプレイ２０２の表示映像上の座標に変換した上で、タッチ操作の内容をモバイルアプリケーションに通知する。
【００３３】
一方、車載装置１に映像を転送しているモバイルアプリケーションは、このようにして車載装置１から転送されたタッチ操作の内容を受け取ったならば、受け取ったタッチ操作の内容に応じた処理を行う。
【００３４】
次に、ステップ２０６で、スマートフォン２の状態通知アプリケーション２１２から受け取った表示情報が表す映像と、スマートフォン２から転送され表示装置１０２に表示している映像とが同内容でないと判定された場合には、ステップ２０２で発生を検出したユーザ操作の内容はスマートフォン２に転送せずに、スマートフォン２の状態通知アプリケーション２１２にキャプチャ画像要求を発行しキャプチャ画像を取得する（ステップ２１０）。ただし、ステップ２０６の直後に行う初回のステップ２１０では、先行するステップ２０４で表示情報としてキャプチャ画像を取得している場合には、スマートフォン２の状態通知アプリケーション２１２にキャプチャ画像要求を発行することなしに、表示情報に含まれるキャプチャ画像を取得するようにしてもよい。
【００３５】
ここで、スマートフォン２の状態通知アプリケーション２１２は、車載装置１のターミナルアプリケーション１１１からキャプチャ画像要求を受け取ったならば、スマートフォン２のディスプレイ２０２に表示されている映像を静止画としてキャプチャし、キャプチャ画像として、車載装置１のターミナルアプリケーション１１１に転送する。
【００３６】
次に、このようにしてスマートフォン２からキャプチャ画像を取得したターミナルアプリケーション１１１は、所定の表示形態で取得したキャプチャ画像を表示装置１０２に表示する（ステップ２１２）。
【００３７】
なお、ユーザタッチ操作代行受付処理ではステップ２１０は行わずに、車載装置１の表示装置１０２にスマートフォン２から転送された映像を表示している期間中、常時、スマートフォン２より定期的にキャプチャ画像を取得し、ステップ２１２では最後に取得したキャプチャ画像を表示するようにしてもよい。
【００３８】
そして、ユーザのタッチパネル１０１への、表示装置１０２に表示したキャプチャ画像の表示領域内へのタッチ操作の発生と（ステップ２１４）、ステップ２１２でキャプチャ画像を表示した時点から所定時間以上の時間経過の発生（ステップ２１６）を監視する。
【００３９】
そして、所定時間の経過が発生した場合には（ステップ２１６）、表示装置１０２の表示状態を、キャプチャ画像表示開始前の、キャプチャ画像を表示せずにスマートフォン２から転送されている映像を表示している状態に復帰し（ステップ２１８）、ステップ２０２のユーザのタッチ操作の発生の監視からの処理に戻る。
【００４０】
一方、ユーザのタッチパネル１０１へのタッチ操作が発生した場合には（ステップ２１４）、発生を検出したタッチ操作の内容を、スマートフォン２の車載装置１に映像を転送しているモバイルアプリケーションに通知し（ステップ２２０）、ステップ２１０のキャプチャ画像の取得からの処理に戻る。なお、この際にも、ターミナルアプリケーション１１１は、タッチパネル１０１で検出した表示装置１０２の表示映像上の座標を、スマートフォン２のディスプレイ２０２の表示映像上の座標に変換した上で、タッチ操作の内容をモバイルアプリケーションに通知する。
【００４１】
以上、車載装置１のターミナルアプリケーション１１１が行うタッチ操作代行受付処理について説明した。
以下、このようなタッチ操作代行受付処理の処理例を示す。
いま、図３ａに車載装置１の表示装置１０２の表示画面を、図３ｂにスマートフォン２のディスプレイ２０２の表示画面を示すように、車載装置１の表示装置１０２とスマートフォン２のディスプレイ２０２とに、動画３０１と仮想操作子３０２を含む同じ映像が表示されている場合、ユーザが表示装置１０２の表示画面上の仮想操作子３０２に対してタッチ操作３１０を行うと、車載装置１の表示装置１０２とスマートフォン２のディスプレイ２０２の表示内容が同じなので、車載装置１からスマートフォン２にタッチ操作の内容が通知され、スマートフォン２において、タッチ操作３１０が発生した仮想操作子３０２へのタッチ操作に対して定義されている処理が行われることとなる。
【００４２】
一方、図４ａに車載装置１の表示装置１０２の表示画面を、図４ｂにスマートフォン２のディスプレイ２０２の表示画面を示すように、車載装置１の表示装置１０２の表示画面に動画３０１のみを含む映像が表示され、スマートフォン２のディスプレイ２０２に動画３０１と仮想操作子３０２とを含む映像が表示されている場合、ユーザが表示装置１０２の表示画面上にタッチ操作４１０を行うと、車載装置１の表示装置１０２とスマートフォン２のディスプレイ２０２の表示内容が異なるので、このタッチ操作の内容はスマートフォン２に通知されない。また、このタッチ操作に応答して、スマートフォン２のディスプレイ２０２に表示されている映像のキャプチャ画像が車載装置１に転送され、図４ｃに示すように車載装置１の表示装置１０２に表示される。
【００４３】
そして、図４ｃに示すように車載装置１の表示装置１０２に表示されたキャプチャ画像中の仮想操作子３０２に対するタッチ操作４２０が発生すると、車載装置１からスマートフォン２にタッチ操作の内容が通知され、スマートフォン２において、タッチ操作４２０が発生した仮想操作子へのタッチ操作に対して定義されている処理が行われることとなる。
【００４４】
また、図５ａに車載装置１の表示装置１０２の表示画面を、図５ｂにスマートフォン２のディスプレイ２０２の表示画面を示すように、車載装置１の表示装置１０２の表示画面の動画５０１のみを含む映像が表示され、スマートフォン２の複数の仮想操作子５０２を含むメニュー画面の映像が表示されている場合、ユーザが表示装置１０２の表示画面上にタッチ操作５１０を行うと、車載装置１の表示装置１０２とスマートフォン２のディスプレイ２０２の表示内容が異なるので、このタッチ操作の内容はスマートフォン２に通知されない。また、このタッチ操作に応答して、スマートフォン２のディスプレイ２０２に表示されている映像のキャプチャ画像が車載装置１に転送され、図５ｃに示すように車載装置１の表示装置１０２に表示される。
【００４５】
そして、図５ｃに示すように車載装置１の表示装置１０２に表示されたキャプチャ画像中の仮想操作子５０２に対するタッチ操作５２０が発生すると、車載装置１からスマートフォン２にタッチ操作の内容が通知され、スマートフォン２において、タッチ操作５２０が発生した仮想操作子５０２へのタッチ操作に対して定義されている処理が行われることとなる。
【００４６】
さて、ここで、車載装置１の表示装置１０２へのキャプチャ画像の表示は、たとえば、キャプチャ画像の横長、縦長が、表示装置１０２の画面の横長、縦長と一致する場合には、図４ｃに示すように表示装置１０２の画面の全面にキャプチャ画像を表示することにより行い、一致しない場合には、図５ｃに示すように、スマートフォン２から転送され表示装置１０２に表示している映像上の一部にキャプチャ画像を重畳表示することにより行う。なお、図５ｃに示したように表示装置１０２の画面の一部にキャプチャ画像を表示した場合には、ターミナルアプリケーション１１１は、タッチパネル１０１で検出した表示装置１０２のキャプチャ画像上に行われたタッチ操作の座標を、スマートフォン２のディスプレイ２０２の表示映像上の、タッチ操作が行われたキャプチャ画像上の位置に対応する位置の座標に変換した上で、タッチ操作の内容をモバイルアプリケーションに通知する。
【００４７】
以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、スマートフォン２から転送された、スマートフォン２自身が表示している映像と異なる映像を表示している場合には、車載装置１のタッチパネル１０１に対するタッチ操作が発生しても、タッチ操作の内容をスマートフォン２に通知しないので、ユーザの意図しないスマートフォン２の操作の発生を抑止することができる。
【００４８】
また、その後に、スマートフォン２が表示している映像のキャプチャ画像を取得して表示し、タッチパネル１０１に対する表示したキャプチャ画像上のユーザのタッチ操作を受け付けてスマートフォン２に通知するので、スマートフォン２が表示している映像に対して可能な操作をユーザが車載装置１において適正に行えるようになる。
【００４９】
ところで、以上の実施形態は、車載装置１に代えて表示装置１０２とタッチパネル１０１を備えた任意の情報処理装置において、スマートフォン２以外の任意のモバイル装置（たとえば、タブレット装置や携帯メディアプレイヤ）のユーザインタフェースを提供する場合について同様に適用することができる。
【符号の説明】
【００５０】
１…車載装置、２…スマートフォン、４…状態通知、１０１…タッチパネル、１０２…表示装置、１０３…音声入出力装置、１０４…外部インタフェース、１０５…オペレーティングシステム、１０６…記憶装置、１０７…周辺装置、１１１…ターミナルアプリケーション、２０１…操作部、２０２…ディスプレイ、２０３…音声入出力部、２０４…無線インタフェース、２０５…モバイルオペレーティングシステム、２０６…記憶部、２０７…移動通信装置、２０８…周辺デバイス、２１１…移動電話アプリケーション、２１１…状態通知アプリケーション。
【図１】
2015153347.tif 000003
【図２】
2015153347.tif 000004
【図３】
2015153347.tif 000005
【図４】
2015153347.tif 000006
【図５】
2015153347.tif 000007