(57)【要約】【課題】車載機に搭載されていない機能に関する操作の指示を携帯端末側で実施した場合であっても、車載機側にもその指示の結果を画面表示させてユーザが確認できる「車載機の画面表示制御装置および画面表示制御方法」を提供する。【解決手段】携帯電話２０側で行われた操作の指示を表す指示情報を車載機１０が受信したとき、その指示情報によって示されている操作の指示が車載機搭載機能に関するものか否かを判定する機能判定部１２と、車載機搭載機能に関するものではないと判定された場合、携帯電話２０からキャプチャ画像を取得して車載機１０に表示させる表示制御部１３とを備え、車載機１０に搭載されていない機能に関する操作の指示を携帯電話２０側で実施した場合であっても、その時点で携帯電話２０において指示の結果として表示中の画面をキャプチャして車載機１０に表示させるようにする。【選択図】図１
2014227122.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末と車載機との連携動作時に、上記携帯端末側で行われた操作の指示に従って上記車載機側の画面表示を制御する車載機の画面表示制御装置であって、
上記携帯端末側で行われた操作の指示を表す指示情報を上記携帯端末から受信する指示情報受信部と、
上記指示情報受信部により受信された上記指示情報によって示されている操作の指示が、上記車載機に搭載されている機能に関するものか否かを判定する機能判定部と、
上記機能判定部により上記車載機に搭載されている機能に関する指示であると判定された場合、その車載機搭載機能に関してあらかじめ用意されている操作画面を表示させる一方、上記機能判定部により上記車載機に搭載されている機能に関する指示ではないと判定された場合、上記携帯端末にキャプチャ画像の転送を要求し、その要求に応じて上記携帯端末から取得した上記キャプチャ画像を表示させる表示制御部とを備えたことを特徴とする車載機の画面表示制御装置。
【請求項２】
上記携帯端末側における操作の指示は音声認識機能を利用して行われ、上記指示情報受信部は、音声認識の結果を上記指示情報として上記携帯端末から受信することを特徴とする請求項１に記載の車載機の画面表示制御装置。
【請求項３】
上記指示情報受信部は、上記携帯端末に備えられている機能毎に定められた所定のタイミングで上記音声認識の結果を上記指示情報として上記携帯端末から受信することを特徴とする請求項２に記載の車載機の画面表示制御装置。
【請求項４】
上記指示情報受信部は、発話毎に行われる音声認識の結果を上記指示情報として上記携帯端末から都度受信し、
上記指示情報受信部により都度受信された上記指示情報に基づいて、上記機能判定部および上記表示制御部の処理を都度実行することを特徴とする請求項２に記載の車載機の画面表示制御装置。
【請求項５】
携帯端末と車載機とを連携動作時に、上記携帯端末側で行われた操作の指示に従って上記車載機側の画面表示を制御する車載機の画面表示制御方法であって、
上記車載機の指示情報受信部が、上記携帯端末側で行われた操作の指示を表す指示情報を上記携帯端末から受信する第１のステップと、
上記車載機の機能判定部が、上記指示情報受信部により受信された上記指示情報によって示されている操作の指示が、上記車載機に搭載されている機能に関するものか否かを判定する第２のステップと、
上記車載機の表示制御部が、上記機能判定部により上記車載機に搭載されている機能に関する指示であると判定された場合、その車載機搭載機能に関してあらかじめ用意されている操作画面を表示させる一方、上記機能判定部により上記車載機に搭載されている機能に関する指示ではないと判定された場合、上記携帯端末にキャプチャ画像の転送を要求し、その要求に応じて上記携帯端末から取得した上記キャプチャ画像を表示させる第３のステップとを有することを特徴とする車載機の画面表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載機の画面表示制御装置および画面表示制御方法に関し、特に、携帯端末と車載機との連携動作時に、携帯端末側で行われた操作の指示に従って車載機側の画面表示を制御する技術に関するものである。
【背景技術】
【０００２】
近年、携帯電話（スマートフォンを含む）と車載機とを連携させて所定の処理を行う技術の開発が盛んに進められている。例えば、携帯電話と車載機の連携に関するMirrorLinkと呼ばれる規格が開発されている。MirrorLinkに対応した車載機では、携帯電話のアプリ画面を車載機側のディスプレイに複製して表示させ、車載機側から携帯電話を遠隔操作することが可能である。
【０００３】
また、携帯電話側で利用される可能性のあるアプリ画面をあらかじめキャプチャして車載機に記憶しておき、携帯電話との連携時に、キャプチャしておいたアプリ画面を車載機側のディスプレイに表示させることにより、車載機側から携帯電話を遠隔操作することを可能にした技術も提案されている（例えば、特許文献１参照）。
【０００４】
また、音声認識機能が搭載されている携帯電話を車載機にブルートゥース接続した場合、ハンズフリーで電話をかけるとか、オーディオ装置の操作をするといった車載機が搭載している機能の操作を、携帯電話側の音声認識機能で実現することを可能にした技術も開発されている。
【０００５】
この種の連携技術を採用したシステムでは、車載機に搭載されている機能の実行を携帯電話側の音声認識により指示すると、車載機側では、実行が指示された車載機搭載機能に関してあらかじめ用意されている所定の操作画面がディスプレイに表示されるようになっている。
【０００６】
しかしながら、天気予報、メモ作成、メール機能等の車載機で搭載していない機能に対して音声認識を実施した場合、携帯電話側で独自に画面表示が行われるだけで、車載機側には実施機能に関する画面表示が行われない。そのため、音声認識の結果を確認するためには、携帯電話の画面を見る必要があるが、運転中のため見ることができないという問題があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−１１１３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、このような問題を解決するために成されたものであり、携帯端末と車載機との連携動作時に、車載機に搭載されていない機能に関する操作の指示を携帯端末側で実施した場合であっても、車載機側にもその指示の結果を画面表示させてユーザが確認できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決するために、本発明では、携帯端末側で行われた操作の指示を表す指示情報を車載機が受信したとき、その指示情報によって示されている操作の指示が車載機の搭載機能に関するものか否かを判定し、車載機の搭載機能に関するものではないと判定された場合、携帯端末からキャプチャ画像を取得して車載機に表示させるようにしている。
【発明の効果】
【００１０】
上記のように構成した本発明によれば、携帯端末と車載機との連携動作時に、車載機に搭載されていない機能に関する操作の指示を携帯端末側で実施した場合であっても、その時点において携帯端末に表示されている画面がキャプチャされて車載機に転送され、そのキャプチャ画像が車載機側に表示される。これにより、携帯端末において行われた操作の指示の結果を車載機にもキャプチャ画像という形で画面表示させ、これをユーザが確認できるようにすることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態による車載機の画面表示制御装置を適用した情報処理システムの機能構成例を示すブロック図である。
【図２】携帯電話における音声認識の結果が車載機搭載機能に関するものであった場合に表示される画面例を示す図である。
【図３】携帯電話における音声認識の結果が車載機搭載機能に関するものでなかった場合に表示される画面例を示す図である。
【図４】本実施形態による車載機の画面表示制御装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車載機の画面表示制御装置を適用した情報処理システムの機能構成例を示すブロック図である。本実施形態の情報処理システムは、車載機１０と携帯端末の一例である携帯電話（スマートフォンを含む）２０とを連携させて所定の処理を実行可能にしたものである。
【００１３】
本実施形態では、音声認識機能が搭載されている携帯電話２０を車載機１０にブルートゥース接続し、車載機１０に搭載されている機能の操作を携帯電話２０側の音声認識機能で実現する場合を例に挙げて説明する。車載機１０で搭載している機能は、例えば、電話をかける機能（以下、電話機能という）、オーディオ装置の再生をする機能（以下、オーディオ再生機能という）などである。
【００１４】
図１に示すように、車載機１０は、本実施形態の画面表示制御装置に相当するものであり、その機能構成として、指示情報受信部１１、機能判定部１２、表示制御部１３および画像記憶部１４を備えている。表示制御部１３は、その具体的な機能構成として、キャプチャ画像取得部１３ａを備えている。車載機１０が備える画面表示制御装置は、携帯電話２０との連携動作時に、携帯電話２０側で行われた音声認識による操作の指示に従って、車載機１０側の画面表示を制御する。
【００１５】
上記各機能ブロック１１〜１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
【００１６】
また、携帯電話２０は、その機能構成として、音声認識部２１、指示情報送信部２２および画像キャプチャ部２３を備えている。携帯電話２０では、携帯電話２０に搭載されている機能に関する操作の指示を音声認識によって行うことが可能である。音声認識部２１は、その操作の指示に関するユーザの発話音声を認識する。なお、携帯電話２０に搭載されている機能の中には、車載機１０にも備えられている機能と、車載機１０には備えられていない機能とがある。
【００１７】
指示情報送信部２２は、音声認識部２１により認識された操作の指示を表す指示情報を車載機１０に送信する。指示情報を送信するタイミングは、任意に設定することが可能である。例えば、音声認識部２１が認識した内容をトークバックし、認識した内容が確定したタイミングとすることが可能である。この場合、ユーザが発話をし、それに対する音声認識の結果が確定するたびに、その音声認識の結果が指示情報として車載機１０に送信される。
【００１８】
別の例として、携帯電話２０に備えられている機能毎に定められた所定のタイミングで指示情報を送信するようにしてもよい。例えば、電話機能の場合、音声認識によって相手先の選定や電話番号の特定などを行っているときには指示情報を送信せず、その後ユーザが発信のための発話を行って音声認識部２１がそれを音声認識したタイミングで、発信の指示情報を携帯電話２０に送信する。
【００１９】
また、オーディオ再生機能の場合、音声認識によって楽曲の選択を行っているときには指示情報を送信せず、その後ユーザが再生のための発話を行って音声認識部２１がそれを音声認識したタイミングで、楽曲再生の指示情報を携帯電話２０に送信する。
【００２０】
車載機１０の指示情報受信部１１は、携帯電話２０の指示情報送信部２２により送信された指示情報を受信する。機能判定部１２は、指示情報受信部１１により受信された指示情報によって示されている操作の指示が、車載機１０に搭載されている機能に関するものか否かを判定する。本実施形態では、機能判定部１２は、電話機能またはオーディオ再生機能に関する指示であるか否かを判定する。
【００２１】
携帯電話２０に備えられている機能毎に定められた所定のタイミングで指示情報が送信される場合、機能判定部１２は、発信の指示情報が送られてきたときには、車載機１０に搭載された電話機能に関する指示であると判定する。また、楽曲再生の指示情報が送られてきたとは、車載機１０に搭載されたオーディオ再生機能に関する指示であると判定する。一方、それ以外の内容を示す指示情報が送られてきた場合、機能判定部１２は、携帯電話２０における音声認識の結果として送られてきた操作の指示が、車載機１０に搭載された機能に関するものではないと判定する。
【００２２】
なお、発話音声の音声認識の結果が確定するたびに携帯電話２０から指示情報が送られてくる場合、どのような内容の指示情報であれば電話機能に関するものか、あるいはオーディ再生機能に関するものかをあらかじめ定義しておき、その定義情報を車載機１０に記憶しておく必要がある。機能判定部１２は、この定義情報を参照することにより、指示情報受信部１１により受信された指示情報によって示されている操作の指示が、車載機１０に搭載されている電話機能やオーディオ再生機能に関するものか否かを判定する。
【００２３】
表示制御部１３は、機能判定部１２により車載機１０に搭載されている機能に関する指示であると判定された場合、その車載機搭載機能に関してあらかじめ画像記憶部１４に記憶されている操作画面を車載機１０のディスプレイ（図示せず）に表示させる。画像記憶部１４は、電話機能に関する操作画面の画像およびオーディオ再生機能に関する操作画面の画像をあらかじめ記憶している。
【００２４】
一方、機能判定部１２により車載機１０に搭載されている機能に関する指示ではないと判定された場合、表示制御部１３は、キャプチャ画像取得部１３ａによって携帯電話２０にキャプチャ画像の転送を要求し、その要求に応じて携帯電話２０から取得したキャプチャ画像を車載機１０のディスプレイに表示させる。
【００２５】
携帯電話２０の画像キャプチャ部２３は、車載機１０からキャプチャ画像の転送要求が送られてきた場合、その時点で携帯電話２０のディスプレイ（図示せず）に表示されている画面を画像としてキャプチャし、車載機１０に返信する。このときキャプチャする画面は、携帯電話２０から車載機１０に指示情報を送信したときに表示されていた画面である。
【００２６】
図２および図３は、車載機１０および携帯電話２０のディスプレイに表示される画面の変化例を示す図である。図２は、携帯電話２０における音声認識の結果として送信される指示情報が車載機１０に搭載されている機能に関するものであった場合に表示される画面例を示している。図２（ａ）は携帯電話２０の画面表示例、図２（ｂ）は車載機１０の画面表示例である。
【００２７】
ここでは、携帯電話２０において電話機能に関する操作の指示を音声認識により行った例を示している。この場合、図２（ａ）に示すように、携帯電話２０では、携帯電話２０の内部に記憶されている電話機能に関する操作画面がディスプレイに表示される。一方、車載機１０では、図２（ｂ）に示すように、画像記憶部１４に記憶されている電話機能に関する操作画面がそれまでの別の操作画面に代えてディスプレイに表示される。
【００２８】
これに対し、図３は、携帯電話２０における音声認識の結果として送信される指示情報が車載機１０に搭載されている機能に関するものでなかった場合に表示される画面例を示している。図３（ａ）は携帯電話２０の画面表示例、図３（ｂ）は車載機１０の画面表示例である。
【００２９】
ここでは、携帯電話２０において、インターネットに接続して天気予報を閲覧する機能（以下、天気予報閲覧機能という）に関する操作の指示を音声認識により行った例を示している。この場合、図３（ａ）に示すように、携帯電話２０では、インターネット上から取得した天気予報に関する画面がディスプレイに表示される。一方、車載機１０では、図３（ｂ）に示すように、携帯電話２０に表示された天気予報に関する画面のキャプチャ画像がそれまでの操作画面の上に重畳して表示される。
【００３０】
図４は、上記のように構成した本実施形態による車載機１０の画面表示制御装置の動作例を示すフローチャートである。なお、図４に示すフローチャートは、音声認識機能が搭載されている携帯電話２０を車載機１０にブルートゥース接続したときに開始する。
【００３１】
まず、指示情報受信部１１は、携帯電話２０における音声認識の結果として指示情報送信部２２により送信された指示情報を受信する（ステップＳ１）。次に、機能判定部１２は、指示情報受信部１１により受信された指示情報によって示されている操作の指示が、車載機１０に搭載されている機能に関するものか否かを判定する（ステップＳ２）。
【００３２】
ここで、指示情報によって示されている操作の指示が車載機搭載機能に関するものであると判定された場合、表示制御部１３は、その車載機搭載機能に関してあらかじめ画像記憶部１４に記憶されている操作画面を取得する（ステップＳ３）。そして、表示制御部１４は、画像記憶部１４から取得した操作画面をそれまでの別の操作画面に代えてディスプレイに表示させる（ステップＳ４）。
【００３３】
一方、指示情報によって示されている操作の指示が車載機搭載機能に関するものではないと判定された場合、表示制御部１３は、携帯電話２０にキャプチャ画像の転送を要求し、携帯電話２０からキャプチャ画像を取得する（ステップＳ５）。そして、表示制御部１４は、携帯電話２０から取得したキャプチャ画像をそれまでの操作画面の上に重畳して表示させる（ステップＳ６）。
【００３４】
以上詳しく説明したように、本実施形態では、携帯電話２０側で行われた操作の指示を表す指示情報を車載機１０が受信したとき、その指示情報によって示されている操作の指示が車載機１０の搭載機能に関するものか否かを判定し、車載機１０の搭載機能に関するものではないと判定された場合、携帯電話２０からキャプチャ画像を取得して表示させるようにしている。
【００３５】
このように構成した本実施形態によれば、車載機１０と携帯電話２０とをブルートゥース接続して連携動作させているときに、車載機１０に搭載されていない機能に関する操作の指示を携帯電話２０側で実施した場合であっても、その時点において携帯電話２０に表示されている画面がキャプチャされて車載機１０に転送され、そのキャプチャ画像が車載機１０側に表示される。これにより、携帯電話２０において音声認識により行われた操作の指示の結果を車載機１０にもキャプチャ画像という形で画面表示させ、これをユーザが確認できるようにすることができる。
【００３６】
なお、上記実施形態では、携帯電話２０側におけるアプリケーションの操作の指示を音声認識機能を利用して行い、音声認識の結果を指示情報として送信する例について説明したが、本発明はこれに限定されない。すなわち、携帯電話２０側におけるアプリケーションの操作の指示をタッチパネルやハードウェア操作キーに対するタッチ操作として行い、タッチ操作の結果を指示情報として送信するようにしてもよい。
【００３７】
また、上記実施形態では、車載機搭載機能の一例として電話機能およびオーディオ再生機能を挙げて説明したが、本発明はこれに限定されない。例えば、ナビゲーション機能、エアコン操作機能、ＤＶＤ再生機能なども車載機搭載機能として考えられる。
【００３８】
また、上記実施形態では、車載機１０と携帯電話２０とをブルートゥース接続する例について説明したが、本発明はこれに限定されない。例えば、ＵＳＢ（Universal Serial Bus）などのケーブルによって接続するようにしてもよい。
【００３９】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００４０】
１１  指示情報受信部
１２  機能判定部
１３  表示制御部
１３ａ  キャプチャ画像取得部
１４  画像記憶部
【図１】
2014227122.tif 000003
【図２】
2014227122.tif 000004
【図３】
2014227122.tif 000005
【図４】
2014227122.tif 000006