(57)【要約】【課題】カメラユニットが車両前方の適正な方向に向くように携帯端末が車室内にセットされていなくても、適正な車両前方画像に案内情報を重ねた合成画像を供することのできる「車載機器」を提供することである。【解決手段】車両前方の所定方向を撮影する車載カメラユニットを有し、携帯端末のカメラユニットにより車両前方を撮影するようにセットされた当該カメラユニットの撮影方向と車載カメラユニットの撮影方向との差を検出して当該差を表す撮影方向差情報を生成し、前記携帯端末にて生成される案内情報を取得し、前記案内情報の前記車載カメラユニットの撮影により得られる車両前方画像における位置を、前記撮影方向差情報に基づいて決め、前記車載カメラユニットの撮影により得られる前記車両前方画像の前記決められた位置に前記案内情報を重ねて合成車両前方画像を生成し、前記合成車両前方画像を表示部に表示させる構成となる。【選択図】図８
2013217808.tif 000002
【特許請求の範囲】
【請求項１】
外方を撮影するカメラユニットを有し、地図情報に基づいて現在位置での前記カメラユニットの撮影方向の視野内の環境に対応させた案内情報を生成し、該案内情報を前記カメラユニットにて得られる画像に重ねて合成画像を生成して表示させるためのアプリケーションを搭載した携帯端末が接続される車載機器であって、
表示部と、
車両前方の所定方向を撮影する車載カメラユニットと、
前記携帯端末の前記カメラユニットにより車両前方を撮影するようにセットされた当該カメラユニットの撮影方向と前記車載カメラユニットの撮影方向との差を検出して当該差を表す撮影方向差情報を生成する方向差検出手段と、
前記携帯端末にて生成される前記案内情報を取得する案内情報取得手段と、
前記案内情報の前記車載カメラユニットの撮影により得られる車両前方画像における位置を、前記撮影方向差情報に基づいて決める案内情報表示位置決定手段と、
前記車載カメラユニットの撮影により得られる前記車両前方画像の前記案内情報表示位置決定手段により決められた位置に前記案内情報を重ねて合成車両前方画像を生成する画像処理手段と、
前記画像処理手段にて得られる前記合成車両前方画像を前記表示部に表示させる表示制御手段とを有する車載機器。
【請求項２】
前記方向差検出手段は、前記携帯端末から当該携帯端末の向きを表す方位情報を取得する手段と、
当該車両の移動方向を検出する車両移動方向検出手段と、
前記携帯端末についての前記方位情報と、前記車両の移動方向とに基づいて前記撮影方向差情報を演算する手段とを有する請求項１記載の車載機器。
【請求項３】
前記車両移動方向検出手段は、
前記携帯端末から複数のタイミングにて位置情報を取得する携帯端末位置取得手段と、
前記携帯端末についての前記複数のタイミングでの位置情報に基づいて当該車両の移動方向を演算する移動方向演算手段とを有する請求項２記載の車載機器。
【請求項４】
前記案内情報取得手段は、前記携帯端末に、前記カメラユニットにて得られる画像に代えて単色画像と前記案内情報とを重ねて合成した単色背景合成画像を要求する手段と、
前記要求に応答して前記携帯端末から送られてくる前記単色背景合成画像を取得する手段と、
前記単色背景合成画像から前記案内情報を抽出する案内情報抽出手段とを有する請求項１乃至３のいずれかに記載の車載機器。
【請求項５】
前記案内情報取得手段は、前記携帯端末から前記カメラユニットの撮影により得られる画像に前記案内情報を重ねて生成された合成画像を取得する合成画像取得手段と、
取得した前記合成画像から前記案内情報を抽出する案内情報抽出手段とを有する請求項１乃至３のいずれかに記載の車載機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外方を撮影するカメラユニットを備えたスマートフォン等の携帯端末が接続される車載機器に関する。
【背景技術】
【０００２】
従来、カメラによる撮影画像（実画像）にマーク等の情報を付加して提供する情報提供方法が提案されている（特許文献１）。このような情報提供方法は、車両の前方を撮影する車載カメラにて得られる車両前方画像に、車両の進行方向を表す矢印や、施設を指示する施設マーク等の案内マーク（案内情報）を重ねて表示するＡＲ（拡張現実）ナビゲーションに応用することができる。
【０００３】
近年、スマートフォン等の携帯端末において、前述したようなＡＲナビゲーションを実現するためのアプリケーションも提案されている。この場合の携帯端末は、外方を撮影するカメラユニット、当該携帯端末の現在位置を検出するめのユニット（例えば、ＧＰＳ）、当該携帯端末の姿勢及び向きを検出するためのユニット（例えば、ジャイロスコープ、コンパス等）及び地図情報を格納したデータベースを備えている。そして、当該携帯端末が車室内に前記カメラユニットによって車両前方を撮影することができるようにセットされた状態で、前記アプリケーション（ＡＲナビゲーション）が実行される。このアプリケーションの実行により、地図情報（データベース）に基づいて、現在位置での前記カメラユニットの向く方向（検出される携帯端末の姿勢及び向きに基づいて検出される）のカメラ視野内の道路、施設等（環境）に対応させた案内マークが生成され、その案内マークを前記カメラユニットにて得られる画像に重ねて生成された合成画像が当該携帯端末の表示画面に表示される。これにより、車両運転者は、携帯端末に表示される車両前方画像に重ねられた案内マークに基づいて、車両前方の現実の環境についての情報（車両進行方向、施設の内容等）を把握しつつ運転操作を行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２１６９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したようなアプリケーションを搭載した携帯端末を利用する場合、車両前方を、運転者の視界に邪魔にならないように、カメラユニットにて適正に撮影できるように携帯端末を車室内にセットすることが難しい。カメラユニットにより適正に撮影できるように携帯端末が車室内にセットされない場合、フロントウィンドウを通して運転者が視認できる車両前方の環境（道路や施設等の位置）と、携帯端末に表示される車両前方画像に表れる環境とにずれが生ずる。この場合、携帯端末に表示される車両前方画像に重ねられた案内マークが、車両前方の現実の環境中におけるどの道路、施設等に対応するものかを把握し難いものとなってしまう。
【０００６】
本発明は、このような事情に鑑みてなされたもので、カメラユニットが車両前方の適正な方向に向くように携帯端末が車室内にセットされていなくても、適正な車両前方画像に案内情報を重ねた合成画像を供することのできる車載機器を提供するものである。
【課題を解決するための手段】
【０００７】
本発明に係る車載機器は、外方を撮影するカメラユニットを有し、地図情報に基づいて現在位置での前記カメラユニットの撮影方向の視野内の環境に対応させた案内情報を生成し、該案内情報を前記カメラユニットにて得られる画像に重ねて合成画像を生成して表示させるためのアプリケーションを搭載した携帯端末が接続される車載機器であって、表示部と、車両前方の所定方向を撮影する車載カメラユニットと、前記携帯端末の前記カメラユニットにより車両前方を撮影するようにセットされた当該カメラユニットの撮影方向と前記車載カメラユニットの撮影方向との差を検出して当該差を表す撮影方向差情報を生成する方向差検出手段と、前記携帯端末にて生成される前記案内情報を取得する案内情報取得手段と、前記案内情報の前記車載カメラユニットの撮影により得られる車両前方画像における位置を、前記撮影方向差情報に基づいて決める案内情報表示位置決定手段と、前記車載カメラユニットの撮影により得られる前記車両前方画像の前記案内情報表示位置決定手段により決められた位置に前記案内情報を重ねて合成車両前方画像を生成する画像処理手段と、前記画像処理手段にて得られる前記合成車両前方画像を前記表示部に表示させる表示制御手段とを有する構成となる。
【０００８】
このような構成によれば、携帯端末でのアプリケーションの実行により、案内情報がカメラユニットにて得られる画像に重ねて合成画像が生成される際に、携帯端末のカメラユニットの撮影方向と車載カメラの撮影方向との差に基づいて、前記案内情報の前記車載カメラユニットの撮影により得られる車両前方画像における位置が決められ、前記車両前方画像の前記決められた位置に前記案内情報が重ねて合成車両前方画像が生成され、その合成車両前方画像が表示部に表示される。
【０００９】
本発明に係る車載機器において、前記方向差検出手段は、前記携帯端末から当該携帯端末の向きを表す方位情報を取得する手段と、当該車両の移動方向を検出する車両移動方向検出手段と、前記携帯端末についての前記方位情報と、前記車両の移動方向とに基づいて前記撮影方向差情報を演算する手段とを有する構成とすることができる。
【００１０】
このような構成により、車両の移動方向が検出され、携帯端末から取得した当該携帯端末の向きを表す方位情報と、前記検出された車両の移動方向とに基づいて、携帯端末のカメラユニットの撮影方向と車載カメラの撮影方向との差を表す撮影方向差情報が得られる。
【００１１】
また、本発明に係る車載機器において、前記車両移動方向検出手段は、前記携帯端末から複数のタイミングにて位置情報を取得する携帯端末位置取得手段と、前記携帯端末についての前記複数のタイミングでの位置情報に基づいて当該車両の移動方向を演算する移動方向演算手段とを有する構成とすることができる。
【００１２】
このような構成により、車両の走行にともなって移動する携帯端末の複数のタイミングにて得られる位置情報に基づいて車両の移動方向が検出される。
【００１３】
また、本発明に係る車載機器において、前記案内情報取得手段は、前記携帯端末に、前記カメラユニットにて得られる画像に代えて単色画像と前記案内情報とを重ねて合成した単色背景合成画像を要求する手段と、前記要求に応答して前記携帯端末から送られてくる前記単色背景合成画像を取得する手段と、前記単色背景合成画像から前記案内情報を抽出する案内情報抽出手段とを有する構成とすることができる。
【００１４】
このような構成により、携帯端末の車両前方を撮影するカメラユニットにて得られる画像に代えて単色画像に案内情報を重ねて合成された単色背景合成画像から、前記案内情報が抽出される。
【００１５】
更に、本発明に係る車載機器において、前記案内情報取得手段は、前記携帯端末から前記カメラユニットの撮影により得られる画像に前記案内情報を重ねて生成された合成画像を取得する合成画像取得手段と、取得した前記合成画像から前記案内情報を抽出する案内情報抽出手段とを有する構成とすることができる。
【００１６】
このような構成により、携帯端末のカメラユニットの撮影により得られた画像と案内情報との合成画像から当該案内情報が抽出される。
【発明の効果】
【００１７】
本発明に係る車載機器によれば、携帯端末でのアプリケーションの実行により、案内情報がカメラユニットにて得られる画像に重ねて合成画像が生成される際に、携帯端末のカメラユニットの撮影方向と車載カメラユニットの撮影方向との差に基づいて、前記案内情報の前記車載カメラユニットの撮影により得られる車両前方画像における位置が決められ、前記車両前方画像の前記決められた位置に前記案内情報が重ねて合成車両前方画像が生成され、その合成車両前方画像が表示部に表示されるので、カメラユニットが車両前方の適正な方向に向くように携帯端末が車室内にセットされていなくても、車載カメラユニットでの撮影により得られた適正な車両前方画像に案内情報を重ねた合成画像を供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の一形態に係る車載機器の構成を示すブロック図である。
【図２】スマートフォン（携帯端末）の表示部に表示されるホーム画面の一例を示す図である。
【図３】カメラユニットにて車両前方を撮影するようにスマートフォンを車室内にセットした例を示す図である。
【図４】カメラユニットにて車両前方を撮影するように車室内にセットされたスマートフォンの当該カメラユニットでの撮影により得られた画像の一例を示す図である。
【図５】車両前方を撮影するように車室内に設けられた車載カメラユニットでの撮影により得られた車両前方画像の一例を示す図である。
【図６】スマートフォンの表示部に表示される、カメラユニットでの撮影により得られる画像と案内マークとを合成した合成画像の一例を示す図である。
【図７】スマートフォンのカメラユニットの撮影方向と車載カメラユニットの撮影方向との差を表す撮影方向差Δθを検出するための処理の手順を示すフローチャートである。
【図８】車載カメラユニットでの撮影により得られる車両前方画像と案内マークとを合成した合成車両前方画像の生成及び表示のための処理の手順を示すフローチャートである。
【図９】スマートフォンにて生成された案内マークの抽出の手法を説明する図である。
【図１０】スマートフォンのカメラユニットの撮影方向と車載カメラユニットの撮影方向との差Δθと、表示画面との関係を示す図である。
【図１１】携帯端末にてカメラユニットでの撮影にて得られた画像に合成される案内マークの、車載カメラユニットでの撮影にて得られる車両前方画像において重ねる位置を示す図である。
【図１２】車載カメラユニットでの撮影にて得られる車載前方画像と案内マークとの合成により得られる合成車両前方画像の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について図面を用いて説明する。
【００２０】
本発明の実施の一形態に係る車載機器は、図１に示すように構成される。
【００２１】
図１において、この車載機器１００は、処理ユニット１１、操作部１２、表示部１３、記憶部１４、出力回路１５、スピーカ１６及び車載カメラユニット１７を有している。この車載機器１００にはコネクタ１８を介してスマートフォン２０（携帯端末）が接続可能になっている。スマートフォン２０がコネクタ１８に接続された状態で、処理ユニット１１とスマートフォン２０とは、相互に情報（データ）の通信が可能となる。処理ユニット１１は、操作部１２での操作に応じて種々の処理を実行し、その処理により得られる情報を表示部１３に表示させる。また、処理ユニット１１からのメッセージ情報に基づいた音声信号が出力回路１５からスピーカ１６に供給され、スピーカ１６からメッセージ情報の音声出力がなされる。記憶部１４には、処理ユニット１１での処理に用いられる情報が記憶されており、また、処理ユニット１１での処理により得られた情報が記憶される。
【００２２】
車載カメラユニット１７は、車両の前方移動方向の環境を撮影することが可能なようにフロントウィンドウの所定部位（例えば、ルームミラーの裏側の部位）に設置されている。車載カメラユニット１７として、専用のカメラユニットだけでなく、例えば、前方車両との車間距離、走行レーンの境界を表す白線、その他の車両前方の環境情報を車両運転の支援情報として得るために車両前方を撮影するためのカメラユニットを用いることができる。処理ユニット１１は、車載カメラユニット１７から出力される画像信号から車両前方の環境を表す画像データを生成して画像処理を実行する。処理ユニット１１は、車載カメラユニット１７での撮影により得られる画像データに基づいて表示部１３に車両前方画像を表示させることができる。
【００２３】
スマートフォン２０（携帯端末）は、図示されてはいないが、外方を撮影するカメラユニット、スマートフォン２０の現在位置を検出するためのユニット（例えば、ＧＰＳ）、スマートフォン２０の姿勢及び向きを検出するためのユニット（例えば、ジャイロスコープ、コンパス等）及び地図情報を格納したデータベースを備えている。また、スマートフォン２０は、地図情報（データベース）に基づいて、現在位置での前記カメラユニットの向く方向（検出されるスマートフォン２０の姿勢及び向きに基づいて検出される）のカメラ視野内の道路、施設等（環境）に対応させた案内マークを生成し、更にその案内マークを前記カメラユニットにて得られる画像に重ねて合成画像を生成して、その合成画像を表示部に表示させるＡＲナビゲーションのアプリケーション（アプリケーションソフト）を搭載している。
【００２４】
スマートフォン２０では、例えば、図２に示すように、搭載されたアプリケーションの選択ボタン（アイコン）が配列されたホーム画面が表示部２０１に表示される。このホーム画面において、例えば、前記ＡＲナビゲーションに対応した選択ボタン（ＡＲ  Ｎａｖｉ）の選択操作を行うことにより、ＡＲナビゲーションのアプリケーションが起動される。また、スマートフォン２０は、例えば、図３に示すように、車室内のダッシュパネルの上に、そのカメラユニット（図示略）が車両前方を向き、表示部２０１が車室内に向くようにセットされる。なお、スマートフォン２０は、運転者の前方視界を妨げない位置にセットすることができる。
【００２５】
スマートフォン２０のカメラユニットでの撮影により表示部２０１に表示し得る車両前方の画像（以下、端末前方撮影画像という）Ｉｓｐｈは、例えば、図４に示すようになる。また、前記端末前方撮影画像Ｉｓｐｈが得られると同じタイミングで車載カメラユニット１７での撮影により表示部１３に表示される車両前方の画像（以下、機器前方撮影画像という）Ｉｃは、例えば、図５に示すようになる。図４に示される端末前方撮影画像Ｉｓｐｈの見え方と図５に示される機器前方撮影画像Ｉｃの見え方との違いは、スマートフォン２０のカメラユニットの撮影方向と、車載カメラユニット１７の撮影方向とがずれていることに起因している。
【００２６】
スマートフォン２０での前述したＡＲナビゲーションのアプリケーションの実行により、地図情報に基づいて、例えば、図６に示すように、現在位置でのカメラユニットの向く方向のカメラ視野内の車両が進行する道路に対応させた進行方向を示す矢印Ｍ１、当該カメラ視野内の施設、例えば、銀行Ａに対応させた施設マークＭ２や他の銀行Ｂに対応させた施設マークＭ３が生成される。そして、それら矢印Ｍ１及び施設マークＭ２、Ｍ３（案内マーク・案内情報）を端末前方撮影画像Ｉｓｐｈ（図４に示すものと同じ）に重ねて合成画像Ｉｓｐｈ／Ｍが生成される。
【００２７】
処理ユニット１１は、ＡＲナビゲーションのアプリケーションを実行するスマートフォン２０と情報通信を行って、車載カメラユニット１７での撮影により得られる機器前方撮影画像Ｉｃを用いて、ＡＲナビゲーションの機能を車載機器１００において実現するために、図７及び図８に示す手順に従って処理を行う。図７に示す手順の処理（方向差検出手段）は、スマートフォン２０のカメラユニットの撮影方向と車載カメラユニット１７の撮影方向とのずれ（差）である撮影方向差Δθを求める。図８に示す手順の処理は、前記撮影方向差Δθを用いて、車載カメラユニット１７での撮影により得られる機器前方撮影画像Ｉｃに案内マーク（Ｍ１、Ｍ２、Ｍ３）を重ねて合成画像Ｉｃ／Ｍを生成し、表示部１３に表示させる（ＡＲナビゲーション機能）。
【００２８】
図７において、処理ユニット１１は、コネクタ１８に接続されたスマートフォン２０と相互に情報通信可能であることを確認すると（Ｓ１１）、そのスマートフォン２０に対してＡＲナビゲーションのアプリケーション（ＡＲナビアプリ）の起動要求を行って（Ｓ１２）、この起動要求に対するスマートフォン２０からの応答の待ち状態となる（Ｓ１３）。前記起動要求により、スマートフォン２０は、ＡＲナビアプリを起動して応答信号を車載機器１００に返信する。処理ユニット１１は、前記ＡＲナビアプリの起動要求を行った後、スマートフォン２０からの応答信号を受信すると（Ｓ１３でＹＥＳ）、スマートフォン２０との情報通通信により、ＡＲナビアプリの実行により得られる、スマートフォン２０の向く方向を表す方位情報（Ｓ１４）、及びスマートフォン２０の現在位置を表す位置情報（緯度、経度）を第１位置情報として取得する（Ｓ１５）。その後所定時間の待ち状態となる（Ｓ１６）。
【００２９】
処理ユニット１１は、所定時間の待ち状態が終了すると（Ｓ１６でＹＥＳ）、スマートフォン２０との情報通信により、スマートフォン２０の現在位置を表す位置情報（緯度、経度）を第２位置情報として取得する（Ｓ１７）。車両の走行により、以前に取得された第１位置情報と前記所定時間後に取得された第２位置情報とは異なっており、処理ユニット１１は、その第１位置情報と第２位置情報との差から車両の移動方位を算出する（Ｓ１８）。そして、処理ユニット１１は、前記取得された方位情報（Ｓ１４参照）で表されるスマートフォン２０の向く方向と前記車両の移動方位との差を、スマートフォン２０のカメラユニットの撮影方向（スマートフォン２０の向く方向に対応）と車載カメラユニットの撮影方向（車両の移動方向に対応）とのずれである撮影方向差Δθを算出する（Ｓ１９）。
【００３０】
このようにして撮影方向差Δθが得られると、処理ユニット１１は、図８に示す手順に従って、ＡＲナビゲーションのための画像処理を実行する。
【００３１】
図８において、処理ユニット１１は、スマートフォン２０との情報通信により、ＡＲナビアプリを実行するスマートフォン２０に対してカメラユニットにて得られる画像に代えて単色画像ＩＢＧに案内マーク（Ｍ１、Ｍ２、Ｍ３）を重ね単色背景合成画像の要求を行う（Ｓ２１）。この要求を受けたスマートフォン２０は、例えば、カメラユニットからの画像信号の送出を停止させることにより、図４に示すような端末前方画像Ｉｓｐｈに代えて単色（例えば、黒）の単色背景画像ＩＢＧを生成する。そして、スマートフォン２０は、この単色背景画像ＩＢＧと前述した案内マーク（Ｍ１、Ｍ２、Ｍ３）と合成する処理を行うことにより、例えば、図９に示すように、単色背景画像ＩＢＧ（例えば、黒画像）に案内マーク（Ｍ１、Ｍ２、Ｍ３）が重ねられた１画面分の単色背景合成画像ＩＢＧ／Ｍを生成する。スマートフォン２０は、この単色背景合成画像ＩＢＧ／Ｍを表す画像データを前記要求の応答とともに車載機器１００に送る。
【００３２】
前記単色背景合成画像の要求を行った後、待ち状態となる（Ｓ２２）となる処理ユニット１１は、スマートフォン２０からの応答を確認すると（Ｓ２２でＹＥＳ）、その応答ともに送られてきた単色背景合成画像ＩＢＧ／Ｍの画像データを取得する（Ｓ２３）。その後、処理ユニット１１は、その取得した画像データに対して、例えば、その単色背景合成画像ＩＢＧ／Ｍの背景（黒）部分とそれ以外の部分とを識別しつつ、案内マーク（Ｍ１、Ｍ２、Ｍ３）を背景部分から切り出す（抽出する）処理を施す（Ｓ２４）。これにより、一画面内に分散して配置された案内マーク（Ｍ１、Ｍ２、Ｍ３）を表す画像データが得られる（Ｓ２１〜Ｓ２４：案内情報取得手段）。
【００３３】
処理ユニット１１は、前述したようにして（図７参照）求めた撮影方向差Δθに基づいて、案内マーク（Ｍ１、Ｍ２、Ｍ３）の、スマートフォン２０のカメラユニットの撮影方向と異なる撮影方向となる車載カメラユニット１７の撮影により得られる、例えば、図５に示すような機器車両前方撮影画像Ｉｃにおける位置を演算する（Ｓ２５：案内情報表示位置決定手段）。この案内マーク（Ｍ１、Ｍ２、Ｍ３）の機器車両前方撮影画像Ｉｃ上での位置は、次のようにして演算される。
【００３４】
図１０に示すように、前記撮影方向差Δθに応じて、スマートフォン２０のカメラユニットによるカメラ視野Ｖｓｐｈと、車載カメラユニット１７によるカメラ視野Ｖｃとがずれる。このことから、スマートフォン２０のカメラユニットによるカメラ視野Ｖｓｐｈの環境に対応させて重ねるべきマークＭの画面（Ｖｓｐｈに対応）内での位置から、前記撮影方向差Δθ、スマートフォン２０のカメラユニット及び車載カメラユニット１７の光学的条件等に基づいて、車載カメラユニット１７によるカメラ視野Ｖｃの環境に対応させて重ねるべきマークＭの画面（Ｖｃに対応）内での位置が演算される。図１０に示す例では、マークＭが、スマートフォン２０のカメラユニットでの撮影による端末車両前方撮影画像Ｉｓｐｈ（Ｖｓｐｈに対応）の画面内において比較的右側に位置するのに対し、前記撮影方向差Δθにより、車載カメラユニット１７での撮影による機器車両前方撮影画像Ｉｃ（Ｖｃに対応）の画面内において比較的左側に位置するようになる。
【００３５】
上記のような処理の結果、例えば、図１１に示すように、スマートフォン２０のカメラユニットでの撮影による端末車両前方撮影画像Ｉｓｐｈにおける環境（道路、施設）に対応させて重ねられる各案内マークＭ１、Ｍ２、Ｍ３（図１１において破線で示される）の、車載カメラユニット１７の撮影による機器車両前方撮影画像Ｉｃの画面内での位置が、図１１の実線で示すように決められる。
【００３６】
そして、処理ユニット１１は、車載カメラユニット１７の撮影により得られる機器車両前方撮影画像Ｉｃ（図５参照）における前述したように決められた位置に、前記案内マークＭ１、Ｍ２、Ｍ３を重ねて合成し、合成車両前方画像Ｉｃ／Ｍを表す画像データを生成し、その画像データに基づいて表示部１３にその合成車両前方画像Ｉｃ／Ｍを表示させる（Ｓ２６：画像処理手段、表示制御手段）。例えば、表示部１３には、図１２に示すように、機器車両前方撮影画像Ｉｃが表す環境（道路、施設）に合致するように案内マークＭ１、Ｍ２、Ｍ３が重ねられた合成車両前方画像Ｉｃ／Ｍが表示される。
【００３７】
以後、処理ユニット１１は、前述した処理（Ｓ２３〜Ｓ２６）を繰り返すことにより、車両が移動中に車載カメラユニット１７の撮影により得られる機器車両前方撮影画像Ｉｃに、スマートフォン２０のＡＲナビアプリの実行により得られる案内マークが重ねられた合成車両前方画像Ｉｃ／Ｍが継続的に表示部１３に表示される。
【００３８】
上述したような車載機器では、スマートフォン２０でのＡＲアプリの実行により、案内マーク（Ｍ１、Ｍ２、Ｍ３）がカメラユニットにて得られる端末車両前方画像Ｉｓｐｈに重ねて合成画像Ｉｓｐｈ／Ｍが生成される際に、スマートフォン２０のカメラユニットの撮影方向と車載カメラユニット１７の撮影方向との差（撮影方向差）Δθに基づいて、前記案内マーク（Ｍ１、Ｍ２、Ｍ３）の車載カメラユニット１７の撮影により得られる機器車両前方撮影画像Ｉｃにおける位置が決められ、その機器車両前方撮影画像Ｉｃの前記決められた位置に前記案内マーク（Ｍ１、Ｍ２、Ｍ３）重ねて合成車両前方画像Ｉｃ／Ｍが生成され、その合成車両前方画像Ｉｃ／Ｍが表示部１３に表示される。そのため、カメラユニットが車両前方の適正な方向に向くようにスマートフォン２０が車室内にセットされていなくても、車載カメラユニット１７での撮影により得られた適正な機器車両前方撮影画像Ｉｃに案内マーク（Ｍ１、Ｍ２、Ｍ３）を重ねた合成車両前方画像Ｉｃ／Ｍを車両の運転者に提供することができる。
【００３９】
また、車載機器１００にＡＲナビゲーションの機能が無くても、ＡＲナビアプリを搭載したスマートフォン２０等の携帯端末を接続することにより、ＡＲナビゲーションの機能による合成画像をその表示部１３に表示させることができる。そのため、運転者は、スマートフォン２０の比較的小さい表示部２０１の画面ではなく、車載機器１００の比較的大きい表示部１３の画面を通してＡＲナビゲーションの機能による合成画像を利用することができる。
【００４０】
なお、前述した処理（図８参照）では、スマートフォン２０に、カメラユニットにて得られる画像に代えて単色画像ＩＢＧ（例えば、黒画像）と前記案内マーク（Ｍ１、Ｍ２、Ｍ３）とを重ねて合成した単色背景合成画像ＩＢＧ／Ｍを要求し、その要求に応答してスマートフォン２０から送られてくる単色背景合成画像ＩＢＧ／Ｍから前記案内マーク（Ｍ１、Ｍ２、Ｍ３）を抽出するようにしたが、これに限らない。例えば、スマートフォン２０からカメラユニットの撮影により得られる機器車両前方撮影画像Ｉｓｐｈに前記案内マーク（Ｍ１、Ｍ２、Ｍ３）を重ねて生成された合成画像Ｉｓｐｈ／Ｍ（図６参照）を取得し、その合成画像Ｉｓｐｈ／Ｍから前記案内マーク（Ｍ１、Ｍ２、Ｍ３）を抽出するようにしてもよい。この場合、背景の画像（機器車両前方撮影画像Ｉｓｐｈ）においては同じ色が連続しないという性質と、案内マーク（Ｍ１、Ｍ２、Ｍ３）においては枠線や矢印等同じ色が連続するという性質との違いにより、背景となる機器車両前方撮影画像Ｉｓｐｈから案内マーク（Ｍ１、Ｍ２、Ｍ３）を抽出することができる。
【００４１】
また、スマートフォン２０で生成される合成画像Ｉｓｐｈ／Ｍ（図６参照）は、スマートフォン２０の表示部２０１に表示させる、あるいは、表示させない、のいずれであってもよい。また、背景を単色画像ＩＢＧにした単色背景合成画像ＩＢＧ／Ｍ（図９参照）をスマートフォン２０の表示部２０１に表示させるようにしてもよい。
【産業上の利用可能性】
【００４２】
以上説明したように、本発明に係る車載機器は、カメラユニットが車両前方の適正な方向に向くように携帯端末が車室内にセットされていなくても、適正な車両前方画像に案内情報を重ねた合成画像を供することができるという効果を有し、外方を撮影するカメラユニットを備えたスマートフォン等の携帯端末が接続される車載機器として有用である。
【符号の説明】
【００４３】
１１  処理ユニット
１２  操作部
１３  表示部
１４  記憶部
１５  出力回路
１６  スピーカ
１７  車載カメラユニット
１８  コネクタ
２０  スマートフォン（携帯端末）
１００  車載機器
【図１】
2013217808.tif 000003
【図２】
2013217808.tif 000004
【図３】
2013217808.tif 000005
【図４】
2013217808.tif 000006
【図５】
2013217808.tif 000007
【図６】
2013217808.tif 000008
【図７】
2013217808.tif 000009
【図８】
2013217808.tif 000010
【図９】
2013217808.tif 000011
【図１０】
2013217808.tif 000012
【図１１】
2013217808.tif 000013
【図１２】
2013217808.tif 000014