(57)【要約】【課題】スマートフォン等の携帯情報端末のカメラ機能を最大限に利用してより経済的にかつ便利な携帯情報端末を用いたカーナビゲーションシステムを提供する。【解決手段】カメラ機能を持つ携帯情報端末のカメラ機能を利用して取得した映像データと車載機器のカーナビゲーション情報もしくは、携帯情報端末の持つナビゲーション情報の一方もしくは両方を携帯情報端末側で合成して、カーナビゲーション機能を有する車載機器の画面に表示する。【選択図】図３
2013124957.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されており、且つ、ナビゲーション機能を有する車載機器と、
カメラ機能を有する携帯情報端末と、
前記車載機器と前記情報端末とで相互に情報の授受を行える情報通信手段と、
を具備し、
前記車載機器のナビゲーション機能によって得られる案内情報を前記情報通信手段によって
前記携帯端末に送信し、前記携帯端末でえられるカメラ映像と取得した案内情報を合成し、
合成した案内情報を前記情報通信手段によって前記車載機器へ送信し、
前記車載機器で合成された案内情報を表示可能に構成することを特徴とする携帯情報端末を用いたナビゲーションシステム。
【請求項２】
前記携帯情報端末が、携帯電話等の広域通信機能を持たない携帯情報端末より構成されることを特徴とする請求項１に記載の携帯情報端末を用いたナビゲーションシステム。
【請求項３】
前記携帯情報端末が複数からなり、
前記車載機器の表示部に複数のカメラ映像の合成表示が可能に構成されることを特徴とする請求項１または２記載の携帯情報端末を用いたナビゲーションシステム。
【請求項４】
前記車載機器は車載位置測位情報および車速情報等を提供し、前記携帯情報端末はカメラ情報、一測位情報および３次元加速度情報を提供し、
両者の情報から有用な情報を演算により取得して、携帯情報端末側で演算して、前記車載機器の表示部へ表示するように構成された請求項１〜３の何れか１項記載の携帯情報端末を用いたナビゲーションシステム。
【請求項５】
前記携帯情報端末のカメラ取得画像を用いて、画像認識技術により、前方の車両を認識検知して車間距離を得る、または、信号や道路標識を認識して識別する、または、車線を認識する、または、歩行者やバイクなどを認識する、のいずれかの１つ以上の認識結果が前記車載機器の表示に反映されるように構成されることを特徴とする、請求項１〜４の何れか１項記載の携帯情報端末を用いたナビゲーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、従来のカーナビシステムを拡張すべく、カメラ付きスマートフォン等の携帯情報端末の映像やネットワーク情報と、ナビゲーションのもつ地図およびナビゲーション情報を融合して、
ユーザーにとって新しく、見やすいナビゲーション表示に関する技術である。
【背景技術】
【０００２】
従来のカーナビゲーションシステムの目的地案内機能は、目的地をセットすると、渋滞を考慮するとか、最短コースにするとか、有料道路または、一般道路有線など、ユーザー好みの手段に応じた最適なルートを検索して、地図上に表示して、交差点や分岐点などにおいて、経路を指示するものであった。
【０００３】
また、公知技術として、特開２００８−２７５５４４のように、ナビゲーション機能を有する車載機器と携帯情報端末との間で、ナビゲーションに関する情報の授受を行うようにして、これにより両者の良いところを互いに選択的に組み合わせるようにした情報伝達装置に関する技術もある。また、特開２００９−２２３４２のように、単に携帯電話のカーナビゲーションの映像をモニターに出力するというものがあった。
【０００４】
近年、カーナビゲーションが進化して、地図情報の表示手段として、２次元から３次元表示のよりリアルな表示になる傾向にあった。そして特開２００９−２４３８８８５のように、カメラ使って、実際の映像にナビ情報を合成して案内するものもでてきた。
【０００５】
このメリットは、カーナビゲーションや地図情報を提供する側にとっては、変化する建物の情報を逐次収集する必要がなく、開発にかかる手間をかなり省くことができる。また、ユーザーにとっては、実際の映像と合成されるため、わかりやすい表示となっている。
【０００６】
しかし、このためには車載カメラを取り付ける必要があり、カメラ部品代および配線、取り付け工賃など、ユーザーにとってコストが上がってしまうという問題点があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２７５５４４
【特許文献２】特開２００９−２２３４２
【特許文献３】特開２００９−２４３８８８５
【発明の概要】
【発明が解決しようとする課題】
【０００８】
解決しようとする問題点は、ナビゲーションシステムやカーＡＶシステムにおいてルート案内情報に重ねて実際のカメラ映像を出す方法として、スマートフォン等の携帯情報端末のカメラを使って、安易に安価に見やすいシステムを提供するものである。
【課題を解決するための手段】
【０００９】
本発明の携帯情報端末を用いたナビゲーションシステムは、車両に搭載されており、且つ、ナビゲーション機能を有する車載機器と、カメラ機能を有する携帯情報端末と、前記車載機器と前記情報端末とで相互に情報の授受を行える情報通信手段と、を具備し、前記車載機器のナビゲーション機能によって得られる案内情報を前記情報通信手段によって前記携帯端末に送信し、前記携帯端末でえられるカメラ映像と取得した案内情報を合成し、合成した案内情報を前記情報通信手段によって前記車載機器へ送信し、前記車載機器で合成された案内情報を表示可能に構成することを特徴とする。
【００１０】
更に、前記携帯情報端末が、携帯電話等の広域通信機能を持たない携帯情報端末より構成しても良い。
【００１１】
更に、前記携帯情報端末が複数からなり、前記車載機器の表示部に複数のカメラ映像の合成表示が可能に構成しても良い。
【００１２】
更に、前記車載機器は車載位置測位情報および車速情報等を提供し、前記携帯情報端末はカメラ情報、一測位情報および３次元加速度情報を提供し、両者の情報から有用な情報を演算により取得して、携帯情報端末側で演算して、前記車載機器の表示部へ表示するように構成しても良い。
【００１３】
更に、前記携帯情報端末のカメラ取得画像を用いて、画像認識技術により、前方の車両を認識検知して車間距離を得る、または、信号や道路標識を認識して識別する、または、車線を認識する、または、歩行者やバイクなどを認識する、のいずれかの１つ以上の認識結果が、前記車載機器の表示に反映されるように構成しても良い。
【発明の効果】
【００１４】
本発明により、スマートフォン等の携帯情報端末によって撮影した映像を利用し、見やすいナビゲーションシステムを、安価に提供することが可能になる。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を踏まえて具体的に説明する。
【実施例１】
【００１６】
図１は本発明の好ましい実施の形態の一例を示すものであり、携帯電話機等の携帯情報端末２０を用いたナビゲーションシステムに関し、前記携帯情報端末２０はスマートフォンなど、カメラ部２１、ＧＰＳセンサ部２３、加速度センサ部２４を有し、内部メモリ２６に記録させたアプリケーションソフトウエアによって、前記カメラ部２１や前記各種センサ等からのデータに基づいた情報処理が可能なＣＰＵ（演算装置）２５を有するものであり、更に望ましくは予め地図情報が前記内部に記録されるか、有線はたは無線通信手段によって外部から地図情報を取得可能に構成されることが望ましく、前記ＣＰＵ２５による演算結果３２は、ケーブル（もしくは無線通信手段からなる情報通信手段３０）によって、車内１に設置されているナビゲーション機能を有する車載機器（以下、カーナビゲーション装置１０）の外部入出力ポート１７に接続され、前記情報処理結果が前記カーナビゲーション装置１０のモニター表示内容に反映されるように構成される。
【００１７】
更に前記携帯情報端末２０は操作部を兼ねた表示部２２を有し、前記表示部２２は前記カメラ部２１で取得した画像データ３１あるいは、前記ＧＰＳセンサ部２３で取得した緯度経度情報を地図上に表示する地図情報や、前記加速度センサ部２４で取得した加速度情報を表示することができる。
【００１８】
図２は、センターコンソール４付近を通過する車の中央の断面図の一部である。前記携帯情報端末２０は、図２のように、携帯情報端末２０の保持部１２５およびダッシュボード２に固定する部分１２７および連結部１２６からなる固定ホルダにより、車のダッシュボード２に取り付けられる。携帯情報端末２０のカメラ部２１は車両の前方を正面に撮影できるよう保持されている。
【００１９】
前記カーナビゲーション装置１０は、車両に搭載したＧＰＳセンサ１３の情報から、現在の車両の位置を取得し、また車両からの車速情報である車両のスピードを取得して、目的地までのナビゲーションをすることが可能であり、前記携帯情報端末２０と前記カーナビゲーション装置１０の情報を融合するにあたって、図３のように前記携帯情報端末２０の前記カメラ部２１、ＧＰＳセンサ部２３、加速度センサ部２４は前記ＣＰＵ２５の命令により発信データをメモリ２６に送信することができる。通常はこれらの撮影映像および各種センサの情報内容を前記携帯情報端末２０の表示部２２に体裁を整えて出力できるようになっている。
【００２０】
更に、前記撮影映像および各種センサの情報内容は、外部入出力ポート２７と情報伝達手段３０を経由して、前記カーナビゲーション装置１０の外部入出力ポート１７へ送信され、ＣＰＵ１５によりメモリ１６を経由して前記カーナビゲーション装置１０の表示部１１に表示される。
【００２１】
ここで、伝達される情報が、カメラ部２１から出力されるカメラ映像のみを情報通信手段３０に出力して、ＧＰＳ情報は、より精度のある車載側のＧＰＳセンサ１３を利用して前記カーナビゲーション装置１０の表示部１１に情報を表示してもよい。
【００２２】
さらにここで、伝達されるカメラ部２１による画像データ３１については、そのままの映像を出力してもよいが、安全運転支援のための画像認識処理を施してもよく、前記画像認識処理は、前記携帯情報端末２０で行ってもよいし、前記カーナビゲーション装置１０で行ってもよい。
【００２３】
また、前記携帯情報端末２０と、前記カーナビゲーション装置１０で同じ処理を両方でやってもよいし、別々の認識処理を行ってもよい。
【００２４】
前記画像認識については、例えば、前方を走る車両の認識、自転車、バイク等の認識、歩行者認識、道路標識の認識、信号の認識等が考えられ、その場合、前記携帯情報端末２０と、前記カーナビゲーション装置１０が、それぞれの処理を分担して行うのもよいし、例えば、車両認識を携帯情報端末２０と、前記カーナビゲーション装置１０の両方で行い、精度を高めるということも考えられる。
【００２５】
また、前記携帯情報端末２０と、前記カーナビゲーション装置１０が交互のフレームの処理を行い、認識フレームレートを向上させることも考えられ、ここが、単なるカメラではなく前記携帯情報端末２０のカメラ部２１を利用する利点の一つともいえる。
【００２６】
図８では画像認識処理を携帯情報端末２０と、前記カーナビゲーション装置１０の両方で行う場合について説明する。
【００２７】
画像データ３１は前記携帯情報端末２０で演算装置２５により処理されるとともに、その画像データ３１は同時に前記カーナビゲーション装置１０にも転送され、前記カーナビゲーション装置１０の演算装置１５でも計算され、前記携帯情報端末２０の演算結果３２は車載側の端末の演算装置による演算結果３３にも反映され、送信データは図１でいう情報通信手段３０を経由して執り行われる。
【００２８】
尚、前方車両を認識させる際、前記携帯情報端末２０をホルダに固定しておくことにより、前記携帯情報端末２０のカメラ部２１の姿勢を水平に保つ。
【００２９】
図４の自車両１００において、カメラ部２１の位置１１０は、カメラが水平で且つ、車の向きに平行に設置する。
【００３０】
カメラを水平に設置する方法はいろいろ考えられるが、前記携帯情報端末２０に搭載されている３軸の加速度センサを利用すると比較的容易に設置できる。こうしてカメラ部２１が水平および、車の向きと水平に設置されると、図５のように、カメラ部２１による画像エリア２００領域中の中心の平行線２０１は実際の水平線と一致する。
【００３１】
そして、道路２０２を走行する前方車両１０１を画像認識により検出し、その最下点のライン２０３を検出でき、その時、カメラ部２１の画角がわかっていれば、図４における前方車両の最下点の角度１０４が計算でき、また、設置するときにあらかじめカメラ部２１の高さ１０３がわかっていれば、前方車両との距離１０２も計算することが可能となる。
【００３２】
このように、三角測量の原理で、前方車両との距離を計算し、車速に応じて車間距離の近づき具合により危険度を計算して、前記携帯情報端末２０の表示部２２や前記カーナビゲーション装置１０の表示部１１に警告表示を行うとともに、車載機スピーカー１８やスマートフォンスピーカー２８から警告音や警告の音声を出力してもよい。
【実施例２】
【００３３】
携帯情報端末２０は、図３のように、カメラ機能を持つものであれば、携帯電話のいわゆる３Ｇ回線などの機能やＷＩＭＡＸ（登録商標）などの広域無線ＬＡＮ機能を持たないものでも構わない。
【実施例３】
【００３４】
携帯情報端末２０は複数台使用することも考えられる。例えば、図６のように前方に向けて前記携帯情報端末２０のカメラ部２１を設置することに加えて、別の携帯情報端末４０のカメラを後方に向けて設置するものや、左側面に向けて別の携帯情報端末５０を設置するものや、別の携帯情報端末６０を右側面に向けて設置するものでも構わない。
【００３５】
合成される図の一例として、図７のように全体画面２００を分割して、前方画像２１０を中心に、後方画像２１１、左側方画像２１２、右側方２１３を表示してもいい。比率や表示方法については俯瞰方式を取るなどいろいろと考えられる。
【００３６】
また、後方画像２１１、左側方画像２１２、右側方２１３については、画像認識により危険を感知した時だけ表示しても良く、複数台の場合のデータのやり取りは、有線ケーブルを使用してもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線の手段を用いてもよい。
【産業上の利用可能性】
【００３７】
スマートフォン等の携帯情報端末２０に内蔵されているカメラ２１や、各種センサおよび、ＣＰＵ（演算装置）２５、メモリ２６を利用し、その演算結果３２を車載のナビゲーション装置の情報処理と連携することにより、より高度な、情報処理は、機能表示が可能になり、産業上有効に利用することができる。
【図面の簡単な説明】
【００３８】
【図１】一実施の形態の車載機器端末とカメラ機能を有する情報機器端末の例
【図２】一実施の形態の携帯情報端末機器と、車載端末の配置例
【図３】一実施の形態の携帯情報端末機器と車載端末の配置例
【図４】一実施の形態の前方車両の距離計測原理
【図５】一実施の形態の前方車両の認識画面
【図６】一実施の形態の複数台の携帯情報端末設置
【図７】一実施の形態の複数台時の表示法
【図８】一実施の形態の画像処理の分散方法
【符号の説明】
【００３９】
１：車内、２：ダッシュボード、３：ハンドル、４：センターコンソール、１０：カーナビゲーション装置、１１：表示部、１３：ＧＰＳセンサ、１５：ＣＰＵ（演算装置）、１６：メモリ、１７：外部入出力ポート、１８：車載機スピーカー、２０：携帯情報端末、２１：カメラ部、２２：表示部、２３：ＧＰＳセンサ部、２４：加速度センサ部、２５：ＣＰＵ（演算装置）、２６：メモリ、２７：外部入出力ポート、２８：スピーカー、３０：情報通信手段、３１：画像データ、３２：演算結果、３３：演算結果、４０：携帯情報端末、５０：携帯情報端末、６０：携帯情報端末、１００：自車両、１０１：前方車両、１０２：携帯情報端末のカメラから前方車両までの距離、１０３：高さ、１０４：最下点の角度、１１０：位置、１２５：保持部、１２６：連結部、１２７：ダッシュボードに固定する部分、２００：画像エリア、２０１：平行線、２０２：道路、２０３：最下点のライン、２１０：前方画像、２１１：後方画像、２１２：左側方画像、２１３：右側方画像
【図１】
2013124957.tif 000003
【図２】
2013124957.tif 000004
【図３】
2013124957.tif 000005
【図４】
2013124957.tif 000006
【図５】
2013124957.tif 000007
【図６】
2013124957.tif 000008
【図７】
2013124957.tif 000009
【図８】
2013124957.tif 000010