(57)【要約】【課題】乗物周辺に存在する物体の３次元形状情報を取得し、当該３次元形状情報から物体の３次元形状画像を生成して表示することで、ドライバが容易に乗物周辺にある障害物等の物体の３次元形状を把握することが可能な３次元情報表示装置、当該装置に適用可能なアレイ型超音波センサモジュール及び３次元情報表示装置制御プログラムを提供する。【解決手段】３次元情報表示装置１を、アレイ型超音波センサモジュール２と、画像表示部３と、を含んだ構成とし、アレイ型超音波センサモジュール２を、複数のアレイ型超音波センサ２０と、パルス生成器２１と、前記複数のアレイ型超音波センサ２０にそれぞれ対応した複数の増幅器２２と、当該複数の増幅器２２にそれぞれ対応した複数のＡ／Ｄ変換器２３と、信号処理部２４と、記憶部２５と、車載ＬＡＮインターフェース部２６と、を含んだ構成とした。【選択図】      図１
2004354170.tif 000002
【特許請求の範囲】
【請求項１】
乗物周辺に存在する物体の３次元形状画像を表示する３次元情報表示装置であって、
送信波に対する前記物体からの反響波を利用して、前記物体の３次元形状に係る３次元形状情報を取得する形状情報取得手段と、当該形状情報取得手段によって取得された前記３次元形状情報に基づき前記物体の３次元形状画像を表示する画像表示手段と、を備えることを特徴とする３次元情報表示装置。
【請求項２】
前記画像表示手段は、前記物体と前記乗物との位置関係が解るように、前記物体の３次元形状画像と共に、前記乗物の少なくとも一部を示す３次元形状画像を表示することを特徴とする請求項１記載の３次元情報表示装置。
【請求項３】
前記形状情報取得手段は、超音波を送受波することが可能な複数の超音波センサをアレイ状に配置して成るアレイ型超音波センサを有し、当該アレイ型超音波センサにおいて送波した超音波の前記物体からの反響波を受信し、当該反響波に基づき前記３次元形状情報を取得することを特徴とする請求項１又は請求項２記載の３次元情報表示装置。
【請求項４】
前記形状情報取得手段は、前記アレイ型超音波センサが受信した前記反響波を増幅する増幅部と、当該増幅部において増幅された反響波をデジタル信号に変換するＡ／Ｄ変換部と、当該変換後のデジタル信号に基づき前記物体の３次元形状情報を算出する３次元形状情報算出部と、当該算出された３次元形状情報を前記画像表示手段に送信する形状情報送信部と、を備えることを特徴とする請求項３記載の３次元情報表示装置。
【請求項５】
前記３次元形状情報を記憶する３次元形状情報記憶手段を備えることを特徴とする請求項１乃至請求項４のいずれか１項に記載の３次元情報表示装置。
【請求項６】
前記乗物はカーナビゲーションシステムを搭載可能な自動車であり、前記画像表示手段は、前記カーナビゲーションシステムにおける画像表示部であることを特徴とする請求項１乃至請求項５のいずれか１項に記載の３次元情報表示装置。
【請求項７】
請求項１乃至請求項６のいずれか１項に記載の３次元情報表示装置に適用可能なアレイ型超音波センサモジュールであって、
超音波を送受波することが可能な複数の超音波センサをアレイ状に配置して成るアレイ型超音波センサと、当該アレイ型超音波センサが受信した受信波を増幅する増幅部と、当該増幅部において増幅された前記受信波をデジタル信号に変換するＡ／Ｄ変換部と、当該変換後のデジタル信号に基づき前記物体の３次元形状情報を算出する３次元形状情報算出部と、当該算出された３次元形状情報を前記画像表示手段に送信する形状情報送信部と、を備えることを特徴とするアレイ型超音波センサモジュール。
【請求項８】
請求項１記載の３次元情報表示装置を制御するためのコンピュータが実行可能なプログラムであって、
送信波に対する前記物体からの反響波を利用して、前記物体の３次元形状に係る３次元形状情報を取得する形状情報取得ステップと、当該形状情報取得ステップにおいて取得された前記３次元形状情報に基づき前記物体の３次元形状画像を表示する画像表示ステップと、を備えることを特徴とする３次元情報表示装置制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、自動車等の乗物におけるドライバの安全補助機能として搭載されるバックセンサ、コーナーセンサ等の乗物周辺の障害物等の物体をセンシングするセンサに係り、特に、超音波等の送信波に対する物体からの反響波を利用して物体の３次元形状を計測し、当該物体の３次元形状画像を表示することが可能な３次元情報表示装置に関するものである。
【０００２】
【従来の技術】
従来、車両後部に設けたビデオカメラにより車両後方に存在する障害物を撮影して、その撮影画像を車両の備える表示装置に表示して、車両の車庫入れ等のドライバの運転補助を行うシステムがある。
また、超音波を利用して車両周辺の障害物を検出し、当該車両の障害物への接近に応じてドライバに警告を発する障害物検出装置が提案されている（特許文献１参照）。この障害物検出装置は、超音波を送受波可能な複数の超音波センサが自動車後部に搭載されており、これら複数の超音波センサの送信、受信の組み合わせを変えることで各々のセンサの計測可能範囲内にある障害物までの距離を計算する。そして、自車両とセンサ計測範囲を格子状で表現した画面上に、計測した障害物の平面図を表示すると共に、前記計算された距離の長さに応じてブザー等でドライバに警告を与えるものである。
【０００３】
【特許文献１】
特開２０００一２８７１７号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記ビデオカメラを利用して障害物の表示を行うシステムにおいては、ビデオカメラによる撮影を行うため、車両と障害物との距離により、後方の限られた範囲しか障害物を撮影することができない。また、距離によってはビデオカメラに使用されているレンズの特性により表示画像がゆがむこともある。更に、実際に車両と障害物との距離がどのくらいであるかを、ドライバが正確に把握できるようなものでは無い。
【０００５】
また、夜間時や、霧や雨などの悪天候時などのように見通しの悪い状態での撮影時においては、撮影画像中の障害物等の画像が見えにくいものとなってしまうといった欠点もある。
また、上記特許文献１に提案されている障害物検出装置は、上記ビデオカメラによるシステムの問題点を克服できるものの、当該障害物検出装置に用いられている単一の超音波センサを複数個組み合わせただけのセンサでは、ドライバへの障害物情報の提示手段はブザー等で警報を鳴らす、または液晶ディスプレイなどの表示装置に障害物を２次元画像により平面表示するだけである。従って、ドライバは障害物の３次元形状については知ることができないため、直感的に障害物の位置や形を把握することができず、障害物を認識するまでに時間を要するという問題があった。
【０００６】
そこで、本発明は、上記の問題点に鑑みて、送信波に対する物体からの反響波を利用して、乗物周辺に存在する物体の３次元形状情報を取得し、当該３次元形状情報から物体の３次元形状画像を生成して表示することで、ドライバが容易に乗物周辺にある障害物等の物体の３次元形状を把握することが可能な３次元情報表示装置、当該装置に適用可能なアレイ型超音波センサモジュール及び３次元情報表示装置制御プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る請求項１記載の３次元情報表示装置は、乗物周辺に存在する物体の３次元形状画像を表示する３次元情報表示装置であって、
送信波に対する前記物体からの反響波を利用して、前記物体の３次元形状に係る３次元形状情報を取得する形状情報取得手段と、当該形状情報取得手段によって取得された前記３次元形状情報に基づき前記物体の３次元形状画像を表示する画像表示手段と、を備えることを特徴としている。
【０００８】
このような構成であれば、形状情報取得手段によって、送信波に対する前記物体からの反響波を利用して、乗物周辺に存在する物体の３次元形状に係る３次元形状情報を取得することが可能であり、画像表示手段によって、形状情報取得手段によって取得された前記形状情報に基づき前記物体の３次元形状画像を表示することが可能である。
【０００９】
従って、乗物周辺に存在する障害物等の物体からの反響波から当該物体の３次元形状画像を生成し、これを表示するので、乗物のドライバは、当該乗物周辺にある障害物等の存在及び形状を視覚的に容易に知ることが可能である。
ここで、乗物としては、自動車や、船舶などがある。
また、送信波としては、電波、音波、光波、レーザなどがある。
【００１０】
また、３次元形状情報とは、物体の３次元形状の特徴又は３次元形状そのものを表す情報量、又は、これらを３次元形状画像として表示装置に表示可能なデータに変換したものなどである。
また、請求項２に係る発明は、請求項１記載の３次元情報表示装置において、前記画像表示手段は、前記物体と前記乗物との位置関係が解るように、前記物体の３次元形状画像と共に、前記乗物の少なくとも一部を示す３次元形状画像を表示することを特徴としている。
【００１１】
つまり、前記画像表示手段は、前記乗物と前記物体との位置関係が解るように、前記物体の３次元形状画像と共に、前記乗物の少なくとも一部を示す３次元形状画像を表示することが可能である。
従って、乗物のドライバは、当該乗物の周辺ある障害物等の存在、形状、及び、前記乗物と前記障害物等との位置関係を、視覚的に容易に知ることが可能である。
【００１２】
また、請求項３に係る発明は、請求項１又は請求項２記載の３次元情報表示装置において、前記形状情報取得手段は、超音波を送受波することが可能な複数の超音波センサをアレイ状に配置して成るアレイ型超音波センサを有し、当該アレイ型超音波センサにおいて送波した超音波の前記物体からの反響波を受信し、当該反響波に基づき前記３次元形状情報を取得することを特徴としている。
【００１３】
つまり、前記形状情報取得手段は、超音波を送受波することが可能な複数の超音波センサをアレイ状に配置して成るアレイ型超音波センサを有し、当該アレイ型超音波センサにおいて送波した超音波の前記物体からの反響波を受信し、当該反響波に基づき前記３次元形状情報を取得することが可能である。
従って、アレイ状に配置された超音波センサにより送波された複数の超音波の、物体から反射した反響波を得ることが可能なので、この反響波を解析することにより、物体の３次元形状情報を取得することが可能となる。
【００１４】
また、請求項４に係る発明は、請求項３記載の３次元情報表示装置において、前記形状情報取得手段は、前記アレイ型超音波センサが受信した前記反響波を増幅する増幅部と、当該増幅部において増幅された反響波をデジタル信号に変換するＡ／Ｄ変換部と、当該変換後のデジタル信号に基づき前記物体の３次元形状情報を算出する３次元形状情報算出部と、当該算出された３次元形状情報を前記画像表示手段に送信する形状情報送信部と、を備えるアレイ型超音波センサモジュールであることを特徴としている。
【００１５】
つまり、前記形状情報取得手段は、増幅部によって、前記アレイ型超音波センサが受信した前記反響波を増幅することが可能であり、Ａ／Ｄ変換部によって、増幅部において増幅された反響波をデジタル信号に変換することが可能であり、３次元形状情報算出部によって、変換後のデジタル信号に基づき前記物体の３次元形状情報を算出することが可能であり、形状情報送信部によって、算出された３次元形状情報を前記画像表示手段に送信することが可能である。
【００１６】
従って、受信した反響波をデジタルデータに変換することが可能であるので、物体の３次元形状情報を、演算により容易に算出することが可能である。
また、請求項５に係る発明は、請求項１乃至請求項４のいずれか１項に記載の３次元情報表示装置において、前記３次元形状情報を記憶する３次元形状情報記憶手段を備えることを特徴としている。
【００１７】
つまり、３次元形状情報記憶手段によって、前記３次元形状情報を記憶することが可能であるので、過去に記憶された３次元形状情報に基づき、過去に乗物周辺にあった物体の３次元形状を表示したり、これらを連続で表示することによりアニメーション表示することなどが可能となる。例えば、この機能によって、障害物などにぶつかってしまったときの状況を３次元の静止画やアニメーション画像表示として後から見ることが可能である。
【００１８】
また、３次元形状情報記憶手段は、上記した、アレイ型超音波センサモジュールに含めた構成にしても良いし、当該モジュールとは別に外部に設ける構成としても良い。
また、請求項６に係る発明は、請求項１乃至請求項５のいずれか１項に記載の３次元情報表示装置において、前記乗物はカーナビゲーションシステムを搭載可能な自動車であり、前記画像表示手段は、前記カーナビゲーションシステムにおける画像表示部であることを特徴としている。
【００１９】
つまり、前記乗物はカーナビゲーションシステムを搭載可能な自動車であり、且つ、前記画像表示手段は、前記カーナビゲーションシステムにおける画像表示部であるので、当該画像表示部に前記３次元形状画像を表示することが可能である。
従って、別途表示装置を必要としないので、その分のコスト低減が可能である。
【００２０】
また、本発明に係る請求項７記載のアレイ型超音波センサモジュールは、請求項１乃至請求項６のいずれか１項に記載の３次元情報表示装置に適用可能なアレイ型超音波センサモジュールであって、
超音波を送受波することが可能な複数の超音波センサをアレイ状に配置して成るアレイ型超音波センサと、当該アレイ型超音波センサが受信した受信波を増幅する増幅部と、当該増幅部において増幅された前記受信波をデジタル信号に変換するＡ／Ｄ変換部と、当該変換後のデジタル信号に基づき前記物体の３次元形状情報を算出する３次元形状情報算出部と、当該算出された３次元形状情報を前記画像表示手段に送信する形状情報送信部と、を備えることを特徴としている。
【００２１】
つまり、アレイ型超音波センサによって、超音波を送受波することが可能であり、増幅部によって、前記アレイ型超音波センサが受信した前記反響波を増幅することが可能であり、Ａ／Ｄ変換部によって、増幅部において増幅された反響波をデジタル信号に変換することが可能であり、３次元形状情報算出部によって、変換後のデジタル信号に基づき前記物体の３次元形状情報を算出することが可能であり、形状情報送信部によって、算出された３次元形状情報を前記画像表示手段に送信することが可能である。
【００２２】
従って、受信した反響波をデジタルデータに変換することが可能であるので、物体の３次元形状情報を、演算により容易に算出することが可能である。
また、本発明に係る請求項８記載の３次元情報表示装置制御プログラムは、請求項１記載の３次元情報表示装置を制御するためのコンピュータが実行可能なプログラムであって、
送信波に対する前記物体からの反響波を利用して、前記物体の３次元形状に係る３次元形状情報を取得する形状情報取得ステップと、当該形状情報取得ステップにおいて取得された前記３次元形状情報に基づき前記物体の３次元形状画像を表示する画像表示ステップと、を備えることを特徴としている。
ここで、本発明は、請求項１記載の３次元情報表示装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１乃至図１１は、本発明に係るアレイ型超音波センサモジュールを、カーナビゲーションシステムを搭載した自動車に適用して構成した３次元情報表示装置の第１の実施の形態を示す図である。
【００２４】
まず、本発明に係る３次元情報表示装置の構成を図１に基づいて説明する。図１は、本発明に係る３次元情報表示装置の構成を示すブロック図である。
３次元情報表示装置１は、アレイ型超音波センサモジュール２と、画像表示部３と、を含んだ構成となっている。
アレイ型超音波センサモジュール２は、複数のアレイ型超音波センサ２０と、パルス生成器２１と、前記複数のアレイ型超音波センサ２０にそれぞれ対応した複数の増幅器２２と、当該複数の増幅器２２にそれぞれ対応した複数のＡ／Ｄ変換器２３と、信号処理部２４と、記憶部２５と、車載ＬＡＮインターフェース部２６と、を含んだ構成となっている。
【００２５】
アレイ型超音波センサ２０は、超音波を送波可能な送波器と超音波を受波可能な受波器とをアレイ状に配置して構成したものである。本実施の形態においては、複数のアレイ型超音波センサ２０を、自動車の前部及び後部にそれぞれ横一列に並べて配設している。なお、アレイ型超音波センサ２０の構成やその配設位置などの詳細な説明は後述する。
【００２６】
パルス生成器２１は、無指向性の超音波球面波パルスを生成して、アレイ型超音波センサ２０の送波器に供給するものである。
増幅器２２は、アレイ型超音波センサ２０の複数の受波器において受波した、超音波球面波パルスの障害物からの反響波を増幅するものである。
Ａ／Ｄ変換器２３は、増幅器２２において増幅された反響波をデジタル信号に変換するためのものである。
【００２７】
信号処理部２４は、Ａ／Ｄ変換器２３から取得した反響波のデジタル信号に基づき、自動車の前方及び後方に障害物が存在するか否かを判別すると共に、障害物が存在する場合に、その３次元形状情報を算出する処理を行うものである。更に、生成された３次元形状情報を、車載ＬＡＮインターフェース部２６を介してカーナビゲーションシステムにおける画像表示部３に伝送する処理も行う。
【００２８】
ここで、３次元形状情報を算出するとあるが、これは、画像表示部３に障害物の３次元形状画像を表示するために当該画像表示部３が処理することのできるＶＲＭＬ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｍｏｄｅｌｉｎｇ  Ｌａｎｇｕａｇｅ）や、ＯＢＪフォーマットなどの汎用３次元プログラミング言語や、標準的なＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）フォーマットに３次元形状情報のデータのフォーマット変換処理を行うことである。
【００２９】
記憶部２５は、受波器によって受波した反響波の振幅値等の３次元形状情報を生成するために必要なデータや、上記算出された３次元形状情報等を格納するものである。
車載ＬＡＮインターフェース部２６は、車載ＬＡＮを通じてアレイ型超音波センサモジュール２と画像表示部３とが互いにデータ通信を行うためのデータ通信用のインターフェースである。
【００３０】
画像表示部３は、公知のカーナビゲーションシステムにおいて、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）衛星との通信によりリアルタイムに計測された自動車の位置を、地図や自動車の画像等によりリアルタイムに表示可能なものである。本実施の形態においては、この画像表示部３に自動車周辺にある障害物の３次元形状画像を表示することになる。
【００３１】
更に、図２乃至図８に基づき、３次元画像表示装置１のより具体的な動作を説明する。ここでは、３次元画像表示装置１により、自動車の前方及び後方に存在する障害物の測定及びその３次元形状画像の表示を行う際の具体的な動作を説明する。図２は、アレイ型超音波センサの配設位置の一例を示す図であり、図３は、アレイ型超音波センサ２０の一構成例を示す図であり、図４は、自動車後部に配設されたアレイ型超音波センサからの超音波の送波の一例を示す図であり、図５は、ボクセルにより形成された立方体を示す図であり、図６は、ボクセルにより障害物検知空間範囲を設定する一例を示す図であり、図７（ａ）は、障害物に超音波が反射する一例を示す図であり、図７（ｂ）は、送波した超音波及びその反響波の一例を示す図であり、図８は、障害物の３次元形状画像の表示例を示す図である。
【００３２】
上記したアレイ型超音波センサ２０は、図２に示すように、自動車５の前部に４つ後部に４つの計８つが、自動車５の前方及び後方にある障害物を測定するのに十分な範囲をカバーできるように、それぞれ横並びに配設されている。また、本実施の形態におけるアレイ型超音波センサ２０は、図３に示すように、中心に超音波の送波専用に送波器２００ａを１つ設け、その周囲に８つの受波専用の受波器２００ｂを設けた構成となっている。従って、送波器２００ａの送波した超音波の反響波を８つの受波器２００ｂによって受波することになる。
【００３３】
一般に、超音波球面波パルスの送受波によって、前方の３次元画像を瞬時に獲得する手法を超音波前方３次元瞬時映像法と呼ぶ。超音波球面波は、所定範囲の計測領域を１度で照射することができるので、１回の送波・受波のみで所定範囲の計測を完了することが可能である。  本実施の形態では、この手法を用いている。つまり、上記したようにパルス生成器２１により無指向性の超音波球面波パルスを生成して、送波器２００ａから送波するようになっており、上記したように８つの受波器２００ｂにより、超音波球面波パルスの障害物からの反響波の受波を行っている。また、このようにすることで、見かけ上は大きな開口のセンサを使用した計測と同等の分解能を実現している（これを開口合成法という）。
【００３４】
次に、超音波による障害物の測定について説明する。まず、図４に示すように、自動車５の後部に設けられたアレイ型超音波センサ２０をそれぞれアレイ型超音波センサ２０ａ〜２０ｄと称す。そして、パルス生成器２１により、これらアレイ型超音波センサ２０ａ〜２０ｄの有する送波器から、図４に示すように、アレイ型超音波センサ２０ａ〜２０ｄのそれぞれに対応する超音波球面波パルス４０ａ〜４０ｄを送波する。これら超音波球面波パルス４０ａ〜４０ｄは、それぞれ図７（ｂ）に示す送波パルスの波形となる。
【００３５】
そして、送波された超音波球面波パルスは、障害物にぶつかると、図７（ａ）に示すように、障害物の形状特徴や存在位置などに応じた反響波となって様々な方向へと反響し、この反響波の一部がアレイ型超音波センサ２０ａ〜２０ｄの受波器によって受波されることになる。なお、各反響波の波形は、図７（ｂ）に示す受波パルスＡ〜Ｃの波形のようなものとなる。
【００３６】
更に、受波された反響波は、増幅器２２において増幅され、この増幅された反響波はＡ／Ｄ変換器２３においてデジタル信号に変換され信号処理部２４へと伝送される。
信号処理部２４では、取得した反響波のデジタル信号強度に基づき障害物が存在するか否かを判定し、存在する場合は、その３次元形状情報を算出する。本実施の形態においては、ボクセルにより、障害物を検知する空間範囲を示す障害物検知空間範囲を設定する。
【００３７】
ここで、ボクセルとは、２次元のピクセルを３次元空間に拡張したもので、図５に示すように、立方体５０を形成する８つの頂点５０ａのことである。本実施の形態における障害物検知空間範囲は、図６に示すように、各格子点にボクセルを有する六面体格子構造（それぞれが近接する８つのボクセル５０ａより成るＮ個の立方体により形成（Ｎは整数））により定義されることになる。ここで、六面体格子構造は、均等な直交格子点構造の各格子上に変数を離散的に定義する手法である。そのため、３次元物体のデータを並列断面列である２次元データから再構成する場合に主に用いられる。
【００３８】
そして、図５に示すデータ５０ｂのように、障害物検知空間範囲内の任意の位置データは補間により計算される（例えば、図９に示すような補間方法がある）。
３次元形状情報の算出は、まず、上記したように、障害物検知空間範囲をボクセルにより六面体格子構造化し、次に、各受波器における反響波の到達時間を算出する。これは、図６に示すように、全ての送波器と障害物検知空間範囲を形成するＮ個の立方体のうち任意の立方体（ｉ番目（ｉ＝１〜Ｎ））と各受波器との組み合わせにより行われる。
【００３９】
そして、到達時間の算出が終了すると、パルス生成器２１により超音波球面波パルスを生成して各送波器より送波する。更に、同一立方体に対応する各受波器によって受波された反響波の強度を加算し、この強度を２５６階調に輝度変調し、これと予め設定された輝度値の閾値との比較を行う。この比較により、輝度値が閾値以上の強度であるときはその立方体が障害物であると判断し、閾値以上の強度でないときはその立方体が障害物ではないと判断する。このようにして、障害物として判断された障害物表面に対応する立方体の情報に基づき、障害物の３次元形状を構成するとともに、この構成されたデータを３次元画像として画像表示部３に表示できるようにそのデータを変換し３次元形状情報を生成する。
【００４０】
つまり、信号処理部２４において、それぞれの受波器で得られた反響波のデジタル信号強度値をもとに開口合成法により障害物検知空間範囲内において、８つのボクセルより成る立方体単位で障害物の存在強度（上記輝度値）を算出し、その立方体単位の障害物存在強度を適切な閾値で２値化することにより、それぞれの領域が障害物であるか否かを判断する。その後、障害物表面の３次元形状情報を生成し、これを車載ＬＡＮインターフェース部２６を通じて画像表示部３に伝送する。
【００４１】
なお、自動車５前方の障害物の３次元形状情報の生成については、上記後方の場合と同様の処理となるので記載を省略する。
一方、画像表示部３では、取得した３次元形状情報に基づき、図８に示すように、自動車５の後方に存在する障害物８０の３次元形状画像と自動車５の後部の画像８１とを合成して表示する。更に、本実施の形態においては、上記した３次元形状画像を表示するときに、図８に示すように、自動車５の画像と障害物８０との距離が解る２次元画像８２を合成して表示することにより、自動車５と障害物８０との正確な位置関係が解るようになっている。
【００４２】
更に、画像表示部３に表示された障害物８０は、記憶部２５にこの３次元形状を構成するための情報を保持しているため、視点の位置を変えて表示する内容を変更することが可能である。従って、ドライバが自由に視点を変更することが可能であり、ドライバの把握しやすい視点で障害物８０の形状を眺めることが可能である。
【００４３】
また、例えば、３次元形状を構成するための情報を、例えば、過去の所定時間ぶん（例えば１０分間ぶん）だけ記憶部２５に記憶しておく。このようにすることで、後から、この過去の情報を３次元画像として表示したり、過去の画像を順番に連続表示することで、障害物に対する自動車５のアニメーション画像や、自動車５に対する障害物のアニメーション画像等を表示したりすることが可能である。
【００４４】
従って、軽い接触事故などの事故が発生した場合に、接触時の状況を、後から表示して見ることなどが可能である。
更に、例えば、車庫入れ時の自動車周辺の障害物情報を記録しておき、後からどの程度壁と自車との距離があったかを確認できるため、車庫入れ時の運転者の感覚的な自車と障害物との距離感と実際の自車と障害物との距離を比較することが可能であり、運転者の運転技術の向上につながる。
【００４５】
更に、図１０に基づき、アレイ型超音波センサモジュール２の動作処理の流れを説明する。図１０は、アレイ型超音波センサモジュール２の動作処理を示すフローチャートである。
図１０に示すように、まずステップＳ１００に移行し、ボクセルにより形成された任意の立方体を選択してステップＳ１０２に移行する。
【００４６】
ステップＳ１０２では、送波器、選択した立方体及び受波器における超音波の到達時間を算出してステップＳ１０４に移行する。
ステップＳ１０４では、パルス生成器２１において無指向性の超音波球面波パルスを生成してアレイ型超音波センサ２０の送波器２００ａから障害物検知空間範囲に向けて送波しステップＳ１０６に移行する。
【００４７】
ステップＳ１０６では、アレイ型超音波センサモジュール２０の受波器２００ｂにおいて、上記送波した超音波球面波パルスに対する反響波を受波したか否かを判定し、受波したと判定された場合（Ｙｅｓ）はステップＳ１０８に移行し、そうでない場合（Ｎｏ）は受波するまで待機する。
ステップＳ１０８に移行した場合は、増幅器２２において、受波器２００ｂによって受波した反響波を増幅してステップＳ１１０に移行する。
【００４８】
ステップＳ１１０では、Ａ／Ｄ変換器２３において、上記増幅された反響波をＡ／Ｄ変換してステップＳ１１２に移行する。
ステップＳ１１２では、信号処理部２４において、サンプリング時間に沿って、上記Ａ／Ｄ変換された反響波の振幅値を記憶部２５に記憶してステップＳ１１４に移行する。
【００４９】
ステップＳ１１４では、信号処理部２４において、障害物検知空間範囲内の全ての立方体について上記ステップＳ１０２〜ステップＳ１１２の処理が終了したか否かを判定し、終了したと判定された場合（Ｙｅｓ）はステップＳ１１６に移行し、そうでない場合（Ｎｏ）はステップＳ１００に移行する。
ステップＳ１１６では、信号処理部２４において、各立方体毎に、当該立方体の到達時間に対応する反響波の振幅値を加算して強度値を算出しステップＳ１１８に移行する。
【００５０】
ステップＳ１１８に移行した場合は、信号処理部２４において、各立方体における上記算出された強度値を２５６階調に輝度変調してステップＳ１２０に移行する。
ステップＳ１２０では、信号処理部２４において、各立方体における上記輝度値と予め設定された閾値とを比較してステップＳ１２２に移行する。
【００５１】
ステップＳ１２２では、信号処理部２４において、上記比較結果に基づき、各立方体毎に、障害物が存在するか否かを判定し、障害物が存在すると判定された場合（Ｙｅｓ）はステップＳ１２４に移行し、そうでない場合（Ｎｏ）は処理を終了する。
ステップＳ１２４では、信号処理部２４において、障害物があると判定された立方体のデータを記憶部２５に記憶してステップＳ１２６に移行する。
【００５２】
ステップＳ１２６に移行した場合は、信号処理部２４において、障害物のある立方体の障害物表面に対応したデータに基づき、障害物の３次元形状を構成するとともに、当該構成されたデータを画像表示部３に表示可能なデータフォーマットにフォーマット変換を行いステップＳ１２８に移行する。
ステップＳ１２８では、信号処理部２４において、フォーマット変換されたデータを車載ＬＡＮインターフェース部２６を介して、画像表示部３に送信して処理を終了する。ここで、本実施の形態においては、自動車５と障害物との正確な距離が視覚的に解るように、図８（ｂ）に示すような、自動車５と障害物との距離を示す画像の情報も画像表示部３に送信するようになっている。
【００５３】
つまり、上記したステップＳ１００〜ステップＳ１２６の処理を所定周期毎に繰り返し行うことで、自動車５周辺の障害物を検出し、その３次元形状情報を生成することが可能である。
更に、図１１に基づき、画像表示部３の動作処理の流れを説明する。図１１は、画像表示部３の動作処理を示すフローチャートである。
【００５４】
図１１に示すように、まずステップＳ２００に移行し、３次元形状情報を受信したか否かを判定し、受信したと判定された場合（Ｙｅｓ）はステップＳ２０２に移行し、そうでない場合（Ｎｏ）は受信するまで待機する。
ステップＳ２０２に移行した場合は、受信した３次元形状情報を解析してステップＳ２０４に移行する。
【００５５】
ステップＳ２０４では、上記解析結果に基づき、３次元形状情報が対応したフォーマットであるか否かを判定し、対応したフォーマットであると判定された場合（Ｙｅｓ）はステップＳ２０６に移行し、そうでない場合（Ｎｏ）はステップＳ２０８に移行する。
ステップＳ２０６に移行した場合は、障害物の３次元形状画像及び自動車５との正確な距離が解る画像の表示処理を行いステップＳ２００に移行する。
【００５６】
一方、ステップＳ２０８に移行した場合は、エラーメッセージを表示してステップＳ２００に移行する。
以上、複数のアレイ型超音波センサ２０により、超音波球面波パルスを送波することにより、自動車５周辺に存在する障害物からの反響波を受波し、この反響波に基づき障害物の３次元形状を構成し、これを３次元形状画像として画像表示部３に表示することが可能である。
【００５７】
更に、図１２に基づき、第２の実施の形態として、アレイ型超音波センサモジュール９を複数用いて３次元情報表示装置１２を構成する例を説明する。図１２は、第２の実施の形態におけるアレイ型超音波センサモジュール９を複数用いて３次元情報表示装置１２を構成する一例を示す図である。
図１２に示すように、３次元情報表示装置１２は、複数のアレイ型超音波センサモジュール９と、カーナビゲーションシステムの有する画像表示部３と、を含んだ構成となっている。
【００５８】
アレイ型超音波センサモジュール９は、一つのアレイ型超音波センサ９０と、パルス生成器９１と、４つの増幅器９２と、４つのＡ／Ｄ変換器９３と、信号処理部９４と、記憶部９５と、車載ＬＡＮインターフェース部９６と、を含んだ構成となっている。
アレイ型超音波センサ９０は、超音波を送波可能な１つの送波器２００ａと超音波を受波可能な４つの受波器２００ｂとを図示したようにアレイ状に配置して構成したものである。
【００５９】
パルス生成器９１は、無指向性の超音波球面波パルスを生成して、アレイ型超音波センサ９０の各送波器２００ｂに供給するものである。
増幅器９２は、対応するアレイ型超音波センサ９０の受波器２００ｂにおいてそれぞれ受波した、超音波球面波パルスの障害物からの反響波を増幅するものである。
【００６０】
Ａ／Ｄ変換器９３は、対応する増幅器９２において増幅された反響波をデジタル信号に変換するためのものである。
信号処理部９４は、Ａ／Ｄ変換器９３から取得した反響波のデジタル信号に基づき、自動車の取り付け位置に対応する方向に障害物が存在するか否かを判別すると共に、障害物が存在する場合に、その３次元形状情報を算出する処理を行うものである。更に、生成された３次元形状情報を、車載ＬＡＮインターフェース部９６を介してカーナビゲーションシステムにおける画像表示部３に伝送する処理も行う。
【００６１】
車載ＬＡＮインターフェース部９６は、上記した車載ＬＡＮインターフェース部２６と同様に、車載ＬＡＮを通じてアレイ型超音波センサモジュール９と画像表示部３とが互いにデータ通信を行うためのデータ通信用のインターフェースである。
ここで、本実施の形態は、上記第１の実施の形態と同様に自動車に搭載されたカーナビゲーションシステムの表示部３を利用して、自動車周辺に存在する障害物の３次元形状画像を前記表示部３に表示するものである。
【００６２】
そして、上記第１の実施の形態との違いは、上記第１の実施の形態においては、複数のアレイ型超音波センサ２０を含んで構成されたアレイ型超音波センサモジュール２を１つ用いて３次元情報表示装置１を構成しているのに対し、本第２の実施の形態においては、１つのアレイ型超音波センサ９０を含んで構成されたアレイ型超音波センサモジュール９を複数用いて３次元情報表示装置１２を構成する点にある。つまり、１つのアレイ型超音波センサによってアレイ型超音波センサモジュールが構成されているという点と、このようなアレイ型超音波センサモジュールを複数用いているという点が異なる。
【００６３】
従って、自動車周辺に存在する障害物からの反響波を取得するための処理や、取得した反響波からボクセルを利用して障害物の３次元形状情報を生成する処理などの表示部３に障害物の３次元形状画像を表示するために必要な処理は、第１の実施の形態における３次元情報表示装置１と同様の方法で行われるので、この部分の記載を省略する。
【００６４】
以上、複数のアレイ型超音波センサ２０により、超音波球面波パルスを送波することにより、自動車５周辺に存在する障害物からの反響波を受波し、この反響波に基づき障害物の３次元形状を構成し、これを３次元形状画像として画像表示部３に表示することが可能である。また、１つのアレイ型超音波センサによって構成されたアレイ型超音波センサモジュールを複数用いてため、どれか一つが壊れても、他のモジュールがカバーすることにより機能を停止し難くすることが可能である。
【００６５】
また、図１３に基づき、第３の実施の形態として、３次元情報表示装置の応用例を説明する。図１３は、３次元情報表示装置とカーナビゲーションシステムとを連動した場合の３次元情報の一表示例を示す図である。
応用例の一つ目として、障害物が計測範囲内で検知された場合に、自動的にカーナビゲーションシステムの画像表示部に障害物の画像を表示するシステムが考えられる。これは、超音波センサによって自動車の周辺に障害物が検出されたときに、例えば、ブザー等の警報音と共に、カーナビゲーションの表示部に障害物の３次元画像を表示するといったものである。
【００６６】
このシステムにおいては、例えば、地図を表示していた場合でも壁に囲まれた車庫などへ車庫入れをするときには、自動的に画面が切り替わり、障害物の３次元画像が表示される。もちろん、障害物を検知した場合に自動的に画面を切り替えるかどうかなどの表示設定はユーザが任意の内容に設定することが可能となるようにして良い。
【００６７】
更に、３次元画像の表示方法としては、図１３に示すように、画面全部を障害物表示するのではなく画面を２分割するなどして、一方は地図をそのまま表示し、他方へ障害物を表示する方法が考えられる。
従って、運転者が操作することなく、自動的に画面を切り替えて障害物の３次元画像を表示することが出来るので、例えば、ある一定の速度以下で走行しているときは上記したように画面を２分割にして自動的に障害物の３次元画像を表示するなど設定をしておくことで、運転者に対して適切に障害物の情報表示を行うことが可能となる。
【００６８】
また、別の応用例として、３次元情報表示装置をカーナビゲーションシステムと連動させた場合に、ハードディスクなどの大容量な外部記憶装置が予め搭載されたカーナビゲーションシステムにおいては、超音波で計測された障害物の３次元形状情報を外部記憶装置の空き領域に逐次保存しておくことで、過去のデータを外部記憶装置から呼び出し、カーナビゲーションシステムの画像表示部にて後日に確認することなどが可能である。つまり、アレイ型超音波センサモジュールの記憶部の容量だけじゃなく、カーナビゲーションシステムにおける記憶装置を併用することにより、通常より過去のデータを保持することが可能となる。また、アレイ型超音波センサモジュールに記憶保持用の記憶部を設けず、カーナビゲーションシステムの記憶装置をデータの保持に利用する構成も考えられる。こうすることで、アレイ型超音波センサモジュールのコストを下げることが可能となる。
【００６９】
ここで、図１に示す、アレイ型超音波センサ２０は、請求項１、３及び４記載のアレイ型超音波センサに対応し、アレイ型超音波センサモジュール２は、請求項７記載のアレイ型超音波センサモジュールに対応し、画像表示部３は、請求項２及び請求項６記載の画像表示手段に対応し、図１２に示す、アレイ型超音波センサ９０は、アレイ型超音波センサモジュール９は、請求項１、３及び４記載のアレイ型超音波センサに対応し、アレイ型超音波センサモジュール９は、請求項７記載のアレイ型超音波センサモジュールに対応する。
【００７０】
なお、上記実施の形態においては、アレイ型超音波センサ２０を、１つの送波器と８つの受波器から構成しているが、これに限らず、それぞれを任意の数の組み合わせで構成しても良いし、送波器及び受波器を、全て超音波を送受波可能な送受波器により構成するなど、どのような組み合わせで構成しても良い。
また、上記実施の形態においては、カーナビゲーションシステムにおける画像表示部を利用して障害物の３次元形状画像を表示するようにしているが、これに限らず、カーナビゲーションシステム以外の画像表示部を利用する構成や、専用の表示装置による構成であっても良い。
【００７１】
また、上記実施の形態においては、アレイ型超音波センサモジュール２の信号処理部２４において、３次元形状画像の構成化や画像表示部３で表示可能なフォーマットへのデータ変換処理を行うようにしているが、これに限らず、アレイ型超音波センサモジュール２とは別に制御装置等を設けて、その制御装置等において３次元形状画像の構成化や画像表示部３で表示可能なフォーマットへのデータ変換処理を行うようにしても良い。
【００７２】
また、上記実施の形態においては、アレイ型超音波センサ２０を自動車の前方及び後方にのみ配設しているが、これに限らず、自動車の横側に配設するなど、他の場所に配設してその方向にある障害物に対応させるようにしても良い。
また、上記実施の形態においては、本発明に係る３次元情報表示装置を自動車に適用しているが、これに限らず、船舶など他の乗物に適用しても良い。
【００７３】
【発明の効果】
以上説明したように、本発明に係る３次元情報表示装置は、超音波の送受波が可能な複数の超音波センサから成るアレイ型超音波センサから構成されるため、障害物の３次元形状を観測することができ、更に、カーナビゲーションシステムと連携させることで新たな表示器を追加することなく低コストで障害物の３次元形状画像を表示することが可能である。
ここで、アレイ型超音波センサモジュールは、上記した３次元情報表示装置に適用可能なものであり、その効果は重複するので記載を省略する。
また、３次元情報表示装置制御プログラムは、上記した３次元情報表示装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【図面の簡単な説明】
【図１】本発明に係る３次元情報表示装置の構成を示すブロック図である。
【図２】アレイ型超音波センサの配設位置の一例を示す図である。
【図３】アレイ型超音波センサ２０の一構成例を示す図である。
【図４】自動車後部に配設されたアレイ型超音波センサからの超音波の送波の一例を示す図である。
【図５】ボクセルにより形成された立方体を示す図である。
【図６】ボクセルにより障害物検知空間範囲を設定する一例を示す図である。
【図７】（ａ）は、障害物に超音波が反射する一例を示す図であり、（ｂ）は、送波した超音波及びその反響波の一例を示す図である。
【図８】障害物の３次元形状画像の表示例を示す図である。
【図９】補間方法の一例を示す図である。
【図１０】アレイ型超音波センサモジュール２の動作処理を示すフローチャートである。
【図１１】画像表示部３の動作処理を示すフローチャートである。
【図１２】第２の実施の形態におけるアレイ型超音波センサモジュール９を複数用いて３次元情報表示装置１２を構成する一例を示す図である。
【図１３】３次元情報表示装置とカーナビゲーションシステムとを連動した場合の３次元情報の一表示例を示す図である。
【符号の説明】
１                ３次元情報表示装置
２                アレイ型超音波センサモジュール
３                画像表示部
２０              アレイ型超音波センサ
２１              パルス生成器
２２              増幅器
２３              Ａ／Ｄ変換器
２４              信号処理部
２５              記憶部
２６              車載ＬＡＮインターフェース部
【図１】
2004354170.tif 000003
【図２】
2004354170.tif 000004
【図３】
2004354170.tif 000005
【図４】
2004354170.tif 000006
【図５】
2004354170.tif 000007
【図６】
2004354170.tif 000008
【図７】
2004354170.tif 000009
【図８】
2004354170.tif 000010
【図９】
2004354170.tif 000011
【図１０】
2004354170.tif 000012
【図１１】
2004354170.tif 000013
【図１２】
2004354170.tif 000014
【図１３】
2004354170.tif 000015