(57)【要約】【課題】自車両から見て死角となる位置に潜む他車両や歩行者に対するドライバーの認識を早める画像受信表示装置を提供する。【解決手段】路上など、自車両外に設置されたカメラを用いて撮像された映像と、当該映像に係る撮像パラメータを受信し、当該映像パラメータに基づいて前記映像を幾何変換して自車両外の所定位置から見た場合の映像に変換し、ドライバーに対して表示部に表示する。前記変換後の映像に対して画像認識を行って所定の物体を抽出し、当該物体を例えばアイコンに置換えて表示する。或いは、当該アイコンを車両のある位置の地図データと合成して表示する。或いは、前記所定位置と前記車両の間の距離に応じて、前記幾何変換後の映像と前記地図データを選択して表示する。【選択図】図１
2013200819.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得た画像の画像データと、当該画像が撮像された際の状況を示す撮像パラメータを受信して、前記画像データに基づく画像を表示する画像受信表示装置であって、
前記画像データと前記撮像パラメータとを受信する受信部と、
当該受信部が受信した画像データを供給され、当該画像データに対し幾何変換を含む画像処理を施して出力する幾何変換部と、
当該幾何変換部が出力した画像データに基づく画像を表示する表示部と、
前記受信部が受信した撮像パラメータを供給され、当該撮像パラメータに基づき前記幾何変換を含む画像処理を行うよう前記画像処理部を制御する受信制御部と
を有することを特徴とする画像受信表示装置。
【請求項２】
被写体を撮像して得た画像の画像データと、当該画像が撮像された際の状況を示す撮像パラメータを受信して、前記画像データに基づく画像を表示する画像受信表示装置であって、
前記画像データと前記撮像パラメータとを受信する受信部と、
当該受信部が受信した画像データを供給され、当該画像データに対し幾何変換を含む画像処理を施して出力する幾何変換部と、
当該幾何変換部が出力した画像データを供給され、当該画像データに基づき前記被写体から所定の被写体を検出し、当該検出された被写体の種類に応じたシンボル画像データを出力する画像認識部と、
前記幾何変換部が出力した画像データと前記画像認識部が出力したシンボル画像データとを供給され、双方を合成した合成画像データを出力する画像合成部と、
当該画像合成部が出力した合成画像データに基づく画像を表示する表示部と、
前記受信部が受信した撮像パラメータを供給され、当該撮像パラメータに基づき前記幾何変換を含む画像処理を行うよう前記幾何変換部を制御する受信制御部と
を有することを特徴とする画像受信表示装置。
【請求項３】
被写体を撮像して得た画像の画像データと、当該画像が撮像された際の状況を示す撮像パラメータを受信して、前記画像データに基づく画像を表示する画像受信表示装置であって、
前記画像データと前記撮像パラメータとを受信する受信部と、
当該受信部が受信した画像データを供給され、当該画像データに対し幾何変換を含む画像処理を施して出力する幾何変換部と、
当該幾何変換部が出力した画像データを供給され、当該画像データに基づき前記被写体から所定の被写体を検出し、当該検出された被写体の種類に応じたシンボル画像データを出力する画像認識部と、
前記画像受信表示装置の周辺における地図データを生成して出力する地図データ出力部と、
前記画像認識部が出力したシンボル画像データと、前記地図データ出力部が出力した地図データとを供給され、双方を合成した合成画像データを出力する画像合成部と、
当該画像合成部が出力した合成画像データに基づく画像を表示する表示部と、
前記受信部が受信した撮像パラメータを供給され、当該撮像パラメータに基づき前記幾何変換を含む画像処理を行うよう前記幾何変換部を制御する受信制御部と
を有することを特徴とする画像受信表示装置。
【請求項４】
請求項１乃至請求項３のいずれかに記載の画像受信表示装置において、
当該画像受信表示装置自身の位置と方向に係る情報を検出して出力する、位置と方向の出力部を備え、
前記撮像パラメータは、前記画像データが撮像された際の位置と方向に係る情報を含んでおり、
前記受信制御部は、前記画像データが撮像された際の位置と方向に係る情報と、前記画像受信表示装置が備える位置と方向の出力部から出力された位置と方向の情報との双方の情報に基づき、前記幾何変換部を制御することを特徴とする画像受信表示装置。
【請求項５】
請求項２に記載の画像受信表示装置において、
前記画像受信表示装置の周辺における地図データを生成して出力する地図データ出力部と、
前記画像受信表示装置自身の位置と方向に係る情報を検出して出力する、位置と方向の出力部と、を備え、
前記撮像パラメータは、前記画像データが撮像された際の位置と方向に係る情報を含んでおり、
前記受信制御部は、前記画像データが撮像された際の位置と方向に係る情報と、前記画像受信表示装置が備える位置と方向の出力部から出力された位置と方向の情報との、双方の情報に基づいて前記画像データが撮像された位置と前記画像受信装置の位置との相対的な位置を検出し、当該相対的な位置に応じて前記画像合成部が出力する合成画像データを選択する選択制御信号を生成し、
前記画像合成部は、前記選択制御信号に応じて、前記幾何変換部が出力した画像処理を施された画像データと前記画像認識部が出力したシンボル画像データとを合成した第１の合成画像データと、前記地図データ出力部が出力した地図データと前記画像認識部が出力したシンボル画像データとを合成した第２の合成画像データとのいずれかを選択して、前記表示部に出力する
ことを特徴とする画像受信表示装置。
【請求項６】
請求項１乃至請求項５のいずれかに記載の画像受信表示装置において、
当該画像受信装置は移動体に搭載される画像受信装置であり、前記受信部は前記画像データと前記撮像パラメータとを無線通信路を介して受信することを特徴とする画像受信表示装置。
【請求項７】
請求項１乃至請求項５のいずれかに記載の画像受信表示装置において、
前記撮像パラメータは、前記受信部が受信した画像データが有する光学的な画像の歪みを表す情報を含んでおり、
前記受信制御部は、当該情報に基づき、前記幾何変換部を制御することを特徴とする画像受信表示装置。
【請求項８】
請求項４に記載の画像受信表示装置において、
前記受信制御部は、前記受信部が受信した画像データを、前記画像受信装置の位置とは異なる位置の仮想視点より前記画像受信装置の位置とは異なる位置に仮想的に設けられた仮想ミラーを見た場合の画像データに変換するよう、前記幾何変換部を制御することを特徴とする画像受信表示装置。
【請求項９】
請求項４に記載の画像受信表示装置において、
前記受信制御部は、前記受信部が受信した画像データを、前記画像受信装置の位置とは異なる位置の仮想視点より地上の方向を見下ろした場合の画像データに変換するよう、前記幾何変換部を制御することを特徴とする画像受信表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像受信表示装置に係り、特に、自車両が近づく前から死角の状況をドライバーに画像表示する画像受信表示装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特許文献１がある。該公報には、『車両前方の画像を撮像する撮像手段と、前記撮像手段で撮像された画像を、カーブミラーの湾曲形状に対応させて画像処理を行う画像処理手段と、前記画像処理手段が画像処理した画像を、カーブミラーを模した図形中のミラー部分に表示する表示手段と、を備えることを特徴とする表示制御装置』と記載されている（請求項１参照）。ここで「撮像手段」については、該公報の実施例には、『車体に取り付けられた撮像手段としてのカメラ』（段落００１９参照）と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３２１２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の運転においては、自車両から見て死角に当たる位置に潜む他車両や歩行者の認識が遅れるために事故が発生することがあり、例えば見通しの悪い交差点などで事故が発生しやすくなっている。
特許文献１では、自車両の車体（特に最前部）にカメラを設置することになるので、例えば見通しの悪い交差点では、車体が交差点に差し掛かる程度まで自車両を進めなければ、交差点の左右の状況をカメラで撮像することができず、認識が遅れる。
そこで、本発明の実施例では、自車両が近づく前から死角の状況をドライバーに画像表示する画像受信表示装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
【発明の効果】
【０００６】
本発明によれば、自車両が近づく前から死角の状況をドライバーに画像表示する画像受信表示装置を提供でき、事故防止に貢献できるという効果がある。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施例１における車両用画像送受信システムの構成図。
【図２】本発明の実施例１における車両用画像送受信システムの形態の例を示す図。
【図３】従来のカーブミラーを用いて死角を写した場合の交差点周辺の位置関係の例を示す図。
【図４】本発明の実施例１における交差点周辺の位置関係の例を示す図。
【図５】本発明の実施例１における受信された画像データの幾何変換前の座標を示す図。
【図６】本発明の実施例１における受信された画像データの幾何変換後の座標を示す図。
【図７】本発明の実施例１における出力画像の例を示す図。
【図８】本発明の実施例２における交差点周辺の位置関係の例を示す図。
【図９】本発明の実施例２における受信された画像データの幾何変換前の座標を示す図。
【図１０】本発明の実施例２における受信された画像データの幾何変換後の座標を示す図。
【図１１】本発明の実施例２における出力画像の例を示す図。
【図１２】本発明の実施例３における車両用画像送受信システムの構成図。
【図１３】本発明の実施例３における出力画像の例を示す図。
【図１４】本発明の実施例４における車両用画像送受信システムの構成図。
【図１５】本発明の実施例４における出力画像の例を示す図。
【図１６】本発明の実施例５における車両用画像送受信システムの構成図。
【図１７】本発明の実施例３における出力画像の図７とは異なる例を示す図。
【図１８】本発明の実施例３における出力画像の図７、図１７とは異なる例を示す図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態につき図面を用いて説明する。
【実施例１】
【０００９】
以下、本発明における実施例１について詳細に説明する。
図１は、本発明の実施例１における車両用画像送受信システム１００を示す構成図である。
車両用画像送受信システム１００は、画像撮像送信装置１１０と、画像受信表示装置１２０を有する。
【００１０】
画像撮像送信装置１１０は、路上または他車両など、自車両以外の場所に設置された装置で、周辺の画像を広角撮像した画像データと、その画像データが撮像された時の状況を示す撮像パラメータというデータを、画像受信表示装置１２０に無線伝送する装置である。撮像パラメータについては、後に詳しく説明する。
画像撮像送信装置１１０は、光学系部１１１、イメージセンサ部１１２、信号処理部１１４、画像圧縮部１１５、位置・向き出力部１１８、送信制御部１１６、送信部１１７を有する。
【００１１】
光学系部１１１は、装置周辺の広角な範囲の光学像がイメージセンサ部１１２のセンサ面に結像されるように構成された光学系である。光学系部１１１の実際の構成としては、例えば光学系に魚眼レンズを含ませて広角な範囲の光学像を結像させる構成をとることができる。この構成の場合には、カメラの光軸に近い部分（中央部分）では歪が少なく、周辺ほど歪が大きい光学像が得られる。光学像の歪みの程度は、光学系部１１１全体の光学特性によって決定される。本実施例においては、魚眼レンズを用いた構成の場合を例に説明するが、光学系部１１１がどのような構成であっても、本実施例の手法を適用できる。
【００１２】
イメージセンサ部１１２は、光学系部１１１によって結像された光学像を光電変換し、Ａ／Ｄ変換してデジタルデータである画像データとして信号処理部１１４に出力する。前記光学系部１１１によって生じた光学像の歪みは、出力される画像データに画像の歪みとして継承される。
信号処理部１１４は、画像データに、必要に応じて黒レベル補正、ホワイトバランス補正、デモザイキング、ガンマ補正などの一連の処理をして、生成された画像データを画像圧縮部１１５に出力する。
画像圧縮部１１５は、画像データを画像圧縮して、送信部１１７に出力する。
【００１３】
位置・向き出力部１１８は、画像撮像送信装置１１０が設置された位置と方向を示す情報を、送信制御部１１６に出力する。位置と方向の確認方法はどのようなものであっても良いが、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を用いて位置を検出する方法、磁気センサによって方位を検出する方法、信号処理部１１４の出力画像データから画像認識によって求める方法、設置時に手動で入力する方法などを用いることができるが、上記以外の方法でもよい。
送信制御部１１６は、光学系部１１１の光学特性に関する情報を光学系部１１１から受け取り、また画像撮像送信装置１１０が設置された位置と方向を示す情報を位置・向き出力部１１８から受け取り、双方を撮像されたときの状況を示す撮像パラメータと呼ばれるデータとして、送信部１１７に出力する。
送信部１１７は、画像圧縮部１１５から出力された画像データと、送信制御部１１６から出力された撮像パラメータを無線送信する。
【００１４】
送信画像処理部１１３は、信号処理部１１４、画像圧縮部１１５を有する。一般的には、無線伝送に必要な帯域を節約できるので、送信前に画像圧縮を行うが、回路の簡単化などのために画像圧縮を行わない場合も考えられる。その場合には、送信画像処理部１１３の構成要素から画像圧縮部１１５を削除して、信号処理部１１４の出力をそのまま送信部１１７に出力する構成とすることもできる。この場合は圧縮部のコストを節約できる。また、送信画像処理部１１３の内部に、画像認識などその他の画像処理を施す要素を追加した構成としてもよい。また、信号処理部１１４の内部に、画像データの歪を軽減するような幾何変換処理を施す要素を追加した構成としてもよい。信号処理部１１４の内部に画像の歪みを変化させる幾何変換処理を適用した場合には、送信される画像データの歪みの程度を表すように、前記撮像パラメータ内に記述される画像の歪みの程度を表す情報を、送信制御部１１６内部で適宜補正して送信するようにする。
【００１５】
画像受信表示装置１２０は、自車両に設置された装置で、画像撮像送信装置１１０から無線伝送された画像データに、同じく無線伝送された撮像パラメータに基づく画像処理を施して、ドライバーに対して画像表示する装置である。
画像受信表示装置１２０は、受信部１２１、画像復号部１２３、幾何変換部１２４、受信制御部１２５、表示部１２６、位置・向き出力部１２７を有する。
受信部１２１は、画像撮像送信装置１１０から無線伝送された画像データを画像復号部１２３に出力する。また、受信部１２１は、画像撮像送信装置１１０から無線伝送された撮像パラメータを受信制御部１２５に出力する。
画像復号部１２３は、受信部１２１から出力された画像データを復号して幾何変換部１２４に出力する。
【００１６】
位置・向き出力部１２７は、画像受信表示装置１２０の位置と方向、もしくはその位置と方向から推定される自車両のドライバーの乗車位置と方向を示す情報を、受信制御部１２５に出力する。位置、向きの確認方法はどのようなものであっても良く、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を用いて位置を検出する方法、加速度センサを用いて位置の変化を検出する方法、磁気センサによって方位を検出する方法などを用いることができるが、上記の方法以外でもよい。
受信制御部１２５は、受信部から出力された撮像パラメータを、幾何変換部１２４に出力する。
幾何変換部１２４は、受信制御部１２５から出力された撮像パラメータと、位置・向き出力部１２７から出力された前記位置と方向に基づいた幾何変換処理を実施して、所望の幾何特性を持った映像を作り出して、表示部１２６に出力する。
表示部１２６は、幾何変換部１２４から出力された画像データに基づく画像を表示する。
【００１７】
受信画像処理部１２２は、例えば画像復号部１２３、幾何変換部１２４を有する。一般的には、無線伝送の帯域を節約できるので、送信前に画像圧縮を行うが、回路の簡単化などのために画像圧縮を行わない場合も考えられる。その場合には、受信画像処理部１２２から画像復号部１２３を削除して、受信部１２１の出力をそのまま幾何変換部１２４に出力する構成とすることもできる。この場合は画像復号部１２３の回路コストを抑えるとともに、圧縮画像を復号した場合の画質劣化を防ぐことができる。また、受信画像処理部１２２の内部に、画像認識などその他の画像処理を施す要素を追加した構成としてもよい。また、受信画像処理部１２２の内部に、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）のための表示画面を重畳するための要素を追加した構成としてもよい。
【００１８】
以上、図１を用いて説明した通り、画像撮像送信装置１１０は、画像データと共に撮像パラメータというデータを送信し、画像受信表示装置１２０は、撮像パラメータに基づいて画像データに幾何変換処理を適用する。画像受信表示装置１２０では、この撮像パラメータを幾何変換処理に活用することによって、画像撮像送信装置１１０によって生じる画像の歪みを処理して、任意の望ましい映像を表示することができるようになる。
【００１９】
図２は、車両用画像送受信システム１００の形態の例を示す図である。この図は、自車両２０２が交差点に進入しようと前進している時の様子を、自車両の後方から見た図である。この図では、図１で示した画像撮像送信装置１１０は例えば路上に固定されており、図１で示した画像受信表示装置１２０は、自車両２０２に搭載されている。
この図では、画像撮像送信装置１１０は、信号機２０１に対して支柱２００を共有する形で、高い位置に設置されている。このような高い位置から広角の映像を撮像することで、交差点周辺の状況を広い範囲で撮影することができるようになる。画像撮像送信装置１１０は、建築物に固定されていたり、自車両以外の車両に設置されていたり、飛行機に搭載されているなど、図２で示す以外の場所に設置されていても良い。
【００２０】
画像受信表示装置１２０は自車両２０２に搭載されるが、特に表示部１２６は、ドライバーにとって見やすい位置に設置される。表示部１２６は、例えば車載カーナビゲーションシステムなど他の車載機器のディスプレイと共有される形態や、フロントガラスの一部に投影される形態など、どのように設置されても良い。
以上説明したように、図１の車両用画像送受信システム１００は、図２のような形態で、例えば路上及び車両に別れて設置される。本実施例においては、画像撮像装置１１０でドライバーの死角の状況を含んだ映像を撮像し、その映像を画像受信表示装置１２０で、ドライバーにとって見やすいように加工して表示することができる。このため、ドライバーは死角の状況を把握しやすくなり、事故を未然に防止できる。
次項からは、具体的に見通しの悪い交差点を例に示し、死角の状況を確認する手法に関し、従来の手法の課題と本実施例の優位性について説明する。
【００２１】
図３は、カーブミラーを見通しの悪い交差点に設置することで、自車両から死角の状況を確認するという従来の手法の例を示す図である。本図では、自車両２０２が前進して、交差点に進入する直前を示している。歩行者３０３や他車両３０４は、自車両２０２のドライバーから見て、ビル（障害物）３０１、３０２の死角の位置にあたるとする。もし自車両の進行方向の信号３０５が青色であったとしても、歩行者３０３が無理な横断をする場合があり、他車両３０４が信号を見落として直進してくる場合があるなど、危険な状況に巻き込まれる可能性がある。しかし、死角で発生している危険な状況を、自車両２０２のドライバーが予め肉眼で危険を認識することはできない。
【００２２】
このような状況をドライバーに見せるための従来の方法として、例えばカーブミラー３１０を設置する方法がある。しかし、図３のようにカーブミラー３１０と自車両２０２が離れている状況では、自車両２０２のドライバーから、カーブミラー３１０越しに見える交差点の状況は小さく写るため、ドライバーが死角の状況を認識するのは難しい。また、カーブミラー３１０の設置位置に関しても、当然、サイズや位置や角度など物理的な制約があるため、ドライバーから視認しやすい位置を自由に選んで配置することはできない。
また、特許文献１の手法であっても、自車両２０２の、特に最前部にカメラを設置することになるので、車体が交差点に差し掛かる程度まで自車両を進めなければ、交差点の左右の状況をカメラで撮像することができず、認識が遅れるという問題がある。
【００２３】
図４は、本実施例の手法を用いた場合の死角の視認方法の例を示す図である。図３の場合と同じ条件で、交差点の付近に自車両２０２、歩行者３０３、他車両３０４、ビル（障害物）３０１、３０２が存在している。また、図４では、自車両の進行方向の信号３０５に対し、図２の信号機２０１に対すると同様に画像撮像送信装置１１０が搭載され、自車両２０２に図２と同様に画像受信表示装置１２０が搭載されている。本実施例においては、画像撮像送信装置１１０で撮像した画像データを元に、画像受信表示装置１２０において、死角の状況をドライバーに視認しやすい形に幾何変換して提供する。
まず、図４において、画像撮像送信装置１１０は、高所に設置された広角のカメラであるとして、自車両２０２、歩行者３０３、他車両３０４、ビル（障害物）３０１、３０２を、すべて撮像できる画角で設置されているとする。つまり、画像撮像送信装置１１０で撮像した画像データには、自車両２０２のドライバーにとっての死角に関する情報が含まれている。
【００２４】
画像撮像送信装置１１０で撮像した映像を、ドライバーにとって死角の状況を確認しやすい映像に変換するために、本実施例においては、まず仮想ミラー４０６と仮想視点４０５を定義する。仮想ミラー４０６とは、所定の曲率を持った仮想的なカーブミラーで、それが例えば、図４に示す位置で車道上に設置されていると想定する。この仮想ミラー４０６の曲率、位置、方向、大きさは任意に設定できる。仮想視点４０５とは、仮想ミラー４０６に映った像を撮像する仮想的なカメラで、それが例えば図４に示す位置に設置されていると想定する。仮想視点４０５の位置は、任意に設定できるが、方向に関しては、仮想ミラー４０６の方向を向いているとする。本実施例では、仮想視点４０５及び仮想ミラー４０６を想定し、仮想光軸４０７に示すように歩行者３０３、他車両３０４を含む広角の周囲の状況をドライバーが認識できるようにする。このために、仮想ミラー４０６で反射されて仮想視点４０５で撮像された画像を、ドライバーに対し交差点の死角を未だ直視できない時点において、画像受信表示装置１２０（図１あるいは図２）の表示部１２６（図１）に表示するものである。
【００２５】
本実施例では、画像撮像送信装置１１０で撮像された実際の画像データに、画像受信表示装置１２０の幾何変換部１２４において幾何変換処理を施し、このような仮想視点４０５で撮像された映像と幾何学的に対応する画像データを作り出して表示する。図４の例では、仮想視点４０５は、自車両２０２の進行方向に位置し、自車両２０２の進行方向を映し出す向きで存在しているので、自車両が仮想視点４０５の地点に差し掛かった際に仮想ミラー４０６を見た場合に、ドライバー席から見える風景を表示していることになり、ドライバーにとって位置関係を把握しやすい。また、自車両２０２よりも交差点に近い位置を視点とすることができるので、死角の状況を、予め大きな映像で確認することができる。そのため、事故を未然に防ぐことができるようになる。
【００２６】
図４に示した仮想視点４０５から見た映像は、画像撮像送信装置１１０で撮像された画像データに基づき、画像受信表示装置１２０における幾何変換処理を介したうえで、表示部１２６に表示される。
以下、図４の場合の幾何変換処理の例について図５、図６を用いて説明する。
図５は、図４の状況で撮像された、幾何変換前の画像の座標の例を示している。イメージセンサ部の出力画像範囲５０１は、図１のイメージセンサ部１１２から出力される画像の範囲を示している。本図の例では、光学系部１１１が魚眼レンズを含む構成となっており、図４の場合と同様に、画像撮像送信装置１１０が、信号機程度の高い位置で、光軸が鉛直下を向くように設置されている場合を想定している。図中の破線は、仮に地面の高さに東西、南北方向にメッシュ状の格子線が引かれていた場合に撮像される線を示しており、画像の歪みの程度を表している。光学系部１１１に魚眼レンズを使用しているので、図のように周辺部ほど画像が歪んでいる。本図の例の場合には、イメージセンサ部の出力画像５０１のＸ−Ｙ軸は、それぞれ（＋Ｘ）が北、（―Ｘ）が南、（＋Ｙ）が東、（−Ｙ）が西の向きに合うように合わせてある。
【００２７】
イメージセンサ部の出力画像範囲５０１のうち、図４の仮想視点４０５から、仮想ミラー４０６を通じて見える範囲を幾何変換処理の対象とする。図４の位置関係では、仮想ミラー４０６は、画像撮像送信装置１１０から見てやや北東の方角に位置している。また、仮想視点４０５は、仮想ミラーの位置から見て東の方角に位置している。そのため、仮想ミラー４０６を介して仮想視点４０５から撮像できる範囲は、仮想光軸４０７によって示されるように、画像撮像送信装置１１０から見て南側、東側、北側の方角に広く分布しており、その光軸中心はやや北寄りとなっている。このような範囲の像は、図５の画像データ上において５０４で示される範囲（幾何変換処理範囲；図中に太線で示す）となる。ここで、幾何変換処理範囲５０４の四つの端点を、Ａ点５０５、Ｂ点５０６、Ｃ点５０７、Ｄ点５０８とする。
【００２８】
図６は、本図は、図５の幾何変換処理範囲５０４内の画素が、幾何変換処理によって、図６の幾何変換処理範囲５０４に写像された場合の、幾何変換後の画像の座標の例を示す。図６では、座標はＸ２−Ｙ２軸で表され、仮想視点の座標５０３を中央部として、仮想カメラの下方向が（＋Ｙ２）、上方向が（−Ｙ２）、右方向が（＋Ｘ２）、左方向が（−Ｘ２）と一致する。幾何変換処理範囲５０４と重なるようにして、表示部に対する出力画像範囲６００（図中に太い破線で示す）を定義する。
図５のＡ点５０５、Ｂ点５０６、Ｃ点５０７、Ｄ点５０８は、図６のＡ点５０５、Ｂ点５０６、Ｃ点５０７、Ｄ点５０８に写像される。図５で、Ｃ点５０７及びＤ点５０８は、Ａ点５０５及びＢ点５０６よりも東の方角に存在している。東寄りに存在する物体から来る光軸は、仮想ミラー４０６で反射されて、仮想カメラ４０６に対して、上寄りの方向から入るため、図６では、Ｃ点５０７及びＤ点５０８は、Ａ点５０５及びＢ点５０６よりも、画像の上方向に写像される。
また、図５で、Ａ点５０５及びＣ点５０７は、Ｂ点５０６及びＤ点５０８よりも南側の位置に存在している。図４で、仮想カメラ４０５の左方向が南、右方向が北に相当するため、図６では、Ａ点５０５及びＣ点５０７は、Ｂ点５０６及びＤ点５０８よりも南側に写像される。
【００２９】
図７は、表示部の出力画像７００の例である。この画像は、図６のように表示部の出力画像範囲６００に写像された画素が、画像データとして図１の表示部１２６で表示された場合に写る映像の例を示している。図４で、死角の位置に存在していた歩行者３０３及び他車両３０４が、図７においては大きく表示されている。また、自車両２０２のように、図４の仮想ミラー４０６から遠い位置に存在する物体は小さく見える。
また、現実のカーブミラーは、湾曲することで広角の範囲を一度に映し出せるように設計されている。これと同様に、仮想ミラー４０６も所定の曲率で湾曲しており、特に周辺部にあえて歪を加えることで広角の範囲を表示できるようにしている。このような仮想画像を自車両２０２のドライバーに表示することによって、死角の状況を、死角のすぐ近くから撮像された画像として、予めドライバーが確認することができるので、事故を未然に防ぐことができる。
【００３０】
図５のイメージセンサ部の出力画像範囲５０１から、図６の表示部の出力画像範囲６００へ写像する変換は、幾何変換部１２４において実施される。このような変換について、数式を用いて以下に説明する。
画像撮像送信装置１１０のイメージセンサ部１１２で撮像された画像データ上の座標を図５に示されるように（Ｘ，Ｙ）、画像受信表示装置１２０の表示部１２６へ出力される画像データ上の座標を図６に示されるように（Ｘ２，Ｙ２）とすると、幾何変換部１２４における幾何変換処理fａｌｌは、f１からf５の５種類の幾何変換処理を総合した処理となっており、それらは（数式１）に示す関係となる。
(Ｘ２，Ｙ２)＝fａｌｌ(Ｘ，Ｙ)＝f５f４f３f２f１(Ｘ，Ｙ)    ・・・（数式１）
ただし、
f１；光学系部の光学特性によって生じた画像の歪みを補正して、歪みのない画像にする、もしくは歪みが軽減された画像にするための非線形変換処理。
f２；画像撮像送信装置１１０の位置及び方向の変化によって生じる視点の移動及び回転を除去するための移動及び回転変換処理。
f３；仮想ミラー４０６によって生じる鏡面反転変換処理。
f４；所定の曲率を備えた仮想ミラー４０６の歪みを再現し、広角な領域を表示するためにあえて歪みを加える非線形変換処理。
f５；仮想視点４０５の位置、方向から見た映像に変換するための、移動及び回転変換処理。
【００３１】
（数式１）の幾何変換処理のうちf３とf４とf５は、表示したい視点の位置、向き、表示する際の画像の歪みに係るので、図１の受信制御部１２５の内部で任意に指定することができる。一方でf１とf２は、画像撮像送信装置１１０の光学特性及び設置位置及び方向によって決定される項目である。幾何変換部１２４は、画像受信表示装置１２０に含まれているので、f１とf２に関しては、画像受信表示装置１２０内に存在する情報だけではパラメータ（変数）を確定させることができない。
そこで、本実施例においては、f１とf２の数式、もしくはそれらの数式を構成するパラメータに関して、撮像パラメータとして、画像撮像送信装置１１０から画像受信表示装置１２０へ無線伝送することを特徴としている。このようにすることで、幾何変換部１２４で実施する幾何変換処理の数式を確定させることができ、適切な歪補正処理を実施することができるようになる。そのため、ドライバーの死角に当たる部分の状況を、視認しやすい形で表示することができ、事故を防止することができる。
【００３２】
本実施例においては、f1からf５の５種類の幾何変換処理を総合した幾何変換処理を例に説明したが、実際にはどのような非線形変換であってもよく、幾何変換処理の順序を入れ替え、幾何変換処理の一部を取り除き、或いは、別の幾何変換処理を加えても良い。例えば、図１の信号処理部１１４内で、画像の歪を軽減し、或いは、位置や方向のずれを正規化するために、f１もしくはf２の幾何変換処理の一部を実施しても良い。その場合には、撮像された際の光学特性、位置、方向の情報については、送信される画像データに合うように送信制御部１１６において修正したものを、撮像パラメータとして送信する。
【実施例２】
【００３３】
以下、本発明における実施例２について詳細に説明する。
実施例２においても、実施例１と同様に、自車両２０２が見通しの悪い交差点に進入しようとしている場合に、ドライバーの死角の映像を予め、視認しやすいように表示することを課題とする。実施例２では、構成及び形態についても実施例１と同様であり、構成については、実施例１の図１の車両用画像送受信システム１００と同様であり、また形態については、実施例１の図２と同様となる。手段としては、実施例１の場合と同様に、画像撮像送信装置１１０で撮像した画像データに対して、画像受信表示装置１２０において幾何変換処理を適用して、ドライバーにとって見やすい映像を作り出すものであるが、実施例２では以下に示すように、作り出す映像の視点が実施例１の場合と異なり、また、その視点からの映像を作り出す幾何変換処理が実施例１の場合と異なる。以下に、その違いを説明する。
【００３４】
図８は、実施例２の手法を用いた場合の死角の視認方法の例を示す図である。図８の画像撮像送信装置１１０、画像受信表示装置１２０、自車両２０２、ビル（障害物）３０１、ビル（障害物）３０２、歩行者３０３、他車両３０４、自車両の進行方向の３０５は、図３と同様である。実施例１においては、図４の仮想視点４０５と仮想ミラー４０６を定義して、幾何変換処理によって、仮想視点４０５から見た映像に相当する画像を作り出した。これに対して、実施例２においては、図８のように交差点の付近に仮想視点８００を定義する。仮想視点８００は、高所から地上の方向を見下ろす形に設置されていると想定し、実施例２の場合には、この仮想視点８００を画面の中央部とした、上空から見下ろす視点の画像を作り出してドライバーに表示する。このとき、自車両２０２の進行方向が表示される画像の上方向となるように、必要に応じて回転方向の幾何変換をかける。上空から見下ろした映像を表示することで、ドライバーは交差点周辺の状況を、実写で予め知ることができるので、事故を未然に防ぐことができる。また、例えば仮想視点８００の位置を自車両２０２の位置に重ねても良い。自車両２０２の位置または向きを表示される画像に反映するためには、自車両２０２の位置及び向きに関する情報を、図１の位置・向き出力部１２７から出力し、図１の受信制御部１２５経由で図１の幾何変換部１２４に伝える。
図８に示した仮想視点８００から見た映像は、画像撮像送信装置１１０で撮像された画像データから、画像受信表示装置１２０において幾何変換処理によって作り出される。以下、図８の場合の幾何変換処理の例について図９、図１０を用いて説明する。
【００３５】
図９は、図８の状況で撮像された、幾何変換前の画像の座標の例を示している。イメージセンサ部の出力画像範囲５０１は、図１のイメージセンサ部１１２から出力される画像の範囲を示している。本図の例では、光学系部１１１が魚眼レンズを含む構成となっており、図４の場合と同様に、画像撮像送信装置１１０が、信号機程度の高い位置で、光軸が鉛直下を向くように設置されている場合を想定している。図中の破線は、仮に地面の高さに東西、南北方向にメッシュ状の格子線が引かれていた場合に撮像される線を示しており、画像の歪みの程度を表している。光学系部１１１に魚眼レンズを使用しているので、図のように周辺部ほど画像が歪んでいる。本図の例の場合には、イメージセンサ部の出力画像５０１のＸ−Ｙ軸は、それぞれ（＋Ｘ）が北、（―Ｘ）が南、（＋Ｙ）が東、（−Ｙ）が西の向きに合うように合わせてある。イメージセンサ部の出力画像範囲５０１のうち、図９の仮想視点の座標９０５を含む範囲を幾何変換処理の対象とする。
【００３６】
図８の位置関係では、仮想視点８００は、画像撮像送信装置１１０から見てやや北東の方角に位置している。幾何変換処理の対象となる範囲は、図９の画像データにおいて９００で示される範囲（幾何変換処理範囲；図中に太線で示す）となる。ここで、幾何変換処理範囲９００の四つの端点を、Ａ２点９０１、Ｂ２点９０２、Ｃ２点９０３、Ｄ２点９０４とする。
図１０は、図９の幾何変換処理範囲９００内の画素が、幾何変換処理によって、図１０の幾何変換処理範囲９００に写像された場合の、幾何変換後の画像の座標の例を示す。図１０では、座標はＸ３−Ｙ３軸で表され、仮想視点の座標９０５を中央部として、仮想カメラの下方向が（＋Ｙ３）、上方向が（−Ｙ３）、右方向が（＋Ｘ３）、左方向が（−Ｘ３）と一致する。幾何変換処理範囲９００と重なるようにして、表示部の出力画像範囲１０００（図中に太い破線で示す）を定義する。
【００３７】
図９のＡ２点９０１、Ｂ２点９０２、Ｃ２点９０３、Ｄ２点９０４は、図１０のＡ２点９０１、Ｂ２点９０２、Ｃ２点９０３、Ｄ２点９０４に写像される。また、仮想視点の座標９０５は、幾何変換処理範囲９００の中央部となる。
図１１は、表示部の出力画像１１００の例である。この画像は、図１０のように表示部の出力画像範囲１０００に写像された画素が、画像データとして図１の表示部１２６で表示された場合に写る映像の例を示している。このような仮想画像を自車両２０２のドライバーに表示することによって、死角の状況を、上空から撮像された画像として、ドライバーが予め確認することができるので、事故を未然に防ぐことができる。
【００３８】
図９のイメージセンサ部の出力画像範囲５０１から、図１０の表示部の出力画像範囲９００へ写像する変換は、幾何変換部１２４において実施される。このような変換について、数式を用いて以下に説明する。
画像撮像送信装置１１０のイメージセンサ部１１２で撮像された画像データ上の座標を図９に示されるように（Ｘ，Ｙ）、画像受信表示装置１２０の表示部１２６へ出力される画像データ上の座標を図１０に示されるように（Ｘ３，Ｙ３）とすると、幾何変換部１２４における幾何変換処理fａｌｌ２は、f１，f２，f６，f７の４種類の幾何変換処理を総合した処理となっており、それらは（数式２）に示す関係となる。
(Ｘ３，Ｙ３)＝fａｌｌ２(Ｘ，Ｙ)＝f７f６f２f１(Ｘ，Ｙ)    ・・・（数式２）
ただし、
f１；光学系部の光学特性によって生じた画像の歪みを補正して、歪みのない画像にする、もしくは歪みが軽減された画像にするための非線形変換処理。
f２；画像撮像送信装置１１０の位置及び方向の変化によって生じる視点の移動及び回転を除去するための移動及び回転変換処理。
f６；仮想視点８００の位置、方向から見た映像に変換するための、移動及び回転変換処理。
f７；透視投影変換処理または、平行投影変換処理。
【００３９】
（数式２）の幾何変換処理のうちf６とf７は、表示したい視点の位置、向き、投影方法に係るので、図１の受信制御部１２５の内部で任意に指定することができる。一方でf１とf２は、画像撮像送信装置１１０の光学特性及び設置位置及び方向によって決定される項目である。幾何変換部１２４は、画像受信表示装置１２０に含まれているので、f１とf２に関しては、画像受信表示装置１２０内に存在する情報だけではパラメータ（変数）を確定させることができない。
そこで、本実施例においては、f１とf２の数式、もしくはそれらの数式を構成するパラメータに関して、撮像パラメータとして、画像撮像送信装置１１０から画像受信表示装置１２０へ無線伝送することを特徴としている。このようにすることで、幾何変換部１２４で実施する幾何変換処理の数式を確定させることができ、適切な歪補正処理を実施することができるようになる。そのため、ドライバーの死角に当たる部分の状況を、視認しやすい形で表示することができ、事故を防止することができる。
【実施例３】
【００４０】
以下、本発明における実施例３について詳細に説明する。
実施例３においても、実施例１，２と同様に、自車両２０２が見通しの悪い交差点に進入しようとしている場合に、ドライバーの死角の映像を予め、視認しやすいように表示することを課題とする。また、形態についても、実施例１，２の図２と同様となる。
【００４１】
図１２は、本発明の実施例３における車両用画像送受信システム１２００を示す構成図である。
車両用画像送受信システム１２００は、画像撮像送信装置１１０と、画像受信表示装置１２０１を有する。画像撮像送信装置１１０は、実施例２の図１の画像撮像送信装置１１０と同様である。
図１２の画像受信表示装置１２０１は、実施例２の図１の画像受信表示装置１２０に、画像認識部１２０３及び画像合成部１２０４を追加した構成となっている。また、受信画像処理部１２０２は、実施例２の図１の受信画像処理部１２２に、画像認識部１２０３及び画像合成部１２０４を追加した構成となっている。
【００４２】
画像認識部１２０３は、幾何変換部１２４から出力された画像データから、歩行者や車両など、交差点付近に存在する、衝突の危険性がある物体（走行障害物）を画像認識して、画像認識結果を出力する。画像合成部１２４は、幾何変換部１２４から出力された画像データと、画像認識部１２０３から出力された画像認識結果を合成して、画像データとして出力する。表示部１２６は、画像合成部１２０４から出力された画像データに基づく画像を表示する。
実施例３で示す手法は、実施例２の場合と同様に、画像撮像送信装置１１０で撮像した画像データに対して、画像受信表示装置１２００において適切な幾何変換処理を適用して、ドライバーにとって見やすい映像を作り出すという手法であるが、画像認識部１２０３における画像認識処理の結果を、画像合成部１２０４において画像データと合成して出力するという点で、実施例２の手法と異なる。実施例３においては、幾何変換後の画像データを元に、画像認識処理によって歩行者や車両などの衝突の危険がある物体（走行障害物）を発見し、ドライバーが認識し易いような当該物体のシンボル画像を生成し、画像合成処理によって前記画像データと合成する。このようにすることで、実施例２の場合のように幾何変換処理された実画像の画像データを表示する場合よりも、歩行者や車両などをドライバーにとって、より見やすいように表示することができる。
【００４３】
本実施例においては、幾何変換部画像認識部１２０３の入力として、幾何変換部１２４の出力画像データを用いている。一般的に、画像認識処理は、画像の歪や、カメラから見た物体の相対的な向きの変化に影響されて、認識率が低下するという課題がある。この点を鑑みて、本実施例においては、幾何変換部１２４において、適切な幾何変換処理を実施した後の画像データを用いて画像認識処理を実施するようにしており、幾何変換処理前の画像を用いる場合と比べて、画像の歪や向きによる影響を減少させることができるので、認識率の低下を防ぐことができる。
以下、画像認識処理及び画像合成処理について、図１３を用いて説明する。
図１３は、実施例２の図８と同じ位置関係で交差点の周辺を撮像した場合の、表示部の出力画像１３００である。図１２の幾何変換部１２４の出力は、図１１のような画像データとなっている。画像認識部１２０３は、図１１の画像データから、歩行者３０３と他車両３０４を画像認識によって抽出し、画像認識結果である、歩行者アイコン１３０２及び他車両アイコン１３０３を出力する。画像合成部１２０４は、幾何変換部１２４の出力する画像データの中から、歩行者３０３と他車両３０４を、歩行者アイコン１３０２及び他車両アイコン１３０３に置き換えて表示する。
【００４４】
ドライバーにとっては、図１１の画像のような実画像を見る場合よりも、図１３の画像のように衝突の危険性のある物体（走行障害物）が歩行者アイコン１３０２及び他車両アイコン１３０３のようなアイコンに置き換えられた画像を見る方が、歩行者や車両を見やすい。そのため、実施例３の場合のほうが、ドライバーにとって死角の危険な状況を認知しやすく、事故を防止しやすくなる。
なお、図１３の例で示される「アイコン」は絵記号であるが、本実施例では、絵記号だけでなく、絵文字、文字、図形、矩形の枠線など、様々なシンボルによる表現方法を用いても良いとする。
【００４５】
また、画像合成部１２０４では、上記説明したように画像認識処理結果をアイコンや絵文字や文字や図形や枠線などに置き換える、という方法だけでなく、幾何変換部１２４の出力画像データに、画像認識結果を重畳するという方法を用いてもよい。
また、図１１の歩行者３０３や他車両３０４などの走行障害物の実画像に着色したり、走行障害物の実画像のエッジが太くなるように画像処理によって強調（強調表示）したり、走行障害物の周囲に矩形の枠線をつけるなどして表示しても良い。
図１７は、図１１と同じ状況について、画像認識によって認識された走行障害物を強調表示（１７０１，１７０２）し、さらに走行障害物の周辺に枠線１７０３，１７０４を重畳した場合の、表示部の出力画像１７００の一例を示す。このような手法によっても、実施例２の図１１のように実画像をそのまま表示する場合よりも、ドライバーにとっての視認性が向上するので、事故を防止しやすくできる。
【００４６】
また、上記では、図１３や図１７のように、上空視点の映像として表示していたが、図１４の幾何変換部１２７において、実施例１の図４、図５、図６、図７を用いて説明したような幾何変換処理を実施することも可能である。その場合には、例えば、幾何変換部１２７の出力画像データが図７のような画像データとなる。
図１８は、表示部の出力画像１８００の一例である。図１８に示すように、画像認識によって認識された走行障害物を強調表示し（１７０１，１７０２）、さらに走行障害物の周辺に枠線１７０３，１７０４を重畳した画像を表示することができる。
【実施例４】
【００４７】
以下、本発明における実施例４について詳細に説明する。
実施例３においても、実施例１，２，３と同様に、自車両２０２が見通しの悪い交差点に進入しようとしている場合に、ドライバーの死角の映像を予め、視認しやすいように表示することを課題とする。また、形態についても、実施例１，２，３の図２と同様となる。
【００４８】
図１４は、本発明の実施例３における車両用画像送受信システム１４００を示す構成図である。
車両用画像送受信システム１４００は、画像撮像送信装置１１０と、画像受信表示装置１４０１を有する。画像撮像送信装置１１０は、実施例２の図１の画像撮像送信装置１２０と同様である。
図１４の画像受信表示装置１４０１は、実施例２の図１の画像受信表示装置１２０に、画像認識部１２０３、地図データ出力部１４０３及び画像合成部１４０４を追加した構成となっている。また、受信画像処理部１４０２は、実施例２の図１の受信画像処理部１２２に、画像認識部１２０３及び画像合成部１４０４を追加した構成となっている。
画像認識部１２０３は、実施例３の図１２の画像認識部１２０３と同様である。
【００４９】
地図データ出力部１４０３は、位置・向き出力部１２７から出力された、自車両２０２の位置及び向きに関する情報を元に、自車両２０２周辺の地図データを出力する。画像合成部１４０４は、画像認識部１２０３から出力された画像認識結果である画像データと、地図データ出力部１４０３から出力された地図データを合成して出力する。表示部１２６は、画像合成部１４０４の出力画像データに基づく画像を表示する。
実施例４で示す手法は、実施例３の場合と同様に、画像撮像送信装置１１０で撮像した画像データに対して、画像受信表示装置１２００において適切な幾何変換処理を適用した後、さらに画像認識処理を適用して、歩行者や車両などの衝突の危険がある物体（走行障害物）を発見するという点では、実施例３と同様の構成となっている。一方、実施例３では、幾何変換部１２４から出力された実画像である画像データと画像認識処理結果を合成する構成となっているのに対して、実施例４では、地図データ出力部１４０３から出力された地図データと画像認識結果を合成する構成となっているという点で、実施例３と異なる。
【００５０】
以下、本実施例における、地図データ出力部１４０３の出力画像データ及び画像合成処理について、図１５を用いて説明する。
図１５は、実施例３の図１１と同様の位置関係で交差点の周辺を撮像した場合の、表示部の出力画像１５００である。地図データ出力部１４０３から出力される地図データには、図１５に示される地図データ（道路）１５０１、地図データ（ビル名）１５０２、地図データ（ビル名）１５０３など、地図記号や線や文字やその他の図形が含まれる。また、図１４の画像認識部１２０３の出力である画像認識結果には、自車両アイコン１３０１、歩行者アイコン１３０２、他車両アイコン１３０３が含まれる。画像合成部１４０４では、画像認識結果と地図データが合成されるので、例えば図１５のような画像データが出力される。
実施例４では、実施例３の場合と同様に、図１４の画像のように衝突の危険性のある物体（走行障害物）が歩行者アイコン１３０２及び他車両アイコン１３０３のようなアイコンに置き換えられた画像を表示するので、ドライバーは、死角の危険な状況を認知しやすい。また、背景に実画像の代わりに地図データを用いることで、歩行者や車両など以外の、比較的衝突の危険性の少ない物体を表示から除外したり、簡易グラフィックとして表示したりできるので、衝突の危険性のある物体（走行障害物）を目立つように表示することができる。
【００５１】
なお、実施例４において、画像認識処理結果を、図１５の歩行者アイコン１３０２や他車両アイコン１３０３のようなアイコンとしていたが、図１１の歩行者３０３や他車両３０４の実画像に着色したり、物体のエッジを太く強調表示したり、周囲に矩形の枠をつけるなどして表示しても良い。このような手法によっても、実施例２のように実画像をそのまま表示する場合よりも、ドライバーにとっての視認性が向上するので、事故を防止しやすくできる。
なお、図１５の例で示される「アイコン」は絵記号であるが、本実施例では、絵記号だけでなく、絵文字、文字、図形、矩形の枠線など、様々なシンボルによる表現方法を用いても良いとする。
【００５２】
また、画像合成部１４０４では、上記説明したように画像認識処理結果をアイコンや絵文字や文字や図形や枠線などに置き換える、という方法だけでなく、幾何変換部１２４の出力画像データに、画像認識結果を重畳するという方法を用いてもよい。
また、地図データは３次元のデータであってもよい。
また、上空視点だけでなく、任意の視点からの映像としてよい。
また、地図データを用いることで、ドライバーが自車両２０２の現在位置を把握できる。一般のカーナビゲーションシステムと同様に、行き先までの経路を地図上に表示して、経路をドライバーが把握できるようにしても良い。
【実施例５】
【００５３】
以下、本発明における実施例５について詳細に説明する。
実施例５においても、実施例１，２，３，４と同様に、自車両２０２が見通しの悪い交差点に進入しようとしている場合に、ドライバーの死角の映像を予め、視認しやすいように表示することを課題とする。また、形態についても、実施例１，２，３，４の図２と同様となる。
【００５４】
図１６は、本発明の実施例３における車両用画像送受信システム１６００を示す構成図である。
車両用画像送受信システム１６００は、画像撮像送信装置１１０と、画像受信表示装置１６０１を有する。画像撮像送信装置１１０は、実施例４の図１４の画像撮像送信装置１１０と同様である。
図１６の画像受信表示装置１６０１は、実施例３の図１２の画像受信表示装置１２０１に、地図データ出力部１４０３を追加し、実施例３の図１２の画像合成部１２０４を画像合成部１６０４に置換し、受信制御部１２５を受信制御部１６０３に置換した構成となっている。地図データ出力部１４０３は、実施例４の図１４の地図データ出力部１４０３と同様である。
【００５５】
受信制御部１６０３は、実施例３の図１４の受信制御部１２５と同様に、受信部１２１から出力された撮像パラメータに含まれる位置や向きや画像の歪に関する情報と、位置・向き出力部１２７から出力された自車両２０２の位置及び向きの情報を元に、幾何変換部１２４の幾何変換を制御する。また、受信制御部１６０３は、受信部１２１から出力された撮像パラメータに含まれる位置及び向きに関する情報と、位置・向き出力部１２７から出力された自車両２０２の位置及び向きの情報に基づいて、画面切り替え制御信号という信号を、画像合成部１６０４に出力する。
画像合成部１６０４は、画像認識部１２０３の出力である画像認識結果と、幾何変換部１２４の出力である画像データと、地図データ出力部１４０３の出力である地図データと、受信制御部１６０３から出力される画面切り替え制御信号を元に、画像データを合成して出力する。表示部１２６は、画像合成部１６０４の出力画像データに基づく画像を表示する。
【００５６】
実施例５の図１６に示される画像合成部１６０４は、実施例３の場合と同様に、画像認識部１２０３の出力である画像認識結果と、幾何変換部１２４の出力である画像データを合成し、或いは、実施例４の場合と同様に、画像認識部１２０３の出力である画像認識結果と、地図データ出力部１４０３の出力である地図データを合成し、そのいずれの画像合成処理も実施することができる。画像合成部１６０４は、受信制御部１６０３から出力される画面切り替え信号に基づいて、画像合成処理を選択する。自車両２０２が進入しようとしている交差点と自車両の距離が近く、所定の値以内の場合には、実施例３の場合と同様の画像合成処理を行い、前記距離が遠く、所定の値より大きい場合には、実施例４の場合と同様の画像合成処理が行われるように、受信制御部１６０３から画面切り替え信号が出力され、画像合成部１６０４の処理を制御する。
【００５７】
表示部１２６では、自車両２０２と交差点の距離が所定の値以下の場合には、例えば実施例３の図１３、図１７、または図１８のような画像が表示され、所定より大きい場合には、例えば実施例４の図１５のような画像が表示される。このように距離によって表示される画面を変更することで、自車両２０２が交差点から遠い位置にいるときには、地図上に自車両の現在位置や経路を含む情報を出力して利便性を高めることができる。また一方で自車両２０２が交差点から近い位置にいるときには、地図よりも情報量の多い表示形式である実画像として表示することで、ドライバーが交差点周辺の状況を予め、より詳細に認知することができる。即ち、実施例５の手法のよれば、利便性と安全性の両方を同時に得ることができる。
【００５８】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００５９】
１００：車両用画像送受信システム、１１０：画像撮像送信装置、１１１：光学系部、１１２：イメージセンサ部、１１３：送信画像処理部、１１４：信号処理部、１１５：画像圧縮部、１１６：送信制御部、１１７：送信部、１１８：位置・向き出力部、１２０：画像受信表示装置、１２１：受信部、１２２：受信画像処理部、１２３：画像復号部、１２４：幾何変換部、１２５：受信制御部、１２６：表示部、１２７：位置・向き出力部、２００：支柱、２０１：信号機、２０２：自車両、３０１：ビル（障害物）、３０２：ビル（障害物）、３０３：歩行者、３０４：他車両、３０５：自車両の進行方向の信号、３１０：従来のカーブミラー、３１１：光軸、４０５：仮想視点、４０６：仮想ミラー、４０７：仮想光軸、５０１：イメージセンサ部の出力画像範囲、５０２：イメージセンサ部鉛直方向の座標、５０３：仮想視点の座標、５０４：幾何変換処理範囲、５０５：Ａ点、５０６：Ｂ点、５０７：Ｃ点、５０８：Ｄ点、６００：表示部の出力画像範囲、７００：表示部の出力画像、９００：幾何変換処理範囲、９０１：Ａ２点、９０２：Ｂ２点、９０３：Ｃ２点、９０３：Ｄ２点、１０００：表示部の出力画像範囲、１１００：表示部の出力画像、１２００：車両用画像送受信システム、１２０１：画像受信表示装置、１２０２：受信画像処理部、１２０３：画像認識部、１２０４：画像合成部、１３００：表示部の出力画像、１３０１：自車両アイコン、１３０２：歩行者アイコン、１３０３：他車両アイコン、１４００：車両用画像送受信システム、１４０１：画像受信表示装置、１４０２：受信画像処理部、１４０３：地図データ出力部、１４０４：画像合成部、１５００：表示部の出力画像、１５０１：地図データ（道路）、１５０２：地図データ（ビル名）、１５０３：地図データ（ビル名）、１５０４：地図データ（交差点名）、１６００：車両用画像送受信システム、１６０１：画像受信表示装置、１６０２：受信画像処理部、１６０３：受信制御部、１６０４：画像合成部、１７００：表示部の出力画像、１７０１：強調表示（歩行者）、１７０２：強調表示（他車両）、１７０３：枠線（歩行者）、１７０４：枠線（他車両）、１８００：表示部の出力画像。
【図１】
2013200819.tif 000003
【図２】
2013200819.tif 000004
【図３】
2013200819.tif 000005
【図４】
2013200819.tif 000006
【図５】
2013200819.tif 000007
【図６】
2013200819.tif 000008
【図７】
2013200819.tif 000009
【図８】
2013200819.tif 000010
【図９】
2013200819.tif 000011
【図１０】
2013200819.tif 000012
【図１１】
2013200819.tif 000013
【図１２】
2013200819.tif 000014
【図１３】
2013200819.tif 000015
【図１４】
2013200819.tif 000016
【図１５】
2013200819.tif 000017
【図１６】
2013200819.tif 000018
【図１７】
2013200819.tif 000019
【図１８】
2013200819.tif 000020