(57)【要約】      （修正有）【課題】自車両が近づく前から見通しの悪い交差点などの状況をドライバーが把握できるようにする。【解決手段】撮像部１０９で撮像して得た画像データを処理する信号処理部１１４により処理された画像データから所定の対象物を認識し、画像認識部から出力された認識された対象物の位置に関する情報を無線で送信する送信部１１７と、受信部１２１で受信した対象物の位置に関する情報に基づいて表示する画像又は地図における対象物の位置に対応する位置に所定の情報を合成する画像合成部に所定の情報が合成された画像又は地図を表示する表示部１２６を備える画像受信表示装置と、を備える画像送受信システム。【選択図】図１
2014089620.tif 000002
【特許請求の範囲】
【請求項１】
画像を送受信する画像送受信システムであって、
撮像部と、前記撮像部により撮像して得た画像データを処理する信号処理部と、前記信号処理部により処理された画像データから所定の対象物を認識し、認識された対象物の位置に関する情報を出力する画像認識部と、前記画像認識部から出力された前記対象物の位置に関する情報を無線で送信する送信部と、を備える送信装置と、
前記送信装置の送信部により無線で送信された前記対象物の位置に関する情報を受信する受信部と、前記受信部で受信した前記対象物の位置に関する情報に基づいて、表示する画像又は地図における前記対象物の位置に対応する位置に所定の情報を合成する画像合成部と、前記画像合成部に前記所定の情報が合成された画像又は地図を表示する表示部と、を備える画像受信表示装置と、
を備えることを特徴とする画像送受信システム。
【請求項２】
請求項１記載の画像送受信システムであって、
前記画像送信装置は、さらに前記信号処理部により処理された画像データを幾何変換する幾何変換部を備え、
前記画像認識部は、前記幾何変換部により幾何変換された画像データに基づいて前記対象物を認識し、認識された対象物の位置に関する情報を出力することを特徴とする画像送受信システム。
【請求項３】
請求項２記載の画像送受信システムであって、
前記画像送信装置は、さらに前記幾何変換部により幾何変換された画像データを画像圧縮する画像圧縮部を備え、
前記送信部は、前記画像圧縮部で画像圧縮された前記幾何変換された画像データを無線で送信し、
前記画像受信表示装置は、前記受信部により受信した前記幾何変換された画像データを復号処理する画像復号部を備え、
前記画像合成部は、前記画像復号部により復号化した前記幾何変換された画像データに前記所定の情報を合成することを特徴とする画像送受信システム。
【請求項４】
請求項３記載の画像送受信システムであって、
前記画像受信表示装置の前記受信部は前記画像送信装置に対して情報を送信する送信機能も備える送受信部であり、
前記画像送信装置の前記幾何変換部は、前記画像受信表示装置から送信された前記画像受信表示装置を備える車体の位置並びに進行方向に関する情報に基づいて幾何変換処理をすることを特徴とする画像送受信システム。
【請求項５】
請求項３又は４記載の画像送受信システムであって、
前記画像送信装置はさらに前記撮像部のレンズ歪情報を設定する歪情報設定部を備え、
前記幾何変換部は、前記歪情報設定部により設定されたレンズ歪情報に基づいて幾何変換処理をすることを特徴とする画像送受信システム。
【請求項６】
請求項３乃至５のいずれかに記載の画像送受信システムであって、
前記表示部は、前記所定の情報として前記画像データにおける前記対象物の位置に前記対象物を囲む枠が前記画像データに重畳された画像を表示することを特徴とする画像送受信システム。
【請求項７】
請求項１記載の画像送受信システムであって、
前記画像受信表示装置は、さらに位置・方向を検出する位置・方向検出部と、前記位置・方向検出部により得られた情報に基づき地図を出力する地図データ出力部と、を備え、
前記画像合成部は、前記地図データ出力部により出力された地図に前記所定の情報を合成することを特徴とする画像送受信システム。
【請求項８】
請求項７記載の画像送受信システムであって、
前記表示部は、前記所定の情報として前記地図における前記対象物の位置に所定のアイコンが前記地図に重畳されたものを表示することを特徴とする画像送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像送受信システムに関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特許第４３２１２５８号（特許文献１）がある。該公報には、『車両前方の画像を撮像する撮像手段と、前記撮像手段で撮像された画像を、カーブミラーの湾曲形状に対応させて画像処理を行う画像処理手段と、前記画像処理手段が画像処理した画像を、カーブミラーを模した図形中のミラー部分に表示する表示手段と、を備えることを特徴とする表示制御装置』と記載されている（請求項１参照）。ここで「撮像手段」については、該公報の実施例には、『車体に取り付けられた撮像手段としてのカメラ』と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４３２１２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の運転においては、自車両から見て死角に当たる位置に潜む他車両や歩行者などの認識が遅れるために事故が発生することがあり、例えば見通しの悪い交差点などで事故が発生しやすくなっている。
【０００５】
特許文献１では、自車両の車体（特に最前部）にカメラを設置することになるので、例えば見通しの悪い交差点では、車体が交差点に差し掛かる程度まで自車両を進めなければ、交差点の左右の状況をカメラで撮像することができず、他車両などの認識が遅れるという問題がある。
【０００６】
本発明は、上記課題を解決するものであり、例えば自車両が近づく前から死角の状況をドライバーにとって見やすい形態の映像として提示し、事故防止に貢献できる、画像送受信システムを提供するものである。
【課題を解決するための手段】
【０００７】
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
【発明の効果】
【０００８】
本発明によれば、例えば自車両が近づく前から死角の状況をドライバーにとって見やすい形態の映像として提示し、事故防止に貢献できる、画像送受信システムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１における画像送受信システムの構成図である。
【図２】本発明の実施例１における画像送受信システムの形態の例を示す図である。
【図３】従来のカーブミラーを用いて死角を写した場合の、交差点周辺の位置関係の例を示す図である。
【図４】本発明の実施例１における、交差点周辺の位置関係の例を示す図である。
【図５】本発明の実施例１における、受信された画像データの幾何変換前の座標を示す図である。
【図６】本発明の実施例１における、受信された画像データの幾何変換後の座標を示す図である。
【図７】本発明の実施例１における出力画像の例を示す図である。
【図８】本発明の実施例２における、交差点周辺の位置関係の例を示す図である。
【図９】本発明の実施例２における、受信された画像データの幾何変換前の座標を示す図である。
【図１０】本発明の実施例２における、受信された画像データの幾何変換後の座標を示す図である。
【図１１】本発明の実施例２における出力画像の例を示す図である。
【図１２】本発明の実施例３における画像送受信システムの構成図である。
【図１３】本発明の実施例５における画像送受信システムの構成図である。
【図１４】本発明の実施例４における画像送受信システムの構成図である。
【図１５】本発明の実施例４における出力画像の例を示す図である。
【図１６】本発明の実施例３における、出力画像の例を示す図である。
【図１７】本発明の実施例３における、出力画像の例を示す図である。
【図１８】本発明の実施例４における画像送受信システムの変形例の構成図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を説明する。
【実施例１】
【００１１】
以下、本発明における実施例１について詳細に説明する。
図１は、本発明の実施例１における画像送受信システム１００を示す構成図である。車両用画像送受信システム１００は、画像送信装置１１０と、画像受信表示装置１２０とを適宜用いて構成される。
【００１２】
画像送信装置１１０は、路上または他車両など、自車両以外の場所に設置された装置で、周辺の画像を広角撮像した画像データと、その画像データが撮像された時の状況を示す撮像パラメータというデータを、画像受信表示装置１２０に無線伝送する装置である。撮像パラメータについては、後に詳しく説明する。
【００１３】
画像送信装置１１０は、光学系部１１１やイメージセンサ部１１２を適宜用いて構成される撮像部１０９と、信号処理部１１４、画像圧縮部１１５、幾何変換部１１９を適宜用いて構成される送信画像処理部１１３と、位置・方向設定部１１８ａと、レンズの歪情報が設定されている歪情報設定部１１８ｂと、送信側制御部１１６と、送受信部１１７とを用いて構成される。尚、各構成は必ずしも一体である必要はなく別体として構成しても構わない。
【００１４】
光学系部１１１は、装置周辺の広角な範囲の光学像をイメージセンサ部１１２のセンサ面に結像されるように構成され、絞り機構などもある光学系である。光学系部１１１の実際の構成としては、例えば光学系に魚眼レンズを含ませて広角な範囲の光学像を結像させる構成をとることができる。この構成の場合には、カメラの光軸に近い部分（中央部分）では歪が少なく、周辺ほど歪が大きい光学像が得られる。光学像の歪みの程度は、光学系部１１１全体の光学特性によって決定される。本実施例においては、魚眼レンズを用いた構成の場合を例に説明するが、光学系部１１１はこれに限られるものではなく、他の構成を用いても構わない。
【００１５】
イメージセンサ部１１２は、光学系部１１１によって結像された光学像を光電変換し、Ａ／Ｄ変換してデジタルデータである画像データとして信号処理部１１４に出力する。光学系部１１１によって生じた光学像の歪みは、出力される画像データに画像の歪みとして継承される。
【００１６】
送信画像処理部１１３は、以下に説明する信号処理部１１４と、幾何変換部１１９と、画像圧縮部１１５とを適宜用いて構成される。
信号処理部１１４は、画像データに、必要に応じて黒レベル補正・ホワイトバランス補正・デモザイキング・ガンマ補正などの一連の処理をして、生成された画像データを幾何変換部１１９に出力する。幾何変換部１１９は光学系部１１１によって生じた光学像の歪を軽減するように、後述する所定の画像変換を行い、画像圧縮部１１５へ出力する。
【００１７】
画像圧縮部１１５は、画像データを特に規定はしないが、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などに画像圧縮して、送受信部１１７に出力する。
【００１８】
位置・方向設定部１１８ａは、画像送信装置１１０が設置された位置と方向を示す情報が設定されており、この情報を送信側制御部１１６に出力する。位置と方向の確認方法はどのようなものであっても良いが、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を用いて位置を検出する方法や、磁気センサによって方位を検出する方法や、信号処理部１１４の出力画像データから画像認識によって求める方法や、設置時に手動で入力する方法などを用いることができるが、上記以外の方法でもよい。
【００１９】
送信側制御部１１６は、信号処理部１１４または幾何変換部１１９からの露光評価値を元に、光学系部１１１の絞り機構を制御する。信号処理部１１４からの露光評価値を用いた場合はイメージセンサ部１１２にて撮像されている全体の画像の露光状態を適正に制御しやすく、幾何変換部１１９からの露光評価値を用いた場合は幾何変換後の画像の露光状態を適正に制御しやすい。また、送信側制御部１１６は、光学系部１１１の光学特性に関する情報を歪情報設定部１１８ｂから、また画像送信装置１１０が設置された位置と方向を示す情報を、位置・方向設定部１１８ａから受け取り、さらに後述する画像受信表示装置１２０の送受信部１２１を介して送信された表示装置１２０側の位置・進行方向情報を送受信部１１７を介して受け取り、これら光学特性に関する情報、画像送信装置１１０が設置された位置と方向を示す情報、画像受信表示装置１２０側の位置・進行方向情報に基づいて、画像受信表示装置１２０の表示部１２６での表示に適した画像となるように幾何変換処理を幾何変換部１１９にて行うように制御し、幾何変換部１１９の出力を圧縮するように画像圧縮部１１５を制御し、画像圧縮部１１５の出力を送受信部１１７を介して送信するように制御する。
【００２０】
図1において、画像受信表示装置１２０は、自車両に設置された装置で、画像送信装置１１０から無線伝送された画像データを、画面に表示してドライバーに提示する装置である。
【００２１】
画像受信表示装置１２０は、送受信部１２１と、画像復号部１２３と、受信側制御部１２５と、表示部１２６と、位置・方向検出部１２７とを適宜用いて構成される。尚、各構成は必ずしも一体である必要はなく別体として構成しても構わない。
【００２２】
受信側制御部１２５は、送受信部１２１にて受信した画像送信装置１１０からの画像データを画像復号部１２３に出力するように制御するとともに、位置・方向検出部１２７より得られる情報を、送受信部１２１を介して、画像送信装置１１０へ送信するよう制御する。また、受信側制御部１２５は、画像復号部１２３にて送受信部１２１から出力された画像データを適切に復号処理するよう制御し、その復号画像出力を表示部１２６にて表示するように制御する。
【００２３】
位置・方向検出部１２７は、自車両の位置と方向を示す情報を、受信側制御部１２５に出力する。位置・方向の確認方法はどのようなものであっても良く、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を用いて位置を検出する方法や、加速度センサを用いて位置の変化を検出する方法や、磁気センサによって方位を検出する方法などを用いることができるが、特に上記の方法以外でもよい。
【００２４】
なお、本実施例では画像圧縮部１１５で画像圧縮、画像復号部１２３で画像復号を行うため画像伝送のための伝送帯域を小さくできるが、伝送帯域に制約がない場合は画像圧縮部１１５、及び画像復号部１２３はなくてもよい。その場合は圧縮部１１５と画像復号部１２３の分のコストを節約できるとともに、圧縮による画質劣化を防ぐことができる。
【００２５】
以上、図１を用いて説明した通り、本画像送受信システム１００によれば、路上や他の車両など、自車両以外に設置されたカメラを用いて撮像された映像を受信し、自車両が近づく前から自車両にとって死角となっているエリアの状況をドライバーにとって見やすい形態の映像として提示できるので、事故防止に貢献できるとともに、画像送信装置１１０側で画像の幾何変換処理を行って光学歪を軽減した後に画像受信表示装置１２０に伝送するため、画像受信表示装置１２０側では、複雑な画像の幾何変換処理を行う必要がなく、画像受信表示装置側を低コストにできる。
【００２６】
図２は、先の図１で説明した画像送受信システム１００の設置形態の一例を示す図である。この図は、自車両２０２が交差点に進入しようと前進している時の様子を、自車両の後方から見た図である。この図では、図１で示した画像送信装置１１０は例えば路上に固定されており、図１で示した画像受信表示装置１２０は、自車両２０２に搭載されている。
【００２７】
図２では、画像送信装置１１０は、信号機２０１と支柱２００を共有する形で、車両に対して高い位置に設置されている。このような高い位置から広角の映像を撮像することで、交差点周辺の状況を一括して撮影することができるようになる。なお、画像送信装置１１０は、建築物に固定されていたり、自車両以外の車両に設置されていたり、飛行機に搭載されているなど、図２で示す以外の場所に設置されていても良い。
【００２８】
また、図１で説明した画像受信表示装置１２０は、図２に示すように自車両２０２に搭載されるが、特に表示部１２６は、ドライバーにとって見やすい位置に設置される。表示部１２６は、例えば車載カーナビゲーションシステムなど他の車載機器のディスプレイと共有される形態や、フロントガラスの一部に投影される形態など、どのように設置されても良い。
【００２９】
以上説明したように、図１の画像送受信システム１００は、図２のような形態で、路上や車両に別れて設置される。このように、画像送信装置１１０でドライバーの死角の状況を含んだ映像を撮像し、画像受信表示装置１２０側でドライバーにとって見やすいように加工して送信し、その映像を画像受信表示装置１２０側で表示することができるので、ドライバーが死角の状況を把握しやすくなり事故を未然に防止できる。
【００３０】
次に、具体的に見通しの悪い交差点を例にとり、本画像送受信システムを用いた死角の状況を確認する手法について、従来の方法と比較しつつ説明する。
図３は、カーブミラーを見通しの悪い交差点に設置することで、自車両から死角の状況を確認するという従来の方法の例を示す図である。本図では、自車両２０２が前進して、交差点に進入する直前を示している。歩行者３０３や他車両３０４は、自車両２０２のドライバーから見て、ビル（障害物）３０１、３０２の死角の位置にあたるとする。もし自車両の進行方向の信号３０５が青色であったとしても、歩行者３０３が無理な横断をする場合があったり、他車両３０４が信号を見落として直進してくる場合があったりするなど、危険な状況に巻き込まれる可能性がある。しかし、死角で発生している危険な状況を、自車両２０２のドライバーが予め肉眼で危険を認識することはできない。
【００３１】
このような状況をドライバーに見せるための従来の方法として、例えばカーブミラー３１０を設置する方法がある。しかし、図３のようにカーブミラー３１０と自車両２０２が離れている状況では、自車両２０２のドライバーから、カーブミラー３１０越しに見える交差点の状況は小さく写ってしまうため、ドライバーが死角の状況を認識するのは難しい。また、カーブミラー３１０の設置位置に関しても、当然、サイズや位置や角度など物理的な制約があるため、ドライバーから視認しやすい位置を自由に選んで配置することはできない。また、特許文献１の手法であっても、自車両２０２の、特に最前部にカメラを設置することになるので、車体が交差点に差し掛かる程度まで自車両を進めなければ、交差点の左右の状況をカメラで撮像することができず、認識が遅れるという問題がある。
【００３２】
図４は、本画像送受信システムを用いた場合の死角の視認方法の例を示す図である。図３の場合と同じ条件で、交差点の付近に自車両２０２、歩行者３０３、他車両３０４、ビル（障害物）３０１、３０２が存在している。また、図４では、自車両の進行方向の信号３０５に図２の信号機２０１と同様に画像送信装置１１０が搭載され、自車両２０２に図２と同様に画像受信表示装置１２０が搭載されている。画像送信装置１１０では撮像した画像データに基づき、自車両２０２にとっての死角の状況をドライバーに視認しやすい形に幾何変形して提供する。
【００３３】
まず、図４において、画像送信装置１１０は、高所に設置された広角のカメラであるとして、自車両２０２、歩行者３０３、他車両３０４、ビル（障害物）３０１、３０２を、すべて撮像できる画角で設置されているとする。つまり、画像送信装置１１０で撮像した画像データには、自車両２０２のドライバーにとっての死角に関する情報が含まれている。
【００３４】
そこから、自車両２０２のドライバーにとって死角の状況を確認しやすい映像に変換するために、まず仮想ミラー４０６と仮想視点４０５というものを定義する。仮想ミラー４０６とは、所望の曲率を持った仮想的なカーブミラーで、それが例えば、図４に示す位置で車道上に設置されていると想定する。この仮想ミラー４０６の曲率、位置、方向、大きさは任意に設定できる。仮想視点４０５とは、仮想ミラー４０６に映った像を撮像する仮想的なカメラで、それが例えば図４に示す位置に設置されていると想定する。仮想視点４０５の位置は、任意に設定できるが、方向に関しては、仮想ミラー４０６の方向を向いているとする。このように仮想視点４０５及び仮想ミラー４０６を想定した場合には、仮想光軸４０７に示すように、歩行者３０３、他車両３０４を含む広角の周囲の状況が、仮想ミラー４０６で反射されて仮想視点４０５で撮像され、この撮像された画像を、ドライバーが交差点の手前から画像受信表示装置１２０の表示部１２６に表示されるようにする。本画像送受信システムでは、画像送信装置１１０で撮像された実際の画像データに、画像送信装置１１０の幾何変換部１１９において幾何変換処理を施し、このような仮想視点４０５で撮像された映像と幾何学的に同等な画像データを作り出す。図４の例では、仮想視点４０５は、自車両２０２の進行方向に位置し、自車両２０２の進行方向を映し出す方向で存在しているので、自車両が仮想視点４０５の地点に差し掛かった際に、仮想ミラー４０６を見た場合にドライバー席から見える風景を模倣していることになり、ドライバーにとって位置関係を把握しやすい。また、自車両２０２よりも交差点に近い位置を視点とすることができるので、死角の状況を、交差点に近づく以前に予め大きな映像で確認することができる。そのため、事故を未然に防ぐことができるようになる。
【００３５】
図４に示した仮想視点４０５から見た映像は、画像送信装置１１０で撮像された画像データを幾何変換部１１９にて幾何変換処理することによって作り出される。
以下、図４の場合の幾何変換処理の例について図５、６を用いて説明する。
図５は、図４の状況で撮像された、幾何変換前の画像の座標の例を示している。イメージセンサ部の出力画像範囲５０１は、図１のイメージセンサ部１１２から出力される画像の範囲を示している。本図の例では、光学系部１１１が魚眼レンズを含む構成となっており、図４の場合と同様に、画像送信装置１１０が、信号機程度の高い位置で、光軸が鉛直下方向を向くように設置されている場合を想定している。図中の点線は、仮に地面の高さに東西・南北方向にメッシュ状の格子線が引かれていた場合に撮像される線を示しており、画像の歪みの程度を表している。光学系部１１１に魚眼レンズを使用しているので、図のように周辺部ほど画像が歪んでいる。本図の例の場合には、イメージセンサ部の出力画像５０１のＸ−Ｙ軸は、それぞれ（＋Ｘ）が北、（―Ｘ）が南、（＋Ｙ）が東、（−Ｙ）が西の方向に合うように合わせてある。イメージセンサ部の出力画像範囲５０１のうち、図４の仮想視点４０５から、仮想ミラー４０６を通じて見える範囲を幾何変換処理の対象とする。図４の位置関係では、仮想ミラー４０６は、画像送信装置１１０から見てやや北東の方角に位置している。また、仮想視点４０５は、仮想ミラーの位置から見て東の方角に位置している。そのため、仮想ミラー４０６を通じて仮想視点４０５から撮像できる範囲は、仮想光軸４０７によって示されるように、画像送信装置１１０から見て南側、東側、北側の方角に広く分布しており、その光軸中心はやや北寄りとなっている。このような範囲の像は、図５の画像データ上で５０４で示される範囲（幾何変換処理範囲）となる。ここで、幾何変換処理範囲５０４の端の点を、Ａ点５０５、Ｂ点５０６、Ｃ点５０７、Ｄ点５０８とする。
【００３６】
図６は、図５の幾何変換処理範囲５０４内の画素が、幾何変換処理によって、図６の幾何変換処理範囲５０４に写像された場合の、幾何変換後の画像の座標の例を示す。図６では、Ｘ２−Ｙ２軸で表され、仮想視点の座標５０３を中心として、仮想カメラの下方向が（＋Ｙ２）、上方向が（−Ｙ２）、右方向が（＋Ｘ２）、左方向が（−Ｘ２）と一致する。幾何変換処理範囲５０４と重なるようにして、表示部の出力画像範囲６００を定義する。
【００３７】
図５のＡ点５０５、Ｂ点５０６、Ｃ点５０７、Ｄ点５０８は、図６の図５のＡ点５０５、Ｂ点５０６、Ｃ点５０７、Ｄ点５０８に写像される。図５で、Ｃ点５０７及びＤ点５０８は、Ａ点５０５及びＢ点５０６よりも東の方角に存在している。より東に存在する物体から来る光軸は、仮想ミラー４０６で反射されて、仮想カメラ４０６のより上方向に入るため、図６では、Ｃ点５０７及びＤ点５０８は、Ａ点５０５及びＢ点５０６よりも、画像の上方向に写像される。
【００３８】
また、図５で、Ａ点５０５及びＣ点５０７は、Ｂ点５０６及びＤ点５０８よりも南側の位置に存在している。図４で、仮想カメラ４０５の左方向が南、右方向が北に相当するため、図６では、Ａ点５０５及びＣ点５０７は、Ｂ点５０６及びＤ点５０８よりも南に写像される。
【００３９】
図７は、表示部の出力画像７００の例である。この画像は、図６のように表示部の出力画像範囲６００に写像された画素が、画像データとして図１の表示部１２６で表示された場合に写る映像の例を示している。図４で、死角の位置に存在していた歩行者３０３及び他車両３０４が、図７においては大きく表示されている。また、自車両２０２のように、図４の仮想ミラー４０６から遠い位置に存在する物体は小さく見える。また、現実のカーブミラーが湾曲することで、広角の範囲を一度に映し出せるように設計されているのと同様に、仮想ミラー４０６も所望の曲率で湾曲しており、特に周辺部にあえて歪を加えることで広角の範囲を表示できるようになっている。このような仮想画像を自車両２０２のドライバーに提示することによって、死角の状況を、予め、死角のすぐ近くから撮像された画像として確認することができるようになるので、事故を未然に防ぐことができるようになる。
【００４０】
なお、画像受信表示装置１２０の表示部１２６において、画像送信装置１１０から送信された画像に表示を切り替える際には、事前に画像を切り替える旨予め表示してドライバーに通知してもよく、音声によって切り替わる旨を通知するようにしても構わない。また、切り替わる画像がどこの画像送信装置１１０により撮像され送信されたものであるかをナビゲーションの地図上で事前に位置を示した上で切り替えるようにしてもよい。この位置は画像撮像送信装置１１０の位置ではなく、表示される画像の仮想視点を示すようにしてもよい。また、画像送信装置１１０から送信された画像を表示中はその点が分かるように画像上に文字表示やマーク等で示してもよく、画像送信装置１１０から送信された画像と自車両にて撮像した画像とを並列または重畳して表示したり、画像送信装置１１０から送信された画像とナビゲーションの地図とを並列または重畳して表示しても構わない。画像送信装置１１０から送信された画像とナビゲーションマップとを並列または重畳して表示する場合には、表示されている画像がマップ上のどの位置で撮像されたか分かるようにマーク等で示してもよい。
【００４１】
図５のイメージセンサ部の出力画像範囲５０１から、図６の表示部の出力画像範囲６０００へ写像する変換は、上記の通り、幾何変換部１１９において実施される。ここで、このような変換の詳細について、数式を用いて以下に説明する。
【００４２】
画像送信装置１１０のイメージセンサ部１１２で撮像された画像データ上の座標を図５に示されるように(X,Y)、画像受信表示装置１２０の表示部１２６へ出力される画像データ上の座標を図６に示されるように(X2,Y2)とすると、幾何変換部１１９における幾何変換処理fallは、f1からf5の５種類の幾何変換処理を総合した処理となっており、それらは（数１）のような関係となる。
（数１）(X2,Y2)= fall (X,Y)= f5f4f3f2f1(X,Y)
ただし、f1 …光学系部の光学特性によって生じた画像の歪みを補正して、歪みの      ない画像にする、もしくは歪みが軽減された画像にするための非線形変換処理
f2 …画像送信装置１１０の位置及び方向の変化によって生じる視点の移動及び      回転を除去するための移動及び回転変換処理
f3 …仮想ミラー４０６によって生じる鏡面反転変換処理
f4 …所望の曲率を備えた仮想ミラー４０６の歪みを再現し、広角な領域を表示      するためにあえて歪みを加える非線形変換処理  
f5…仮想視点４０５の位置・方向から見た映像に変換するための、移動及び回転      変換処理
（数１）の幾何変換処理のうちf3とf4とf5は、表示したい視点の位置、方向、表示する際の画像の歪みであり、これらは図１に示した画像受信表示装置１２０から画像送信装置１１０へ送信される位置・方向情報と、画像送信装置１１０に設定された位置・方向情報より、画像受信表示装置１２０の表示に適した画像補正を行うように決定される。一方でf1とf2は、画像送信装置１１０の光学特性及び設置位置及び方向によって決定される。
【００４３】
このようにすることで、幾何変換部１１９で実施する幾何変換処理の数式を確定させることができ、適切な歪補正処理を実施することができるようになる。そのため、ドライバーの死角に当たる部分の状況を、視認しやすい形で表示することができ、事故を防止することができる。
【００４４】
また、本実施例によれば、図1において光学系部１１１にて撮影した画像を画像送信装置１１０側で幾何変換処理などの画像処理を行えるので、画像受信表示装置側１２０の処理負担とコストを低減できる。
【００４５】
本実施例においては、f1からf5の５種類の幾何変換処理を総合した幾何変換処理を例に説明したが、実際にはどのような非線形変換であってもよく、幾何変換処理の順序を入れ替えたり、幾何変換処理の一部を取り除いたり、別の幾何変換処理を加えたりしても良い。例えば、図１の信号処理部１１４内で、画像の歪を軽減したり、位置や方向のずれを正規化したりするために、f1 もしくはf2の幾何変換処理の一部を実施しても良い。その場合には、撮像された際の光学特性・位置・方向の情報については、送信される画像データに合うように送信側制御部１１６において修正したものを、撮像パラメータとして送信する。
【００４６】
以上、実施例１における画像送受信システム１００の詳細について説明したが、ここで記載した各構成の内容や変形例等については実施例１における画像送受信システム１００のみならず、他の実施例においてもその実施形態に合わせて適宜適用可能である。
【実施例２】
【００４７】
以下、本発明における実施例２について詳細に説明する。
本実施例２においても、実施例１と同様に、自車両２０２が見通しの悪い交差点に進入しようとしている場合に、ドライバーの死角の映像を予め、視認しやすいように表示するものである。実施例２では、構成及び形態についても実施例１と同様であり、構成については、実施例１の図１の車両用画像送受信システム１００と同様であり、また形態については、実施例１の図２と同様となる。手段としては、実施例１の場合と同様に、画像送信装置１１０で撮像した画像データに対して、画像送信装置１１０において適切な幾何変換処理を適用して、ドライバーにとって見やすい映像を作り出すというものであるが、実施例２では以下に示すように、作り出す映像の視点が実施例１の場合と異なり、また、その視点からの映像を作り出す幾何変換処理が実施例１の場合と異なる。以下、実施例１との相違点を主として説明する。
【００４８】
図８は、実施例２の手法を用いた場合の死角の視認方法の例を示す図である。図８の画像送信装置１１０、画像受信表示装置１２０、自車両２０２、ビル（障害物）３０１、ビル（障害物）３０２、歩行者３０３、他車両３０４、自車両の進行方向の信号３０５は、図３と同様ある。実施例１においては、図４の仮想視点４０５と仮想ミラー４０６を定義して、幾何変換処理によって、仮想視点４０５から見た映像に相当する画像を作り出したのに対して、実施例２においては、図８のように交差点の付近に仮想視点８００を定義する。仮想視点８００は、高所から地面の方向を見下ろす形に設置されていると想定し、実施例２の場合には、この仮想視点８００を画面の中心とした、上空から見下ろす視点の画像を作り出してドライバーに提示する。このとき、自車両２０２の進行方向が表示される画像の上方向となるように、必要に応じて回転方向の幾何変換をかける。上空から見下ろした映像を表示することで、ドライバーは交差点周辺の状況を、実写で予め知ることができるので、事故を未然に防ぐことができる。また、例えば仮想視点８００の位置を自車両２０２の位置に重ねても良い。
【００４９】
図８に示した仮想視点８００から見た映像は、画像受信表示装置１１０で撮像された画像データから幾何変換処理によって作り出される。以下、図８の場合の幾何変換処理の例について図９、１０を用いて説明する。
【００５０】
図９は、図８の状況で撮像された、幾何変換前の画像の座標の例を示している。イメージセンサ部の出力画像範囲５０１は、図１のイメージセンサ部１１２から出力される画像の範囲を示している。本図の例では、光学系部１１１が魚眼レンズを含む構成となっており、図４の場合と同様に、画像送信装置１１０が、信号機程度の高い位置で、光軸が鉛直下方向を向くように設置されている場合を想定している。図中の点線は、仮に地面の高さに東西・南北方向にメッシュ状の格子線が引かれていた場合に撮像される線を示しており、画像の歪みの程度を表している。光学系部１１１に魚眼レンズを使用しているので、図のように周辺部ほど画像が歪んでいる。本図の例の場合には、イメージセンサ部の出力画像５０１のＸ−Ｙ軸は、それぞれ（＋Ｘ）が北、（―Ｘ）が南、（＋Ｙ）が東、（−Ｙ）が西の方向に合うように合わせてある。イメージセンサ部の出力画像範囲５０１のうち、図８の仮想視点の座標９０５を含む範囲を幾何変換処理の対象とする。
【００５１】
図８の位置関係では、仮想視点８００は、画像送信装置１１０から見てやや北東の方角に位置している。幾何変換処理の対象となる範囲は、図９の画像データ上で９００で示される範囲（幾何変換処理範囲）となる。ここで、幾何変換処理範囲９００の端の点を、Ａ２点９０１、Ｂ２点９０２、Ｃ２点９０３、Ｄ２点９０４とする。
【００５２】
図１０は、図９の幾何変換処理範囲９００内の画素が、幾何変換処理によって、図１０の幾何変換処理範囲９００に写像された場合の、幾何変換後の画像の座標の例を示す。図９では、Ｘ３−Ｙ３軸で表され、仮想視点の座標９０５を中心として、仮想カメラの下方向が（＋Ｙ２）、上方向が（−Ｙ２）、右方向が（＋Ｘ２）、左方向が（−Ｘ２）と一致する。幾何変換処理範囲９００と重なるようにして、表示部の出力画像範囲１０００を定義する。
【００５３】
図９のＡ２点９０１、Ｂ２点９０２、Ｃ２点９０３、Ｄ２点９０４は、図１０のＡ２点９０１、Ｂ２点９０２、Ｃ２点９０３、Ｄ２点９０４に写像される。また、仮想視点の座標９０５は、幾何変換処理範囲９００の中心となる。
【００５４】
図１１は、表示部１２６の出力画像１１００の例である。この画像は、図１０のように表示部の出力画像範囲１０００に写像された画素が、画像データとして図１の表示部１２６で表示された場合に写る映像の例を示している。このような仮想画像を自車両２０２のドライバーに提示することによって、死角の状況を、予め、上空から撮像された画像として確認することができるようになるので、事故を未然に防ぐことができるようになる。なお、実施例１で示した出力画像７００と本実施例の出力画像１１００とは両者を並べて表示しても、表示切替手段により表示画面上で切り替えるようにしてもよい。
【００５５】
図９のイメージセンサ部の出力画像範囲５０１から、図１０の表示部の出力画像範囲９００へ写像する変換は、幾何変換部１１９において実施される。このような変換について、数式を用いて以下に説明する。
【００５６】
画像送信装置１１０のイメージセンサ部１１２で撮像された画像データ上の座標を図９に示されるように(X,Y)、幾何変換部１１９で処理される画像データ上の座標を図１０に示されるように(X3,Y3)とすると、幾何変換部１１９における幾何変換処理fall2は、f1, f2, f6, f7の４種類の幾何変換処理を総合した処理となっており、それらは（数２）のような関係となる。
（数２）  (X3,Y3)= fall2 (X,Y)= f7f6f2f1(X,Y)
ただし、
f1 …光学系部の光学特性によって生じた画像の歪みを補正して、歪みのない画      像にする、もしくは歪みが軽減された画像にするための非線形変換処理
f2 …画像送信装置１１０の位置及び方向の変化によって生じる視点の移動及び      回転を除去するための移動及び回転変換処理
f6 …仮想視点４０５の位置・方向から見た映像に変換するための、移動及び回      転変換処理
f7 …透視投影変換処理または、平行投影変換処理
（数２）の幾何変換処理のうちf6とf7は、表示したい視点の位置、方向、投影方法であり、図１の画像受信表示装置１２０の位置・方向検出部１２７によって得られる自車両の位置・方向の情報より決定される。一方で、f1とf2は、画像送信装置１１０の位置・方向設定部１１８ａに設定された画像送信装１１０の設置位置及び方向及び光学歪特性が設定された歪情報設定部１１８ｂの情報よって決定される項目である。
【００５７】
このようにすることで、幾何変換部１１９で実施する幾何変換処理の数式を確定させることができ、適切な歪補正処理を実施することができるようになる。そのため、ドライバーの死角に当たる部分の状況を、視認しやすい形で表示することができ、事故を防止することができる。
【実施例３】
【００５８】
以下、本発明における実施例３について詳細に説明する。
本実施例３においても、実施例１，２と同様に、自車両２０２が見通しの悪い交差点に進入しようとしている場合に、ドライバーの死角の映像を予め、視認しやすいように表示するものである。また、形態についても、実施例１，２の図２と同様となる。
【００５９】
図１２は、本実施例３における画像送受信システム１２００を示す構成図である。
図１２において、画像送受信システム１２００は、画像送信装置１１０１と、画像受信表示装置１２０１とを適宜用いて構成される。画像送信装置１１０１における、光学系部１１１とイメージセンサ部１１２とを適宜用いて構成される撮像部１０９、信号処理部１１４、幾何変換部１１９、画像圧縮部１１５、送信制御部１１６、位置・方向設定部１１８ａ、歪情報設定部１１８ｂ、送受信部１１７は図１と同様であり、また、画像受信表示装置１２０１における、送受信部１２１、画像複合部１２３、表示部１２６、位置・方向出力部１２７、受信制御部１２５についても図１と同様のものである。一方、画像送信装置１１０１における画像認識部１１９１、画像受信表示装置１２０１における画像合成部１２０４は本実施例３にて新たに追加される構成である。
【００６０】
画像認識部１１９１は、幾何変換部１１９でイメージセンサ部１１２の画像歪を補正した画像の中に、人や交差点に接近する自転車や自動車、バイクなど対象物を、パターンマッチング（とくにこの手法に限定はしない）などの手法で認識し、イメージセンサ部１１２の画像歪を補正した画像の中の対象物の位置や、またはその位置から割り出される地図上の対象物の位置を送受信部１１７を介して画像受信装置１２０１に無線通信にて送信する。
【００６１】
図１２の画像受信表示装置１２０１は、実施例２の図１の画像受信表示装置１２０に、受信画像処理部１２０２として画像合成部１２０４を追加した構成となっている。
【００６２】
受信制御部１２５は、画像送信装置１１０１の画像認識部１１９１で認識された人や交差点に接近する自転車や自動車、バイクなどの対象物の画像の中の位置やまたはその位置から割り出される地図上の対象物の位置を送受信部１１７、送受信部１２１を経由して画像合成部１２０４へ設定し、認識した物体を強調表示するように表示制御する。強調表示の内容は後述する。
【００６３】
本実施例では、実施例２の場合と同様に、画像送信装置１１０１で撮像した画像データに対して、適切な幾何変換処理を適用して、ドライバーにとって見やすい映像を作り出すという手法であるが、画像認識処理の結果を画像データと合成して出力するという点で、実施例２の手法と異なる。実施例３においては、幾何変換後の画像データを元に、画像認識処理によって歩行者や車両などの衝突の危険がある対象物（走行障害物）を発見し、画像合成処理によって合成する。このようにすることで、実施例２の場合ように単に幾何変換処理された実画像の画像データを表示する場合よりも、より歩行者や車両などをドライバーにとって見やすいように表示することができる。
【００６４】
本実施例においては、画像認識部１１９１の入力として、幾何変換部１１９の出力画像データを用いているので、幾何変換部１１９において、適切な幾何変換処理を実施した後の画像データを用いて画像認識処理を実施するようにしており、幾何変換処理前の画像を用いる場合と比べて、画像の歪や方向による影響を減少させることができるので、画像認識側に特別の処理を行うことなく画像認識できる。
【００６５】
また、本実施例によれば、図１２において光学系部１１１にて撮影した画像を画像送信装置１１０側で幾何変換処理などの画像処理を行えるので、画像受信表示装置側１２０１の処理負担とコストを低減できる。
【００６６】
以下、画像認識処理及び画像合成処理について、図１６を用いて説明する。図１６は、実施例２の図８と同じ位置関係で交差点の周辺を撮像した場合の、表示部１２６の出力画像１７００である。図１２の幾何変換部１１９の出力は、図１１のような画像データとなっている。画像認識部１１９１は、図１１の画像データから、歩行者１７０１と他車両１７０２を画像認識によって抽出し、それぞれの抽出位置に歩行者の枠線及び他車両の枠線１７０４を画像合成部１２０４にて合成し、表示部１２６に強調表示する。
【００６７】
ドライバーにとっては、図１１の画像のような実画像のみを見る場合よりさらに、図１６の画像のように衝突の危険性のある物体（走行障害物）が歩行者の枠線１７０３及び他車両の枠線１７０４のように強調表示された画像を見る方が、歩行者や車両を認識しやすく、ドライバーにとって死角の危険な状況を認知しやすく、事故を防止しやすくなる。なお、図１６の例で示される枠線１７０１，１７０４は点線枠であるが、特にこれに限られず、種々変更可能である。
【００６８】
また、図１１の歩行者３０３や他車両３０４などの走行障害物の実画像に着色したり、走行障害物の実画像のエッジが太くなるように画像処理によって強調（強調表示）したり、走行障害物の実画像と共に、走行障害物の周囲に矩形の枠線をつけるなどして表示しても良い。このような手法によっても、ドライバーが地図上で、走行障害物を視認できるので、事故を防止しやすくできる。また、上空視点だけでなく、任意の視点からの映像としてよい。
【００６９】
また、上記では、図１６のように、上空視点の映像として表示していたが、図１２の幾何変換部１１９において、実施例１の図４，５，６，７を用いて説明したような幾何変換処理を実施することも可能である。その場合には、例えば、幾何変換部１１９の出力画像データが図７のような画像データとなり、例えば、図１６の表示部の出力画像１７００として示すように、画像認識によって認識された走行障害物を強調表示し（１７０１，１７０２）、さらに走行障害物の周辺に枠線１７０３，１７０４を重畳した画像を表示することができる。
【実施例４】
【００７０】
以下、本発明における実施例４について詳細に説明する。
図１４は、本発明の実施例３における車両用画像送受信システム１４００を示す構成図である。
車両用画像送受信システム１４００は、画像送信装置１１０２と、画像受信表示装置１４０１とを適宜用いて構成される。画像送信装置１１０２において、光学系部１１１、イメージセンサ部１１２とを適宜用いてなる撮像部１０９と、信号処理部１１４、送信制御部１１６、位置・方向設定部１１８ａ、歪情報設定部１１８ｂは図１２の画像送信装置１１０１と同様である。また、図１４の画像受信表示装置１４０１において、位置・方向出力部１２７と、受信制御部１２５、表示部１２６は図１２の画像受信表示装置１４０１と同様である。
【００７１】
図１４においては、信号処理部１１４の光学系の歪を持った画像をそのまま画像認識部１１９２に入力する。送信制御部１１６は、画像認識部１１９２に歪情報設定部１１８ｂの情報と、位置・方向設定部１１８ａの情報を送る。画像認識部１１９２では受け取った光学歪情報を元に歪んだ画像の中から人や接近する自転車、自動車などの物体を認識処理し、さらに認識した物体の位置・種類（人・自転車・自動車など）を割り出して送信部１１７１を介して無線通信にて、画像受信表示装置１４０１に送る。このように構成すれば、画像送信装置１１０２において、幾何変換処理が必要なくなるため画像送信装置１１０２のコストを抑えることができる。
【００７２】
図１４の画像受信表示装置１４０１では、受信制御部１２５は受信部１２１１で受信した前記認識した物体の位置、及び種類の情報を受け取り、自車両の位置・方向出力部１２７より得られる自車両の位置・方向データを元に、地図データ出力部１４０３から得られる自車両の位置を示す、いわゆるカーナビゲーションでの表示地図上に、前記認識した物体を重畳表示する。
【００７３】
以下、本実施例における、地図データ出力部１４０３の出力画像データ及び画像合成処理について、図１５を用いて説明する。図１５は、実施例３の図１１と同じ位置関係で交差点の周辺を撮像した場合の、表示部１２６の出力画像１５００である。地図データ出力部１４０３から出力される地図データには、図１５に示される地図データ（道路）１５０１、地図データ（ビル名）１５０２、地図データ（ビル名）１５０３など、地図記号や線や文字やその他の図形が含まれる。また、図１４の画像認識部１２０３の出力である画像認識結果には、自車両アイコン１３０３、歩行者アイコン１３０２、他車両アイコン１３０３が含まれる。画像合成部１４０４では、画像認識結果と、地図データが合成されるので、例えば図１５のような画像データが出力される。
【００７４】
実施例４では、図１４の画像のように衝突の危険性のある物体（走行障害物）が歩行者アイコン１３０２及び他車両アイコン１３０３のようなアイコンに置き換えられた画像を見せるので、ドライバーは、死角の危険な状況を認知しやすい。また、背景に実画像の代わりに地図データを用いることで、歩行者や車両など以外の、比較的衝突の危険性の少ない物体を表示から除外したり、簡易グラフィックとして表示したりできるので、衝突の危険性のある対象物（走行障害物）を目立つように表示することができる。
【００７５】
また、本実施例によれば、画像送信装置１１０２と画像受信装置１４０１間において、複雑なコマンドを送受信することなく、画像送信装置１１０２側で認識した物体の位置情報を画像受信装置１４０１への一方向の通信制御を行えばよいので、通信プロトコルを単純化でき、送受信による時間遅延などを抑えることができるし、画像データそのものではなく認識した物体の位置情報のみを送信するので送信に要する情報量が少なく、送信帯域幅を節約できる。
【００７６】
このような手法によっても、実施例２のように実画像をそのまま表示する場合よりも、ドライバーにとっての視認性が向上するので、事故を防止しやすくできる。なお、図１５の例で示される「アイコン」は絵記号であるが、絵記号だけでなく、絵文字・文字・図形・矩形の枠線など、他の表現方法を用いても良いとする。また、画像合成部１４０４では、上記説明したように画像認識処理結果をアイコンや絵文字や文字や図形や枠線などに置き換える、という方法だけでなく、幾何変換部１１９の出力画像データに、画像認識結果を重畳するという方法を用いてもよい。
【００７７】
また、地図データは３次元のデータであってもよい。地図データを用いることで、ドライバーが自車両２０２の現在位置を把握できる。一般のカーナビゲーションシステムと同様に、行き先までの経路を地図上に表示して、経路をドライバーが把握できるようにしても良い。
【００７８】
また、図１８に実施例４の別構成例を示す。図１８において、先に説明した図１４における構成に、幾何変換部１１９ａがある点で異なっている。本構成幾何変換１１９ａにおいて光学歪を除いたもので画像認識するので、画像認識処理部はレンズ歪を考慮しない一般的なものを使用可能である。
【実施例５】
【００７９】
以下、本発明における実施例５について詳細に説明する。
図１３は、本発明の実施例３における車両用画像送受信システム１３００を示す構成図である。
車両用画像送受信システム１３００は、画像送信装置１１０３と、画像受信表示装置１３０１とを適宜用いて構成される。画像送信装置１１０３は、実施例４の図１２の画像送信装置１１０１と同様の構成である。
【００８０】
図１３の画像受信表示装置１３０１において、送受信部１２１、画像復号部１２３、受信制御部１２５、位置・方向出力部１２７、表示部１２６は図１２に示したものと同様である。本実施例では、画像送信装置１１０３より伝送された画像データを送受信部１２１で受信し、画像復号部１２３にて復号した出力に、図１６に示したような認識結果を枠線で強調表示した画像が画像合成部１３０４で重畳される（これを強調表示画像という）。さらに画像送信装置１１０３にて認識した人や自転車、自動車などの対象物の位置を受信部１２１で受信し、受信制御部１２５は位置・方向出力部１２７で得た自車両の位置から求められる地図データが地図データ出力部１３０３より画像合成部１３０３に入力され、さらに画像送信装置１１０３からの認識した物体の位置情報をもとに、地図データ出力部の地図情報にアイコンを重畳した画像が画像合成部１３０４で作られる（これを地図データ重畳画像という）。これら強調表示画像と地図データ重畳画像を画像合成部の出力として切り替え制御を受信制御部１２５が行う。例えば画像受信表示装置１３０１を搭載した自車両が、画像送信装置１０４から遠くの位置にある場合は地図データ重畳画像を表示し、画像送信装置１０４に近づいてきた場合強調表示画像に適宜切り替えて表示制御を行うことによって、自車両２０２（図１６）が交差点から遠い位置にいるときには、地図上に自車両の現在位置や経路までの情報を出力して利便性を高めることができる。また一方で自車両２０２が交差点から近い位置にいるときには、地図よりも情報量の多い表示形式である実画像として表示することで、ドライバーが交差点周辺の状況を予め、より詳細に認知することができることができるようになる。つまり、実施例５の手法のよると、利便性と安全性の両方を同時に得ることができる。
【００８１】
なお、本発明は上記した実施例に限定されるものではなく、様々変形可能である。例えば、画像受信表示装置では常に画像送信装置から送信されるデータを受信しなくてもよく、画像受信表示装置側に受信のON/OFFが設定可能な受信設定手段を備え、ONの場合のみ受信するようにしてもよく、表示画面等の設定モードの切替に応じて自動的に受信のON/OFFの設定が切り替わるようにしても構わない。また、画像送信装置が複数ある場合には一番近い画像送信装置から送信されるデータを優先的に用いてもよく、各画像送信装置から送信されるデータを適宜用いて図１５の地図表示に反映させたり、それぞれの画像を並べて表示、合成して表示等しても構わない。
【００８２】
上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を適宜加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００８３】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００８４】
１００  車両用画像送受信システム
１１０  画像送信装置
１１１  光学系部
１１２  イメージセンサ部
１１３  送信画像処理部
１１４  信号処理部
１１５  画像圧縮部
１１６  送信側制御部
１１７  送受信部
１１８ａ  位置・方向設定部
１１８ｂ  歪情報設定部
１１９  幾何変換部
１２０  画像受信表示装置
１２１  送受信部
１２２  受信画像処理部
１２３  画像復号部
１２５  受信制御部
１２６  表示部
１２７  位置・方向検出部
２００  支柱
２０１  信号機
２０２  自車両
３０１  ビル（障害物）
３０２  ビル（障害物）
３０３  歩行者
３０４  他車両
３０５  自車両の進行方向の信号
３１０  従来のカーブミラー
３１１  光軸
４０５  仮想視点
４０６  仮想ミラー
４０７  仮想光軸
５０１  イメージセンサ部の出力画像範囲
５０２  イメージセンサ部鉛直方向の座標
５０３  仮想視点の座標
５０４  幾何変換処理範囲
５０５  Ａ点
５０６  Ｂ点
５０７  Ｃ点
５０８  Ｄ点
６００  表示部の出力画像範囲
７００  表示部の出力画像
９００  幾何変換処理範囲
９０１  Ａ２点
９０２  Ｂ２点
９０３  Ｃ２点
９０３  Ｄ２点
１０００  表示部の出力画像範囲
１１００  表示部の出力画像
【図１】
2014089620.tif 000003
【図２】
2014089620.tif 000004
【図３】
2014089620.tif 000005
【図４】
2014089620.tif 000006
【図５】
2014089620.tif 000007
【図６】
2014089620.tif 000008
【図７】
2014089620.tif 000009
【図８】
2014089620.tif 000010
【図９】
2014089620.tif 000011
【図１０】
2014089620.tif 000012
【図１１】
2014089620.tif 000013
【図１２】
2014089620.tif 000014
【図１３】
2014089620.tif 000015
【図１４】
2014089620.tif 000016
【図１５】
2014089620.tif 000017
【図１６】
2014089620.tif 000018
【図１７】
2014089620.tif 000019
【図１８】
2014089620.tif 000020