(57)【要約】【課題】自車両から見て死角となる位置に潜む他車両や歩行者に対するドライバーの認識を早める画像受信表示装置と画像送受信システムを提供する。【解決手段】路上など、自車両外に設置されたカメラを用いて撮像された映像と、当該映像に係る撮像パラメータを受信し、当該映像パラメータに基づいて前記映像を幾何変換して自車両外の所定位置から見た場合の映像に変換し、ドライバーに対して表示部に表示する。前記画像受信表示装置で表示する画像撮像送信装置は、画像データと画像データが撮像された際の状況を示す前記撮像パラメータを、前記画像受信装置へ送信する。【選択図】図１
2013201707.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得た画像の画像データと、当該画像が撮像された際の状況を示す撮像パラメータを受信して、前記画像データに基づく画像を表示する画像受信表示装置であって、
前記画像データと前記撮像パラメータとを受信する受信部と、
当該受信部が受信した画像データを供給され、当該画像データに対し幾何変換を含む画像処理を施して出力する幾何変換部と、
当該幾何変換部が出力した画像データに基づく画像を表示する表示部と、
前記受信部が受信した撮像パラメータを供給され、当該撮像パラメータに基づき前記幾何変換を含む画像処理を行うよう前記画像処理部を制御する受信制御部と
を有することを特徴とする画像受信表示装置。
【請求項２】
請求項１に記載の画像受信表示装置において、
当該画像受信装置は移動体に搭載される画像受信装置であり、前記受信部は前記画像データと前記撮像パラメータとを無線通信路を介して受信することを特徴とする画像受信表示装置。
【請求項３】
請求項１に記載の画像受信表示装置において、
前記撮像パラメータは、前記受信部が受信した画像データが有する光学的な画像の歪みを表す情報を含んでおり、
前記受信制御部は、当該情報に基づき、前記幾何変換部を制御することを特徴とする画像受信表示装置。
【請求項４】
請求項１に記載の画像受信表示装置において、
前記撮像パラメータは、前記画像データが撮像された際の位置と方向に係る情報を含んでおり、
前記受信制御部は、当該情報に基づき、前記幾何変換部を制御することを特徴とする画像受信表示装置。
【請求項５】
請求項４に記載の画像受信表示装置において、
当該画像受信表示装置自身の位置と方向に係る情報を検出して出力する、位置と方向の出力部を備え、
前記受信制御部は、前記画像データが撮像された際の位置と方向に係る情報と、前記画像受信表示装置が備える位置と方向の出力部から出力された位置と方向の情報との双方の情報に基づき、前記幾何変換部を制御することを特徴とする画像受信表示装置。
【請求項６】
請求項５に記載の画像受信表示装置において、
前記受信制御部は、前記受信部が受信した画像データを、前記画像受信装置の位置とは異なる位置の仮想視点より前記画像受信装置の位置とは異なる位置に仮想的に設けられた仮想ミラーを見た場合の画像データに変換するよう、前記幾何変換部を制御することを特徴とする画像受信表示装置。
【請求項７】
請求項５に記載の画像受信表示装置において、
前記受信制御部は、前記受信部が受信した画像データを、前記画像受信装置の位置とは異なる位置の仮想視点より地上の方向を見下ろした場合の画像データに変換するよう、前記幾何変換部を制御することを特徴とする画像受信表示装置。
【請求項８】
請求項１に記載の画像受信装置と、
被写体を撮像して得た画像の画像データを生成し、当該画像が撮像された際の状況を示す撮像パラメータを生成して、前記画像受信装置へ送信する画像撮像送信装置と
を有する画像送受信システムであって、
前記画像撮像送信装置は、
前記被写体を撮像して得た画像の画像信号と、当該画像を撮像した際の光学的な状況に係る情報とを出力する撮像部と、
当該撮像部が出力した画像信号を処理して、送信する画像データを出力する送信画像処理部と、
前記撮像送信装置自身の位置と方向に係る情報を検出して出力する、位置と方向の出力部と、
前記光学的な状況に係る情報と前記位置と方向に係る情報とが供給され、双方を前記撮像パラメータとして出力する送信制御部と、
前記送信画像処理部が出力した画像データと、前記送信制御部が出力した撮像パラメータとが供給され、双方を前記画像受信装置へ送信する送信部と
を有することを特徴とする画像送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像受信表示装置、及び画像送受信システムに係り、特に、自車両が近づく前から死角の状況をドライバーに画像表示する画像受信表示装置、及び画像送受信システムに関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特許文献１がある。該公報には、『車両前方の画像を撮像する撮像手段と、前記撮像手段で撮像された画像を、カーブミラーの湾曲形状に対応させて画像処理を行う画像処理手段と、前記画像処理手段が画像処理した画像を、カーブミラーを模した図形中のミラー部分に表示する表示手段と、を備えることを特徴とする表示制御装置』と記載されている（請求項１参照）。ここで「撮像手段」については、該公報の実施例には、『車体に取り付けられた撮像手段としてのカメラ』（段落００１９参照）と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４３２１２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の運転においては、自車両から見て死角に当たる位置に潜む他車両や歩行者の認識が遅れるために事故が発生することがあり、例えば見通しの悪い交差点などで事故が発生しやすくなっている。
特許文献１では、自車両の車体（特に最前部）にカメラを設置することになるので、例えば見通しの悪い交差点では、車体が交差点に差し掛かる程度まで自車両を進めなければ、交差点の左右の状況をカメラで撮像することができず、認識が遅れる。
そこで、本発明の実施例では、自車両が近づく前から死角の状況をドライバーに画像表示する画像受信表示装置、及び画像送受信システムを提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
【発明の効果】
【０００６】
本発明によれば、自車両が近づく前から死角の状況をドライバーに画像表示する画像受信表示装置、及び画像送受信システムを提供でき、事故防止に貢献できるという効果がある。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施例１における車両用画像送受信システムの構成図。
【図２】本発明の実施例１における車両用画像送受信システムの形態の例を示す図。
【図３】従来のカーブミラーを用いて死角を写した場合の交差点周辺の位置関係の例を示す図。
【図４】本発明の実施例１における交差点周辺の位置関係の例を示す図。
【図５】本発明の実施例１における受信された画像データの幾何変換前の座標を示す図。
【図６】本発明の実施例１における受信された画像データの幾何変換後の座標を示す図。
【図７】本発明の実施例１における出力画像の例を示す図。
【図８】本発明の実施例２における交差点周辺の位置関係の例を示す図。
【図９】本発明の実施例２における受信された画像データの幾何変換前の座標を示す図。
【図１０】本発明の実施例２における受信された画像データの幾何変換後の座標を示す図。
【図１１】本発明の実施例２における出力画像の例を示す図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態につき図面を用いて説明する。
【実施例１】
【０００９】
以下、本発明における実施例１について詳細に説明する。
図１は、本発明の実施例１における車両用画像送受信システム１００を示す構成図である。
車両用画像送受信システム１００は、画像撮像送信装置１１０と、画像受信表示装置１２０を有する。
【００１０】
画像撮像送信装置１１０は、路上または他車両など、自車両以外の場所に設置された装置で、周辺の画像を広角撮像した画像データと、その画像データが撮像された時の状況を示す撮像パラメータというデータを、画像受信表示装置１２０に無線伝送する装置である。撮像パラメータについては、後に詳しく説明する。
画像撮像送信装置１１０は、光学系部１１１、イメージセンサ部１１２、信号処理部１１４、画像圧縮部１１５、位置・向き出力部１１８、送信制御部１１６、送信部１１７を有する。
【００１１】
光学系部１１１は、装置周辺の広角な範囲の光学像がイメージセンサ部１１２のセンサ面に結像されるように構成された光学系である。光学系部１１１の実際の構成としては、例えば光学系に魚眼レンズを含ませて広角な範囲の光学像を結像させる構成をとることができる。この構成の場合には、カメラの光軸に近い部分（中央部分）では歪が少なく、周辺ほど歪が大きい光学像が得られる。光学像の歪みの程度は、光学系部１１１全体の光学特性によって決定される。本実施例においては、魚眼レンズを用いた構成の場合を例に説明するが、光学系部１１１がどのような構成であっても、本実施例の手法を適用できる。
【００１２】
イメージセンサ部１１２は、光学系部１１１によって結像された光学像を光電変換し、Ａ／Ｄ変換してデジタルデータである画像データとして信号処理部１１４に出力する。前記光学系部１１１によって生じた光学像の歪みは、出力される画像データに画像の歪みとして継承される。
信号処理部１１４は、画像データに、必要に応じて黒レベル補正、ホワイトバランス補正、デモザイキング、ガンマ補正などの一連の処理をして、生成された画像データを画像圧縮部１１５に出力する。
画像圧縮部１１５は、画像データを画像圧縮して、送信部１１７に出力する。
【００１３】
位置・向き出力部１１８は、画像撮像送信装置１１０が設置された位置と方向を示す情報を、送信制御部１１６に出力する。位置と方向の確認方法はどのようなものであっても良いが、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  ＳＹｓｔｅｍ）を用いて位置を検出する方法、磁気センサによって方位を検出する方法、信号処理部１１４の出力画像データから画像認識によって求める方法、設置時に手動で入力する方法などを用いることができるが、上記以外の方法でもよい。
送信制御部１１６は、光学系部１１１の光学特性に関する情報を光学系部１１１から受け取り、また画像撮像送信装置１１０が設置された位置と方向を示す情報を位置・向き出力部１１８から受け取り、双方を撮像されたときの状況を示す撮像パラメータと呼ばれるデータとして、送信部１１７に出力する。
送信部１１７は、画像圧縮部１１５から出力された画像データと、送信制御部１１６から出力された撮像パラメータを無線送信する。
【００１４】
送信画像処理部１１３は、信号処理部１１４、画像圧縮部１１５を有する。一般的には、無線伝送に必要な帯域を節約できるので、送信前に画像圧縮を行うが、回路の簡単化などのために画像圧縮を行わない場合も考えられる。その場合には、送信画像処理部１１３の構成要素から画像圧縮部１１５を削除して、信号処理部１１４の出力をそのまま送信部１１７に出力する構成とすることもできる。この場合は圧縮部のコストを節約できる。また、送信画像処理部１１３の内部に、画像認識などその他の画像処理を施す要素を追加した構成としてもよい。また、信号処理部１１４の内部に、画像データの歪を軽減するような幾何変換処理を施す要素を追加した構成としてもよい。信号処理部１１４の内部に画像の歪みを変化させる幾何変換処理を適用した場合には、送信される画像データの歪みの程度を表すように、前記撮像パラメータ内に記述される画像の歪みの程度を表す情報を、送信制御部１１６内部で適宜補正して送信するようにする。
【００１５】
画像受信表示装置１２０は、自車両に設置された装置で、画像撮像送信装置１１０から無線伝送された画像データに、同じく無線伝送された撮像パラメータに基づく画像処理を施して、ドライバーに対して画像表示する装置である。
画像受信表示装置１２０は、受信部１２１、画像復号部１２３、幾何変換部１２４、受信制御部１２５、表示部１２６、位置・向き出力部１２７を有する。
受信部１２１は、画像撮像送信装置１１０から無線伝送された画像データを画像復号部１２３に出力する。また、受信部１２１は、画像撮像送信装置１１０から無線伝送された撮像パラメータを受信制御部１２５に出力する。
画像復号部１２３は、受信部１２１から出力された画像データを復号して幾何変換部１２４に出力する。
【００１６】
位置・向き出力部１２７は、画像受信表示装置１２０の位置と方向、もしくはその位置と方向から推定される自車両のドライバーの乗車位置と方向を示す情報を、受信制御部１２５に出力する。位置、向きの確認方法はどのようなものであっても良く、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  ＳＹｓｔｅｍ）を用いて位置を検出する方法、加速度センサを用いて位置の変化を検出する方法、磁気センサによって方位を検出する方法などを用いることができるが、上記の方法以外でもよい。
受信制御部１２５は、受信部から出力された撮像パラメータを、幾何変換部１２４に出力する。
幾何変換部１２４は、受信制御部１２５から出力された撮像パラメータと、位置・向き出力部１２７から出力された前記位置と方向に基づいた幾何変換処理を実施して、所望の幾何特性を持った映像を作り出して、表示部１２６に出力する。
表示部１２６は、幾何変換部１２４から出力された画像データに基づく画像を表示する。
【００１７】
受信画像処理部１２２は、例えば画像復号部１２３、幾何変換部１２４を有する。一般的には、無線伝送の帯域を節約できるので、送信前に画像圧縮を行うが、回路の簡単化などのために画像圧縮を行わない場合も考えられる。その場合には、受信画像処理部１２２から画像復号部１２３を削除して、受信部１２１の出力をそのまま幾何変換部１２４に出力する構成とすることもできる。この場合は画像復号部１２３の回路コストを抑えるとともに、圧縮画像を復号した場合の画質劣化を防ぐことができる。また、受信画像処理部１２２の内部に、画像認識などその他の画像処理を施す要素を追加した構成としてもよい。また、受信画像処理部１２２の内部に、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）のための表示画面を重畳するための要素を追加した構成としてもよい。
【００１８】
以上、図１を用いて説明した通り、画像撮像送信装置１１０は、画像データと共に撮像パラメータというデータを送信し、画像受信表示装置１２０は、撮像パラメータに基づいて画像データに幾何変換処理を適用する。画像受信表示装置１２０では、この撮像パラメータを幾何変換処理に活用することによって、画像撮像送信装置１１０によって生じる画像の歪みを処理して、任意の望ましい映像を表示することができるようになる。
【００１９】
図２は、車両用画像送受信システム１００の形態の例を示す図である。この図は、自車両２０２が交差点に進入しようと前進している時の様子を、自車両の後方から見た図である。この図では、図１で示した画像撮像送信装置１１０は例えば路上に固定されており、図１で示した画像受信表示装置１２０は、自車両２０２に搭載されている。
この図では、画像撮像送信装置１１０は、信号機２０１に対して支柱２００を共有する形で、高い位置に設置されている。このような高い位置から広角の映像を撮像することで、交差点周辺の状況を広い範囲で撮影することができるようになる。画像撮像送信装置１１０は、建築物に固定されていたり、自車両以外の車両に設置されていたり、飛行機に搭載されているなど、図２で示す以外の場所に設置されていても良い。
【００２０】
画像受信表示装置１２０は自車両２０２に搭載されるが、特に表示部１２６は、ドライバーにとって見やすい位置に設置される。表示部１２６は、例えば車載カーナビゲーションシステムなど他の車載機器のディスプレイと共有される形態や、フロントガラスの一部に投影される形態など、どのように設置されても良い。
以上説明したように、図１の車両用画像送受信システム１００は、図２のような形態で、例えば路上及び車両に別れて設置される。本実施例においては、画像撮像装置１１０でドライバーの死角の状況を含んだ映像を撮像し、その映像を画像受信表示装置１２０で、ドライバーにとって見やすいように加工して表示することができる。このため、ドライバーは死角の状況を把握しやすくなり、事故を未然に防止できる。
次項からは、具体的に見通しの悪い交差点を例に示し、死角の状況を確認する手法に関し、従来の手法の課題と本実施例の優位性について説明する。
【００２１】
図３は、カーブミラーを見通しの悪い交差点に設置することで、自車両から死角の状況を確認するという従来の手法の例を示す図である。本図では、自車両２０２が前進して、交差点に進入する直前を示している。歩行者３０３や他車両３０４は、自車両２０２のドライバーから見て、ビル（障害物）３０１、３０２の死角の位置にあたるとする。もし自車両の進行方向の信号３０５が青色であったとしても、歩行者３０３が無理な横断をする場合があり、他車両３０４が信号を見落として直進してくる場合があるなど、危険な状況に巻き込まれる可能性がある。しかし、死角で発生している危険な状況を、自車両２０２のドライバーが予め肉眼で危険を認識することはできない。
【００２２】
このような状況をドライバーに見せるための従来の方法として、例えばカーブミラー３１０を設置する方法がある。しかし、図３のようにカーブミラー３１０と自車両２０２が離れている状況では、自車両２０２のドライバーから、カーブミラー３１０越しに見える交差点の状況は小さく写るため、ドライバーが死角の状況を認識するのは難しい。また、カーブミラー３１０の設置位置に関しても、当然、サイズや位置や角度など物理的な制約があるため、ドライバーから視認しやすい位置を自由に選んで配置することはできない。
また、特許文献１の手法であっても、自車両２０２の、特に最前部にカメラを設置することになるので、車体が交差点に差し掛かる程度まで自車両を進めなければ、交差点の左右の状況をカメラで撮像することができず、認識が遅れるという問題がある。
【００２３】
図４は、本実施例の手法を用いた場合の死角の視認方法の例を示す図である。図３の場合と同じ条件で、交差点の付近に自車両２０２、歩行者３０３、他車両３０４、ビル（障害物）３０１、３０２が存在している。また、図４では、自車両の進行方向の信号３０５に対し、図２の信号機２０１に対すると同様に画像撮像送信装置１１０が搭載され、自車両２０２に図２と同様に画像受信表示装置１２０が搭載されている。本実施例においては、画像撮像送信装置１１０で撮像した画像データを元に、画像受信表示装置１２０において、死角の状況をドライバーに視認しやすい形に幾何変換して提供する。
まず、図４において、画像撮像送信装置１１０は、高所に設置された広角のカメラであるとして、自車両２０２、歩行者３０３、他車両３０４、ビル（障害物）３０１、３０２を、すべて撮像できる画角で設置されているとする。つまり、画像撮像送信装置１１０で撮像した画像データには、自車両２０２のドライバーにとっての死角に関する情報が含まれている。
【００２４】
画像撮像送信装置１１０で撮像した映像を、ドライバーにとって死角の状況を確認しやすい映像に変換するために、本実施例においては、まず仮想ミラー４０６と仮想視点４０５を定義する。仮想ミラー４０６とは、所定の曲率を持った仮想的なカーブミラーで、それが例えば、図４に示す位置で車道上に設置されていると想定する。この仮想ミラー４０６の曲率、位置、方向、大きさは任意に設定できる。仮想視点４０５とは、仮想ミラー４０６に映った像を撮像する仮想的なカメラで、それが例えば図４に示す位置に設置されていると想定する。仮想視点４０５の位置は、任意に設定できるが、方向に関しては、仮想ミラー４０６の方向を向いているとする。本実施例では、仮想視点４０５及び仮想ミラー４０６を想定し、仮想光軸４０７に示すように歩行者３０３、他車両３０４を含む広角の周囲の状況をドライバーが認識できるようにする。このために、仮想ミラー４０６で反射されて仮想視点４０５で撮像された画像を、ドライバーに対し交差点の死角を未だ直視できない時点において、画像受信表示装置１２０（図１あるいは図２）の表示部１２６（図１）に表示するものである。
【００２５】
本実施例では、画像撮像送信装置１１０で撮像された実際の画像データに、画像受信表示装置１２０の幾何変換部１２４において幾何変換処理を施し、このような仮想視点４０５で撮像された映像と幾何学的に対応する画像データを作り出して表示する。図４の例では、仮想視点４０５は、自車両２０２の進行方向に位置し、自車両２０２の進行方向を映し出す向きで存在しているので、自車両が仮想視点４０５の地点に差し掛かった際に仮想ミラー４０６を見た場合に、ドライバー席から見える風景を表示していることになり、ドライバーにとって位置関係を把握しやすい。また、自車両２０２よりも交差点に近い位置を視点とすることができるので、死角の状況を、予め大きな映像で確認することができる。そのため、事故を未然に防ぐことができるようになる。
【００２６】
図４に示した仮想視点４０５から見た映像は、画像撮像送信装置１１０で撮像された画像データに基づき、画像受信表示装置１２０における幾何変換処理を介したうえで、表示部１２６に表示される。
以下、図４の場合の幾何変換処理の例について図５、図６を用いて説明する。
図５は、図４の状況で撮像された、幾何変換前の画像の座標の例を示している。イメージセンサ部の出力画像範囲５０１は、図１のイメージセンサ部１１２から出力される画像の範囲を示している。本図の例では、光学系部１１１が魚眼レンズを含む構成となっており、図４の場合と同様に、画像撮像送信装置１１０が、信号機程度の高い位置で、光軸が鉛直下を向くように設置されている場合を想定している。図中の破線は、仮に地面の高さに東西、南北方向にメッシュ状の格子線が引かれていた場合に撮像される線を示しており、画像の歪みの程度を表している。光学系部１１１に魚眼レンズを使用しているので、図のように周辺部ほど画像が歪んでいる。本図の例の場合には、イメージセンサ部の出力画像５０１のＸ−Ｙ軸は、それぞれ（＋Ｘ）が北、（−Ｘ）が南、（＋Ｙ）が東、（−Ｙ）が西の向きに合うように合わせてある。
【００２７】
イメージセンサ部の出力画像範囲５０１のうち、図４の仮想視点４０５から、仮想ミラー４０６を通じて見える範囲を幾何変換処理の対象とする。図４の位置関係では、仮想ミラー４０６は、画像撮像送信装置１１０から見てやや北東の方角に位置している。また、仮想視点４０５は、仮想ミラーの位置から見て東の方角に位置している。そのため、仮想ミラー４０６を介して仮想視点４０５から撮像できる範囲は、仮想光軸４０７によって示されるように、画像撮像送信装置１１０から見て南側、東側、北側の方角に広く分布しており、その光軸中心はやや北寄りとなっている。このような範囲の像は、図５の画像データ上において５０４で示される範囲（幾何変換処理範囲；図中に太線で示す）となる。ここで、幾何変換処理範囲５０４の四つの端点を、Ａ点５０５、Ｂ点５０６、Ｃ点５０７、Ｄ点５０８とする。
【００２８】
図６は、本図は、図５の幾何変換処理範囲５０４内の画素が、幾何変換処理によって、図６の幾何変換処理範囲５０４に写像された場合の、幾何変換後の画像の座標の例を示す。図６では、座標はＸ２−Ｙ２軸で表され、仮想視点の座標５０３を中央部として、仮想カメラの下方向が（＋Ｙ２）、上方向が（−Ｙ２）、右方向が（＋Ｘ２）、左方向が（−Ｘ２）と一致する。幾何変換処理範囲５０４と重なるようにして、表示部に対する出力画像範囲６００（図中に太い破線で示す）を定義する。
図５のＡ点５０５、Ｂ点５０６、Ｃ点５０７、Ｄ点５０８は、図６のＡ点５０５、Ｂ点５０６、Ｃ点５０７、Ｄ点５０８に写像される。図５で、Ｃ点５０７及びＤ点５０８は、Ａ点５０５及びＢ点５０６よりも東の方角に存在している。東寄りに存在する物体から来る光軸は、仮想ミラー４０６で反射されて、仮想カメラ４０６に対して、上寄りの方向から入るため、図６では、Ｃ点５０７及びＤ点５０８は、Ａ点５０５及びＢ点５０６よりも、画像の上方向に写像される。
また、図５で、Ａ点５０５及びＣ点５０７は、Ｂ点５０６及びＤ点５０８よりも南側の位置に存在している。図４で、仮想カメラ４０５の左方向が南、右方向が北に相当するため、図６では、Ａ点５０５及びＣ点５０７は、Ｂ点５０６及びＤ点５０８よりも南側に写像される。
【００２９】
図７は、表示部の出力画像７００の例である。この画像は、図６のように表示部の出力画像範囲６００に写像された画素が、画像データとして図１の表示部１２６で表示された場合に写る映像の例を示している。図４で、死角の位置に存在していた歩行者３０３及び他車両３０４が、図７においては大きく表示されている。また、自車両２０２のように、図４の仮想ミラー４０６から遠い位置に存在する物体は小さく見える。
また、現実のカーブミラーは、湾曲することで広角の範囲を一度に映し出せるように設計されている。これと同様に、仮想ミラー４０６も所定の曲率で湾曲しており、特に周辺部にあえて歪を加えることで広角の範囲を表示できるようにしている。このような仮想画像を自車両２０２のドライバーに表示することによって、死角の状況を、死角のすぐ近くから撮像された画像として、予めドライバーが確認することができるので、事故を未然に防ぐことができる。
【００３０】
図５のイメージセンサ部の出力画像範囲５０１から、図６の表示部の出力画像範囲６００へ写像する変換は、幾何変換部１２４において実施される。このような変換について、数式を用いて以下に説明する。
画像撮像送信装置１１０のイメージセンサ部１１２で撮像された画像データ上の座標を図５に示されるように（Ｘ，Ｙ）、画像受信表示装置１２０の表示部１２６へ出力される画像データ上の座標を図６に示されるように（Ｘ２，Ｙ２）とすると、幾何変換部１２４における幾何変換処理fａｌｌは、f１からf５の５種類の幾何変換処理を総合した処理となっており、それらは（数式１）に示す関係となる。
(Ｘ２，Ｙ２)＝fａｌｌ(Ｘ，Ｙ)＝f５f４f３f２f１(Ｘ，Ｙ)    ・・・（数式１）
ただし、
f１；光学系部の光学特性によって生じた画像の歪みを補正して、歪みのない画像にする、もしくは歪みが軽減された画像にするための非線形変換処理。
f２；画像撮像送信装置１１０の位置及び方向の変化によって生じる視点の移動及び回転を除去するための移動及び回転変換処理。
f３；仮想ミラー４０６によって生じる鏡面反転変換処理。
f４；所定の曲率を備えた仮想ミラー４０６の歪みを再現し、広角な領域を表示するためにあえて歪みを加える非線形変換処理。
f５；仮想視点４０５の位置、方向から見た映像に変換するための、移動及び回転変換処理。
【００３１】
（数式１）の幾何変換処理のうちf３とf４とf５は、表示したい視点の位置、向き、表示する際の画像の歪みに係るので、図１の受信制御部１２５の内部で任意に指定することができる。一方でf１とf２は、画像撮像送信装置１１０の光学特性及び設置位置及び方向によって決定される項目である。幾何変換部１２４は、画像受信表示装置１２０に含まれているので、f１とf２に関しては、画像受信表示装置１２０内に存在する情報だけではパラメータ（変数）を確定させることができない。
そこで、本実施例においては、f１とf２の数式、もしくはそれらの数式を構成するパラメータに関して、撮像パラメータとして、画像撮像送信装置１１０から画像受信表示装置１２０へ無線伝送することを特徴としている。このようにすることで、幾何変換部１２４で実施する幾何変換処理の数式を確定させることができ、適切な歪補正処理を実施することができるようになる。そのため、ドライバーの死角に当たる部分の状況を、視認しやすい形で表示することができ、事故を防止することができる。
【００３２】
本実施例においては、f1からf５の５種類の幾何変換処理を総合した幾何変換処理を例に説明したが、実際にはどのような非線形変換であってもよく、幾何変換処理の順序を入れ替え、幾何変換処理の一部を取り除き、或いは、別の幾何変換処理を加えても良い。例えば、図１の信号処理部１１４内で、画像の歪を軽減し、或いは、位置や方向のずれを正規化するために、f１もしくはf２の幾何変換処理の一部を実施しても良い。その場合には、撮像された際の光学特性、位置、方向の情報については、送信される画像データに合うように送信制御部１１６において修正したものを、撮像パラメータとして送信する。
【実施例２】
【００３３】
以下、本発明における実施例２について詳細に説明する。
実施例２においても、実施例１と同様に、自車両２０２が見通しの悪い交差点に進入しようとしている場合に、ドライバーの死角の映像を予め、視認しやすいように表示することを課題とする。実施例２では、構成及び形態についても実施例１と同様であり、構成については、実施例１の図１の車両用画像送受信システム１００と同様であり、また形態については、実施例１の図２と同様となる。手段としては、実施例１の場合と同様に、画像撮像送信装置１１０で撮像した画像データに対して、画像受信表示装置１２０において幾何変換処理を適用して、ドライバーにとって見やすい映像を作り出すものであるが、実施例２では以下に示すように、作り出す映像の視点が実施例１の場合と異なり、また、その視点からの映像を作り出す幾何変換処理が実施例１の場合と異なる。以下に、その違いを説明する。
【００３４】
図８は、実施例２の手法を用いた場合の死角の視認方法の例を示す図である。図８の画像撮像送信装置１１０、画像受信表示装置１２０、自車両２０２、ビル（障害物）３０１、ビル（障害物）３０２、歩行者３０３、他車両３０４、自車両の進行方向の３０５は、図３と同様である。実施例１においては、図４の仮想視点４０５と仮想ミラー４０６を定義して、幾何変換処理によって、仮想視点４０５から見た映像に相当する画像を作り出した。これに対して、実施例２においては、図８のように交差点の付近に仮想視点８００を定義する。仮想視点８００は、高所から地上の方向を見下ろす形に設置されていると想定し、実施例２の場合には、この仮想視点８００を画面の中央部とした、上空から見下ろす視点の画像を作り出してドライバーに表示する。このとき、自車両２０２の進行方向が表示される画像の上方向となるように、必要に応じて回転方向の幾何変換をかける。上空から見下ろした映像を表示することで、ドライバーは交差点周辺の状況を、実写で予め知ることができるので、事故を未然に防ぐことができる。また、例えば仮想視点８００の位置を自車両２０２の位置に重ねても良い。自車両２０２の位置または向きを表示される画像に反映するためには、自車両２０２の位置及び向きに関する情報を、図１の位置・向き出力部１２７から出力し、図１の受信制御部１２５経由で図１の幾何変換部１２４に伝える。
図８に示した仮想視点８００から見た映像は、画像撮像送信装置１１０で撮像された画像データから、画像受信表示装置１２０において幾何変換処理によって作り出される。以下、図８の場合の幾何変換処理の例について図９、図１０を用いて説明する。
【００３５】
図９は、図８の状況で撮像された、幾何変換前の画像の座標の例を示している。イメージセンサ部の出力画像範囲５０１は、図１のイメージセンサ部１１２から出力される画像の範囲を示している。本図の例では、光学系部１１１が魚眼レンズを含む構成となっており、図４の場合と同様に、画像撮像送信装置１１０が、信号機程度の高い位置で、光軸が鉛直下を向くように設置されている場合を想定している。図中の破線は、仮に地面の高さに東西、南北方向にメッシュ状の格子線が引かれていた場合に撮像される線を示しており、画像の歪みの程度を表している。光学系部１１１に魚眼レンズを使用しているので、図のように周辺部ほど画像が歪んでいる。本図の例の場合には、イメージセンサ部の出力画像５０１のＸ−Ｙ軸は、それぞれ（＋Ｘ）が北、（−Ｘ）が南、（＋Ｙ）が東、（−Ｙ）が西の向きに合うように合わせてある。イメージセンサ部の出力画像範囲５０１のうち、図９の仮想視点の座標９０５を含む範囲を幾何変換処理の対象とする。
【００３６】
図８の位置関係では、仮想視点８００は、画像撮像送信装置１１０から見てやや北東の方角に位置している。幾何変換処理の対象となる範囲は、図９の画像データにおいて９００で示される範囲（幾何変換処理範囲；図中に太線で示す）となる。ここで、幾何変換処理範囲９００の四つの端点を、Ａ２点９０１、Ｂ２点９０２、Ｃ２点９０３、Ｄ２点９０４とする。
図１０は、図９の幾何変換処理範囲９００内の画素が、幾何変換処理によって、図１０の幾何変換処理範囲９００に写像された場合の、幾何変換後の画像の座標の例を示す。図１０では、座標はＸ３−Ｙ３軸で表され、仮想視点の座標９０５を中央部として、仮想カメラの下方向が（＋Ｙ３）、上方向が（−Ｙ３）、右方向が（＋Ｘ３）、左方向が（−Ｘ３）と一致する。幾何変換処理範囲９００と重なるようにして、表示部の出力画像範囲１０００（図中に太い破線で示す）を定義する。
【００３７】
図９のＡ２点９０１、Ｂ２点９０２、Ｃ２点９０３、Ｄ２点９０４は、図１０のＡ２点９０１、Ｂ２点９０２、Ｃ２点９０３、Ｄ２点９０４に写像される。また、仮想視点の座標９０５は、幾何変換処理範囲９００の中央部となる。
図１１は、表示部の出力画像１１００の例である。この画像は、図１０のように表示部の出力画像範囲１０００に写像された画素が、画像データとして図１の表示部１２６で表示された場合に写る映像の例を示している。このような仮想画像を自車両２０２のドライバーに表示することによって、死角の状況を、上空から撮像された画像として、ドライバーが予め確認することができるので、事故を未然に防ぐことができる。
【００３８】
図９のイメージセンサ部の出力画像範囲５０１から、図１０の表示部の出力画像範囲９００へ写像する変換は、幾何変換部１２４において実施される。このような変換について、数式を用いて以下に説明する。
画像撮像送信装置１１０のイメージセンサ部１１２で撮像された画像データ上の座標を図９に示されるように（Ｘ，Ｙ）、画像受信表示装置１２０の表示部１２６へ出力される画像データ上の座標を図１０に示されるように（Ｘ３，Ｙ３）とすると、幾何変換部１２４における幾何変換処理fａｌｌ２は、f１，f２，f６，f７の４種類の幾何変換処理を総合した処理となっており、それらは（数式２）に示す関係となる。
(Ｘ３，Ｙ３)＝fａｌｌ２(Ｘ，Ｙ)＝f７f６f２f１(Ｘ，Ｙ)    ・・・（数式２）
ただし、
f１；光学系部の光学特性によって生じた画像の歪みを補正して、歪みのない画像にする、もしくは歪みが軽減された画像にするための非線形変換処理。
f２；画像撮像送信装置１１０の位置及び方向の変化によって生じる視点の移動及び回転を除去するための移動及び回転変換処理。
f６；仮想視点８００の位置、方向から見た映像に変換するための、移動及び回転変換処理。
f７；透視投影変換処理または、平行投影変換処理。
【００３９】
（数式２）の幾何変換処理のうちf６とf７は、表示したい視点の位置、向き、投影方法に係るので、図１の受信制御部１２５の内部で任意に指定することができる。一方でf１とf２は、画像撮像送信装置１１０の光学特性及び設置位置及び方向によって決定される項目である。幾何変換部１２４は、画像受信表示装置１２０に含まれているので、f１とf２に関しては、画像受信表示装置１２０内に存在する情報だけではパラメータ（変数）を確定させることができない。
そこで、本実施例においては、f１とf２の数式、もしくはそれらの数式を構成するパラメータに関して、撮像パラメータとして、画像撮像送信装置１１０から画像受信表示装置１２０へ無線伝送することを特徴としている。このようにすることで、幾何変換部１２４で実施する幾何変換処理の数式を確定させることができ、適切な歪補正処理を実施することができるようになる。そのため、ドライバーの死角に当たる部分の状況を、視認しやすい形で表示することができ、事故を防止することができる。
【００４０】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００４１】
１００：車両用画像送受信システム、１１０：画像撮像送信装置、１１１：光学系部、１１２：イメージセンサ部、１１３：送信画像処理部、１１４：信号処理部、１１５：画像圧縮部、１１６：送信制御部、１１７：送信部、１１８：位置・向き出力部、１２０：画像受信表示装置、１２１：受信部、１２２：受信画像処理部、１２３：画像復号部、１２４：幾何変換部、１２５：受信制御部、１２６：表示部、１２７：位置・向き出力部、２００：支柱、２０１：信号機、２０２：自車両、３０１：ビル（障害物）、３０２：ビル（障害物）、３０３：歩行者、３０４：他車両、３０５：自車両の進行方向の信号、３１０：従来のカーブミラー、３１１：光軸、４０５：仮想視点、４０６：仮想ミラー、４０７：仮想光軸、５０１：イメージセンサ部の出力画像範囲、５０２：イメージセンサ部鉛直方向の座標、５０３：仮想視点の座標、５０４：幾何変換処理範囲、５０５：Ａ点、５０６：Ｂ点、５０７：Ｃ点、５０８：Ｄ点、６００：表示部の出力画像範囲、７００：表示部の出力画像、９００：幾何変換処理範囲、９０１：Ａ２点、９０２：Ｂ２点、９０３：Ｃ２点、９０３：Ｄ２点、１０００：表示部の出力画像範囲、１１００：表示部の出力画像。
【図１】
2013201707.tif 000003
【図２】
2013201707.tif 000004
【図３】
2013201707.tif 000005
【図４】
2013201707.tif 000006
【図５】
2013201707.tif 000007
【図６】
2013201707.tif 000008
【図７】
2013201707.tif 000009
【図８】
2013201707.tif 000010
【図９】
2013201707.tif 000011
【図１０】
2013201707.tif 000012
【図１１】
2013201707.tif 000013