(57)【要約】【課題】表示された画像が何れのカメラで撮像されたかを容易に判別できるようにする。【解決手段】画像変換システムは、車両に取り付けてある各カメラをネットワークケーブルで画像処理装置１３に接続しシステムを構築する。画像処理装置１３は、各カメラの取付位置に印を付した車両の図データを含み、図データ及びカメラが撮像した撮像データの表示用データにおける配置位置を規定する変換テーブルを備え、この変換テーブルは表示される画像を撮像したカメラの印を他の印と相違した表示にする。画像処理装置１３は、変換テーブルに基づき撮像データを図データの付加した表示用データに変換し、この表示用データをモニタ装置で表示することにより、撮像したカメラを印の相違に基づき判別する。【選択図】　　　　図３
2004056683.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けてある撮像装置と、該撮像装置が撮像した撮像データを表示用データへ変換する画像処理装置とを接続してなる画像変換システムにおいて、
前記画像処理装置は、
前記撮像装置の取付位置に印を付した車両の図データを含んでおり、該図データ及び前記撮像データの前記表示用データにおける配置位置を規定する変換テーブルと、
該変換テーブルに基づいて、前記撮像データを前記図データの付加された前記表示用データへ変換する変換手段と
を備えることを特徴とする画像変換システム。
【請求項２】
前記撮像装置は複数であり、
前記変換テーブルは、
変換対象の撮像データを撮像した撮像装置の取付位置に応じた印を、他の撮像装置の取付位置に応じた印と相違させる手段を備える請求項１に記載の画像変換システム。
【請求項３】
前記画像処理装置は更に、
外部の撮像装置を取り付ける取付手段と、
該取付手段に外部の撮像装置が取り付けてあるかを検出する検出手段と、
該検出手段が前記外部の撮像装置を検出した場合、検出された外部の撮像装置の取付位置に印を付した図データを含む前記変換テーブルを生成する変換テーブル生成手段と
を備える請求項１又は請求項２に記載の画像変換システム。
【請求項４】
前記変換テーブルは、
前記表示用データの画素毎に変換情報を含んでおり、
前記変換情報は、
図データ又は撮像データの配置を規定する識別子を含む請求項１乃至請求項３のいずれかに記載の画像変換システム。
【請求項５】
車両に取り付けてある撮像装置と、該撮像装置が撮像した撮像データを表示用データへ変換を行う画像処理装置とを接続してなる画像変換システムにおいて、
前記変換は前記撮像データの画素毎に対応する変換情報を含む変換テーブルに基づき行われており、
外部の撮像装置を取り付ける取付手段と、
該取付手段に外部の撮像装置が取り付けてあるかを検出する検出手段と、
該検出手段が前記外部の撮像装置を検出した場合、検出された外部の撮像装置の撮像データ用の変換テーブルを生成する変換テーブル生成手段と
を備える画像変換システム。
【請求項６】
前記撮像装置及び画像処理装置を接続するネットワークケーブルを備える請求項１乃至請求項５のいずれかに記載の画像変換システム。
【請求項７】
画像データを表示用データへ変換する画像処理装置を備える画像変換システムにおいて、
前記画像データの各画素の前記表示用データにおける配置位置が規定してある前記表示用データの画素毎の変換情報を、前記表示用データの走査順に複数含んである画素変換手段と、
前記画素変換手段に基づき、前記画像データを、画素配置が変更された表示用データへ変換する変換手段と
を備えることを特徴とする画像変換システム。
【請求項８】
撮像データを表示用データへ変換する画像処理装置において、
前記撮像データの撮像元の位置の印を付した図データを含んでおり、該図データ及び前記撮像データの前記表示用データにおける配置位置を規定する変換テーブルと、
該変換テーブルに基づいて、前記撮像データを前記図データが付加された前記表示用データへ変換する変換手段と
を備えることを特徴とする画像処理装置。
【請求項９】
撮像データを表示用データに変換を行う画像処理装置において、
前記変換は前記撮像データの画素毎に対応する変換情報を含む変換テーブルに基づき行われており、
前記撮像データを撮像する撮像装置を検出する検出手段と、
該検出手段が前記撮像装置を検出した場合、検出された撮像装置の撮像データ用の変換テーブルを生成する変換テーブル生成手段と
を備えることを特徴とする画像処理装置。
【請求項１０】
車両に取り付けてある撮像装置で画像を撮像し、撮像された画像の撮像データを表示用データへ変換する画像変換方法において、
前記撮像装置の取付位置に印を付した車両の図データを含んでおり、該図データ及び前記撮像データの前記表示用データにおける配置位置を規定する変換テーブルを備え、
該変換テーブルに基づいて、前記撮像データを前記図データの付加された前記表示用データへ変換することを特徴とする画像変換方法。
【請求項１１】
車両に取り付けてある撮像装置で画像を撮像し、撮像された画像の撮像データを表示用データへ変換を行う画像変換方法において、
前記変換は前記撮像データの画素毎に対応する変換情報を含む変換テーブルに基づき行われており、
外部の撮像装置を取り付ける取付手段を備え、
該取付手段に外部の撮像装置が取り付けてあるかを検出し、
該検出手段が前記外部の撮像装置を検出した場合、検出された外部の撮像装置の撮像データ用の変換テーブルを生成することを特徴とする画像変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両に取り付けられた撮像装置の撮像データを表示用データに変換するものに関し、特に、表示画像を撮像した撮像装置を容易に特定できると共に、車両に後付けされる撮像装置をスムーズにシステムへ組み込める画像変換システム、画像処理装置及び画像変換方法に関する。
【０００２】
【従来の技術】
従来、車両の運転席から死角となる車両の前部、後部等にカメラを取り付けると共に、カメラの撮像した撮像データを画像処理装置で表示用データに変換し、この表示用データを車内に設置したモニタ装置で表示すると云う画像変換システムが存在する。
【０００３】
図１３は、従来の画像変換システムで変換された表示用データの一例の画像１を示している。画像１は、車両の左前方に取り付けられたカメラが撮像した撮像データを元に画像処理装置で変換された表示用データの画像であり、右下にはカメラが取り付けられた車両部分２を写り込ませて、画像１が車両の左前方に取り付けられたカメラで撮像されたものを認識する際の目印となるようにしている。
【０００４】
また、画像変換システムにおけるカメラには、車両の後部に取り付けるバックカメラのようにディーラオプション等により、車両の生産工場ではなく、ディーラー等で車両に後付するものもある。このようにディーラーで後付けされたカメラも画像変換システムに組み込まれて、画像処理装置により後付けカメラの撮像データを表示用データへ変換し、車内のモニタ装置で表示するようにしている。
【０００５】
【発明が解決しようとする課題】
上述した図１３の画像１は車両部分２が写り込むようにしているが、直感的に何れのカメラによる画像であるかを判別するのが困難な場合がある。例えば、車両の前後端の左右にカメラを取り付けている画像変換システムでは、図１３のような画像１が車内のモニタ装置に表示された場合、左前方のカメラによる画像及び右後方のカメラの画像には何れも右下に車両部分２が写り込むため、一目で左前方の画像であるか又は右後方の画像であるか判断できない問題がある。
【０００６】
一方、画像変換システムにカメラを後付する場合、後付のカメラが撮像した画像をモニタ装置で表示できるようにするためには、後付のカメラに対応した変換を行えるように、画像処理装置のハードウェアを変更したり、変換用のソフトウェアの入れ替え等を行う必要がある。その結果、オプションの後付のカメラを取り付ける場合、カメラ以外に画像処理装置の上述した変更等も必要になり、非常に手間及び費用を要する問題があった。
【０００７】
さらに、上述したようにカメラが後付けされた場合、また、最初から複数のカメラが車両に取り付けられている場合等は、計何個のカメラが車両の何れの位置に取り付けられているかと云うことを運転者が把握するのが困難になる。よって、このようなカメラの取付状況が把握できにくい状況も、上述した何れのカメラによる画像であるかの判別を困難にさせる要因になっている。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、車両の何れの位置にカメラが取り付けられているかを容易に把握できる画像変換システム、画像処理装置及び画像変換方法を提供することを目的とする。
また、本発明は、車両に複数のカメラが取り付けられている場合、表示される画像が何れのカメラで撮像されたかを一目で判別できる画像変換システムを提供することを目的とする。
【０００９】
さらに、本発明は、カメラを車両に後付する場合等に、画像処理装置のハードウェアの変更及びソフトウェアの入れ替え等を行うことなしに、自動的に新たなシステムの構成に対応できる画像変換システム、画像処理装置及び画像変換方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１発明に係る画像変換システムは、車両に取り付けてある撮像装置と、該撮像装置が撮像した撮像データを表示用データへ変換する画像処理装置とを接続してなる画像変換システムにおいて、前記画像処理装置は、前記撮像装置の取付位置に印を付した車両の図データを含んでおり、該図データ及び前記撮像データの前記表示用データにおける配置位置を規定する変換テーブルと、該変換テーブルに基づいて、前記撮像データを前記図データの付加された前記表示用データへ変換する変換手段とを備えることを特徴とする。
【００１１】
第２発明に係る画像変換システムは、前記撮像装置が複数であり、前記変換テーブルは、変換対象の撮像データを撮像した撮像装置の取付位置に応じた印を、他の撮像装置の取付位置に応じた印と相違させる手段を備えることを特徴とする。
【００１２】
第３発明に係る画像変換システムは、前記画像処理装置が更に、外部の撮像装置を取り付ける取付手段と、該取付手段に外部の撮像装置が取り付けてあるかを検出する検出手段と、該検出手段が前記外部の撮像装置を検出した場合、検出された外部の撮像装置の取付位置に印を付した図データを含む前記変換テーブルを生成する変換テーブル生成手段とを備えることを特徴とする。
【００１３】
第４発明に係る画像変換システムは、前記変換テーブルが、前記表示用データの画素毎に変換情報を含んでおり、前記変換情報は、図データ又は撮像データの配置を規定する識別子を含むことを特徴とする。
【００１４】
第５発明に係る画像変換システムは、車両に取り付けてある撮像装置と、該撮像装置が撮像した撮像データを表示用データへ変換を行う画像処理装置とを接続してなる画像変換システムにおいて、前記変換は前記撮像データの画素毎に対応する変換情報を含む変換テーブルに基づき行われており、外部の撮像装置を取り付ける取付手段と、該取付手段に外部の撮像装置が取り付けてあるかを検出する検出手段と、該検出手段が前記外部の撮像装置を検出した場合、検出された外部の撮像装置の撮像データ用の変換テーブルを生成する変換テーブル生成手段とを備えることを特徴とする。
【００１５】
第６発明に係る画像変換システムは、前記撮像装置及び画像処理装置を接続するネットワークケーブルを備えることを特徴とする。
【００１６】
第７発明に係る画像変換システムは、画像データを表示用データへ変換する画像処理装置を備える画像変換システムにおいて、前記画像データの各画素の前記表示用データにおける配置位置が規定してある前記表示用データの画素毎の変換情報を、前記表示用データの走査順に複数含んである画素変換手段と、前記画素変換手段に基づき、前記画像データを、画素配置が変更された表示用データへ変換する変換手段とを備えることを特徴とする。
【００１７】
第８発明に係る画像処理装置は、撮像データを表示用データへ変換する画像処理装置において、前記撮像データの撮像元の位置の印を付した図データを含んでおり、該図データ及び前記撮像データの前記表示用データにおける配置位置を規定する変換テーブルと、該変換テーブルに基づいて、前記撮像データを前記図データが付加された前記表示用データへ変換する変換手段とを備えることを特徴とする。
【００１８】
第９発明に係る画像処理装置は、撮像データを表示用データに変換を行う画像処理装置において、前記変換は前記撮像データの画素毎に対応する変換情報を含む変換テーブルに基づき行われており、前記撮像データを撮像する撮像装置を検出する検出手段と、該検出手段が前記撮像装置を検出した場合、検出された撮像装置の撮像データ用の変換テーブルを生成する変換テーブル生成手段とを備えることを特徴とする。
【００１９】
第１０発明に係る画像変換方法は、車両に取り付けてある撮像装置で画像を撮像し、撮像された画像の撮像データを表示用データへ変換する画像変換方法において、前記撮像装置の取付位置に印を付した車両の図データを含んでおり、該図データ及び前記撮像データの前記表示用データにおける配置位置を規定する変換テーブルを備え、該変換テーブルに基づいて、前記撮像データを前記図データの付加された前記表示用データへ変換することを特徴とする。
【００２０】
第１１発明に係る画像変換方法は、車両に取り付けてある撮像装置で画像を撮像し、撮像された画像の撮像データを表示用データへ変換を行う画像変換方法において、前記変換は前記撮像データの画素毎に対応する変換情報を含む変換テーブルに基づき行われており、外部の撮像装置を取り付ける取付手段を備え、該取付手段に外部の撮像装置が取り付けてあるかを検出し、該検出手段が前記外部の撮像装置を検出した場合、検出された外部の撮像装置の撮像データ用の変換テーブルを生成することを特徴とする。
【００２１】
第１発明、第８発明及び第１０発明にあっては、変換テーブルに基づき変換された表示用データには、撮像データに加えて撮像装置の取付位置を示す印を付した車両の図データが付加されるので、表示用データにより現在車両に取り付けられている撮像装置の個数及び位置を一目で確認できる。なお、付加される図データは、表示用データの右下又は左下等の何れの箇所に配置することが変換テーブルの内容に応じて可能であり、撮像データと干渉しない箇所に配置することが好ましい。さらに、車両の図データの形態には車両の鳥瞰図を適用することが、撮像装置の取付位置を示すのに最も好適である。
【００２２】
また、変換テーブルは、上述したように撮像データに車両の図データに付加すると同時に、撮像データ自体の内容も変換するようにしてもよい。撮像データ自体を変換する内容としては、画像の視点変更、画像の鏡像反転、拡大縮小、歪み矯正等があり、これら種々の変換は撮像データの各画素の配置を変換内容に応じて適宜規定することで可能になる。よって、このような撮像データ自体の変換を図データの付加と同時に行うことで変換に係る処理の効率化を図れる。なお、変換テーブルが含む車両の図データは、図データを配置する画素に色の要素に係るＲＧＢ値又はＹＵＶ値を指定することで行う。
【００２３】
第２発明にあっては、表示装置等で表示される表示用データの画像を撮像した撮像装置に対応する印は、他の撮像装置の印と相違するため、印の表示形態の相違により表示されている画像を撮像した撮像装置を容易に確認でき、何れの方向の画像であるかをスムーズに把握できる。なお、相違する印の表示形態としては、例えば、表示される画像を撮像した撮像装置の取付位置の印を赤色で表示し、他の撮像装置の取付位置の印を白線で表示すること等が適用できる。また、このような相違する印の表示も、変換テーブルで相違するＲＧＢ値等を指定することで実現できる。
【００２４】
第３発明にあっては、オプション等で後付けする撮像装置を検出手段で検出可能にすると共に、後付けの撮像装置が検出された場合、後付けの撮像装置の取付位置に印を付した図データを含む変換テーブルを生成するため、後付けの撮像装置の取付位置の印も、最初から車両に取り付けてある撮像装置の印と同様に表示用データに自動的に表示できる。よって、画像変換処理装置のハードウェアの変更及びソフトウェアの入れ替え等を行わずに、後付けの撮像装置の取付に対し柔軟に対応できる。
【００２５】
また、このように後付けされてから変換に必要な変換テーブルを生成することにより、最初から車両に取付可能な全ての撮像装置に対応した変換テーブルを記憶しておく場合に比べて、記憶するデータ容量を格段に低く抑えることができる。なお、後付けされた撮像装置を取り外す場合、検出手段が撮像装置を検出しなくなり、撮像装置が取り外された状況に応じた変換テーブルを変換テーブル生成手段で生成することで、撮像装置の取付及び取外しの両方に対応可能とする。
【００２６】
第４発明にあっては、変換テーブルが表示用データの画素毎に対応した変換情報を含み、各変換情報は図データ又は撮像データのいずれを配置するかを規定する識別子を含むので、この識別子の内容に基づきデータ配置に係る判断処理を容易に行うことができる。識別子は１ビットから数ビットのビットを与えることができ、１ビットの識別子の場合、この１ビットが「０」のときは撮像データの配置を意味し、「１」のときは図データに係るＲＧＢ値又はＹＵＶ値の指定を意味するように規定することで対応できる。
【００２７】
第５発明、第９発明及び第１１発明にあっては、後付け等の撮像装置を検出した場合、後付け等の撮像装置の撮像データ用の変換テーブルを生成するため、後付けされた撮像装置の撮像データを画像処理装置のハードウェア等を変更することなしに適切に表示用データへ変換できる。なお、後付けの撮像装置の撮像データ用として新たに生成される変換テーブルの具体的な種類としては、上述した視点変更、鏡像反転、拡大縮小、歪み矯正及び図データの付加等の変換に対応したものがある。
【００２８】
また、変換テーブル生成手段としては、変換テーブルの生成を行う演算プログラム等が該当し、このようなプログラムはＣ言語等で作成した場合、数行程度で収まる。これに対し変換テーブルは数百ｋバイト単位になることから、上述した図データの変更に対応する場合と同様に、車両に取付可能な全ての撮像装置の撮像データに対応する変換テーブルを記憶する場合に比べて記憶容量を大幅に低減できる。
【００２９】
第６発明にあっては、撮像装置及び画像処理装置をネットワークケーブルで接続することにより、画像変換システムがネットワークシステムになり、データの通信及び撮像装置の検出等を各種ＬＡＮ等に応じた規格に基づいて行うことができる。例えば、撮像データの伝送をＩＥＥＥ１３９４に基づいた通信で行うことができると共に、撮像装置の検出に対してＩＥＥＥ１３９４の仕様に応じて各装置が有するＧＵＩＤ（Ｇｌｏｂａｌ　Ｕｎｉｑｕｅ　ＩＤ）等を利用でき、システムの拡張性及び汎用性を向上できる。
【００３０】
第７発明にあっては、表示用データの変換を画素毎に対応する複数の変換情報に応じて行うことで、各変換情報単位で撮像データ等の画像データの入出力に応じて読込及び書き込み等を行うことができ、変換処理に適用される各種メモリの仕様に関係なく、安定した変換処理を行うことができる。
【００３１】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の実施形態に係る画像変換システム１０の全体構成図である。本実施形態の画像変換システム１０は車両Ｓに取り付けられた左前カメラ１２Ａ、右前カメラ１２Ｂ、ブラインドコーナカメラ１２Ｃ、左側方カメラ１２Ｄ、右側方カメラ１２Ｅ及びバックカメラ１２Ｆを、モニタ装置１４が接続されている画像処理装置１３へネットワークケーブル１５で接続することでシステムを構築している。また、本実施形態のバックカメラ１２Ｆは車両Ｓに後付けされるものであり、ネットワークケーブル１５の端末に設けられた取付手段である端末コネクタ１５ａに取り付けられることでシステムに組み込まれる。
【００３２】
画像変換システム１０は、同期通信用ネットワークのＩＥＥＥ１３９４の規格に合致したネットワーク構成になっており、車両Ｓに構築された車載ＬＡＮの一部である情報系ＬＡＮ１１を形成している。なお、情報系ＬＡＮ１１は、ゲートウェイ装置１６を介してボディ系ＬＡＮ及び制御系ＬＡＮ等の他の系統のＬＡＮと接続されて車載ＬＡＮを形成しており、ボディ系ＬＡＮには舵取装置の舵角センサ等の車両Ｓに設けられた各種センサが接続されている。
【００３３】
上述した各カメラ１２Ａ〜１２Ｆは撮像装置に相当し、図２に示す車両Ｓの各位置に取り付けられている。即ち、左前カメラ１２Ａは車両Ｓの前端左隅に取り付けられており、以下、右前カメラ１２Ｂは前端右隅に、ブラインドコーナカメラ１２Ｃは前端中央に、左側方カメラ１２Ｄは左ドアミラーの根元付近に、右側方カメラ１２Ｅは右ドアミラーの根元付近に、バックカメラ１２Ｆは後端中央に夫々取り付けられている。なお、図中に一点鎖線で示す範囲は各カメラ１２Ａ〜１２Ｆの撮像範囲である。
【００３４】
また、各カメラ１２Ａ〜１２Ｆは、ＩＥＥＥ１３９４に合致した仕様になっており、固有の識別子としてＧＵＩＤ（Ｇｌｏｂａｌ　Ｕｎｉｑｕｅ　ＩＤ）を各々のＲＯＭ（図示せず）を記憶している。これら各カメラ１２Ａ〜１２ＦのＧＵＩＤは、図１に示すネットワークケーブル１５を通じて画像処理装置１３が確認できるようになっている。
【００３５】
さらに、各カメラ１２Ａ〜１２Ｆが撮像した画像の撮像データは、ネットワークケーブル１５を通じて画像処理装置１３へ伝送されている。本実施形態では撮像データの伝送を非圧縮の伝送規格であるＩＩＤＣ　Ｄｉｇｉｔａｌ　Ｃａｍｅｒａ　Ｓｐｅｃｉｆｉｃａｔｉｏｎに基づき、画像処理装置１３がコントローラとして各カメラ１２Ａ〜１２Ｆを制御することで行っている。また、撮像データのデータ形式には非圧縮ＲＧＢデータ又は非圧縮ＹＵＶデータが適用される。
【００３６】
一方、図３に示す画像処理装置１３は、伝送された撮像データをモニタ装置１４で表示する表示用データに変換するものであり、内部に変換テーブル用メモリ２１、通信インタフェース２２、マイクロコンピュータ２３、画像処理ＡＳＩＣ２４、フレームメモリ２５、モニタインタフェース２６、ＲＯＭ２７及びＲＡＭ２８を具備している。
【００３７】
変換テーブル用メモリ２１は、各カメラ１２Ａ〜１２Ｆの撮像データを表示用データへ変換する際に使用する変換テーブルを記憶するものであり、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ＰＲＯＭ）で形成されている。記憶されている変換テーブルは、後述するマイクロコンピュータ２３の発行する読出用トリガに対応するものが画像処理ＡＳＩＣ２４により読み出されるようにしている。
【００３８】
変換テーブル用メモリ２１に記憶される変換テーブルには様々な種類があり、一例として、各カメラ１２Ａ〜１２Ｆの取付位置に印を付した車両Ｓの鳥瞰図の図データを含み、各カメラ１２Ａ〜１２Ｆが撮像した撮像データと前記図データの表示用データにおける配置位置を規定する変換テーブルがある。このような変換テーブルに基づく変換例として、ブラインドコーナカメラ１２Ｃで撮像した図４（ａ）の車両Ｓの前方下方の撮像データ４０を、図４（ｂ）に示す表示用データ４１へ変換することが挙げられる。
【００３９】
表示用データ４１は、画面の上半分に撮像データ４０の画像４０ａを配置すると共に、右下に車両Ｓの鳥瞰図の図データ４２を付加した内容にしており、しかも車両Ｓの鳥瞰図の図データ４２には各カメラ１２Ａ〜１２Ｆの取付位置を示す印４２Ａ〜４２Ｆを、実際の各カメラ１２Ａ〜１２Ｆの車両Ｓに対する位置及び撮像範囲等と対応させて付している。
【００４０】
また、このような変換に適用される変換テーブルは、表示用データ４１にブラインドコーナカメラ１２Ｃの撮像データ４０の画像４０ａを配置しているので、上述した各印４２Ａ〜４２Ｆの中で、ブラインドコーナカメラ１２Ｃの取付位置に応じた印４２Ｃだけを他の印４２Ａ等と相違させた表示形態にする手段を有している。
【００４１】
即ち、印４２Ｃは内部を斜めハッチングにしているが、他の印４２Ａ等は輪郭線のみを表示している。このような表示形態の表示用データ４１をモニタ装置１４で表示することで、車両の運転者は印４２Ａ等により車両Ｓに取り付けてある各カメラ１２Ａ等の個数及び位置を把握でき、さらに、表示された画像を撮像したカメラを各印４２Ａ等の表示形態の相違により一目で認識できる。
【００４２】
上述したような変換を行う変換テーブルの中身の一例を図５に示す。図５の変換テーブル４５は、図６に示す水平方向（図中のＸ軸方向）に６４０画素、垂直方向（図中のＹ軸方向）に４８０画素を有する撮像データ４０を、図４（ｂ）に示す表示用データ４１へ変換する際に適用されるものである。なお、この表示用データ４１は撮像データ４０と同等の画素数であるとする。
【００４３】
変換テーブル４５は表示用データ４１の各画素に対応する変換情報を有し、これら各変換情報には撮像データ４０に対応するものと、図データ４２に対応するものが含まれる。
【００４４】
例えば、変換テーブル４５のＸ軸方向の０画素及びＹ軸方向の０画素の位置を（Ｘ、Ｙ）＝（０、０）で表すと、この位置には（１、０、８０）と云う変換情報がある。この変換情報の意味は、最初のビットとなる「１」は変換情報の種類を示す識別子であり、「１」は撮像データ４０の各画素を用いることを意味する。また、２番目及び３番目の「０」、「８０」は夫々撮像データ４０のＸ軸方向の画素、Ｙ軸方向の画素を意味する。また、変換テーブル４５の各変換情報の位置は、そのまま表示用データ４１の画素位置に対応している。
【００４５】
よって、変換テーブル４５の（Ｘ、Ｙ）＝（０、０）の位置における変換情報の（１、０、８０）は、表示用データ４１の（Ｘ、Ｙ）＝（０、０）の画素位置に撮像データ４０の（Ｘ、Ｙ）＝（０、８０）の画素位置の画素データを配置することを意味する。
【００４６】
また、変換テーブル４５は、（Ｘ、Ｙ）＝（４７９、６３９）の位置に（０、ｘ８００、ｙ８００）と云う変換情報を有している。この変換情報の最初の識別子の「０」は図データ４２であることを意味し、（ｘ８００、ｙ８００）は予め規定されているＲＧＢ値を意味する。よって、変換テーブル４５の（Ｘ、Ｙ）＝（４７９、６３９）の位置における変換情報の（０、ｘ８００、ｙ８００）は、表示用データ４１の（Ｘ、Ｙ）＝（４７９、６３９）の画素位置に図データ４２として（ｘ８００、ｙ８００）で規定されるＲＧＢ値を表示することを意味する。
【００４７】
よって、変換テーブル４５は、このようにＲＧＢ値を規定することで、対応する画素部分に図４（ｂ）に示す図データ４２を含ませるようにしている。なお、この図データ４２における印４２Ｃだけは、配置される撮像データ４０の撮像したカメラ１２Ｃに対応するため、他の印４２Ａ等と相違するＲＧＢ値が規定されている。また、変換テーブル４５における識別子用のビットは１ビットに限定されるものではなく、多数のデータを切り換えて配置する場合等には、２ビット以上を識別子に割り当ててもよい。
【００４８】
上述した変換テーブル４５に基づき図４（ａ）の撮像データ４０を変換することで、図４（ｂ）に示すような上半分に撮像データ４０の主要画像を配置し、下半分を一色で塗りつぶすと共に右下に印４２Ａ〜４２Ｆを付した車両Ｓの鳥瞰図の図データ４２を付加した表示用データ４１を生成している。
【００４９】
なお、変換テーブルには図５の変換テーブル４５以外にも種々のものがあり、例えば、図７（ａ）に示す広角レンズが装着された左前カメラ１２Ａによる広角の歪画像の撮像データ４６を、図７（ｂ）に示す画像の歪みを矯正すると同時に車両Ｓの鳥瞰図の図データ４２を付加して表示用データ４７へ変換するようなものも存在する。この表示用データ４７でも、印４２Ａのみをハッチング表示することで、表示用データ４７の歪みが矯正された画像４６ａは、左前カメラ１２Ａにより撮像されたと容易に確認できる。
【００５０】
さらに、図８の表示用データ４８に示すように、複数の撮像データを組み合わせると共に車両Ｓの鳥瞰図の図データ４２を付加する変換を行う変換テーブルも存在する。この表示用データ４８は、上半分に左前カメラ１２Ａにより撮像された画像４６ａを配置し、下左半分に左側方カメラ１２Ｄにより撮像された画像４９ａを配置して、印４２Ａ、４２Ｄのみをハッチング表示にして、表示される画像４６ａ、４９ａが何れのカメラで撮像されたかを一目で判断できるようにしている。
【００５１】
このような変換テーブルは変換テーブル用メモリ２１に、マイクロコンピュータ２３の発行する読出用トリガに対応して多数記憶されている。なお、バックカメラ１２Ｆ以外の他のカメラ１２Ａ等に対応する変換テーブルは、最初から変換テーブル用メモリ２１に記憶されているが、バックカメラ１２Ｆに対応する変換テーブルは、後述するようにバックカメラ１２Ｆの取付に応じて生成された時点で記憶される。
【００５２】
変換テーブル用メモリ２１で記憶する形態を上述したようにしているのは、取り付けられていないカメラに対応する変換テーブルにより記憶容量が占用されるのを防ぐためである。なお、後付けされたバックカメラ１２Ｆが車両Ｓから取り外された場合、取り外されたバックカメラ１２Ｆに対応する変換テーブルは変換テーブル用メモリ２１から削除される。
【００５３】
また、図３に示す画像処理装置１３の他のハードウェアである通信インタフェース２２はシステムの物理層処理、データリンク層処理及びトランザクション層処理を行うネットワークの接続インタフェースであり、各カメラ１２Ａ等から伝送された撮像データの受付に係る処理を上述した各層に応じて行っている。
【００５４】
マイクロコンピュータ２３は、ＲＯＭ２７内に記憶されているプログラムに基づき画像処理に係る全般の制御処理、組み込まれている各カメラ１２Ａ等の検出、変換テーブルの生成等を行うものであり、各カメラ１２Ａ等の切換スイッチ等を有する操作部２９が接続されている。
【００５５】
操作部２９で各カメラ１２Ａ等の切換操作が行われた場合、マイクロコンピュータ２３は、この切換操作に応じた指示信号を受け付けて対応するカメラ１２Ａ等の撮像データを画像処理ＡＳＩＣ２４に取り込む。さらに、マイクロコンピュータ２３は、前記カメラ１２Ａ等に対応する変換テーブルの読出用トリガを発行して、画像処理ＡＳＩＣ２４に読出用トリガに対応する変換テーブルを変換テーブル用メモリ２１から読み出させる制御を行う。
【００５６】
また、マイクロコンピュータ２３は、車両Ｓの各所に設けられた各種センサの検出信号を、ボディ系ＬＡＮ等を通じて受け付けて車両Ｓの状況を検出する機能も有している。例えば、マイクロコンピュータ２３は車両Ｓの左折、右折等を舵取装置に設けられた舵角センサの検出信号により検出し、後進の状態を変速装置に設けられたギア位置センサの検出信号により検出している。マイクロコンピュータ２３は、このような車両Ｓの状況を検出すると、検出した内容に応じた変換テーブルの読出用トリガを発行し、画像処理ＡＳＩＣ２４に読出用トリガに対応する変換テーブルを読み出させている。
【００５７】
例えば、左折時の検出信号を受け付けると、マイクロコンピュータ２３は左前カメラ１２Ａ用の変換テーブルの読出用トリガを発行する制御を行う。なお、マイクロコンピュータ２３は、操作部２９からの指示信号を受け付けた場合、各センサからの検出信号に比べて前記指示信号を優先的に扱うようにしている。
【００５８】
また、マイクロコンピュータ２３は各カメラ１２Ａ等の取付に対する検出手段として、画像変換システム１０の起動時、操作部２９の操作時、車両状況に係る検出信号の受付時、及び、ＩＥＥＥ１３９４のプラグ・アンド・プレイ機能に基づき新たな機器の接続に対するバスリセット時等に、ネットワークケーブル１５に接続されている各カメラ１２Ａ〜１２ＦのＧＵＩＤを読み込む処理を行う。この読込処理に伴い、マイクロコンピュータ２３は、ＲＯＭ２７に記憶されているＧＵＩＤテーブルと比較して、現在システムに接続されているカメラ１２Ａ〜１２Ｆを認識し、認識した結果をＲＡＭ２８に記憶している。
【００５９】
さらに、マイクロコンピュータ２３は、認識した結果とＲＡＭ２８に記憶されている前回の認識結果との比較を行い、システムに組み込まれているカメラ１２Ａ〜１２Ｆに変化がないかを検出している。例えば、図１に示すように、後付けのバックカメラ１２Ｆが端末コネクタ１５ａに取り付けられた場合、マイクロコンピュータ２３はバックカメラ１２Ｆが新たに取り付けられたことを検出する。
【００６０】
このように検出すると、マイクロコンピュータ２３は、変換テーブル用メモリ２１に現在記憶されている各種変換テーブルをバックカメラ１２Ｆに対応した内容に書き換えると共に、バックカメラ１２Ｆの撮像データ用の変換テーブルを新たに生成する処理を行う。この変換テーブルの書換及び新たな変換テーブルの生成は、図３に示すＲＯＭ２７に記憶されている変換テーブル生成手段に相当する書換及び生成用の演算プログラムに応じて行われる。
【００６１】
なお、この演算プログラムは、変換式を含む数行程度のプログラムである一方、生成された変換テーブルは数百ｋバイトあるため、上述したように後付けされたバックカメラ１２Ｆに対して新たに変換テーブルを生成することで、変換テーブル用メモリ２１の記憶容量を無駄に占用しないようにしている。
【００６２】
また、上述した変換テーブルの書換は、主に、図４（ｂ）等に示す表示用データ４１に付加されたバックカメラ１２Ｆの取付位置の印４２Ｆを追加する内容になる。即ち、バックカメラ１２Ｆが車両Ｓに取り付けられていない状態では、変換テーブル用メモリ２１に記憶されている各変換テーブルは、図９に示すように、各カメラ１２Ａ〜１２Ｅに対応する印４２Ａ〜４２Ｅを付した車両Ｓの鳥瞰図の図データ４２を含む内容になっている。
【００６３】
しかし、バックカメラ１２Ｆが端末コネクタ１５ａに取り付けられることで、各変換テーブルは書き換えられて、図４（ｂ）の表示用データ４１に示すように、バックカメラ１２Ｆの取付位置に対応する印４２Ｆが新たに追加された表示形態になるような内容に変更される。これにより、表示用データ４１では、常に現在取り付けられているカメラ１２Ａ等の印４２Ａ等が表示される。
【００６４】
また、画像処理ＡＳＩＣ２４は、画像処理専用のカスタムＩＣであり、変換手段として各カメラ１２Ａ等の撮像データを変換テーブル用メモリ２１から読み出した変換テーブルに基づいて表示用データ４１等に変換するものである。なお、画像処理ＡＳＩＣ２４は、マイクロコンピュータ２３が発行する読出用トリガに応じて読み出した種々の変換テーブルに基づき変換を行うことにより、撮像データを様々な形態の表示用データ４１等に変換できる。このように変換された表示用データ４１等は、一旦、画像処理ＡＳＩＣ２４からフレームメモリ２５へ伝送される。さらに、画像処理ＡＳＩＣ２４は、変換テーブルの識別子の内容に基づき撮像データと図データに対する各々の取込みポートを切り換えている。
【００６５】
フレームメモリ２５は、撮像データ記憶領域及び表示用データ記憶領域を有しており、撮像データ記憶領域で各カメラ１２Ａ等から送出された撮像データ４０を１画面単位で一時的に記憶し、表示用データ記憶領域で画像処理ＡＳＩＣ２４により変換された表示用データを１画面単位で記憶している。なお、表示用データ記憶領域は、１画面分の表示用データを蓄積した後、蓄積した各表示用データをモニタインタフェース２６へ順次送出している。また、表示用データ記憶領域では、表示用データ以外にも、初期画面用のデータ、背景用のデータ等も記憶している。
【００６６】
モニタインタフェース２６は、モニタ装置１４への接続用インタフェースであり、表示用データをアナログ画像信号の形態でモニタ装置１４へ出力する。なお、モニタインタフェース２６は、アナログＲＧＢ信号又はモニタ装置１４との間でデジタル伝送等に係るデジタル画像信号に対応したデータを出力可能にしてもよい。
【００６７】
次に、画像変換システム１０における車両Ｓに取り付けられているカメラの検出から撮像された画像の表示に至る一連の画像変換方法に係る処理を図１０の第１フローチャート及び図１１の第２フローチャートに基づき説明する。
先ず、画像変換システム１０の電源スイッチをオンにしてシステムを立ち上げる（Ｓ１）。次に、画像処理装置１３のマイクロコンピュータ２３は現在システムに組み込まれている各カメラ１２Ａ等のＧＵＩＤの検出を行う（Ｓ２）。この検出の結果に基づき、マイクロコンピュータ２３がカメラ数に変化があるか否かを判断する（Ｓ３）。
【００６８】
カメラ数に変化がある場合（Ｓ３：ＹＥＳ）、次にカメラが増加したか否かをマイクロコンピュータ２３は判断する（Ｓ４）。カメラが増加した場合（Ｓ４：ＹＥＳ）、マイクロコンピュータ２３が既に変換テーブル用メモリ２１に記憶されている変換テーブルを、増加したカメラに対応した内容に書換を行うと共に、増加したカメラ用の変換テーブルをＲＯＭ２７に記憶されている演算プログラムに基づき生成し、生成した新たな変換テーブルを変換テーブル用メモリ２１に書き込む（Ｓ５）。
【００６９】
また、カメラが増加していない場合（Ｓ４：ＮＯ）、即ち、カメラが減少している場合は、変換テーブル用メモリ２１に既に記憶されている変換テーブルを減少したカメラに対応した内容に書換を行うと共に、減少したカメラ用の変換テーブルを変換テーブル用メモリ２１から削除する（Ｓ６）。
【００７０】
上述したカメラ数の変化に応じた処理（Ｓ５、Ｓ６）の後、及び、カメラ数の変化の判断で変化がない場合（Ｓ３：ＮＯ）、画像処理装置１３は次に各カメラ１２Ａ等からの撮像データの受付があるか否かの判断を行う（Ｓ７）。撮像データの受付がない場合（Ｓ７：ＮＯ）、撮像データを受け付けるまで画像処理装置１３は撮像データの待ち受けのループ状態になる。
【００７１】
また、画像処理装置１３が撮像データを受け付けた場合（Ｓ７：ＹＥＳ）、図１１の第２フローチャートに示すように、操作部２９でモニタ装置１４に表示させるカメラ画像が指定されたかの判断がマイクロコンピュータ２３で行われる（Ｓ８）。カメラ画像が指定された場合（Ｓ８：ＹＥＳ）、指定されたカメラ画像に対応する変換テーブルをマイクロコンピュータ２３の制御により画像処理ＡＳＩＣ２４が変換テーブル用メモリ２１から読み出す（Ｓ９）。
【００７２】
また、操作部２９でカメラ画像の指定がされていない場合（Ｓ８：ＮＯ）、各センサより受け付ける検出信号に基づく検出状況に応じた変換テーブルをマイクロコンピュータ２３の制御により画像処理ＡＳＩＣ２４が変換テーブル用メモリ２１から読み出す（Ｓ１０）。
【００７３】
上述したように変換テーブルの読出（Ｓ９、Ｓ１０）の後、画像処理ＡＳＩＣ２４は、読み出した変換テーブルに基づいて撮像データを表示用データに変換し（Ｓ１１）、変換された表示用データをモニタ装置１４で表示する（Ｓ１２）。このように本発明では、車両Ｓに後付けされるカメラがある場合でも、画像処理装置１３が自動的に取り付けられたカメラを認識して変換処理に要する変換テーブルを準備するので、画像処理装置１３のハードウェア及びソフトウェアを変更することなしに、撮像データの表示処理に対応できる。
【００７４】
なお、本発明に係る画像変換システム１０は、上述した形態以外にも種々の変形例が可能である。例えば、上述した実施形態では、図１に示すように、画像処理装置１３はモニタ装置１４と別体にされているが、画像処理装置１３をモニタ装置１４に組み込んで画像処理装置１３とモニタ装置１４とを一体化するようにしてもよい。さらに、画像処理装置１３はゲートウェイ装置１６と一体化するようにしてもよい。
【００７５】
また、図４（ｂ）の表示用データ４１における画像を撮像したカメラ１２Ａ等の印４２Ａ等の表示形態は、ハッチング以外にも赤色等で塗りつぶして他の印と相違させるようにしてもよい。
【００７６】
さらに、図１の各カメラ１２Ａ〜１２Ｆが撮像データを画像処理装置１３へ伝送する場合、非圧縮以外にも圧縮して伝送することも可能である。圧縮伝送を行う場合は、ＤＶ（デジタルビデオ）圧縮のようにフレーム内で圧縮処理が完結してリアルタイム性が高い圧縮形式が好適であり、画像処理装置１３がＡＶ／Ｃプロトコル（ＩＥＣ−６１８８３：国際電気標準会議の規格）に基づき各カメラ１２Ａ等の制御を行う。なお、このようにＤＶ圧縮等の圧縮伝送を行う場合、画像処理装置１３の通信インタフェース２２又は画像処理ＡＳＩＣ２４内にデコーダを設ける必要がある。
【００７７】
また、画像変換システム１０は、バックカメラ１２Ｆを後付の対象にしているが、他のカメラ１２Ａ等もネットワークケーブル１５を介して、後から取付及び取り外し可能にしてもよい。
【００７８】
さらに、撮像データから表示用データの変換を、図５に示す変換テーブル４５の形態で行うのではなく、表示用データの画素毎に対応する複数の変換情報を走査順に並べた画素変換手段に基づき行うようにしてもよい。各変換情報自体は撮像データの各画素又は図データのＲＧＢ値を指定しており、このような変換情報が走査順に並べられることで、表示用データにおける配置位置を規定できる。
【００７９】
図１２は、図５における変換テーブル４５の内容を、画素変換手段の変換情報として走査順に縦方向へ並べた状態を概略的に示したものである。表示用データの走査方向は左から右方向であるため、図５の変換テーブルにおいて１行目の左端の（Ｘ、Ｙ）＝（０、０）の変換情報から右端の（Ｘ、Ｙ）＝（０、６３９）の変換情報までを、画素変換手段の変換情報として並べ、さらに、２行目の左端の（Ｘ、Ｙ）＝（１、０）の変換情報から右端の（Ｘ、Ｙ）＝（１、６３９）までの変換情報を並べ、以降同様に最下段まで変換情報を並べている。
【００８０】
よって、変換テーブル４５と同様の変換を行う場合、６４０×４８０個の変換情報が走査順に並び、各変換情報に基づいて画素単位で撮像データを表示用データへ変換する。よって、変換の際に、変換情報の集合体である二次元的な構造の変換テーブルの代わりに、一次元的な構造の変換情報を独立して用いることで、画像処理装置１３への撮像データの入力等に応じて連続的な読込及び書き込みが可能になり処理形態を細分化できる。その結果、図３に示す変換テーブル用メモリ２１に、バースト転送で高速アクセスが不可能なＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｓ　ＤＲＡＭ）のようなメモリ等も適用可能になり、コスト低減等の達成も容易になる。
【００８１】
なお、複数の変換情報を並べた画素変換手段の実際のデータ構造では、図１２に示す各変換情報をくぐる括弧は不要になる。また、１個の変換情報の内容は上位ビットを識別子、下位ビットをデータ用に用いることになり、例えば、１個の変換情報が３２ビットの場合、上位８ビットを識別子として用い、次の２４ビットを撮像データ又は図データに利用することになる。よって、この場合では、上述したような３２ビットの変換情報のデータが連続するデータ構造になる。
【００８２】
また、変換テーブル用メモリ２１は、各種データに対するアクセス速度を考慮して、アクセス速度の遅いＥＥＰＲＯＭと、高速アクセス可能なＲＡＭの二重構造で形成し、アクセス速度に応じた画像変換処理を行うようにしてもよい。
【００８３】
【発明の効果】
以上に詳述した如く、第１発明、第８発明及び第１０発明にあっては、変換された表示用データには、撮像装置の取付位置を示す印を付した車両の図データが付加されるので、一目で車両に取り付けてある撮像装置の個数及び位置を把握できる。
第２発明にあっては、モニタ装置で表示される画像を撮像した撮像装置に対応する印を、他の印と相違させるため、印の表示形態の相違により表示画像を撮像した撮像装置を容易に確認できる。
【００８４】
第３発明にあっては、後付けする撮像装置を検出して、後付けの撮像装置の取付位置に印を付した図データを含む変換テーブルを生成するため、後付けの撮像装置の取付位置の印も、最初から取り付けてある撮像装置の印と同様に自動で表示でき、画像変換処理装置の変更等を行わずに後付の撮像装置をスムーズにシステムに組み込むことができる。
【００８５】
第４発明にあっては、図データ又は撮像データの配置を規定する識別子を含む変換情報を含む変換テーブルに基づき変換を行うので、識別子の内容を確認してデータ配置に係る判断処理を容易に行うことができる。
【００８６】
第５発明、第９発明及び第１１発明にあっては、検出された後付けの撮像装置の撮像データ用の変換テーブルを生成するため、画像処理装置のハードウェア等を変更することなしに、後付の撮像装置の撮像データを容易に表示用データへ変換できる。
【００８７】
第６発明にあっては、撮像装置及び画像処理装置をネットワークケーブルで接続することにより、各種ＬＡＮ等の規格に基づいてデータを通信できる。
第７発明にあっては、表示用データの変換を画素毎に対応する複数の変換情報に応じて行うことで、各変換情報単位で読込及び書き込み等が可能になり、迅速な変換処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像変換システムの全体構成図である。
【図２】車両に対するカメラの取付位置を示す概略図である。
【図３】画像処理装置の構成を示すブロック図である。
【図４】（ａ）は撮像データの例を示す図であり、（ｂ）は表示用データの例を示す図である。
【図５】変換テーブルの中身の一例を示す図である。
【図６】撮像データの画素数を示す図である。
【図７】（ａ）は撮像データの他の例を示す図であり、（ｂ）は表示用データの他の例を示す図である。
【図８】表示用データの他の例を示す図である。
【図９】バックカメラが取り付けられていない状態の車両の図データを示す図である。
【図１０】本発明の処理に係る第１フローチャートである。
【図１１】本発明の処理に係る第２フローチャートである。
【図１２】変換情報を表示用データの走査順に縦方向に並べた状態を示す概略図である。
【図１３】従来の表示用データの画像の一例を示す図である。
【符号の説明】
１０　画像変換システム
１２Ａ〜１２Ｆ　各カメラ
１３　画像処理装置
１４　モニタ装置
２１　変換テーブル用メモリ
２３　マイクロコンピュータ
２９　操作部
４０、４６　撮像データ
４１、４７、４８　表示用データ
４２　図データ
４２Ａ〜４２Ｆ　印
Ｓ　車両
【図１】
2004056683.tif 000003
【図２】
2004056683.tif 000004
【図３】
2004056683.tif 000005
【図４】
2004056683.tif 000006
【図５】
2004056683.tif 000007
【図６】
2004056683.tif 000008
【図７】
2004056683.tif 000009
【図８】
2004056683.tif 000010
【図９】
2004056683.tif 000011
【図１０】
2004056683.tif 000012
【図１１】
2004056683.tif 000013
【図１２】
2004056683.tif 000014
【図１３】
2004056683.tif 000015