(57)【要約】画像処理装置には、２種類の撮像装置が接続されている。一方の撮像装置は、車両の周囲の状況を撮影し、他方は、車両の室内の状況を撮影する。プロセッサは、撮像装置からの画像を使って、車両の周囲および室内の双方の状況を表す運転支援画像を作成する。これによって、より多くの情報をドライバに提供できる運転支援画像を作成する画像処理装置を提供することができる。
2003034738.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する第１及び第２のバッファと、
前記第１及び第２のバッファに格納された第１画像及び第２画像に基づいて、前記車両の周囲及び室内の双方の様子を表す運転支援画像を作成するプロセッサとを備える、画像処理装置。
【請求項２】
前記プロセッサは、前記車両に取り付けられた表示装置に、作成した運転支援画像を送信し、
前記表示装置は、受信した運転支援画像を表示する、請求の範囲第１項に記載の画像処理装置。
【請求項３】
前記プロセッサは、予め定められた位置から前記車両の周囲及び室内の双方を見たときの運転支援画像を作成する、請求の範囲第１項に記載の画像処理装置。
【請求項４】
前記プロセッサは、ブレンディングを行って、前記車両の室内が部分的に半透明で描かれた運転支援画像を作成する、請求の範囲第３項に記載の画像処理装置。
【請求項５】
前記プロセッサは、前記車両に取り付けられた着座センサ及び装着センサのそれぞれから検出結果を受け取り、
前記着座センサは、前記車両の座席に乗員が座っているか否かを検出し、
前記装着センサは、前記車両のシートベルトが着用されているか否かを検出し、
前記プロセッサは、前記着座センサ及び前記装着センサから受け取った検出結果に基づいて、シートベルトを着用していない乗員を示すマーク画像を重畳した運転支援画像を作成する、請求の範囲第１項に記載の画像処理装置。
【請求項６】
前記プロセッサは、前記車両に取り付けられた不揮発性の外部記憶装置に、作成した運転支援画像を格納する、請求の範囲第１項に記載の画像処理装置。
【請求項７】
前記プロセッサは、前記車両に取り付けられたタイマから受け取った現在時刻をさらに、前記外部記憶装置に格納する、請求の範囲第６項に記載の画像処理装置。
【請求項８】
前記プロセッサは、前記車両に取り付けられた送信装置に、作成した運転支援画像を転送し、
前記送信装置は、受信した運転支援画像を、前記車両の外部に送信する、請求の範囲第１項に記載の画像処理装置。
【請求項９】
前記プロセッサは、前記車両に取り付けられたロケータから、前記車両の現在位置を受け取り、前記送信装置に転送し、
前記送信装置はさらに、受信した現在位置を、前記車両の外部に送信する、請求の範囲第８項に記載の記載の画像処理装置。
【請求項１０】
前記プロセッサには衝撃センサが接続されており、
前記衝撃センサは、前記車両に加わる衝撃を検出して、前記車両が交通事故に巻き込まれたか否かを示す通知信号を前記プロセッサに送信し、
前記プロセッサは、前記衝撃センサからの通知信号に基づいて、前記車両が交通事故に巻き込まれたと判断した場合に、作成した運転支援画像を前記送信装置に転送する、請求の範囲第８項に記載の画像処理装置。
【請求項１１】
画像処理方法であって、
車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する格納ステップと、
前記格納ステップで格納された第１画像及び第２画像に基づいて、前記車両の周囲及び室内の双方の様子を表す運転支援画像を作成する作成ステップとを備える、画像処理方法。
【請求項１２】
画像処理プログラムであって、
車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する格納ステップと、
前記格納ステップで格納された第１画像及び第２画像に基づいて、前記車両の周囲及び室内の双方の様子を表す運転支援画像を作成する作成ステップとを備える、画像処理プログラム。
【発明の詳細な説明】
技術分野
本発明は、画像処理装置に関し、より特定的には、車両に取り付けられた複数の撮像装置により取り込まれた画像を処理する画像処理装置に関する。
背景技術
上記の画像処理装置の一つして、多機能車載カメラシステムがある。多機能車載カメラシステムは、大略的に、第１〜第８の撮像装置と、画像処理部と、第１〜第３の表示装置とを備えている。
第１〜第８の撮像装置はそれぞれ、車両の周囲に取り付けられる。より具体的には、第１の撮像装置は、車両の前方エリアを撮影する。第２の撮像装置は、車両の左斜め前方のエリアを撮影する。第３の撮像装置は、車両の右斜め前方のエリアを撮影する。第４の撮像装置は、車両の左側にあるドアミラーに映るエリアと実質的に同じエリアを撮影する。第５の撮像装置は、車両の右側にあるドアミラーに映るエリアと実質的に同じエリアを撮影する。第６の撮像装置は、車両の左斜め後方のエリアを撮影する。第７の撮像装置は、車両の右斜め後方のエリアを撮影する。第８の撮像装置は、車両の後方エリアを撮影する。
画像処理部は、上記の第１〜第８の撮像装置の内、予め定められたものにより撮影された画像（以下、撮影画像と称する）を合成して、第１〜第３の表示装置のいずれかで表示される画像（以下、表示画像と称する）を作成する。表示画像として、上視点画像、パノラマ画像、全周画像、結合画像及び視野角限定画像の５種類が作成される。
上視点画像は、車両周囲のエリアを上から見下ろした時の画像である。また、パノラマ画像は、複数の撮影画像を繋ぎ合わせた超広角画像である。全周画像は、全撮像装置からの撮影画像を次々と繋ぎ合わせることにより作成され、車両周囲の様子を連続的に表示可能な画像である。結合画像は、不連続なエリアの状況を表す複数の撮影画像を繋ぎ合わせた画像である。なお、複数の撮影画像の境界は、ドライバが明確に視認可能に表現される。視野角限定画像は、第４及び第５の撮像装置による撮影画像から作成され、各ドアミラーと同程度の視野角を有する画像である。
第１〜第３の表示装置は、以上の５種類の画像を、車両の運転状況に応じた適切なタイミングで表示する。
以上のような処理により、多機能車載カメラシステムは、車両の安全運転を支援することができる。なお、以上の多機能車載カメラシステムは既に、欧州特許庁によって公開されており、公開番号はＥＰ  １０７７１６１  Ａ２である。
次に、以上の多機能車載カメラシステムが抱えている問題点について説明する。上述の５種類の画像は全て、車両周囲の状況を表している。従って、多機能車載カメラシステムは、車両の室内の状況をドライバに提供することができない。その結果、例えば、同乗者、特に、後部座席の同乗者がシートの正しい位置に座っているか、又はシートベルトを装着しているかを、ドライバは簡単に把握できないという問題点があった。
それ故に本発明の目的は、車内の状況も提供可能な画像処理装置を提供することである。
発明の開示
上記目的を達成するため、本発明の一局面は、画像処理装置であって、車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する第１及び第２のバッファと、第１及び第２のバッファに格納された第１画像及び第２画像に基づいて、車両の周囲及び室内の双方の様子を表す運転支援画像を作成するプロセッサとを備える。
発明を実施するための最良の形態
図１は、本発明の一実施形態に係る画像処理装置ＡＩＰが組み込まれた運転支援装置ＡＤＡの全体構成を示すブロック図である。図１において、運転支援装置ＡＤＡは、車両Ｖ（図３参照）に設置され、５台の撮像装置１〜５と、画像処理装置ＡＩＰと、表示装置６とを備えている。なお、図１では、都合上、撮像装置２〜４の図示を省略している。
次に、図２〜図４を参照して、撮像装置１〜５について詳細に説明する。図２は、各撮像装置１〜５の視野角θＶ及び視野ＦＶ１〜ＦＶ５を示す模式図である。図２において、各撮像装置１〜５は好ましくは、１４０°程度の視野角θＶを有する。なお、視野角θＶは、撮像装置１〜５の実用性及びコストを考慮して選ばれ、１４０°以外でも構わない。また、撮像装置１〜５の視野角θＶは互いに異なっていても良いが、本実施形態では便宜上、全ての視野角θＶは実質的に同じであると仮定する。また、以降の説明では、撮像装置１〜５の視野角θＶの範囲内を、視野ＦＶ１〜ＦＶ５と称する。
また、図３は、路面ＳＲ上に静止する車両Ｖの斜視図であり、以降の説明で必要となる３次元空間座標系を説明するための図である。なお、説明の便宜のため、路面ＳＲは水平面と仮定する。図３において、３次元空間座標系は、Ｘ軸、Ｙ軸及びＺ軸からなる。Ｘ軸は、鉛直面ＰＶと路面ＳＲとの交線からなる。鉛直面ＰＶは、車両Ｖの縦中心面ＰＬＭに直交し、かつ車両Ｖの後端に接する平面である。縦中心面ＰＬＭは、直進姿勢にある車両Ｖの左右の車輪間の中点を通る鉛直面である。Ｙ軸は、縦中心面ＰＬＭと鉛直面ＰＶとの交線からなる。Ｚ軸は、縦中心面ＰＬＭと路面ＳＲとの交線からなる。
さらに、図４は、上記撮像装置１〜５を設置例を示す模式図である。また、図４には、説明の便宜のため、上記車両Ｖの上面（上段に図示）及び側面（下段に図示）が描かれている。図４に示すように、撮像装置１は好ましくは、車両Ｖの右後ろ角付近に設置される。より具体的には、撮像装置１のレンズ１１の頂点が上記３次元空間座標系において、座標値（Ｘ１，Ｙ１，０）に位置するように、撮像装置１は設置される。以上のレンズ１１の頂点位置から、撮像装置１の光軸ＡＰ１は、車両Ｖの後方右側のエリアへと向かい、路面ＳＲと交差する。より具体的には、光軸ＡＰ１は、Ｙ−Ｚ平面に対して角度α１で交差し、さらに、Ｘ−Ｚ平面と角度β１で交差する。以上のような位置において、撮像装置１は、図１に示すように、車両Ｖの後方右側のエリアを撮影して画像（以下、撮影画像と称する）ＩＣ１を作成し、画像処理装置ＡＩＰに送る。
ここで、図５の（ａ）は、上記撮影画像ＩＣ１の模式図である。図５の（ａ）において、撮影画像ＩＣ１は、予め定められた個数の画素ＰＣ１からなる。各画素ＰＣ１の位置は、ＵＣ軸及びＶＣ軸を有する第１の視平面座標系における座標値（ＵＣ，ＶＣ）により特定される。なお、説明の便宜上、撮影画像ＩＣ１は、図５（ａ）には代表的に、１つの画素ＰＣ１のみが図示されている。
次に、角度α１の好ましい値について説明する。車両Ｖの運転支援のために、撮像装置１は、ドライバの死角エリアを撮影することが要求される。もし角度α１が０°に近ければ、撮像装置１は、上記死角エリアとなる車両Ｖの後端直下のエリアを撮影できなくなる。逆に角度α１が９０°に近ければ、撮像装置１は、上記死角エリアとなる車両Ｖの右側後方のエリアを撮影できなくなる。以上の点や、周囲の撮像装置２及び４の撮影エリアを考慮して、角度α１は適切な値に設定される。例えば、視野角θＶが上述のように１４０°程度の場合には、α１は２０°程度に設定されることが好ましい。
次に、角度β１の好ましい値について説明する。上述のように、撮像装置１はドライバの死角エリアを撮影することが要求される。もし角度β１が０°に近ければ、撮像装置１は車両Ｖから離れたエリアしか撮影することができない。つまり、撮像装置１は、車両Ｖの後端直下のエリアを撮影できなくなる。また、一般的に、ドライバは、車両Ｖの進路を遮る障害物を避けて運転するので、障害物は車両Ｖからある程度離れた位置に存在する。従って、角度β１が９０°に近い場合、撮像装置１は車両Ｖに極めて近いエリアしか撮影することができない。つまり、この場合、撮像装置１は、障害物を撮影し難くなる。以上の点や、周囲の撮像装置２及び４の撮影エリアとを考慮して、角度β１は適切な値に設定される。視野角θＶが上述のように１４０°程度の場合には、角度β１は３０°〜７０°程度に設定されることが好ましい。
また、図４に示すように、撮像装置２は好ましくは、車両Ｖの右側のドアミラーに設置される。より具体的には、撮像装置２のレンズ２１の頂点が上記３次元空間座標において、座標値（Ｘ２，Ｙ２，Ｚ１）に位置するように、撮像装置２は設置される。以上のレンズ２１の頂点位置から、撮像装置２の光軸ＡＰ２は、車両Ｖの右側後方のエリアへと向かい、Ｚ−Ｘ平面（つまり、路面ＳＲ）と交差する。より具体的には、光軸ＡＰ２は、Ｙ−Ｚ平面と角度α２で交差し、さらに、Ｘ−Ｚ平面と角度β２で交差する。ここで、角度α２及びβ２は、撮像装置２の設置位置等を考慮して設定され、角度α２は例えば、３０°〜４５°程度に設定される。また、角度β２は例えば、２０°〜７０°程度に設定される。以上のような位置において、撮像装置２は、車両Ｖの右側後方のエリアを撮影して、図５の（ｂ）に示すような画像（以下、撮影画像と称する）ＩＣ２を作成し、画像処理装置ＡＩＰに送る。ここで、撮影画像ＩＣ２を構成する画素を、以下の説明では、画素ＰＣ２と称する。各画素ＰＣ２は、画素ＰＣ１の場合と同様に、第１の視平面座標系の座標値（ＵＣ，ＶＣ）で特定される。
なお、図４から明らかなように、撮像装置３は、Ｙ−Ｚ平面を基準にして、撮像装置２と面対称な位置に設置される。撮像装置４は、Ｙ−Ｚ平面を基準として、撮像装置１と面対称な位置に設置される。このような位置において、撮像装置３は、車両Ｖの左側後方のエリアを撮影して、図６の（ａ）に示すような画像（以下、撮影画像と称する）ＩＣ３を作成し、撮像装置４は、車両Ｖの後方右側のエリアを撮影して、図６の（ｂ）に示すような画像（以下、撮影画像と称する）ＩＣ４を作成する。これら撮影画像ＩＣ３及びＩＣ４もまた、画像処理装置ＡＩＰに送られる。
また、図４に示すように、撮像装置５は、車両Ｖの室内、より具体的にはルームミラー（インサイドミラー）に設置される。さらに具体的には、撮像装置５のレンズ５１の頂点が上記３次元空間座標において、座標値（０，Ｙ３，Ｚ２）に位置するように、撮像装置５は設置される。以上のレンズ５１の頂点位置から、撮像装置５の光軸ＡＰ５は、室内の後部座席の方向に向かい、Ｚ−Ｘ平面と交差する。より具体的には、光軸ＡＰ５は、Ｙ−Ｚ平面と平行であり、かつＸ−Ｚ平面と角度β５で交差する。ここで、角度β５は、撮像装置５が、車両Ｖの室内全体を撮影できるように、適切な値に設定される。上記のように、撮像装置５の視野角θＶが１４０°程度の場合、角度β５は２０°〜７０°程度であることが好ましい。このような位置において、撮像装置５は、車両Ｖの室内全体を撮影して、図７（ａ）に示すような画像（以下、撮影画像と称する）ＩＣ５を作成し、画像処理装置ＡＩＰに送る。
画像処理装置ＡＩＰは、図１に示すように、プロセッサ８と、作業領域９と、プログラムメモリ１０とを備えている。プロセッサ８は、プログラムメモリ１０に格納されているコンピュータプログラム（以下、単にプログラムと称する）１０１に従って動作する。その結果、プロセッサ８は、上述の撮影画像ＩＣ１〜ＩＣ５を使って、運転支援画像ＩＤＡを作成する。
作業領域９は典型的には、ランダムアクセスメモリで構成され、運転支援画像ＩＤＡの作成時にプロセッサ８により使用される。作業領域９は、図８に示すように、撮影画像用のバッファ９１〜９５と、運転支援画像用のバッファ９６とからなる。バッファ９１は、撮像装置１に割り当てられており、撮像装置１の撮影画像ＩＣ１（図５の（ａ）参照）を格納する。つまり、バッファ９１は、第１の視平面座標系の各座標値（ＵＣ，ＵＣ）毎に、撮影画像ＩＣ１を構成する各画素ＰＣ１の値を格納可能に構成される。同様に、バッファ９２〜９５は、撮像装置２〜５に割り当てられており、撮影画像ＩＣ２〜ＩＣ５を格納する。また、以上のバッファ９１〜９５には、それぞれを一意に特定できるよう、互いに重複しない識別番号ＩＤが割り当てられる。本実施形態では、バッファ９１〜９５には、識別番号ＩＤとして＃１〜＃５が割り当てられると仮定する。なお、バッファ９１〜９５は、撮像装置１〜５に割り当てられるので、識別番号ＩＤとしての＃１〜＃５は撮像装置１〜５も一意に特定する。
また、運転支援画像ＩＤＡは、図７の（ｂ）に示すように、仮想カメラＣＶ（図９参照）から、車両Ｖの室内及び外部の双方の様子を表す。仮想カメラＣＶの位置は、車両Ｖの室内であればどこでも構わないが、本実施形態では、車両Ｖのルームミラー近傍に選ばれている。なお、仮想カメラＣＶの位置をルームミラー近傍にするのは、車両Ｖのドライバは、ルームミラーに映る像を見慣れていると想定できるので、運転支援画像ＩＤＡをドライバが受け入れ易いと想定できるからである。より具体的には、撮像装置５と実質的に同じ位置に、仮想カメラＣＶは置かれる。また、仮想カメラＣＶの光軸ＡＶは、３次元座標空間におけるＹ−Ｚ平面と平行であり、かつＸ−Ｚ平面と角度β５で交差する。
また、単純に仮想カメラＣＶを位置及び向きを撮像装置５と同じにしただけでは、運転支援画像ＩＤＡは、撮影画像ＩＣ５と同じものになってしまう。つまり、運転支援画像ＩＤＡにおいて車両Ｖの周囲の状況は、ドアに代表される車両Ｖの構成により遮られて隠れてしまい、本願で設定された目的を十分に達成できない。そのため、後述するブレンディング処理により、運転支援画像ＩＤＡにおいて、車両Ｖの大部分は半透明で描かれ、これによって、運転支援画像ＩＤＡは、図７の（ｂ）に示すように、車両Ｖの外部の状況をドライバに提供する事が可能になる。なお、以下の説明では、運転支援画像ＩＤＡにおいて、ブレンディング処理により半透明で描かれる領域を混合エリアＲＭＸ（左下がりの斜線領域）と定義し、そうでない領域を非混合エリアＲＮＢ（右下がりの斜線領域）と定義する。混合エリアＲＭＸは、車両Ｖの外部及び室内の双方の様子が描かれるエリアであり、非混合エリアＲＮＢは、車両Ｖの室内の様子のみが描かれるエリアである。このように非混合エリアＲＮＢができてしまうのは、撮像装置１〜５は上述のように配置されるので、車両Ｖの全周囲を完全に撮影することはできないからである。例えば、車両Ｖのフロア直下については撮影できない。また、撮像装置１〜５の位置は決まっているので、混合エリアＲＭＸ及び非混合エリアＲＮＢが運転支援画像ＩＤＡにおいてどの範囲を占めるかは、予め定まる。
また、図７の（ｂ）において、運転支援画像ＩＤＡは、第２の視平面座標系の座標値（ＵＤＡ，ＶＤＡ）で特定される、（ＮＵ×ＮＶ）個の画素ＰＤＡから構成される。ここで、ＮＵ及びＮＶの双方は自然数である。また、便宜上、運転支援画像ＩＤＡは、ＵＤＡ軸の方向にＮＵ個の画素ＰＤＡが並び、ＶＤＡ軸の方向にＮＶ個の画素ＰＤＡ軸上が並ぶ長方形状のものであると仮定する。
図８に示すバッファ９６は、以上の運転支援画像ＩＤＡをプロセッサ８が作成する際に使用され、上述の（ＮＵ×ＮＶ）個の画素ＰＤＡの値を格納可能に構成される。
また、図１において、プログラムメモリ１０は典型的には、リードオンリーメモリで構成され、少なくとも、上述のプログラム１０１と、マッピングテーブル１０２とを含んでいる。プログラム１０１には、プロセッサ８による画像処理の手順が少なくとも記述される。この処理手順については、図１２及び図１３を参照して、後で詳説する。
次に、マッピングテーブル１０２について詳説する。プロセッサ８は、後述するように、画像処理において、撮影画像ＩＣ１〜ＩＣ５から、いくつかの画素ＰＣ１〜ＰＣ５を選択し、選択した画素ＰＣ１〜ＰＣ５を使って運転支援画像ＩＤＡを作成する。この選択・作成時に、マッピングテーブル１０２が参照される。例えば、プロセッサ８は、マッピングテーブル１０２に従って、図１０に示すように、撮影画像ＩＣ５における画素ＰＣ５１の値から、上記非混合エリアＲＮＢにおける、ある画素ＰＤＡ１の値を決定する。同様にして、撮影画像ＩＣ２における画素ＰＣ２１の値、及び撮影画像ＩＣ５における画素ＰＣ５２の値が予め定められた比率ＲＢＲで混合されることで、上記混合エリアＲＭＸにおける、他の画素ＰＤＡ２の値が決定される。なお、以下の説明では、比率ＲＢＲのことを、ブレンド比ＲＢＲと称する。上述以外の画素ＰＤＡの値もまた、同じようにして決定される。
ここで注意を要するのは、上述のように運転支援画像ＩＤＡは、仮想カメラＣＶ（図９参照）から見た時の車両Ｖの室内及び、車両Ｖの外部の様子を表しており、撮影画像ＩＣ１〜ＩＣ４は、撮像装置１〜４から車両Ｖの周囲を見た時の様子を表す。従って、撮影画像ＩＣ１〜ＩＣ４から、運転支援画像ＩＤＡを作成する際には、視点変換処理が行われる必要があるが、画像処理装置ＡＩＰでは、国際公開ＷＯ００／０７３７３号公報に開示されている技術を応用する。その結果、マッピングテーブル１０２を参照して、プロセッサ８が画素ＰＣ１〜ＰＣ５の中からいくつかを選択すると同時に、視点変換処理が行われる。
各画素ＰＤＡの値を決定可能にするために、マッピングテーブル１０２には、各画素ＰＤＡの値が、どの画素ＰＣ１〜ＰＣ５の値を使って決定されるかが記述される。ここで、図１１は、マッピングテーブル１０２の一構成例を示す模式図である。図１１において、マッピングテーブル１０２は、（ＮＵ×ＮＶ）個の単位レコードＵＲから構成される。単位レコードＵＲのそれぞれは、互いに重複しない一つの画素ＰＤＡに一意に割り当てられ、レコード種別ＴＵＲと、第２の視平面座標系の座標値（ＵＤＡ，ＶＤＡ）と、少なくとも１組の識別番号ＩＤ及び第１の視平面座標系の座標値（ＵＤＡ，ＶＤＡ）と、ブレンド比ＲＢＲとを含む。
レコード種別ＴＵＲは、自身を含む単位レコードＵＲの種類を典型的には、「１」及び「２」のいずれか一方の番号で示す。本実施形態では、便宜上、「１」は、上述のブレンディングが不要であることを示す、「２」は、ブレンディングが必要であることを示す。従って、上述の非混合エリアＲＮＢに属する画素ＰＤＡに割り当てられる単位レコードＵＲにおいて、レコード種別ＴＵＲの欄には、「１」が記述される。また、混合エリアＲＭＸに属するものの単位レコードＵＲにおいて、レコード種別ＴＵＲの欄には「２」が記述される。
座標値（ＵＤＡ，ＶＤＡ）は、自身を含む単位レコードＵＲがどの画素ＰＤＡに割り当てられているかを示す。
識別番号ＩＤ及び座標値（ＵＣ，ＶＣ）については上述した通りである。ここで注意を要するのは、画素ＰＤＡの値は、同じ単位レコードＵＲの識別番号ＩＤ及び座標値（ＵＤＡ，ＶＤＡ）の組み合わせにより一意に特定される、画素ＰＣ１〜ＰＣ５のいずれか１つ又は２つの値を使って決定される点である（図９参照）。他にも注意を要するのは、同じ単位レコードＵＲのレコード種別ＴＵＲが「１」の場合には、識別番号ＩＤ及び座標値（ＵＣ，ＶＣ）の組み数は１つであり、それが「２」の場合には、識別番号ＩＤ及び座標値（ＵＣ，ＶＣ）の組み数は２つである。
また、ブレンド比ＲＢＲは、その値を含む単位レコードＵＲに記述される画素ＰＤＡの値を決定するためのパラメータである。本実施形態では、好ましい例として、ブレンド比ＲＢＲは、レコード種別ＴＵＲが「２」である単位レコードＵＲにのみ記述され、より具体的には、識別番号ＩＤ及び座標値（ＵＤＡ，ＶＤＡ）の組みの一方にのみ割り当てられる。ここで、割り当てられたブレンド比ＲＢＲをα（０＜α＜１）とおくと、識別番号ＩＤ及び座標値（ＵＤＡ，ＶＤＡ）の組みの他方のブレンド比ＲＢＲは（１−α）となる。
表示装置６は、画像処理装置ＡＩＰにより作成された運転支援画像ＩＤＡを表示する。
次に、図１２のフローチャートを参照して、画像処理装置ＡＩＰの動作について説明する。運転支援装置ＡＤＡの起動後、プロセッサ８は、プログラムメモリ１０内のプログラム１０１の実行を開始する。そして、所定のタイミング（例えば３０ｍｓ毎）で、プロセッサ８は、好ましくは１つの撮像指示ＣＩＣを作成し、全ての各撮像装置１〜５に送信する（ステップＳ１）。本実施形態では、撮像指示ＣＩＣは、全撮像装置１〜５に対して撮像を指示するための命令である。各撮像装置１〜５は、撮像指示ＣＩＣの受信に応答して、上述の撮影画像ＩＣ１〜ＩＣ５を作成して、作業領域９に転送する。その結果、バッファ９１〜９５には、撮影画像ＩＣ１〜ＩＣ５が格納される（ステップＳ２）。
なお、本実施形態では、各撮像装置１〜５は、撮像指示ＣＩＣに応答して、撮影画像ＩＣ１〜ＩＣ５を作成し、それぞれをバッファ９１〜９５に格納する。しかし、これに限らず、各撮像装置１〜５は、予め定められたタイミングで、撮影画像ＩＣ１〜ＩＣ５を自発的又は能動的に作成して、バッファ９１〜９５に格納するようにしても良い。
次に、プロセッサ８は、プログラムメモリ１０のマッピングテーブル１０２に従って画像処理を行う。つまり、プロセッサ８は、バッファ９１〜９５に格納されている撮影画像ＩＣ１〜ＩＣ５を使って、運転支援画像ＩＤＡをバッファ９５上で作成する（ステップＳ３）。
ここで、図１３は、ステップＳ３の詳細な処理手順を示すフローチャートである。図１３において、プロセッサ８は、マッピングテーブル１０２の中から、未選択の単位レコードＵＲを１つ選択し、選択したものから、レコード種別ＴＵＲを取り出す（ステップＳ２１）。そして、プロセッサ８は、今回取り出したものが「１」か否かを判断する（ステップＳ２２）。
レコード種別ＴＵＲが「１」の場合、上述したようにブレンディングは不要であり、今回選択した単位レコードＵＲには、１組みの識別番号ＩＤ及び座標値（ＵＣ，ＶＣ）が記述されている。プロセッサ８は、ステップＳ２２でレコード種別ＴＵＲが「１」であると判断した場合、今回の単位レコードＵＲから、識別番号ＩＤ及び座標値（ＵＣ，ＶＣ）を読み出す（ステップＳ２３）。次に、プロセッサ８は、バッファ９１〜９５の中から、今回読み出した識別番号ＩＤで特定されるものにアクセスし、さらに、今回アクセスしたもの（バッファ９１〜９５のいずれか）から、今回読み出した座標値（ＵＣ，ＶＣ）で特定される画素Ｐ（画素ＰＣ１〜ＰＣ５のいずれか）の値を取り出す（ステップＳ２４）。次に、プロセッサ８は、今回の単位レコードＵＲから、座標値（ＵＤＡ，ＶＤＡ）を読み出す（ステップＳ２５）。そして、プロセッサ８は、画素ＰＣ１〜ＰＣ５の内、今回取り出した値を、今回選択した単位レコードＵＲに記述される座標値（ＵＤＡ，ＶＤＡ）で特定される画素ＰＤＡの値とする。つまり、プロセッサ８は、バッファ９６において座標値（ＵＤＡ，ＶＤＡ）で特定される画素ＰＤＡの値を格納する領域に、ステップＳ２３で取り出した画素ＰＣ１〜ＰＣ５のいずれかをそのまま格納する（ステップＳ２６）。
一方、ステップＳ２２で、今回のレコード種別ＴＵＲが「２」と判断した場合には、今回の単位レコードＵＲから、識別番号ＩＤ及び座標値（ＵＣ，ＶＣ）と、それと同じ組みのブレンド比ＲＢＲとを読み出す（ステップＳ２７）。次に、プロセッサ８は、バッファ９１〜９５の中から、今回読み出した識別番号ＩＤで特定されるものにアクセスし、さらに、今回アクセスしたもの（バッファ９１〜９５のいずれか）から、今回読み出した座標値（ＵＣ，ＶＣ）で特定される画素Ｐ（画素ＰＣ１〜ＰＣ５のいずれか）の値を取り出す（ステップＳ２８）。その後、プロセッサ８は、今回取り出した画素ＰＣ１〜ＰＣ５のいずれかに、今回読み出したブレンド比ＲＢＲを乗算し、その乗算値ＭＰ×Ｒを作業領域９で保持する（ステップＳ２９）。次に、プロセッサ８は、今回選択した単位レコードＵＲに、未選択の組み合わせ（識別番号ＩＤ及び座標値（ＵＣ，ＶＣ））が残っているか否かを判断する（ステップＳ２１０）。未選択の組み合わせがあれば、プロセッサ８は、それ及びブレンド比ＲＢＲを読み出して（ステップＳ２１１）、ステップＳ２８を行う。それに対して、未選択の組み合わせがなければ、プロセッサ８は、ステップＳ２１２を行う。
プロセッサ８がステップＳ２１０で未選択の組み合わせが無いと判断した時点で、作業領域９には、複数の乗算値ＭＰ×Ｒが格納されていることになる。プロセッサ８は、複数の乗算値ＭＰ×Ｒの総計ＶＳＵＭを計算し（ステップＳ２１２）、今回の単位レコードＵＲから、座標値（ＵＤＡ，ＶＤＡ）を読み出す（ステップＳ２１３）。プロセッサ８は、ステップＳ２１２で算出した総計ＶＳＵＭを、ステップＳ２１３で読み出した座標値（ＵＤＡ，ＶＤＡ）で特定される画素ＰＤＡの値とする。つまり、プロセッサ８は、バッファ９６において、座標値（ＵＤＡ，ＶＤＡ）で特定される画素ＰＤＡの値を格納する領域に、今回算出した総計ＶＳＵＭを格納する（ステップＳ２１４）。
以上のステップＳ２６又はＳ２１４が終了すると、プロセッサ８は、未選択の単位レコードＵＲが残っているか否かを判断し（ステップＳ２１５）、未選択のものが残っていれば、ステップＳ２１を行い、運転支援画像ＩＤＡを構成する各画素ＰＤＡの値を決定していく。つまり、プロセッサ８は、全ての単位レコードＵＲを選択し終えるまで、ステップＳ２１５までの処理を行う。その結果、バッファ９６には、１フレームの運転支援画像ＩＤＡが完成し、プロセッサ８は、ステップＳ２から抜ける。
次に、プロセッサ８は、バッファ９６上に作成された運転支援画像ＩＤＡを表示装置６に転送する（ステップＳ４）。表示装置６は、受信した運転支援画像ＩＤＡを表示する。画像処理装置ＡＩＰでは、以上のステップＳ１からＳ４までの一連の処理が繰り返し実行される。また、以上の運転支援画像ＩＤＡを見ることで、車両Ｖの室内の様子及び車両Ｖの外部の様子の双方をドライバは視認できる。より具体的には、ドライバは、車両Ｖの周囲において、自身の死角領域の状況を把握することができ、同時に、他の乗員が座席に安全な姿勢で座っているかを確認することが可能となる。これによって、従来よりも安全な運転を支援可能な運転支援画像ＩＤＡを作成できる画像処理装置ＡＩＰを提供することができる。
なお、以上の実施形態では好ましい例として、運転支援画像ＩＤＡは、仮想カメラＣＶから見たとき車両Ｖの外部及び内部の様子を表していた。これにより、例えば、車両Ｖの外部に障害物があったとしても、ドライバは、その障害物の車両Ｖに対する位置を直感的に理解することができる。しかし、画像処理装置ＡＩＰは、図７の（ｂ）に示す以外にも、例えば、図１４の（ａ）に示すように、車両Ｖの内部及び外部の様子が別々に描かれた運転支援画像ＩＤＡを作成しても良い。
また、以上の実施形態では好ましい例として、撮像装置１〜５は図４に示すように設置されていたが、これに限らず、別の位置に取り付けられても良い。また、撮像装置の台数も５台に限らず、５台を超えていても良いし、それ未満であっても良い。
次に、図１５は、図１の運転支援装置ＡＤＡの変型例に係る運転支援装置ＡＤＡ１の構成を示すブロック図である。図１５において、運転支援装置ＡＤＡ１は、運転支援装置ＡＤＡと比較すると、いくつかの着座センサ１１及び／又はいくつかの装着センサ１２をさらに備える点で相違する。それ以外に両運転支援装置ＡＤＡ及びＡＤＡ１の間に構成面での相違点は無いので、図１５において、図１の構成に相当するものには同一の参照符号を付け、それぞれの説明を省略する。
着座センサ１１は、車両Ｖの各席に取り付けられ、プロセッサ８からの指示に応答して、自身が取り付けられている座席（以下、対象座席と称する）に乗員が座っているか否かを検出して、検出結果を通知するための通知信号ＤＳＴをプロセッサ８に送信する。
装着センサ１２は、上述の対象座席用のシートベルトに１つずつ取り付けられ、プロセッサ８からの指示に応答して、自身が取り付けられているシートベルトが着用されているか否かを検出して、検出結果を通知するための通知信号ＤＳＢをプロセッサ８に送信する。
次に、図１６のフローチャートを参照して、図１５のプロセッサ８の動作を説明する。図１６は、図１２と比較すると、ステップＳ５〜Ｓ８をさらに含む点で相違する。それ以外に両フローチャートの間には相違点はないので、図１６において、図１２のステップに相当するものには、同じステップ番号を付けて、その説明を省略する。
図１６において、ステップＳ３の終了後、プロセッサ８は、各着座センサ１１から通知信号ＤＳＴを受け取る（ステップＳ５）。さらに、プロセッサ８は、各装着センサ１２から通知信号ＤＳＢを受け取る（ステップＳ６）。
次に、プロセッサ８は、受け取った通知信号ＤＳＴおよびＤＳＢを使って、乗員が座っているが、シートベルトが着用されていない座席（以下、警告対象座席と称する）の有無を判断する（ステップＳ７）。より具体的には、各通知信号ＤＳＴが示す検出結果から、プロセッサ８は、現在乗員が座っている座席（以下、使用座席と称する）を特定する。さらに、各通知信号ＤＳＢが示す検出結果から、プロセッサ８は、現在シートベルトが着用されていない座席（以下、非着用座席と称する）を特定する。プロセッサ８は、利用座席でありかつ非着用座席でもある警告対象座席があるか無いかを判断する。そして、プロセッサ８は、そのような警告対象座席がないと判断すると、ステップＳ８を行う事無く、ステップＳ４を行う。
それに対して、プロセッサ８は、ステップＳ７において、１つ以上の警告対象座席があると判断した場合、人間の顔に類似した形を表すマーク画像ＤＭＫを、運転支援画像ＩＤＡにおける所定位置に重畳し（ステップＳ８）、その結果、図１４の（ｂ）に示すような運転支援画像ＩＤＡが作成される。なお、マーク画像ＤＭＫの重畳位置は、運転支援画像ＩＤＡにおいて、警告対象座席に座る乗員の顔があると想定される位置を意味する。このような所定位置は、撮像装置１〜５が車両Ｖに固定されるので、予め導出しておくことが可能である。以上のステップＳ８が終了すると、プロセッサ８は、ステップＳ４を行う。
以上のように、本変型例では、運転支援画像ＩＤＡ上にマーク画像ＤＭＫが重畳されるので、ドライバは、シートベルトを着用していない乗員を簡単に視認することができる。
次に、図１７は、上述の画像処理装置ＡＩＰが組み込まれた車両用画像記録装置ＡＲＥＣの全体構成を示すブロック図である。図１７において、画像記録装置ＡＲＥＣは、上述のの運転支援装置ＡＤＡと比較すると、外部記憶装置１３と、タイマ１４と、送信装置１５と、ロケータ１６と、衝撃センサ１７とをさらに備える点で相違する。それ以外に、両者の間に構成面での相違点は無いので、図１７において、図１の構成に相当するものには同一の参照符号を付け、それぞれの説明を省略する。
外部記憶装置１３は、不揮発性の記憶装置であり、画像処理装置ＡＩＰのバッファ９６から転送されてくる運転支援画像ＩＤＡを、車両Ｖの室内状況及び周囲状況の双方を表す車両状況画像ＩＶＳとして格納する。さらに、外部記憶装置１３には、車両状況画像ＩＶＳと共に、タイマ１４により計時された現在時刻ＴＣが日時情報Ｄｄｄとして格納される。タイマ１４は、プロセッサ８の指示に応答して、自身が計る現在時刻ＴＣを画像処理装置ＡＩＰに送信する。以上の現在時刻ＴＣは、本実施形態では、年月日も含むものとし、上述のように、車両状況画像ＩＶＳと共に外部記憶装置１３に記録される。送信装置１５は、典型的には携帯電話からなり、プロセッサ８の指示に応答して動作し、少なくとも、バッファ９６に作成される運転支援画像ＩＤＡを、上述の車両状況画像ＩＶＳとして車両Ｖの外部に送信する。詳細は後述するが、車両状況画像ＩＶＳの送信先としては、警察署および／または救急センタに代表される施設が典型的である。ロケータ１６は典型的には、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）の受信機からなり、車両Ｖの現在位置ＤＣＰを導出する。なお、本実施形態では、便宜上、ロケータ１６はＧＰＳ受信機からなるとして説明を続けるが、周知のように、ＧＰＳ受信機による現在位置ＤＣＰは誤差を含む。そのため、ロケータ１６は、自律航法センサを含んでいても良い。以上の現在位置ＤＣＰは好ましくは、車両状況画像ＩＶＳと共に送信装置１５から車両Ｖの外部に送信される。衝撃センサ１７は典型的には、シートベルトを補助するＳＲＳ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｒｅｓｔｒａｉｎｔ  Ｓｙｓｔｅｍ）エアバッグシステムで使用される加速度センサであり、車両Ｖへの衝撃度を検出する。そして、衝撃センサ１７は、検出した衝撃度が所定の基準値を超える場合に、車両Ｖが交通事故に巻き込まれたとみなして、そのことを示す通知信号ＤＴＡをプロセッサ８に送信する。
次に、図１８のフローチャートを参照して、図１７のプロセッサ８の動作について説明する。図１８は、図１２のフローチャートと比較すると、ステップＳ４の代わりにステップＳ９を含む点で相違する。それ以外に両フローチャートの間に相違点は無い。そのため、図１８において、図１２のステップに相当するものには同一の参照符号を付け、それぞれの説明を省略する。
ステップＳ３の次に、プロセッサ８はさらに、バッファ９６に作成した運転支援画像ＩＤＡを、表示装置６及び外部記憶装置１３に転送する（ステップＳ９）。表示装置６は、前述と同様、受信した運転支援画像ＩＤＡを表示する。また、外部記憶装置１３は、受信した運転支援画像ＩＤＡを、車両状況画像ＩＶＳとしてを記憶する。以上の車両状況画像ＩＶＳの記録により、運転中における車両Ｖの周囲および室内の双方の状況が外部記憶装置１３に記録されることになる。そのため、万が一、車両Ｖが交通事故に巻き込まれた場合に、旅客機のフライトレコーダと同じように、外部記憶装置１３内の車両状況画像ＩＶＳを、その通事故の原因究明に役立てることができる。また、画像記録装置ＡＲＥＣでは、複数の撮像装置１〜５が作成した撮影画像ＩＣ１〜ＩＣ５をそのまま外部記憶装置１３に格納するのでは無く、それらを１つにまとめた車両状況画像ＩＶＳを格納する。したがって、小容量の外部記憶装置１３を画像記録装置ＡＲＥＣに組み込むことが可能となる。これによって、車両Ｖの室内という狭い空間を有効に利用できる。
なお、ステップＳ９において、より好ましくは、プロセッサ８は、まず、タイマ１８から現在時刻ＴＣを受け取る。その後、プロセッサ８は、バッファ９６上の運転支援画像ＩＤＡに加えて、受信現在時刻ＴＣを外部記憶装置１３に転送する。外部記憶装置１３は、受信した運転支援画像ＩＤＡ及び現在時刻ＴＣの双方を格納する。これによって、車両Ｖが巻き込まれた交通事故の発生時刻ＴＣの特定に役立てることができる。
また、衝撃センサ１７は、上述したように、自身が検出した衝撃度が所定の基準値を超える場合に、車両Ｖが交通事故に巻き込まれたことを示す通知信号ＤＴＡをプロセッサ８に送信する。プロセッサ８は、通知信号ＤＴＡの受信に応答して、図１９に示すような割り込み処理を実行する。図１９において、プロセッサ８は、ロケータ１６から車両Ｖの現在位置ＤＣＰを受け取る（ステップＳ３１）。その後、プロセッサ８は、その時点でバッファ９６に格納されている車両状況画像ＩＶＳ、および受信した現在位置ＤＣＰの双方を送信装置１５に転送する（ステップＳ３２）。送信装置１５は、受信した車両状況画像ＩＶＳ、および受信した現在位置ＤＣＰの双方を、車両Ｖの外部（遠隔）に位置する救急センタおよび／または警察署に送信する。救急センタおよび／または警察署には、車両状況画像ＩＶＳ、の受信局および表示装置が設置されており、救急センタ等のオペレータは、受信した車両状況画像ＩＶＳ、および受信した現在位置ＤＣＰの双方から、車両Ｖが巻き込まれた交通事故の発生を知ることができ、さらに、車両Ｖ内のけが人の様子および当該交通事故の発生場所を知ることができる。
産業上の利用可能性
本発明に係る画像処理装置は、車両の安全運転を支援する運転支援装置に組み込むことができる。
【図面の簡単な説明】
図１は、本発明の一実施形態に係る画像処理装置ＡＩＰが組み込まれた運転支援装置ＡＤＡの全体構成を示すブロック図である。
図２は、各撮像装置１〜５の視野角θＶ及び視野ＦＶ１〜ＦＶ６を示す模式図である。
図３は、図１の運転支援装置ＡＤＡが設置される車両Ｖの斜視図である。
図４は、図１に示す撮像装置１〜５を設置例を示す模式図である。
図５は、図１に示す撮像装置１及び２による撮影画像ＩＣ１及びＩＣ２を示す模式図である。
図６は、図１に示す撮像装置３及び４による撮影画像ＩＣ３及びＩＣ４を示す模式図である。
図７は、図１に示す撮像装置５による撮影画像ＩＣ５及び、図１のプロセッサ８が作成する運転支援画像ＩＤＡを示す模式図である。
図８は、図１に示す作業領域９の詳細な構成を示す模式図である。
図９は、図７の（ｂ）に示す運転支援画像ＩＤＡを作成するために必要となる仮想カメラＣＶの位置を示す模式図である。
図１０は、図１のプロセッサ８が行う画像処理を説明するための模式図である。
図１１は、マッピングテーブル１０２の一構成例を示す模式図である。
図１２は、図１のプロセッサ８の処理手順を示すフローチャートである。
図１３は、図１２のステップＳ３の詳細な処理手順を示すフローチャートである。
図１４は、図１のプロセッサ８が作成する運転支援画像ＩＤＡを他の例を示す模式図である。
図１５は、図１の運転支援装置ＡＤＡの変型例に係る運転支援装置ＡＤＡ１の構成を示すブロック図である。
図１６は、図１５のプロセッサ８の処理手順を示すフローチャートである。
図１７は、図１の画像処理装置ＡＩＰが組み込まれた車両用画像記録装置ＡＲＥＣの全体構成を示すブロック図である。
図１８は、図１７のプロセッサ８の処理手順を示すフローチャートである。
図１９は、図１７のプロセッサ８の割り込み処理の手順を示すフローチャートである。
【図１】
2003034738.tif 000003
【図２】
2003034738.tif 000004
【図３】
2003034738.tif 000005
【図４】
2003034738.tif 000006
【図５】
2003034738.tif 000007
【図６】
2003034738.tif 000008
【図７】
2003034738.tif 000009
【図８】
2003034738.tif 000010
【図９】
2003034738.tif 000011
【図１０】
2003034738.tif 000012
【図１１】
2003034738.tif 000013
【図１２】
2003034738.tif 000014
【図１３】
2003034738.tif 000015
【図１４】
2003034738.tif 000016
【図１５】
2003034738.tif 000017
【図１６】
2003034738.tif 000018
【図１７】
2003034738.tif 000019
【図１８】
2003034738.tif 000020
【図１９】
2003034738.tif 000021
【手続補正書】
【提出日】平成15年7月22日(2003.7.22)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
画像処理装置であって、
車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する第１及び第２のバッファと、
前記第１及び第２のバッファに格納された第１画像及び第２画像を所定の比率でブレンディングを行って、前記車両の周囲及び室内の双方の様子を表す運転支援画像を作成するプロセッサとを備える、画像処理装置。
【手続補正００２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
前記プロセッサは、前記車両の室内が部分的に半透明で描かれた運転支援画像を作成する、請求の範囲第３項に記載の画像処理装置。
【手続補正００３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１１
【補正方法】変更
【補正の内容】
【請求項１１】
画像処理方法であって、
車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する格納ステップと、
前記格納ステップで格納された第１画像及び第２画像を所定の比率でブレンディングを行って、前記車両の周囲及び室内の双方の様子を表す運転支援画像を作成する作成ステップとを備える、画像処理方法。
【手続補正００４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１２
【補正方法】変更
【補正の内容】
【請求項１２】
画像処理プログラムであって、
車両の周囲の様子を表す第１画像、及び車両の室内の様子を表す第２画像を格納する格納ステップと、
前記格納ステップで格納された第１画像及び第２画像を所定の比率でブレンディングを行って、前記車両の周囲及び室内の双方の様子を表す運転支援画像を作成する作成ステップとを備える、画像処理
【手続補正００５】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
乗者がシートの正しい位置に座っているか、又はシートベルトを装着しているかを、ドライバは簡単に把握できないという問題点があった。
それ故に本発明の目的は、車内の状況も提供可能な画像処理装置を提供することである。
発明の開示
上記目的を達成するため、本発明の一局面は、画像処理装置であって、車両の周囲の様子を表す第１画像、及び室両の室内の様子を表す第２画像を格納する第１及び第２のバッファと、第１及び第２のバッファに格納された第１画像及び第２画像を所定の比率でブレンディングを行って、車両の周囲及び室内の双方の様子を表す運転支援画像を作成するプロセッサとを備える。
図面の簡単な説明
図１は、本発明の一実施形態に係る画像処理装置ＡＩＰが組み込まれた運転支援装置ＡＤＡの全体構成を示すブロック図である。
図２は、各撮像装置１〜５の視野角θＶ及び視野ＦＶ１〜ＦＶ６を示す模式図である。
図３は、図１の運転支援装置ＡＤＡが設置される車両Ｖの斜視図である。
図４は、図１に示す撮像装置１〜５を設置例を示す模式図である。
図５は、図１に示す撮像装置１及び２による撮影画像Ｉ




【国際調査報告】
2003034738.tif 000022
2003034738.tif 000023
2003034738.tif 000024