(57)【要約】  【課題】  処理負荷をかけずに、距離が近い物体ほど強調して表示することのできる周辺監視装置を提供すること。  【解決手段】  第１の撮像手段１ａおよび第２の撮像手段１ｂは、光学系の光軸が互いに平行でかつ一定距離ｄだけ空間的に離して固定されて設置され、画像強調手段２は、第１の撮像手段１ａと第２の撮像手段１ｂの画素ごとに、第１の撮像手段１ａと第２の撮像手段１ｂの輝度値の差分を求め、求めた差分に重み付けを乗じ、その積を第１の撮像手段１ａの画素のＲ，Ｇ，Ｂの輝度値にそれぞれ加算して画像データを作成し、表示手段３が、画像強調手段２が作成した画像データにより画像を表示する。【選択図】  図１
2007079790.tif 000002
【特許請求の範囲】
【請求項１】
光学系の光軸が互いに平行になるように設置された複数の撮像手段と、前記複数の撮像手段により撮像された画像データの画素ごとに輝度値の違いを示す値を算出し、算出した値に重み付けを乗じた値を前記複数の撮像手段の一つの撮像手段の画像データの対応する画素の輝度値に加算した画像データを出力する画像強調手段と、前記画像強調手段が出力した画像データによる画像を表示する表示手段とを備えることを特徴とする周辺監視装置。
【請求項２】
前記撮像手段を二つ備え、前記画像強調手段は、前記輝度値の違いを示す値として画素の輝度値の差を算出することを特徴とする請求項１に記載の周辺監視装置。
【請求項３】
光学系の光軸と直交する直線上に特定の距離を隔てて設置された三つの前記撮像手段を備え、前記画像強調手段は、前記三つの撮像手段の、中央に設置された撮像手段により撮像された画像データの画素の輝度値をｙ０、両端の撮像手段により撮像された画像データの画素の輝度値をそれぞれｙ１、ｙ２としたとき、２ｙ０−ｙ１−ｙ２の値を前記輝度値の違いを示す値として算出し、算出した値を中央の撮像手段の画像データの対応する画素の輝度値に加算することを特徴とする請求項１に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両などに設置され、周辺の状況を表示する周辺監視装置に関するものである。
【背景技術】
【０００２】
従来の周辺監視装置は、図１０に示すように、第１の撮像手段１０１ａと第２の撮像手段１０１ｂの一対の撮像手段を有し、第１の撮像手段１０１ａと第２の撮像手段１０１ｂは光学系の光軸が互いに平行で、かつある一定距離ｄだけ空間的に離して固定され設置される。
【０００３】
設置に関しては、例えば自動車に搭載する前方測距用であれば、第１の撮像手段１０１ａ、第２の撮像手段１０１ｂが車両の進行方向（前方）に臨むように、車室内のバックミラー付近あるいはドライバ席前方のダッシュボード上に設置する。
【０００４】
そして、第１の撮像手段１０１ａ、第２の撮像手段１０１ｂでは、例えばその前方Ｌ（ｍ）の距離にある撮像対象物（例えば、車両）を撮像した場合、一定距離ｄだけ離れているため、撮像対象物の映像において、第１の撮像手段１０１ａと第２の撮像手段１０１ｂとの間で視差δが生じる。
【０００５】
第１の撮像手段１０１ａと第２の撮像手段１０１ｂの光学系の焦点距離は等しくｆであるとすると、距離Ｌは、
Ｌ＝ｆ・ｄ／δ      （式１）
で求めることができる。
【０００６】
そこで、画像認識手段１０２は、撮像された画像の中の形状や大きさや色から先行車の有無を判別し、さらに、その先行車を第１の撮像手段１０１ａと第２の撮像手段１０１ｂでとらえたときの視差δを計測し、（式１）によって第１の撮像手段１０１ａおよび第２の撮像手段１０１ｂから先行車までの距離Ｌを求める。
【０００７】
枠設定手段１０３は、画像認識手段１０２で存在と種類を認識した先行車に対して、画面上で強調するためにグラフィックの枠を重畳するとともに、距離に応じて枠の色を変化させ、表示手段１０４は、枠が重畳された画像をディスプレイ上に表示する（例えば、特許文献１参照）。
【０００８】
このようにして、ステレオ（複眼）の撮像手段の画像から対象物の有無と形状を判別し、三角測量の原理で対象物までの距離を計測することにより、対象物の有無および状況を認識し、さらに対象物を画像上で強調表示するとともに距離に応じて表示を変化させることによって、利用者に対象物の有無と対象物までの距離を画面上で分かりやすく認知させることができる。
【特許文献１】特開平７−８１４５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の周辺監視装置においては、二つの撮像手段の出力から物体検知やステレオ測距処理を行わなければならず、処理負荷が大きいという問題があった。
【００１０】
本発明は、従来の問題を解決するためになされたもので、処理負荷をかけずに、距離が近い物体ほど強調して表示することのできる周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の周辺監視装置は、光学系の光軸が互いに平行になるように設置された複数の撮像手段と、前記複数の撮像手段により撮像された画像データの画素ごとに輝度値の違いを示す値を算出し、算出した値に重み付けを乗じた値を前記複数の撮像手段の一つの撮像手段の画像データの対応する画素の輝度値に加算した画像データを出力する画像強調手段と、前記画像強調手段が出力した画像データによる画像を表示する表示手段とを備える構成を有している。
【００１２】
この構成により、複数の撮像手段の視差により生じる画像データの画素の輝度値の違いにより、表示される画像データの輝度が変更されることとなる。
【００１３】
ここで、前記撮像手段を二つ備え、前記画像強調手段は、前記輝度値の違いを示す値として画素の輝度値の差を算出する構成とした。
【００１４】
この構成により、二つの撮像手段の画像データの画素の輝度値の差により、表示される画像データの輝度が変更されることとなる。
【００１５】
また、光学系の光軸と直交する直線上に特定の距離を隔てて設置された三つの前記撮像手段を備え、前記画像強調手段は、前記三つの撮像手段の、中央に設置された撮像手段により撮像された画像データの画素の輝度値をｙ０、両端の撮像手段により撮像された画像データの画素の輝度値をそれぞれｙ１、ｙ２としたとき、２ｙ０−ｙ１−ｙ２の値を前記輝度値の違いを示す値として算出し、算出した値を中央の撮像手段の画像データの対応する画素の輝度値に加算する構成とした。
【００１６】
この構成により、三つの撮像手段の輝度値に基づいて上式で算出された値により、表示される画像データの輝度が変更されることとなる。
【発明の効果】
【００１７】
本発明によれば、複数の撮像手段により撮像された画像データの画素ごとに輝度値の違いを示す値を算出し、算出した値に重み付けを乗じた値により表示する画像データの対応する画素の輝度値に加算することにより、複数の撮像手段の視差により生じる画像データの画素の輝度値の違いにより、表示される画像データの輝度が近くにあるものほど広範囲に変更され、処理負荷をかけずに距離が近い物体ほど強調して表示することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１９】
（第１の実施の形態）
図１は本発明の第１の実施の形態の周辺監視装置を示すブロック図である。
【００２０】
図１において、本実施の形態の周辺監視装置は、光学系の光軸が互いに平行でかつ一定距離ｄだけ空間的に離して固定されて設置された第１の撮像手段１ａおよび第２の撮像手段１ｂと、第１の撮像手段１ａおよび第２の撮像手段１ｂの映像出力から視差の影響を抽出して画像を強調する画像強調手段２と、画像強調手段２の出力する画像データにより画像を表示する表示手段３とを備えている。
【００２１】
図２は、本実施の形態の周辺監視装置の外観図である。
【００２２】
第１の撮像手段１ａおよび第２の撮像手段１ｂは、厳密に光軸が平行でなくても、予め光軸がどれだけずれているかを調べておき、後の処理で補正するようにしてもよい。
【００２３】
第１の撮像手段１ａ、第２の撮像手段１ｂでは、例えば前方Ｌ（ｍ）にある撮像対象物（例えば、車両）を撮像した場合、一定距離ｄだけ離れているため、撮像対象物の映像に、第１の撮像手段１ａと第２の撮像手段１ｂとの間で視差δが生じる。
【００２４】
第１の撮像手段１ａと第２の撮像手段１ｂの光学系の焦点距離が等しくｆであるとすると、（式２）のように、撮像手段から撮像対象物までの距離Ｌに応じて視差δも変化し、距離が近い（Ｌが小さい）ほどＬに反比例して視差δは大きくなる。
δ＝ｆ・ｄ／Ｌ      （式２）
【００２５】
図３は、この様子を示した図である。図３の左上の図は、第１の撮像手段１ａの画像出力で、左下の図は第２の撮像手段１ｂの画像出力であり、異なる距離に置かれた人形は、第１の撮像手段１ａ、第２の撮像手段１ｂの画像出力において、画面上の位置が第１の撮像手段１ａと第２の撮像手段１ｂの間の視差のためずれる。図３の右の図は、第１の撮像手段１ａと第２の撮像手段１ｂの画像を単純に重ねた図であるが、同じ大きさの人形でも距離に応じてδ１、δ２、δ３と視差が異なっている。
【００２６】
画像強調手段２は、第１の撮像手段１ａ、第２の撮像手段１ｂの画像出力から、視差の影響を抽出して画像を強調する。
【００２７】
具体的には、図４のフローチャートに示すように、ループ変数ｉ，ｊに０を設定して初期化し（Ｓ１１）、第１の撮像手段１ａの画素（ｉ，ｊ）の輝度値ｙ１（ｉ，ｊ）を求め（Ｓ１２）、第２の撮像手段１ｂの画素（ｉ，ｊ）の輝度値ｙ２（ｉ，ｊ）を求める（Ｓ１３）。
【００２８】
この輝度値は、例えばカラー画像の場合は、それぞれの画素のＲ（Red），Ｇ（Green），Ｂ（Blue）の輝度値の平均値とする。
【００２９】
次に、第１の撮像手段１ａと第２の撮像手段１ｂの輝度値の差分ｄ（ｉ，ｊ）＝ｙ１（ｉ，ｊ）−ｙ２（ｉ，ｊ）を求める（Ｓ１４）。
【００３０】
そして、求めた差分ｄ（ｉ，ｊ）に重み付けｗ（例えば、０．５）を乗じ、その積を第１の撮像手段１ａのＲ，Ｇ，Ｂの輝度値にそれぞれ加算する（Ｓ１５）。
【００３１】
そして、ｉに１加算し（Ｓ１６）、ｉの値が画像データの横方向の画素数に等しくなったか判定し（Ｓ１７）、等しくない場合は、Ｓ１２に戻り、次の画素について処理を行う。
【００３２】
ｉの値が画像データの横方向の画素数に等しくなったら、ｉに０を設定してｊに１加算し（Ｓ１８）、ｊの値が画像データの縦方向の画素数に等しくなったか判定し（Ｓ１９）、等しくない場合は、Ｓ１２に戻り、次の画素について処理を行う。ｊの値が画像データの縦方向の画素数に等しくなったら、処理を終了する。
【００３３】
このように処理した画像データを表示手段３により表示する。
【００３４】
図５は、画像強調手段２の出力画像を示す図である。図５に示すように、第１の撮像手段１ａの人形の画像の第２の撮像手段１ｂの人形の画像と重ならない部分が、明るくなってまたは暗くなって強調される。
【００３５】
また、距離が近いほど視差が大きくなるため、第１の撮像手段１ａの画像と第２の撮像手段１ｂの画像の重ならない部分が広くなり、それだけ画像が強調される。つまり、撮像対象物が近いほど画像上で強調されて見える。
【００３６】
このように本実施の形態においては、第１の撮像手段１ａの画素と第２の撮像手段１ｂの画素の輝度の差に重み付けを乗じ、第１の撮像手段１ａの画素のＲ，Ｇ，Ｂそれぞれの輝度値に加算しているので、第１の撮像手段１ａと第２の撮像手段１ｂの輝度の差に応じて表示する画像の輝度が変更され、第１の撮像手段１ａと第２の撮像手段１ｂの視差によりずれて輝度に差が生じた撮像対象物の部分の輝度が変更され強調され、さらに、距離が近いほど視差が大きくなるので強調される部分が広くなり、例えば、二つの撮像手段出力から物体検知およびステレオ測距処理を行うような、特別な物体認識や検出手段等を用いることなく、簡便に、処理負荷をかけずに、距離が近い物体ほど強調して表示することができる。
【００３７】
（第２の実施の形態）
次に、図６は本発明の第２の実施の形態の周辺監視装置を示す図である。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
【００３８】
本実施の形態の周辺監視装置は、第１の撮像手段１ａ、第２の撮像手段１ｂ、第３の撮像手段１ｃの三つの撮像手段を備え、画像強調手段４は、第１の撮像手段１ａ、第２の撮像手段１ｂ、第３の撮像手段１ｃの映像出力から、第１の撮像手段１ａと第２の撮像手段１ｂの視差の影響、および第２の撮像手段１ｂと第３の撮像手段１ｃの視差の影響を抽出して画像を強調する。
【００３９】
図７は、本実施の形態の周辺監視装置の概観図である。第１の撮像手段１ａ、第２の撮像手段１ｂ、第３の撮像手段１ｃの各々の光学系の光軸が互いに平行でかつ一定距離ｄだけ空間的に離して固定されて設置されている。
【００４０】
図８は、画像強調手段４の処理を説明するためのフローチャートである。
【００４１】
図８に示すように、まず、ループ変数ｉ，ｊに０を設定して初期化し（Ｓ２１）、第１の撮像手段１ａの画素（ｉ，ｊ）の輝度値ｙ１（ｉ，ｊ）を求め（Ｓ２２）、第２の撮像手段１ｂの画素（ｉ，ｊ）の輝度値ｙ２（ｉ，ｊ）を求め（Ｓ２３）、第３の撮像手段１ｃの画素（ｉ，ｊ）の輝度値ｙ３（ｉ，ｊ）を求める（Ｓ２４）。
【００４２】
この輝度値は、例えばカラー画像の場合は、それぞれの画素のＲ（Red），Ｇ（Green），Ｂ（Blue）の輝度値の平均値とする。
【００４３】
次に、第１の撮像手段１ａと第２の撮像手段１ｂの輝度値の差分、ｙ２（ｉ，ｊ）−ｙ１（ｉ，ｊ）と第２の撮像手段１ｂと第３の撮像手段１ｃの輝度値の差分、ｙ３（ｉ，ｊ）−ｙ２（ｉ，ｊ）を求め、さらにその差分、すなわち（式３）のようなｄ（ｉ，ｊ）  を求める（Ｓ２５）。
ｄ（ｉ，ｊ）＝２×ｙ２（ｉ，ｊ）−ｙ１（ｉ，ｊ）−ｙ３（ｉ，ｊ）      （式３）
【００４４】
そして、求めた差分ｄ（ｉ，ｊ）に重み付けｗ（例えば、０．５）を乗じ、その積を第２の撮像手段１ｂのＲ，Ｇ，Ｂの輝度値にそれぞれ加算する（Ｓ２６）。
【００４５】
そして、ｉに１加算し（Ｓ２７）、ｉの値が画像データの横方向の画素数に等しくなったか判定し（Ｓ２８）、等しくない場合は、Ｓ２２に戻り、次の画素について処理を行う。
【００４６】
ｉの値が画像データの横方向の画素数に等しくなったら、ｉに０を設定してｊに１加算し（Ｓ２９）、ｊの値が画像データの縦方向の画素数に等しくなったか判定し（Ｓ３０）、等しくない場合は、Ｓ２２に戻り、次の画素について処理を行う。ｊの値が画像データの縦方向の画素数に等しくなったら、処理を終了する。
【００４７】
このように処理した画像データを表示手段３により表示する。
【００４８】
図９は、第１の撮像手段１ａ、第２の撮像手段１ｂ、第３の撮像手段１ｃそれぞれの出力画像と画像強調手段４の出力画像を示す図である。図９に示すように、第２の撮像手段１ｂの人形の画像の、第１の撮像手段１ａまたは第３の撮像手段１ｃのどちらか一方の人形の画像と重なっている部分や、第１の撮像手段１ａまたは第３の撮像手段１ｃの人形の画像の他の撮像手段の人形の画像と重ならない部分が、明るくなってまたは暗くなって強調される。
【００４９】
また、距離が近いほど視差が大きくなるため、第１の撮像手段１ａの画像または第３の撮像手段１ｃの画像のどちらか一方と重なる部分や第１の撮像手段１ａまたは第３の撮像手段１ｃの画像の他の撮像手段の画像と重ならない部分が広くなり、それだけ画像が強調される。つまり、撮像対象物が近いほど画像上で強調されて見える。
【００５０】
さらに、三つの撮像手段を用いているので、人形の両側が対照的に強調され、見やすくすることができる。
【００５１】
このように本実施の形態においては、第１の撮像手段１ａの画素と第２の撮像手段１ｂの画素の輝度の差と第２の撮像手段１ｂの画素と第３の撮像手段１ｃの画素の輝度の差との差分に重み付けを乗じ、第２の撮像手段１ｂの画素のＲ，Ｇ，Ｂそれぞれの輝度値に加算しているので、第１の撮像手段１ａと第２の撮像手段１ｂの輝度の差と第２の撮像手段１ｂと第３の撮像手段１ｃの輝度の差との差分に応じて表示する画像の輝度が変更され、第１の撮像手段１ａ、第２の撮像手段１ｂ、および第３の撮像手段１ｃの視差によりずれて輝度に差が生じた撮像対象物の部分の輝度が変更され強調され、また、距離が近いほど視差が大きくなるので強調される部分が広くなり、さらに、撮像対象物の両側が対照的に強調され、例えば、二つの撮像手段出力から物体検知およびステレオ測距処理を行うような、特別な物体認識や検出手段等を用いることなく、簡便に、処理負荷をかけずに、距離が近い物体ほど強調して見やすく表示することができる。
【産業上の利用可能性】
【００５２】
以上のように、本発明にかかる周辺監視装置は、処理負荷をかけずに距離が近い物体ほど強調して表示することができるという効果を有し、車両などに設置され、周辺の状況を表示する周辺監視装置等として有用である。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１の実施の形態における周辺監視装置のブロック図
【図２】本発明の第１の実施の形態における周辺監視装置の概観図
【図３】本発明の第１の実施の形態における周辺監視装置の視差の例を示す図
【図４】本発明の第１の実施の形態における周辺監視装置の処理を説明するためのフローチャート
【図５】本発明の第１の実施の形態における周辺監視装置の出力画像の例を示す図
【図６】本発明の第２の実施の形態における周辺監視装置のブロック図
【図７】本発明の第２の実施の形態における周辺監視装置の概観図
【図８】本発明の第２の実施の形態における周辺監視装置の処理を説明するためのフローチャート
【図９】本発明の第２の実施の形態における周辺監視装置の撮像画像および出力画像の例を示す図
【図１０】従来の周辺監視装置のブロック図
【符号の説明】
【００５４】
１ａ  第１の撮像手段
１ｂ  第２の撮像手段
１ｃ  第３の撮像手段
２  画像強調手段
３  表示手段
４  画像強調手段
１０１ａ  第１の撮像手段
１０１ｂ  第２の撮像手段
１０２  画像認識手段
１０３  枠設定手段
１０４  表示手段
【図１】
2007079790.tif 000003
【図２】
2007079790.tif 000004
【図４】
2007079790.tif 000005
【図６】
2007079790.tif 000006
【図７】
2007079790.tif 000007
【図８】
2007079790.tif 000008
【図１０】
2007079790.tif 000009
【図３】
2007079790.tif 000010
【図５】
2007079790.tif 000011
【図９】
2007079790.tif 000012