(57)【要約】【課題】画像処理における演算量を低減できる撮像装置を提供すること。【解決手段】撮像対象からの入射光を受光し光電変換する撮像部２と、その撮像部２から出力される撮影画像を画像処理する画像処理部３を備えて構成され、画像処理部３は、撮影画像をデジタル化して画素を縦横に配列したデジタル画像とし、フィルタ係数の存在しない間引きライン４２を設けた空間フィルタ４０を用いてデジタル画像を空間フィルタ処理する。このように間引きライン４２を設けた空間フィルタ４０を用いることにより、画像処理における演算量を低減することができる。【選択図】図１
2005167831.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象からの入射光を受光し光電変換する撮像手段と、
前記撮像手段から出力される撮影画像を画像処理する画像処理手段と、
を備えて構成され、
前記画像処理手段は、前記撮影画像をデジタル化して画素を縦横に配列したデジタル画像とし、フィルタ係数の存在しない間引きラインを設けた空間フィルタを用いて前記デジタル画像を空間フィルタ処理すること、
を特徴とする撮像装置。
【請求項２】
前記間引きラインが前記空間フィルタの水平方向に向けて設けられていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記間引きラインが前記空間フィルタの垂直方向に向けて設けられていることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像手段は、インターレース方式でフィールド画像を順次読み出すものであり、
前記画像処理手段は、前記フィールド画像における空白ラインに前記間引きラインを対応させた前記空間フィルタを用いて、前記空間フィルタ処理を行うこと、
を特徴とする請求項１に記載の撮像装置。
【請求項５】
前記空間フィルタは、水平方向に伸びる前記間引きラインを垂直方向に一ラインおきに設けたことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記空間フィルタは、前記撮影画像における所定の低周波成分を除去するものであることを特徴とする請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
車両に搭載され、車両進行方向を撮影することを特徴とする請求項１〜６のいずれかに記載の撮像装置。
【請求項８】
車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いられることを特徴とする請求項１〜７のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を空間フィルタ処理して出力する撮像装置に関するものである。
【背景技術】
【０００２】
従来、撮像装置として、例えば特開平５−５６３４１号公報に記載されるように、撮像光学系を通じて入射される光をＣＣＤで光電変換し出力するものが知られている。この撮像装置は、撮像光学系への透過光量や撮像素子の光蓄積時間を制御するとともに、撮像素子出力のゲインを可変制御するものであって、所定の撮影モードにおいて光蓄積時間の設定を短時間化するためにゲインを増大するように制御し、撮影状況によらず最適な露出制御を実現しようとするものである。
【特許文献１】特開平５−５６３４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような撮像装置であっても、撮影環境によっては撮影画像にハレーションを生ずる場合がある。例えば、撮像装置が車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いられる場合、暗い状況下で走行前方の歩行者などを視認するために撮像出力が高く設定される。しかし、このような設定状態では、対向車のヘッドライトを受けた場合などハレーションの影響が大きく、適切な撮影が行えない。
【０００４】
これに対し、ハレーションを防止するために撮影画像を画像処理して対処することが考えられる。例えば、撮影画像に対し適当なフィルタ処理を施すことにより、ハレーションを低減することができる。
【０００５】
しかし、撮影画像をフィルタ処理する際、演算負荷が大きくなり、円滑な映像出力が困難になるという問題点が生ずる。
【０００６】
そこで本発明は、このような問題点を解決するためになされたものであって、画像処理における演算量を低減できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
すなわち、本発明に係る撮像装置は、撮像対象からの入射光を受光し光電変換する撮像手段と、撮像手段から出力される撮影画像を画像処理する画像処理手段とを備えて構成され、その画像処理手段は、撮影画像をデジタル化して画素を縦横に配列したデジタル画像とし、フィルタ係数の存在しない間引きラインを設けた空間フィルタを用いてデジタル画像を空間フィルタ処理することを特徴とする。
【０００８】
また本発明に係る撮像装置は、間引きラインが空間フィルタの水平方向に向けて設けられていることを特徴とする。また本発明に係る撮像装置は、間引きラインが空間フィルタの垂直方向に向けて設けられていることを特徴とする。
【０００９】
これらの発明によれば、空間フィルタに間引きラインを設けることにより、空間フィルタ処理を行う際に演算量を低減することができる。従って、空間フィルタ処理を迅速に行える。
【００１０】
また本発明に係る撮像装置は、前述の撮像手段がインターレース方式でフィールド画像を順次読み出すものであり、前述の画像処理手段がフィールド画像における空白ラインに間引きラインを対応させた空間フィルタを用いて空間フィルタ処理を行うことを特徴とする。
【００１１】
また本発明に係る撮像装置は、前述の空間フィルタが水平方向に伸びる間引きラインを垂直方向に一ラインおきに設けたことを特徴とする。
【００１２】
これらの発明によれば、フィールド画像の空白ラインに間引きラインを対応させた空間フィルタを用いて空間フィルタ処理を行うことにより、フィールド画像の空白ラインにおける演算処理を省くことができ、空間フィルタ処理の演算量を低減することができる。
【００１３】
また本発明に係る撮像装置において、空間フィルタは、撮影画像における所定の低周波成分を除去するものであることが好ましい。また本発明に係る撮像装置は、車両に搭載され、車両進行方向を撮影するものであることが好ましい。
【００１４】
また本発明に係る撮像装置は、車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いられることが好ましい。
【発明の効果】
【００１５】
本発明によれば、画像処理の演算量を低減できる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１７】
図１は第一実施形態に係る撮像装置の構成概要図である。
【００１８】
本図に示すように、本実施形態に係る撮像装置１は、撮像部２及び画像処理部３を備えて構成されている。撮像部２は、撮像対象からの入射光を受光し光電変換する撮像手段として機能するものであり、例えばＣＣＤ（Charge-Coupled Device）カメラが用いられる。撮像部２には、ＣＣＤ２ａが撮像素子として内蔵され、そのＣＣＤ２ａの前方には撮影光学系２ｂが設置される。
【００１９】
撮像部２は、例えばインターレース方式によって撮影画像信号を出力するものが用いられる。具体的に説明すると、一つの画像情報（フレーム画像情報）を奇数フィールド画像と遇数フィールド画像に分けて読み出し、各フレーム画像の奇数フィールド、偶数フィールドの画像を順次出力する。奇数フィールド画像はフレーム画像の奇数ラインのみを読み出した画像であり、偶数フィールド画像はフレーム画像の偶数ラインのみを読み出した画像である。
【００２０】
画像処理部３は、撮像部２から出力される撮影画像を画像処理する画像処理手段として機能するものであり、例えばＡ／Ｄ変換部３１、空間フィルタ部３２、Ｄ／Ａ変換部３３を備えて構成される。Ａ／Ｄ変換部３１は、アナログ信号である撮影信号をデジタル信号に変換するＡ／Ｄ変換手段である。このＡ／Ｄ変換部３１は、例えば、インターレース方式の撮影画像信号において、奇数フィールド、偶数フィールドの各画像を個別にＡ／Ｄ（Analog to Digital）変換を行う。
【００２１】
空間フィルタ部３２は、デジタル変換した撮影画像を空間フィルタ処理するものである。この空間フィルタ部３２は、Ａ／Ｄ変換部３１によってデジタル変換された奇数フィールド、偶数フィールドの画像について順次空間フィルタ処理を行う。Ｄ／Ａ変換部３３は、空間フィルタ部３２の出力信号をデジタル信号からアナログ信号に変換するＤ／Ａ（Digital to Analog）変換手段である。
【００２２】
Ｄ／Ａ変換部３３は、空間フィルタ部３２により空間フィルタ処理された画像をアナログ変換し、映像信号として出力する。例えば、空間フィルタ部３２から出力される奇数フィールド画像と偶数フィールド画像を合成してフレーム画像とし、このフレーム画像をアナログ変換して映像信号として出力する。その際、奇数フィールド画像、偶数フィールド画像が空間フィルタ部３２から出力されるごとに、その出力されたフィールド画像を出力前に形成したフレーム画像の一部として置き換えて新たなフレーム画像を形成することが好ましい。このようにフレーム画像を形成することにより、フィールド画像の出力毎にフレーム画像の出力が可能であり、撮像装置１から画質低下の少ない映像を迅速に出力することができる。
【００２３】
図２は、空間フィルタ部で用いられる空間フィルタの説明図である。図３は、デジタル化されたフィールド画像の説明図である。
【００２４】
図２に示すように、空間フィルタ部３２は、フィルタ係数４１の存在しない間引きライン４２を設けた空間フィルタ４０を用いて、空間フィルタ処理を行う。この空間フィルタ４０は、例えば５×５の大きさのフィルタの場合、水平方向の２段目、４段目に間引きライン４２が設けられる。間引きライン４２には、フィルタ係数４１が割り当てられておらず、フィルタ係数４１が存在しない状態になっている。このため、５×５の大きさのフィルタであっても、フィルタ係数４１が２５個でなく１５個となる。図２中のＡ〜Ｏはフィルタ係数である。
【００２５】
図３に示すように、Ａ／Ｄ変換部３１によりデジタル変換されたフィールド画像５０は、垂直方向に向けて画素一つおきに空白ライン５１が存在する。例えば、空白ライン５１の画素の輝度値は、ゼロとされ、撮影画像の画像データは割り当てられない。これは、撮像部２から出力される撮影画像がインターレース映像であることに起因するものである。
【００２６】
次に本実施形態に係る撮像装置の動作について説明する。
【００２７】
図１において、撮像部２により撮影された撮影画像は、インターレース方式で読み出されて、奇数フィールド画像、偶数フィールド画像が順次Ａ／Ｄ変換部３１に入力される。Ａ／Ｄ変換部３１は、奇数フィールド画像、偶数フィールド画像を個別にデジタル画像に変換する。そして、そのデジタル画像を空間フィルタ部３２に入力する。
【００２８】
空間フィルタ部３２は、デジタル化された奇数フィールド画像、偶数フィールド画像を個別に空間フィルタ処理する。すなわち、図３に示すように、フィールド画像５０の空白ライン５２以外の画素に対し空間フィルタ４０で順次畳み込み演算を行い、積和演算を繰り返して空間フィルタ処理を行う。
【００２９】
このとき、フィールド画像５０の空白ライン５２に対して演算処理が不要である。そして、空白ライン５２に対応して空間フィルタ４０に間引きライン４２を設けることにより、空間フィルタ処理において演算量を大幅に低減することができる。
【００３０】
具体的に説明すると、フィールド画像５０がｍ×ｎの大きさの画像であり、空間フィルタ４０が５×５の大きさのフィルタである場合、空間フィルタ処理における演算量は、（（ｍ／２）×ｎ）×（５×３）＝７．５（ｍ×ｎ）となる。
【００３１】
これに対し、ノンインターレース方式のｍ×ｎの大きさの画像に対し、間引きライン４２のない通常の５×５の空間フィルタを用いて空間フィルタ処理を行うと、演算量は、（ｍ×ｎ）×（５×５）＝２５（ｍ×ｎ）となる。
【００３２】
このように、本実施形態に係る撮像装置では、ノンインターレース方式の撮影画像に対して通常の空間フィルタを用いて空間フィルタ処理する場合に比べて、演算量を約３分の１に低減することができる。また、二つのフィールド画像で一つのフレーム画像を形成する場合を考えても、演算量を約３分の２に低減することが可能である。
【００３３】
次に本実施形態に係る撮像装置を用いた撮像システムについて説明する。
【００３４】
図４は本実施形態に係る撮像装置を用いた撮影システムの構成概要図である。本図に示すように、撮像システム６０は、車室内に設置され、ガラス６１越しに車外を撮像するシステムであり、例えば車両の夜間走行時に運転者の視認支援を行う視認支援システムに適用される。
【００３５】
撮像システム６０は、車外を撮影する撮影手段として撮像装置１が用いられる。撮像装置１は、車室内に設置されており、ガラス６１越しに車外を撮像する。この撮像装置１としては、例えば近赤外光に感度を持つものが用いられる。撮像装置１の撮像部２の撮影光学系に可視光カットフィルタを配置することにより、近赤外成分を中心とした映像撮影が可能となる。なお、ここでいう近赤外光とは、波長７８０〜１５００ｎｍの光を意味する。
【００３６】
撮像装置１の出力側は、システム制御部６２に接続されている。撮像装置１の撮影により得られた映像信号はシステム制御部６２に入力される。システム制御部６２は、システム全体の制御を行うものであり、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成されている。
【００３７】
撮像システム６０には、近赤外投光器６３が設けられている。近赤外投光器６３は、車両の前方へ近赤外線を投光する投光手段であり、システム制御部６２から信号を受けて投光制御されている。近赤外投光器６３は、例えばヘッドライトのハイ（Ｈｉ）ビーム相当の照射範囲で近赤外光を投射することができるように構成される。
【００３８】
また、撮像システム６０には、表示部６４が設けられている。表示部６４は、撮像装置１の撮影映像を表示する表示手段であり、運転者が撮影映像を視認できるように設けられている。また、撮像システム６０には、本システムのオンオフなどを操作するためのスイッチ群６５が設けられている。
【００３９】
このような撮像システム６０は、車両が夜間に走行している際に、近赤外投光器６３により車両前方に近赤外光を投光する。これにより、車両の前方に近赤外光が照射され、近赤外領域に感度を持つ撮像装置１によって、近赤外光で照らされた車両前方が撮影される。
【００４０】
そして、撮像装置１からシステム制御部６２に映像信号が入力される。システム制御部６２は、映像信号を表示部６４に出力し、表示部６４に映像信号に基づく撮影画像が表示される。撮影画像は近赤外光が照射された状態で表示されるため、車両の運転者が肉眼で車両前方を視認した場合に比べ、歩行者などを検出しやすいものとなり、運転者の前方視認を支援することができる。また、投光する光が近赤外光であるため、対向車の運転における影響は少ない。
【００４１】
また、この撮像装置１では、撮影画像について所定の低周波成分を除去する空間フィルタ処理を行うことが好ましい。この場合、撮影映像における高輝度部の周辺のハレーションを低減した映像の出力が可能となる。これにより、表示部１４には対向車のヘッドライトのハレーションが低減された状態で表示され、歩行者などを容易に視認することができる。
【００４２】
以上のように、本実施形態に係る撮像装置によれば、フィルタ係数４１の存在しない間引きライン４２を設けた空間フィルタ４０を用いて空間フィルタ処理することにより、空間フィルタ処理を行う際に演算量を低減することができる。従って、空間フィルタ処理を迅速に行える。
【００４３】
また、インターレース方式で読み出されるフィールド画像５０を空間フィルタ４０で空間フィルタ処理を行う際、空間フィルタ４０の間引きライン５２をフィールド画像５０の空白ライン５２に対応させて設けておくことにより、フィールド画像５０の空白ライン５２における演算処理を省くことができ、空間フィルタ処理の演算量を低減することができ、迅速かつ円滑な画像処理が行える。
【００４４】
また、車両に設置され、車外を撮影する撮像装置として有用である。この場合、撮影環境が大きく変化するが、その撮影環境の変化に対応して適切な撮影が可能となる。特に、視認支援システムの撮影手段として用いた場合、撮影環境の変化が大きい場合でも適切な撮影画像の表示が可能であり、最適である。
【００４５】
なお、本実施形態に係る撮像装置では、水平方向のみに間引きライン４２を設けた空間フィルタ４０を用いて画像処理するものについて説明したが、本発明に係る撮像装置はそのようなものに限られるものではなく、図５に示すように、空間フィルタ４０ａの水平方向と垂直方向の双方に間引きライン４２ａ、４２ｂを設けたものを用いて画像処理を行うものであってもよい。
【００４６】
この場合、５×５の大きさの空間フィルタ４０ａであれば、ｍ×ｎのフィールド画像に対する空間フィルタ処理の演算量は、（（ｍ／２）×（ｎ／２））×（３×３）＝２．３（ｍ×ｎ）となる。このため、ノンインターレース方式のｍ×ｎの大きさの画像を間引きライン４２のない通常の５×５の空間フィルタで空間フィルタ処理を行う場合に比べて、演算量を約１０分の１に低減することができる。また、二つのフィールド画像で一つのフレーム画像を形成する場合を考えても、演算量を約５分の１に低減することが可能である。
【００４７】
また、本実施形態では、車両の夜間走行における運転者の視認を支援する視認支援システムに適用する場合について詳述したが、本発明に係る撮像装置はそのようなものに限られるものではなく、道路の白線認識システムなど他のシステムなどに適用されるものであってもよい。また、車両以外の場所に設置するものに適用してもよい。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施形態に係る撮像装置の構成概要図である。
【図２】図１の撮像装置の画像処理に用いられる空間フィルタの説明図である。
【図３】図１の撮像装置において画像処理されるフィールド画像の説明図である。
【図４】図１の撮像装置を用いた撮像システムの説明図である。
【図５】図１の撮像装置の画像処理に用いられる空間フィルタの説明図である。
【符号の説明】
【００４９】
１…撮像装置、２…撮像部、３…画像処理部、３１…Ａ／Ｄ変換部、３２…空間フィルタ部、３３…Ｄ／Ａ変換部、４０…空間フィルタ、４２…間引きライン、５０…フィールド画像、５２…空白ライン。
【図１】
2005167831.tif 000003
【図２】
2005167831.tif 000004
【図３】
2005167831.tif 000005
【図４】
2005167831.tif 000006
【図５】
2005167831.tif 000007