(57)【要約】  監視カメラにおいてナンバープレートの視認性および車体の色の再現性を向上させる。  車体領域検出部は、画像信号から車輌の車体領域を検出する。ナンバープレート領域検出部は、画像信号から車輌のナンバープレート領域を検出する。車体領域画像処理部は、検出された車体領域に対応する画像信号の処理を行う。ナンバープレート領域画像処理部は、検出されたナンバープレート領域に対応する画像信号に対して車体領域に対応する画像信号の処理とは異なる処理を行う。合成部は、処理された車体領域に対応する画像信号と処理されたナンバープレート領域に対応する画像信号とを合成する。
2016111072.tif 000002
【特許請求の範囲】
【請求項１】
画像信号から車輌の車体領域を検出する車体領域検出部と、
前記画像信号から車輌のナンバープレート領域を検出するナンバープレート領域検出部と、
前記検出された前記車体領域に対応する前記画像信号の処理を行う車体領域画像処理部と、
前記検出された前記ナンバープレート領域に対応する前記画像信号に対して前記車体領域に対応する前記画像信号の前記処理とは異なる処理を行うナンバープレート領域画像処理部と、
前記処理された前記車体領域に対応する前記画像信号と前記処理された前記ナンバープレート領域に対応する前記画像信号とを合成する合成部と
を具備する画像処理装置。
【請求項２】
前記ナンバープレート領域画像処理部は、前記ナンバープレート領域に対応する前記画像信号を前記ナンバープレート領域に対応する輝度信号に変換する輝度信号変換処理と前記輝度信号における画像のエッジ部分を強調するエッジ強調処理とを行う請求項１記載の画像処理装置。
【請求項３】
前記ナンバープレート領域画像処理部は、前記ナンバープレート領域に対応する前記画像信号を前記ナンバープレート領域に対応する輝度信号に変換する輝度信号変換処理と同一フレームに属する前記輝度信号の高周波成分を減衰させることにより前記輝度信号のノイズを除去する２次元ノイズリダクション処理とを行う請求項１記載の画像処理装置。
【請求項４】
前記車体領域画像処理部は、前記車体領域に対応する前記画像信号を前記車体領域に対応する輝度信号および色差信号に変換する輝度および色差信号変換処理と連続する複数のフレームに属する前記輝度信号および前記色差信号を用いて前記輝度信号および前記色差信号のノイズを除去する３次元ノイズリダクション処理とを行う請求項１記載の画像処理装置。
【請求項５】
前記画像信号は、赤色光と緑色光と青色光と赤外光とに対応するそれぞれの画像信号を備え、
前記車体領域画像処理部は、前記車体領域に対応する前記画像信号に含まれる赤色光と緑色光と青色光とに対応するそれぞれの画像信号の処理を行い、
前記ナンバープレート領域画像処理部は、前記ナンバープレート領域に対応する前記画像信号に含まれる赤外光に対応する画像信号の処理を行う
請求項１記載の画像処理装置。
【請求項６】
前記画像信号は、白色光に対応する画像信号をさらに備え、
前記車体領域画像処理部は、前記車体領域に対応する前記画像信号に含まれる赤色光と緑色光と青色光と白色光とに対応するそれぞれの画像信号の処理を行う
請求項５記載の画像処理装置。
【請求項７】
前記画像信号は、赤色光と緑色光と青色光と赤外光とに対応するそれぞれの画像信号を備え、
前記画像信号に含まれる赤外光に対応する画像信号が飽和しているか否かを検出する飽和検出部をさらに具備し、
前記ナンバープレート領域画像処理部は、前記飽和検出部が前記赤外光に対応する画像信号が飽和していないことを検出した場合には前記ナンバープレート領域に対応する前記画像信号に含まれる赤外光に対応する画像信号の処理を行い、前記飽和検出部が前記赤外光に対応する画像信号が飽和していることを検出した場合には前記ナンバープレート領域に対応する前記画像信号に含まれる赤色光と緑色光と青色光とに対応するそれぞれの画像信号の処理を行う
請求項１記載の画像処理装置。
【請求項８】
画像信号を生成する撮像素子と、
前記画像信号から車輌の車体領域を検出する車体領域検出部と、
前記画像信号から車輌のナンバープレート領域を検出するナンバープレート領域検出部と、
前記検出された前記車体領域に対応する前記画像信号の処理を行う車体領域画像処理部と、
前記検出された前記ナンバープレート領域に対応する前記画像信号に対して前記車体領域に対応する前記画像信号の前記処理とは異なる処理を行うナンバープレート領域画像処理部と、
前記処理された前記車体領域に対応する前記画像信号と前記処理された前記ナンバープレート領域に対応する前記画像信号とを合成する合成部と
を具備する撮像装置。
【請求項９】
画像信号から車輌の車体領域を検出する車体領域検出手順と、
前記画像信号から車輌のナンバープレート領域を検出するナンバープレート領域検出手順と、
前記検出された前記車体領域に対応する前記画像信号の処理を行う車体領域画像処理手順と、
前記検出された前記ナンバープレート領域に対応する前記画像信号に対して前記車体領域に対応する前記画像信号の前記処理とは異なる処理を行うナンバープレート領域画像処理手順と、
前記処理された前記車体領域に対応する前記画像信号と前記処理された前記ナンバープレート領域に対応する前記画像信号とを合成する合成手順と
を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置に関する。詳しくは、監視カメラに使用される画像処理装置、撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車輌を対象とする監視装置として、車輌の特徴を取得して車輌を特定する監視装置が使用されている。例えば、車輌のナンバープレートの位置を検出して、このナンバープレートの位置に基づいて車体の色を取得し、車輌を特定する監視装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２０１８１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、検出したナンバープレートの位置は車体の色を特定する車体色判別エリアを設定するためにのみ使用される。すなわち、ナンバープレート領域については特段の処理を行っていない。このため、この従来技術では、車体の色のみが検出され、車輌の特定に欠かせないナンバープレートの読取りを改善する処理が行われていないという問題がある。【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、ナンバープレートの読取りおよび車体の色の取得を容易にするため、ナンバープレートにおける視認性および車体における色の再現性を向上することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画像信号から車輌の車体領域を検出する車体領域検出部と、上記画像信号から車輌のナンバープレート領域を検出するナンバープレート領域検出部と、上記検出された上記車体領域に対応する上記画像信号の処理を行う車体領域画像処理部と、上記検出された上記ナンバープレート領域に対応する上記画像信号に対して上記車体領域に対応する上記画像信号の上記処理とは異なる処理を行うナンバープレート領域画像処理部と、上記処理された上記車体領域に対応する上記画像信号と上記処理された上記ナンバープレート領域に対応する上記画像信号とを合成する合成部とを具備する画像処理装置である。これにより、ナンバープレート領域に対応する画像信号と車体領域に対応する画像信号とには異なる処理が行われるという作用をもたらす。【０００７】
また、この第１の側面において、上記ナンバープレート領域画像処理部は、上記ナンバープレート領域に対応する上記画像信号を上記ナンバープレート領域に対応する輝度信号に変換する輝度信号変換処理と上記輝度信号における画像のエッジ部分を強調するエッジ強調処理とを行ってもよい。これにより、ナンバープレート領域に対応する輝度信号における画像のエッジ部分が強調されるという作用をもたらす。【０００８】
また、この第１の側面において、上記ナンバープレート領域画像処理部は、上記ナンバープレート領域に対応する上記画像信号を上記ナンバープレート領域に対応する輝度信号に変換する輝度信号変換処理と同一フレームに属する上記輝度信号の高周波成分を減衰させることにより上記輝度信号のノイズを除去する２次元ノイズリダクション処理とを行ってもよい。これにより、ナンバープレート領域に対応する輝度信号における画像のノイズが除去されるという作用をもたらす。【０００９】
また、この第１の側面において、上記車体領域画像処理部は、上記車体領域に対応する上記画像信号を上記車体領域に対応する輝度信号および色差信号に変換する輝度および色差信号変換処理と連続する複数のフレームに属する上記輝度信号および上記色差信号を用いて上記輝度信号および上記色差信号のノイズを除去する３次元ノイズリダクション処理とを行ってもよい。これにより、車体領域に対応する輝度信号および色差信号のノイズが除去されるという作用をもたらす。【００１０】
また、この第１の側面において、上記画像信号は、赤色光と緑色光と青色光と赤外光とに対応するそれぞれの画像信号を備え、上記車体領域画像処理部は、上記車体領域に対応する上記画像信号に含まれる赤色光と緑色光と青色光とに対応するそれぞれの画像信号の処理を行い、上記ナンバープレート領域画像処理部は、上記ナンバープレート領域に対応する上記画像信号に含まれる赤外光に対応する画像信号の処理を行ってもよい。これにより、車体領域に対応する画像信号に含まれる赤色光と緑色光と青色光とに対応するそれぞれの画像信号について上記車体領域画像処理部による処理が行われ、ナンバープレート領域に対応する画像信号に含まれる赤外光に対応する画像信号について上記ナンバープレート領域画像処理部による処理が行われるという作用をもたらす。【００１１】
また、この第１の側面において、上記画像信号は、白色光に対応する画像信号をさらに備え、上記車体領域画像処理部は、上記車体領域に対応する上記画像信号に含まれる赤色光と緑色光と青色光と白色光とに対応するそれぞれの画像信号の処理を行ってもよい。これにより、車体領域に対応する画像信号に含まれる赤色光と緑色光と青色光と白色光とに対応するそれぞれの画像信号について上記車体領域画像処理部による処理が行われるという作用をもたらす。【００１２】
また、この第１の側面において、上記画像信号は、赤色光と緑色光と青色光と赤外光とに対応するそれぞれの画像信号を備え、上記画像信号に含まれる赤外光に対応する画像信号が飽和しているか否かを検出する飽和検出部をさらに具備し、上記ナンバープレート領域画像処理部は、上記飽和検出部が上記赤外光に対応する画像信号が飽和していないことを検出した場合には上記ナンバープレート領域に対応する上記画像信号に含まれる赤外光に対応する画像信号の処理を行い、上記飽和検出部が上記赤外光に対応する画像信号が飽和していることを検出した場合には上記ナンバープレート領域に対応する上記画像信号に含まれる赤色光と緑色光と青色光とに対応するそれぞれの画像信号の処理を行ってもよい。これにより、ナンバープレート領域画像処理部は、赤外光に対応する画像信号が飽和していない場合には赤外光に対応する画像信号について処理を行い、赤外光に対応する画像信号が飽和している場合には赤色光と緑色光と青色光とに対応するそれぞれの画像信号について処理を行うという作用をもたらす。【００１３】
また、本技術の第２の側面は、画像信号を生成する撮像素子と、上記画像信号から車輌の車体領域を検出する車体領域検出部と、上記画像信号から車輌のナンバープレート領域を検出するナンバープレート領域検出部と、上記検出された上記車体領域に対応する上記画像信号の処理を行う車体領域画像処理部と、上記検出された上記ナンバープレート領域に対応する上記画像信号に対して上記車体領域に対応する上記画像信号の上記処理とは異なる処理を行うナンバープレート領域画像処理部と、上記処理された上記車体領域に対応する上記画像信号と上記処理された上記ナンバープレート領域に対応する上記画像信号とを合成する合成部とを具備する撮像装置である。これにより、ナンバープレート領域に対応する画像信号と車体領域に対応する画像信号とには異なる処理が行われるという作用をもたらす。【００１４】
また、本技術の第３の側面は、画像信号から車輌の車体領域を検出する車体領域検出手順と、上記画像信号から車輌のナンバープレート領域を検出するナンバープレート領域検出手順と、上記検出された上記車体領域に対応する上記画像信号の処理を行う車体領域画像処理手順と、上記検出された上記ナンバープレート領域に対応する上記画像信号に対して上記車体領域に対応する上記画像信号の上記処理とは異なる処理を行うナンバープレート領域画像処理手順と、上記処理された上記車体領域に対応する上記画像信号と上記処理された上記ナンバープレート領域に対応する上記画像信号とを合成する合成手順とを具備する画像処理方法である。これにより、ナンバープレート領域に対応する画像信号と車体領域に対応する画像信号とには異なる処理が行われるという作用をもたらす。
【発明の効果】
【００１５】
本技術によれば、ナンバープレートにおける視認性および車体における色の再現性を向上させることにより、ナンバープレートの読取りおよび車体の色の取得が容易になるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本技術の実施の形態における撮像装置の構成例を示す図である。
【図２】本技術の実施の形態における撮像素子２００の構成例を示す図である。
【図３】本技術の第１の実施の形態における画像処理装置３００の構成例を示す図である。
【図４】本技術の第１の実施の形態におけるデモザイク処理を示す図である。
【図５】本技術の第１の実施の形態におけるナンバープレート領域画像処理部３６０の構成例を示す図である。
【図６】本技術の第１の実施の形態における２次元ノイズリダクション処理を示す図である。
【図７】本技術の第１の実施の形態における車体領域画像処理部３７０の構成例を示す図である。
【図８】本技術の第１の実施の形態における３次元ノイズリダクション処理を示す図である。
【図９】本技術の第１の実施の形態における合成処理を示す図である。
【図１０】本技術の第１の実施の形態における画像表示例を示す図である。
【図１１】本技術の第１の実施の形態における画像処理手順の一例を示す図である。
【図１２】本技術の第１の実施の形態における車体およびナンバープレート領域処理の処理手順の一例を示す図である。
【図１３】本技術の第１の実施の形態における車体領域画像処理の処理手順の一例を示す図である。
【図１４】本技術の第１の実施の形態におけるナンバープレート領域画像処理の処理手順の一例を示す図である。
【図１５】本技術の第２の実施の形態における画像処理装置３００の構成例を示す図である。
【図１６】本技術の第２の実施の形態におけるナンバープレート領域画像処理部３６０の構成例を示す図である。
【図１７】本技術の第２の実施の形態におけるナンバープレート領域画像処理の処理手順の一例を示す図である。
【図１８】本技術の第３の実施の形態における合成処理を示す図である。
【図１９】本技術の第４の実施の形態におけるデモザイク処理を示す図である。
【図２０】本技術の第４の実施の形態におけるデモザイク処理を示す図である。
【発明を実施するための形態】
【００１７】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（赤外光信号によりナンバープレート領域の画像を処理する場合の例）
２．第２の実施の形態（赤外光信号または可視光信号によりナンバープレート領域の画像を処理する場合の例）
３．第３の実施の形態（ナンバープレートの色を表示する場合の例）
４．第４の実施の形態（白色光に対応する画素を有する撮像素子を使用する場合の例）
５．変形例
【００１８】
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術の実施の形態における撮像装置の構成例を示す図である。同図における撮像装置１０は、レンズ１００と、撮像素子２００と、画像処理装置３００と、画像信号出力部４００と、赤外光照射部５００と、制御部６００とを備えている。
【００１９】
レンズ１００は、撮像素子２００に対して光学的に被写体を結像するものである。撮像素子２００は、レンズ１００によって結像された光学画像を画像信号に変換し、出力するものである。この撮像素子２００は、光学画像が結像される面に画像信号を生成する画素が２次元に配置されて構成されている。この画素から出力される画像信号には可視光成分に対応する可視光信号および赤外光成分に対応する赤外信号が含まれる。
【００２０】
このような画素を有する撮像素子２００として、次のような撮像素子を使用することができる。例えば、赤色光と赤外光に対応する画像信号を出力する画素、緑色光と赤外光に対応する画像信号を出力する画素、青色光と赤外光に対応する画像信号を出力する画素および赤外光に対応する画像信号を出力する画素を有する撮像素子を使用することができる。また、例えば、これらの画素に白色光と赤外光に対応する画像信号を出力する画素を加えた合計５種の画素を有する撮像素子を使用することもできる。
【００２１】
以下、赤色光と赤外光に対応する画像信号、緑色光と赤外光に対応する画像信号および青色光と赤外光に対応する画像信号をそれぞれＲ＋ＩＲ信号、Ｇ＋ＩＲ信号およびＢ＋ＩＲ信号と称する。また、白色光と赤外光に対応する画像信号および赤外光に対応する画像信号をそれぞれＷ＋ＩＲ信号およびＩＲ信号と称する。さらに、Ｒ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号、Ｗ＋ＩＲ信号およびＩＲ信号を出力する画素をそれぞれＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素、Ｗ＋ＩＲ画素およびＩＲ画素と称する。このように異なる光に対応した画素として構成するために、各画素にはカラーフィルタが備えられている。このカラーフィルタの分光特性を特定の光に対応させて、上述した４種または５種の画素を構成している。
【００２２】
画像処理装置３００は、画像信号を処理するものである。この画像処理装置３００は、撮像素子２００が出力した画像信号を輝度信号および色差信号に変換し、これらの信号を処理して出力する。
【００２３】
画像信号出力部４００は、画像処理装置３００により処理された画像信号を撮像装置１０の外部に出力するものである。この画像信号出力部４００は、撮像装置１０が接続される信号線インターフェースの規格に適合するように画像信号を変換して出力する。
【００２４】
制御部６００は、撮像装置１０の全体を制御するものである。赤外光照射部５００は、被写体に赤外光を照射するものである。この赤外光照射部５００は、制御部６００により制御される。
【００２５】
［撮像素子の構成］
図２は、本技術の実施の形態における撮像素子２００の構成例を示す図である。同図は、撮像素子２００の画面上の画素２０１の配置を表したものである。なお、画素２０１に記載された記号は、画素２０１の種類を表すものである。Ｒ+ＩＲ、Ｇ+ＩＲ、Ｂ+ＩＲ、Ｗ+ＩＲおよびＩＲと表記された画素は、それぞれＲ+ＩＲ画素、Ｇ+ＩＲ画素、Ｂ+ＩＲ画素、Ｗ+ＩＲ画素およびＩＲ画素を表している。これらの画素が画面上に一定の規則に基づいて配置されている。
【００２６】
同図におけるａは、Ｒ+ＩＲ画素、Ｇ+ＩＲ画素およびＢ+ＩＲ画素のベイヤー配列において、２つあるＧ+ＩＲ画素の一方をＩＲ画素に置き換えたものである。赤、緑および青に対応する画素がバランスよく配置されており、色再現性が高い配列となる。同図におけるｂは、Ｇ＋ＩＲ画素の市松配列において、Ｇ＋ＩＲ画素の画素位置以外においてＲ+ＩＲ画素、Ｂ+ＩＲ画素およびＩＲ画素が配置されたものである。緑に対応する画素が多いため、解像度の高い配列となる。同図におけるｃは、ＩＲ画素の市松配列において、ＩＲ画素の画素位置以外においてＲ+ＩＲ画素、Ｇ+ＩＲ画素およびＢ+ＩＲ画素が配置されたものである。ＩＲ画素が多く配置されており、赤外光に対する解像度が高い配列となる。同図におけるｄは、Ｗ＋ＩＲ画素の市松配列において、Ｗ＋ＩＲ画素の画素位置以外においてＲ+ＩＲ画素、Ｇ+ＩＲ画素、Ｂ+ＩＲ画素およびＩＲ画素が配置されたものである。白に対応する画素が多く配置されており、感度が高い配列となる。
【００２７】
なお、本技術の第１の実施の形態における撮像素子２００としては、同図におけるａ乃至ｃに挙げたＲ+ＩＲ画素、Ｇ+ＩＲ画素、Ｂ+ＩＲ画素およびＩＲ画素を有する撮像素子を想定する。
【００２８】
［画像処理装置の構成］
図３は、本技術の第１の実施の形態における画像処理装置３００の構成例を示す図である。この画像処理装置３００は、撮像素子制御部３１０と、動き画像検出部３２０と、デモザイク部３３０と、ナンバープレート領域検出部３４０とを備えている。また、この画像処理装置３００は、ナンバープレート領域画像処理部３６０と、車体領域検出部３５０と、車体領域画像処理部３７０と、合成部３９０とをさらに備えている。
【００２９】
撮像素子制御部３１０は、撮像素子２００の制御を行うものである。この撮像素子制御部３１０は、撮像素子２００に対して、フォーカス制御、露出制御、画像信号の出力制御等を行う。
【００３０】
動き画像検出部３２０は、撮像素子２００から出力された画像信号において動きのある画像領域を検出するものである。この動きのある画像領域の検出には、公知の方法、例えば、ＭＰＥＧ（Moving Picture Experts Group）等において使用されるブロックマッチングによる方法を使用することができる。
【００３１】
デモザイク部３３０は、デモザイク処理を行うものである。このデモザイク処理は、撮像素子２００から出力された単色の画像信号に対して不足する画像信号を補間するものである。このデモザイク処理により、１画素当たりの画像信号は、Ｒ+ＩＲ信号、Ｇ+ＩＲ信号、Ｂ+ＩＲ信号およびＩＲ信号の４つに増加することになる。また、デモザイク部３３０は、Ｒ+ＩＲ信号、Ｇ+ＩＲ信号およびＢ+ＩＲ信号から赤外光成分を除去する赤外光成分除去処理をさらに行う。ここで、Ｒ+ＩＲ信号、Ｇ+ＩＲ信号およびＢ+ＩＲ信号から赤外光成分が除去された信号をそれぞれＲ信号、Ｇ信号およびＢ信号と称する。この赤外光成分除去処理は、例えば、次式のように行うことができる。
Ｒ＝Ｒ＋ＩＲ−ＩＲ
Ｇ＝Ｇ＋ＩＲ−ＩＲ
Ｂ＝Ｂ＋ＩＲ−ＩＲ
ただし、Ｒ、Ｇ、ＢおよびＩＲは、それぞれＲ信号、Ｇ信号、Ｂ信号およびＩＲ信号を表している。Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲは、それぞれＲ＋ＩＲ信号、Ｇ＋ＩＲ信号およびＢ＋ＩＲ信号を表している。
【００３２】
車体領域検出部３５０は、動き画像検出部３２０により検出された動きのある画像領域から車体領域を検出するものである。この車体領域の検出には、公知の方法、例えば、車体の画像を濃淡画像で表した濃淡テンプレートを保持し、入力された画像および濃淡テンプレートのパターンマッチングを行うことにより、車体領域を検出する方法を用いることができる。
【００３３】
ナンバープレート領域検出部３４０は、動き画像検出部３２０により検出された動きのある画像領域からナンバープレート領域を検出するものである。このナンバープレート領域の検出には、公知の方法を使用することができる。例えば、車体の画像信号を２値化した画像を生成し、この画像の領域においてナンバープレート特有のパターン配列に一致する部分を検索することにより、ナンバープレート位置を検出する方法を用いることができる。
【００３４】
車体領域画像処理部３７０は、車体領域検出部３５０が検出した車体領域に対応する画像信号を処理するものである。この車体領域画像処理部３７０は、車体における色の再現性を向上させる処理を行う。この車体領域画像処理の詳細については後述する。
【００３５】
ナンバープレート領域画像処理部３６０は、ナンバープレート領域検出部３４０により検出されたナンバープレート領域に対応する画像信号を処理するものである。このナンバープレート領域画像処理部３６０は、上述の車体領域画像処理部３７０における処理とは異なる処理を行う。すなわち、ナンバープレートにおける視認性を向上させる処理を行う。このナンバープレート領域画像処理の詳細については後述する。
【００３６】
合成部３９０は、車体領域画像処理部３７０およびナンバープレート領域画像処理部３６０により処理された画像信号を合成するものである。
【００３７】
なお、上述した画像処理装置３００における各処理は、これらの処理を行うハードウェアにより実現することができる。また、マイコンやＤＳＰを搭載し、ソフトウェアによる処理として実現してもよい。
【００３８】
［デモザイク処理］
図４は、本技術の第１の実施の形態におけるデモザイク処理を示す図である。同図は、画素２０２に対してデモザイク処理を行う場合を表したものである。この画素２０２は、Ｂ+ＩＲ画素であり、Ｂ+ＩＲ信号を出力する。この画素２０２の画素位置に、他の色に対応する画像信号を補間する。同図におけるａは、画素２０２に対してＧ+ＩＲ信号を補間する場合の例である。画素２０２の左右に配置されたＧ＋ＩＲ画素におけるＧ＋ＩＲ信号の平均値を画素２０２におけるＧ＋ＩＲ信号にする。同図におけるｂは、画素２０２に対してＩＲ信号を補間する場合の例である。画素２０２の上下に配置されたＩＲ画素におけるＩＲ信号の平均値を画素２０２におけるＩＲ信号にする。同図におけるｃは、画素２０２に対してＲ＋ＩＲ信号を補間する場合の例である。画素２０２の斜め方向において画素２０２と隣接するＲ＋ＩＲ信号の平均値を画素２０２におけるＲ＋ＩＲ信号にする。このように、同図におけるデモザイク処理は、隣接する画素の画像信号のみを用いて補間を行う。このデモザイク処理の後、赤外光成分除去処理が行われる。
【００３９】
［ナンバープレート領域画像処理部］
図５は、本技術の第１の実施の形態におけるナンバープレート領域画像処理部３６０の構成例を示す図である。このナンバープレート領域画像処理部３６０は、輝度信号変換部３６２と、エッジ強調部３６３と、２次元ノイズリダクション部３６４とを備えている。
【００４０】
輝度信号変換部３６２は、ナンバープレート領域に対応する画像信号のうちＩＲ信号を輝度信号（Ｙ信号）に変換するものである。この変換は、次式のように行う。
Ｙ＝ＩＲ
ただし、ＹおよびＩＲはそれぞれＹ信号およびＩＲ信号を表す。このように、輝度信号変換部３６２は、ナンバープレート領域のＩＲ信号をＹ信号に変換している。色差信号を使用していないため、ナンバープレート領域画像処理後のナンバープレート領域の画像は、モノクロの画像になる。
【００４１】
エッジ強調部３６３は、ナンバープレート領域のＹ信号に対してエッジ強調処理を行うものである。なお、同図におけるＹ＿ｅｄｇｅ信号は、エッジ強調処理が行われたＹ信号を表している。このエッジ強調処理は、画像のエッジ部分を強調する処理である。このエッジ強調処理には、公知の方法を用いることができる。例えば、画像からエッジ部分を検出し、この検出されたエッジ部分の輝度を高めることによりエッジ部分を強調する方法を用いることができる。
【００４２】
２次元ノイズリダクション部３６４は、Ｙ＿ｅｄｇｅ信号に対して２次元ノイズリダクション処理を行うものである。なお、同図におけるＹ＿ｎｒ２信号は、２次元ノイズリダクション処理が行われたＹ信号を表している。ここで、ノイズリダクション処理とは、重畳しているノイズの除去を行う処理である。また、２次元ノイズリダクション処理は、同一フレームに属する画像信号の高周波成分を減衰させることによりノイズを除去する処理である。
【００４３】
［２次元ノイズリダクション処理］
図６は、本技術の第１の実施の形態における２次元ノイズリダクション処理を示す図である。同図においては、２次元ノイズリダクション処理としてイプシロンフィルタを使用した場合を例示する。同図におけるａは、２次元ノイズリダクション処理のブロック図を表したものである。なお、入力信号線３０３にはＹ信号が入力される。この入力された信号をハイパスフィルタ３０４およびイプシロンフィルタ３０６に通すことにより、入力信号から高周波成分が分離される。なお、イプシロンフィルタ３０６は、入力された信号に対して所定のレベルを超える信号の除去を行うフィルタである。次に、減算器３０８により、この分離された高周波成分を入力信号から減算する。これにより、ノイズが除去される。
【００４４】
この様子を同図におけるｂに表した。なお、信号線３０５および３０７は、それぞれハイパスフィルタ３０４およびイプシロンフィルタ３０６の出力に接続された信号線である。また、出力信号線３０９は、２次元ノイズリダクション部３６４の出力に接続された信号線である。この２次元ノイズリダクション処理は、後述する３次元ノイズリダクション処理と比較して、ノイズ除去能力は劣るものの、画像のエッジ部分のぼけが比較的少なく、視認性の低下を防ぐことができる。なお、本技術の第１の実施の形態においては、これ以外の２次元ノイズリダクション処理、例えば、バイラテラルフィルタによる処理や平滑化による処理を使用することもできる。
【００４５】
エッジ強調処理や２次元ノイズリダクション処理により、ナンバープレート領域の画像を、モノクロながら視認性が向上された画像にすることができる。
【００４６】
［車体領域画像処理部］
図７は、本技術の第１の実施の形態における車体領域画像処理部３７０の構成例を示す図である。この車体領域画像処理部３７０は、輝度色差信号変換部３７２と、２次元ノイズリダクション部３７４と、３次元ノイズリダクション部３７５とを備えている。
【００４７】
輝度色差信号変換部３７２は、車体領域に対応する画像信号のうちＲ、ＧおよびＢ信号を輝度信号（Ｙ信号）および色差信号（ＣｂおよびＣｒ信号）に変換するものである。なお、Ｃｂ信号はＢ信号とＹ信号との差分に基づく信号であり、Ｃｒ信号はＲ信号とＹ信号との差分に基づく信号である。この変換は、次式のように行うことができる。
Ｙ  ＝  ０．２９９０×Ｒ＋０．５８７０×Ｇ＋０．１１４０×Ｂ
Ｃｂ＝−０．１６９０×Ｒ−０．３３１６×Ｇ＋０．５０００×Ｂ
Ｃｒ＝  ０．５０００×Ｒ−０．４１８６×Ｇ−０．０８１３×Ｂ
【００４８】
２次元ノイズリダクション部３７４は、前述した２次元ノイズリダクション処理を行うものである。この２次元ノイズリダクション部３７４は、輝度色差信号変換部３７２から出力されたＹ、ＣｂおよびＣｒ信号に対して２次元ノイズリダクション処理を行う。なお、同図のＹ＿ｎｒ２、Ｃｂ＿ｎｒ２およびＣｒ＿ｎｒ２信号は、それぞれ２次元ノイズリダクション処理が行われたＹ、ＣｂおよびＣｒ信号を表している。
【００４９】
３次元ノイズリダクション部３７５は、３次元ノイズリダクション処理を行うものである。この３次元ノイズリダクション部３７５は、２次元ノイズリダクション部３７４から出力されたＹ＿ｎｒ２、Ｃｂ＿ｎｒ２およびＣｒ＿ｎｒ２信号に対して、３次元ノイズリダクション処理を行う。この３次元ノイズリダクション処理は、連続する複数のフレームに属する画像信号を用いてノイズの除去を行う処理である。なお、同図のＹ＿ｎｒ３、Ｃｂ＿ｎｒ３およびＣｒ＿ｎｒ３信号は、それぞれ３次元ノイズリダクション処理が行われたＹ、ＣｂおよびＣｒ信号を表している。
【００５０】
［３次元ノイズリダクション処理］
図８は、本技術の第１の実施の形態における３次元ノイズリダクション処理を示す図である。同図における画像７０１乃至７０３は、車体領域に対応する画像である。同図に表したように、Ｋ個の連続するフレームの車体領域に対応する画像の画像信号が加算器３７８によって加算される。その後、除算器３７９により、加算した画像信号数であるＫで除算され、出力画像７０４が生成される。これにより、ランダムに発生したノイズ成分を平均化してノイズ除去を行うことができる。３次元ノイズリダクション処理は、加算する画像信号数Ｋが大きいほど、ノイズ除去の効果が高まる性質があり、２次元ノイズリダクション処理よりも高いノイズ除去能力にすることができる。一方、加算する画像信号数Ｋが大きいほど画像が平準化され、画像がぼやける等画質が低下するという問題がある。しかし、車体領域に関しては、色の再現が可能であれば、多少の画質の低下は許容できるため、問題にはならない。
【００５１】
また、動きのある画像に対して３次元ノイズリダクション処理を行う場合にも、同様に画質が低下する。そこで、車体の動きを補償して、上述の加算を行うことにより、画質の低下を防ぐことができる。この動き補償については、公知の方法、例えば、ＭＰＥＧに使用される動き補償方法を使用することができる。
【００５２】
これら２次元ノイズリダクション処理および３次元ノイズリダクション処理により、車体領域の画像を、色再現性が向上された画像にすることができる。
【００５３】
［合成処理］
図９は、本技術の第１の実施の形態における合成処理を示す図である。同図は、画像処理装置３００の各部における画像信号の様子と合成部３９０における合成処理を表したものである。車輌を含む画像７０５を構成する画像信号が動き画像検出部３２０に入力され、動きのある画像７０６に対応する画像信号が出力される。この画像信号は、車体領域検出部３５０および車体領域画像処理部３７０により処理されて、車体における色の再現性を向上させた画像７０７に対応する画像信号になる。これと平行して、動きのある画像７０６に対応する画像信号は、ナンバープレート領域検出部３４０およびナンバープレート領域画像処理部３６０により処理されて、ナンバープレートにおける視認性を向上させた画像７０８に対応する画像信号になる。
【００５４】
これら２つの画像信号が合成部３９０により合成されて出力される。なお、画像７０９は合成後の画像を表している。この合成部３９０による合成は、例えば、次のように行うことができる。入力画像７０５を背景画像とし、この画像に車体領域の画像７０７およびナンバープレート領域の画像７０８を重ね合わせて、画像７０９を合成する。これにより、車体領域について色再現性を向上させた画像とナンバープレート領域について視認性を向上させた画像とが同一の画像に表されることになる。なお、ナンバープレート領域検出部３４０においてナンバープレート領域が検出されない場合には、合成部３９０は、車体領域の画像７０７のみを背景画像に重ね合わせて合成を行う。
【００５５】
［画像の表示］
図１０は、本技術の第１の実施の形態における画像表示例を示す図である。同図におけるａは、画像表示領域７１１および画像情報表示領域７１２を含む画像表示の例を表したものである。画像表示領域７１１は、合成部３９０により出力された画像信号により構成された画像を表示する領域であり、車体領域画像処理部３７０により処理された画像７１５とナンバープレート領域画像処理部３６０により処理された画像７１６とを含んだ画像が表示される。画像情報表示領域７１２は、日付等の情報を表示する領域である。同図におけるｂは、同図におけるａの表示に対して、さらにナンバープレート表示領域７１３を付加した表示の例を表している。このナンバープレート表示領域７１３には、画像７１６を拡大した画像７１４が表示されている。このため、同図におけるｂの表示では、ナンバープレートの文字列の読取りが容易な構成になっている。
【００５６】
［画像処理手順］
図１１は、本技術の第１の実施の形態における画像処理手順の一例を示す図である。画像処理装置３００は、撮像素子２００から１フレームの画像信号が入力されると、本処理を開始する。まず、動き画像検出部３２０が入力された画像信号から動きのある画像領域を検出する（ステップＳ９０１）。この際、動きのある画像領域が検出されない場合には（ステップＳ９０２：Ｎｏ）、画像処理装置３００は、ステップＳ９０６の処理に移行し、入力された画像信号を画像信号出力部４００に対して出力する（ステップＳ９０６）。
【００５７】
一方、動きのある画像領域が検出された場合には（ステップＳ９０２：Ｙｅｓ）、車体領域検出部３５０が、車体領域の検出を行う（ステップＳ９０３）。この際、車体領域が検出されない場合には（ステップＳ９０４：Ｎｏ）、画像処理装置３００は、ステップＳ９０６の処理に移行し、入力された画像信号を画像信号出力部４００に対して出力する（ステップＳ９０６）。
【００５８】
一方、車体領域が検出された場合には（ステップＳ９０４：Ｙｅｓ）、ナンバープレート領域検出部３４０がナンバープレート領域の検出を行う（ステップＳ９０５）。次に、画像処理装置３００は、車体およびナンバープレート領域処理を行い（ステップＳ９１０）、ステップＳ９０６の処理に移行する。ステップＳ９０６において、画像処理装置３００は、ステップＳ９１０により得られた画像を画像信号出力部４００に対して出力する（ステップＳ９０６）。その後、画像処理装置３００は、画像処理を終了する。
【００５９】
［車体およびナンバープレート領域処理］
図１２は、本技術の第１の実施の形態における車体およびナンバープレート領域処理の処理手順の一例を示す図である。同図の処理は、図１１において説明したステップＳ９１０に対応する処理である。まず、車体領域画像処理部３７０が車体領域画像処理を行う（ステップＳ９２０）。次に、ナンバープレート領域画像処理部３６０が、ナンバープレート領域画像処理を行う（ステップＳ９３０）。次に、合成部３９０が車体領域画像処理およびナンバープレート領域画像処理により処理された画像を合成する（ステップＳ９１３）。この際、ナンバープレート領域検出部３４０においてナンバープレート領域が検出されない場合には、合成部３９０は、車体領域画像処理により処理された画像により合成を行う。その後、画像処理装置３００は、車体およびナンバープレート領域処理を終了する。
【００６０】
［車体領域画像処理］
図１３は、本技術の第１の実施の形態における車体領域画像処理の処理手順の一例を示す図である。同図の処理は、図１２において説明したステップＳ９２０に対応する処理である。まず、車体領域画像処理部３７０は、Ｒ、ＧおよびＢ信号を輝度信号および色差信号に変換する（ステップＳ９２３）。次に、車体領域画像処理部３７０は、２次元ノイズリダクション処理を行う（ステップＳ９２５）。次に、車体領域画像処理部３７０は、３次元ノイズリダクション処理を行い（ステップＳ９２６）、車体領域画像処理を終了する。
【００６１】
［ナンバープレート領域画像処理］
図１４は、本技術の第１の実施の形態におけるナンバープレート領域画像処理の処理手順の一例を示す図である。同図の処理は、図１２において説明したステップＳ９３０に対応する処理である。まず、ナンバープレート領域画像処理部３６０は、ＩＲ信号を輝度信号に変換する（ステップＳ９３２）。次に、ナンバープレート領域画像処理部３６０は、エッジ強調処理を行う（ステップＳ９３４）。次に、ナンバープレート領域画像処理部３６０は、２次元ノイズリダクション処理を行い（ステップＳ９３５）、ナンバープレート領域画像処理を終了する。
【００６２】
このように、本技術の第１の実施の形態によれば、ナンバープレートにおける視認性および車体における色の再現性を向上させることができ、監視対象である車輌の特定を容易にすることができる。また、可視光と赤外光の両方に対応する撮像素子２００を使用し、可視光信号と赤外光信号とを分離して処理することにより、単一の撮像素子による撮像装置１０を構成することができる。これにより、撮像装置１０の構成を簡素化することができる。
【００６３】
［変形例］
上述の実施の形態では、ナンバープレート領域検出部３４０は、デモザイク部３３０により処理された画像信号に対してナンバープレート領域の検出を行っていた。これに対し、車体領域検出部３５０により検出された車体領域に対応する画像信号に対してナンバープレート領域の検出を行ってもよい。ナンバープレート領域は車体領域に含まれるためである。これにより、ナンバープレート領域検出部３４０において処理を行う画像の領域が限定され、処理時間を短縮することができる。
【００６４】
＜２．第２の実施の形態＞
上述の実施の形態では、ＩＲ信号によりナンバープレート領域の画像を処理していた。これに対し、本技術の第２の実施の形態では、ＩＲ信号が飽和している際には、可視光信号（Ｒ、ＧおよびＢ信号）によりナンバープレート領域の画像の処理を行う。
【００６５】
［画像処理装置の構成］
図１５は、本技術の第２の実施の形態における画像処理装置３００の構成例を示す図である。同図の画像処理装置３００は、飽和検出部３８０をさらに備える点において図３において説明した画像処理装置３００と異なっている。
【００６６】
また、本技術の第２の実施の形態における撮像素子２００には、赤色光、緑色光、青色光および赤外光に対応する画素を有する撮像素子を使用する必要がある。さらに、赤色光、緑色光および青色光に対応する画素は赤外光を除去するカラーフィルタを備える構成にする必要がある。すなわち、図２において説明した撮像素子のうち図２におけるａ乃至ｃに表した配列の撮像素子を使用する必要がある。さらに、Ｒ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲが記載された画素は、それぞれ赤色光、緑色光および青色光を検出し、赤外光成分を検出しない構成とした撮像素子を使用する必要がある。図２おいて説明した撮像素子のＲ＋ＩＲ画素、Ｇ＋ＩＲ画素およびＢ＋ＩＲ画素は、それぞれ赤外光成分に対しても感度を有するため、過大な赤外光が入射した際に、ＩＲ画素を含む全ての画素において出力される画像信号が飽和状態になるためである。
【００６７】
このような本技術の第２の実施の形態における撮像素子２００が出力する画像信号は、Ｒ信号、Ｇ信号、Ｂ信号およびＩＲ信号であるため、デモザイク部３３０においては、前述した赤外成分除去処理を省略することができる。これ以外の撮像装置１０および画像処理装置３００の構成は、本技術の第１の実施の形態において説明した撮像装置１０および画像処理装置３００と同様であるため説明を省略する。
【００６８】
飽和検出部３８０は、ＩＲ信号が飽和しているか否かを検出するものである。前述のように撮像素子制御部３１０が露出の制御を行っているため、通常は、ＩＲ信号の飽和は発生しない。しかし、赤外光照射部５００において赤外光を照射しながら撮影を行った際に、被写体である車輌と撮像装置１０との間の距離が近い場合には、一時的なＩＲ信号の飽和が発生する。このような場合においても、撮像素子制御部３１０の露出制御により、ＩＲ信号が飽和していない状態の画像信号を得ることができる。しかし、車輌が高速に侵入した場合には、撮像素子制御部３１０の露出制御が追従できず、ＩＲ信号が飽和した状態の画像信号のみが取得されることとなる。このような場合に、飽和検出部３８０は、ＩＲ信号の飽和を検出する。
【００６９】
本技術の第２の実施の形態におけるナンバープレート領域画像処理部３６０は、飽和検出部３８０による検出の結果に基づいてナンバープレート領域の画像処理を行うものである。
【００７０】
［ナンバープレート領域画像処理部の構成］
図１６は、本技術の第２の実施の形態におけるナンバープレート領域画像処理部３６０の構成例を示す図である。このナンバープレート領域画像処理部３６０は、輝度信号変換部３６２の代わりに輝度信号変換部３６６を備える点において、図５において説明したナンバープレート領域画像処理部３６０と異なっている。
【００７１】
輝度信号変換部３６６は、Ｒ信号、Ｇ信号、Ｂ信号およびＩＲ信号をＹ信号に変換するものである。この際、飽和検出部３８０による検出の結果に基づいて、異なる変換を行う。この変換は、次のように行うことができる。
（ａ）飽和検出部３８０によりＩＲ信号の飽和が検出された時
Ｒ信号、Ｇ信号およびＢ信号を用いて、次式のように変換を行う。
Ｙ＝０．２９９０×Ｒ＋０．５８７０×Ｇ＋０．１１４０×Ｂ
（ｂ）飽和検出部３８０によりＩＲ信号の飽和が検出されない時
ＩＲ信号を用いて、次式のように変換を行う。
Ｙ＝ＩＲ
【００７２】
このように、輝度信号変換部３６６は、図５において説明した輝度信号変換部３６２とは異なり、ＩＲ信号が飽和している際には、Ｒ信号、Ｇ信号およびＢ信号をＹ信号に変換する。このため、ＩＲ信号が飽和した場合において、ナンバープレート領域の表示がいわゆる白飛び状態になることを防ぐことができる。これにより、ナンバープレートの視認性を向上させることができる。
【００７３】
［ナンバープレート領域画像処理］
図１７は、本技術の第２の実施の形態におけるナンバープレート領域画像処理の処理手順の一例を示す図である。同図の処理は、図１２において説明したナンバープレート領域画像処理に対応する処理である。なお、これ以外の画像処理の処理手順は本技術の第１の実施の形態において説明した処理手順と同様であるため説明を省略する。
【００７４】
まず、ナンバープレート領域画像処理部３６０は、ＩＲ信号が飽和しているか否かを判断する（ステップＳ９５１）。具体的には、飽和検出部３８０においてＩＲ信号の飽和が検出されているか否かを判断する。ＩＲ信号が飽和していない場合には（ステップＳ９５１：Ｎｏ）、ナンバープレート領域画像処理部３６０は、ＩＲ信号を輝度信号に変換し（ステップＳ９５２）、ステップＳ９５４の処理に移行する。一方、ＩＲ信号が飽和している場合には（ステップＳ９５１：Ｙｅｓ）、ナンバープレート領域画像処理部３６０は、Ｒ信号、Ｇ信号およびＢ信号を輝度信号に変換し（ステップＳ９５３）、ステップＳ９５４の処理に移行する。ステップＳ９５４において、ナンバープレート領域画像処理部３６０は、エッジ強調処理を行う（ステップＳ９５４）。次に、ナンバープレート領域画像処理部３６０は、２次元ノイズリダクション処理を行い（ステップＳ９５５）、ナンバープレート領域画像処理を終了する。
【００７５】
このように、本技術の第２の実施の形態によれば、ＩＲ信号が飽和した場合においてナンバープレートにおける視認性の低下を防止することができる。
【００７６】
［変形例］
上述の第２の実施の形態では、ＩＲ信号が飽和した場合において、赤外光照射部５００における赤外光の照射の制御を行っていなかった。これに対し、画像処理装置３００の飽和検出部３８０においてＩＲ信号の飽和が検出された際に、制御部６００が赤外光照射部５００を制御して、赤外光の照射量を減少させてもよい。これにより、適正な赤外光照射量にすることができ、ナンバープレートにおける視認性の低下を防止することができる。
【００７７】
＜３．第３の実施の形態＞
上述の実施の形態では、車体領域の画像にナンバープレート領域の画像を重ね合わせて合成していた。これに対し、本技術の第３の実施の形態では、車体領域の画像へのナンバープレート領域の画像の重ね合わせを省略する。
【００７８】
［合成処理］
図１８は、本技術の第３の実施の形態における合成処理を示す図である。同図におけるａは、比較のため本技術の第１の実施の形態における合成処理を表したものである。同図におけるａでは、合成部３９０において車体領域の画像７０７にナンバープレート領域の画像７０８を重ね合わせて、画像表示領域７１１に表示している。このため、画像７０７のナンバープレート部分にモノクロのナンバープレート領域の画像が上書きされてしまい、ナンバープレートの色を特定することができない。
【００７９】
同図におけるｂは、本技術の第３の実施の形態における合成処理を表したものであり、車体領域の画像７０７に対するナンバープレート領域の画像の重ね合わせを省略したものである。このため、車体領域の画像７０７のナンバープレート領域は、他の車体領域と同様に色再現性が向上しており、ナンバープレートの色を特定することができる。なお、ナンバープレート領域の画像７０８は、ナンバープレート表示領域７１３に表示される。
【００８０】
このように、本技術の第３の実施の形態によれば、車体の色とともにナンバープレートの色の特定が可能になる。
【００８１】
＜４．第４の実施の形態＞
上述の実施の形態では、白色光に対応する画素を含まない撮像素子２００を使用していた。これに対し、本技術の第４の実施の形態では、白色光に対応する画素を含む撮像素子２００を使用する。
【００８２】
［撮像装置および画像処理装置の構成］
本技術の第４の実施の形態における撮像装置１０は、撮像素子２００として、図２におけるｄに表した画素の配置とした撮像素子を使用する。また、本技術の第４の実施の形態における画像処理装置３００の動き画像検出部３２０およびデモザイク部３３０は、Ｗ＋ＩＲ信号を含む画像信号に対して、処理を行う必要がある。これ以外の撮像装置１０の構成は本技術の第１の実施の形態において説明した撮像装置１０と同様であるため説明を省略する。
【００８３】
［デモザイク処理］
図１９および２０は、本技術の第４の実施の形態におけるデモザイク処理を示す図である。図１９は、撮像素子２００の画素の配置を表したものであり、中央に配置された画素２０３においてＧ＋ＩＲ信号以外の信号を補間する場合を想定する。図２０におけるａは、Ｒ＋ＩＲ信号を補間する場合の例を表したものである。このように、画素２０３の周囲のＲ＋ＩＲ画素の信号による平均値を画素２０３におけるＲ＋ＩＲ信号にする。この平均は各Ｒ＋ＩＲ信号による加重平均により算出される。各Ｒ＋ＩＲ信号には、所定の重みが乗算される。この重みは、画素２０３に近い画素ほど大きな値としている。すなわち、図２０におけるａでは、画素２０３に隣接する画素２０４には、比較的離れた位置に配置された画素２０５よりも大きな重みが設定される。
【００８４】
このようにして、補間された画像信号を添え字「＿Ｌ」を付して記載する。すなわちＲ＋ＩＲ信号、Ｇ＋ＩＲ信号、Ｂ＋ＩＲ信号、Ｗ＋ＩＲ信号およびＩＲ信号に対する補間後の信号は、それぞれＲ＋ＩＲ＿Ｌ信号、Ｇ＋ＩＲ＿Ｌ信号、Ｂ＋ＩＲ＿Ｌ信号、Ｗ＋ＩＲ＿Ｌ信号およびＩＲ＿Ｌ信号となる。これらの信号は、比較的広い範囲の画像信号の平均値であるため、高周波成分が失われた画像信号になる。このため、これらの信号により処理を行うと、車体領域に対応する画像信号は、輪郭がぼやけた画像になる。
【００８５】
図２０におけるｂは、Ｗ＋ＩＲ信号に対して高周波成分を多く含む信号を生成する補間を表したものである。Ｗ＋ＩＲ画素は、他の画素よりも多く配置されているため、図４において説明した補間方法と同様の方法を使用することができる。すなわち、画素２０３に隣接するＷ＋ＩＲ画素の信号の平均値を画素２０３におけるＷ＋ＩＲ信号にすることができる。このようにして、補間されたＷ＋ＩＲ信号をＷ＋ＩＲ＿Ｈと称する。この信号は、隣接する画素の画像信号の平均値であるため、高周波成分を多く含む画像信号になる。Ｗ＋ＩＲ信号は、可視光から赤外光に亘る広い範囲の波長の信号を含んでおり、後述するようにこの信号を用いて他のデモザイク処理後の信号に対する高周波成分の復元を行うことができる。
【００８６】
次に、Ｒ＋ＩＲ＿Ｌ信号、Ｇ＋ＩＲ＿Ｌ信号およびＢ＋ＩＲ＿Ｌ信号からＩＲ信号成分を除去する。これは、本技術の第１の実施の形態において説明した方法と同様に、Ｒ＋ＩＲ＿Ｌ信号、Ｇ＋ＩＲ＿Ｌ信号およびＢ＋ＩＲ＿Ｌ信号からＩＲ＿Ｌ信号を減算することにより行うことができる。ＩＲ信号成分を除去した画像信号をそれぞれＲ＿Ｌ信号、Ｇ＿Ｌ信号およびＢ＿Ｌ信号と称する。
【００８７】
次に、Ｒ＿Ｌ信号、Ｇ＿Ｌ信号およびＢ＿Ｌ信号の高周波成分の復元を行う。これは、次式のように行うことができる。
Ｒ＝Ｒ＿Ｌ＋Ｗ＋ＩＲ＿Ｈ×Ｒ＿Ｌ／Ｗ＋ＩＲ＿Ｌ
Ｇ＝Ｇ＿Ｌ＋Ｗ＋ＩＲ＿Ｈ×Ｇ＿Ｌ／Ｗ＋ＩＲ＿Ｌ
Ｂ＝Ｂ＿Ｌ＋Ｗ＋ＩＲ＿Ｈ×Ｂ＿Ｌ／Ｗ＋ＩＲ＿Ｌ
ただし、Ｗ＋ＩＲ＿ＨおよびＷ＋ＩＲ＿Ｌは、それぞれＷ＋ＩＲ＿Ｈ信号およびＷ＋ＩＲ＿Ｌ信号を表す。また、Ｒ＿Ｌ、Ｇ＿ＬおよびＢ＿Ｌは、それぞれＲ＿Ｌ信号、Ｇ＿Ｌ信号およびＢ＿Ｌ信号を表す。これにより、高周波成分が復元されたＲ信号、Ｇ信号およびＢ信号を得ることができる。これらの信号により車体領域に対応する画像信号の処理が行われるため、ぼけが改善されて視認性が向上した車体領域の画像信号を得ることができる。
【００８８】
このように、本技術の第４の実施の形態によれば、白色光に対応する画像信号を有する撮像素子２００を使用した場合において、色再現性とともに車体領域の視認性を向上させることができる。
【００８９】
＜５．変形例＞
上述の実施の形態では、単一の撮像素子２００を使用していた。これに対し、可視光に対応する撮像素子および赤外光に対応する撮像素子の２個の撮像素子を使用してもよい。可視光に対応する撮像素子および赤外光に対応する撮像素子のそれぞれについて露出の制御を行うことにより、それぞれ最適な露出条件にすることができるためである。なお、本技術の実施の形態の変形例においては、プリズムおよびハーフミラー等により撮像装置１０の入射光をこれら２個の撮像素子に導く必要がある。
【００９０】
また、これら２個の撮像素子を備えるとともに、図１５において説明した飽和検出部３８０を備えてもよい。ＩＲ信号が飽和した場合において、可視光信号によるナンバープレート領域の視認性を向上させることができる。なお、可視光に対応する撮像素子に赤外線カットフィルタを装着させることにより、赤外光の影響を除去することもできる。
【００９１】
以上のように、本技術の実施の形態によれば、ナンバープレートにおける視認性および車体における色の再現性を向上させることにより、ナンバープレートの読取りおよび車体の色の取得が可能になる。これにより、監視対象である車輌の特定を容易に行うことができる。
【００９２】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００９３】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【００９４】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【００９５】
なお、本技術は以下のような構成もとることができる。
（１）画像信号から車輌の車体領域を検出する車体領域検出部と、
前記画像信号から車輌のナンバープレート領域を検出するナンバープレート領域検出部と、
前記検出された前記車体領域に対応する前記画像信号の処理を行う車体領域画像処理部と、
前記検出された前記ナンバープレート領域に対応する前記画像信号に対して前記車体領域に対応する前記画像信号の前記処理とは異なる処理を行うナンバープレート領域画像処理部と、
前記処理された前記車体領域に対応する前記画像信号と前記処理された前記ナンバープレート領域に対応する前記画像信号とを合成する合成部と
を具備する画像処理装置。
（２）前記ナンバープレート領域画像処理部は、前記ナンバープレート領域に対応する前記画像信号を前記ナンバープレート領域に対応する輝度信号に変換する輝度信号変換処理と前記輝度信号における画像のエッジ部分を強調するエッジ強調処理とを行う前記（１）に記載の画像処理装置。
（３）前記ナンバープレート領域画像処理部は、前記ナンバープレート領域に対応する前記画像信号を前記ナンバープレート領域に対応する輝度信号に変換する輝度信号変換処理と同一フレームに属する前記輝度信号の高周波成分を減衰させることにより前記輝度信号のノイズを除去する２次元ノイズリダクション処理とを行う前記（１）に記載の画像処理装置。
（４）前記車体領域画像処理部は、前記車体領域に対応する前記画像信号を前記車体領域に対応する輝度信号および色差信号に変換する輝度および色差信号変換処理と連続する複数のフレームに属する前記輝度信号および前記色差信号を用いて前記輝度信号および前記色差信号のノイズを除去する３次元ノイズリダクション処理とを行う前記（１）に記載の画像処理装置。
（５）前記画像信号は、赤色光と緑色光と青色光と赤外光とに対応するそれぞれの画像信号を備え、
前記車体領域画像処理部は、前記車体領域に対応する前記画像信号に含まれる赤色光と緑色光と青色光とに対応するそれぞれの画像信号の処理を行い、
前記ナンバープレート領域画像処理部は、前記ナンバープレート領域に対応する前記画像信号に含まれる赤外光に対応する画像信号の処理を行う
前記（１）から（４）に記載の画像処理装置。
（６）前記画像信号は、白色光に対応する画像信号をさらに備え、
前記車体領域画像処理部は、前記車体領域に対応する前記画像信号に含まれる赤色光と緑色光と青色光と白色光とに対応するそれぞれの画像信号の処理を行う
前記（５）に記載の画像処理装置。
（７）前記画像信号は、赤色光と緑色光と青色光と赤外光とに対応するそれぞれの画像信号を備え、
前記画像信号に含まれる赤外光に対応する画像信号が飽和しているか否かを検出する飽和検出部をさらに具備し、
前記ナンバープレート領域画像処理部は、前記飽和検出部が前記赤外光に対応する画像信号が飽和していないことを検出した場合には前記ナンバープレート領域に対応する前記画像信号に含まれる赤外光に対応する画像信号の処理を行い、前記飽和検出部が前記赤外光に対応する画像信号が飽和していることを検出した場合には前記ナンバープレート領域に対応する前記画像信号に含まれる赤色光と緑色光と青色光とに対応するそれぞれの画像信号の処理を行う
前記（１）に記載の画像処理装置。
（８）画像信号を生成する撮像素子と、
前記画像信号から車輌の車体領域を検出する車体領域検出部と、
前記画像信号から車輌のナンバープレート領域を検出するナンバープレート領域検出部と、
前記検出された前記車体領域に対応する前記画像信号の処理を行う車体領域画像処理部と、
前記検出された前記ナンバープレート領域に対応する前記画像信号に対して前記車体領域に対応する前記画像信号の前記処理とは異なる処理を行うナンバープレート領域画像処理部と、
前記処理された前記車体領域に対応する前記画像信号と前記処理された前記ナンバープレート領域に対応する前記画像信号とを合成する合成部と
を具備する撮像装置。
（９）画像信号から車輌の車体領域を検出する車体領域検出手順と、
前記画像信号から車輌のナンバープレート領域を検出するナンバープレート領域検出手順と、
前記検出された前記車体領域に対応する前記画像信号の処理を行う車体領域画像処理手順と、
前記検出された前記ナンバープレート領域に対応する前記画像信号に対して前記車体領域に対応する前記画像信号の前記処理とは異なる処理を行うナンバープレート領域画像処理手順と、
前記処理された前記車体領域に対応する前記画像信号と前記処理された前記ナンバープレート領域に対応する前記画像信号とを合成する合成手順と
を具備する画像処理方法。
【符号の説明】
【００９６】
１０  撮像装置
１００  レンズ
２００  撮像素子
２０１〜２０５  画素
３００  画像処理装置
３０４  ハイパスフィルタ
３０６  イプシロンフィルタ
３０８  減算器
３１０  撮像素子制御部
３２０  動き画像検出部
３３０  デモザイク部
３４０  ナンバープレート領域検出部
３５０  車体領域検出部
３６０  ナンバープレート領域画像処理部
３６２、３６６  輝度信号変換部
３６３  エッジ強調部
３６４、３７４  ２次元ノイズリダクション部
３７０  車体領域画像処理部
３７２  輝度色差信号変換部
３７５  ３次元ノイズリダクション部
３７８  加算器
３７９  除算器
３８０  飽和検出部
３９０  合成部
４００  画像信号出力部
５００  赤外光照射部
６００  制御部
【図１】
2016111072.tif 000003
【図２】
2016111072.tif 000004
【図３】
2016111072.tif 000005
【図４】
2016111072.tif 000006
【図５】
2016111072.tif 000007
【図６】
2016111072.tif 000008
【図７】
2016111072.tif 000009
【図８】
2016111072.tif 000010
【図９】
2016111072.tif 000011
【図１０】
2016111072.tif 000012
【図１１】
2016111072.tif 000013
【図１２】
2016111072.tif 000014
【図１３】
2016111072.tif 000015
【図１４】
2016111072.tif 000016
【図１５】
2016111072.tif 000017
【図１６】
2016111072.tif 000018
【図１７】
2016111072.tif 000019
【図１８】
2016111072.tif 000020
【図１９】
2016111072.tif 000021
【図２０】
2016111072.tif 000022
【国際調査報告】
2016111072.tif 000023
2016111072.tif 000024
2016111072.tif 000025
2016111072.tif 000026