(57)【要約】【課題】夜間撮影時などに人物画像を抽出した場合、人物画像のみを不鮮明化することでプライバシーを保護することができる撮像装置を提供する。【解決手段】演算部４４は、画素値毎に赤外成分割合αとクロマＣｈとを判定し、赤外成分割合αが１９０以上２５５以下であり、且つクロマが３０以上１５０以下である場合には、人物画像の一部であると判断して、不鮮明化処理を行う。これによりプライバシーが保護される。【選択図】図８
2012015834.tif 000002
【特許請求の範囲】
【請求項１】
分光感度の異なる少なくとも３種類の画素が配列され、そのうち少なくとも１種類の画素は赤外領域に感度を持ち、被写体から入射した赤外光及び可視光に基づいて、少なくとも３種類の原画像成分を含む原画像データに変換する撮像素子と、
前記原画像データに基づいて、撮像により得られた被写体画像から人物画像を抽出する抽出手段と、
前記抽出手段により抽出された人物画像の少なくとも一部に対応する原画像データを不鮮明化処理する処理手段と、を有することを特徴とする撮像装置。
【請求項２】
前記抽出手段は、前記原画像成分に基づき、前記撮像素子が受光した全体の光に対する赤外成分の割合又は差分を算出する算出手段と、前記原画像データを輝度信号と色差信号とを含む色空間に変換する色空間変換部と、前記割合又は差分と、前記色空間に対応した色情報とから、人物画像を抽出する抽出部とを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記色情報とは、クロマ、明度の少なくとも１つであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記処理手段は、前記不鮮明化処理として、前記抽出手段により抽出された人物画像の少なくとも一部に対応する原画像データを、平滑化処理することを特徴とする請求項１〜４のいずれかに記載の撮像装置。
【請求項５】
前記処理手段は、前記不鮮明化処理として、前記抽出手段により抽出された人物画像の少なくとも一部をノイズ成分と置換するよう、原画像データの処理を行うことを特徴とする請求項１〜４のいずれかに記載の撮像装置。
【請求項６】
前記処理手段は、前記不鮮明化処理として、前記抽出手段により抽出された人物画像の少なくとも一部をモザイク画像と置換するよう、原画像データの処理を行うことを特徴とする請求項１〜４のいずれかに記載の撮像装置。
【請求項７】
前記処理手段は、前記不鮮明化処理として、前記抽出手段により抽出された人物画像の少なくとも一部を一色にべた塗りするよう、原画像データの処理を行うことを特徴とする請求項１〜４のいずれかに記載の撮像装置。
【請求項８】
前記処理手段は、前記不鮮明化処理として、前記抽出手段により抽出された人物画像の少なくとも一部を輪郭のみ出力するよう、原画像データの処理を行うことを特徴とする請求項１〜４のいずれかに記載の撮像装置。
【請求項９】
前記処理手段は、前記抽出手段により抽出された人物画像以外の画像をエッジ強調するよう、原画像データの処理を行うことを特徴とする請求項１〜８のいずれかに記載の撮像装置。
【請求項１０】
前記処理手段は、前記抽出手段により人物画像として抽出された被写体が、撮像画面の中央領域にある場合に、前記不鮮明化処理を行うことを特徴とする請求項１〜９のいずれかに記載の撮像装置。
【請求項１１】
被写体までの距離を測定する測距手段を有し、前記処理手段は、前記抽出手段により人物画像として抽出された被写体が所定距離以内にある場合に、前記不鮮明化処理を行うことを特徴とする請求項１〜１０のいずれかに記載の撮像装置。
【請求項１２】
前記撮像装置は車速を検出する検出手段を備えた車両に搭載されており、前記処理手段は、前記検出手段が検出した車速が所定速度以内である場合に、前記不鮮明化処理を行うことを特徴とする請求項１〜１１のいずれかに記載の撮像装置。
【請求項１３】
少なくとも前記処理手段により処理される前の画像データを、所定の情報と対応づけて記憶する記憶手段を有し、前記所定の情報が入力されたときに限り、処理される前の前記画像データを出力するようになっていることを特徴とする請求項１〜１２のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により撮像された原画像データを画像処理する撮像装置に関するものである。
【背景技術】
【０００２】
近年、車載カメラや監視カメラ等の分野において、夜間のシーンをカラーで撮像する撮像装置が知られている。例えば、特許文献１には、撮像素子の可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出し、算出パラメータを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去して高品質な可視光（ＲＧＢ）画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８８６２９号公報
【特許文献２】特開２００５−３５４４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１のような撮像装置を用いて夜間に人物を被写体として撮像すると、例え衣服を着用していた場合でも、地肌から衣服を透過して放射（反射を含む）される赤外線を検出してしまうので、衣服の内側の地肌の形状を鮮明にとらえてしまうこととなる。従って、このような撮像装置を用いて歩行者などを撮像する場合、被撮像者のプライバシーを保護する必要がある。これに対し特許文献２には、可視域の光線を透過させないシャープカットフィルタを装着して撮像を行う場合には、撮像信号の出力を禁止する撮像装置が開示されている。しかしながら、車載カメラや監視カメラ等で、そのような禁止処理を行うと、交通信号や道路標識等の必要な情報まで失われてしまい、本来の目的を実現できないという問題がある。
【０００５】
本発明の目的は、夜間撮影時などに人物画像を抽出した場合、人物画像のみを不鮮明化することでプライバシーを保護することができる撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、
分光感度の異なる少なくとも３種類の画素が配列され、そのうち少なくとも１種類の画素は赤外領域に感度を持ち、被写体から入射した赤外光及び可視光に基づいて、少なくとも３種類の原画像成分を含む原画像データに変換する撮像素子と、
前記原画像データに基づいて、撮像により得られた被写体画像から人物画像を抽出する抽出手段と、
前記抽出手段により抽出された人物画像の少なくとも一部に対応する原画像データを不鮮明化処理する処理手段と、を有することを特徴とする。
【０００７】
例えば夜間撮像時などにおいて、被写体から入射した赤外光及び可視光に基づいて原画像データが得られたときは、前記処理手段が、前記抽出手段により抽出された人物画像の少なくとも一部に対応する原画像データを不鮮明化処理するので、被写体となった人物の赤外画像情報が失われることとなり、プライバシーの保護を図ることができる。「少なくとも一部」とは、例えば顔や手足などの意図的に露出している部分については、不鮮明化処理の適用を除外することもできることを意味する。尚、被写界の明るさを検出して夜間撮像と判断した場合にのみ、不鮮明化処理を行っても良い。日中撮像の場合、可視光が支配的になるので、人物の赤外画像成分が相対的に減少するからである。
【０００８】
本発明の別な態様によれば、前記抽出手段は、前記原画像成分に基づき、前記撮像素子が受光した全体の光に対する赤外成分の割合又は差分を算出する算出手段と、前記原画像データを輝度信号と色差信号とを含む色空間に変換する色空間変換部と、前記割合又は差分と、前記色空間に対応した色情報とから、人物画像を抽出する抽出部とを有することを特徴とする。
【０００９】
図１は、被写体として人物（ａ）、白熱電球式の交通信号灯又は車のテールランプ（ｂ）、道路（ｃ）を撮像した際における被写体光の赤外成分の割合とクロマとの関係を表すヒストグラムを示した図である。図１において、赤外成分の割合とクロマとの関係を度数で表し、度数が強いと１に近づき、弱いと０に近づくものとし、５段階に分けて領域Ａ〜Ｅでそれぞれ示している。
【００１０】
図１（ａ）に示すように、被写体としての人物はクロマが低く、且つ赤外光を放射するため赤外成分の割合が多くなり、図１（ｂ）に示すように、被写体としての交通信号灯等はクロマも赤外成分の割合もともに高くなり、図１（ｃ）に示すように、被写体としての道路はクロマも赤外成分の割合もともに低いという特性がある。かかる結果を考察するに、単純に赤外成分が多い被写体を強調してしまうと、交通信号灯又は車のテールランプが白飛びしてしまうことがわかる。一方、クロマが低い被写体を強調してしまうと、道路は強調されるが、人物を強調することができないということがわかる。
【００１１】
つまり前記抽出部が、前記赤外成分の割合（又は差分）と、前記色空間に対応した色情報とから、人物画像を抽出することで、上述した不鮮明化処理を行うことができる。尚、人物抽出は、これに限らず、例えば被写体の形状から人物と認識して抽出を行っても良い。
【００１２】
本発明の別な態様によれば、前記色情報とは、クロマ、明度の少なくとも１つであると好ましい。尚、ＣＩＥ１９７６Ｌ*ａ*ｂ*均等色空間において、クロマは、ｓｑｒｔ｛（ａ*）2＋（ｂ*）2｝で与えられ、彩度を表し、Ｌ*は、明度に対応する。そして、色相平面上における色相角Ｈｕｅは、ａｒｃｔａｎ（ｂ*／ａ*）で与えられる。
【００１３】
本発明の別な態様によれば、前記処理手段は、前記不鮮明化処理として、前記抽出手段により抽出された人物画像の少なくとも一部を、平滑化処理することを特徴とする。人物画像の少なくとも一部を平滑化処理することで、処理された画像データに基づき画像を表示した際に、被写体としての人物の衣服内部が表示されることが抑制される。「平滑化処理」とは、画像データにおける注目画素に対し、ある大きさのフィルタ（平滑化フィルタ）をかけて、周辺画素の平均値を取る処理をいい、例えば特開2007-048104号公報に記載されている。
【００１４】
本発明の別な態様によれば、前記処理手段は、前記不鮮明化処理として、前記抽出手段により抽出された人物画像の少なくとも一部をノイズ成分と置換するよう、原画像データの処理を行うことを特徴とする。人物画像の少なくとも一部をノイズ成分と置換することで、処理された画像データに基づき画像を表示した際に、被写体としての人物の衣服内部が表示されることが抑制される。ノイズ成分と置換する処理は、ノイズ成分を付加する処理を含み、例えば特開2005-196270号公報に記載されている。
【００１５】
本発明の別な態様によれば、前記処理手段は、前記不鮮明化処理として、前記抽出手段により抽出された人物画像の少なくとも一部をモザイク画像と置換するよう、原画像データの処理を行うことを特徴とする。人物画像の少なくとも一部をモザイク画像と置換することで、処理された画像データに基づき画像を表示した際に、被写体としての人物の衣服内部が表示されることが抑制される。
【００１６】
本発明の別な態様によれば、前記処理手段は、前記不鮮明化処理として、前記抽出手段により抽出された人物画像の少なくとも一部を一色にべた塗りするよう、原画像データの処理を行うことを特徴とする。人物画像の少なくとも一部をべた塗りすることで、処理された画像データに基づき画像を表示した際に、被写体としての人物の衣服内部が表示されることが抑制される。尚、「べた塗り」とは、赤、黄色など１種類の色で画像を塗りつぶすことをいう。
【００１７】
本発明の別な態様によれば、前記処理手段は、前記不鮮明化処理として、前記抽出手段により抽出された人物画像の少なくとも一部を輪郭のみ出力するよう、原画像データの処理を行うことを特徴とする。人物画像の少なくとも一部を輪郭のみ出力することで、処理された画像データに基づき画像を表示した際に、被写体としての人物の衣服内部が表示されることが抑制される。尚、輪郭の内側は、べた塗りされることが好ましい。
【００１８】
本発明の別な態様によれば、前記処理手段は、前記抽出手段により抽出された人物画像以外の画像をエッジ強調するよう、原画像データの処理を行うことを特徴とする。これにより、人物以外の画像（交通信号や交通標識等）については、鮮明化されることで必要な情報を得ることができる。
【００１９】
本発明の別な態様によれば、前記処理手段は、前記抽出手段により人物画像として抽出された被写体が、撮像画面の中央領域にある場合に、前記不鮮明化処理を行うことを特徴とする。被写体に対して赤外光を照射して撮像を行うような場合、撮像画面の中央領域には赤外光が集中するが、その周辺領域では、赤外光が届きにくく、更に撮像光学系の収差等も加わって被写体画像が不鮮明となることが多い。よって撮像画面の中央領域の人物画像のみ前記処理を行うことで、余計な画像処理を行わないで済む。尚、撮像画面の中央領域とは、画面の縦横寸法に対し、例えば１／２の縦横寸法であると好ましいが、それに限られない。
【００２０】
本発明の別な態様によれば、被写体までの距離を測定する測距手段を有し、前記処理手段は、前記抽出手段により人物画像として抽出された被写体が所定距離以内にある場合に、前記不鮮明化処理を行うことを特徴とする。被写体としての人物までの距離が増大するにつれ撮像画面に対する人物画像が小さくなるから、これを拡大しても不鮮明となるためであり、これにより余計な画像処理を行わないで済む。尚、所定距離とは、例えば３０ｍであると好ましいが、それに限られない。
【００２１】
本発明の別な態様によれば、前記撮像装置は車速を検出する検出手段を備えた車両に搭載されており、前記処理手段は、前記検出手段が検出した車速が所定速度以内である場合に、前記不鮮明化処理を行うことを特徴とする。車両の速度が高まるにつれ被写体画像が不鮮明となるためであり、これにより余計な画像処理を行わないで済む。尚、所定速度とは、例えば６０ｋｍ／ｈであると好ましいが、それに限られない。
【００２２】
本発明の別な態様によれば、少なくとも前記処理手段により処理される前の画像データを、所定の情報と対応づけて記憶する記憶手段を有し、前記所定の情報が入力されたときに限り、処理される前の前記画像データを出力するようになっていることを特徴とする。例えば監視カメラ等の場合、夜間に街中を撮影した際には、人物画像を不鮮明にした被写体画像を表示することでプライバシーを保護するが、犯罪等の証拠として、前記処理手段により処理される前の画像データが必要となる場合もある。そこで、予め前記所定の情報を警察等の公的機関にのみ通知しておき、必要に応じて、前記記憶手段に記憶された、前記処理手段により処理される前の原画像データを、前記所定の情報の入力に応じて出力することによって、犯罪等の抑止や早期解決に役立つことが期待される。
【発明の効果】
【００２３】
本発明によれば、夜間撮影時などに人物画像を抽出した場合、人物画像のみを不鮮明化することでプライバシーを保護することができる撮像装置を提供することができる。
【図面の簡単な説明】
【００２４】
【図１】被写体として人物（ａ）、白熱電球式の交通信号灯又は車のテールランプ（ｂ）、道路（ｃ）を撮像した際における被写体光の赤外成分の割合とクロマとの関係を表すヒストグラムを示した図である。
【図２】実施の形態１にかかる撮像装置１のブロック図を示す図である。
【図３】撮像素子３の画素の配列を示す図である。
【図４】Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。
【図５】画像処理部４の詳細な構成を示すブロック図である。
【図６】実施の形態１にかかる撮像装置１の動作を示すフローチャートである。
【図７】車載カメラで撮像した被写体の例を示す図である。
【図８】夜間撮像により得られた生（エッジ強調しない）画像データに基づく可視画像を示す図である。
【図９】同じ画像データに強めのエッジ強調を施してなる可視画像を示す図である。
【図１０】同じ画像データに弱めのエッジ強調を施してなる可視画像を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態にかかる撮像装置１について説明する。図２は、実施の形態１にかかる撮像装置１のブロック図である。図２に示すように撮像装置１は、レンズ２、撮像素子３、画像処理部４、制御部５、入力インターフェース６ａを備えた記憶部６を備え、モニタ７に対して画像データを出力可能となっている。ここで、撮像装置１は、例えば車両に搭載され、車両の周囲の被写体を撮像する用途に用いられるが、監視カメラに搭載されても良い。
【００２６】
レンズ２は、被写体の光像を取り込み、撮像素子３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される、例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部５の制御の下、絞り及びシャッタの駆動が制御される。
【００２７】
撮像素子３は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子３を駆動する駆動回路とを含み、光量に応じたレベルを有する原画像データを生成する。ここで、撮像素子３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。
【００２８】
本実施の形態において、撮像素子３は、被写体の光像を入射して、カラーフィルタを備える画素により可視カラー画像成分を変換出力し、赤外フィルタを備える画素により赤外画像成分を変換出力し、フィルタを備えない画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を変換出力するようになっている。
【００２９】
画像処理部４は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像素子３から出力された原画像データをＡ／Ｄ変換してデジタル信号に変換し、後述する画像処理を実行した後、記憶部６（又はモニタ７に直接）出力する。
【００３０】
記憶部６は、後述する画像処理前の画像データと、画像処理後の画像データを記憶する。入力インターフェース６ａを介してパスワード（所定の情報）が入力されない場合、記憶部６から出力されるのは、画像処理後の画像データに限られる。一方、入力インターフェース６ａを介してパスワード（所定の情報）が入力された場合、記憶部６は、画像処理前の画像データを出力するようになっている。尚、かかるパスワードは、警察等の公的機関等により厳重に管理され、一般人に知られることはない。
【００３１】
制御部５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、撮像装置１の全体制御を司る。又、赤外光投射部８が設けられており、例えば夜間撮影時には、駆動回路９からの駆動制御に応じて、赤外光を被写体に向けて投射するようになっている。
【００３２】
図３は、撮像素子３の画素の配列を示す図である。図３に示すように撮像素子３には、可視波長領域と赤外波長領域とを有感度波長帯域とするＹｅ画素（第１の画素）、Ｒ画素（第２の画素）、ＩＲ画素（第３の画素）、及びＷ画素（第４の画素）とを含む単位画素部３１がマトリックス状に配列されている。尚、例えば「Ｙｅ」画素とは、「Ｙｅ」フィルタを有する画素の意味であり、以下同様とする。
【００３３】
図３の場合、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第１列にＩＲ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にＹｅ画素が配列されるというように、Ｒ画素、ＩＲ画素、Ｗ画素，及びＹｅ画素は干鳥状に配列されている。但し、これは一例であり、他のパターンでＲ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素を千鳥状に配列してもよい。
【００３４】
Ｙｅ画素はＹｅフィルタ（第１のカラーフィルタ）を備えているため、Ｙｅの可視カラー画像成分である画像成分Ｙｅ（原画像成分）および赤外画像成分を出力する。Ｒ画素はＲフィルタ（第２のカラーフィルタ）を備えているため、Ｒの可視カラー画像成分である画像成分Ｒ（原画像成分）および赤外画像成分を出力する。ＩＲ画素はＩＲフィルタ（赤外フィルタ）を備えているため、赤外画像成分である画像成分ＩＲ（原画像成分）を出力する。Ｗ画素はフィルタを備えていないため、可視輝度画像成分と画像成分ＩＲとを含む輝度画像成分である画像成分Ｗ（原画像成分）を出力する。
【００３５】
図４は、Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図４では、４００ｎｍ〜７００ｎｍが可視波長領域とされ、７００ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。
【００３６】
図４に示すように、Ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、Ｙｅフィルタは主にイエローの光と赤外光とを透過する。
【００３７】
Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。
【００３８】
ＩＲフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。
【００３９】
他に似たような特性を実現するには、Ｙｅ、Ｒ、ＩＲの代わりにＹｅ、Ｍ（マゼンタ）＋ＩＲ、Ｃ（シアン）＋ＩＲ（但し、Ｍ＋ＩＲは、グリーンのみを遮蔽し、Ｃ＋ＩＲはレッドのみを遮蔽する。）でも実現可能である。ただし、Ｒ画素、ＩＲ画素、Ｙｅ画素は、分光透過特性を急峻にすることができ、例えば、Ｍ＋ＩＲフィルタやＣ＋ＩＲフィルタに比べて、分光透過特性が良好である。つまり、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、有感度波長帯域のうち、中央の一部の領域である緑色領域及び赤色領域のみを遮蔽する特性を有しており、このようなフィルタに、Ｒフィルタ、ＩＲフィルタ、Ｙｅフィルタのような急峻な分光透過特性を持たせることは困難である。そのため、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、演算してもＲＧＢ画像成分を精度良く抽出することができない。よって、Ｒ画素、ＩＲ画素、Ｙｅ画素、Ｗ画素で撮像素子３を構成することで、撮像素子３の高性能化を図ることができる。
【００４０】
図５は、画像処理部４の詳細な構成を示すブロック図である。画像処理部４は、色補間部４１、色信号生成部４２、色空間変換部４３、演算部４４，及び合成部４５を備えている。図６は、画像処理部４の処理を示すフローチャートである。
【００４１】
色補間部４１は、図６のステップＳ１０１で撮像素子３から出力された画像成分Ｙｅ、画像成分Ｒ、画像成分ＩＲ、及び画像成分Ｗのそれぞれに、欠落画素データを補間するための補間処理を施し、画像成分Ｒ、画像成分ＩＲ、画像成分Ｗ、及び画像成分Ｙｅのそれぞれを撮像素子３の画素数と同一画素数からなる画像データにする。なお、画像成分Ｙｅ、Ｒ、Ｒ、Ｗに欠落画素データが発生するのは、Ｒ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素が千鳥状に配列されているためである。また。補間処理としては、例えば線形補間処理を採用すればよい。
【００４２】
色信号生成部４２は、ステップＳ１０２で、色補間部４１により補間処理が施された画像成分Ｙｅと、画像成分Ｒと、画像成分ＩＲと、画像成分Ｗとを下記式（１）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒ−ＩＲ
ｄＧ＝Ｙｅ−Ｒ      （１）
ｄＢ＝Ｗ−Ｙｅ
【００４３】
色空間変換部４３は、ステップＳ１０３で、式（２）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ（第１の輝度信号の一例）と色差信号Ｃｂ、Ｃｒ（色差信号の一例）とを含む色空間に変換する、ここで、色差信号Ｃｂは青の色差信号を示し、色差信号Ｃｒは赤の色差信号を示す。
Ｙ＝０．３・ｄＲ＋０．６・ｄＧ＋０．１・ｄＢ
Ｃｂ＝ｄＲ−Ｙ                                    （２）
Ｃｒ＝ｄＢ−Ｙ
【００４４】
また、色空間変換部４３は、ステップＳ１０４で、式（３）に示すように、画像成分Ｙｅ、Ｒ、ＩＲ、Ｗを加算することで得られる輝度信号Ｙａｄｄを、変換対象となる色空間の輝度信号として算出する。
Ｙａｄｄ＝（Ｒ＋ＩＲ＋Ｗ＋Ｙｅ）／４        （３）
【００４５】
ここで、輝度信号Ｙａｄｄは、加算処理により算出されているため。減算処理により輝度信号Ｙを算出した場合に比べてノイズ成分を低くすることができる。
【００４６】
抽出手段（算出手段、色空間変換部、抽出部）及び処理手段である演算部４４は、全体の入射光量に対する赤外成分の割合αを計算する。割合α＝ＩＲ／Ｗで計算できるが、ＷとＩＲの差分（Ｗ−ＩＲ）／Ｗを利用しても良い。
【００４７】
次いで演算部４４は、ステップＳ１０５で、色差信号Ｃｒ、Ｃｂから、色情報としてのクロマ（Ｃｈ）、色相（Ｈｕｅ）を計算する。明度を計算しても良い。尚、クロマ、色相、明度の計算方法は、例えば特開２００７−３１２３１３号公報に記載されているので、ここでは説明しない。
【００４８】
次に、演算部４４は、ステップＳ１０６で、求めた赤外成分割合αとクロマＣｈとから、被写体における人物画像を抽出する。図１（ａ）を参照して、赤外成分割合αとクロマＣｈとを８ｂｉｔの信号で表すと、人物画像の一部である場合、赤外成分割合αとクロマＣｈとが所定の相関関係を示していることがわかる。そこで演算部４４は、画素値毎に赤外成分割合αとクロマＣｈとを判定し、赤外成分割合αが１９０以上２５５以下であり、且つクロマが３０以上１５０以下である場合には、人物画像の一部であると判断して、ステップＳ１０７で、それに対応する領域の色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）に対して不鮮明化処理を行って、色信号ｄＲ’、ｄＧ’、ｄＢ’に変換するのである。不鮮明化処理とは、人物画像の一部と判断された画素値に対して、平滑化処理、モザイク画像やノイズ成分との置換、べた塗り処理、輪郭のみ（中は真っ黒）出力する処理などがある。但し、赤外成分割合αとクロマＣｈの度数が大きいほど、不鮮明化処理のレベル（図１（ａ）の例では度数Ａ〜Ｄの４段階に合わせたレベル）を高めるようにしても良い。かかる人物画像にかかる画素値については、画素の座標と処理後の値とを対応づけて保存する。
【００４９】
尚、これと並行して、演算部４４は、求めた赤外成分割合αとクロマＣｈとから、同様な手法で、画素値ごとに被写体中の交通信号や道路の画像の一部か否かを判定し、判定された画素値についてはエッジ強調などの処理を行うこともできる。或いは、人物画像として抽出されなかった画素値については、全てエッジ強調するようにしても良い。
【００５０】
尚、演算部４４は、後述するように、例えば車両の速度が所定速度より遅い場合や、人物が所定距離より遠くにいる場合などにスムージング処理などの不鮮明化処理を施してもよい。ここで，スムージング処理としては、例えば、５×５等の比較的小サイズのローパスフィルタを用いて繰り返し処理してもよい。
【００５１】
合成部４５は、人物画像以外の画像と、上述のように不鮮明化処理された人物画像ＨＭ１，ＨＭ２とを合成する。その合成は、人物画像の一部であると判断された領域のオリジナル色信号を、不鮮明化処理された色信号ｄＲ’、ｄＧ’、ｄＢ’に置換することで行える。合成された画像データが、記憶部６に記憶され、また図７（ａ）に示すように、モニタ７を介して可視画像として表示される。但し、入力インターフェース６ａを介して所定のパスワードが入力された場合に限り、不鮮明化処理前のオリジナル画像データが記憶部６から出力されるようになっており、かかる場合には、人物画像以外の画像と、不鮮明化処理されない人物画像ＨＭ１，ＨＭ２とを含む可視画像が、図７（ｂ）に示すようにモニタ７を介して表示される。
【００５２】
本実施の形態の変形例としては、別個に、被写体までの距離を測定する測距装置（不図示）を設け、かかる測距装置からの信号により、人物画像に対応する被写体までの距離が所定距離以内である場合に限り、人物画像に不鮮明化処理を行うこともできる。尚、所定距離を何段階かに分けて、例えば近い被写体には緻密な不鮮明化処理を行い、被写体距離が遠くなるに従いおおざっぱな不鮮明化処理を行うこともできる。これにより処理の効果を確保しつつ処理時間の短縮化を図れる。
【００５３】
又、別な変形例としては、別個に、車両の速度を測定する車速検出装置（不図示）を設け、かかる車速検出装置からの信号により、車速が所定速度以内である場合に限り、人物画像に不鮮明化処理を行うこともできる。尚、車速を何段階かに分けて、例えば車速が低い場合には緻密な不鮮明化処理を行い、車速が高まるに連れておおざっぱな不鮮明化処理を行うこともできる。これにより処理の効果を確保しつつ処理時間の短縮化を図れる。
【００５４】
又、別な変形例としては、撮像画面上の中央領域（図７（ａ）の点線で囲われた領域内）の人物画像のみに、不鮮明化処理を行うこともできる。撮像画面上の中央領域以外の周辺領域では、赤外光投射部８から投射された赤外光が届きにくい為、中央領域内の人物画像のみ不鮮明化処理を行えば足りるからである。これにより処理の効果を確保しつつ処理時間の短縮化を図れる。
【００５５】
図８に、夜間撮像により得られた生（エッジ強調しない）画像データに基づく可視画像を示し、図９に、同じ画像データに強めのエッジ強調を施してなる可視画像を示し、図１０に、同じ画像データに弱めのエッジ強調を施してなる可視画像を示す。
【産業上の利用可能性】
【００５６】
本発明は、車載カメラや監視カメラ等に適用可能であるが、用途はそれに限られない。
【符号の説明】
【００５７】
１画像処理装置
２レンズ
３撮像素子
４画像処理部
５制御部
６記憶部
７モニタ
８赤外光投射部
９駆動回路
４１色補間部
４２色信号生成部
４３色空間変換部
４４演算部
４５ＲＧＢ信号生成部
【図２】
2012015834.tif 000003
【図３】
2012015834.tif 000004
【図４】
2012015834.tif 000005
【図５】
2012015834.tif 000006
【図６】
2012015834.tif 000007
【図１】
2012015834.tif 000008
【図７】
2012015834.tif 000009
【図８】
2012015834.tif 000010
【図９】
2012015834.tif 000011
【図１０】
2012015834.tif 000012