(57)【要約】【課題】低コストでありながら、特定の被写体を検出して強調する画像処理を行うことができる画像処理装置を提供する。【解決手段】演算部４４が、赤外成分割合αとクロマＣｈとから、調整量ＩＲＡＤ、ＣｈＡＤを決定し、決定された調整量ＩＲＡＤ、ＣｈＡＤに基づいて、輝度やクロマを調整するので、処理に必要なコストをかけることなく、例えば人物、交通信号灯又は車のテールランプ、道路を検出して区別することができるのである。【選択図】図１
2012008845.tif 000002
【特許請求の範囲】
【請求項１】
分光感度の異なる少なくとも３種類の画素が配列され、そのうち少なくとも１種類の画素は赤外領域に感度を持ち、被写体からの光を入射して、少なくとも３種類の原画像成分を含む原画像データに変換する撮像素子と、
前記原画像成分に基づき、前記撮像素子が受光した全体の光に対する赤外成分の割合又は差分を算出する算出手段と、
前記原画像データを輝度信号と色差信号とを含む色空間に変換する色空間変換部と、
前記割合又は差分と、前記色空間に対応した色情報とから、調整量を決定する調整量決定手段と、
決定された前記調整量に基づいて、前記色空間を調整する調整手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記色情報とは、色相、クロマ、明度の少なくとも１つであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整量決定手段は、前記割合又は差分において第１の閾値より赤外成分が高く、且つ前記色情報におけるクロマ又は明度が第２の閾値より低い場合、それ以外の場合と比較して、前記調整量を増大することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記調整量決定手段は、前記割合又は差分において第３の閾値より赤外成分が高く、且つ前記色情報における色相が所定範囲である場合、それ以外の場合と比較して、前記調整量を減少することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記調整量決定手段は、前記割合又は差分において第４の閾値より赤外成分が高く、且つ前記色情報におけるクロマが第５の閾値より高い場合、それ以外の場合と比較して、前記調整量を増大することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記調整量決定手段は、前記割合又は差分において第６の閾値より赤外成分が低く、且つ前記色情報におけるクロマが第７の閾値より低い場合、それ以外の場合と比較して、前記調整量を減少することを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記調整手段は、決定された前記調整量に基づいて前記色情報を調整し、調整された前記色情報に基づいて前記色空間を調整することを特徴とする請求項１〜６のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により撮像された原画像データを画像処理する画像処理装置に関するものである。
【背景技術】
【０００２】
近年、夜間のシーンをカラーで撮像する撮像装置が知られている。例えば、特許文献１には、撮像素子の可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出し、算出パラメータを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去して高品質な可視光（ＲＧＢ）画像を生成する技術が開示されている。又、特許文献２には、撮像した被写体から人物を抽出する技術が開示されている。更に、特許文献３には、検出した人物を画面上で強調する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８８６２９号公報
【特許文献２】特開２００９−６４１００号公報
【特許文献３】特開２００１−７６２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に開示された撮像装置において、特許文献２に開示された技術で人物を検出し、特許文献３に開示された技術で、検出された人物を強調することは技術的には可能である。しかしながら、特許文献２に開示された技術で人物を検出することは、時間がかかり計算コストの増大を招く。また、計算量が多いため、ソフトウェアでのリアルタイム処理が困難で、ＡＳＩＣ化などハードウェアの整備が必要だが、それにより撮像装置のコストの増大を招く。加えて、特許文献３に開示された技術は、人物を強調する結果、人物と、その人物に隣接する被写体との階調のつながりが悪く、例えば人物が道路に立っている場合など、画像を視認した者が違和感を覚える恐れがある。
【０００５】
一方、人体は赤外線を放射しているので、単純に赤外成分の高い被写体の画素値を増大させることで、人物を検出して強調することもできる。画素値を増大する処理は、特許文献２、３の技術に比べれば、より低コストで迅速に行えるが、人物以外の領域を区別できないため、強調が不要な被写体を強調してしまう恐れがある。具体的には、赤外成分を反射／放射する被写体としては人物に限られず、例えば交通信号などは放射光の中に赤外成分を含んでいるから、人物を強調すべく上述の処理を行うと、交通信号まで強調されて白く飛んでしまい、交通信号の情報として重要な色が不明となるという問題がある。よって、人物以外の不要な被写体を強調せず、人物のみを低コストで強調することが一つの課題となっている。又、人物と同様に、交通信号の色をはっきりさせたい、道路をよりグレーにしたいといった別な課題もあり、被写体画像を選択的に調整する技術が求められている。
【０００６】
本発明の目的は、低コストでありながら、特定の被写体を検出して強調する画像処理を行うことができる画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
請求項１に記載の画像処理装置は、
分光感度の異なる少なくとも３種類の画素が配列され、そのうち少なくとも１種類の画素は赤外領域に感度を持ち、被写体からの光を入射して、少なくとも３種類の原画像成分を含む原画像データに変換する撮像素子と、
前記原画像成分に基づき、前記撮像素子が受光した全体の光に対する赤外成分の割合又は差分を算出する算出手段と、
前記原画像データを輝度信号と色差信号とを含む色空間に変換する色空間変換部と、
前記割合又は差分と、前記色空間に対応した色情報とから、調整量を決定する調整量決定手段と、
決定された前記調整量に基づいて、前記色空間を調整する調整手段と、を有することを特徴とする。
【０００８】
図１を参照して、例えば車載カメラの夜間撮像時において、自発光の被写体である交通信号灯ＳＬ、街灯ＴＬ、車両ＶＨのテールランプＴＰ等の他、自発光でない被写体である歩行者ＨＭや自転車、路面ＲＤなどが混在している。ここで、被写体として強調したいものは、交通信号灯ＳＬ、車両ＶＨのテールランプＴＰ、歩行者ＨＭ、路面ＲＤである。しかるに、単純な画像処理で、これらのみを識別することは困難である。本発明者は、鋭意研究の結果、被写体の赤外成分とクロマとから、これらを識別できることを見出した。
【０００９】
図２は、被写体として人物（ａ）、白熱電球式の交通信号灯又は車のテールランプ（ｂ）、道路（ｃ）を撮像した際における被写体光の赤外成分の割合とクロマとの関係を表すヒストグラムを示した図である。図２において、赤外成分の割合とクロマとの関係を度数で表し、度数が強いと１に近づき、弱いと０に近づくものとし、５段階に分けて領域Ａ〜Ｅでそれぞれ示している。尚、図２に示すヒストグラムの求め方としては、あらかじめパラメータ調整用に撮影した画像から、道路・信号・人物部分を抽出し、例えば道路の範囲をXY座標で指定し、次いで指定した範囲を処理にかけ、クロマと赤外割合を出し、その関連度から度数を求めて、最後に描画ソフトで3Dグラフを描けばよい。但し、以上に限られることはない。
【００１０】
図２（ａ）に示すように、被写体としての人物はクロマが低く、且つ赤外光を放射するため赤外成分の割合が多くなり、図２（ｂ）に示すように、被写体としての交通信号灯等はクロマも赤外成分の割合もともに高くなり、図２（ｃ）に示すように、被写体としての道路はクロマも赤外成分の割合もともに低いという特性がある。かかる結果を考察するに、単純に赤外成分が多い被写体を強調してしまうと、交通信号灯又は車のテールランプが白飛びしてしまうことがわかる。一方、クロマが低い被写体を強調してしまうと、道路は強調されるが、人物を強調することができないということがわかる。
【００１１】
そこで本発明においては、前記調整量決定手段が、前記割合又は差分と、前記色空間に対応した色情報とから、調整量を決定し、前記調整手段が、決定された前記調整量に基づいて、前記色空間を調整するので、処理に必要なコストをかけることなく、例えば人物、交通信号灯又は車のテールランプ、道路を検出して区別することができるのである。
【００１２】
本発明の別な態様によれば、前記色情報とは、色相、クロマ、明度の少なくとも１つであると好ましい。尚、ＣＩＥ１９７６Ｌ*ａ*ｂ*均等色空間において、クロマは、ｓｑｒｔ｛（ａ*）2＋（ｂ*）2｝で与えられ、彩度を表し、Ｌ*は、明度に対応する。そして、色相平面上における色相角Ｈｕｅは、ａｒｃｔａｎ（ｂ*／ａ*）で与えられる。
【００１３】
本発明の別な態様によれば、前記調整量決定手段は、前記割合又は差分において第１の閾値より赤外成分が高く、且つ前記色情報におけるクロマ又は明度が第２の閾値より低い場合、それ以外の場合と比較して、前記調整量を増大すると好ましい。これにより、撮像素子からの原画像データより、被写体としての人物を識別して強調できる。
【００１４】
本発明の別な態様によれば、前記調整量決定手段は、前記割合又は差分において第３の閾値より赤外成分が高く、且つ前記色情報における色相が所定範囲である場合、それ以外の場合と比較して、前記調整量を減少すると好ましい。これにより、撮像素子からの原画像データより、被写体としての交通信号灯や車両のテールランプを識別して、その白飛びを抑制できる。
【００１５】
本発明の別な態様によれば、前記調整量決定手段は、前記割合又は差分において第４の閾値より赤外成分が高く、且つ前記色情報におけるクロマが第５の閾値より高い場合、それ以外の場合と比較して、前記調整量を増大すると好ましい。これにより、撮像素子からの原画像データより、被写体としての交通信号灯や車両のテールランプを識別して、より鮮明に表示できる。
【００１６】
本発明の別な態様によれば、前記調整量決定手段は、前記割合又は差分において第６の閾値より赤外成分が低く、且つ前記色情報におけるクロマが第７の閾値より低い場合、それ以外の場合と比較して、前記調整量を減少すると好ましい。これにより、撮像素子からの原画像データより、被写体としての道路を識別してグレー色にするなどして、他の被写体と区別して表示できる。
【００１７】
本発明の別な態様によれば、前記調整手段は、決定された前記調整量に基づいて前記色情報を調整し、調整された前記色情報に基づいて前記色空間を調整すると好ましい。
【発明の効果】
【００１８】
本発明によれば、低コストでありながら、特定の被写体を検出して強調する画像処理を行うことができる画像処理装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】車載カメラで撮像した被写体の例を示す図である。
【図２】被写体として人物（ａ）、白熱電球式の交通信号灯又は車のテールランプ（ｂ）、道路（ｃ）を撮像した際における被写体光の赤外成分の割合とクロマとの関係を表すヒストグラムを示した図である。
【図３】実施の形態１にかかる画像処理装置１のブロック図を示す図である。
【図４】撮像素子３の画素の配列を示す図である。
【図５】Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。
【図６】画像処理部４の詳細な構成を示すブロック図である。
【図７】実施の形態１にかかる画像処理装置１の動作を示すフローチャートである。
【図８】赤外成分の割合αと調整量ＩＲＡＤとの関係を示すグラフである。
【図９】赤外成分の割合αとクロマＣｈとクロマ調整量ＣｈＡＤとの関係を示すグラフである。
【図１０】色相と調整量との関係を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態にかかる画像処理装置１について説明する。図３は、実施の形態１にかかる画像処理装置１のブロック図である。図３に示すように画像処理装置１は、レンズ２、撮像素子３、画像処理部４、及び制御部５を備えている。ここで、画像処理装置１は、例えば車両に搭載され、車両の周囲の被写体を撮像する用途に用いられる。
【００２１】
レンズ２は、被写体の光像を取り込み、撮像素子３へ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸Ｌに沿って直列的に配置される、例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ２は、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部５の制御の下、絞り及びシャッタの駆動が制御される。
【００２２】
撮像素子３は、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子３を駆動する駆動回路とを含み、光量に応じたレベルを有する原画像データを生成する。ここで、撮像素子３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。
【００２３】
本実施の形態において、撮像素子３は、被写体の光像を入射して、カラーフィルタを備える画素により可視カラー画像成分を変換出力し、赤外フィルタを備える画素により赤外画像成分を変換出力し、フィルタを備えない画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を変換出力するようになっている。
【００２４】
画像処理部４は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像素子３から出力された原画像データをＡ／Ｄ変換してデジタル信号に変換し、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する。
【００２５】
制御部５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、画像処理装置１の全体制御を司る。
【００２６】
図４は、撮像素子３の画素の配列を示す図である。図４に示すように撮像素子３には、可視波長領域と赤外波長領域とを有感度波長帯域とするＹｅ画素（第１の画素）、Ｒ画素（第２の画素）、ＩＲ画素（第３の画素）、及びＷ画素（第４の画素）とを含む単位画素部３１がマトリックス状に配列されている。尚、例えば「Ｙｅ」画素とは、「Ｙｅ」フィルタを有する画素の意味であり、以下同様とする。
【００２７】
図４の場合、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第１列にＩＲ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にＹｅ画素が配列されるというように、Ｒ画素、ＩＲ画素、Ｗ画素，及びＹｅ画素は干鳥状に配列されている。但し、これは一例であり、他のパターンでＲ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素を千鳥状に配列してもよい。
【００２８】
Ｙｅ画素はＹｅフィルタ（第１のカラーフィルタ）を備えているため、Ｙｅの可視カラー画像成分である画像成分Ｙｅ（原画像成分）および赤外画像成分を出力する。Ｒ画素はＲフィルタ（第２のカラーフィルタ）を備えているため、Ｒの可視カラー画像成分である画像成分Ｒ（原画像成分）および赤外画像成分を出力する。ＩＲ画素はＩＲフィルタ（赤外フィルタ）を備えているため、赤外画像成分である画像成分ＩＲ（原画像成分）を出力する。Ｗ画素はフィルタを備えていないため、可視輝度画像成分と画像成分ＩＲとを含む輝度画像成分である画像成分Ｗ（原画像成分）を出力する。
【００２９】
図５は、Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図５では、４００ｎｍ〜７００ｎｍが可視波長領域とされ、７００ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。
【００３０】
図５に示すように、Ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、Ｙｅフィルタは主にイエローの光と赤外光とを透過する。
【００３１】
Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。
【００３２】
ＩＲフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。
【００３３】
他に似たような特性を実現するには、Ｙｅ、Ｒ、ＩＲの代わりにＹｅ、Ｍ（マゼンタ）＋ＩＲ、Ｃ（シアン）＋ＩＲ（但し、Ｍ＋ＩＲは、グリーンのみを遮蔽し、Ｃ＋ＩＲはレッドのみを遮蔽する。）でも実現可能である。ただし、Ｒ画素、ＩＲ画素、Ｙｅ画素は、分光透過特性を急峻にすることができ、例えば、Ｍ＋ＩＲフィルタやＣ＋ＩＲフィルタに比べて、分光透過特性が良好である。つまり、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、有感度波長帯域のうち、中央の一部の領域である緑色領域及び赤色領域のみを遮蔽する特性を有しており、このようなフィルタに、Ｒフィルタ、ＩＲフィルタ、Ｙｅフィルタのような急峻な分光透過特性を持たせることは困難である。そのため、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、演算してもＲＧＢ画像成分を精度良く抽出することができない。よって、Ｒ画素、ＩＲ画素、Ｙｅ画素、Ｗ画素で撮像素子３を構成することで、撮像素子３の高性能化を図ることができる。
【００３４】
図６は、画像処理部４の詳細な構成を示すブロック図である。画像処理部４は、色補間部４１、色信号生成部４２、色空間変換部４３、演算部４４，及びＲＧＢ色信号生成部４５を備えている。図７は、画像処理部４の処理を示すフローチャートである。
【００３５】
色補間部４１は、図７のステップＳ１０１で撮像素子３から出力された画像成分Ｙｅ、画像成分Ｒ、画像成分ＩＲ、及び画像成分Ｗのそれぞれに、欠落画素データを補間するための補間処理を施し、画像成分Ｒ、画像成分ＩＲ、画像成分Ｗ、及び画像成分Ｙｅのそれぞれを撮像素子３の画素数と同一画素数からなる画像データにする。なお、画像成分Ｙｅ、Ｒ、Ｒ、Ｗに欠落画素データが発生するのは、Ｒ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素が千鳥状に配列されているためである。また。補間処理としては、例えば線形補間処理を採用すればよい。
【００３６】
色信号生成部４２は、ステップＳ１０２で、色補間部４１により補間処理が施された画像成分Ｙｅと、画像成分Ｒと、画像成分ＩＲと、画像成分Ｗとを下記式（１）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒ−ＩＲ
ｄＧ＝Ｙｅ−Ｒ      （１）
ｄＢ＝Ｗ−Ｙｅ
【００３７】
色空間変換部４３は、ステップＳ１０３で、式（２）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ（第１の輝度信号の一例）と色差信号Ｃｂ、Ｃｒ（色差信号の一例）とを含む色空間に変換する、ここで、色差信号Ｃｂは青の色差信号を示し、色差信号Ｃｒは赤の色差信号を示す。
Ｙ＝０．３・ｄＲ＋０．６・ｄＧ＋０．１・ｄＢ
Ｃｂ＝ｄＲ−Ｙ                                    （２）
Ｃｒ＝ｄＢ−Ｙ
【００３８】
また、色空間変換部４３は、ステップＳ１０４で、式（３）に示すように、画像成分Ｙｅ、Ｒ、ＩＲ、Ｗを加算することで得られる輝度信号Ｙａｄｄ（第２の輝度信号の一例）を、変換対象となる色空間の輝度信号として算出する。
Ｙａｄｄ＝（Ｒ＋ＩＲ＋Ｗ＋Ｙｅ）／４        （３）
【００３９】
ここで、輝度信号Ｙａｄｄは、加算処理により算出されているため。減算処理により輝度信号Ｙを算出した場合に比べてノイズ成分を低くすることができる。
【００４０】
算出手段、調整量決定手段及び調整手段を兼ねる演算部４４は、ステップＳ１０５で、全体の入射光量に対する赤外成分の割合αを計算する。割合α＝ＩＲ／Ｗで計算できるが、ＷとＩＲの差分（Ｗ−ＩＲ）／Ｗを利用しても良い。
【００４１】
次いで演算部４４は、色差信号Ｃｒ、Ｃｂから、色情報としてのクロマ（Ｃｈ）、色相（Ｈｕｅ）を計算する。明度を計算しても良い。尚、クロマ、色相、明度の計算方法は、例えば特開２００７−３１２３１３号公報に記載されているので、ここでは説明しない。
【００４２】
演算部４４は、以下の式に従い、赤外成分割合αとクロマＣｈとから、赤外成分の調整量ＩＲＡＤと、クロマの調整量ＣｈＡＤを演算する。
ＩＲＡＤ＝ＩＲ＿ａｄｊｕｓｔ＿ｍａｘ＊ｅｘｐ（−π＊（（α−α＿ｃｅｎｔｅｒ）／α＿ｓｉｇｍａ）2＋（（Ｃｈ−Ｃｈ＿ｃｅｎｔｅｒ）／Ｃｈ＿ｓｉｇｍａ）2）      （４）
ＣｈＡＤ＝Ｃｈ＿ａｄｊｕｓｔ＿ｍａｘ＊ｅｘｐ（−π＊（（α−α＿ｃｅｎｔｅｒ）／α＿ｓｉｇｍａ）2＋（（Ｃｈ−Ｃｈ＿ｃｅｎｔｅｒ）／Ｃｈ＿ｓｉｇｍａ）2）      （５）
但し、
ＩＲ＿ａｄｊｕｓｔ＿ｍａｘ：赤外成分の調整量ＩＲＡＤの最大値
Ｃｈ＿ａｄｊｕｓｔ＿ｍａｘ：クロマの調整量ＣｈＡＤの最大値
α＿ｃｅｎｔｅｒ：対象被写体のヒストグラム（図２参照）における赤外成分割合αの中心座標
Ｃｈ＿ｃｅｎｔｅｒ：対象被写体のヒストグラム（図２参照）におけるクロマＣｈの中心座標
α＿ｓｉｇｍａ：調整量を付与する赤外成分割合αの範囲
Ｃｈ＿ｓｉｇｍａ：調整量を付与するクロマＣｈの範囲
【００４３】
尚、赤外成分割合αの調整量ＩＲＡＤは、図８に示すように、赤外成分割合αが閾値Ｔｈ１以下及び閾値Ｔｈ２以上では一定で、その間を線形もしくは非線形に変化させるようにしても良い。
【００４４】
更に演算部４４は、ステップＳ１０７で、以下の式に従い輝度値を計算する。
Ｙ＿ａｄｄ＝Ｙａｄｄ＋ＩＲＡＤ      （６）
【００４５】
又、演算部４４は、輝度の変更に応じて、ステップＳ１０８、Ｓ１０９で、以下の式に従いＣｒ、Ｃｂのクロマを調整し、更にクロマの調整量ＣｈＡＤに応じて色差信号を調整する。尚、クロマの調整量ＣｈＡＤの一例を図９に示す。
Ｃｒ＿ａｄｄ＝（Ｙ＿ａｄｄ／Ｙ）＊Ｃｒ＊ＣｈＡＤ      （７）
Ｃｂ＿ａｄｄ＝（Ｙ＿ａｄｄ／Ｙ）＊Ｃｂ＊ＣｈＡＤ
【００４６】
その後、ＲＧＢ色信号生成部４５は、ステップＳ１１０で式（２）を逆変換することで、輝度信号Ｙ＿ａｄｄと、色差信号Ｃｒ＿ａｄｄ、Ｃｂ＿ａｄｄとから色信号ｄＲ’，ｄＧ’，ｄＢ’を算出する。以上で画像処理が完了する。
【００４７】
なお、色信号ｄＲ’、ｄＧ’、ｄＢ’は、上述の処理を経て算出されたものであるため、画像成分Ｙｅ，Ｒ、ＩＲ、Ｗを減算処理することで算出された色信号ｄＲ、ｄＧ，ｄＢに比べて遙かに精度の高い色信号となっている。
【００４８】
次に、具体例を示す。まず、被写体の人物を強調したい場合について説明する。図１（ａ）を参照して、赤外成分割合αとクロマＣｈとを８ｂｉｔの信号で表すと、人物を被写体とする場合、α＿ｃｅｎｔｅｒ＿ｊｉｎｂｕｔｕは比較的大きな値である２５５となり、α＿ｓｉｇｍａ＿ｊｉｎｂｕｔｕは１９０〜２５５となる。一方、Ｃｈ＿ｃｅｎｔｅｒ＿ｊｉｎｂｕｔｕは比較的小さな値である７０前後となり、Ｃｈ＿ｓｉｇｍａ＿ｊｉｎｂｕｔｕは、３０〜１５０となる。つまり演算部４４は、赤外成分割合αが１９０（第１の閾値）以上２５５（任意値）以下であり、且つクロマが３０（任意値）以上１５０（第２の閾値）以下である場合には、撮像した被写体が人物であると判断して、以下の式により調整量ＩＲＡＤ、ＣｈＡＤを求めることができる。これにより、人物以外の被写体に比べ調整量が増大するので、人物を強調することができる。
ＩＲＡＤ＝α＿ａｄｊｕｓｔ＿ｍａｘ＿ｊｉｎｂｕｔｕ＊ｅｘｐ（−π＊（（α−α＿ｃｅｎｔｅｒ＿ｊｉｎｂｕｔｕ）／α＿ｓｉｇｍａ＿ｊｉｎｂｕｔｕ）2）＋（（Ｃｈ−Ｃｈ＿ｃｅｎｔｅｒ＿ｊｉｎｂｕｔｕ）／Ｃｈ＿ｓｉｇｍａ＿ｊｉｎｂｕｔｕ）2）      （８）
ＣｈＡＤ＝Ｃｈ＿ａｄｊｕｓｔ＿ｍａｘ＿ｊｉｎｂｕｔｕ＊ｅｘｐ（−π＊（（α−α＿ｃｅｎｔｅｒ＿ｊｉｎｂｕｔｕ）／α＿ｓｉｇｍａ＿ｊｉｎｂｕｔｕ）2＋（（Ｃｈ−Ｃｈ＿ｃｅｎｔｅｒ＿ｊｉｎｂｕｔｕ）／Ｃｈ＿ｓｉｇｍａ＿ｊｉｎｂｕｔｕ）2）      （９）
但し、
ＩＲ＿ａｄｊｕｓｔ＿ｍａｘ＿ｊｉｎｂｕｔｕ：被写体を人物とする際の赤外成分の調整量ＩＲＡＤの最大値
Ｃｈ＿ａｄｊｕｓｔ＿ｍａｘ＿ｊｉｎｂｕｔｕ：被写体を人物とする際のクロマの調整量ＣｈＡＤの最大値
α＿ｃｅｎｔｅｒ＿ｊｉｎｂｕｔｕ：被写体を人物とする際のヒストグラム（図１（ａ）参照）における赤外成分割合αの中心座標
Ｃｈ＿ｃｅｎｔｅｒ＿ｊｉｎｂｕｔｕ：被写体を人物とする際のヒストグラム（図１（ａ）参照）におけるクロマＣｈの中心座標
α＿ｓｉｇｍａ＿ｊｉｎｂｕｔｕ：被写体を人物とする際の調整量を付与する赤外成分割合αの範囲
Ｃｈ＿ｓｉｇｍａ＿ｊｉｎｂｕｔｕ：被写体を人物とする際の調整量を付与するクロマＣｈの範囲
【００４９】
又、図１（ｂ）を参照して、交通信号灯や車両のテールランプを被写体とする場合、α＿ｃｅｎｔｅｒ＿ｓｈｉｎｇｏは比較的大きな値である２５５となり、α＿ｓｉｇｍａ＿ｓｈｉｎｇｏは１９２〜２５５となる。一方、Ｃｈ＿ｃｅｎｔｅｒ＿ｓｈｉｎｇｏも比較的大きな値である２５５となり、Ｃｈ＿ｓｉｇｍａ＿ｓｈｉｎｇｏは、１７５〜２５５となる。つまり演算部４４は、赤外成分割合αが１９２（第３の閾値又は第４の閾値）以上２５５（任意値）以下であり、且つクロマが１７５（第５の閾値）以上２５５（任意値）以下である場合には、撮像した被写体が交通信号灯や車両のテールランプであると判断して、以下の式により調整量ＩＲＡＤ、ＣｈＡＤを求めることができる。これにより、交通信号灯や車両のテールランプを被写体とする場合には、それ以外の被写体に比べ調整量を抑えることで、白飛びを抑えつつ鮮明化を図ることができる。
ＩＲＡＤ＝α＿ａｄｊｕｓｔ＿ｍａｘ＿ｓｈｉｎｇｏ＊ｅｘｐ（−π＊（（α−α＿ｃｅｎｔｅｒ＿ｓｈｉｎｇｏ）／α＿ｓｉｇｍａ＿ｓｈｉｎｇｏ）2）＋（（Ｃｈ−Ｃｈ＿ｃｅｎｔｅｒ＿ｓｈｉｎｇｏ）／Ｃｈ＿ｓｉｇｍａ＿ｓｈｉｎｇｏ）2）      （１０）
ＣｈＡＤ＝Ｃｈ＿ａｄｊｕｓｔ＿ｍａｘ＿ｓｈｉｎｇｏ＊ｅｘｐ（−π＊（（α−α＿ｃｅｎｔｅｒ＿ｓｈｉｎｇｏ）／α＿ｓｉｇｍａ＿ｓｈｉｎｇｏ）2＋（（Ｃｈ−Ｃｈ＿ｃｅｎｔｅｒ＿ｓｈｉｎｇｏ）／Ｃｈ＿ｓｉｇｍａ＿ｓｈｉｎｇｏ）2）      （１１）
但し、
ＩＲ＿ａｄｊｕｓｔ＿ｍａｘ＿ｓｈｉｎｇｏ：被写体を交通信号灯や車両のテールランプとする際の赤外成分の調整量ＩＲＡＤの最大値
Ｃｈ＿ａｄｊｕｓｔ＿ｍａｘ＿ｓｈｉｎｇｏ：被写体を交通信号灯や車両のテールランプとする際のクロマの調整量ＣｈＡＤの最大値
α＿ｃｅｎｔｅｒ＿ｓｈｉｎｇｏ：被写体を交通信号灯や車両のテールランプとする際のヒストグラム（図１（ｂ）参照）における赤外成分割合αの中心座標
Ｃｈ＿ｃｅｎｔｅｒ＿ｓｈｉｎｇｏ：被写体を交通信号灯や車両のテールランプとする際のヒストグラム（図１（ｂ）参照）におけるクロマＣｈの中心座標
α＿ｓｉｇｍａ＿ｓｈｉｎｇｏ：被写体を交通信号灯や車両のテールランプとする際の調整量を付与する赤外成分割合αの範囲
Ｃｈ＿ｓｉｇｍａ＿ｓｈｉｎｇｏ：被写体を交通信号灯や車両のテールランプとする際の調整量を付与するクロマＣｈの範囲
【００５０】
更に、図１（ｃ）を参照して、道路を被写体とする場合、α＿ｃｅｎｔｅｒ＿ｄｏｕｒｏは比較的小さな値である９６前後となり、α＿ｓｉｇｍａ＿ｄｏｕｒｏは３５〜１５５となる。一方、Ｃｈ＿ｃｅｎｔｅｒ＿ｄｏｕｒｏも比較的小さな値である６４前後となり、Ｃｈ＿ｓｉｇｍａ＿ｄｏｕｒｏは、３５〜１７５となる。つまり演算部４４は、赤外成分割合αが３５（任意値）以上１５５（第６の閾値）以下であり、且つクロマが３５（任意値）以上１７５（第７の閾値）以下である場合には、撮像した被写体が交通信号灯や車両のテールランプであると判断して、以下の式により調整量ＩＲＡＤ、ＣｈＡＤを求めることができる。これにより、道路を被写体とする場合、それ以外の被写体に比べ調整量を増大させることで、強調しながらもクロマを減少させて、グレー色として他の被写体と違和感なく区別することができる。
ＩＲＡＤ＝α＿ａｄｊｕｓｔ＿ｍａｘ＿ｄｏｕｒｏ＊ｅｘｐ（−π＊（（α−α＿ｃｅｎｔｅｒ＿ｄｏｕｒｏ）／α＿ｓｉｇｍａ＿ｄｏｕｒｏ）2）＋（（Ｃｈ−Ｃｈ＿ｃｅｎｔｅｒ＿ｄｏｕｒｏ）／Ｃｈ＿ｓｉｇｍａ＿ｄｏｕｒｏ）2）      （１２）
ＣｈＡＤ＝Ｃｈ＿ａｄｊｕｓｔ＿ｍａｘ＿ｄｏｕｒｏ＊ｅｘｐ（−π＊（（α−α＿ｃｅｎｔｅｒ＿ｄｏｕｒｏ）／α＿ｓｉｇｍａ＿ｄｏｕｒｏ）2＋（（Ｃｈ−Ｃｈ＿ｃｅｎｔｅｒ＿ｄｏｕｒｏ）／Ｃｈ＿ｓｉｇｍａ＿ｄｏｕｒｏ）2）      （１３）
但し、
ＩＲ＿ａｄｊｕｓｔ＿ｍａｘ＿ｄｏｕｒｏ：被写体を道路とする際の赤外成分の調整量ＩＲＡＤの最大値
Ｃｈ＿ａｄｊｕｓｔ＿ｍａｘ＿ｄｏｕｒｏ：被写体を道路とする際のクロマの調整量ＣｈＡＤの最大値
α＿ｃｅｎｔｅｒ＿ｄｏｕｒｏ：被写体を道路とする際のヒストグラム（図１（ｃ）参照）における赤外成分割合αの中心座標
Ｃｈ＿ｃｅｎｔｅｒ＿ｄｏｕｒｏ：被写体を道路とする際のヒストグラム（図１（ｃ）参照）におけるクロマＣｈの中心座標
α＿ｓｉｇｍａ＿ｄｏｕｒｏ：被写体を道路とする際の調整量を付与する赤外成分割合αの範囲
Ｃｈ＿ｓｉｇｍａ＿ｄｏｕｒｏ：被写体を道路とする際の調整量を付与するクロマＣｈの範囲
【００５１】
以上は、指数を使ったガウス関数を例として示したが、直線の繰り返しを組み合わせたものでもかまわない。又、上記は、赤外成分割合αとクロマＣｈを基準とした調整量の算出だが、クロマの代わりに輝度や色相を基準にしてもよい。例えば、赤、青、緑、黄といった所定の色相であって、且つ赤外成分割合αが高い被写体を交通信号として判別すれば、クロマを用いることなく上述と同様な調整を行うことができる。これにより交通信号灯の色相のみを鮮やかにでき、それ以外のオレンジや水色といった色相を鮮やかにしないようにできる。図１０は、色相で調整量を決定する関数の例であり、ここでは、緑信号と赤信号の調整量を多くした場合である。
【００５２】
変形例としては、以下の式に従い輝度の計算を行っても良い。
Ｙ＿ａｄｄ＝（ａ＊Ｗ＋ｂ＊Ｙｅ＋ｃ＊Ｒ＋ｄ＊ＩＲ）／４      （１４）
【００５３】
（１４）式において、例えば、ａ、ｂ、ｃは１とし、ｄ＝ＩＲＡＤにする。こうすることで、人物の領域が強調される。但し、ｄのみを変更した場合、Ｙ＿ａｄｄが大きくなりやすいので、ｄの値に応じて、ａ、ｂ、ｃを変更しても良い。下式は、ａ、ｂ、ｃ、ｄの和が４を超えないようにしたものである。
ａ＝１−（ｄ−１）／３
ｂ＝１−（ｄ−１）／３
ｃ＝１−（ｄ−１）／３
【産業上の利用可能性】
【００５４】
本発明は、車載カメラや監視カメラ等に適用可能であるが、用途はそれに限られない。
【符号の説明】
【００５５】
１画像処理装置
２レンズ
３撮像素子
４画像処理部
５制御部
４１色補間部
４２色信号生成部
４３色空間変換部
４４演算部
４５ＲＧＢ信号生成部
【図１】
2012008845.tif 000003
【図２】
2012008845.tif 000004
【図３】
2012008845.tif 000005
【図４】
2012008845.tif 000006
【図５】
2012008845.tif 000007
【図６】
2012008845.tif 000008
【図７】
2012008845.tif 000009
【図８】
2012008845.tif 000010
【図９】
2012008845.tif 000011
【図１０】
2012008845.tif 000012