(57)【要約】【課題】車載カメラによりＨＤＲ機能を用いて撮像された撮像画像に対して、出力値を効率的に割り当てた出力画像を生成可能な画像処理装置を提供する。【解決手段】値の範囲を示す第１値域に属する入力値で表した輝度を、第１値域よりも狭い値の範囲を示す第２値域に属する出力値で表す圧縮特性ＴＣが記憶されている記憶部と、車載カメラによりＨＤＲ機能を用いて撮像された撮像画像を、記憶されている圧縮特性ＴＣを用いて変換して出力画像を生成する画像変換部と、を備える。圧縮特性ＴＣは、始点Ａから特異点Ｂまでの値域において、出力値を入力値と同じ値とし、特異点Ｂから特異点Ｃまでの値域において、入力値に対する出力値をＬｏｇ関数で表し、特異点Ｃから終点Ｄまでの値域において、入力値に対する出力値を、特異点Ｃと終点Ｄとを結ぶ直線で表している。【選択図】図２
2018077569.tif 000002
【特許請求の範囲】
【請求項１】
値の範囲を示す第１値域に属する入力値で表した輝度を、前記第１値域よりも狭い値の範囲を示す第２値域に属する出力値で表す圧縮特性が記憶されている記憶部（２２）と、
車載カメラ（１０）によりハイダイナミックレンジ機能を用いて撮像された撮像画像を、前記記憶部に記憶されている圧縮特性を用いて変換して出力画像を生成するように構成された画像変換部（２１）と、を備え
前記圧縮特性は、
前記車載カメラの撮像対象の輝度が分布する範囲として設定されている分布範囲に対応する前記入力値の範囲を主値域、前記主値域の最小値及び前記主値域の最小値と同じ値の前記出力値で表される点を第１特異点、前記主値域の最大値及び前記主値域の最大値に対して設定されている前記出力値で表される点を第２特異点、前記第１値域の最小値及び前記第２値域の最小値で表される点を始点、前記第１値域の最大値及び前記第２値域の最大値で表される点を終点として、
前記始点から前記第１特異点までの値域において、前記出力値を前記入力値と同じ値とし、
前記主値域において、前記入力値に対する前記出力値をＬｏｇ関数で表し、
前記第２特異点から前記終点までの値域において、前記入力値に対する前記出力値を、前記第２特異点と前記終点とを結ぶ直線で表している、
画像処理装置。
【請求項２】
前記主値域に属する任意の前記入力値をＡ１、前記Ａ１のα（αは正の実数）倍の前記入力値をＡ２、前記Ａ１に対する前記Ｌｏｇ関数の前記出力値をＢ１、前記Ａ２に対する前記Ｌｏｇ関数の前記出力値をＢ２として、
前記Ｌｏｇ関数の傾きは、前記Ｂ２と前記Ｂ１との差分が予め設定された差分閾値よりも大きくなる傾きであるＬｏｇ傾きとなっている、
請求項１に記載の画像処理装置。
【請求項３】
前記Ｌｏｇ関数は、前記Ｌｏｇ傾きを持ち、前記第１特異点を通る関数であり、
前記第２特異点を表す前記出力値は、前記Ｌｏｇ関数上において、前記主値域の最大値に対応する値である、
請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ハイダイナミックレンジ機能を用いて撮像された画像を処理する技術に関する。
【背景技術】
【０００２】
シャッタ時間を相対的に短くして撮像した短シャッタ画像と、シャッタ時間を相対的に長くして撮像した長シャッタ画像とを合成して、白飛びや黒潰れの少ない幅広いダイナミックレンジを持つ画像を生成する、ハイダイナミックレンジ（以下、ＨＤＲ）機能が知られている。ただし、モニタ等の画像を再生する一般的な機器は、標準的なダイナミックレンジしか持たない。そのため、ＨＤＲ機能を用いて撮像された画像を再生する際には、トーンマッピング処理をして、ダイナミックレンジを圧縮する必要がある。このトーンマッピング処理には、人間の視覚特性に近いＬｏｇ特性が用いられることが多い（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００８−５１１０４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、Ｌｏｇ特性は、低輝度領域において、入力値に対して出力値が急峻に変化するため、低輝度領域に過剰に出力値が割り当てられ、限られた出力値を無駄にしているという問題がある。さらに、Ｌｏｇ特性は、中高輝度領域において、入力値に対して出力値が非常に緩やかに変化するため、撮像対象に十分な出力値の階調が割り当てられないという問題もある。特に、車載カメラの場合、撮像対象である路面や歩行者の輝度は中輝度領域に分布することが多いため、中輝度領域の出力値の諧調が不足することは望ましくない。
【０００５】
本開示は、上記実情に鑑みてなされたものであり、車載カメラによりＨＤＲ機能を用いて撮像された撮像画像に対して、出力値を効率的に割り当てた出力画像を生成可能な画像処理装置を提供することを主たる目的とする。
【課題を解決するための手段】
【０００６】
本開示は、画像処理装置であって、記憶部（２２）と、画像変換部（２１）と、を備える。記憶部は、値の範囲を示す第１値域に属する入力値で表した輝度を、第１値域よりも狭い値の範囲を示す第２値域に属する出力値で表す圧縮特性が記憶されている。画像変換部は、車載カメラ（１０）によりハイダイナミックレンジ機能を用いて撮像された撮像画像を、記憶部に記憶されている圧縮特性を用いて変換して出力画像を生成するように構成されている。
【０００７】
圧縮特性は、車載カメラの撮像対象の輝度が分布する範囲として設定されている分布範囲に対応する前記入力値の範囲を主値域、主値域の最小値及び主値域の最小値と同じ値の出力値で表される点を第１特異点、主値域の最大値及び主値域の最大値に対して設定されている出力値で表される点を第２特異点、第１値域の最小値及び第２値域の最小値で表される点を始点、第１値域の最大値及び第２値域の最大値で表される点を終点とする。そして、圧縮特性は、始点から前記第１特異点までの値域において、出力値を入力値と同じ値としている。また、圧縮特性は、主値域において、入力値に対する出力値をＬｏｇ関数で表している。さらに、圧縮特性は、第２特異点から終点までの値域において、入力値に対する出力値を、第２特異点と終点とを結ぶ直線で表している。
【０００８】
本開示の圧縮特性によれば、始点から第１特異点までの値域では、入力値に対して出力値が１対１で割り当てられているため、出力値を無駄にすることがない。また、主値域では、第２特異点での出力値を大きくするほど、撮像対象に多くの出力値を割り当てることができる。よって、上記圧縮特性を用いることで、撮像画像から出力値を効率的に割り当てた出力画像を生成することができる。
【０００９】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る走行支援システムの構成を示すブロック図である。
【図２】本実施形態に係る圧縮特性を示すグラフである。
【図３】一般的な圧縮特性であるＬｏｇ特性を示すグラフである。
【図４】図２及び図３における低輝度部分Ｒの拡大図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．構成］
まず、本実施形態に係る画像認識システム１００の構成について、図１を参照して説明する。画像認識システム１００は、車載カメラ１０と、処理装置２０とを備える。
【００１２】
車載カメラ１０は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、撮像素子に被写体の像を結像させるレンズと、信号処理回路と、を備え、車両前方の路面を含む所定範囲が撮像範囲となるように、例えば、ルームミラーの裏位置のウインドシールドに設置されている。
【００１３】
車載カメラ１０は、ＨＤＲ機能を有し、短シャッタ撮像と長シャッタ撮像とを連続して実行する。短シャッタ撮像は、シャッタ時間が相対的に短い、すなわち露光時間が相対的に短い撮像である。長シャッタ撮像は、シャッタ時間が相対的に長い、すなわち露光時間が相対的に長い撮像である。
【００１４】
そして、車載カメラ１０は、撮像された短シャッタ画像と長シャッタ画像とを合成して、短シャッタ画像や長シャッタ画像よりも、ダイナミックレンジの広いＨＤＲ合成画像を生成する。ダイナミックレンジは、１枚の画像に写し込める明暗差の幅であり、撮像素子の感度により決まる。生成されるＨＤＲ合成画像は、予め設定された第１値域Ｘｒに属する入力値ｘで輝度を表した画像である。車載カメラ１０は、生成したＨＤＲ合成画像を、所定周期で処理装置２０へ送信する。なお、本実施形態では、ＨＤＲ合成画像が撮像画像に相当する。
【００１５】
処理装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。処理装置２０は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより、各種機能を実現する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、処理装置２０を構成するマイクロコンピュータの数は１つでも複数でもよい。
【００１６】
処理装置２０は、画像処理部２３及び認識処理部２５を備える。画像処理部２３は、画像変換部２１及び記憶部２２を備える。本実施形態において、画像処理部２３が画像処理装置に相当する。
【００１７】
記憶部２２は、フラッシュメモリ等から構成されており、第１値域Ｘｒに属する入力値ｘで表した輝度を、第１値域よりも狭い値の範囲を示す第２値域Ｙｒに属する出力値ｙで表す圧縮特性ＴＣが記憶されている。圧縮特性ＴＣの詳細については後述する。
【００１８】
画像変換部２１は、車載カメラ１０により生成されたＨＤＲ合成画像の輝度を表す入力値ｘを、記憶部２２に記憶されている圧縮特性ＴＣを用いて出力値ｙに変換して、出力画像を生成する。つまり、画像変換部２１は、いわゆるトーンマッピング処理を行う。
【００１９】
認識処理部２５は、生成された出力画像から白線や歩行者、他車両などの撮像対象を認識する認識処理を行う。認識処理部２５は、短シャッタ画像及び長シャッタ画像のダイナミックレンジまでしか認識できないため、画像変換部２１によりＨＤＲ合成画像を出力画像に変換する必要がある。認識処理部２５による認識処理の結果は、車両制御装置へ送られ、操舵制御やブレーキ制御といった走行支援に用いられる。
【００２０】
［２．圧縮特性］
次に、記憶部２２に記憶されている圧縮特性ＴＣについて、図２〜図４を参照して説明する。図２は、本実施形態に係る圧縮特性ＴＣを示すグラフである。圧縮特性ＴＣの始点Ａは、第１値域Ｘｒの最小値ｘａ及び第２値域Ｙｒの最小値ｙａで表される点である。圧縮特性ＴＣの終点Ｄは、第１値域Ｘｒの最大値ｘｄ及び第２値域Ｙｒの最大値ｙｄで表される点である。つまり、始点Ａ＝（ｘａ，ｙａ）、終点Ｄ＝（ｘｄ，ｙｄ）である。また、圧縮特性ＴＣは、始点Ａと終点Ｄとの間に、特性が変化する点である２つの特異点Ｂ，Ｃを有する。ここで、低輝度側の第１特異点である特異点Ｂを（ｘｂ，ｙｂ）で表し、高輝度側の第２特異点である特異点Ｃを（ｘｃ，ｙｃ）で表す。
【００２１】
圧縮特性ＴＣは、始点Ａから特異点Ｂまでの値域において、出力値ｙを入力値ｘと同じ値とする特性となっている。すなわち、圧縮特性ＴＣは、ｘａ≦ｘ≦ｘｂにおいて、ｙ＝ｘの直線Ｌ１で表される。
【００２２】
また、圧縮特性ＴＣは、特異点Ｂから特異点Ｃまでの値域において、入力値ｘに対する出力値ｙをＬｏｇ関数で表す特性となっている。すなわち、圧縮特性ＴＣは、ｘｂ≦ｘ≦ｘｃにおいて、ｙ＝α×Ｌｏｇ１０（ｘ）−βの曲線Ｌ２となっている。αはＬｏｇ関数の傾きであり、Ｌｏｇ傾きに相当する。
【００２３】
また、圧縮特性ＴＣは、特異点Ｃから終点Ｄまでの値域において、入力値ｘに対する出力値ｙを特異点Ｃと終点Ｄとを結ぶ直線で表す特性となっている。すなわち、圧縮特性ＴＣは、ｘｃ≦ｘ≦ｘｄにおいて、ｙ＝ｙｃ＋（（ｙｄ−ｙｃ）／（ｘｄ−ｘｃ））×（ｘ−ｘｃ）の直線Ｌ３となっている。
【００２４】
次に、圧縮特性ＴＣの生成手順について説明する。圧縮特性ＴＣは、まず、特異点Ｂの入力値ｘｂと、特異点Ｃの入力値ｘｃを設定する。具体的には、車載カメラ１０の撮像対象、例えば路面や歩行者の輝度が分布する範囲として設定されている分布範囲に、対応する入力値ｘの範囲の最小値を入力値ｘｂとし、最大値を入力値ｘｃとする。このようにして設置したｘｂ≦ｘ≦ｘｃの範囲を主値域Ｘｍとし、主値域Ｘｍよりも輝度の低いｘａ≦ｘ≦ｘｂの範囲を低値域Ｘｌとし、主値域Ｘｍよりも輝度の高いｘｃ≦ｘ≦ｘｄの範囲を高値域Ｘｈとする。そして、主値域Ｘｍを設定したことにより、特異点Ｂの出力値ｙｂ＝ｘｂ及び低値域Ｘｌにおける直線Ｌ１も決まる。
【００２５】
次に、曲線Ｌ２の傾きαを算出する。具体的には、以下のように算出する。主値域Ｘｍの範囲に属する任意の入力値をＡ１とし、主値域Ｘｍに属するとともに入力値Ａ１のＫ倍の入力値をＡ２とする。Ｋは正の実数であり予め設定された値である。そして、入力値Ａ１に対するＬｏｇ関数の出力値をＢ１、入力値Ａ２に対するＬｏｇ関数の出力値をＢ２とする。
【００２６】
このとき、Ｂ１−Ｂ２＝α×（ＬｏｇＡ１−ＬｏｇＡ２）＝α×Ｌｏｇ（Ｋ）となる。すなわち、２つの入力値の比率Ｋは、２つの入力値に対する２つの出力値の差分となる。ここで、差分Ｂ２−Ｂ１の値が小さすぎると、出力画像において、撮像対象のコントラストが低くなる。例えば、撮像対象が路面の場合、アスファルト部分に対する白線のコントラストが低くなる。よって、傾きαは、差分Ｂ２−Ｂ１が予め設定された差分閾値よりも大きくなるような傾きとする。差分閾値は、撮像対象について必要なコントラストが得られる最小限の差分である。
【００２７】
なお、傾きαを大きくするほど、差分Ｂ２−Ｂ１は大きくなって、出力画像における撮像対象のコントラストは大きくなる。しかしながら、その分、特異点Ｃの出力値ｙｃが大きくなり、高値域Ｘｈに割り当てられる出力値ｙが少なくなって、出力画像の高輝度部分が潰れてしまう。よって、本実施形態では、傾きαは、差分Ｂ２−Ｂ１が差分閾値よりも少し大きい程度の値としている。本実施形態では、例えば、比率Ｋ＝１．１に対する差分閾値を３として、傾きαを算出している。
【００２８】
次に、特異点Ｂ（ｘｂ，ｙｂ）を通り傾きαのＬｏｇ関数の切片βを算出する。これにより、主値域Ｘｍにおける曲線Ｌ２が決まる。曲線Ｌ２が決まると、曲線Ｌ２上において、入力値ｘｃに対応する出力値ｙｃが決まる。そして、高値域Ｘｈにおける直線Ｌ３も決まる。
【００２９】
このようにして生成された圧縮特性ＴＣは、記憶部２２に記憶されている。具体的には、圧縮特性ＴＣに基づいた入力値ｘに対する出力値ｙのテーブルや、直線Ｌ１、曲線Ｌ２及び直線Ｌ３を表す式が記憶されている。また、昼間、夜間、トンネル内等の撮影シーンに応じて、異なる複数の圧縮特性ＴＣが記憶部２２に記憶されていてもよい。また、撮影シーンに応じて主値域Ｘｍを変更して新たな圧縮特性ＴＣを生成し、記憶部２２に記憶されている圧縮特性ＴＣを更新できるようにしてもよい。画像変換部２１は、記憶部２２に記憶されているテーブルを参照して入力値ｘを出力値ｙに変換したり、記憶部２２に記憶されている式を用いて入力値ｘから出力値ｙを算出したりする。
【００３０】
次に、圧縮特性ＴＣの数値例の一つを示す。第１値域Ｘｒを０〜６５９８６０、第２値域Ｙｒを０〜２５５とする。第１値域Ｘｒは１１６ｄＢのデータである。そして、主値域Ｘｍを４０〜１３８２４に設定する。つまり、始点（０，０）、終点（６５９８６０，１３８２４）、特異点Ｂ（４０，４０）、特異点Ｃの入力値ｘｃ＝１３８２４とする。このとき、主値域Ｘｍにおいて、必要なコントラストが得られるように、Ｌｏｇ関数の傾きαを求めると、傾きα＝８１となる。これにより、Ｌｏｇ関数の切片β＝９０が算出される。つまり、曲線Ｌ２は、ｙ＝８１×Ｌｏｇ１０（ｘ）−９０となる。そして、曲線Ｌ２上の特異点Ｃの出力値ｙｃ＝２４５が算出される。これにより、直線Ｌ３は、特異点Ｃ（１３８２４，２４５）と終点（６５９８６０，１３８２４）を通る直線として算出される。
【００３１】
［３．比較］
図３に一般的な圧縮特性であるＬｏｇ特性（以下、一般的特性）のグラフを示し、図４に、本実施形態に係る圧縮特性ＴＣ及び一般的特性の低輝度部分Ｒの拡大図を示す。図４に示すように、低値域Ｘｌでは、一般的特性は、傾きが大きく、入力値ｘに対して過剰な出力値ｙが割り当てられており、出力値ｙを無駄にしている。これに対して、圧縮特性ＴＣは、直線Ｌ１の傾きが一般的特性の傾きよりも小さく、入力値ｘに対して出力値ｙが一体一となっているため、出力値ｙを無駄にしていない。
【００３２】
また、主値域Ｘｍでは、一般的特性の傾きに比べて曲線Ｌ２の傾きが大きく、圧縮特性ＴＣの入力値ｘには、一般的特性の入力値ｘよりも、多くの出力値ｙが割り当てられている。つまり、圧縮特性ＴＣでは、一般的特性に比べて、車載カメラ１０の撮像対象に多くの出力値ｙが割り当てられている。
【００３３】
一方、高値域Ｘｈでは、一般的特性の傾きに比べて、曲線Ｌ２の傾きが小さく、圧縮特性ＴＣの入力値ｘには、一般的特性の入力値ｘよりも、少ない出力値ｙが割り当てられている。つまり、圧縮特性ＴＣでは、一般的特性と比べて、撮像対象よりも大きな輝度を有する被写体の情報の圧縮率が高くなっている。
【００３４】
［４．効果］
以上説明した本実施形態によれば、以下の効果が得られる。
（１）圧縮特性ＴＣによれば、始点Ａから特異点Ｂまでの低値域Ｘｌでは、入力値ｘに対して出力値ｙが１対１で割り当てられているため、出力値ｙを無駄にすることがない。
【００３５】
（２）主値域Ｘｍにおいて、比率Ｋの２つの入力値Ａ１，Ａ２に対する２つの出力値Ｂ１，Ｂ２の差分を、差分閾値を超える値とすることで、出力画像において、撮像対象のコントラストを十分に高くすることができる。ひいては、出力画像において撮像対象の認識精度を高くすることができる。例えば、撮像対象が路面の場合、白線とアスファルト部分とのコントラストを十分に高くすることで、白線の認識精度を高くすることができる。
【００３６】
（３）主値域Ｘｍにおいて、Ｌｏｇ関数の傾きαを必要なコントラストが得られる傾きとすることで、特異点Ｃの出力値ｙｃを十分に大きくし、主値域Ｘｍに対して多くの出力値ｙｃを割り当てることができる。ひいては、撮像対象から外れた高値域Ｘｈの情報が、出力画像に過剰に含まれることを抑制して、撮像対象の情報を出力画像に効率的に含めることができる。
【００３７】
（他の実施形態）
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００３８】
（ａ）上記実施形態では、曲線Ｌ２の傾きαを算出した後、特異点Ｃの出力値ｙｃを算出したが、これに限定されるものではない。例えば、主値域Ｘｍに割り当てる出力値ｙの値域ｙｂ≦ｙ≦ｙｃを先に設定し、特異点Ｂ及び特異点Ｃを通るように、曲線Ｌ２の傾きα及び切片βを算出してもよい。
【００３９】
（ｂ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００４０】
（ｃ）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像生成方法など、種々の形態で本発明を実現することもできる。
【符号の説明】
【００４１】
１０…車載カメラ、２１…画像変換部、２２…記憶部。
【図１】
2018077569.tif 000003
【図２】
2018077569.tif 000004
【図３】
2018077569.tif 000005
【図４】
2018077569.tif 000006