(57)【要約】【課題】ハイダイナミックレンジ合成を行う場合にもより自然な色配色が可能なホワイトバランス処理を行う撮像制御装置、撮像装置及び撮像制御方法を提供する。【解決手段】本実施形態によれば、画像処理装置は、検出部と、ホワイトバランス処理部と、画像合成部とを備える。検出部は、画像情報を取得するための輝度範囲を露光感度の異なる複数の画像毎に検出する。ホワイトバランス処理部は、画像毎の輝度範囲における画像情報に基づき、露光感度の異なる複数の画像にホワイトバランス処理を施す。画像合成部は、ホワイトバランス処理を施された複数の画像に基づき、露光感度を調整した合成画像を合成する。【選択図】図１
2019165393.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を取得するための輝度範囲を露光感度の異なる複数の画像毎に検出する検出部と、
前記画像毎の輝度範囲における画像情報に基づき、前記露光感度の異なる複数の画像にホワイトバランス処理を施すホワイトバランス処理部と、
前記ホワイトバランス処理を施された複数の画像に基づき、露光感度を調整した合成画像を生成する画像合成部と、
を備える画像処理装置。
【請求項２】
前記複数の画像は、第１露光時間の第１画像、および第１露光時間よりも長い露光時間の第２画像を少なくとも含んでおり、
前記検出部は、前記第１画像に対しては第１輝度範囲を検出し、前記第２画像に対しては第１輝度範囲よりも暗い側の第２輝度範囲を検出し、
前記ホワイトバランス処理部は、前記第１画像に対しては前記第１輝度範囲
に基づき、前記ホワイトバランス処理を施し、前記第２画像に対しては前記第２輝度範囲に基づき、前記ホワイトバランス処理を施す、請求項１に記載の画像処理装置。
【請求項３】
前記検出部は、前記第１画像の高輝度側の所定範囲を前記第１輝度範囲として検出し、前記第１輝度範囲の下限値に基づき前記第２輝度範囲を検出する、請求項２に記載の画像処理装置。
【請求項４】
前記検出部は、前記第２画像の低輝度側の所定範囲を前記第２輝度範囲として検出し、前記第２輝度範囲の上限値に基づき前記第１輝度範囲を検出する、請求項２に記載の画像処理装置。
【請求項５】
前記検出部は、露光感度の異なる複数の画像それぞれの輝度値の
代表値に基づき、前記輝度範囲を検出する、請求項２に記載の画像処理装置。
【請求項６】
前記代表値は、前記複数の画像それぞれの平均輝度値である、請求項５に記載の画像処理装置。
【請求項７】
前記検出部は、前記露光感度の異なる複数の画像それぞれの輝度値の代表値に基づき、前記ホワイトバランス処理に用いる画像数および前記輝度範囲を変更する、請求項５又は６に記載の画像処理装置。
【請求項８】
請求項１乃至７のいずれか一項に記載の画像処理装置と、
前記画像処理装置により得られた情報に基づき、車両の運転を支援する運転支援装置と、
を備える運転支援システム。
【請求項９】
画像情報を取得するための輝度範囲を露光感度の異なる複数の画像毎に検出する検出工程と、
前記画像毎の輝度範囲における画像情報に基づき、前記露光感度の異なる複数の画像にホワイトバランス処理を施すホワイトバランス処理工程と、
前記ホワイトバランス処理を施された複数の画像に基づき、露光感度を調整した合成画像を生成する画像合成工程と、
を備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、運転支援装置、及び画像処理方法に関する。
【背景技術】
【０００２】
幅広いダイナミックレンジを表現した画像であるハイダイナミックレンジ画像を得るために、露光感度の異なる複数の画像を合成し、合成画像を得るハイダイナミックレンジ合成（ＨＤＲＩ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｎｇｅ  Ｉｍａｇｉｎｇ）が行われている。また、合成画像には一般にホワイトバランス処理が施されている。ところが、合成画像にホワイトバランス処理を施すと、不自然な色配色の画像が生成されてしまう恐れがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１０９７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ハイダイナミックレンジ合成を行う場合にもより自然な色配色が可能なホワイトバランス処理を行う画像処理装置、運転支援装置、及び画像処理方法を提供する。
【課題を解決するための手段】
【０００５】
本実施形態によれば、画像処理装置は、検出部と、ホワイトバランス処理部と、画像合成部とを備える。検出部は、画像情報を取得するための輝度範囲を露光感度の異なる複数の画像毎に検出する。ホワイトバランス処理部は、画像毎の輝度範囲における画像情報に基づき、露光感度の異なる複数の画像にホワイトバランス処理を施す。画像合成部は、ホワイトバランス処理を施された複数の画像に基づき、露光感度を調整した合成画像を合成する。
【図面の簡単な説明】
【０００６】
【図１】第１実施形態に係る運転支援システムの全体構成を示すブロック図。
【図２】ホワイトバランス処理を施す画像情報を取得する輝度範囲を示す概念図。
【図３】画像処理装置の処理例を示すフローチャート。
【図４】図３で示すフローチャートにしたがった画像処理例を示す図。
【図５】図４に示す画像のヒストグラムを示す図。
【図６】２画像を画像合成する場合のホワイトバランス処理を施す範囲を示す概念図。
【図７】３画像を画像合成する場合のホワイトバランス処理を施す範囲を示す概念図。
【図８】第１画像および第３画像中の同一線分上のプロファイルを示す図。
【図９】輝度値の代表値に基づき、輝度範囲を定める概念図。
【図１０】画像合成に用いる画像の選択および輝度値範囲を設定する際の概念図。
【発明を実施するための形態】
【０００７】
以下、本発明の実施形態に係る運転支援システムについて、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。
【０００８】
（第１実施形態）
図１は、第１実施形態に係る運転支援システム１の全体構成を示すブロック図である。図１に示すように、運転支援システム１は、ハイダイナミックレンジ合成（ＨＤＲＩ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｉｍａｇｉｎｇ）により合成画像を生成し、車両の運転を支援するシステムである。より具体的には、この運転支援システム１は、カメラ１０と、撮像制御装置２０と、運転支援装置３０と、音声装置４０と、制動装置５０と、表示装置６０とを、備えて構成されている。
【０００９】
カメラ１０は、露光感度の異なる複数の画像を取得可能な装置であり、第１乃至第４カメラ１００〜１０６を有している。第１カメラ１００は、例えば画素を２次元の平面状に配置したイメージングセンサであり、撮像制御装置２０から入力された第１露光時間Ｔ１を含む制御信号により第１画像を撮像する。このイメージングセンサは、赤色（Ｒ）撮像素子、青色（Ｂ）撮像素子、及び緑色（Ｇ）撮像素子から構成されている。これにより、第１画像として、赤色（Ｒ）画素で構成される赤色（Ｒ）画像、青色（Ｂ）画素で構成される青色（Ｂ）画像、及び緑色（Ｇ）画素で構成される緑色（Ｇ）画像が撮像される。同様に第２カメラ１０２は、第１カメラ１００と同等の構成であり、撮像制御装置２０から入力された第２露光時間Ｔ２を含む制御信号により第２画像を撮像する。同様に第３カメラ１０４は、第１カメラ１００と同等の構成であり、撮像制御装置２０から入力された第３露光時間Ｔ３を含む制御信号により第３画像を撮像する。同様に第４カメラ１０６は、第１カメラ１００と同等の構成であり、撮像制御装置２０から入力された第４露光時間Ｔ４を含む制御信号により第４画像を撮像する。露光時間は、  例えばＴ４＞Ｔ３＞Ｔ２＞Ｔ１の関係がある。なお、本実施形態に係るカメラ１０は、露光時間を変えて露光感度を異ならせているが、画素の露光感度をカメラ毎に異ならせてもよい。また、カメラ１０のイメージングセンサを一つで構成し、時系列に異なる露光感度の画像を撮像してもよい。例えば、カメラ１０は、コンパクトデジタルカメラ、スマートフォン等の、撮像機能を備えた装置であれば任意の装置でよい。
【００１０】
撮像制御装置２０は、ハイダイナミックレンジ合成した合成画像を生成するとともに、カメラ１０の露光時間を制御する装置である。撮像制御装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含んで構成されている。撮像制御装置２０の詳細な構成は後述する。
【００１１】
運転支援装置３０は、画像処理装置２２の出力信号に応じて車両の運転を支援する。運転支援装置３０には、音声装置４０、制動装置５０、表示装置６０などが接続されている。
【００１２】
音声装置４０は、例えばスピーカであり、車両内の運転席から聴講可能な位置に配置されている。運転支援装置３０は、画像処理装置２２の出力信号に基づき、例えば音声装置４０に「対象物まで５メートルです」などの音声を発生させる。これにより、例えば運転士の注意力が低下している場合にも、音声を聴講することで、運転士の注意を喚起させることが可能となる。  
【００１３】
制動装置５０は、例えば補助ブレーキであり、画像処理装置２２の出力信号に基づき車両を制動する。運転支援装置３０は、例えば対象物が所定の距離、例えば３メートルまで近接した場合に、制動装置５０に車両を制動させる。
【００１４】
表示装置６０は、例えば液晶モニタであり、画像処理装置２２の出力信号に基づく画像を表示する。これにより、例えば逆光時などでも、表示装置６０に表示される画像を参照することで、外部情報をより正確に把握可能となる。
【００１５】
ここで、撮像制御装置２０の詳細な構成を説明する。この撮像制御装置２０は、画像処理装置２２と、露光時間制御部２４とを有している。
【００１６】
画像処理装置２２は、ホワイトバランス処理を施した複数の画像に基づき、露光感度を調整した合成画像を合成する。この画像処理装置２２は、ホワイトバランス検出部２０２と、ホワイトバランス処理部２０４と、画像合成部２０６とを備える。
【００１７】
図２は、ホワイトバランス処理を施す画像情報を取得する輝度範囲を示す概念図であり、第１乃至第４画像中の同一線分上のプロファイルを示している。縦軸は輝度値であり、横軸は、画像内に配置した任意の同一線分上の座標を示している。また、グレーの四角形が画像情報を取得する輝度範囲を示している。四角形の範囲は、例えば各画像のダイナミックレンジの下から２０％〜８０％の範囲の輝度値を示している。ハイダイナミックレンジ合成では、例えばこの四角形の範囲の画素値が優先的に加算される。例えば四角形の範囲内の画素値と範囲外の画素値とで加算時の重み値が変更される。例えば四角形の範囲内の画素値の重み値は１．０とされ、四角形の範囲内の画素値の重み値は０とされる。ここでの重み値は、輝度値に乗算する係数を意味し、重み値が０であれば、輝度値は加算されないことを意味している。
【００１８】
また、「×１」で示すプロファイルは、露光時間が例えば５ミリセカンドである第１画像のプロファイルであり、「×２」で示すプロファイルは、露光時間が例えば１０ミリセカンドである第２画像のプロファイルであり、「×４」で示すプロファイルは、露光時間が例えば２０ミリセカンドである第３画像のプロファイルであり、「×８」で示すプロファイルは、露光時間が例えば４０ミリセカンドである第４画像のプロファイルである。例えば、合成画像の生成時には、第１画像の輝度値は８倍され、第２画像の輝度値は４倍され、第３画像の輝度値は２倍され、第４画像の輝度値は１倍され、加算される。この合成時の輝度範囲を、画像中に、「×２」から「×８」の点線で示している。すなわち、「×８」の点線以下の範囲は合成時に、第４画像の輝度範囲と同等となり、「×４」の点線以下の範囲は合成時に、第３画像の輝度範囲と同等となり、「×２」の点線以下の範囲は合成時に、第２画像の輝度範囲と同等となる。
【００１９】
これらから分かるように、輝度範囲を調整した後において、本実施形態に係る第４画像の検出範囲は、最も低輝度側であり、第３画像の検出範囲は、第４画像の検出範囲の２倍であり第４画像の検出範囲よりも高輝度側である。同様に、第２画像の検出範囲は、第３画像の検出範囲の２倍であり第３画像の検出範囲よりも高輝度側である。同様に、第１画像の検出範囲は、第２画像の検出範囲の２倍であり第２画像の検出範囲よりも高輝度側である。なお、輝度の検出範囲は、上述の範囲に限定されず、任意の範囲に設定してもよい。
【００２０】
このように、ホワイトバランス検出部２０２は、露光時間の異なる複数の画像毎にホワイトバランス処理を施すための画像情報を取得する輝度範囲を検出する。これにより、画像合成時に主として用いる輝度範囲内の画像情報によりホワイトバランス処理を施すことが可能となる。なお、本実施形態に係るホワイトバランス検出部２０２が検出部に対応する。
【００２１】
ホワイトバランス処理部２０４は、露光感度の異なる複数の画像にホワイトバランス処理を施す。より具体的には、ホワイトバランス処理部２０４は、ホワイトバランス検出部２０２により検出された範囲の輝度値の画像情報を用いて、露光感度の異なる複数の画像にホワイトバランス処理を施す。このホワイトバランス処理部２０４は、ホワイトバランス検出部２０２により検出された範囲の輝度値の画像情報、すなわち赤色（Ｒ）画素値、青色（Ｂ）画素値、及び緑色（Ｇ）画素値に基づいて第１乃至第４画像にホワイトバランス補正処理を行う。なお、輝度値は、赤色（Ｒ）画素値、青色（Ｂ）画素値、及び（緑色Ｇ）画素値に基づき、一般的な変換式により算出可能である。換言すると、各画像の輝度値の範囲は、赤色（Ｒ）画素値、青色（Ｂ）画素値、及び（緑色Ｇ）画素値に基づき、算出されている。
【００２２】
ホワイトバランス処理部２０４は、ホワイトバランス検出部２０２により検出された範囲の輝度値における画像全体が無彩色になるように、赤色（Ｒ）画素値、青色（Ｂ）画素値、及び（緑色Ｇ）画素値を補正する。なお、ホワイトバランス処理には、光源の種類により着色した所謂色かぶりを除く一般的な処理を用いればよい。ここでの無彩色にするとは、色かぶりを除くことを意味する。
【００２３】
画像合成部２００は、ホワイトバランス処理部２０４によりホワイトバランス処理を施された複数の画像に基づき、露光感度を調整した合成画像を合成する。例えば、第１露光時間Ｔ１により撮像された第１画像に対しては、合成倍率をＴ４／Ｔ１、例えば８倍とする。同様に、第２露光時間Ｔ２により撮像された第３画像に対しては、合成倍率をＴ４／Ｔ２、例えば４倍とする。同様に、第３露光時間Ｔ３により撮像された第３画像に対しては、合成倍率をＴ４／Ｔ３、例えば２倍とする。なお、ホワイトバランス処理部２０４によるホワイトバランス処理により、輝度範囲が変更された場合には、輝度範囲を再調整した後に、露光感度を調整した合成画像を合成してもよい。
【００２４】
露光時間制御部２４は、露光時間Ｔ１乃至Ｔ４を含む制御信号を生成し、カメラ１０を制御する。例えば、露光時間制御部２４は、第１画像の平均輝度が目標値より高い場合には、平均輝度が低下するように第１露光時間Ｔ１を現状の第１露光時間Ｔ１よりも短くする。一方で、露光時間制御部２４は、第１画像の平均輝度が目標値より低い場合には、平均輝度が増加するように第１露光時間Ｔ１を現状の第１露光時間Ｔ１よりも長くする。同様に、露光時間制御部２４は、第２乃至第４画像それぞれの平均輝度が目標値に近づくように露光時間Ｔ２〜Ｔ４を設定する。
【００２５】
図３は、画像処理装置２２の処理例を示すフローチャートである。ここでは、第１露光時間Ｔ１の第１画像、および第２露光時間Ｔ２の第２画像を用いた処理例を説明する。
図４は、図３で示すフローチャートにしたがった画像処理例を示す図である。（ａ）は、ホワイトバランス処理前の第１画像を示し、（ｂ）は、ホワイトバランス処理後の第１画像を示している。（ｃ）は、ホワイトバランス処理前の第２画像を示し、（ｄ）は、ホワイトバランス処理後の第２画像を示している。（ｅ）は、ホワイトバランス処理後の第１画像とホワイトバランス処理後の第２画像との合成画像を示している。図５は、図４に示す画像のヒストグラムを示す図である。横軸は画素値を示し、縦軸は、画素数を示している。（ａ）〜（ｅ）のそれぞれは、図４で示した（ａ）〜（ｅ）それぞれの画像のヒストグラムである。
【００２６】
図３に示すように、ホワイトバランス検出部２０２は、カメラ１０が撮像した第１画像の所定の第１輝度値範囲と、第２画像の所定の第２輝度値範囲を検出する。ホワイトバランス検出部２０２が検出した輝度範囲は、第１画像においては主として人物を除いた背景部分に相当し、第２画像においては主として背景を除いた人物部分に相当する。続いて、ホワイトバランス処理部２０４は、ホワイトバランス検出部２０２により検出された第１画像の第１輝度値範囲の画素、および第２画像の第２輝度値範囲の画素が無彩色になるように、赤色（Ｒ）画素値及び青色（Ｂ）画素値をゲイン補正し、ホワイトバランス処理を施す（ステップＳ１００）。ホワイトバランス処理により、第１画像においては主として背景部分が無彩色化され、第２画像においては主として人物部分が無彩色化されている。
【００２７】
次に、画像合成部２００は、ホワイトバランス処理部２０４によりホワイトバランス処理を施された第１画像および第２画像に基づき、露光感度を調整した合成画像を合成する（ステップＳ１０２）。
【００２８】
以上のように、本実施形態によれば、ホワイトバランス処理部２０４によりホワイトバランス処理を施した後の画像に基づき、露光感度を調整した合成画像を生成することとした。これにより、合成画像を生成する前に、各画像のホワイトバランスが調整され、無彩色化されているので、合成画像の配色も無彩色化することが可能となる。
【００２９】
（第２実施形態）
第１実施形態に係るホワイトバランス検出部２０２は、検出輝度値の範囲を予め定めていたが、本実施形態に係るホワイトバランス検出部２０２ｂは、各画像の輝度値の分布に応じて、検出輝度値の範囲を変更する点で相違する。以下では、第１実施形態に係るホワイトバランス検出部２０２と相違する点に関して説明する。画像処理装置２２の構成は第１実施形態と同等であるので、説明を省略する。
【００３０】
図６は、２画像を画像合成する場合のホワイトバランス処理を施す範囲を示す概念図であり、第１画像および第２画像中の同一線分上のプロファイルを示している。縦軸は輝度値であり、横軸は、画像内に配置した線分上の座標を示している。「×１」で示すプロファイルは、露光時間が例えば５ミリセカンドである第１画像のプロファイルであり、「×２」で示すプロファイルは、露光時間が例えば１０ミリセカンドである第２画像のプロファイルである。  
【００３１】
ホワイトバランス検出部２０２ｂは、左側の第１画像と第２画像の組み合わせでは、第１画像（短露光フレーム）の輝度値部分布を基準に、輝度値範囲を定めている。より具体的には、ホワイトバランス検出部２０２ｂは、第１画像の輝度値範囲を明るい側に限定する。例えばホワイトバランス検出部２０２ｂは、第１画像における最大輝度値と最小輝度値の間の４０％点の輝度値以上を第１画像の輝度値範囲とする。例えば、この４０％点の輝度値は、第１画像における最大輝度値が１００であり、最小輝度値が０である場合に、４０を意味する。この場合、第２画像の輝度値範囲は、第１画像の輝度値範囲の下限値に基づき定められる。このような処理を行う場合には、第１画像の高輝度側の画像のホワイトバランスをより重視した合成画像を得ることが可能となる。
【００３２】
一方で、右側の第１画像と第２画像の組み合わせでは、ホワイトバランス検出部２０２ｂは、第２画像（長露光フレーム）の輝度値分布を基準に、輝度値範囲を定めている。より具体的には、ホワイトバランス検出部２０２ｂは、第２画像の輝度値範囲を暗い側に限定する。例えばホワイトバランス検出部２０２ｂは、第２画像における最大輝度値と最小輝度値の間の３０％点の輝度値以下を第１画像の輝度値範囲とする。この場合、第１画像の輝度値範囲は、第２画像の輝度値範囲の上限値に基づき定められる。このような処理を行う場合には、第２画像の低輝度側のホワイトバランスをより重視した合成画像得ることが可能となる。
【００３３】
図７は、３画像を画像合成する場合のホワイトバランス処理を施す範囲を示す概念図であり、第１乃至第３画像中の同一線分上のプロファイルを示している。縦軸は輝度値であり、横軸は、画像内に配置した線分上の座標を示している。「×１」で示すプロファイルは、露光時間が例えば５ミリセカンドである第１画像のプロファイルであり、「×２」で示すプロファイルは、露光時間が例えば１０ミリセカンドである第２画像のプロファイルであり、「×４」で示すプロファイルは、露光時間が例えば２０ミリセカンドである第３画像のプロファイルである。
【００３４】
ホワイトバランス検出部２０２ｂは、第１画像（第１短露光フレーム）および第２画像（第２短露光フレーム）の輝度値部分布を基準に、輝度値範囲を定めている。より具体的には、ホワイトバランス検出部２０２ｂは、第１画像および第２画像の輝度値範囲を明るい側に限定する。例えばホワイトバランス検出部２０２ｂは、第１画像における最大輝度値と最小輝度値の間の４０％点の輝度値以上を第１画像の輝度値範囲とする。同様に、ホワイトバランス検出部２０２ｂは、第２画像における最大輝度値と最小輝度値の間の４０％点の輝度値以上を第２画像の輝度値範囲とする。この場合、第２画像の輝度値範囲の上限値は、第１画像の輝度値範囲の下限値に基づき定められる。
【００３５】
また、第３画像（長露光フレーム）の輝度値範囲の上限値は、第２画像の輝度値範囲の下限値に基づき定められる。このような処理を行う場合には、第１画像および第２画像の高輝度側の画像のホワイトバランスを重視した合成画像を得ることが可能となる。
【００３６】
図８は、２画像を画像合成する場合のホワイトバランス処理を施す範囲を示す概念図であり、第１画像および第３画像中の同一線分上のプロファイルを示している。縦軸は輝度値であり、横軸は、画像内に配置した線分上の座標を示している。「×１」で示すプロファイルは、露光時間が例えば５ミリセカンドである第１画像のプロファイルであり、「×４」で示すプロファイルは、露光時間が例えば２０ミリセカンドである第３画像のプロファイルである。  
【００３７】
ホワイトバランス検出部２０２ｂは、第１画像の輝度値範囲を明るい側に限定する。例えばホワイトバランス検出部２０２ｂは、第１画像における最大輝度値と最小輝度値の間の２０％点の輝度値以上を第１画像の輝度値範囲とする。この場合、第３画像の輝度値範囲は、第１画像の輝度値範囲の下限値に基づき定められる。このような処理を行う場合には、第１画像の高輝度側のホワイトバランスをより重視した合成画像を得ることが可能となる。
【００３８】
以上のように、本実施形態によればホワイトバランス検出部２０２ｂは、露光感度の異なる複数画像のうちの特定画像の輝度範囲を基準として、他の画像の輝度範囲を検出することとした。これにより、特定画像の輝度範囲のホワイトバランスをより重視した合成画像を得ることが可能となる。
【００３９】
（第３実施形態）
第１実施形態に係るホワイトバランス検出部２０２は、検出輝度値の範囲を予め定めていたが、本実施形態に係るホワイトバランス検出部２０２ｃは、露光感度の異なる複数の画像それぞれの輝度値の代表値に基づき、ホワイトバランス処理に用いる画像数および輝度範囲を変更する点で相違する。以下では、第１実施形態に係るホワイトバランス検出部２０２と相違する点に関して説明する。画像処理装置２２の構成は第１実施形態と同等であるので、説明を省略する。
【００４０】
図９は、露光感度の異なる複数の画像それぞれの輝度値の代表値に基づき、輝度範囲を定める概念図である。縦軸は輝度値であり、横軸は、画像内に配置した線分上の座標を示している。「×１」で示すプロファイルは、露光時間が例えば５ミリセカンドである第１画像のプロファイルであり、「×２」で示すプロファイルは、露光時間が例えば１０ミリセカンドである第２画像のプロファイルであり、「×４」で示すプロファイルは、露光時間が例えば２０ミリセカンドである第３画像のプロファイルであり、「×８」で示すプロファイルは、露光時間が例えば４０ミリセカンドである第３画像のプロファイルである。
【００４１】
図９に示すように、ホワイトバランス検出部２０２ｃは、露光感度の異なる複数の画像それぞれの輝度値の代表値に基づき、輝度範囲を検出する。例えば、ホワイトバランス検出部２０２ｃは、第１画像の平均輝度値に基づき、第１画像の輝度値範囲を検出する。同様に、ホワイトバランス検出部２０２ｃは、第２画像の平均輝度値に基づき、第２画像の輝度値範囲を検出する。この場合、第２画像の輝度値範囲の上限値は、第１画像の輝度値範囲の下限値に基づき定められる。同様に、ホワイトバランス検出部２０２ｃは、第３画像の平均輝度値に基づき、第３画像の輝度値範囲を検出する。この場合、第３画像の輝度値範囲の上限値は、第２画像の輝度値範囲の下限値に基づき定められる。そして、ホワイトバランス検出部２０２ｃは、第３画像の輝度値範囲の下限値に基づき、第４画像の輝度値範囲を検出する。なお、露光感度の異なる複数の画像それぞれの輝度値の代表値は、露光時間制御部２４（図１）で、カメラ１０の露光時間を制御するために取得する値を用いてもよい。例えば、露光感度の異なる複数の画像それぞれの輝度値の代表値は、輝度値の平均値、輝度値の中間値などである。
【００４２】
図１０は、画像合成に用いる画像およびホワイトバランス処理に用いる輝度値範囲を設定する際の概念図である。各点線で囲まれた枠内が画像合成に選択された画像のプロファイル例を示している。図１０に示すように、ホワイトバランス検出部２０２ｃは、露光感度の異なる複数の画像それぞれの輝度値の代表値に基づき、画像合成の生成に用いる画像およびホワイトバランス処理に用いる輝度値範囲を設定する。例えば、ホワイトバランス検出部２０２ｃは、第１乃至第４画像の各平均輝度値、各画像の最大輝度値、最小輝度値などから、各画像の輝度値分布の重なりを判断し、画像合成の生成に用いる画像を選択する。
【００４３】
以上のように、本実施形態によればホワイトバランス検出部２０２ｃは、露光感度の異なる複数の画像それぞれの輝度値の代表値に基づき、画像合成の生成に用いる画像およびホワイトバランス処理に用いる輝度値範囲を設定することとした。これにより、カメラ１０により撮像された画像の輝度値分布に適した画像を選択して合成画像を生成できると共に、各画像の輝度値分布に適したホワイトバランス処理を行うことができる。
【００４４】
上述したこれら実施形態に係る画像処理装置及び画像処理方法を、運転支援システムを例として説明したが、これに限定されず、医療、ドローン、産業ロボット、スマートフォン等の画像処理に利用してもよい。
【００４５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４６】
１：運転支援システム、１０：カメラ、２２：画像処理装置、２４：露光時間制御部、３０：運転支援装置、２０２、２０２ｂ、２０２ｃ：ホワイトバランス検出部、２０４：ホワイトバランス処理部、２０６：画像合成部
【図１】
2019165393.tif 000003
【図２】
2019165393.tif 000004
【図３】
2019165393.tif 000005
【図４】
2019165393.tif 000006
【図５】
2019165393.tif 000007
【図６】
2019165393.tif 000008
【図７】
2019165393.tif 000009
【図８】
2019165393.tif 000010
【図９】
2019165393.tif 000011
【図１０】
2019165393.tif 000012