(57)【要約】【課題】表示画像の視認性をできるだけ低化することなく、二つの光源が一つの光源として表れてしまうことを抑制する「撮影画像表示システム及び電子ミラーシステム」を提供する。【解決手段】ゲインmaxGで撮影した画像（ａ）に、高輝度の画素がまとまって存在する高輝度領域３０１が存在し、ゲインmidG（midG＜maxG）で撮影した画像中（ｂ）の、高輝度領域３０１に対応する領域３０２に、二つの光源の像が分離して現れている場合、ゲインmaxGで撮影した画像の高輝度領域３０１の画像部分を、ゲインmidGで撮影した画像中の領域３０２の画像部分で置換した画像（ｄ）を表示する。【選択図】図３
2019129339.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影した画像をディスプレイに表示する撮影画像表示システムであって、
前記カメラのゲイン×前記カメラの露出時間を撮影設定値として、相互に異なる複数の撮影設定値で前記カメラに画像を撮影させる撮影制御手段と、
第１の撮影設定値で撮影された画像である第１画像中に、高輝度の像が現れている領域である高輝度領域が存在し、前記第１の撮影設定値と異なる、当該第１の撮影設定値も小さな撮影設定値で撮影された画像である第２画像中の前記高輝度領域に対応する領域である対応領域に、複数の分離された高輝度の像が現れている場合に、前記第１画像の前記高輝度領域の画像部分を、前記第２画像の前記対応領域の画像部分を用いて、当該高輝度領域の画像部分が、複数の分離された高輝度の像を表すように修正し、修正後の前記第１画像を前記ディスプレイに表示する修正画像表示手段とを有することを特徴とする撮影画像表示システム。
【請求項２】
請求項１記載の撮影画像表示システムであって、
前記撮影制御手段は、３以上の異なる撮影設定値で前記カメラに画像を撮影させ、
前記第１の撮影設定値は、最大の撮影設定値であり、
前記修正画像表示手段は、前記第１の撮影設定値で撮影された画像である第１画像中に、高輝度の像が現れている領域である高輝度領域が存在し、前記第１の撮影設定値と異なる撮影設定値のいずれかについて、当該撮影設定値で撮影された画像中の前記高輝度領域に対応する領域である対応領域に、複数の分離された高輝度の像が現れている場合に、前記対応領域に複数の分離された高輝度の像が現れている画像のうちの最も大きい撮影設定値で撮影された画像を前記第２画像として、前記第１画像の前記高輝度領域の画像部分を、前記第２画像の前記対応領域の画像部分を用いて、当該高輝度領域の画像部分が、複数の分離された高輝度の像を表すように修正し、修正後の前記大画像を前記ディスプレイに表示することを特徴とする撮影画像表示システム。
【請求項３】
請求項１または２記載の撮影画像表示システムであって、
前記修正画像表示手段は、前記修正を、前記第１画像の前記高輝度領域の画像部分を、前記第２画像の前記対応領域の画像部分に置換することにより行うことを特徴とする撮影画像表示システム。
【請求項４】
請求項１または２記載の撮影画像表示システムであって、
前記修正画像表示手段は、前記修正を、前記第１画像の前記高輝度領域の画像部分に、前記第２画像の前記対応領域の画像部分を合成することにより行うことを特徴とする撮影画像表示システム。
【請求項５】
請求項１または２記載の撮影画像表示システムであって、
前記修正画像表示手段は、前記修正を、前記第１画像の前記高輝度領域の画像部分を、前記第２画像の前記対応領域の画像部分で、当該画像部分の高輝度な画素部分ほど、前記第１画像の画素色が現れるようにマスクすることにより行うことを特徴とする撮影画像表示システム。
【請求項６】
請求項１、２、３、４または５記載の撮影画像表示システムを備えた電子ミラーシステムであって、
前記カメラは自動車に搭載された自動車の後方もしくは左後方もしくは右後方を撮影するカメラであり、
前記ディスプレイは、前記自動車の運転者から視認可能な位置に配置されていることを特徴とする電子ミラーシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した画像を表示する撮影画像表示システムに関するものである。
【背景技術】
【０００２】
カメラで撮影した画像を表示する撮影画像表示システムとしては、ルームミラーに代えてフロントウインドシールドの上方の位置に配置したディスプレイに、自動車後方を撮影するカメラで撮影した画像を表示する電子ミラーシステムが知られている（たとえば、特許文献１、２）。
【０００３】
また、撮影画像表示システムにおける技術としては、自動車のヘッドライトを含む画像を撮影するシステムにおいて、カメラの撮影した画像中に輝度値が飽和した画素の領域が存在する場合に、カメラのゲインを小さくしたり、カメラのシャッタースピードを早くして、ヘッドライトの像がサチュレーションによって滲んで、二つのヘッドライトが一つの光源として現れてしまうことを抑制する技術が知られている（たとえば、特許文献３）。
【０００４】
また、撮影画像表示システムにおける技術としては、カメラとして、ゲインが画素毎に調整可能なカメラを用い、標準的なゲインによって撮影した画像中に輝度値が飽和した画素の領域が発生した場合に、当該輝度値が飽和した画素の領域内の画素についてのみゲインを小さくして撮影を行うことにより、二つのヘッドライトが一つの光源として現れてしまうことを抑制する技術も知られている（たとえば、同特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６-  ６０４１１号公報
【特許文献２】特開２００７-２１４７４９号公報
【特許文献３】特開２００６-３３９９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したカメラの撮影した画像中に輝度値が飽和した画素の領域が存在する場合に、カメラのゲインを小さくしたり、カメラのシャッタースピードを早くすることにより、二つのヘッドライトが一つの光源として現れてしまうことを抑制する技術によれば、画像の全体が暗くなるため、被撮影領域の暗い部分が黒く潰れてしまい、視認できなくなってしまうことがある。
【０００７】
また、上述した輝度値が飽和した画素の領域内の画素についてのみゲインを小さくして撮影を行う技術によれば、画素毎にゲインが調整可能な特殊なカメラを用いることが必要となる。
【０００８】
また、いずれの技術においても、輝度値が飽和した画素の領域が、複数の光源によるものでなく、単一の光源によるものである場合にも、ゲインを低化させてしまう場合があり、このような場合には、メリット無く表示画像の明るさを低下させて、表示画像の視認性を劣化させてしまうこととなる
そこで、本発明は、カメラで撮影した画像を表示する撮影画像表示システムにおいて、表示画像の視認性をできるだけ低化することなく、二つの光源が一つの光源として表れてしまうことを抑制することを課題とする。
【課題を解決するための手段】
【０００９】
前記課題達成のために、本発明は、カメラで撮影した画像をディスプレイに表示する撮影画像表示システムに、前記カメラのゲイン×前記カメラの露出時間を撮影設定値として、相互に異なる複数の撮影設定値で前記カメラに画像を撮影させる撮影制御手段と、第１の撮影設定値で撮影された画像である第１画像中に、高輝度の像が現れている領域である高輝度領域が存在し、前記第１の撮影設定値と異なる、当該第１の撮影設定値も小さな撮影設定値で撮影された画像である第２画像中の前記高輝度領域に対応する領域である対応領域に、複数の分離された高輝度の像が現れている場合に、前記第１画像の前記高輝度領域の画像部分を、前記第２画像の前記対応領域の画像部分を用いて、当該高輝度領域の画像部分が、複数の分離された高輝度の像を表すように修正し、修正後の前記第１画像を前記ディスプレイに表示する修正画像表示手段とを備えたものである。
【００１０】
ここで、このような撮影画像表示システムは、前記撮影制御手段を、３以上の異なる撮影設定値で前記カメラに画像を撮影させるものとし、前記第１の撮影設定値を、最大の撮影設定値とすると共に、前記修正画像表示手段において、前記第１の撮影設定値で撮影された画像である第１画像中に、高輝度の像が現れている領域である高輝度領域が存在し、前記第１の撮影設定値と異なる撮影設定値のいずれかについて、当該撮影設定値で撮影された画像中の前記高輝度領域に対応する領域である対応領域に、複数の分離された高輝度の像が現れている場合に、前記対応領域に複数の分離された高輝度の像が現れている画像のうちの最も大きい撮影設定値で撮影された画像を前記第２画像として、前記第１画像の前記高輝度領域の画像部分を、前記第２画像の前記対応領域の画像部分を用いて、当該高輝度領域の画像部分が、複数の分離された高輝度の像を表すように修正し、修正後の前記大画像を前記ディスプレイに表示するようにしてもよい。
【００１１】
ここで、以上の撮影画像表示システムは、前記修正画像表示手段において、前記修正を、前記第１画像の前記高輝度領域の画像部分を、前記第２画像の前記対応領域の画像部分に置換することにより行うように構成してもよい。
【００１２】
または、以上の撮影画像表示システムは、前記修正画像表示手段において、前記修正を、前記第１画像の前記高輝度領域の画像部分に、前記第２画像の前記対応領域の画像部分を合成することにより行うように構成してもよい。
【００１３】
または、以上の撮影画像表示システムは、前記修正画像表示手段において、前記修正を、前記第１画像の前記高輝度領域の画像部分を、前記第２画像の前記対応領域の画像部分で、当該画像部分の高輝度な画素部分ほど、前記第１画像の画素色が現れるようにマスクすることにより行うように構成してもよい。
【００１４】
また、併せて、本発明は、以上のような撮影画像表示システムを備えた電子ミラーシステムを提供する。ここで、当該電子ミラーシステムにおいて、前記カメラは自動車に搭載された自動車の後方もしくは左後方もしくは右後方を撮影するカメラであり、前記ディスプレイは、前記自動車の運転者から視認可能な位置に配置されている。
【００１５】
以上のような撮影画像表示システムや電子ミラーシステムによれば、カメラのゲイン×前記カメラの露出時間を撮影設定値として、相互に異なる複数の撮影設定値で前記カメラに画像を撮影し、第１の撮影設定値で撮影された画像である第１画像中の、高輝度の像が現れている領域である高輝度領域が、単一の光源によるものなのか、複数の光源がサチュレーションによって滲んで一つの光源状に表れたものであるのかを、第１の撮影設定値より小さな撮影設定値で撮影された画像である第２画像中の前記高輝度領域に対応する領域である対応領域に、複数の分離された高輝度の像が現れているかどうかより識別する。
【００１６】
そして、第１画像中の高輝度領域が、複数の光源がサチュレーションによって滲んで一つの光源状に表れたものであると識別した場合に、第１画像中の高輝度領域を、複数の分離された高輝度の像が現れている第２画像を用いて、第１画像の高輝度領域の画像部分を、当該画像部分が、複数の分離された高輝度の像を表すように修正して表示する。
【００１７】
よって、第１画像の複数の光源がサチュレーションによって滲んで一つの光源状に表れた高輝度領域の画像部分については、複数の分離された光源の像を表すように修正することができると共に、第１画像の複数の単一の光源による高輝度領域の画像部分の明るさを、メリット無く低下させて、表示画像の視認性を劣化させてしまうことも抑止できる。
【発明の効果】
【００１８】
以上のように、本発明によれば、カメラで撮影した画像を表示する撮影画像表示システムにおいて、表示画像の視認性をできるだけ低化することなく、二つの光源が一つの光源として表れてしまうことを抑制することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る電子ミラーシステムの構成を示すブロック図である。
【図２】本発明に係る夜間表示処理を示すフローチャートである。
【図３】本発明に係る夜間表示処理の処理例を示す図である。
【図４】本発明に係る夜間表示処理の処理例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る電子ミラーシステムの構成を示す。
電子ミラーシステムは自動車に搭載されているシステムであり、図示するように、カメラ１、表示制御装置２、ディスプレイ３を備えている。
ここで、カメラ１は、たとえば、図１ｂに示すように、自動車の後部に配置され自動車の後方のようすを撮影する。また、ディスプレイ３は、図１ｃに示すように、フロントウインドシールドの上方の位置、すなわち、伝統的にルームミラーが配置されてきた位置に、表示面を後方側に向けて配置されている。
【００２１】
次に、このような電子ミラーシステムにおいて、夜間に、表示制御装置２が行う夜間表示処理について説明する。なお、現在夜間であるかどうかは、カメラ１で撮影した画像の全体的な輝度や、別途設けた照度センサで検出した照度や自動車のライトのオンなどに応じて検出する。
【００２２】
図２に、夜間表示処理の手順を示す。
まず、本夜間表示処理において用いる定数について示す。
本夜間表示処理においては、カメラ１のゲインを表す定数として、MinG、MidG、MaxGを用いる。但し、MinG＜MidG＜MaxGである。
さて、図示するように、夜間表示処理において、表示制御装置２は、まず、MaxG、MidG、MinGそれぞれのゲインを順次カメラ１に設定して、各ゲインによる画像の撮影を行う（ステップ２０２）。
【００２３】
そして、ステップ２０２においてゲインMaxGで撮影した画像中に、輝度値が予め定めたしきい値ThL以上の高輝度の画素がまとまった、所定のサイズ以上の領域である高輝度領域が有るかどうかを調べる（ステップ２０４）。ここで、しきい値ThLは、輝度の飽和値または輝度の飽和値未満の飽和値に近い値を設定する。また、所定のサイズは、たとえば、カメラ１から２５０ｍ離れた位置にある1.3ｍ離れた２点が写り込む撮影画像中の２点を包含するサイズとする。
【００２４】
そして、ゲインMaxGで撮影した画像中に、高輝度領域が無ければ（ステップ２０４）、ゲインMaxGで撮影した画像をディスプレイ３に表示し（ステップ２０６）、ステップ２０２からの処理に戻る。
【００２５】
一方、ゲインMaxGで撮影した画像中に、高輝度領域が有れば（ステップ２０４）、存在した高輝度領域の各々について（ステップ２０８、２１８、２２０）、以下の処理を行う。
【００２６】
すなわち、ステップ２０２でゲインMidGで撮影した画像中の、当該高輝度領域と同位置、同サイズの領域が、比較的輝度の低い画素の領域で分断された複数の比較的輝度の高い画素の領域に分離されているかどうか、すなわち、複数の光源の像に分離されているかどうかを調べる（ステップ２１０）。
【００２７】
そして、複数の光源の像に分離されていれば、ゲインMidGで撮影した画像中の当該領域の画像部分を用いてゲインMaxGで撮影した画像を修正し（ステップ２１２）、この高輝度領域についての処理を終了する。
【００２８】
ここで、この修正は、ゲインMaxGで撮影した画像中の当該高輝度領域の画像部分を、ゲインmidGで撮影した画像中の当該高輝度領域と同位置、同サイズの領域の画像部分で置換することにより行う。但し、この修正は、ゲインMaxGで撮影した画像中の当該高輝度領域の画像部分に、ゲインmidGで撮影した画像中の当該高輝度領域と同位置、同サイズの領域の画像部分を合成することや、ゲインMaxGで撮影した画像中の当該高輝度領域の画像部分を、ゲインmidGで撮影した画像中の当該高輝度領域と同位置、同サイズの領域の画像部分をマスクとして用いて修正すること等によって行うようにしてもよい。
【００２９】
一方、ゲインMidGで撮影した画像中の、当該高輝度領域と同位置、同サイズの領域が、複数の光源の像に分離されていなければ（ステップ２１０）、ステップ２０２でゲインMinGで撮影した画像中の、当該高輝度領域と同位置、同サイズの領域が、複数の光源の像に分離されているかどうかを調べる（ステップ２１４）。
【００３０】
そして、複数の光源の像に分離されていれば、ゲインMinGで撮影した画像中の当該領域の画像部分を用いてゲインMaxGで撮影した画像を修正し（ステップ２１６）、この高輝度領域についての処理を終了する。
【００３１】
ここで、このゲインMinGで撮影した画像中の当該領域の画像部分を用いた、ゲインMaxGで撮影した画像の修正は、ステップ２１２と同様に行う。
一方、ゲインMinGで撮影した画像中の、当該高輝度領域と同位置、同サイズの領域が、複数の光源の像に分離されていなければ（ステップ２１４）、そのままこの高輝度領域についての処理を終了する。
【００３２】
そして、以上のステップ２１０-２１６の処理を、ステップ２０４で検出した各高輝度領域について行ったならば、ゲインMaxGで撮影した画像をディスプレイ３に表示し（ステップ２２２）、ステップ２０２からの処理に戻る。ただし、ステップ２２２で表示するゲインMaxGで撮影した画像は、ステップ２１２やステップ２１６による修正が行われている場合は、当該修正後のゲインMaxGで撮影した画像である。
【００３３】
以上、夜間に、表示制御装置２が行う夜間表示処理について説明した。
このような夜間表示処理の処理例を図３に示す。
ここで、図３ａ、ｂ、ｃは、夜間に後続車両が存在するときに撮影された画像を表しており、図３ａはゲインmaxGで撮影した画像、図３ｂはゲインmidGで撮影した画像、図３ｃはゲインminGで撮影した画像である。
【００３４】
図示するように、この例では、図３ａのゲインmaxGで撮影した画像では、サチュレーションにより、後続車の二つのヘッドライトが連続した一つの光源の像として現れた高輝度領域３０１が存在する。
【００３５】
一方、図３ｂに示すように、ゲインmidGで撮影した画像中の、図３ａの高輝度領域３０１と同位置、同サイズの領域３０２には、後続車の二つのヘッドライトが二つの光源の像として分離して現れている。また、図３ｃに示すように、ゲインminGで撮影した画像中の、図３ａの高輝度領域３０１と同位置、同サイズの領域３０３にも、後続車の二つのヘッドライトが二つの光源の像として分離して現れている。
【００３６】
そして、本夜間表示処理では、このような場合、ゲインmaxGで撮影した画像の高輝度領域３０１の画像部分を、当該高輝度領域３０１と同位置、同サイズの領域３０２、３０３に二つの光源の像が分離して現れているゲインmidGで撮影した画像とゲインminGで撮影した画像のうち、より大きなゲインmidGで撮影した画像中の当該高輝度領域３０１と同位置、同サイズの領域３０２の画像部分で置換することにより修正した図３ｄに示す画像が表示される。
【００３７】
なお、上述したように、夜間表示処理では、ゲインmaxGで撮影した画像の高輝度領域３０１の修正を、ゲインmaxGで撮影した画像の高輝度領域３０１の画像部分に、ゲインmidG/minGで撮影した画像中の当該高輝度領域３０１と同位置、同サイズの領域３０２/３０３の画像部分を、所定比率で合成することにより行うようにしてもよい。すなわち、たとえば、図４ａ１に示すゲインmaxGで撮影した画像の高輝度領域３０１に、図４ａ２に示すゲインmidGで撮影した画像中の領域３０２の画像部分を、図４ａ３に示すように所定の透明度で重畳表示することにより、当該修正を行う等してもよい。
【００３８】
また、上述したように、夜間表示処理では、ゲインmaxGで撮影した画像の高輝度領域３０１の修正を、ゲインmidG/minGで撮影した画像中の該高輝度領域３０１と同位置、同サイズの領域３０２/３０３の画像部分をマスクとして用いて、ゲインmaxGで撮影した画像の高輝度領域３０１の画像部分をマスクすることにより行うようにしてもよい。
すなわち、この場合には、たとえば、図４ｂ１のゲインmaxGで撮影した画像の高輝度領域３０１の画像部分のマスクとして、図４ｂ２に示すゲインmidGで撮影した画像中の領域３０２の画像部分を用いて、当該マスクでゲインmaxGで撮影した画像の高輝度領域３０１の画像部分をマスクする。また、この場合において、ゲインmidGで撮影した画像中の領域３０２の画像部分は、当該画像部分中の画素の輝度値が大きいほど、当該画素に重なる図４ｂ１のゲインmaxGで撮影した画像の高輝度領域３０１の画素の色を大きな割合で表示し、当該画像部分中の画素の輝度値が小さいほど黒色を大きな割合で表示するマスクとして用いる。
【００３９】
以上、本発明の実施形態について説明した。
以上のように、本実施形態では、ゲインMaxGで撮影した画像中の高輝度領域が、単一の光源によるものなのか、複数の光源がサチュレーションによって滲んで一つの光源状に表れたものであるのかを、ゲインMidGやゲインMinGで撮影した画像中の高輝度領域に対応する領域に、複数の分離された高輝度の像が現れているかどうかより識別する。
【００４０】
そしてゲインMaxGで撮影した画像中の高輝度領域３０１のうちの、複数の光源がサチュレーションによって滲んで一つの光源状に表れたものであると識別できた高輝度領域のみ、複数の分離された高輝度の像が現れているゲインMidGまたはゲインMinGで撮影した画像中の当該高輝度領域に対応する領域の画像部分を用いて、当該高輝度領域の画像部分が、複数の分離された高輝度の像を表すように修正して表示する。
【００４１】
よって、ゲインMaxGで撮影した画像中の複数の光源がサチュレーションによって滲んで一つの光源状に表れた高輝度領域の画像部分については、複数の分離された光源の像を表すように修正することができると共に、ゲインMaxGで撮影した画像中の単一の光源による高輝度領域の画像部分の明るさを、メリット無く低下させて、表示画像の視認性を劣化させてしまうこともない。
【００４２】
また、当該修正を、ゲインMidGで撮影した画像を、ゲインMinGで撮影した画像よりも優先的に使用して行うので、修正による高輝度領域の明るさの低下をできるだけ小さく抑えることができる。
【００４３】
ところで、以上の実施形態では、夜間表示処理において、カメラ１のゲインを異ならせて複数の画像を撮影したが、これは、カメラ１の露出時間（シャッタースピード）、または、カメラ１の露出時間×ゲインを異ならせて複数の画像を撮影するようにしてもよい。
【００４４】
すなわち、たとえば、夜間表示処理において、カメラ１の露出時間を３段階に異ならせで画像を撮影し、以上の実施形態においてゲインMaxGで撮影した画像に代えて、撮影に用いた露出時間が最大の画像を用い、ゲインMidGで撮影した画像に代えて、撮影に用いた露出時間が２番目に長い画像を用い、ゲインMinGで撮影した画像に代えて、撮影時に用いた露出時間が最小の画像を用いるようにする。
【００４５】
または、たとえば、夜間表示処理において、カメラ１の露出時間×ゲインを３段階に異ならせで画像を撮影した、以上の実施形態においてゲインMaxGで撮影した画像に代えて、撮影に用いた露出時間×ゲインが最大の画像を用い、ゲインMidGで撮影した画像に代えて、撮影に用いた露出時間×ゲインが２番目に長い画像を用い、ゲインMinGで撮影した画像に代えて、撮影に用いた露出時間×ゲインが最小の画像を用いるようにする。
【００４６】
また、以上の実施形態では、カメラ１で撮影した画像を、フロントウインドシールドの上方の位置に配置したディスプレイ３に表示する電子ミラーシステムについて説明したが、以上の夜間表示処理は、カメラ１で撮影した左後方/右後方の画像を、左/右に配置したディスプレイ３に表示する電子ミラーシステム、すなわち、伝統的なサイドミラーを代替する電子ミラーシステム等の、カメラ１で光源を含む画像を撮影して表示する、その他の任意の撮影画像表示システムに同様に適用することができる。
【符号の説明】
【００４７】
１…カメラ、２…表示制御装置、３…ディスプレイ。
【図１】
2019129339.tif 000003
【図２】
2019129339.tif 000004
【図３】
2019129339.tif 000005
【図４】
2019129339.tif 000006