(57)【要約】【課題】実施形態によれば、周囲の明るさ環境に応じて、特定の色の輝度分布に着目し、前記特定色の視認性を高める装置及び方法を提供する。【解決手段】外部から第１映像を取得する手段と、前記第1映像を処理する映像処理部備える。映像処理部は、前記第１映像の特定色の信号に強調処理を施し、前記強調処理を施した第２映像に対して、前記特定色の信号に対してのみ第１輝度分布データを得、前記取得した前記第1映像に対して、色にかかわらず第２輝度分布データを得、前記第２輝度分布データを用いて、撮像した周囲環境の明るさを推定した明るさデータを得、前記第２輝度分布データと前記明るさデータとを用いて、映像補正トーンカーブを生成し、前記トーンカーブを用いて、前記第２映像に対して階調補正を施し、前記階調補正を施した第３映像を表示用とする。【選択図】図１
2019134394.tif 000002
【特許請求の範囲】
【請求項１】
外部から第１映像を取得する手段と、
前記第１映像の特定色の信号に強調処理を施す手段と、
前記強調処理を施した第２映像に対して、前記特定色の信号に対してのみ第１輝度分布データを得る手段と、
前記取得した前記第1映像に対して、色にかかわらず第２輝度分布データを得る手段と、
前記第２輝度分布データを用いて、撮像した周囲環境の明るさを推定した明るさデータを得る手段と、
前記第２輝度分布データと前記明るさデータとを用いて、映像補正トーンカーブを生成する手段と、
前記トーンカーブを用いて、前記第２映像に対して階調補正を施す手段と、
前記階調補正を施した第３映像を表示用として出力する手段とを備える、映像処理装置。
【請求項２】
前記周囲環境の明るさを推定した前記明るさデータを得る手段は、
前記第２輝度分布データに加え、時間情報、天気情報、ＧＰＳ情報、ヘッドライトのオン/オフ情報の少なくともいずれか一つを活用することで周辺環境の明るさを推定するする請求項１記載の映像処理装置。
【請求項３】
前記第１映像の特定色の信号に前記強調処理を施す手段は、
前記周囲環境の明るさを推定した前記明るさデータを得る手段が推定した前記明るさデータに応じて、前記特定色に施す前記強調処理の程度を変更する、請求項１又は請求項２に記載の映像処理装置。
【請求項４】
前記外部から前記第１映像を取得する手段は、車両に搭載されている請求項1ないし３のいずれかに記載の映像処理装置。
【請求項５】
前記外部から前記第１映像を取得する手段は車両に搭載されている、請求項1ないし３のいずれかに記載の映像処理装置。
【請求項６】
前記特定色は、複数である、請求項1又は２に記載の映像処理装置。
【請求項７】
外部から第１映像を取得する手段と、前記第1映像を処理する映像処理部備える映像処理方法において、
前記第１映像の特定色の信号に強調処理を施すこと、
前記強調処理を施した第２映像に対して、前記特定色の信号に対してのみ第１輝度分布データを得ること、
前記取得した前記第1映像に対して、色にかかわらず第２輝度分布データを得ること、
前記第２輝度分布データを用いて、撮像した周囲環境の明るさを推定した明るさデータを得ること、
前記第２輝度分布データと前記明るさデータとを用いて、映像補正トーンカーブを生成すること、
前記トーンカーブを用いて、前記第２映像に対して階調補正を施すこと、
前記階調補正を施した第３映像を表示用として出力すること、
を備える、映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、映像処理装置及び映像処理方法に関する。
【背景技術】
【０００２】
自動車の運転分野において、運転支援装置の開発が行われている。今後、運転支援装置には一層の発展が希望されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２１１８２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
自動車の運転支援装置では、走行中の自動車の周囲環境を監視するために、車載カメラシステムが採用されている。車載カメラシステムは、走行中の自動車の周囲の状況を撮影して、ディスプレイ上でドライバの視認範囲の拡大や視認能力を高めるような支援を行う。車載カメラシステムは、例えば路面状態を撮影したり、前方を走行中の車両や後方から接近する車両などを撮影し、ドライバが注意すべきアイテムをディスプレイ上に映像で提供する。
【０００５】
自動車は、種々の環境の下で使用される。夜間における運転もその１つである。夜間運転においては、明部（対向車のヘッドライトなど）に応じて車載カメラが撮影した映像の補正を行いディスプレイ上の映像全体が白色化したり、一部が極端に白くなり、映像全体が見づらくなるのを防いでいる。この場合は、映像全体の輝度を抑制している。このために画面は暗くなる方向へ映像補正される。
【０００６】
ところで、道路の路面中央には進行方向に沿って、白色の線が引かれている区間や、オレンジ（橙）色の線が引かれている区間がある。オレンジ色の線が引かれている区間は、追い越し禁止区間である。
【０００７】
ところが、このオレンジ色の線は、夜間運転時には車載カメラの映像補正の影響で、運転者が認識しにくいという問題がある。特に対向車などのヘッドライトの影響を抑えるために映像全体が暗くなる方向へ自動補正された場合に顕著である。
【０００８】
そこで本実施形態では、周囲の明るさ環境に応じて特定の色の輝度分布に着目し、特定色の視認性を高めることができるようにした映像処理装置及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
一実施形態の映像処理装置は、
外部から第１映像を取得する手段と、
前記第１映像の特定色の信号に強調処理を施す手段と、
前記強調処理を施した第２映像に対して、前記特定色の信号に対してのみ第１輝度分布データを得る手段と、
前記取得した前記第1映像に対して、色にかかわらず第２輝度分布データを得る手段と、
前記第２輝度分布データを用いて、撮像した周囲環境の明るさを推定した明るさデータを得る手段と、
前記第２輝度分布データと前記明るさデータとを用いて、映像補正トーンカーブを生成する手段と、
前記トーンカーブを用いて、前記第２映像に対して階調補正を施す手段と、
前記階調補正を施した第３映像を表示用として出力する手段とを備える。
【図面の簡単な説明】
【００１０】
【図１】図１は一実施形態を示すブロック構成図である。
【図２】図２は一実施形態の動作例を説明するために、特定色の輝度分布の例を示す図である。
【図３】図３は一実施形態の動作例を説明するために、取得した映像の全体の輝度分布の例を示す図である。
【図４】図４は一実施形態の動作例を説明するために、トーンカーブの例を示す図である。
【図５】図５（a）、図５（b）は、一実施形態により出力される補正前の映像と補正後の映像を比較して示す説明図である。
【図６】図６は、他の実施形態を示すブロック構成図である。
【図７】図７は、さらに他の実施形態を示すブロック構成図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態について図面を参照して説明する。図１は一実施形態を示すブロック構成図である。１０１は、例えばカメラなどの映像取得部１０１である。映像取得部１０１からの映像信号は、映像処理部１０の特定色強調部１０２と全体輝度分布算出部１０４に出力されている。
【００１２】
特定色強調部１０２は、予め設定した特定の色についてその明度と彩度のみを定数倍する機能を備える。特定色強調部１０２で、例えばオレンジ色を強調する場合は、オレンジ色として定義する色相の範囲を手動で決定しておいた上で、色相を変化させずにオレンジ色の明度と彩度のみを定数倍するなどを行う。これにより指定した色のみの視認性を向上させることとなる。特定色強調部１０２で、特定色が強調された第２映像信号は、特定色輝度分布算出部１０３、トーンカーブ変換処理部１０７に入力される。
特定色輝度分布算出部１０３は、強調処理後の映像信号の特定色、今回の例であればオレンジ色と定義する色相の範囲に含まれる画素の輝度ヒストグラムを算出する。
【００１３】
一方、全体輝度分布算出部１０４では色に関わらず取得した第１映像信号全体の輝度ヒストグラムを算出する。その全体ヒストグラムから「周辺が暗いか否か」を判定するのが次の周辺環境明るさ推定部１０５である。
【００１４】
この周辺環境明るさ推定部１０５にて、撮像している周辺がある一定レベル暗い、と判定された時に初めてトーンカーブ生成部１０６の出力が開始され、トーンカーブ変換処理部１０７に向けて特定色の分布、今回の例であればオレンジ色の輝度分布に応じたトーンカーブを生成して出力する。或いは準備したトーンカーブを出力する。このトーンカーブは、オレンジ色の部分を強調して表示する効果を高めるものである。
【００１５】
このトーンカーブで映像の変換処理を実行するのがトーンカーブ変換処理部１０７である。即ち、トーンカーブ変換処理部１０７は、特定色強調部１０２からの第２映像信号に対してトーンカーブの変換処理を施す。このトーンカーブ変換処理部１０７から出力された第３映像信号が、映像表示装置１０８に入力されて表示される。なお、第２映像信号が色強調されていない信号であれば、トーンカーブ変換処理は行われない。
【００１６】
さらに実施形態は、周辺環境の明るさが所定レベル以上明るい場合には、特定色の強調、トーンカーブ変換処理は停止される。そのために特定処理停止制御信号が、周辺環境明るさ推定部１０５から出力され、ライン１１０を介して、特定色強調部１０２、トーンカーブ変換処理部１０７に入力されている。特定色の強調、トーンカーブ変換処理が停止された場合は、映像取得部１０１の出力が、一般的な処理（色分離処理、設定された輝度処理、ガンマ補正処理など例えばデフォルトの処理）を経て映像表示装置１０８に入力される。
【００１７】
上記のような状況としては、例えば明るい陽射しの中を車が走行する場合がある。また曇りの日の夕方に、車が走行中で、特定色強調処理とトーンカーブ変換処理が実行されている中で、急に明るいライトが並んで配列された道路を通り抜けるような場合がある。このような場合は、特定色の強調、トーンカーブ変換処理が停止されるが、特定色輝度分布算出部１０３、トーンカーブ生成部１０６は、常に動作し、トーンカーブを制御できる準備状態にある。
【００１８】
図２は、特定色（例えばオレンジ色）の輝度分布の一例を示す。上記例に従いオレンジ色の輝度分布を算出する場合、輝度分布の例としては輝度ヒストグラムなどがある。特定色輝度分布算出部１０３では、映像信号の中で例えばオレンジ色として判定されている画素の出力のみをＹ（輝度）情報へ変換した上で、Ｙの値が一定の範囲に含まれる画素数をカウントする。
今回の例では輝度の分布を表す刻みを５％刻みの範囲としたので、Ｙが０％以上５％未満の画素の個数を一番左の白い棒が表し、Ｙが５％以上１０％未満の画素の個数を左から二番目の白い棒が表し、左から二十番目の白い棒が９５％以上１００％以下の画素の個数を表す。図の例では、左から６番目の白い棒、つまりＹが２５％以上３０％未満の画素の個数が最大となっている。
【００１９】
図３は撮影した映像（例えばフレーム分）全体の輝度分布を示す。輝度分布の例としては輝度ヒストグラムなどがある。全体輝度分布算出部１０４では、色相に関わらず全ての画素をＹ情報へ変換をした上で、Ｙの値が一定の範囲に含まれる画素数をカウントする。今回の例では５％刻みの範囲としたので、Ｙが０％以上５％未満の画素の個数を一番左の白い棒が表し、Ｙが５％以上１０％未満の画素の個数を左から二番目の白い棒が表し、左から二十番目の白い棒が９５％以上１００％以下の画素の個数を表す。図の例では、暗い方の画素数と、明るい方の画素数が多く、中間の明るさの画素数が少ない。映像としては、暗い映像の中に一部に極端に明るい部分が存在するようなイメージである。この輝度ヒストグラムは周辺環境明るさ推定部１０５に入力する。
【００２０】
周辺環境明るさ推定部１０５では、例えば全体の輝度ヒストグラムを用いて周辺が暗いか否か判定する。手動で閾値を予め決定しておくことで、その閾値を下回る輝度が一定数を超えた時に、周辺が暗いと判定する。周辺が暗いと判定されたとき、トーンカーブ生成部１０６がトントーンカーブ生成部１０６が生成したトーンカーブをトーンカーブ変換処理部１０７に設定する。
【００２１】
図４にトーンカーブ生成部１０６にて作成されたトーンカーブの例を示す。トーンカーブ生成方法として、例えば特定色のヒストグラムを積分する方法がある。ヒストグラムが高い程、似た輝度の画素数が多いと解釈でき、その輝度にオレンジ色の追い越し禁止線が含まれてしまうと階調差が圧縮されてしまい、視認性が非常に劣化してしまう。
そこで、実施形態では、ヒストグラムが高ければ高い程トーンカーブの傾きを急にすることで、階調差を拡大してやることで視認性を向上させることが可能となる。以上で述べた事と、特定色のヒストグラムの積分することは同じ意味である。なお図４には、積分の理解を助長するために図２の輝度分布も重ねて表示している。
【００２２】
トーンカーブ変換処理部１０７では、上に述べたトーンカーブを用いて特定色が強調された映像信号の輝度の変換を行い、その結果を映像表示装置１０８へ表示する。その効果を図解したのが図５である。図５（ａ）（映像補正前）と図５（ｂ）（映像補正後）は、路面上にオレンジ色の車線２１、２２と、水溜り２３が存在する例である。映像補正後は、オレンジ色の車線２１、２２が明瞭となっている。結果として、夜間に自動車を運転中、周辺の明るさと特定色を考慮した映像補正により、車載カメラ映像で追い越し禁止線のオレンジ色が認識し易くなった。
【００２３】
図６は、他の実施形態を示す。図１の実施形態との違いは、周辺明るさ推定部１０５に新しく入力される「時間情報、天気情報、ＧＰＳ情報など」のみである。先の実施例では、周辺が暗いか否か、の判定に全体輝度分布のみを活用していたがそれと同時に、ＧＰＳを通じて現在の位置情報と、その位置の日の入り時間が判明していれば、その時間近辺では、周辺が暗い、と判定できる。また、ヘッドライトがオンになっている、という情報が得られた場合も、周辺が暗い、と判定できる。他にも、ワイパーが動作している、などという情報が得られた場合には、周辺には雨が降っており視認性が晴れの日により劣化していると考えられるので、周辺が暗いか否かを判定する閾値を変化させる。
結果として、夜間に自動車を運転中、周辺環境と特定色を考慮した映像補正により、車載カメラ映像で追い越し禁止線のオレンジ色が認識し易くなった。周囲環境に応じても適応的にオレンジ色の視認性を向上することができた。
なお周辺環境明るさ推定部１０５は、常時作動する必要はなく、例えば時間帯、天候の状態、自動車の走行位置、或いは手動操作などにおいて、動作のオンオフが制御されてもよい。このために周辺環境明るさ推定部１０５は、時間情報、天気情報、ＧＰＳ情報などを採用しても良い。
【００２４】
図７は、さらに他の実施形態を示す。図６との違いは、特定色強調部１０２にも周辺明るさ推定部１０５から情報の入力が存在する点である。例えば、周辺明るさ推定部１０５にて、周囲が暗いと同時にワイパーが動作している、と判定された場合には、特定色強調部１０２にて通常以上に特定色を強調する。降雨があると視認性が更に劣化するので、それへの対策である。結果として、夜間に自動車を運転中、降雨に見舞われても周辺環境と特定色を考慮した映像補正により、車載カメラ映像で追い越し禁止線のオレンジ色が認識し易くなった。
【００２５】
上記したように実施形態においては、周辺環境を推定し、特定色の輝度分布を考慮した補正済み映像を表示するという工夫をしている。このように周辺環境を推定し、特定色を強調した上で特定色の輝度分布を考慮して階調を補正するという考え方は新しい考え方である。暗所において視認性が色によって顕著に異なるので、複数色を強調して映像表示を行っても良い。したがって、本映像処理装置は、車載カメラシステムに限らず、多様な場所において利用されることができる。また、本装置における機能のＯＮ/ＯＦＦ、対象とする色、天気情報などを手動で入力しても良い
さらに実施形態において、周辺環境明るさ推定部１０５は、外部要素や外部条件に応じて明るさ判定基準を変更可能であることを説明した。実施形態で説明した方法は、一部であり、さまざまな方法が可能である。例えば、ＧＰＳ情報は、自動車がトンネル内を走行中であることも判断可能であり、トンネル内での判定動作を例えばオフするようにしてもよい。
【００２６】
また上記の実施形態は、オレンジ色を視認しやすくする装置として説明した。しかしオレンジ色に限らず、他の色に関しても視認しやすくする装置として利用できることは勿論である。さらに１つの色のみならず、複数の色を視認しやすくする装置に変更することができることは勿論である。例えば、特定色の処理経路及びトーンカーブの生成系統を、並列に構築して複数とし、複数の色に関する強調処理を行うことで可能である。或いは、複数の色に関する強調処理を時分割で行ってもよく、この場合は、複数の特定色の強調処理及びトーンカーブの生成のために複数系統を並列に設ける必要はない。
【００２７】
上記装置においては、周辺環境が明るい場合は映像処理を全く行われず、周辺環境が暗い場合は強調処理とトーンカーブ変換処理は共に行われる。
【００２８】
また上記の実施形態は、自動車に搭載される装置及び方法として説明した。しかし本実施形態は、自動車に限定されるものではなく、各種の車両、テスト装置などに搭載可能である。例えば信号の赤、青、黄色などを視認しやすくすることも可能である。
【００２９】
さらに上記の説明では、路面を撮像する装置に適用された場合を説明したが、一部の視野において、特定の色の視認効果を高めるための専用の映像処理部として利用されても良いことは勿論である。
【００３０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。
また、本明細書と各図において、既出の図に関して前述したものと同一又は類似した機能を発揮する構成要素には同一の参照符号を付し、重複する詳細な説明を適宜省略している。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。
【符号の説明】
【００３１】
１０・・・映像処理部
１０１・・・映像取得部、
１０２・・・特定色強調部、
１０３・・・特定色輝度分布算出部、
１０４・・・全体輝度分布算出部、
１０５・・・周辺環境明るさ推定部、
１０６・・・トーンカーブ生成部、
１０７・・・トーンカーブ変換処理部、
１０８・・・映像表示装置。
【図１】
2019134394.tif 000003
【図２】
2019134394.tif 000004
【図３】
2019134394.tif 000005
【図４】
2019134394.tif 000006
【図５】
2019134394.tif 000007
【図６】
2019134394.tif 000008
【図７】
2019134394.tif 000009