(57)【要約】【課題】  自律走行のための映像処理方法及び装置を提供する。【解決手段】  一実施形態に係る映像処理方法は、入力映像の第１フレームで対象オブジェクトを認識し、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整し、前記第１フレーム及び前記第２フレームを合成して合成映像を生成するステップを含む。【選択図】      図１
2018142954.tif 000002
【特許請求の範囲】
【請求項１】
入力映像の第１フレームで対象オブジェクトを認識するステップと、
前記対象オブジェクトの明度に基づいて、前記入力映像の第２フレームの露出を調整するステップと、
前記第１フレーム及び前記第２フレームを合成して合成映像を生成するステップと、
を含む、映像処理方法。
【請求項２】
前記対象オブジェクトを認識するステップは、
前記第１フレームで道路を認識するステップと、
前記道路上の一定の範囲を認識領域に設定するステップと、
前記認識領域で前記対象オブジェクトを認識するステップと、
を含む、請求項１に記載の映像処理方法。
【請求項３】
前記対象オブジェクトを認識するステップは、前記第１フレーム及び車両の位置に基づいて前記対象オブジェクトを認識するステップを含む、請求項１に記載の映像処理方法。
【請求項４】
前記対象オブジェクトは、トンネルの入口、トンネルの出口、及び車両のライトのうち少なくとも１つ又は少なくとも２つの組合せを含む、請求項１ないし３のうち何れか一項に記載の映像処理方法。
【請求項５】
前記第２フレームの露出を調整するステップ及び前記合成映像を生成するステップは、前記対象オブジェクトの明度と前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合に実行される、請求項１ないし４のうち何れか一項に記載の映像処理方法。
【請求項６】
前記第２フレームの露出を調整するステップは、
前記対象オブジェクトの明度が前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度に比べて大きい場合、前記第２フレームの露出を減少させるステップと、
前記対象オブジェクトの明度が前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度に比べて小さい場合、前記第２フレームの露出を増加させるステップと、
を含む、請求項１ないし４のうち何れか一項に記載の映像処理方法。
【請求項７】
前記合成映像を生成するステップは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域とを合成するステップを含む、請求項１ないし６のうち何れか一項に記載の映像処理方法。
【請求項８】
前記合成映像を生成するステップは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域のうち道路上の領域を合成するステップを含む、請求項１ないし６のうち何れか一項に記載の映像処理方法。
【請求項９】
前記第２フレームの露出を調整するステップは、車両が夜間に明るいトンネルに進入する場合、前記車両が昼間に暗いトンネルから進出する場合、及び前記車両に逆光が照らす場合のうち少なくとも１つ又は少なくとも２つの組合せに対応して、前記第２フレームの露出を減少させるステップを含む、請求項１ないし４のうち何れか一項に記載の映像処理方法。
【請求項１０】
前記第２フレームの露出を調整するステップは、車両が昼間に暗いトンネルに進入する場合、及び前記車両が夜間に明るいトンネルから進出する場合の双方又は一方に対応して、前記第２フレームの露出を減少させるステップを含む、請求項１ないし４のうち何れか一項に記載の映像処理方法。
【請求項１１】
請求項１ないし１０のうちの何れか一項に記載の映像処理方法を映像処理装置のコンピュータに実行させるコンピュータプログラム。
【請求項１２】
入力映像の第１フレームで対象オブジェクトを認識し、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整し、前記第１フレーム及び前記第２フレームを合成して合成映像を生成するプロセッサを含む、映像処理装置。
【請求項１３】
前記プロセッサは、前記第１フレームで道路を認識し、前記道路上に認識領域を設定し、前記認識領域で前記対象オブジェクトを認識する、請求項１２に記載の映像処理装置。
【請求項１４】
前記プロセッサは、前記第１フレーム及び車両の位置に基づいて前記対象オブジェクトを認識する、請求項１２に記載の映像処理装置。
【請求項１５】
前記対象オブジェクトは、トンネルの入口、トンネルの出口、及び車両のライトのうち少なくとも１つ又は少なくとも２つの組合せを含む、請求項１２ないし１４のうち何れか一項に記載の映像処理装置。
【請求項１６】
前記プロセッサは、前記対象オブジェクトの明度と前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合、前記第２フレームの露出を調整する、請求項１２ないし１５のうち何れか一項に記載の映像処理装置。
【請求項１７】
前記プロセッサは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域とを合成して前記合成映像を生成する、請求項１２ないし１５のうち何れか一項に記載の映像処理装置。
【請求項１８】
前記プロセッサは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域のうち道路上の領域を合成して前記合成映像を生成する、請求項１２ないし１６のうち何れか一項に記載の映像処理装置。
【請求項１９】
前記プロセッサに接続され、コンピュータで読出し可能な命令語を含むメモリをさらに含み、
前記プロセッサは、前記命命令語に基づいて前記対象オブジェクトを認識し、露出を調整し、前記合成映像を生成するように制御される、請求項１２に記載の映像処理装置。
【請求項２０】
前記入力映像を生成するイメージセンサをさらに含む、請求項１９に記載の映像処理装置。
【請求項２１】
前記映像処理装置は、前記合成映像に基づいて走行する自律走行車両である、請求項１２ないし２０のうち何れか一項に記載の映像処理装置。
【請求項２２】
入力映像の第１フレームで対象オブジェクトを認識し、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整し、前記第１フレーム及び前記第２フレームを合成して合成映像を生成する映像処理装置と、
前記合成映像に基づいて車両を制御する制御装置と、
を含む、自律走行車両。
【請求項２３】
前記映像処理装置は、前記第１フレームで道路を認識し、前記道路上に認識領域を設定し、前記認識領域で前記対象オブジェクトを認識する、請求項２２に記載の自律走行車両。
【請求項２４】
複数のフレームを含むイメージストリームを生成するイメージセンサと、
前記イメージストリームの第１フレーム内の対象オブジェクトを認識し、前記第１フレーム内の前記対象オブジェクトに関して識別された特徴に基づいて、前記イメージセンサの動作パラメータを調整する第１動作、及び補助センサを駆動させる第２動作のうち少なくとも１つを行い、前記調整された動作パラメータ及び前記補助センサのうち少なくとも１つを用いて前記対象オブジェクトを含む第２フレームを取得し、前記第２フレームに基づいて自律走行車両を制御するプロセッサと、
を含む、自律走行車両。
【発明の詳細な説明】
【技術分野】
【０００１】
下記の実施形態は、自律走行のための映像処理方法及び装置に関する。
【背景技術】
【０００２】
自律走行（Ａｕｔｏｍａｔｉｃ  Ｄｒｉｖｉｎｇ）は、車両走行中に要求される各種の操作を自動で行うものであり、例えば、自律走行車両は運転者がハンドルと加速ペダル、ブレーキなどを操作しなくても自ら道路で走ることができる。車両の自律走行のためには車間距離を自動で維持する技術、車線離脱及び車線維持の有無を知らせる技術、後方及び側方の検出物を知らせる技術などが使用される。自律走行のための様々な技術は、車両で把握される周辺映像情報を用いて実行される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、自律走行のための映像処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００４】
一実施形態によると、映像処理方法は、入力映像の第１フレームで対象オブジェクトを認識するステップと、前記対象オブジェクトの明度に基づいて、前記入力映像の第２フレームの露出を調整するステップと、前記第１フレーム及び前記第２フレームを合成して合成映像を生成するステップとを含む。
【０００５】
前記対象オブジェクトを認識するステップは、前記第１フレームで道路を認識するステップと、前記道路上の一定の範囲を認識領域に設定するステップと、前記認識領域で前記対象オブジェクトを認識するステップとを含み得る。
【０００６】
前記対象オブジェクトを認識するステップは、前記第１フレーム及び車両の位置に基づいて前記対象オブジェクトを認識するステップを含み得る。
【０００７】
前記対象オブジェクトは、トンネルの入口、トンネルの出口、及び車両のライトのうち少なくとも１つ又は少なくとも２つの組合せを含み得る。
【０００８】
前記第２フレームの露出を調整するステップ及び前記合成映像を生成するステップは、前記対象オブジェクトの明度と前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合に実行され得る。
【０００９】
前記第２フレームの露出を調整するステップは、前記対象オブジェクトの明度が前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度に比べて大きい場合、前記第２フレームの露出を減少させるステップと、前記対象オブジェクトの明度が前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度に比べて小さい場合、前記第２フレームの露出を増加させるステップとを含み得る。
【００１０】
前記合成映像を生成するステップは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域とを合成するステップを含み得る。
【００１１】
前記合成映像を生成するステップは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域のうち道路上の領域を合成するステップを含み得る。
【００１２】
前記第２フレームの露出を調整するステップは、車両が夜間に明るいトンネルに進入する場合、前記車両が昼間に暗いトンネルから進出する場合、及び前記車両に逆光が照らす場合のうち少なくとも１つ又は少なくとも２つの組合せに対応して、前記第２フレームの露出を減少させるステップを含み得る。
【００１３】
前記第２フレームの露出を調整するステップは、車両が昼間に暗いトンネルに進入する場合、及び前記車両が夜間に明るいトンネルから進出する場合の双方又は一方に対応して、前記第２フレームの露出を減少させるステップを含み得る。
【００１４】
一実施形態によると、映像処理装置は、入力映像の第１フレームで対象オブジェクトを認識し、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整し、前記第１フレーム及び前記第２フレームを合成して合成映像を生成するプロセッサを含む。
【００１５】
前記プロセッサは、前記第１フレームで道路を認識し、前記道路上に認識領域を設定し、前記認識領域で前記対象オブジェクトを認識し得る。
【００１６】
前記プロセッサは、前記第１フレーム及び車両の位置に基づいて前記対象オブジェクトを認識し得る。
【００１７】
前記プロセッサは、前記対象オブジェクトの明度と前記第１フレームで前記対象オブジェクトを除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合、前記第２フレームの露出を調整し得る。
【００１８】
前記プロセッサは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域とを合成して前記合成映像を生成し得る。
【００１９】
前記プロセッサは、前記第１フレームで前記対象オブジェクトを除いた残りの領域と前記第２フレームで前記対象オブジェクトに対応する領域のうち道路上の領域を合成して前記合成映像を生成し得る。
【００２０】
前記映像処理装置は、前記プロセッサに接続され、コンピュータで読出し可能な命令語を含むメモリをさらに含み、前記プロセッサは、前記命命令語に基づいて前記対象オブジェクトを認識し、露出を調整し、前記合成映像を生成するように制御され得る。
【００２１】
前記映像処理装置は、前記入力映像を生成するイメージセンサをさらに含み得る。
【００２２】
前記映像処理装置は、前記合成映像に基づいて走行する自律走行車両であり得る。
【００２３】
一実施形態に係る自律走行車両は、入力映像の第１フレームで対象オブジェクトを認識し、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整し、前記第１フレーム及び前記第２フレームを合成して合成映像を生成する映像処理装置と、前記合成映像に基づいて車両を制御する制御装置とを含む。
【００２４】
前記映像処理装置は、前記第１フレームで道路を認識し、前記道路上に認識領域を設定し、前記認識領域で前記対象オブジェクトを認識し得る。
【００２５】
一実施形態に係る自律走行車両は、複数のフレームを含むイメージストリームを生成するイメージセンサと、前記イメージストリームの第１フレーム内の対象オブジェクトを認識し、前記第１フレーム内の前記対象オブジェクトに関して識別された特徴に基づいて、前記イメージセンサの動作パラメータを調整する第１動作、及び補助センサを駆動させる第２動作のうち少なくとも１つを行い、前記調整された動作パラメータ及び前記補助センサのうち少なくとも１つを用いて前記対象オブジェクトを含む第２フレームを取得し、前記第２フレームに基づいて自律走行車両を制御するプロセッサとを含む。
【発明の効果】
【００２６】
本発明によると、自律走行のための映像処理方法及び装置を提供することができる。
【図面の簡単な説明】
【００２７】
【図１】一実施形態に係る映像処理過程を示す図である。
【図２】一実施形態に係る認識領域を説明する図である。
【図３】一実施形態に係る位置情報を活用した認識過程を示す図である。
【図４】一実施形態に係るトンネルの入口を示す図である。
【図５】一実施形態に係るトンネルの出口を示す図である。
【図６】一実施形態に係る車両のライトを示す図である。
【図７】一実施形態に係る露出調整に基づいて連続した合成映像を生成する過程を示す図である。
【図８】一実施形態に係る映像処理装置を示すブロック図である。
【図９】一実施形態に係る自律走行車両を示すブロック図である。
【図１０】一実施形態に係る映像処理方法を示した動作フローチャートである。
【発明を実施するための形態】
【００２８】
本明細書に開示されている本発明の概念による実施形態に対して特定の構造的又は機能的な説明は、単に本発明の概念による実施形態を説明するための目的として例示されたものであり、本発明の概念による実施形態は様々な形態で実施され、本明細書に説明された実施形態に限定されることはない。
【００２９】
第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
【００３０】
いずれかの構成要素が他の構成要素に「連結されて」いると言及された場合、その次の構成要素に直接的に連結されてもよく、又は中間に他の構成要素が存在することもあり得ると理解されなければならない。一方いずれかの構成要素が他の構成要素に「直接連結されて」いるか「直接接続されて」いと言及される場合には、中間に他の構成要素が存在しないものとして理解されなければならない。構成要素間の関係を説明する表現、例えば「〜間に」と「すぐ〜の間に」、又は「〜に隣接する」と「〜に直接に隣接する」などのように解釈されなければならない。
【００３１】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００３２】
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００３３】
以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
【００３４】
図１は、一実施形態に係る映像処理過程を示す図である。図１を参照すると、映像処理装置１００は、入力映像に基づいて合成映像を生成する。映像処理装置１００は、１つ又はそれ以上のソフトウェアモジュール、１つ又はそれ以上のハードウェアモジュール、又はこれらの様々な組合せで実現される。
【００３５】
映像処理装置１００は車両に搭載されてもよく、合成映像は車両の自律走行のために使用されてもよい。自律走行は、車両の走行中に要求される各種の操作を自動に行うことにある。例えば、自律走行状態で車両は運転者のハンドル操作、加速操作及び減速操作などを行わなくても自ら走行できる。車両の自律走行のために車両間の距離を自動に維持する技術、車線離脱や車線維持の有無を知らせる技術、車両周辺の障害物を知らせる技術などが使用される。
【００３６】
自律走行のための様々な技術は、車両で把握される様々な検出情報を用いて実行される。例えば、車両は車両に備えられたカメラを用いて車両周辺の映像情報を取得し、映像情報を用いて車両周辺の地形地物を把握し得る。もし、車両が明度対比が大きい環境にある場合、車両周辺の映像情報から車両周辺の地形地物を円滑に把握し難い。例えば、車両がトンネルに進入する場合、トンネルの入口周辺の照度は高く、トンネル内部の照度は低い状況であるため、車両がトンネル内部の状態を把握することが困難である。
【００３７】
映像処理装置１００は、入力映像で周辺に比べて明度対比（又はコントラスト）の大きい部分を認識し、該当部分の明度を調整して合成映像を生成する。例えば、映像処理装置１００は、ＨＤＲ（ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ）方式によって合成映像を生成し得る。一実施形態によると、周辺に比べて明度対比が大きいと予測されるオブジェクトは予め決定され、映像処理装置１００は、入力映像で予め決定されたオブジェクトを認識する。例えば、予め決定されたオブジェクトは、トンネルの入口、トンネルの出口、及び車両のライトのうち少なくとも１つ、又は少なくとも２つの組合せを含んでもよく、これに限定されることはない。以下で予め決定されたオブジェクトは、対象オブジェクトと称される。映像処理装置１００は、入力映像から対象オブジェクトを認識し、対象オブジェクトの明度を調整して合成映像を生成する。
【００３８】
入力映像は、連続的な複数のフレームを含む。例えば、入力映像は、第１フレーム１１０及び第２フレーム１２１を含む。第２フレーム１２１は、第１フレーム１１０の次のフレームである。以下では、第１フレーム１１０及び第２フレーム１２１に基づいて映像処理装置１００の動作を説明するが、下記の説明は入力映像の他のフレームにも適用され得る。
【００３９】
映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５を認識する。対象オブジェクト１１５を認識することは、対象オブジェクト１１５に対応する領域を認識するものとして理解される。一実施形態によると、映像処理装置１００は、映像基盤のオブジェクト認識方式を用いて対象オブジェクト１１５を認識する。例えば、映像処理装置１００は、入力映像から対象オブジェクト１１５を認識するよう学習された認識装置を用いて対象オブジェクト１１５を認識する。該当の認識装置は、人工ニューラルネットワークを含む。人工ニューラルネットワークは、ディープランニングによって入力映像から対象オブジェクト１１５を認識するように学習される。
【００４０】
他の実施形態によると、映像処理装置１００は、映像基盤のオブジェクト認識方式及び車両の位置情報に基づいて対象オブジェクト１１５を認識してもよい。例えば、映像処理装置１００は、ＧＰＳ情報などを用いて車両の位置を把握する。映像処理装置１００は、地図情報などを用いて車両の位置近辺に予め決定された対象オブジェクトが存在するか否かを判断する。地図情報は、予め決定された対象オブジェクトの類型、位置などが格納される。映像処理装置１００は、車両の位置近辺に予め決定された対象オブジェクトが存在するという判断に応じて、第１フレーム１１０から対象オブジェクト１１５を検出する。
【００４１】
実施形態により、映像処理装置１００は、予め決定された認識領域内で対象オブジェクト１１５を認識する。例えば、認識領域は、道路上の一定の範囲に予め決定されてもよい。この場合、映像処理装置１００は、第１フレーム１１０で道路を認識し、認識された道路上で対象オブジェクト１１５を認識する。そのため、映像処理装置１００は、自律走行に影響を与えない道路以外の領域に不要な演算力を消耗しなくてもよい。
【００４２】
映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５が認識されることにより、第２フレーム１２１の露出を調整する。第２フレーム１２３は、露出が調整された状態を示す。露出調整は、様々な方式で実行される。例えば、映像処理装置１００は、入力映像を撮影したカメラの露出時間を調整したり、該当のカメラの感度を調整したり、入力映像が撮影された後に入力映像の露出をソフトウェア的な方法によって調整し得る。
【００４３】
露出を調整するために他の適切な方法を用いてもよい。例えば、絞り、Ｆ−ストップ、ズーム、焦点、遮蔽（ｓｈｉｅｌｄｉｎｇ）、スペクトルの紫外線や赤外線の部分のような、異なる物理的特性や動作特性、又は異なるパラメータを使用する補助センサ又は補助カメラを用いてもよい。暗いかまたはその他の不利な状況で赤外線を介して補充的な対象情報を取得してもよい。実施形態によると、可視スペクトル及びそのスペクトルで作動する単一カメラの使用に限定されることなく、動作パラメータの修正及び／又は補助イメージ、ライダー（ｌｉｄａｒ）又は音響センサの利用などが主カメラ（ｐｒｉｍａｒｙ  ｃａｍｅｒａ）を補充するために考慮される。例えば、必要に応じて、補助カメラが駆動されて補助カメラのイメージストリームによって主カメラの映像が補完され得る。
【００４４】
映像処理装置１００は、対象オブジェクト１１５の明度に基づいて第２フレーム１２１の露出を調整する。例えば、対象オブジェクト１１５がトンネルの入口である場合、昼間には入力映像によって対象オブジェクト１１５の内部が認識され難い状況であるため、対象オブジェクト１１５の明度が調整される必要がある。一方、夜間には、対象オブジェクト１１５の内部だけではなく、対象オブジェクト１１５の外部環境も暗いため、対象オブジェクト１１５の明度を調整しなくてもよい。
【００４５】
安全な走行のために、自律走行のための映像分析にはリアルタイム性が保障されなければならない。もし、入力映像の全てのフレームに関して露出調整が実行される場合、露出調整及び合成にコンピューティングリソースが大きく消耗されることから、合成映像の生成が遅れることがある。映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５が認識されても、必要な場合にのみ第２フレーム１２１の露出を調整し得る。
【００４６】
一実施形態によると、映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５の明度と対象オブジェクト１１５を除いた残りの領域の明度との間の差に基づいて、第２フレーム１２１の露出調整が必要であるかを決定する。対象オブジェクト１１５を除いた残りの領域の明度は、対象オブジェクト１１５の周辺領域の明度又は対象オブジェクト１１５を除いた残りの領域の平均明度を意味する。例えば、映像処理装置１００は、対象オブジェクト１１５の明度と第１フレーム１１０で対象オブジェクト１１５を除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合、第２フレーム１２１の露出を調整する。一例として、閾値は、２−ステップに決定してもい。ここで、ステップは、入力映像を撮影するカメラの露出計で用いられる露出補正の単位を意味する。
【００４７】
第２フレーム１２１の露出調整が求められるものとして決定された場合、映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５の明度と対象オブジェクト１１５を除いた残りの領域の明度との間の差に基づいて、第２フレーム１２１の露出を調整する。例えば、第１フレーム１１０で対象オブジェクト１１５の明度が対象オブジェクト１１５を除いた残りの領域の明度に比べて大きい場合、映像処理装置１００は、第２フレーム１２１の露出を減少させる。また、第１フレーム１１０で対象オブジェクト１１５の明度が対象オブジェクト１１５を除いた残りの領域の明度に比べて小さい場合、映像処理装置１００は、第２フレーム１２１の露出を増加させる。図１では、対象オブジェクト１１５の明度が対象オブジェクト１１５を除いた残りの領域の明度に比べて小さいため、第２フレーム１２１の露出は増加された。
【００４８】
第２フレーム１２１の露出が調整されることにより、映像処理装置１００は、第１フレーム１１０と第２フレーム１２３を合成して合成映像の第１フレーム１３０を生成する。例えば、映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５を除いた残りの領域と第２フレーム１２３で対象オブジェクト１１５に対応する領域１２５を合成する。又は、映像処理装置１００は、第１フレーム１１０で対象オブジェクト１１５を除いた残りの領域と領域１２５のうち道路上の領域を合成する。
【００４９】
映像処理装置１００は、入力映像に含まれた複数のフレームのうち合成が必要な一部のフレームについて上述した動作を行う。例えば、映像処理装置１００は、入力映像で対象オブジェクト１１５の存在を持続的にモニタリングする。入力映像で対象オブジェクト１１５が認識された場合、映像処理装置１００は、必要に応じて入力映像を調整して合成映像を生成する。合成映像は、車両の自律走行に用いられてもよい。合成映像によって車両周辺の状況がより正確に予測され得る。
【００５０】
図２は、一実施形態に係る認識領域を説明する図である。映像処理装置は、入力映像で対象オブジェクトを認識することにおいて、入力映像の全体領域をスキャンする代わりに、予め決定された認識領域をスキャンする。認識領域は、道路上の一定の範囲も設定されてもよい。映像処理装置は入力映像で道路を認識して、道路上の一定の範囲を認識領域に設定する。
【００５１】
図２を参照すると、入力映像２００が図示されている。映像処理装置は、入力映像２００で道路を認識し、道路上の一定の範囲を認識領域に設定する。認識領域が設定された場合、映像処理装置は、入力映像２００で認識領域以外の部分をスキャンしなくてもよい。したがって、映像処理装置は、認識領域内で対象オブジェクト２１０を迅速かつ効率よく認識できる。
【００５２】
認識領域が設定されることにより、映像処理装置がスキャンしなければならない範囲は減少するため、オブジェクト認識に必要とされるリソースが節約される。また、認識領域が設定されることにより他のオブジェクトが対象オブジェクト２１０として誤認される可能性が減少し得る。例えば、ランプに該当するオブジェクト２２０は車両のライトに該当する対象オブジェクト２１０として誤認される可能性がある。したがって、認識領域が設定されない場合、オブジェクト２２０によって入力映像の露出が調整される。オブジェクト２２０は車両の走行と直接的に関連しないため、オブジェクト２２０による映像の合成によってコンピューティングリソースが浪費される。
【００５３】
道路上の一定の範囲が認識領域として設定される場合、オブジェクト２２０は、映像処理装置によってスキャンされないため、対象オブジェクト２１０として認識されない。映像処理装置は、認識領域内でのみ対象オブジェクト２１０をスキャンすることから、コンピューティングリソースの浪費を防止し、オブジェクト認識の正確度を向上させることができる。
【００５４】
図３は、一実施形態に係る位置情報を活用した認識過程を示す図である。図３を参照すると、地図３１０及び入力映像３２０が図示されている。
【００５５】
映像処理装置は、対象オブジェクトの認識において、位置情報を映像情報と共に利用し得る。位置情報は、車両の位置及び車両周辺オブジェクトの位置を含む。位置情報は、映像処理装置によって生成されたり、又は車両の制御装置によって生成されて映像処理装置に提供される。
【００５６】
位置情報は、様々な測位技術によって生成される。例えば、位置情報は、ＧＰＳ（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）及びＩＭＵ（ｉｎｅｒｔｉａｌ  ｍｅａｓｕｒｅｍｅｎｔ  ｕｎｉｔ）などに基づいて生成されるが、これに限定されることはない。映像処理装置は、位置情報に基づいて車両及び車両周辺オブジェクトの位置を把握し、入力映像に現れたオブジェクトの認識において車両及び車両周辺オブジェクトの位置を活用できる。
【００５７】
例えば、地図３１０には、車両３１３及び対象オブジェクト３１１が表示されている。入力映像３２０には対象オブジェクト３２５が含まれている。映像処理装置は、地図３１０上で車両３１３の前方に対象オブジェクト３１１が位置する地点に基づいて、入力映像３２０から対象オブジェクト３２５を認識できる。実施形態によると、位置情報と映像情報が共に考慮されるため、オブジェクト認識の正確度が向上する。
【００５８】
車両の位置は状況に応じて他の方式により決定されてもよい。例えば、車両がトンネルに進入する前には衛星からＧＰＳ信号を受信するため、車両の位置はＧＰＳに基づいて決定される。又は、車両がトンネルの内部に存在すると、衛星からＧＰＳ信号を受信できないことから、車両の位置はＩＭＵに基づいて決定されてもよい。
【００５９】
図４は、一実施形態に係るトンネルの入口を示す図である。図４を参照すると、昼間の暗いトンネルの入口が含まれた入力映像４１０、昼間の明るいトンネルの入口が含まれた入力映像４２０、夜間の暗いトンネルの入口が含まれた入力映像４３０、及び夜間の明るいトンネルの入口が含まれた入力映像４４０が図示されている。
【００６０】
映像処理装置は、入力映像で対象オブジェクトを認識し、対象オブジェクトの明度と入力映像で、対象オブジェクトを除いた残りの領域の明度との間の差に基づいて入力映像の露出を調整する。例えば、対象オブジェクトの明度と入力映像から対象オブジェクトを除いた残りの領域の明度との間の差が予め決定された閾値よりも大きい場合、入力映像の露出が調整される。図４において、対象オブジェクトはトンネルの入口に該当する。トンネル内部の照明、トンネルの長さ、及びトンネル外部からトンネル内部に入射される光量などに応じて、トンネル内部は明るいか暗いこともあるため、入力映像の露出を調整することにおいて、昼間又は夜間を指示する走行時間及びトンネル内部の明度が全て考慮される。
【００６１】
入力映像４１０は、トンネル外部に位置する車両が昼間に暗いトンネルに進入する場合に撮影されたものである。入力映像４１０で、トンネルの入口は暗く残り部分は明るい。この場合、トンネルの入口の明度と残り部分の明度との間の差が予め決定された閾値よりも大きい。したがって、入力映像４１０が受信される場合、映像処理装置は入力映像４１０の露出を高めて合成映像を生成する。
【００６２】
入力映像４２０は、トンネル外部に位置する車両が昼間に明るいトンネルに進入する場合に撮影されたものである。入力映像４２０で、トンネルの入口と残り部分が全て明るい。この場合、トンネルの入口の明度と残り部分の明度との間の差が予め決定された閾値よりも小さい。したがって、入力映像４２０が受信される場合、映像処理装置は合成映像を生成しなくてもよい。
【００６３】
入力映像４３０は、トンネル外部に位置する車両が夜間に暗いトンネルに進入する場合に撮影されたものである。入力映像４３０で、トンネルの入口と残り部分が全て暗い。この場合、トンネルの入口の明度と残り部分の明度との間の差が予め決定された閾値よりも小さい。したがって、入力映像４３０が受信される場合、映像処理装置は合成映像を生成しなくてもよい。
【００６４】
入力映像４４０は、トンネル外部に位置する車両が夜間に明るいトンネルに進入する場合に撮影されたものである。入力映像４４０で、トンネルの入口は明るくて残り部分は暗い。この場合、トンネルの入口の明度と残り部分の明度との間の差が予め決定された閾値よりも大きい。したがって、入力映像４４０が受信される場合、映像処理装置は、入力映像４４０の露出を低くして合成映像を生成する。
【００６５】
図５は、一実施形態に係るトンネルの出口を示す図である。図５を参照すると、暗いトンネルの明るい出口が含まれた入力映像５１０、暗いトンネルの暗い出口が含まれた入力映像５２０、明るいトンネルの明るい出口が含まれた入力映像５３０、及び明るいトンネルの暗い出口が含まれた入力映像５４０が図示されている。図５において、対象オブジェクトはトンネルの出口に該当する。その他に、図４を参照して説明した事項は図５に適用され得る。
【００６６】
入力映像５１０は、車両が昼間に暗いトンネルから進出する場合を撮影したものである。入力映像５１０でトンネルの出口は明るく残り部分は暗い。この場合、トンネルの出口の明度と残り部分の明度との間の差が予め決定された閾値よりも大きい。したがって、入力映像５１０が受信される場合、映像処理装置は入力映像５１０の露出を低くして合成映像を生成する。
【００６７】
入力映像５２０は、車両が夜間に暗いトンネルから進出する場合を撮影したものである。入力映像５２０でトンネルの出口と残り部分の全てが暗い。この場合、トンネルの出口の明度と残り部分の明度との間の差が予め決定された閾値よりも小さい。したがって、入力映像５２０が受信される場合、映像処理装置は合成映像を生成しなくてもよい。
【００６８】
入力映像５３０は、車両が昼間に明るいトンネルから進出する場合を撮影したものである。入力映像５３０でトンネルの出口と残り部分の全てが明るい。この場合、トンネルの出口の明度と残り部分の明度との間の差が予め決定された閾値よりも小さい。したがって、入力映像５３０が受信される場合、映像処理装置は合成映像を生成しなくてもよい。
【００６９】
入力映像５４０は、車両が夜間に明るいトンネルから進出する場合を撮影したものである。入力映像５４０でトンネルの出口は暗く残り部分は明るい。この場合、トンネルの出口の明度と残り部分の明度との間の差が予め決定された閾値よりも大きい。したがって、入力映像５４０が受信される場合、映像処理装置は入力映像５４０の露出を高めて合成映像を生成する。
【００７０】
図６は、一実施形態に係る車両のライトを示す図である。暗い環境でカメラに明るい光が照射される場合、又は明るい環境でカメラに周辺照度より極めて明るい光が照射される場合、入力映像でオブジェクトを認識することが難しい。例えば、このような状況は、夜間に車両の走行方向と反対方向に近づく対向車のライトがカメラに照射される場合、昼間に街路樹の間で逆光が照らす場合、昼間に隣接の車両又はビルディングに反射した光がカメラに照射される場合、昼間に暗いトンネルから進出する場合などを含む。このような状況で、映像処理装置は、光が強い部分を対象オブジェクトとして見なし入力映像の露出を調整して合成映像を生成する。下記では、夜間に対向車のライトがカメラに照射される場合を例示として説明するが、以下の説明は上述した残りの状況にも同様に適用される。
【００７１】
入力映像６００は夜間に撮影されたものであり、入力映像６００には反対方向の車線で走行中である対向車のライト６１０が含まれている。映像処理装置は、入力映像６００で車両のライト６１０を対象オブジェクトとして認識する。車両のライト６１０は道路上に位置するため、認識領域が道路上の一定の範囲に設定された場合にも車両のライト６１０は対象オブジェクトとして認識され得る。
【００７２】
映像処理装置は、車両のライト６１０を認識した後、入力映像６００で車両のライト６１０の明度と車両のライト６１０を除いた残りの領域の明度とを比較する。車両のライト６１０の明度が残りの領域の明度よりも予め決定された閾値以上に大きい場合、映像処理装置は、入力映像６００の露出を調整して合成映像を生成する。したがって、夜間に反対方向の車線に対向車が走行中であっても、合成映像によって自律走行が円滑に実行されることができる。
【００７３】
図７は、一実施形態に係る露出調整に基づいて連続した合成映像を生成する過程を示す図である。図７に示された合成映像の生成過程は、車両が夜間に明るいトンネルに進入する場合、車両が昼間に暗いトンネルから進出する場合、及び車両に逆光が照らす場合などの露出減少シナリオ又は、車両が昼間に暗いトンネルに進入する場合、及び車両が夜間に明るいトンネルから進出する場合などの露出増加シナリオに適用される。
【００７４】
図７を参照すると、入力映像の第１フレーム７１０、入力映像の第２フレーム７２０、入力映像の第３フレーム７３０、入力映像の第４フレーム７４０、入力映像の第５フレーム７５０、及び入力映像の第６フレーム７６０が図示されている。第１フレーム７１０、第３フレーム７３０、及び第５フレーム７５０はオリジナル映像であり、第２フレーム７２０、第４フレーム７４０、及び第６フレーム７６０は露出が調整された映像である。
【００７５】
映像処理装置は、第１フレーム７１０で対象オブジェクトを認識し、第１フレーム７１０で認識された対象オブジェクトの明度に基づいて第２フレーム７２０の露出を調整し得る。例えば、映像処理装置は、第２フレーム７２０の露出を２−ステップ調整させてもよい。映像処理装置は、第１フレーム７１０及び第２フレーム７２０を合成して合成映像７７０の第１フレーム７７１を生成する。同様に、映像処理装置は、第３フレーム７３０及び第４フレーム７４０を合成して合成映像７７０の第２フレーム７７３を生成し、第５フレーム７５０及び第６フレーム７６０を合成して合成映像７７０の第３フレーム７７５を生成する。
【００７６】
図８は、一実施形態に係る映像処理装置を示すブロック図である。図８を参照すると、映像処理装置８００は、プロセッサ８１０及びメモリ８２０を含む。
【００７７】
プロセッサ８１０は、図１〜図７を参照して前述した少なくとも１つの装置を含んだり、図１ないし図７を参照して前述した少なくとも１つの方法を行ってもよい。例えば、プロセッサ８１０は、上述した映像処理に関する動作を処理する。より具体的に、プロセッサ８１０は、入力映像の第１フレームで対象オブジェクトを認識し、対象オブジェクトの明度に基づいて入力映像の第２フレームの露出を調整し、第１フレーム及び第２フレームを合成して合成映像を生成する。
【００７８】
メモリ８２０は、コンピュータで読出し可能な命令語を格納する。メモリ８２０に格納された命令語がプロセッサ８１０で実行されると、プロセッサ８１０は上述した映像処理に関する動作を処理する。例えば、プロセッサ８１０は、前記命命令語に基づいて対象オブジェクトを認識し、露出を調整し、前記合成映像を生成するように制御される。また、メモリ８２０は、上述した映像処理に関するデータを格納する。例えば、メモリ８２０は、入力映像、合成映像、及び各種の閾値を格納する。メモリ８２０は、揮発性メモリ又は不揮発性メモリであってもよい。
【００７９】
プロセッサ８１０はプログラムを実行して映像処理装置８００を制御する。映像処理装置８００は、入出力装置（図示せず）によって外部装置（例えば、カメラ又は自律走行車両の制御装置）に接続され、データを交換する。映像処理装置８００は、自律走行車両の少なくとも一部に実現できる。その他に、映像処理装置８００については前述した内容が適用され、より詳細な説明は省略する。
【００８０】
図９は、一実施形態に係る自律走行車両を示すブロック図である。図９を参照すると、自律走行車両９００は、映像処理装置９１０、制御装置９２０、及びカメラ９３０を含む。映像処理装置９１０は、入力映像の第１フレームで対象オブジェクトを認識し、対象オブジェクトの明度に基づいて入力映像の第２フレームの露出を調整し、第１フレーム及び前記第２フレームを合成して合成映像を生成する。カメラ９３０は、自律走行車両９００周辺の映像を撮影し、映像処理装置９１０に自律走行車両９００の周辺の映像を提供する。
【００８１】
制御装置９２０は、合成映像に基づいて車両を制御する。制御装置９２０は、合成映像によって自律走行車両９００の周辺の地形地物を把握し、自律走行状態で運転者がハンドル操作、加速操作、及び減速操作などを行うことなく自律走行車両９００が走行できるように自律走行車両９００を制御する。例えば、制御装置９２０は、合成映像に基づいて車両間の距離を自動で維持したり、車線離脱や車線維持の有無を知らせたり、自律走行車両９００の周辺の障害物を知らせる。
【００８２】
図１０は、一実施形態に係る映像処理方法を示した動作フローチャートである。図１０を参照すると、ステップＳ１０１０において、映像処理装置は、入力映像の第１フレームで対象オブジェクトを認識する。ステップＳ１０２０において、映像処理装置は、前記対象オブジェクトの明度に基づいて前記入力映像の第２フレームの露出を調整する。ステップＳ１０３０において、映像処理装置は、第１フレーム及び第２フレームを合成して合成映像を生成する。その他に、映像処理方法について上述した内容が適用することができ、より詳細な説明は省略する。
【００８３】
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【００８４】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【００８５】
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【００８６】
上述したように実施形態をたとえ限定された図面によって説明したが、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。
【図１】
2018142954.tif 000003
【図２】
2018142954.tif 000004
【図３】
2018142954.tif 000005
【図４】
2018142954.tif 000006
【図５】
2018142954.tif 000007
【図６】
2018142954.tif 000008
【図７】
2018142954.tif 000009
【図８】
2018142954.tif 000010
【図９】
2018142954.tif 000011
【図１０】
2018142954.tif 000012