(57)【要約】【課題】本発明は、画像処理方法、装置及びコンピュータ読み取り可能な記録媒体を提供する【解決手段】画像処理方法は、連続フレーム画像を取得するステップと、前記連続フレーム画像内の現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成するステップと、前記現フレームの前記グレースケールヒストグラムが予め設定された第1条件を満たさなければ、前記現フレーム画像の前記奥行きマップを出力するステップと、生成されたグレースケールヒストグラムが前記第1条件を満たす場合、さらに前記グレースケールヒストグラムが予め設定された第2条件を満たすか否かを判断するステップと、前記グレースケールヒストグラムが前記第2条件を満たす場合、前記現フレーム画像の奥行きマップを補正し、かつ補正された現フレーム画像の奥行きマップを出力するステップと、を含む。【選択図】図１
2020155116.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
連続フレーム画像を取得するステップと、
前記連続フレーム画像内の現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成するステップと、
前記現フレームの前記グレースケールヒストグラムが予め設定された第1条件を満たさなければ、前記現フレーム画像の前記奥行きマップを出力するステップと、
生成されたグレースケールヒストグラムが前記第1条件を満たす場合、さらに前記グレースケールヒストグラムが予め設定された第2条件を満たすか否かを判断するステップと、
前記グレースケールヒストグラムが前記第2条件を満たす場合、前記現フレーム画像の奥行きマップを補正し、かつ補正された現フレーム画像の奥行きマップを出力するステップと、を含むことを特徴とする画像処理方法。
【請求項２】
前記第1条件は、生成された前記グレースケールヒストグラムの全体グレースケール値が第1閾値より小さいことを含む、ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第2条件は、生成されたグレースケールヒストグラムにおいて、グレースケール値が第2閾値より大きいグレースケール区間内に、隣接するグレースケール値を有する画素数の差が第3閾値より大きいことを含む、ことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記現フレーム画像の奥行きマップを補正するステップは、
現フレーム画像内の少なくとも一つの第1対象を識別することと、
前記少なくとも1つの第1対象に関連する画素の奥行き値の正確度を計算することと、
前記少なくとも1つの第1対象に関連する画素の奥行き値の正確度と正確度閾値とを比較することと、
前記少なくとも1つの第1対象に関連する画素に、奥行き値の正確度が前記正確度閾値より低い少なくとも一つの第1画素が存在すると判断された場合、前記少なくとも1つの第1画素の奥行き値を補正することと、を含む、ことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記第1対象に関連する画素の奥行き値の正確度を計算することは、
前のフレーム画像に前記少なくとも1つの第1対象に対応する少なくとも1つの第2対象を確定するステップと、
前記少なくとも1つの第1対象に関連する画素の奥行き値と前記少なくとも1つの第2対象に対応する画素の奥行き値との差を計算して、前記少なくとも1つの第1対象に関連する画素の奥行き値の正確度とするステップと、を含む、ことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記少なくとも1つの第1の画素の奥行き値を補正する前記ことは、
前記第1対象に関連して、その正確度が前記正確度閾値以上である画素の奥行き値に基づいて、前記第1画素の奥行き値を補正するステップ、あるいは、
前記前のフレーム画像における第2対象物に対応する画素の奥行き値に基づいて前記第1画素を補正するステップ、を含む、ことを特徴とする請求項４または５に記載の画像処理方法。
【請求項７】
ディープニューラルネットワークに基づいて前記現フレーム画像の奥行きマップを生成する、ことを特徴とする請求項１に記載の画像処理方法。
【請求項８】
画像処理装置であって、
連続フレーム画像を取得する取得ユニットと、
前記連続フレーム画像内の現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成する生成ユニットと、
処理ユニットと、を含み、
前記処理ユニットは、
前記現フレームの前記グレースケールヒストグラムが予め設定された第1条件を満たさなければ、前記現フレーム画像の前記奥行きマップを出力し、
生成されたグレースケールヒストグラムが前記第1条件を満たす場合、さらに前記グレースケールヒストグラムが予め設定された第2条件を満たすか否かを判断し、
前記グレースケールヒストグラムが前記第2条件を満たす場合、前記現フレーム画像の奥行きマップを補正し、かつ補正された現フレーム画像の奥行きマップを出力するように配置される、ことを特徴とする画像処理装置。
【請求項９】
画像処理装置であって、
非一時的なコンピュータ読み取り可能な命令を記憶するメモリと、
前記コンピュータ読み取り可能な命令を実行し、前記画像処理装置に画像処理方法を実行させるプロセッサと、を含み、前記画像処理方法は、
連続フレーム画像を取得するステップと、
前記連続フレーム画像内の現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成するステップと、
前記現フレームの前記グレースケールヒストグラムが予め設定された第1条件を満たさなければ、前記現フレーム画像の前記奥行きマップを出力するステップと、
生成されたグレースケールヒストグラムが前記第1条件を満たす場合、さらに前記グレースケールヒストグラムが予め設定された第2条件を満たすか否かを判断するステップと、
前記グレースケールヒストグラムが前記第2条件を満たす場合、前記現フレーム画像の奥行きマップを補正し、かつ補正された現フレーム画像の奥行きマップを出力するステップと、を含むことを特徴とする画像処理装置。
【請求項１０】
コンピュータに、請求項１ないし７のいずれか１項に記載の画像処理方法を実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理分野に関し、特に、画像処理方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
画像処理分野において、奥行きマップは、画像における対象の表面が視点（例えば、車両上のカメラ）からの距離に関する情報を表すことができる。奥行きマップは、パーピクセル的にリアルな3D画像の生成に用いられるので、自動運転、3D再構成、拡張現実および仮想現実などのシーンにさらに適用するように、現在において、それによって3Dコンテンツを生成することがますます一般的になっている。例えば、自動運転システムに関して、正確な奥行き予測は姿勢推定と効率的に相互作用、かつ姿勢結果の正確度を向上させることができて、撮影された画像に対する正確な奥行き予測によって、距離測定及び障害物の回避を容易にすることができる。
【０００３】
しかし、奥行き情報は往々に照明、環境、ぼんやりなどの外部要因の影響を受けやすいため、奥行き情報を正確に推定することは困難である。例えば、画面が暗い画像の場合、該画像の奥行き情報は明るい光線の影響によって奥行き推定に不正確が生じる。このため、奥行き推定を正確に行うことができる画像処理方法、装置及びコンピュータ読み取り可能な記録媒体が求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、上記従来技術に存在する課題を解決するために、画像処理方法、装置及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一側面によれば、画像処理方法が提供され、それは、連続フレーム画像を取得するステップと、前記連続フレーム画像内の現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成するステップと、前記現フレームの前記グレースケールヒストグラムが予め設定された第1条件を満たさなければ、前記現フレーム画像の前記奥行きマップを出力するステップと、生成されたグレースケールヒストグラムが前記第1条件を満たす場合、さらに前記グレースケールヒストグラムが予め設定された第2条件を満たすか否かを判断するステップと、前記グレースケールヒストグラムが前記第2条件を満たす場合、前記現フレーム画像の奥行きマップを補正し、かつ補正された現フレーム画像の奥行きマップを出力するステップと、を含む。
【０００６】
本発明の他の側面によれば、画像処理装置が提供され、それは、連続フレーム画像を取得する取得ユニットと、前記連続フレーム画像内の現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成する生成ユニットと、処理ユニットと、を含み、前記処理ユニットは、前記現フレームの前記グレースケールヒストグラムが予め設定された第1条件を満たさなければ、前記現フレーム画像の前記奥行きマップを出力し、生成されたグレースケールヒストグラムが前記第1条件を満たす場合、さらに前記グレースケールヒストグラムが予め設定された第2条件を満たすか否かを判断し、前記グレースケールヒストグラムが前記第2条件を満たす場合、前記現フレーム画像の奥行きマップを補正し、かつ補正された現フレーム画像の奥行きマップを出力する。
【０００７】
本発明の一実施例によると、ここで、前記第1条件は、生成された前記グレースケールヒストグラムの全体グレースケール値が第1閾値より小さいことを含む。
【０００８】
本発明の一実施例によると、ここで、前記第2条件は、生成されたグレースケールヒストグラムにおいて、グレースケール値が第2閾値より大きいグレースケール区間内に、隣接するグレースケール値を有する画素数の差が第3閾値より大きいことを含む。
【０００９】
本発明の一実施例によれば、前記現フレーム画像の奥行きマップを補正することは、現フレーム画像内の少なくとも一つの第1対象を識別することと、前記少なくとも1つの第1対象に関連する画素の奥行き値の正確度を計算することと、前記少なくとも1つの第1対象に関連する画素の奥行き値の正確度と正確度閾値とを比較することと、前記少なくとも1つの第1対象に関連する画素に、奥行き値の正確度が前記正確度閾値より低い少なくとも一つの第1画素が存在すると判断された場合、前記少なくとも1つの第1画素の奥行き値を補正することと、を含む。
【００１０】
本発明の一実施例によれば、ここで、前記第1対象に関連する画素の奥行き値の正確度を計算することは、前のフレーム画像に前記少なくとも1つの第1対象に対応する少なくとも1つの第2対象を確定するステップと、前記少なくとも1つの第1対象に関連する画素の奥行き値と前記少なくとも1つの第2対象に対応する画素の奥行き値との差を計算して、前記少なくとも1つの第1対象に関連する画素の奥行き値の正確度とするステップとを含む。
【００１１】
本発明の一実施例によれば、ここで、前記少なくとも1つの第1画素の奥行き値を補正することは、前記第1対象に関連して、その正確度が前記正確度閾値以上である画素の奥行き値に基づいて、前記第1画素の奥行き値を補正するステップ、あるいは、前記前のフレーム画像における第2対象物に対応する画素の奥行き値に基づいて前記第1画素を補正するステップ、を含む。
【００１２】
本発明の一実施例によれば、現フレーム画像の奥行きマップは、ディープニューラルネットワークに基づいて生成される。
【００１３】
本発明の他の側面によれば、画像処理装置が提供され、それは、非一時的なコンピュータ読み取り可能な命令を記憶するメモリと、前記コンピュータ読み取り可能な命令を実行して、前記画像処理装置に画像処理方法を実行させるプロセッサと、を含み、前記画像処理方法は、連続フレーム画像を取得するステップと、前記連続フレーム画像内の現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成するステップと、前記現フレームの前記グレースケールヒストグラムが予め設定された第1条件を満たさなければ、前記現フレーム画像の前記奥行きマップを出力するステップと、生成されたグレースケールヒストグラムが前記第1条件を満たす場合、さらに前記グレースケールヒストグラムが予め設定された第2条件を満たすか否かを判断するステップと、前記グレースケールヒストグラムが前記第2条件を満たす場合、前記現フレーム画像の奥行きマップを補正し、かつ補正された現フレーム画像の奥行きマップを出力するステップとを含む。
【００１４】
本発明の他の側面によれば、非一時的なコンピュータ読み取り可能な命令を記憶するコンピュータ読み取り可能な記憶媒体が提供され、前記コンピュータ読み取り可能な命令がコンピュータによって実行されるとき、前記コンピュータに画像処理方法を実行させ、前記画像処理方法は、連続フレーム画像を取得するステップと、前記連続フレーム画像内の現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成するステップと、前記現フレームの前記グレースケールヒストグラムが予め設定された第1条件を満たさなければ、前記現フレーム画像の前記奥行きマップを出力するステップと、生成されたグレースケールヒストグラムが前記第1条件を満たす場合、さらに前記グレースケールヒストグラムが予め設定された第2条件を満たすか否かを判断するステップと、前記グレースケールヒストグラムが前記第2条件を満たす場合、前記現フレーム画像の奥行きマップを補正し、かつ補正された現フレーム画像の奥行きマップを出力するステップとを含む。
【００１５】
本発明の画像処理方法、装置及びコンピュータ読み取り可能な記録媒体によれば、グレースケールヒストグラムに基づいて、取得された画像に奥行き補正を行う必要があるか否かを判断することができ、補正された奥行きマップを出力することで、正確な奥行き推定を行うことができる。また、本発明による方法は、決定された正確な奥行き情報に基づいて奥行き補正が必要とする奥行きマップを補正することができるので、奥行き推定の効率及び正確性をさらに向上させることができる。
【図面の簡単な説明】
【００１６】
図示とあわせて本願の実施例をより詳しく説明することによって、本願の上記内容および目的、特徴、そして長所がより明白になる。付図は本願より公開された実施例をさらに理解するために用いられ、本願の実施例とともに本願を解釈して、本願を制限するものではないことが理解されるべきである。
【図１】本発明の実施例に係る画像処理方法のフローチャートである。
【図２】本発明の実施例に係るグレースケールヒストグラムを示す図である。
【図３Ａ】本発明の実施例に係る元の画像及び対応する奥行きマップの例示図である。
【図３Ｂ】本発明の実施例に係る元の画像及び対応する奥行きマップの例示図である。
【図４】本発明の実施例に係る元の画像及び対応するグレースケールヒストグラムを示す図である。
【図５】本発明の実施例に係る奥行きマップ補正処理のフローチャートである。
【図６】segnet法を用いて画像を異なる類別に分割する例を示す図である。
【図７】本発明の実施例に係る元の画像及び補正された奥行きマップを示す図である。
【図８】本発明の実施例に係る画像処理装置のブロック図である。
【図９】本発明の実施例に係る画像処理装置のブロック図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施例に係わる画像処理方法、装置とコンピュータ読み取り可能な記憶媒体を説明する。図面には、同じ番号は同じ要素を終始に示す。ここで記述された実施例は説明のみに用いられて、本発明の範囲を制限するものではないことが自明である。
【００１８】
本発明の実施例の画像処理方法は一連の連続的な静的画像にも適用でき、経時変化するビデオにおけるビデオフレームなどにも適用でき、ここでは制限されない。以下、図1を参照して本発明の実施例に係る画像処理方法を説明、図1には、画像処理方法100のフローチャートが示され、図1に示すように、前記画像処理方法100は以下のステップを含むことができる。
【００１９】
ステップS101では、連続フレーム画像が取得される。本発明の実施例によれば、連続フレーム画像を取得するには以下を含むことができるが限定されるものではない。連続フレーム画像は、有線または無線の方法で受信される。代替的に、前記連続フレーム画像を取得することはさらに以下を含むことができる。メモリから予め記憶された連続フレーム画像を取得、又はカメラ等の画像キャプチャ装置によってキャプチャされた連続フレーム画像を取得する。ここで、前記連続フレーム画像は画像キャプチャ装置にキャプチャされた元の画像であってもよく、該元の画像はモノクロ、グレースケール、又はカラーであってもよく、且つ元の画像に対して様々な画像前処理を行って得た処理後の画像であってもよい。ここで、前記画像前処理は以下を含むがこれに限定されない。例えば、クロッピング、スケーリング、変形またはノイズ除去などの処理である。
【００２０】
その後、処理はステップS102に進む。
【００２１】
ステップS102では、前記連続フレーム画像における現フレーム画像の奥行きマップとグレースケールヒストグラムとを生成する。
【００２２】
まず、図2を参照して、本発明の実施例に係るグレースケールヒストグラムについて説明する。周知のように、グレースケールヒストグラムは、画像グレースケール分布に関する関数であり、画像におけるグレースケール値分布に関する統計図である。従って、グレースケールヒストグラムによって、画像にあるグレースケールの画素の出現頻度を反映するように、画像内にあるグレースケールを有する画素の数を表すことができ、かつ画像における各グレースケールの画素が画像内に占める割合を直感的に表示することができる。
【００２３】
図2に示すように、本発明の実施例に係るグレースケールヒストグラムにおいて、取得された画像内のすべての画素をグレースケール値の大きさにしたがって、各グレースケール値を有する画素の数を統計する。ここで、横軸は画素のグレースケール値で、縦軸は各グレースケール値を有する画素の数である。本発明の実施例によれば、グレースケール値を0から255までの合計256個の数値に分けることができ、ここで、0は純粋な黒色の最も暗い領域を表し、255は純粋な白色の最も明るい領域を表し、中間のグレースケール値は異なる輝度の灰色を表す。さらに、図2に示すように、グレースケールヒストグラムを5つの領域に分けることができ、すなわち、黒色領域、シャドウ領域、露出度領域、ハイライト領域及び白色領域であり、そのうち、横軸の中間に位置する露出度領域内の画素は画像においてグレースケールが適度である画素であり、当該領域内の画像階調が通常非常に豊富であり、かつ大量の有用な画像情報、細部はすべて適度な輝度有する露出度領域に表現でき、そして、横軸の左端の黒色領域（最も暗い）及び右端の白色領域（最も明るい）には通常いかなる細部が存在しない。したがって、画像のグレースケールヒストグラムに基づいて、その画像の全体的な明暗程度を反映することができる。
【００２４】
次に、図3A及び図3Bを参照して、本発明の実施例に係る画像及びその奥行きマップについて説明する。上述したように、奥行きマップには画像内の各画素の奥行き情報が含まれており、当該奥行き情報によって画像における対象の表面から視点との距離に関する情報を表すことができ、すなわち奥行きマップにおいて、各画素は座標系における2D画素（画素がX-Y平面における位置）に対応するだけでなく、さらに奥行き情報によってそれのZ軸における位置も定義できることで、3Dパーピクセル的に3D画像を構築することができる。具体的に、例えば自動運転分野において、車両カメラから一連のフレーム画像をリアルタイムで取得することができ、画像の奥行き情報は、画像内の対象の表面がカメラあるいはビデオカメラ平面からの距離を示すことができる。
【００２５】
本発明の実施例によれば、図3A及び図3Bの右図に示すように、奥行きマップは、0〜255の値で各画素のグレースケール値を定義できるグレースケール画素によって構成されるグレースケール画像であることができる。例えば、グレースケール画素の値が"0"に近いほど、該画素は黒色に近く、且つ該画素がシーンにおいて視点から遠く位置することを表し、逆に、グレースケール画素の値がほぼ"255"に近づくと、該画素は白色に近く、且つ該画素がシーンにおいて視点から近い位置にあることを表し、すなわち、画素のグレースケール値が小さいほど、該画素が視点から遠く、画素のグレースケール値が大きいほど、該画素が視点から近い。また、当然のことながら、奥行きマップに対して"色反転"処理のような様々な前処理を行うことができ、あるいは応用シーン、カメラパラメータ等に基づいて予め設定して、各画素のグレースケール画素の値と距離を示す奥行き情報とを他の相関関係にすることができ、ここで限定されるものではない。
【００２６】
また、図3Aを例にして、元の画像（左図）は通常光の環境で撮影された画像であり、当該画像に対応する奥行きマップ（右図）は画素のグレースケールで画像中の各対象（例えば車両、樹木、遠方の山）の距離情報を表すことで、当該距離情報によって本物そっくりの3Dモデルや3D画像を生成することができる。しかし、場合によっては、元の画像は、例えば暗い環境（例えば夜間、トンネル内等）でキャプチャされるか、又は露出不足のために画像全体の画面が暗くなり、かつそのような画像には高輝度の画素（例えば光源又は反射現象など）が存在する可能性がある。この場合には、部分（例えば、高輝度領域に対応する部分）又は全体の奥行きマップの生成に悪影響を及ぼすことになる。
【００２７】
図3Bを例にすると、元の画像（左図）は夜間環境でキャプチャされた画像であり、該画像全体の画面が暗いが、右側に破線枠で示される領域内に強いランプ照明があり、該元の画像の奥行きマップ（右図）の右側の破線枠で示される対応領域内に、車両照明の影響により、該車両に関連する奥行き画素が正確に生成されず、且つ画像エッジの奥行き値が不均一であって、生成された奥行きマップが不正確になることが分かる。本発明は、そのような不正確な奥行きマップの処理を以下に詳細に説明する。
【００２８】
また、本発明は上記奥行きマップ及びグレースケールヒストグラムを生成する方式に対して限定せず、任意の適切な方式又はソフトウェア／ハードウェアモジュールによって取得された連続フレーム画像における現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成することができる。例えば、本発明の一実施例によれば、グレースケールヒストグラムは、伝統統計の数学方法によって得ることができ、またはトレーニング後の任意のディープニューラルネットワークに基づいて現フレーム画像の奥行きマップおよび／またはグレースケールヒストグラムを生成することができることで、後続の画像処理がより正確になるように、より信頼できる奥行きマップおよび／またはグレースケールヒストグラムを生成する。
【００２９】
その後、処理はステップS103に進む。
【００３０】
ステップS103において、ステップS102で生成されたグレースケールヒストグラムが第1条件を満たしているか否かを判定して、生成されたグレースケールヒストグラムが第1条件を満たしている場合にはステップS104に進んで、当該グレースケールヒストグラムが第2条件を満たしているか否かを続けて判断するが、生成されたグレースケールヒストグラムが第1条件を満たしていない場合には、ステップS106’に進んで、現フレーム画像の奥行きマップをそのまま出力する。なお、ステップS106で出力される奥行きマップは、後続の補正処理のために保存されてもよい。
【００３１】
具体的に、本発明の一実施例によれば、前記第一条件は、生成されたグレースケールヒストグラムの全体グレースケール値が第一閾値より小さいことであってもよい。すなわち、ステップS103において、現フレーム画像のグレースケールヒストグラムの全体グレースケール値が第1閾値より小さいかどうかが判断される。通常、画面が暗い画像に対応するグレースケールヒストグラムにおいて、低グレースケール区間内にピークが形成され、これはこのような画像に多くのグレースケール値が低い画素が存在しているためであり、その故、このような画像は通常画面全体が暗く見える。
【００３２】
図4は本発明の実施例に係る元の画像及び対応するグレースケールヒストグラムを示す図である。例えば、図4を例にすると、元の画像（左図）の全体画面が暗く、それと対応するグレースケールヒストグラム（右図）では、約60から130までのグレースケール区間内にピークが形成される。他の場合に、例えば、キャプチャされた画像が露出不足であると、当該画像全体の画面がより暗くなり、そのグレースケールヒストグラムはより低いグレースケール区間内にピークを形成することが可能である。したがって、グレースケールヒストグラムの全体グレースケール値が第1条件を満たすか否かを判断することによって、該画像が全体的に暗い画像であるか否かを決定することで、さらに該画像の奥行きマップが後続処理を行う必要があるかどうかを決定することができる。
【００３３】
より具体的に、本発明の一実施例によれば、生成されたグレースケールヒストグラムの全体グレースケール値はグレースケールヒストグラムにおけるすべての画素又は特定した区間内の画素のグレースケール値の平均値によって決定することができ、該グレースケール値の平均値が所定のグレースケール値より小さい（すなわち第1閾値、例えば100である）場合、第1条件を満たすと判断する。代替的に、本発明の一実施例によれば、特定区間内の画素数を統計することによって、グレースケールヒストグラムの全体グレースケール値を評価することができる。例えば、低いグレースケール区間（例えば60〜130グレースケール区間）内の画素数を統計でき、その数が所定数を超え、あるいは統計された画素数が画像数合計に占める割合が予定値を超える場合、第1条件に満すと判断されることができる。前記第1条件を判断するにはいかなる適切な方法を用いることができ、本発明はこれを限定しないことはいうまでもない。
【００３４】
以上、ステップS103において生成されたグレースケールヒストグラムが第1条件を満たすか否かを判断する処理を説明した。以下、第1の条件が満たされた場合に、ステップS104に進む処理を説明する。具体的に、上述したように、本発明の一実施例によると、生成された現フレーム画像のグレースケールヒストグラムに基づいて、当該画像を全体が暗い画像であると判定した場合、画像の奥行きマップは強い光や他の外的要因によって影響を受けることがあり、当該画像を補正するか否かをさらに判断する必要があるので、処理が後続のステップS104に進む。
【００３５】
ステップS104において、生成されたグレースケールヒストグラムは第2条件を満たすか否かが判断され、ここで、生成されたグレースケールヒストグラムが第2条件を満たす場合、処理はステップS105に進み、前記現フレーム画像の奥行きマップを補正するが、生成されたグレースケールヒストグラムが第2条件を満たさない場合、処理はステップS106'に進み、現フレーム画像の奥行きマップを直接出力する。なお、ステップS106で出力される奥行きマップは、後続の補正処理のために保存されてもよい。
【００３６】
本発明の一実施例によれば、前記第2条件は、生成されたグレースケールヒストグラムにおいて、グレースケール値が第2閾値より大きいグレースケール区間内に、隣接するグレースケール値を有する画素数の差が第3閾値より大きい。すなわち、ステップS104において、現フレーム画像のグレースケールヒストグラムの特定区間内に閾値を超えるピークが存在するか否かを判断する。
【００３７】
具体的に、全体画面が暗い画像において、画像の奥行き情報は明るい光源（例えば車ランプ、街路灯、自然光線）の影響を受けて奥行き推定に不正確が生じ、これらの光源は画像のグレースケールヒストグラムにおいて約255のグレースケール値でピークが現れる。また図4を例にすると、元の画像（左図）は夜間に撮影された道路画像であり、該画像全体の画面が暗いが、該画像右側に破線枠で示される領域内に強い（高輝度）車ランプ照明が存在する。この場合、該画像に対応するグレースケールヒストグラム（右図）の約255のグレースケール値において極めて高いピークが現れ（破線枠で示される）、これは照明光がグレースケール画像においてグレースケール値が非常に高い画素として現れるためであり、光線が強いほど、約255のグレースケール値における画素数が多くなり、その故、対応するグレースケールヒストグラムに約255のグレースケール値において極めて高いピークが形成され、図4に示すように、画像に約255のグレースケール値を有する画素が約140000を超えることが分かる。言うまでもなく、他の場合において、光源が弱い場合があり、そこで、グレースケールヒストグラムに現れるピークの位置は255より低くなるが、依然として高いグレースケール値にある。従って、具体的な応用シーン、装置パラメータ及び正確度ニーズに応じ、必要に応じて第2閾値及び第3閾値を設定することも可能である。例えば、全体環境が非常に暗い場合では、画面全体の輝度が低く、高輝度の光線の悪影響に対して、画像の奥行きがより受けやすくなるので、第3閾値を50000に設定することができ、他の場合に、第3閾値を100000以上に設定することができ、これによって、補正を確実に必要とする画像の奥行きマップが選別される。
【００３８】
したがって、グレースケールヒストグラムの全体グレースケール値が第2条件を満たすか否かを判断することによって、当該暗い画像に高輝度対象が存在するかどうかを確定でき、さらに該画像の奥行きマップが後続処理を行う必要があるかどうかを決定することができる。
【００３９】
それに、全体画面が暗い画像のグレースケールヒストグラムにおいて、通常、高輝度領域内に崖切れ（すなわち隣接グレースケール値の画素数が激減する）が形成されることがある。そして、当該暗い画像に高い輝度の対象（光源や反射現象など）が存在する場合、崖切れが形成されたグレースケール区間内に極めて高いピークが現れる。再度図4を例にすると、元の画像に対応するグレースケールヒストグラム（右図）において、約250のグレースケール値に崖切れが形成され、当該元の画像に車ランプ照明が存在するため、ピークはグレースケール値250の後にあるグレースケール区間内に形成される。これにより、上述したグレースケールヒストグラムの特性によって、暗い画像中の高輝度対象に対応するピークが現れるグレースケール範囲をより正確に位置決めすることができて、本発明の実施例に係る画像処理の正確度をさらに向上させることができる。
【００４０】
以上、ステップS104において生成されたグレースケールヒストグラムが第2条件を満たすか否かを判断する処理を説明した。以下、第2の条件が満たされた場合に、ステップS105に進む処理を説明する。具体的には、以上に述べたように、本発明の一実施例によれば、生成された現フレーム画像のグレースケールヒストグラムに基づいて、該暗い画像に高輝度対象が存在すると判断された場合、該現フレーム画像の奥行きマップは悪影響を受けることがあり、該現フレーム画像の奥行きマップを補正する必要があるため、処理は後続のステップS105に進む。
【００４１】
ステップS105では、前記現フレーム画像の奥行きマップを補正する。以下、図5を参照して、本発明の実施例に係る奥行きマップ補正の具体的な処理について説明する。
【００４２】
図5は本発明の実施例に係る奥行きマップ校正処理のフローチャートである。図5に示すように、前記奥行きマップ補正処理500は以下のステップを含むことができる。
【００４３】
ステップS501では、現フレーム画像における第1対象を識別する。本発明の一実施例によれば、画像認識は、任意のトレーニングされたディープニューラルネットワークに基づいて実現されることが可能である。例えば、mask  rcnn、segnet等のアルゴリズムを利用して現フレーム画像を異なる類別に分割し、現フレーム画像において興味のある第1対象を識別する。好ましいのは、図6に示すように、前記興味のある第1対象は車両などの画像内の動的対象である。
【００４４】
図6はsegnet法を用いて画像を異なる類別に分割する例を示す図である。図6に示すように、図中の車両を認識して少なくとも1つの第1対象とすることができる。そして、言うまでもなく、この処理過程において、該対象の輪郭、位置、奥行き等の画像情報を取得することができ、具体的な処理は当業者に周知されて、ここで贅言をしない。当然のことながら、本発明は具体的に用いられる識別方法に限定されるものではなく、従来の識別方法でも、将来開発される識別方法でも、いずれも本発明の実施例に係る方法に適用することができる。その後、処理をステップS502に進む。
【００４５】
ステップS502では、前記第1対象に関連する画素の奥行き値の正確度が計算される。ここで、前記正確度は対応画素の奥行き値が信頼できるかどうかを評価するように用いられ、すなわち、前記正確度が小さいほど、当該点の画素の奥行き値が不正確であることを意味して、逆の場合、当該点の画素の奥行き値が正確であることを意味する。その後、処理はステップS503に進む。ステップS503では、第1対象に関連する画素の奥行き値の正確度と正確度閾値とを比較する。
【００４６】
本発明の一実施例によると、前記第1対象に関連する画素の奥行き値の正確度の計算では、前のフレーム画像において前記第1対象に対応する第2対象を決定することと、前記第1対象に関連する画素の奥行き値と前記第2対象の関連画素の奥行き値との間の差を、前記第1対象に関連する画素の奥行き値の正確度として計算することとを含む。ここで、前のフレーム画像は連続したフレーム画像において現フレーム画像より前の一つ又は複数のフレームの画像であることが可能であり、一連の画像フレームが連続的且つ各フレームの間の間隔が非常に短いため、現フレーム画像における少なくとも一つの第1対象は少なくとも一つの前のフレーム画像に連続的に出現し、すなわち、前のフレーム画像において第2対象とし、そのため、当該第2対象と第1対象とが対応し、かつ前記第2対象内の各画素と前記第1対象内の各画素とも一対一対応し、この対応関係は特徴点マッチング等のような方式で決定することができる。これに基づいて、前記少なくとも一つの第1対象とそれに対応する第2対象と関連する各画素の奥行き値を取得し、且つ第1対象と第2対象の対応画素との奥行き値の差を逐一に計算して、前記第1対象に関連する画素の奥行き値の正確度とする。具体的には、以下の式で表すことができる。
【数１】
2020155116.tif 000003
【００４７】
ここで、i及びi’はそれぞれ第1対象に関連する特定画素と第2対象の対応画素のインデックスを、Aiは、第1対象に関連する特定画素iの奥行きの正確度を、Diは第1対象に関連する特定画素iの奥行き値を、
（外１）
2020155116.tif 000004
は第2対象の対応画素i’の奥行き値を示す。ここで、前記第1対象と第2対象と対応し、前記画素iと画素i’とも一対一対応する。
【００４８】
ステップS504では、前記第1対象に関連する画素に奥行き値の正確度が前記正確度閾値より低い少なくとも一つの第1画素が存在すると判断された場合、前記第1画素の奥行き値を補正する。
【００４９】
本発明の実施例によると、前記第1の画素の奥行き値の前記補正は、第1対象において正確度閾値より低くない正確度を有する少なくとも1つの画素の奥行き値に基づいて、正確度が前記正確度閾値より低い少なくとも1つの画素（すなわち、第1画素）の奥行き値を補正するステップを含むことができる。具体的に、現フレーム画像において同一対象内の各画素の視点からの距離が類似すると認定することができるので、現フレーム画像に第1対象において、その正確度が正確度閾値より低くないと判断された画素の奥行き値を第1画素の奥行き値に代替する奥行き値とし、その正確度が前記正確度閾値より小さい少なくとも一つの画素（第1画素）を更新し、第1対象の全体奥行き推定を補正でき、あるいは、これらの代替画素（正確度が正確度閾値より低くない画素）の奥行き値に対して平均値を求め、かつ平均化された奥行き値により第1画素の奥行き値を更新して奥行き補正を実現することもできる。さらに、これらの代替画素と充填しようとする画素との類似度（例えば、画素間のユークリッド距離に基づく）に基づいて、各代替画素の奥行き値に重みを付与することができ、かつそれをもとに重み付けられた各代替画素の奥行き値の平均値を計算して、第1画素の奥行き値を更新する用に用いられる。
【００５０】
場合によって、現フレーム画像の対象内の奥行き値のすべてが望ましくない場合があり、そこで、前のフレーム画像における対応する対象の奥行き値によって現フレーム画像の奥行きマップを補正することが考えられる。代替的に、本発明の他の実施例によれば、取得された一連の画像フレームが連続的であり、かつ各フレームの間の間隔がとっても短いため、そして、本発明の実施例に係る画像処理方法によれば、前フレーム画像の奥行きマップが補正を必要としなく、あるいは補正された奥行きマップであるため、前のフレーム画像に対応する画素の奥行き値によって補正することがより望ましい。具体的には、現フレーム画像と対応する対象の画素において、奥行き値の正確度が前記正確度閾値以上（低くない）である第1画素が存在しない場合、前記前のフレーム画像における第2対象中の対応画素の奥行き値に基づいて、正確度が前記正確度閾値より低い画素（すなわち第1画素）の奥行き値を補正するか、又は直接前記前のフレーム画像における第2対象の対応画素の奥行き値に基づいて、正確度が前記正確度閾値より低い画素（すなわち第1画素）の奥行き値を補正することができる。
【００５１】
また、画像において奥行きを影響する光線の輝度が次第に増強する場合があり、例えば車両が遠くから近くに移動してくる時、ランプの輝度範囲がますます大きくなり、車両が遠方にある場合、画面全体が暗い画像において弱い光線が存在しても、画像の奥行きマップに対する影響は許容できて補正する必要がなく、かつ、隣接する両フレーム画像における同一対象の奥行きが通常もっとも接近することを考慮でき、そのため、このような画像の奥行きマップを保存でき、かつ連続フレーム画像における後続する補正が必要とする画像の奥行きマップを補正することがより望ましい場合がある。
【００５２】
具体的には、本発明の他の実施例によると、ステップS104において第2条件に満すと判断された後、グレースケールヒストグラムが第3条件に満たすか否かをさらに判断することができ、前記第3条件は現フレーム画像のグレースケールヒストグラムの特定区間内に第4閾値を超えるピーク値が存在することであり、前記第4閾値は第3閾値より大きい。この第3条件が満たされると、現フレーム画像の奥行きマップが光線等の悪影響を明らかに受けることを意味して、その時、処理が次のステップS105に進んで、現フレーム画像の奥行きマップを補正し、かつステップS106で補正された奥行きマップを出力する。当該第3の条件が満たされない場合には、現フレーム画像の奥行きマップが依然として許容可能であると考えられ、このとき、処理はステップS106に進んで、現フレーム画像の奥行きマップを出力する。
【００５３】
例えば、本発明の一実施例によれば、第3閾値は50000で、第4閾値は100000であることができる。具体的な例では、連続した両フレーム画像の前の一フレーム画像において、遠方にある車両のランプ光が弱くて、画像のグレースケールヒストグラム内の255のグレースケールに対応し、およそ40000個画素しかなく、この時、画像の奥行き推定は大きな悪影響を受けていなく、その奥行きマップの正確性が許容されたが、次のフレーム画像において、車両が近くに移動してきて、ランプ光が強烈かつ光照射範囲が大きくなり、画像の奥行きマップ内の255のグレースケールに対応して、およそ100000個画素（図4の場合）を超え、この時、画像の奥行きマップは補正される必要がある。
【００５４】
ステップS105に戻って、現フレーム画像の奥行きマップが補正されると、後続のステップS106に進み、補正された奥行きマップを出力する。
【００５５】
全体的には、図1に示されたフローチャートに基づき、まずステップS101において連続フレーム画像を取得し、ステップS102においてグレースケールヒストグラムを生成し、生成されたグレースケールヒストグラムがステップS103又はステップS104において前記第1条件又は第2条件を満たさないと判断されると、ステップS106'において現フレーム画像の奥行きマップを直接出力し、この場合、出力される奥行きマップは補正する必要のない奥行きマップである。また、ステップS102で生成されたグレースケールヒストグラムがステップS103とステップS104において前記第1条件と第2条件を満たすと判断されると、ステップS105で現フレーム画像の奥行きマップを補正し、かつステップS106で補正された奥行きマップを出力し、この場合、出力された奥行きマップは補正されたものである。当然のことながら、ステップS106とS106'で出力された奥行きマップを保存でき、連続フレーム画像の後続フレーム画像の奥行きマップを補正するように、前記出力された奥行きマップは直接的に出力された奥行きマップと補正された奥行きマップとを含む。
【００５６】
図7は本発明の実施例に係る元の画像及び校正された奥行きマップを示す図である。図7に示すように、元の画像（左図）は図3（b）の左図と同じであり、上述したように、図3Bの右図から分かるように、その奥行きマップの右側破線枠で示される対応領域には、その車両に関連する奥行き画素が正確に生成されていない。これに対して、本発明より提案した上記画像処理方法によって当該奥行きマップを補正した後、図7の右図に示すように、車両輪郭は効率的に復元され、画像エッジの奥行きが均一であり、当該画像の奥行きマップの正確性は補正によって顕著に改善された。
【００５７】
以下、図8を参照して本発明の実施例に係る画像処理装置について説明する。図8は本発明の実施例に係る画像処理装置800のブロック図である。図8に示すように、画像処理装置800は以下を含むことができ、すなわち、取得ユニット810、生成ユニット820及び処理ユニット830である。当然のことながら、上述したユニット以外にも、画像処理装置800は他の部材を含むことができるが、これらの部材と本発明の実施例の内容と関係がないため、ここでその図示及び説明を省略する。この他、本発明の実施例に係わる画像処理装置800によって行う下記操作の具体的な細部が上記図1-図7に記載された細部と同じであるため、重複を回避するために、同じ細部に対する重複した記述を省略する。
【００５８】
取得ユニット810は、連続フレーム画像を取得するように配置される。本発明の実施例によれば、前記取得ユニット810はカメラ、ビデオカメラ等の画像収集装置であることができる。また、取得ユニット810は、物理的に画像処理装置800中の他のモジュールと分離、有線または無線を経由して、前記取得ユニット810により取得された画像を画像処理装置800中の他のモジュールに送信することができる。あるいは、取得ユニット810は物理的に、画像処理装置800中の他のモジュールまたはコンポーネントと同一位置、さらに同一シェール内部に位置し、前記画像処理装置800中の他のモジュールまたはコンポーネントは内部バスを介して取得ユニット810によって取得された画像を受信することができる。前記取得ユニット810により実行する具体的な処理は、上述したステップS101の対応する内容と一致する。
【００５９】
生成ユニット820は、前記連続フレーム画像における現フレーム画像の奥行きマップとグレースケールヒストグラムとを生成するように配置される。前記生成ユニット820により実行する具体的な処理は、上述したステップS102の対応する内容と一致する。
【００６０】
また、本発明は生成ユニット820によって上記奥行きマップ及びグレースケールヒストグラムを生成する方式に対して限定せず、如何なる適切な方式又はソフトウェア／ハードウェアモジュールによって生成ユニット820として取得された連続フレーム画像における現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成することができる。例えば、本発明の一実施例によれば、生成ユニット820はトレーニング後の任意のディープニューラルネットワークに基づいて現フレーム画像の奥行きマップとグレースケールヒストグラムを生成できることで、後続の画像処理がより正確になるように、より信頼できる奥行きマップとグレースケールヒストグラムを生成する。
【００６１】
処理ユニット830は以下のように配置され、すなわち、生成されたグレースケールヒストグラムが第1条件を満たさないと、前記現フレーム画像の奥行きマップが出力され、前記第1条件を満たすと、生成されたグレースケールヒストグラムが第2条件を満足するか否かが判断される。ここで、前記第2条件が満たされないと、前記現フレーム画像の奥行きマップを出力し、前記第2条件が満たされると、前記現フレーム画像の奥行きマップを補正し、且つ補正された現フレーム画像の奥行きマップを出力する。前記処理ユニット830により実行される具体的な処理は、上述したステップS103〜S106の対応する内容と一致する。
【００６２】
まず、処理ユニット830は生成されたグレースケールヒストグラムが第1条件を満たしているか否かを判定し、そこで、生成されたグレースケールヒストグラムが第1条件を満たしている場合には、処理ユニット830より当該グレースケールヒストグラムが第2条件を満たしているか否かを続けて判断するが、生成されたグレースケールヒストグラムが第1条件を満たしていない場合には、処理ユニット830は、現フレーム画像の奥行きマップを直接出力する。当然のことながら、処理ユニット830により出力される奥行きマップは、後続の補正処理のために保存されてもよい。
【００６３】
具体的に、本発明の一実施例によれば、前記第1条件は、生成されたグレースケールヒストグラムの全体グレースケール値が第一閾値より小さいことであってもよい。すなわち、処理ユニット830により、現フレーム画像のグレースケールヒストグラムの全体グレースケール値が第1閾値より小さいかどうかが判断される。通常、画面が暗い画像に対応するグレースケールヒストグラムにおいて、低グレースケール区間内にピークが形成され、これはこのような画像に多くのグレースケール値が低い画素が存在しているためであり、その故、このような画像は通常画面全体が暗く見える。
【００６４】
より具体的に、本発明の一実施例によれば、処理ユニット830により生成されたグレースケールヒストグラムの全体グレースケール値は処理ユニット830により、グレースケールヒストグラムにおけるすべての画素又は特定した区間内の画素のグレースケール値の平均値によって決定させことができ、該グレースケール値の平均値が所定のグレースケール値より小さい（すなわち第1閾値、例えば100である）場合、処理ユニット830が第1条件を満たすと判断する。代替的に、本発明の一実施例によれば、処理ユニット830により特定区間内の画素数を統計することによって、グレースケールヒストグラムの全体グレースケール値を評価することができる。例えば、処理ユニット830によって低いグレースケール区間（例えば60〜130グレースケール区間）内の画素数を統計でき、その数が所定数を超え、あるいは統計された画素数が画像数合計に占める割合が予定値を超える場合、処理ユニット830が第1条件を満すと判断することができる。当然のことながら、処理ユニット830が前記第1条件を判断するにはいかなる適切な方法を用いることができ、本発明はこれを限定しないことはいうまでもない。
【００６５】
上述したように、処理ユニット830は生成された現フレーム画像のグレースケールヒストグラムに基づいて、当該画像を全体が暗い画像であると判定した場合、画像の奥行きマップは強い光や他の外的要因によって影響を受けることがあって、当該画像を校正するか否かを処理ユニット830によりさらに判断する必要がある。
【００６６】
次に、処理ユニット830により生成されたグレースケールヒストグラムは第2条件を満たすか否かが判断され、そこで、生成されたグレースケールヒストグラムが第2条件を満たす場合、処理ユニット830は、前記現フレーム画像の奥行きマップを校正するが、生成されたグレースケールヒストグラムが第2条件を満たさない場合、処理ユニット830は現フレーム画像の奥行きマップを直接出力する。当然のことながら、処理ユニット830により出力される奥行きマップは、後続の補正処理のために保存されてもよい。
【００６７】
本発明の一実施例によれば、前記第2条件は、生成されたグレースケールヒストグラムにおいて、グレースケール値が第2閾値より大きいグレースケール区間内に、隣接するグレースケール値を有する画素数の差が第3閾値より大きい。すなわち、処理ユニット830は現フレーム画像のグレースケールヒストグラムが特定区間内に閾値を超えるピークが存在するか否かを判断する。
【００６８】
具体的に、全体画面が暗い画像において、画像の奥行き情報は明るい光源（例えば車ランプ、街路灯、自然光線）の影響を受けて奥行き推定に不正確が生じて、これらの光源は画像のグレースケールヒストグラムにおいて約255のグレースケール値でピークが現れる。また図4を例にすると、元の画像（左図）は夜間に撮影された道路画像であり、該画像全体の画面が暗いが、該画像右側に破線枠で示される領域内に強い（高輝度）車ランプ照明が存在する。この場合、該画像に対応するグレースケールヒストグラム（右図）の約255のグレースケール値において極めて高いピークが現れ（破線枠で示される）、これは照明光がグレースケール画像においてグレースケール値が非常に高い画素として現れるためであり、光線が強いほど、約255のグレースケール値における画素数が多くなり、その故、対応するグレースケールヒストグラムに約255のグレースケール値において極めて高いピークが形成され、図4に示すように、画像に約255のグレースケール値を有する画素が約140000を超えることが分かる。言うまでもなく、他の場合において、光源が弱い場合があり、そこで、グレースケールヒストグラムに現れるピークの位置は255より低くなるが、依然として高いグレースケール値にある。従って、具体的な応用シーン、装置パラメータ及び精度ニーズに応じ、必要に応じて第2閾値及び第3閾値を設定することも可能である。例えば、全体環境が非常に暗い場合では、画面全体の輝度が低く、高輝度の光線の悪影響に対して、画像の奥行きがより受けやすくなるので、第3閾値を50000に設定することができ、他の場合に、第3閾値を100000以上に設定することができ、これによって、校正を確実に必要とする画像の奥行きマップが選別される。
【００６９】
したがって、処理ユニット830はグレースケールヒストグラムの全体グレースケール値が第2条件を満たすか否かを判断することによって、当該暗い画像に高輝度対象が存在するかどうかを確定でき、さらに処理ユニット830は該画像の奥行きマップが後続処理を行う必要があるかどうかを決定することができる。
【００７０】
それに、全体画面が暗い画像のグレースケールヒストグラムにおいて、通常、高輝度領域内に崖切れ（すなわち隣接グレースケール値の画素数が激減する）が形成されることがある。そして、当該暗い画像に高い輝度の対象（光源や反射現象など）が存在する場合、崖切れが形成されたグレースケール区間内に極めて高いピークが現れる。再度図4を例にすると、元の画像に対応するグレースケールヒストグラム（右図）において、約250のグレースケール値に崖切れが形成され、当該元の画像に車ランプ照明が存在するため、ピークはグレースケール値250の後にあるグレースケール区間内に形成される。これにより、上述したグレースケールヒストグラムの特性によって、暗い画像中の高輝度対象に対応するピークが現れるグレースケール範囲をより正確に位置決めすることができて、本発明の実施例に係る画像処理の精度をさらに向上させることができる。
【００７１】
以上、処理ユニット830により生成されたグレースケールヒストグラムが第2条件を満たすか否かを判断する処理を説明した。以下、第2条件が満たされた場合に、処理ユニット830が現フレーム画像の奥行きマップを補正する処理について説明する。具体的には、以上に述べたように、本発明の一実施例によれば、処理ユニット830は生成された現フレーム画像のグレースケールヒストグラムに基づいて、該暗い画像に高輝度対象が存在すると判断された場合、該現フレーム画像の奥行きマップは悪影響を受けることがあり、処理ユニット830によって該現フレーム画像の奥行きマップを補正する必要がある。
【００７２】
図5は本発明の実施例に係る奥行きマップ校正処理のフローチャートである。以上、図5を参照して、本発明の実施例に係る奥行きマップ補正の具体的な処理について説明したが、処理ユニット830が実行する補正処理は上記と一致するため、ここでは説明を省略する。
【００７３】
また、画像において奥行きを影響する光線の輝度が次第に増強する場合があり、例えば車両が遠くから近くに移動してくる時、ランプの輝度範囲がますます大きくなり、車両が遠方にある場合、画面全体が暗い画像において弱い光線が存在しても、画像の奥行きマップに対する影響は許容できて補正する必要がなく、かつ、隣接する両フレーム画像における同一対象の奥行きが通常もっとも接近することを考慮でき、そのため、このような画像の奥行きマップを保存でき、かつ連続フレーム画像における後続する補正が必要とする画像の奥行きマップを補正することがより望ましい場合がある。
【００７４】
具体的には、本発明の他の実施例によると、処理ユニット830により第2条件を満すと判断された後、グレースケールヒストグラムが第3条件に満たすか否かをさらに判断することができ、前記第3条件は現フレーム画像のグレースケールヒストグラムの特定区間内に第4閾値を超えるピーク値が存在することであり、前記第4閾値は第3閾値より大きい。この第3条件が満たされると、現フレーム画像の奥行きマップが光線等の悪影響を明らかに受けることを意味し、その時、処理ユニット830が、現フレーム画像の奥行きマップを補正し、かつ補正された奥行きマップを出力する。当該第3の条件が満たされない場合には、現フレーム画像の奥行きマップが依然として許容可能であると考えられ、このとき、処理ユニット830は現フレーム画像の奥行きマップを直接出力する。
【００７５】
処理ユニット830は現フレーム画像の奥行きマップを補正した後、補正された奥行きマップを出力する。
【００７６】
全体的には、図1に示されたフローチャートに基づき、まず取得ユニット810は連続フレーム画像を取得し、生成ユニット820がグレースケールヒストグラムを生成し、生成されたグレースケールヒストグラムが前記第1条件又は第2条件を満たさないと処理ユニット830に判断されると、処理ユニット830は現フレーム画像の奥行きマップを直接出力し、この場合、出力される奥行きマップは補正する必要のない奥行きマップである。また、処理ユニット830により生成されたグレースケールヒストグラムが前記第1条件と第2条件を満たすと判断されると、処理ユニット830は現フレーム画像の奥行きマップを補正し、かつ補正された奥行きマップを出力して、この場合、出力された奥行きマップは補正されたものである。当然のことながら、出力された奥行きマップを保存でき、連続フレーム画像の後続フレーム画像の奥行きマップを補正するように、前記出力された奥行きマップは直接的に出力された奥行きマップと補正された奥行きマップとを含む。
【００７７】
以下、図9を参照して本発明の実施例に係る画像処理装置について説明する。図9は本発明の実施例に係る画像処理装置900のブロック図である。図9に示すように、当該装置900はコンピュータまたはサーバであることが可能である。
【００７８】
図9に示すように、画像処理装置900は、1つまたは複数のプロセッサ910とメモリ920とを備えているが、これらに加えて、画像処理装置900は、バスシステムおよび／または他の形式の接続機構を介して相互接続することができる入力装置、出力装置（図示せず）などを含むことができる。なお、図9に示した画像処理装置900のコンポーネントや構成は例示的のみであって、制限されるものではなく、必要に応じて、画像処理装置900は他のコンポーネントや構成を有することもできる。
【００７９】
プロセッサー910は中央プロセスユニット（CPU）またはデータ処理能力と／またはコマンド執行能力を有するほかの形式のプロセスユニットであってもよく、かつメモリ920内に記憶されたコンピュータプログラムコマンドを用いて所望の機能を実行でき、このような機能は、連続フレーム画像を取得するステップと、前記連続フレーム画像内の現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成するステップと、前記現フレームの前記グレースケールヒストグラムが予め設定された第1条件を満たさなければ、前記現フレーム画像の前記奥行きマップを出力するステップと、生成されたグレースケールヒストグラムが前記第1条件を満たす場合、さらに前記グレースケールヒストグラムが予め設定された第2条件を満たすか否かを判断するステップと、前記グレースケールヒストグラムが前記第2条件を満たす場合、前記現フレーム画像の奥行きマップを補正し、かつ補正された現フレーム画像の奥行きマップを出力するステップとを含む。
【００８０】
メモリ920は、1つまたは複数のコンピュータプログラムプロダクトを含むことができ、前記コンピュータプログラムプロダクトは、例えば、揮発性メモリおよび／または不揮発性メモリのような各種形式のコンピュータ読み出し可能な記録媒体を含むことができる。前記コンピュータ読み出し可能な記録媒体において一つまたは複数のコンピュータプログラムコマンドをメモリーでき、プロセッサー910は前記プログラムコマンドを実行することで、上記本発明の実施例の画像処理装置の機能及び／又ほかの所望の機能、かつ／または、本発明の実施例の画像処理方法を実行できる。前記コンピュータ読み出し可能な記録媒体において各種アプリケーションプログラムと各種データを格納することも可能である。
【００８１】
以下、本発明の一実施形態に係る非一時的なコンピュータ読み取り可能な命令を記憶するコンピュータ読み取り可能な記憶媒体を説明する。前記コンピュータ読み取り可能な命令がコンピュータによって実行されるとき、前記コンピュータに画像処理方法を実行させ、前記画像処理方法は、連続フレーム画像を取得するステップと、前記連続フレーム画像内の現フレーム画像の奥行きマップ及びグレースケールヒストグラムを生成するステップと、前記現フレームの前記グレースケールヒストグラムが予め設定された第1条件を満たさなければ、前記現フレーム画像の前記奥行きマップを出力するステップと、生成されたグレースケールヒストグラムが前記第1条件を満たす場合、さらに前記グレースケールヒストグラムが予め設定された第2条件を満たすか否かを判断するステップと、前記グレースケールヒストグラムが前記第2条件を満たす場合、前記現フレーム画像の奥行きマップを補正し、かつ補正された現フレーム画像の奥行きマップを出力するステップとを含む。
【００８２】
当然のことながら、上記画像処理装置における各モジュールはいずれもハードウェアで実現されてもよく、ソフトウェアで実現されてもよく、ハードウェアとソフトウェアとの結合によって実現されてもよい。
【００８３】
勿論、上記具体的な実施例は例示のみであり、制限されたものではなく、かつ、当業者は本発明の思想に基づき上記分けて記述された各実施例から一部のステップと装置を合併および組み合わせて本発明の効果を実施できる。この種の合併と組合せによる実施例も本発明に含まれ、ここでは一々記述しない。
【００８４】
本発明に言及された優位点、メリット、効果などは例示的なもののみで、制限されたものではなく、これらの優位点、メリット、効果は本発明の各実施例に必須であることではない。また、上記より公開発明された具体的な細部は例示の作用と理解しやすいためのみであり、制限されたものではない。上記の細部は以下を制限するものではない。つまり、本発明を実現するために、上記の具体的な細部を用いることは必須である。
【００８５】
本発明に係る部材、装置、設備、システムのブロック図は例示的なものに過ぎなく、かつ必ずブロック図に示す方法で接続、レイアウト、配置するように要求または示唆を望まない。当業者に自明のように、任意の方法でこれらの部材、装置、設備、システムを接続、レイアウト、配置することが可能である。「包括」、「含む」、「具有」などの字句は開放的な単語であり、「含むが限定されない」を指し、かつ交換して使用することが可能である。ここで使用した単語の「或いは」と「と」は単語の「と／或いは」を指し、前後文に明確指示されないかぎり、交換して使用することが可能である。ここで使用した単語の「例えば」は、「例えが限定されない」を指し、かつ交換して使用することが可能である。
【００８６】
本発明におけるステップフローチャートおよび上記説明は例示的なものに過ぎなく、かつ必ず示された順番で各実施例のステップを行うように要求または示唆を望まない。当業者に認知されたように、上記実施例内のステップの順番を任意の順序で行うことが可能である。「その後」、「以後」、「その次」などの単語はステップの順序を限定することが望まない。これらの単語は読者にこれらの方法の説明を読むことにガイドさせるもののみである。それに、冠詞の「一個」、「一」または「当該」を用いて単数の要素に対するいかなる引用は当該要素を単数に制限するものではない。
【００８７】
また、本明細書の各実施例におけるステップと装置はある実施例での実行に限られず、実際では、本発明の思想に基づき本明細書の各実施例の関係する一部のステップと装置と結合して新しい実施例を構築することができ、そして、これらの新しい実施例も本発明の範囲内に含まれる。
【００８８】
上記記述された方法における各操作は対応する機能を実行できるいかなる適切な手段によって実施することが可能である。当該手段は各種のハードウェアと／或いはソフトウェアコンポーネントと／或いはモジュールを含み、回路、特定用途向け集積回路（ＡＳＩＣ）またはプロセッサーを含むが、限られるではない。
【００８９】
ここで記述された機能を行うために設計された汎用プロセッサー、デジタル信号プロセッサー（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）或いはほかのプログラマブル論理デバイス（PLD）、離散ゲートまたはトランジスタ論理、離散ハードウェアコンポーネント、または、それらの任意の組み合わせを用いて、各例示の論理ブロック、モジュール、回路などを実施または述べることができる。汎用プロセッサーはマイクロプロセッサーでもよいが、代替としては、当該プロセッサーがいかなるビジネスにおいて取得できるプロセッサー、コントローラ、マイクロコントローラまたは状態機械でもよい。プロセッサーはさらに計算装置の組合せとして実施できる。例えば、ＤＳＰとマイクロプロセッサーとの組合せ、複数のマイクロプロセッサー、ＤＳＰコアーと提携するひとつまたは複数のマイクロプロセッサー或いはいかなるこのようなほかの配置でも良い。
【００９０】
本発明に記述された方法またはアルゴリズムを結合したステップは直接的にハードウェアに、プロセッサーにより実行されるソフトウェアモジュールまたはこの二種の組合せに嵌め込むことが可能である。ソフトウェアモジュールはいかなう形式の有形記録媒体に格納することができる。使用可能な記録媒体は、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、快速フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、移動可能なディスク、CD-ROMなどを含む。記録媒体は、プロセッサーが当該記録媒体から情報と読み取り、および当該記録媒体に情報を記入するように、プロセッサーにカップリングされる。代替方式では、記録媒体がプロセッサーと一体になる。ソフトウェアモジュールはシングルコマンドまたは多数コマンドでもよく、かついくつかの異なるコード
セグメント上、異なるプログラムの間および複数の記録媒体を跨って分布することが可能である。
【００９１】
ここで発明された方法は述べた方法を実現するためのひとつまたは複数の動作を含む。方法と／或いは動作は請求項から離脱せずに互いに互換できる。言い換えれば、動作の具体的な順序を指定した場合を除き、請求項から離脱せずに具体的な動作の順序と／或いは実行を変更することが可能である。
【００９２】
前記機能はハードウェア、ソフトウェア、ファームウェアまたはその任意の組合せによって実施できる。ソフトウェアによって実施する場合、機能はひとつ或いは複数のコマンドとしてコンピュータの読取り可能媒体に格納できる。記録媒体はコンピュータにアクセスされることのできるいかなる使用可能な媒体でも良い。以下の例は制限されたものではない。このようなコンピュータ読取り可能媒体はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたはほかの光ディスク格納、磁気ディスク格納またはほかの磁気メモリあるいはコマンドまたはデータ構造形式の所望のプログラムコードを携帯または格納し、かつコンピュータにアクセスできるいかならほかの確実な媒体を含むことができる。ここで使用されたディスク（disc）は、コンパクトディスク（CD）、レーザーディスク(登録商標)、光ディスク、デジタル汎用ディスク（DVD）、ソフト磁気ディスクとブルーレイディスクを含む。
【００９３】
このため、コンピュータプログラムプロダクトはここで記述された操作を実行できる。例えば、このようなコンピュータプログラムプロダクトはその上に有形に格納（と／或いはエンコード）されるコマンドを有するコンピュータに読み取り可能な有形媒体であり、当該コマンドはここで記述された操作を行うようにひとつまたは複数のプロセッサーによって実行される。コンピュータプログラムプロダクトはパッケージ材を含むことが可能である。
【００９４】
ソフトウェアまたはコマンドは伝送媒体によって伝送されることも可能である。例えば、同軸ケーブル、光ファイバー、ツイストペアケーブル、デジタル加入者線（ＤＳＬ）または赤外、無線あるいはマイクロ波の無線技術の伝送媒体によってウェブサイト、サーバまたはほかのリモートソースからソフトウェアを伝送することが可能である。
【００９５】
この他、ここで記述された方法と技術を行うためのモジュールと／或いはほかの適切な手段は適切なときに、ユーザ端末と／或いはベースステーションによりダウンロードと／或いはほかの方法で得ることが可能である。例えば、このようなデバイスはサーバにカップリングすることで、ここで記述された方法を行うための手段の伝送を促す。または、ここで記述された各種方法はユーザ端末と／或いはベースステーションが当該デバイスにカップリングされ、または当該デバイスに記憶部材を提供する時に各種方法を取得するように、記憶部材（例えば、ＲＡＭ、ＲＯＭ、ＣＤ或いはソフト磁気ディスクなどの物理記録媒体）により提供されることが可能である。この他、ここで記述された方法と技術をデバイスに提供するためのいかなるほかの適切な技術を利用することも可能である。
【００９６】
ほかの例と実施方法は本発明と請求項および主旨内にある。例えば、ソフトウェアの性質により、以上記述された機能はプロセッサー、ハードウェア、ファームウェア、ハード・ワイヤードまたはこれらの任意の組合せによって実行されるソフトウェアを用いて実施できる。機能を実施する特徴も物理的に各位置に配置することが可能で、機能の部分が異なる物理的な位置において実施されるように分配されることも含む。しかも、ここで使用され、かつ請求項に使用されるのを含み、「少なくともひとつ」をはじめとした列挙に使われた「或いは」は分離の列挙を意味する。すなわち、「Ａ、Ｂ或いはＣの少なくともひとつ」のような列挙はＡ或いはＢ或いはＣ、またはＡＢ或いはＡＣ或いはＢＣ、またはＡＢＣ（すなわちＡとＢとＣ）を意味する。それに、「例示的」の用語は記述された例が最適またはほかの例よりも良いことを意味していない。
請求項に教示された技術を離脱せずに、ここで記述された技術を各種変更、取替えおよび修正を行うことができる。それに、本発明の請求項は上記の処理、機器、製造、イベントの構成、手段、方法および動作の具体的な内容に限られない。ここで記述された内容とほご同じ機能を実行またはほぼ同じ結果を実施して既存または開発される処理、機器、製造、イベントの構成、手段、方法または動作を利用することができる。したがって、請求項はその範囲内にあるこのような処理、機器、製造、イベントの構成、手段、方法または動作を含む。
【００９７】
提供された上記の発明内容は当業者に本発明を作成または使用させることができる。これらの方案の各種の補正は当業者にとって自明であり、かつここで定義した一般原理は本発明の範囲を逸脱せずにほかに応用されることも可能である。したがって、本発明はここで示した方案に限定されるものではなく、ここで発明された原理と新規の特徴と一致する最も広い範囲に従うものである。
上記の記述は例示および記述のためになされたものである。また、この説明は、本発明の実施形態を本発明の形態に限定するものではない。上記、複数の例示と実施例を検討したが、当業者にとって、それのある変形、補正、修正、追加とサブ組合せのことが自明である。
【図１】
2020155116.tif 000005
【図２】
2020155116.tif 000006
【図３Ａ】
2020155116.tif 000007
【図３Ｂ】
2020155116.tif 000008
【図４】
2020155116.tif 000009
【図５】
2020155116.tif 000010
【図６】
2020155116.tif 000011
【図７】
2020155116.tif 000012
【図８】
2020155116.tif 000013
【図９】
2020155116.tif 000014