(57)【要約】本願の実施例は、デプス画像補完方法及び装置、コンピュータ可読記憶媒体を提供する。前記方法は、設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、ターゲットシーンの二次元画像を収集することと、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像及び特徴画像を決定することと、拡散待ち画像及び特徴画像に基づいて、拡散待ち画像における各画素の拡散強度を決定することであって、拡散強度は、拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、ことと、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することと、を含む。
2022501681.tif 000002
【特許請求の範囲】
【請求項１】
デプス画像補完方法であって、前記方法は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集することと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定することと、
前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、ことと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することと、を含む、デプス画像補完方法。
【請求項２】
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することは、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定することと、
前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項３】
前記拡散待ち画像は、初期段階の補完デプス画像であり、前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定することは、
前記拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とすることと、
拡散後の画像を補完後のデプス画像とすることと、を含むことを特徴とする
請求項２に記載の方法。
【請求項４】
前記拡散待ち画像は、第１平面原点距離画像であり、前記デプス画像及び前記二次元画像に基づいて拡散待ち画像及び特徴画像を決定することは、
前記カメラのパラメータ行列を取得することと、
前記収集されたデプス画像及び前記二次元画像に基づいて、前記初期段階の補完デプス画像、前記特徴画像及び法線方向予測画像を決定することであって、前記法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指す、ことと、
前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出することであって、前記第１平面原点距離画像は、前記初期段階の補完デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値とした画像である、ことと、を含むことを特徴とする
請求項２に記載の方法。
【請求項５】
前記方法は、
前記収集されたデプス画像及び前記二次元画像に基づいて第１信頼度画像を決定することであって、前記第１信頼度画像は、前記収集されたデプス画像における各画素に対応する信頼度を画素値として用いた画像を指す、ことと、
前記収集されたデプス画像、前記パラメータ行列及び前記法線方向予測画像に基づいて、第２平面原点距離画像を算出することであって、前記第２平面原点距離画像は、前記収集されたデプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値として用いた画像を指す、ことと、
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得ることと、を更に含むことを特徴とする
請求項４に記載の方法。
【請求項６】
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得ることは、
前記第２平面原点距離画像から、前記第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、前記置換え画素点の画素値を決定することであって、前記第１画素点は、前記第１平面原点距離画像におけるいずれか１つの画素点である、ことと、
前記第１信頼度画像から、前記置換え画素点に対応する信頼度情報を決定することと、
前記置換え画素点の画素値、前記信頼度情報及び前記第１平面原点距離画像の第１画素点の画素値に基づいて、前記第１平面原点距離画像の前記第１画素点の最適化後の画素値を決定することと、
を繰り返して実行し、前記第１平面原点距離画像の各画素の最適化後の画素値を決定して前記最適化後の第１平面原点距離画像を得るまで継続すること、を含むことを特徴とする
請求項５に記載の方法。
【請求項７】
前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することは、
所定拡散範囲に基づいて、前記拡散待ち画像から、前記拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、前記拡散待ち画素集合における各画素の画素値を決定することであって、前記第２画素点は、前記拡散待ち画像におけるいずれか１つの画素点である、ことと、
前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出することと、を含み、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定することは、
前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定すること、
を繰り返して実行し、前記拡散待ち画像における各画素の拡散後の画素値を決定するまで継続すること、を含むことを特徴とする
請求項２−６のうちいずれか一項に記載の方法。
【請求項８】
前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出することは、
拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することと、
前記特徴画像において、前記拡散待ち画像の第２画素点に対応する画素を第１特徴画素とすることと、
前記特徴画像において、前記拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とすることであって、前記第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である、ことと、
前記第１特徴画素の特徴情報及び前記第２特徴画素の特徴情報を抽出することと、
前記第１特徴画素の特徴情報、前記第２特徴画素の特徴情報、前記強度正規化パラメータ及び所定拡散制御パラメータ利用して、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出することと、
を繰り返して実行し、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を決定するまで継続することと、
前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を前記拡散待ち画像の第２画素点に対応する拡散強度とすることと、を含むことを特徴とする
請求項７に記載の方法。
【請求項９】
前記サブ拡散強度は、前記拡散待ち画像の第２画素点と前記拡散待ち画素集合における第３画素点との類似度であることを特徴とする
請求項８に記載の方法。
【請求項１０】
拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することは、
前記拡散待ち画像の第２画素点の特徴情報及び前記拡散待ち画素集合における第３画素点の特徴情報を抽出することと、
抽出して得られた拡散待ち画像の第２画素点の特徴情報、前記拡散待ち画素集合における第３画素点の特徴情報及び前記所定拡散制御パラメータ利用して、前記拡散待ち画素集合における第３画素点のサブ正規化パラメータを算出することと、
を繰り返して実行し、前記拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続することと、
前記拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることと、を含むことを特徴とする
請求項８に記載の方法。
【請求項１１】
前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定することは、
前記拡散強度における各サブ拡散強度をそれぞれ前記拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第１拡散部を得ることと、
前記拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第２拡散部を得ることと、
前記拡散待ち画像の第２画素点の画素値、前記拡散待ち画像の第２画素点の第１拡散部及び前記拡散待ち画像の第２画素点の第２拡散部に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を算出することと、を含むことを特徴とする
請求項８に記載の方法。
【請求項１２】
前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定した後、前記方法は、
前記補完後のデプス画像を拡散待ち画像とし、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続することを更に含むことを特徴とする
請求項３に記載の方法。
【請求項１３】
前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定した後、前記方法は、
前記補完後のデプス画像を初期段階の補完デプス画像とし、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップ、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続することを更に含むことを特徴とする
請求項４−１１のうちいずれか一項に記載の方法。
【請求項１４】
毎回に実行される、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップは、
前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出するステップと、
前記収集されたデプス画像及び前記二次元画像に基づいて、第１信頼度画像を決定するステップと、
前記収集されたデプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出するステップと、
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするステップと、を含むことを特徴とする
請求項１３に記載の方法。
【請求項１５】
デプス画像補完装置であって、前記装置は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集するように構成される収集モジュールと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される処理モジュールであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、処理モジュールと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するように構成される拡散モジュールと、を備える、デプス画像補完装置。
【請求項１６】
前記拡散モジュールは更に、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定し、前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定するように構成されることを特徴とする
請求項１５に記載のデプス画像補完装置。
【請求項１７】
前記拡散待ち画像は、初期段階の補完デプス画像であり、
前記拡散モジュールは、前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するように構成される場合、更に、前記拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とし、拡散後の画像を補完後のデプス画像とするように構成されることを特徴とする
請求項１６に記載のデプス画像補完装置。
【請求項１８】
前記拡散待ち画像は、第１平面原点距離画像であり、
前記処理モジュールは、前記デプス画像及び前記二次元画像に基づいて拡散待ち画像及び特徴画像を決定するように構成される場合、更に、前記カメラのパラメータ行列を取得し、前記デプス画像及び前記二次元画像に基づいて、前記初期段階の補完デプス画像、前記特徴画像及び法線方向予測画像を決定するように構成され、前記法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指し、前記処理モジュールは更に、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出するように構成され、前記第１平面原点距離画像は、前記初期段階の補完デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値とした画像であることを特徴とする
請求項１６に記載のデプス画像補完装置。
【請求項１９】
前記処理モジュールは更に、前記デプス画像及び前記二次元画像に基づいて第１信頼度画像を決定するように構成され、前記第１信頼度画像は、前記デプス画像における各画素に対応する信頼度を画素値として用いた画像を指し、前記処理モジュールは更に、前記デプス画像、前記パラメータ行列及び前記法線方向予測画像に基づいて、第２平面原点距離画像を算出するように構成され、前記第２平面原点距離画像は、前記デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値として用いた画像を指し、前記処理モジュールは更に、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るように構成されることを特徴とする
請求項１８に記載のデプス画像補完装置。
【請求項２０】
前記処理モジュールは、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るように構成される場合、更に、前記第２平面原点距離画像から、前記第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、前記置換え画素点の画素値を決定することであって、前記第１画素点は、前記第１平面原点距離画像におけるいずれか１つの画素点である、ことと、前記第１信頼度画像から、前記置換え画素点に対応する信頼度情報を決定することと、前記置換え画素点の画素値、前記信頼度情報及び前記第１平面原点距離画像の第１画素点の画素値に基づいて、前記第１平面原点距離画像の前記第１画素点の最適化後の画素値を決定することと、を繰り返して実行し、前記第１平面原点距離画像の各画素の最適化後の画素値を決定して前記最適化後の第１平面原点距離画像を得るまで継続するように構成されることを特徴とする
請求項１９に記載のデプス画像補完装置。
【請求項２１】
前記処理モジュールは、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される場合、更に、所定拡散範囲に基づいて、前記拡散待ち画像から、前記拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、前記拡散待ち画素集合における各画素の画素値を決定するように構成され、前記第２画素点は、前記拡散待ち画像におけるいずれか１つの画素点であり、前記処理モジュールは更に、前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出するように構成され、
前記拡散モジュールは、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定するように構成される場合、更に、前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定すること、を繰り返して実行し、前記拡散待ち画像における各画素の拡散後の画素値を決定するまで継続するように構成されることを特徴とする
請求項１６−２０のうちいずれか一項に記載のデプス画像補完装置。
【請求項２２】
前記処理モジュールは、前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出するように構成される場合、更に、拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することと、前記特徴画像において、前記拡散待ち画像の第２画素点に対応する画素を第１特徴画素とすることと、前記特徴画像において、前記拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とすることであって、前記第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である、ことと、前記第１特徴画素の特徴情報及び前記第２特徴画素の特徴情報を抽出することと、前記第１特徴画素の特徴情報、前記第２特徴画素の特徴情報、前記強度正規化パラメータ及び所定拡散制御パラメータ利用して、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出することと、を繰り返して実行し、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を決定するまで継続することと、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を前記拡散待ち画像の第２画素点に対応する拡散強度とすることと、を実行するように構成されることを特徴とする
請求項２１に記載のデプス画像補完装置。
【請求項２３】
前記処理モジュールは、拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出するように構成される場合、更に、前記拡散待ち画像の第２画素点の特徴情報及び前記拡散待ち画素集合における第３画素点の特徴情報を抽出することと、抽出して得られた拡散待ち画像の第２画素点の特徴情報、前記拡散待ち画素集合における第３画素点の特徴情報及び前記所定拡散制御パラメータ利用して、前記拡散待ち画素集合における第３画素点のサブ正規化パラメータを算出することと、を繰り返して実行し、前記拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続することと、前記拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることと、実行するように構成されることを特徴とする
請求項２２に記載のデプス画像補完装置。
【請求項２４】
前記拡散モジュールは、前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定するように構成される場合、更に、前記拡散強度における各サブ拡散強度をそれぞれ前記拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第１拡散部を得て、前記拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第２拡散部を得て、前記拡散待ち画像の第２画素点の画素値、前記拡散待ち画像の第２画素点の第１拡散部及び前記拡散待ち画像の第２画素点の第２拡散部に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を算出するように構成されることを特徴とする
請求項２２に記載のデプス画像補完装置。
【請求項２５】
前記拡散モジュールは更に、前記補完後のデプス画像を拡散待ち画像とし、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続するように構成されることを特徴とする
請求項１７に記載のデプス画像補完装置。
【請求項２６】
前記拡散モジュールは更に、前記補完後のデプス画像を初期段階の補完デプス画像とし、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップ、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続するように構成されることを特徴とする
請求項１８−２４のうちいずれか一項に記載のデプス画像補完装置。
【請求項２７】
前記拡散モジュールは、毎回に実行される、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするように構成される場合、更に、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出し、前記デプス画像及び前記二次元画像に基づいて、第１信頼度画像を決定し、前記デプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出し、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするように構成されることを特徴とする
請求項２６に記載のデプス画像補完装置。
【請求項２８】
デプス画像補完装置であって、前記装置は、メモリと、プロセッサと、を備え、
前記メモリは、実行可能なデプス画像補完命令を記憶するように構成され、
前記プロセッサは、前記メモリに記憶された実行可能なデプス画像補完命令を実行し、請求項１−１４のうちいずれか一項に記載の方法を実現させるように構成される、デプス画像補完装置。
【請求項２９】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、実行可能なデプス画像補完命令が記憶されており、実行可能なデプス画像補完命令が、プロセッサに、請求項１−１４のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１９年０８月３０日にに提出された、出願番号が２０１９１０８１７８１５．１である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【０００２】
本願は、画像処理技術に関し、特にデプス画像補完方法及び装置、コンピュータ可読記憶媒体に関する。
【背景技術】
【０００３】
現在、一般的なデプス画像取得方法は、ライダー（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  Ａｎｄ  Ｒａｎｇｉｎｇ：ＬｉＤＡＲ）センサ、両眼カメラ、飛行時間型（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ：ＴＯＦ）センサなどにより、三次元シーンのデプス画像を取得する。両眼カメラとＴＯＦセンサの有効距離は、一般的には、１０ｍ内であり、スマートフォンなどの端末に適用されることが多い。ＬｉＤＡＲの有効距離が大きく、数十メートル、ひいては百メートルに達することができ、自動運転、ロボットなどの分野に適用可能である。
【０００４】
ＬｉＤＡＲを利用してデプス画像を取得する時、三次元シーンにレーザビームを発射し、続いて、三次元シーンにおける各物体の表面から反射されたレーザビームを受信し、発射時刻と反射時刻との時間差を算出し、三次元シーンのデプス画像を取得する。しかしながら、実際の適用において、一般的には、３２／６４ビームのＬｉＤＡＲを主に利用するため、疎らなデプス画像しか取得できない。デプス画像補完は、デプス画像を密なデプス画像に復元するプロセスである。関連技術において、デプス画像補完は、デプス画像を直接的にニューラルネットワークに入力し、密なデプス画像を得ることである。しかしながら、このような方式は、疎らポイントクラウドデータを十分に利用していないため、得られた密なデプス画像の正確度が低い。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本願は、疎らなポイントクラウドデータを十分に利用し、補完後のデプス画像の正確度を向上させることができるデプス画像補完方法及び装置、コンピュータ可読記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
本願の技術的解決手段は、以下のように実現する。
【０００７】
第１態様によれば、本願の実施例は、デプス画像補完方法を提供する。前記方法は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集することと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定することと、
前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、ことと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することと、を含む。
【０００８】
第２態様によれば、本願の実施例は、デプス画像補完装置を提供する。前記装置は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集するように構成される収集モジュールと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される処理モジュールであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、処理モジュールと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するように構成される拡散モジュールと、を備える。
【０００９】
第３態様によれば、本願の実施例は、デプス画像補完装置を更に提供する。前記装置は、メモリと、プロセッサと、を備え、
前記メモリは、実行可能なデプス画像補完命令を記憶するように構成され、
前記プロセッサは、前記メモリに記憶された実行可能なデプス画像補完命令を実行し、上記第１態様のいずれか一項に記載の方法を実現させるように構成される。
【００１０】
第４態様によれば、本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に、実行可能なデプス画像補完命令が記憶されており、プロセッサにより実行される時、上記第１態様のいずれか一項に記載の方法を実現させる。
【発明の効果】
【００１１】
本願の実施例は、デプス画像補完方法及び装置、コンピュータ可読記憶媒体を提供する。設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集し、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、拡散待ち画像及び特徴画像に基づいて、拡散待ち画像における各画素の拡散強度を決定する。拡散強度は、拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す。拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定する。上記実現方式を利用することで、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像を得ることができる。拡散待ち画像に、収集されたデプス画像における全てのポイントクラウドデータが残されている。これにより、拡散待ち画像における各画素値及びそれに対応する拡散強度を利用して、拡散待ち画像における各画素の拡散後の画素値を決定する時、収集されたデプス画像における全てのポイントクラウドデータを利用する。これにより、収集されたデプス画像におけるポイントクラウドデータを十分に利用することで、三次元シーンにおける各３Ｄ点のデプス情報の正確度がより高くなり、補完後のデプス画像の正確度が向上した。
【図面の簡単な説明】
【００１２】
【図１】本願の実施例によるデプス画像補完方法を示す第１フローチャートである。
【図２】本願の実施例によるデプス画像補完方法を示す第２フローチャートである。
【図３】本願の実施例による第１平面原点距離画像の演算を示す概略図である。
【図４（ａ）】本願の実施例による収集されたデプス画像の雑音を示す概略図である。
【図４（ｂ）】本願の実施例による第１信頼度画像を示す概略図である。
【図５】本願の実施例によるデプス画像補完方法を示す第３フローチャートである。
【図６】本願の実施例によるデプス画像補完方法のプロセスを示す第１概略図である。
【図７】本願の実施例によるデプス画像補完方法のプロセスを示す第２概略図である。
【図８】本願の実施例によるデプス画像補完方法のプロセスを示す第３概略図である。
【図９】本願の実施例によるデプス画像補完方法を示す第４フローチャートである。
【図１０】本願の実施例によるデプス画像補完方法を示す第５フローチャートである。
【図１１】本願の実施例による拡散待ち画像の第２画素点の拡散後の画素値を示す概略図である。
【図１２（ａ）】本願の実施例による所定の繰り返し回数の値による補完後のデプス画像の誤差への影響を示す第１概略図である。
【図１２（ｂ）】本願の実施例による所定の繰り返し回数の値による補完後のデプス画像の誤差への影響を示す第２概略図である。
【図１３（ａ）】本願の実施例による所定の誤差フォールトトレラントパラメータによる第１信頼度画像の真値画像への影響を示す概略図である。
【図１３（ｂ）】本願の実施例による所定の誤差フォールトトレラントパラメータによる信頼度の真値−絶対誤差曲線分布への影響を示す概略図である。
【図１４（ａ）】本願の実施例による所定の予測モデルのサンプリング率による補完後のデプス画像への影響を示す第１概略図である。
【図１４（ｂ）】本願の実施例による所定の予測モデルのサンプリング率による補完後のデプス画像への影響を示す第２概略図である。
【図１５（ａ）】本願の実施例による三次元シーンの収集されたデプス画像及び二次元画像を示す概略図である。
【図１５（ｂ）】本願の実施例による畳み込み空間伝播ネットワークで得られた補完したデプス画像を示す図である。
【図１５（ｃ）】本願の実施例によるＮＣｏｎｖ−畳み込みニューラルネットワークで得られた補完したデプス画像を示す図である。
【図１５（ｄ）】関連技術における疎−密な方法で得られた補完したデプス画像を示す。
【図１５（ｅ）】本願の実施例による法線方向予測画像を示す図である。
【図１５（ｆ）】本願の実施例による第１信頼度画像を示す図である。
【図１５（ｇ）】本願の実施例による補完したデプス画像を示す図である。
【図１６】本願の実施例によるデプス画像補完装置の構造を示す概略図である。
【図１７】本願の実施例によるデプス画像補完装置の構造を示す概略図である。
【発明を実施するための形態】
【００１３】
以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。
【００１４】
画像処理技術の成長に伴い、ますます多くの装置は、デプス画像を取得し、デプス画像を更に処理し、様々な機能を実現させることができる。一般的なデプス画像取得方法は、ライダー（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  Ａｎｄ  Ｒａｎｇｉｎｇ：ＬｉＤＡＲ）センサ、ミリ波レーダー、両眼カメラ、飛行時間型（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ：ＴＯＦ）センサなどの方式で三次元シーンのデプス画像を得る。しかしながら、両眼カメラとＴＯＦによるデプス画像取得の有効距離は、一般的には、１０ｍ内であり、一般的にスマートフォンなどの端末に適用され、顔などのターゲットのデプス画像を得る。ＬｉＤＡＲの有効距離大きく、数十メートル、ひいては百メートルに達することができ、自動運転、ロボットなどの分野に適用可能である。
【００１５】
ＬｉＤＡＲを利用してデプス画像を取得する時、三次元シーンにレーザビームを能動的に発射し、続いて、三次元シーンにおける各物体の表面から反射されたレーザビームを受信し、レーザビームを発射する発射時刻と反射レーザビームを受信する受信時刻との時間差を算出し、三次元シーンのデプス画像を取得する。ＬｉＤＡＲがレーザビームの時間差に基づいてデプス画像を取得するため、ＬｉＤＡＲで取得されたデプス画像は、疎らなポイントクラウドデータからなる。また、実際の適用において、一般的には、３２／６４ビームのＬｉＤＡＲを主に利用するため、疎らなデプス画像のみを取得することができる。従って、デプス補完により、疎らなデプス画像を密なデプス画像に変換しなければならない。関連技術において、デプス画像補完方法は、大量の疎らなデプス画像及び三次元シーンの二次元画像からなる訓練データにより、ニューラルネットワークに対して教師あり訓練を行い、訓練されたニューラルネットワークモデルを得て、続いて、疎らなデプス画像及び三次元シーンの二次元画像を訓練したニューラルネットワークのモデルに入力し、デプス補完プロセスを完了し、密なデプス画像を得る。しかしながら、このような方式において、デプス画像におけるポイントクラウドデータを十分に利用していないため、得られた補完したデプス画像の正確度が低い。
【００１６】
上記デプス補完方法に存在する問題に対して、本願の実施例の要旨は、収集された疎ら的なデプス画像及び三次元シーンの二次元画像に基づいて、拡散待ち画像を得て、続いて、拡散待ち画像で画素レベルの拡散を実現させ、補完後のデプス画像を得て、疎らなデプス画像における各疎らなポイントクラウドデータを十分に利用し、正確度が高いデプス補完画像を得ることである。
【００１７】
上記本願の実施例の要旨によれば、本願の実施例は、デプス画像補完方法を提供する。図１に示すように、該方法は、以下を含んでもよい。
【００１８】
Ｓ１０１において、設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集する。
【００１９】
本願の実施例は、収集された疎らなデプス画像に対してデプス画像補完を行うシーンで実現する。まず、それ自体に設けられたレーダーにより、ターゲットシーンのデプス画像を収集すると共に、装置上に設けられたカメラにより、ターゲットシーンの二次元画像を収集する。
【００２０】
設けられたレーダーによりデプス画像を収集する時、レーザビームの発射時刻と受信時刻との時間差に基づいて、レーザビームに対応する三次元シーンにおける３Ｄ点のデプス情報を算出し、算出したデプス情報を画素値として、デプス画像を得ることができることに留意されたい。勿論、例えば、位相情報のようなレーザビームの他の特性により、レーザビームに対応する３Ｄ点のデプス情報を算出して、デプス画像を得ることもできる。本願の実施例は、これを限定するものではない。
【００２１】
本願の実施例において、レーダーにより収集されたデプス画像は、疎らなデプス画像であることに留意されたい。
【００２２】
本願の実施例において、設けられたレーダーは、３２／６４ビームのＬｉＤＡＲセンサであってもよく、ミリ波レーダーであってもよく、又は他のタイプのレーダーであってもよく、本願の実施例は、これを限定するものではない。
【００２３】
本願の実施例において、設けられたカメラにより二次元画像を収集する時、カラーカメラの光学デバイスにより、三次元シーンにおける各３Ｄの画素値情報を得て、二次元画像を得ることができる。他の方式で、ターゲットシーンの二次元画像を得ることもでき、本願の実施例は、これを限定するものではない。
【００２４】
本願の幾つかの実施例において、設けられたカメラは、三次元シーンのカラーの二次元画像を得るカラーカメラであってもよい。三次元シーンの赤外グレースケール画像を得る赤外カメラであってもよい。勿論、設けられたカメラは、他のタイプのカメラであってもよく、本願の実施例は、これを限定するものではない。
【００２５】
本願の実施例において、収集されたデプス画像の解像度と二次元画像の解像度は、同じであっても異なってもよい。収集されたデプス画像の解像度と二次元画像の解像度が異なる時、収集されたデプス画像及び二次元画像のうちのいずれか１つに対してスケーリング操作を行うことで、収集されたデプス画像の解像度と二次元画像の解像度を一致させることができることに留意されたい。
【００２６】
本願の実施例において、レーダー及びカメラは、実際の需要に応じて設置されて配置されてもよく、本願の実施例は、これを限定するものではない。
【００２７】
Ｓ１０２において、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像及び特徴画像を得る。
【００２８】
Ｓ１０３において、拡散待ち画像及び特徴画像に基づいて、拡散待ち画像における各画素の拡散強度を決定し、拡散強度は、拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表し、拡散強度に基づいて、拡散待ち画像における各画素の画素値が隣接画像へどのぐらい拡散するかを決定する。
【００２９】
拡散待ち画像及び特徴画像に基づいて、拡散待ち画像における各画素の拡散強度を決定する時、まず、拡散待ち画像における各画素に対して、隣接する幾つかの画素を決定し、続いて、特徴画像に基づいて、各画素とそれに対応する隣接画素との類似度を１つずつ対比することで、拡散強度を決定することに留意されたい。
【００３０】
Ｓ１０４において、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定する。
【００３１】
本願の実施例において、拡散待ち画像は、デプス画像及び二次元画像に基づいて決定されたものであるため、拡散待ち画像に、収集されたデプス画像における全てのポイントクラウドデータが残されている。従って、拡散待ち画像における各画素の画素値及びそれに対応する拡散強度を利用して、拡散待ち画像における各画素の拡散した画素値を決定する時、収集されたデプス画像における全てのポイントクラウドデータを利用する。これにより得られた三次元シーンにおける各３Ｄ点に対応するデプス情報の正確度がより高く、補完後のデプス画像の正確度が向上した。
【００３２】
本願の幾つかの実施例において、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するステップＳ１０４の実現プロセスは、Ｓ１０４１−Ｓ１０４２を含んでもよい。
【００３３】
Ｓ１０４１において、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、拡散待ち画像における各画素の拡散後の画素値を決定する。
【００３４】
Ｓ１０４２において、拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定する。
【００３５】
なお、本願の実施例における補完後のデプス画像は、補完後の密なデプス画像を指している。それは、比較的包括的な三次元シーンのデプス情報を持ち、デプス画像を必要とする種々のシーンに直接的に適用可能である。
【００３６】
本願の実施例において、拡散待ち画像における各画素の画素値及びそれに対応する拡散強度を利用して拡散待ち画像における各画素の拡散後の画素値を算出し、拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定する場合、収集されたデプス画像における全てのポイントクラウドデータを利用する。従って、得られた三次元シーンにおける各３Ｄ点に対応するデプス情報の正確度がより高く、補完後のデプス画像の正確度が更に向上した。
【００３７】
上記実施例と同様な発明構想によれば、本願の幾つかの実施例において、拡散待ち画像は、初期段階の補完デプス画像であり、拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定するステップＳ１０４２の実現プロセスは、Ｓ１０４２ａ−Ｓ１０４２ｂを含んでもよい。
【００３８】
Ｓ１０４２ａにおいて、拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とする。
【００３９】
Ｓ１０４２ｂにおいて、拡散後の画像を補完後のデプス画像とする。
【００４０】
初めて得られる初期段階の補完デプス画像は、収集されたデプス画像及び二次元画像に基づいて得られた画像であり、つまり、収集されたデプス画像及び二次元画像に対して平面分割、デプス情報のパディングなどの操作を行い、三次元シーンにおける各３Ｄ点のデプス情報を得て画素値とすることで得られた画像であり、又は、初めて得られた初期段階の補完デプス画像は、関連技術により、収集されたデプス画像及び二次元画像を処理することで得られたものであることに留意されたい。ここで、初期段階の補完デプス画像におけるポイントクラウドデータの密度は、収集されたデプス画像におけるポイントクラウドデータの密度より大きい。
【００４１】
本願の実施例において、拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とし、拡散後の画像を補完後のデプス画像とする。これにより、収集されたデプス画像における全てのポイントクラウドデータを十分に利用し、デプス画像におけるポイントクラウドデータを利用して、効果が高い補完後のデプス画像を得る。
【００４２】
本願の幾つかの実施例において、拡散待ち画像は、第１平面原点距離画像である。この場合、図２に示すように、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像及び特徴画像を決定するステップＳ１０２の実現プロセスは、Ｓ１０２１−Ｓ１０２３を含んでもよい。
【００４３】
Ｓ１０２１において、カメラのパラメータ行列を取得する。
【００４４】
取得されたパラメータ行列は、カメラに固有のパラメータ行列であり、該パラメータ行列は、カメラの内部パラメータ行列を指してもよく、カメラの射影変換パラメータ及び焦点距離が含まれてもよいことに留意されたい。勿論、パラメータ行列に、第１平面原点距離画像の算出に必要なパラメータが含まれてもよく、本願の実施例は、これを限定するものではない。
【００４５】
Ｓ１０２２において、収集されたデプス画像及び二次元画像に基づいて、初期段階の補完デプス画像、特徴画像及び法線方向予測画像を決定し、法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指す。
【００４６】
本願の実施例において、法線方向予測画像は、三次元シーンにおける各３Ｄ点の表面法線ベクトルを画素値とすることで得られた画像を指す。３Ｄ点の表面法線ベクトルは、該３Ｄ点から開始した該３Ｄ点に垂直な接平面のベクトルと定義される。
【００４７】
始めて得られた初期段階の補完デプス画像は、収集されたデプス画像及び二次元画像を利用することで決定された三次元シーンにおける各３Ｄ点の一次デプス情報を画素値とした画像を指すことに留意されたい。
【００４８】
Ｓ１０２３において、初期段階の補完デプス画像、カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出し、第１平面原点距離画像は、初期段階の補完デプス画像を利用することで算出されたカメラと各点の所在する平面との距離を画素値とした画像である。
【００４９】
初期段階の補完デプス画像、パラメータ行列及び法線方向予測画像を得た後、初期段階の補完デプス画像における各画素の画素値、パラメータ行列及び法線方向予測画像における各画素の画素値に基づいて、各３Ｄ点に対して、第１平面原点距離を算出し、続いて、各３Ｄ点の第１平面原点距離を画素値として、第１平面原点距離画像を得る。これにより、後続で、第１平面原点距離画像及び特徴画像に基づいて、第１平面原点距離画像における各画素に対して、拡散後の画素値を算出することで、補完後のデプス画像を得る。
【００５０】
本願の実施例において、第１平面原点距離は、初期段階の補完デプス画像により算出されたカメラの中心と三次元シーンにおける各３Ｄ点の所在する接平面との距離を指す。
【００５１】
第１平面原点距離画像は、各３Ｄ点の第１平面原点距離であるカメラの中心と３Ｄ点の所在する接平面との距離を画素値とすることで得られた画像であるため、同一の接平面に位置する３Ｄ点は、同一又は類似の第１平面原点距離を有すべきである。１つの３Ｄ点の第１平面原点距離と、該３Ｄ点と同一の接平面に位置する他の３Ｄ点の第１平面原点距離と、の差が大きい場合、該３Ｄ点の第１平面原点距離が、修正されるべき異常値であることを表す。つまり、同一の接平面に位置する３Ｄ点は、幾何学的に制約される。該幾何学的制約の要旨によれば、第１平面原点距離画像及び特徴画像に基づいて、第１平面原点距離画像における各画素に対して、拡散後の画素値を算出する時、第１平面原点距離画像における異常値を修正し、正確率が高い第１平面原点距離画像を得て、更に、正確率が高い第１平面原点距離画像に基づいて、効果が高い補完後のデプス画像を得ることができる。
【００５２】
本願の実施例において、まず、三次元シーンにおける各３Ｄ点の第１平面原点距離を算出し、続いて、各３Ｄ点の第１平面原点距離を画素値とし、第１平面原点距離画像を得る。各３Ｄ点の第１平面原点距離を算出する時、まず、各３Ｄ点の、画像平面への２Ｄ投影を決定し、カメラのパラメータ行列に対して反転を行い、パラメータ行列の逆行列を得る。続いて、一次補完ｓれたデプス画像から、各３Ｄ点に対応する一次デプス情報を得て、法線方向予測画像から、各３Ｄ点の所在する接平面の法線ベクトルを得る。最後に、各３Ｄ点に対応する一次デプス情報、各３Ｄ点の所在する接平面法線ベクトル、パラメータ行列の逆行列及び３Ｄ点の、平面画像への２Ｄ投影を乗算することで、各３Ｄ点の第１平面原点距離を得る。
【００５３】
例示的に、本願の実施例において、３Ｄ点の第１平面原点距離を算出する式を提供する。それは、式（１）に示すとおりである。
【００５４】
【数１】
2022501681.tif 000003
【００５５】
ただし、
【００５６】
【数２】
2022501681.tif 000004
【００５７】
は、３Ｄ点の第１平面原点距離を表し、
【００５８】
【数３】
2022501681.tif 000005
【００５９】
表示は、３Ｄ点の、平面画像への２Ｄ投影を表し、
【００６０】
【数４】
2022501681.tif 000006
【００６１】
は、３Ｄ点に対応する一次デプス情報を表し、
【００６２】
【数５】
2022501681.tif 000007
【００６３】
は、３Ｄ点Ｘの所在する接平面の法線ベクトルを表し、Ｃは、パラメータ行列を表す。これにより、３Ｄ点の、画像平面への２Ｄ投影の座標値、３Ｄ点に対応する一次デプス情報の値及び３Ｄ点の所在する接平面の法線ベクトルを得た後、それらを（１）に代入し、３Ｄ点の第１平面原点距離を算出し、続いて、各３Ｄ点の第１平面原点距離を画素値として、第１平面原点距離画像を得る。
【００６４】
幾何学的関係により、３Ｄ点の第１平面原点距離を算出する式を導き出すことができることに留意されたい。幾何学的関係から分かるように、カメラの中心から３Ｄ点の所在する接平面までの距離は、３Ｄ点の所在する平面におけるいずれか一点及び３Ｄ点の所在する平面の法線ベクトルにより決定されてもよい。３Ｄ点の三次元座標は、３Ｄ点の、画像平面への２Ｄ投影、３Ｄ点の一次デプス情報及びパラメータ行列により求められるため、カメラの中心から３Ｄ点の所在する接平面までの距離を、３Ｄ点の一次デプス情報、３Ｄ点の所在する平面の法線ベクトル、パラメータ行列及び２Ｄ投影により求めることができる。初期段階の補完デプス画像について言えば、各画素点の位置情報は、３Ｄ点の２Ｄ投影であり、各画素点の画素値は、３Ｄ点に対応するデプス情報である。同様に、法線方向予測画像について言えば、各画素点の位置情報は、３Ｄ点の２Ｄ投影であり、各画素点の画素値は、３Ｄ点の法線ベクトル情報である。従って、初期段階の補完デプス画像、法線方向予測画像及びパラメータ行列から、全ての３Ｄ点の第１平面原点距離を取得することができる。
【００６５】
例示的に、本願の実施例において、幾何的関係を利用して３Ｄ点の第１平面原点距離を算出する式を導き出すプロセスを提供する。つまり、式（１）の導き出しプロセスを提供する。
【００６６】
幾何的関係から分かるように、三次元シーンにおける３Ｄ点と３Ｄ点の所在する接平面の距離の関係は、式（２）に示すとおりである。
【００６７】
【数６】
2022501681.tif 000008
【００６８】
ただし、Ｘは、三次元シーンにおける３Ｄ点を表し、
【００６９】
【数７】
2022501681.tif 000009
【００７０】
は、３Ｄ点の、画像平面への２Ｄ投影を表し、
【００７１】
【数８】
2022501681.tif 000010
【００７２】
は、３Ｄ点Ｘから開始した３Ｄ点Ｘの所在する接平面に垂直な法線ベクトルを表し、
【００７３】
【数９】
2022501681.tif 000011
【００７４】
は、カメラの中心から３Ｄ点Ｘの所在する接平面までの距離を表し、つまり、３Ｄ点の一次デプス情報を表す。
【００７５】
式（２）に対して変換を行うことで、式（３）を得ることができる。
【００７６】
【数１０】
2022501681.tif 000012
【００７７】
三次元シーンにおける３Ｄ点は、式（４）で表される。
【００７８】
【数１１】
2022501681.tif 000013
【００７９】
ただし、Ｘは、三次元シーンにおける３Ｄ点を表し、
【００８０】
【数１２】
2022501681.tif 000014
【００８１】
は、３Ｄ点の、画像平面への２Ｄ投影を表し、
【００８２】
【数１３】
2022501681.tif 000015
【００８３】
は、３Ｄ点に対応する一次デプス情報を表し、Ｃは、パラメータ行列を表す。
【００８４】
式（４）を式（３）に代入することで、式（１）を得ることができる。
【００８５】
例示的に、本願の実施例は、第１平面原点距離画像の演算を表す概略図を提供する。図３に示すように、Ｏは、カメラの中心であり、Ｘは、三次元シーンにおける１つの３Ｄ点であり、
【００８６】
【数１４】
2022501681.tif 000016
【００８７】
は、３Ｄ点の、画像平面への２Ｄ投影であり、Ｆは、３Ｄ点の接平面であり、
【００８８】
【数１５】
2022501681.tif 000017
【００８９】
は、３Ｄ点の所在する接平面の法線ベクトルであり、
【００９０】
【数１６】
2022501681.tif 000018
【００９１】
は、３Ｄ点に対応する一次デプス情報である。初期段階の補完デプス画像を得た後、初期段階の補完デプス画像から、３Ｄ点の２Ｄ投影
【００９２】
【数１７】
2022501681.tif 000019
【００９３】
、該３Ｄ点に対応する一次デプス情報を知ることができる。続いて、法線方向予測画像から、知３Ｄ点の所在する接平面の法線ベクトルを知る。パラメータ行列Ｃは、既知のものであるため、３Ｄ点の２Ｄ投影
【００９４】
【数１８】
2022501681.tif 000020
【００９５】
、３Ｄ点に対応する一次デプス情報
【００９６】
【数１９】
2022501681.tif 000021
【００９７】
、法線ベクトル
【００９８】
【数２０】
2022501681.tif 000022
【００９９】
及びパラメータ行列Ｃを式（１）に代入することで、３Ｄ点の第１平面原点距離を算出することができる。式（１）により、三次元シーンにおける各３Ｄ点の第１平面原点距離を得た後、各３Ｄ点の第１平面原点距離を画素値として、第１平面原点距離画像を得ることができる。
【０１００】
本願の実施例において、収集されたデプス画像及び二次元画像を利用して、初期段階の補完デプス画像、特徴画像及び法線方向予測画像を得て、初期段階の補完デプス画像、法線方向予測画像及び自体に記憶されたパラメータ行列に基づいて、第１平面原点距離画像を算出し、第１平面原点距離画像における各画素について、拡散後の画素値を算出する。幾何学的制約により、第１平面原点距離画像における異常値を除去し、第１平面原点距離画像の正確率を向上させる。これにより、後続で、正確率が高い第１平面原点距離画像に基づいて、効果が高い補完後のデプス画像を得ることができる。
【０１０１】
本願の幾つかの実施例において、初期段階の補完デプス画像、カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出するステップＳ１０２３を実行した後、該方法は、Ｓ１０２４−Ｓ１０２６を更に含む。
【０１０２】
Ｓ１０２４において、収集されたデプス画像及び二次元画像に基づいて、第１信頼度画像を決定し、第１信頼度画像は、デプス画像における各画素に対応する信頼度を画素値として用いた画像を指す。
【０１０３】
本願の実施例において、第１信頼度画像は、三次元シーンにおける各３Ｄ点の一次デプス情報の信頼度を画素値として用いることで得られた画像を指す。
【０１０４】
Ｓ１０２５において、収集されたデプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出し、前記第２平面原点距離画像は、収集されたデプス画像により算出されたカメラから三次元シーンの各点の所在する平面までの距離を画素値とした画像を指す。
【０１０５】
本願の実施例において、第２平面原点距離は、デプス画像により算出されたカメラの中心から三次元シーンにおける３Ｄ点の所在する接平面までの距離を指す。
【０１０６】
デプス画像、パラメータ行列及び法線方向予測結果に基づいて、第２平面原点距離画像を算出する時、まず、三次元シーンにおける各３Ｄ点の第２平面原点距離を算出する必要がある。各３Ｄ点の第２平面原点距離を算出する時、まず、各３Ｄ点の、画像への２Ｄ投影を決定し、パラメータ行列に対して逆演算を行い、パラメータ行列の逆行列を得て、続いて、収集されたデプス画像から、各３Ｄ点に対応するデプス情報を得て、法線方向予測画像から、各３Ｄ点の所在する接平面の法線ベクトルを得る。続いて、各３Ｄ点に対応するデプス情報、各３Ｄ点の所在する接平面の法線ベクトル、パラメータ行列の逆行列及の３Ｄ点の、平面画像への２Ｄ投影を乗算し、各３Ｄ点の第２平面原点距離を得る。
【０１０７】
例示的に、本願の実施例において、式（５）により、各３Ｄ点の第２平面原点距離を算出することができる。
【０１０８】
【数２１】
2022501681.tif 000023
【０１０９】
ただし、
【０１１０】
【数２２】
2022501681.tif 000024
【０１１１】
は、３Ｄ点の第２平面原点距離であり、
【０１１２】
【数２３】
2022501681.tif 000025
【０１１３】
は、３Ｄ点に対応するデプス情報であり、
【０１１４】
【数２４】
2022501681.tif 000026
【０１１５】
は、３Ｄ点の所在する接平面の法線ベクトルであり、
【０１１６】
【数２５】
2022501681.tif 000027
【０１１７】
は、３Ｄ点の画像平面への２Ｄ投影であり、Ｃは、カメラのパラメータ行列である。各３Ｄ点のデプス情報の値、各３Ｄ点の所在する接平面の法線ベクトル、パラメータ行列及び各３Ｄ点の、画像への２Ｄ投影の座標を取得した後、これらを式（５）に代入して、各３Ｄ点の第２平面原点距離を算出することができる。続いて、全ての３Ｄ点の第２平面原点距離を画素値として、第２平面原点距離画像を得ることができる。
【０１１８】
Ｓ１０２６において、第１信頼度画像における画素、第２平面原点距離画像における画素及び第１平面原点距離画像における画素に基づいて、第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得る。
【０１１９】
レーダーにより、移動中のターゲット又は物体の縁に対してデプス情報収集を行う時、雑音は、不可避的に発生するため、収集されたデプス画像に、不確実なデプス情報が存在することに留意されたい。これに対して、第１信頼度画像を導入して、デプス情報の信頼性を評価することができる。
【０１２０】
本願の実施例において、第１信頼度画像は、各３Ｄ点のデプス情報の信頼度である、デプス画像における各画素に対応する信頼度を画素値とすることで得られた画像を指す。
【０１２１】
第１信頼度画像における画素、第２平面原点距離画像における画素及び第１平面原点距離画像における画素を利用して、第１平面原点距離画像を最適化する時、第１信頼度画像における１つの画素の画素値に基づいて、該画素に対応する３Ｄ点のデプス情報の信頼度を判定することができる。第１信頼度画像における該画素の画素値が高いと、該画素点に対応する３Ｄ点のデプス情報が確実であり、３Ｄ点の実際のデプスに近く、該画素点に対応する３Ｄ点の第２平面原点距離の信頼性もより高いと認められる。この場合、該画素点に対応する３Ｄ点の第２平面原点距離を利用して、該画素点に対応する３Ｄ点の第１平面原点距離に対して置き換え最適化を行うと、最適化後の第１平面原点距離画像における一部の画素値を実際の平面原点距離の画素点に近くすることができる。従って、最適化後の第１平面原点距離画像及び特徴画像に基づいて、画素拡散を実現させる時、第１平面原点距離画像における異常値を除去できるだけでなく、収集されたデプス画像における異常値を低減させ、最適化後の第１平面原点距離画像による影響を低下させ、最適化後の第１平面原点距離画像の正確度を更に向上させることができる。
【０１２２】
本願の幾つかの実施例において、第１信頼度画像の画素値により、値の範囲を設定することで、元デプス情報の信頼度を表すことができる。例示的に、第１信頼度画像の画素値範囲は、［０，１］と設定されてもよい。第１信頼度画像の画素値が１に近いと、該画素点に対応する３Ｄ点の元デプス情報が確実であることを表す。第１信頼度画像の画素値が０時，該画素点に対応する３Ｄ点の元デプス情報が確実ではないことを表す。勿論、実際の状況に応じて、第１信頼度画像の画素値の範囲を設定してもよく、本願の実施例は、これを限定するものではない。
【０１２３】
例示的に、本願の実施例は、収集されたデプス画像の雑音を示す概略図を提供する。図４（ａ）に示すように、レーダーが領域１において運動状態である自動車に対してデプス情報を収集する時、雑音が発生する。例えば、小さな四角い枠における点がずれる。これにより、得られたデプス情報は、実際のデプス情報に合わなく、デプス情報が確実ではない。この場合、図４（ｂ）の領域１における各画素点の画素値により、原始デプス情報の信頼度を判定することができる。図４（ｂ）から分かるように、領域１全体の色が濃く、領域１に、画素値が０に近い大量の画素点が存在することを表す。つまり、領域１に、デプス情報が確実ではない大量の画素点が存在する。画素の置換えを行う時、これらの画素点の信頼度状況に応じて、置き換えを行なわない。これにより、これらの画素点の、最適化した第１平面原点距離画像への影響を低減させる。
【０１２４】
本願の実施例において、第１信頼度画像に基づいて、第２平面原点距離画像から、確実な第２平面原点距離を有する画素点を選び出し、第１平面原点距離画像において、該画素点に対応する画素点の画素値に対して置き換えを行い、最適化後の第１平面原点距離画像を得ることができる。これにより、最適化後の第１平面原点距離画像に基づいて、補完後のデプス画像を得ることができる。従って、第１平面原点距離画像における異常値を除去できるだけでなく、レーダーにより収集されたデプス画像における異常値により最適化後の第１平面原点距離画像への影響を低減させ、最適化した第１平面原点距離画像の正確度を向上させ、更に、補完したデプス画像の正確度を向上させることができる。
【０１２５】
本願の幾つかの実施例において、第１信頼度画像における画素、第２平面原点距離画像における画素及び第１平面原点距離画像における画素に基づいて、第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るステップＳ１０２６の実現プロセスは、Ｓ１０２６ａ−Ｓ１０２６ｅを含んでもよい。
【０１２６】
Ｓ１０２６ａにおいて、第２平面原点距離画像から、第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、置換え画素点の画素値を決定し、第１画素点は、第１平面原点距離画像におけるいずれか１つの画素点である。
【０１２７】
置換え画素点を決定する時、第１平面原点距離画像の第１画素点の座標情報に基づいて、第２平面原点距離画像において、これに対応する画素点を探すと共に、該画素点の画素値を置換え画素点の画素値として取得することに留意されたい。
【０１２８】
Ｓ１０２６ｂ、第１信頼度画像から、置換え画素点に対応する信頼度情報を決定する。
【０１２９】
置換え画素点及び置換え画素点の画素値を決定した後、第１信頼度画像から、置換え画素点の座標情報に基づいて、置換え画素点に対応する画素点を決定し、該画素点の信頼度情報である該画素点の画素値を取得する必要がある。これにより、置換え画素点に対応する信頼度情報を決定することができる。
【０１３０】
Ｓ１０２６ｃにおいて、置換え画素点の画素値、信頼度情報及び第１平面原点距離画像の第１画素点の画素値に基づいて、第１平面原点距離画像の第１画素点の最適化後の画素値を決定する。
【０１３１】
第１平面原点距離画像の第１画素点の最適化後の画素値を算出する時、まず、置換え画素点の画素値が０より大きいかどうかを判定し、真理関数により判定結果を記録することに留意されたい。つまり、置換え画素点の画素値が０より大きい時、真理関数の関数値は、１であり、置換え画素点の画素値が０以下である時、真理関数の関数値は、０である。続いて、真理関数の関数値、置換え画素点の画素値、信頼度情報及び第１平面原点距離画像の第１画素点の画素点に基づいて、第１画素点の最適化後の画素値を算出する。
【０１３２】
本願の実施例において、真理関数の関数値を信頼度情報、置換え画素点の画素値と乗算することで、第１サブ最適化画素値を得ると共に、真理関数の函数値を信頼度情報と乗算し、１と、得られた乗算結果と、の差分値を求め、差分値を第１平面原点距離画像の第１画素点の画素値と乗算することで、第２サブ最適化画素値を得る。最後に、第１サブ最適化画素値と第２サブ最適化画素値を加算し、第１画素点の最適化後の画素値を得る。他の形態に応じて、所定の距離算出モデルを設けることもできる。本願の実施例は、これを限定するものではない。
【０１３３】
例示的に、本願の実施例は、真理関数の関数値、置換え画素点の画素値、信頼度情報及び第１平面原点距離画像の第１画素点の画素値に基づいて、第１画素点の最適化後の画素値を算出する式を提供する。これは、式（６）に示すとおりである。
【０１３４】
【数２６】
2022501681.tif 000028
【０１３５】
ただし、
【０１３６】
【数２７】
2022501681.tif 000029
【０１３７】
は、真理関数であり、
【０１３８】
【数２８】
2022501681.tif 000030
【０１３９】
は、置換え画素点の信頼度情報であり、
【０１４０】
【数２９】
2022501681.tif 000031
【０１４１】
は、置換え画素点の画素値であり、
【０１４２】
【数３０】
2022501681.tif 000032
【０１４３】
は、第１平面原点距離画像の第１画素点の画素値であり、
【０１４４】
【数３１】
2022501681.tif 000033
【０１４５】
は、第１平面原点距離画像の第１画素点の最適化後の画素値である。
【０１４６】
Ｓ１０２６ｄにおいて、上記ステップを繰り返して実行し、第１平面原点距離画像の各画素の最適化後の画素値を決定して最適化後の第１平面原点距離画像を得るまで継続する。
【０１４７】
上記ステップにおける第１平面原点距離画像の第１画素点の最適化後の画素値の算出方法により、第１平面原点距離画像における各画素に対して、最適化後の画素値を算出し、これらの最適化後の画素値を利用して、最適化後の第１平面原点距離画像を構成する。
【０１４８】
本願の実施例において、第１平面原点距離画像における各画素に対して、最適化後の画素値を算出することで、最適化後の第１平面原点距離画像を得ることができる。従って、後続で、最適化後の第１平面原点距離画像及び特徴画像に基づいて、最適化後の第１平面原点距離画像の各画素の拡散きょづおを決定し、拡散強度及び最適化後の第１平面原点距離画像の画素値に基づいて、効果が高い補完したデプス画像を得ることができる。
【０１４９】
本願の幾つかの実施例において、図５に示すように、拡散待ち画像及び特徴画像に基づいて、拡散待ち画像における各画素の拡散強度を決定するステップＳ１０３の実現プロセスは、Ｓ１０３１−Ｓ１０３２を含んでもよい。
【０１５０】
Ｓ１０３１において、所定拡散範囲に基づいて、拡散待ち画像から、拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、拡散待ち画素集合における各画素の画素値を決定し、第２画素点は、拡散待ち画像におけるいずれか１つの画素点である。
【０１５１】
拡散待ち画素集合は、拡散待ち画像の第２画素点の近傍領域に位置する画素を指す。所定拡散範囲に基づいて、まず、拡散待ち画像の第２画素点の近傍領域範囲を決定し、続いて、該近傍領域範囲内に位置する全ての画素を抽出し、拡散待ち画像の第２画素点に対応する拡散待ち画素集合を構成する。
【０１５２】
本願の幾つかの実施例において、所定拡散範囲は、実際の需要に応じて設定されてもよく、本願の実施例は、これを限定するものではない。例示的に、所定拡散範囲を４近傍領域と設定し、４つの画素点を取り出して拡散待ち画素集合を構成することができる。所定拡散範囲を８近傍領域と設定し、拡散待ち画像の第２画素点の周辺に位置する８個の画素を取り出して拡散待ち画素集合を構成することもできる。
【０１５３】
Ｓ１０３２において、特徴画像、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素を利用して、拡散待ち画像の第２画素点に対応する拡散強度を算出する。
【０１５４】
特徴画像から、拡散待ち画像の第２画素点に対応する特徴情報及び拡散待ち画素集合における各画素に対応する特徴情報を取得し、これらの特徴情報に基づいて、拡散待ち画像の第２画素点に対応する拡散強度を算出する。
【０１５５】
拡散待ち画素集合が複数の画素からなるものであるため、拡散待ち画像の第２画素点に対応する拡散強度を算出する時、拡散待ち画像の第２画素画素点と拡散待ち画素集合における各画素により、画素ペアを構成し、これらの画素ペアのサブ拡散強度をそれぞれ算出し、続いて、これらのサブ拡散強度を拡散待ち画像の第２画素点に対応する拡散強度とする。
【０１５６】
拡散待ち画像の第２画素点に対応する拡散強度を得た後、拡散待ち画像における各画素の画素値に基づいて、拡散待ち画像における各画素の拡散後の画素値を決定することは、Ｓ１０３３−Ｓ１０３４を含んでもよい。
【０１５７】
Ｓ１０３３において、拡散待ち画像の第２画素点の拡散強度、拡散待ち画像の第２画素点の画素値及び拡散待ち画素集合における各画素の画素値に基づいて、拡散待ち画像の第２画素点の拡散後の画素値を決定する。
【０１５８】
拡散待ち画像の第２画素点に対応する拡散強度を得た後、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて、拡散待ち画像における各画素の拡散後の画素値を決定することは、拡散待ち画像の第２画素点の拡散強度、拡散待ち画像の第２画素点の画素値及び拡散待ち画素集合における各画素の画素値に基づいて、拡散待ち画像の第２画素点の画素値を決定することになる。
【０１５９】
Ｓ１０３４において、上記ステップを繰り返して実行し、拡散待ち画像における各画素の拡散後の画素値を決定するまで継続する。
【０１６０】
例示的に、本発明の実施例は、デプス画像補完方法のプロセスを示す概略図を提供する。図６に示すように、該例において、初期段階の補完デプス画像を拡散待ち画像とする。レーダーにより、デプス画像
【０１６１】
【数３２】
2022501681.tif 000034
【０１６２】
を収集すると共に、カメラにより、三次元シーンの二次元画像
【０１６３】
【数３３】
2022501681.tif 000035
【０１６４】
を収集する。
【０１６５】
【数３４】
2022501681.tif 000036
【０１６６】
を所定の予測モデル１に入力し、初期段階の補完デプス画像
【０１６７】
【数３５】
2022501681.tif 000037
【０１６８】
及び特徴画像
【０１６９】
【数３６】
2022501681.tif 000038
【０１７０】
，を得て、続いて、初期段階の補完デプス画像
【０１７１】
【数３７】
2022501681.tif 000039
【０１７２】
及び特徴画像
【０１７３】
【数３８】
2022501681.tif 000040
【０１７４】
に基づいて、初期段階の補完デプス画像
【０１７５】
【数３９】
2022501681.tif 000041
【０１７６】
における各画素の拡散強度２を決定し、初期段階の補完デプス画像
【０１７７】
【数４０】
2022501681.tif 000042
【０１７８】
における各画素の画素値及び拡散強度２に基づいて、初期段階の補完デプス画像
【０１７９】
【数４１】
2022501681.tif 000043
【０１８０】
における各画素の拡散後の画素値を得て、補完後のデプス画像
【０１８１】
【数４２】
2022501681.tif 000044
【０１８２】
を得る。
【０１８３】
第１平面原点距離画像を拡散待ち画像として、第１平面原点距離画像の拡散後の画素値を算出した後、拡散された第１平面原点距離画像を得るが、拡散された第１平面原点距離画は、補完後のデプス画像ではなく、補完後のデプス画像を得るために。拡散された第１平面原点距離画像に対して逆変換を行う必要がある。
【０１８４】
本願の実施例において、第１平面原点距離画像は、初期段階の補完デプス画像、法線方向予測画像及びパラメータ行列に基づいて算出されたものであるため、拡散された第１平面原点距離画像、法線方向予測画像及びパラメータ行列に基づいて、デプス画像を逆算する。更に、算出したデプス画像を、補完後のデプス画像とする。
【０１８５】
本願の実施例において、まず、法線方向予測画像から、各３Ｄ点の所在する接平面の法線ベクトル、各３Ｄ点の、画像平面への２Ｄ投影を取得し、拡散された第１平面原点距離画像から、各３Ｄ点の拡散された第１平面原点距離を取得すると共に、パラメータ行列に対して反転を行い、パラメータ行列の逆行列を得る。続いて、各３Ｄ点の所在する接平面の法線ベクトル、各３Ｄ点の、画像平面への２Ｄ投影及びパラメータ行列の逆行列を乗算し、乗算結果を得る。拡散された第１平面原点距離と、得られた乗算結果と、の比を求め、得られた比を各３Ｄ点に対応するデプス補完情報とする。続いて、各３Ｄ点に対応するデプス補完情報を画素値として、補完後のデプス画像を得る。
【０１８６】
例示的に、本願の実施例は、各３Ｄ点に対応するデプス補完情報の演算プロセスを提供する。それは、式（７）に示すとおりである。
【０１８７】
【数４３】
2022501681.tif 000045
【０１８８】
ただし、
【０１８９】
【数４４】
2022501681.tif 000046
【０１９０】
は、各３Ｄ点に対応するデプス補完情報を表し、
【０１９１】
【数４５】
2022501681.tif 000047
【０１９２】
は、３Ｄ点拡散された第１平面原点距離を表し、
【０１９３】
【数４６】
2022501681.tif 000048
【０１９４】
は、３Ｄ点の、画像平面への２Ｄ投影を表し、
【０１９５】
【数４７】
2022501681.tif 000049
【０１９６】
は、３Ｄ点Ｘの所在する接平面の法線ベクトルを表し、Ｃは、パラメータ行列を表す。
【０１９７】
各３Ｄ点の所在する接平面の法線ベクトル、各３Ｄ点の、画像平面への２Ｄ投影の座標、パラメータ行列、及び各３Ｄ点の拡散された第１平面原点距離の数値を得た後、これらのパラメータを式（７）に代入し、各３Ｄ点に対応するデプス補完情報を算出する。これにより、各３Ｄ点に対応するデプス補完情報に基づいて、補完後のデプス画像を得る。
【０１９８】
例示的に、図７に示すように、本願の実施例は、デプス画像補完方法のプロセスを示す概略図を提供する。該例において、第１平面原点距離画像を拡散待ち画像とする。収集されたデプス画像
【０１９９】
【数４８】
2022501681.tif 000050
【０２００】
及び二次元画像
【０２０１】
【数４９】
2022501681.tif 000051
【０２０２】
を入力として、所定の予測モデル１に送り込み、初期段階の補完デプス画像を出力するためのサブネットワーク２から出力された初期段階の補完デプス画像
【０２０３】
【数５０】
2022501681.tif 000052
【０２０４】
と、法線方向画像を予測するためのサブネットワーク３から出力された法線方向予測画像
【０２０５】
【数５１】
2022501681.tif 000053
【０２０６】
と、を得ると共に、１つの畳み込み層により、初期段階の補完デプス画像を出力するためのサブネットワーク２と法線方向画像を予測するためのサブネットワーク３に対して、直列接続４を行い、該畳み込み層における特徴データに対して可視化を行い、特徴画像
【０２０７】
【数５２】
2022501681.tif 000054
【０２０８】
を得る。続いて、初期段階の補完デプス画像
【０２０９】
【数５３】
2022501681.tif 000055
【０２１０】
、法線方向予測画像
【０２１１】
【数５４】
2022501681.tif 000056
【０２１２】
及び取得したパラメータ行列Ｃに基づいて、（１）により、三次元シーンにおける各３Ｄ点に対応する第１平面原点距離を算出し、第１平面原点距離画像
【０２１３】
【数５５】
2022501681.tif 000057
【０２１４】
を更に得る。最後に、得られた第１平面原点距離画像
【０２１５】
【数５６】
2022501681.tif 000058
【０２１６】
及び特徴画像
【０２１７】
【数５７】
2022501681.tif 000059
【０２１８】
に基づいて、第１平面原点距離画像
【０２１９】
【数５８】
2022501681.tif 000060
【０２２０】
における各画素の拡散強度５を決定し、第１平面原点距離画像
【０２２１】
【数５９】
2022501681.tif 000061
【０２２２】
における各画素の画素値及び拡散強度５に基づいて、第１平面原点距離画像
【０２２３】
【数６０】
2022501681.tif 000062
【０２２４】
における各画素の拡散後の画素値を得て、拡散された第１平面原点距離画像
【０２２５】
【数６１】
2022501681.tif 000063
【０２２６】
を得る。最後に、式（７）により、拡散された第１平面原点距離画像
【０２２７】
【数６２】
2022501681.tif 000064
【０２２８】
、法線方向予測画像
【０２２９】
【数６３】
2022501681.tif 000065
【０２３０】
に対して逆変換を行い、補完後のデプス画像
【０２３１】
【数６４】
2022501681.tif 000066
【０２３２】
を得る。
【０２３３】
同様に、最適化後の第１平面原点距離画像を拡散待ち画像として、拡散後の画素値を算出することで、拡散された最適化した第１平面原点距離画像を得ることができる。続いて、拡散された最適化した第１平面原点距離画像に対して逆変換を行い、補完後のデプス画像を得ることができる。
【０２３４】
本願の実施例において、まず、拡散された最適化した第１平面原点距離画像から、各３Ｄ点の平面原点距離を取得し、法線方向予測画像から、各３Ｄ点の所在する接平面の法線ベクトル及び各３Ｄ点の、画像平面への２Ｄ投影を取得すると共に、パラメータ行列の逆行列を求める。続いて、各３Ｄ点の所在する接平面の法線ベクトル、各３Ｄ点の、画像平面への２Ｄ投影及び及パラメータ行列の逆行列を乗算し、乗算結果を得る。更に、各３Ｄ点の平面原点距離画像と、上記乗算結果と、の比を求め、得られた比を各３Ｄ点に対応するデプス補完情報とする。最後に、各３Ｄ点に対応するデプス補完情報を画素値として、補完後のデプス画像を得る。
【０２３５】
例示的に、本願の実施例は、式（８）により、各３Ｄ点に対応するデプス補完情報を算出することができる。
【０２３６】
【数６５】
2022501681.tif 000067
【０２３７】
ただし、
【０２３８】
【数６６】
2022501681.tif 000068
【０２３９】
は、３Ｄ点に対応するデプス補完情報であり、
【０２４０】
【数６７】
2022501681.tif 000069
【０２４１】
は、画素拡散により得られた３Ｄ点の平面原点距離であり、
【０２４２】
【数６８】
2022501681.tif 000070
【０２４３】
は、３Ｄ点の所在する接平面の法線ベクトルであり、
【０２４４】
【数６９】
2022501681.tif 000071
【０２４５】
は、３Ｄ点の、画像平面への２Ｄ投影であり、Ｃは、カメラのパラメータ行列である。
【０２４６】
３Ｄ点の平面原点距離の具体的な数値、３Ｄ点の所在する接平面の法線ベクトル及び３Ｄ点の、画像平面への２Ｄ投影の座標を取得した後、これらのパラメータを式（８）に代入し、各３Ｄ点に対応するデプス補完情報を得て、更に各３Ｄ点に対応するデプス補完情報を画素値として、補完後のデプス画像を得ることができる。
【０２４７】
例示的に、本願の実施例は、デプス画像補完方法のプロセスを示す概略図を提供する。図８に示すように、収集されたデプス画像
【０２４８】
【数７０】
2022501681.tif 000072
【０２４９】
及び二次元画像
【０２５０】
【数７１】
2022501681.tif 000073
【０２５１】
を所定の予測モデル１に送り込み、初期段階の補完デプス画像を出力するためのサブネットワーク２から出力された初期段階の補完デプス画像
【０２５２】
【数７２】
2022501681.tif 000074
【０２５３】
と、法線方向画像を予測するためのサブネットワーク３から出力された法線方向予測画像
【０２５４】
【数７３】
2022501681.tif 000075
【０２５５】
と、第１信頼度画像を出力するためのサブネットワーク４から出力された第１信頼度画像
【０２５６】
【数７４】
2022501681.tif 000076
【０２５７】
と、を得る。それと同時に、畳み込み層を利用して、初期段階の補完デプス画像を出力するためのサブネットワーク２と法線方向画像を予測するためのサブネットワーク３に対して直列接続５を行い、畳み込み層における特徴データを可視化し、特徴画像
【０２５８】
【数７５】
2022501681.tif 000077
【０２５９】
を得る。続いて、式（４）及び得られた初期段階の補完デプス画像
【０２６０】
【数７６】
2022501681.tif 000078
【０２６１】
、法線方向予測画像
【０２６２】
【数７７】
2022501681.tif 000079
【０２６３】
及びパラメータ行列Ｃにより、各３Ｄ点の第１平面原点距離を算出し、更に第１平面原点距離画像
【０２６４】
【数７８】
2022501681.tif 000080
【０２６５】
を得る。それと同時に、式（５）及びレーダーにより収集されたデプス画像
【０２６６】
【数７９】
2022501681.tif 000081
【０２６７】
、法線方向予測画像
【０２６８】
【数８０】
2022501681.tif 000082
【０２６９】
及びパラメータ行列Ｃにより、各３Ｄ点の第２平面原点距離を算出し、更に第２平面原点距離画像
【０２７０】
【数８１】
2022501681.tif 000083
【０２７１】
を得る。続いて、第１信頼度画像
【０２７２】
【数８２】
2022501681.tif 000084
【０２７３】
に基づいて、確実な第２平面原点距離を有する画素点を選び出し、確実な第２平面原点距離により、第１平面原点距離画像
【０２７４】
【数８３】
2022501681.tif 000085
【０２７５】
における各画素に対して最適化６を行い、最適化後の第１平面原点距離画像
【０２７６】
【数８４】
2022501681.tif 000086
【０２７７】
を得て、最適化後の第１平面原点距離画像
【０２７８】
【数８５】
2022501681.tif 000087
【０２７９】
及び特徴画像
【０２８０】
【数８６】
2022501681.tif 000088
【０２８１】
に基づいて、
【０２８２】
【数８７】
2022501681.tif 000089
【０２８３】
における各画素の拡散強度７を決定する。更に、最適化後の第１平面原点距離画像
【０２８４】
【数８８】
2022501681.tif 000090
【０２８５】
における各画素の画素値及び拡散強度７に基づいて、最適化後の第１平面原点距離画像
【０２８６】
【数８９】
2022501681.tif 000091
【０２８７】
における各画素の拡散後の画素値を得て、拡散された最適化した第１平面原点距離画像
【０２８８】
【数９０】
2022501681.tif 000092
【０２８９】
を得る。最後に、式（８）により、拡散された最適化した第１平面原点距離画像
【０２９０】
【数９１】
2022501681.tif 000093
【０２９１】
、法線方向予測画像
【０２９２】
【数９２】
2022501681.tif 000094
【０２９３】
に対して逆変換を行い、各３Ｄ点のデプス補完情報を算出し、更に、補完後のデプス画像を得る。
【０２９４】
本願の実施例において、所定拡散範囲に基づいて、各拡散待ち画像の各画素について、対応する拡散待ち画素集合を決定し、更に、特徴画像、拡散待ち画像の各画素及び拡散されるべき各画素に対応する拡散待ち画素集合に基づいて、拡散待ち画像の各画素の拡散強度を算出する。これにより、拡散強度、拡散待ち画像の各画素の画素値及び拡散待ち画像の各画素に対応する拡散待ち画素集合に基づいて、拡散待ち画像における各画素の拡散後の画素値を算出し、補完後のデプス画像を得ることができる。
【０２９５】
本願の幾つかの実施例において、図９に示すように、特徴画像、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素により、拡散待ち画像の第２画素点に対応する拡散強度を算出するステップＳ１０３２の実現プロセスは、Ｓ１０３２ａ−Ｓ１０３２ｆを含んでもよい。
【０２９６】
Ｓ１０３２ａにおいて、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素を利用して、拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出する。
【０２９７】
拡散待ち画像の第２画素点に対応する拡散強度を算出する時、まず、事前設けられた所定の特徴抽出モデルにより、拡散待ち画像の第２画素点に対して特徴抽出を行い、所定の範囲で決定された拡散待ち画素集合における各画素に対しても特徴抽出を行う。続いて、抽出された特徴情報に基づいて、拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出する。これにより、後続で、強度正規化パラメータにより、拡散待ち画像の第２画素点に対応する拡散強度を得る。
【０２９８】
強度正規化パラメータは、第１特徴画素の特徴情報、第２特徴画素の特徴情報の算出結果に対して正規化を行い、サブ拡散強度を得るためのパラメータであることに留意されたい。
【０２９９】
例えば、
【０３００】
【数９３】
2022501681.tif 000095
【０３０１】
の畳み込みカーネルのような寸法が小さい畳み込みカーネルを所定の特徴抽出モデルとして用いることができる。同様な目的を達成できる他の機器学習モデルを所定の特徴抽出モデルとして用いることもできる。本願の実施例は、これを限定するものではない。
【０３０２】
所定の特徴抽出モデルにより、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素を処理し、つまり、所定の特徴抽出モデルにより、少なくとも２種類の画素を処理できることに留意されたい。従って、同一の所定の特徴抽出モデルにより、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素に対して特徴抽出を行うことができる。また、異なる所定の特徴抽出モデルにより、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素に対して特徴抽出を行うこともできる。
【０３０３】
Ｓ１０３２ｂにおいて、特徴画像において、拡散待ち画像の第２画素点に対応する画素を第１特徴画素とし、拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とし、第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である。
【０３０４】
拡散待ち画像の第２画素点の強度正規化パラメータを算出した後、特徴画像において、拡散待ち画像の第２画素点に対応する画素を探し、探した画素を第１特徴画素とする。それと同時に、特徴画像において、拡散待ち画素集合における第３画素点に対応する画素を探し、探した画素作を第２特徴画素とする。第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点であってもよい。
【０３０５】
特徴画像は、所定の予測モデルにおける一層の特徴データを可視化することで得られた画像であるため、特徴画像において、拡散待ち画像の第２画素点に対応する画素を探すために、所定の予測モデルから、寸法が拡散待ち画像の寸法と同じである畳み込み層を選択し、該畳み込み層における特徴データを可視化して特徴画像を得て、特徴画像と拡散待ち画像の画素を一対一に対応させ、更に、拡散待ち画像の第２画素点の位置情報に基づいて、第１特徴画素を見付けることができ、同様に、拡散待ち画素集合における第３画素点の位置情報に基づいて、第２特徴画素を見付けることができることに留意されたい。装置は、他の方式により、第１特徴画素及び第２特徴画素を探すこともできる。本願の実施例は、これを限定するものではない。
【０３０６】
Ｓ１０３２ｃにおいて、第１特徴画素の特徴情報及び第２特徴画素の特徴情報を抽出する。
【０３０７】
本願の実施例において、第１特徴画素の特徴情報を抽出する時、まず、第１特徴画素の画素値を抽出し、続いて、所定の特徴抽出モデルにより、第１特徴画素の画素値を演算し、第１特徴画素の特徴情報を得る。同様に、第２特徴画素の特徴情報を抽出する時にも、まず、第２特徴画素の画素値を抽出し、続いて、所定の特徴抽出モデルにより、第２特徴画素の画素値を演算し、第２特徴画素の特徴情報を得る。
【０３０８】
例示的に、所定の特徴抽出モデル
【０３０９】
【数９４】
2022501681.tif 000096
【０３１０】
により、第１特徴画素に対して特徴抽出を行い、所定の特徴抽出モデル
【０３１１】
【数９５】
2022501681.tif 000097
【０３１２】
により、第２特徴画素に対して特徴抽出を行うことができる。第１特徴画素は、特徴画像における、拡散待ち画像の第２画素点に対応する画素であり、
【０３１３】
【数９６】
2022501681.tif 000098
【０３１４】
で表されてもよい。第２特徴画素は、特徴画像における、拡散待ち画素集合における第３画素点に対応する画素であり、
【０３１５】
【数９７】
2022501681.tif 000099
【０３１６】
で表されてもよい。なお、第１特徴画素の特徴情報は、
【０３１７】
【数９８】
2022501681.tif 000100
【０３１８】
であり、第２特徴画素の特徴情報は、
【０３１９】
【数９９】
2022501681.tif 000101
【０３２０】
である。従って、装置は、第１特徴画素の特徴情報及び第２特徴画素の特徴情報を得る。
【０３２１】
Ｓ１０３２ｄにおいて、第１特徴画素の特徴情報、第２特徴画素の特徴情報、強度正規化パラメータ及び所定拡散制御パラメータ利用して、拡散待ち画像の第２画素点及び拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出する。
【０３２２】
本願の実施例において、所定拡散制御パラメータは、サブ拡散強度値を制御するためのパラメータである。所定拡散制御パラメータは、実際の需要に応じて設定された固定値であってもよく、学習を行う可変パラメータであってもよい。
【０３２３】
本願の実施例において、所定の拡散強度演算モデルにより、まず、第１特徴画素の特徴情報に対して転置を求め、転置結果を得る。続いて、転置結果と第２特徴画素の特徴情報を乗算し、１と得られた乗算結果との差分値を求め、差分値結果を得る。続いて、差分値結果を二乗し、所定拡散制御パラメータの二乗の倍数との比を求める。続いて、得られた比を指数関数の指数とし、自然対数ｅを指数関数の底として、演算を行い、最後に、強度正規化パラメータにより、得られた演算結果を正規化し、最終的なサブ拡散強度を得る。所定の拡散強度演算モデルの具体的な形態は、実際の需要に応じて設定されてもよい。本願の実施例は、これを限定するものではない。
【０３２４】
例示的に、本願の実施例は、所定の拡散強度演算モデルを提供する。これは、式（９）に示すとおりである。
【０３２５】
【数１００】
2022501681.tif 000102
【０３２６】
ただし、
【０３２７】
【数１０１】
2022501681.tif 000103
【０３２８】
は、拡散待ち画像の第２画素点を表し、
【０３２９】
【数１０２】
2022501681.tif 000104
【０３３０】
は、拡散待ち画素集合における第３画素点を表し、
【０３３１】
【数１０３】
2022501681.tif 000105
【０３３２】
は、拡散待ち画像の第２画素点に対応する強度正規化パラメータを表し、
【０３３３】
【数１０４】
2022501681.tif 000106
【０３３４】
は、第１特徴画素を表し、
【０３３５】
【数１０５】
2022501681.tif 000107
【０３３６】
は、第２特徴画素を表し、
【０３３７】
【数１０６】
2022501681.tif 000108
【０３３８】
は、第１特徴画素の特徴情報であり、
【０３３９】
【数１０７】
2022501681.tif 000109
【０３４０】
は、第２特徴画素の特徴情報であり，
【０３４１】
【数１０８】
2022501681.tif 000110
【０３４２】
は、所定拡散制御パラメータを表し、
【０３４３】
【数１０９】
2022501681.tif 000111
【０３４４】
は、拡散待ち画像の第２画素点及び拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を表す。
【０３４５】
第１特徴画素の特徴情報
【０３４６】
【数１１０−１】
2022501681.tif 000112
【０３４７】
、第２特徴画素の特徴情報
【０３４８】
【数１１０−２】
2022501681.tif 000113
【０３４９】
を得て、拡散待ち画像の第２画素点に対応する強度正規化パラメータ
【０３５０】
【数１１１】
2022501681.tif 000114
【０３５１】
を算出した後、これらのパラメータの具体的な数値を式（９）に代入し、拡散待ち画像の第２画素点及び拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度
【０３５２】
【数１１２】
2022501681.tif 000115
【０３５３】
を算出することができる。
【０３５４】
Ｓ１０３２ｅにおいて、上記ステップを繰り返して実行し、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素からなる画素ペアのサブ拡散強度を決定するまで継続する。
【０３５５】
Ｓ１０３２ｆにおいて、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を拡散待ち画像の第２画素点に対応する拡散強度とする。
【０３５６】
本願の実施例において、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素からなる拡散画素ペアに対してそれぞれサブ拡散強度の演算を行い、続いて、算出された全てのサブ拡散強度を拡散待ち画像の第２画素点の拡散強度とする。このような方式により、拡散待ち画像における各画素の拡散強度を得て、拡散強度に基づいて、拡散待ち画像における各画素に対して、拡散後の画素値を算出し、正確率が高い補完後のデプス画像を得る。
【０３５７】
本願の幾つかの実施例において、サブ拡散強度は、拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点との類似度であってもよい。
【０３５８】
本願の実施例において、拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点との類似度をサブ拡散強度とすることができる。つまり、拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点との類似度に基づいて、拡散待ち画素集合における第３画素点が拡散待ち画像の第２画素点へ拡散する強度を決定することができる。拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点との類似度が高いと、拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点は、三次元シーンにおける同一の平面に位置する可能性が極めて高いと認められる。この場合、拡散待ち画素集合における第３画素点が拡散待ち画像の第２画素点へ拡散する強度は大きい。拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点が類似しないと、拡散待ち画像の第２画素点と拡散待ち画素集合における第３画素点が同一の平面に位置しないと認められる。この場合、拡散待ち画素集合における第３画素点が拡散待ち画像の第２画素点へ拡散する強度は小さい。これにより、画素拡散プロセスにおけるエラーの発生を避ける。
【０３５９】
本願の実施例において、拡散待ち画像における画素と拡散待ち画素集合における各画素との類似度に基づいて、サブ拡散強度を決定する。これにより、拡散待ち画像における画素と同一の平面に位置する画素により、拡散待ち画像における各画素の拡散後の画素値を算出し、正確率が高い補完後のデプス画像を得る。
【０３６０】
本願の幾つかの実施例において、拡散待ち画像の第２画素点及び拡散待ち画素集合における各画素を利用して、拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出するステップＳ１０３２ａの実現プロセスは、Ｓ２０１−Ｓ２０４を含んでもよい。
【０３６１】
Ｓ２０１において、拡散待ち画像の第２画素点の特徴情報及び拡散待ち画素集合における第３画素点の特徴情報を抽出する。
【０３６２】
所定の特徴抽出モデルにより、拡散待ち画像の第２画素点の特徴情報を抽出する時、まず、拡散待ち画像の第２画素の画素値を取得し、所定の特徴抽出モデルにより、該画素値を算出し、拡散待ち画像の第２画素点の特徴情報を得る。同様に、拡散待ち画素集合における第３画素点の特徴情報を抽出する時にも、まず、拡散待ち画素集合における第３画素点の画素値を抽出し、続いて、該画素値に対して、所定の特徴抽出モデルにより、演算を行い、拡散待ち画素集合における第３画素点の特徴情報を得る。
【０３６３】
例示的に、拡散待ち画像の第２画素点は、
【０３６４】
【数１１３】
2022501681.tif 000116
【０３６５】
で表され、拡散待ち画素集合における第３画素は
【０３６６】
【数１１４】
2022501681.tif 000117
【０３６７】
で表される場合、所定の特徴抽出モデル
【０３６８】
【数１１５】
2022501681.tif 000118
【０３６９】
により、拡散待ち画像の第２画素点に対して特徴抽出を行い、所定の特徴抽出モデル
【０３７０】
【数１１６】
2022501681.tif 000119
【０３７１】
により、拡散待ち画素集合における第３画素に対して特徴抽出を行うと、拡散待ち画像の第２画素点の特徴情報は、
【０３７２】
【数１１７】
2022501681.tif 000120
【０３７３】
で表されてもよく、拡散待ち画素集合における第３画素点の特徴情報は、
【０３７４】
【数１１８】
2022501681.tif 000121
【０３７５】
で表されてもよい。勿論、他の所定の特徴抽出モデルにより、拡散待ち画像の第２画素点及び拡散待ち画素集合における第３画素点に対して特徴抽出を行うこともできる。本願の実施例は、これを限定するものではない。
【０３７６】
Ｓ２０２において、抽出して得られた拡散待ち画像の第２画素点の特徴情報、拡散待ち画素集合における第３画素点の特徴情報及び所定拡散制御パラメータ利用して、拡散待ち画素集合における第３画素のサブ正規化パラメータを算出する。
【０３７７】
所定のサブ正規化パラメータ演算モデルにより、まず、拡散待ち画像の第２画素点の特徴情報に対して行列転置を行い、転置結果と拡散待ち画素集合における第３画素点の特徴情報を乗算し、続いて、１と得られた乗算結果との差分値を求め、得られた差分値結果を二乗し、二乗結果を得る。続いて、二乗結果と所定拡散制御パラメータの二乗の倍数との比を求める。最後に、得られた比を指数函数の指数とし、自然対数ｅを指数関数の底として、演算を行い、最終的な演算結果を拡散待ち画素集合における第３画素点に対応するサブ正規化パラメータとすることに留意されたい。勿論、所定のサブ正規化パラメータ演算モデルは、実際の需要に応じて、他の形態に設けられてもよい。本願の実施例は、これを限定するものではない。
【０３７８】
例示的に、本願の実施例は、所定のサブ正規化パラメータ演算モデルを提供する。これは、式（１０）に示すとおりである。
【０３７９】
【数１１９】
2022501681.tif 000122
【０３８０】
ただし、
【０３８１】
【数１２０】
2022501681.tif 000123
【０３８２】
は、拡散待ち画像の第２画素点を表し、
【０３８３】
【数１２１】
2022501681.tif 000124
【０３８４】
は、拡散待ち画素集合における第３画素点を表し、
【０３８５】
【数１２２】
2022501681.tif 000125
【０３８６】
、拡散待ち画像の第２画素点の特徴情報を表し、
【０３８７】
【数１２３】
2022501681.tif 000126
【０３８８】
は、拡散されるべき画素集における第３画素点の特徴情報を表し、
【０３８９】
【数１２４】
2022501681.tif 000127
【０３９０】
は、所定拡散制御パラメータを表し、
【０３９１】
【数１２５】
2022501681.tif 000128
【０３９２】
は、拡散待ち画素集合における第３画素点に対応するサブ正規化パラメータを表す。
【０３９３】
拡散待ち画像の第２画素点の特徴情報
【０３９４】
【数１２６】
2022501681.tif 000129
【０３９５】
、拡散待ち画素集合における第３画素点の特徴情報
【０３９６】
【数１２７】
2022501681.tif 000130
【０３９７】
を得て、所定拡散制御パラメータ
【０３９８】
【数１２８】
2022501681.tif 000131
【０３９９】
を取得した後、これらのパラメータの具体的な数値を式（１０）に代入し、拡散待ち画素集合における第３画素点に対応するサブ正規化パラメータを算出することができる。
【０４００】
Ｓ２０３において、上記ステップを繰り返して実行し、拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続する。
【０４０１】
Ｓ２０４において、拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、拡散待ち画像の第２画素点に対応する強度正規化パラメータを得る。
【０４０２】
例示的に、拡散待ち画素集合における第３画素のサブ正規化パラメータが
【０４０３】
【数１２９】
2022501681.tif 000132
【０４０４】
である場合、装置は、式（１１）により、拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることができる。
【０４０５】
【数１３０】
2022501681.tif 000133
【０４０６】
ただし、
【０４０７】
【数１３１】
2022501681.tif 000134
【０４０８】
は、拡散待ち画素集合を表し、
【０４０９】
【数１３２】
2022501681.tif 000135
【０４１０】
は、拡散待ち画像の第２画素点の強度正規化パラメータを表す。
【０４１１】
拡散待ち画素集合における各画素のサブ正規化パラメータの数値を算出する時、これらのサブ正規化パラメータの数値を直接的に式（１１）に代入して累加し、得られた累加結果を拡散待ち画像の第２画素点に対応する強度正規化パラメータとすることができる。
【０４１２】
本願の実施例において、まず、拡散待ち画像の第２画素点に対して特徴抽出を行い、拡散待ち画素集合における各画素に対して特徴抽出を行い、続いて、所定のサブ正規化パラメータ演算モデルにより、抽出された特徴情報及び所定拡散制御パラメータに対して演算を行い、サブ正規化パラメータを得て、得られた全てのサブ正規化パラメータを累加し、強度正規化パラメータを得る。これにより、装置は、後続で、強度正規化パラメータにより、拡散強度を算出することができる。
【０４１３】
本願の幾つかの実施例において、図１０に示すように、拡散待ち画像の第２画素点の拡散強度、拡散待ち画像の第２画素点の画素値及び拡散待ち画素集合における各画素の画素値に基づいて、拡散待ち画像の第２画素点の拡散後の画素値を決定するステップＳ１０３３の実現プロセスは、Ｓ１０３３ａ−Ｓ１０３３ｄを含んでもよい。
【０４１４】
Ｓ１０３３ａにおいて、拡散強度における各サブ拡散強度をそれぞれ拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、拡散待ち画像の第２画素点の第１拡散部を得る。
【０４１５】
本願の実施例において、まず、拡散待ち画像の第２画素点の画素値及び拡散待ち画像の第２画素点の拡散強度を取得し、拡散待ち画像の第２画素点の拡散強度のうち、拡散待ち画素集合における第３画素点のサブ拡散強度と拡散待ち画像の第２画素点の画素値を乗算し、乗算結果を得る。このように繰り返し、拡散待ち画素集合における各画素のサブ拡散強度と拡散待ち画像の第２画素点の画素値を乗算した後、得られた全ての積を累加し、拡散待ち画像の第２画素点の第１拡散部を算出することができる。
【０４１６】
本願の実施例において、他の方式により、拡散待ち画像の第２画素点の第１拡散部を算出することもできる。本願の実施例は、これを限定するものではない。
【０４１７】
例示的に、本願の実施例は、式（１２）により、第１拡散部を算出することができる。式（１２）は、以下に示すとおりである。
【０４１８】
【数１３３】
2022501681.tif 000136
【０４１９】
ただし、
【０４２０】
【数１３４】
2022501681.tif 000137
【０４２１】
は、拡散待ち画素集合における第３画素点に対応するサブ拡散強度であり、
【０４２２】
【数１３５】
2022501681.tif 000138
【０４２３】
は、拡散待ち画素集合を表し、
【０４２４】
【数１３６】
2022501681.tif 000139
【０４２５】
は、拡散待ち画像の第２画素点の画素値を表し、
【０４２６】
【数１３７】
2022501681.tif 000140
【０４２７】
は、算出された拡散待ち画像の第２画素点の第１拡散部を表す。
【０４２８】
拡散待ち画像の第２画素点の画素値及び拡散待ち画素集合における各画素のサブ拡散強度の数値を得た後、拡散待ち画像の第２画素点の画素値及び拡散待ち画素集合における各画素のサブ拡散強度の数値を式（１２）に代入し、拡散待ち画像の第２画素点の第１拡散部を算出することができる。
【０４２９】
拡散待ち画像の第２画素点の拡散強度を算出する時、強度正規化パラメータにより、サブ拡散強度に対して正規化を行ったため、各サブ拡散強度と拡散待ち画像の第２画素点の画素値を乗算して累加した後、得られた累加結果の数値は、元の拡散待ち画像の第２画素点の画素値より大きくないことに留意されたい。
【０４３０】
Ｓ１０３３ｂにおいて、拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、拡散待ち画像の第２画素点の第２拡散部を得る。
【０４３１】
サブ拡散強度をそれぞれ拡散待ち画素集合における各画素値と乗算する時、拡散待ち画素集合における第３画素点に対応するサブ拡散強度を拡散待ち画素集合における第３画素点の画素値と乗算し、乗算結果を得て、このように繰り返し、各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素値と乗算するまで継続し、最後に、全ての積を累加し、得られた累加結果を拡散待ち画像の第２画素点の第２拡散部とすることに留意されたい。
【０４３２】
本願の実施例において、他の方法により、拡散待ち画像の第２画素点の第２拡散部を算出することもできる。本願の実施例は、これを限定するものではない。
【０４３３】
例示的に、本願の実施例において、式（１３）により、第２拡散部を算出することができる。
【０４３４】
【数１３８】
2022501681.tif 000141
【０４３５】
ただし、
【０４３６】
【数１３９】
2022501681.tif 000142
【０４３７】
は、拡散待ち画素集合における第３画素点に対応するサブ拡散強度であり、
【０４３８】
【数１４０】
2022501681.tif 000143
【０４３９】
は、拡散待ち画素集合を表し、
【０４４０】
【数１４１】
2022501681.tif 000144
【０４４１】
は、拡散待ち画素集合における第３画素点の画素値を表し、
【０４４２】
【数１４２】
2022501681.tif 000145
【０４４３】
は、算出された拡散待ち画像の第２画素点の第２拡散部を表す。
【０４４４】
拡散待ち画素集合における第３画素点の画素値及び拡散待ち画素集合における各画素のサブ拡散強度の数値を得た後、拡散待ち画素集合における第３画素点の画素値及び拡散待ち画素集合における各画素のサブ拡散強度の数値を式（１３）に代入し、拡散待ち画像の第２画素点の第２拡散部を算出することができる。
【０４４５】
Ｓ１０３３ｃにおいて、拡散待ち画像の第２画素点の画素値、拡散待ち画像の第２画素点の第１拡散部及び拡散待ち画像の第２画素点の第２拡散部に基づいて、拡散待ち画像の第２画素点の拡散後の画素値を算出する。
【０４４６】
本願の実施例において、拡散待ち画像の第２画素点の画素値から、第１拡散画素部を差し引き、続いて、得られた差分値と第２拡散部を加算し、最後の加算結果を拡散後の画素値とすることができる。本願の実施例は、拡散待ち画像の第２画素点の画素値、第１拡散画素部及び第２拡散画素部に対して他の処理を行い、拡散待ち画像の第２画素点の拡散後の画素値を得ることもできる。本願の実施例は、これを限定するものではない。
【０４４７】
例示的に、本願の実施例は、式（１４）により、拡散待ち画像の第２画素点の拡散画素値を得て、画素拡散を完了することができる。
【０４４８】
【数１４３】
2022501681.tif 000146
【０４４９】
ただし、
【０４５０】
【数１４４】
2022501681.tif 000147
【０４５１】
は、拡散待ち画像の第２画素点の画素値を表し、
【０４５２】
【数１４５】
2022501681.tif 000148
【０４５３】
は、拡散待ち画素集合における第３画素点に対応するサブ拡散強度を表し、
【０４５４】
【数１４６】
2022501681.tif 000149
【０４５５】
は、拡散待ち画素集合を表し、
【０４５６】
【数１４７】
2022501681.tif 000150
【０４５７】
は、拡散待ち画素集合における第３画素点の画素値を表す。
【０４５８】
拡散待ち画像の第２画素点の画素値、拡散待ち画素集合における各画素に対応するサブ拡散強度、拡散待ち画素集合における各画素の画素値を得た後、これらのパラメータの具体的な数値を式（１４）に代入し、拡散待ち画像の第２画素点の拡散後の画素値を算出することができる。
【０４５９】
例示的に、本願の実施例は、式（１４）を導き出すプロセスを提供する。
【０４６０】
本願の実施例において、拡散待ち画像の第２画素点の画素値から、第１拡散画素部を差し引き、続いて、得られた差分値と第２拡散部を加算し、最後の加算結果を拡散画素値とすることができる。これは、式（１５）で表されてもよい。
【０４６１】
【数１４８】
2022501681.tif 000151
【０４６２】
ただし、
【０４６３】
【数１４９】
2022501681.tif 000152
【０４６４】
は、算出された拡散待ち画像の第２画素点の第１拡散部を表し、
【０４６５】
【数１５０】
2022501681.tif 000153
【０４６６】
は、算出された拡散待ち画像の第２画素点の第２拡散部を表し、
【０４６７】
【数１５１】
2022501681.tif 000154
【０４６８】
は、拡散待ち画像の第２画素点の画素値を表す。
【０４６９】
式（１２）及び式（１３）を式（１５）に代入し、式（１６）を得ることができる。
【０４７０】
【数１５２】
2022501681.tif 000155
【０４７１】
式（１６）を合わせて整理すると、式（１４）を得ることができる。
【０４７２】
例示的に、本願の実施例は、拡散待ち画像の第２画素点の拡散後の画素値の算出を示す概略図を提供する。図１１に示すように、拡散待ち画像１及び特徴画像２に基づいて、拡散待ち画像の第２画素点の拡散後の画素値を算出する時、まず、拡散待ち画像の第２画素点について、拡散待ち画素集合を決定する。本願の実施例において、８近傍領域により、拡散待ち画素集合３を決定する。図１１に示すように、拡散待ち画像の第２画素点
【０４７３】
【数１５３】
2022501681.tif 000156
【０４７４】
は、左上の９ブロック型ボックスの中心に位置し、周囲の８個の画素点からなる集合は、拡散待ち画素集合３である。続いて、特徴画像２から、拡散待ち画像の第２画素点に対応する第１特徴画素及び拡散待ち画素集合における第３画素に対応する第２特徴画素を見付け、所定の特徴抽出モデル
【０４７５】
【数１５４】
2022501681.tif 000157
【０４７６】
により、第１特徴画素に対して特徴抽出を行い、所定の特徴抽出モデル
【０４７７】
【数１５５】
2022501681.tif 000158
【０４７８】
により、第２特徴画素に対して特徴抽出を行う（特徴抽出プロセスは、示されていない）。ここで、
【０４７９】
【数１５６】
2022501681.tif 000159
【０４８０】
は、
【０４８１】
【数１５７】
2022501681.tif 000160
【０４８２】
の畳み込みカーネルとして設定されてもよい。通ぢて、所定の拡散強度演算モデル４、式（９）及び拡散強度の演算に必要なパラメータを利用して、拡散強度を算出し、続いて、拡散待ち画像の第２画素点の画素値、拡散強度、拡散待ち画素集合における各画素の画素値を式（１４）に代入し、拡散待ち画像の第２画素点の拡散後の画素値５を算出し、更に、補完後のデプス画像６を得る。これにより、拡散待ち画像の第２画素点の拡散後の画素値の演算を完了する。
【０４８３】
Ｓ１０３３ｄにおいて、上記ステップを繰り返して実行し、拡散待ち画像における各画素の拡散後の画素値を得るまで継続する。
【０４８４】
拡散待ち画像の第２画素点に対する画素拡散を完了した後、上記ステップを繰り返し、拡散待ち画像における各画素の拡散後の画素値を算出し、補完後のデプス画像を得る。
【０４８５】
本願の実施例において、拡散待ち画像における各画素の画素値、及び拡散待ち画像の各画素に対応する拡散待ち画素集合における全ての画素の画素値及び算出された拡散強度に基づいて、拡散待ち画像における各画素の拡散後の画素値に対して一つずつ演算を行うことができる。これにより、収集されたデプス画像を十分に利用して、正確率が高い補完後のデプス画像を得ることができる。
【０４８６】
本願の幾つかの実施例において、拡散待ち画像及び特徴画像に基づいて、画素拡散を実現させ、補完後のデプス画像を得るステップＳ１０４を行った後、該方法は、Ｓ１０５を更に含んでもよい。
【０４８７】
Ｓ１０５において、補完後のデプス画像を拡散待ち画像とし、拡散待ち画像及び特徴画像に基づいて拡散待ち画像における各画素の拡散強度を決定するステップ、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続する。
【０４８８】
補完後のデプス画像を得た後、引き続き、補完後のデプス画像を改めて、拡散待ち画像として、拡散待ち画像における各画素の拡散後の画素値を算出し、画素拡散を更に十分にし、最適化した補完後のデプス画像を得ることもできる。
【０４８９】
本願の幾つかの実施例において、所定の繰り返し回数を８回としてもよい。補完後のデプス画像を得た後、該補完後のデプス画像に対して、上記ステップを引き続き７回実行し、画素拡散をより十分にする。所定の繰り返し回数は、実際の需要に応じて設定されてもよく、本願の実施例は、これを限定するものではないことに留意されたい。
【０４９０】
本願の幾つかの実施例において、拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定するステップＳ１０４を実行した後、該方法は、Ｓ１０６を更に含んでもよい。
【０４９１】
Ｓ１０６において、補完後のデプス画像を初期段階の補完デプス画像とし、初期段階の補完デプス画像、カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出して第１平面原点距離画像を拡散待ち画像とするステップ、拡散待ち画像及び特徴画像に基づいて拡散待ち画像における各画素の拡散強度を決定するステップ、拡散待ち画像における各画素の画素値及び拡散待ち画像における各画素の拡散強度に基づいて拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続する。
【０４９２】
本願の幾つかの実施例において、初期段階の補完デプス画像、カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出して第１平面原点距離画像を拡散待ち画像とするステップは、
初期段階の補完デプス画像、カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出するステップと、デプス画像及び二次元画像に基づいて、第１信頼度画像を決定するステップと、デプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出するステップと、第１信頼度画像における画素、第２平面原点距離画像における画素及び第１平面原点距離画像における画素に基づいて、第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするステップと、を含む。
【０４９３】
本願の実施例において、収集されたデプス画像
【０４９４】
【数１５８】
2022501681.tif 000161
【０４９５】
及び二次元画像に基づいて、初期段階の補完デプス画像
【０４９６】
【数１５９】
2022501681.tif 000162
【０４９７】
、法線方向予測画像
【０４９８】
【数１６０】
2022501681.tif 000163
【０４９９】
及び第１信頼度画像
【０５００】
【数１６１】
2022501681.tif 000164
【０５０１】
を得た後、初期段階の補完デプス画像
【０５０２】
【数１６２】
2022501681.tif 000165
【０５０３】
における全ての画素ｘに対して、第２平面原点距離情報を算出し、更に、第２平面原点距離画像を得て、全ての画素の第１平面原点距離情報を算出し、更に、第１平面原点距離画像を得る。続いて、現在の繰り返し回数が所定の反復回数未満であると判定した場合、第１平面原点距離画像における各画素値
【０５０４】
【数１６３】
2022501681.tif 000166
【０５０５】
に対して、置換え距離情報を算出し、画素値の最適化を行い、更に、最適化後の第１平面原点距離画像を得る。続いて、最適化後の第１平面原点距離画像を拡散待ち画像とし、最適化後の第１平面原点距離画像における第２画素点について、対応する拡散待ち画素集合を決定し、第２画素点に対応する拡散強度を算出し、続いて、拡散強度における各サブ拡散強度、拡散待ち画素集合における各画素の画素値及び最適化後の第１平面原点距離画像における第２画素点の画素値に基づいて、最適化後の第１平面原点距離画像の第２画素点の拡散後の画素値を算出し、拡散された最適化した第１平面原点距離画像を得る。更に、拡散された最適化した第１平面原点距離画像に対して逆変換を行い、補完後のデプス画像を得る。補完後のデプス画像を得た後、現在の繰り返し回数ｉに１を加算し、新たな現在の繰り返し回数を得る。続いて、新たな現在の繰り返し回数を所定の繰り返し回数と比較し、新たな現在の繰り返し回数が所定の繰り返し回数未満である場合、上記プロセスを引き続き実行し、新たな現在の繰り返し回数が所定の繰り返し回数以上になるまで継続し、最終的な補完後のデプス画像を得る。
【０５０６】
例示的に、本願の実施例は、所定の繰り返し回数の値による補完后されたデプス画像の誤差への影響を示す。図１２（ａ）に示すように、ＫＩＴＴＩデータ集合により試験を行う。横座標は、所定の繰り返し回数であり、縦座標は、二乗平均平方根誤差（Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ：ＲＭＳＥ）である。ＲＭＳＥの単位は、ｍｍである。図面における３本の曲線は、それぞれ、全サンプル試験回数（ｅｐｏｃｈ）の様々な値により得られた結果である。図１２（ａ）から分かるように、ｅｐｏｃｈ＝１０である場合、つまり、ＫＩＴＴＩデータ集合における全てのサンプルが１０回試験される場合、ＲＭＳＥは、所定の繰り返し回数の増加に伴って降下する。所定の繰り返し回数が２０である場合、ＲＭＳＥは、最も小さく、０に近い。ｅｐｏｃｈ＝２０である場合、ＲＭＳＥは、まず、所定の繰り返し回数の増加に伴って降下し、続いて不変のまま保持し、ＲＭＳＥは、０に近い。ｅｐｏｃｈ＝３０である場合、ＲＭＳＥは、所定の繰り返し回数の増加に伴って降下し、続いて、小幅に上昇するが、ＲＭＳＥは、最大限５以下であり、ＲＭＳＥが０に近くなるまで継続する。図１２（ｂ）は、ＮＹＵデータ集合により試験を行った結果を示す図である。図１２（ａ）と同様に、図１２（ｂ）の横座標も所定の繰り返し回数であり、縦座標は、ＲＭＳＥであり、図面における３本の曲線は、それぞれｅｐｏｃｈの様々な値により得られた結果を表す。図１２（ｂ）から分かるように、ｅｐｏｃｈ＝５、ｅｐｏｃｈ＝１０、ｅｐｏｃｈ＝１５に関わらず、所定の繰り返し回数の増加に伴って、ＲＭＳＥは、まず減少し、０に近くなるまで継続し、続いて不変のまま保持する。図１２（ａ）及び図１２（ｂ）から分かるように、所定の繰り返し回数の画素拡散を行うことで、補完後のデプス画像のＲＭＳＥを著しく減少させることができる。つまり、所定の繰り返し回数の画素拡散を行うことで、補完後のデプス画像の正確度を更に向上させることができる。
【０５０７】
本願の実施例において、補完後のデプス画像を得た後、引き続き、補完後のデプス画像に対して補完を繰り返して行い、補完後のデプス画像の正確度を更に向上させることができる。
【０５０８】
本願の幾つかの実施例において、デプス画像補完方法は、所定の予測モデルにより実現することができる。ターゲットシーンのデプス画像及び二次元画像を収集した後、まず、デプス画像補完装置内に事前記憶された所定の予測モデルを取得し、続いて、デプス画像及び映像画像を入力として所定の予測モデルに送り込んで演算を行い、一次予測処理を行い、所定の予測モデルから出力された結果に基づいて、拡散待ち画像及び特徴画像を得る。これにより、後続で、拡散待ち画像及び特徴画像に基づいて、画素拡散を実現させる。
【０５０９】
本願の実施例において、所定の予測モデルは、訓練されたモデルであることが理解されるべきである。本願の実施例において、訓練された畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ：ＣＮＮ）モデルを所定の予測モデルとして用いることができる。勿論、実際の状況に応じて、同様な目的を達成できる他のネットワークモデル又は他の機器学習モデルを所定の予測モデルとすることもできる。本願の実施例は、これを限定するものではない。
【０５１０】
例示的に、本願の実施例において、ＣＮＮにおける残差ネットワーク（Ｒｅｓｉｄｕａｌ  Ｎｅｔｗｏｒｋｓ：ＲｅｓＮｅｔ）の変形ＲｅｓＮｅｔ−３４又はＲｅｓＮｅｔ−５０を所定の予測モデルとして用いることができる。
【０５１１】
所定の予測モデルにより、収集されたデプス画像及び二次元画像に対して予測処理を行った後、実際の設定に応じて、例えば、初期段階の補完デプス画像、法線方向予測画像、延いてはデプス画像に対応する信頼度画像などを得ることができるため、所定の予測モデルにより得られた予測結果を直接的に拡散待ち画像とすることができ、予測結果に対して処理を行うことで拡散待ち画像を得ることもできることに留意されたい。
【０５１２】
得られた拡散待ち画像は、所定の予測モデルの出力に基づいて得られた、画素値の拡散を行うための画像を指し、得られた特徴画像は、デプス画像及び二次元画像を所定の予測モデルに入力して演算を行った後、所定の予測モデルにおける一層の特徴データを可視化することで得られた特徴画像を指すことに留意されたい。
【０５１３】
所定の予測モデルにより、デプス画像及び二次元像を予測することで、初期段階の補完デプス画像及び法線方向予測画像を得ることができ、つまり、所定の予測モデルは、２つの出力を有するため、特徴画像を得る時、初期段階の補完デプス画像を出力するためのサブネットワークにおける特徴データのみを可視化することで特徴画像を得ることができ、法線方向予測画像を出力するためのサブネットワークにおける特徴データのみを可視化することで特徴画像を得ることもでき、初期段階の補完デプス画像を出力するためのサブネットワークと法線方向予測画像を出力するためのサブネットワークを直列接続し、直列接続ネットワークにおける特徴データを可視化することで、特徴画像を得ることもできることに留意されたい。勿論、他の方式で特徴画像を得ることもできる。本願の実施例は、これを限定するものではない。
【０５１４】
例示的に、所定の予測モデルがＲｅｓＮｅｔ−３４である場合、まず、デプス画像及び二次元画像をＲｅｓＮｅｔ−３４に送り込んで予測を行い、続いて、ＲｅｓＮｅｔ−３４の最後から２層目における特徴データを可視化し、可視化結果を特徴画像とすることができる。勿論、他の方式により、特徴画像を得ることもできる。本願の実施例は、これを限定するものではない。
【０５１５】
本願の幾つかの実施例において、所定の予測モデルは、下記方法で訓練される。
【０５１６】
Ｓ１０７において、訓練サンプル及び予測モデルを取得する。
【０５１７】
レーダーによりターゲットシーンのデプス画像を収集し、カメラによりターゲットシーンの二次元画像を収集する前に、訓練サンプル及び予測モデルを取得する必要もある。これにより、後続で、訓練サンプルにより、予測モデルを訓練することができる。
【０５１８】
所定の予測モデルにより、初期段階の補完デプス画像、法線方向予測画像、特徴画像及び第１信頼度画像を得ることができるため、取得された訓練サンプルに、少なくとも訓練デプス画像サンプル、訓練二次元画像サンプル、訓練デプス画像サンプルと訓練二次元画像サンプルに対応する初期段階の補完デプス画像の真値画像、法線方向予測画像の真値画像及び第１信頼度画像の真値画像が含まれることに留意されたい。ここで、初期段階の補完デプス画像の真値画像は、三次元シーンの真実のデプス情報を画素値とすることで構成された画像を指す。法線方向予測画像の真値画像は、初期段階の補完デプス画像の真値画像に対して主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ：ＰＣＡ）を行うことで算出された画像を指す。第１信頼度画像の真値画像は、訓練デプス画像及びデプス画像の真値画像を利用することで算出された画像を指す。
【０５１９】
本願の実施例において、各３Ｄ点の信頼度の真値に対して演算を行い、続いて、各３Ｄ点の信頼度の真値を画素値として、第１信頼度画像の真値画像を得る。各３Ｄ点の置信度の真値を算出する時、まず、３Ｄ点のデプス情報から、３Ｄ点デプス情報の真値を差し引き、得られた差分値の絶対値を求め、絶対値結果を得る。続いて、絶対値結果と所定の誤差フォールトトレラントパラメータとの比を求める。最後に、得られた比を指数関数の指数とし、自然対数ｅを指数関数の底として演算を行い、各３Ｄ点の信頼度の真値を得る。
【０５２０】
例示的に、本願の実施例において、式（１７）により、３Ｄ点の信頼度の真値を算出することができる。式（１７）は、以下に示すとおりである。
【０５２１】
【数１６４】
2022501681.tif 000167
【０５２２】
ただし、
【０５２３】
【数１６５】
2022501681.tif 000168
【０５２４】
は、３Ｄ点のデプス情報を表し、
【０５２５】
【数１６６】
2022501681.tif 000169
【０５２６】
は、３Ｄ点の訓練デプス情報の真値を表し、ｂは、所定の誤差フォールトトレラントパラメータであり、
【０５２７】
【数１６７】
2022501681.tif 000170
【０５２８】
は、算出された信頼度の真値である。
【０５２９】
各３Ｄ点のデプス情報、各３Ｄ点の訓練デプス情報の真値、及び所定の誤差フォールトトレラントパラメータの数値を取得した後、これらのデータを式（１７）に代入し、各３Ｄ点の信頼度の真値を一つずつ算出し、更に各３Ｄ点の信頼度の真値を画素値として、第１信頼度画像の真値画像を得ることができる。
【０５３０】
本願の実施例において、所定の誤差フォールトトレラントパラメータは、第１信頼度画像の真値画像の演算プロセスに影響を与えるため、所定の誤差フォールトトレラントパラメータは、経験に応じて設定されてもよく、本願の実施例は、これを限定するものではないことに留意されたい。
【０５３１】
例示的に、本願の実施例は、所定の誤差フォールトトレラントパラメータによる第１信頼度画像の真値画像の誤差への影響を示す。図１３（ａ）に示すように、横座標は、所定の誤差フォールトトレラントパラメータｂの値であり、縦座標は、様々な所定の誤差フォールトトレラントパラメータｂにより算出された第１信頼度画像の真値画像の二乗平均平方根誤差（Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ：ＲＭＳＥ）である。ＲＭＳＥの単位は、ｍｍである。図１３（ａ）から分かるように、ｂの値は、
【０５３２】
【数１６８】
2022501681.tif 000171
【０５３３】
から次第に増大し、
【０５３４】
【数１６９】
2022501681.tif 000172
【０５３５】
となるまで継続する場合、第１信頼度画像の真値画像のＲＭＳＥは、まず減少し、続いて増大する。また、ｂが
【０５３６】
【数１７０】
2022501681.tif 000173
【０５３７】
である場合、第１信頼度画像の真値画像ＲＭＳＥは、最小になる。これから分かるように、第１信頼度画像の真値画像のＲＭＳＥを最小にするために、所定の誤差フォールトトレラントパラメータｂを
【０５３８】
【数１７１】
2022501681.tif 000174
【０５３９】
とすることができる。本願の実施例は、所定の誤差フォールトトレラントパラメータの値による信頼度の真値−絶対誤差（Ａｂｓｏｌｕｔｅ  Ｅｒｒｏｒ：ＡＥ）曲線分布への影響を更に示す。図１３（ｂ）における横座標は、絶対誤差であり、ＡＥの単位は、ｍである。縦座標は、信頼度の真値
【０５４０】
【数１７２】
2022501681.tif 000175
【０５４１】
である。図１３（ｂ）における５本の曲線は、左から右へ、順に、ｂ＝０．１である場合の
【０５４２】
【数１７３】
2022501681.tif 000176
【０５４３】
曲線分布、ｂ＝０．５である場合の
【０５４４】
【数１７４】
2022501681.tif 000177
【０５４５】
曲線分布、ｂ＝１．０である場合の
【０５４６】
【数１７５】
2022501681.tif 000178
【０５４７】
曲線分布、ｂ＝１．５である場合の
【０５４８】
【数１７６】
2022501681.tif 000179
【０５４９】
曲線分布、ｂ＝２．０である場合の
【０５５０】
【数１７７】
2022501681.tif 000180
【０５５１】
曲線分布、及びｂ＝５．０である場合の
【０５５２】
【数１７８】
2022501681.tif 000181
【０５５３】
曲線分布である。これらの曲線分布から分かるように、ｂの値が小さすぎる時、例えば、ｂ＝０．１、ｂ＝０．５である時、ＡＥが小さくても、信頼度の
【０５５４】
【数１７９】
2022501681.tif 000182
【０５５５】
も低い。実際の適用において、誤差が小さい信頼度真値に対して、高い信頼度を求めることができない。つまり、信頼度が不正確である。同様に、ｂの値が大きすぎる時、つまり、ｂ＝２．０、ｂ＝５．０である時、ＡＥが大きいが、信頼度の真値
【０５５６】
【数１８０】
2022501681.tif 000183
【０５５７】
は高い。実際の適用において、雑音に対する許容度が高い。従って、誤差が大きい信頼度の置信度の真値に対して、低い信頼度を求めることができない。ｂが１である時、小さなＡＥについて、信頼度
【０５５８】
【数１８１】
2022501681.tif 000184
【０５５９】
が高く、大きなＡＥについて、信頼度
【０５６０】
【数１８２】
2022501681.tif 000185
【０５６１】
が低い、信頼度の真値に対して、適切な信頼度を求めることができる。
【０５６２】
Ｓ１０８において、訓練サンプルにより、予測モデルを訓練し、予測パラメータを得る。
【０５６３】
訓練サンプルを得た後、訓練サンプルにより、予測モデルに対して教師あり訓練を行い、損失関数が要件を満たすまで訓練を中止し、予測パラメータを得る。これにより、後続で、所定の予測モデルを得る。
【０５６４】
所定のモデルを訓練する時、訓練デプス画像サンプル及び訓練二次元画像サンプルを入力として、訓練デプス画像サンプル及び訓練二次元画像サンプルに対応する初期段階の補完デプス画像の真値画像、法線方向予測画像の真値画像及び第１信頼度画像の真値画像を監督として、教師あり訓練を行うことに留意されたい。
【０５６５】
本願の実施例において、初期段階の補完デプス画像の真値画像、法線方向予測画像の真値画像及び第１信頼度画像の真値画像に対してそれぞれサブ損失関数を設定し、続いて、これらのサブ損失関数をそれぞれそれに対応する損失関数の重み調整パラメータと乗算し、最後に乗算結果に基づいて、所定の予測モデルの損失関数を得ることができる。
【０５６６】
例示的に、所定の予測モデルの損失関数を以下に設定してもよい。
【０５６７】
【数１８３】
2022501681.tif 000186
【０５６８】
ただし、
【０５６９】
【数１８４】
2022501681.tif 000187
【０５７０】
は、初期段階の補完デプス画像の真値画像に対応するサブ損失関数であり、
【０５７１】
【数１８５】
2022501681.tif 000188
【０５７２】
は、法線方向予測画像の的真値画像に対応するサブ損失関数であり、
【０５７３】
【数１８６】
2022501681.tif 000189
【０５７４】
は、第１信頼度画像の真値画像に対応するサブ損失関数であり、
【０５７５】
【数１８７】
2022501681.tif 000190
【０５７６】
は、損失関数の重み調整パラメータである。勿論、所定の予測モデルの損失関数を他の形態に設定してもよく、本願の実施例は、これを限定するものではない。
【０５７７】
損失関数の重み調整パラメータは、実際の状況に応じて設定されてもよく、本願の実施例は、これを限定するものではないことに留意されたい。
【０５７８】
初期段階の補完デプス画像の真値画像に対応するサブ損失関数は、以下のように設定されてもよい。
【０５７９】
【数１８８】
2022501681.tif 000191
【０５８０】
ただし、
【０５８１】
【数１８９】
2022501681.tif 000192
【０５８２】
は、訓練サンプルから予測された３Ｄ点の一次デプス情報を表し、
【０５８３】
【数１９０】
2022501681.tif 000193
【０５８４】
は、３Ｄ点の元デプス情報の真値を表し、ｎは初期段階の補完デプス画像の画素の総数である。
【０５８５】
法線方向予測画像の真値画像に対応するサブ損失関数は、以下のように設定されてもよい。
【０５８６】
【数１９１】
2022501681.tif 000194
【０５８７】
ただし、
【０５８８】
【数１９２】
2022501681.tif 000195
【０５８９】
は、訓練サンプルから予測された３Ｄ点の所在する接平面の法線ベクトルを表し、
【０５９０】
【数１９３】
2022501681.tif 000196
【０５９１】
は、３Ｄ点の真実の法線ベクトルを表し、ｎは、法線方向予測画像の画素の総数である。
【０５９２】
第１信頼度画像の真値画像に対応するサブ損失関数は、以下のように設定されてもよい。
【０５９３】
【数１９４】
2022501681.tif 000197
【０５９４】
ただし、
【０５９５】
【数１９５】
2022501681.tif 000198
【０５９６】
は、訓練サンプルから予測された３Ｄ点に対応する信頼度情報を表し、
【０５９７】
【数１９６】
2022501681.tif 000199
【０５９８】
は、式（１７）により算出された３Ｄ点に対応する信頼度情報の真値を表し、ｎは、第１信頼度画像の画素の総数である。
【０５９９】
訓練プロセスにおいて、多くのハイパーパラメータが、例えば、サンプリング率などのような、最後に得られた所定の予測モデルの性能に影響を与えるため、装置は、適切なハイパーパラメータを選択して予測モデルに対して訓練を行うことができることに留意されたい。これにより、後続で、効果が高い所定の予測モデルを得る。
【０６００】
Ｓ１０９において、予測パラメータ及び予測モデルにより、所定の予測モデルを構成する。
【０６０１】
予測モデルを訓練して、予測パラメータを得た後、得られた予測パラメータ及び予測モデルにｙり、所定の予測モデルを構成する。これにより、後続で、装置は、所定の予測モデルにより、装置により収集されたデプス画像及び二次元画像を予測することができる。
【０６０２】
例示的に、本願の実施例は、所定の予測モデルのサンプリング率による補完後のデプス画像への影響を示す概略図を提供する。図１４（ａ）に示すように、ＫＩＴＴＩデータ集合で試験を行う。横座標は、サンプリング率であり、縦座標は、ＲＭＳＥであり、ＲＭＳＥの単位は、ｍｍである。図面における３本の曲線は、それぞれ、ｅｐｏｃｈ＝１０、ｅｐｏｃｈ＝２０及びｅｐｏｃｈ＝３０である場合に得られた結果である。図１４（ａ）から分かるように、ｅｐｏｃｈ＝１０、ｅｐｏｃｈ＝２０、ｅｐｏｃｈ＝３０に関わらず、サンプリング率が０から１．０へ逓増する時、ＲＭＳＥは、ますます小さくなり、且つ、サンプリング率が１．０である場合、ＲＭＳＥは、最小になる。図１４（ｂ）は、ＮＹＵデータ集合で試験を行った結果を示す。図１４（ａ）と同様に、図１４（ｂ）における横座標は、サンプリング率であり、縦座標は、ＲＭＳＥであり、ＲＭＳＥの単位は、ｍｍである。図面における３本の曲線は、それぞれ、ｅｐｏｃｈ＝１０、ｅｐｏｃｈ＝２０及びｅｐｏｃｈ＝３０である場合に得られた結果である。図１４（ａ）と同様に、ｅｐｏｃｈ＝１０、ｅｐｏｃｈ＝２０、ｅｐｏｃｈ＝３０に関わらず、サンプリング率が０から１．０へ逓増する時、ＲＭＳＥは、ますます小さくなり、且つ、サンプリング率が１．０である場合、ＲＭＳＥは、最小になる。図１４（ａ）及び図１４（ｂ）から分かるように、所定の予測モデルに対して適切なサンプリング率を選択することで、補完後のデプス画像のＲＭＳＥを著しく低下させることができ、つまり、効果が高い補完後のデプス画像を得ることができる。
【０６０３】
本願の実施例において、予測モデルに対して訓練を行い、予測パラメータを得て、予測パラメータ及び予測モデルで所定の予測モデルを構成することができる。従って、後続で、所定の予測モデルにより、リアルタイムに収集されたデプス画像及び二次元画像に対して予測処理を行うことができる。
【０６０４】
例示的に、本願の実施例は、デプス画像補完方法の効果と関連技術におけるデプス補完技術の効果との比較を示す概略図を提供する。図１５（ａ）に示すように、収集された三次元シーンのデプス画像及び二次元画像を示す概略図である。観察を容易にするために、デプス画像と二次元画像を重ね合せて示す。図１５（ｂ）は、関連技術における畳み込み空間伝播ネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｓｐａｔｉａｌ  Ｐｒｏｐａｇａｔｉｏｎ  Ｎｅｔｗｏｒｋ：ＣＳＰＮ）によりデプス補完を行うことで得られた補完したデプス画像を示す。図１５（ｃ）は、関連技術におけるＮＣｏｎｖ−畳み込みニューラルネットワーク（ＮＣｏｎｖ−  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＮＣｏｎｖ−ＣＮＮ）により得られた補完したデプス画像を示す。図１５（ｄ）は、関連技術における疎ら−密な（Ｓｐａｒｓｅ−ｔｏ−Ｄｅｎｓｅ）方法で得られた補完したデプス画像を示す。図１５（ｅ）は、本願の実施例による予測した法線方向予測画像を示す。図１５（ｆ）は、本願の実施例による予測した第１信頼度画像を示す。図１５（ｇ）は、本願の実施例によるデプス画像補完方法で得られた補完后したデプス画像を示す。図１５（ｂ）、図１５（ｃ）、図１５（ｄ）を図１５（ｇ）と比較すると、従来技術に比べて、本願の実施例によるデプス画像補完方法で得られた補完したデプス画像の効果がより高く、誤ったデプス情報を有する画素点の数がより少なく、且つ補完後のデプス画像の細部情報もより十分であることが明らかになる。
【０６０５】
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。
【０６０６】
本願の幾つかの実施例において、図１６に示すように、本願の実施例は、デプス画像補完装置１を提供する。該デプス画像補完装置１は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集するように構成される収集モジュール１０と、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される処理モジュール１１であって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、処理モジュール１１と、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するように構成される拡散モジュール１２と、を備えてもよい。
【０６０７】
本願の幾つかの実施例において、前記拡散モジュール１２は更に、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定し、前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定するように構成される。
【０６０８】
本願の幾つかの実施例において、前記拡散待ち画像は、初期段階の補完デプス画像であり、前記拡散モジュール１２は、前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するように構成される場合、更に、前記拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とし、拡散後の画像を補完後のデプス画像とするように構成される。
【０６０９】
本願の幾つかの実施例において、前記拡散待ち画像は、第１平面原点距離画像であり、前記処理モジュール１１は、前記デプス画像及び前記二次元画像に基づいて拡散待ち画像及び特徴画像を決定するように構成される場合、更に、前記カメラのパラメータ行列を取得し、前記デプス画像及び前記二次元画像に基づいて、前記初期段階の補完デプス画像、前記特徴画像及び法線方向予測画像を決定するように構成され、前記法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指し、前記処理モジュール１１は更に、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出するように構成され、前記第１平面原点距離画像は、前記初期段階の補完デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値とした画像である。
【０６１０】
本願の幾つかの実施例において、前記処理モジュール１１は更に、前記デプス画像及び前記二次元画像に基づいて第１信頼度画像を決定するように構成され、前記第１信頼度画像は、前記デプス画像における各画素に対応する信頼度を画素値として用いた画像を指し、前記処理モジュール１１は更に、前記デプス画像、前記パラメータ行列及び前記法線方向予測画像に基づいて、第２平面原点距離画像を算出するように構成され、前記第２平面原点距離画像は、前記デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値として用いた画像を指し、前記処理モジュール１１は更に、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るように構成される。
【０６１１】
本願の幾つかの実施例において、前記処理モジュール１１は、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るように構成される場合、更に、前記第２平面原点距離画像から、前記第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、前記置換え画素点の画素値を決定することであって、前記第１画素点は、前記第１平面原点距離画像におけるいずれか１つの画素点である、ことと、前記第１信頼度画像から、前記置換え画素点に対応する信頼度情報を決定することと、前記置換え画素点の画素値、前記信頼度情報及び前記第１平面原点距離画像の第１画素点の画素値に基づいて、前記第１平面原点距離画像の前記第１画素点の最適化後の画素値を決定することと、を繰り返して実行し、前記第１平面原点距離画像の各画素の最適化後の画素値を決定して前記最適化後の第１平面原点距離画像を得るまで継続するように構成される。
【０６１２】
本願の幾つかの実施例において、前記処理モジュール１１は、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される場合、更に、所定拡散範囲に基づいて、前記拡散待ち画像から、前記拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、前記拡散待ち画素集合における各画素の画素値を決定するように構成され、前記第２画素点は、前記拡散待ち画像におけるいずれか１つの画素点であり、前記処理モジュール１１は更に、前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出するように構成され、
前記拡散モジュール１２は、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定するように構成される場合、更に、前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定すること、を繰り返して実行し、前記拡散待ち画像における各画素の拡散後の画素値を決定するまで継続するように構成される。
【０６１３】
本願の幾つかの実施例において、前記処理モジュール１１は、前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出するように構成される場合、更に、拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することと、前記特徴画像において、前記拡散待ち画像の第２画素点に対応する画素を第１特徴画素とすることと、前記特徴画像において、前記拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とすることであって、前記第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である、ことと、前記第１特徴画素の特徴情報及び前記第２特徴画素の特徴情報を抽出することと、前記第１特徴画素の特徴情報、前記第２特徴画素の特徴情報、前記強度正規化パラメータ及び所定拡散制御パラメータ利用して、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出することと、を繰り返して実行し、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を決定するまで継続することと、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を前記拡散待ち画像の第２画素点に対応する拡散強度とすることと、を実行するように構成される。
【０６１４】
本願の幾つかの実施例において、前記処理モジュール１１は、拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出するように構成される場合、更に、前記拡散待ち画像の第２画素点の特徴情報及び前記拡散待ち画素集合における第３画素点の特徴情報を抽出することと、抽出して得られた拡散待ち画像の第２画素点の特徴情報、前記拡散待ち画素集合における第３画素点の特徴情報及び前記所定拡散制御パラメータ利用して、前記拡散待ち画素集合における第３画素点のサブ正規化パラメータを算出することと、を繰り返して実行し、前記拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続することと、前記拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることと、実行するように構成される。
【０６１５】
本願の幾つかの実施例において、前記拡散モジュール１２は、前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定するように構成される場合、更に、前記拡散強度における各サブ拡散強度をそれぞれ前記拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第１拡散部を得て、前記拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第２拡散部を得て、前記拡散待ち画像の第２画素点の画素値、前記拡散待ち画像の第２画素点の第１拡散部及び前記拡散待ち画像の第２画素点の第２拡散部に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を算出するように構成される。
【０６１６】
本願の幾つかの実施例において、前記拡散モジュール１２は更に、前記補完後のデプス画像を拡散待ち画像とし、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続するように構成される。
【０６１７】
本願の幾つかの実施例において、前記拡散モジュール１２は更に、前記補完後のデプス画像を初期段階の補完デプス画像とし、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップ、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続するように構成される。
【０６１８】
本願の幾つかの実施例において、前記拡散モジュール１２は、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするように構成される場合、更に、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出し、前記デプス画像及び前記二次元画像に基づいて、第１信頼度画像を決定し、前記デプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出し、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするように構成される。
【０６１９】
幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
【０６２０】
本願の幾つかの実施例において、図１７は、本願の実施例によるデプス画像補完装置の構造を示す概略図である。図１７に示すように、本願で提供されるデプス画像補完装置は、プロセッサ０１と、プロセッサ０１による実行可能な命令を記憶したメモリ０２と、を備えてもよい。プロセッサ０１は、メモリに記憶された実行可能なデプス画像補完命令を実行し、本願の実施例で提供されるデプス画像補完方法を実現させるように構成される。
【０６２１】
本願の実施例において、上記プロセッサ０１は、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理機器（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ：ＦＰＧＡ）、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。様々な機器について、上記プロセッサの機能を実現させるための電子機器は、他のものであってもよく、本願の実施例は、これを限定するものではないことが理解されるべきである。該端末は、メモリ０２を更に備えてもよい。該メモリ０２は、プロセッサ０１に接続されてもよい。ここで、メモリ０２は、高速ＲＡＭメモリを含んでもよく、例えば、少なくとも２つの磁気ディスクメモリのような不揮発性メモリを含んでもよい。
【０６２２】
上記適用において、上記メモリ０２は、プロセッサ０１に命令及びデータを提供するための、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ＲＡＭ）のような揮発性メモリ（ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）であってもよく、例えば、読出し専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＲＯＭ）、フラッシュメモリ（ｆｌａｓｈ  ｍｅｍｏｒｙ）、ハードディスクドライブ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ：ＨＤＤ）又はソリッドステートドライブ（Ｓｏｌｉｄ−Ｓｔａｔｅ  Ｄｒｉｖｅ：ＳＳＤ）のような不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）であってもよく、又は上記メモリの組み合わせであってもよい。
【０６２３】
なお、本実施例における各機能モジュールは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。
【０６２４】
集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器（パーソナルコンピュータ、サーバ又はネットワーク装置など）又はｐｒｏｃｅｓｓｏｒ（プロセッサ）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読出し専用メモリ、ランダムアクセスメモリ、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
【０６２５】
本願の実施例におけるデプス画像補完装置は、例えば、デスクトップコンピュータ、ノートパソコン、マイクロコンピュータ、車載コンピュータなどのような、演算機能を有する装置であってもよい。具体的な装置の実施形態は、実際の需要に応じて決まってもよく、本願の実施例はこれを限定するものではない。
【０６２６】
本願の実施例提供は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に、実行可能なデプス画像補完命令が記憶されており、端末に適用される。該プログラムがプロセッサにより実行される時、本願の実施例で提供されるデプス画像補完方法を実現させる。
【０６２７】
本願の実施例は、方法、システム又はコンピュータプログラム製品として提供されてもよい。従って、本願は、ハードウェア実施例、ソフトウェア実施例又は、ソフトウェアとハードウェアを組み合わせる実施例の形態を用いてもよいことが当業者であれ理解すべきである。また、本願は、コンピュータによる利用可能なコンピュータコードを含む１つ又は複数のコンピュータによる利用可能な記憶媒体（磁気ディスクメモリ及び光学メモリなどを含むが、これらに限定されない）で実行されるコンピュータプログラム製品の形態を利用することができる。
【０６２８】
本願は、本願の実施例の方法、機器（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、説明される。コンピュータプログラム命令により、フローチャート及び／又はブロック図における各フロー及び／又はブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせを実現することができることが理解されるべきである。これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。
【０６２９】
これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ又は他のプログラマブルデータ処理装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能を実現する各態様の命令を含む製品を備える。
【０６３０】
これらのコンピュータプログラム命令をコンピュータ又は他のプログラマブルデータ処理装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能を実現させる。
【０６３１】
後続の説明において、「モジュール」、「部材」又は「ユニット」のような素子を表すための接尾語は、本願の説明を容易にするためのものだけであり、その自体は、特定の意味を持たない。従って、「モジュール」、「部材」又は「ユニット」は混用してもよい。
【０６３２】
上記は、本願の好ましい実施例に過ぎず、本願の保護範囲を限定するものではない。
【産業上の利用可能性】
【０６３３】
本実施例において、デプス画像補完装置は、収集されたデプス画像及び二次元画像に基づいて、拡散待ち画像を得ることができる。拡散待ち画像に、収集されたデプス画像における全てのポイントクラウドデータが残されている。これにより、拡散待ち画像における各画素値及びそれに対応する拡散強度を利用して、拡散待ち画像における各画素の拡散後の画素値を決定する時、収集されたデプス画像における全てのポイントクラウドデータを利用する。これにより、収集されたデプス画像におけるポイントクラウドデータを十分に利用することで、三次元シーンにおける各３Ｄ点のデプス情報の正確度がより高くなり、補完後のデプス画像の正確度が向上した。
【図１】
2022501681.tif 000200
【図２】
2022501681.tif 000201
【図３】
2022501681.tif 000202
【図４（ａ）】
2022501681.tif 000203
【図４（ｂ）】
2022501681.tif 000204
【図５】
2022501681.tif 000205
【図６】
2022501681.tif 000206
【図７】
2022501681.tif 000207
【図８】
2022501681.tif 000208
【図９】
2022501681.tif 000209
【図１０】
2022501681.tif 000210
【図１１】
2022501681.tif 000211
【図１２（ａ）】
2022501681.tif 000212
【図１２（ｂ）】
2022501681.tif 000213
【図１３（ａ）】
2022501681.tif 000214
【図１３（ｂ）】
2022501681.tif 000215
【図１４（ａ）】
2022501681.tif 000216
【図１４（ｂ）】
2022501681.tif 000217
【図１５（ａ）】
2022501681.tif 000218
【図１５（ｂ）】
2022501681.tif 000219
【図１５（ｃ）】
2022501681.tif 000220
【図１５（ｄ）】
2022501681.tif 000221
【図１５（ｅ）】
2022501681.tif 000222
【図１５（ｆ）】
2022501681.tif 000223
【図１５（ｇ）】
2022501681.tif 000224
【図１６】
2022501681.tif 000225
【図１７】
2022501681.tif 000226
【手続補正書】
【提出日】令和2年12月8日(2020.12.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
デプス画像補完方法であって、前記方法は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集することと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定することと、
前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、ことと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することと、を含む、デプス画像補完方法。
【請求項２】
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することは、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定することと、
前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項３】
前記拡散待ち画像は、初期段階の補完デプス画像であり、前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定することは、
前記拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とすることと、
拡散後の画像を補完後のデプス画像とすることと、を含むことを特徴とする
請求項２に記載の方法。
【請求項４】
前記拡散待ち画像は、第１平面原点距離画像であり、前記デプス画像及び前記二次元画像に基づいて拡散待ち画像及び特徴画像を決定することは、
前記カメラのパラメータ行列を取得することと、
前記収集されたデプス画像及び前記二次元画像に基づいて、初期段階の補完デプス画像、前記特徴画像及び法線方向予測画像を決定することであって、前記法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指す、ことと、
前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出することであって、前記第１平面原点距離画像は、前記初期段階の補完デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値とした画像である、ことと、を含むことを特徴とする
請求項２に記載の方法。
【請求項５】
前記方法は、
前記収集されたデプス画像及び前記二次元画像に基づいて第１信頼度画像を決定することであって、前記第１信頼度画像は、前記収集されたデプス画像における各画素に対応する信頼度を画素値として用いた画像を指す、ことと、
前記収集されたデプス画像、前記パラメータ行列及び前記法線方向予測画像に基づいて、第２平面原点距離画像を算出することであって、前記第２平面原点距離画像は、前記収集されたデプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値として用いた画像を指す、ことと、
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得ることと、を更に含むことを特徴とする
請求項４に記載の方法。
【請求項６】
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得ることは、
前記第２平面原点距離画像から、前記第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、前記置換え画素点の画素値を決定することであって、前記第１画素点は、前記第１平面原点距離画像におけるいずれか１つの画素点である、ことと、
前記第１信頼度画像から、前記置換え画素点に対応する信頼度情報を決定することと、
前記置換え画素点の画素値、前記信頼度情報及び前記第１平面原点距離画像の第１画素点の画素値に基づいて、前記第１平面原点距離画像の前記第１画素点の最適化後の画素値を決定することと、
を繰り返して実行し、前記第１平面原点距離画像の各画素の最適化後の画素値を決定して前記最適化後の第１平面原点距離画像を得るまで継続すること、を含むことを特徴とする
請求項５に記載の方法。
【請求項７】
前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することは、
所定拡散範囲に基づいて、前記拡散待ち画像から、前記拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、前記拡散待ち画素集合における各画素の画素値を決定することであって、前記第２画素点は、前記拡散待ち画像におけるいずれか１つの画素点である、ことと、
前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出することと、を含み、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定することは、
前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定すること、
を繰り返して実行し、前記拡散待ち画像における各画素の拡散後の画素値を決定するまで継続すること、を含むことを特徴とする
請求項２−６のうちいずれか一項に記載の方法。
【請求項８】
前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出することは、
拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することと、
前記特徴画像において、前記拡散待ち画像の第２画素点に対応する画素を第１特徴画素とすることと、
前記特徴画像において、前記拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とすることであって、前記第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である、ことと、
前記第１特徴画素の特徴情報及び前記第２特徴画素の特徴情報を抽出することと、
前記第１特徴画素の特徴情報、前記第２特徴画素の特徴情報、前記強度正規化パラメータ及び所定拡散制御パラメータ利用して、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出することと、
を繰り返して実行し、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を決定するまで継続することと、
前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を前記拡散待ち画像の第２画素点に対応する拡散強度とすることと、を含むことを特徴とする
請求項７に記載の方法。
【請求項９】
前記サブ拡散強度は、前記拡散待ち画像の第２画素点と前記拡散待ち画素集合における第３画素点との類似度であることを特徴とする
請求項８に記載の方法。
【請求項１０】
拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することは、
前記拡散待ち画像の第２画素点の特徴情報及び前記拡散待ち画素集合における第３画素点の特徴情報を抽出することと、
抽出して得られた拡散待ち画像の第２画素点の特徴情報、前記拡散待ち画素集合における第３画素点の特徴情報及び前記所定拡散制御パラメータ利用して、前記拡散待ち画素集合における第３画素点のサブ正規化パラメータを算出することと、
を繰り返して実行し、前記拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続することと、
前記拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることと、を含むことを特徴とする
請求項８に記載の方法。
【請求項１１】
前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定することは、
前記拡散強度における各サブ拡散強度をそれぞれ前記拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第１拡散部を得ることと、
前記拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第２拡散部を得ることと、
前記拡散待ち画像の第２画素点の画素値、前記拡散待ち画像の第２画素点の第１拡散部及び前記拡散待ち画像の第２画素点の第２拡散部に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を算出することと、を含むことを特徴とする
請求項８に記載の方法。
【請求項１２】
前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定した後、前記方法は、
前記補完後のデプス画像を拡散待ち画像とし、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続することを更に含むことを特徴とする
請求項３に記載の方法。
【請求項１３】
前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定した後、前記方法は、
前記補完後のデプス画像を初期段階の補完デプス画像とし、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップ、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続することを更に含むことを特徴とする
請求項４−１１のうちいずれか一項に記載の方法。
【請求項１４】
毎回に実行される、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップは、
前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出するステップと、
前記収集されたデプス画像及び前記二次元画像に基づいて、第１信頼度画像を決定するステップと、
前記収集されたデプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出するステップと、
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするステップと、を含むことを特徴とする
請求項１３に記載の方法。
【請求項１５】
デプス画像補完装置であって、前記装置は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集するように構成される収集モジュールと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される処理モジュールであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、処理モジュールと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するように構成される拡散モジュールと、を備える、デプス画像補完装置。
【請求項１６】
デプス画像補完装置であって、前記装置は、メモリと、プロセッサと、を備え、
前記メモリは、実行可能なデプス画像補完命令を記憶するように構成され、
前記プロセッサは、前記メモリに記憶された実行可能なデプス画像補完命令を実行し、請求項１−１４のうちいずれか一項に記載の方法を実現させるように構成される、デプス画像補完装置。
【請求項１７】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、実行可能なデプス画像補完命令が記憶されており、実行可能なデプス画像補完命令が、プロセッサに、請求項１−１４のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
第４態様によれば、本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に、実行可能なデプス画像補完命令が記憶されており、プロセッサにより実行される時、上記第１態様のいずれか一項に記載の方法を実現させる。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
デプス画像補完方法であって、前記方法は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集することと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定することと、
前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、ことと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することと、を含む、デプス画像補完方法。
（項目２）
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定することは、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定することと、
前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記拡散待ち画像は、初期段階の補完デプス画像であり、前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定することは、
前記拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とすることと、
拡散後の画像を補完後のデプス画像とすることと、を含むことを特徴とする
項目２に記載の方法。
（項目４）
前記拡散待ち画像は、第１平面原点距離画像であり、前記デプス画像及び前記二次元画像に基づいて拡散待ち画像及び特徴画像を決定することは、
前記カメラのパラメータ行列を取得することと、
前記収集されたデプス画像及び前記二次元画像に基づいて、前記初期段階の補完デプス画像、前記特徴画像及び法線方向予測画像を決定することであって、前記法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指す、ことと、
前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出することであって、前記第１平面原点距離画像は、前記初期段階の補完デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値とした画像である、ことと、を含むことを特徴とする
項目２に記載の方法。
（項目５）
前記方法は、
前記収集されたデプス画像及び前記二次元画像に基づいて第１信頼度画像を決定することであって、前記第１信頼度画像は、前記収集されたデプス画像における各画素に対応する信頼度を画素値として用いた画像を指す、ことと、
前記収集されたデプス画像、前記パラメータ行列及び前記法線方向予測画像に基づいて、第２平面原点距離画像を算出することであって、前記第２平面原点距離画像は、前記収集されたデプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値として用いた画像を指す、ことと、
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得ることと、を更に含むことを特徴とする
項目４に記載の方法。
（項目６）
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得ることは、
前記第２平面原点距離画像から、前記第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、前記置換え画素点の画素値を決定することであって、前記第１画素点は、前記第１平面原点距離画像におけるいずれか１つの画素点である、ことと、
前記第１信頼度画像から、前記置換え画素点に対応する信頼度情報を決定することと、
前記置換え画素点の画素値、前記信頼度情報及び前記第１平面原点距離画像の第１画素点の画素値に基づいて、前記第１平面原点距離画像の前記第１画素点の最適化後の画素値を決定することと、
を繰り返して実行し、前記第１平面原点距離画像の各画素の最適化後の画素値を決定して前記最適化後の第１平面原点距離画像を得るまで継続すること、を含むことを特徴とする
項目５に記載の方法。
（項目７）
前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定することは、
所定拡散範囲に基づいて、前記拡散待ち画像から、前記拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、前記拡散待ち画素集合における各画素の画素値を決定することであって、前記第２画素点は、前記拡散待ち画像におけるいずれか１つの画素点である、ことと、
前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出することと、を含み、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定することは、
前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定すること、
を繰り返して実行し、前記拡散待ち画像における各画素の拡散後の画素値を決定するまで継続すること、を含むことを特徴とする
項目２−６のうちいずれか一項に記載の方法。
（項目８）
前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出することは、
拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することと、
前記特徴画像において、前記拡散待ち画像の第２画素点に対応する画素を第１特徴画素とすることと、
前記特徴画像において、前記拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とすることであって、前記第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である、ことと、
前記第１特徴画素の特徴情報及び前記第２特徴画素の特徴情報を抽出することと、
前記第１特徴画素の特徴情報、前記第２特徴画素の特徴情報、前記強度正規化パラメータ及び所定拡散制御パラメータ利用して、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出することと、
を繰り返して実行し、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を決定するまで継続することと、
前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を前記拡散待ち画像の第２画素点に対応する拡散強度とすることと、を含むことを特徴とする
項目７に記載の方法。
（項目９）
前記サブ拡散強度は、前記拡散待ち画像の第２画素点と前記拡散待ち画素集合における第３画素点との類似度であることを特徴とする
項目８に記載の方法。
（項目１０）
拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することは、
前記拡散待ち画像の第２画素点の特徴情報及び前記拡散待ち画素集合における第３画素点の特徴情報を抽出することと、
抽出して得られた拡散待ち画像の第２画素点の特徴情報、前記拡散待ち画素集合における第３画素点の特徴情報及び前記所定拡散制御パラメータ利用して、前記拡散待ち画素集合における第３画素点のサブ正規化パラメータを算出することと、
を繰り返して実行し、前記拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続することと、
前記拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることと、を含むことを特徴とする
項目８に記載の方法。
（項目１１）
前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定することは、
前記拡散強度における各サブ拡散強度をそれぞれ前記拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第１拡散部を得ることと、
前記拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第２拡散部を得ることと、
前記拡散待ち画像の第２画素点の画素値、前記拡散待ち画像の第２画素点の第１拡散部及び前記拡散待ち画像の第２画素点の第２拡散部に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を算出することと、を含むことを特徴とする
項目８に記載の方法。
（項目１２）
前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定した後、前記方法は、
前記補完後のデプス画像を拡散待ち画像とし、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続することを更に含むことを特徴とする
項目３に記載の方法。
（項目１３）
前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定した後、前記方法は、
前記補完後のデプス画像を初期段階の補完デプス画像とし、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップ、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続することを更に含むことを特徴とする
項目４−１１のうちいずれか一項に記載の方法。
（項目１４）
毎回に実行される、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップは、
前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出するステップと、
前記収集されたデプス画像及び前記二次元画像に基づいて、第１信頼度画像を決定するステップと、
前記収集されたデプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出するステップと、
前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするステップと、を含むことを特徴とする
項目１３に記載の方法。
（項目１５）
デプス画像補完装置であって、前記装置は、
設けられたレーダーにより、ターゲットシーンのデプス画像を収集し、設けられたカメラにより、前記ターゲットシーンの二次元画像を収集するように構成される収集モジュールと、
収集されたデプス画像及び前記二次元画像に基づいて、拡散待ち画像及び特徴画像を決定し、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される処理モジュールであって、前記拡散強度は、前記拡散待ち画像における各画素の画素値が隣接画素へ拡散する強度を表す、処理モジュールと、
前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、補完後のデプス画像を決定するように構成される拡散モジュールと、を備える、デプス画像補完装置。
（項目１６）
前記拡散モジュールは更に、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定し、前記拡散待ち画像における各画素の拡散後の画素値に基づいて、補完後のデプス画像を決定するように構成されることを特徴とする
項目１５に記載のデプス画像補完装置。
（項目１７）
前記拡散待ち画像は、初期段階の補完デプス画像であり、
前記拡散モジュールは、前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するように構成される場合、更に、前記拡散待ち画像における各画素の拡散後の画素値を拡散後の画像の各画素の画素値とし、拡散後の画像を補完後のデプス画像とするように構成されることを特徴とする
項目１６に記載のデプス画像補完装置。
（項目１８）
前記拡散待ち画像は、第１平面原点距離画像であり、
前記処理モジュールは、前記デプス画像及び前記二次元画像に基づいて拡散待ち画像及び特徴画像を決定するように構成される場合、更に、前記カメラのパラメータ行列を取得し、前記デプス画像及び前記二次元画像に基づいて、前記初期段階の補完デプス画像、前記特徴画像及び法線方向予測画像を決定するように構成され、前記法線方向予測画像は、三次元シーンにおける各点の法線ベクトルを画素値とした画像を指し、前記処理モジュールは更に、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出するように構成され、前記第１平面原点距離画像は、前記初期段階の補完デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値とした画像であることを特徴とする
項目１６に記載のデプス画像補完装置。
（項目１９）
前記処理モジュールは更に、前記デプス画像及び前記二次元画像に基づいて第１信頼度画像を決定するように構成され、前記第１信頼度画像は、前記デプス画像における各画素に対応する信頼度を画素値として用いた画像を指し、前記処理モジュールは更に、前記デプス画像、前記パラメータ行列及び前記法線方向予測画像に基づいて、第２平面原点距離画像を算出するように構成され、前記第２平面原点距離画像は、前記デプス画像を利用して算出された前記カメラから前記三次元シーンにおける各点の所在する平面までの距離を画素値として用いた画像を指し、前記処理モジュールは更に、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るように構成されることを特徴とする
項目１８に記載のデプス画像補完装置。
（項目２０）
前記処理モジュールは、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得るように構成される場合、更に、前記第２平面原点距離画像から、前記第１平面原点距離画像の第１画素点に対応する画素点を置換え画素点として決定し、前記置換え画素点の画素値を決定することであって、前記第１画素点は、前記第１平面原点距離画像におけるいずれか１つの画素点である、ことと、前記第１信頼度画像から、前記置換え画素点に対応する信頼度情報を決定することと、前記置換え画素点の画素値、前記信頼度情報及び前記第１平面原点距離画像の第１画素点の画素値に基づいて、前記第１平面原点距離画像の前記第１画素点の最適化後の画素値を決定することと、を繰り返して実行し、前記第１平面原点距離画像の各画素の最適化後の画素値を決定して前記最適化後の第１平面原点距離画像を得るまで継続するように構成されることを特徴とする
項目１９に記載のデプス画像補完装置。
（項目２１）
前記処理モジュールは、前記拡散待ち画像及び前記特徴画像に基づいて、前記拡散待ち画像における各画素の拡散強度を決定するように構成される場合、更に、所定拡散範囲に基づいて、前記拡散待ち画像から、前記拡散待ち画像の第２画素点に対応する拡散待ち画素集合を決定し、前記拡散待ち画素集合における各画素の画素値を決定するように構成され、前記第２画素点は、前記拡散待ち画像におけるいずれか１つの画素点であり、前記処理モジュールは更に、前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出するように構成され、
前記拡散モジュールは、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて、前記拡散待ち画像における各画素の拡散後の画素値を決定するように構成される場合、更に、前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定すること、を繰り返して実行し、前記拡散待ち画像における各画素の拡散後の画素値を決定するまで継続するように構成されることを特徴とする
項目１６−２０のうちいずれか一項に記載のデプス画像補完装置。
（項目２２）
前記処理モジュールは、前記特徴画像、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する拡散強度を算出するように構成される場合、更に、拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出することと、前記特徴画像において、前記拡散待ち画像の第２画素点に対応する画素を第１特徴画素とすることと、前記特徴画像において、前記拡散待ち画素集合における第３画素点に対応する画素を第２特徴画素とすることであって、前記第３画素点は、拡散待ち画素集合におけるいずれか１つの画素点である、ことと、前記第１特徴画素の特徴情報及び前記第２特徴画素の特徴情報を抽出することと、前記第１特徴画素の特徴情報、前記第２特徴画素の特徴情報、前記強度正規化パラメータ及び所定拡散制御パラメータ利用して、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における第３画素点からなる拡散画素ペアのサブ拡散強度を算出することと、を繰り返して実行し、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を決定するまで継続することと、前記拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素からなる拡散画素ペアのサブ拡散強度を前記拡散待ち画像の第２画素点に対応する拡散強度とすることと、を実行するように構成されることを特徴とする
項目２１に記載のデプス画像補完装置。
（項目２３）
前記処理モジュールは、拡散待ち画像の第２画素点及び前記拡散待ち画素集合における各画素を利用して、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを算出するように構成される場合、更に、前記拡散待ち画像の第２画素点の特徴情報及び前記拡散待ち画素集合における第３画素点の特徴情報を抽出することと、抽出して得られた拡散待ち画像の第２画素点の特徴情報、前記拡散待ち画素集合における第３画素点の特徴情報及び前記所定拡散制御パラメータ利用して、前記拡散待ち画素集合における第３画素点のサブ正規化パラメータを算出することと、を繰り返して実行し、前記拡散待ち画素集合における各画素のサブ正規化パラメータを得るまで継続することと、前記拡散待ち画素集合における各画素のサブ正規化パラメータに対して累加を行い、前記拡散待ち画像の第２画素点に対応する強度正規化パラメータを得ることと、実行するように構成されることを特徴とする
項目２２に記載のデプス画像補完装置。
（項目２４）
前記拡散モジュールは、前記拡散待ち画像の第２画素点の拡散強度、前記拡散待ち画像の第２画素点の画素値及び前記拡散待ち画素集合における各画素の画素値に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を決定するように構成される場合、更に、前記拡散強度における各サブ拡散強度をそれぞれ前記拡散待ち画像の第２画素点の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第１拡散部を得て、前記拡散強度における各サブ拡散強度をそれぞれ拡散待ち画素集合における各画素の画素値と乗算し、得られた乗算結果を累加し、前記拡散待ち画像の第２画素点の第２拡散部を得て、前記拡散待ち画像の第２画素点の画素値、前記拡散待ち画像の第２画素点の第１拡散部及び前記拡散待ち画像の第２画素点の第２拡散部に基づいて、前記拡散待ち画像の第２画素点の拡散後の画素値を算出するように構成されることを特徴とする
項目２２に記載のデプス画像補完装置。
（項目２５）
前記拡散モジュールは更に、前記補完後のデプス画像を拡散待ち画像とし、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続するように構成されることを特徴とする
項目１７に記載のデプス画像補完装置。
（項目２６）
前記拡散モジュールは更に、前記補完後のデプス画像を初期段階の補完デプス画像とし、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするステップ、前記拡散待ち画像及び前記特徴画像に基づいて前記拡散待ち画像における各画素の拡散強度を決定するステップ、前記拡散待ち画像における各画素の画素値及び前記拡散待ち画像における各画素の拡散強度に基づいて前記拡散待ち画像における各画素の拡散後の画素値を決定するステップ、及び前記拡散待ち画像における各画素の拡散後の画素値に基づいて補完後のデプス画像を決定するステップを繰り返して実行し、所定の繰り返し回数に達するまで継続するように構成されることを特徴とする
項目１８−２４のうちいずれか一項に記載のデプス画像補完装置。
（項目２７）
前記拡散モジュールは、毎回に実行される、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び前記法線方向予測画像に基づいて、第１平面原点距離画像を算出して前記第１平面原点距離画像を拡散待ち画像とするように構成される場合、更に、前記初期段階の補完デプス画像、前記カメラのパラメータ行列及び法線方向予測画像に基づいて、第１平面原点距離画像を算出し、前記デプス画像及び前記二次元画像に基づいて、第１信頼度画像を決定し、前記デプス画像、パラメータ行列及び法線方向予測画像に基づいて、第２平面原点距離画像を算出し、前記第１信頼度画像における画素、前記第２平面原点距離画像における画素及び前記第１平面原点距離画像における画素に基づいて、前記第１平面原点距離画像における画素を最適化し、最適化後の第１平面原点距離画像を得て、最適化後の第１平面原点距離画像を拡散待ち画像とするように構成されることを特徴とする
項目２６に記載のデプス画像補完装置。
（項目２８）
デプス画像補完装置であって、前記装置は、メモリと、プロセッサと、を備え、
前記メモリは、実行可能なデプス画像補完命令を記憶するように構成され、
前記プロセッサは、前記メモリに記憶された実行可能なデプス画像補完命令を実行し、項目１−１４のうちいずれか一項に記載の方法を実現させるように構成される、デプス画像補完装置。
（項目２９）
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体に、実行可能なデプス画像補完命令が記憶されており、実行可能なデプス画像補完命令が、プロセッサに、項目１−１４のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【国際調査報告】
2022501681.tif 000227
2022501681.tif 000228
2022501681.tif 000229
2022501681.tif 000230