(57)【要約】本願は、所定シーンにおける同一対象の赤外線画像、カラー画像及び前記カラー画像に対応する第１深度マップを取得するステップと、前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するステップと、前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得るステップと、を含む画像処理方法及び装置、電子機器並びに記憶媒体に関する。本願の実施例は、深度マップ及びカラー画像の高精度較正を実現することができる。
2021516909.tif 000002
【特許請求の範囲】
【請求項１】
所定シーンにおける同一対象の赤外線画像、カラー画像及び前記カラー画像に対応する第１深度マップを取得するステップと、
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するステップと、
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得るステップと、を含む画像処理方法。
【請求項２】
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得る前記ステップは、
前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して、第３深度マップを得るステップと、
前記第３深度マップに対して畳み込み処理を行って、前記第２深度マップを得るステップと、を含む請求項１に記載の方法。
【請求項３】
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得る前記ステップは、
前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して、第３深度マップを得るステップと、
前記第３深度マップに対してフィルタリング処理を行うステップと、
前記第３深度マップとフィルタリング処理後の第３深度マップを連結処理して、連結深度マップを得るステップと、
前記連結深度マップに対して畳み込み処理を実行して、前記第２深度マップを得るステップと、を含む請求項１に記載の方法。
【請求項４】
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得する前記ステップは、
前記カラー画像及び前記赤外線画像をオプティカルフロー推定モデルに入力し、前記オプティカルフロー推定モデルによって前記カラー画像と前記赤外線画像との間の第１オプティカルフローを得るステップを含む請求項１−３のいずれか一項に記載の方法。
【請求項５】
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得する前記ステップは、
前記カラー画像及び前記赤外線画像をオプティカルフロー推定モデルに入力して、前記オプティカルフロー推定モデルにより前記カラー画像と前記赤外線画像との間の第２オプティカルフローを得るステップと、
前記第１深度マップに基づいて前記第２オプティカルフローに対して第２最適化処理を行って、前記第１オプティカルフローを得るステップと、を含む請求項１−３のいずれか一項に記載の方法。
【請求項６】
前記第１深度マップに基づいて前記第２オプティカルフローに対して第２最適化処理を行って、前記第１オプティカルフローを得る前記ステップは、
前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して、第４深度マップを得るステップと、
第１所定方式を用いて、前記第４深度マップ及び第２オプティカルフローに基づいて所定パラメータを決定するステップと、
第２所定方式を用いて、前記所定パラメータ及び前記第４深度マップに基づいて第３オプティカルフローを決定するステップと、
前記第２オプティカルフローと前記第３オプティカルフローの連結結果の畳み込み処理により、前記第２オプティカルフローに対して最適化処理された第１オプティカルフローを得るステップと、を含む請求項５に記載の方法。
【請求項７】
前記第２オプティカルフローと前記第３オプティカルフローの連結結果の畳み込み処理により、前記第２オプティカルフローに対して最適化処理された第１オプティカルフローを得る前記ステップは、
前記第２オプティカルフローと第３オプティカルフローを連結して連結オプティカルフローを得るステップと、
前記連結オプティカルフローに対して畳み込み処理を行って前記第１オプティカルフローを得るステップと、を含む請求項６に記載の方法。
【請求項８】
前記方法は、第１ネットワークモジュールによって前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得し、
前記方法は、前記第１ネットワークモジュールを訓練するステップを更に含み、前記第１ネットワークモジュールを訓練する前記ステップは、
第１訓練サンプルを前記第１ネットワークモジュールに入力し、２回の最適化処理を実行するステップであって、前記第１訓練サンプルが、カラー画像サンプル、第１赤外線画像サンプル及び前記カラー画像サンプルに対応する第１深度マップサンプルを含み、一回目の最適化処理によって前記カラー画像サンプルと第１赤外線画像サンプルとの間の中間オプティカルフローを得、二回目の最適化処理によって前記カラー画像サンプルと第１赤外線画像サンプルとの間の第１オプティカルフローを得るステップと、
一回目の最適化処理により得られた中間オプティカルフローと二回目の最適化処理により得られた第１オプティカルフローを加算して、訓練最適化された後の第１オプティカルフローを得るステップと、
訓練最適化された後の第１オプティカルフローと真実な第１オプティカルフローとの間の損失値が第１所定要求を満たす場合、訓練を終了し、訓練最適化された後の第１オプティカルフローと真実な第１オプティカルフローとの間の損失値が第１所定要求を満たさない場合、前記第１ネットワークモジュールのパラメータを調整して前記第１ネットワークモジュールの訓練過程を繰り返すステップと、を含む請求項１−７のいずれか一項に記載の方法。
【請求項９】
前記第１訓練サンプルを前記第１ネットワークモジュールに入力し、２回の最適化処理を実行するステップは、
前記第１訓練サンプル内のカラー画像サンプル、第１赤外線画像サンプル及びカラー画像サンプルに対応する第１深度マップサンプルを前記第１ネットワークモジュールに入力して、一回目の最適化処理を実行して、第１赤外線画像サンプルと前記カラー画像サンプルとの間の中間オプティカルフローを得るステップと、
前記赤外線画像サンプルと前記カラー画像サンプルとの間の中間オプティカルフローを用いて、前記第１赤外線画像サンプルに対して補正処理を実行して、第２赤外線画像サンプルを得るステップと、
前記第１訓練サンプル内のカラー画像サンプル、カラー画像サンプルに対応する第１深度マップサンプル及び前記第２赤外線画像サンプルを前記第１ネットワークモジュールに入力して、二回目の最適化処理を実行して、第１赤外線画像サンプルと前記カラー画像サンプルとの間の第１オプティカルフローを得るステップと、を含む請求項８に記載の方法。
【請求項１０】
前記方法は、第２ネットワークモジュールによって前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、第２深度マップを得、
前記方法は、前記第２ネットワークモジュールを訓練するステップを更に含み、前記第２ネットワークモジュールを訓練する前記ステップは、
第２訓練サンプル内の第１深度サンプル及びオプティカルフローサンプルを前記第２ネットワークモジュールに入力して、訓練最適化された後の第２深度マップを得るステップと、
前記訓練最適化された後の第２深度マップに基づいて、前記第２ネットワークモジュールの損失を得るステップと、
前記損失が第２所定要求を満たす場合、訓練を終了するステップと、
前記損失が第２所定要求を満たさない場合、前記第２ネットワークモジュールのパラメータを調整して前記第２ネットワークモジュールの訓練過程を繰り返すステップと、を含む請求項１−９のいずれか一項に記載の方法。
【請求項１１】
前記第１所定方式は、
2021516909.tif 000051
という式で示し、ただし、
2021516909.tif 000052
は第２オプティカルフロー内の各画素点に対応するｘ値であり、
2021516909.tif 000053
は第２オプティカルフロー内の各画素点に対応するｙ値であり、
2021516909.tif 000054
は第４深度マップ内のｐ画素点の深度情報であり、
2021516909.tif 000055
及び
2021516909.tif 000056
はそれぞれ撮影装置のｘ方向及びｙ方向における光学中心に対する変位パラメータを示し、
2021516909.tif 000057
及び
2021516909.tif 000058
はそれぞれ撮影装置の主点位置が対応するｘ及びｙパラメータを示し、
2021516909.tif 000059
はそれぞれ
2021516909.tif 000060
、
2021516909.tif 000061
、
2021516909.tif 000062
及び
2021516909.tif 000063
の推定値である請求項６に記載の方法。
【請求項１２】
前記第２所定方式は、
2021516909.tif 000064
という式で示し、ただし、Ｖは第３オプティカルフローを示し、
2021516909.tif 000065
はそれぞれ
2021516909.tif 000066
、
2021516909.tif 000067
、
2021516909.tif 000068
及び
2021516909.tif 000069
の推定値であり、
2021516909.tif 000070
及び
2021516909.tif 000071
はそれぞれ撮影装置のｘ方向及びｙ方向における光学中心に対する変位パラメータを示し、
2021516909.tif 000072
及び
2021516909.tif 000073
はそれぞれ撮影装置の主点位置が対応するｘ及びｙパラメータを示し、
2021516909.tif 000074
は第４深度マップ内のｐ画素点の深度情報である請求項６に記載の方法。
【請求項１３】
前記第２深度マップに基づいて前記カラー画像に対してぼかし処理を実行して、ぼかしたカラー画像を得るステップを更に含む請求項１−１２のいずれか一項に記載の方法。
【請求項１４】
所定シーンにおける同一対象の赤外線画像、カラー画像及び前記カラー画像に対応する第１深度マップを取得するように構成される第１取得モジュールと、
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するように構成される第２取得モジュールと、
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得るように構成される第３取得モジュールと、を含む画像処理装置。
【請求項１５】
前記第３取得モジュールは、更に、前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して第３深度マップを得、前記第３深度マップに対して畳み込み処理を行って前記第２深度マップを得るように構成される請求項１４に記載の装置。
【請求項１６】
前記第３取得モジュールは、更に、前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して第３深度マップを得、前記第３深度マップに対してフィルタリング処理を行い、
前記第３深度マップとフィルタリング処理後の第３深度マップを連結処理して連結深度マップを得、
前記連結深度マップに対して畳み込み処理を実行して前記第２深度マップを得るように構成される請求項１４に記載の装置。
【請求項１７】
前記第２取得モジュールは、更に、前記カラー画像及び前記赤外線画像をオプティカルフロー推定モデルに入力して、前記オプティカルフロー推定モデルによって前記カラー画像と前記赤外線画像との間の第１オプティカルフローを得るように構成される請求項１４−１６のいずれか一項に記載の装置。
【請求項１８】
前記第２取得モジュールは、更に、前記カラー画像及び前記赤外線画像をオプティカルフロー推定モデルに入力して、前記オプティカルフロー推定モデルにより前記カラー画像と前記赤外線画像との間の第２オプティカルフローを得、
前記第１深度マップに基づいて前記第２オプティカルフローに対して第２最適化処理を行って前記第１オプティカルフローを得るように構成される請求項１４−１６のいずれか一項に記載の装置。
【請求項１９】
前記第２取得モジュールは、更に、前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して第４深度マップを得、
第１所定方式を用いて前記第４深度マップ及び第２オプティカルフローに基づいて所定パラメータを決定し、
第２所定方式を用いて前記所定パラメータ及び前記第４深度マップに基づいて第３オプティカルフローを決定し、
前記第２オプティカルフローと前記第３オプティカルフローの連結結果の畳み込み処理により、前記第２オプティカルフローに対して最適化処理された第１オプティカルフローを得るように構成される請求項１８に記載の装置。
【請求項２０】
前記第２取得モジュールは、更に、前記第２オプティカルフローと第３オプティカルフローを連結して連結オプティカルフローを得、前記連結オプティカルフローに対して畳み込み処理を行って前記第１オプティカルフローを得るように構成される請求項１９に記載の装置。
【請求項２１】
前記第２取得モジュールは、第１ネットワークモジュールによって前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得し、前記第１ネットワークモジュールを訓練するように構成され、前記第１ネットワークモジュールを訓練するステップは、
第１訓練サンプルを前記第１ネットワークモジュールに入力し、２回の最適化処理を実行し、前記第１訓練サンプルが、カラー画像サンプル、第１赤外線画像サンプル及び前記カラー画像サンプルに対応する第１深度マップサンプルを含み、一回目の最適化処理によって前記カラー画像サンプルと第１赤外線画像サンプルとの間の中間オプティカルフローを得、二回目の最適化処理によって前記カラー画像サンプルと第１赤外線画像サンプルとの間の第１オプティカルフローを得るステップと、
一回目の最適化処理により得られた中間オプティカルフローと二回目の最適化処理により得られた第１オプティカルフローを加算して、訓練最適化された後の第１オプティカルフローを得るステップと、
訓練最適化された後の第１オプティカルフローと真実な第１オプティカルフローとの間の損失値が第１所定要求を満たす場合、訓練を終了し、訓練最適化された後の第１オプティカルフローと真実な第１オプティカルフローとの間の損失値が第１所定要求を満たさない場合、前記第１ネットワークモジュールのパラメータを調整して前記第１ネットワークモジュールの訓練過程を繰り返すステップと、を含む請求項１４−２０のいずれか一項に記載の装置。
【請求項２２】
前記第２取得モジュールは、更に、前記第１訓練サンプル内のカラー画像サンプル、第１赤外線画像サンプル及びカラー画像サンプルに対応する第１深度マップサンプルを前記第１ネットワークモジュールに入力して、一回目の最適化処理を実行して、第１赤外線画像サンプルと前記カラー画像サンプルとの間の中間オプティカルフローを得、
前記赤外線画像サンプルと前記カラー画像サンプルとの間の中間オプティカルフローを用いて、前記第１赤外線画像サンプルに対して補正処理を実行して、第２赤外線画像サンプルを得、
前記第１訓練サンプル内のカラー画像サンプル、カラー画像サンプルに対応する第１深度マップサンプル及び前記第２赤外線画像サンプルを前記第１ネットワークモジュールに入力して、二回目の最適化処理を実行して、第１赤外線画像サンプルと前記カラー画像サンプルとの間の第１オプティカルフローを得るように構成される請求項２１に記載の装置。
【請求項２３】
前記第３取得モジュールは、更に、第２ネットワークモジュールによって前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、第２深度マップを得、前記第２ネットワークモジュールを訓練するように構成され、前記第２ネットワークモジュールを訓練するステップは、第２訓練サンプル内の第１深度サンプル及びオプティカルフローサンプルを前記第２ネットワークモジュールに入力して、訓練最適化された後の第２深度マップを得るステップと、
前記訓練最適化された後の第２深度マップに基づいて、前記第２ネットワークモジュールの損失を得るステップと、
前記損失が第２所定要求を満たす場合、訓練を終了するステップと、
前記損失が第２所定要求を満たさない場合、前記第２ネットワークモジュールのパラメータを調整して前記第２ネットワークモジュールの訓練過程を繰り返すステップと、を含む請求項１４−２２のいずれか一項に記載の装置。
【請求項２４】
前記第１所定方式は、
2021516909.tif 000075
という式で示し、ただし、
2021516909.tif 000076
は第２オプティカルフロー内の各画素点に対応するｘ値であり、
2021516909.tif 000077
は第２オプティカルフロー内の各画素点に対応するｙ値であり、
2021516909.tif 000078
は第４深度マップ内のｐ画素点の深度情報であり、
2021516909.tif 000079
及び
2021516909.tif 000080
はそれぞれ撮影装置のｘ方向及びｙ方向における光学中心に対する変位パラメータを示し、
2021516909.tif 000081
及び
2021516909.tif 000082
はそれぞれ撮影装置の主点位置が対応するｘ及びｙパラメータを示し、
2021516909.tif 000083
はそれぞれ
2021516909.tif 000084
、
2021516909.tif 000085
、
2021516909.tif 000086
及び
2021516909.tif 000087
の推定値である請求項１９に記載の装置。
【請求項２５】
前記第２所定方式は、
2021516909.tif 000088
という式で示し、ただし、Ｖは第３オプティカルフローを示し、
2021516909.tif 000089
はそれぞれ
2021516909.tif 000090
、
2021516909.tif 000091
、
2021516909.tif 000092
及び
2021516909.tif 000093
の推定値であり、
2021516909.tif 000094
及び
2021516909.tif 000095
はそれぞれ撮影装置のｘ方向及びｙ方向における光学中心に対する変位パラメータを示し、
2021516909.tif 000096
及び
2021516909.tif 000097
はそれぞれ撮影装置の主点位置が対応するｘ及びｙパラメータを示し、
2021516909.tif 000098
は第４深度マップ内のｐ画素点の深度情報である請求項１９に記載の装置。
【請求項２６】
前記第２深度マップに基づいて前記カラー画像に対してぼかし処理を実行して、ぼかしたカラー画像を得るためのぼかしモジュールを更に含む請求項１４−２５のいずれか一項に記載の装置。
【請求項２７】
プロセッサと、
プロセッサ実行可能コマンドを記憶するように構成されるメモリと、を含み、
前記プロセッサが請求項１−１３のいずれか一項に記載の方法を実行するように構成される電子機器。
【請求項２８】
コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に請求項１−１３のいずれか一項に記載の方法を実現するコンピュータ読取可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、出願番号が２０１９１００６０２３５．２であり、出願日が２０１９年１月２２日である中国特許出願に基づいて提出され、且つこの中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願は、画像処理に関するが、それに限定されるものでなく、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
現在、ＴｏＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ、飛行時間）カメラモジュールは、高品質の被写界深度を自発的に計測する装置として広く注目されている。しかしながら、ＲＧＢメインカメラにおいて、その深度特徴をどのように正確にレジストレーションするかは、精細且つ重要なタスクとなっている。従来のレジストレーション手段は、一般的に工場キャリブレーションに基づくものであり、光学ブレ防止、ユーザ使用際のカメラ落下、人為的な分解等のようなカメラモジュールの使用過程でカメラパラメータが変更される場合が考慮されていない。上述した場合に、真実なカメラパラメータと工場キャリブレーションとの間に誤差が生じる可能性があり、その結果として、ＴｏＦカメラの深度マップが正確に利用不可能になり、誤差が発生する。
【発明の概要】
【０００４】
本願の実施例は、深度情報を最適化可能な画像処理方法及び装置、電子機器並びに記憶媒体を提供する。
【０００５】
本願の一態様によれば、
所定シーンにおける同一対象の赤外線画像、カラー画像及び前記カラー画像に対応する第１深度マップを取得するステップと、
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するステップと、
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得るステップと、を含む画像処理方法を提供する。
【０００６】
本願の第２態様によれば、
所定シーンにおける同一対象の赤外線画像、カラー画像及び前記カラー画像に対応する第１深度マップを取得するように構成される第１取得モジュールと、
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するように構成される第２取得モジュールと、
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得るように構成される第３取得モジュールと、を含む画像処理装置を提供する。
【０００７】
本願の第３態様によれば、
プロセッサと、
プロセッサ実行可能コマンドを記憶するように構成されるメモリと、を含み、
前記プロセッサが第１態様のいずれか一項に記載の方法を実行するように構成される電子機器を提供する。
【０００８】
本願の第４態様によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に第１態様のいずれか一項に記載の方法を実現するコンピュータ読取可能記憶媒体を提供する。
【０００９】
本願の実施例は、オプティカルフロー情報を用いて深度情報を最適化して、深度情報とカラー画像の精確なレジストレーションを実現することができ、それによって、カメラパラメータがかき乱されてレジストレーションが不正確になり、深度マップが正常に使用できないという問題を解決することができる。
【００１０】
以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本願を制限しないことを理解すべきである。
【００１１】
以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本願の他の特徴および態様は明確になる。
【図面の簡単な説明】
【００１２】
ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本願に合致する実施例を示し、明細書と共に本願の技術的手段を説明するために用いられる。
【図１】本願の実施例に係る画像処理方法のフローチャートを示す。
【図２】本願の実施例に係る画像処理方法におけるステップＳ２００のフローチャートを示す。
【図３】本願の実施例に係る画像処理方法におけるステップＳ２０２のフローチャートを示す。
【図４】本願の実施例に係る画像処理方法におけるステップＳ２０２４のフローチャートを示す。
【図５】本願の実施例に係る画像処理方法におけるステップＳ３００のフローチャートを示す。
【図６】本願の実施例に係る画像処理方法におけるステップＳ３００の別のフローチャートを示す。
【図７】本願の実施例に係る画像処理方法の別のフローチャートを示す。
【図８】本願の実施例に係る第１ネットワークモジュールのブロック図を示す。
【図９】本願の実施例に係る第２ネットワークモジュールのブロック図を示す。
【図１０】本願の実施例に係る第１ネットワークモジュールの訓練のフローチャートを示す。
【図１１】本願の実施例に係る第２ネットワークモジュールの訓練のフローチャートを示す。
【図１２】本願の実施例に係る画像処理装置のブロック図を示す。
【図１３】本願の実施例に係る電子機器８００のブロック図を示す。
【図１４】本願の実施例に係る電子機器１９００のブロック図を示す。
【発明を実施するための形態】
【００１３】
以下に図面を参照しながら本願の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。
【００１４】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明したいかなる実施例も他の実施例より優れたものと理解すべきではない。
【００１５】
本明細書の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本明細書の用語の「少なくとも１種」は多種のうちのいずれか１種又は多種のうちの少なくとも２種の任意の組合を示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含むということは、Ａ、Ｂ及びＣから構成される集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。
【００１６】
また、本願をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本願は同様に実施できるということを理解すべきである。いくつかの実施例では、本願の趣旨を強調するよう、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。
【００１７】
本願の実施例は、撮影装置又は画像処理装置に利用可能な画像処理方法を提供し、この方法は、取得されたカラー画像と赤外線画像によってオプティカルフローを決定し、決定されたオプティカルフローに基づいて深度マップを最適化して、深度マップとカラー画像の精確なレジストレーションを容易に実現して、深度マップの精度を高めることができる。また、本願の実施例はニューラルネットワークによって実現されてもよいし、対応するアルゴリズムによって実現されてもよい。
【００１８】
図１は本願の実施例に係る画像処理方法のフローチャートを示し、ここで、本願の実施例の画像処理方法は、以下のステップを含んでもよい。
【００１９】
Ｓ１００において、所定シーンにおける同一対象の赤外線画像、カラー画像及び前記カラー画像に対応する第１深度マップを取得する。
【００２０】
前記画像処理方法は、カメラ等の撮影装置に適用することが可能であり、例えば、撮影装置はＴｏＦ  ＲＧＢ−Ｄカメラ（飛行時間カメラ）であってもよく、又は、本願の実施例の方法は、携帯電話、ＰＡＤ、ノートパソコン等の撮影機能又は画像処理機能を有する電子機器にも利用可能である。画像処理機能又は撮影機能を有する装置であれば、本願の実施例で提供された方法を利用することができ、本願は一つずつ例を挙げて説明することを省略する。
【００２１】
ステップＳ１００において、本願の実施例で取得された赤外線画像（ＩＲ画像）、カラー画像（ＲＧＢ画像）及び第１深度マップは、撮影装置が１回露光の条件で取得したものであってよく、この条件で取得された赤外線画像、カラー画像及び第１深度マップの特徴は一対一に対応するものであり、また、取得されたＩＲ画像、ＲＧＢ画像及び第１深度マップに対応するシーンは同じであり、含まれる対象も同じであり、即ち、本願の実施例で得られたＲＧＢ画像、ＩＲ画像及び第１深度マップは同一画像の異なる情報として表してもよく、しかし、撮影パラメータや外部環境、撮影対象の運動状態の影響のため、それぞれの情報の間にずれが存在し、本願の実施例は、このずれを小さくし、深度マップとカラー画像の精確な較正を実現することを目的とする。即ち、本願の実施例で取得された赤外線画像、カラー画像及び第１深度マップ内の特徴は一対一に対応するものであり、かつスケールも同じである。ここで、赤外線画像、カラー画像及び第１深度マップにおいて、同じ位置の要素は同じ画素点の情報（例えば、ＲＧＢ情報、赤外線情報及び深度情報）を表す。
【００２２】
また、本願の実施例では、上記赤外線画像、カラー画像及び対応する第１深度マップを取得する方式としては、直接撮影装置によって取得してもよく、撮影装置で取得された赤外線画像、カラー画像及び対応する第１深度マップを通信伝送方式によって本願の実施例の方法を用いる装置に伝送してもよく、本願はこれを限定しなく、具体的には適用シーン及び要求によって決定可能である。
【００２３】
Ｓ２００において、前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得する。
【００２４】
ここで、オプティカルフローは画像の変化を表現することができ、その中に対象の運動情報が含まれるので、対象の運動状況を決定することができる。本願の実施例は、取得されたカラー画像と赤外線画像に基づいて、双方の間のオプティカルフローの変化を得、対応する第１オプティカルフローを得るようになっており、又は決定されたオプティカルフロー変化に基づいて最適化処理を実行して、より高い精度の第１オプティカルフローを得ることができる。次に、得られたオプティカルフローを用いてカラー画像の深度情報を最適化してもよい。
【００２５】
Ｓ３００において、前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得る。
【００２６】
本願の実施例は、得られた第１オプティカルフローに基づいて、第１深度マップに対して最適化処理を実行して、カラー画像とのレジストレーション程度がより高い深度マップ、即ち第２深度マップを得ることができる。ここで、本願の幾つかの実施例では、第１オプティカルフローに対応する各画素点のずれに基づいて、第１深度マップに対応する第２深度マップを取得することができる。他の実施例では、ニューラルネットワークを用いて深度マップに対して最適化処理を実行してもよく、本願はこれを限定しない。
【００２７】
得られた最適化後の第２深度マップに基づいて、カラー画像に対してより精確にレジストレーションすることができ、即ち、カラー画像の各画素点に対応する深度情報をより精確に取得することができ、それによってカラー画像に対してぼかしたり、絞り値を大きくしたり、絞り値を小さくしたりする等の処理を精確に実行することができる。
【００２８】
以下、本願の実施例の各過程を詳細に説明する。
【００２９】
ステップＳ１００において、本願の実施例の方法を前記撮影装置に用いてもよく、それに対応するように、得られる赤外線画像、カラー画像及び対応する第１深度マップは撮影装置が１回露光で直接取得したものであってもよく、本願の実施例は取得された各情報を直接後処理することができる。
【００３０】
ある他の可能な実施形態では、上記の得られた赤外線画像、カラー画像及び対応する第１深度マップはサーバ又は他の装置に記憶されていてもよく、本願の実施例の方法を利用する装置は上記サーバ又は他の装置から必要な画像データを取得することができる。即ち、本願の実施例の赤外線画像、カラー画像及び対応する第１深度マップは撮影装置がリアルタイムに取得したものであってもよいし、他の手段によって得られた、撮影装置で取得されてから記憶されたものであってもよく、本願はこれについて具体的に限定するものではない。
【００３１】
ステップＳ１００に続いて、ステップＳ２００を実行してＲＧＢ画像から赤外線画像への第１オプティカルフローを得ることができ、それによって赤外線画像からＲＧＢ画像への対応画素点の位置変化を得ることができる。第１オプティカルフロー内の要素は２チャンネルのものであってもよく、それぞれ対応画素のｘ軸及びｙ軸の変化、即ち対応画素点の位置ずれを表す。
【００３２】
本願のある可能な実施例では、前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するステップＳ２００は、前記赤外線画像及び前記カラー画像をオプティカルフロー推定モデルに入力し、前記オプティカルフロー推定モデルによって前記カラー画像と前記赤外線画像との間の第１オプティカルフローを得るステップを含んでもよい。
【００３３】
ここで、本願の実施例の画像処理方法はニューラルネットワークモデルによって実現してもよく、例えば、深層学習ニューラルネットワークによって各ステップを実行してもよく、このニューラルネットワークは、赤外線画像とカラー画像との間の第１オプティカルフローを決定するためのオプティカルフロー推定モデルを含んでもよく、例えば、オプティカルフロー推定モデルはＣ型オプティカルフローネットワーク（ＦｌｏｗＮｅｔＣ）であってもよい。又は、他の可能な実施例では、他のオプティカルフロー推定モデルによって前記第１オプティカルフローを得てもよく、本願の実施例はこれについて具体的に限定するものではない。
【００３４】
あるほかの可能な実施例では、オプティカルフロー推定モデルによって得られたオプティカルフローに対して最適化処理を実行して、最適化処理された第１オプティカルフローを得てもよい。
【００３５】
図２は本願の実施例に係る画像処理方法におけるステップＳ２００のフローチャートを示し、ここで、前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得する前記ステップ（ステップＳ２００）は以下のステップを含んでもよい。
【００３６】
Ｓ２０１において、前記カラー画像及び前記赤外線画像をオプティカルフロー推定モデルに入力して、前記オプティカルフロー推定モデルにより前記カラー画像と前記赤外線画像との間の第２オプティカルフローを得る。
【００３７】
本願の実施例では、オプティカルフロー推定モデルによってカラー画像と赤外線画像との間のオプティカルフロー、即ち第２オプティカルフロー（上記実施例の第１オプティカルフローと同じ）を得ることができる。この第２オプティカルフローはカラー画像と赤外線画像との間の各画素点の位置のずれ量を示すことができる。第２オプティカルフローが得られた後、本願の実施例は更に第１深度マップにも基づいて、オプティカルフローに対して最適化処理を行うことができ、オプティカルフローの精度を高める。
【００３８】
Ｓ２０２において、前記第１深度マップに基づいて前記第２オプティカルフローに対して第２最適化処理を行って、前記第１オプティカルフローを得る。
【００３９】
第２オプティカルフローが得られた後、第２オプティカルフローに対して第２最適化処理を行って第１オプティカルフローを得ることができる。本願の実施例は、第２オプティカルフロー及び第１深度マップを用いて撮影装置の所定パラメータを推定し、更に最適化後の第１オプティカルフローを得ることができる。
【００４０】
図３は本願の実施例に係る画像処理方法におけるステップＳ２０２のフローチャートを示し、ここで、前記第１深度マップに基づいて前記第２オプティカルフローに対して第２最適化処理を行って、前記第１オプティカルフローを得る前記ステップ（ステップＳ２０２）は、以下のステップを含んでもよい。
【００４１】
Ｓ２０２１において、前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して、第４深度マップを得る。
【００４２】
本願の実施例では、オプティカルフロー推定モデルによって取得された第２オプティカルフローに基づいて第１深度マップを補正（変換処理）して、第４深度マップを得るようにしてもよく、ＲＧＢ画像とＩＲ画像（赤外線画像）との間の位置変化及び運動状態は、第２オプティカルフローとして表すことができるため、第２オプティカルフローの変化状況において第１深度マップの対応する第４深度マップを対応的に取得することができ、それによって第４深度マップが得られる。ここで、第２オプティカルフロー内の対応画素点の位置変化に基づいて、第１深度マップにおける対応画素点の深度情報の位置変化を得て、第４深度マップを得ることができる。
【００４３】
Ｓ２０２２において、第１所定方式を用いて、前記第４深度マップ及び第２オプティカルフローに基づいて所定パラメータを決定する。
【００４４】
本願の実施例は、所定の第１所定方式で所定パラメータを得ることができ、この所定パラメータは、光学中心の位置及び主点位置等の撮影装置のリアルタイムパラメータであってもよい。実際に応用する際に、使用及び外部撮影環境の変化によっては、撮影装置のリアルタイムパラメータは工場設定と異なることがあるので、必要に応じて撮影装置のリアルタイムパラメータを推定して、第２オプティカルフローを最適化することができる。
【００４５】
ここで、前記第１所定方式は以下の式で示してもよく、
2021516909.tif 000003
【００４６】
ただし、
2021516909.tif 000004
は第２オプティカルフロー内の各画素点に対応するｘ値であり、
2021516909.tif 000005
は第２オプティカルフロー内の各画素点に対応するｙ値であり、
2021516909.tif 000006
は第４深度マップ内のｐ画素点の深度情報であり、
2021516909.tif 000007
及び
2021516909.tif 000008
はそれぞれ撮影装置のｘ方向及びｙ方向における光学中心に対する変位パラメータを示し、
2021516909.tif 000009
及び
2021516909.tif 000010
はそれぞれ撮影装置の主点位置が対応するｘ及びｙパラメータを示し、
2021516909.tif 000011
はそれぞれ
2021516909.tif 000012
、
2021516909.tif 000013
、
2021516909.tif 000014
及び
2021516909.tif 000015
の推定値である。
【００４７】
従って、上記第１所定方式によって、撮影装置のリアルタイム所定パラメータ（主点位置及び光学中心位置）の推定値を取得可能であり、この推定値に基づいて第２オプティカルフローを更に最適化することができる。
【００４８】
Ｓ２０２３において、第２所定方式を用いて、前記所定パラメータ及び前記第４深度マップに基づいて第３オプティカルフローを決定する。
【００４９】
ここで、撮影パラメータの推定値が得られた後、リアルタイム所定パラメータに基づいて得られる第３オプティカルフローを決定可能であり、この第３オプティカルフローに所定パラメータのリアルタイム状態が含まれており、オプティカルフローの最適化精度を高めることができる。
【００５０】
ここで、前記第２所定方式は以下の式で示し、
2021516909.tif 000016
【００５１】
ただし、Ｖは第３オプティカルフローを示し、
2021516909.tif 000017
はそれぞれ
2021516909.tif 000018
、
2021516909.tif 000019
、
2021516909.tif 000020
及び
2021516909.tif 000021
の推定値であり、
2021516909.tif 000022
及び
2021516909.tif 000023
はそれぞれ撮影装置のｘ方向及びｙ方向における光学中心に対する変位パラメータを示し、
2021516909.tif 000024
及び
2021516909.tif 000025
はそれぞれ撮影装置の主点位置が対応するｘ及びｙパラメータを示し、
2021516909.tif 000026
は第４深度マップ内のｐ画素点の深度情報である。
【００５２】
この第２所定方式によって、撮影装置の所定パラメータの推定値及び第４深度マップに基づいて第３オプティカルフローを決定することができる。この第３オプティカルフローには撮影装置のリアルタイム撮影パラメータ情報が含まれている。
【００５３】
Ｓ２０２４において、前記第２オプティカルフローと前記第３オプティカルフローの連結結果の畳み込み処理により、前記第２オプティカルフローを得る。
【００５４】
第３オプティカルフローが得られた後、第２オプティカルフローと第３オプティカルフローを連結処理して、初期の第２オプティカルフロー及び撮影パラメータを含む第３オプティカルフローを融合した新しいオプティカルフローを得、更に連結結果に対して少なくとも１回の畳み込み処理を行い、新しいオプティカルフローに対して特徴融合を実行して、最適化後の第１オプティカルフローを更に得てもよい。
【００５５】
図４は本願の実施例に係る画像処理方法のステップＳ２０２４のフローチャートを示す。ここで、前記第２オプティカルフローと前記第３オプティカルフローの連結結果の畳み込み処理により、前記第１オプティカルフローを得る前記ステップ（ステップＳ２０２４）は、以下のステップを含んでもよい。
【００５６】
Ｓ２０２４１において、前記第２オプティカルフローと第３オプティカルフローを連結して連結オプティカルフローを得る。
【００５７】
本願の実施例の第２オプティカルフローと第３オプティカルフローの連結処理とは、オプティカルフローのチャンネル方向に第２オプティカルフローと第３オプティカルフローを連結することを指し、連結処理で得られた連結オプティカルフローには、初期の第２オプティカルフロー及び撮影装置の撮影パラメータを含む第３オプティカルフローの特徴が融合されており、この手法によって、撮影装置のパラメータと初期の第２オプティカルフローの特徴を容易に融合することができる。
【００５８】
Ｓ３０４２において、前記連結オプティカルフローに対して畳み込み処理を行って前記第１オプティカルフローを得る。
【００５９】
本実施例では、撮影装置パラメータ（所定パラメータ）を融合した連結オプティカルフローに対して少なくとも１回の畳み込み処理を行い、この畳み込み処理は、上記特徴の更なる融合及びオプティカルフローの更なる最適化を実現することができ、得られた第１オプティカルフローの精度がより高い。ここで、畳み込み処理に用いられる畳み込みカーネルは１＊１の畳み込みカーネルであってもいし、３＊３の畳み込みカーネルであってもよく、又は、所定のステップサイズ（例えば、２）で畳み込み処理を実行してもよく、本願はこれについて具体的に限定するものではなく、具体的には必要に応じて設定可能である。得られた新しい第１オプティカルフローのスケールは最初の第１オプティカルフローのスケールと同じであり、いずれも２チャンネル形式である。
【００６０】
本願の実施例の方法によれば、カラー画像と赤外線画像を用いて両者の間の第１オプティカルフローを得ることができ、ここで、直接オプティカルフロー推定モデルによってこの第１オプティカルフローを決定してもよいし、第２最適化処理によって得られたオプティカルフローを最適化して、オプティカルフローの精度を高めることができる。第２最適化処理後の第１オプティカルフローが得られた後、この第１オプティカルフローに基づいて第１深度マップに対して第１最適化処理を行うことができる。
【００６１】
図５は本願の実施例に係る画像処理方法におけるステップＳ３００のフローチャートを示す。
【００６２】
ある可能な実施形態では、前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得る前記ステップ（ステップＳ３００）は、以下のステップを含んでもよい。
【００６３】
Ｓ３０１において、前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して、第３深度マップを得る。
【００６４】
ステップＳ２００によって、撮影装置のリアルタイム撮影パラメータを融合した、最適化後の第１オプティカルフローを得ることができ、第１オプティカルフローに対応する各画素の位置変化に基づいて、第１深度マップに対応する校正結果、即ち第３深度マップを得ることができ、例えば、第２オプティカルフローに対応する位置変化に基づいて、第１深度マップの対応する画素点の深度情報の位置に対して変換処理を実行して第３深度マップを得、この方式によって得られた第３深度マップは撮影装置のリアルタイムパラメータ情報を融合したものとなる。
【００６５】
Ｓ３０２において、前記第３深度マップに対して畳み込み処理を行って、前記第２深度マップを得る。
【００６６】
第３深度マップが得られた後、本願の実施例は、この第３深度マップに対して畳み込み処理を実行してもよく、例えば１＊１の畳み込みカーネルによって畳み込み処理を実行してもよいし、３＊３の畳み込みカーネルによって畳み込み処理を実行してもよく、前記第２深度マップが得られる。深度マップの畳み込み及び特徴最適化を実行できるものであれば、本願の実施例としてよく、本願はこれを限定しない。
【００６７】
また、本願の実施例は、更に、前記第１深度マップと前記第３深度マップを連結して連結深度マップを得、前記連結深度マップに対して畳み込み処理を行って前記第２深度マップを得てもよい。
【００６８】
本願の実施例では、得られた第３深度マップと初期の第１深度マップを連結して、撮影装置リアルタイムパラメータを含む連結深度マップを得ることができる。同様に、この連結処理はチャンネル方向に連結してもよい。本願の実施例のニューラルネットワークは、少なくとも１つの畳み込みユニットを含む深度融合ネットワークモジュールを更に含んでもよく、連結深度マップを深度融合ネットワークモジュールに入力することによって、少なくとも１回の畳み込み処理を順に実行可能であり、それぞれの畳み込みユニットの畳み込みカーネルは同じであっても、異なってもよく、例えば、１＊１の畳み込みカーネルであってもよいし、３＊３の畳み込みカーネルであってもよく、本願はこれについて具体的に限定するものではなく、当業者であれば必要に応じて選択、設定することができる。ここで、得られた最適化後の第２深度マップのスケールは第１深度マップのスケールと同じであり、更に第２深度マップはより高い精度の深度情報を有することが可能になり、この第２深度マップによってＲＧＢ画像とのより高精度の較正が可能になる。
【００６９】
本願の他の実施例では、本願の実施例で得られた第３深度マップに対してフィルタリング処理を実行してもよく、それによって深度マップの精度を更に高めることができる。図６は本願の実施例に係る画像処理方法におけるステップＳ３００の別のフローチャートを示す。本願の実施例のステップＳ３００は、以下のステップを含んでもよい。
【００７０】
Ｓ３００１において、前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して、第３深度マップを得る。
【００７１】
ここで、ステップＳ３００１の過程はステップＳ３０１と同様であり、重複な説明を省略する。
【００７２】
Ｓ３００２において、前記第３深度マップに対してフィルタリング処理を行う。
【００７３】
第３深度マップが得られた後、本願の実施例は更にステップＳ３００２を実行して、第３深度マップに対してフィルタリング処理を実行してもよく、例えば、エッジフィルタリング処理を実行してもよく、それによってエッジ画素点の深度情報を最適化して、第３深度マップの精度を高めることができ、ここで、エッジフィルタリング処理の方式は従来の技術的手段によって実現してもよく、本願の実施例はこれについて具体的に限定するものではない。
【００７４】
Ｓ３００３において、前記第３深度マップとフィルタリング処理後の第３深度マップを連結処理して、連結深度マップを得る。
【００７５】
同様に、フィルタリング処理後の第３深度マップと第３深度マップを連結処理して、撮影装置リアルタイムパラメータを含む連結深度マップを得てもよい。ここで、この連結処理はチャンネル方向に連結してもよく、この連結処理によって深度情報を全面的に保留した上で、深度情報の精度を高めることができる。
【００７６】
Ｓ３００４において、前記連結深度マップに対して畳み込み処理を行って、前記第２深度マップを得る。
【００７７】
以上のように、本願の実施例のニューラルネットワーク内の深度融合ネットワークモジュールを用いて連結深度マップの少なくとも１回の畳み込み処理を実行することができ、ここで、１＊１の畳み込みカーネルを用いてもよいし、３＊３の畳み込みカーネルを用いてこの畳み込み処理を実行してもよく、本願はこれについて具体的に限定するものではない、当業者であれば必要に応じて選択、設定することができる。ここで、得られた最適化後の第２深度マップのスケールは第１深度マップのスケールと同じであり、更に第２深度マップはより高い精度の深度情報を有することが可能になり、この第２深度マップによって、ＲＧＢ画像とのより高精度の較正が可能になる。
【００７８】
上記実施例によれば、ＲＧＢ画像とのレジストレーション程度がより高い第２深度マップを得ることができ、即ち第２深度マップがより正確な深度情報を有する。
【００７９】
第２深度マップの深度情報が得られた後、本願の実施例は第２深度マップに基づいてカラー画像の処理操作を実行してもよく、例えば、本願の実施例は第２深度マップに基づいてカラー画像に対してぼかし処理を実行してもよい。
【００８０】
図７は本願の実施例に係る画像処理方法の別のフローチャートを示し、ここで、前記方法は、
所定シーンにおける同一対象の赤外線画像、カラー画像及び前記カラー画像に対応する第１深度マップを取得するＳ１００と、
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するＳ２００と、
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得るＳ３００と、
前記第２深度マップを用いてカラー画像に対してぼかし操作を実行して、ぼかしたカラー画像を得るＳ４００と、を含む。
【００８１】
本願の実施例では、ステップＳ１００〜Ｓ３００は上記実施例の過程と同様であり、ここで繰り返して説明することを省略し、そのうち、第２深度マップが得られた後、本願の実施例は、第２深度マップ内の各画素点の深度情報に基づいてカラー画像に対してぼかし処理操作を実行してもよい。
【００８２】
ここで、第２深度マップにおける深度値が深度閾値より高い第１画素点を決定し、カラー画像における第１画素点に対応する位置領域に対してぼかし処理を実行して、カラー画像の背景ぼかしを実現することができる。
【００８３】
又は、本願の他の実施例では、第２深度マップにおける深度値が深度閾値以下である第２画素点を決定し、カラー画像における第２画素点に対応する位置領域に対してぼかし処理を実行して、カラー画像の前景ぼかし又は顔ぼかしを実現することができる。ここで、深度閾値は異なるシーン、異なる要求に応じて設定可能であり、本願の実施例はこれについて具体的に限定するものではない。以下、本願の実施例のニューラルネットワークの訓練過程を説明し、ここで、本願の実施例のニューラルネットワークは、第１ネットワークモジュール及び第２ネットワークモジュールを含んでもよく、ここで、第１ネットワークモジュールはステップＳ１００−Ｓ２００を実行することに利用可能であり、第２ネットワークモジュールはステップＳ３００を実行することに利用可能である。
【００８４】
図８は本願の実施例に係る第１ネットワークモジュールのブロック図を示し、図９は本願の実施例に係る第２ネットワークモジュールのブロック図を示し、この２種のモジュールによって本願の実施例のニューラルネットワークを構成することができる。
【００８５】
実際に適用する前に、ニューラルネットワークを訓練する必要があり、以下、第１ネットワークモジュールの訓練過程を説明する。
【００８６】
図１０は本願の実施例に係るオプティカルフロー最適化モデルの訓練のフローチャートを示し、ここで、前記第１ネットワークモジュールを訓練するステップは、以下のステップを含んでもよい。
【００８７】
Ｓ５０１において、第１訓練サンプルを前記第１ネットワークモジュールに入力し、２回の最適化処理を実行し、第１訓練サンプルが、複数組のカラー画像サンプル、赤外線画像サンプル及び前記カラー画像サンプルに対応する第１深度マップサンプルを含む。
【００８８】
オプティカルフロー最適化モデルを訓練する時に、このモデルに訓練サンプルを入力してもよく、この訓練サンプルが複数のサンプル組を含んでもよく、それぞれのサンプル組は、対応するサンプリング画像サンプル、第１ＩＲ画像サンプル及び第１深度マップサンプルを含んでもよく、更に真実な第１オプティカルフローサンプル（教師サンプルとする）を含んでもよい。
【００８９】
本願の実施例は第１ネットワークモジュールを訓練する時に、２回の最適化処理の操作によって第１ネットワークモジュールを最適化してもよい。ここで、一回目の最適化処理によって前記カラー画像サンプルと第１赤外線画像サンプルとの間の中間オプティカルフローを得ることができ、二回目の最適化処理によって前記カラー画像サンプルと第１赤外線画像サンプルとの間の第１オプティカルフローを得ることができる。
【００９０】
ある可能な実施形態では、一回目の最適化処理過程で、まず第１ＩＲ画像サンプルとＲＧＢ画像サンプルを第１ネットワークモジュールのオプティカルフロー推定モデルに入力して、カラー画像サンプルと赤外線画像サンプルとの間の中間オプティカルフローを取得するようにしてよい。
【００９１】
又は、本願の他の実施例では、一回目の最適化処理過程で、第１ＩＲ画像サンプルとＲＧＢ画像サンプルを第１ネットワークモジュールのオプティカルフロー最適化モデルのオプティカルフロー推定モデルに入力して、カラー画像サンプルと第１赤外線画像サンプルとの間の第２オプティカルフローを取得してもよい。また、第２オプティカルフロー及び第１深度マップを第１ネットワークモジュールのオプティカルフロー最適化モデルに入力して、第２オプティカルフローに対応する中間オプティカルフローを得る。ここで、中間オプティカルフローを決定する方式は、上記実施例の過程で第１オプティカルフローを決定する方式によって決定可能であり、本願はここで詳細な説明を省略する。
【００９２】
二回目の最適化処理過程で、前記第１赤外線画像サンプルと前記カラー画像サンプルとの間の中間オプティカルフローを用いて、前記第１赤外線画像サンプルに対して補正処理を実行して、第２赤外線画像サンプルを得、また、前記訓練サンプル内のカラー画像サンプル、対応する第１深度マップサンプル及び第２赤外線画像サンプルを前記第１ネットワークモジュールに入力して、二回目の最適化処理を実行して、第１赤外線画像サンプルと前記カラー画像サンプルとの間の第１オプティカルフローを得てもよい。
【００９３】
即ち、二回目の最適化過程で、中間オプティカルフローに基づいて第１ＩＲ画像に対して補正処理を実行することで、第１ＩＲ画像サンプルの中間オプティカルフローに対する位置変化に対応する第２ＩＲ画像を取得することができる。また、この第２ＩＲ画像とＲＧＢ画像サンプルを第１ネットワークモジュールに入力して、両方の間のオプティカルフロー、即ち、サンプルに対応する第１オプティカルフローを改めて取得する。２回の最適化の過程によってサンプル容量を増加し、最適化精度を高めることができる。
【００９４】
Ｓ５０２において、一回目の最適化処理により得られた中間オプティカルフローと二回目の最適化処理により得られた第１オプティカルフローを加算して、訓練最適化された後の第１オプティカルフローを得る。
【００９５】
更に、本願の実施例は、一回目の最適化処理後のＲＧＢ画像と第１ＩＲ画像との間の中間オプティカルフローと二回目の最適化処理後に得られた第１オプティカルフローについて要素を加算し、訓練最適化後の第１オプティカルフローを得てもよい。ここの加算とは対応画素点のｘ値及びｙ値をそれぞれ加算し、訓練最適化された後の第１オプティカルフローを得ることを指す。
【００９６】
Ｓ５０３において、訓練最適化された後の第１オプティカルフローと真実な第１オプティカルフローとの間の損失値が第１所定要求を満たす場合、訓練を終了し、そうでない場合、第１ネットワークモジュールのパラメータを調整して上記第１ネットワークモジュールの訓練過程を繰り返す。
【００９７】
訓練過程で、訓練された第１オプティカルフローを真実な第１オプティカルフローと比較して、損失値を得るようにしてもよく、この損失値が特定の第１損失閾値より小さい時に、第１所定要求を満たしたとし、この第１損失閾値以上である場合に、上記第１所定要求が満たされるまで、第１ネットワークモジュールのパラメータを調整する必要がある。
【００９８】
また、本願の実施例は、第２ネットワークモジュールを訓練してもよく、図１１は本願の実施例に係る第２ネットワークモジュールの訓練のフローチャートを示し、ここで、前記第２ネットワークモジュールを訓練するステップは、以下のステップを含んでもよい。
【００９９】
Ｓ６０１において、第２訓練サンプル内の第１深度マップサンプル及びオプティカルフローサンプルを前記深度最適化モデルに入力して、訓練最適化された後の第２深度マップを得る。
【０１００】
本願の実施例は第２訓練サンプルによって第２ネットワークモジュールを訓練してもよく、この第２訓練サンプルは、それぞれ対応する第１深度マップサンプル及びオプティカルフローサンプルを含む複数のサンプル組を含んでもよく、このオプティカルフローサンプルは第１深度マップサンプルに対応するＲＧＢ画像とＩＲ画像との間のオプティカルフローであってもよく、また、それぞれのサンプル組は、最適化される第２深度マップの教師とするための真実な深度マップサンプルを含んでもよい。
【０１０１】
第２ネットワークモジュールを訓練する時に、このオプティカルフローサンプル及び第１深度サンプルを第２ネットワークモジュールの深度最適化モデルに入力して、この第１深度サンプルの最適化過程を実行するようにしてもよく、具体的にはステップＳ３００の過程を参照してもよく、最適化後の第２深度マップが得られる。
【０１０２】
Ｓ６０２において、前記訓練最適化後の第２深度マップに基づいて前記第２ネットワークモジュールの損失を得、前記損失が第２所定要求を満たす場合、訓練を終了し、そうでない場合、前記第２ネットワークモジュールのパラメータを調整して上記第２ネットワークモジュールの訓練過程を繰り返す。
【０１０３】
最適化後の第２深度マップが得られた後、真実な深度マップサンプルを最適化後の第２深度マップと比較して、対応する損失値を得、この損失値に基づいて第２ネットワークモジュールの最適化過程を選択することができる。
【０１０４】
ここで、この損失値が第２損失閾値より小さければ、第２所定要求を満たしたと決定可能であり、この時に訓練を終了してもよく、この損失値が第２損失閾値以上である場合に、得られる損失値が第２損失閾値より小さくなるまで、第２ネットワークモジュールのパラメータ、例えば、深度最適化モデルのパラメータを調整し且つ上記ステップＳ６０１及びＳ６０２を実行する必要がある。ここで、第１損失閾値及び第２損失閾値はいずれも自ら設定する値であり、当業者であれば、必要に応じて設定可能であり、本願はこれを限定しない。
【０１０５】
以上のことから、本願の実施例は、オプティカルフロー情報を用いて深度情報を最適化して、深度情報とカラー画像の精確なレジストレーションを実現することができ、それによって、カメラパラメータがかき乱されてレジストレーションが不正確になり、深度マップが正常に使用できないという問題を解決することができる。また、本願の実施例は、オプティカルフローを最適化し、且つ最適化後のオプティカルフローを用いて撮影装置のリアルタイムパラメータを決定して深度マップの最適化を実行することによって、深度マップとカラー画像の較正度を高めることができる。
【０１０６】
本願で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組合せ後の実施例を形成することができることが理解され、紙数に限りがあるので、本願では詳細な説明を省略する。
【０１０７】
また、本願は、画像処理装置、電子機器、コンピュータ読取可能記憶媒体、プログラムを更に提供し、それらはいずれも本願で提供されるいずれか１種の画像処理方法を実現するために利用可能であり、それに対応する技術手段及び説明については方法部分に対応する記載を参照してよく、ここで省略する。
【０１０８】
具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならなく、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
【０１０９】
図１２は本願の実施例に係る画像処理装置のブロック図を示し、図１２に示すように、前記画像処理装置は、
所定シーンにおける同一対象の赤外線画像、カラー画像及び前記カラー画像に対応する第１深度マップを取得するように構成される第１取得モジュール１０と、
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するように構成される第２取得モジュール２０と、
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得るように構成される第３取得モジュール３０と、を含む。
【０１１０】
ある可能な実施形態では、前記第３取得モジュールは、更に、前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して第３深度マップを得、前記第３深度マップに対して畳み込み処理を行って、前記第２深度マップを得るように構成される。
【０１１１】
ある可能な実施形態では、前記第３取得モジュールは、更に、前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して第３深度マップを得、
前記第３深度マップに対してフィルタリング処理を行い、
前記第３深度マップとフィルタリング処理後の第３深度マップを連結処理して連結深度マップを得、
前記連結深度マップに対して畳み込み処理を実行して前記第２深度マップを得るように構成される。
【０１１２】
ある可能な実施形態では、前記第２取得モジュールは、更に、前記カラー画像及び前記赤外線画像をオプティカルフロー推定モデルに入力して、前記オプティカルフロー推定モデルによって前記カラー画像と前記赤外線画像との間の第１オプティカルフローを得るように構成される。
【０１１３】
ある可能な実施形態では、前記第２取得モジュールは、更に、前記カラー画像及び前記赤外線画像をオプティカルフロー推定モデルに入力して、前記オプティカルフロー推定モデルにより前記カラー画像と前記赤外線画像との間の第２オプティカルフローを得、
前記第１深度マップに基づいて前記第２オプティカルフローに対して第２最適化処理を行って、前記第１オプティカルフローを得るように構成される。
【０１１４】
ある可能な実施形態では、前記第２取得モジュールは、更に、前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して、第４深度マップを得、
第１所定方式を用いて、前記第４深度マップ及び第２オプティカルフローに基づいて所定パラメータを決定し、
第２所定方式を用いて、前記所定パラメータ及び前記第４深度マップに基づいて第３オプティカルフローを決定し、
前記第２オプティカルフローと前記第３オプティカルフローの連結結果の畳み込み処理により、前記第２オプティカルフローに対して最適化処理された第１オプティカルフローを得るように構成される。
【０１１５】
ある可能な実施形態では、前記第２取得モジュールは、更に、前記第２オプティカルフローと第３オプティカルフローを連結して連結オプティカルフローを得、前記連結オプティカルフローに対して畳み込み処理を行って前記第１オプティカルフローを得るように構成される。
【０１１６】
ある可能な実施形態では、前記第２取得モジュールは、第１ネットワークモジュールによって前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するように構成され、前記第１ネットワークモジュールを訓練するステップは、
第１訓練サンプルを前記第１ネットワークモジュールに入力し、２回の最適化処理を実行し、前記第１訓練サンプルが、カラー画像サンプル、第１赤外線画像サンプル及び前記カラー画像サンプルに対応する第１深度マップサンプルを含み、一回目の最適化処理によって前記カラー画像サンプルと第１赤外線画像サンプルとの間の中間オプティカルフローを得、二回目の最適化処理によって前記カラー画像サンプルと第１赤外線画像サンプルとの間の第１オプティカルフローを得るステップと、
一回目の最適化処理により得られた中間オプティカルフローと二回目の最適化処理により得られた第１オプティカルフローを加算して、訓練最適化後の第１オプティカルフローを得るステップと、
訓練最適化後の第１オプティカルフローと真実な第１オプティカルフローとの間の損失値が第１所定要求を満たす場合、訓練を終了し、そうでない場合、前記第１ネットワークモジュールのパラメータを調整して上記第１ネットワークモジュールの訓練過程を繰り返すステップと、を含む。
【０１１７】
ある可能な実施形態では、前記第２取得モジュールは、更に、前記第１訓練サンプル内のカラー画像サンプル、第１赤外線画像サンプル及びカラー画像サンプルに対応する第１深度マップサンプルを前記第１ネットワークモジュールに入力して、一回目の最適化処理を実行して、第１赤外線画像サンプルと前記カラー画像サンプルとの間の中間オプティカルフローを得、
前記赤外線画像サンプルと前記カラー画像サンプルとの間の中間オプティカルフローを用いて、前記第１赤外線画像サンプルに対して補正処理を実行して、第２赤外線画像サンプルを得、
前記第１訓練サンプル内のカラー画像サンプル、カラー画像サンプルに対応する第１深度マップサンプル及び前記第２赤外線画像サンプルを前記第１ネットワークモジュールに入力して、二回目の最適化処理を実行して、第１赤外線画像サンプルと前記カラー画像サンプルとの間の第１オプティカルフローを得るように構成される。
【０１１８】
ある可能な実施形態では、前記第３取得モジュールは、更に、第２ネットワークモジュールによって前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、第２深度マップを得るように構成され、前記第２ネットワークモジュールを訓練するステップは、第２訓練サンプル内の第１深度サンプル及びオプティカルフローサンプルを前記第２ネットワークモジュールに入力して、訓練最適化された後の第２深度マップを得るステップと、
前記訓練最適化された後の第２深度マップに基づいて、前記第２ネットワークモジュールの損失を得るステップと、
前記損失が第２所定要求を満たす場合、訓練を終了するステップと、
前記損失が第２所定要求を満たさない場合、前記第２ネットワークモジュールのパラメータを調整して上記第２ネットワークモジュールの訓練過程を繰り返すステップと、を含む。
【０１１９】
ある可能な実施形態では、前記第１所定方式は以下の式で示し、
2021516909.tif 000027
【０１２０】
ただし、
2021516909.tif 000028
は第２オプティカルフロー内の各画素点に対応するｘ値であり、
2021516909.tif 000029
は第２オプティカルフロー内の各画素点に対応するｙ値であり、
2021516909.tif 000030
は第４深度マップ内のｐ画素点の深度情報であり、
2021516909.tif 000031
及び
2021516909.tif 000032
はそれぞれ撮影装置のｘ方向及びｙ方向における光学中心に対する変位パラメータを示し、
2021516909.tif 000033
及び
2021516909.tif 000034
はそれぞれ撮影装置の主点位置が対応するｘ及びｙパラメータを示し、
2021516909.tif 000035
はそれぞれ
2021516909.tif 000036
、
2021516909.tif 000037
、
2021516909.tif 000038
及び
2021516909.tif 000039
の推定値である。
【０１２１】
ある可能な実施形態では、前記第２所定方式は以下の式で示し、
2021516909.tif 000040
【０１２２】
ただし、Ｖは第３オプティカルフローを示し、
2021516909.tif 000041
はそれぞれ
2021516909.tif 000042
、
2021516909.tif 000043
、
2021516909.tif 000044
及び
2021516909.tif 000045
の推定値であり、
2021516909.tif 000046
及び
2021516909.tif 000047
はそれぞれ撮影装置のｘ方向及びｙ方向における光学中心に対する変位パラメータを示し、
2021516909.tif 000048
及び
2021516909.tif 000049
はそれぞれ撮影装置の主点位置が対応するｘ及びｙパラメータを示し、
2021516909.tif 000050
は第４深度マップ内のｐ画素点の深度情報である。
【０１２３】
ある可能な実施形態では、前記装置は、前記第２深度マップに基づいて前記カラー画像に対してぼかし処理を実行して、ぼかしたカラー画像を得るためのぼかしモジュールを更に含む。
【０１２４】
ある実施例では、本願の実施例で提供された装置に備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照してもよく、簡単化するために、ここで重複説明は割愛する。
【０１２５】
本願の実施例は、更に、コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に上記方法を実現するコンピュータ読取可能記憶媒体を提供する。コンピュータ読取可能記憶媒体は不揮発性コンピュータ読取可能記憶媒体であってよい。
【０１２６】
本願の実施例は、更に、プロセッサと、プロセッサ実行可能コマンドを記憶するためのメモリと、を含み、前記プロセッサが上記方法を実行するように構成される電子機器を提供する。
【０１２７】
電子機器は、端末、サーバ又は他の形態のデバイスとして提供されてよい。
【０１２８】
図１３は本願の実施例に基づいて示した電子機器８００のブロック図を示す。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってよい。
【０１２９】
図１３を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つ以上を含むことができる。
【０１３０】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つ以上のプロセッサ８２０を含んで命令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ以上のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。
【０１３１】
メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において運用するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。
【０１３２】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。
【０１３３】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含むことができる。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。
【０１３４】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【０１３５】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。
【０１３６】
センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが電子機器８００の表示装置およびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成された近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。
【０１３７】
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【０１３８】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。
【０１３９】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行して上記方法を完了することができる。
【０１４０】
図１４は本願の実施例に基づいて示した電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供できる。図１４を参照すると、電子機器１９００は、さらに一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１グループの命令に対応する一つ以上のモジュールを含むことができる。また、処理コンポーネント１９２２は命令を実行し、それによって上記方法を実行するように構成される。
【０１４１】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６、電子機器１９００をネットワークにアクセスするように構成された有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含むことができる。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【０１４２】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行して上記方法を完了することができる。
【０１４３】
本願はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本願の各態様を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含むことができる。
【０１４４】
コンピュータ読み取り可能記憶媒体は命令実行機器により使用される命令を保存および記憶可能な有形機器であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０１４５】
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶する。
【０１４６】
本願の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などの対象指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ読み取り可能プログラム命令を実行し、それにより本願の各態様を実現できるようになる。
【０１４７】
なお、ここで本願の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本願の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
【０１４８】
これらのコンピュータ読み取り可能プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、中に保存された命令を有するコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。
【０１４９】
コンピュータ読み取り可能プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０１５０】
図面のうちフローチャートおよびブロック図は本願の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
【０１５１】
以上、本願の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図１】
2021516909.tif 000099
【図２】
2021516909.tif 000100
【図３】
2021516909.tif 000101
【図４】
2021516909.tif 000102
【図５】
2021516909.tif 000103
【図６】
2021516909.tif 000104
【図７】
2021516909.tif 000105
【図８】
2021516909.tif 000106
【図９】
2021516909.tif 000107
【図１０】
2021516909.tif 000108
【図１１】
2021516909.tif 000109
【図１２】
2021516909.tif 000110
【図１３】
2021516909.tif 000111
【図１４】
2021516909.tif 000112
【手続補正書】
【提出日】令和2年9月14日(2020.9.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定シーンにおける同一対象の赤外線画像、カラー画像及び前記カラー画像に対応する第１深度マップを取得するステップと、
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するステップと、
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得るステップと、を含む画像処理方法。
【請求項２】
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得る前記ステップは、
前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して、第３深度マップを得るステップと、
前記第３深度マップに対して畳み込み処理を行って、前記第２深度マップを得るステップと、を含む請求項１に記載の方法。
【請求項３】
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得る前記ステップは、
前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して、第３深度マップを得るステップと、
前記第３深度マップに対してフィルタリング処理を行うステップと、
前記第３深度マップとフィルタリング処理後の第３深度マップを連結処理して、連結深度マップを得るステップと、
前記連結深度マップに対して畳み込み処理を実行して、前記第２深度マップを得るステップと、を含む請求項１に記載の方法。
【請求項４】
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得する前記ステップは、
前記カラー画像及び前記赤外線画像をオプティカルフロー推定モデルに入力し、前記オプティカルフロー推定モデルによって前記カラー画像と前記赤外線画像との間の第１オプティカルフローを得るステップを含む請求項１−３のいずれか一項に記載の方法。
【請求項５】
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得する前記ステップは、
前記カラー画像及び前記赤外線画像をオプティカルフロー推定モデルに入力して、前記オプティカルフロー推定モデルにより前記カラー画像と前記赤外線画像との間の第２オプティカルフローを得るステップと、
前記第１深度マップに基づいて前記第２オプティカルフローに対して第２最適化処理を行って、前記第１オプティカルフローを得るステップと、を含む請求項１−３のいずれか一項に記載の方法。
【請求項６】
前記第１深度マップに基づいて前記第２オプティカルフローに対して第２最適化処理を行って、前記第１オプティカルフローを得る前記ステップは、
前記第１オプティカルフローに基づいて前記第１深度マップに対して変換処理を実行して、第４深度マップを得るステップと、
第１所定方式を用いて、前記第４深度マップ及び第２オプティカルフローに基づいて所定パラメータを決定するステップと、
第２所定方式を用いて、前記所定パラメータ及び前記第４深度マップに基づいて第３オプティカルフローを決定するステップと、
前記第２オプティカルフローと前記第３オプティカルフローの連結結果の畳み込み処理により、前記第２オプティカルフローに対して最適化処理された第１オプティカルフローを得るステップと、を含む請求項５に記載の方法。
【請求項７】
前記第２オプティカルフローと前記第３オプティカルフローの連結結果の畳み込み処理により、前記第２オプティカルフローに対して最適化処理された第１オプティカルフローを得る前記ステップは、
前記第２オプティカルフローと第３オプティカルフローを連結して連結オプティカルフローを得るステップと、
前記連結オプティカルフローに対して畳み込み処理を行って前記第１オプティカルフローを得るステップと、を含む請求項６に記載の方法。
【請求項８】
前記方法は、第１ネットワークモジュールによって前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得し、
前記方法は、前記第１ネットワークモジュールを訓練するステップを更に含み、前記第１ネットワークモジュールを訓練する前記ステップは、
第１訓練サンプルを前記第１ネットワークモジュールに入力し、２回の最適化処理を実行するステップであって、前記第１訓練サンプルが、カラー画像サンプル、第１赤外線画像サンプル及び前記カラー画像サンプルに対応する第１深度マップサンプルを含み、一回目の最適化処理によって前記カラー画像サンプルと第１赤外線画像サンプルとの間の中間オプティカルフローを得、二回目の最適化処理によって前記カラー画像サンプルと第１赤外線画像サンプルとの間の第１オプティカルフローを得るステップと、
一回目の最適化処理により得られた中間オプティカルフローと二回目の最適化処理により得られた第１オプティカルフローを加算して、訓練最適化された後の第１オプティカルフローを得るステップと、
訓練最適化された後の第１オプティカルフローと真実な第１オプティカルフローとの間の損失値が第１所定要求を満たす場合、訓練を終了し、訓練最適化された後の第１オプティカルフローと真実な第１オプティカルフローとの間の損失値が第１所定要求を満たさない場合、前記第１ネットワークモジュールのパラメータを調整して前記第１ネットワークモジュールの訓練過程を繰り返すステップと、を含む請求項１−７のいずれか一項に記載の方法。
【請求項９】
前記第１訓練サンプルを前記第１ネットワークモジュールに入力し、２回の最適化処理を実行するステップは、
前記第１訓練サンプル内のカラー画像サンプル、第１赤外線画像サンプル及びカラー画像サンプルに対応する第１深度マップサンプルを前記第１ネットワークモジュールに入力して、一回目の最適化処理を実行して、第１赤外線画像サンプルと前記カラー画像サンプルとの間の中間オプティカルフローを得るステップと、
前記赤外線画像サンプルと前記カラー画像サンプルとの間の中間オプティカルフローを用いて、前記第１赤外線画像サンプルに対して補正処理を実行して、第２赤外線画像サンプルを得るステップと、
前記第１訓練サンプル内のカラー画像サンプル、カラー画像サンプルに対応する第１深度マップサンプル及び前記第２赤外線画像サンプルを前記第１ネットワークモジュールに入力して、二回目の最適化処理を実行して、第１赤外線画像サンプルと前記カラー画像サンプルとの間の第１オプティカルフローを得るステップと、を含む請求項８に記載の方法。
【請求項１０】
前記方法は、第２ネットワークモジュールによって前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、第２深度マップを得、
前記方法は、前記第２ネットワークモジュールを訓練するステップを更に含み、前記第２ネットワークモジュールを訓練する前記ステップは、
第２訓練サンプル内の第１深度サンプル及びオプティカルフローサンプルを前記第２ネットワークモジュールに入力して、訓練最適化された後の第２深度マップを得るステップと、
前記訓練最適化された後の第２深度マップに基づいて、前記第２ネットワークモジュールの損失を得るステップと、
前記損失が第２所定要求を満たす場合、訓練を終了するステップと、
前記損失が第２所定要求を満たさない場合、前記第２ネットワークモジュールのパラメータを調整して前記第２ネットワークモジュールの訓練過程を繰り返すステップと、を含む請求項１−９のいずれか一項に記載の方法。
【請求項１１】
前記第１所定方式は、
2021516909.tif 000113
という式で示し、ただし、
2021516909.tif 000114
は第２オプティカルフロー内の各画素点に対応するｘ値であり、
2021516909.tif 000115
は第２オプティカルフロー内の各画素点に対応するｙ値であり、
2021516909.tif 000116
は第４深度マップ内のｐ画素点の深度情報であり、
2021516909.tif 000117
及び
2021516909.tif 000118
はそれぞれ撮影装置のｘ方向及びｙ方向における光学中心に対する変位パラメータを示し、
2021516909.tif 000119
及び
2021516909.tif 000120
はそれぞれ撮影装置の主点位置が対応するｘ及びｙパラメータを示し、
2021516909.tif 000121
はそれぞれ
2021516909.tif 000122
、
2021516909.tif 000123
、
2021516909.tif 000124
及び
2021516909.tif 000125
の推定値である請求項６に記載の方法。
【請求項１２】
前記第２所定方式は、
2021516909.tif 000126
という式で示し、ただし、Ｖは第３オプティカルフローを示し、
2021516909.tif 000127
はそれぞれ
2021516909.tif 000128
、
2021516909.tif 000129
、
2021516909.tif 000130
及び
2021516909.tif 000131
の推定値であり、
2021516909.tif 000132
及び
2021516909.tif 000133
はそれぞれ撮影装置のｘ方向及びｙ方向における光学中心に対する変位パラメータを示し、
2021516909.tif 000134
及び
2021516909.tif 000135
はそれぞれ撮影装置の主点位置が対応するｘ及びｙパラメータを示し、
2021516909.tif 000136
は第４深度マップ内のｐ画素点の深度情報である請求項６に記載の方法。
【請求項１３】
前記第２深度マップに基づいて前記カラー画像に対してぼかし処理を実行して、ぼかしたカラー画像を得るステップを更に含む請求項１−１２のいずれか一項に記載の方法。
【請求項１４】
所定シーンにおける同一対象の赤外線画像、カラー画像及び前記カラー画像に対応する第１深度マップを取得するように構成される第１取得モジュールと、
前記カラー画像と前記赤外線画像との間の第１オプティカルフローを取得するように構成される第２取得モジュールと、
前記第１オプティカルフローを用いて前記第１深度マップに対して第１最適化処理を行って、最適化後の前記カラー画像に対応する第２深度マップを得るように構成される第３取得モジュールと、を含む画像処理装置。
【請求項１５】
プロセッサと、
プロセッサ実行可能コマンドを記憶するように構成されるメモリと、を含み、
前記プロセッサが請求項１−１３のいずれか一項に記載の方法を実行するように構成される電子機器。
【請求項１６】
コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行される時に請求項１−１３のいずれか一項に記載の方法を実現するコンピュータ読取可能記憶媒体。
【国際調査報告】
2021516909.tif 000137
2021516909.tif 000138
2021516909.tif 000139
2021516909.tif 000140
2021516909.tif 000141