(57)【特許請求の範囲】
【請求項１】
画像処理モデルのトレーニング方法であって、
Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得することであって、ＮとＭは両方とも１より大きい正の整数であることと、
各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得することと、
各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列することと、
各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成することと、
前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングすることとを含む、前記画像処理モデルのトレーニング方法。
【請求項２】
前記トレーニングシーンの近距離標準画像を取得することは、
前記トレーニングシーンのＫフレームの近距離撮影画像を取得することであって、Ｋは１より大きいか等しい正の整数であることと、
前記Ｋフレームの近距離撮影画像に基づいて、前記トレーニングシーンの近距離標準画像を取得することとを含む、
請求項１に記載の方法。
【請求項３】
前記Ｋフレームの近距離撮影画像に基づいて前記トレーニングシーンの近距離標準画像を取得することは、
前記Ｋフレームの近距離撮影画像に基づいて、マルチフレームの融合方式によって、前記トレーニングシーンの近距離標準画像を取得することを含む、
請求項２に記載の方法。
【請求項４】
前記遠距離撮影画像および前記近距離撮影画像は、同じ水平線で取得した画像である、
請求項２に記載の方法。
【請求項５】
前記方法は、
前記Ｍフレームの遠距離撮影画像から１フレームの遠距離参照画像を選択することをさらに含む、
請求項１に記載の方法。
【請求項６】
前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列することは、
前記近距離標準画像に基づいて前記遠距離参照画像を整列することと、
前記遠距離参照画像に基づいて前記Ｍフレームの遠距離撮影画像中の他の画像を整列することとを含む、
請求項５に記載の方法。
【請求項７】
前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングすることは、
前記画像処理モデルにおいて、前記遠距離参照画像の計算の重みを前記Ｍフレームの遠距離撮影画像の他の画像の計算の重みより大きく設定することを含む、
請求項５に記載の方法。
【請求項８】
前記Ｍフレームの遠距離撮影画像から１フレームの遠距離参照画像を選択することは、
各フレームの遠距離撮影画像の勾配値を取得することと、
最大勾配値を有する遠距離撮影画像を前記遠距離参照画像として選択することとを含む、
請求項５に記載の方法。
【請求項９】
前記画像処理モデルは、マルチフレームの超解像ネットワークモデルである、
請求項１に記載の方法。
【請求項１０】
画像処理方法であって、
ターゲットオブジェクトに対してＭフレームの遠距離撮影画像を取得することであって、Ｍは１より大きい正の整数であることと、
前記ターゲットオブジェクトの強化された画像を取得するために、前記Ｍフレームの遠距離撮影画像を請求項１ないし９のいずれか一項に記載の方法にしたがってトレーニングされた画像処理モデルに入力することとを含む、前記画像処理方法。
【請求項１１】
画像処理モデルのトレーニング装置であって、
Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得するように構成される遠距離画像取得モジュールであって、ＮとＭは両方とも１より大きい正の整数である遠距離画像取得モジュールと、
各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得するように構成される近距離画像取得モジュールと、
各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列するように構成される画像整列モジュールと、
各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成するように構成されるサンプルセット構成モジュールと、
前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングするように構成されるトレーニングモジュールとを含む、画像処理モデルのトレーニング装置。
【請求項１２】
画像処理のためのディープラーニングネットワークトレーニング装置であって、
プロセッサと、
プロセッサによって実行可能な命令を格納するためのメモリとを含み、
前記プロセッサは、
Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得し、ＮとＭは両方とも１より大きい正の整数であり、
各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得し、
各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列し、
各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成し、
前記トレーニングサンプルセットに基づいて、画像処理モデルをトレーニングするように構成される、前記画像処理のためのディープラーニングネットワークトレーニング装置。
【請求項１３】
非一時的なコンピュータ読み取り可能な記憶媒体であって、前記記憶媒体内の命令がモバイル端末のプロセッサによって実行されるときに、モバイル端末に、画像処理のためのディープラーニングネットワークトレーニング方法を実行させ、
前記方法は、
Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得することであって、ＮとＭは両方とも１より大きい正の整数であることと、
各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得することと、
各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列することと、
各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成することと、
前記トレーニングサンプルセットに基づいて、画像処理モデルをトレーニングすることとを含む、前記非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理技術分野に関し、特に、画像処理モデルのトレーニング方法、装置および媒体に関する。
【０００２】
本願は、２０１９年１０月３１日に中国特許局に提出された、出願番号がＣＮ２０１９１１０５４２６３．Ｘである中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
【背景技術】
【０００３】
ズーム機能は、現在の携帯電話とカメラに対して必須の機能である。人々は、写真を撮影するときに物体をより詳細に観察するために、レンズを野生生物やスポーツ選手などのような遠いところの物体にズームイン（Ｚｏｏｍ  ｉｎ）する。一部のスマートフォンには、ズームレベルの異なる２台のカメラが搭載されている。これは、カメラ市場における高品質ズーム機能の重要性を示す。光学ズームは、画像ズームの最良の選択であり、高画質を維持することが可能であるが、一般的にズームレンズは高価であり、しかも重い。したがって、現在は、画像の強化に主にデジタルズームを使用する。デジタルズーム（Ｄｉｇｉｔａｌ  Ｚｏｏｍ）は、ズームの目的を達成するために、携帯電話またはデジタルカメラのプロセッサを介して、写真内の各ピクセルの領域を拡大させる。しかし、現在のほとんどのデジタルズーム方法は、カメラセンサから入力されるトリミング（ｔｒｉｍｍｉｎｇ）領域に対して単純にアップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）を行い、このような方法の場合、出力がぼやけることがある。高価な光学機器を使用せずに、遠くの物体の高品質な画像を取得することは、依然として課題である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
関連技術における問題を克服するために、本開示は、画像処理のためのディープラーニングネットワークトレーニング方法、装置および媒体を提供する。
【課題を解決するための手段】
【０００５】
本開示の実施例の第１の態様によれば、画像処理モデルのトレーニング方法を提供し、前記方法は、
Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得することであって、ＮとＭは両方とも１より大きい正の整数であることと、
各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得することと、
各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列することと、
各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成することと、
前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングすることとを含む。
【０００６】
ここで、前記トレーニングシーンの近距離標準画像を取得することは、
前記トレーニングシーンのＫフレームの近距離撮影画像を取得することであって、Ｋは１より大きいか等しい正の整数であることと、
前記Ｋフレームの近距離撮影画像に基づいて、前記トレーニングシーンの近距離標準画像を取得することとを含む。
【０００７】
ここで、前記Ｋフレームの近距離撮影画像に基づいて前記トレーニングシーンの近距離標準画像を取得することは、
前記Ｋフレームの近距離撮影画像に基づいて、マルチフレームの融合方式によって、前記トレーニングシーンの近距離標準画像を取得することを含む。
【０００８】
ここで、前記遠距離撮影画像および前記近距離撮影画像は、同じ水平線で取得した画像である。
【０００９】
ここで、前記方法は、
前記Ｍフレームの遠距離撮影画像から１フレームの遠距離参照画像を選択することをさらに含む。
【００１０】
ここで、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列することは、
前記近距離標準画像に基づいて前記遠距離参照画像を整列することと、
前記遠距離参照画像に基づいて前記Ｍフレームの遠距離撮影画像中の他の画像を整列することとを含む。
【００１１】
ここで、前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングすることは、
前記画像処理モデルにおいて、前記遠距離参照画像の計算の重みを前記Ｍフレームの遠距離撮影画像の他の画像の計算の重みより大きく設定することを含む。
【００１２】
ここで、前記Ｍフレームの遠距離撮影画像から１フレームの遠距離参照画像を選択することは、
各フレームの遠距離撮影画像の勾配値を取得することと、
最大勾配値を有する遠距離撮影画像を前記遠距離参照画像として選択することとを含む。
【００１３】
ここで、前記画像処理モデルは、マルチフレームの超解像ネットワークモデルである。
【００１４】
本開示の実施例の第２の態様によれば、画像処理方法を提供し、前記方法は、
ターゲットオブジェクトに対してＭフレームの遠距離撮影画像を取得することであって、Ｍは１より大きい正の整数であることと、
前記ターゲットオブジェクトの強化された画像を取得するために、前記Ｍフレームの遠距離撮影画像を前記方法にしたがってトレーニングされた画像処理モデルに入力することとを含む。
【００１５】
本開示の実施例の第３の態様によれば、画像処理モデルのトレーニング装置を提供し、前記装置は、
Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得するように構成される遠距離画像取得モジュールであって、ＮとＭは両方とも１より大きい正の整数である遠距離画像取得モジュールと、
各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得するように構成される近距離画像取得モジュールと、
各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列するように構成される画像整列モジュールと、
各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成するように構成されるサンプルセット構成モジュールと、
前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングするように構成されるトレーニングモジュールとを含む。
【００１６】
本開示の実施例の第４の態様によれば、
プロセッサと、
プロセッサによって実行可能な命令を格納するためのメモリとを含み、
前記プロセッサは、
Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得し、ＮとＭは両方とも１より大きい正の整数であり、
各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得し、
各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列し、
各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成し、
前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングするように構成される、画像処理のためのディープラーニングネットワークトレーニング装置を提供する。
【００１７】
本開示の実施例の第５の態様によれば、前記記憶媒体内の命令がモバイル端末のプロセッサによって実行されるときに、モバイル端末が画像処理のためのディープラーニングネットワークトレーニング方法を実行することができるようにする非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記方法は、
Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得することであって、ＮとＭは両方とも１より大きい正の整数であることと、
各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得することと、
各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列することと、
各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成することと、
前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングすることとを含む。
【発明の効果】
【００１８】
本開示の実施例において、近距離撮影画像から得られた近距離標準画像を使用して遠距離撮影画像をトリミングおよび整列し、マルチフレームを整列した遠距離撮影画像を入力とし、近距離標準画像を出力として、画像処理モデルをトレーニングする。前記方法でトレーニングされた画像処理モデルを使用して遠距離撮影画像を処理する場合、デジタルズーム効果を効果的に改善しながら、ノイズ除去の目的が達成される。本開示の実施例における方法を使用すると、ユーザが遠いところの文字または他の物体を撮影するときに、よりはっきり見えるようにする。
【００１９】
上記の一般的な説明および以下の詳細な説明は単なる例示および説明であり、本開示を限定するものではないことを理解されたい。
【図面の簡単な説明】
【００２０】
【図１】例示的な実施例に係る画像処理モデルのトレーニング方法のフローチャートである。
【図２】例示的な実施例に係る遠距離撮影画像の模式図である。
【図３】例示的な実施例に係る近距離撮影画像の模式図である。
【図４】例示的な実施例に係る近距離撮影画像の模式図である。
【図５】例示的な実施例に係る近距離標準画像の模式図である。
【図６】例示的な実施例に係る遠距離撮影画像およびその勾配バイナリマップ（Ｇｒａｄｉｅｎｔ  ｂｉｎａｒｙ  ｍａｐ）の比較模式図である。
【図７】例示的な実施例に係る画像処理モデルの画像処理の効果模式図である。
【図８】例示的な実施例に係る画像処理モデルのトレーニング方法のフローチャートである。
【図９】例示的な実施例に係る近距離標準画像に対してフレームのトリミングを行う模式図である。
【図１０】例示的な実施例に係る遠距離参照画像に対してフレームのトリミングを行う模式図である。
【図１１】例示的な実施例に係るトリミングされた遠距離参照画像と近距離標準画像を整列する模式図である。
【図１２】例示的な実施例に係る整列された遠距離参照画像および近距離標準画像に対してゴースト画像除去操作を実行した後の画像の模式図である。
【図１３】例示的な実施例に係る１０フレームの整列された遠距離撮影画像の模式図である。
【図１４】例示的な実施例に係る画像処理モデルをトレーニングする装置のブロック図である。
【図１５】例示的な実施例に係る装置のブロック図である。
【図１６】例示的な実施例に係る装置のブロック図である。
【発明を実施するための形態】
【００２１】
本明細書の図面は本明細書に組み込まれ、その一部を構成し、本発明と一致する実施例を示し、本明細書とともに本発明の原理を解釈する役割を果たす。
【００２２】
ここで例示的な実施例を詳細に説明し、その例を添付の図面に示す。以下の説明が添付の図面に関する場合、特に指定がない限り、異なる添付の図面の同じ数字は同じまたは類似な要素を表す。以下の例示的な実施例で説明される実施形態は、本発明と一致するすべての実施形態を表すものではない。むしろ、それらは、添付の特許請求の範囲に詳述される本発明のいくつかの態様と一致する装置および方法の単なる例である。
【００２３】
高品質のズーム機能は、カメラ市場にとって非常に重要である。光学ズームレンズが高価であり、しかも重いため、現在はデジタルズームが主に使用される。しかしながら、現在のデジタルズーム方法のほとんどは、カメラセンサ入力のトリミング領域を単純にアップサンプリングし、この方法の場合、出力がぼやけることがある。
【００２４】
現在のディープラーニングの成熟に伴い、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）に基づくデジタルズーム技術もますます流行っているが、畳み込みニューラルネットワークに基づくほとんどのデジタルズーム方法は、トレーニングセットの構築時に合成の低解像度ＲＧＢ画像（通常は、高解像度画像からダウンサンプリングする）を入力として使用するが、このようにダウンサンプリングを介して劣化をシミュレートすることは、実際の画像劣化の状況を真に反映することができない。そして、ほとんどのデジタルズーム方法にはノイズ除去機能がないが、入力画像はダウンサンプリングによって構築されるため、入力のノイズレベルが間接的に低下し、最終的に、トレーニングするネットワークが良好なノイズ除去能力を有しないようになる。
【００２５】
本開示は、画像デジタルズームとノイズ除去を同時に実行して、ズーミング前の画像に比べて、得られたズーミング後の画像はより鮮明になり、詳細な部分がより豊富になり、ノイズが大幅に低減される。
【００２６】
前記方法はデジタルカメラまたはデジタルカメラの構成されたスマート端末に適用することができる。
【００２７】
図１は、例示的な実施例に係る画像処理モデルのトレーニング方法のフローチャートであり、図１に示されたように、前記方法は、端末に使用され、次のステップを含む。
【００２８】
ステップ１０１において、Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得し、ＮとＭは両方とも１より大きい正の整数である。
【００２９】
ステップ１０２において、各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得する。
【００３０】
ステップ１０３において、各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列する。
【００３１】
ステップ１０４において、各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成する。
【００３２】
ステップ１０５において、前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングする。
【００３３】
ステップ１０１は、遠距離撮影画像の収集であり、前記Ｍフレーム画像は、同じトレーニングシーンの同じ位置に固定されたカメラによって取得された画像である。例えば、次のプロセスを使用して遠距離撮影画像の収集を行うことができる。シーンターゲットを固定して、カメラを三脚に固定し、ターゲットから４ｍの距離で三脚を固定して、１０枚の連続した画像を撮影する。図２は、遠距離撮影画像の模式図である。上記と同じ撮影方法で、Ｎ個のトレーニングシーンを撮影し、その中で、各トレーニングシーンはＭフレームの遠距離撮影画像を撮影する。
【００３４】
具体的な実施形態において、ＮおよびＭは、所望のトレーニング効果に従って設定することができ、一般に、上記の例のように、Ｎは５００、１０００などに設定することができ、Ｍは、１０、２０などに設定することができる。ＭおよびＮは、１より大きい正の整数を取り、即ち、複数のトレーニングシーンを収集し、各トレーニングシーンはマルチフレームの遠距離撮影画像である。現在、先行技術でデジタルズームはすべて単一のフレーム画像に基づいて行われるが、単一のフレーム画像の情報は限られており、１枚の画像のみではより豊かなディテールの１枚の画像を取得することは困難である。したがって、この方法では、マルチフレーム画像をデジタルズームに使用し、即ち、マルチフレーム画像間で補完情報を使用することにより、情報を高解像度グリッドで融合して、それにより、より多くて、より解像度が高い画像を取得する。
【００３５】
ステップ１０２のトレーニングシーンの近距離標準画像は、トレーニングシーンから短い距離のところにある低ノイズ画像を指す。
【００３６】
ステップ１０３において、各トレーニングシーンについて、その低ノイズ画像と同じ視野を持つように、そのＭフレームの遠距離撮影画像をまずトリミングして、前記近距離の低ノイズ画像を使用してトリミングされた遠距離撮影画像を整列する。
【００３７】
近距離標準画像を取得するための近距離撮影画像と遠距離撮影画像は、トレーニングシーンとは異なる距離の異なる位置で撮影されたため、遠距離撮影の画像の視野は、近距離で撮影して得られた画像の視野より大きいことに留意されたい。したがって、整列操作中に、近距離標準画像と遠距離撮影画像の視野が同じになるように画像形式を切り抜きする必要があり、その後、画像の特徴点に基づいて単一マップの整列が実行され、最後に、ゴースト画像除去操作も実行することができる。ここで、同じ視野とは異なる画角での同じシーンを指す。
【００３８】
この方法では、近距離画像を使用して遠距離画像を整列するため、整列された遠距離画像を画像処理モデルに入力するときに行うトレーニングは、遠距離画像と近距離画像の基で行っている。このような遠近撮影方法で得られた２種類の画像は視野が異なり、このような視野の劣化こそ、実画像の劣化に最も近いものであるため、ディープラーニングネットワークを介してこの異なる視野の劣化を学習するため、ネットワークが、遠景から撮影した画像に対してデジタルズームを効果的に行って、高解像度の画像を取得することができる。しかし、現在のディープラーニングネットワークに基づくデジタルズームは、シミュレーションによる劣化手法を使用してデータセットを構築するが、このような非現実的なシミュレーション手法で構築されたデータセットは、実際のシーンでの劣化問題を解決することができない。
【００３９】
ステップ１０４は、トレーニングサンプルセットを構成するプロセスである。まず、各トレーニングシーンから取得したデータをトレーニングサンプルペアにすべて形成し、次にこれらのトレーニングサンプルペアをトレーニングサンプルセットに形成する。
【００４０】
ステップ１０５において、前記得られたトレーニングサンプルセットは、画像処理モデル（例えば、ディープラーニングネットワーク）に対してトレーニングする。
【００４１】
選択的な実施形態において、前記トレーニングシーンの近距離標準画像を取得することは、
前記トレーニングシーンのＫフレームの近距離撮影画像を取得することであって、Ｋは１より大きいか等しい正の整数であることと、
前記Ｋフレームの近距離撮影画像に基づいて、前記トレーニングシーンの近距離標準画像を取得することとを含む。
【００４２】
選択的な実施形態において、前記Ｋフレームの近距離撮影画像に基づいて前記トレーニングシーンの近距離標準画像を取得することは、
前記Ｋフレームの近距離撮影画像に基づいて、マルチフレームの融合方式によって、前記トレーニングシーンの近距離標準画像を取得することを含む。
【００４３】
選択的な実施形態において、前記遠距離撮影画像および前記近距離撮影画像は、同じ水平線で取得した画像である。
【００４４】
前記具体的な実施形態は、トレーニングシーンの近距離標準画像を取得する方法を提供する。ここでの近距離標準画像は、近距離撮影によって収集された画像を処理して得られた低ノイズ画像を指す。カメラによって収集された画像には、通常、一定のノイズが存在し、これらのノイズは、一般的に空間ドメインではお互いに関連されず、加法性ノイズである。即ち、カメラによって収集された画像の場合、次の式に示すように、ノイズ画像と加法性ノイズの構成として表すことができる。
【００４５】
【数１】
0006909317.tif 000002
【００４６】
ここで、Ｇ（ｘ，ｙ）は、収集された画像であり、ｆ（ｘ，ｙ）は、ノイズのない画像であり、Ｂ（ｘ，ｙ）はノイズである。同じシーンで撮影された複数の画像の場合、B(x,y)は、一般にランダムで無関係であると見なされ、そして平均値が０であるガウス分布に満足するため、同じシーンの複数の画像の平均値の期待値はノイズのない画像である。したがって、マルチフレーム画像によって１つの低ノイズの画像を合成することができる。実験により、基本的に１０フレームの画像を使用すると、１つの低ノイズの画像を取得することができることが分かる。即ち、Ｋは１０より大きいか等しい正の整数を取ることができる。
【００４７】
具体的に、シーンターゲットを固定し、カメラを三脚に固定し、ターゲットから２ｍの距離で三脚を固定して、ターゲットから２ｍの距離でのターゲット画像を１０枚連続して撮影する。ここで、その後に画像整列の操作が容易になるために、近距離撮影時と遠距離撮影時の画像の水平方向の収集を確保する。図３は、近距離撮影画像の模式図である。その後、１０枚の画像をマルチフレーム融合技術によって１枚の低ノイズ画像を取得する。通常に使用されるマルチフレーム融合のノイズ除去方法は数多くて、さらにＰＳ方法を使用してマルチフレーム融合のノイズ除去操作を行うことができる。図４および図５は、それぞれ近距離撮影画像と近距離標準画像の模式図を示し、図５の近距離標準画像は、図４に示した複数の近距離撮影画像によって、マルチフレーム融合技術で得られたものである。
【００４８】
この方法では、画像処理モデルに入力された画像は、遠距離で連続撮影して得られたマルチフレームの未処理ＲＧＢ画像であるため、色ノイズが高い。しかし、整列操作は、近距離で同じシーンを連続撮影して複数の画像を取得してから、マルチフレーム融合でノイズ除去を行うことにより得られた、色ノイズのない画像を使用する。画像処理モデルは、通常にディープラーニングネットワークモデルを使用するが、ディープラーニングネットワークモデルによってこのようなノイズベースの劣化を学習し、それにより、ネットワークモデルが遠景撮影した画像のノイズを効果的に除去することができる。したがって、この方法にはデジタルズームとノイズ除去の両方の機能を同時に有する。しかし、現在のデジタルズームアルゴリズムのほとんどは、ノイズ、特に色ノイズを除去する機能がない。
【００４９】
選択的な実施形態において、前記方法は、
前記Ｍフレームの遠距離撮影画像から１フレームの遠距離参照画像を選択することをさらに含む。
【００５０】
ここでの遠距離参照画像は、マルチフレームの遠距離撮影画像中で最も鮮明な画像である。前記遠距離参照画像は、遠距離撮影画像と近距離標準画像の整列、および画像処理モデル（例えば、ディープラーニングネットワークモデル）を入力するときにｓの計算の重みを増やすことによりディープラーニングネットワークのトレーニング効果を強化するために使用されることができる。
【００５１】
例えば、ディープラーニングネットワークモデルに、長さと幅がそれぞれｗとｈである１０フレームの整列された遠距離撮影画像を同時に入力する。前記１０フレームの遠距離撮影画像中の第１のフレームは遠距離参照画像であり、各フレームは、３層の畳み込みに経由してダウンサンプリングされ、それぞれｗ＊ｈ＊ｃ、ｗ／２＊ｈ／２＊４ｃ、ｗ／４＊ｈ／４＊８ｃである３つの異なる縮尺のフィーチャマップ（Ｆｅａｔｕｒｅ  ｍａｐ）を取得する。ここで、ｃは、チャネルの数であり、ここでは８を取ることができる。その後、フィーチャチャネル（Ｆｅａｔｕｒｅ  ｃｈａｎｎｅｌ）接続を介して、マルチチャネル（Ｍｕｌｔｉｃｈａｎｎｅｌ）のフィーチャブロック（Ｆｅａｔｕｒｅ  ｂｌｏｃｋ）であるｗ／４  ＊  ｈ／４  ＊  ８＊１０ｃを取得し、その後、複数の残差ブロックを経由して、デコンボリューション（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）によってアップサンプリングを行う。なお、各フレームに対応するフィーチャ（Ｆｅａｔｕｒｅ）は、後でサイズに対応するフィーチャにマルチフレームで接続される。最後に、出力がｗ＊ｈ＊３である低ノイズの高解像度の画像を取得する。
【００５２】
選択的な実施形態において、前記Ｍフレームの遠距離撮影画像から１フレームの遠距離参照画像を選択することは、
各フレームの遠距離撮影画像の勾配値を取得することと、
最大勾配値を有する遠距離撮影画像を前記遠距離参照画像として選択することとを含む。
【００５３】
画像の勾配値は、ラプラス演算子によって得ることができ、勾配値を計算する具体的な方法は、従来技術の方法を採用することができ、ここでは繰り返さない。図６は、１フレームの遠距離撮影画像およびその勾配バイナリマップの比較模式図を示し、ここで、左側は、キャプチャされた遠距離撮影画像の一部であり、右側は、その対応する勾配バイナリマップである。
【００５４】
選択的な実施形態において、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列することは、
前記近距離標準画像に基づいて前記遠距離参照画像を整列することと、
前記遠距離参照画像に基づいて前記Ｍフレームの遠距離撮影画像中の他の画像を整列することとを含む。
【００５５】
遠距離撮影画像は、通常に三脚で固定して撮影されるため、遠距離撮影画像の位置ずれの主な要素は、木の葉が揺れているなど、シーン内に移動するターゲットが存在するためである。遠距離撮影画像から最も鮮明な画像を遠距離参照画像として選択することに基づいて、まず遠距離参照画像と近距離標準画像を整列し、次に遠距離撮影画像と遠距離参照画像を整列する。即ち、他の遠距離撮影画像はまず遠距離参照画像と同じ視野を持つようにトリミングされ、その後、整列された遠距離撮影画像を得るために、ゴースト画像除去技術を使用して位置ずれのローカルブロックを除去する。
【００５６】
遠距離参照画像を使用して遠距離撮影画像を整列すると、より良好な整列効果を得ることができる。
【００５７】
選択的な実施形態において、前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングすることは、
前記画像処理モデルにおいて、前記遠距離参照画像の計算の重みを前記Ｍフレームの遠距離撮影画像の他の画像の計算の重みより大きく設定することを含む。
【００５８】
具体的に、遠距離参照画像を遠距離撮影画像の第１のフレームとして画像処理モデル（ディープラーニングネットワークモデルなど）に入力されてもよい。遠距離参照画像は遠距離撮影画像の中で、最も鮮明な画像であるため、遠距離参照画像の計算の重みを大きく設定することにより、ディープラーニングネットワークモデルのトレーニングを強化することができ、ディープラーニングネットワークモデルの出力画像をより鮮明にする。
【００５９】
ディープラーニングネットワークモデルに対するトレーニングが完成した後、マルチフレームの遠距離撮影画像を前記ディープラーニングネットワークモデルに入力し、ディープラーニングネットワークモデルによって遠距離撮影画像のローカル高解像度の画像が出力されることができる。図７は、前記ディープラーニングネットワークモデルの画像処理の効果の模式図である。左上は遠距離撮影画像であり、右上は遠距離撮影画像のローカル画像であり、前記ローカル画像がぼやけていることがわかる。左下は、トレーニング済みのディープラーニングネットワークモデルの処理後のローカル画像であり、前記ローカル画像は比較的に鮮明である。
【００６０】
選択的な実施形態において、前記画像処理モデルは、マルチフレームの超解像ネットワークモデルである。
【００６１】
図８は、本開示に係る画像処理モデルのトレーニング方法の具体的な実施例を示す。ここで、画像処理モデルは、マルチフレームの超解像ネットワークモデルを使用する。図８に示されたように、前記実施例は、次のステップを含む。
【００６２】
ステップ８０１において、撮影トレーニングシーンから４メートル離れる位置に三脚を固定し、カメラを三脚に固定し、１０フレームの遠距離画像を連続撮影する。
【００６３】
ステップ８０２において、撮影トレーニングシーンから２メートル離れる位置に三脚を平行移動して固定し、カメラを三脚に固定し、１０フレームの近距離画像を連続撮影する。
【００６４】
ステップ８０３において、前記ステップ８０１とステップ８０２を繰り返して、合計で５００個のトレーニングシーンの遠距離撮影画像と近距離撮影画像をそれぞれ１０フレーム取得する。
【００６５】
ステップ８０４において、各シーンに対して、１０フレームの遠距離撮影画像から最も鮮明な１フレームを遠距離参照画像として選択する。
【００６６】
ステップ８０５において、各シーンに対して、マルチフレームの融合方式を使用して、１０フレームの近距離撮影画像に基づいて低ノイズの近距離標準画像を取得する。
【００６７】
ステップ８０６において、各シーンに対して、遠距離参照画像と近距離標準画像を整列する。具体的に次のことを含む。図９に示されたように、近距離標準画像をフレームのトリミングし、図１０に示されたように、トリミングされた近距離標準画像の視野と同じになるように、遠距離参照画像をフレームのトリミングし、図１１に示されたように、トリミングされた遠距離参照画像と近距離標準画像を整列し、整列された遠距離参照画像は近距離標準画像とゴースト画像除去操作を行い、処理後の画像は、図１２に示されたようである。
【００６８】
ステップ８０７において、各シーンに対して、残りの９フレームの遠距離撮影画像と整列処理後の遠距離参照画像を整列し、具体的な整列操作は、ステップ８０６の操作を参照することができ、得られた１０フレームの整列された遠距離撮影画像は、図１３に示されたようである。
【００６９】
ステップ８０８において、各トレーニングシーンの整列された遠距離撮影画像と近距離標準画像からトレーニングサンプルペアを生成し、５００個のトレーニングサンプルペアがトレーニングサンプルセットを構成し、トレーニングサンプルセットでマルチフレームの超解像ネットワークモデルをトレーニングする。
【００７０】
本開示は、画像処理方法をさらに提供し、前記方法は、
ターゲットオブジェクトに対してＭフレームの遠距離撮影画像を取得することであって、Ｍは１より大きい正の整数であることと、
前記ターゲットオブジェクトの強化された画像を取得するために、前記Ｍフレームの遠距離撮影画像を、本開示によって提供される画像処理モデルトレーニング方法にしたがってトレーニングして得られた画像処理モデルに入力することとを含む。
【００７１】
具体的に、例えば、ターゲットオブジェクトの１０フレームの遠距離撮影画像を収集して、前記１０フレームの遠距離撮影画像の中で最も鮮明なフレーム（例えば、画像ベースの勾配値）を遠距離参照画像として選択する。他の９フレームの遠距離撮影画像と遠距離参照画像を整列した後、整列された１０フレームの遠距離撮影画像をトレーニング済の画像処理モデルに入力し、前記モデルの処理を通じて、ターゲットオブジェクトの鮮明な画像を取得することができる。
【００７２】
本開示は、画像処理モデルのトレーニング装置をさらに提供し、図１４に示されたように、前記装置は、
Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得するように構成される遠距離画像取得モジュール１４０１であって、ＮとＭは両方とも１より大きい正の整数である遠距離画像取得モジュール１４０１と、
各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得するように構成される近距離画像取得モジュール１４０２と、
各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列するように構成される画像整列モジュール１４０３と、
各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成するように構成されるサンプルセット構成モジュール１４０４と、
前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングするように構成されるトレーニングモジュール１４０５とを含む。
【００７３】
前記実施例の装置に関して、各モジュールが操作を実行する具体的な方法は、前記方法に関する実施例で詳細に説明され、ここでは詳細に説明しない。
【００７４】
近距離撮影画像から得られた近距離標準画像を使用して遠距離撮影画像をトリミングおよび整列し、マルチフレームを整列した遠距離撮影画像を入力とし、近距離標準画像を出力として、画像処理モデルをトレーニングする。前記方法でトレーニングされた画像処理モデルを使用して遠距離撮影画像を処理する場合、デジタルズーム効果を効果的に改善しながら、ノイズ除去の目的が達成される。本開示の実施例における方法を使用すると、ユーザが遠いところの文字または他の物体を撮影するときに、よりはっきり見えるようにする。
【００７５】
図１５は、例示的な実施例に係る画像処理モデルのトレーニング装置１５００のブロック図である。例えば、装置１５００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末等であってもよい。
【００７６】
図１５を参照すれば、装置１５００は、処理コンポーネント１５０２、メモリ１５０４、電力コンポーネント１５０６、マルチメディアコンポーネント１５０８、オーディオコンポーネント１５１０、入力／出力（Ｉ／Ｏ）インターフェース１５１２、センサコンポーネント１５１４、および通信コンポーネント１５１６のうちの１つまたは複数のコンポーネントを含むことができる。
【００７７】
処理コンポーネント１５０２は、通常にディスプレイ、電話、データ通信、カメラ操作および記録操作に関連する操作のような装置１５００の全体的な操作を制御する。処理コンポーネント１５０２は、前記の方法のステップのすべてまたは一部を完成するために、１つまたは複数のプロセッサ１５２０によって命令を実行する。加えて、処理コンポーネント１５０２と他のコンポーネントとの間の相互作用を容易にするために、処理コンポーネント１５０２は、１つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント１５０２は、マルチメディアコンポーネント１５０８と処理コンポーネント１５０２との間の相互作用を容易にするために、マルチメディアモジュール含むことができる。
【００７８】
メモリ１５０４は、装置１５００での操作をサポートするために、様々なタイプのデータを格納するように構成される。これらのデータの例には、装置１５００で操作するアプリケーションまたは方法の指示、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ１５０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせで具現することができる。
【００７９】
電力コンポーネント１５０６は、装置１５００の様々なコンポーネントに電力を提供する。電力コンポーネント１５０６は、電力管理システム、１つまたは複数の電源、および装置１５００の電力の生成、管理および分配に関連する他のコンポーネントを含むことができる。
【００８０】
マルチメディアコンポーネント１５０８は、前記装置１５００とユーザとの間の、出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含み得る。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして具現されることができる。タッチパネルは、タッチ、スワイプおよびタッチパネルでのジェスチャーを検知するための１つまたは複数のタッチセンサが含まれる。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間および圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント１５０８は、フロントカメラおよび／またはリアカメラを含む。装置１５００が、撮影モードまたはビデオモードなどの操作モードにあるとき、フロントカメラおよび／またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラおよびリアカメラは、それぞれ固定光学レンズシステムであるかまたは焦点距離と光学ズーム機能を持つことができる。
【００８１】
オーディオコンポーネント１５１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント１５１０は、１つのマイクロフォン（ＭＩＣ）を含み、装置１５００が通話モード、記録モードおよび音声認識モードなどの操作モードにあるとき、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ１５０４にさらに格納されてもよいし、または通信コンポーネント１５１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント１５１０は、さらにオーディオ信号を出力するためのスピーカを含む。
【００８２】
Ｉ／Ｏインターフェース１５１２は、処理コンポーネント１５０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを含むが、これらに限定されない。
【００８３】
センサコンポーネント１５１４は、装置１５００に各態様の評価を提供するための１つまたは複数のセンサを含む。例えば、センサコンポーネント１５１４は、装置１５００のオン／オフ状態と、装置１５００のディスプレイやキーパッド（ｋｅｙｐａｄ）などであるコンポーネントの相対的な位置づけとを検出することができ、センサコンポーネント１５１４は、装置１５００または装置１５００のコンポーネントの位置の変化、ユーザとの装置１５００の接触の有無、装置１５００の向きまたは加速／減速、および装置１５００の温度の変化を検出することができる。センサコンポーネント１５１４は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを含むことができる。センサコンポーネント１５１４は、撮像用途で使用するためのＣＭＯＳまたはＣＣＤ画像センサなどの光センサも含むことができる。いくつかの実施例において、前記センサコンポーネント１５１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサをさらに含むことができる。
【００８４】
通信コンポーネント１５１６は、装置１５００と他の機器との間の有線または無線通信を容易にするように構成される。装置１５００は、ＷｉＦｉ（登録商標）、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。ある例示的な実施例において、通信コンポーネント１５１６は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。ある例示的な実施例において、前記通信コンポーネント１５１６は、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線通信協会（ＩｒＤＡ）技術、ウルトラワイドバンド（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術および他の技術に基づいて具現することができる。
【００８５】
例示的な実施例において、装置１５００は、前記方法を実行するために、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子部品によって具現される。
【００８６】
例示的な実施例において、命令を含むメモリ１５０４などの、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体を提供することができ、前記命令は、装置１５００のプロセッサ１５２０によって実行されて前記方法を完成することができる。例えば、前記非一時的なコンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスクおよび光データ記憶装置等であってもよい。
【００８７】
非一時的なコンピュータ読み取り可能な記憶媒体であって、前記記憶媒体内の命令がモバイル端末のプロセッサによって実行されるときに、モバイル端末が画像処理モデルのトレーニング方法を実行することを可能にし、前記方法は、Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得することであって、ＮとＭは両方とも１より大きい正の整数であることと、各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得することと、各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列することと、各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成することと、前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングすることとを含む。
【００８８】
図１６は、例示的な実施例に係る画像処理のためのディープラーニングネットワークトレーニング装置１６００のブロック図である。例えば、装置１６００は、サーバとして提供されてもよい。図１６を参照すれば、装置１６００は、１つまたは複数のプロセッサをさらに含む処理コンポーネント１６２２と、およびアプリケーションなど、処理コンポーネント１６２２によって実行可能な命令を格納するための、メモリ１６３２によって表されるメモリリソースとを含む。メモリ１６３２に格納されるアプリケーションは、それぞれ命令セットに対応する１つまたは１つ以上のモジュールを含むことができる。なお、処理コンポーネント１６２２は、Ｎ個のトレーニングシーンの各トレーニングシーンに対して、Ｍフレームの遠距離撮影画像をそれぞれ取得することであって、ＮとＭは両方とも１より大きい正の整数であることと、各トレーニングシーンに対して、前記トレーニングシーンの近距離標準画像を取得することと、各トレーニングシーンに対して、前記近距離標準画像と同じ視野を持つように、前記Ｍフレームの遠距離撮影画像をトリミングし、前記近距離標準画像に基づいてトリミングされた前記Ｍフレームの遠距離撮影画像を整列することと、各トレーニングシーンの整列された前記Ｍフレームの遠距離撮影画像と前記近距離標準画像は、前記トレーニングシーンのトレーニングサンプルペアを形成し、前記Ｎ個のトレーニングシーンにそれぞれ対応するＮ個のトレーニングサンプルペアからトレーニングサンプルセットを構成することと、前記トレーニングサンプルセットに基づいて、前記画像処理モデルをトレーニングすることとを含む、前記方法を実行するための命令を実行するように構成される。
【００８９】
装置１６００は、さらに、装置１６００の電源管理を実行するように構成される電源コンポーネント１６２６と、装置１６００をネットワークに接続させるように構成される１つの有線または無線ネットワークインターフェース１６５０と、および１つの入力／出力（Ｉ／Ｏ）インターフェース１６５８とを含み得る。装置１６００は、Ｗｉｎｄｏｗｓ  Ｓｅｒｖｅｒ（登録商標）ＴＭ、Ｍａｃ  ＯＳ  Ｘ（登録商標）ＴＭ、Ｕｎｉｘ（登録商標）ＴＭ、  Ｌｉｎｕｘ（登録商標）ＴＭ、ＦｒｅｅＢＳＤ（登録商標）ＴＭまたは類似のメモリ１６３２に格納されるオペレーティングシステムに基づいて操作することができる。
【００９０】
当業者は、明細書を考慮して、本明細書に開示された発明を実施した後、本発明の他の実施方案を容易に想到し得るであろう。本開示は、本発明のあらゆる変形、応用または適応性変化を網羅することを意図し、これらの変形、応用または適応性変化は、本発明の普通の原理に準拠し本開示によって開示されていない本技術分野における公知知識または従来の技術的手段を含む。明細書と実施例は、例示としてのみ考慮され、本発明の真の範囲および思想は添付の特許請求の範囲によって示される。
【００９１】
本発明は、上記に既に説明して添付の図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正および変更を行うことができることを理解されたい。本発明の範囲は、添付の特許請求の範囲によってのみ制限される。
【図１】
0006909317.tif 000003
【図２】
0006909317.tif 000004
【図３】
0006909317.tif 000005
【図４】
0006909317.tif 000006
【図５】
0006909317.tif 000007
【図６】
0006909317.tif 000008
【図７】
0006909317.tif 000009
【図８】
0006909317.tif 000010
【図９】
0006909317.tif 000011
【図１０】
0006909317.tif 000012
【図１１】
0006909317.tif 000013
【図１２】
0006909317.tif 000014
【図１３】
0006909317.tif 000015
【図１４】
0006909317.tif 000016
【図１５】
0006909317.tif 000017
【図１６】
0006909317.tif 000018