(57)【要約】  本開示は画像処理方法及び装置、電子機器、並びに記憶媒体に関する。前記方法は、第１の画像を取得することと、前記第１の画像の少なくとも１つのガイド画像を取得し、前記ガイド画像に前記第１の画像における目標対象物のガイド情報が含まれることと、前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得る。本開示の実施例は、再構成画像の鮮鋭度を高めることができる。【選択図】図１
2021528742.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を取得することと、
前記第１の画像の少なくとも１つのガイド画像を取得し、前記ガイド画像に前記第１の画像における目標対象物のガイド情報が含まれることと、
前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ることとを含むことを特徴とする画像処理方法。
【請求項２】
前記第１の画像の少なくとも１つのガイド画像を取得することは、
前記第１の画像の記述情報を取得することと、
前記第１の画像の記述情報に基づいて、前記目標対象物の少なくとも１つの目標部位にマッチングするガイド画像を決定することとを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ることは、
前記第１の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得ることと、
前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出することと、
抽出された前記サブ画像及び前記第１の画像により、前記再構成画像を得ることとを含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
抽出された前記サブ画像及び前記第１の画像により、前記再構成画像を得ることは、
前記第１の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は
前記サブ画像及び前記第１の画像に対して畳み込み処理を行い、前記再構成画像を得ることを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ることは、
前記第１の画像に対して超解像画像再構成処理を行い、前記第１の画像の解像度よりも高い解像度の第２の画像を得ることと、
前記第２の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得ることと、
前記少なくとも１つのガイド画像における、前記対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出することと、
抽出された前記サブ画像及び前記第２の画像により、前記再構成画像を得ることとを含むことを特徴とする請求項１又は２に記載の方法。
【請求項６】
抽出された前記サブ画像及び前記第２の画像により、前記再構成画像を得ることは、
前記第２の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は
前記サブ画像及び前記第２の画像により畳み込み処理を行い、前記再構成画像を得ることを含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記方法はさらに、
前記再構成画像を用いて身元認識を行い、前記対象物にマッチングする身元情報を決定することを含むことを特徴とする請求項１〜６のいずれか１項に記載の方法。
【請求項８】
第１のニューラルネットワークにより前記第１の画像に対して超解像画像再構成処理を行って前記第２の画像を得、前記方法はさらに、前記第１のニューラルネットワークをトレーニングするステップを含み、当該ステップは、
複数の第１のトレーニング画像と、前記第１のトレーニング画像に対応する第１の教師データとを含む第１のトレーニング画像セットを取得することと、
前記第１のトレーニング画像セットのうちの少なくとも１つの第１のトレーニング画像を前記第１のニューラルネットワークに入力して前記超解像画像再構成処理を行い、前記第１のトレーニング画像に対応する予測超解像画像を得ることと、
前記予測超解像画像を第１の敵対的ネットワーク、第１の特徴認識ネットワーク及び第１の画像セマンティックセグメンテーションネットワークにそれぞれ入力して、前記予測超解像画像の識別結果、特徴認識結果及び画像分割結果を得ることと、
前記予測超解像画像の識別結果、特徴認識結果、画像分割結果に基づいて第１のネットワーク損失を得、前記第１のネットワーク損失に基づいて、第１のトレーニング要求を満たすまで、前記第１のニューラルネットワークのパラメータを逆伝播によって調整することを含むことを特徴とする請求項５又は６に記載の方法。
【請求項９】
前記第１のトレーニング画像に対応する予測超解像画像の識別結果、特徴認識結果、画像分割結果に基づいて第１のネットワーク損失を得ることは、
前記第１のトレーニング画像に対応する予測超解像画像と、前記第１の教師データ中の前記第１のトレーニング画像に対応する第１の標準画像とに基づいて、第１の画素損失を決定することと、
前記予測超解像画像の識別結果と、前記第１の敵対的ネットワークによる前記第１の標準画像の識別結果とに基づいて、第１の敵対的損失を得ることと、
前記予測超解像画像及び前記第１の標準画像の非線形処理により、第１の知覚損失を決定することと、
前記予測超解像画像の特徴認識結果と、前記第１の教師データ中の第１の標準特徴とに基づいて、第１のヒートマップ損失を得ることと、
前記予測超解像画像の画像分割結果と、第１の教師データ中の第１のトレーニングサンプルに対応する第１の標準分割結果とに基づいて、第１の分割損失を得ることと、
前記第１の敵対的損失、第１の画素損失、第１の知覚損失、第１のヒートマップ損失及び第１の分割損失の加重和を用いて、前記第１のネットワーク損失を得ることとを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
第２のニューラルネットワークにより前記ガイド再構成を行って前記再構成画像を得、前記方法はさらに、前記第２のニューラルネットワークをトレーニングするステップを含み、当該ステップは、
第２のトレーニング画像と、前記第２のトレーニング画像に対応する、ガイドトレーニング画像及び第２の教師データとを含む第２のトレーニング画像セットを取得することと、
前記第２のトレーニング画像に応じて前記ガイドトレーニング画像に対してアフィン変換を行ってトレーニングアフィン画像を得、前記トレーニングアフィン画像と前記第２のトレーニング画像とを前記第２のニューラルネットワークに入力し、前記第２のトレーニング画像のガイド再構成を行って前記第２のトレーニング画像の再構成予測画像を得ることと、
前記再構成予測画像を第２の敵対的ネットワーク、第２の特徴認識ネットワーク及び第２の画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記再構成予測画像の識別結果、特徴認識結果及び画像分割結果を得ることと、
前記再構成予測画像の識別結果、特徴認識結果、画像分割結果に基づいて前記第２のニューラルネットワークの第２のネットワーク損失を得、前記第２のネットワーク損失に基づいて、第２のトレーニング要求を満たすまで、前記第２のニューラルネットワークのパラメータを逆伝播によって調整することとを含むことを特徴とする請求項１〜９のいずれか１項に記載の方法。
【請求項１１】
前記トレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果、画像分割結果に基づいて前記第２のニューラルネットワークの第２のネットワーク損失を得ることは、
前記第２のトレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、全体の損失及び部分的損失を得ることと、
前記全体の損失及び部分的損失の加重和に基づいて、前記第２のネットワーク損失を得ることとを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記トレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、全体の損失を得ることは、
前記第２のトレーニング画像に対応する再構成予測画像と、前記第２の教師データ中の前記第２のトレーニング画像に対応する第２の標準画像とに基づいて、第２の画素損失を決定することと、
前記再構成予測画像の識別結果と、前記第２の敵対的ネットワークによる前記第２の標準画像の識別結果とに基づいて、第２の敵対的損失を得ることと、
前記再構成予測画像及び前記第２の標準画像の非線形処理により、第２の知覚損失を決定することと、
前記再構成予測画像の特徴認識結果と、前記第２の教師データ中の第２の標準特徴とに基づいて、第２のヒートマップ損失を得ることと、
前記再構成予測画像の画像分割結果と、前記第２の教師データ中の第２の標準分割結果とに基づいて、第２の分割損失を得ることと、
前記第２の敵対的損失、第２の画素損失、第２の知覚損失、第２のヒートマップ損失及び第２の分割損失の加重和を用いて、前記全体の損失を得ることとを含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記トレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、部分的損失を得ることは、
前記再構成予測画像における少なくとも１つの部位の部位サブ画像を抽出し、少なくとも１つの部位の部位サブ画像を敵対的ネットワーク、特徴認識ネットワーク及び画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記少なくとも１つの部位の部位サブ画像の識別結果、特徴認識結果及び画像分割結果を得ることと、
前記少なくとも１つの部位の部位サブ画像の識別結果と、前記第２の敵対的ネットワークによる前記第２のトレーニング画像に対応する第２の標準画像における前記少なくとも１つの部位の部位サブ画像の識別結果とに基づいて、前記少なくとも１つの部位の第３の敵対的損失を決定することと、
前記少なくとも１つの部位の部位サブ画像の特徴認識結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準特徴とに基づいて、少なくとも１つの部位の第３のヒートマップ損失を得ることと、
前記少なくとも１つの部位の部位サブ画像の画像分割結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準分割結果とに基づいて、少なくとも１つの部位の第３の分割損失を得ることと、
前記少なくとも１つの部位の第３の敵対的損失、第３のヒートマップ損失及び第３の分割損失の加算和を用いて、前記ネットワークの部分的損失を得ることとを含むことを特徴とする請求項１１又は１２に記載の方法。
【請求項１４】
第１の画像を取得するための第１の取得モジュールと、
前記第１の画像の少なくとも１つのガイド画像を取得するためのものであって、前記ガイド画像に前記第１の画像における目標対象物のガイド情報が含まれる第２の取得モジュールと、
前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得るための再構成モジュールとを含むことを特徴とする画像処理装置。
【請求項１５】
前記第２の取得モジュールはさらに、前記第１の画像の記述情報を取得することと、
前記第１の画像の記述情報に基づいて、前記目標対象物の少なくとも１つの目標部位にマッチングするガイド画像を決定することとに用いられることを特徴とする請求項１４に記載の装置。
【請求項１６】
前記再構成モジュールは、
前記第１の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得るためのアフィンユニットと、
前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出するための抽出ユニットと、
抽出された前記サブ画像及び前記第１の画像により、前記再構成画像を得るための再構成ユニットとを含むことを特徴とする請求項１４又は１５に記載の装置。
【請求項１７】
前記再構成ユニットはさらに、前記第１の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は
前記サブ画像及び前記第１の画像に対して畳み込み処理を行い、前記再構成画像を得ることに用いられることを特徴とする請求項１６に記載の装置。
【請求項１８】
前記再構成モジュールは、
前記第１の画像に対して超解像画像再構成処理を行い、前記第１の画像の解像度よりも高い解像度の第２の画像を得るための超解像ユニットと、
前記第２の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得るためのアフィンユニットと、
前記少なくとも１つのガイド画像における、前記対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出するための抽出ユニットと、
抽出された前記サブ画像及び前記第２の画像により、前記再構成画像を得るための再構成ユニットとを含むことを特徴とする請求項１４又は１５に記載の装置。
【請求項１９】
前記再構成ユニットはさらに、前記第２の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は
前記サブ画像及び前記第２の画像により畳み込み処理を行い、前記再構成画像を得ることに用いられることを特徴とする請求項１８に記載の装置。
【請求項２０】
前記再構成画像を用いて身元認識を行い、前記対象物にマッチングする身元情報を決定するための身元認識ユニットをさらに含むことを特徴とする請求項１４〜１９のいずれか１項に記載の装置。
【請求項２１】
前記超解像ユニットは、前記第１の画像に対して超解像画像再構成処理を行うための第１のニューラルネットワークを含み、
前記装置はさらに、前記第１のニューラルネットワークをトレーニングするための第１のトレーニングモジュールを含み、前記第１のニューラルネットワークをトレーニングするステップは、
複数の第１のトレーニング画像と、前記第１のトレーニング画像に対応する第１の教師データとを含む第１のトレーニング画像セットを取得することと、
前記第１のトレーニング画像セットのうちの少なくとも１つの第１のトレーニング画像を前記第１のニューラルネットワークに入力して前記超解像画像再構成処理を行い、前記第１のトレーニング画像に対応する予測超解像画像を得ることと、
前記予測超解像画像を第１の敵対的ネットワーク、第１の特徴認識ネットワーク及び第１の画像セマンティックセグメンテーションネットワークにそれぞれ入力して、前記予測超解像画像の識別結果、特徴認識結果及び画像分割結果を得ることと、
前記予測超解像画像の識別結果、特徴認識結果、画像分割結果に基づいて第１のネットワーク損失を得、前記第１のネットワーク損失に基づいて、第１のトレーニング要求を満たすまで、前記第１のニューラルネットワークのパラメータを逆伝播によって調整することとを含むことを特徴とする請求項１８又は１９に記載の装置。
【請求項２２】
前記第１のトレーニングモジュールは、
前記第１のトレーニング画像に対応する予測超解像画像と、前記第１の教師データ中の前記第１のトレーニング画像に対応する第１の標準画像とに基づいて、第１の画素損失を決定することと、
前記予測超解像画像の識別結果と、前記第１の敵対的ネットワークによる前記第１の標準画像の識別結果とに基づいて、第１の敵対的損失を得ることと、
前記予測超解像画像及び前記第１の標準画像の非線形処理により、第１の知覚損失を決定することと、
前記予測超解像画像の特徴認識結果と、前記第１の教師データ中の第１の標準特徴とに基づいて、第１のヒートマップ損失を得ることと、
前記予測超解像画像の画像分割結果と、第１の教師データ中の第１のトレーニングサンプルに対応する第１の標準分割結果とに基づいて、第１の分割損失を得ることと、
前記第１の敵対的損失、第１の画素損失、第１の知覚損失、第１のヒートマップ損失及び第１の分割損失の加重和を用いて、前記第１のネットワーク損失を得ることとに用いられることを特徴とする請求項２１に記載の装置。
【請求項２３】
前記再構成モジュールは、前記ガイド再構成を行って前記再構成画像を得るための第２のニューラルネットワークを含み、
前記装置はさらに、前記第２のニューラルネットワークをトレーニングするための第２のトレーニングモジュールを含み、前記第２のニューラルネットワークをトレーニングするステップは、
第２のトレーニング画像と、前記第２のトレーニング画像に対応する、ガイドトレーニング画像及び第２の教師データとを含む第２のトレーニング画像セットを取得することと、
前記第２のトレーニング画像に応じて前記ガイドトレーニング画像に対してアフィン変換を行ってトレーニングアフィン画像を得、前記トレーニングアフィン画像と、前記第２のトレーニング画像とを前記第２のニューラルネットワークに入力し、前記第２のトレーニング画像のガイド再構成を行って前記第２のトレーニング画像の再構成予測画像を得ることと、
前記再構成予測画像を第２の敵対的ネットワーク、第２の特徴認識ネットワーク及び第２の画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記再構成予測画像の識別結果、特徴認識結果及び画像分割結果を得ることと、
前記再構成予測画像の識別結果、特徴認識結果、画像分割結果に基づいて前記第２のニューラルネットワークの第２のネットワーク損失を得、前記第２のネットワーク損失に基づいて、第２のトレーニング要求を満たすまで、前記第２のニューラルネットワークのパラメータを逆伝播によって調整することとを含むことを特徴とする請求項１４〜２２のいずれか１項に記載の装置。
【請求項２４】
前記第２のトレーニングモジュールはさらに、前記第２のトレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、全体の損失及び部分的損失を得ることと、
前記全体の損失及び部分的損失の加重和に基づいて、前記第２のネットワーク損失を得ることとに用いられることを特徴とする請求項２３に記載の装置。
【請求項２５】
前記第２のトレーニングモジュールはさらに、
前記第２のトレーニング画像に対応する再構成予測画像と、前記第２の教師データ中の前記第２のトレーニング画像に対応する第２の標準画像とに基づいて、第２の画素損失を決定することと、
前記再構成予測画像の識別結果と、前記第２の敵対的ネットワークによる前記第２の標準画像の識別結果とに基づいて、第２の敵対的損失を得ることと、
前記再構成予測画像及び前記第２の標準画像の非線形処理により、第２の知覚損失を決定することと、
前記再構成予測画像の特徴認識結果と、前記第２の教師データ中の第２の標準特徴とに基づいて、第２のヒートマップ損失を得ることと、
前記再構成予測画像の画像分割結果と、前記第２の教師データ中の第２の標準分割結果とに基づいて、第２の分割損失を得ることと、
前記第２の敵対的損失、第２の画素損失、第２の知覚損失、第２のヒートマップ損失及び第２の分割損失の加重和を用いて、前記全体の損失を得ることとに用いられることを特徴とする請求項２４に記載の装置。
【請求項２６】
前記第２のトレーニングモジュールはさらに、
前記再構成予測画像における少なくとも１つの部位の部位サブ画像を抽出し、少なくとも１つの部位の部位サブ画像を敵対的ネットワーク、特徴認識ネットワーク及び画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記少なくとも１つの部位の部位サブ画像の識別結果、特徴認識結果及び画像分割結果を得ることと、
前記少なくとも１つの部位の部位サブ画像の識別結果と、前記第２の敵対的ネットワークによる前記第２のトレーニング画像に対応する第２の標準画像における前記少なくとも１つの部位の部位サブ画像の識別結果とに基づいて、前記少なくとも１つの部位の第３の敵対的損失を決定することと、
前記少なくとも１つの部位の部位サブ画像の特徴認識結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準特徴とに基づいて、少なくとも１つの部位の第３のヒートマップ損失を得ることと、
前記少なくとも１つの部位の部位サブ画像の画像分割結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準分割結果とに基づいて、少なくとも１つの部位の第３の分割損失を得ることと、
前記少なくとも１つの部位の第３の敵対的損失、第３のヒートマップ損失及び第３の分割損失の加算和を用いて、前記ネットワークの部分的損失を得ることとに用いられることを特徴とする請求項２４又は２５に記載の装置。
【請求項２７】
プロセッサーと、
プロセッサーにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサーは、前記メモリに記憶されている命令を呼び出すことにより、請求項１〜１３のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項２８】
コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサーにより実行されると、請求項１〜１３のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能な記憶媒体。
【請求項２９】
コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードは、電子機器において実行されると、前記電子機器のプロセッサーに請求項１〜１３のいずれか１項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【優先権主張】
【０００１】
本開示は、２０１９年５月９日に中国特許庁に提出された、出願番号が２０１９１０３８５２２８．Ｘ号で、発明の名称が「画像処理方法及び装置、電子機器、並びに記憶媒体」である中国特許出願の優先権を主張し、その開示の全ての内容が援用によって本開示に組み込まれる。
【技術分野】
【０００２】
本開示は、コンピュータビジョン技術分野に関し、特に画像処理方法及び装置、電子機器、並びに記憶媒体に関する。
【背景技術】
【０００３】
関連技術において、撮像環境や撮像機器の配置等の関係で、取得した画像は品質が低下したものであることがあり、このような画像では、顔検出やその他のタイプの目標検出を実現することは困難である。通常、いくつかのモデルやアルゴリズムによってこのような画像を再構成することは可能である。ほとんどの低画素画像を再構成する方法では、ノイズやボケの混入があった場合、鮮鋭な画像を復元することは困難である。
【発明の概要】
【０００４】
本開示は、画像処理の技術的解決手段を提案する。
【０００５】
本開示の一方面によれば、第１の画像を取得することと、前記第１の画像の少なくとも１つのガイド画像を取得し、前記ガイド画像に前記第１の画像における目標対象物のガイド情報が含まれることと、前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ることとを含む画像処理方法を提供する。上記構成によれば、ガイド画像により第１の画像の再構成を行うことができ、第１の画像が著しく劣化した場合でも、ガイド画像の融合によって、鮮鋭な再構成画像を再構成でき、より優れる再構成効果を有する。
【０００６】
いくつかの可能な実施形態では、前記第１の画像の少なくとも１つのガイド画像を取得することは、前記第１の画像の記述情報を取得することと、前記第１の画像の記述情報に基づいて、前記目標対象物の少なくとも１つの目標部位にマッチングするガイド画像を決定することとを含む。上記構成によれば、記述情報に応じて、目標部位のガイド画像を得ることができ、さらに、記述情報に基づいてより正確なガイド画像を提供することができる。
【０００７】
いくつかの可能な実施形態では、前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ることは、前記第１の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得ることと、前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出することと、抽出された前記サブ画像及び前記第１の画像により、前記再構成画像を得ることとを含む。上記構成によれば、ガイド画像内の、目標対象物にマッチングする部位が目標対象物の姿勢となるように、ガイド画像における対象物の姿勢を第１の画像における目標対象物の姿勢に応じて調整することができ、再構成を行うとき、再構成の精度を高めることができる。
【０００８】
いくつかの可能な実施形態では、抽出された前記サブ画像及び前記第１の画像により、前記再構成画像を得ることは、前記第１の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は前記サブ画像及び前記第１の画像に対して畳み込み処理を行い、前記再構成画像を得ることを含む。上記構成によれば、様々な形態の再構成手段を提供することができ、再構成が便利で精度が高いという特徴がある。
【０００９】
いくつかの可能な実施形態では、前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ることは、前記第１の画像に対して超解像画像再構成処理を行い、前記第１の画像の解像度よりも高い解像度の第２の画像を得ることと、前記第２の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得ることと、前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出することと、抽出された前記サブ画像及び前記第２の画像により、前記再構成画像を得ることとを含む。上記構成によれば、超解像再構成処理により第１の画像の鮮鋭度を高めて第２の画像を得、さらに第２の画像に応じてガイド画像のアフィン変化を行うことができ、第２の画像の解像度は第１の画像より高いため、アフィン変換及びその後の再構成処理を行うとき、再構成画像の精度をさらに高めることができる。
【００１０】
いくつかの可能な実施形態では、抽出された前記サブ画像及び前記第２の画像により、前記再構成画像を得ることは、前記第２の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は前記サブ画像及び前記第２の画像により畳み込み処理を行い、前記再構成画像を得ることを含む。上記構成によれば、様々な形態の再構成手段を提供することができ、再構成が便利で精度が高いという特徴がある。
【００１１】
いくつかの可能な実施形態では、前記方法はさらに、前記再構成画像を用いて身元認識を行い、前記対象物にマッチングする身元情報を決定することを含む。上記構成によれば、再構成画像は第１の画像に比較して、鮮鋭度が大幅に高められ、より豊富な細部情報を有するため、再構成画像により身元認識を行うことによって、高速で精確に認識結果を得ることができる。
【００１２】
いくつかの可能な実施形態では、第１のニューラルネットワークにより前記第１の画像に対して超解像画像再構成処理を行って前記第２の画像を得、前記方法はさらに、前記第１のニューラルネットワークをトレーニングするステップを含み、当該ステップは、複数の第１のトレーニング画像と、前記第１のトレーニング画像に対応する第１の教師データとを含む第１のトレーニング画像セットを取得することと、前記第１のトレーニング画像セットのうちの少なくとも１つの第１のトレーニング画像を前記第１のニューラルネットワークに入力して前記超解像画像再構成処理を行い、前記第１のトレーニング画像に対応する予測超解像画像を得ることと、前記予測超解像画像を第１の敵対的ネットワーク、第１の特徴認識ネットワーク及び第１の画像セマンティックセグメンテーションネットワークにそれぞれ入力して、前記予測超解像画像の識別結果、特徴認識結果及び画像分割結果を得ることと、前記予測超解像画像の識別結果、特徴認識結果、画像分割結果に基づいて第１のネットワーク損失を得、前記第１のネットワーク損失に基づいて、第１のトレーニング要求を満たすまで、前記第１のニューラルネットワークのパラメータを逆伝播によって調整することとを含む。上記構成によれば、敵対的ネットワーク、特徴認識ネットワーク及びセマンティックセグメンテーションネットワークにより、第１のニューラルネットワークのトレーニングを支援することができ、ニューラルネットワークの精度向上に加えて、第１のニューラルネットワークによる画像の各細部の正確な認識を達成することができる。
【００１３】
いくつかの可能な実施形態では、前記第１のトレーニング画像に対応する予測超解像画像の識別結果、特徴認識結果、画像分割結果に基づいて第１のネットワーク損失を得ることは、前記第１のトレーニング画像に対応する予測超解像画像と、前記第１の教師データ中の前記第１のトレーニング画像に対応する第１の標準画像とに基づいて、第１の画素損失を決定することと、前記予測超解像画像の識別結果と、前記第１の敵対的ネットワークによる前記第１の標準画像の識別結果とに基づいて、第１の敵対的損失を得ることと、前記予測超解像画像及び前記第１の標準画像の非線形処理により、第１の知覚損失を決定することと、前記予測超解像画像の特徴認識結果と、前記第１の教師データ中の第１の標準特徴とに基づいて、第１のヒートマップ損失を得ることと、前記予測超解像画像の画像分割結果と、第１の教師データ中の第１のトレーニングサンプルに対応する第１の標準分割結果とに基づいて、第１の分割損失を得ることと、前記第１の敵対的損失、第１の画素損失、第１の知覚損失、第１のヒートマップ損失及び第１の分割損失の加重和を用いて、前記第１のネットワーク損失を得ることとを含む。上記構成によれば、様々な損失を提供するため、各損失を組み合わせてニューラルネットワークの精度を高めることができる。
【００１４】
いくつかの可能な実施形態では、第２のニューラルネットワークにより前記ガイド再構成を行って前記再構成画像を得、前記方法はさらに、前記第２のニューラルネットワークをトレーニングするステップを含み、当該ステップは、第２のトレーニング画像と、前記第２のトレーニング画像に対応する、ガイドトレーニング画像及び第２の教師データとを含む第２のトレーニング画像セットを取得することと、前記第２のトレーニング画像に応じて前記ガイドトレーニング画像に対してアフィン変換を行ってトレーニングアフィン画像を得、前記トレーニングアフィン画像と、前記第２のトレーニング画像とを前記第２のニューラルネットワークに入力し、前記第２のトレーニング画像のガイド再構成を行って前記第２のトレーニング画像の再構成予測画像を得ることと、前記再構成予測画像を第２の敵対的ネットワーク、第２の特徴認識ネットワーク及び第２の画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記再構成予測画像の識別結果、特徴認識結果及び画像分割結果を得ることと、前記再構成予測画像の識別結果、特徴認識結果、画像分割結果に基づいて前記第２のニューラルネットワークの第２のネットワーク損失を得、前記第２のネットワーク損失に基づいて、第２のトレーニング要求を満たすまで、前記第２のニューラルネットワークのパラメータを逆伝播によって調整することとを含む。上記構成によれば、敵対的ネットワーク、特徴認識ネットワーク及びセマンティックセグメンテーションネットワークに基づいて、第２のニューラルネットワークのトレーニングを支援することができ、ニューラルネットワークの精度向上に加えて、第２のニューラルネットワークによる画像の各細部の正確な認識を達成することができる。
【００１５】
いくつかの可能な実施形態では、前記トレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果、画像分割結果に基づいて前記第２のニューラルネットワークの第２のネットワーク損失を得ることは、前記第２のトレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、全体の損失及び部分的損失を得ることと、前記全体の損失及び部分的損失の加重和に基づいて、前記第２のネットワーク損失を得ることとを含む。上記構成によれば、様々な損失を提供するため、各損失を組み合わせてニューラルネットワークの精度を高めることができる。
【００１６】
いくつかの可能な実施形態では、前記トレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、全体の損失を得ることは、前記第２のトレーニング画像に対応する再構成予測画像と、前記第２の教師データ中の前記第２のトレーニング画像に対応する第２の標準画像とに基づいて、第２の画素損失を決定することと、前記再構成予測画像の識別結果と、前記第２の敵対的ネットワークによる前記第２の標準画像の識別結果とに基づいて、第２の敵対的損失を得ることと、前記再構成予測画像及び前記第２の標準画像の非線形処理により、第２の知覚損失を決定することと、前記再構成予測画像の特徴認識結果と、前記第２の教師データ中の第２の標準特徴とに基づいて、第２のヒートマップ損失を得ることと、前記再構成予測画像の画像分割結果と、前記第２の教師データ中の第２の標準分割結果とに基づいて、第２の分割損失を得ることと、前記第２の敵対的損失、第２の画素損失、第２の知覚損失、第２のヒートマップ損失及び第２の分割損失の加重和を用いて、前記全体の損失を得ることとを含む。上記構成によれば、様々な損失を提供するため、各損失を組み合わせてニューラルネットワークの精度を高めることができる。
【００１７】
いくつかの可能な実施形態では、前記トレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、部分的損失を得ることは、前記再構成予測画像における少なくとも１つの部位の部位サブ画像を抽出し、少なくとも１つの部位の部位サブ画像を敵対的ネットワーク、特徴認識ネットワーク及び画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記少なくとも１つの部位の部位サブ画像の識別結果、特徴認識結果及び画像分割結果を得ることと、前記少なくとも１つの部位の部位サブ画像の識別結果、及び前記第２の敵対的ネットワークによる前記第２の標準画像における前記少なくとも１つの部位の部位サブ画像の識別結果に基づいて、前記少なくとも１つの部位の第３の敵対的損失を決定することと、前記少なくとも１つの部位の部位サブ画像の特徴認識結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準特徴とに基づいて、少なくとも１つの部位の第３のヒートマップ損失を得ることと、前記少なくとも１つの部位の部位サブ画像の画像分割結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準分割結果とに基づいて、少なくとも１つの部位の第３の分割損失を得ることと、前記少なくとも１つの部位の第３の敵対的損失、第３のヒートマップ損失及び第３の分割損失の加算和を用いて、前記ネットワークの部分的損失を得ることとを含む。上記構成によれば、各部位の細部損失に基づいて、ニューラルネットワークの精度をさらに高めることができる。
【００１８】
本開示の第２の方面によれば、第１の画像を取得するための第１の取得モジュールと、前記第１の画像の少なくとも１つのガイド画像を取得するためのものであって、前記ガイド画像に前記第１の画像における目標対象物のガイド情報が含まれる第２の取得モジュールと、前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得るための再構成モジュールとを含む画像処理装置を提供する。上記構成によれば、ガイド画像により第１の画像の再構成を行うことができ、第１の画像が著しく劣化した場合でも、ガイド画像の融合によって、鮮鋭な再構成画像を再構成でき、より優れる再構成効果を有する。
【００１９】
いくつかの可能な実施形態では、前記第２の取得モジュールはさらに、前記第１の画像の記述情報を取得することと、前記第１の画像の記述情報に基づいて、前記目標対象物の少なくとも１つの目標部位にマッチングするガイド画像を決定することとに用いられる。上記構成によれば、記述情報に応じて、目標部位のガイド画像を得ることができ、そして、記述情報に基づいてより正確なガイド画像を提供することができる。
【００２０】
いくつかの可能な実施形態では、前記再構成モジュールは、前記第１の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得るためのアフィンユニットと、前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出するための抽出ユニットと、抽出された前記サブ画像及び前記第１の画像により、前記再構成画像を得るための再構成ユニットとを含む。上記構成によれば、ガイド画像における、目標対象物にマッチングする部位が目標対象物の姿勢となるように、ガイド画像における対象物の姿勢を第１の画像における目標対象物の姿勢に応じて調整することができ、再構成を行うとき、再構成精度を高めることができる。
【００２１】
いくつかの可能な実施形態では、前記再構成ユニットはさらに、前記第１の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は前記サブ画像及び前記第１の画像に対して畳み込み処理を行い、前記再構成画像を得ることに用いられる。上記構成によれば、様々な形態の再構成手段を提供することができ、再構成が便利で精度が高いという特徴がある。
【００２２】
いくつかの可能な実施形態では、前記再構成モジュールは、前記第１の画像に対して超解像画像再構成処理を行い、前記第１の画像の解像度よりも高い解像度の第２の画像を得るための超解像ユニットと、前記第２の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得るためのアフィンユニットと、前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出するための抽出ユニットと、抽出された前記サブ画像及び前記第２の画像により、前記再構成画像を得るための再構成ユニットとを含む。上記構成によれば、超解像再構成処理により第１の画像の鮮鋭度を高めて第２の画像を得、さらに第２の画像に応じてガイド画像のアフィン変化を行うことができ、第２の画像の解像度は第１の画像より高いため、アフィン変換及びその後の再構成処理を行うとき、再構成画像の精度をさらに高めることができる。
【００２３】
いくつかの可能な実施形態では、前記再構成ユニットはさらに、前記第２の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は前記サブ画像及び前記第２の画像により畳み込み処理を行い、前記再構成画像を得ることに用いられる。上記構成によれば、様々な形態の再構成手段を提供することができ、再構成が便利で精度が高いという特徴がある。
【００２４】
いくつかの可能な実施形態では、前記装置はさらに、前記再構成画像を用いて身元認識を行い、前記目標対象物にマッチングする身元情報を決定するための身元認識ユニットをさらに含む。上記構成によれば、再構成画像は第１の画像に比較して、鮮鋭度が大幅に高められ、より豊富な細部情報を有するため、再構成画像に基づいて身元認識を行うことによって、高速で精確に認識結果を得ることができる。
【００２５】
いくつかの可能な実施形態では、前記超解像ユニットは、前記第１の画像に対して超解像画像再構成処理を行うための第１のニューラルネットワークを含み、前記装置はさらに、前記第１のニューラルネットワークをトレーニングするための第１のトレーニングモジュールを含み、前記第１のニューラルネットワークをトレーニングするステップは、複数の第１のトレーニング画像と、前記第１のトレーニング画像に対応する第１の教師データとを含む第１のトレーニング画像セットを取得することと、前記第１のトレーニング画像セットのうちの少なくとも１つの第１のトレーニング画像を前記第１のニューラルネットワークに入力して前記超解像画像再構成処理を行い、前記第１のトレーニング画像に対応する予測超解像画像を得ることと、前記予測超解像画像を第１の敵対的ネットワーク、第１の特徴認識ネットワーク及び第１の画像セマンティックセグメンテーションネットワークにそれぞれ入力して、前記予測超解像画像の識別結果、特徴認識結果及び画像分割結果を得ることと、前記予測超解像画像の識別結果、特徴認識結果、画像分割結果に基づいて、第１のネットワーク損失を得、前記第１のネットワーク損失に基づいて、第１のトレーニング要求を満たすまで、前記第１のニューラルネットワークのパラメータを逆伝播によって調整することとを含む。上記構成によれば、敵対的ネットワーク、特徴認識ネットワーク及びセマンティックセグメンテーションネットワークにより、第１のニューラルネットワークのトレーニングを支援することができ、ニューラルネットワークの精度向上に加えて、第１のニューラルネットワークによる画像の各細部の正確な認識を達成することができる。
【００２６】
いくつかの可能な実施形態では、前記第１のトレーニングモジュールは、前記第１のトレーニング画像に対応する予測超解像画像と、前記第１の教師データ中の前記第１のトレーニング画像に対応する第１の標準画像とに基づいて、第１の画素損失を決定することと、前記予測超解像画像の識別結果と、前記第１の敵対的ネットワークによる前記第１の標準画像の識別結果とに基づいて、第１の敵対的損失を得ることと、前記予測超解像画像及び前記第１の標準画像の非線形処理により、第１の知覚損失を決定することと、前記予測超解像画像の特徴認識結果と、前記第１の教師データ中の第１の標準特徴とに基づいて、第１のヒートマップ損失を得ることと、前記予測超解像画像の画像分割結果と、第１の教師データ中の第１のトレーニングサンプルに対応する第１の標準分割結果とに基づいて、第１の分割損失を得ることと、前記第１の敵対的損失、第１の画素損失、第１の知覚損失、第１のヒートマップ損失及び第１の分割損失の加重和を用いて、前記第１のネットワーク損失を得ることとに用いられる。上記構成によれば、様々な損失を提供するため、各損失を組み合わせてニューラルネットワークの精度を高めることができる。
【００２７】
いくつかの可能な実施形態では、前記再構成モジュールは、前記ガイド再構成を行って前記再構成画像を得るための第２のニューラルネットワークを含み、、前記装置はさらに、前記第２のニューラルネットワークをトレーニングするための第２のトレーニングモジュールを含み、前記第２のニューラルネットワークをトレーニングするステップは、第２のトレーニング画像と、前記第２のトレーニング画像に対応する、ガイドトレーニング画像及び第２の教師データとを含む第２のトレーニング画像セットを取得することと、前記第２のトレーニング画像に応じて前記ガイドトレーニング画像に対してアフィン変換を行ってトレーニングアフィン画像を得、前記トレーニングアフィン画像と、前記第２のトレーニング画像とを前記第２のニューラルネットワークに入力し、前記第２のトレーニング画像のガイド再構成を行って前記第２のトレーニング画像の再構成予測画像を得ることと、前記再構成予測画像を第２の敵対的ネットワーク、第２の特徴認識ネットワーク及び第２の画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記再構成予測画像の識別結果、特徴認識結果及び画像分割結果を得ることと、前記再構成予測画像の識別結果、特徴認識結果、画像分割結果に基づいて前記第２のニューラルネットワークの第２のネットワーク損失を得、前記第２のネットワーク損失に基づいて、第２のトレーニング要求を満たすまで、前記第２のニューラルネットワークのパラメータを逆伝播によって調整することとを含む。上記構成によれば、敵対的ネットワーク、特徴認識ネットワーク及びセマンティックセグメンテーションネットワークにより、第２のニューラルネットワークのトレーニングを支援することができ、ニューラルネットワークの精度向上に加えて、第２のニューラルネットワークによる画像の各細部の正確な認識を達成することができる。
【００２８】
いくつかの可能な実施形態では、前記第２のトレーニングモジュールはさらに、前記第２のトレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、全体の損失及び部分的損失を得ることと、前記全体の損失及び部分的損失の加重和に基づいて、前記第２のネットワーク損失を得ることとに用いられる。上記構成によれば、様々な損失を提供するため、各損失を組み合わせてニューラルネットワークの精度を高めることができる。
【００２９】
いくつかの可能な実施形態では、前記第２のトレーニングモジュールはさらに、前記第２のトレーニング画像に対応する再構成予測画像と、前記第２の教師データ中の前記第２のトレーニング画像に対応する第２の標準画像とに基づいて、第２の画素損失を決定することと、前記再構成予測画像の識別結果と、前記第２の敵対的ネットワークによる前記第２の標準画像の識別結果とに基づいて、第２の敵対的損失を得ることと、前記再構成予測画像及び前記第２の標準画像の非線形処理により、第２の知覚損失を決定することと、前記再構成予測画像の特徴認識結果と、前記第２の教師データ中の第２の標準特徴とに基づいて、第２のヒートマップ損失を得ることと、前記再構成予測画像の画像分割結果と、前記第２の教師データ中の第２の標準分割結果とに基づいて、第２の分割損失を得ることと、前記第２の敵対的損失、第２の画素損失、第２の知覚損失、第２のヒートマップ損失及び第２の分割損失の加重和を用いて、前記全体の損失を得ることとに用いられる。上記構成によれば、様々な損失を提供するため、各損失を組み合わせてニューラルネットワークの精度を高めることができる。
【００３０】
いくつかの可能な実施形態では、前記第２のトレーニングモジュールはさらに、前記再構成予測画像における少なくとも１つの部位の部位サブ画像を抽出し、少なくとも１つの部位の部位サブ画像を敵対的ネットワーク、特徴認識ネットワーク及び画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記少なくとも１つの部位の部位サブ画像の識別結果、特徴認識結果及び画像分割結果を得ることと、前記少なくとも１つの部位の部位サブ画像の識別結果と、前記第２の敵対的ネットワークによる前記第２のトレーニング画像に対応する第２の標準画像における前記少なくとも１つの部位の部位サブ画像の識別結果とに基づいて、前記少なくとも１つの部位の第３の敵対的損失を決定することと、前記少なくとも１つの部位の部位サブ画像の特徴認識結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準特徴とに基づいて、少なくとも１つの部位の第３のヒートマップ損失を得ることと、前記少なくとも１つの部位の部位サブ画像の画像分割結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準分割結果とに基づいて、少なくとも１つの部位の第３の分割損失を得ることと、前記少なくとも１つの部位の第３の敵対的損失、第３のヒートマップ損失及び第３の分割損失の加算和を用いて、前記ネットワークの部分的損失を得ることとに用いられる。上記構成によれば、各部位の細部損失に基づいて、ニューラルネットワークの精度をさらに高めることができる。
【００３１】
本開示の第３の方面によれば、プロセッサーと、プロセッサーにより実行可能な命令を記憶するためのメモリとを含み、前記プロセッサーは、前記メモリに記憶されている命令を呼び出すことにより、第１の方面におけるいずれか１項に記載の方法を実行するように構成される電子機器を提供する。
【００３２】
本開示の第４の方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサーにより実行されると、第１の方面のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能な記憶媒体を提供する。
【００３３】
本開示の第５の方面によれば、電子機器において実行されると、前記電子機器のプロセッサーに第１の方面のいずれか１項に記載の方法を実行させるコンピュータ読取可能なコードを提供する。
【００３４】
本開示の実施例において、少なくとも１つのガイド画像により第１の画像の再構成処理を行うことができ、ガイド画像には第１の画像の細部情報が含まれるため、得られた再構成画像は第１の画像よりも鮮鋭度が高くなったものであり、第１の画像が著しく劣化した場合でも、ガイド画像の融合により、鮮鋭な再構成画像を生成することができる。つまり、本開示は複数のガイド画像を組み合わせて画像の再構成を便利に行い、鮮鋭な画像を得ることができる。
【００３５】
以上の一般的な説明と以下の詳細的な説明は、解釈的や例示的なものに過ぎず、本開示を制限しないことを理解すべきである。
【００３６】
図面を参照しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および方面は明確になる。
【図面の簡単な説明】
【００３７】
明細書の一部として含まれる図面は、本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。
【００３８】
【図１】図１は、本開示の実施例に係る画像処理方法のフローチャートを示す。
【図２】図２は、本開示の実施例に係る画像処理方法におけるステップＳ２０のフローチャートを示す。
【図３】図３は、本開示の実施例に係る画像処理方法におけるステップＳ３０のフローチャートを示す。
【図４】図４は、本開示の実施例に係る画像処理方法におけるステップＳ３０の別のフローチャートを示す。
【図５】図５は、本開示の実施例に係る画像処理方法の手順模式図を示す。
【図６】図６は、本開示の実施例における第１のニューラルネットワークのトレーニングのフローチャートを示す。
【図７】図７は、本開示の実施例における第１のニューラルネットワークのトレーニングの構造模式図を示す。
【図８】図８は、本開示の実施例における第２のニューラルネットワークのトレーニングのフローチャートを示す。
【図９】図９は、本開示の実施例に係る画像処理装置のブロック図を示す。
【図１０】図１０は、本開示の実施例に係る電子機器のブロック図を示す。
【図１１】図１１は、本開示の実施例に係る別の電子機器のブロック図を示す。
【発明を実施するための形態】
【００３９】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴及び方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断りがない限り、比例に従って図面を描く必要がない。
【００４０】
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されたいかなる実施例も他の実施例より好ましい又は優れたるものであると理解すべきではない。
【００４１】
本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組合を示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣから構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。
【００４２】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素および回路について、詳細な説明を省略する。
【００４３】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。
【００４４】
また、本開示は、画像処理装置、電子機器、コンピュータ読取可能な記憶媒体、プログラムを更に提供し、それらはいずれも本開示で提供される画像処理方法のいずれか１つを実現することに利用可能であり、対応する技術的解決手段及び説明については、方法部分の対応の記載を参照すればよく、詳細な説明を省略する。
【００４５】
図１は本開示の実施例に係る画像処理方法のフローチャートを示す。図１に示すように、前記画像処理方法は下記の事項を含んでもよい。
【００４６】
Ｓ１０：第１の画像を取得する。
【００４７】
本開示の実施例における画像処理方法の実行主体は画像処理装置であってもよい。例えば、画像処理方法は、ユーザ機器（ＵｓｅｒＥｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザー端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ち装置、計算装置、車載装置、ウエアラブルデバイス等の端末装置又はサーバー又はその他の処理装置により実行されてもよい。サーバーとしては、ローカルサーバーやクラウドサーバーであってもよい。いくつかの可能な実施形態では、この画像処理方法はプロセッサーによってメモリに記憶されているコンピュータ読取可能な命令を呼び出して実現されてもよい。画像処理を実施できるものであれば、本開示の実施例に係る画像処理方法の実行主体となり得る。
【００４８】
いくつかの可能な実施形態では、まず、処理対象画像である第１の画像を取得してもよい。本開示の実施例における第１の画像は、解像度が比較的低く、画質が比較的劣った画像であってもよく、本開示の実施例の方法により、第１の画像の解像度を高め、鮮鋭な再構成画像を得ることができる。また、第１の画像には、目標タイプの目標対象物を含んでもよい。例えば、本開示の実施例における目標対象物は顔あってもよい。すなわち、本開示の実施例により、顔画像の再構成を行うことができ、第１の画像における人物情報を便利に認識することができる。その他の実施例において、目標対象物は、例えば、動物、植物又はその他の物などの他のタイプであってもよい。
【００４９】
また、本開示の実施例において第１の画像を取得する方式は、伝送された第１の画像を受信する方式、受信された選択命令に基づいてストレージ空間から第１の画像を選択する方式、画像取得装置により取得された第１の画像を取得する方式のうちの少なくとも１つを含んでもよい。ここで、ストレージ空間は、ローカルのストレージアドレスであってもよく、ネットワーク上のストレージアドレスであってもよい。上記は例示的な説明に過ぎず、本開示における第１の画像の取得を具体的に限定するものではない。
【００５０】
Ｓ２０：前記第１の画像の少なくとも１つのガイド画像を取得し、前記ガイド画像に前記第１の画像における目標対象物のガイド情報が含まれる。
【００５１】
いくつかの可能な実施形態では、第１の画像は、対応する少なくとも１つのガイド画像が用意されていてもよい。ガイド画像には、前記第１の画像における目標対象物のガイド情報が含まれ、例えば、目標対象物の少なくとも１つの目標部位のガイド情報が含まれてもよい。目標対象物が顔である場合、ガイド画像は、目標対象物の身元にマッチングする人物の少なくとも１つの部位の画像、例えば、目、鼻、眉、口、顔型、髪等の少なくとも１つの目標部位の画像を含んでもよい。あるいは、衣服又はその他の部位の画像であってもよい。本開示は具体的に限定せず、第１の画像の再構成に用いられるものであれば、本開示の実施例のガイド画像としてもよい。また、本開示の実施例におけるガイド画像は高解像度画像であるため、再構成画像の鮮鋭度及び正確度を向上させることができる。
【００５２】
いくつかの可能な実施形態では、他の機器から第１の画像にマッチングするガイド画像を直接受信してもよく、取得された目標対象物に関する記述情報に基づいてガイド画像を得てもよい。ここで、記述情報は、目標対象物の少なくとも１つの特徴情報を含んでもよく、例えば、目標対象物が顔である場合、記述情報は、対象物である顔の少なくとも１つの目標部位に関する特徴情報を含んでもよい。あるいは、記述情報は、第１の画像における目標対象物の全般的な記述情報、例えば、当該目標対象物がある身元既知の対象物であるというような記述情報を直接含んでもよい。記述情報により、第１の画像の目標対象物の少なくとも１つの目標部位の類似画像を決定するか、又は、第１の画像における対象物と同じ対象物を含む画像を決定することができ、このように得られた各類似画像又は同じ対象物を含む画像はガイド画像としてもよい。
【００５３】
一例において、１人以上の目撃者から提供された容疑者の情報を記述情報として使用し、記述情報に基づいて少なくとも１つのガイド画像を形成してもよい。さらに、カメラ又はその他の手段により得られた容疑者の第１の画像と併用して、各ガイドにより当該第１の画像の再構成を行うことで、容疑者の鮮鋭な画像を得る。
【００５４】
Ｓ３０：前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得る。
【００５５】
第１の画像に対応する少なくとも１つのガイド画像を得た後、得られた少なくとも１つの画像により第１の画像の再構成を行うことができる。ガイド画像には、第１の画像における目標対象物の少なくとも１つの目標部位のガイド情報が含まれるため、当該ガイド情報に基づいて第１の画像をガイド再構成することができる。特に、第１の画像が著しく劣化したものである場合でも、ガイド情報を組み合わせて、より鮮鋭な再構成画像を再構成できる。
【００５６】
いくつかの可能な実施形態では、第１の画像に対して、対応する目標部位のガイド画像での入れ替えを直接行い、再構成画像を得てもよい。例えば、ガイド画像が目部分のガイド画像を含む場合、第１の画像に対して、当該目のガイド画像での入れ替えを行ってもよく、ガイド画像が目部分のガイド画像を含む場合、第１の画像に対して、当該目のガイド画像での入れ替えを行ってもよい。この方式により、第１の画像に対して、対応するガイド画像での入れ替えを直接行い、画像の再構成を達成することができる。この方式は簡単で便利であるという特徴があり、複数のガイド画像のガイド情報を第１の画像に統合して、第１の画像の再構成を便利に達成することができる。ガイド画像は鮮鋭な画像であるため、得られた再構成画像も鮮鋭な画像である。
【００５７】
いくつかの可能な実施形態では、ガイド画像及び第１の画像の畳み込み処理により再構成画像を得てもよい。
【００５８】
いくつかの可能な実施形態では、得られた第１の画像における目標対象物のガイド画像の対象物の姿勢と、第１の画像における目標対象物の姿勢とは異なることがある。この場合、各ガイド画像を第１の画像にワープ（ｗａｒｐ）する必要がある。すなわち、ガイド画像における対象物の姿勢を、第１の画像における目標対象物の姿勢にマッチングするように調整し、その後姿勢が調整されたガイド画像を用いて第１の画像の再構成処理を行う。この手順により得られた再構成画像の正確度は高くなる。
【００５９】
上記実施例によれば、本開示の実施例は、第１の画像の少なくとも１つのガイド画像により第１の画像の再構成を便利に行うことができ、得られた再構成画像は各ガイド画像のガイド情報を融合することができるため、高い鮮鋭度を有する。
【００６０】
以下、図面により本開示の実施例の各手順を詳しく説明する。
【００６１】
図２は本開示の実施例に係る画像処理方法におけるステップＳ２０のフローチャートであり、前記第１の画像の少なくとも１つのガイド画像を取得すること（ステップＳ２０）は下記の事項を含む。
【００６２】
Ｓ２１：前記第１の画像の記述情報を取得する。
【００６３】
上述したとおり、第１の画像の記述情報は、第１の画像における目標対象物の少なくとも１つの目標部位の特徴情報（又は特徴記述情報）を含んでもよい。例えば、目標対象物が顔である場合、記述情報は、目標対象物の目、鼻、口、耳、面部、肌の色、髪、眉等の少なくとも１つの目標部位の特徴情報を含んでもよく、例えば、記述情報としては、Ａ（1つの既知の対象物）の目に似ている目、目の形状、鼻の形状、Ｂ（1つの既知の対象物）の鼻に似ている鼻などが挙げられる。あるいは、記述情報は、第１の画像における目標対象物全体がＣ（1つの既知の対象物）に似ているというような説明を直接含んでもよい。あるいは、記述情報は、第１の画像における対象物の身元情報を含んでもよく、身元情報としては、対象物の身元確認に用いられる名前、年齢、性別などの情報が挙げられる。上記は記述情報を例示的に説明するものに過ぎず、本開示の記述情報を限定しない。対象物に関する上記以外の情報も記述情報としてもよい。
【００６４】
いくつかの可能な実施形態では、記述情報を取得する方式は、入力モジュールにより入力された記述情報を受信する方式、及び／又は、マーキング情報を有する画像（マーキング情報がマーキングされた部分は、第１の画像における目標対象物にマッチングする目標部位である。）を受信する方式のうちの少なくとも１つを含んでもよい。他の実施形態において、他の方式により記述情報を受信してもよい。本開示は具体的に限定しない。
【００６５】
Ｓ２２：前記第１の画像の記述情報に基づいて、前記対象物の少なくとも１つの目標部位にマッチングするガイド画像を決定する。
【００６６】
記述情報を得た後、記述情報に基づいて、第１の画像における、目標対象物にマッチングするガイド画像を決定することができる。ここで、記述情報には前記対象物の少なくとも１つの目標部位の記述情報が含まれている場合、各目標部位の記述情報に基づいて、マッチングするガイド画像を決定してもよい。例えば、記述情報には対象物の目がＡ（既知の対象物）の目に似ているという情報が含まれている場合、データベースから対象物Ａの画像を対象物の目部位のガイド画像として取得してもよい。あるいは、記述情報には対象物の鼻がＢ（既知の対象物）の鼻に似ているという情報が含まれている場合、データベースから対象物Ｂの画像を対象物の鼻のガイド画像として取得してもよい。あるいは、記述情報には対象物の眉が濃い眉であるという情報が含まれている場合、データベースから濃い眉に対応する画像を選択し、当該濃い眉の画像を対象物の眉のガイド画像として決定してもよい。このように、取得した画像情報に基づいて、第１の画像における対象物の少なくとも１つの部位のガイド画像を決定することができる。ここで、記述情報に基づいて対応するガイド画像を便利に決定できるように、データベースは様々な対象物の少なくとも１つの画像を含んでもよい。
【００６７】
いくつかの可能な実施形態では、記述情報は、第１の画像における対象物Ａに関する身元情報を含んでもよい。この場合、当該身元情報に基づいて、データベースから当該身元情報にマッチングする画像をガイド画像として選択してもよい。
【００６８】
上述した構成によれば、記述情報に基づいて、第１の画像における対象物の少なくとも１つの目標部位にマッチングするガイド画像を決定することができ、ガイド画像を組み合わせて画像を再構成を行うことにより、取得された画像の精確度を高めることができる。
【００６９】
ガイド画像を得た後、ガイド画像により画像の再構成手順を行ってもよい。第１の画像の対応する目標部位をガイド画像で直接入れ替えてもよいが、これ以外、本開示の実施例では、ガイド画像に対してアフィン変換を行った上で、入れ替え又は畳み込みを行って、再構成画像を得ることも可能である。
【００７０】
図３は本開示の実施例に係る画像処理方法におけるステップＳ３０のフローチャートであり、前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ること（ステップＳ３０）は下記の事項を含んでもよい。
【００７１】
Ｓ３１：前記第１の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得る。
【００７２】
いくつかの可能な実施形態では、得られた第１の画像における対象物に関するガイド画像の対象物の姿勢と、第１の画像における対象物の姿勢とは異なることがある。この場合、ガイド画像における対象物の姿勢が第１の画像における目標対象物の姿勢と同じになるように、各ガイド画像を第１の画像にワープする必要がある。
【００７３】
本開示の実施例では、アフィン変換の方式により、ガイド画像に対してアフィン変換を行うことができ、アフィン変換後のガイド画像（即アフィン画像）における対象物の姿勢は、第１の画像における目標対象物の姿勢と同じになる。例えば、第１の画像における対象物が正面の画像である場合、ガイド画像における各対象物をアフィン変換の方式により正面の画像に調整することができる。ここで、第１の画像におけるキーポイント位置とガイド画像におけるキーポイント位置との違いを用いてアフィン変換を行い、ガイド画像と第２の画像とを空間的にワープすることができる。例えば、ガイド画像の回転、平行移動、補完、削除の方式により、対象物の姿勢が第１の画像と同じであるアフィン画像を得ることができる。アフィン変換の手順は具体的に限定せず、従来の手段で実施してもよい。
【００７４】
上述した構成によれば、対象物の姿勢が第１の画像と同じである少なくとも１つのアフィン画像（各ガイド画像のアフィン処理によるアフィン画像）を得ることができ、アフィン画像と第１の画像とのワープ（ｗａｒｐ）を達成することができる。
【００７５】
Ｓ３２：前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、ガイド画像に対応するのアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出する。
【００７６】
得られたガイド画像は、第１の画像における少なくとも１つの目標部位にマッチングする画像であるため、アフィン変換により各ガイド画像に対応するアフィン画像を得た後、各ガイド画像に対応するガイド部位（対象物にマッチングする目標部位）に基づいて、アフィン画像から当該ガイド部位のサブ画像を抽出し、すなわち、アフィン画像を分割して、第１の画像における目標対象物にマッチングする目標部位のサブ画像を取り出してもよい。例えば、１つのガイド画像において対象物にマッチングする目標部位が目である場合、当該ガイド画像に対応するアフィン画像から目部位のサブ画像を抽出してもよい。上述した構成により、第１の画像における対象物の少なくとも１つの部位にマッチングするサブ画像を得ることができる。
【００７７】
Ｓ３３：抽出された前記サブ画像及び前記第１の画像により、前記再構成画像を得る。
【００７８】
目標対象物の少なくとも１つの目標部位のサブ画像を得た後、得られたサブ画像及び第１の画像を用いて画像の再構成を行い、再構成画像を得ることができる。
【００７９】
いくつかの可能な実施形態では、各サブ画像は、第１の画像の対象物における少なくとも１つの目標部位にマッチングするため、サブ画像におけるマッチングする部位の画像で、第１の画像における対応する部位を入れ替えてもよい。例えば、サブ画像の目が対象物にマッチングする場合、第１の画像における目部位をサブ画像における目の画像領域で入れ替えもよい。サブ画像の鼻が対象物にマッチングする場合、第１の画像における鼻部位をサブ画像における鼻の画像領域で入れ替えもよい。このように、抽出されたサブ画像における、対象物にマッチングする部位の画像を用いて、第１の画像における対応する部位を入れ替えることができ、最終的に再構成画像を得ることができる。
【００８０】
あるいは、いくつかの可能な実施形態では、前記サブ画像及び前記第１の画像の畳み込み処理により、前記再構成画像を得てもよい。
【００８１】
ここで、それぞれのサブ画像及び第１の画像を畳み込みニューラルネットワークに入力し、少なくとも１回の畳み込み処理を行い、画像特徴の融合を実現し、最終的に融合特徴を得てもよい。当該融合特徴により、融合特徴に対応する再構成画像を得ることができる。
【００８２】
上述した構成により、第１の画像の解像度を向上させることができるとともに、鮮鋭な再構成画像を得ることができる。
【００８３】
本開示のいくつかの別の実施例において、再構成画像の画像精度及び鮮鋭度をさらに向上させるために、第１の画像に対して超解像処理を行い、第１の画像よりも高い解像度の第２の画像を得、第２の画像を用いて画像再構成を行って、再構成画像を得てもよい。図４は本開示の実施例に係る画像処理方法におけるステップＳ３０の別のフローチャートであり、前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ること（ステップＳ３０）はさらに下記の事項を含んでもよい。
【００８４】
Ｓ３０１：前記第１の画像に対して超解像画像再構成処理を行い、前記第１の画像の解像度よりも高い解像度の第２の画像を得る。
【００８５】
いくつかの可能な実施形態では、第１の画像を得た上で、第１の図像に対して超解像画像再構成処理を行い、画像の解像度が高くなる第２の画像を得てもよい。超解像画像再構成処理は、低解像度画像又は画像シーケンスにより高解像度画像を復元することができる。高解像度画像とは、より多くの細部情報、より繊細な画質を有する画像を意味する。
【００８６】
一例において、前記超解像画像再構成処理は、第１の画像に対して線形補間処理を行い、画像のスケールを大きくすることと、線形補間により得られた画像に対して少なくとも１回の畳み込み処理を行い、超解像再構成後の画像である第２の画像を得ることとを含んでよい。例えば、低解像度の第１の画像をバイキュービック補間処理により所望のサイズ（例えば２倍、３倍、４倍）まで拡大することができ、このとき、拡大後の画像はまだ低解像度の画像である。当該拡大後の画像を畳み込みニューラルネットワークに入力し、少なくとも１回の畳み込み処理を行う。例えば、３層畳み込みニューラルネットワークに入力し、画像のＹＣｒＣｂ色空間におけるＹチャネルに対する再構成を行う。ここで、ニューラルネットワークの形態としては、（ｃｏｎｖ１＋ｒｅｌｕ１）-（ｃｏｎｖ２＋ｒｅｌｕ２）-（ｃｏｎｖ３））であってもよい。そのうち、第１層の畳み込みは、畳み込みカーネルのサイズを９×９（ｆ１×ｆ１）とし、畳み込みカーネルの数を６４（ｎ１）とし、特徴図を６４枚出力するものであり、第２層の畳み込みは、畳み込みカーネルのサイズを１×１（ｆ２×ｆ２）とし、畳み込みカーネルの数を３２（ｎ２）とし、特徴図を３２枚出力するものであり、第３層の畳み込みは、畳み込みカーネルのサイズを５×５（ｆ３×ｆ３）とし、畳み込みカーネルの数を１（ｎ３）とし、１枚の特徴図である最終的な再構成高解像度画像、つまり第２の画像を出力するものである。上記畳み込みニューラルネットワークの構造は例示的な説明に過ぎず、本開示は具体的に限定しない。
【００８７】
いくつかの可能な実施形態では、第１のニューラルネットワークにより超解像画像再構成処理を実現してもよく、第１のニューラルネットワークはＳＲＣＮＮネットワーク又はＳＲＲｅｓＮｅｔネットワークを含んでもよい。例えば、第１の画像をＳＲＣＮＮネットワーク（超解像畳み込みニューラルネットワーク）又はＳＲＲｅｓＮｅｔネットワーク（超解像残差ニューラルネットワーク）に入力してもよい。ここで、ＳＲＣＮＮネットワーク及びＳＲＲｅｓＮｅｔネットワークのネットワーク構造は、従来のニューラルネットワーク構造により決定すればよい。本開示は具体的に限定しない。上記第１のニューラルネットワークにより第２の画像を出力することができ、第１の画像よりも高い解像度の第２の画像を得ることができる。
【００８８】
Ｓ３０２：前記第２の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得る。
【００８９】
ステップＳ３１と同様に、第２の画像は、第１の画像よりも解像度が高くなった画像であるため、第２の画像における目標対象物の姿勢も、ガイド画像の姿勢と異なることがある。再構成を行う前に、第２の画像における目標対象物の姿勢に応じてガイド画像のアフィン変化を行い、目標対象物の姿勢が第２の画像における目標対象物の姿勢と同じであるアフィン画像を得ることができる。
【００９０】
Ｓ３０３：前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出する。
【００９１】
ステップＳ３２と同様に、得られたガイド画像は、第２の画像における少なくとも１つの目標部位にマッチングする画像であるため、アフィン変換により各ガイド画像に対応するアフィン画像を得た後、各ガイド画像に対応するガイド部位（対象物にマッチングする目標部位）に基づいて、アフィン画像から当該ガイド部位のサブ画像を抽出し、すなわち、アフィン画像を分割して第１の画像における対象物にマッチングする目標部位のサブ画像を取り出すことができる。例えば、１つのガイド画像において対象物にマッチングする目標部位が目である場合、当該ガイド画像に対応するアフィン画像から目部位のサブ画像を抽出することができる。上述した構成により、第１の画像における対象物の少なくとも１つの部位にマッチングするサブ画像を得ることができる。
【００９２】
Ｓ３０４：抽出された前記サブ画像及び前記第２の画像により、前記再構成画像を得る。
【００９３】
目標対象物の少なくとも１つの目標部位のサブ画像を得た後、得られたサブ画像及び第２の画像を用いて画像の再構成を行い、再構成画像を得てもよい。
【００９４】
いくつかの可能な実施形態では、それぞれのサブ画像は、第２の画像の対象物における少なくとも１つの目標部位にマッチングするため、サブ画像におけるマッチングする部位の画像で、第２の画像における対応する部位を入れ替えてもよい。例えば、サブ画像の目が対象物にマッチングする場合、サブ画像における目の画像領域で、第２の画像における目部位を入れ替えもよい。サブ画像の鼻が対象物にマッチングする場合、サブ画像における鼻の画像領域で、第２の画像における鼻部位を入れ替えてもよい。このように、抽出されたサブ画像における対象物にマッチングする部位の画像を用いて、第２の画像における対応する部位を入れ替えることができ、最終的に再構成画像を得ることができる。
【００９５】
あるいは、いくつかの可能な実施形態では、前記サブ画像及び前記第２の画像の畳み込み処理により、前記再構成画像を得てもよい。
【００９６】
ここで、各サブ画像及び第２の画像を畳み込みニューラルネットワークに入力し、少なくとも１回の畳み込み処理を行い、画像特徴の融合を実現し、最終的に融合特徴を得て、当該融合特徴により、融合特徴に対応する再構成画像を得ることができる。
【００９７】
上述した構成により、超解像再構成処理により第１の画像の解像度をさらに向上させることができるとともに、より鮮鋭な再構成画像を得ることができる。
【００９８】
第１の画像の再構成画像を得た後、さらに、当該再構成画像を用いて、画像における対象物の身元認識を行ってもよい。ここで、身元データベースには、複数の対象物の身元情報を含まれてもよく、例えば、顔画像及び対象物の名前、年齢、職業等の情報が含まれてもよい。したがって、再構成画像と各顔画像とを比較して、類似度が最も高くて閾値を超えた顔画像を、再構成画像にマッチングする対象物の顔画像として決定することにより、再構成画像における対象物の身元情報を決定することができる。再構成画像の解像度及び鮮鋭度等の品質が高いので、得られた身元情報の正確度も比較的高くなる。
【００９９】
本開示の実施例の手順をより明確に説明するために、以下に例を挙げて画像処理方法の手順を説明する。
【０１００】
図５は本開示の実施例に係る画像処理方法の手順模式図を示す。
【０１０１】
ここで、解像度が比較的に低く、画質が高くない第１の画像Ｆ１（ＬＲ：低解像度の画像）を取得することができる。上記第１の画像Ｆ１をニューラルネットワークＡ（例えばＳＲＲｅｓＮｅｔネットワーク）に入力して超解像画像再構成処理を行い、第２の画像Ｆ２（ｃｏａｒｓｅ  ＳＲ：ボケた超解像画像）を得ることができる。
【０１０２】
第２の画像Ｆ２を得た後、当該第２の画像により画像の再構成を行うことができる。ここで、第１の画像のガイド画像Ｆ３（ｇｕｉｄｅｄ  ｉｍａｇｅｓ）を取得することができ、例えば、第１の画像Ｆ１の記述情報に基づいて各ガイド画像Ｆ３を得ることができる。第２の画像Ｆ２における対象物の姿勢に応じて、ガイド画像Ｆ３に対してアフィン変換（ｗａｒｐ）を行うことで、各アフィン画像Ｆ４を得ることができる。さらに、ガイド画像に対応する部位に応じて、アフィン画像から対応する部位のサブ画像Ｆ５を抽出することができる。
【０１０３】
その後、各サブ画像Ｆ５及び第２の画像Ｆ２により再構成画像を得てもよい。ここで、サブ画像Ｆ５及び第２の画像Ｆ２に対して畳み込み処理を行い、融合特徴を得、当該融合特徴により最終的な再構成画像Ｆ６（ｆｉｎｅ  ＳＲ：鮮鋭な超解像画像）を得ることができる。
【０１０４】
上記は画像処理の手順に関する例示的な説明に過ぎず、本開示を限定するものではない。
【０１０５】
また、本開示の実施例において、本開示の実施例の画像処理方法は、ニューラルネットワークにより実施することができる。例えば、ステップＳ２０１では第１のニューラルネットワーク（例えばＳＲＣＮＮ又はＳＲＲｅｓＮｅｔネットワーク）により超解像再構成処理を実現し、第２のニューラルネットワーク（畳み込みニューラルネットワークＣＮＮ）により画像の再構成処理（ステップＳ３０）を実現することができ、画像のアフィン変換は対応するアルゴリズムにより実現することができる。
【０１０６】
図６は本開示の実施例第１のニューラルネットワークのトレーニングのフローチャートである。図７は本開示の実施例における第１のトレーニングニューラルネットワークの構造模式図である。ここで、ニューラルネットワークのトレーニング手順は下記の事項を含んでもよい。
【０１０７】
Ｓ５１：複数の第１のトレーニング画像と、前記第１のトレーニング画像に対応する第１の教師データとを含む第１のトレーニング画像セットを取得する。
【０１０８】
いくつかの可能な実施形態では、トレーニング画像セットは、複数の第１のトレーニング画像を含んでもよい。上記複数の第１のトレーニング画像は、低い解像度の画像であってもよく、例えば、暗い環境や揺れの状態またはその他の画質に影響を与える状態で取得された画像であり、あるいは、画像にノイズを加えて解像度を落とした画像であってもよい。また、第１のトレーニング画像セットは、さらに、各第１のトレーニング画像に対応する教師データを含んでもよく、本開示の実施例の第１の教師データは損失関数のパラメータにより決定してもよい。例えば、第１のトレーニング画像に対応する第１の標準画像（鮮鋭な画像）、第１の標準画像の第１の標準特徴（各キーポイントの位置の真の認識特徴）、第１の標準分割結果（各部位の真の分割結果）などを含んでもよい。ここで、一つずつ例を挙げて説明することをしない。
【０１０９】
従来のほとんどの低画素顔（例えば１６＊１６）再構成方法では、画像の著しい劣化による影響、例えばノイズやボケはあまり考慮されない。ノイズやボケが混入された場合、元のモデルは適用できなくなる。劣化が進行した場合、ノイズやボケを加えてモデルを再トレーニングしても、依然として鮮鋭な五官を復元することはできない。本開示は、第１のニューラルネットワーク又は後述の第２のニューラルネットワークのトレーニングにおいて採用されるトレーニング画像は、ニューラルネットワークの精度を高めるために、ノイズが加わった画像又は著しく劣化した画像であってもい。
【０１１０】
Ｓ５２：前記第１のトレーニング画像セットのうちの少なくとも１つの第１のトレーニング画像を前記第１のニューラルネットワークに入力して前記超解像画像再構成処理を行い、前記第１のトレーニング画像に対応する予測超解像画像を得る。
【０１１１】
第１のニューラルネットワークのトレーニングにおいて、第１のトレーニング画像セットのうちの画像を、一括で第１のニューラルネットワークに入力するか、又はバッチ分けで第１のニューラルネットワークに入力して、各第１のトレーニング画像に対応する超解像再構成処理後の予測超解像画像をそれぞれ得ることができる。
【０１１２】
Ｓ５３：前記予測超解像画像を第１の敵対的ネットワーク、第１の特徴認識ネットワーク及び第１の画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記第１のトレーニング画像に対応する予測超解像画像の識別結果、特徴認識結果及び画像分割結果を得る。
【０１１３】
図７に示すように、敵対的ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）と、キーポイント検出ネットワーク（ＦＡＮ）と、セマンティックセグメンテーションネットワーク（ｐａｒｓｉｎｇ）とを組み合わせて、第１のニューラルネットワークのトレーニングを実現することができる。ここで、ジェネレータ（Ｇｅｎｅｒａｔｏｒ）は本開示の実施例の第１のニューラルネットワークに相当する。以下、当該ジェネレータが超解像画像再構成処理を行うネットワーク部分である第１のニューラルネットワークを例に説明する。
【０１１４】
ジェネレータから出力された予測超解像画像を上記敵対的ネットワーク、特徴認識ネットワーク及び画像セマンティックセグメンテーションネットワークに入力し、前記トレーニング画像に対応する予測超解像画像の識別結果、特徴認識結果及び画像分割結果を得る。ここで、識別結果は、第１の敵対的ネットワークにより予測超解像画像及びマーキング画像の信ぴょう性が認識されたかを示すものであり、特徴認識結果はキーポイントの位置認識結果を含み、画像分割結果は対象物の各部位が位置する領域を含む。
【０１１５】
Ｓ５４：前記予測超解像画像の識別結果、特徴認識結果、画像分割結果に基づいて、第１のネットワーク損失を得、前記第１のネットワーク損失に基づいて、第１のトレーニング要求を満たすまで、前記第１のニューラルネットワークのパラメータを逆伝播によって調整する。
【０１１６】
ここで、第１のトレーニング要求は、第１のネットワーク損失が第１の損失閾値以下であることとする。すなわち、得られた第１のネットワーク損失が第１の損失閾値未満である場合、第１のニューラルネットワークのトレーニングを停止してもよい。この場合、得られたニューラルネットワークは高い超解像処理精度を有する。第１の損失閾値は１未満の数値、例えば０．１としてもよいが、本開示は具体的に限定しない。
【０１１７】
いくつかの可能な実施形態では、予測超解像画像の識別結果に基づいて敵対的損失を得、画像分割結果に基づいて分割損失を得、得られた特徴認識結果に基づいてヒートマップ損失を得、得られた予測超解像画像に基づいて対応する画素損失及び処理後の知覚損失を得てもよい。
【０１１８】
具体的には、前記予測超解像画像の識別結果及び第１の敵対的ネットワークによる前記第１の教師データ中の第１の標準画像の識別結果に基づいて、第１の敵対的損失を得てもよい。ここで、前記第１のトレーニング画像セットのうちの各第１のトレーニング画像に対応する予測超解像画像の識別結果と、第１の敵対的ネットワークによる第１の教師データ中の前記第１のトレーニング画像に対応する第１の標準画像の識別結果とに基づいて、上記第１の敵対的損失を決定してもよい。ここで、敵対的損失関数の式は下記のとおりである。
【０１１９】
【数１】
2021528742.tif 000003
2021528742.tif 000004
【０１２０】
上記敵対的損失関数の式により、予測超解像画像に対応する第１の敵対的損失を得ることができる。
【０１２１】
また、前記第１のトレーニング画像に対応する予測超解像画像と、前記第１の教師データ中の第１のトレーニング画像に対応する第１の標準画像とに基づいて、第１の画素損失を決定することができる。画素損失関数の式は下記のとおりである。
【０１２２】
【数２】
2021528742.tif 000005
2021528742.tif 000006
【０１２３】
上記画素損失関数式により、予測超解像画像に対応する第１の画素損失を得ることができる。
【０１２４】
また、前記予測超解像画像及び第１の標準画像の非線形処理により、第１の知覚損失を決定することができる。知覚損失関数の式は下記のとおりである。
【０１２５】
【数３】
2021528742.tif 000007
【０１２６】
2021528742.tif 000008
【０１２７】
上記知覚損失関数式により、超解像予測画像に対応する第１の知覚損失を得ることができる。
【０１２８】
また、前記トレーニング画像に対応する予測超解像画像の特徴認識結果と、前記第１の教師データ中の第１の標準特徴とに基づいて、第１のヒートマップ損失を得る。ヒートマップ損失関数の式は下記の式であってもよい。
【０１２９】
【数４】
2021528742.tif 000009
2021528742.tif 000010
【０１３０】
上記ヒートマップ損失の式により、超解像予測画像に対応する第１のヒートマップ損失を得ることができる。
【０１３１】
また、前記トレーニング画像に対応する予測超解像画像の画像分割結果と、前記第１の教師データ中の第１の標準分割結果とに基づいて、第１の分割損失を得る。ここで、分割損失関数の式は下記のとおりである。
【０１３２】
【数５】
2021528742.tif 000011
2021528742.tif 000012
【０１３３】
上記分割損失の式により、超解像予測画像に対応する第１の分割損失を得ることができる。
【０１３４】
上記得られた第１の敵対的損失、第１の画素損失、第１の知覚損失、第１のヒートマップ損失及び第１の分割損失の加重和に基づいて前記第１のネットワーク損失を得る。第１のネットワーク損失の式は下記のとおりである。
【０１３５】
【数６】
2021528742.tif 000013
2021528742.tif 000014
【０１３６】
上述した形態により、第１のニューラルネットワークの第１のネットワーク損失を得ることができる。第１のネットワーク損失が第１の損失閾値を超えた場合、第１のトレーニング要求を満さないと判定する。この場合、第１のニューラルネットワークのネットワークパラメータ、例えば、畳み込みパラメータを逆伝播によって調整し、パラメータが調整された第１のニューラルネットワークにより、トレーニング画像セットに対して超解像画像処理を実行し続け、得られた第１のネットワーク損失が第１の損失閾値以下になると、第１のトレーニング要求を満たすと判定し、ニューラルネットワークのトレーニングを終了してもよい。
【０１３７】
以上は第１のニューラルネットワークのトレーニング手順である。本開示の実施例において、第２のニューラルネットワークによりステップＳ３０の画像再構成手順を実施してもよく、例えば、第２のニューラルネットワークは畳み込みニューラルネットワークであってもよい。図８は本開示の実施例に係る第２のニューラルネットワークのトレーニングのフローチャートである。ここで、第２のニューラルネットワークのトレーニングの手順は下記の事項を含んでもよい。
【０１３８】
Ｓ６１：複数の第２のトレーニング画像と、第２のトレーニング画像に対応する、ガイドトレーニング画像及び第２の教師データとを含む第２のトレーニング画像セットを取得する。
【０１３９】
いくつかの可能な実施形態では、第２のトレーニング画像セットのうちの第２のトレーニング画像は、上記第１のニューラルネットワークの予測により形成された予測超解像画像、又は他の手段により得られた解像度が比較的低い画像、又はノイズが加わった画像を用いてもよい。本開示は具体的に限定しない。
【０１４０】
第２のニューラルネットワークのトレーニングにおいて、それぞれのトレーニング画像に少なくとも１つのガイドトレーニング画像を配置してもよい。ガイドトレーニング画像には、対応する第２のトレーニング画像のガイド情報、例えば、少なくとも１つの部位の画像を含む。同様に、ガイドトレーニング画像も高解像度で鮮鋭な画像である。それぞれの第２のトレーニング画像は、異なる数のガイドトレーニング画像を含んでもよく、さらに、各ガイドトレーニング画像に対応するガイド部位も異なってもよい。本開示は具体的に限定しない。
【０１４１】
同様に、第２の教師データも損失関数のパラメータに基づいて決定されてもよい。第２のトレーニング画像に対応する第２の標準画像（鮮鋭な画像）、第２の標準画像の第２の標準特徴（各キーポイントの位置の真の認識特徴）、第２の標準分割結果（各部位の真の分割結果）を含んでもよく、第２の標準画像における各部位の識別結果（敵対的ネットワークから出力された識別結果）、特徴認識結果及び分割結果などを含んでもよい。ここで、一つずつ例を挙げて説明することをしない。
【０１４２】
ここで、第２のトレーニング画像が、第１のニューラルネットワークから出力された超解像予測画像である場合、第１の標準画像と第２の標準画像は同じになり、第１の標準分割結果と第２の標準分割結果は同じになり、第１の標準特徴結果と第２の標準特徴結果は同じになる。
【０１４３】
Ｓ６２：第２のトレーニング画像に応じて、前記ガイドトレーニング画像に対してアフィン変換を行い、トレーニングアフィン画像を得、前記トレーニングアフィン画像と、前記第２のトレーニング画像とを前記第２のニューラルネットワークに入力し、前記第２のトレーニング画像のガイド再構成を行って前記第２のトレーニング画像の再構成予測画像を得る。
【０１４４】
上述したとおり、それぞれの第２のトレーニング画像は、対応する少なくとも１つのガイド画像を有してもよい。第２のトレーニング画像における対象物の姿勢に応じて、ガイドトレーニング画像に対してアフィン変換（ｗａｒｐ）を行い、少なくとも１つのトレーニングアフィン画像を得ることができる。第２のトレーニング画像に対応する少なくとも１つのトレーニングアフィン画像と、第２のトレーニング画像とを第２のニューラルネットワークに入力し、対応する再構成予測画像を得ることができる。
【０１４５】
Ｓ６３：前記トレーニング画像に対応する再構成予測画像を、第２の敵対的ネットワーク、第２の特徴認識ネットワーク及び第２の画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記第２のトレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果を得る。
【０１４６】
同様に、図７を参照して、図７の構造により第２のニューラルネットワークをトレーニングすることができる。この場合、ジェネレータは第２のニューラルネットワークを表してもよい。第２のトレーニング画像に対応する再構成予測画像も、敵対的ネットワーク、特徴認識ネットワーク及び画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記再構成予測画像の識別結果、特徴認識結果及び画像分割結果を得ることができる。ここで、識別結果は、再構成予測画像と標準画像との間の信ぴょう性識別結果を表し、特徴認識結果は、再構成予測画像におけるキーポイントの位置認識結果を含み、画像分割結果は、再構成予測画像における対象物の各部位が位置する領域の分割結果を含む。
【０１４７】
Ｓ６４：前記第２のトレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果、画像分割結果に基づいて前記第２のニューラルネットワークの第２のネットワーク損失を得、前記第２のネットワーク損失に基づいて、第２のトレーニング要求を満たすまで、前記第２のニューラルネットワークのパラメータを逆伝播によって調整する。
【０１４８】
いくつかの可能な実施形態では、第２のネットワーク損失は、全体の損失と部分的損失との加重和であってもよい。すなわち、前記トレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて全体の損失及び部分的損失を得、そして前記全体の損失と部分的損失との加重和に基づいて、前記第２のネットワーク損失を得てもよい。
【０１４９】
ここで、全体の損失は、再構成予測画像に基づく敵対的損失、画素損失、知覚損失、分割損失、ヒートマップ損失の加重和であってもよい。
【０１５０】
同様に、第１の敵対的損失の取得方法と同様に、敵対的損失関数を参照して、前記敵対的ネットワークによる前記再構成予測画像の識別結果及び前記第２の教師データ中の第２の標準画像の識別結果に基づいて、第２の敵対的損失を得ることができる。第１の画素損失の取得方法と同様に、画素損失関数を参照して、前記第２のトレーニング画像に対応する再構成予測画像及び前記第２のトレーニング画像に対応する第２の標準画像に基づいて、第２の画素損失を決定することができる。第１の知覚損失の取得方法と同様に、知覚損失関数を参照して、前記第２のトレーニング画像に対応する再構成予測画像及び第２の標準画像の非線形処理により、第２の知覚損失を決定することができる。第１のヒートマップ損失の取得方法と同様に、ヒートマップ損失関数を参照して、前記第２のトレーニング画像に対応する再構成予測画像の特徴認識結果及び前記第２の教師データ中の第２の標準特徴に基づいて、第２のヒートマップ損失を得ることができる。第１の分割損失の取得方法と同様に、分割損失関数を参照して、前記第２のトレーニング画像に対応する再構成予測画像の画像分割結果及び前記第２の教師データ中の第２の標準分割結果に基づいて、第２の分割損失を得ることができる。前記第２の敵対的損失、第２の画素損失、第２の知覚損失、第２のヒートマップ損失及び第２の分割損失の加重和を用いて、前記全体の損失を得る。
ここで、全体の損失の式は下記の式であってもよい。
【０１５１】
【数７】
2021528742.tif 000015
2021528742.tif 000016
【０１５２】
また、第２のニューラルネットワークの部分的損失を決定する方式は、前記再構成予測画像における少なくとも１つの部位に対応する部位サブ画像、例えば、目、鼻、口、眉、面部等の部位のサブ画像を抽出し、少なくとも１つの部位の部位サブ画像を敵対的ネットワーク、特徴認識ネットワーク及び画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記少なくとも１つの部位の部位サブ画像の識別結果、特徴認識結果及び画像分割結果を得ることと、前記少なくとも１つの部位の部位サブ画像の識別結果と、前記第２の敵対的ネットワークによる前記第２のトレーニング画像に対応する第２の標準画像における前記少なくとも１つの部位の部位サブ画像の識別結果とに基づいて、前記少なくとも１つの部位の第３の敵対的損失を決定することと、前記少なくとも１つの部位の部位サブ画像の特徴認識結果と、前記第２の教師データ中の対応する部位の標準特徴とに基づいて、少なくとも１つの部位の第３のヒートマップ損失を得ることと、前記少なくとも１つの部位の部位サブ画像の画像分割結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準分割結果とに基づいて、少なくとも１つの部位の第３の分割損失を得ることと、前記少なくとも１つの部位の第３の敵対的ネットワーク損失、第３のヒートマップ損失及び第３の分割損失の加算和を用いて、前記ネットワークの部分的損失を得ることと、を含んでもよい。
【０１５３】
上記損失の取得方法と同様に、再構成予測画像における各部位のサブ画像の第３の敵対的損失、第３の画素損失及び第３の知覚損失の加算和を用いて、各部位の部分的損失を決定することができる。例えば、
【０１５４】
【数８】
2021528742.tif 000017
2021528742.tif 000018
【０１５５】
【数９】
2021528742.tif 000019
2021528742.tif 000020
【０１５６】
上述した構成により、第２のニューラルネットワークの第２のネットワーク損失を得ることができる。第２のネットワーク損失が第２の損失閾値を超えた場合、第２のトレーニング要求を満さないと判定する。この場合、第２のニューラルネットワークのネットワークパラメータ、例えば畳み込みパラメータを逆伝播によって調整し、パラメータが調整された第２のニューラルネットワークにより、トレーニング画像セットに対して超解像画像処理を実行し続け、得られた第２のネットワーク損失が第２の損失閾値以下になると、第２のトレーニング要求を満たすと判定し、第２のニューラルネットワークのトレーニングを終了することができる。このとき、得られた第２のニューラルネットワークにより、再構成予測画像を精確に得ることができる。
【０１５７】
以上より、本開示の実施例は、ガイド画像により低解像度画像の再構成を行い、鮮鋭な再構成画像を得ることができる。この方式により、画像の解像度を便利に高めて鮮鋭な画像を得ることができる。
【０１５８】
具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならなく、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
【０１５９】
また、本開示の実施例は、上記画像処理方法を適用した画像処理装置、電子機器をさらに提供する。
【０１６０】
図９は本開示の実施例に係る画像処理装置のブロック図である。前記装置は、第１の画像を取得するための第１の取得モジュール１０と、前記第１の画像の少なくとも１つのガイド画像を取得するためのものであって、前記ガイド画像に前記第１の画像における目標対象物のガイド情報が含まれる第２の取得モジュール２０と、前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得るための再構成モジュール３０とを含む。
【０１６１】
いくつかの可能な実施形態では、前記第２の取得モジュールはさらに、前記第１の画像の記述情報を取得することと、前記第１の画像の記述情報に基づいて、前記目標対象物の少なくとも１つの目標部位にマッチングするガイド画像を決定することとに用いられる。
【０１６２】
いくつかの可能な実施形態では、前記再構成モジュールは、前記第１の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得るためのアフィンユニットと、前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出するための抽出ユニットと、抽出された前記サブ画像及び前記第１の画像により、前記再構成画像を得るための再構成ユニットとを含む。
【０１６３】
いくつかの可能な実施形態では、前記再構成ユニットはさらに、前記第１の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は前記サブ画像及び前記第１の画像に対して畳み込み処理を行い、前記再構成画像を得ることに用いられる。
【０１６４】
いくつかの可能な実施形態では、前記再構成モジュールは、前記第１の画像に対して超解像画像再構成処理を行い、前記第１の画像の解像度よりも高い解像度の第２の画像を得るための超解像ユニットと、前記第２の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得るためのアフィンユニットと、前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出するための抽出ユニットと、抽出された前記サブ画像及び前記第２の画像により、前記再構成画像を得るための再構成ユニットとを含む。
【０１６５】
いくつかの可能な実施形態では、前記再構成ユニットはさらに、前記第２の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は前記サブ画像及び前記第２の画像により畳み込み処理を行い、前記再構成画像を得ることに用いられる。
【０１６６】
いくつかの可能な実施形態では、前記装置はさらに、前記再構成画像を用いて身元認識を行い、前記目標対象物にマッチングする身元情報を決定するための身元認識ユニットを含む。
【０１６７】
いくつかの可能な実施形態では、前記超解像ユニットは、前記第１の画像に対して超解像画像再構成処理を行うための第１のニューラルネットワークを含み、、前記装置はさらに、前記第１のニューラルネットワークをトレーニングするための第１のトレーニングモジュールを含み、前記第１のニューラルネットワークをトレーニングするステップは、複数の第１のトレーニング画像と、前記第１のトレーニング画像に対応する第１の教師データとを含む第１のトレーニング画像セットを取得することと、前記第１のトレーニング画像セットのうちの少なくとも１つの第１のトレーニング画像を前記第１のニューラルネットワークに入力して前記超解像画像再構成処理を行い、前記第１のトレーニング画像に対応する予測超解像画像を得ることと、前記予測超解像画像を第１の敵対的ネットワーク、第１の特徴認識ネットワーク及び第１の画像セマンティックセグメンテーションネットワークにそれぞれ入力して、前記予測超解像画像の識別結果、特徴認識結果及び画像分割結果を得ることと、前記予測超解像画像の識別結果、特徴認識結果、画像分割結果に基づいて第１のネットワーク損失を得、前記第１のネットワーク損失に基づいて、第１のトレーニング要求を満たすまで、前記第１のニューラルネットワークのパラメータを逆伝播によって調整することとを含む。
【０１６８】
いくつかの可能な実施形態では、前記第１のトレーニングモジュールは、前記第１のトレーニング画像に対応する予測超解像画像と、前記第１の教師データ中の前記第１のトレーニング画像に対応する第１の標準画像とに基づいて、第１の画素損失を決定することと、前記予測超解像画像の識別結果と、前記第１の敵対的ネットワークによる前記第１の標準画像の識別結果とに基づいて、第１の敵対的損失を得ることと、前記予測超解像画像及び前記第１の標準画像の非線形処理に基づいて、第１の知覚損失を決定することと、前記予測超解像画像の特徴認識結果と、前記第１の教師データ中の第１の標準特徴とに基づいて、第１のヒートマップ損失を得ることと、前記予測超解像画像の画像分割結果と、第１の教師データ中の第１のトレーニングサンプルに対応する第１の標準分割結果とに基づいて、第１の分割損失を得ることと、前記第１の敵対的損失、第１の画素損失、第１の知覚損失、第１のヒートマップ損失及び第１の分割損失の加重和を用いて、前記第１のネットワーク損失を得ることとに用いられる。
【０１６９】
いくつかの可能な実施形態では、前記再構成モジュールは、前記ガイド再構成を行って前記再構成画像を得るための第２のニューラルネットワークを含み、、前記装置はさらに、前記第２のニューラルネットワークをトレーニングするための第２のトレーニングモジュールを含み、前記第２のニューラルネットワークをトレーニングするステップは、第２のトレーニング画像と、前記第２のトレーニング画像に対応する、ガイドトレーニング画像及び第２の教師データとを含む第２のトレーニング画像セットを取得することと、前記第２のトレーニング画像に応じて前記ガイドトレーニング画像に対してアフィン変換を行ってトレーニングアフィン画像を得、前記トレーニングアフィン画像と、前記第２のトレーニング画像とを前記第２のニューラルネットワークに入力し、前記第２のトレーニング画像のガイド再構成を行って前記第２のトレーニング画像の再構成予測画像を得ることと、前記再構成予測画像を第２の敵対的ネットワーク、第２の特徴認識ネットワーク及び第２の画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記再構成予測画像の識別結果、特徴認識結果及び画像分割結果を得ることと、前記再構成予測画像の識別結果、特徴認識結果、画像分割結果に基づいて前記第２のニューラルネットワークの第２のネットワーク損失を得るとともに、前記第２のネットワーク損失に基づいて、第２のトレーニング要求を満たすまで、前記第２のニューラルネットワークのパラメータを逆伝播によって調整することとを含む。
【０１７０】
いくつかの可能な実施形態では、前記第２のトレーニングモジュールはさらに、前記第２のトレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、全体の損失及び部分的損失を得ることと、前記全体の損失及び部分的損失の加重和に基づいて、前記第２のネットワーク損失を得ることとに用いられる。
【０１７１】
いくつかの可能な実施形態では、前記第２のトレーニングモジュールはさらに、前記第２のトレーニング画像に対応する再構成予測画像と、前記第２の教師データ中の前記第２のトレーニング画像に対応する第２の標準画像とに基づいて、第２の画素損失を決定することと、前記再構成予測画像の識別結果と、前記第２の敵対的ネットワークによる前記第２の標準画像の識別結果とに基づいて、第２の敵対的損失を得ることと、前記再構成予測画像及び前記第２の標準画像の非線形処理により、第２の知覚損失を決定することと、前記再構成予測画像の特徴認識結果と、前記第２の教師データ中の第２の標準特徴とに基づいて、第２のヒートマップ損失を得ることと、前記再構成予測画像の画像分割結果と、前記第２の教師データ中の第２の標準分割結果とに基づいて、第２の分割損失を得ることと、前記第２の敵対的損失、第２の画素損失、第２の知覚損失、第２のヒートマップ損失及び第２の分割損失の加重和を用いて、前記全体の損失を得ることとに用いられる。
【０１７２】
いくつかの可能な実施形態では、前記第２のトレーニングモジュールはさらに、前記再構成予測画像における少なくとも１つの部位の部位サブ画像を抽出し、少なくとも１つの部位の部位サブ画像を敵対的ネットワーク、特徴認識ネットワーク及び画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記少なくとも１つの部位の部位サブ画像の識別結果、特徴認識結果及び画像分割結果を得ることと、前記少なくとも１つの部位の部位サブ画像の識別結果と、前記第２の敵対的ネットワークによる前記第２の標準画像における前記少なくとも１つの部位の部位サブ画像の識別結果とに基づいて、前記少なくとも１つの部位の第３の敵対的損失を決定することと、前記少なくとも１つの部位の部位サブ画像の特徴認識結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準特徴とに基づいて、少なくとも１つの部位の第３のヒートマップ損失を得ることと、前記少なくとも１つの部位の部位サブ画像の画像分割結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準分割結果とに基づいて、少なくとも１つの部位の第３の分割損失を得ることと、前記少なくとも１つの部位の第３の敵対的損失、第３のヒートマップ損失及び第３の分割損失の加算和を用いて、前記ネットワークの部分的損失を得ることとに用いられる。
【０１７３】
いくつかの実施例では、本開示の実施例で提供された装置が備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実現形態については、上記方法実施例の説明を参照すればよく、簡単化するために、ここで重複説明は割愛する。
【０１７４】
本開示の実施例はさらに、プロセッサーにより実行されると、上記方法を実施させるコンピュータプログラム命令を記憶しているコンピュータ読み取り可能な記憶媒体を提供する。コンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な不揮発性記憶媒体であってもよく、またはコンピュータ読み取り可能な揮発性記憶媒体であってもよい。
【０１７５】
本開示の実施例は、更に、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは上記方法を実行するように構成される電子機器を提供する。
【０１７６】
電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。
【０１７７】
図１０は本開示の実施例に係る電子機器のブロック図を示す。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってもよい。
【０１７８】
図１０を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【０１７９】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【０１８０】
メモリ８０４は、電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶装置またはそれらの組み合わせによって実現できる。
【０１８１】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【０１８２】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【０１８３】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【０１８４】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【０１８５】
センサコンポーネント８１４は電子機器８００の各面の状態評価のための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【０１８６】
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【０１８７】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【０１８８】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
【０１８９】
図１１は本開示の実施例に係る別の電子機器のブロック図である。例えば、電子機器１９００はサーバとして提供されてもよい。図１１を参照すると、電子機器１９００は、さらに一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶されたための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は、命令を実行することにによって上記方法を実行するように構成される。
【０１９０】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される一つの電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【０１９１】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。
【０１９２】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。
【０１９３】
コンピュータ読み取り可能な記憶媒体は命令実行装置に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内の突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過する光パルス）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０１９４】
ここで記述したコンピュータ読み取り可能なプログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
【０１９５】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現できるようにしてもよい。
【０１９６】
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明した。フローチャートおよび／またはブロック図の各ブロック、およびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることを理解すべきである。
【０１９７】
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む。
【０１９８】
コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０１９９】
図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なる順序で実現してもよい。例えば、連続的な二つのブロックは実質的に並行に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【０２００】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に用いられた用語は、各実施例の原理、実際の適用または従来技術への技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。
【図１】
2021528742.tif 000021
【図２】
2021528742.tif 000022
【図３】
2021528742.tif 000023
【図４】
2021528742.tif 000024
【図５】
2021528742.tif 000025
【図６】
2021528742.tif 000026
【図７】
2021528742.tif 000027
【図８】
2021528742.tif 000028
【図９】
2021528742.tif 000029
【図１０】
2021528742.tif 000030
【図１１】
2021528742.tif 000031
【手続補正書】
【提出日】令和2年12月28日(2020.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像を取得することと、
前記第１の画像の少なくとも１つのガイド画像を取得し、前記ガイド画像に前記第１の画像における目標対象物のガイド情報が含まれることと、
前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ることとを含むことを特徴とする画像処理方法。
【請求項２】
前記第１の画像の少なくとも１つのガイド画像を取得することは、
前記第１の画像の記述情報を取得することと、
前記第１の画像の記述情報に基づいて、前記目標対象物の少なくとも１つの目標部位にマッチングするガイド画像を決定することとを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ることは、
前記第１の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得ることと、
前記少なくとも１つのガイド画像における、前記目標対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出することと、
抽出された前記サブ画像及び前記第１の画像により、前記再構成画像を得ることとを含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
抽出された前記サブ画像及び前記第１の画像により、前記再構成画像を得ることは、
前記第１の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は
前記サブ画像及び前記第１の画像に対して畳み込み処理を行い、前記再構成画像を得ることを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得ることは、
前記第１の画像に対して超解像画像再構成処理を行い、前記第１の画像の解像度よりも高い解像度の第２の画像を得ることと、
前記第２の画像における前記目標対象物の現在姿勢に応じて、前記少なくとも１つのガイド画像に対してアフィン変換を行い、前記ガイド画像の前記現在姿勢に対応するアフィン画像を得ることと、
前記少なくとも１つのガイド画像における、前記対象物にマッチングする少なくとも１つの目標部位に基づいて、前記ガイド画像に対応するアフィン画像から、前記少なくとも１つの目標部位のサブ画像を抽出することと、
抽出された前記サブ画像及び前記第２の画像により、前記再構成画像を得ることとを含むことを特徴とする請求項１又は２に記載の方法。
【請求項６】
抽出された前記サブ画像及び前記第２の画像により、前記再構成画像を得ることは、
前記第２の画像の、前記サブ画像における目標部位に対応する部位を、抽出された前記サブ画像で入れ替えて、前記再構成画像を得ること、又は
前記サブ画像及び前記第２の画像により畳み込み処理を行い、前記再構成画像を得ることを含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記方法はさらに、
前記再構成画像を用いて身元認識を行い、前記対象物にマッチングする身元情報を決定することを含むことを特徴とする請求項１〜６のいずれか１項に記載の方法。
【請求項８】
第１のニューラルネットワークにより前記第１の画像に対して超解像画像再構成処理を行って前記第２の画像を得、前記方法はさらに、前記第１のニューラルネットワークをトレーニングするステップを含み、当該ステップは、
複数の第１のトレーニング画像と、前記第１のトレーニング画像に対応する第１の教師データとを含む第１のトレーニング画像セットを取得することと、
前記第１のトレーニング画像セットのうちの少なくとも１つの第１のトレーニング画像を前記第１のニューラルネットワークに入力して前記超解像画像再構成処理を行い、前記第１のトレーニング画像に対応する予測超解像画像を得ることと、
前記予測超解像画像を第１の敵対的ネットワーク、第１の特徴認識ネットワーク及び第１の画像セマンティックセグメンテーションネットワークにそれぞれ入力して、前記予測超解像画像の識別結果、特徴認識結果及び画像分割結果を得ることと、
前記予測超解像画像の識別結果、特徴認識結果、画像分割結果に基づいて第１のネットワーク損失を得、前記第１のネットワーク損失に基づいて、第１のトレーニング要求を満たすまで、前記第１のニューラルネットワークのパラメータを逆伝播によって調整することを含むことを特徴とする請求項５又は６に記載の方法。
【請求項９】
前記第１のトレーニング画像に対応する予測超解像画像の識別結果、特徴認識結果、画像分割結果に基づいて第１のネットワーク損失を得ることは、
前記第１のトレーニング画像に対応する予測超解像画像と、前記第１の教師データ中の前記第１のトレーニング画像に対応する第１の標準画像とに基づいて、第１の画素損失を決定することと、
前記予測超解像画像の識別結果と、前記第１の敵対的ネットワークによる前記第１の標準画像の識別結果とに基づいて、第１の敵対的損失を得ることと、
前記予測超解像画像及び前記第１の標準画像の非線形処理により、第１の知覚損失を決定することと、
前記予測超解像画像の特徴認識結果と、前記第１の教師データ中の第１の標準特徴とに基づいて、第１のヒートマップ損失を得ることと、
前記予測超解像画像の画像分割結果と、第１の教師データ中の第１のトレーニングサンプルに対応する第１の標準分割結果とに基づいて、第１の分割損失を得ることと、
前記第１の敵対的損失、第１の画素損失、第１の知覚損失、第１のヒートマップ損失及び第１の分割損失の加重和を用いて、前記第１のネットワーク損失を得ることとを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
第２のニューラルネットワークにより前記ガイド再構成を行って前記再構成画像を得、前記方法はさらに、前記第２のニューラルネットワークをトレーニングするステップを含み、当該ステップは、
第２のトレーニング画像と、前記第２のトレーニング画像に対応する、ガイドトレーニング画像及び第２の教師データとを含む第２のトレーニング画像セットを取得することと、
前記第２のトレーニング画像に応じて前記ガイドトレーニング画像に対してアフィン変換を行ってトレーニングアフィン画像を得、前記トレーニングアフィン画像と前記第２のトレーニング画像とを前記第２のニューラルネットワークに入力し、前記第２のトレーニング画像のガイド再構成を行って前記第２のトレーニング画像の再構成予測画像を得ることと、
前記再構成予測画像を第２の敵対的ネットワーク、第２の特徴認識ネットワーク及び第２の画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記再構成予測画像の識別結果、特徴認識結果及び画像分割結果を得ることと、
前記再構成予測画像の識別結果、特徴認識結果、画像分割結果に基づいて前記第２のニューラルネットワークの第２のネットワーク損失を得、前記第２のネットワーク損失に基づいて、第２のトレーニング要求を満たすまで、前記第２のニューラルネットワークのパラメータを逆伝播によって調整することとを含むことを特徴とする請求項１〜９のいずれか１項に記載の方法。
【請求項１１】
前記トレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果、画像分割結果に基づいて前記第２のニューラルネットワークの第２のネットワーク損失を得ることは、
前記第２のトレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、全体の損失及び部分的損失を得ることと、
前記全体の損失及び部分的損失の加重和に基づいて、前記第２のネットワーク損失を得ることとを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記トレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、全体の損失を得ることは、
前記第２のトレーニング画像に対応する再構成予測画像と、前記第２の教師データ中の前記第２のトレーニング画像に対応する第２の標準画像とに基づいて、第２の画素損失を決定することと、
前記再構成予測画像の識別結果と、前記第２の敵対的ネットワークによる前記第２の標準画像の識別結果とに基づいて、第２の敵対的損失を得ることと、
前記再構成予測画像及び前記第２の標準画像の非線形処理により、第２の知覚損失を決定することと、
前記再構成予測画像の特徴認識結果と、前記第２の教師データ中の第２の標準特徴とに基づいて、第２のヒートマップ損失を得ることと、
前記再構成予測画像の画像分割結果と、前記第２の教師データ中の第２の標準分割結果とに基づいて、第２の分割損失を得ることと、
前記第２の敵対的損失、第２の画素損失、第２の知覚損失、第２のヒートマップ損失及び第２の分割損失の加重和を用いて、前記全体の損失を得ることとを含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記トレーニング画像に対応する再構成予測画像の識別結果、特徴認識結果及び画像分割結果に基づいて、部分的損失を得ることは、
前記再構成予測画像における少なくとも１つの部位の部位サブ画像を抽出し、少なくとも１つの部位の部位サブ画像を敵対的ネットワーク、特徴認識ネットワーク及び画像セマンティックセグメンテーションネットワークにそれぞれ入力し、前記少なくとも１つの部位の部位サブ画像の識別結果、特徴認識結果及び画像分割結果を得ることと、
前記少なくとも１つの部位の部位サブ画像の識別結果と、前記第２の敵対的ネットワークによる前記第２のトレーニング画像に対応する第２の標準画像における前記少なくとも１つの部位の部位サブ画像の識別結果とに基づいて、前記少なくとも１つの部位の第３の敵対的損失を決定することと、
前記少なくとも１つの部位の部位サブ画像の特徴認識結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準特徴とに基づいて、少なくとも１つの部位の第３のヒートマップ損失を得ることと、
前記少なくとも１つの部位の部位サブ画像の画像分割結果と、前記第２の教師データ中の前記少なくとも１つの部位の標準分割結果とに基づいて、少なくとも１つの部位の第３の分割損失を得ることと、
前記少なくとも１つの部位の第３の敵対的損失、第３のヒートマップ損失及び第３の分割損失の加算和を用いて、前記ネットワークの部分的損失を得ることとを含むことを特徴とする請求項１１又は１２に記載の方法。
【請求項１４】
第１の画像を取得するための第１の取得モジュールと、
前記第１の画像の少なくとも１つのガイド画像を取得するためのものであって、前記ガイド画像に前記第１の画像における目標対象物のガイド情報が含まれる第２の取得モジュールと、
前記第１の画像の少なくとも１つのガイド画像により、前記第１の画像のガイド再構成を行い、再構成画像を得るための再構成モジュールとを含むことを特徴とする画像処理装置。
【請求項１５】
プロセッサーと、
プロセッサーにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサーは、前記メモリに記憶されている命令を呼び出すことにより、請求項１〜１３のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項１６】
コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令は、プロセッサーにより実行されると、請求項１〜１３のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読取可能な記憶媒体。
【請求項１７】
コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードは、電子機器において実行されると、前記電子機器のプロセッサーに請求項１〜１３のいずれか１項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
【国際調査報告】
2021528742.tif 000032
2021528742.tif 000033
2021528742.tif 000034
2021528742.tif 000035