(57)【要約】  本開示は、画像処理方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、第１の画像と少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて少なくとも１つの第１の部分画像ブロックを生成することと、第１の画像と第２のセマンティックセグメンテーションマスクに基づいて背景画像ブロックを生成することと、少なくとも１つの第１の部分画像ブロックと背景画像ブロックを融合処理して、目標画像を取得することと、を含む。本開示の実施例に係る画像処理方法によれば、第１のセマンティックセグメンテーションマスクに示される目標対象物の輪郭と位置、第２のセマンティックセグメンテーションマスクに示される背景領域の輪郭と位置、及び目標スタイルを有する第１の画像に基づいて目標画像を生成することができ、収集コストが低い第１の画像を選択可能で、かつ任意の輪郭と位置を有する目標対象物の画像生成に繰り返し使用でき、画像の生成コストが低減され、処理効率が向上される。【選択図】図１
2022501688.tif 000002
【特許請求の範囲】
【請求項１】
目標スタイルを有する第１の画像と、１種の目標対象物の存在領域を示す少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する１種の目標対象物を含む少なくとも１つの第１の部分画像ブロックを生成することと、
前記第１の画像と、少なくとも１つの目標対象物の存在領域以外の背景領域を示す第２のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する背景を含む背景画像ブロックを生成することと、
少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して、目標スタイルを有する目標対象物と目標スタイルを有する背景とを含む目標画像を取得することと、を含むことを特徴とする画像処理方法。
【請求項２】
少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して目標画像を取得することは、
各第１の部分画像ブロックを拡大縮小処理して、前記背景画像ブロックとのスティッチングに適するサイズを有する第２の部分画像ブロックを取得することと、
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、前記目標画像を取得することと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記背景画像ブロックは、背景領域に目標スタイルを有する背景が含まれ、かつ目標対象物の存在領域が空いている画像であり、
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、目標画像を取得することは、
少なくとも１つの第２の部分画像ブロックを前記背景画像ブロックにおける対応の目標対象物の存在領域に付加して、前記目標画像を取得することを含むことを特徴とする請求項２に記載の方法。
【請求項４】
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理した後、かつ前記目標画像を取得する前に、
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックとのエッジを平滑化処理して、第２の画像を取得することと、
前記第２の画像における目標対象物の存在領域及び背景領域に対してスタイル融合処理を行って、前記目標画像を取得することと、をさらに含むことを特徴とする請求項２又は３に記載の方法。
【請求項５】
被処理画像に対してセマンティックセグメンテーション処理を行って、第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクを取得することをさらに含むことを特徴とする請求項１〜４のいずれか１項に記載の方法。
【請求項６】
第１の画像と少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて少なくとも１つの第１の部分画像ブロックを生成することと、前記第１の画像と第２のセマンティックセグメンテーションマスクに基づいて背景画像ブロックを生成することとは、画像生成ネットワークによって実行され、
前記画像生成ネットワークは、
トレーニングされる画像生成ネットワークによって第１のサンプル画像とセマンティックセグメンテーションサンプルマスクに基づいて画像ブロックを生成するステップであって、ここで、前記第１のサンプル画像は、任意のスタイルを有するものであり、前記セマンティックセグメンテーションサンプルマスクは、第２のサンプル画像における目標対象物の存在領域を示す、あるいは前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものであり、前記セマンティックセグメンテーションサンプルマスクが第２のサンプル画像における目標対象物の存在領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する目標対象物が含まれ、前記セマンティックセグメンテーションサンプルマスクが前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する背景が含まれるステップと、
生成された画像ブロック、前記第１のサンプル画像及び前記第２のサンプル画像に基づいて前記トレーニングされる画像生成ネットワークの損失関数を決定するステップと、
決定された損失関数に基づいて、前記トレーニングされる画像生成ネットワークのネットワークパラメータ値を調整するステップと、
生成された画像ブロック又は第２のサンプル画像を入力画像として、トレーニングされる画像判別器を用いて前記入力画像における被識別部分の真偽を識別するステップであって、生成された画像ブロックに目標スタイルを有する目標対象物が含まれると、前記入力画像における被識別部分は、前記入力画像における目標対象物となり、生成された画像ブロックに目標スタイルを有する背景が含まれると、前記入力画像における被識別部分は、前記入力画像における背景となるステップと、
前記トレーニングされる画像判別器の出力結果及び前記入力画像に基づいて、前記トレーニングされる画像判別器と画像生成ネットワークのネットワークパラメータ値を調整するステップと、
トレーニングされる画像生成ネットワークのトレーニング終了条件とトレーニングされる画像判別器のトレーニング終了条件とのバランスが取れるまで、ネットワークパラメータ値が調整された画像生成ネットワークをトレーニングされる画像生成ネットワークとして、かつネットワークパラメータ値が調整された画像判別器をトレーニングされる画像判別器として上記のステップを繰り返し実行するステップと、
によってトレーニングされたものであることを特徴とする請求項１〜５のいずれか１項に記載の方法。
【請求項７】
目標スタイルを有する第１の画像と、１種の目標対象物の存在領域を示す少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する１種の目標対象物を含む少なくとも１つの第１の部分画像ブロックを生成するための第１の生成モジュールと、
前記第１の画像と、少なくとも１つの目標対象物の存在領域以外の背景領域を示す第２のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する背景を含む背景画像ブロックを生成するための第２の生成モジュールと、
少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して、目標スタイルを有する目標対象物と目標スタイルを有する背景とを含む目標画像を取得するための融合モジュールと、を含むことを特徴とする画像処理装置。
【請求項８】
前記融合モジュールは、さらに、
各第１の部分画像ブロックを拡大縮小処理して、前記背景画像ブロックとのスティッチングに適するサイズを有する第２の部分画像ブロックを取得し、
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、前記目標画像を取得するように構成されることを特徴とする請求項7に記載の装置。
【請求項９】
前記背景画像ブロックは、背景領域に目標スタイルを有する背景が含まれ、かつ目標対象物の存在領域が空いている画像であり、
前記融合モジュールは、さらに、
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、目標画像を取得することは、
少なくとも１つの第２の部分画像ブロックを前記背景画像ブロックにおける対応の目標対象物の存在領域に付加して、前記目標画像を取得するように構成されることを特徴とする請求項８に記載の装置。
【請求項１０】
前記融合モジュールは、さらに、
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理した後、かつ前記目標画像を取得する前に、
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックとのエッジを平滑化処理して、第２の画像を取得することと、
前記第２の画像における目標対象物の存在領域及び背景領域に対してスタイル融合処理を行って、前記目標画像を取得することとに用いられることを特徴とする請求項８又は９に記載の装置。
【請求項１１】
被処理画像に対してセマンティックセグメンテーション処理を行って、第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクを取得するためのセグメンテーションモジュールをさらに含むことを特徴とする請求項7〜１０のいずれか１項に記載の装置。
【請求項１２】
前記第１の生成モジュールと前記第２の生成モジュールの機能は、画像生成ネットワークによって実行され、
前記装置は、トレーニングモジュールをさらに含み、
前記トレーニングモジュールは、
トレーニングされる画像生成ネットワークによって第１のサンプル画像とセマンティックセグメンテーションサンプルマスクに基づいて画像ブロックを生成するステップであって、ここで、前記第１のサンプル画像は、任意のスタイルを有するものであり、前記セマンティックセグメンテーションサンプルマスクは、第２のサンプル画像における目標対象物の存在領域を示す、あるいは前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものであり、前記セマンティックセグメンテーションサンプルマスクが第２のサンプル画像における目標対象物の存在領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する目標対象物が含まれ、前記セマンティックセグメンテーションサンプルマスクが前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する背景が含まれるステップと、
生成された画像ブロック、前記第１のサンプル画像及び前記第２のサンプル画像に基づいて前記トレーニングされる画像生成ネットワークの損失関数を決定するステップと、
決定された損失関数に基づいて、前記トレーニングされる画像生成ネットワークのネットワークパラメータ値を調整するステップと、
生成された画像ブロック又は第２のサンプル画像を入力画像として、トレーニングされる画像判別器を用いて前記入力画像における被識別部分の真偽を識別するステップであって、生成された画像ブロックに目標スタイルを有する目標対象物が含まれると、前記入力画像における被識別部分は、前記入力画像における目標対象物となり、生成された画像ブロックに目標スタイルを有する背景が含まれると、前記入力画像における被識別部分は、前記入力画像における背景となるステップと、
前記トレーニングされる画像判別器の出力結果及び前記入力画像に基づいて、前記トレーニングされる画像判別器と画像生成ネットワークのネットワークパラメータ値を調整するステップと、
トレーニングされる画像生成ネットワークのトレーニング終了条件とトレーニングされる画像判別器のトレーニング終了条件とのバランスが取れるまで、ネットワークパラメータ値が調整された画像生成ネットワークをトレーニングされる画像生成ネットワークとして、かつネットワークパラメータ値が調整された画像判別器をトレーニングされる画像判別器として上記のステップを繰り返し実行するステップと、
によってトレーニングして前記画像生成ネットワークを得ることを特徴とする請求項7〜１１のいずれか１項に記載の装置。
【請求項１３】
プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して請求項１〜６のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項１４】
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、請求項１〜６のいずれか１項に記載の方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１５】
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において稼働すると、前記電子機器のプロセッサに、請求項１〜６のいずれか１項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本開示は、２０１９年８月２２日に中国国家知識産権局に提出された、出願番号が２０１９１０７７８１２８．３で、発明の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本開示に組み込まれる。
【０００２】
本開示は、コンピュータ技術の分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
関連技術では、画像の生成中で、ニューラルネットワークによって原画像のスタイルを変換し、新しいスタイルを有する画像を生成することができる。一方、１つのスタイル変換用のニューラルネットワークをトレーニングするためには、通常、画像の内容が同じであるがスタイルが異なる２群の画像が必要であり、このような２群の画像を収集することは困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、画像処理方法及び装置、電子機器並びに記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本開示の一方面によれば、目標スタイルを有する第１の画像と、１種の目標対象物の存在領域を示す少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する１種の目標対象物を含む少なくとも１つの第１の部分画像ブロックを生成することと、前記第１の画像と、少なくとも１つの目標対象物の存在領域以外の背景領域を示す第２のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する背景を含む背景画像ブロックを生成することと、少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して、目標スタイルを有する目標対象物と目標スタイルを有する背景とを含む目標画像を取得することと、を含む画像処理方法が提供される。
【０００６】
本開示の実施例に係る画像処理方法によれば、第１のセマンティックセグメンテーションマスクに示される目標対象物の輪郭と位置、第２のセマンティックセグメンテーションマスクに示される背景領域の輪郭と位置、及び目標スタイルを有する第１の画像に基づいて目標画像を生成することができる。画像の内容が同じであるがスタイルが異なる２群の画像を収集することなく、第１の画像のみを収集することで、画像収集の難しさが低減される。また、第１の画像は、任意の輪郭と位置を有する目標対象物の画像生成に繰り返し使用されることで、画像の生成コストが低減される。
【０００７】
可能な一実現形態では、少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して目標画像を取得することは、各第１の部分画像ブロックを拡大縮小処理して、前記背景画像ブロックとのスティッチングに適するサイズを有する第２の部分画像ブロックを取得することと、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、前記目標画像を取得することと、を含む。
【０００８】
可能な一実現形態では、前記背景画像ブロックは、背景領域に目標スタイルを有する背景が含まれ、かつ目標対象物の存在領域が空いている画像であり、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、目標画像を取得することは、少なくとも１つの第２の部分画像ブロックを前記背景画像ブロックにおける対応の目標対象物の存在領域に付加して、前記目標画像を取得することを含む。
【０００９】
このような形態によれば、第１のセマンティックセグメンテーションマスク、第２のセマンティックセグメンテーションマスク及び第１の画像によって目標スタイルを有する目標画像を生成することができ、各目標対象物の第１のセマンティックセグメンテーションマスクに対して、対応する第２の部分画像ブロックを生成し、生成された目標対象物を多様化することができる。また、第２の部分画像ブロックは、第１のセマンティックセグメンテーションマスクと第１の画像に基づいて生成されることで、スタイル変換用のニューラルネットワークを用いて新しいスタイルを有する画像を生成する必要がなく、大量のサンプルを用いてスタイル変換用のニューラルネットワークに対する教師ありトレーニングを行う必要もなく、さらに大量のサンプルのラベル付けをする必要もないため、画像処理の効率が向上される。
【００１０】
可能な一実現形態では、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理した後、かつ前記目標画像を取得する前に、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックとのエッジを平滑化処理して、第２の画像を取得することと、前記第２の画像における目標対象物の存在領域及び背景領域に対してスタイル融合処理を行って、前記目標画像を取得することと、をさらに含む。
【００１１】
このような形態によれば、目標対象物の存在領域と背景領域とのエッジを平滑化処理し、画像に対してスタイル融合処理を行うことができるため、生成された目標画像が自然で調和的かつよりリアル性の高いものとなる。
【００１２】
可能な一実現形態では、被処理画像に対してセマンティックセグメンテーション処理を行って、第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクを取得することをさらに含む。
【００１３】
可能な一実現形態では、第１の画像と少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて少なくとも１つの第１の部分画像ブロックを生成することと、前記第１の画像と第２のセマンティックセグメンテーションマスクに基づいて背景画像ブロックを生成することとは、画像生成ネットワークによって実行され、前記画像生成ネットワークは、トレーニングされる画像生成ネットワークによって第１のサンプル画像とセマンティックセグメンテーションサンプルマスクに基づいて画像ブロックを生成するステップであって、ここで、前記第１のサンプル画像は、任意のスタイルを有するものであり、前記セマンティックセグメンテーションサンプルマスクは、第２のサンプル画像における目標対象物の存在領域を示す、あるいは前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものであり、前記セマンティックセグメンテーションサンプルマスクが第２のサンプル画像における目標対象物の存在領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する目標対象物が含まれ、前記セマンティックセグメンテーションサンプルマスクが前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する背景が含まれるステップと、生成された画像ブロック、前記第１のサンプル画像及び前記第２のサンプル画像に基づいて前記トレーニングされる画像生成ネットワークの損失関数を決定するステップと、決定された損失関数に基づいて、前記トレーニングされる画像生成ネットワークのネットワークパラメータ値を調整するステップと、生成された画像ブロック又は第２のサンプル画像を入力画像として、トレーニングされる画像判別器を用いて前記入力画像における被識別部分の真偽を識別するステップであって、生成された画像ブロックに目標スタイルを有する目標対象物が含まれると、前記入力画像における被識別部分は、前記入力画像における目標対象物となり、生成された画像ブロックに目標スタイルを有する背景が含まれると、前記入力画像における被識別部分は、前記入力画像における背景となるステップと、前記トレーニングされる画像判別器の出力結果及び前記入力画像に基づいて、前記トレーニングされる画像判別器と画像生成ネットワークのネットワークパラメータ値を調整するステップと、トレーニングされる画像生成ネットワークのトレーニング終了条件とトレーニングされる画像判別器のトレーニング終了条件とのバランスが取れるまで、ネットワークパラメータ値が調整された画像生成ネットワークをトレーニングされる画像生成ネットワークとして、かつネットワークパラメータ値が調整された画像判別器をトレーニングされる画像判別器として上記のステップを繰り返し実行するステップと、によってトレーニングされたものである。
【００１４】
このような形態によれば、任意のセマンティックセグメンテーションマスクと任意のスタイルのサンプル画像によって画像生成ネットワークをトレーニングすることができる。セマンティックセグメンテーションマスクとサンプル画像は、いずれも再利用でき、例えば、同一群のセマンティックセグメンテーションマスク及び異なるサンプル画像を用いて異なる画像生成ネットワークをトレーニングし、又は同一のサンプル画像及びセマンティックセグメンテーションマスクによって画像生成ネットワークをトレーニングすることができるが、トレーニングサンプルを取得するために大量の実際の画像のラベル付けをする必要はないため、ラベル付けのコストが節約されるとともに、トレーニングされた画像生成ネットワークによって生成される画像は、サンプル画像のスタイルを有し、他の内容の画像を生成する際に再トレーニングする必要はないため、処理効率が向上される。
【００１５】
本開示の別の方面によれば、目標スタイルを有する第１の画像と、１種の目標対象物の存在領域を示す少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する１種の目標対象物を含む少なくとも１つの第１の部分画像ブロックを生成するため第１の生成モジュールと、前記第１の画像と、少なくとも１つの目標対象物の存在領域以外の背景領域を示す第２のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する背景を含む背景画像ブロックを生成するための第２の生成モジュールと、少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して、目標スタイルを有する目標対象物と目標スタイルを有する背景とを含む目標画像を取得するため融合モジュールと、を含む画像処理装置が提供される。
【００１６】
可能な一実現形態では、前記融合モジュールは、さらに、各第１の部分画像ブロックを拡大縮小処理して、前記背景画像ブロックとのスティッチングに適するサイズを有する第２の部分画像ブロックを取得し、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、前記目標画像を取得するように構成される。
【００１７】
可能な一実現形態では、前記背景画像ブロックは、背景領域に目標スタイルを有する背景が含まれ、かつ目標対象物の存在領域が空いている画像であり、前記融合モジュールは、さらに、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、目標画像を取得することは、少なくとも１つの第２の部分画像ブロックを前記背景画像ブロックにおける対応の目標対象物の存在領域に付加して、前記目標画像を取得するように構成される。
【００１８】
可能な一実現形態では、前記融合モジュールは、さらに、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理した後、かつ前記目標画像を取得する前に、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックとのエッジを平滑化処理して、第２の画像を取得することと、前記第２の画像における目標対象物の存在領域及び背景領域に対してスタイル融合処理を行って、前記目標画像を取得することとに用いられる。
【００１９】
可能な一実現形態では、前記装置は、被処理画像に対してセマンティックセグメンテーション処理を行って、第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクを取得するためのセグメンテーションモジュールをさらに含む。
【００２０】
可能な一実現形態では、前記第１の生成モジュールと前記第２の生成モジュールの機能は、画像生成ネットワークによって実行され、前記装置は、トレーニングモジュールをさらに含み、前記トレーニングモジュールは、トレーニングされる画像生成ネットワークによって第１のサンプル画像とセマンティックセグメンテーションサンプルマスクに基づいて画像ブロックを生成するステップであって、ここで、前記第１のサンプル画像は、任意のスタイルを有するものであり、前記セマンティックセグメンテーションサンプルマスクは、第２のサンプル画像における目標対象物の存在領域を示す、あるいは前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものであり、前記セマンティックセグメンテーションサンプルマスクが第２のサンプル画像における目標対象物の存在領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する目標対象物が含まれ、前記セマンティックセグメンテーションサンプルマスクが前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する背景が含まれるステップと、生成された画像ブロック、前記第１のサンプル画像及び前記第２のサンプル画像に基づいて前記トレーニングされる画像生成ネットワークの損失関数を決定するステップと、決定された損失関数に基づいて、前記トレーニングされる画像生成ネットワークのネットワークパラメータ値を調整するステップと、生成された画像ブロック又は第２のサンプル画像を入力画像として、トレーニングされる画像判別器を用いて前記入力画像における被識別部分の真偽を識別するステップであって、生成された画像ブロックに目標スタイルを有する目標対象物が含まれると、前記入力画像における被識別部分は、前記入力画像における目標対象物となり、生成された画像ブロックに目標スタイルを有する背景が含まれると、前記入力画像における被識別部分は、前記入力画像における背景となるステップと、前記トレーニングされる画像判別器の出力結果及び前記入力画像に基づいて、前記トレーニングされる画像判別器と画像生成ネットワークのネットワークパラメータ値を調整するステップと、トレーニングされる画像生成ネットワークのトレーニング終了条件とトレーニングされる画像判別器のトレーニング終了条件とのバランスが取れるまで、ネットワークパラメータ値が調整された画像生成ネットワークをトレーニングされる画像生成ネットワークとして、かつネットワークパラメータ値が調整された画像判別器をトレーニングされる画像判別器として上記のステップを繰り返し実行するステップと、によってトレーニングして前記画像生成ネットワークを得る。
【００２１】
本開示の別の方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、上記画像処理方法を実行するように構成される電子機器が提供される。
【００２２】
本開示の別の方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記画像処理方法を実現するコンピュータ読み取り可能な記憶媒体が提供される。
【００２３】
本開示の別の方面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において稼働すると、前記電子機器のプロセッサに、上記画像処理方法を実現するための命令を実行させるコンピュータプログラムが提供される。
【００２４】
なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。
【００２５】
以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び方面は明瞭になる。
【００２６】
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。
【図面の簡単な説明】
【００２７】
【図１】本開示の実施例に係る画像処理方法のフローチャートを示す。
【図２】本開示の実施例に係る第１のセマンティックセグメンテーションマスクの模式図を示す。
【図３】本開示の実施例に係る第２のセマンティックセグメンテーションマスクの模式図を示す。
【図４】本開示の実施例に係る画像処理方法のフローチャートを示す。
【図５】本開示の実施例に係る画像処理方法の応用模式図を示す。
【図６】本開示の実施例に係る画像処理装置のブロック図を示す。
【図７】本開示の実施例に係る画像処理装置のブロック図を示す。
【図８】本開示の実施例に係る電子機器のブロック図を示す。
【図９】本開示の実施例に係る電子機器のブロック図を示す。
【発明を実施するための形態】
【００２８】
以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および方面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【００２９】
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
【００３０】
本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
【００３１】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
【００３２】
図１は、本開示の実施例に係る画像処理方法のフローチャートを示す。図１に示すように、前記方法は、目標スタイルを有する第１の画像と、１種の目標対象物の存在領域を示す少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する１種の目標対象物を含む少なくとも１つの第１の部分画像ブロックを生成するステップＳ１１と、前記第１の画像と、少なくとも１つの目標対象物の存在領域以外の背景領域を示す第２のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する背景を含む背景画像ブロックを生成するステップＳ１２と、少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して、目標スタイルを有する目標対象物と目標スタイルを有する背景とを含む目標画像を取得するステップＳ１３と、を含む。
【００３３】
本開示の実施例に係る画像処理方法によれば、第１のセマンティックセグメンテーションマスクに示される目標対象物の輪郭と位置、第２のセマンティックセグメンテーションマスクに示される背景領域の輪郭と位置、及び目標スタイルを有する第１の画像に基づいて目標画像を生成することができる。画像の内容が同じであるがスタイルが異なる２群の画像を収集することなく、第１の画像のみを収集することで、画像収集の難しさが低減される。なお、第１の画像は、任意の輪郭と位置を有する目標対象物の画像生成に繰り返し使用されることで、画像の生成コストが低減される。
【００３４】
前記画像処理方法の実行主体は、画像処理装置であってもよい。例えば、画像処理方法は、ユーザ側装置（Ｕｓｅｒ  Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置などの端末装置、サーバ又は他の処理装置により実行されてもよい。いくつかの可能な実施形態では、この画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ読み取り可能な命令を呼び出すことで実現されてもよい。
【００３５】
可能な一実施形態では、前記第１の画像は、少なくとも１つの目標対象物を含み、かつ目標スタイルを有するものである。画像のスタイルは、画像中の明暗、コントラスト、照明、色彩、芸術的特徴やアートワークなどを含む。例示的に、第１の画像は、昼間、夜間、雨や霧などの環境で撮像されたRGB画像であってもよく、第１の画像には、例えば、自動車、非自動車、人、交通標識、交通信号機、木、動物、建物、障害物などの少なくとも１つの目標対象物が含まれている。第１の画像における目標対象物の存在領域以外の領域が背景領域である。
【００３６】
可能な一実施形態では、第１のセマンティックセグメンテーションマスクは、目標対象物の存在領域のラベル付けをするものである。例えば、１枚の画像には、複数の車両、人及び／又は非自動車などの目標対象物が含まれており、第１のセマンティックセグメンテーションマスクは、目標対象物の存在領域の位置のラベル付けをしたセグメンテーション係数図（例えば、２値セグメンテーション係数図）であってもよい。例えば、目標対象物の存在領域では、セグメンテーション係数は１であり、背景領域では、セグメンテーション係数は０であり、第１のセマンティックセグメンテーションマスクは、目標対象物（例えば、車両、人、障害物など）の輪郭を示してよい。
【００３７】
図２は、本開示の実施例に係る第１のセマンティックセグメンテーションマスクの模式図を示す。図２に示すように、１枚の画像には車両が含まれており、当該画像の第１のセマンティックセグメンテーションマスクは、当該車両の存在領域の位置のラベル付けをしたセグメンテーション係数図である。すなわち、当該車両の存在領域では、セグメンテーション係数は１（図２のハッチングで示される部分）であり、背景領域では、セグメンテーション係数は０である。
【００３８】
可能な一実施形態では、第２のセマンティックセグメンテーションマスクは、目標対象物の存在領域以外の背景領域のラベル付けをするものである。例えば、１枚の画像には、複数の車両、人及び／又は非自動車などの目標対象物が含まれており、第２のセマンティックセグメンテーションマスクは、背景領域の位置のラベル付けをしたセグメンテーション係数図（例えば、２値セグメンテーション係数図）であってもよい。例えば、目標対象物の存在領域では、セグメンテーション係数は０であり、背景領域では、セグメンテーション係数は１である。
【００３９】
図３は、本開示の実施例に係る第２のセマンティックセグメンテーションマスクの模式図を示す。図３に示すように、１枚の画像には車両が含まれており、当該画像の第２のセマンティックセグメンテーションマスクは、当該車両の存在領域以外の背景領域の位置のラベル付けをしたセグメンテーション係数図である。すなわち、当該車両の存在領域では、セグメンテーション係数は０であり、背景領域では、セグメンテーション係数は１（図３のハッチングで示される部分）である。
【００４０】
可能な一実施形態では、目標対象物を含む被処理画像に基づいて第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクを取得することができる。
【００４１】
図４は、本開示の実施例に係る画像処理方法のフローチャートを示す。図４に示すように、前記方法は、  被処理画像に対してセマンティックセグメンテーション処理を行って、前記第１のセマンティックセグメンテーションマスクと前記第２のセマンティックセグメンテーションマスクを取得するステップＳ１４をさらに含む。
【００４２】
可能な一実施形態では、ステップＳ１４において、被処理画像は、任意の目標対象物を含む任意の画像であってもよく、被処理画像のラベル付けをすることにより、被処理画像の第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクを取得することができる。あるいは、セマンティックセグメンテーションネットワークによって被処理画像に対してセマンティックセグメンテーション処理を行って、被処理画像の第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクを取得することができる。本開示では、セマンティックセグメンテーション処理の形態が限定されない。
【００４３】
可能な一実施形態では、第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクは、ランダムに生成されるものであってもよい。例えば、ある具体的な画像に対してセマンティックセグメンテーション処理を行うことなく、画像生成ネットワークを用いて第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクをランダムに生成することができる。本開示では、第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクの取得の形態が限定されない。
【００４４】
可能な一実施形態では、ステップＳ１１において、目標スタイルを有する第１の画像と少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて、画像生成ネットワークによって前記第１の部分画像ブロックを取得することができる。前記第１のセマンティックセグメンテーションマスクは、複数の目標対象物のセマンティックセグメンテーションマスクであってもよい。例えば、前記目標対象物は、歩行者、自動車、非自動車などであってもよく、第１のセマンティックセグメンテーションマスクは、目標対象物の輪郭を示してもよく、前記画像生成ネットワークは、畳み込みニューラルネットワークなどのディープラーニングニューラルネットワークを含んでもよい。本開示では、画像生成ネットワークの種類が限定されない。例示的に、前記第１の部分画像ブロックには、目標スタイルを有する目標対象物が含まれている。例えば、生成された第１の部分画像ブロックは、目標スタイルを有する歩行者の画像ブロック、自動車の画像ブロック、非自動車の画像ブロック又は他の物体の画像ブロックのうちの少なくとも１つであってもよい。
【００４５】
可能な一実施形態では、第１の画像と第１のセマンティックセグメンテーションマスクに基づいて第１の部分画像ブロックを生成してもよい。例えば、第２のセマンティックセグメンテーションマスクの目標対象物の存在領域では、セグメンテーション係数は０であり、背景領域では、セグメンテーション係数は１であるため、第２のセマンティックセグメンテーションマスクは、被処理画像における少なくとも１つの目標対象物の位置関係を反映することができる。位置関係が異なれば、スタイルが異なる可能性があり、例えば、目標対象物同士は遮蔽や影が生じる可能性があること、あるいは、位置関係が異なるため、照明条件が異なる可能性がある。そのため、第１の画像と、第１のセマンティックセグメンテーションマスクと、第２のセマンティックセグメンテーションマスクとに基づいて生成された部分画像ブロックは、位置関係が異なるため、スタイルも完全に同じではない可能性がある。
【００４６】
例示的に、第１のセマンティックセグメンテーションマスクは、被処理画像における目標対象物（例えば、車両）の存在領域のラベル付けをしたものであり、画像生成ネットワークは、第１のセマンティックセグメンテーションマスクによってラベル付けされた目標対象物の輪郭を有し、かつ第１の画像の目標スタイルを有するRGB画像ブロックである第１の部分画像ブロックを生成することができる。
【００４７】
可能な一実施形態では、ステップＳ１２において、第２のセマンティックセグメンテーションマスクと、目標スタイルを有する第１の画像に基づいて、画像生成ネットワークによって背景画像ブロックを生成することができる。すなわち、第２のセマンティックセグメンテーションマスクと第１の画像を画像生成ネットワークに入力して、背景画像ブロックを取得することができる。
【００４８】
例示的に、第２のセマンティックセグメンテーションマスクは、被処理画像における背景領域のラベル付けをしたものであり、画像生成ネットワークは、第２のセマンティックセグメンテーションマスクによってラベル付けされた背景の輪郭を有し、かつ第１の画像の目標スタイルを有するRGB画像ブロックである背景画像ブロックを生成することができる。前記背景画像ブロックは、背景領域に前記目標スタイルを有する背景を含み、かつ目標対象物の存在領域が空いている画像である。
【００４９】
可能な一実施形態では、ステップＳ１３において、少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して、目標画像を取得する。ステップＳ１３は、各第１の部分画像ブロックを拡大縮小処理して、前記背景画像ブロックとのスティッチングに適するサイズを有する第２の部分画像ブロックを取得することと、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、前記目標画像を取得することとを含むことができる。
【００５０】
可能な一実施形態では、第１の部分画像ブロックは、第１のセマンティックセグメンテーションマスクにおける目標対象物の輪郭と第１の画像の目標スタイルに基づいて生成された目標対象物の輪郭を有する画像ブロックである。しかし、生成中に、目標対象物の輪郭のサイズが変化する可能性があるので、第１の部分画像ブロックを拡大縮小処理して、背景画像ブロックのサイズに対応する第２の部分画像ブロックを取得することができる。例えば、第２の部分画像ブロックのサイズは、背景画像ブロックにおける目標対象物の存在領域（すなわち、空いている領域）のサイズと一致する。
【００５１】
可能な一実施形態では、第２の部分画像ブロックと背景画像ブロックをスティッチング処理することができる。このステップは、少なくとも１つの第２の部分画像ブロックを前記背景画像ブロックにおける対応の目標対象物の存在領域に付加して、前記目標画像を取得することを含むことができる。目標画像における目標対象物の存在領域が第２の部分画像ブロックであり、目標画像における背景領域が背景画像ブロックである。例えば、人、自動車、非自動車の目標対象物の第２の部分画像ブロックを背景画像ブロックにおける対応の位置に付加することができる。目標画像における目標対象物の存在領域と背景領域はいずれも目標スタイルを有するが、スティッチングされた目標画像領域間のエッジは、十分な平滑性を有していない可能性がある。
【００５２】
このような形態によれば、第１のセマンティックセグメンテーションマスク、第２のセマンティックセグメンテーションマスク及び第１の画像によって目標スタイルを有する目標画像を生成することができ、各目標対象物の第１のセマンティックセグメンテーションマスクに対して、対応する第２の部分画像ブロックを生成し、生成された目標対象物を多様化することができる。また、第２の部分画像ブロックは、第１のセマンティックセグメンテーションマスクと第１の画像に基づいて生成されることで、スタイル変換用のニューラルネットワークを用いて新しいスタイルを有する画像を生成する必要がなく、大量のサンプルを用いてスタイル変換用のニューラルネットワークに対する教師ありトレーニングを行う必要もなく、さらに大量のサンプルのラベル付けをする必要もないため、画像処理の効率が向上される。
【００５３】
可能な一実施形態では、スティッチングによって形成された目標画像の目標対象物の存在領域と背景領域との間のエッジはスティッチングによって形成されたものであり、十分な平滑性を有していない可能性があるため、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理した後、かつ前記目標画像を取得する前に、平滑化処理を行って、目標画像を取得することができる。
【００５４】
可能な一実施形態では、前記方法は、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理した後、かつ前記目標画像を取得する前に、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックとのエッジを平滑化処理して、第２の画像を取得することと、前記第２の画像における目標対象物の存在領域及び背景領域に対してスタイル融合処理を行って、前記目標画像を取得する、をさらに含む。
【００５５】
可能な一実施形態では、融合ネットワークによって前記第２の画像における目標対象物と背景を融合処理して、目標画像を取得することができる。
【００５６】
可能な一実施形態では、融合ネットワークによって目標対象物の存在領域と背景領域を融合処理することができる。前記融合ネットワークは、畳み込みニューラルネットワークなどのディープラーニングニューラルネットワークであってもよい。本開示では、融合ネットワークの種類は限定されない。例示的に、融合ネットワークは、目標対象物の存在領域と背景領域との間のエッジの位置を特定するか、又は背景画像ブロックにおける空いている領域の位置に基づいて前記エッジの位置を直接特定し、エッジ近傍の画素点を平滑化処理し、例えば、エッジ近傍の画素点をガウシアンフィルタ平滑化処理して、前記第２の画像を取得することができる。本開示では、平滑化処理の形態は限定されない。
【００５７】
可能な一実施形態では、融合ネットワークによって第２の画像に対してスタイル融合処理を行うことができる。例えば、第２の画像における目標対象物の存在領域と背景領域のスタイルが一致しかつ調和的になるように、目標対象物の存在領域と背景領域の明暗、コントラスト、照明、色彩、芸術的特徴やアートワークなどのスタイルを微調整して、前記目標画像を取得することができる。本開示では、スタイル融合処理の形態は限定されない。
【００５８】
別の例では、同一スタイルの背景において、異なる目標対象物のスタイルが少し異なる可能性がある。例えば、夜間のスタイルの背景では、異なる目標対象物はその存在位置が異なるによって受けた光の照射も異なるため、異なる目標対象物のスタイルが少し異なる可能性がある。各目標対象物の存在領域と背景領域のスタイルがより調和的になるように、目標画像における目標対象物の位置、及び目標対象物の存在位置の近くにある背景領域のスタイルに基づいて、前記スタイル融合処理により各目標対象物のスタイルを微調整することができる。
【００５９】
このような形態によれば、目標対象物の存在領域と背景領域とのエッジを平滑化処理し、画像に対してスタイル融合処理を行うことができるため、生成された目標画像が自然で調和的かつよりリアル性の高いものとなる。
【００６０】
可能な一実施形態では、画像生成ネットワークと融合ネットワークによって目標画像を生成する前に、画像生成ネットワークと融合ネットワークをトレーニングすることができ、例えば、敵対的生成のトレーニング方法を用いて前記画像生成ネットワークと融合ネットワークをトレーニングすることができる。
【００６１】
可能な一実施形態では、第１の画像と少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて少なくとも１つの第１の部分画像ブロックを生成することと、前記第１の画像と第２のセマンティックセグメンテーションマスクに基づいて背景画像ブロックを生成することとは、画像生成ネットワークによって実行され、前記画像生成ネットワークは、トレーニングされる画像生成ネットワークによって第１のサンプル画像とセマンティックセグメンテーションサンプルマスクに基づいて画像ブロックを生成するステップであって、ここで、前記第１のサンプル画像は、任意のスタイルを有するものであり、前記セマンティックセグメンテーションサンプルマスクは、第２のサンプル画像における目標対象物の存在領域を示す、あるいは前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものであり、前記セマンティックセグメンテーションサンプルマスクが第２のサンプル画像における目標対象物の存在領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する目標対象物が含まれ、前記セマンティックセグメンテーションサンプルマスクが前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する背景が含まれるステップと、生成された画像ブロック、前記第１のサンプル画像及び前記第２のサンプル画像に基づいて前記トレーニングされる画像生成ネットワークの損失関数を決定するステップと、決定された損失関数に基づいて、前記トレーニングされる画像生成ネットワークのネットワークパラメータ値を調整するステップと、生成された画像ブロック又は第２のサンプル画像を入力画像として、トレーニングされる画像判別器を用いて前記入力画像における被識別部分の真偽を識別するステップであって、生成された画像ブロックに目標スタイルを有する目標対象物が含まれると、前記入力画像における被識別部分は、前記入力画像における目標対象物となり、生成された画像ブロックに目標スタイルを有する背景が含まれると、前記入力画像における被識別部分は、前記入力画像における背景となるステップと、前記トレーニングされる画像判別器の出力結果及び前記入力画像に基づいて、前記トレーニングされる画像判別器と画像生成ネットワークのネットワークパラメータ値を調整するステップと、トレーニングされる画像生成ネットワークのトレーニング終了条件とトレーニングされる画像判別器のトレーニング終了条件とのバランスが取れるまで、ネットワークパラメータ値が調整された画像生成ネットワークをトレーニングされる画像生成ネットワークとして、かつネットワークパラメータ値が調整された画像判別器をトレーニングされる画像判別器として上記のステップを繰り返し実行するステップと、によってトレーニングされたものである。
【００６２】
例えば、セマンティックセグメンテーションサンプルマスクが第２のサンプル画像における目標対象物の存在領域を示すものである場合、画像生成ネットワークは、目標スタイルを有する目標対象物の画像ブロックを生成することができ、前記画像判別器は、入力画像における目標スタイルを有する目標対象物の画像ブロックの真偽を識別するとともに、トレーニングされる画像判別器の出力結果、生成された目標スタイルを有する目標対象物の画像ブロック及び第２のサンプル画像における目標対象物の画像ブロックに基づいて、前記トレーニングされる画像判別器と画像生成ネットワークのネットワークパラメータ値を調整することができ、セマンティックセグメンテーションサンプルマスクが前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものである場合、画像生成ネットワークは、目標スタイルを有する背景画像ブロックを生成することができ、前記画像判別器は、入力画像における目標スタイルを有する背景画像ブロックの真偽を識別するとともに、トレーニングされる画像判別器の出力結果、生成された目標スタイルを有する背景画像ブロック及び第２のサンプル画像における背景画像ブロックに基づいて、前記トレーニングされる画像判別器と画像生成ネットワークのネットワークパラメータ値を調整することができる。
【００６３】
また、例えば、セマンティックセグメンテーションサンプルマスクが第２のサンプル画像における目標対象物の存在領域を示すセマンティックセグメンテーションサンプルマスクと、前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すセマンティックサンプルセグメンテーションマスクとの両方を含む場合、画像生成ネットワークは、目標スタイルを有する目標対象物の画像ブロックと目標スタイルを有する背景画像ブロックを生成することができる。そして、目標スタイルを有する目標対象物の画像ブロックと目標スタイルを有する背景画像ブロックを融合して、目標画像を取得する。融合の処理は、融合ネットワークによって実行することができる。そして、画像判別器は、入力画像（入力画像は、取得された目標画像又は第２のサンプル画像である）の真偽を識別するとともに、トレーニングされる画像判別器の出力結果、取得された目標画像及び第２のサンプル画像に基づいて、前記トレーニングされる画像判別器、画像生成ネットワーク及び融合ネットワークのネットワークパラメータ値を調整することができる。例示的に、生成された画像ブロック、前記第１のサンプル画像及び前記第２のサンプル画像に基づいて前記トレーニングされる画像生成ネットワークの損失関数を決定する。例えば、画像ブロックと前記第１のサンプル画像とのスタイルの違い、及び画像ブロックと第２のサンプル画像との内容の違いに基づいて、画像生成ネットワークのネットワーク損失を決定することができる。
【００６４】
例示的に、生成された画像ブロック又は第２のサンプル画像を入力画像として、トレーニングされる画像判別器を用いて前記入力画像における被識別部分の真偽を識別することができ、画像判別器の出力結果は、入力画像が実画像である確率である。生成された画像ブロックには目標スタイルを有する目標対象物が含まれると、前記入力画像における被識別部分は、前記入力画像における目標対象物となり、生成された画像ブロックには目標スタイルを有する背景が含まれると、前記入力画像における被識別部分は、前記入力画像における背景となる。
【００６５】
例示的に、前記画像生成ネットワークのネットワーク損失と前記画像判別器の出力結果に基づいて、前記画像生成ネットワークと画像判別器を敵対的トレーニングすることができ、例えば、前記画像生成ネットワークのネットワーク損失と画像判別器の出力結果に基づいて、画像生成ネットワークと画像判別器のネットワークパラメータを調整することができる。例えば画像生成ネットワークのネットワーク損失が最小化されるか又は設定閾値よりも小さくされる第１のトレーニング条件と、例えば画像判別器の出力結果が実画像である確率が最大化されるか又は設定閾値よりも大きくされる第２のトレーニング条件とのバランスが取れるまで上記トレーニング処理を反復して実行することができる。このような場合、画像生成ネットワークによって生成された画像ブロックは高いリアル性を有し、すなわち、画像生成ネットワークによって生成された画像の効果が良く、画像判別器は高い確度を有する。また、ネットワークパラメータ値が調整された画像生成ネットワークをトレーニングされる画像生成ネットワークとして、かつネットワークパラメータ値が調整された画像判別器をトレーニングされる画像判別器とする。
【００６６】
可能な一実施形態では、画像ブロックにおける目標対象物と背景をスティッチングした後、融合ネットワークに入力して、目標画像を出力することができる。
【００６７】
例示的に、目標画像と前記第２のサンプル画像との内容の違い、及び目標画像と第２のサンプル画像とのスタイルの違いによって、融合ネットワークのネットワーク損失を決定することができる。また、融合ネットワークのネットワーク損失に基づいて融合ネットワークのネットワークパラメータを調整し、融合ネットワークのネットワーク損失が損失閾値以下になる又は所定区間に収まるまで、又は調整回数が回数閾値に達するまで融合ネットワークの調整ステップを反復して実行し、トレーニングされた融合ネットワークを取得することができる。このような場合、融合ネットワークによって出力される目標画像は、高いリアル性を有し、すなわち、融合ネットワークによって出力される画像のエッジ平滑化効果が良く、全体的なスタイルが調和している。
【００６８】
例示的に、融合ネットワークと画像生成ネットワーク及び画像判別器とを共同でトレーニングすることもでき、すなわち、画像生成ネットワークによって生成された目標スタイルを有する目標対象物の画像ブロックと背景画像ブロックをスティッチングし、融合ネットワークによって処理した後、目標画像を生成し、目標画像又は第２のサンプル画像を入力画像として、画像判別器に入力し真偽を識別し、上記トレーニング条件を満たすまで画像判別器の出力目標画像、第２のサンプル画像によって前記トレーニングされる画像判別器、画像生成ネットワーク及び融合ネットワークのネットワークパラメータ値を調整する。
【００６９】
関連技術では、画像のスタイル変換をする際に、スタイル変換用のニューラルネットワークを用いて原画像を処理し、新しいスタイルを有する画像を生成する必要があり、前記スタイル変換用のニューラルネットワークは、大量の特定のスタイルを有するサンプル画像を用いてトレーニングする必要があるため、サンプル画像の取得コストが高い（例えば、スタイルが悪天候の場合、悪天候でサンプル画像を取得するのが難しく、コストが高くなる）。しかも、トレーニングされたニューラルネットワークは、当該スタイルの画像しか生成できず、すなわち、入力された画像を同一のスタイルに変換するしかできない。他のスタイルへの変換をするには、大量のサンプル画像を用いて当該ニューラルネットワークを再トレーニングする必要がある。その結果、サンプル画像が効率的に使用されず、スタイルの変更が難しく、効率が低くなる。
【００７０】
本開示の実施例に係る画像処理方法によれば、第１のセマンティックセグメンテーションマスク、第２のセマンティックセグメンテーションマスク、目標スタイルを有する第２の部分画像ブロック及び背景画像ブロックに基づいて、各目標対象物の第１のセマンティックセグメンテーションマスクごとに対応する第１の部分画像ブロックを生成することができる。第１のセマンティックセグメンテーションマスクの取得が容易であるため、複数種類の第１のセマンティックセグメンテーションマスクを取得し、生成された目標対象物を多様化することができる。また、大量の実際の画像のラベル付けをする必要はないため、ラベル付けのコストが節約され、処理効率が向上される。さらに、目標対象物の存在領域と背景領域とのエッジを平滑化処理し、画像に対してスタイル融合処理を行うことができるため、生成された目標画像が自然で調和的かつよりリアル性の高いものとなる。また、目標画像が第１の画像のスタイルを有するようにし、画像の生成中、第１の画像を置き換えることができ、例えば、他のスタイルの第１の画像に置き換えることができ、生成された目標画像は、置き換えられた第１の画像のスタイルを有することができる。他のスタイルの画像を生成する際に、ニューラルネットワークを再トレーニングする必要はないため、処理効率が向上される。また、目標対象物のマスク及び背景マスクに基づいて、まず画像ブロックをそれぞれ生成し、次に生成された画像ブロックを融合することにより、目標対象物の交換を容易にすることができる。また、光などの要因により、各画像ブロック（第１の部分画像ブロックと背景画像ブロックを含む）のスタイルが完全に一致しない可能性があり、例えば、同様に暗い夜の環境においても、受ける光の照射が異なる場合、各目標対象物のスタイルが少し異なっている。各第１の部分画像ブロックと背景画像ブロックをそれぞれ生成することにより、各画像ブロックのスタイルを保持し、各第１の部分画像ブロックと背景画像ブロックとの間の調和性がよくなるようにする。
【００７１】
図5は、本開示の実施例に係る画像処理方法の応用模式図を示す。図5に示すように、画像生成ネットワークと融合ネットワークによって、目標スタイルを有する目標画像を取得することができる。
【００７２】
可能な一実施形態では、任意の被処理画像に対してセマンティックセグメンテーション処理を行って、第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクを取得することができる。あるいは、第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクをランダムに生成し、第１のセマンティックセグメンテーションマスク、第２のセマンティックセグメンテーションマスク、及び目標スタイルと任意の内容を有する第１の画像を画像生成ネットワークに入力することができる。画像生成ネットワークは、第１のセマンティックセグメンテーションマスクと第１の画像に基づいて、第１のセマンティックセグメンテーションマスクによってラベル付けされた目標対象物の輪郭を有し、かつ第１の画像の目標スタイルを有する第１の部分画像ブロックを出力するとともに、第１の画像と第２のセマンティックセグメンテーションマスクに基づいて、第２のセマンティックセグメンテーションマスクによってラベル付けされた背景の輪郭を有し、かつ第１の画像の目標スタイルを有する背景画像ブロックを生成することができる。例示的に、第１の部分画像ブロックの数は複数であってもよく、すなわち、複数の目標対象物が存在してもよい。また、目標対象物の種類は異なってもよく、例えば、目標対象物は、人、自動車、非自動車などを含んでもよい。前記第１の画像の画像スタイルは、昼間のスタイル、夜間のスタイル、雨のスタイルなどであってもよい。本開示では、第１の画像のスタイルが限定されず、第１の部分画像ブロックの数も限定されない。
【００７３】
例示的に、第１の画像は、夜間の背景を有する画像であってもよい。第１のセマンティックセグメンテーションマスクは、車両のセマンティックセグメンテーションマスクであり、車両の輪郭を有することができる。第１のセマンティックセグメンテーションマスクは、歩行者のセマンティックセグメンテーションマスクであってもよく、歩行者の輪郭を有することができる。第２のセマンティックセグメンテーションマスクは、背景のセマンティックセグメンテーションマスクである。また、第２のセマンティックセグメンテーションマスクは、背景における各目標対象物の位置を示すこともできる。例えば、第２のセマンティックセグメンテーションマスクの歩行者又は車両の存在位置が空いている。画像生成ネットワークによる処理後、夜間のスタイルを有する背景、車両及び歩行者を生成することができる。例えば、背景では、光が暗く、車両や歩行者も暗い環境にあるスタイル、例えば、光が暗かったり、外観がぼんやりしたりするものである。
【００７４】
可能な一実施形態では、生成中に、目標対象物の輪郭のサイズが変化可能となり、第１の部分画像ブロックのサイズと背景画像ブロックにおける空いている領域（すなわち、背景画像ブロックにおける目標対象物の存在領域）のサイズとが一致しない場合がある。第１の部分画像ブロックを拡大縮小処理して第２の部分画像ブロックを取得することができ、第２の部分画像ブロックのサイズと背景画像ブロックにおける目標対象物の存在領域（すなわち、空いている領域）のサイズとが一致している。
【００７５】
例示的に、車両のセマンティックセグメンテーションマスクは複数ある可能性があり、輪郭は同じでもよいし、異なってもよいが、第２のセマンティックセグメンテーションマスクでは、異なる車両の存在位置が異なり、サイズが異なってもよい。そのため、車両の画像ブロック及び／又は歩行者の画像ブロック（すなわち、第１の部分画像ブロック）のサイズと背景画像ブロックにおける空いている部分のサイズとが一致になるように、車両の画像ブロックを拡大縮小することができる。
【００７６】
可能な一実施形態では、第２の部分画像ブロックと背景画像ブロックをスティッチング処理することができ、例えば、前記第２の部分画像ブロックを前記背景画像ブロックにおける目標対象物の存在領域に付加して、スティッチングによって形成された目標画像を取得することができる。しかし、目標画像の目標対象物の存在領域（すなわち、第２の部分画像ブロック）と背景領域（すなわち、背景画像ブロック）はスティッチングによって形成されたものであるため、領域間のエッジは十分な平滑性を有していない可能性がある。例えば、車両の画像ブロックと背景との間のエッジは、十分な平滑性を有していない。
【００７７】
可能な一実施形態では、融合ネットワークによって目標画像の目標対象物の存在領域と背景領域を融合処理することができ、例えば、目標対象物の存在領域と背景領域との間のエッジが平滑化されるように、エッジ近傍の画素点をガウシアンフィルタ平滑化処理することができるとともに、目標対象物の存在領域と背景領域に対してスタイル融合処理を行って、例えば、目標対象物の存在領域と背景領域のスタイルが一致しかつ調和的になるように、目標対象物の存在領域と背景領域の明暗、コントラスト、照明、色彩、芸術的特徴やアートワークなどのスタイルを微調整して、目標スタイルを有する平滑化された目標画像を取得することができる。例示的に、背景における各車両の位置が異なり、サイズが異なるため、スタイルが少し異なっている。例えば、街灯に照射された場合、各車両の存在領域の明るさに差があったり、車体の反射に差があったりするため、各車両と背景のスタイルがより調和的になるように、融合ネットワークによって各車両のスタイルを微調整することができる。
【００７８】
可能な一実施形態では、前記画像処理方法は、セマンティックセグメンテーションマスクによって目標画像を取得することができるため、第１の画像のスタイルと一致する画像サンプルをより豊かにし、特にハード画像サンプル（例えば、極端な気象条件などの稀に遭う気象環境で収集された画像）又は少数の画像サンプル（例えば夜間などのあまり収集されていない環境で収集された画像）については、手動による収集コストを大幅に削減することができる。例示的に、前記画像処理方法を自動運転の分野に適用することができる。セマンティックセグメンテーションマスク及び任意のスタイルの画像だけで、リアル性の高い目標画像を生成することができる。目標画像における実例的な目標対象物のリアル性が高いため、目標画像を用いて自動運転の適用場面を広くするのに役立ち、自動運転技術の発展に寄与できる。本開示では、前記画像処理方法の適用分野が限定されない。
【００７９】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。
【００８０】
さらに、本開示では、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムが提供される。これらはいずれも本開示に係る画像処理方法のいずれか１つを実現するために利用できる。対応する技術的解決手段と説明は、方法の対応する記載を参照すればよく、詳細な説明を省略する。
【００８１】
また、当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの記載順序は、実行順序を厳密に限定して実施の過程を限定するものではなく、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。
【００８２】
図６は、本開示の実施例に係る画像処理装置のブロック図を示す。図６に示すように、前記装置は、目標スタイルを有する第１の画像と、１種の目標対象物の存在領域を示す少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する１種の目標対象物を含む少なくとも１つの第１の部分画像ブロックを生成するための第１の生成モジュール１１と、  前記第１の画像と、少なくとも１つの目標対象物の存在領域以外の背景領域を示す第２のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する背景を含む背景画像ブロックを生成するための第２の生成モジュール１２と、少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して、目標スタイルを有する目標対象物と目標スタイルを有する背景とを含む目標画像を取得するための融合モジュール１３と、を含む。
【００８３】
可能な一実施形態では、前記融合モジュールは、さらに、各第１の部分画像ブロックを拡大縮小処理して、前記背景画像ブロックとのスティッチングに適するサイズを有する第２の部分画像ブロックを取得し、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、前記目標画像を取得するように構成される。
【００８４】
可能な一実施形態では、前記背景画像ブロックは、背景領域に目標スタイルを有する背景が含まれ、かつ目標対象物の存在領域が空いている画像であり、前記融合モジュールは、さらに、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、目標画像を取得することは、少なくとも１つの第２の部分画像ブロックを前記背景画像ブロックにおける対応の目標対象物の存在領域に付加して、前記目標画像を取得するように構成される。
【００８５】
可能な一実施形態では、前記融合モジュールは、さらに、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理した後、かつ前記目標画像を取得する前に、少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックとのエッジを平滑化処理して、第２の画像を取得することと、前記第２の画像における目標対象物の存在領域及び背景領域に対してスタイル融合処理を行って、前記目標画像を取得することとに用いられる。
【００８６】
図７は、本開示の実施例に係る画像処理装置のブロック図を示す。図７に示すように、前記装置は、被処理画像に対してセマンティックセグメンテーション処理を行って、第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクを取得するためのセグメンテーションモジュール１４をさらに含む。
【００８７】
可能な一実施形態では、前記第１の生成モジュールと前記第２の生成モジュールの機能は、画像生成ネットワークによって実行され、前記装置は、トレーニングモジュールをさらに含み、前記トレーニングモジュールは、トレーニングされる画像生成ネットワークによって第１のサンプル画像とセマンティックセグメンテーションサンプルマスクに基づいて画像ブロックを生成するステップであって、ここで、前記第１のサンプル画像は、任意のスタイルを有するものであり、前記セマンティックセグメンテーションサンプルマスクは、第２のサンプル画像における目標対象物の存在領域を示す、あるいは前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものであり、前記セマンティックセグメンテーションサンプルマスクが第２のサンプル画像における目標対象物の存在領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する目標対象物が含まれ、前記セマンティックセグメンテーションサンプルマスクが前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する背景が含まれるステップと、生成された画像ブロック、前記第１のサンプル画像及び前記第２のサンプル画像に基づいて前記トレーニングされる画像生成ネットワークの損失関数を決定するステップと、決定された損失関数に基づいて、前記トレーニングされる画像生成ネットワークのネットワークパラメータ値を調整するステップと、生成された画像ブロック又は第２のサンプル画像を入力画像として、トレーニングされる画像判別器を用いて前記入力画像における被識別部分の真偽を識別するステップであって、生成された画像ブロックに目標スタイルを有する目標対象物が含まれると、前記入力画像における被識別部分は、前記入力画像における目標対象物となり、生成された画像ブロックに目標スタイルを有する背景が含まれると、前記入力画像における被識別部分は、前記入力画像における背景となるステップと、前記トレーニングされる画像判別器の出力結果及び前記入力画像に基づいて、前記トレーニングされる画像判別器のネットワークパラメータ値を調整するステップと、トレーニングされる画像生成ネットワークのトレーニング終了条件とトレーニングされる画像判別器のトレーニング終了条件とのバランスが取れるまで、ネットワークパラメータ値が調整された画像生成ネットワークをトレーニングされる画像生成ネットワークとして、かつネットワークパラメータ値が調整された画像判別器をトレーニングされる画像判別器として上記のステップを繰り返し実行するステップと、によってトレーニングして前記画像生成ネットワークを得る。
【００８８】
いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上述した方法の実施例の説明を参照すればよく、簡素化のために、ここで詳細な説明を省略する。
【００８９】
本開示の実施例では、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記の方法を実現させるコンピュータ可読記憶媒体がさらに提供される。当該コンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体であってもよい。
【００９０】
本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するメモリと、を含み、前記プロセッサは、上記の方法を実行するように構成される電子機器がさらに提供される。
【００９１】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【００９２】
図８は、例示的な一実施例の電子機器８００のブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
【００９３】
図８を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【００９４】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【００９５】
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
【００９６】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【００９７】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【００９８】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【００９９】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【０１００】
センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【０１０１】
通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【０１０２】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【０１０３】
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行され、上記方法を実行させることができる。
【０１０４】
図９は、例示的な一実施例の電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図９を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
【０１０５】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されいるオペレーティングシステム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【０１０６】
例示的な実施例では、さらに、不揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されと、上記方法を実行させることができる。
【０１０７】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令が有しているコンピュータ可読記憶媒体を含んでもよい。
【０１０８】
コンピュータ可読記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０１０９】
ここで記述したコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。
【０１１０】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
【０１１１】
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
【０１１２】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現ように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。
【０１１３】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０１１４】
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【０１１５】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図１】
2022501688.tif 000003
【図２】
2022501688.tif 000004
【図３】
2022501688.tif 000005
【図４】
2022501688.tif 000006
【図５】
2022501688.tif 000007
【図６】
2022501688.tif 000008
【図７】
2022501688.tif 000009
【図８】
2022501688.tif 000010
【図９】
2022501688.tif 000011
【手続補正書】
【提出日】令和3年1月7日(2021.1.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
目標スタイルを有する第１の画像と、１種の目標対象物の存在領域を示す少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する１種の目標対象物を含む少なくとも１つの第１の部分画像ブロックを生成することと、
前記第１の画像と、少なくとも１つの目標対象物の存在領域以外の背景領域を示す第２のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する背景を含む背景画像ブロックを生成することと、
少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して、目標スタイルを有する目標対象物と目標スタイルを有する背景とを含む目標画像を取得することと、を含むことを特徴とする画像処理方法。
【請求項２】
少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して目標画像を取得することは、
各第１の部分画像ブロックを拡大縮小処理して、前記背景画像ブロックとのスティッチングに適するサイズを有する第２の部分画像ブロックを取得することと、
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、前記目標画像を取得することと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記背景画像ブロックは、背景領域に目標スタイルを有する背景が含まれ、かつ目標対象物の存在領域が空いている画像であり、
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理して、目標画像を取得することは、
少なくとも１つの第２の部分画像ブロックを前記背景画像ブロックにおける対応の目標対象物の存在領域に付加して、前記目標画像を取得することを含むことを特徴とする請求項２に記載の方法。
【請求項４】
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックをスティッチング処理した後、かつ前記目標画像を取得する前に、
少なくとも１つの第２の部分画像ブロックと前記背景画像ブロックとのエッジを平滑化処理して、第２の画像を取得することと、
前記第２の画像における目標対象物の存在領域及び背景領域に対してスタイル融合処理を行って、前記目標画像を取得することと、をさらに含むことを特徴とする請求項２又は３に記載の方法。
【請求項５】
被処理画像に対してセマンティックセグメンテーション処理を行って、第１のセマンティックセグメンテーションマスクと第２のセマンティックセグメンテーションマスクを取得することをさらに含むことを特徴とする請求項１〜４のいずれか１項に記載の方法。
【請求項６】
第１の画像と少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて少なくとも１つの第１の部分画像ブロックを生成することと、前記第１の画像と第２のセマンティックセグメンテーションマスクに基づいて背景画像ブロックを生成することとは、画像生成ネットワークによって実行され、
前記画像生成ネットワークは、
トレーニングされる画像生成ネットワークによって第１のサンプル画像とセマンティックセグメンテーションサンプルマスクに基づいて画像ブロックを生成するステップであって、ここで、前記第１のサンプル画像は、任意のスタイルを有するものであり、前記セマンティックセグメンテーションサンプルマスクは、第２のサンプル画像における目標対象物の存在領域を示す、あるいは前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものであり、前記セマンティックセグメンテーションサンプルマスクが第２のサンプル画像における目標対象物の存在領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する目標対象物が含まれ、前記セマンティックセグメンテーションサンプルマスクが前記第２のサンプル画像における目標対象物の存在領域以外の領域を示すものである場合、前記生成された画像ブロックには、目標スタイルを有する背景が含まれるステップと、
生成された画像ブロック、前記第１のサンプル画像及び前記第２のサンプル画像に基づいて前記トレーニングされる画像生成ネットワークの損失関数を決定するステップと、
決定された損失関数に基づいて、前記トレーニングされる画像生成ネットワークのネットワークパラメータ値を調整するステップと、
生成された画像ブロック又は第２のサンプル画像を入力画像として、トレーニングされる画像判別器を用いて前記入力画像における被識別部分の真偽を識別するステップであって、生成された画像ブロックに目標スタイルを有する目標対象物が含まれると、前記入力画像における被識別部分は、前記入力画像における目標対象物となり、生成された画像ブロックに目標スタイルを有する背景が含まれると、前記入力画像における被識別部分は、前記入力画像における背景となるステップと、
前記トレーニングされる画像判別器の出力結果及び前記入力画像に基づいて、前記トレーニングされる画像判別器と画像生成ネットワークのネットワークパラメータ値を調整するステップと、
トレーニングされる画像生成ネットワークのトレーニング終了条件とトレーニングされる画像判別器のトレーニング終了条件とのバランスが取れるまで、ネットワークパラメータ値が調整された画像生成ネットワークをトレーニングされる画像生成ネットワークとして、かつネットワークパラメータ値が調整された画像判別器をトレーニングされる画像判別器として上記のステップを繰り返し実行するステップと、
によってトレーニングされたものであることを特徴とする請求項１〜５のいずれか１項に記載の方法。
【請求項７】
目標スタイルを有する第１の画像と、１種の目標対象物の存在領域を示す少なくとも１つの第１のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する１種の目標対象物を含む少なくとも１つの第１の部分画像ブロックを生成するための第１の生成モジュールと、
前記第１の画像と、少なくとも１つの目標対象物の存在領域以外の背景領域を示す第２のセマンティックセグメンテーションマスクに基づいて、目標スタイルを有する背景を含む背景画像ブロックを生成するための第２の生成モジュールと、
少なくとも１つの第１の部分画像ブロックと前記背景画像ブロックを融合処理して、目標スタイルを有する目標対象物と目標スタイルを有する背景とを含む目標画像を取得するための融合モジュールと、を含むことを特徴とする画像処理装置。
【請求項８】
プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して請求項１〜６のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項９】
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、請求項１〜６のいずれか１項に記載の方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１０】
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器において稼働すると、前記電子機器のプロセッサに、請求項１〜６のいずれか１項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
【国際調査報告】
2022501688.tif 000012
2022501688.tif 000013
2022501688.tif 000014
2022501688.tif 000015