(57)【要約】  本願は対象物予測方法および装置、電子機器ならびに記憶媒体に関する。該方法はニューラルネットワークに応用される方法であって、予測対象の対象物の特徴を抽出し、予測対象の対象物の特徴情報を得ることと、特徴情報に基づき、予測対象の対象物に対する複数の中間予測結果を特定することと、複数の中間予測結果を融合し、融合情報を得ることと、融合情報に基づき、予測対象の対象物に対する複数の目標予測結果を特定することと、を含む。本願の実施例によれば、予測対象の対象物の特徴情報を抽出し、特徴情報に基づいて前記予測対象の対象物に対する複数の中間予測結果を特定し、前記複数の中間予測結果を融合することで融合情報を得て、該融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定することができ、複数の目標予測結果の正確度の向上に寄与する。
2021512407.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワークに応用される対象物予測方法であって、
予測対象の対象物の特徴を抽出し、前記予測対象の対象物の特徴情報を得ることと、
前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定することと、
前記複数の中間予測結果を融合し、融合情報を得ることと、
前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定することと、を含むことを特徴とする対象物予測方法。
【請求項２】
予測対象の対象物の特徴を抽出し、前記予測対象の対象物の特徴情報を得ることは、
予測対象の対象物の特徴を抽出し、複数の階層の特徴を得ることと、
前記複数の階層の特徴を集約し、前記予測対象の対象物に対する特徴情報を得ることと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定することは、
前記特徴情報を再構成し、複数の再構成特徴を得ることと、
複数の再構成特徴に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定することと、を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記複数の中間予測結果を融合し、融合情報を得ることは、
前記複数の中間予測結果を再処理し、複数の中間予測結果の再処理結果を得ることと、
前記複数の中間予測結果の再処理結果を融合し、融合情報を得ることと、を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記複数の中間予測結果の再処理結果を融合し、融合情報を得ることは、
前記複数の中間予測結果の再処理結果を重ね合わせ、融合情報を得ることを含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記複数の中間予測結果は、目標予測結果との関連度が最も高い第一中間予測結果、および第二中間予測結果を含み、
前記複数の中間予測結果の再処理結果を融合し、融合情報を得ることは、
前記第二中間予測結果の再処理結果を処理し、参照結果を得ることと、
前記第一中間予測結果の再処理結果と前記参照結果とを重ね合わせ、前記目標予測結果に対する融合情報を得ることと、を含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記複数の中間予測結果は、目標予測結果との関連度が最も高い第一中間予測結果、および第二中間予測結果を含み、
前記複数の中間予測結果の再処理結果を融合し、融合情報を得ることは、
前記第一中間予測結果の再処理結果に基づき、アテンションメカニズムによって特定される参照係数であるアテンション係数を特定することと、
前記第二中間予測結果の再処理結果を処理し、参照結果を得ることと、
前記参照結果と前記アテンション係数とのドット積を求め、アテンション内容を得ることと、
前記第一中間予測結果の再処理結果と前記アテンション内容とを重ね合わせ、前記目標予測結果に対する融合情報を得ることと、を含むことを特徴とする請求項４に記載の方法。
【請求項８】
前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定することは、
複数の目標予測結果に対する融合情報を特定することと、
前記融合情報を処理し、目標特徴を得ることと、
前記目標特徴に基づき、複数の目標予測結果を特定することと、を含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記ニューラルネットワークは予測対象の対象物に基づいて訓練して得られることを特徴とする請求項１に記載の方法。
【請求項１０】
予測対象の対象物に基づいて前記ニューラルネットワークを訓練するステップは、
前記予測対象の対象物を前記ニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得ることと、
前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定することと、
前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、前記融合情報を得ることと、
前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定することと、
前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定することと、
前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整することと、を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
予測対象の対象物に基づいて前記ニューラルネットワークを訓練するステップはさらに、
前記予測対象の対象物を前記ニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得る前に、前記複数の目標予測結果のラベル付け情報を特定することと、
前記複数の目標予測結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定することと、を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定することは、
前記特徴情報に基づき、前記予測対象の対象物に対する深度推定中間予測結果、表面法線中間予測結果、輪郭中間予測結果およびセマンティックセグメンテーション中間予測結果を特定することを含み、
前記複数の中間予測結果を融合し、融合情報を得ることは、
前記深度推定中間予測結果、前記表面法線中間予測結果、前記輪郭中間予測結果および前記セマンティックセグメンテーション中間予測結果を融合し、融合情報を得ることを含み、
前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定するステップは、
前記融合情報に基づき、前記予測対象の対象物に対する深度推定結果およびシーン分割結果を特定することを含むことを特徴とする請求項１に記載の方法。
【請求項１３】
ニューラルネットワークに応用される対象物予測方法であって、
予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得ることと、
前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定することと、
前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、融合情報を得ることと、
前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定することと、
前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定することと、
前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整することと、を含むことを特徴とする対象物予測方法。
【請求項１４】
予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得る前に、前記複数の目標予測結果のラベル付け情報を特定することと、
前記複数の目標予測結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定することと、をさらに含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
ニューラルネットワークに応用される対象物予測装置であって、
予測対象の対象物の特徴を抽出し、前記予測対象の対象物の特徴情報を得るように構成された特徴抽出モジュールと、
前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定するように構成された中間予測結果特定モジュールと、
前記複数の中間予測結果を融合し、融合情報を得るように構成された融合モジュールと、
前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定するように構成された目標予測結果特定モジュールと、を含むことを特徴とする対象物予測装置。
【請求項１６】
前記特徴抽出モジュールは、
予測対象の対象物の特徴を抽出し、複数の階層の特徴を得るように構成された特徴取得サブモジュールと、
前記複数の階層の特徴を集約し、前記予測対象の対象物に対する特徴情報を得るように構成された特徴情報取得サブモジュールと、を含むことを特徴とする請求項１５に記載の装置。
【請求項１７】
前記中間予測結果特定モジュールは、
前記特徴情報を再構成し、複数の再構成特徴を得るように構成された再構成特徴取得サブモジュールと、
複数の再構成特徴に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定するように構成された中間予測結果取得サブモジュールと、を含むことを特徴とする請求項１５に記載の装置。
【請求項１８】
前記融合モジュールは、
前記複数の中間予測結果を再処理し、複数の中間予測結果の再処理結果を得るように構成された再処理結果取得サブモジュールと、
前記複数の中間予測結果の再処理結果を融合し、融合情報を得るように構成された融合情報取得サブモジュールと、を含むことを特徴とする請求項１５に記載の装置。
【請求項１９】
前記融合情報取得サブモジュールは、
前記複数の中間予測結果の再処理結果を重ね合わせ、融合情報を得るように構成されることを特徴とする請求項１８に記載の装置。
【請求項２０】
前記複数の中間予測結果は、目標予測結果との関連度が最も高い第一中間予測結果、および第二中間予測結果を含み、
前記融合情報取得サブモジュールは、
前記第二中間予測結果の再処理結果を処理し、参照結果を得ことと、
前記第一中間予測結果の再処理結果と前記参照結果とを重ね合わせ、前記目標予測結果に対する融合情報を得ることとに用いられるように構成されることを特徴とする請求項１８に記載の装置。
【請求項２１】
前記複数の中間予測結果は、目標予測結果との関連度が最も高い第一中間予測結果、および第二中間予測結果を含み、
前記融合情報取得サブモジュールは、
前記第一中間予測結果の再処理結果に基づき、アテンションメカニズムによって特定される参照係数であるアテンション係数を特定することと、
前記第二中間予測結果の再処理結果を処理し、参照結果を得ることと、
前記参照結果と前記アテンション係数とのドット積を求め、アテンション内容を得ることと、
前記第一中間予測結果の再処理結果と前記アテンション内容とを重ね合わせ、前記目標予測結果に対する融合情報を得ることとに用いられるように構成されることを特徴とする請求項１８に記載の装置。
【請求項２２】
前記目標予測結果特定モジュールは、
複数の目標予測結果に対する融合情報を特定するように構成された融合情報特定サブモジュールと、
前記融合情報を処理し、目標特徴を得るように構成された目標特徴取得サブモジュールと、
前記目標特徴に基づき、複数の目標予測結果を特定するように構成された目標予測結果特定サブモジュールと、を含むことを特徴とする請求項１５に記載の装置。
【請求項２３】
前記ニューラルネットワークは予測対象の対象物に基づいて訓練して得られることを特徴とする請求項１５に記載の装置。
【請求項２４】
前記予測対象の対象物を前記ニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得るように構成された第一取得モジュールと、
前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定するように構成された第一特定モジュールと、
前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、前記融合情報を得るように構成された第二取得モジュールと、
前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定するように構成された第二特定モジュールと、
前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定するように構成された第三特定モジュールと、
前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整するように構成されたネットワークパラメータ値調整モジュールと、をさらに含むことを特徴とする請求項２３に記載の装置。
【請求項２５】
前記予測対象の対象物を前記ニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得る前に、前記複数の目標予測結果のラベル付け情報を特定するように構成されたラベル付け情報特定モジュールと、
前記複数の目標予測結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定するように構成された中間ラベル付け情報特定モジュールと、をさらに含むことを特徴とする請求項２４に記載の装置。
【請求項２６】
前記中間予測結果特定モジュールは、
前記特徴情報に基づき、前記予測対象の対象物に対する深度推定中間予測結果、表面法線中間予測結果、輪郭中間予測結果およびセマンティックセグメンテーション中間予測結果を特定するように構成された第一特定サブモジュールを含み、
前記融合モジュールは、
前記深度推定中間予測結果、前記表面法線中間予測結果、前記輪郭中間予測結果および前記セマンティックセグメンテーション中間予測結果を融合し、融合情報を得るように構成された取得サブモジュールを含み、
前記目標予測結果特定モジュールは、
前記融合情報に基づき、前記予測対象の対象物に対する深度推定結果およびシーン分割結果を特定するように構成された第二特定サブモジュールを含むことを特徴とする請求項１５に記載の装置。
【請求項２７】
ニューラルネットワークに応用される対象物予測装置であって、
予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得るように構成された第一情報取得モジュールと、
前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定するように構成された第一結果特定モジュールと、
前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、融合情報を得るように構成された第二情報取得モジュールと、
前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定するように構成された第二結果特定モジュールと、
前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定するように構成されたモデル損失特定モジュールと、
前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整するように構成されたパラメータ調整モジュールと、を含むことを特徴とする対象物予測装置。
【請求項２８】
予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得る前に、前記複数の目標予測結果のラベル付け情報を特定するように構成された第一情報特定モジュールと、
前記複数の目標予測結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定するように構成された第二情報特定モジュールと、をさらに含むことを特徴とする請求項２７に記載の装置。
【請求項２９】
請求項１から１４のいずれか一項に記載の方法を実行するように構成されたプロセッサと、
プロセッサが実行可能な命令を記憶するためのメモリと、を含むことを特徴とする電子機器。
【請求項３０】
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１から１４のいずれか一項に記載の方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項３１】
コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器において実行されると、前記電子機器内のプロセッサに請求項１から１４のいずれか一項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は２０１８年０５月０４日に中国特許局に提出された、出願番号２０１８１０４２１００５．Ｘ、出願の名称「対象物予測方法および装置、電子機器ならびに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願はコンピュータ技術分野に関し、特に対象物予測方法および装置、電子機器ならびに記憶媒体に関する。
【背景技術】
【０００２】
深層学習技術の急速な発展に伴い、ニューラルネットワークは様々な対象物予測タスクに応用可能になってくる。しかし、関連技術では、複数の目標予測を同時に行う場合、得られた複数の目標予測結果の正確度が低い。
【発明の概要】
【０００３】
これに鑑みて、本願は対象物予測の技術的解決手段を提供する。
【０００４】
本願の一方面によれば、ニューラルネットワークに応用される対象物予測方法であって、
予測対象の対象物の特徴を抽出し、前記予測対象の対象物の特徴情報を得ることと、前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定することと、前記複数の中間予測結果を融合し、融合情報を得ることと、前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定することと、を含む対象物予測方法が提供される。
【０００５】
本願の別の一方面によれば、ニューラルネットワークに応用される対象物予測方法であって、
予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得ることと、前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定することと、前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、前記融合情報を得ることと、前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定することと、前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定することと、前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整することと、を含む対象物予測方法が提供される。
【０００６】
本願の別の一方面によれば、ニューラルネットワークに応用される対象物予測装置であって、
予測対象の対象物の特徴を抽出し、前記予測対象の対象物の特徴情報を得るように構成された特徴抽出モジュールと、
前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定するように構成された中間予測結果特定モジュールと、
前記複数の中間予測結果を融合し、融合情報を得るように構成された融合モジュールと、
前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定するように構成された目標予測結果特定モジュールと、を含む対象物予測装置が提供される。
【０００７】
本願の別の一方面によれば、ニューラルネットワークに応用される対象物予測装置であって、
予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得るように構成された第一情報取得モジュールと、
前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定するように構成された第一結果特定モジュールと、
前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、融合情報を得るように構成された第二情報取得モジュールと、
前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定するように構成された第二結果特定モジュールと、
前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定するように構成されたモデル損失特定モジュールと、
前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整するように構成されたパラメータ調整モジュールと、を含む対象物予測装置が提供される。
【０００８】
本願の別の一方面によれば、上記対象物予測方法を実行するように構成されたプロセッサと、プロセッサが実行可能な命令を記憶するためのメモリと、を含む電子機器が提供される。
【０００９】
本願の別の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記対象物予測方法を実現するコンピュータ読み取り可能な記憶媒体が提供される。
【００１０】
本願の別の一方面によれば、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器において実行されると、前記電子機器内のプロセッサに上記対象物予測方法を実現するための命令を実行させるコンピュータプログラムが提供される。
【００１１】
本願の実施例によれば、予測対象の対象物の特徴情報を抽出し、特徴情報に基づいて前記予測対象の対象物に対する複数の中間予測結果を特定し、前記複数の中間予測結果を融合することで融合情報を得て、該融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定することができ、複数の目標予測結果の正確度の向上に寄与する。
【００１２】
以下、図面を参照しながら例示的な実施例を詳細に説明することにより、本願の他の特徴および方面は明確になる。
明細書に含まれ且つ明細書の一部を構成する図面は明細書と共に本願の例示的な実施例、特徴および方面を示し、さらに本願の原理を解釈するために用いられる。
【図面の簡単な説明】
【００１３】
【図１】例示的な実施例に基づいて示される対象物予測方法のフローチャートである。
【図２】例示的な実施例に基づいて示される対象物予測方法のフローチャートである。
【図３】例示的な実施例に基づいて示される対象物予測方法の応用シーンの模式図である。
【図４】例示的な実施例に基づいて示される拡張畳み込みの模式図である。
【図５】例示的な実施例に基づいて示される対象物予測方法のフローチャートである。
【図６】例示的な実施例に基づいて示される対象物予測方法のフローチャートである。
【図７ａ】例示的な実施例に基づいて示される対象物予測方法の応用シーンの模式図である。
【図７ｂ】例示的な実施例に基づいて示される対象物予測方法の応用シーンの模式図である。
【図７ｃ】例示的な実施例に基づいて示される対象物予測方法の応用シーンの模式図である。
【図８】例示的な実施例に基づいて示される対象物予測方法のフローチャートである。
【図９】例示的な実施例に基づいて示される対象物予測方法におけるニューラルネットワークの訓練のフローチャートである。
【図１０】例示的な実施例に基づいて示される対象物予測方法におけるニューラルネットワークの訓練のフローチャートである。
【図１１】例示的な実施例に基づいて示される対象物予測方法のフローチャートである。
【図１２】例示的な実施例に基づいて示される対象物予測方法のフローチャートである。
【図１３】例示的な実施例に基づいて示される対象物予測装置のブロック図である。
【図１４】例示的な実施例に基づいて示される対象物予測装置のブロック図である。
【図１５】例示的な実施例に基づいて示される対象物予測装置のブロック図である。
【図１６】例示的な実施例に基づいて示される対象物予測装置のブロック図である。
【図１７】例示的な実施例に基づいて示される電子機器のブロック図である。
【発明を実施するための形態】
【００１４】
以下に図面を参照しながら本願の様々な例示的実施例、特徴および方面を詳細に説明する。図面における同じ符号は同じまたは類似の機能を有する要素を表す。図面に実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【００１５】
ここで「例示的な」という用語は、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」として説明されるいかなる実施例も、他の実施例より好ましい又は優れるものであると解釈されるべきではない。
【００１６】
また、本願をより効果的に説明するために、以下の具体的な実施形態において多くの具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本願は同様に実施可能であることを理解すべきである。いくつかの実施例では、本願の趣旨を強調するために、当業者に既知の方法、手段、要素および回路について、詳細な説明を行わない。
【００１７】
図１は例示的な実施例に基づいて示される対象物予測方法のフローチャートである。該方法は電子機器に用いられることができる。該電子機器は端末、サーバまたは他の形態の機器として提供されることができる。図１に示すように、本願の実施例に係る対象物予測方法は、
ステップＳ１０１で、予測対象の対象物の特徴を抽出し、前記予測対象の対象物の特徴情報を得ることと、
ステップＳ１０２で、前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定することと、
ステップＳ１０３で、前記複数の中間予測結果を融合し、融合情報を得ることと、
ステップＳ１０４で、前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定することと、を含む。
【００１８】
本願の実施例によれば、予測対象の対象物の特徴情報を抽出し、特徴情報に基づいて前記予測対象の対象物に対する複数の中間予測結果を特定し、前記複数の中間予測結果を融合することで融合情報を得て、該融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定することができ、複数の目標予測結果の正確度の向上に寄与する。
【００１９】
関連技術では、深層学習技術は様々な対象物予測タスク、例えば、深度推定予測タスク（深度推定はシーンの三次元情報を提供できる）、シーン分割予測タスク（シーン分割はシーンの二次元セマンティックを生成できる）などに用いられることができる。対象物予測は様々な重要の応用分野において広く応用可能であり、例えば、深度推定予測およびシーン分割予測は知的ビデオ分析、道路シーンモデリングおよび自動運転などの応用分野において応用可能である。
【００２０】
実際の使用では、複数の目標予測を同時に行う場合がある。例えば、同一のカメラによる画像またはシーケンスに対して深度推定およびシーン分割を同時に行う場合がある。しかし、複数の目標予測を同時に行うプロセスでは、例えば、深度推定が連続的な回帰課題であるが、シーン分割が離散的な分類課題であるように、複数の目標予測タスクに大きな差異が存在し得る。従って、複数の目標予測を同時に行った複数の目標予測結果の正確度の低い場合が多く、予測性能が悪い。このように、複数の目標予測を同時に行うことが非常に複雑であることが分かる。複数の目標予測を同時に行う場合における複数の目標予測結果の正確度の向上が緊急の課題となる。
【００２１】
本願の実施例では、予測対象の対象物の特徴を抽出し、前記予測対象の対象物の特徴情報を得て、前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定することができる。ここで、複数の中間予測結果は複数の階層（例えば、下位階層から上位階層）の中間予測結果としてもよい。それにより、最終の複数の目標予測の特定を補助できるマルチモーダルデータを生成する。前記複数の中間予測結果を融合することで融合情報を得て、前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定する。このように、予測対象の対象物の複数の目標予測結果を直接に特定し、かつ最終の予測層のみにおいてインタラクションによって複数の目標予測結果を改善する方式、または、組み合わせ最適化の目標関数を利用して訓練して得られたモデルによって複数の目標予測結果を直接に得る方式に比べ、本願の実施例は予測対象の対象物に基づいて特定された複数の中間予測結果を利用して最終の複数の目標予測結果の特定を補助的に指導し、複数の目標予測結果の正確度の向上に寄与する。
【００２２】
なお、本願の実施例は各種のマルチタスク予測、例えば、ＲＧＢ−Ｄによる行動認識、マルチセンサによる知的ビデオ監視、深度推定とシーン分割のデュアルタスク予測などに応用可能であることを理解すべきである。ここで、ニューラルネットワークは予測対象の対象物に基づいて訓練して得られてもよい。予測対象の対象物は各種の画像、例えば、ＲＧＢ画像などであってもよく、本願はこれを限定しない。予測対象の対象物の複数の中間予測結果は目標予測結果を含んでもよいし、複数の目標予測結果に関連するかまたは互いに補完するようにしてもよい。本願は複数の中間予測結果と複数の目標予測結果の対応関係、中間予測結果の数、目標予測結果の数などを限定しない。
【００２３】
以下、説明の便宜上、予測対象の対象物がＲＧＢ画像であり、中間予測結果が深度推定中間予測結果、表面法線中間予測結果、輪郭中間予測結果およびセマンティックセグメンテーション中間予測結果を含み、目標予測結果が深度推定結果およびシーン分割結果を含むことを例にして説明する。
【００２４】
例を挙げれば、予測対象の対象物（例えば、単一のＲＧＢ画像）の特徴を抽出し、前記予測対象の対象物の特徴情報を得る。例えば、予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、予測対象の対象物に対する特徴情報を得るようにしてもよい。ここで、特徴抽出ネットワークは各種の畳み込みニューラルネットワークを含んでもよい。例えば、特徴抽出ネットワークはＡｌｅｘ  Ｎｅｔネットワーク構造、ＶＧＧネットワーク構造およびＲｅｓＮｅｔネットワーク構造のうちの一つを使用してもよく、本願はこれを限定しない。
【００２５】
図２は例示的な実施例に基づいて示される対象物予測方法のフローチャートである。図３は例示的な実施例に基づいて示される対象物予測方法の応用シーンの模式図である。可能な一実施形態では、図２に示すように、ステップＳ１０１は、
ステップＳ１０１１で、予測対象の対象物の特徴を抽出し、複数の階層の特徴を得ることと、
ステップＳ１０１２で、前記複数の階層の特徴を集約し、前記予測対象の対象物に対する特徴情報を得ることと、を含んでもよい。
【００２６】
例を挙げれば、予測対象の対象物の特徴を抽出し、例えば、畳み込みニューラルネットワークを含む特徴抽出ネットワークによって予測対象の対象物の特徴を抽出する。ここで、畳み込みニューラルネットワークは複数の階層の畳み込み層、例えば、１階層目の畳み込み層からＮ階層目の畳み込み層を含んでもよく、各階層の畳み込み層は一つ以上のサブ畳み込み層を含んでもよい。予測対象の対象物の特徴を抽出することにより、複数の階層の特徴を得ることができる（例えば、各階層の畳み込み層における最後のサブ畳み込み層の特徴を各階層の特徴として特定する）。例えば、図３に示すように、４つの階層の特徴を得ることができる。
【００２７】
可能な一実施形態では、畳み込みニューラルネットワークを含む特徴抽出ネットワークによって予測対象の対象物の特徴を抽出する場合、拡張畳み込みによって、畳み込みの受容野を拡大し、得られた複数の階層の特徴により広い範囲の情報を含ませるようにしてもよい。
【００２８】
例を挙げれば、畳み込みニューラルネットワークにおける複数の階層の畳み込み層の最後のサブ畳み込み層の畳み込み構造は拡張畳み込み構造としてもよい。
【００２９】
図４は例示的な実施例に基づいて示される拡張畳み込みの模式図である。可能な一実施形態では、図４に示すように、該拡張畳み込みは穴のサイズが１であり、畳み込みカーネルのサイズが３＊３である。該サブ畳み込み層は特徴抽出プロセスで、図４における丸付き点は、３＊３の畳み込みカーネルとの畳み込みが行われ、残りの点（穴）は畳み込みが行われない。このように、拡張畳み込みにより、畳み込みの受容野が拡大し、特徴を抽出して得られた複数の階層の特徴により広い範囲の情報が含まれる。本願は予測対象の対象物の特徴を抽出し、複数の階層の特徴を得る方式、拡張畳み込みでの穴のサイズなどを限定しない。
【００３０】
可能な一実施形態では、複数の階層の特徴を集約し、前記予測対象の対象物に対する特徴情報を得るようにしてもよい。例えば、畳み込みニューラルネットワークにおける各階層の特徴を集約し、例えば、前からの３つの下位の階層の特徴を最後の階層の畳み込み層の特徴へ集約（例えば、重ね合わせによる融合）して、前記予測対象の対象物に対する特徴情報を得るようにしてもよい。
【００３１】
可能な一実施形態では、複数の階層の特徴を集約する場合に、各下位の階層の特徴を畳み込みによってダウンサンプリングし、バイリニア補間によって最後の階層の畳み込み層の特徴と同じ解像度の特徴を得るようにしてもよい。
【００３２】
例を挙げれば、各階層の特徴は解像度が異なり、例えば、最下位の階層の特徴は解像度が最も高く、最上位（例えば、最後の階層の畳み込み層の特徴）は解像度が最も低い。複数の階層の特徴を集約する場合に、各下位の階層の特徴を畳み込みによってダウンサンプリングし、バイリニア補間によって最後の階層の畳み込み層の特徴と同じ解像度の特徴を得て、集約する（例えば、処理後の解像度が同じである複数の階層の特徴を重ね合わせて融合し、予測対象の対象物の特徴情報を得る）ようにしてもよい。なお、各下位の階層の特徴に対して畳み込みを行うことで、特徴チャネルの数を制御して、集約処理においてより効率的に記憶することもできることを理解すべきである。
【００３３】
このように、前記予測対象の対象物に対する、中間予測結果をより効果的に予測するための特徴情報を得ることができる。本願は予測対象の対象物の特徴を抽出し、前記予測対象の対象物の特徴情報を得る方式を限定しない。
【００３４】
図１に示すように、ステップＳ１０２で、前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定する。
【００３５】
例を挙げれば、予測対象の対象物の特徴情報に基づき、予測対象の対象物に対する複数の中間予測結果を特定するようにしてもよい。例えば、予測対象の対象物の特徴情報を異なる中間予測タスクとして再構成し、前記予測対象の対象物に対する複数の中間予測結果を特定するようにしてもよい。中間予測結果は目標予測結果の特定を補助するために用いられることができる。
【００３６】
図５は例示的な実施例に基づいて示される対象物予測方法のフローチャートである。可能な一実施形態では、図５に示すように、ステップＳ１０２は以下のステップを含んでもよい。
【００３７】
ステップＳ１０２１で、前記特徴情報を再構成し、複数の再構成特徴を得る。
【００３８】
例を挙げれば、特徴情報を再構成し、例えば、特徴情報に対して逆畳み込みを行い、複数の再構成特徴を得るようにしてもよい。例えば、図３に示すように、特徴情報に対して逆畳み込みを行い、４つの再構成特徴をそれぞれ得るようにしてもよい。特徴情報に対して逆畳み込みを行う場合に、解像度が互いに同じでありかつ特徴情報の解像度の２倍である４つの再構成特徴を得ることができる。
【００３９】
ステップＳ１０２２で、複数の再構成特徴に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定する。
【００４０】
例を挙げれば、複数の再構成特徴に対してそれぞれ畳み込みを行い、複数の中間予測タスクの中間予測結果を得るようにしてもよい。ここで、複数の再構成特徴に対してそれぞれ畳み込みを行うことにより、対応する複数の中間予測タスクの中間情報を得ることができる。複数の中間予測タスクの中間情報をバイリニア補間によって処理し、解像度が予測対象の対象物の元の解像度の四分の一である複数の中間予測結果を得るようにしてもよい。例えば、図３に示すように、前記予測対象の対象物に対する深度推定中間予測結果、表面法線中間予測結果、輪郭中間予測結果およびセマンティックセグメンテーション中間予測結果を特定できる。
【００４１】
このように、前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定できる。該複数の中間予測結果は複数の目標予測結果の特定を補助するために用いられることができる。本願は前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定する方式を限定しない。
【００４２】
図１に示すように、ステップＳ１０３で、前記複数の中間予測結果を融合し、融合情報を得る。
【００４３】
例を挙げれば、予測対象の対象物に対する複数の中間予測結果（マルチモーダルデータ）を特定すると、様々な方式で複数の中間予測結果を融合して、予測対象の対象物に対する複数の目標予測結果を特定するために用いられる融合情報を得ることができる。ここで、融合情報は一つ以上としてもよい。融合情報は一つとする場合、該融合情報は予測対象の対象物に対する複数の目標予測結果をそれぞれ特定するために用いられるようにしてもよい。該融合情報は複数個としてもよく、例えば、複数の中間予測結果を融合し、各目標予測結果を特定するための複数の融合情報をそれぞれ得るようにしてもよい。このように、複数の中間予測結果を融合することで、複数の関連タスク（中間予測結果）に由来するより多くの情報を効果的に結合して、それによって複数の目標予測結果の正確度を向上させる融合情報を得る。本願は融合情報を得る方式、融合情報の数などを限定しない。
【００４４】
例えば、深度推定中間予測結果、表面法線中間予測結果、輪郭中間予測結果およびセマンティックセグメンテーション中間予測結果を融合し、融合情報を得る。
【００４５】
図６は例示的な実施例に基づいて示される対象物予測方法のフローチャートである。図７ａ、図７ｂおよび図７ｃはそれぞれ例示的な実施例に基づいて示される対象物予測方法の応用シーンの模式図である。可能な一実施形態では、図６に示すように、ステップＳ１０３は以下のステップを含んでもよい。
【００４６】
ステップＳ１０３１で、前記複数の中間予測結果を再処理し、複数の中間予測結果の再処理結果を得る。
【００４７】
例を挙げれば、より豊富な情報を得て、かつ複数の中間予測結果間の差を小さくするために、複数の中間予測結果を再処理し、例えば複数の中間予測結果に対して畳み込みを行い、複数の中間予測結果の再処理結果を得るようにしてもよい。ここで、得られた複数の中間予測結果の再処理結果は中間予測結果の大きさと同じであるようにしてもよい。
【００４８】
例えば、図７ａ、７ｂおよび７ｃに示すように、
【数１】
2021512407.tif 000003
、
【数２】
2021512407.tif 000004
、
【数３】
2021512407.tif 000005
および
【数４】
2021512407.tif 000006
はそれぞれ４つの中間予測結果（例えば、深度推定中間予測結果、表面法線中間予測結果、輪郭中間予測結果およびセマンティックセグメンテーション中間予測結果）を表す。前記複数の中間予測結果を再処理し、複数の中間予測結果の再処理結果、例えば、
【数５】
2021512407.tif 000007
、
【数６】
2021512407.tif 000008
、
【数７】
2021512407.tif 000009
および
【数８】
2021512407.tif 000010
の４つの対応する再処理結果を得る。
【００４９】
ステップＳ１０３２で、前記複数の中間予測結果の再処理結果を融合し、融合情報を得る。
【００５０】
例を挙げれば、複数の中間予測結果の再処理結果を融合し、融合情報を得るようにしてもよい。
【００５１】
可能な一実施形態では、ステップＳ１０３２は、前記複数の中間予測結果の再処理結果を重ね合わせ、融合情報を得ることを含んでもよい。
【００５２】
図７ａに示すように、
【数９】
2021512407.tif 000011
、
【数１０】
2021512407.tif 000012
、
【数１１】
2021512407.tif 000013
および
【数１２】
2021512407.tif 000014
の４つの対応する再処理結果を重ね合わせ（例えば、線形重ね合わせなど）、融合情報
【数１３】
2021512407.tif 000015
を得る。該融合情報
【数１４】
2021512407.tif 000016
は予測対象の対象物に対する複数の目標予測結果を特定するために用いられることができ、例えば、図７ａに示すように、該融合情報
【数１５】
2021512407.tif 000017
を深度推定タスク分岐およびシーン分割タスク分岐にそれぞれ入力し、前記予測対象の対象物に対する深度推定結果およびシーン分割結果を特定することができる。
【００５３】
このように、複数の目標予測結果を特定するための融合情報を得ることができる。本願は中間予測結果の再処理結果を重ね合わせる方式を限定しない。
【００５４】
可能な一実施形態では、複数の中間予測結果は、目標予測結果との関連度が最も高い第一中間予測結果、および第二中間予測結果を含む。
【００５５】
例を挙げれば、上述したように、複数の中間予測結果はそれぞれ深度推定中間予測結果、表面法線中間予測結果、輪郭中間予測結果およびセマンティックセグメンテーション中間予測結果である。ここで、目標予測結果が深度推定結果であることを例にして説明し、複数の中間予測結果を第一中間予測結果と第二中間予測結果に分けてもよい。ただし、第一中間予測結果は、目標予測結果（深度推定結果）との関連度が最も高い深度推定中間予測結果とする。他の三つの中間予測結果は第二中間予測結果としてもよい。
【００５６】
可能な一実施形態では、ステップＳ１０３２はさらに、
前記第二中間予測結果の再処理結果を処理し、参照結果を得ることと、
前記第一中間予測結果の再処理結果と前記参照結果とを重ね合わせ、前記目標予測結果に対する融合情報を得ることと、を含んでもよい。
【００５７】
以下に融合情報を特定するための一つの例示的な式（１）を提供する。
【数１６】
2021512407.tif 000018
式（１）中、
【数１７】
2021512407.tif 000019
はｋ番目の目標予測結果に対する融合情報を表し、
【数１８】
2021512407.tif 000020
はｋ番目の目標予測結果に対する融合情報を特定するプロセスでの、ｋ番目の中間予測結果（第一中間予測結果）の再処理結果を表し、
【数１９】
2021512407.tif 000021
は畳み込み操作を表し、
【数２０】
2021512407.tif 000022
はｔ番目の中間予測結果（第二中間予測結果）の再処理結果を表し、
【数２１】
2021512407.tif 000023
はｔ番目の中間予測結果およびｋ番目の中間予測結果に関連する畳み込みカーネルのパラメータを表し、ここで、ｋ、ｔ、Ｔは正整数であり、ｔは変数であり、ｔの値は１からＴとし、ｔ≠ｋである。
【数２２】
2021512407.tif 000024
はその右の部分の重ね合わせによって左の部分の融合情報を得ることができることを表す。
【００５８】
例を挙げれば、上述したように、二つの目標予測タスクを含み、予測対象の対象物に対する二つの目標予測結果を特定する。ここで１番目の目標予測結果（深度推定結果、ｋ＝１）の融合情報を特定することを例にして説明する。
【００５９】
例えば、
【数２３】
2021512407.tif 000025
（深度推定中間予測結果）、
【数２４】
2021512407.tif 000026
、
【数２５】
2021512407.tif 000027
および
【数２６】
2021512407.tif 000028
のうち、
【数２７】
2021512407.tif 000029
を１番目の目標予測結果との関連度が最も高い第一中間予測結果と特定し、
【数２８】
2021512407.tif 000030
、
【数２９】
2021512407.tif 000031
および
【数３０】
2021512407.tif 000032
をそれぞれ第二中間予測結果と特定することができる。
【００６０】
可能な一実施形態では、前記第二中間予測結果の再処理結果を処理し、参照結果を得る。
【００６１】
例を挙げれば、式（１）によって、例えば、
【数３１】
2021512407.tif 000033
、
【数３２】
2021512407.tif 000034
および
【数３３】
2021512407.tif 000035
に対してそれぞれ畳み込みを行い、３つの参照結果をそれぞれ得るように、前記第二中間予測結果の再処理結果を処理するようにしてもよい。
【００６２】
可能な一実施形態では、前記第一中間予測結果の再処理結果と前記参照結果とを重ね合わせ、前記目標予測結果に対する融合情報を得ることができる。
【００６３】
例を挙げれば、式（１）によって、前記第一中間予測結果の再処理結果と前記参照結果とを重ね合わせ（例えば、画素のそれぞれに対して、第一中間予測結果の再処理結果である該画素の情報と別の３つの参照結果である該画素の情報とを重ね合わせ）、前記目標予測結果に対する融合情報を得ることができる。例えば、図７ｂに示すように、１番目の目標予測結果に対する融合情報であって、１番目の目標予測結果を特定するために用いられる融合情報
【数３４】
2021512407.tif 000036
を得る。なお、式（１）によって複数の目標予測結果に対する融合情報をそれぞれ得ることができることを理解すべきである。
【００６４】
このように、複数の目標予測結果に対する融合情報であって、目標予測結果との関連度が最も高い第一中間予測結果の再処理結果における情報をより多く含み、マルチモーダルデータのスムーズな融合を実現可能な融合情報を特定できる。本願は前記第一中間予測結果の再処理結果と前記参照結果とを重ね合わせ、前記目標予測結果に対する融合情報を得る具体的な方式を限定しない。
【００６５】
可能な一実施形態では、ステップＳ１０３２はさらに、前記第一中間予測結果の再処理結果に基づき、アテンション（Ａｔｔｅｎｔｉｏｎ）メカニズムによって特定される参照係数であるアテンション係数を特定することと、
前記第二中間予測結果の再処理結果を処理し、参照結果を得ることと、
前記参照結果と前記アテンション係数とのドット積を求め、アテンション内容を得ることと、
前記第一中間予測結果の再処理結果と前記アテンション内容とを重ね合わせ、前記目標予測結果に対する融合情報を得ることと、を含んでもよい。
【００６６】
以下にアテンション係数を特定するための一つの例示的な式（２）を提供する。
【数３５】
2021512407.tif 000037
式（２）中、
【数３６】
2021512407.tif 000038
はｋ番目の目標予測結果に対する融合情報を特定するプロセスで、第一中間予測結果の再処理結果に基づいて特定されるアテンション係数を表す。
【数３７】
2021512407.tif 000039
は畳み込み操作を表し、
【数３８】
2021512407.tif 000040
は畳み込みパラメータを表し、
【数３９】
2021512407.tif 000041
はｋ番目の目標予測結果に対する融合情報を特定するプロセスでの、ｋ番目の中間予測結果（第一中間予測結果）の再処理結果を表し、
【数４０】
2021512407.tif 000042
はｓｉｇｍｏｉｄ関数を表す。
【００６７】
例を挙げれば、前記第一中間予測結果の再処理結果に基づき、アテンションメカニズムによって特定される参照係数であるアテンション係数を特定するようにしてもよい。ここで１番目の目標予測結果（深度推定結果、ｋ＝１）の融合情報を特定することを例にして説明する。
【００６８】
例えば、図７ｃに示すように、第一中間予測結果の再処理結果
【数４１】
2021512407.tif 000043
に基づいて、アテンションメカニズムによって特定される参照係数であり、かつ複数の第二中間予測結果をフィルタし、情報の伝達や融合を指導するために用いられる（例えば、第二中間予測結果に由来する情報をより注意するか又は無視するかのために用いられる）ことが可能なアテンション係数
【数４２】
2021512407.tif 000044
を特定してもよい。
【００６９】
以下に融合情報を特定するための一つの例示的な式（３）を提供する。
【数４３】
2021512407.tif 000045
式（３）中、
【数４４】
2021512407.tif 000046
はｋ番目の目標予測結果に対する融合情報を表し、
【数４５】
2021512407.tif 000047
はｋ番目の目標予測結果に対する融合情報を特定するプロセスでの、ｋ番目の中間予測結果（第一中間予測結果）の再処理結果を表し、
【数４６】
2021512407.tif 000048
は畳み込み操作を表し、
【数４７】
2021512407.tif 000049
はｔ番目の中間予測結果（第二中間予測結果）の再処理結果を表し、
【数４８】
2021512407.tif 000050
はｔ番目の中間予測結果に関連する畳み込みカーネルのパラメータを表し、
【数４９】
2021512407.tif 000051
はｋ番目の目標予測結果に対する融合情報を特定するプロセスで、第一中間予測結果の再処理結果に基づいて特定されたアテンション係数を表し、
【数５０】
2021512407.tif 000052
はドット積を求める処理を表し、ここで、ｋ、ｔ、Ｔは正整数であり、ｔは変数であり、ｔの値は１からＴとし、ｔ≠ｋである。
【数５１】
2021512407.tif 000053
はその右の部分の重ね合わせによって左の部分の融合情報を得ることができることを表す。
【００７０】
可能な一実施形態では、前記第二中間予測結果の再処理結果を処理して、参照結果を得るようにしてもよい。
【００７１】
例を挙げれば、式（３）によって、前記第二中間予測結果の再処理結果を処理し、例えば、
【数５２】
2021512407.tif 000054
、
【数５３】
2021512407.tif 000055
および
【数５４】
2021512407.tif 000056
に対してそれぞれ畳み込みを行い、３つの参照結果をそれぞれ得るようにしてもよい。
【００７２】
可能な一実施形態では、前記参照結果と前記アテンション係数とのドット積を求め、アテンション内容を得るようにしてもよい。
【００７３】
例を挙げれば、式（２）によってアテンション係数を特定して得ることができる。例えば、各画素の対応するアテンション係数を得ることができる。参照結果と前記アテンション係数とのドット積を求め、アテンション内容を得ることができる。
【数５５】
2021512407.tif 000057
、
【数５６】
2021512407.tif 000058
および
【数５７】
2021512407.tif 000059
によって得られた参照結果とアテンション係数とのドット積を求め、それぞれ対応するアテンション内容を得ることができる。
【００７４】
可能な一実施形態では、前記第一中間予測結果の再処理結果と前記アテンション内容とを重ね合わせ、前記目標予測結果に対する融合情報を得る。
【００７５】
例を挙げれば、式（３）によって、前記第一中間予測結果の再処理結果と前記複数のアテンション内容とを重ね合わせ（例えば、画素のそれぞれに対して、第一中間予測結果の再処理結果である該画素の情報と別の３つのアテンション内容である該画素の情報とを重ね合わせ）、前記目標予測結果に対する融合情報を得ることができる。例えば、図７ｃに示すように、１番目の目標予測結果に対する融合情報であって、１番目の目標予測結果を特定するために用いられることが可能な融合情報
【数５８】
2021512407.tif 000060
を得る。なお、式（１）によって複数の目標予測結果に対する融合情報をそれぞれ得ることができることを理解すべきである。
【００７６】
このように、複数の目標予測結果に対する、目標予測結果との関連度が最も高い第一中間予測結果の再処理結果における情報をより多く含む融合情報を特定でき、第一中間予測結果の再処理結果に基づいて特定されたアテンション係数により、複数の第二中間予測結果をフィルタし、情報の伝達や融合を指導し（例えば、第二中間予測結果に由来する情報をより注意するか又は無視するかのために用いられる）、それにより複数の目標予測結果に対する融合情報の指向性を向上させることができる。本願はアテンション係数を特定する方式、参照結果を特定する方式、アテンション内容を特定する方式および融合情報を特定する方式を限定しない。
【００７７】
図１に示すように、ステップＳ１０４で、前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定する。
【００７８】
例を挙げれば、融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定するようにしてもよい。例えば、特定された融合情報が一つである場合、該融合情報を目標予測タスクのための複数の分岐にそれぞれ入力し、複数の目標予測結果を特定するようにしてもよい。特定された融合情報が異なる目標予測タスクに対する異なる融合情報である場合、対応する融合情報を対応する目標予測タスクの分岐に入力し、複数の目標予測結果を特定するようにしてもよい。なお、複数の目標予測タスクは一つのサブネットワーク（例えば、ニューラルネットワークの第二予測ネットワーク）によって実現できることを理解すべきである。該サブネットワークは異なる分岐を含んでもよく、各分岐はタスクの複雑度に応じて異なる深さの各種のネットワークを採用し、異なるネットワークパラメータおよび異なる設計を有してもよい。本願は前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定する方式、複数の目標予測タスクのサブネットワークの構造および設計などを限定しない。
【００７９】
例えば、前記融合情報に基づき、前記予測対象の対象物に対する深度推定結果およびシーン分割結果を特定する。
【００８０】
図８は例示的な実施例に基づいて示される対象物予測方法のフローチャートである。可能な一実施形態では、図８に示すように、ステップＳ１０４は、
ステップＳ１０４１で、複数の目標予測結果に対する融合情報を特定することと、
ステップＳ１０４２で、前記融合情報を処理し、目標特徴を得ることと、
ステップＳ１０４３で、前記目標特徴に基づき、複数の目標予測結果を特定することと、を含んでもよい。
【００８１】
例を挙げれば、複数の目標予測結果に対する融合情報を特定してもよい。例えば、図７ｂに示すように、深度推定結果に対する融合情報が
【数５９】
2021512407.tif 000061
、シーン分割結果に対する融合情報が
【数６０】
2021512407.tif 000062
であると特定する。融合情報を処理して目標特徴を得て、目標特徴に基づき、複数の目標予測結果を特定するようにしてもよい。
【００８２】
ここで、深度推定結果を特定することを例にして説明する。
【００８３】
例を挙げれば、深度推定結果に対する融合情報
【数６１】
2021512407.tif 000063
を処理し、目標特徴を得るようにしてもよい。例えば、融合情報
【数６２】
2021512407.tif 000064
に対して逆畳み込みを二回連続的に行うようにしてもよい。上述したように、複数の中間予測結果の解像度は予測対象の対象物の元の解像度の四分の一であるので、逆畳み込みを二回連続的に行う（１回毎に２倍に拡大する）ことで、解像度が予測対象の対象物の元の解像度と同じである目標特徴を得ることができる。目標特徴に基づき、目標予測結果を特定できる。例えば、該目標特徴に対して畳み込みを行い、目標予測結果を特定して得ることができる。
【００８４】
このように、融合情報に基づき、予測対象の対象物に対する複数の目標予測結果を特定できる。本願は融合情報に基づき、予測対象の対象物に対する複数の目標予測結果を特定する方式を限定しない。
【００８５】
なお、上記方法は訓練されておいたニューラルネットワークを使用して複数の目標予測結果を特定するシーンに適用してもよいし、また、ニューラルネットワークの訓練プロセスに適用してもよいことを理解すべきであり、本願の実施例はこれを限定しない。可能な一実施形態では、訓練されておいたニューラルネットワークを使用して複数の目標予測結果を特定する前に、予測対象の対象物に基づいて前記ニューラルネットワークを訓練するステップを含んでもよい。
【００８６】
図９は例示的な実施例に基づいて示される対象物予測方法におけるニューラルネットワークの訓練のフローチャートである。可能な一実施形態では、図９に示すように、予測対象の対象物に基づいて前記ニューラルネットワークを訓練するステップは、
ステップＳ１０５で、前記予測対象の対象物を前記ニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得ることと、
ステップＳ１０６で、前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定することと、
ステップＳ１０７で、前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、前記融合情報を得ることと、
ステップＳ１０８で、前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定することと、
ステップＳ１０９で、前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定することと、
ステップＳ１１０で、前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整することと、を含んでもよい。
【００８７】
例を挙げれば、予測対象の対象物を前記ニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得るようにしてもよい。前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定する。例えば、４つの中間予測結果を特定する。
【００８８】
前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、前記融合情報を得て、前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定する。前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定する。
【００８９】
例えば、前記予測対象の対象物に対する４つの中間予測結果を特定し、前記予測対象の対象物に対する２つの目標予測結果を最終的に特定する場合、訓練プロセスでは、特定されるニューラルネットワークのモデル損失は６つの損失関数の損失の和（４つの中間予測結果それぞれの損失、２つの目標予測結果それぞれの損失を含む）としてもよい。ここで、各損失関数は異なるタイプのものを含んでもよく、例えば、輪郭中間予測タスクでは、損失関数は交差エントロピー損失関数としてもよく、セマンティックセグメンテーション中間予測タスク（シーン分割予測タスク）では、損失関数はＳｏｆｔｍａｘ損失関数としてもよい。深度推定中間予測タスク（深度推定予測タスク）、表面法線中間予測タスクでは、損失関数はユークリッド距離損失関数としてもよい。ニューラルネットワークのモデル損失を特定する場合には、各損失関数の損失重みは全て同じであるようにしなくてもよい。例えば、深度推定中間予測タスク、深度推定予測タスク、シーン分割予測タスクおよびセマンティックセグメンテーション中間予測タスクの損失関数の損失重みは１としてもよく、表面法線中間予測タスクおよび輪郭中間予測タスクの損失関数の損失重みは０．８としてもよい。本願は損失関数のタイプ、各損失関数の損失重みなどを限定しない。
【００９０】
可能な一実施形態では、前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整してもよい。例えば、後方勾配アルゴリズムなどを用いてネットワークパラメータ値を調整する。適当な方式でニューラルネットワークのネットワークパラメータ値を調整できることを理解すべきであり、本願はこれを限定しない。
【００９１】
数回調整した後、予め設定された訓練条件を満たす場合、例えば調整回数が予め設定された訓練回数閾値に達した場合、またはモデル損失が予め設定された損失閾値以下になる場合、現在のニューラルネットワークを最終のニューラルネットワークとして特定し、ニューラルネットワークの訓練プロセスを完了させることができる。なお、当業者であれば、実際の状況に応じて訓練条件および損失閾値を設定することができることを理解すべきであり、本願はこれを限定しない。
【００９２】
このように、複数の目標予測結果を正確に取得可能なニューラルネットワークを訓練して得ることができる。訓練プロセスでは、予測対象の対象物（例えば、一つのＲＧＢ画像）を入力することで、特徴情報を得て、特徴情報に基づいて複数の中間予測結果を得ることができる。複数の中間予測結果はより上位の特徴を学習するための教師情報として使用できるのみならず、より豊富なマルチモーダルデータを提供して最終の目標予測タスクを改善し、最終の複数の目標予測結果の特定を補助し、複数の目標予測タスクの汎化性能および予測性能を同時に向上させ、複数の目標予測結果の正確度を向上させることもできる。
【００９３】
また、本願の実施例によれば、予測対象の対象物を入力してニューラルネットワークを訓練するプロセスでは、異なる損失関数を直接に使用し、複数の目標予測結果を同時に直接に訓練するのではなく、複数の中間予測結果を特定し、複数の中間予測結果によって複数の目標予測結果の特定を補助し、それによりニューラルネットワークの訓練の複雑度が低下され、高い訓練効率および効果が保証される。
【００９４】
図１０は例示的な実施例に基づいて示される対象物予測方法におけるニューラルネットワークの訓練のフローチャートである。可能な一実施形態では、図１０に示すように、予測対象の対象物に基づいて前記ニューラルネットワークを訓練するステップはさらに、
ステップＳ１１１で、前記予測対象の対象物を前記ニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得る前に、前記複数の目標予測結果のラベル付け情報を特定することと、
ステップＳ１１２で、前記複数の目標予測結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定することと、を含む。
【００９５】
例を挙げれば、上述したように、目標予測結果は深度推定結果およびシーン分割結果を含む。ニューラルネットワークを訓練するプロセスでは、この二つの目標予測結果のラベル付け情報を特定するようにしてもよい。例えば、手動でレベル付けするなどの方式で特定する。深度推定結果およびシーン分割結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定するようにしてもよい。例えば、中間予測結果は深度推定中間予測結果、表面法線中間予測結果、輪郭中間予測結果およびセマンティックセグメンテーション中間予測結果を含む。ここで、深度推定結果およびシーン分割結果のラベル付け情報をそれぞれ深度推定中間予測結果およびセマンティックセグメンテーション中間予測結果のラベル付け情報として特定するようにしてもよい。輪郭中間予測結果のラベル付け情報はシーン分割結果のラベル付け情報に基づいて推算して得て、表面法線中間予測結果のラベル付け情報は深度推定結果のラベル付け情報に基づいて推算して得るようにしてもよい。
【００９６】
このように、ニューラルネットワークの訓練プロセスでは、前記複数の目標予測結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定することにより、過度のラベル付けタスクを完了することなく、多くのラベル付け情報を教師情報としてニューラルネットワークを訓練し、ニューラルネットワークの訓練の効率を向上させる。本願は前記複数の目標予測結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定する方式を限定しない。
【００９７】
図１１は例示的な実施例に基づいて示される対象物予測方法のフローチャートである。該方法は電子機器に用いられることができる。該電子機器は端末、サーバまたは他の形態の機器として提供できる。図１１に示すように、本願の実施例に係る対象物予測方法は、
ステップＳ２０１で、予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得ることと、
ステップＳ２０２で、前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定することと、
ステップＳ２０３で、前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、前記融合情報を得ることと、
ステップＳ２０４で、前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定することと、
ステップＳ２０５で、前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定することと、
ステップＳ２０６で、前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整することと、を含む。
【００９８】
本願の実施例によれば、予測対象の対象物に基づいて、予測対象の対象物に対する複数の目標予測結果を特定するために用いられることが可能なニューラルネットワークを訓練して得ることができる。
【００９９】
例を挙げれば、上述したように、ニューラルネットワークを訓練して得ることができ、ここでは説明を省略する。
【０１００】
図１２は例示的な実施例に基づいて示される対象物予測方法のフローチャートである。可能な一実施形態では、図１２に示すように、前記方法はさらに、
ステップＳ２０７で、予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得る前に、前記複数の目標予測結果のラベル付け情報を特定することと、
ステップＳ２０８で、前記複数の目標予測結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定することと、を含む。
【０１０１】
例を挙げれば、上述したとおりであり、ここでは説明を省略する。
【０１０２】
以上、本願の例示的な実施例を説明した。例示的な実施例に対する上記説明は本願を限定するものではなく、例示的な実施例における各技術的特徴は、実際の必要およびロジックに応じて任意に組み合わせ、修正および変更して、異なる技術的解決手段を形成することができ、これらの技術的解決手段は全て本願の実施例の一部に属することを理解すべきである。
【０１０３】
図１３は例示的な実施例に基づいて示される対象物予測装置のブロック図である。図１３に示すように、前記対象物予測装置は、
予測対象の対象物の特徴を抽出し、前記予測対象の対象物の特徴情報を得るように構成された特徴抽出モジュール３０１と、
前記特徴情報に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定するように構成された中間予測結果特定モジュール３０２と、
前記複数の中間予測結果を融合し、融合情報を得るように構成された融合モジュール３０３と、
前記融合情報に基づき、前記予測対象の対象物に対する複数の目標予測結果を特定するように構成された目標予測結果特定モジュール３０４と、を含む。
【０１０４】
図１４は例示的な実施例に基づいて示される対象物予測装置のブロック図である。図１４に示すように、可能な一実施形態では、前記特徴抽出モジュール３０１は、
予測対象の対象物の特徴を抽出し、複数の階層の特徴を得るように構成された特徴取得サブモジュール３０１１と、
前記複数の階層の特徴を集約し、前記予測対象の対象物に対する特徴情報を得るように構成された特徴情報取得サブモジュール３０１２と、を含む。
【０１０５】
図１４に示すように、可能な一実施形態では、前記中間予測結果特定モジュール３０２は、
前記特徴情報を再構成し、複数の再構成特徴を得るように構成された再構成特徴取得サブモジュール３０２１と、
複数の再構成特徴に基づき、前記予測対象の対象物に対する複数の中間予測結果を特定するように構成された中間予測結果取得サブモジュール３０２２と、を含む。
【０１０６】
図１４に示すように、可能な一実施形態では、前記融合モジュール３０３は、
前記複数の中間予測結果を再処理し、複数の中間予測結果の再処理結果を得るように構成された再処理結果取得サブモジュール３０３１と、
前記複数の中間予測結果の再処理結果を融合し、融合情報を得るように構成された融合情報取得サブモジュール３０３２と、を含む。
【０１０７】
可能な一実施形態では、前記融合情報取得サブモジュール３０３２は、
前記複数の中間予測結果の再処理結果を重ね合わせ、融合情報を得るように構成される。
【０１０８】
可能な一実施形態では、前記複数の中間予測結果は、目標予測結果との関連度が最も高い第一中間予測結果、および第二中間予測結果を含み、
前記融合情報取得サブモジュール３０３２は、
前記第二中間予測結果の再処理結果を処理し、参照結果を得ることと、
前記第一中間予測結果の再処理結果と前記参照結果とを重ね合わせ、前記目標予測結果に対する融合情報を得ることとに用いられるように構成される。
【０１０９】
可能な一実施形態では、前記複数の中間予測結果は、目標予測結果との関連度が最も高い第一中間予測結果、および第二中間予測結果を含み、
前記融合情報取得サブモジュール３０３２は、
前記第一中間予測結果の再処理結果に基づき、アテンションメカニズムによって特定される参照係数であるアテンション係数を特定することと、
前記第二中間予測結果の再処理結果を処理し、参照結果を得ることと、
前記参照結果と前記アテンション係数とのドット積を求め、アテンション内容を得ることと、
前記第一中間予測結果の再処理結果と前記アテンション内容とを重ね合わせ、前記目標予測結果に対する融合情報を得ることとに用いられるように構成される。
【０１１０】
図１４に示すように、可能な一実施形態では、前記目標予測結果特定モジュール３０４は、
複数の目標予測結果に対する融合情報を特定するように構成された融合情報特定サブモジュール３０４１と、
前記融合情報を処理し、目標特徴を得るように構成された目標特徴取得サブモジュール３０４２と、
前記目標特徴に基づき、複数の目標予測結果を特定するように構成された目標予測結果特定サブモジュール３０４３と、を含む。
【０１１１】
可能な一実施形態では、前記ニューラルネットワークは予測対象の対象物に基づいて訓練して得られる。
【０１１２】
図１４に示すように、可能な一実施形態では、前記装置はさらに、
前記予測対象の対象物を前記ニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得るように構成された第一取得モジュール３０５と、
前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定するように構成された第一特定モジュール３０６と、
前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、前記融合情報を得るように構成された第二取得モジュール３０７と、
前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定するように構成された第二特定モジュール３０８と、
前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定するように構成された第三特定モジュール３０９と、
前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整するように構成されたネットワークパラメータ値調整モジュール３１０と、を含む。
【０１１３】
図１４に示すように、可能な一実施形態では、前記装置はさらに、
前記予測対象の対象物を前記ニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得る前に、前記複数の目標予測結果のラベル付け情報を特定するように構成されたラベル付け情報特定モジュール３１１と、
前記複数の目標予測結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定するように構成された中間ラベル付け情報特定モジュール３１２と、を含む。
【０１１４】
図１４に示すように、可能な一実施形態では、前記中間予測結果特定モジュール３０２は、
前記特徴情報に基づき、前記予測対象の対象物に対する深度推定中間予測結果、表面法線中間予測結果、輪郭中間予測結果およびセマンティックセグメンテーション中間予測結果を特定するように構成された第一特定サブモジュール３０２３を含み、
前記融合モジュール３０３は、
前記深度推定中間予測結果、前記表面法線中間予測結果、前記輪郭中間予測結果および前記セマンティックセグメンテーション中間予測結果を融合し、融合情報を得るように構成された取得サブモジュール３０３３を含み、
前記目標予測結果特定モジュール３０４は、
前記融合情報に基づき、前記予測対象の対象物に対する深度推定結果およびシーン分割結果を特定するように構成された第二特定サブモジュール３０４４を含む。
【０１１５】
図１５は例示的な実施例に基づいて示される対象物予測装置のブロック図である。図１５に示すように、前記対象物予測装置は、
予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得るように構成された第一情報取得モジュール４０１と、
前記特徴情報を前記ニューラルネットワークにおける第一予測ネットワークに入力して処理し、前記予測対象の対象物に対する複数の中間予測結果を特定するように構成された第一結果特定モジュール４０２と、
前記中間予測結果を前記ニューラルネットワークの融合ネットワークに入力して融合し、前記融合情報を得るように構成された第二情報取得モジュール４０３と、
前記融合情報を前記ニューラルネットワークにおける複数の第二予測ネットワークにそれぞれ入力して処理し、前記予測対象の対象物に対する複数の目標予測結果を特定するように構成された第二結果特定モジュール４０４と、
前記複数の中間予測結果、複数の中間予測結果のラベル付け情報、複数の目標予測結果および複数の目標予測結果のラベル付け情報に基づき、前記ニューラルネットワークのモデル損失を特定するように構成されたモデル損失特定モジュール４０５と、
前記モデル損失に基づき、前記ニューラルネットワークのネットワークパラメータ値を調整するように構成されたパラメータ調整モジュール４０６と、を含む。
【０１１６】
図１６は例示的な実施例に基づいて示される対象物予測装置のブロック図である。図１６に示すように、可能な一実施形態では、前記装置はさらに、
予測対象の対象物をニューラルネットワークにおける特徴抽出ネットワークに入力して特徴を抽出し、前記予測対象の対象物に対する特徴情報を得る前に、前記複数の目標予測結果のラベル付け情報を特定するように構成された第一情報特定モジュール４０７と、
前記複数の目標予測結果のラベル付け情報に基づき、前記複数の中間予測結果のラベル付け情報を特定するように構成された第二情報特定モジュール４０８と、を含む。
【０１１７】
図１７は例示的な実施例に基づいて示される電子機器のブロック図である。例えば、電子機器は端末、サーバまたは他の形態の機器として提供される。図１７を参照すると、機器１９００は一つ以上のプロセッサを含む処理コンポーネント１９２２、および処理コンポーネント１９２２により実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表としてのメモリリソースを含む。メモリ１９３２に記憶されるアプリケーションプログラムはそれぞれが一つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
【０１１８】
機器１９００は、機器１９００の電源管理を実行するように構成された一つの電源コンポーネント１９２６、機器１９００をネットワークに接続するように構成された一つの有線または無線ネットワークインタフェース１９５０、および一つの入出力（Ｉ／Ｏ）インタフェース１９５８をさらに含んでもよい。機器１９００はメモリ１９３２に記憶されるオペレーティングシステム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【０１１９】
例示的な実施例では、さらに、コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令が機器１９００の処理コンポーネント１９２２によって実行されると上記方法を実行することができる。
【０１２０】
例示的な実施例では、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器において実行されると、前記電子機器内のプロセッサに上記方法を実現するための命令を実行させるコンピュータプログラムをさらに提供する。
【０１２１】
本願はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本願の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。
【０１２２】
コンピュータ読み取り可能な記憶媒体は命令実行装置により使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０１２３】
ここで記述したコンピュータ読み取り可能なプログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
【０１２４】
本願の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本願の各方面を実現するようにしてもよい。
【０１２５】
なお、ここで本願の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本願の各方面を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることを理解すべきである。
【０１２６】
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能な記憶媒体には、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む。
【０１２７】
コンピュータ読み取り可能なプログラム命令をコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実現されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【０１２８】
図面のうちフローチャートおよびブロック図は、本願の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は、指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定された機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【０１２９】
以上、本願の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。
【図１】
2021512407.tif 000065
【図２】
2021512407.tif 000066
【図３】
2021512407.tif 000067
【図４】
2021512407.tif 000068
【図５】
2021512407.tif 000069
【図６】
2021512407.tif 000070
【図７ａ】
2021512407.tif 000071
【図７ｂ】
2021512407.tif 000072
【図７ｃ】
2021512407.tif 000073
【図８】
2021512407.tif 000074
【図９】
2021512407.tif 000075
【図１０】
2021512407.tif 000076
【図１１】
2021512407.tif 000077
【図１２】
2021512407.tif 000078
【図１３】
2021512407.tif 000079
【図１４】
2021512407.tif 000080
【図１５】
2021512407.tif 000081
【図１６】
2021512407.tif 000082
【図１７】
2021512407.tif 000083
【国際調査報告】
2021512407.tif 000084
2021512407.tif 000085
2021512407.tif 000086
2021512407.tif 000087