(57)【要約】【課題】本発明の実施例は、知能客体強化学習方法、装置、デバイス、及び媒体を開示する。【解決手段】当該方法は、知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得することと、前記現在環境画像の実際キーポイント視覚情報を取得することと、前記依存したキーポイント視覚情報と前記実際キーポイント視覚情報とに基づいて、注意力変化リワード情報を確定することと、前記注意力変化リワード情報に基づいて知能客体強化学習のリワードフィードバックを調整することと、を含む。【選択図】図１
2021532457.tif 000002
【特許請求の範囲】
【請求項１】
知能客体強化学習方法であって、
知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得することと、
前記現在環境画像の実際キーポイント視覚情報を取得することと、
前記依存したキーポイント視覚情報と前記実際キーポイント視覚情報とに基づいて、注意力変化リワード情報を確定することと、
前記注意力変化リワード情報に基づいて知能客体強化学習のリワードフィードバックを調整することと、を含む
ことを特徴とする知能客体強化学習方法。
【請求項２】
前記依存したキーポイント視覚情報は、前記知能客体がポリシーを実行する際の前記知能客体の前記現在環境画像に対する注意力領域を含む
ことを特徴とする請求項１に記載の知能客体強化学習方法。
【請求項３】
前記知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得することは、
前記知能客体の前記現在環境画像に対する価値注意力マップを取得することと、
前記価値注意力マップおよび前記現在環境画像に対して、合成処理を実行してヒートマップを取得することと、
前記ヒートマップに基づいて前記知能客体の前記現在環境画像に対する注意力領域を確定することと、を含む
ことを特徴とする請求項２に記載の知能客体強化学習方法。
【請求項４】
前記知能客体の前記現在環境画像に対する価値注意力マップを取得することは、
前記現在環境画像の特徴マップを取得することと、
前記特徴マップに基づいて、前記特徴マップの各チャネルを順に遮蔽して形成される各変更特徴マップを取得することと、
前記各変更特徴マップそれぞれの前記特徴マップに対する状態価値変化量を取得することと、
各状態価値変化量および各変更特徴マップに基づいて、前記価値注意力マップを形成することと、を含む
ことを特徴とする請求項３に記載の知能客体強化学習方法。
【請求項５】
前記現在環境画像の特徴マップを取得することは、
前記現在環境画像を畳み込みニューラルネットワークに入力し、前記畳み込みニューラルネットワークの最後の１層の畳み込み層から出力される特徴マップを取得することを含む
ことを特徴とする請求項４に記載の知能客体強化学習方法。
【請求項６】
前記各変更特徴マップそれぞれの前記特徴マップに対する状態価値変化量を取得することは、
前記各変更特徴マップを知能客体のバリューネットワークに入力して、前記各変更特徴マップの状態価値を取得することと、
前記バリューネットワークが前記特徴マップに対して出力した状態価値それぞれと前記各変更特徴マップの状態価値との差分を算出して、前記各変更特徴マップそれぞれの前記特徴マップに対する状態価値変化量を取得することと、を含む
ことを特徴とする請求項４または５に記載の知能客体強化学習方法。
【請求項７】
前記現在環境画像の実際キーポイント視覚情報は、現在環境画像における、目標物体が位置する領域を含む
ことを特徴とする請求項１〜６のいずれかに記載の知能客体強化学習方法。
【請求項８】
前記依存したキーポイント視覚情報と前記実際キーポイント視覚情報とに基づいて注意力変化リワード情報を確定することは、
前記知能客体がポリシーを実行する際の前記知能客体の前記現在環境画像に対する注意力領域と前記目標物体が位置する領域との共通部分と、目標物体が位置する領域と、の比率に基づいて、注意力変化リワード情報を確定することを含む
ことを特徴とする請求項７に記載の知能客体強化学習方法。
【請求項９】
前記知能客体強化学習のリワードフィードバックは、注意力変化リワード情報と、知能客体が現在環境画像に対してポリシーを実行して形成されたリワード情報と、を含む
ことを特徴とする請求項１〜８のいずれかに記載の知能客体強化学習方法。
【請求項１０】
前記依存したキーポイント視覚情報に基づいて、環境探査サイクルにおける探査程度を確定することと、
前記探査程度が所定の探査程度を満たさないと判断された場合、記憶した履歴訓練データを利用して経験再生を実行することと、をさらに含み、
前記履歴訓練データは、所定の要件を利用して、サンプリングされた強化学習訓練データを選別して取得した訓練データを含む
ことを特徴とする請求項１〜９のいずれかに記載の知能客体強化学習方法。
【請求項１１】
前記依存したキーポイント視覚情報に基づいて環境探査サイクルにおける探査程度を確定することは、
知能客体の環境探査サイクルにおける複数の隣接時点の現在環境画像に対する価値注意力マップ同士の間の変化情報に基づいて、当該環境探査サイクルにおける注意力変化量を確定することを含み、
ここで、前記注意力変化量は、前記環境探査サイクルにおける探査程度を判定するために用いられる
ことを特徴とする請求項１０に記載の知能客体強化学習方法。
【請求項１２】
前記環境探査サイクルにおける正のリワードおよび前記探査程度に基づいて、前記環境探査サイクルにおいてサンプリングされた強化学習訓練データの重要程度を確定することと、
当該環境探査サイクルにおいてサンプリングされた重要程度が所定の要件を満した強化学習訓練データを、履歴訓練データとして記憶することと、をさらに含む
ことを特徴とする請求項１１に記載の知能客体強化学習方法。
【請求項１３】
知能客体強化学習装置であって、
知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得するためのキーポイント視覚取得モジュールと、
前記現在環境画像の実際キーポイント視覚情報を取得するための実際視覚取得モジュールと、
前記依存したキーポイント視覚情報と前記実際キーポイント視覚情報とに基づいて、注意力変化リワード情報を確定するための変化リワード確定モジュールと、
前記注意力変化リワード情報に基づいて知能客体強化学習のリワードフィードバックを調整するためのリワードフィードバック調整モジュールと、を備える
ことを特徴とする知能客体強化学習装置。
【請求項１４】
前記依存したキーポイント視覚情報は、前記知能客体がポリシーを実行する際の前記知能客体の前記現在環境画像に対する注意力領域を含む
ことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記キーポイント視覚取得モジュールは、
前記知能客体の前記現在環境画像に対する価値注意力マップを取得し、
前記価値注意力マップおよび前記現在環境画像に対して、合成処理を実行してヒートマップを取得し、
前記ヒートマップに基づいて知能客体の前記現在環境画像に対する注意力領域を確定する
ことを特徴とする請求項１４に記載の装置。
【請求項１６】
前記キーポイント視覚取得モジュールは、
前記現在環境画像の特徴マップを取得し、
前記特徴マップに基づいて、前記特徴マップの各チャネルを順に遮蔽して形成される各変更特徴マップを取得し、
前記各変更特徴マップそれぞれの前記特徴マップに対する状態価値変化量を取得し、
各状態価値変化量および各変更特徴マップに基づいて、前記価値注意力マップを形成する
ことを特徴とする請求項１５に記載の装置。
【請求項１７】
前記キーポイント視覚取得モジュールは、
前記現在環境画像を畳み込みニューラルネットワークに入力し、前記畳み込みニューラルネットワークの最後の１層の畳み込み層から出力される特徴マップを取得し、
ここで、前記最後の１層の畳み込み層から出力される特徴マップは、前記キーポイント視覚取得モジュールによって取得された現在環境画像の特徴マップである
ことを特徴とする請求項１６に記載の装置。
【請求項１８】
前記キーポイント視覚取得モジュールは、
前記各変更特徴マップを知能客体のバリューネットワークに入力して、前記各変更特徴マップの状態価値を取得し、
前記バリューネットワークが前記特徴マップに対して出力した状態価値それぞれと前記各変更特徴マップの状態価値との差分を算出して、各変更特徴マップそれぞれの前記特徴マップに対する状態価値変化量を取得する
ことを特徴とする請求項１６〜１７のいずれか１項に記載の装置。
【請求項１９】
前記現在環境画像の実際キーポイント視覚情報は、現在環境画像における、目標物体が位置する領域を含む
ことを特徴とする請求項１３〜１８のいずれか１項に記載の装置。
【請求項２０】
前記変化リワード確定モジュールは、
前記知能客体がポリシーを実行する際の前記知能客体の前記現在環境画像に対する注意力領域と前記目標物体が位置する領域との共通部分と、目標物体が位置する領域と、の比率に基づいて、注意力変化リワード情報を確定する
ことを特徴とする請求項１９に記載の装置。
【請求項２１】
前記知能客体強化学習のリワードフィードバックは、注意力変化リワード情報と、知能客体が現在環境画像に対してポリシーを実行して形成されたリワード情報と、を含む
ことを特徴とする請求項１３〜２０のいずれか１項に記載の装置。
【請求項２２】
経験再生モジュールをさらに備え、
前記経験再生モジュールは、
前記依存したキーポイント視覚情報に基づいて、環境探査サイクルにおける探査程度を確定し、
前記探査程度が所定の探査程度を満たさないと判断された場合、記憶した履歴訓練データを利用して経験再生を行い、
前記履歴訓練データは、所定の要件を利用して、サンプリングされた強化学習訓練データを選別して取得した訓練データを含む
ことを特徴とする請求項１３〜２１のいずれか１項に記載の装置。
【請求項２３】
前記経験再生モジュールは、
知能客体の環境探査サイクルにおける複数の隣接時点の現在環境画像に対する価値注意力マップ同士の間の変化情報に基づいて、当該環境探査サイクルにおける注意力変化量を確定し、
ここで、前記注意力変化量は、前記環境探査サイクルにおける探査程度を判定するために用いられる
ことを特徴とする請求項２２に記載の装置。
【請求項２４】
訓練データ取得モジュールをさらに備え、
前記訓練データ取得モジュールは、
前記環境探査サイクルにおける正のリワードおよび前記探査程度に基づいて、前記環境探査サイクルにおいてサンプリングされた強化学習訓練データの重要程度を確定し、
当該環境探査サイクルにおいてサンプリングされた重要程度が所定の要件を満した強化学習訓練データを、履歴訓練データとして記憶する
ことを特徴とする請求項２３に記載の装置。
【請求項２５】
電子デバイスであって、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されている、請求項１〜１２のいずれか１項に記載の方法を実現するためのコンピュータプログラムを実行するためのプロセッサと、
を備える
ことを特徴とする電子デバイス。
【請求項２６】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
当該コンピュータプログラムがプロセッサによって運行されると、請求項１〜１２のいずれか１項に記載の方法が実現される
ことを特徴とするコンピュータ可読記憶媒体。
【請求項２７】
コンピュータ命令を含むコンピュータプログラムであって、
前記コンピュータ命令がデバイスのプロセッサによって運行されると、請求項１〜１２のいずれか１項に記載の方法が実現される
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョン技術に関し、特に、知能客体強化学習方法、知能客体強化学習装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラムに関する。
【０００２】
＜関連出願の相互引用＞
本願は、出願日が２０１８年０７月２８日であり、出願番号がＣＮ２０１８１０８４９８７７．６であり、発明名称が「知能客体強化学習方法、装置、デバイス、及び媒体」である、中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照のために本願に援用される。
【背景技術】
【０００３】
ゲーム、ロボットなどの多くの技術分野において、一般的に、知能客体を使用することになり、たとえば、ゲーム中で落下するボールをキャッチする移動プレートまたはロボットアームなどを使用する。知能客体は、強化学習過程において、通常、環境中の試行錯誤によって得られた報酬情報を利用して学習を指導する。
【０００４】
強化学習後の知能客体の行為安全性をどのように向上させるかは、強化学習における重要な技術的課題である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施例は、知能客体強化学習の技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施例による一態様は、知能客体強化学習方法を提供し、当該方法は、知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得することと、前記現在環境画像の実際キーポイント視覚情報を取得することと、前記依存したキーポイント視覚情報と前記実際キーポイント視覚情報とに基づいて、注意力変化リワード情報を確定することと、前記注意力変化リワード情報に基づいて知能客体強化学習のリワードフィードバックを調整することと、を含む。
【０００７】
本発明の実施例によるもう一態様は、知能客体強化学習装置を提供し、当該装置は、知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得するためのキーポイント視覚取得モジュールと、前記現在環境画像の実際キーポイント視覚情報を取得するための実際視覚取得モジュールと、前記依存したキーポイント視覚情報と前記実際キーポイント視覚情報とに基づいて、注意力変化リワード情報を確定するための変化リワード確定モジュールと、前記注意力変化リワード情報に基づいて知能客体強化学習のリワードフィードバックを調整するためのリワードフィードバック調整モジュールと、を備える知能客体強化学習装置である。
【０００８】
本発明の実施例による他の一態様は、電子デバイスを提供し、当該電子デバイスは、コンピュータプログラムを記憶するためのメモリと、前記メモリに記憶されているコンピュータプログラムを実行するためのプロセッサと、を備え、前記コンピュータプログラムが実行されると、本発明の任意の一つの方法の実施例が実現される。
【０００９】
本発明の実施例による他の一態様は、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサにより実行されると、本発明の任意の一つの方法の実施例が実現される。
【００１０】
本発明の実施例による他の一態様は、コンピュータプログラムを提供し、当該コンピュータプログラムは、コンピュータ命令を含み、前記コンピュータ命令がデバイスのプロセッサによって運行されると、本発明の任意の一つの方法の実施例が実現される。
【発明の効果】
【００１１】
本発明の実施例によって提供される知能客体強化学習方法、知能客体強化学習装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラムによれば、知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得して、現在環境画像の実際キーポイント視覚情報を利用して、知能客体がポリシーを実行する際の現在環境画像に対する注意力変化状況（例えば、注意シフト状況）を判定できるので、当該注意力変化状況を利用して、注意力変化リワード情報を確定することができる。本発明の実施例によれば、注意力変化リワード情報を利用して知能客体強化学習のリワードフィードバックを調整し、リワードフィードバックで注意力変化リワード情報を反映することができるので、このようなリワードフィードバックを利用して知能客体に対して強化学習を実行することによって、知能客体の注意力の不正確（例えば、注意シフト）による、危険動作を実行する確率を低減できる。これにより、本発明の実施例によって提供される技術案は、知能客体の行為安全性を高めることに有利であることが分かる。
【００１２】
以下、図面および実施例を参照して、本発明の実施例による技術案を詳しく説明する。
【図面の簡単な説明】
【００１３】
明細書の一部を構成する図面は、本発明の実施例を示しつつ、記載された内容とともに本発明の原理を解釈する。
【００１４】
添付の図面を参照して、以下の詳しい説明に従って、本発明の実施例より明確に理解することができる。
【図１】本発明の実施例による知能客体強化学習方法のフローチャートである。
【図２】知能客体のネットワーク構成の模式図である。
【図３】知能客体のネットワーク構成の他の模式図である。
【図４】本発明の実施例による知能客体の現在環境画像に対する価値注意力マップを取得するフローチャートである。
【図５】本発明の実施例による知能客体の現在環境画像に対する価値注意力マップを取得する模式図である。
【図６】本発明の実施例による知能客体強化学習装置の構成の模式図である。
【図７】本発明の実施例を実現する例示的なデバイスのブロック図である。
【発明を実施するための形態】
【００１５】
以下、添付の図面を参照して、本発明の様々な例示的な実施例を詳細に説明する。特に明記しない限り、これらの実施例に記載される構成要素およびステップの相対的な配置、数値式および数値は、本発明の範囲を限定しないことに留意されたい。
【００１６】
また、本発明の実施例では、「複数」は、２つ以上を意味し、「少なくとも１つ」は、１つまたは２つ以上を意味すると了解すべきである。
【００１７】
当業者にとって理解できるように、本発明の実施例における「第１」および「第２」などの用語は、異なるステップ、デバイス、モジュールなどを区別するためにのみ使用され、特定の技術的な意味を表さず、それらの間の必要な論理的順序を表さない。また、本発明の実施例では、「複数」は、２つ以上を意味し、「少なくとも１つ」は、１つまたは２つ以上を意味すると了解できるべきである。
【００１８】
また、本発明の実施例に係るいずれかの構成要素、データ、または、構造は、明確に定義されていないかまたは文脈で反対の示唆を与えない限り、一般的に１つまたは複数として了解すべきである。
【００１９】
また、本発明における各実施例の説明は、各実施例間の相違点を強調し、等価または類似の部分は互いに参照することができ、簡潔化のために、繰り返して説明しない。
【００２０】
そして、説明を便利にするために、添付の図面に示される各部品の大きさは、実際の縮尺関係に従って描かれているものではない。
【００２１】
以下、少なくとも１つの例示的な実施例に関する説明は、実際には単なる例示であり、本発明およびその適用または使用に対して限定するものではない。
【００２２】
関連分野の当業者に知られている技術、方法、デバイスに対して詳細に説明されない場合があるが、適切な場合には、それらの技術、方法、デバイスが、本発明の一部として見なすべきである。
【００２３】
以下、同様の符号と文字は添付の図面で同様の事項を示しているため、ある事項が添付の図面で一旦定義されると、以降の図面でさらに説明する必要がないことに留意されたい。
【００２４】
また、本発明における「および／または」という用語は、事項の関係を表すものであり、例えば、「Ａおよび／またはＢ」が、「Ａだけがあり、ＡとＢの両方があり、Ｂだけがあり」という３つの状況を表す。また、本発明において、「／」は、一般的に、前後の事項が「或は」の関係であることを示す。
【００２５】
本発明の実施例は、他の多くの汎用または特殊目的のコンピューティングシステム環境または構成で動作することができるコンピュータシステム／サーバなどの電子機器に適用されることができる。コンピュータシステム／サーバなどの電子機器での使用に適した、よく知られたコンピューティングシステム、環境、および／または構成の例は、パーソナルコンピュータシステム、サーバーコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップ、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な消費電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム、および上記のシステムのいずれかを含む分散型クラウドコンピューティングテクノロジ環境などが含まれますが、これらに限定されない。
【００２６】
コンピュータシステム／サーバなどの電子機器は、コンピュータシステムによって実行されるコンピュータシステムの実行可能な命令（プログラムモジュールなど）の一般的なコンテキストで説明できる。一般に、プログラムモジュールは、特定のタスクを実行し、特定の抽象データタイプを実装するルーチン、プログラム、対象プログラム、コンポーネント、ロジック、データ構造などを含む。コンピュータシステム／サーバは、分散型クラウドコンピューティング環境に実現されることができる。分散型クラウドコンピューティング環境で、タスクは、通信ネットワークを介してリンクされたリモート処理装置によって実行される。分散型クラウドコンピューティング環境では、プログラムモジュールは、ストレージデバイスを含むローカルまたはリモートコンピューティングシステムの記憶媒体に配置できる。
【００２７】
図１は、本発明の実施例による知能客体強化学習方法のフローチャートである。図１に示すように、当該実施例の方法は、以下の操作を含む。
【００２８】
Ｓ１００において、知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得する。
【００２９】
選択的な一例において、本発明の実施例による知能客体は、ゲーム中で落下するボールをキャッチする移動プレートまたは機械アームなど、および、車両、ロボット、スマートホームデバイスなどの、強化学習により形成された、ＡＩ特性を持つ客体であり得る。本発明の実施例は、知能客体の具体な表現形式を限定せず、客体がハードウェア、ソフトウェア、またはそれらの組み合わせとして表現される可能性に対しても限らない。
【００３０】
選択的な一例において、当該操作１００は、プロセッサによってメモリに格納されている該当する命令を呼び出して運行してもよいし、プロセッサによって運行されるキーポイント視覚取得モジュール６００によって実行してもよい。
【００３１】
Ｓ１１０において、現在環境画像の実際キーポイント視覚情報を取得する。
【００３２】
選択的な一例において、当該操作Ｓ１１０は、プロセッサによってメモリに格納されている該当する命令を呼び出して運行してもよいし、プロセッサによって運行される実際視覚取得モジュール６１０によって実行してもよい。
【００３３】
Ｓ１２０において、上記依存したキーポイント視覚情報および上記実際キーポイント視覚情報に基づいて、注意力変化リワード情報を確定する。
【００３４】
選択的な一例において、当該操作Ｓ１２０は、プロセッサによってメモリに格納されている該当する命令を呼び出して運行してもよいし、プロセッサによって運行される変化リワード確定モジュール６２０によって実行してもよい。
【００３５】
Ｓ１３０において、注意力変化リワード情報に基づいて知能客体強化学習のリワードフィードバック（Ｒｅｗａｒｄ）を調整して、調整後のリワードフィードバックに基づいて知能客体の強化学習を実現する。
【００３６】
ただし、注意力変化リワード情報に基づいて知能客体強化学習のリワードフィードバックを調整することは、知能客体強化学習のリワードフィードバックに注意力変化リワード情報を含ませることを含み、例えば、注意力変化リワード情報をリワードフィードバックに追加する。
【００３７】
選択的な一例において、当該操作Ｓ１３０は、プロセッサによってメモリに格納されている該当する命令を呼び出して運行してもよいし、プロセッサによって運行されるリワードフィードバック調整モジュール６３０によって実行してもよい。
【００３８】
選択的な一例において、本発明の実施例によるキーポイント視覚情報は、画像における注意すべき領域、または、画像における注意力領域を含む。依存したキーポイント視覚情報は、知能客体によって認められる注意力領域であり、すなわち、知能客体がポリシーを実行する際の現在環境画像に対する注意力領域である。現在環境画像の実際キーポイント視覚情報は、現在環境画像の本当のキーポイント視覚情報すなわち現在環境画像の本当の注意力領域を含み、すなわち、現在環境画像における目標物体が位置する領域を含む。
【００３９】
選択的な一例において、知能客体がポリシーを実行する際の現在環境画像に対する注意力領域と目標物体が位置する領域との共通部分と、目標物体が位置する領域と、の比率に基づいて、注意力変化リワード情報を確定できる。
【００４０】
本発明の実施例による注意力変化リワード情報は、知能客体によって認められる現在環境画像の注意力領域を現在環境画像の実際キーポイント視覚情報に近づけるために用いられる。選択的な一例において、本発明の実施例によるリワードフィードバックは、注意力変化リワード情報と、知能客体が現在環境画像に対してポリシーを実行して形成されたリワード情報と、を含む。知能客体が現在環境画像に対してポリシーを実行して形成されたリワード情報は、通常、従来の知能客体が強化学習を実行するときに使用したリワード情報である。
【００４１】
本発明の実施例は、知能客体が現在環境画像に対して依存したキーポイント視覚情報を取得して、現在環境画像の実際キーポイント視覚情報を利用して、知能客体が現在環境画像に対してポリシーを実行する際の注意力変化状況（例えば、注意シフト状況など）を判定でき、さらに、当該注意力変化状況を利用して注意力変化リワード情報を確定できる。本発明の実施例は、リワードフィードバックが注意力変化リワード情報を反映するように、注意力変化リワード情報を利用して知能客体学習のリワードフィードバックを調整し、このようなリワードフィードバックを利用して知能客体の強化学習を実現することによって、知能客体の注意力の不正確による危険動作の実行などの確率を低減し、知能客体の行為安全性を高めることに有利である。上記危険動作の一例は、知能客体が動作すべき場合に、知能客体のポリシー結果が空の動作であり、従って、知能客体は元の状態をそのまま維持し、このときにポリシーされた空の動作は危険動作である。本発明の実施例は、危険動作の具体な表現形式を限定しない。
【００４２】
選択的な一例において、強化学習過程で知能客体に含まれるネットワーク構成の一例は、図２に示すとおりである。図２に示すように、知能客体は、畳み込みニューラルネットワーク（図２の中央の位置）、ポリシーネットワーク（Ｐｏｌｉｃｙ  Ｎｅｔｗｏｒｋ）、バリューネットワーク（ＶａｌｕｅＮｅｔｗｏｒｋ）などを含む。知能客体は、環境と対話して、現在環境画像を取得できる。図２の下部に示す画像は、現在環境画像の一例である。現在環境画像は、畳み込みニューラルネットワークに入力され、畳み込みニューラルネットワークにおいて、前の一つの畳み込み層で形成された現在環境画像の特徴マップが後の一つの畳み込み層に提供され、最後の１層の畳み込み層で形成された現在環境画像の特徴マップが、ポリシーネットワークとバリューネットワークにそれぞれ提供される。ポリシーネットワークは、受信した特徴マップに対してポリシー処理を実行する。バリューネットワークは、受信した特徴マップに対して状態価値予測処理を実行して、現在環境画像の状態価値を確定する。
【００４３】
強化学習過程で知能客体に含まれるネットワーク構成のもう一例は、図３に示すとおりである。図３に示す知能客体は、畳み込みニューラルネットワーク（図３の中央の位置）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  ＮｅｕｒｏｎＮｅｔｗｏｒｋ、反復ニューラルネットワーク）、ポリシーネットワーク、バリューネットワークを含む。知能客体は、環境と対話して、現在環境画像を取得できる。図３の下部に示す画像は、現在環境画像の一例である。現在環境画像は、畳み込みニューラルネットワークに入力され、畳み込みニューラルネットワークにおいて、前の一つの畳み込み層で形成された現在環境画像の特徴マップが後の一つの畳み込み層に提供され、最後の１層の畳み込み層で形成された現在環境画像の特徴マップがＲＮＮに提供され、ＲＮＮは、特徴マップの時系列情報を一次元の特徴ベクトルとして変換できる。ＲＮＮから出力される特徴マップおよび時系列特徴ベクトルは、ポリシーネットワークおよびバリューネットワークにそれぞれ提供される。ポリシーネットワークは、受信した特徴マップおよび時系列特徴ベクトルに対してポリシー処理を実行する。バリューネットワークは、受信した特徴マップおよび時系列特徴ベクトルに対して状態価値予測処理を実行して、現在環境画像の状態価値を確定する。
【００４４】
図２および図３は、強化学習過程での知能客体のネットワーク構成の選択的な一例に過ぎず、知能客体のネットワーク構成は他の形式で表現されてもよいことを説明する必要がある。本発明の実施例は、知能客体のネットワーク構成の具体な表現形式を限定するものではない。
【００４５】
選択的な一例において、本発明の実施例による依存したキーポイント視覚情報は、知能客体（例えば、知能客体のポリシーネットワーク）がポリシーを実行する際の現在環境画像に対する注意力を反映できる情報である。本発明の実施例において、ポリシーのタイミングは、予め設定されたものであり、例えば、知能客体が０．２秒ごとにポリシーを１回実行するように予め設定できる。本発明の実施例によるポリシー結果は、動作空間から１つ動作を選ぶことであってもよい。本発明の実施例において、まず、知能客体のバリューネットワークを利用して、知能客体がポリシーを実行する際の当該知能客体の現在環境画像に対する注意力に対応するヒートマップを取得し、続いて、当該ヒートマップを利用して、知能客体がポリシーを実行する際の当該知能客体の現在環境画像に対する依存したキーポイント視覚情報を取得する。例えば、本発明の実施例によれば、予め設置された閾値に基づいて、ヒートマップの画素を選別して、画素の値が予め設置された閾値を超える画素を選別し、その後、選別された画素からなる領域に基づいて、出知能客体がポリシーを実行する際の現在環境画像に対する注意力領域を確定する。知能客体のバリューネットワークを利用してキーポイント視覚情報を取得して、便利かつ迅速にキーポイント視覚情報を取得するのに有利である。
【００４６】
選択的な一例において、本発明の実施例による知能客体がポリシーを実行する際の現在環境画像に対する注意力は、価値注意力マップ（Ｖａｌｕｅ  Ａｔｔｅｎｔｉｏｎ  Ｍａｐ）で反映することができる。言い換えれば、価値注意力マップは、知能客体のバリューネットワークが状態価値判断を実行する際に依存したキーポイント視覚情報を含み得る。選択的な一例において、知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得することは、知能客体の現在環境画像に対する価値注意力マップを取得することと、価値注意力マップと現在環境画像とに対して合成処理を実行して、ヒートマップ取得することと、ヒートマップに基づいて知能客体の現在環境画像に対する注意力領域を確定することと、を含む。
【００４７】
本発明の実施例において、多くの態様で現在環境画像の価値注意力マップを取得でき、例えば、本発明の実施例は、図４に示すような流れで価値注意力マップを取得できる。図４に、Ｓ４００において、現在環境画像の特徴マップを取得する。
【００４８】
選択的に、本発明の実施例による特徴マップは、通常、知能客体の畳み込みニューラルネットワークが現在環境画像に対して形成した高層の特徴マップに属する。例えば、現在環境画像を知能客体の畳み込みニューラルネットワークに入力し、当該畳み込みニューラルネットワークの最後の層の畳み込み層から出力される特徴マップをＳ４００の現在環境画像の特徴マップとする。もちろんながら、畳み込みニューラルネットワークの最後から２番目の層の畳み込み層から出力される特徴マップをＳ４００の現在環境画像の特徴マップとしてもよい。畳み込みニューラルネットワークの高層の特徴マップに属していればよい。本発明の実施例による高層の特徴マップは、知能客体の畳み込みニューラルネットワークの構成を２つ、３つ、または、もっと多い段階に分ける場合、中間の段階、中後段階、または、最後の段階の中の任意の層が現在環境画像に対して形成した特徴マップと見なしてよい。本発明の実施例による高層の特徴マップは、知能客体の畳み込みニューラルネットワークの出力により近い層またはもっと近い層によって形成された特徴マップであってもよい。高層の特徴マップを使用することによって、取得された価値注意力マップの正確度を高めることに有利である。
【００４９】
Ｓ４１０において、上記取得された特徴マップに基づいて、当該特徴マップの各チャネルを順に遮蔽して形成される各変更特徴マップを取得する。
【００５０】
選択的に、本発明の実施例による変更特徴マップは、Ｓ４００の特徴マップと比較すると、特徴マップ中の該当するチャネルを遮蔽して形成された、Ｓ４００の特徴マップとは異なる特徴マップを含む。現在環境画像の特徴マップが複数チャネルを含む場合、本発明の実施例の各変更特徴マップを取得する一例は、まず、当該特徴マップの第１チャネルを遮蔽して、１番目の変更特徴マップを取得し、次に、当該特徴マップの第２チャネルを遮蔽して、２番目の変更特徴マップを取得し、続いて、当該特徴マップの第３チャネルを遮蔽して、３番目の変更特徴マップを取得し、…、当該特徴マップの最後のチャネルを遮蔽して、最後の変更特徴マップを取得することである。図５の右側の中央の位置に、高層の特徴マップの異なるチャネルを遮蔽することによって得た３つの変更特徴マップを示している。本発明の実施例における特徴マップの該当するチャネルを遮蔽することは、隠蔽層の該当する活性化情報を遮蔽することに見なしてもよい。特徴マップがｎ（ｎは、１より大きい整数である）個のチャネルを有する場合、本発明の実施例は、ｎ個の変更特徴マップを取得してもよい。本発明の実施例において、従来の形態を利用して該当する隠蔽層の活性化情報を遮蔽して変更特徴マップを取得することができ、具体的な実現形態は、ここで詳細に説明しない。
【００５１】
Ｓ４２０において、各変更特徴マップそれぞれの特徴マップに対する状態価値変化量を取得する。
【００５２】
選択的に、本発明の実施例において、まず、上記取得された各変更特徴マップを知能客体のバリューネットワークにそれぞれ入力して、各変更特徴マップの状態価値を取得し、例えば、バリューネットワークにより各変更特徴マップに対して状態価値予測処理をそれぞれ実行して、各変更特徴マップの状態価値を取得し、例えば、ｎ個の変更特徴マップに対してｎ個の状態価値を取得できる。次に、本発明の実施例において、バリューネットワークがＳ４００の特徴マップに対して出力した状態価値それぞれと、各変更特徴マップの状態価値と、の差分値を算出して、各変更特徴マップそれぞれの現在環境画像の特徴マップに対する状態価値変化量を取得する。
【００５３】
選択的に、バリューネットワークが現在環境画像の特徴マップに対して形成した状態価値がＶであり、且つ、バリューネットワークがｎ個の変更特徴マップに対して形成した状態価値それぞれがＶ１、Ｖ２、Ｖｉ、…、Ｖｎであると想定すると、本発明の実施例において、ＶとＶ１の差分値、ＶとＶ２の差分値、ＶとＶｉの差分値、……、ＶとＶｎの差分を算出して、ｎ個の差分値すなわち△Ｖ１、△Ｖ２、△Ｖｉ、…、△Ｖｎ（図５の右上に示す）△Ｖ１、△Ｖ２、△Ｖｉ、…、△Ｖｎを取得し、すなわち、ｎ個の変更特徴マップそれぞれの現在環境画像の特徴マップに対する状態価値変化量を取得する。
【００５４】
任意の変更特徴マップの場合、本発明の実施例は、下記の式（１）を利用して当該変更特徴マップの現在環境画像の特徴マップに対する状態価値変化量を算出できる。
【００５５】
【数１】
2021532457.tif 000003
式（１）
上記式（１）で、△Ｖは、状態価値変化量を表し、Ｖは、バリューネットワークが現在環境画像の特徴マップに対して形成した状態価値を表し、Ｈは、現在環境画像の特徴マップを表し、
2021532457.tif 000004
は、特徴マップのｉ番目のチャネルを遮蔽した後に取得された変更特徴マップを表し、
2021532457.tif 000005
は、マップバリューネットワークが当該変更特徴に対して形成した状態価値を表し、ここで、ｉは０より大きいし、且つ、ｎ以下の整数であり、ｎは、１より大きい整数である。
【００５６】
畳み込みニューラルネットワーク中の隠蔽層の互いに異なる活性化情報は、該当する特定モードに対して活性化を実行することになるため、隠蔽層が異なる領域を注目するようにする。このため、本発明の実施例において、順に隠蔽層の互いに異なる活性化情報を遮蔽し、各変更特徴マップそれぞれの特徴マップに対する状態価値変化量を取得することによって、互いに異なる状態価値変化量で知能客体の互いに異なる領域に対する注目程度を反映できるようにする。
【００５７】
Ｓ４３０において、各状態価値変化量および各変更特徴マップに基づいて価値注意力マップを形成する。
【００５８】
選択的な一例において、上記の操作Ｓ４００〜Ｓ４３０は、プロセッサによってメモリに格納されている該当する命令を呼び出して運行してもよいし、プロセッサによって運行されるキーポイント視覚取得モジュール６００によって実行してもよい。
【００５９】
選択的に、本発明の実施例において、状態価値変化量に対して正規化処理を実行して、各変更特徴マップの重み値を形成できる。状態価値変化量に対して正規化処理を実行する一例は、下記の式（２）のようである。
【００６０】
【数２】
2021532457.tif 000006
式（２）
上記式（２）で、ωｉは、ｉ番目の変更特徴マップの重み値を表す。
【００６１】
選択的に、本発明の実施例において、下記の式（３）によって価値注意力マップを形成できる。
【００６２】
【数３】
2021532457.tif 000007
式（３）
上記式（３）で、Ａは、価値注意力マップを表し、Ｈｉは、畳み込みニューラルネットワークの最後の畳み込み層から出力されるｉ番目のチャネルの特徴マップを表し、Ｋは、チャネル数である。
【００６３】
本発明の実施例において、従来の方式を利用して、知能客体がポリシーを実行する際の現在環境画像に対する価値注意力マップを取得してもよいことを特に説明する必要がある。本発明の実施例は、知能客体がポリシーを実行する際の現在環境画像に対する価値注意力マップを取得する具体な実現過程を限定するものではない。
【００６４】
選択的な一例において、本発明の実施例において、まず、上記取得された価値注意力マップＡに対してサイズ調整を実行し、例えば、価値注意力マップＡのサイズが現在環境画像のサイズと同じになるように、価値注意力マップＡに対してアップサンプリング処理などを実行し、その後、サイズ調整後の価値注意力マップＡ’と現在環境画像（例えば、図５の左下の画像）とに対して融合処理を実行して、現在環境画像の価値注意力マップに対応するヒートマップを取得できる。ヒートマップの一例は、図５の右下に示す画像のようである。
【００６５】
選択的な一例において、本発明の実施例による現在環境画像の実際キーポイント視覚情報は、現在環境画像における、目標物体が位置する領域を含む。例えば、本発明の実施例において、目標物体検出アルゴリズムを利用して、現在環境画像における、目標物体が位置する領域を取得する。本発明の実施例は、目標物体検出アルゴリズムの具体な実現形態に対して限定しないし、現在環境画像における、目標物体が位置する領域を取得する具体な実現形態に対して限定しない。
【００６６】
選択的な一例において、本発明の実施例による注意力変化リワード情報は、知能客体の現在環境画像に対して注目している領域と実際に注目すべき領域との差異を反映できる。つまり、本発明の実施例において、知能客体がポリシーを実行する際の現在環境画像に対して注目している注意力領域と、現在環境画像における、目標物体が位置する領域と、の差異の大きさに基づいて、注意力変化リワード情報を確定する。
【００６７】
選択的に、本発明の実施例において、まず、依存したキーポイント視覚情報に基づいて、知能客体の現在環境画像に対する注意力領域を確定し、例えば、予め設置された閾値に基づいて、依存したキーポイント視覚情報（例えば、ヒートマップ）の画素を選別して、画素の値が予め設置された閾値を超える画素を選別し、選別された画素からなる領域に基づいて、知能客体の現在環境画像に対する注意力領域ａを確定し、続いて、本発明の実施例は、注意力領域ａと現在環境画像における目標物体が位置する領域ｂとの共通部分と、目標物体が位置する領域ｂと、の比率（ａ∩ｂ）／ｂを算出し、当該比率に基づいて注意力変化リワード情報を確定する。例えば、比率を変換することによって、注意力変化リワード情報を取得する。本発明の実施例による比率または比率によって取得された注意力変化リワード情報は、知能客体の行為安全性評価指標として見なされることができる。比率が大きいほど、知能客体の行為安全性が高くなり、逆に、比率が小さいほど、知能客体の行為安全性が低くなる。
【００６８】
選択的な一例において、本発明の実施例において、上記の取得注意力変化リワード情報を利用して知能客体強化学習のリワードフィードバックを調整し（例えば、上記取得された注意力変化リワード情報を知能客体強化学習のリワードフィードバックに追加する）、このようなリワードフィードバックを利用して知能客体のネットワークパラメータを更新し（例えば、畳み込みニューラルネットワーク、バリューネットワーク、ポリシーネットワークなどのネットワークパラメータを更新する）、知能客体が強化学習過程において注意力変化（例えば、注意力偏差）による、危険動作を実行する確率を低減することができる。知能客体のネットワークパラメータを更新する方式は、強化学習のアクタークリティカルアルゴリズムに基づく方式を使用してもよい。知能客体のネットワークパラメータを更新する具体な目標は、知能客体のバリューネットワークによって予測される状態価値を、１つの環境探査サイクルにおける報酬情報の累積値に近づけることと、知能客体のポリシーネットワークのネットワークパラメータの更新が、バリューネットワークによって予測される状態価値を増加させるように更新するようにすることと、を含む。
【００６９】
選択的な一例において、レンガブロック打ちのゲームにおいて、レンガブロックを打つボールの落下過程で、重力のよって下向きに加速し、落下するボールをキャッチする移動プレートの場合、多くの場合に注意力が遅延されて危険動作の実行する（例えば、移動プレートによって空の動作などを実行される）現象がよく発生される。本発明の実施例において、注意力変化リワード情報を反映できるリワードフィードバック（例えば、報酬情報）を利用して、移動プレートに強化学習を実行させて、移動プレートの注意力遅延現象を回避できるので、移動プレートが危険動作を実行する確率を低減することができる。
【００７０】
注意力変化リワード情報を利用してリワードフィードバックを調整し、当該リワードフィードバックを利用して知能客体の強化学習を実現する場合、当該知能客体は既に一定の程度の強化学習を実行した知能客体であってもよいことを特に説明する必要がある。本発明の実施例において、例えば、知能客体の初期化処理を実行した後、従来の強化学習方式を利用して、注意力変化リワード情報が含まれていないリワードフィードバックに基づいて、知能客体に強化学習を実行させて、知能客体の強化学習程度が特定の要件を満たしたと判断された（例えば、ポリシーネットワークのエントロピが特定の値（例えば、０．６）まで低減された）場合に、本発明の実施例によって提供される技術案を使用して続けて知能客体に強化学習を実行させることによって、知能客体の強化学習の効率および成功率を高めることに有利である。
【００７１】
選択的な一例において、上記強化学習の過程において、本発明の実施例は、サンプリングして得た強化学習訓練データから、重要な強化学習訓練データを選択して履歴訓練データとして記憶することによって、経験再生過程において重要な強化学習訓練データを利用して知能客体のネットワークパラメータを調整し、例えば、ポリシーネットワーク、バリューネットワーク、および、畳み込みニューラルネットワークのネットワークパラメータを調整し、また、例えば、ポリシーネットワーク、バリューネットワーク、ＲＮＮ、および、畳み込みニューラルネットワークのネットワークパラメータを調整する。本発明の実施例において、重要な強化学習訓練データを履歴訓練データとして記憶することによって、履歴訓練データに必要な一時格納空間を効果的に低減でき、重要な強化学習訓練データを履歴訓練データとして利用して経験再生を実行することによって、知能客体の強化学習効率を高めることに有利である。
【００７２】
本発明の上記実施例による知能客体強化学習方法は、依存したキーポイント視覚情報に基づいて、環境探査サイクルにおける探査程度を確定することと、探査程度が所定の探査程度に満たさないと判断した場合、記憶した履歴訓練データを利用して経験再生を実行することと、をさらに含み得る。そのうち、履歴訓練データは、所定の要件を利用して、サンプリングされた強化学習訓練データを選別して取得した訓練データを含む。
【００７３】
選択的な一例において、依存したキーポイント視覚情報に基づいて環境探査サイクルにおける探査程度を確定することは、環境探査サイクルにおける複数の隣接時点における知能客体の現在環境画像に対する価値注意力マップ同士の間の変化情報に基づいて、当該環境探査サイクルにおける注意力変化量を確定することを含む。ただし、当該注意力変化量は、環境探査サイクルにおける探査程度を判定するために用いられる。
【００７４】
選択的な一例において、本発明の実施例において、１回の環境探査サイクルにおける正のリワード（例えば、正方向報酬）および当該環境探査サイクルにおける探査程度を利用して、当該環境探査サイクルにおける強化学習訓練データの重要程度を確定して、当該重要程度が所定の要件を満たしたと判断された場合、履歴訓練データとして当該環境探査サイクルにおける強化学習訓練データを一時格納する。
【００７５】
本発明の実施例において、選択的な一例において、当該環境探査サイクルにおける注意力変化量を使用して環境探査サイクルにおける探査程度を表し、例えば、本発明の実施例において、知能客体の環境探査サイクルにおける複数の隣接時点の現在環境画像に対する価値注意力マップ同士の間の変化情報に基づいて、当該環境探査サイクルにおける注意力変化量を確定し、当該注意力変化量を当該環境探査サイクルにおける探査程度とする。選択的に、本発明の実施例において、下記の式（４）を使用して、１回の環境探査サイクルにおける注意力変化量を算出する。
【００７６】
【数４】
2021532457.tif 000008
式（４）
上記式（４）で、Ｅは、１回の環境探査サイクルにおける平均注意力変化量を表し、
2021532457.tif 000009
は、現在環境画像に含まれているすべての画素を表し、Ｔは、１回の環境探査サイクルにおけて知能客体が環境と対話した回数を表し、Ａｔは、知能客体がｔ回目で環境と対話するときの現在環境画像に対応する価値注意力マップを表し、Ａｔ−１は、ｔ−１回目で環境と対話するときの現在環境画像に対応する価値注意力マップを表す。
【００７７】
選択的な一例において、本発明の実施例は、下記の式（５）を使用して１回の環境探査サイクルにおける強化学習訓練データの重要程度を算出できる。
【００７８】
【数５】
2021532457.tif 000010
式（５）
上記式（５）で、Ｓは、１回の環境探査サイクルにおける強化学習訓練データの重要程度を表し、βは、ハイパーパラメータを表し、βは、通常、０〜１の間の定数であり、ｒ＋は、当該環境探査サイクルにおける正のリワードを表し、Ｅは、当該環境探査サイクルにおける平均注意力変化量を表す。
【００７９】
選択的な一例において、１回の環境探査サイクルにおける強化学習訓練データの重要程度が所定の値を超える場合には、当該環境探査サイクルにおける全ての強化学習訓練データ（例えば、報酬情報および現在環境画像など）を履歴訓練データとして一時格納し、そうではない場合には、当該環境探査サイクルにおける全ての強化学習訓練データを格納しない。
【００８０】
選択的な一例において、本発明の実施例は、強化学習過程で、一時格納されている履歴訓練データを利用して、経験再生方式によって知能客体のネットワークパラメータを調整し、例えば、ポリシーネットワーク、バリューネットワーク、および、畳み込みニューラルネットワークのネットワークパラメータを調整し、また、例えば、ポリシーネットワーク、バリューネットワーク、ＲＮＮ、および、畳み込みニューラルネットワークのネットワークパラメータを調整する。選択的に、本発明の実施例において、１回の環境探査サイクルにおける探査程度を判断し、当該探査程度が所定の探査程度を満たさないと判定された場合、乱数を生成し、当該乱数が所定の数値（例えば、０．３）を超える場合、経験再生する必要があると確定して、予め記憶した履歴訓練データを利用して経験再生操作を実行する。当該乱数が所定の数値以下である場合、経験再生の必要がないと判定する。経験再生の具体な実現過程は、従来の実現形態を使用してもよい。ここでは詳しく説明しない。
【００８１】
本発明の実施例によって提供される各知能客体強化学習方法は、データ処理能力を持つ任意の適宜なデバイスによって実行されてもよく、端末デバイスおよびサーバなどに限らない。あるいは、本発明の実施例によって提供される各知能客体強化学習方法は、プロセッサによって運行され、例えば、プロセッサによって、メモリに記憶されている該当する命令を呼び出して、本発明の実施例による各知能客体強化学習方法を実行する。以下、繰り返して説明しない。
【００８２】
当業者は、プログラム命令に関連するハードウェアによって上記の方法の実施例による全て或いは一部のステップが実現されることでき、前述したプログラムは、機械可読記憶媒体に記憶され、当該プログラムが実行されると、上記の方法の実施例によるステップが実行できることを理解すべきである。前述した記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク、または光ディスクなどのプログラムコードを記憶するいろんな種類の媒体を含む。
【００８３】
図６は、本発明の実施例による知能客体強化学習装置の一例の構成の模式図である。図６に示すように、当該実施例による装置は、主に、キーポイント視覚取得モジュール６００と、実際視覚取得モジュール６１０と、変化リワード確定モジュール６２０と、リワードフィードバック調整モジュール６３０と、を備える。選択的に、当該装置は、経験再生モジュール６４０と、訓練データ取得モジュール６５０と、をさらに備える。
【００８４】
キーポイント視覚取得モジュール６００は、知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得する。
【００８５】
選択的な一例において、上記依存したキーポイント視覚情報は、知能客体がポリシーを実行する際の現在環境画像に対する注意力領域を含む。キーポイント視覚取得モジュール６００は、さらに、知能客体の現在環境画像に対する価値注意力マップを取得した後、価値注意力マップと現在環境画像とに対して合成処理を実行して、ヒートマップを取得し、ヒートマップに基づいて知能客体の現在環境画像に対する注意力領域を確定する。
【００８６】
選択的な一例において、キーポイント視覚取得モジュール６００によって価値注意力マップを取得する方式は、選択的に、まず、キーポイント視覚モジュール６００によって現在環境画像の特徴マップを取得し、その後、キーポイント視覚取得モジュール６００によって特徴マップに基づいて、特徴マップの各チャネルを順に遮蔽して形成される各変更特徴マップを取得し、続いて、キーポイント視覚取得モジュール６００によって各変更特徴マップそれぞれの特徴マップに対する状態価値変化量を取得し、最後に、キーポイント視覚取得モジュール６００によって各状態価値変化量および各変更特徴マップに基づいて価値注意力マップを形成することであってもよい。
【００８７】
選択的な一例において、キーポイント視覚取得モジュール６００によって現在環境画像の特徴マップを取得する方式は、選択的に、まず、キーポイント視覚取得モジュール６００によって現在環境画像を畳み込みニューラルネットワークに入力し、続いて、キーポイント視覚取得モジュール６００によって畳み込みニューラルネットワークの最後の１層の畳み込み層から出力される特徴マップを取得することであってもよい。そのうち、最後の１層の畳み込み層から出力される特徴マップは、前記キーポイント視覚取得モジュールにより取得された現在環境画像の特徴マップである。
【００８８】
選択的な一例において、キーポイント視覚取得モジュール６００によって各変更特徴マップそれぞれの特徴マップに対する状態価値変化量を取得する方式は、選択的に、まず、キーポイント視覚取得モジュール６００によって各変更特徴マップを知能客体のバリューネットワークに入力して、各変更特徴マップの状態価値を取得し、その後、キーポイント視覚取得モジュール６００によって特徴マップに対してバリューネットワークから出力された状態価値と各変更特徴マップの状態価値との差分をそれぞれ算出して、各変更特徴マップそれぞれの特徴マップに対する状態価値変化量をそれぞれ取得することであってもよい。
【００８９】
実際視覚取得モジュール６１０は、現在環境画像の実際キーポイント視覚情報を取得する。
【００９０】
選択的な一例において、本発明の実施例による現在環境画像の実際キーポイント視覚情報は、現在環境画像における、目標物体が位置する領域を含む。
【００９１】
変化リワード確定モジュール６２０は、上記依存したキーポイント視覚情報および上記実際キーポイント視覚情報に基づいて、注意力変化リワード情報を確定する。
【００９２】
選択的な一例において、変化リワード確定モジュール６２０は、知能客体がポリシーを実行する際の現在環境画像に対する注意力領域と目標物体が位置する領域との共通部分と、目標物体が位置する領域と、の比率に基づいて、注意力変化リワード情報を確定する。
【００９３】
リワードフィードバック調整モジュール６３０は、注意力変化リワード情報に基づいて、知能客体強化学習のリワードフィードバックを調整する。
【００９４】
選択的な一例において、本発明の実施例による知能客体強化学習のリワードフィードバックは、注意力変化リワード情報と、知能客体が現在環境画像に対してポリシーを実行して形成されたリワード情報と、を含む。
【００９５】
経験再生モジュール６４０は、依存したキーポイント視覚情報に基づいて、環境探査サイクルにおける探査程度を判断し、探査程度が所定の探査程度に満たさないと判断した場合に、記憶した履歴訓練データを利用して経験再生を実行する。本発明の実施例による履歴訓練データは、所定の要件を利用して、サンプリングされた強化学習訓練データに対して選択を実行して取得された訓練データを含む。
【００９６】
選択的な一例において、経験再生モジュール６４０によって環境探査サイクルにおける探査程度を確定することは、選択的に、経験再生モジュール６４０によって環境探査サイクルにおける複数隣接時点の知能客体の現在環境画像に対する価値注意力マップ同士の間の変化情報に基づいて、当該環境探査サイクルにおける注意力変化量を確定することであってもよい。そのうち、注意力変化量は、環境探査サイクルにおける探査程度を判定するために用いられる。
【００９７】
訓練データ取得モジュール６５０は、環境探査サイクルにおける正のリワードおよび探査程度に基づいて、環境探査サイクルにおいてサンプリングされた強化学習訓練データの重要程度を確定し、当該環境探査サイクルにおいてサンプリングされた重要程度が所定の要件を満たした強化学習訓練データを履歴訓練データとして記憶する。
【００９８】
キーポイント視覚取得モジュール６００、実際視覚取得モジュール６１０、変化リワード確定モジュール６２０、リワードフィードバック調整モジュール６３０、経験再生モジュール６４０、および、訓練データ取得モジュール６５０によって実行される具体な操作は、上記の方法の実施例においての図１〜図５に対する説明を参照すればよい。ここでは繰り返し説明しない。
【００９９】
図７は、本発明の実施例の実現に適当な例示的なデバイス７００を示し、デバイス７００は、自動車に配置される制御システム／電子システム、携帯端末（例えば、スマートフォンなど）、パソコン（ＰＣ、例えば、デスクトップコンピュータまたはノートブックプコンピュータなど）、タブレットプコンピュータ、および、サーバなどであり得る。図７に示すように、デバイス７００は、１つまたは複数のプロセッサおよび通信部品を備える。前記１つまたは複数のプロセッサは、例えば、１つまたは複数の中央処理ユニット（ＣＰＵ）７０１、および／または、ニューラルネットワークを利用して知能客体強化学習方法を実行する１つまたは複数のグラフィックス処理ユニット（ＧＰＵ）７１３などである。前記プロセッサは、読み取り専用メモリ（ＲＯＭ）７０２内の実行可能命令、または、記憶部７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされる実行可能命令に応じて、さまざまな適切な動作および処理を実行することができる。通信部７１２は、ネットワークカードを含むことができるが、これに限定されない。前記ネットワークカードは、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されない。プロセッサは、読み取り専用メモリ７０２および／またはランダムアクセスメモリ７０３と通信して実行可能命令を実行し、バス７０４を介して通信部７１２に接続され、通信部７１２を介して他の目標デバイスと通信することができる。それにより、本発明の任意の実施例の知能客体強化学習方法中の該当する動作を完了する。
【０１００】
上記各命令によって実行される操作は、上記の方法の実施例による関連される記載を参照すればよく、ここでは詳しく説明しない。なお、ＲＡＭ７０３には、装置の操作に必要ないろんな種類のプログラムおよびデータが格納されてもよい。ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３は、バス７０４を介して、互いに接続される。
【０１０１】
ＲＡＭ７０３がある場合、ＲＯＭ７０２は選択的なモジュールである。ＲＡＭ７０３は、実行可能命令を格納するか、または、実現するときにＲＯＭ７０２に実行可能命令を書き込み、実行可能命令が中央処理ユニット７０１によって実行されることによって、上記の各実施例による知能客体強化学習方法のステップが実現される。入出力（Ｉ／Ｏ）インターフェース７０５も、バス７０４に接続される。通信部７１２は、統合されて設置されてもよいし、複数のサブモジュール（例えば、複数のＩＢネットワークカード）を有し、バスを介して接続されてもよい。
【０１０２】
キーボード、マウスなどを含む入力部７０６、カソード光線管（ＣＲＴ）、液晶ディスプレイ（ＬＤＣ）などおよびスピーカーなどを含む出力部７０７、ハードディスクなどを含む記憶部７０８、およびＬＡＮカード、モデムなどのネットワークインターフェースカードを含む通信部７０９が、コンポーネントがＩ／Ｏインターフェース７０５に接続される。通信部７０９は、インターネットなどのネットワークを介して通信処理を実行する。また、ドライバ７１０は、必要に応じてＩ／Ｏインターフェース７０５に接続される。必要に応じて、磁気ディスク、光ディスク、磁気光学ディスク、半導体メモリなどの取り外し可能な媒体７１１がドライバ７１０に取り付けられる。その結果、読み取られたコンピュータプログラムが必要に応じて記憶部７０８にインストールされる。
【０１０３】
図７に示されるアーキテクチャは、１つのオプションの実現形態であり、具体的な実行プロセスでは、上述の図７の構成要素の数およびタイプは、実際の必要に応じて、選択、削除、増加、または置換することができる。異なる機能部品の設定について、分離可能な設定および統合可能な設定などの実現形態を採用でき、たとえば、ＧＰＵとＣＰＵを分離可能に設定するか、または、ＧＰＵをＣＰＵに統合可能な設定し、通信部を分離可能な設定するか、または、ＣＰＵやＧＰＵに統合可能な設定してもよい。これらの切り替え可能な実施例は、いずれも本発明の保護範囲に属することを特に説明する必要がある。
【０１０４】
特に、本開示の実施例によれば、上記のフローチャートを参照して説明したプロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、機械読取可能媒体に有形に含まれるコンピュータプログラムを含むコンピュータプログラム製品を含み、コンピュータプログラムは、フローチャートに示されたステップを実行するためのプログラムコードを含み、プログラムコードは、本発明の実施例によって提供される知能客体強化学習方法のステップを実行する命令を含むことができる。
【０１０５】
このような実施例において、そのような実施例では、コンピュータプログラムは、通信部７０９を介してネットワークからダウンロードしてインストールされるか、および／または、取り外し可能媒体７１１からインストールされる。このコンピュータプログラムが中央処理装置（ＣＰＵ）７０１によって実行されるとき、本発明の知能客体強化学習方法で説明された上述した機能が実行される。
【０１０６】
在一つまたは複数の実施例において、本発明の実施例は、コンピュータ可読命令を記憶するコンピュータプログラム製品をさらに提供し、前記命令が実行されると、コンピュータによって上記の任意の実施例の前記の知能客体強化学習方法が実行される。
【０１０７】
当該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェア、またはそれらの組み合わせで実現される。選択的な一例において、前記コンピュータプログラム製品は、具体的に、コンピュータ記憶媒体で実現され、別の選択的な一例において、前記コンピュータプログラム製品は、具体的に、ソフトウェア製品、例えばフトウェア開発キット（Ｓｏｆｔｗａｒｅ  ＤｅｖｅｌｏｐｍｅｎｔＫｉｔ、ＳＤＫ）などで実現される。
【０１０８】
１つまたは複数の実施例において、本発明の実施例は、知能客体強化学習方法および対応する装置、電子デバイス、コンピュータ記憶媒体、コンピュータプログラム、及びコンピュータプログラム製品をさらに提供し、当該方法は、第１装置から第二装置へ知能客体強化学習の指示を送信し、当該指示に従って第二装置が上記の各実施例による知能客体強化学習方法を実行することと、第１装置は第二装置から送信される知能客体強化学習の結果を受信することとを含む。
【０１０９】
一部の実施例において、当該知能客体強化学習指示は、具体的に呼び出し命令であり、第１装置は、呼び出す方式で知能客体強化学習操作を第２装置に実行させ、これに応じて、第２装置は、呼び出し命令の受信に応答して、上記知能客体強化学習方法の任一の実施例による操作および／又は流れを実行する。
【０１１０】
本発明の各実施例は、漸進的に説明したが、各実施例に対しては、その他の実施例との相違点に着眼して説明した。各実施例の間で同じまたは似ている部分に対しては、相互参照すればよい。システム実施例は、基本的に方法実施例に対応するため、関連の内容は、方法実施例の部分の説明を参照すれば良い。
【０１１１】
本発明の実施例による方法和装置、電子デバイスおよびコンピュータ可読記憶媒体は、多くの態様で実現できる。例えば、本発明の方法および装置、電子デバイスおよびコンピュータ可読記憶媒体は、ソフトウェア、ハードウェア、ファームウェア、または、それらの任意の組み合わせによって実装され得る。上記の方法のステップの順序は、例示のみのためであり、本発明の実施例の方法のステップは、特に別の記載がない限り、上記の具体な順序に限定されない。さらに、一部の実施例で、本発明の実施例は、記憶媒体に記憶されたプログラムとして実装されてもよく、これらのプログラムは、本発明の実施例による方法を実装するための機械可読命令を含む。したがって、本発明の実施例は、本発明の方法を実行するためのプログラムを記憶する記録媒体を、さらに含む。
【０１１２】
本発明の説明は、例示および説明のために提供されたものであり、漏れがないわけではないし、また、本発明は開示された形態に限定されるものではない。多くの修正と変化は、当業者にとって明らかである。実施例の選択および記述は、本発明の原理および実際の応用をより良く説明し、当業者が、本発明を理解して、特定の用途に適した様々な修正を伴う様々な実施例を設計できるようにする。
【図１】
2021532457.tif 000011
【図２】
2021532457.tif 000012
【図３】
2021532457.tif 000013
【図４】
2021532457.tif 000014
【図５】
2021532457.tif 000015
【図６】
2021532457.tif 000016
【図７】
2021532457.tif 000017
【手続補正書】
【提出日】令和3年1月12日(2021.1.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
知能客体強化学習方法であって、
知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得することと、
前記現在環境画像の実際キーポイント視覚情報を取得することと、
前記依存したキーポイント視覚情報と前記実際キーポイント視覚情報とに基づいて、注意力変化リワード情報を確定することと、
前記注意力変化リワード情報に基づいて知能客体強化学習のリワードフィードバックを調整することと、を含む
ことを特徴とする知能客体強化学習方法。
【請求項２】
前記依存したキーポイント視覚情報は、前記知能客体がポリシーを実行する際の前記知能客体の前記現在環境画像に対する注意力領域を含む
ことを特徴とする請求項１に記載の知能客体強化学習方法。
【請求項３】
前記知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得することは、
前記知能客体の前記現在環境画像に対する価値注意力マップを取得することと、
前記価値注意力マップおよび前記現在環境画像に対して、合成処理を実行してヒートマップを取得することと、
前記ヒートマップに基づいて前記知能客体の前記現在環境画像に対する注意力領域を確定することと、を含む
ことを特徴とする請求項２に記載の知能客体強化学習方法。
【請求項４】
前記知能客体の前記現在環境画像に対する価値注意力マップを取得することは、
前記現在環境画像の特徴マップを取得することと、
前記特徴マップに基づいて、前記特徴マップの各チャネルを順に遮蔽して形成される各変更特徴マップを取得することと、
前記各変更特徴マップそれぞれの前記特徴マップに対する状態価値変化量を取得することと、
各状態価値変化量および各変更特徴マップに基づいて、前記価値注意力マップを形成することと、を含む
ことを特徴とする請求項３に記載の知能客体強化学習方法。
【請求項５】
前記現在環境画像の特徴マップを取得することは、
前記現在環境画像を畳み込みニューラルネットワークに入力し、前記畳み込みニューラルネットワークの最後の１層の畳み込み層から出力される特徴マップを取得することを含む
ことを特徴とする請求項４に記載の知能客体強化学習方法。
【請求項６】
前記各変更特徴マップそれぞれの前記特徴マップに対する状態価値変化量を取得することは、
前記各変更特徴マップを知能客体のバリューネットワークに入力して、前記各変更特徴マップの状態価値を取得することと、
前記バリューネットワークが前記特徴マップに対して出力した状態価値それぞれと前記各変更特徴マップの状態価値との差分を算出して、前記各変更特徴マップそれぞれの前記特徴マップに対する状態価値変化量を取得することと、を含む
ことを特徴とする請求項４または５に記載の知能客体強化学習方法。
【請求項７】
前記現在環境画像の実際キーポイント視覚情報は、現在環境画像における、目標物体が位置する領域を含む
ことを特徴とする請求項１〜６のいずれかに記載の知能客体強化学習方法。
【請求項８】
前記依存したキーポイント視覚情報と前記実際キーポイント視覚情報とに基づいて注意力変化リワード情報を確定することは、
前記知能客体がポリシーを実行する際の前記知能客体の前記現在環境画像に対する注意力領域と前記目標物体が位置する領域との共通部分と、目標物体が位置する領域と、の比率に基づいて、注意力変化リワード情報を確定することを含む
ことを特徴とする請求項７に記載の知能客体強化学習方法。
【請求項９】
前記知能客体強化学習のリワードフィードバックは、注意力変化リワード情報と、知能客体が現在環境画像に対してポリシーを実行して形成されたリワード情報と、を含む
ことを特徴とする請求項１〜８のいずれかに記載の知能客体強化学習方法。
【請求項１０】
前記依存したキーポイント視覚情報に基づいて、環境探査サイクルにおける探査程度を確定することと、
前記探査程度が所定の探査程度を満たさないと判断された場合、記憶した履歴訓練データを利用して経験再生を実行することと、をさらに含み、
前記履歴訓練データは、所定の要件を利用して、サンプリングされた強化学習訓練データを選別して取得した訓練データを含む
ことを特徴とする請求項１〜９のいずれかに記載の知能客体強化学習方法。
【請求項１１】
前記依存したキーポイント視覚情報に基づいて環境探査サイクルにおける探査程度を確定することは、
知能客体の環境探査サイクルにおける複数の隣接時点の現在環境画像に対する価値注意力マップ同士の間の変化情報に基づいて、当該環境探査サイクルにおける注意力変化量を確定することを含み、
ここで、前記注意力変化量は、前記環境探査サイクルにおける探査程度を判定するために用いられる
ことを特徴とする請求項１０に記載の知能客体強化学習方法。
【請求項１２】
前記環境探査サイクルにおける正のリワードおよび前記探査程度に基づいて、前記環境探査サイクルにおいてサンプリングされた強化学習訓練データの重要程度を確定することと、
当該環境探査サイクルにおいてサンプリングされた重要程度が所定の要件を満した強化学習訓練データを、履歴訓練データとして記憶することと、をさらに含む
ことを特徴とする請求項１１に記載の知能客体強化学習方法。
【請求項１３】
知能客体強化学習装置であって、
知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得するためのキーポイント視覚取得モジュールと、
前記現在環境画像の実際キーポイント視覚情報を取得するための実際視覚取得モジュールと、
前記依存したキーポイント視覚情報と前記実際キーポイント視覚情報とに基づいて、注意力変化リワード情報を確定するための変化リワード確定モジュールと、
前記注意力変化リワード情報に基づいて知能客体強化学習のリワードフィードバックを調整するためのリワードフィードバック調整モジュールと、を備える
ことを特徴とする知能客体強化学習装置。
【請求項１４】
電子デバイスであって、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されているコンピュータプログラムを実行するためのプロセッサと、
を備え、
前記コンピュータプログラムが実行されると、
知能客体が現在環境画像に対してポリシーを実行する際に依存したキーポイント視覚情報を取得することと、
前記現在環境画像の実際キーポイント視覚情報を取得することと、
前記依存したキーポイント視覚情報と前記実際キーポイント視覚情報とに基づいて、注意力変化リワード情報を確定することと、
前記注意力変化リワード情報に基づいて知能客体強化学習のリワードフィードバックを調整することと、が実現される
ことを特徴とする電子デバイス。
【請求項１５】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
当該コンピュータプログラムがプロセッサによって運行されると、請求項１〜１２のいずれか１項に記載の方法が実現される
ことを特徴とするコンピュータ可読記憶媒体。
【請求項１６】
コンピュータ命令を含むコンピュータプログラムであって、
前記コンピュータ命令がデバイスのプロセッサによって運行されると、請求項１〜１２のいずれか１項に記載の方法が実現される
ことを特徴とするコンピュータプログラム。
【国際調査報告】
2021532457.tif 000018
2021532457.tif 000019
2021532457.tif 000020
2021532457.tif 000021
2021532457.tif 000022
2021532457.tif 000023