(57)【要約】【課題】本発明は、情報処理方法及び情報処理装置を提供する。【解決手段】かかる情報処理方法は、第一知的エージェントの第一動作シーケンスと、第二知的エージェントの第二動作シーケンスとの動作シーケンス対を生成し；生成済みの動作シーケンス対を用いてマッピングモデルを訓練し；第一知的エージェントの第一動作シーケンスを用いて判断モデルを訓練し；及び、訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベースを形成するステップを含む。【選択図】図２
2020119551.tif 000002
【特許請求の範囲】
【請求項１】
第一知的エージェントの処理知識を第二知的エージェントに転移するための情報処理方法であって、
前記第一知的エージェントは、前記第一知的エージェントの観測情報に基づいて、対応する動作シーケンスを実行することができ、
前記情報処理方法は、
前記第一知的エージェントの第一動作シーケンスと、前記第二知的エージェントの第二動作シーケンスとの動作シーケンス対を生成し、前記第一動作シーケンス及び前記第二動作シーケンスが同じタスクを完成し；
生成済みの動作シーケンス対を用いてマッピングモデルを訓練し、前記マッピングモデルが前記第一知的エージェントの動作シーケンスに基づいて前記第二知的エージェントの動作シーケンスを生成することができ；
前記第一知的エージェントの第一動作シーケンスを用いて判断モデルを訓練し、前記判断モデルにより、前記第一知的エージェントの動作シーケンスにおける現在の動作が該動作シーケンスにおける最後の動作であるかを判断することができ；及び
訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベースを形成し、前記マッピングベースが前記第二知的エージェントの観測情報から前記第二知的エージェントの動作シーケンスへのマッピングを含むステップ
を含む、情報処理方法。
【請求項２】
請求項1に記載の情報処理方法であって、
前記第一知的エージェントの動作自由度が前記第二知的エージェントの動作自由度とは異なる、情報処理方法。
【請求項３】
請求項1に記載の情報処理方法であって、
異なるタスクを用いて、異なる前記動作シーケンス対を形成する、情報処理方法。
【請求項４】
請求項1に記載の情報処理方法であって、
前記動作シーケンス対を用いてマッピングモデルを訓練するステップは、
前記第一知的エージェントの動作の第一索引を設定し、前記第一索引を表す第一索引ベクトルにより、前記第一知的エージェントの第一動作シーケンスを示し；
前記第二知的エージェントの動作の第二索引を設定し、前記第二索引を表す第二索引ベクトルにより、前記第二知的エージェントの第二動作シーケンスを示し；及び
前記第一索引ベクトル及び前記第二索引ベクトルを用いて前記マッピングモデルを訓練するステップを含む、情報処理方法。
【請求項５】
請求項1に記載の情報処理方法であって、
前記第一動作シーケンスを用いて判断モデルを訓練するステップは、
前記第一知的エージェントの動作の第一索引を設定し、前記第一索引を表す第一索引ベクトルにより、前記第一知的エージェントの第一動作シーケンスを示し；及び
前記第一索引ベクトルを用いて前記判断モデルを訓練するステップを含む、情報処理方法。
【請求項６】
請求項1に記載の情報処理方法であって、
前記マッピングモデルは、エンコーディングユニット及びデコーディングユニットを含み、
前記エンコーディングユニットは、前記第一知的エージェントの動作シーケンスを固定長ベクトルにエンコーディングするように構成され、
前記デコーディングユニットは、前記固定長ベクトルを前記第二知的エージェントの動作シーケンスにデコーディングするように構成される、情報処理方法。
【請求項７】
請求項1に記載の情報処理方法であって、
前記マッピングモデルは、エンコーディングユニット及びデコーディングユニットを含み、
前記エンコーディングユニットは、前記第一知的エージェントの動作シーケンスの逆シーケンスを固定長ベクトルにエンコーディングするように構成され、
前記デコーディングユニットは、前記固定長ベクトルを前記第二知的エージェントの動作シーケンスの逆シーケンスにデコーディングするように構成される、情報処理方法。
【請求項８】
請求項1に記載の情報処理方法であって、
訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベースを形成するステップは、
前記第一知的エージェントが、前記第一知的エージェントの観測情報に関する環境情報に基づいて、前記第一知的エージェントの動作シーケンスからなる動作フローを実行し；
訓練済みの判断モデルを用いて、前記動作フローから前記第一知的エージェントの動作シーケンスを抽出し；
訓練済みのマッピングモデルを用いて、抽出された前記第一知的エージェントの動作シーケンスに基づいて、前記第二知的エージェントの動作シーケンスを生成し；及び
前記第二知的エージェントの観測情報から生成済みの前記第二知的エージェントの動作シーケンスへのマッピングを形成するステップを含む、情報処理方法。
【請求項９】
請求項1に記載の情報処理方法であって、
前記マッピングベースを用いて第二知的エージェントを訓練するステップをさらに含む、情報処理方法。
【請求項１０】
第一知的エージェントの処理知識を第二知的エージェントに転移するための情報処理装置であって、
前記第一知的エージェントは、前記第一知的エージェントの観測情報に基づいて、対応する動作シーケンスを実行することができ、
前記情報処理装置は、
前記第一知的エージェントの第一動作シーケンスと、前記第二知的エージェントの第二動作シーケンスとの動作シーケンス対を生成するための生成ユニットであって、前記第一動作シーケンス及び前記第二動作シーケンスが同じタスクを完成する生成ユニット；
生成済みの動作シーケンス対を用いてマッピングモデルを訓練するための第一訓練ユニットであって、前記マッピングモデルが前記第一知的エージェントの動作シーケンスに基づいて前記第二知的エージェントの動作シーケンスを生成することができる第一訓練ユニット；
前記第一知的エージェントの第一動作シーケンスを用いて判断モデルを訓練するための第二訓練ユニットであって、前記判断モデルにより、前記第一知的エージェントの動作シーケンスにおける現在の動作が該動作シーケンスにおける最後の動作であるかを判断することができる第二訓練ユニット；及び
訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベースを形成するための形成ユニットであって、前記マッピングベースが前記第二知的エージェントの観測情報から前記第二知的エージェントの動作シーケンスへのマッピングを含む形成ユニット
を含む、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、知的エージェント（intelligent  agent）の転移学習（transfer  learning）の技術分野に関し、特に、第一知的エージェントのタスク（task）に対する処理知識を、異なる動作空間を有する第二知的エージェントに転移するための情報処理方法及び情報処理装置に関する。
【背景技術】
【０００２】
今のところ、知的エージェントの一例としての知能化マシンが、例えば、工業、製造、医療（特に、外科）などの分野で広く用いられている。知能化マシンは、通常、多関節マニピュレーター又は多自由度系動作装置を有し、自身の動力及び制御能力により、観測情報に基づいて、所定のタスクを完成するために一連の動作を知的に行うことができる。
【０００３】
知能化マシンに対して訓練を行うことで、それが観測情報に基づいて自主的に所定のタスクを完成し得るようにさせるには、通常、大量の訓練サンプルが要され、且つ大量の時間がかかる。よって、訓練済みの知能化マシンが有する処理知識を未訓練（訓練されていない）の知能化マシンに転移することで、該未訓練の知能化マシンが同じ処理知識を具備するようにさせることができれば、非常に有利である。
【０００４】
しかし、同じ又は類似の処理能力を有する知能化マシンであっても、その動作空間が異なる場合もある。例えば、機械アームについて、それらの動作が同じ範囲に達することができても、それらの動作自由度（Degree  of  Freedom；DoF）が異なるため、それらの動作空間も異なる。また、同じDoFを有する機械アームについても、コネクティングロッドのサイズが異なり、関節の種類が異なるなどの原因で、動作空間が異なる場合も依然として存在する。ここで、機械アームのコネクティングロッド、関節などの、機械アームの動作に係わる部品を実行機構と総称する。
【０００５】
具体的には、例えば、4  DoF機械アームについて、その動作空間が、4つの関節の状態からなるベクトルにより構成される空間、即ち、(状態1，状態2，状態3，状態4)であっても良く、6  DoF機械アームについて、その動作空間が、6つの関節の状態からなるベクトルにより構成される空間、即ち、(状態1，状態2，状態3，状態4，状態5，状態6)であっても良く、そのうち、各関節の状態が例えば角度で表されても良い。
【０００６】
上述のような例について、訓練済みの4  DoF機械アームは、観測情報に基づいて、所定のタスクを自主的に完成することができるが、今のところ、該4  DoF機械アームが具備する処理知識を6  DoF機械アームに転移することが難しい。同じタスクを完成するために6  DoF機械アームに対して再び訓練を行なえば、大量の時間が要される。
【０００７】
よって、訓練済みの知的エージェントのタスクに対する処理知識を、異なる動作空間を有する未訓練の知的エージェントに転移し得る技術が望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、訓練済みの知的エージェントのタスクに対する処理知識を、異なる動作空間を有する未訓練の知的エージェントに転移し、異なる動作空間を有する未訓練の知的エージェントの訓練プロセスを簡略化することで、訓練コストを低減し、訓練効率を向上させることができる情報処理方法及び情報処理装置を提供する。
【０００９】
言い換えれば、本発明の目的の１つは、訓練済みの知的エージェントのタスクに対する処理知識を、異なる動作空間を有する未訓練の知的エージェントに転移することができる情報処理方法及び情報処理装置を提供することにある。本発明による情報処理方法及び情報処理装置により、異なる動作空間を有する未訓練の知的エージェントの訓練プロセスを簡略化することで、訓練コストを低減し、訓練効率を向上させることができる。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、本発明の一側面によれば、情報処理方法が提供され、それは、第一知的エージェントの処理知識を第二知的エージェントに転移するために用いられ、そのうち、第一知的エージェントは、第一知的エージェントの観測情報に基づいて、対応する動作シーケンスを実行することができ、該情報処理方法は、
第一知的エージェントの第一動作シーケンスと、第二知的エージェントの第二動作シーケンスとの動作シーケンス対（ペア）を生成し、そのうち、第一動作シーケンス及び第二動作シーケンスが同じタスクを完成し；
生成済みの動作シーケンス対を用いてマッピングモデルを訓練し、そのうち、マッピングモデルが第一知的エージェントの動作シーケンスに基づいて第二知的エージェントの動作シーケンスを生成することができ；
第一知的エージェントの第一動作シーケンスを用いて判断モデルを訓練し、そのうち、判断モデルが、第一知的エージェントの動作シーケンスの現在の動作が該動作シーケンスの最後の動作であるかを判断することができ；及び
訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベース（mapping  base）を形成し、そのうち、マッピングベースが第二知的エージェントの観測情報から第二知的エージェントの動作シーケンスへのマッピングを含むステップを含む。
【００１１】
本発明の他の側面によれば、情報処理装置が提供され、それは、第一知的エージェントの処理知識を第二知的エージェントに転移するために用いられ、そのうち、第一知的エージェントは、第一知的エージェントの観測情報に基づいて、対応する動作シーケンスを実行することができ、該情報処理装置は、
第一知的エージェントの第一動作シーケンスと、第二知的エージェントの第二動作シーケンスとの動作シーケンス対を生成する生成ユニットであって、第一動作シーケンス及び第二動作シーケンスが同じタスクを完成する生成ユニット；
生成済みの動作シーケンス対を用いてマッピングモデルを訓練する第一訓練ユニットであって、マッピングモデルが第一知的エージェントの動作シーケンスに基づいて第二知的エージェントの動作シーケンスを生成することができる第一訓練ユニット；
第一知的エージェントの第一動作シーケンスを用いて判断モデルを訓練する第二訓練ユニットであって、判断モデルが、第一知的エージェントの動作シーケンスの現在の動作が該動作シーケンスの最後の動作であるかを判断することができる第二訓練ユニット；及び
訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベースを形成する形成ユニットであって、マッピングベースが第二知的エージェントの観測情報から第二知的エージェントの動作シーケンスへのマッピングを含む形成ユニットを含む。
【００１２】
本発明の他の側面によれば、上述の情報処理方法を実現し得るコンピュータプログラムが提供される。また、少なくともコンピュータ可読媒体形式を有するコンピュータプログラムプロダクトがさらに提供され、その中には、上述の情報処理方法を実現するためのコンピュータプログラムコードが記憶されている。
【００１３】
本発明による技術により、訓練済みの知的エージェントのタスクに対する処理知識を、異なる動作空間を有する未訓練の知的エージェントに転移し、異なる動作空間を有する未訓練の知的エージェントの訓練プロセスを簡略化することで、訓練コストを低減し、訓練効率を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】Ａは、知的エージェントの一例としての4自由度（DoF）機械アーム及びそのタスク空間を示す図である。Ｂは、知的エージェントの一例としての6自由度（DoF）機械アーム及びそのタスク空間を示す図である。
【図２】本発明の実施例において第一知的エージェントの処理知識を第二知的エージェントに転移するための情報処理方法のフローチャートである。
【図３】本発明の実施例において動作シーケンス対を用いてマッピングモデルを訓練する例示的な処理のフローチャートである。
【図４】本発明の実施例において動作シーケンス対を用いてマッピングモデルを訓練する例示的な処理を示す図である。
【図５】第一動作シーケンスを用いて判断モデルを訓練する例示的な処理を示す図である。
【図６】本発明の実施例において訓練済みのマッピングモデル及び判断モデルを用いてマッピングベースを形成する例示的な処理のフローチャートである。
【図７】本発明の実施例において訓練済みのマッピングモデル及び判断モデルを用いてマッピングベースを形成する例示的な処理を示す図である。
【図８】本発明の実施例における情報処理装置の構成ブロック図である。
【図９】本発明の実施例における情報処理方法及び情報処理装置を実現し得る汎用マシンの構成ブロック図である。
【発明を実施するための形態】
【００１５】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
【００１６】
具体的には、図面に基づいて、訓練済みの知的エージェントのタスクに対する処理知識を、異なる動作空間を有する未訓練の知的エージェントに転送するための情報処理技術を詳細に説明する。
【００１７】
本発明による情報処理技術のコアな思想は、異なる動作空間を有する知的エージェントの動作空間の間のマッピング関係を確立することにある。例えば、第一知的エージェントがその観測情報に基づいて対応する動作シーケンスを実行することができる訓練済みの知的エージェントであり、第二知的エージェントが第一知的エージェントとは異なる動作空間を有する未訓練の知的エージェントであるとする。本発明による技術によれば、マッピングモデルを訓練して、第一知的エージェントの第一動作シーケンスを第二知的エージェントの第二動作シーケンスに変換する必要があり、そのうち、第一動作シーケンス及び第二動作シーケンスは、同じタスクを完成することができる。該マッピングモデルを訓練するために、マッピングモデルの訓練サンプル集合を構築する必要があり、該訓練サンプル集合は、第一知的エージェントの第一動作シーケンスと、第二知的エージェントの第二動作シーケンスとの動作シーケンス対により構成される。また、動作シーケンスに動作シーケンスの終了を示すフラグが存在しないので、判断モデルを訓練して、動作シーケンスの終了を判断する必要もある。この点において、第一知的エージェントの第一動作シーケンスを判断モデルの訓練サンプル集合として使用することで、判断モデルに対して訓練を行っても良い。最後に、訓練済みのマッピングモデル及び判断モデルを用いてマッピングベース（データベースのようなものである）を形成し、第二知的エージェントは、該マッピングベースをもとに、自発的に、その観測情報に基づいて、対応する動作シーケンスを実行することで、第一知的エージェントと同じタスクを完成することができる。
【００１８】
続いて、図1乃至図6に基づいて、本発明の実施例において第一知的エージェントの処理知識を第二知的エージェントに転移するための情報処理方法を説明する。
【００１９】
知的エージェントは、例えば、機械アーム、ロボットなどを含んでも良い。異なる知的エージェントは、動作自由度が異なり、コネクティングロッドサイズが異なり、関節種類が異なるなどが原因で、異なる動作空間を有しても良い。
【００２０】
知的エージェントの具体例として、図1A及び図1Bは、それぞれ、4  DoF機械アーム及び6  DoF機械アーム及びそれらのタスク空間を示している。本発明の実施例では、タスク（Task）は、開始位置及び終了位置を含む対（ペア）として定義されても良い。具体的には、図1に示すように、ここでいう位置は、3次元空間において機械アームの実行機構の末端が到達し得る範囲内の座標により表されても良い。例えば、機械アームの台座を原点とすれば、以下のようなタスクを定義することができる。
【００２１】
Task＜P1，P2＞＝＜(0.2，0.4，0.3)，(0.1，0.2，0.4)＞
このタスクの意味は、機械アームの実行機構の末端を座標P1(0.2，0.4，0.3)（開始位置）から座標P2(0.1，0.2，0.4)（終了位置）に移動することである。なお、ここで、任意の長さの単位を取っても良い。また、すべてのタスクの開始位置座標及び終了位置座標からなる対の集合をタスク空間として定義する。タスク空間は、開始位置及び終了位置により構成される2次元空間である。
【００２２】
ここで、4  DoF機械アームは、訓練済みの第一知的エージェントの具体例であり、以下、ソース機械アームとも称され、6  DoF機械アームは、未訓練の第二知的エージェントの具体例であり、以下、ターゲット機械アームとも称される。第一知的エージェント及び第二知的エージェントは、同じタスク空間を有しても良い。
【００２３】
図2は、本発明の実施例において第一知的エージェントの処理知識を第二知的エージェントに転移するための情報処理方法200のフローチャートである。ここで、第一知的エージェントは、その観測情報に基づいて対応する動作シーケンスを実行することができる。本発明による情報処理方法200は、ステップS201でスタートする。ステップS202では、第一知的エージェントの第一動作シーケンスと、第二知的エージェントの第二動作シーケンスとの動作シーケンス対を生成し、そのうち、第一動作シーケンス及び第二動作シーケンスは、同じタスクを完成する。続いて、ステップS203では、生成済みの動作シーケンス対を用いてマッピングモデルを訓練し、そのうち、マッピングモデルは、第一知的エージェントの動作シーケンスに基づいて第二知的エージェントの動作シーケンスを生成することができる。その後、ステップS204では、第一知的エージェントの第一動作シーケンスを用いて判断モデルを訓練し、そのうち、判断モデルは、第一知的エージェントの動作シーケンスの現在の動作が該動作シーケンスの最後の動作であるかを判断することができる。その後、ステップS205では、訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベースを形成し、そのうち、マッピングベースは、第二知的エージェントの観測情報から第二知的エージェントの動作シーケンスへのマッピングを含む。最後に、情報処理方法200は、ステップS206でエンドする。
【００２４】
以下、図1に示されている、それぞれ第一知的エージェント及び第二知的エージェントの具体例としての4  DoF機械アーム及び6  DoF機械アームを用いて、本発明の実施例における情報処理方法200の各ステップS202乃至S205の例示的な実施方式を詳しく説明する。
【００２５】
ステップS202では、第一知的エージェントの第一動作シーケンスと、第二知的エージェントの第二動作シーケンスとの動作シーケンス対を生成し、そのうち、第一動作シーケンス及び第二動作シーケンスは、同じタスクを完成する。上述のように、マッピングモデルを訓練するために、動作シーケンス対集合をマッピングモデルの訓練サンプル集合として構築する必要がある。動作シーケンス対は、第一知的エージェントの第一動作シーケンスと、第二知的エージェントの第二動作シーケンスとの対であり、そのうち、第一動作シーケンス及び第二動作シーケンスは、同じタスクを完成することができる。便宜のため、対になる第一動作シーケンス及び第二動作シーケンスが同じ形式の文法により表される。特に、対になる第一動作シーケンス及び第二動作シーケンスが異なる長さを有しても良く、これにより、この2つの動作シーケンスにおける動作は、一対一対応の関係を有しなくても良い。
【００２６】
動作シーケンス対集合をマッピングモデルの訓練サンプル集合として形成するために、タスク空間からタスクに対してランダムにサンプリングを行う必要がある。本発明の実施例によれば、異なるタスクを用いて、異なる動作シーケンス対を形成することができる。
【００２７】
具体的には、タスク空間からサンプリングした各タスクについて、該タスクの開始位置及び終了位置を取得する。その後、開始位置及び終了位置を動作計画ツールに入力し、該動作計画ツールは、タスクを表す開始位置及び終了位置に基づいて、対応する動作軌迹を自動計画することができ、該動作軌迹における各動作からなるシーケンスは、動作シーケンスである。ここで、動作計画ツールは、当業者に周知の動作計画ツール、例えば、MoveItを用いても良いので、その詳しい説明が省略される。
【００２８】
図1に示す例について、第一知的エージェントの一例としての4  DoFソース機械アームの動作シーケンスが第一動作シーケンスであり、ソース動作シーケンスとも称され、第二知的エージェントの一例としての6  DoFターゲット機械アームの動作シーケンスが第二動作シーケンスであり、ターゲット動作シーケンスとも称される。
【００２９】
採用される各タスクについて、それぞれ第一知的エージェント及び第二知的エージェントにより該タスクを実行し、これにより、それぞれ第一動作シーケンス及び第二動作シーケンスを取得し、そして、動作シーケンス対を構成する。本発明の実施例によれば、得られた第一動作シーケンス及び第二動作シーケンスの末尾に動作シーケンス終了フラグEOSを追加する。
【００３０】
例えば、タスク空間からサンプリングしたタスク＜(0.2，0.4，0.3)，(0.1，0.2，0.4)＞について、それぞれ第一知的エージェントの一例としての4  DoFソース機械アーム及び第二知的エージェントの一例としての6  DoFターゲット機械アームを用いて該タスクを実行する。
【００３１】
ここで、機械アームの各関節の状態が角度で表され、精度が1°であり、また、各動作について各関節の角度の最大移動範囲が2°であるとする。
【００３２】
4  DoFソース機械アームは、該タスクを実行した後に、ソース動作シーケンス、即ち、第一動作シーケンスS＝[a11，a12，a13]を生成することができる。また、6  DoFターゲット機械アームは、該タスクを実行した後に、ターゲット動作シーケンス、即ち、第二動作シーケンスT＝[a21，a22，a23，a24]を生成することができる。
【００３３】
そのうち、ソース動作シーケンスSにおける各動作の値は、例えば、
a11＝(55°，62°，71°，43°)；
a12＝(53°，64°，69°，42°)；及び
a13＝(51°，66°，67°，41°)
である。
【００３４】
ターゲット動作シーケンスTにおける各動作の値は、例えば、
a21＝(42°，11°，27°，78°，52°，30°)；
a22＝(40°，13°，28°，79°，54°，32°)；
a23＝(38°，15°，30°，80°，56°，34°)；及び
a24＝(36°，17°，32°，80°，58°，35°)
である。
【００３５】
ソース動作シーケンスSについて、動作a11は、ソース機械アームが該タスクの開始位置で実行する動作であり、その後、動作a12、a13は順次実行される。4  DoFソース機械アームが動作a13を実行した後に、その実行機構の末端が終了位置に到達し、これにより、該タスクを完成する。具体的には、動作a11を例とすると、(55°，62°，71°，43°)は、順に、4  DoFソース機械アームの4つの関節の関節状態である。4  DoFソース機械アームが動作a12を実行するときに、第一個目の関節角度が2°減少し、第二個の関節角度が2°増大し、第三個目の関節角度が2°減少し、且つ第四個目の関節角度が1°減少する。
【００３６】
6  DoFターゲット機械アームのターゲット動作シーケンスにおける各動作がこれに類似しているが、その関節の数が6である。
【００３７】
その後、SとTとを組み合わせて動作シーケンス対＜S，T＞を成し、その後、それを動作シーケンス対集合Cに追加する。C＝{＜S，T＞}であり、そのうち、Sは、ソース機械アームがサンプリングタスクを実行した後に生成された第一動作シーケンスであり、Tは、ターゲット機械アームが同一サンプリングタスクを実行した後に生成された第二動作シーケンスである。
【００３８】
タスク空間から異なるタスクをサンプリングし、且つそれぞれ第一知的エージェント及び第二知的エージェントに該タスクを実行させることにより、動作シーケンス対を取得し、そして、動作シーケンス対集合をマッピングモデルの訓練サンプル集合として形成することができる。マッピングモデルの訓練サンプル集合を構成する動作シーケンス対の数が任意の数であっても良い。ただし、動作シーケンス対の数が比較的多い場合、マッピングモデルに対してのより良い訓練効果を得ることができるが、訓練コストもそれ相応に高くなる。よって、具体的な応用に基づいて、取得する必要のある動作シーケンス対の数を決定しても良い。
【００３９】
その後、ステップS203では、生成済みの動作シーケンス対を用いてマッピングモデルを訓練し、訓練の目的は、マッピングモデルが第一知的エージェントの動作シーケンスに基づいて第二知的エージェントの動作シーケンスを生成し得るようにさせることにある。
【００４０】
図3は、本発明の実施例において動作シーケンスを用いてマッピングモデルを訓練する例示的な処理300のフローチャートである。該処理300は、ステップS301でスタートする。
【００４１】
その後、ステップS302では、第一知的エージェントの動作の第一索引を設定し、第一索引を表す第一索引ベクトルを用いて、第一知的エージェントの第一動作シーケンスを示す。また、ステップS303では、第二知的エージェントの動作の第二索引を設定し、第二索引を表す第二索引ベクトルを用いて、第二知的エージェントの第二動作シーケンスを示す。第一索引ベクトル及び第二索引ベクトルは、それぞれ、第一知的エージェントの動作及び第二知的エージェントの動作を示す、長さが同じである固定長ベクトルである。なお、ステップS302及びステップS303の実行順序について限定せず、即ち、ステップS302を実行してからステップS303を実行しても良く、ステップS303を実行してからステップS302を実行しても良く、又は、ステップS302及びS303を同時（並列）に実行しても良い。
【００４２】
本発明の実施例によれば、マッピングモデルを訓練するために、構成された動作シーケンス対集合に基づいて、各シーケンス対のうちのソース動作シーケンス（即ち、第一動作シーケンス）における各動作について辞典の中で第一索引を設定することで、ソース動作辞典を構築する。同様に、各シーケンス対のうちのターゲット動作シーケンス（即ち、第二動作シーケンス）における各動作について索引を設定することで、ターゲット動作辞典を構築する。
【００４３】
第一知的エージェントについて、取得されたすべての第一動作シーケンスにおける各動作に対して対応する第一索引を設定しても良い。例えば、上述のような、第一知的エージェントの一例としての4  DoFソース機械アームの第一動作シーケンスS＝[a11，a12，a13]について、以下のような第一索引、即ち、
(55°，62°，71°，43°)  →  1
(53°，64°，69°，42°)  →  2
(51°，66°，67°，41°)  →  3
……
を設定しても良い。
【００４４】
また、第二知的エージェントについて、取得されたすべての第二動作シーケンスにおける各動作に対して対応する第二索引を設定しても良い。例えば、上述のような、第二知的エージェントの一例としての6  DoFターゲット機械アームの第二動作シーケンスT＝[a21，a22，a23，a24]について、以下のような第二索引、即ち、
(42°，11°，27°，78°，52°，30°)  →  1
(40°，13°，28°，79°，54°，32°)  →  2
(38°，15°，30°，80°，56°，34°)  →  3
(36°，17°，32°，80°，58°，35°)  →  4
……
を設定しても良い。
【００４５】
ここで、設定される第一索引及び第二索引が1つの整数であり、マッピングモデルの訓練に不便であるため、整数としての第一索引及び第二索引をベクトルに変換することができる。関連分野では、最も簡単な変換方法がワンホットエンコーディング技術（one-hot  encoding）であり、即ち、索引ベクトルの次元が全部の索引の数に等しく、即ち、辞典のサイズと同じであり、そのうち、索引ベクトルの中で対応する索引に対応する要素の値が1であり、他のすべての要素の値が0である。
【００４６】
しかし、ワンホットエンコーディング技術は、大量の記憶空間を占める可能性がある。よって、好ましくは、単語埋め込み（word  embedding）技術を採用して第一索引及び第二索引を、固定長の、各次元の値が実数であるベクトルに変換する。ここで、単語埋め込み技術は、当業者に周知のもの、例えば、Word2Vecを用いても良いため、その詳しい説明が省略される。
【００４７】
例えば、上述のような、第一知的エージェントの一例としての4  DoFソース機械アームの各動作の第一索引について、それを以下のような、4次元実数ベクトルとしての第一索引ベクトル、即ち、
1  →  (0.6897，0.314，0.4597，0.6484)
2  →  (0.6572，0.7666，0.8468，0.3075)
3  →  (0.1761，0.0336，0.1119，0.7791)
……
に変換することができる。
【００４８】
また、例えば、上述のような、第二知的エージェントの一例としての6  DoFソース機械アームの各動作の第二索引について、それを以下のような、4次元実数ベクトルとしての第二索引ベクトル、即ち、
1  →  (0.494，0.6018，0.2934，0.0067)
2  →  (0.0688，0.8565，0.9919，0.4498)
3  →  (0.647，0.0328，0.7988，0.7429)
4  →  (0.1579，0.2932，0.9996，0.0464)
……
に変換することができる。
【００４９】
上述のような処理により、第一動作シーケンスは、第一索引ベクトルにより表すことができ、第二動作シーケンスは、第二索引ベクトルにより表すことができる。
【００５０】
続いて、ステップS304では、第一索引ベクトル及び第二索引ベクトルを用いてマッピングモデルを訓練する。
【００５１】
本発明の実施例によれば、マッピングモデルは、エンコーディングユニット及びデコーディングユニットを含んでも良く、そのうち、エンコーディングユニットは、第一知的エージェントの動作シーケンスを固定長ベクトルとしてエンコーディングすることができ、且つ、デコーディングユニットは、固定長ベクトルを第二知的エージェントの動作シーケンスとしてデコーディングすることができる。
【００５２】
図4は、本発明の実施例において動作シーケンス対を用いてマッピングモデルを訓練する例示的な処理を示す図である。
【００５３】
図4に示すように、マッピングモデルは、エンコーディングユニット及びデコーディングユニットの2つの部分を含む。本発明の実施例によれば、エンコーディングユニット及びデコーディングユニットは、それぞれ、再帰型ニューラルネットワーク（RNN）モデルにより実現されても良い。再帰型ニューラルネットワークは、ツリー状階層構造を有し、ネットワークノードがその結合順序に従って入力情報に対して再帰（recursion）を行う人工ニューラルネットワークであり、ディープラーニングアルゴリズムの1つである。
【００５４】
また、本発明の実施例によれば、改良された再帰型ニューラルネットワークとしての長・短期記憶（LSTM）モデル又はゲート付き回帰型ユニット（GRU）モデルにより、マッピングモデルを構成するエンコーディングユニット及びデコーディングユニットを実現しても良い。
【００５５】
RNNモデル、LSTMモデル及びGRUモデルが当業者に周知のものであるので、ここでは、便宜のため、それらの本発明の実施例における応用についての説明を行うが、それらの原理についての説明を省略する。
【００５６】
図4に示すように、例えば、第一動作シーケンスS＝[a11，a12，a13]について、時間t0において動作a11に対応する第一索引ベクトル、例えば、(0.6897，0.314，0.4597，0.6484)をエンコーディングユニットに入力し、時間t0における隠れ状態v0を取得する。その後、時間t1において動作a12に対応する第一索引ベクトル、例えば、(0.6572，0.7666，0.8468，0.3075)及び時間t0における隠れ状態v0をデコーディングユニットに入力し、時間t1における隠れ状態v1を取得する。その後、時間t2において動作a13に対応する第一索引ベクトル、例えば、(0.1761，0.0336，0.1119，0.7791)及び時間t1における隠れ状態v1をデコーディングユニットに入力し、時間t2における隠れ状態v2を取得する。その後、時間t2において第一動作シーケンスの終了を表す終了フラグ＜EOS＞ベクトル及び時間t2における隠れ状態v2をデコーディングユニットに入力し、このときに、エンコーディングユニットは、ワーキングを終了し、且つ最後の隠れ状態vを出力する。
【００５７】
続いて、第二動作シーケンスT＝[a21，a22，a23，a24]について、時間t0においてエンコーディングユニットが出力した隠れ状態v及びデコーディングの開始を表す開始フラグ＜START＞ベクトルをエンコーディングユニットに入力し、ターゲット動作辞典における確率分布を取得する。該確率分布、及び動作a21の第二索引ベクトルに基づいて、動作a21を予測する確率P(a21|v)を得ることができる。これに基づいて類推することにより、第二動作シーケンスTにおける残りの各動作a22、a23、a24の予測が正確である確率P(a22|v,a21)、P(a23|v，…，a22)、P(a24|v，…，a23)を得ることができる。その後、各動作に対応する予測が正確である確率の乗算を行うことで、第二動作シーケンスの予測が正確である確率を得ることができる。また、エンコーディングユニットと同様に、各ステップ（時間t0、t1、…）において、隠れ状態のみが次のステップのデコーディング処理に伝達される。
【００５８】
以下、LSTMモデルを例として、エンコーディングユニット及びデコーディングユニットの実現について簡単に説明する。なお、GRUモデルのような他のRNNモデルを採用して実現する方式がこれに類似しているため、ここでは、その更なる説明を省略する。
【００５９】
LSTMモデルは、その記憶ユニットにより長時間範囲の依存関係を学習することができ、それは、通常、4つのユニット、即ち、入力ゲートit、出力ゲートot、忘却ゲートft及び記憶状態ctを含み、そのうち、tは、現在のステップを表す。記憶状態ctは、前のステップの状態に基づいて他のユニットの現在の状態に影響を与える。忘却ゲートftは、どのような情報を放棄すべきかを確定するために用いられる。このようなプロセスは、例えば、以下の式で表すことができる。
【数１】
2020119551.tif 000003
【００６０】
そのうち、σは、sigmoid関数であり、
（外１）
2020119551.tif 000004
は、ベクトル要素の順次乗算を表し、xtは、現在のステップtの入力を表し、htは、現在のステップtの中間状態を表し、otは、現在のステップtの出力を表す。結合重み行列W(i，x)、W(f，x)、W(g，x)、W(o，x)及びバイアスベクトルbi、bf、bg、boは、訓練待ちのパラメータである。
【００６１】
上述のようなLSTMモデルを用いてエンコーディングユニットを実現するときに、第一動作シーケンスにおける各動作に対応する第一索引ベクトルがxtとして入力ゲートitに入力され、前のステップの隠れ状態もht-1として入力ゲートitに入力される。LSTMモデルを用いてエンコーディングユニットを実現するときに、現在のステップの出力otが放棄され、現在のステップtの中間状態htのみが隠れ状態として次のステップに用いられる。
【００６２】
また、上述のようなLSTMモデルを用いてデコーディングユニットを実現するときに、第二動作シーケンスの各動作に対応する第二索引ベクトルがxtとして入力ゲートitに入力され、前のステップの隠れ状態もht-1として入力ゲートitに入力される。しかし、エンコーディングユニットとは異なり、LSTMモデルを用いてデコーディングユニットを実現するときに、現在の時間ステップの出力otが、対応する動作の予測が正確である確率として出力される。
【００６３】
上述のようなマッピングモデルについて、訓練の目的は、第一動作シーケンスSに対応する第二動作シーケンスT（そのうち、S及びTにより動作シーケンス対を構成する）の予測が正確である確率を最大にすることにあり、これは、以下のような目的関数により表すことができる。
【数２】
2020119551.tif 000005
【００６４】
該目的関数は、マッピングモデルの訓練サンプル集合Cの中の各動作シーケンス対＜S，T＞について得られた、予測が正確である確率の和を求め、その後、平均値を取ることを示し、最適化の目的は、該平均予測が正確である確率を最大にすることにある。複数回の反復により、マッピングモデルの各パラメータを得ることができ、そのうち、反復の回数が収斂の状況に応じて確定されても良く、人為的に設定されても良い。例えば、LSTMモデルを用いてマッピングモデルのエンコーディングユニット及びデコーディングユニットを実現する場合、訓練（反復）により、エンコーディングユニット及びデコーディングユニットを実現するLSTMモデルの結合重み行列W(i，x)、W(f，x)、W(g，x)、W(o，x)及びバイアスベクトルbi、bf、bg、boの値を取得することができる。
【００６５】
上述のような例に基づいて一般化する場合、与えられる第一動作シーケンスS＝(x1，…，xT)であり、それに対応する第二動作シーケンスT＝(y1，…，yT’)であるとし、そのうち、Tは、第一動作シーケンスの長さであり、T'は、第二動作シーケンスの長さであり、Tは、T'と異なって良い。デコーディングユニットのところで、上記の式の中のlogp(T|S)は、以下のように表すことができる。
【数３】
2020119551.tif 000006
【００６６】
そのうち、p(yt|v，y1，…，yt-1)は、第二動作シーケンスにおける動作ytの、その前の動作y1乃至yt-1及びエンコーディングユニットから出力された隠れ状態vに基づく予測が正確である確率を表す。
【００６７】
なお、マッピングモデルの訓練プロセスでは、各動作シーケンスの終了時に終了フラグ＜EOS＞を追加する必要があり、これにより、マッピングモデルは、すべての可能な動作シーケンス長さについて訓練され得る。換言すると、例えば、上述のような例では、エンコーディングユニットについての入力が[a11，a12，a13，＜EOS＞]であり、デコーディングユニットは、[a21，a22，a23，a24，＜EOS＞]について、予測が正確である確率を計算する。
【００６８】
上述のような訓練により、訓練済みのマッピングモデルは、第一知的エージェントの動作シーケンスを第二知的エージェントの動作シーケンスとしてマッピングすることができる。
【００６９】
また、本発明の実施例によれば、マッピングモデルを構成するエンコーディングユニット及びデコーディングユニットについて、異なるRNNモデルを用いてエンコーディングユニット及びデコーディングユニットを実現することができ、これにより、同時に、複数の第一知的エージェント及び第二知的エージェントについて、エンコーディングユニット及びデコーディングユニットを訓練することができる。具体的には、訓練済みのエンコーディングユニット及びデコーディングユニットは、別々に使用されても良く、組み合わせて使用されても良い。
【００７０】
また、本発明の実施例によれば、エンコーディングユニットは、第一知的エージェントの動作シーケンスの逆シーケンスを固定長ベクトルとしてエンコーディングすることができ、また、デコーディングユニットは、固定長ベクトルを第二知的エージェントの動作シーケンスの逆シーケンスとしてデコーディングすることができる。言い換えれば、第一動作シーケンスにおける要素の順序を反転し（なお、反転されたシーケンスが逆シーケンスと称される）、そして、順に、対応する第一索引ベクトルをエンコーディングユニットに入力することができ、このときに、デコーディングユニットによる予測が、第二動作シーケンスにおける要素の順序が反転された逆動作シーケンスについて行われる。このような処理により、第一動作シーケンスと第二動作シーケンスとの間の短期的依存関係が導入されることで、幾つかの所定の最適化問題の解決を助けることができる。
【００７１】
また、本発明の実施例によれば、パフォーマンスをさらに向上させるために、マッピングモデルにアテンション（Attention）メカニズムを導入しても良い。
【００７２】
動作シーケンスを用いてマッピングモデルを訓練する処理300は、ステップS305でエンドする。
【００７３】
続いて、再び図2を参照する。ステップS204では、第一知的エージェントの第一動作シーケンスを用いて判断モデルを訓練し、そのうち、判断モデルは、第一知的エージェントの動作シーケンスの現在の動作が該動作シーケンスの最後の動作であるかを判断することができる。
【００７４】
図5は、第一動作シーケンスを用いて判断モデルを訓練する例示的な処理を示す図である。
【００７５】
実際の応用では、知的エージェントが複数のタスクを連続して実行する場合があり、例えば、前のタスクの動作シーケンスの実行が終了した後に、次のタスクの動作シーケンスの実行がすぐに開始する可能性があり、このとき、この2つの動作シーケンスの間には、前の動作シーケンスの終了を示すフラグが存在しない。よって、判断モデルにより、動作シーケンスにおける現在の動作が該動作シーケンスの最後の動作であるかを判断する必要がある。なお、本発明による技術案が訓練済みの第一知的エージェントの処理知識の、未訓練の第二知的エージェントへの転移であることを考慮して、第一知的エージェントの第一動作シーケンスのみを用いて判断モデルに対して訓練を行う。
【００７６】
判断モデルを訓練するために、第一動作シーケンスにおける各動作に、該動作が第一動作シーケンスの最後の動作であるかを確定するためのラベルを追加する。例えば、第一動作シーケンスにおける各動作をチェックし、該動作の次の動作が終了フラグ＜EOS＞である場合、該動作は終了動作であり、この場合、該動作にラベル1を付け、そうでない場合、ラベル0を付け、これにより、判断モデルに対して訓練を行うための訓練サンプル集合を形成することができる。
【００７７】
本発明の実施例によれば、マッピングモデルのエンコーディングユニット及びデコーディングユニットと同様に、判断モデルもRNNモデルにより実現されても良い。また、本発明の実施例によれば、改良された再帰型ニューラルネットワークとしての長・短期記憶（LSTM）モデル又はゲート付き回帰型ユニット（GRU）モデルにより判断モデルを実現しても良い。
【００７８】
なお、RNNモデル、LSTMモデル及びGRUモデルが当業者に周知のものであるので、便宜のため、それらの本発明の実施例への応用についての説明を行うが、それらの原理について説明を省略する。
【００７９】
判断モデルの訓練プロセスでは、マッピングモデルの訓練プロセスと同様に、固定長ベクトルとしての第一索引ベクトルを用いて、判断モデルの訓練サンプル集合としての第一動作シーケンスにおける各動作を表す。
【００８０】
図5に示すように、判断モデルの訓練プロセスでは、各ステップにおいて、判断モデルの入力が、前のステップの判断モデルの隠れ状態及び第一動作シーケンスにおける現在の動作の第一索引ベクトルであり、判断モデルの出力が、該動作が終了動作である確率を示す値及び現在のステップの隠れ状態である。
【００８１】
判断モデルの訓練のための損失関数が以下のように構築されても良い。
【数４】
2020119551.tif 000007
【００８２】
そのうち、Yは、現在の動作が終了動作であるかを示すラベルであり、上述のように、現在の動作が終了動作である場合、該ラベルは1であり、そうでない場合、0である。Y'は、判断モデルが予測する結果である。Nは、すべての第一動作シーケンスに含まれる動作の数の総和である。毎回の反復プロセスにおいて該損失関数を最小にすることで判断モデルを訓練する。
【００８３】
複数回の反復により、判断モデルの各パラメータを得ることができ、そのうち、反復の回数が収斂の状況に基づいて確定されても良く、人為的に設定されても良い。例えば、LSTMモデルを用いて判断モデルを実現する場合、訓練（反復）により、判断モデルを実現するLSTMモデルの結合重み行列及びバイアスベクトルの数値を取得することができる。
【００８４】
上述のような訓練プロセスにより、訓練済みの判断モデルは、第一知的エージェントの動作シーケンスにおける終了動作を確定することができる。
【００８５】
マッピングモデル及び判断モデルの訓練完成後に、第二知的エージェント、例えば、6  DoFターゲット機械アームは、依然としてタスク自主的に完成することができない。よって、第二知的エージェントが自主的に、観測情報に基づいて一連の動作を行って同じタスクを完成し得るようにさせるために、第二知的エージェントの、観測情報から動作へのマッピングベースを構築する必要があり、即ち、第一知的エージェントのタスクに対しての処理知識の、第二知的エージェントへの転移を実現する。
【００８６】
よって、図2のステップS205では、訓練済みのマッピングモデル及び訓練済みの判断モデルを用いて第二知的エージェントのマッピングベースを形成し、それは、第二知的エージェントの観測情報から第二知的エージェントの動作シーケンスへのマッピングを含む。
【００８７】
図6は、本発明の実施例において訓練済みのマッピングモデル及び判断モデルを用いてマッピングベースを形成する例示的な処理600のフローチャートである。また、図7は、本発明の実施例において訓練済みのマッピングモデル及び判断モデルを用いてマッピングベースを形成する例示的な処理を示す図である。
【００８８】
処理600は、ステップS601でスタートする。ステップS602では、第一知的エージェントは、第一知的エージェントの観測情報に関する環境情報に基づいて、第一知的エージェントの動作シーケンスからなる動作フローを実行する。図7に示すように、第一知的エージェント、例えば、4  DoFソース機械アームは、訓練済みの知的エージェントであるから、観測情報に基づいて自主的に一連の動作を実行して所定のタスクを完成することができ、このような一連の動作は、動作フローa11，a12，a13，a14，a15，…を構成することができる。
【００８９】
ここでいう第一知的エージェントの処理知識は、第一知的エージェントの、観測情報から動作へのマッピングベースと理解されても良い。よって、訓練済みの第一知的エージェントは、該マッピングベースに基づいて、異なる観測情報についてその対応する動作を実行して所定のタスクを完成することができる。本発明の技術案は、訓練済みの第一知的エージェントのマッピングベースに基づいて未訓練の第二知的エージェントのマッピングベースを形成することで、第一知的エージェントの処理知識の、第二知的エージェントへの転移を実現することであると理解されても良い。しかしながら、第一知的エージェントと第二知的エージェントとの動作空間が異なるため、上述のようなマッピングモデル及び判断モデルを用いて、第一知的エージェントの動作と第二知的エージェントの動作との変換を実現する必要がある。
【００９０】
よって、その後、ステップS603では、訓練済みの判断モデルを用いて、動作フローから第一知的エージェントの動作シーケンスを抽出する。上述のように、第一知的エージェントの動作フローに終了フラグが存在しないので、訓練済みの判断モデルを用いて動作フローにおける終了動作を見つける必要があり、これにより、第一知的エージェントの動作フローを第一知的エージェントの動作シーケンスに分割し、後続の処理に供することができる。図7に示すように、判断モデルにより、動作フローにおけるa13が終了動作であると判断したので、前の終了動作からa13までの動作が抽出されて第一知的エージェントの動作シーケンス[a11，a12，a13]とされる。
【００９１】
その後、ステップS604では、訓練済みのマッピングモデルを用いて、抽出された第一知的エージェントの動作シーケンスに基づいて第二知的エージェントの動作シーケンスを生成する。図7に示すように、マッピングモデルは、第一知的エージェントの動作シーケンス[a11，a12，a13]に基づいて、第二知的エージェントの動作シーケンス[a21，a22，a23，a24]を生成することができる。
【００９２】
その後、ステップS605では、第二知的エージェントの観測情報から生成済みの第二知的エージェントの動作シーケンスへのマッピングを構成する。具体的には、本発明の実施例によれば、図7に示すように、上述のステップS604の実行プロセスにおいて、第二知的エージェントが動作シーケンス[a21，a22，a23，a24]における各動作を実行する前の観測情報o1，o2，o3，o4を記録し、その後、観測情報と、取得された第二知的エージェントの動作とをペア（対）にして第二知的エージェントのマッピングベースに記録しても良く、例えば、o1→a21，o2→a22，o3→a23，o4→a24である。
【００９３】
上述のようなプロセルを繰り返すことで、訓練済みの第一知的エージェントのマッピングベースに基づいて、未訓練の第二知的エージェントのマッピングベースを構築することができ、これにより、第一知的エージェントの処理知識の第二知的エージェントへの転移を実現することができる。
【００９４】
訓練済みのマッピングモデル及び判断モデルを用いてマッピングベースを形成する処理600は、ステップS606でエンドする。
【００９５】
上述のような処理を行うことで、第一知的エージェントの処理知識を第二知的エージェントに転移することにより、第二知的エージェントは、観測情報に基づいて対応する動作を実行して同じタスクを完成することができる。しかし、第二知的エージェントのマッピングベースが第一知的エージェントのマッピングベースに基づいて形成されるので、第二知的エージェントは、第一知的エージェントと同じである処理知識のみを具備する。換言すると、第一知的エージェントが有しない観測情報について、第二知的エージェントは、その対応する処理知識を具備しない。よって、第二知的エージェントの処理パフォーマンスをさらに向上させるために、本発明の実施例によれば、形成された第二知的エージェントの、観測情報から動作へのマッピングベースを訓練サンプル集合として第二知的エージェントを訓練することにより、第二知的エージェントが第一知的エージェントの有しない観測情報に対応し得るようにさせることもできる。
【００９６】
本発明による情報処理方法によれば、訓練済みの第一知的エージェントのタスクに対しての処理知識を、異なる動作空間を有する未訓練の第二知的エージェントに転移することで、第二知的エージェントの訓練プロセスを簡略化することができ、これにより、訓練コストを低減し、訓練効率を向上させることができる。
【００９７】
また、本発明は、さらに、情報処理装置を提供し、それは、第一知的エージェントの処理知識を第二知的エージェントに転移するために用いられ、そのうち、第一知的エージェントは、第一知的エージェントの観測情報に基づいて対応する動作シーケンスを実行することができる。
【００９８】
図8は、本発明の実施例における情報処理装置800の構成ブロック図である。図8に示すように、装置800は、生成ユニット801を含み、それは、第一知的エージェントの第一動作シーケンスと、第二知的エージェントの第二動作シーケンスとの動作シーケンス対を生成し、そのうち、第一動作シーケンス及び第二動作シーケンスは、同じタスクを完成する。例えば、生成ユニット801は、上述の方法200におけるステップS202の処理を行うことができる。
【００９９】
また、装置800は、さらに、第一訓練ユニット802を含み、それは、生成済みの動作シーケンス対を用いてマッピングモデルを訓練し、そのうち、マッピングモデルは、第一知的エージェントの動作シーケンスに基づいて第二知的エージェントの動作シーケンスを生成することができる。例えば、第一訓練ユニット802は、上述の方法200におけるステップS203の処理を実行することができる。
【０１００】
また、装置800は、さらに、第二訓練ユニット803を含み、それは、第一知的エージェントの第一動作シーケンスを用いて判断モデルを訓練し、そのうち、判断モデルは、第一知的エージェントの動作シーケンスの現在の動作が該動作シーケンスの最後の動作であるかを判断することができる。例えば、第二訓練ユニット803は、上述の方法200におけるステップS204の処理を行うことができる。
【０１０１】
また、装置800は、さらに、形成ユニット804を含み、それは、訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベースを形成し、そのうち、マッピングベースは、第二知的エージェントの観測情報から第二知的エージェントの動作シーケンスへのマッピングを含む。例えば、形成ユニット804は、上述の方法200におけるステップS205の処理を実行することができる。
【０１０２】
以上、機械アームを知的エージェントとする具体例に基づいて本発明の実施例を説明したが、本発明は、これに限られない。当業者が理解すべきは、本発明は、機械アーム以外の、実行機構を有する任意の他の知的エージェント、例えば、ロボット、無人自動車、無人航空機などにも適用することができるということである。
【０１０３】
また、以上、便宜のために、機械アームの関節角度のみを例として本発明の実施例を説明したが、本発明は、これに限定されない。当業者が理解すべきは、ここで記載の知的エージェントの動作は、機械アームの関節角度に関するもの以外に、さらに、コネクティングロッドが伸縮する長さに関するものなども含むということである。また、知的エージェントの他の例では、例えば、無人自動車において、知的エージェントの動作は、さらに、ブレーキペタル及び／又はアクセルペダルの圧下量及び圧下ストローク、ハンドルの回転角度などに関するものであっても良い。なお、これらのすべての内容は、本発明の範囲に属する。
【０１０４】
また、以上、4  DoF機械アームとしての第一知的エージェント及び6  DoF機械アームとしての第二知的エージェントに基づいて、本発明の具体的な実施例を説明したが、当業者が理解すべきは、本発明の内容をもとに、第一知的エージェント及び第二知的エージェントの他の例を想到することもできるということであり、言い換えると、第一知的エージェント及び第二知的エージェントが異なる動作空間を有し、且つ同じタスクを完成することができれば良い。
【０１０５】
また、上述の一連の処理及び装置は、ソフトウェア及び／又はファームウェアにより実現されても良い。ソフトウェア及び／又はファームウェアにより実現される場合、記憶媒体又はネットワークから、専用ハードウェア構造を有するコンピュータ、例えば、図9に示す汎用マシン900（例えば、コンピュータ）に、該ソフトウェアを構成するプログラムをインストールし、該コンピュータは、各種のプログラムがインストールされているときに、各種の機能などを実行することができる。
【０１０６】
図9は、本発明の実施例における情報処理方法及び情報処理装置を実現し得る汎用マシン900の構成ブロック図である。汎用マシン900は、例えば、コンピュータシステムであっても良い。なお、汎用マシン900は、例示に過ぎず、本発明による方法及び装置の応用範囲又は機能について限定しない。また、汎用マシン900は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせに依存しない。
【０１０７】
図9では、中央処理装置（CPU）901は、ROM  902に記憶されているプログラム又は記憶部908からRAM  903にロッドされているプログラムに基づいて各種の処理を行う。RAM  903では、ニーズに応じて、CPU  901が各種の処理を行うときに必要なデータなどを記憶することもできる。CPU  901、ROM  902及びRAM  903は、バス904を経由して互いに接続される。入力／出力インターフェース905もバス904に接続される。
【０１０８】
また、入力／出力インターフェース905には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部906、液晶表示器（LCD）などのような表示器及びスピーカーなどを含む出力部907、ハードディスクなどを含む記憶部908、ネットワークインターフェースカード、例えば、LANカード、モデムなどを含む通信部909である。通信部909は、例えば、インターネット、LANなどのネットワークを経由して通信処理を行う。
【０１０９】
ドライブ910は、ニーズに応じて、入力／出力インターフェース905に接続されても良い。取り外し可能な媒体911、例えば、半導体メモリなどは、必要に応じて、ドライブ910にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部908にインストールすることができる。
【０１１０】
また、本発明は、さらに、マシン可読指令コードを含むプログラムプロダクトを提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（carry）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。
【０１１１】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
【０１１２】
また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。
【０１１３】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【０１１４】
（付記1）
第一知的エージェントの処理知識を第二知的エージェントに転移するための情報処理方法であって、
前記第一知的エージェントは、前記第一知的エージェントの観測情報に基づいて、対応する動作シーケンスを実行することができ、
前記情報処理方法は、
前記第一知的エージェントの第一動作シーケンスと、前記第二知的エージェントの第二動作シーケンスとの動作シーケンス対を生成し、前記第一動作シーケンス及び前記第二動作シーケンスが同じタスクを完成し；
生成済みの動作シーケンス対を用いてマッピングモデルを訓練し、前記マッピングモデルが前記第一知的エージェントの動作シーケンスに基づいて前記第二知的エージェントの動作シーケンスを生成することができ；
前記第一知的エージェントの第一動作シーケンスを用いて判断モデルを訓練し、前記判断モデルにより、前記第一知的エージェントの動作シーケンスの現在の動作が該動作シーケンスの最後の動作であるかを判断することができ；及び
訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベースを形成し、前記マッピングベースが前記第二知的エージェントの観測情報から前記第二知的エージェントの動作シーケンスへのマッピングを含むステップを含む、方法。
【０１１５】
（付記2）
付記1に記載の情報処理方法であって、
前記第一知的エージェント及び前記第二知的エージェントが機械アームである、方法。
【０１１６】
（付記3）
付記1又は2に記載の情報処理方法であって、
前記第一知的エージェントの動作自由度が前記第二知的エージェントの動作自由度とは異なる、方法。
【０１１７】
（付記4）
付記1乃至3のうちの任意の一項に記載の情報処理方法であって、
異なるタスクを用いて、異なる前記動作シーケンス対を形成する、方法。
【０１１８】
（付記5）
付記1乃至4のうちの任意の一項に記載の情報処理方法であって、
前記動作シーケンス対を用いてマッピングモデルを訓練するステップは、
前記第一知的エージェントの動作の第一索引を設定し、前記第一索引を表す第一索引ベクトルにより、前記第一知的エージェントの第一動作シーケンスを示し；
前記第二知的エージェントの動作の第二索引を設定し、前記第二索引を表す第二索引ベクトルにより、前記第二知的エージェントの第二動作シーケンスを示し；及び
前記第一索引ベクトル及び前記第二索引ベクトルを用いて前記マッピングモデルを訓練するステップを含む、方法。
【０１１９】
（付記6）
付記1乃至4のうちの任意の一項に記載の情報処理方法であって、
前記第一動作シーケンスを用いて判断モデルを訓練するステップは、
前記第一知的エージェントの動作の第一索引を設定し、前記第一索引を表す第一索引ベクトルにより、前記第一知的エージェントの第一動作シーケンスを示し；及び
前記第一索引ベクトルを用いて前記判断モデルを訓練するステップを含む、方法。
【０１２０】
（付記7）
付記1乃至4のうちの任意の一項に記載の情報処理方法であって、
前記マッピングモデルは、エンコーディングユニット及びデコーディングユニットを含み、
前記エンコーディングユニットは、前記第一知的エージェントの動作シーケンスを固定長ベクトルにエンコーディングし、
前記デコーディングユニットは、前記固定長ベクトルを前記第二知的エージェントの動作シーケンスにデコーディングする、方法。
【０１２１】
（付記8）
付記1乃至4のうちの任意の一項に記載の情報処理方法であって、
前記マッピングモデルは、エンコーディングユニット及びデコーディングユニットを含み、
前記エンコーディングユニットは、前記第一知的エージェントの動作シーケンスの逆シーケンスを固定長ベクトルにエンコーディングし、
前記デコーディングユニットは、前記固定長ベクトルを前記第二知的エージェントの動作シーケンスの逆シーケンスにデコーディングする、方法。
【０１２２】
（付記9）
付記7に記載の情報処理方法であって、
前記エンコーディングユニット及び前記デコーディングユニットが再帰型ニューラルネットワークモデルにより実現される、方法。
【０１２３】
（付記10）
付記1乃至4のうちの任意の一項に記載の情報処理方法であって、
前記判断モデルが再帰型ニューラルネットワークモデルにより実現される、方法。
【０１２４】
（付記11）
付記10又は11に記載の情報処理方法であって、
前記再帰型ニューラルネットワークモデルが長・短期記憶モデル又はゲート付き回帰型ユニットモデルである、方法。
【０１２５】
（付記12）
付記1乃至4のうちの任意の一項に記載の情報処理方法であって、
訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベースを形成するステップは、
前記第一知的エージェントが、前記第一知的エージェントの観測情報に関する環境情報に基づいて、前記第一知的エージェントの動作シーケンスからなる動作フローを実行し；
訓練済みの判断モデルを用いて、前記動作フローから前記第一知的エージェントの動作シーケンスを抽出し；
訓練済みのマッピングモデルを用いて、抽出された前記第一知的エージェントの動作シーケンスに基づいて、前記第二知的エージェントの動作シーケンスを生成し；及び
前記第二知的エージェントの観測情報から生成済みの前記第二知的エージェントの動作シーケンスへのマッピングを形成するステップを含む、方法。
【０１２６】
（付記13）
付記1乃至4のうちの任意の一項に記載の情報処理方法であって、
前記マッピングベースを用いて第二知的エージェントを訓練するステップをさらに含む、方法。
【０１２７】
（付記14）
第一知的エージェントの処理知識を第二知的エージェントに転移するための情報処理装置であって、
前記第一知的エージェントは、前記第一知的エージェントの観測情報に基づいて、対応する動作シーケンスを実行することができ、
前記情報処理装置は、
前記第一知的エージェントの第一動作シーケンスと、前記第二知的エージェントの第二動作シーケンスとの動作シーケンス対を生成する生成ユニットであって、前記第一動作シーケンス及び前記第二動作シーケンスが同じタスクを完成する生成ユニット；
生成済みの動作シーケンス対を用いてマッピングモデルを訓練する第一訓練ユニットであって、前記マッピングモデルが前記第一知的エージェントの動作シーケンスに基づいて前記第二知的エージェントの動作シーケンスを生成することができる第一訓練ユニット；
前記第一知的エージェントの第一動作シーケンスを用いて判断モデルを訓練する第二訓練ユニットであって、前記判断モデルが、前記第一知的エージェントの動作シーケンスの現在の動作が該動作シーケンスの最後の動作であるかを判断することができる第二訓練ユニット；及び
訓練済みのマッピングモデル及び訓練済みの判断モデルを用いてマッピングベースを形成する形成ユニットであって、前記マッピングベースが前記第二知的エージェントの観測情報から前記第二知的エージェントの動作シーケンスへのマッピングを含む形成ユニットを含む、装置。
【０１２８】
（付記15）
付記14に記載の情報処理装置であって、
前記第一知的エージェント及び前記第二知的エージェントが機械アームである、装置。
【０１２９】
（付記16）
付記14又は15に記載の情報処理装置であって、
前記第一知的エージェントの動作自由度が前記第二知的エージェントの動作自由度とは異なる、装置。
【０１３０】
（付記17）
付記14乃至16のうちの任意の一項に記載の情報処理装置であって、
異なるタスクを用いて、異なる前記動作シーケンス対を形成する、装置。
【０１３１】
（付記18）
付記14乃至17のうちの任意の一項に記載の情報処理装置であって、
前記第一訓練ユニットは、
前記第一知的エージェントの動作の第一索引を設定し、前記第一索引を表す第一索引ベクトルにより、前記第一知的エージェントの第一動作シーケンスを示し；
前記第二知的エージェントの動作の第二索引を設定し、前記第二索引を表す第二索引ベクトルにより、前記第二知的エージェントの第二動作シーケンスを示し；及び
前記第一索引ベクトル及び前記第二索引ベクトルを用いて前記マッピングモデルを訓練する、装置。
【０１３２】
（付記19）
付記14乃至17のうちの任意の一項に記載の情報処理装置であって、
前記第二訓練ユニットは、
前記第一知的エージェントの動作の第一索引を設定し、前記第一索引を表す第一索引ベクトルにより、前記第一知的エージェントの第一動作シーケンスを示し；及び
前記第一索引ベクトルを用いて前記判断モデルを訓練する、装置。
【０１３３】
（付記20）
コンピュータ可読記憶媒体であって、
コンピュータプログラムが記憶されており、
前記コンピュータプログラムがコンピュータにより実行されるときに付記1乃至13のうちの任意の一項に記載の情報処理方法を実現し得る、記憶媒体。
【０１３４】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【図１】
2020119551.tif 000008
【図２】
2020119551.tif 000009
【図３】
2020119551.tif 000010
【図４】
2020119551.tif 000011
【図５】
2020119551.tif 000012
【図６】
2020119551.tif 000013
【図７】
2020119551.tif 000014
【図８】
2020119551.tif 000015
【図９】
2020119551.tif 000016