(57)【要約】【課題】コンテンツモーションデータ及びスタイルモーションデータに基づいて合成されたモーションデータをアップデートできるモーション合成方法を提供する。【解決手段】本発明のモーション合成方法は、モーション合成装置がコンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得する動作と、モーション合成装置が獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成する動作と、モーション合成装置が合成されたモーションデータを認識し、認識した合成されたモーションデータから合成されたモーション特徴値を獲得する動作と、モーション合成装置が合成されたモーション特徴値とターゲット特徴値とを用いて損失を獲得し、獲得した損失によって合成されたモーションデータをアップデートする動作と、を含む。【選択図】図５
2020021474.tif 000002
【特許請求の範囲】
【請求項１】
モーション合成装置がコンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得する動作と、
モーション合成装置が前記獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成する動作と、
モーション合成装置が合成されたモーションデータを認識し、前記認識した合成されたモーションデータから合成されたモーション特徴値を獲得する動作と、
モーション合成装置が前記合成されたモーション特徴値及び前記ターゲット特徴値を用いて損失を獲得し、前記獲得した損失によって前記合成されたモーションデータをアップデートする動作と、
を含むことを特徴とするモーション合成方法。
【請求項２】
前記合成されたモーションデータをアップデートする動作は、
前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまでバック・プロパゲーションアルゴリズムを用いて行われることを特徴とする請求項１に記載のモーション合成方法。
【請求項３】
前記モーション合成装置は、学習されていない畳み込みニューラルネットワークを用いて特徴値を獲得することを特徴とする請求項１に記載のモーション合成方法。
【請求項４】
前記コンテンツモーションデータ及び前記スタイルモーションデータは、アニメーションデータであることを特徴とする請求項１に記載のモーション合成方法。
【請求項５】
前記コンテンツモーションデータ及び前記スタイルモーションデータは、骨の情報を含むことを特徴とする請求項１に記載のモーション合成方法。
【請求項６】
前記スタイル特徴値を用いてスタイル損失を獲得し、前記獲得したスタイル損失に加重値を付与して前記ターゲット特徴値を生成することを特徴とする請求項１に記載のモーション合成方法。
【請求項７】
モーション合成装置において、
前記モーション合成装置は、プロセッサを備え、
前記プロセッサは、
コンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得し、
前記獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成し、
合成されたモーションデータを認識し、前記認識した合成されたモーションデータから合成されたモーション特徴値を獲得し、
前記合成されたモーション特徴値及び前記ターゲット特徴値を用いて損失を獲得し、前記獲得した損失によって前記合成されたモーションデータをアップデートすることを特徴とするモーション合成装置。
【請求項８】
前記合成されたモーションデータをアップデートする動作は、
前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまでバック・プロパゲーションアルゴリズムを用いて行われることを特徴とする請求項７に記載のモーション合成装置。
【請求項９】
前記プロセッサは、
学習されていない畳み込みニューラルネットワークを用いて特徴値を獲得することを特徴とする請求項７に記載のモーション合成装置。
【請求項１０】
前記コンテンツモーションデータ及び前記スタイルモーションデータは、アニメーションデータであることを特徴とする請求項７に記載のモーション合成装置。
【請求項１１】
前記コンテンツモーションデータ及び前記スタイルモーションデータは、骨の情報を含むことを特徴とする請求項７に記載のモーション合成装置。
【請求項１２】
前記スタイル特徴値を用いてスタイル損失を獲得し、前記獲得したスタイル損失に加重値を付与して前記ターゲット特徴値を生成することを特徴とする請求項７に記載のモーション合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
下記の実施形態は、モーション合成装置及びモーション合成方法に係り、さらに詳細には、ターゲット特徴値と合成されたモーション特徴値を用いて損失を獲得し、前記獲得した損失によって合成されたモーションデータをアップデートするモーション合成装置及びモーション合成方法に関する。
【背景技術】
【０００２】
機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）は人工知能の一分野であり、パターン認識及びコンピュータ学習理論の研究から進化した分野であり、コンピュータを学習可能にするアルゴリズム及び技術を開発する分野をいう。
【０００３】
機械学習は、経験的データに基づいて学習を行い、かつ予測を行って自体の性能を高めるシステムと、このためアルゴリズムを研究して構築する技術のことである。機械学習のアルゴリズムは、厳しく定められた静的なプログラム命令を施すものではなく、入力データに基づいて予測や決定を導き出すために特定のモデルを構築する方式を取る。
【０００４】
機械学習の核心は表現及び一般化にある。表現とは、データの評価であり、一般化とは、まだ分からないデータの処理である。これは電算学習理論分野でもある。
【０００５】
深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）は、多くの非線形変換技法の組み合わせを通じて高いレベルの抽象化を試みる機械学習アルゴリズムの集合と定義され、大きな枠組みで人間の考え方をコンピュータに教える機械学習の一分野であるといえる。
【０００６】
あるデータをコンピュータが聞き取れる形で表現し、これを学習に適用するために多い研究が進んでおり、このような努力の結果としてｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ、ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓなどの多様な深層学習技法がコンピュータビジョン、音声認識、自然語処理、音声／信号処理などの分野に適用されて最尖端の結果を示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】韓国登録特許第１０−１５０１４０５号公報（２０１５年３月４日登録）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の実施形態によれば、コンテンツモーションデータ及びスタイルモーションデータに基づいて合成されたモーションデータをアップデートできるモーション合成装置及びモーション合成方法を提供する。
【０００９】
また、本発明の他の実施形態によれば、学習されていない（ｕｎｔｒａｉｎｅｄ）畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて特徴値を獲得できるモーション合成装置及びモーション合成方法を提供する。
【課題を解決するための手段】
【００１０】
本発明の一実施形態によれば、モーション合成装置がコンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得する動作と、モーション合成装置が前記獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成する動作と、モーション合成装置が合成されたモーションデータを認識し、前記認識した合成されたモーションデータから合成されたモーション特徴値を獲得する動作と、モーション合成装置が前記合成されたモーション特徴値と前記ターゲット特徴値とを用いて損失を獲得し、前記獲得した損失によって前記合成されたモーションデータをアップデートする動作とを含む。
【００１１】
また、前記合成されたモーションデータをアップデートする動作は、前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまでバック・プロパゲーションアルゴリズムを用いて行われる。
【００１２】
また、前記モーション合成装置は、学習されていない畳み込みニューラルネットワークを用いて特徴値を獲得する。
【００１３】
また、前記コンテンツモーションデータ及び前記スタイルモーションデータは、アニメーションデータである。
【００１４】
また、前記コンテンツモーションデータ及び前記スタイルモーションデータは、骨の情報を含む。
【００１５】
また、前記スタイル特徴値を用いてスタイルロスを獲得し、前記獲得したスタイルロスに加重値を付与して前記ターゲット特徴値を生成する。
【００１６】
本発明の他の実施形態によれば、モーション合成装置において、前記モーション合成装置はプロセッサを備え、前記プロセッサは、コンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得し、前記獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成し、合成されたモーションデータを認識し、前記認識した合成されたモーションデータから合成されたモーション特徴値を獲得し、前記合成されたモーション特徴値と前記ターゲット特徴値とを用いて損失を獲得し、前記獲得した損失によって前記合成されたモーションデータをアップデートする。
【００１７】
また、前記合成されたモーションデータをアップデートする動作は、前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまでバック・プロパゲーションアルゴリズムを用いて行われる。
【００１８】
また、前記プロセッサは、学習されていない畳み込みニューラルネットワークを用いて特徴値を獲得する。
【００１９】
また、前記コンテンツモーションデータ及び前記スタイルモーションデータは、アニメーションデータである。
【００２０】
また、前記コンテンツモーションデータ及び前記スタイルモーションデータは、骨の情報を含む。
【００２１】
前記スタイル特徴値を用いてスタイルロスを獲得し、前記獲得したスタイルロスに加重値を付与して前記ターゲット特徴値を生成する。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態によるモーション合成装置の動作を示す図面である。
【図２】本発明の一実施形態によるモーション合成装置の構成を示す図面である。
【図３】本発明の一実施形態による第１畳み込みニューラルネットワークの構成を示す図面である。
【図４】本発明の一実施形態による第２畳み込みニューラルネットワークの構成を示す図面である。
【図５】本発明の一実施形態によるモーション合成方法を示すフローチャートである。
【図６】本発明の一実施形態によってコンテンツモーション及びスタイルモーションを用いてモーションを合成する一例を示す図面である。
【図７】本発明の一実施形態を具現するための例示的なコンピュータシステムのブロック図である。
【発明を実施するための形態】
【００２３】
本明細書に開示されている本発明の概念による実施形態についての特定の構造的または機能的説明は、単に本発明の概念による実施形態を説明するための目的で例示されたものであり、本発明の概念による実施形態は多様な形態で施され、本明細書に説明されている実施形態に限定されるものではない。
【００２４】
本発明の概念による実施形態は多様な変更を加えられ、かつ様々な形態を持つことができるため、実施形態を図面に例示して本明細書で詳細に説明する。しかし、これは本発明の概念による実施形態を特定の開示形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物、または代替物を含む。
【００２５】
第１または第２などの用語は、多様な構成要素を説明するときに使われうるが、前記構成要素は前記用語によって限定されてはいけない。前記用語は、一つの構成要素を他の構成要素から区別する目的でのみ使われ、例えば、本発明の概念による権利範囲から逸脱せずに、第１構成要素は第２構成要素とも名付けられ、類似しては第２構成要素も第１構成要素と名付けられてもよい。
【００２６】
ある構成要素が他の構成要素に「連結されて」いるか、または「接続されて」いると言及された時には、その他の構成要素に直接的に連結されているか、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解されねばならない。一方、ある構成要素が他の構成要素に「直接連結されて」いるか、または「直接接続されて」いると言及された時には、中間に他の構成要素が存在しないと理解されねばならない。構成要素との関係を説明する他の表現、すなわち、「〜との間に」と「直ぐ〜との間に」または「〜に隣り合う」と「〜に直接隣り合う」なども同様に解釈されねばならない。
【００２７】
本明細書で使う用語は、単に特定の実施例を説明するために使われるものであり、本発明を限定しようとする意図はない。単数の表現は文脈上明らかに表さない限り、複数の表現を含む。
【００２８】
本明細書で、「含む」または「持つ」などの用語は、説明された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在するということを指定するためのものであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものなどの存在または付加の可能性を予め排除しないと理解されねばならない。
【００２９】
異なって定義されない限り、技術的または科学的な用語を始めとしてここで使われるすべての用語は、当業者によって一般的に理解されるものと同じ意味がある。
【００３０】
一般的に使われる辞書に定義されているような用語は、関連技術の文脈上持つ意味と一致する意味を持つと解釈されねばならず、本明細書で明らかに定義しない限り、理想的または過度に形式的な意味に解釈されない。
【００３１】
以下の説明で同じ識別記号は同じ構成を意味し、不要な重複的な説明及び公知技術についての説明は略する。
【００３２】
本発明の実施例で「通信」、「通信網」及び「ネットワーク」は同じ意味で使われる。前記三つの用語は、ファイルをユーザ端末、他のユーザの端末及びダウンロードサーバの間で送受信できる有無線の近距離及び広域データ送受信網を意味する。
以下、添付した図面を参照して本発明の望ましい実施例を説明することによって本発明を詳細に説明する。
【００３３】
図１は、本発明の一実施形態によるモーション合成装置の動作を示す図面である。
【００３４】
図１を参照すれば、本発明の一実施形態によるモーション合成装置１００は、コンテンツモーションデータ１０１とスタイルモーションデータ１０２とを入力されて合成されたモーションデータ１０５を生成する。
【００３５】
コンテンツモーションデータ１０１とスタイルモーションデータ１０２とは、モーション合成装置１００にそれぞれ入力され、コンテンツモーションデータ１０１とスタイルモーションデータ１０２とは相異なるモーションデータであることが望ましい。
【００３６】
コンテンツモーションデータ１０１とスタイルモーションデータ１０２とは、サイズの同じモーションデータである。
【００３７】
コンテンツモーションデータ１０１は、アニメーションデータでありうる。
【００３８】
コンテンツモーションデータ１０１は、歩き、走り、ジャンプなどの動作であることが望ましいが、これに限定されるものではない。
【００３９】
コンテンツモーションデータ１０１は、骨の回転情報を含みうる。
【００４０】
コンテンツモーションデータ１０１は、骨の位置情報を含みうる。
【００４１】
コンテンツモーションデータ１０１は、骨の回転情報及び位置情報を含みうる。
【００４２】
この時、前記骨は、人体を構成する骨のうち少なくともいずれか一つに当たる。
【００４３】
また、前記骨は、上体または下体を構成する骨のうち少なくともいずれか一つに当たる。
【００４４】
また、前記骨は、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨のうち少なくともいずれか一つに当たる。
【００４５】
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足の骨のうち少なくともいずれか一つに当たる。
【００４６】
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足を構成するそれぞれの骨のうち少なくともいずれか一つに当たる。
【００４７】
コンテンツモーションデータ１０１は、インデックス付きデータでありうる。
【００４８】
コンテンツモーションデータ１０１は、骨の回転情報のインデックス付きデータでありうる。
【００４９】
コンテンツモーションデータ１０１は、骨の位置情報のインデックス付きデータでありうる。
【００５０】
コンテンツモーションデータ１０１は、骨の回転情報及び位置情報のインデックス付きデータでありうる。
【００５１】
コンテンツモーションデータ１０１は、骨の回転情報によって分類されたデータでありうる。
【００５２】
コンテンツモーションデータ１０１は、骨の位置情報によって分類されたデータでありうる。
【００５３】
コンテンツモーションデータ１０１は、骨の回転情報及び位置情報によって分類されたデータでありうる。
【００５４】
コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって分類されたデータでありうる。
【００５５】
コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって分類されたデータでありうる。
【００５６】
コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって分類されたデータでありうる。
【００５７】
スタイルモーションデータ１０２は、アニメーションデータでありうる。
【００５８】
スタイルモーションデータ１０２は、コンテンツモーションデータ１０１が合成されうるモーション（例えば、ゲーム内のキャラクタ、鉄砲を持っている人、２本の刀を持っている人、オーク、ゾンビなど）を表現したデータであることが望ましい。
【００５９】
スタイルモーションデータ１０２は、骨の回転情報を含みうる。
【００６０】
スタイルモーションデータ１０２は、骨の位置情報を含みうる。
【００６１】
スタイルモーションデータ１０２は、骨の回転情報及び位置情報を含みうる。
【００６２】
この時、前記骨は、人体を構成する骨のうち少なくともいずれか一つに当たる。
【００６３】
また、前記骨は、上体または下体を構成する骨のうち少なくともいずれか一つに当たる。
【００６４】
また、前記骨は、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨のうち少なくともいずれか一つに当たる。
【００６５】
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足の骨のうち少なくともいずれか一つに当たる。
【００６６】
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足を構成するそれぞれの骨のうち少なくともいずれか一つに当たる。
【００６７】
スタイルモーションデータ１０２は、インデックス付きデータでありうる。
【００６８】
スタイルモーションデータ１０２は、骨の回転情報のインデックス付きデータでありうる。
【００６９】
スタイルモーションデータ１０２は、骨の位置情報のインデックス付きデータでありうる。
【００７０】
スタイルモーションデータ１０２は、骨の回転情報及び位置情報のインデックス付きデータでありうる。
【００７１】
スタイルモーションデータ１０２は、骨の回転情報によって分類されたデータでありうる。
【００７２】
スタイルモーションデータ１０２は、骨の位置情報によって分類されたデータでありうる。
【００７３】
スタイルモーションデータ１０２は、骨の回転情報及び位置情報によって分類されたデータでありうる。
【００７４】
スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって分類されたデータでありうる。
【００７５】
スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって分類されたデータでありうる。
【００７６】
スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって分類されたデータでありうる。
【００７７】
図２は、本発明の一実施形態によるモーション合成装置の構成を示す図面であり、図３は、本発明の一実施形態による第１畳み込みニューラルネットワークの構成を示す図面である。
【００７８】
図２を参照すれば、本発明の一実施形態によるモーション合成装置１００は、第１畳み込みニューラルネットワーク１１０と、ターゲット特性値生成モジュール１２０と、第２畳み込みニューラルネットワーク１３０と、損失生成モジュール１４０とを備える。
【００７９】
図２及び図３を参照すれば、第１畳み込みニューラルネットワーク１１０は、６個のサブ畳み込みニューラルネットワークを含む。
【００８０】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって学習されていない（ｕｎｔｒａｉｎｅｄ）畳み込みニューラルネットワークでありうる。
第１畳み込みニューラルネットワーク１１０は、コンテンツモーションデータ１０１を獲得する。
【００８１】
この時、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって人体を構成する骨に分類されたデータでありうる。
【００８２】
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって上体または下体を構成する骨に分類されたデータでありうる。
【００８３】
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
【００８４】
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
【００８５】
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
【００８６】
また、コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって人体を構成する骨に分類されたデータでありうる。
【００８７】
また、コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
【００８８】
また、コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
【００８９】
また、コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
【００９０】
また、コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
【００９１】
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって人体を構成する骨に分類されたデータでありうる。
【００９２】
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
【００９３】
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
【００９４】
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
【００９５】
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
【００９６】
第１畳み込みニューラルネットワーク１１０は、コンテンツモーションデータ１０１によってコンテンツ特徴値を獲得する。
【００９７】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたコンテンツモーションデータ１０１によってコンテンツ特徴値を獲得する。
【００９８】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたコンテンツモーションデータ１０１によってコンテンツ特徴値を獲得する。
【００９９】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたコンテンツモーションデータ１０１によってコンテンツ特徴値を獲得する。
【０１００】
第１畳み込みニューラルネットワーク１１０は、複数のサブ畳み込みニューラルネットワークを含む。
【０１０１】
第１畳み込みニューラルネットワーク１１０は、人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークを含む。
【０１０２】
第１畳み込みニューラルネットワーク１１０は、上体または下体に対応する２個のサブ畳み込みニューラルネットワークを含む。
【０１０３】
第１畳み込みニューラルネットワーク１１０は、人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークを含む。
【０１０４】
第１畳み込みニューラルネットワーク１１０は、頭と、脊椎と、左腕と、右腕と、左足と、右足とに対応する６個のサブ畳み込みニューラルネットワークを含む。
【０１０５】
第１畳み込みニューラルネットワーク１１０は、コンテンツモーションデータ１０１と前記サブ畳み込みニューラルネットワークとをマッチングする。
【０１０６】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
【０１０７】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
【０１０８】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
【０１０９】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
【０１１０】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
【０１１１】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
【０１１２】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
【０１１３】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
【０１１４】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
【０１１５】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
【０１１６】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
【０１１７】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
【０１１８】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって頭に分類されたコンテンツモーションデータ１０１を第１サブ畳み込みニューラルネットワーク１１１とマッチングする。
【０１１９】
第１サブ畳み込みニューラルネットワーク１１１は、本発明の一実施形態によってマッチングされた、頭に分類されたコンテンツモーションデータ１０１から頭特徴値を獲得する。
【０１２０】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって脊椎に分類されたコンテンツモーションデータ１０１を第２サブ畳み込みニューラルネットワーク１１２とマッチングする。
【０１２１】
第２サブ畳み込みニューラルネットワーク１１２は、本発明の一実施形態によってマッチングされた、脊椎に分類されたコンテンツモーションデータ１０１から脊椎特徴値を獲得する。
【０１２２】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって左腕に分類されたコンテンツモーションデータ１０１を第３サブ畳み込みニューラルネットワーク１１３とマッチングする。
【０１２３】
第３サブ畳み込みニューラルネットワーク１１３は、本発明の一実施形態によってマッチングされた、左腕に分類されたコンテンツモーションデータ１０１から左腕特徴値を獲得する。
【０１２４】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって右腕に分類されたコンテンツモーションデータ１０１を第４サブ畳み込みニューラルネットワーク１１４とマッチングする。
【０１２５】
第４サブ畳み込みニューラルネットワーク１１４は、本発明の一実施形態によってマッチングされた、右腕に分類されたコンテンツモーションデータ１０１から右腕特徴値を獲得する。
【０１２６】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって左足に分類されたコンテンツモーションデータ１０１を第５サブ畳み込みニューラルネットワーク１１５とマッチングする。
【０１２７】
第５サブ畳み込みニューラルネットワーク１１５は、本発明の一実施形態によってマッチングされた、左足に分類されたコンテンツモーションデータ１０１から左足特徴値を獲得する。
【０１２８】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって右足に分類されたコンテンツモーションデータ１０１を第６サブ畳み込みニューラルネットワーク１１６とマッチングする。
【０１２９】
第６サブ畳み込みニューラルネットワーク１１６は、本発明の一実施形態によってマッチングされた、右足に分類されたコンテンツモーションデータ１０１から右足特徴値を獲得する。
【０１３０】
第１畳み込みニューラルネットワーク１１０は、頭特徴値と、脊椎特徴値と、左腕特徴値と、右腕特徴値と、左足特徴値と、右足特徴値とを用いてコンテンツ特徴値１０３を獲得する。
【０１３１】
第１畳み込みニューラルネットワーク１１０が獲得したコンテンツ特徴値１０３を、コンテンツ特徴マップといえる。
【０１３２】
第１畳み込みニューラルネットワーク１１０が獲得したコンテンツ特徴値１０３を、コンテンツベクトルといえる。
【０１３３】
第１畳み込みニューラルネットワーク１１０が獲得したコンテンツ特徴値１０３の配列を、コンテンツベクトルといえる。
【０１３４】
第１畳み込みニューラルネットワーク１１０は、スタイルモーションデータ１０２を獲得する。
【０１３５】
この時、スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって人体を構成する骨に分類されたデータでありうる。
【０１３６】
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって上体または下体を構成する骨に分類されたデータでありうる。
【０１３７】
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
【０１３８】
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
【０１３９】
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
【０１４０】
また、スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって人体を構成する骨に分類されたデータでありうる。
【０１４１】
また、スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
【０１４２】
また、スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
【０１４３】
また、スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
【０１４４】
また、スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
【０１４５】
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって人体を構成する骨に分類されたデータでありうる。
【０１４６】
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
【０１４７】
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
【０１４８】
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
【０１４９】
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
【０１５０】
第１畳み込みニューラルネットワーク１１０は、スタイルモーションデータ１０２によってスタイル特徴値を獲得する。
【０１５１】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたスタイルモーションデータ１０２によってスタイル特徴値を獲得する。
【０１５２】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたスタイルモーションデータ１０２によってスタイル特徴値を獲得する。
【０１５３】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたスタイルモーションデータ１０２によってスタイル特徴値を獲得する。
【０１５４】
第１畳み込みニューラルネットワーク１１０は、スタイルモーションデータ１０２と前記サブ畳み込みニューラルネットワークとをマッチングする。
【０１５５】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
【０１５６】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
【０１５７】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
【０１５８】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
【０１５９】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
【０１６０】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
【０１６１】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
【０１６２】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
【０１６３】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
【０１６４】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
【０１６５】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
【０１６６】
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
【０１６７】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって頭に分類されたスタイルモーションデータ１０２を第１サブ畳み込みニューラルネットワーク１１１とマッチングする。
【０１６８】
第１サブ畳み込みニューラルネットワーク１１１は、本発明の一実施形態によってマッチングされた、頭に分類されたスタイルモーションデータ１０２から頭特徴値を獲得する。
【０１６９】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって脊椎に分類されたスタイルモーションデータ１０２を第２サブ畳み込みニューラルネットワーク１１２とマッチングする。
【０１７０】
第２サブ畳み込みニューラルネットワーク１１２は、本発明の一実施形態によってマッチングされた、脊椎に分類されたスタイルモーションデータ１０２から脊椎特徴値を獲得する。
【０１７１】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって左腕に分類されたスタイルモーションデータ１０２を第３サブ畳み込みニューラルネットワーク１１３とマッチングする。
【０１７２】
第３サブ畳み込みニューラルネットワーク１１３は、本発明の一実施形態によってマッチングされた、左腕に分類されたスタイルモーションデータ１０２から左腕特徴値を獲得する。
【０１７３】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって右腕に分類されたスタイルモーションデータ１０２を第４サブ畳み込みニューラルネットワーク１１４とマッチングする。
【０１７４】
第４サブ畳み込みニューラルネットワーク１１４は、本発明の一実施形態によってマッチングされた、右腕に分類されたスタイルモーションデータ１０２から右腕特徴値を獲得する。
【０１７５】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって左足に分類されたスタイルモーションデータ１０２を第５サブ畳み込みニューラルネットワーク１１５とマッチングする。
【０１７６】
第５サブ畳み込みニューラルネットワーク１１５は、本発明の一実施形態によってマッチングされた、左足に分類されたスタイルモーションデータ１０２から左足特徴値を獲得する。
【０１７７】
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって右足に分類されたスタイルモーションデータ１０２を第６サブ畳み込みニューラルネットワーク１１６とマッチングする。
【０１７８】
第６サブ畳み込みニューラルネットワーク１１６は、本発明の一実施形態によってマッチングされた、右足に分類されたスタイルモーションデータ１０２から右足特徴値を獲得する。
【０１７９】
第１畳み込みニューラルネットワーク１１０は、頭特徴値と、脊椎特徴値と、左腕特徴値と、右腕特徴値と、左足特徴値と、右足特徴値とを用いてスタイル特徴値１０４を獲得する。
【０１８０】
第１畳み込みニューラルネットワーク１１０が獲得したスタイル特徴値１０４を、スタイル特徴マップといえる。
【０１８１】
第１畳み込みニューラルネットワーク１１０が獲得したスタイル特徴値１０４を、スタイルベクトルといえる。
【０１８２】
第１畳み込みニューラルネットワーク１１０が獲得したスタイル特徴値１０４の配列を、スタイルベクトルといえる。
【０１８３】
ターゲット特性値生成モジュール１２０は、第１畳み込みニューラルネットワーク１１０が獲得した前記コンテンツ特徴値１０３及び前記スタイル特徴値１０４を用いてターゲット特徴値を生成する。
【０１８４】
ターゲット特性値生成モジュール１２０は、下記の数式１を用いて前記ターゲット特徴値に当たるＦ（ｔ）を生成する。
【数１】
2020021474.tif 000003
（数式１）
ここで、ａはユーザ定義のウェイトベクトルであり、Ｇｒａｍ＝（FT・F）/ｎである。また、ｉはインデックスを意味し、身体部分（例えば、頭、脊椎、左腕、右腕、左足、右足）別にそれぞれ異なるｉ値がインデックス付きになる。
【０１８５】
前記数式１における
【数２】
2020021474.tif 000004
の部分は、コンテンツ損失である。前記コンテンツ損失は、ターゲット特徴値とコンテンツ特徴値との差を示す。
【０１８６】
前記コンテンツ損失は、身体部分別に変わりうる。
【０１８７】
前記コンテンツ損失は、前記それぞれ異なるｉ値がインデックス付きになっている身体部分別に変わりうる。
【０１８８】
前記コンテンツ損失におけるＭＳＥは、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を示す。
【０１８９】
前記数式１における
【数３】
2020021474.tif 000005
の部分は、加重されたスタイル損失である。前記加重されたスタイル損失は、ターゲット特徴値とスタイル特徴値との差を示す。
【０１９０】
前記加重されたスタイル損失は、身体部分別に変わりうる。
【０１９１】
前記加重されたスタイル損失は、前記それぞれ異なるｉ値がインデックス付きになっている身体部分別に変わりうる。
【０１９２】
前記加重されたスタイル損失でＭＳＥは、平均二乗誤差を示す。
【０１９３】
加重値ａｉは、前記それぞれ異なるｉ値がインデックス付きになっている身体部分別に相異なって付与される。よって、前記身体部分別に付与された加重値ａｉを修正して前記身体部分別に加重されたスタイル損失を修正する。
【０１９４】
前記ターゲット特徴値に前記加重されたスタイル損失の反映される程度は、前記加重値ａｉによって調整される。
【０１９５】
前記加重値ａｉによって前記スタイル特徴値がターゲット特徴値に反映される程度を調整する。
【０１９６】
前記加重値ａｉを用いて前記スタイル特徴値がターゲット特徴値に反映される程度を調整して、合成されたモーションデータを修正できる。
【０１９７】
すなわち、前記加重値ａｉが修正されれば、身体部分別に加重されたスタイル損失が修正される。
【０１９８】
そして、前記身体部分別に加重されたスタイル損失が修正されれば、前記修正された身体部分別に加重されたスタイル損失によって前記身体部分別の前記ターゲット特徴値が修正される。
【０１９９】
そして、前記身体部分別の前記ターゲット特徴値が修正されれば、前記修正された身体部分別の前記ターゲット特徴値を用いてアップデートされる、合成されたモーションデータが前記身体部分別に修正される。
【０２００】
前記数式１で、前記コンテンツ損失と前記加重されたスタイル損失とを加えた値からエラーを最小化するためのベクトルを生成するために、ａｒｇｍｉｎが用いられる。
【０２０１】
ターゲット特性値生成モジュール１２０が生成したターゲット特徴値は、ベクトルでありうる。
【０２０２】
図４は、本発明の一実施形態による第２畳み込みニューラルネットワークの構成を示す図面である。
【０２０３】
図２及び図４を再び参照すれば、第２畳み込みニューラルネットワーク１３０は、６個のサブ畳み込みニューラルネットワークを含む。
【０２０４】
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって学習されていな畳み込みニューラルネットワークでありうる。
【０２０５】
第２畳み込みニューラルネットワーク１３０は、合成されたモーションデータ１０５を獲得する。
【０２０６】
合成されたモーションデータ１０５は、アニメーションデータでありうる。
【０２０７】
合成されたモーションデータ１０５は、コンテンツモーションデータ１０１と同じサイズのノイズデータでありうる。
【０２０８】
合成されたモーションデータ１０５は、コンテンツモーションデータ１０１と同じサイズのモーションデータでありうる。
【０２０９】
合成されたモーションデータ１０５は、スタイルモーションデータ１０２と同じサイズのノイズデータでありうる。
【０２１０】
合成されたモーションデータ１０５は、スタイルモーションデータ１０２と同じサイズのモーションデータでありうる。
【０２１１】
合成されたモーションデータ１０５は、骨の回転情報を含みうる。
【０２１２】
合成されたモーションデータ１０５は、骨の位置情報を含みうる。
【０２１３】
合成されたモーションデータ１０５は、骨の回転情報及び位置情報を含みうる。
【０２１４】
この時、前記骨は、人体を構成する骨のうち少なくともいずれか一つに当たる。
また、前記骨は、上体または下体を構成する骨のうち少なくともいずれか一つに当たる。
【０２１５】
また、前記骨は、必要（例えば、合成されるモーション）に応じて任意に分類した部分の骨のうち少なくともいずれか一つに当たる。
【０２１６】
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足の骨のうち少なくともいずれか一つに当たる。
【０２１７】
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足を構成するそれぞれの骨のうち少なくともいずれか一つに当たる。
【０２１８】
合成されたモーションデータ１０５は、インデックス付きデータでありうる。
【０２１９】
合成されたモーションデータ１０５は、骨の回転情報のインデックス付きデータでありうる。
【０２２０】
合成されたモーションデータ１０５は、骨の位置情報のインデックス付きデータでありうる。
【０２２１】
合成されたモーションデータ１０５は、骨の回転情報及び位置情報のインデックス付きデータでありうる。
【０２２２】
合成されたモーションデータ１０５は、骨の回転情報によって分類されたデータでありうる。
【０２２３】
合成されたモーションデータ１０５は、骨の位置転情報によって分類されたデータでありうる。
【０２２４】
合成されたモーションデータ１０５は、骨の回転情報及び位置情報によって分類されたデータでありうる。
【０２２５】
合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって分類されたデータでありうる。
【０２２６】
合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって分類されたデータでありうる。
【０２２７】
合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって分類されたデータでありうる。
【０２２８】
第２畳み込みニューラルネットワーク１３０は、合成されたモーションデータ１０５を獲得する。
【０２２９】
この時、合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって人体を構成する骨に分類されたデータでありうる。
【０２３０】
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって上体または下体を構成する骨に分類されたデータでありうる。
【０２３１】
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
【０２３２】
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
【０２３３】
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
【０２３４】
また、合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって人体を構成する骨に分類されたデータでありうる。
【０２３５】
また、合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
【０２３６】
また、合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって、人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
【０２３７】
また、合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
【０２３８】
また、合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
【０２３９】
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって人体を構成する骨に分類されたデータでありうる。
【０２４０】
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
【０２４１】
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって、人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
【０２４２】
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
【０２４３】
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
【０２４４】
第２畳み込みニューラルネットワーク１３０は、合成されたモーションデータ１０５によって合成されたモーション特徴値を獲得する。
【０２４５】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５によって合成されたモーション特徴値を獲得する。
【０２４６】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の位置情報によって分類された、合成されたモーションデータ１０５によって合成されたモーション特徴値を獲得する。
【０２４７】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報及び位置情報によって分類された、合成されたモーションデータ１０５によって合成されたモーション特徴値を獲得する。
【０２４８】
第２畳み込みニューラルネットワーク１３０は、複数のサブ畳み込みニューラルネットワークを含む。
【０２４９】
第２畳み込みニューラルネットワーク１３０は、人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークを含む。
【０２５０】
第２畳み込みニューラルネットワーク１３０は、上体または下体に対応する２個のサブ畳み込みニューラルネットワークを含む。
【０２５１】
第２畳み込みニューラルネットワーク１３０は、人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークを含む。
【０２５２】
第２畳み込みニューラルネットワーク１３０は、頭と、脊椎と、左腕と、右腕と、左足と、右足とに対応する６個のサブ畳み込みニューラルネットワークを含む。
【０２５３】
第２畳み込みニューラルネットワーク１３０は、合成されたモーションデータ１０５と前記サブ畳み込みニューラルネットワークとをマッチングする。
【０２５４】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
【０２５５】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
【０２５６】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
【０２５７】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
【０２５８】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
【０２５９】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
【０２６０】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報及び位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
【０２６１】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報及び位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
【０２６２】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報及び位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
【０２６３】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記６個のサブ畳み込みニューラルネットワーク１３１、１３２、１３３、１３４、１３５、１３６とをマッチングする。
【０２６４】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記６個のサブ畳み込みニューラルネットワーク１３１、１３２、１３３、１３４、１３５、１３６とをマッチングする。
【０２６５】
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報及び位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記６個のサブ畳み込みニューラルネットワーク１３１、１３２、１３３、１３４、１３５、１３６とをマッチングする。
【０２６６】
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された頭に分類された、合成されたモーションデータ１０５を、第１サブ畳み込みニューラルネットワーク１３１とマッチングする。
【０２６７】
第１サブ畳み込みニューラルネットワーク１３１は、本発明の一実施形態によってマッチングされた、合成された頭に分類された合成されたモーションデータ１０５から、合成された頭特徴値を獲得する。
【０２６８】
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された脊椎に分類された、合成されたモーションデータ１０５を、第２サブ畳み込みニューラルネットワーク１３２とマッチングする。
【０２６９】
第２サブ畳み込みニューラルネットワーク１３２は、本発明の一実施形態によってマッチングされた、合成された脊椎に分類された合成されたモーションデータ１０５から、合成された脊椎特徴値を獲得する。
【０２７０】
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された左腕に分類された、合成されたモーションデータ１０５を、第３サブ畳み込みニューラルネットワーク１３３とマッチングする。
【０２７１】
第３サブ畳み込みニューラルネットワーク１３３は、本発明の一実施形態によってマッチングされた、合成された左腕に分類された合成されたモーションデータ１０５から、合成された左腕特徴値を獲得する。
【０２７２】
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された右腕に分類された、合成されたモーションデータ１０５を、第４サブ畳み込みニューラルネットワーク１３４とマッチングする。
【０２７３】
第４サブ畳み込みニューラルネットワーク１３４は、本発明の一実施形態によってマッチングされた、合成された右腕に分類された合成されたモーションデータ１０５から、合成された右腕特徴値を獲得する。
【０２７４】
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された左足に分類された、合成されたモーションデータ１０５を、第５サブ畳み込みニューラルネットワーク１３５とマッチングする。
【０２７５】
第５サブ畳み込みニューラルネットワーク１３５は、本発明の一実施形態によってマッチングされた、合成された左足に分類された合成されたモーションデータ１０５から、合成された左足特徴値を獲得する。
【０２７６】
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された右足に分類された、合成されたモーションデータ１０５を、第６サブ畳み込みニューラルネットワーク１３６とマッチングする。
【０２７７】
第６サブ畳み込みニューラルネットワーク１３６は、本発明の一実施形態によってマッチングされた、合成された右足に分類された合成されたモーションデータ１０５から、合成された右足特徴値を獲得する。
【０２７８】
第２畳み込みニューラルネットワーク１３０は、合成された頭特徴値と、合成された脊椎特徴値と、合成された左腕特徴値と、合成された右腕特徴値と、合成された左足特徴値と、合成された右足特徴値とを用いて、合成されたモーション特徴値１０６を獲得する。
【０２７９】
本発明の他の実施形態によって、第２畳み込みニューラルネットワーク１３０に含まれているサブ畳み込みニューラルネットワーク（図示せず）の数は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５によって人体を構成する骨の数と同一でありうる。
【０２８０】
本発明のさらに他の実施形態によって、第２畳み込みニューラルネットワーク１３０に含まれているサブ畳み込みニューラルネットワーク（図示せず）の数は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５によって上体及び下体に対応する２個でありうる。
【０２８１】
本発明のさらに他の実施形態によって、第２畳み込みニューラルネットワーク１３０に含まれているサブ畳み込みニューラルネットワーク（図示せず）の数は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５によって、人体を構成する骨を必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の数に対応する。
【０２８２】
第２畳み込みニューラルネットワーク１３０が獲得した合成されたモーション特徴値１０６を、合成されたモーション特徴マップといえる。
【０２８３】
第２畳み込みニューラルネットワーク１３０が獲得した合成されたモーション特徴値１０６を、合成されたモーションベクトルといえる。
【０２８４】
第２畳み込みニューラルネットワーク１３０が獲得した合成されたモーション特徴値１０６の配列を、合成されたモーションベクトルといえる。
【０２８５】
本発明の他の実施形態によって、第１畳み込みニューラルネットワーク１１０及び第２畳み込みニューラルネットワーク１３０を一つの畳み込みニューラルネットワークに具現してもよい。
【０２８６】
損失生成モジュール１４０は、合成されたモーション特徴値１０６と前記ターゲット特徴値とを用いて損失を獲得する。
【０２８７】
損失生成モジュール１４０は、下記の数式２を用いて損失を獲得する。
（数式２）  ｌｏｓｓ＝ＭＳＥ（Ｆ（ｓｙｎ）‐Ｆ（ｔ））
【０２８８】
前記の数式２を用いて損失生成モジュール１４０は、前記合成されたモーション特徴値と前記ターゲット特徴値との差が最小である損失を獲得する。
【０２８９】
前記の数式２におけるＭＳＥは、平均二乗誤差を示す。
【０２９０】
損失生成モジュール１４０は、前記獲得した損失によって前記合成されたモーションデータを繰り返してアップデートする。
【０２９１】
損失生成モジュール１４０は、バック・プロパゲーションアルゴリズムを用いて前記合成されたモーションデータを繰り返してアップデートする。
【０２９２】
損失生成モジュール１４０は、バック・プロパゲーションアルゴリズムを用いて、前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまで前記合成されたモーションデータを繰り返してアップデートする。
【０２９３】
図５は、本発明の一実施形態によるモーション合成方法を示すフローチャートである。
【０２９４】
図５を参照すれば、モーション合成装置が、コンテンツモーションデータ及びスタイルモーションデータを認識する（ステップ５００）。
【０２９５】
この時、前記コンテンツモーションデータ及びスタイルモーションデータは、アニメーションデータでありうる。
【０２９６】
また、前記コンテンツモーションデータ及び前記スタイルモーションデータは、インデックス付き骨の回転情報によって分類されたデータでありうる。
【０２９７】
モーション合成装置が、コンテンツ特徴値及びスタイル特徴値を獲得する（ステップ５１０）。
【０２９８】
この時、モーション合成装置は、頭特徴値と、脊椎特徴値と、左腕特徴値と、右腕特徴値と、左足特徴値と、右足特徴値とを用いて前記コンテンツ特徴値または前記スタイル特徴値を獲得する。
【０２９９】
モーション合成装置は、ターゲット特徴値を生成する（ステップ５２０）。
この時、モーション合成装置は、ターゲット特徴値とコンテンツ特徴値との差と、ターゲット特徴値とスタイル特徴値との差とを用いてターゲット特徴値を生成する。
【０３００】
モーション合成装置が合成されたモーションデータを認識する（ステップ５３０）。
【０３０１】
この時、前記合成されたモーションデータは、アニメーションデータでありうる。
【０３０２】
また、前記合成されたモーションデータは、インデックス付き骨の回転情報によって分類されたデータでありうる。
【０３０３】
モーション合成装置が合成されたモーション特徴値を獲得する（ステップ５４０）。
【０３０４】
この時、モーション合成装置は、頭特徴値と、脊椎特徴値と、左腕特徴値と、右腕特徴値と、左足特徴値と、右足特徴値とを用いて前記合成されたモーション特徴値を獲得する。
【０３０５】
モーション合成装置が、合成されたモーション特徴値と前記ターゲット特徴値とを用いて損失を獲得する（ステップ５５０）。
【０３０６】
この時、モーション合成装置は、前記合成されたモーション特徴値と前記ターゲット特徴値との差を用いて損失を獲得する。
【０３０７】
モーション合成装置は、獲得した損失によって前記合成されたモーションデータを繰り返してアップデートする（ステップ５６０）。
【０３０８】
この時、モーション合成装置は、バック・プロパゲーションアルゴリズムを用いて、前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまで前記合成されたモーションデータを繰り返してアップデートする。
【０３０９】
図６は、本発明の一実施形態によってコンテンツモーション及びスタイルモーションを用いてモーションを合成する一例を示す図面である。
【０３１０】
図６の（ａ）を参照すれば、本発明の一実施形態によって、コンテンツモーションデータは、人間が走るモーションを示すアニメーションデータである。
【０３１１】
図６の（ｂ）を参照すれば、本発明の一実施形態によって、スタイルモーションデータは、前記コンテンツモーションデータ（図６の（ａ））が合成されるように創造されたキャラクタが上体を少し下げているモーションを示すアニメーションデータである。
【０３１２】
図６の（ｃ）を参照すれば、本発明の一実施形態によって、合成されたモーションデータは、人間が走るモーションを示す前記コンテンツモーションデータ（図６の（ａ））と、創造されたキャラクタが上体を少し下げているモーションを示す前記スタイルモーションデータ（図６の（ｂ））とが合成されたモーションを示すアニメーションデータになる。
【０３１３】
すなわち、合成されたモーションデータは、創造されたキャラクタが上体をちょっと下げて走るモーションを示すアニメーションデータになる。
【０３１４】
図７は、本発明の一実施形態を具現するための例示的なコンピュータシステムのブロック図である。
【０３１５】
図７を参照すれば、本発明の一実施形態を具現するための例示的なコンピュータシステムは、情報を交換するためのバスまたは他のコミュニケーションチャネル７０１を備え、プロセッサ７０２は、情報を処理するためにバス７０１と連結される。
【０３１６】
コンピュータシステム７００は、情報及びプロセッサ７０２によって処理される命令を保存するために、バス７０１と連結されたＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、または他の動的保存装置であるメインメモリ７０３を備える。
【０３１７】
また、メインメモリ７０３は、プロセッサ７０２による命令の実行中に臨時変数または他の中間情報を保存するために使われる。
【０３１８】
コンピュータシステム７００は、プロセッサ７０２に関する静的な情報または命令を保存するために、バス７０１に結合されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び他の静的保存装置７０４を備える。
【０３１９】
マグネチックディスク、ジップまたは光ディスクなどのデータ保存装置７０５及びそれに対応するドライブも、情報及び命令を保存するためにコンピュータシステム７００に連結される。
【０３２０】
コンピュータシステム７００は、エンドユーザに情報をディスプレイするために、バス７０１を通じて陰極線管またはＬＣＤなどのディスプレイ装置７１０と連結される。
【０３２１】
キーボード７２０などの文字入力装置は、プロセッサ７０２に情報及び命令を伝達するためにバス７０１に連結される。
【０３２２】
他の類型のユーザ入力装置は、方向情報及び命令選択をプロセッサ７０２に伝達し、ディスプレイ７１０上のカーソルの動きを制御するためのマウス、トラックボールまたはカーソル方向キーなどのカーソルコントロールデバイス７３０である。
【０３２３】
通信装置７４０もバス７０１と連結される。
【０３２４】
通信装置７４０は、地域ネットワークまたは広域網への接続をサポートするために、モデム、ネットワークインターフェースカード、イーサネット（登録商標）、トークンリングまたは他の類型の物理的結合物と連結するために使われるインターフェース装置を備える。
【０３２５】
このような方式でコンピュータシステム７００は、インターネットのような従来のネットワークインフラストラクチャを通じて複数のクライアント及びサーバと連結される。
【０３２６】
以上、本発明の実施形態を構成するすべての構成要素が一つに結合されるか、または結合されて動作すると説明されたとしても、本発明が必ずこれらの実施形態に限定されるものではない。すなわち、本発明の目的範囲内では、そのすべての構成要素の少なくとも一つが選択的に結合して動作してもよい。
【０３２７】
また、そのすべての構成要素がそれぞれ一つの独立的なハードウェアに具現されてもよいが、それぞれの構成要素の一部または全部が選択的に組み合わせられて、一つまたは複数のハードウェアで組み合わせられた一部または全部の機能を実行するプログラムモジュールを持つコンピュータ・プログラムとして具現されてもよい。そのコンピュータ・プログラムを構成するコード及びコードセグメントは当業者によって容易に推論される。
【０３２８】
このようなコンピュータ・プログラムは、コンピュータで読み取り可能な記録媒体に保存されてコンピュータによって読み取られて実行されることによって、本発明の実施形態を具現できる。コンピュータ・プログラムの記録媒体としては磁気記録媒体、光記録媒体などがある。
【０３２９】
また、以上で記載した「含む」、「構成する」、または「持つ」などの用語は、特に逆の記載がない限り、該構成要素が内在していると意味するため、他の構成要素を除くものではなく他の構成要素をさらに含むと解釈されねばならない。
【０３３０】
技術的や科学的な用語を含むすべての用語は、異なって定義されない限り、当業者によって一般的に理解されるものと同じ意味を持つ。辞書に定義されている用語のように一般的に使われる用語は、関連技術の文脈上の意味と一致すると解釈されねばならず、本発明で明らかに定義しない限り、理想的や過度に形式的な意味と解釈されない。
【０３３１】
以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、当業者ならば本発明の本質的な特性から逸脱しない範囲で多様な修正及び変形が可能であろう。
【０３３２】
よって、本発明に開示された実施形態は本発明の技術思想を限定するためのものではなく説明するためのものであり、これらの実施形態によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は下記の特許請求の範囲によって解釈されねばならず、それと同等な範囲内にあるすべての技術思想は本発明の権利範囲に含まれていると解釈されねばならない。
【符号の説明】
【０３３３】
１００  モーション合成装置
１１０  第１畳み込みニューラルネットワーク
１２０  ターゲット特徴値生成モジュール
１３０  第２畳み込みニューラルネットワーク
１４０  損失生成モジュール
【図１】
2020021474.tif 000006
【図２】
2020021474.tif 000007
【図３】
2020021474.tif 000008
【図４】
2020021474.tif 000009
【図５】
2020021474.tif 000010
【図６】
2020021474.tif 000011
【図７】
2020021474.tif 000012