(57)【特許請求の範囲】
【請求項１】
データベースを用意するステップと，
モーションを選択するステップと，
スタイルを学習し，変換するステップとを含む，
コンピュータグラフィックスにおけるモーションを生成する方法であって，
前記データベースは，キャラクターのモーションクリップを格納し，
前記モーションクリップは，ボーングループにより分類される前記キャラクターのモーションセグメントを含み，
前記モーションを選択するステップは，
前記モーションクリップを，類似のモーションを含む各クラスタに分類するステップと，
前記クラスタのすべてを含む特徴的なモーションの集合を計算するステップとを含み，
前記スタイルを学習し，変換するステップは，
第１の新しいモーションを，新しいモーションクリップとして受け取るステップと，
前記新しいモーションクリップを前記クラスタに分類するステップと，
前記新しいモーションクリップを含む各ボーン及び各モーションのモーションクリップを集めるステップと，
前記新しいモーションクリップを含む新しい特徴的なモーションを創作するステップと，
前記新しい特徴的なモーションを表示するステップとを含む，
方法。
【請求項２】
前記キャラクターの前記ボーングループは，脚，左腕，右腕及び上半身を含む，請求項１に記載の方法。
【請求項３】
前記新しいモーションクリップを前記クラスタに分類するステップの後に，
前記クラスタに含まれるモーションクリップを前記新しいモーションクリップに変換するステップを，さらに含む，請求項１に記載の方法。
【請求項４】
前記新しい特徴的なモーションのいずれか１つが失敗であることを示す入力データを受け取る時，
第２の新しいモーションを，第２の新しいモーションクリップとして受け取るステップと，
前記失敗したモーションを，前記第２の新しいモーションに変換するステップと，
前記第２の新しいモーションクリップを含む新しい特徴的なモーションを創作するステップと，
前記第２の新しい特徴的なモーションを表示するステップと，
前記新しい特徴的なモーションのすべてが成功であることを示す入力データを受け取る時，
前記新しい特徴的なモーションを，新しいスタイルとして，前記データベースに格納するステップとを，さらに含む，請求項１に記載の方法。
【請求項５】
データベースを用意する手段と，
モーションを選択する手段と，
スタイルを学習し，変換する手段とを含む，
コンピュータグラフィックスにおけるモーションを生成するコンピュータであって，
前記データベースは，キャラクターのモーションクリップを格納し，
前記モーションクリップは，ボーングループにより分類されるキャラクターのモーションセグメントを含み，
前記モーションを選択する手段は，
前記モーションクリップを，類似のモーションを含むクラスタに分類する手段と，
前記クラスタのすべてを含む特徴的なモーションの集合を計算する手段とを含み，
前記スタイルを学習し，変換する手段は，
第１の新しいモーションを，新しいモーションクリップとして受け取る手段と，
前記新しいモーションクリップを，前記クラスタに分類する手段と，
前記新しいモーションクリップを含む各ボーン及び各モーションのモーションクリップを集める手段と，
前記新しいモーションクリップを含む新しい特徴的なモーションを創作する手段と，
前記新しい特徴的なモーションを表示する手段とを含む，
コンピュータ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，全般的に，コンピュータグラフィックスのシステムに関する。特に，本発明は，ビデオゲーム及び３Ｄコンピュータグラフィックスアプリケーションで，人間のモーションの表現スタイルを実現するコンピュータシステムに関する。
【背景技術】
【０００２】
表現スタイルは，ビデオゲームや３Ｄコンピュータグラフィックスアプリケーションにおいて，人間のモーションを正確に複製するのに必要な要素となっている。
【０００３】
ヒューマンアニメーションのスタイルをモデリングすることは，多くの研究の基本となっている。提案される技術には，モーションを用例から学習されるスタイルに合成すること（非特許文献１），物理学ベースのスタイルモデルを学習すること（非特許文献２），そして，スタイルをインバースキネマティクス（逆運動学）の改善に生かすこと（非特許文献３），が挙げられる。
【０００４】
また，近年，用例の変化を含む，モーションを合成する方法も提案されている。非特許文献４では，モーションデータの空間及び時間の変化のモデルを作り上げている。非特許文献５では，身体グループの変化を自動的にパラメータ化し，ユーザに定義されるスタイルパラメータを含むことにより，普遍クリギングモデルを，スタイルと変化が同時に合成されるように拡張している。
【０００５】
用例の組み合わせに基づくモーションスタイルの特性を変換する，様々な方法が提案されている。非特許文献６では，標準的なモーションとスタイルされる用例のモーションから，時間と空間効率の良いスタイル転換モデルを学習するために，反復モーションワーピングと，線形時不変型を組み合せている。非特許文献７では，用例に基づくシステムが説明されており，類似のモーションの編集を一般化するのに，ガウス過程を利用する。非特許文献８では，モーション間のスタイルを抽出し，変換する，ユーザインターフェースを創作している。これらの方法は，新しいスタイルを学習するために，用例を使用するが，それは，いずれの用例モーションを提供するかを決定するユーザ次第である。本発明の方法は，サイズ又はモーション内容の分類の制限を受けることなく，入力データベースからスタイルされるモーションを自動的に選択する。
【０００６】
モーションデータを収集し，格納するコストが掛かるため，より効率的なモーションの使用方法が提案されている。非特許文献９は，最小サイズのモーショングラフの構築方法を提案している。最近の研究では，特に非特許文献１０及び１１の課題を実行する制御装置を構築する時に，使用に適したモーションを選択するために，能動的学習方法に焦点が当てられている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】ＢＲＡＮＤ，Ｍ．，ＡＮＤ  ＨＥＲＴＺＭＡＮＮ，Ａ．２０００．  Ｓｔｙｌｅ  ｍａｃｈｉｎｅｓ．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２７ｔｈ  ａｎｎｕａｌ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  ｇｒａｐｈｉｃｓ  ａｎｄ  ｉｎｔｅｒａｃｔｉｖｅ  ｔｅｃｈｎｉｑｕｅｓ，ＡＣＭ  Ｐｒｅｓｓ／Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ  Ｐｕｂｌｉｓｈｉｎｇ  Ｃｏ．，Ｎｅｗ  Ｙｏｒｋ，ＮＹ，ＵＳＡ，ＳＩＧＧＲＡＰＨ’００，１８３−１９２．
【非特許文献２】ＬＩＵ，Ｃ．Ｋ．，ＨＥＲＴＺＭＡＮＮ，Ａ．，ＡＮＤ  ＰＯＰＯＶＩ´Ｃ，Ｚ．２００５．  Ｌｅａｒｎｉｎｇ  ｐｈｙｓｉｃｓ−ｂａｓｅｄ  ｍｏｔｉｏｎ  ｓｔｙｌｅ  ｗｉｔｈ  ｎｏｎｌｉｎｅａｒ  ｉｎｖｅｒｓｅ  ｏｐｔｉｍｉｚａｔｉｏｎ．  ＡＣＭ  Ｔｒａｎｓ．Ｇｒａｐｈ．２４（Ｊｕｌｙ），１０７１−１０８１．
【非特許文献３】ＧＲＯＣＨＯＷ，Ｋ．，ＭＡＲＴＩＮ，Ｓ．Ｌ．，ＨＥＲＴＺＭＡＮＮ，Ａ．，ＡＮＤ  ＰＯＰＯＶＩ´Ｃ，Ｚ．２００４．  Ｓｔｙｌｅ−ｂａｓｅｄ  ｉｎｖｅｒｓｅ  ｋｉｎｅｍａｔｉｃｓ．  ＡＣＭ  Ｔｒａｎｓ．Ｇｒａｐｈ．２３（Ａｕｇｕｓｔ），５２２−５３１．
【非特許文献４】ＬＡＵ，Ｍ．，ＢＡＲ−ＪＯＳＥＰＨ，Ｚ．，ＡＮＤ  ＫＵＦＦＮＥＲ，Ｊ．２００９．  Ｍｏｄｅｌｉｎｇ  ｓｐａｔｉａｌ  ａｎｄ  ｔｅｍｐｏｒａｌ  ｖａｒｉａｔｉｏｎ  ｉｎ  ｍｏｔｉｏｎ  ｄａｔａ．  ＡＣＭ  Ｔｒａｎｓ．Ｇｒａｐｈ．２８（Ｄｅｃｅｍｂｅｒ），１７１：１−１７１：１０．
【非特許文献５】ＭＡ，Ｗ．，ＸＩＡ，Ｓ．，ＨＯＤＧＩＮＳ，Ｊ．，ＹＡＮＧ，Ｘ．，ＬＩ，Ｃ．，ＡＮＤ  ＷＡＮＧ，Ｚ．  ２０１０．  Ｍｏｄｅｌｉｎｇ  ｓｔｙｌｅ  ａｎｄ  ｖａｒｉａｔｉｏｎ  ｉｎ  ｈｕｍａｎ  ｍｏｔｉｏｎ．  Ｔｈｅ  ＡＣＭ  ＳＩＧＧＲＡＰＨ／Ｅｕｒｏｇｒａｐｈｉｃｓ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ａｎｉｍａｔｉｏｎ（ＳＣＡ  ２０１０）．
【非特許文献６】ＨＳＵ，Ｅ．，ＰＵＬＬＩ，Ｋ．，ＡＮＤ  ＰＯＰＯＶＩ´Ｃ，Ｊ．  ２００５．  Ｓｔｙｌｅ  ｔｒａｎｓｌａｔｉｏｎ  ｆｏｒ  ｈｕｍａｎ  ｍｏｔｉｏｎ．  ＡＣＭ  Ｔｒａｎｓ．Ｇｒａｐｈ．２４（Ｊｕｌｙ），１０８２−１０８９．
【非特許文献７】ＩＫＥＭＯＴＯ，Ｌ．，ＡＲＩＫＡＮ，Ｏ．，ＡＮＤ  ＦＯＲＳＹＴＨ，Ｄ．２００９．  Ｇｅｎｅｒａｌｉｚｉｎｇ  ｍｏｔｉｏｎ  ｅｄｉｔｓ  ｗｉｔｈ  Ｇａｕｓｓｉａｎ  ｐｒｏｃｅｓｓｅｓ．  ＡＣＭ  Ｔｒａｎｓ．Ｇｒａｐｈ．２８（Ｆｅｂｒｕａｒｙ），１：１−１：１２．
【非特許文献８】ＳＨＡＰＩＲＯ，Ａ．，ＣＡＯ，Ｙ．，ＡＮＤ  ＦＡＬＯＵＴＳＯＳ，Ｐ．  ２００６．  Ｓｔｙｌｅ  ｃｏｍｐｏｎｅｎｔｓ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｆａｃｅ  ２００６，Ｃａｎａｄｉａｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｏｃｉｅｔｙ，Ｔｏｒｏｎｔｏ，Ｏｎｔ．，Ｃａｎａｄａ，Ｃａｎａｄａ，ＧＩ’０６，３３−３９．
【非特許文献９】ＺＨＡＯ，Ｌ．，ＮＯＲＭＯＹＬＥ，Ａ．，ＫＨＡＮＮＡ，Ｓ．，ＡＮＤ  ＳＡＦＯＮＯＶＡ，Ａ．  ２００９．  Ａｕｔｏｍａｔｉｃ  ｃｏｎｓｔｒｕｃｔｉｏｎ  ｏｆ  ａ  ｍｉｎｉｍｕｍ  ｓｉｚｅ  ｍｏｔｉｏｎ  ｇｒａｐｈ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００９  ＡＣＭ  ＳＩＧＧＲＡＰＨ／Ｅｕｒｏｇｒａｐｈｉｃｓ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ａｎｉｍａｔｉｏｎ，ＡＣＭ，Ｎｅｗ  Ｙｏｒｋ，ＮＹ，ＵＳＡ，ＳＣＡ’０９，２７−３５．
【非特許文献１０】ＣＯＯＰＥＲ，Ｓ．，ＨＥＲＴＺＭＡＮＮ，Ａ．，ＡＮＤ  ＰＯＰＯＶＩ´Ｃ，Ｚ．  ２００７．  Ａｃｔｉｖｅ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｒｅａｌ−ｔｉｍｅ  ｍｏｔｉｏｎ  ｃｏｎｔｒｏｌｌｅｒｓ．  ＡＣＭ  Ｔｒａｎｓ．Ｇｒａｐｈ．２６（Ｊｕｌｙ）．
【非特許文献１１】ＬＥＥ，Ｙ．，ＬＥＥ，Ｓ．Ｊ．，ＡＮＤ  ＰＯＰＯＶＩ´Ｃ，Ｚ．  ２００９．  Ｃｏｍｐａｃｔ  ｃｈａｒａｃｔｅｒ  ｃｏｎｔｒｏｌｌｅｒｓ．  ＡＣＭ  Ｔｒａｎｓ．Ｇｒａｐｈ．２８（Ｄｅｃｅｍｂｅｒ），１６９：１−１６９：８．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の１つの目的は，残りのモーションスタイルを学習し，変換するために，データベースからモーションを選択する方法を提供することである。ユーザは，スタイルされる用例をデータベースに提供する。
【課題を解決するための手段】
【０００９】
本発明の第１の側面は，コンピュータグラフィックスにおけるモーションを生成する方法に関する。本方法は，データベースを用意するステップと，モーションを選択するステップと，スタイルを学習し，変換するステップとを含む。本方法は，データベースを更新するステップをさらに含んでもよい。
【００１０】
データベースは，キャラクターのモーションクリップを格納する。モーションクリップは，キャラクターのモーションセグメントを含み，モーションセグメントは，ボーングループによって，分類されている。
【００１１】
モーションを選択するステップは，モーションクリップをクラスタに分類するステップと，特徴的なモーションの集合を計算するステップを含む。各クラスタは，類似のモーションクリップを含み，特徴的なモーションの集合は，すべてのクラスタを含む。
【００１２】
スタイルを学習し，変換するステップは，第１の新しいモーションを，新しいモーションクリップとして受け取るステップと，新しいモーションクリップをクラスタに分類するステップと，新しいモーションクリップを含む各ボーン及び各モーションのモーションクリップを集めるステップと，新しいモーションクリップを含む新しい特徴的なモーションを創作するステップと，新しい特徴的なモーションを表示するステップとを含む。
【００１３】
第１の側面の好ましい態様として，キャラクターのボーングループは，脚，左腕，右腕，及び上半身を含む。
【００１４】
第１の側面の好ましい態様として，本方法は，新しいモーションクリップをクラスタに分類するステップの後に，新しいモーションクリップが分類されるクラスタのモーションクリップを，新しいモーションクリップに変換するステップをさらに含む。
【００１５】
第１の側面の好ましい態様として，本方法は，新しい特徴的なモーションのいずれか１つが，失敗であることを示す入力データを受け取る時に，第２の新しいモーションを，第２の新しいモーションクリップとして受け取るステップと，失敗したモーションを第２の新しいモーションに変換するステップと，第２の新しいモーションクリップを含む新しい特徴的なモーションを創作するステップと，第２の新しい特徴的なモーションを表示するステップとをさらに含み，そして，新しい特徴的なモーションのすべてが成功であることを示す入力データを受け取る時に，新しい特徴的なモーションを，新しいスタイルとしてデータベースに格納するステップをさらに含む。
【００１６】
本発明の第２の側面は，コンピュータグラフィックスにおけるモーションを生成するコンピュータに関する。このコンピュータは，データベースを用意する手段，モーションを選択する手段，及びスタイルを学習し，変換する手段を含む。
【００１７】
これらの手段は，ハードウエア資源又はハードウエア資源とソフトウエアによって，実装されてもよい。データベースは，キャラクターのモーションクリップを格納する。モーションクリップは，キャラクターのモーションセグメントを含み，モーションセグメントは，ボーングループによって，分類されている。
【００１８】
モーションを選択する手段は，モーションクリップをクラスタに分類する手段と，特徴的なモーション集合を計算する手段を含む。各クラスタは，類似のモーションクリップを含み，特徴的なモーションの集合は，すべてのクラスタを含む。スタイルを学習し，変換する手段は，第１の新しいモーションを，新しいモーションクリップとして受け取る手段と，新しいモーションクリップをクラスタに分類する手段と，それぞれのボーン及びそれぞれのモーションから，新しいモーションクリップを含むモーションクリップを集める手段と，新しいモーションクリップを含む新しい特徴的なモーションを創作する手段と，新しい特徴的なモーションを表示する手段とを含む。
【発明の効果】
【００１９】
本発明は，残りのモーションのスタイルを学習し，変換するために，ユーザがスタイルされる用例を提供するデータベースから，モーションを選択する方法を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は，コンピュータのブロック図である。
【図２】図２は，ボーンにより表現されるキャラクター構造の例を示している。
【図３】図３は，モーションクリップの例を示している。
【図４】図４は，セグメントのクラスタリング又はモーションクリップのクラスタリングを示している。
【図５】図５は，最も優れた（多様な）モーションの最小集合を見つけ出す方法を示している。
【図６】図６は，表示されるモーションの例である。
【図７】図７は，新しいモーションクリップを含むクラスタの更新を示している。
【図８】図８は，あるモーションでのモーションクリップの例を示している。
【図９】図９は，本発明の１つの態様に係る，コンピュータの構成例を示すブロック図である。
【図１０】図１０は，本発明の方法に基づいてスタイルされるモーションを達成するフローチャートを示している。
【図１１】図１１は，本発明のフレームワークのフローチャートである。
【図１２】図１２は，第１反復のＲＯＣ曲線である。
【図１３】図１３は，毒のスタイルを生成するために，オリジナルのモーションとユーザからのモーションを合成した結果を示している。
【図１４】図１４は，ロボットスタイルを生成するために，オリジナルのモーションとユーザからのモーションを合成した結果を示している。
【図１５】図１５は，忍び足のスタイルを生成するために，オリジナルのモーションとユーザからのモーションを合成した結果を示している。
【図１６】図１６は，第１の反復の結果の例を示している。
【図１７】図１７は，第２の反復の結果の例を示している。
【図１８】図１８は，第４の反復の結果の例を示している。
【発明を実施するための形態】
【００２１】
本発明の，コンピュータグラフィックスにより，モーションを生成するコンピュータを説明する。図１に示されるように，コンピュータは，データベースを用意する手段１０１と，モーションを選択する手段１０２と，スタイルを学習し変換する手段１０３を含む。コンピュータは，データベースを更新する手段１０４をさらに含む。
【００２２】
データベースは，キャラクターのモーションクリップを格納する。モーションクリップは，ボーングループによって分類されるキャラクターのモーションセグメントを含む。
【００２３】
図２は，ボーンにより表現されるキャラクターの構造の例を示している。この図において，キャラクターは，４つのボーングループにより表現されている。その集合の構成要素は，脚，左腕，右腕，及び上半身を含む。上半身のボーンは，胴体として表わされてもよい。モーションの構成は，ボーンを含むモーションの集まりとして表わされてもよい。
【００２４】
オリジナルのモーションは，モーションキャプチャ又はキャラクターのモーションを生成できるいずれかの方法により，集められてもよい。その後，コンピュータは，モーションを一連のポーズに分割する。次に，コンピュータは，各ポーズのボーンを計算してもよい。例えば，コンピュータは，ポーズに基づく，脚ボーン，左腕ボーン，右腕ボーン，そして上半身ボーンを，従来の手段により，計算する。あるポーズでのボーンの集まりは，キャラクターのスケルトン形状を表わしている。各ボーンは，各部分の長さや角度の情報を含んでもよい。
【００２５】
コンピュータは，モーションクリップ処理を実行してもよい。この処理によって，コンピュータはモーションクリップを獲得する。図３は，モーションクリップの例を示している。またこの図では，モーションｋのモーションセグメントも示している。コンピュータは，モーションをモーションの構成グループに分割する。分割の結果として，図３の長方形として示されるモーションクリップが生じる。例えば，モーション１の脚ボーンは，２つのモーションクリップに分割されている。モーション１の脚ボーンは，ｆ０からｆ３の間で，大幅に変化しないか又はほぼ変化しないため，第１のモーションクリップは，ｆ０からｆ３まで，第２のモーションクリップは，ｆ４からｆ５までで終了する。クリップの分割は，特開２０１０−１８１９５９公報に記載される，キーフレーム技術により実行されてもよい。図３において，構成番号１１１は，脚ボーンのモーションクリップを示し，構成番号１１２は，胴体ボーンのモーションクリップを示し，構成番号１１３は，左腕ボーンのモーションクリップを示し，構成番号１１４は，右腕ボーンのモーションクリップを示している。
【００２６】
モーションを選択する手段は，類似のモーションクリップを同じクラスタに分類する手段である。モーションを選択する手段は，モーションクリップをクラスタに分類する手段を含む。各クラスタは，類似のモーションクリップを含む。モーションを選択する手段は，すべてのクラスタを含むモーションの特徴的な集合を計算する手段を，さらに含む。
【００２７】
図４は，セグメントのクラスタリング又はモーションクリップのクラスタリングを示している。モーションクリップの類似点は，従来の方法により計算されてもよい。好ましくは，モーションクリップの類似点は，後に本明細書で説明される技術により計算されてもよい。図４に示されるように，モーションクリップ１１１，１１２，１１３，１１４は，それぞれ，脚ボーンのクラスタ１２１，胴体ボーンのクラスタ１２２，左腕ボーンのクラスタ１２３，右腕ボーンのクラスタ１２４に分類されている。モーションクリップをクラスタに分類するために，モーションクリップをメモリから読み込み，１つのモーションクリップと読み込まれるモーションクリップの類似点を計算してもよい。もし，そのとき，２つのモーションクリップの類似点が，所定の値内ならば，これら２つのモーションクリップは，同じクラスタとなってもよい。
【００２８】
図５は，最も優れたモーションの最小集合を見つけ出す方法を示している。上記説明から，すべてのモーションデータは，クラスタに分類される。コンピュータは，特徴的なモーションの集合を検索してもよい。特徴的なモーションは，すべてのクラスタを含む。図５に示されるように，例えば，モーション１は，６つのクラスタを含む。もし，モーション１が削除された場合，いずれのモーションにも属さない，３つのクラスタが存在することになる。したがって，モーション１は，特徴的なモーションの１つである。反対に，モーション４は，モーション１とモーション２に属する２つのモーションクラスタを含む。したがって，モーション４は，特徴的なモーションの１つではない。
【００２９】
特徴的なモーションの最小集合を計算するために，コンピュータは，すべてのモーションとモーションのクラスタを読み込んでもよい。そのとき，コンピュータは，他のモーションに属するクラスタを有するモーションを選択してもよい。もし，そのモーションに属するすべてのクラスタが，他のモーションに属していた場合，それにより，そのモーションは特徴的なモーションではない候補として選択されることになる。
【００３０】
特徴的なモーションの集合，又はすべてのモーションは表示されてもよい。図６は，表示されるモーションの例である。モーションを表示するために，コンピュータは，モーションに属するすべてのモーションクリップを集めてもよい。モーションを表示する場合，コンピュータは，各クラスタから，１つのモーションクリップを代表的なモーションクリップとして選択してもよい。そのとき，コンピュータは，オリジナルのモーションクリップが代表的なモーションクリップに変換されることにより，オリジナルのモーションクリップの代わりに代表的なモーションクリップを使用してもよい。
【００３１】
スタイルを学習し，変換する手段は，モーションを学習し，追加されるモーションを合成する手段である。これは１つのスタイルを表す。この手段は，第１の新しいモーションを新しいモーションクリップとして受け取る手段，新しいモーションクリップをクラスタに分類する手段，各ボーンと各モーションに関する，新しいモーションクリップを含むモーションクリップを集める手段，新しいモーションクリップを含む新しい特徴的なモーションを創作する手段，そして，新しい特徴的なモーションを表示する手段を含む。
【００３２】
１つのスタイルを示す新しいモーションは，コンピュータに入力される。スタイルの例は，毒に侵されたスタイル，ロボットのようなスタイル，忍び足のスタイル，混乱したスタイル，魔法にかけられたスタイルがある。コンピュータは，第１の新しいモーションを新しいモーションクリップとして受け取ってもよい。第１の新しいモーションは,モーションキャプチャ技術手段又は他のデータベースから得られてもよい。
【００３３】
その後，コンピュータは，新しいモーションクリップをクラスタに分類する。新しいモーションクリップを分類するために，コンピュータは，新しいモーションクリップと，１つのクラスタのモーションクリップの類似点を計算してもよい。図７は，新しいモーションクリップを含むクラスタの更新を示している。図７において，左側の円はオリジナルのクラスタを示す。構成番号１３１は，脚ボーンの新しいモーションクリップを示し，構成番号１３２は，胴体ボーンの新しいモーションクリップを示し，構成番号１３３は，左腕ボーンの新しいモーションクリップを示し，構成番号１３４は，右腕ボーンの新しいモーションクリップを示している。
【００３４】
もし，新しいモーションクリップの１つがクラスタに属するとき，１つ又は複数の新しいモーションクリップは，クラスタの１つ又は複数の代表的なモーションクリップになってもよい。コンピュータは,新しいモーションクリップをクラスタに分類するステップの後，新しいモーションクリップが分類されるクラスタのモーションクリップを，新しいモーションクリップに変換してもよい。
【００３５】
モーションクリップを集める手段は，新しいモーションクリップを含む各ボーン及び各モーションのモーションクリップを集めるために使用される。１つのモーションの１つ又は複数のモーションクリップは，新しいモーションクリップに変換されてもよい。図８は，あるモーションでのモーションクリップの例を示している。図８のモーションクリップは，モーションを生成するために，集められ又は合成されてもよい。
【００３６】
新しい特徴的なモーションを創作する手段は，新しい特徴的なモーションを創作する手段である。この手段は，新しいモーションを含む上記合成されるモーションを使用する。
【００３７】
新しい特徴的なモーションを表示する手段は，新しい特徴的なモーションを表示する。この手段は，新しい特徴的なモーションを評価してもよい。
【００３８】
コンピュータは，データベースを更新する手段をさらに含んでもよい。この手段は，コンピュータに以下の手段を実行させる。新しい特徴的なモーションのいずれか１つが，失敗であることを示す入力データを受け取る時に，第２の新しいモーションを，第２の新しいモーションクリップとして受け取る手段と，失敗したモーションを第２の新しいモーションに変換する手段と，第２の新しいモーションクリップを含む新しい特徴的なモーションを創作する手段と，第２の新しい特徴的なモーションを表示する手段と，そして，新しい特徴的なモーションのすべてが成功であることを示す入力データを受け取る時に，新しい特徴的なモーションを，新しいスタイルとしてデータベースに格納する手段。
【００３９】
図９は，本発明の１つの態様に係る，コンピュータの構成例を示すブロック図である。このコンピュータは，ゲーム装置に使用される。
【００４０】
操作入力部２１は，電源スイッチや十字キーなどの複数のスイッチやキーで構成されている。
【００４１】
機械本体１０に配置される回路には，制御部１１，ＲＡＭ１２，ハードディスクドライブ（ＨＤＤ）１３，音響処理部１４，グラフィックス処理部１５，通信インターフェース１７，インターフェース部１８，フレームメモリ１９，及びカードスロット２０が含まれる。制御部１１，ＲＡＭ１２，ＨＤＤ１３，音響処理部１４，グラフィック処理部１５，通信インターフェース１７，及びインターフェース部１８は，それぞれ内部バス２２に接続されている。
【００４２】
ＣＰＵ，ＲＯＭなどを含む制御部１１は，ＨＤＤ１３又は記録媒体７０に格納される制御プログラムに従って，ゲーム機１００全体を制御する。制御装置１１は，例えばタイマー割り込みを生成するのに使用される内部タイマーを有する。また，ＲＡＭ１２も制御部１１の作業領域として使用される。
【００４３】
音響処理部１４は，音響信号のＤ／Ａ変換及びＡ／Ｄ変換を行う音響入出力インターフェース機能を有する。また，音響処理部１４は，スピーカなどで構成される音響出力装置３０に接続されている。音響処理部１４は，様々な制御プログラムで処理を実行する制御部１１からの出力指示により，音響信号を音響出力装置３０に出力する。
【００４４】
グラフィック処理部１５は，第１の画像表示部５１と第２の画像表示部５２を有する表示装置５０に接続されている。グラフィック処理部１５は，制御部１１の描画指示により，画像をフレームメモリ１９に分配し，第１と第２の画像表示部５１，５２に画像を表示するビデオ信号を，表示装置５０に出力する。ビデオ信号により表示される画像の切り替え時間は，例えば１フレーム１／３０秒に設定される。
【００４５】
プログラムなどが格納される記録媒体７０は，カードスロット２０に挿入される。本発明の態様の記録媒体７０は，書き込み可能なフラッシュメモリのような半導体メモリである。通信インターフェース１７は，無線又は有線により他のゲーム機１００に接続可能であり，また，インターネットのような通信ネットワークにも接続可能である。機械本体１０は，通信インターフェース１７の通信機能により他のゲーム機１００と通信し合うことが可能である。
【００４６】
操作入力部２１，カードスロット２０，及びタッチパネル４０は，インターフェース部１８に接続されている。インターフェース部１８は，プレーヤ（ユーザー）の操作を基にした操作入力部２１からの指示データ，及びタッチペン４１によるタッチパネル４０のプレーヤの操作を基にした指示データを，ＲＡＭ１２に格納する。その後，制御部１１は，ＲＡＭ１２に格納される指示データにより様々な算術処理を実行する。
【００４７】
タッチパネル４０は，第１及び第２の画像表示部５１，５２のどちらか一方又は，両方の表示スクリーン側に積層されている。したがって，制御部１１は，タッチパネル４０が積層される第１又は第２の画像表示部５１，５２のいずれか一方又は両方の表示スクリーン側での表示タイミングを管理，制御し，タッチペン４１などを使用するタッチパネル４０の操作のタイミングを管理，制御し，そして，位置座標を管理，制御することにより，プレーヤの入力操作に応じた入力情報を認識する。表示装置５０は，第１及び第２の画像表示部５１，５２のような複数の画像表示部を有する代わりに，単一の画像表示部で構成されていてもよい。
【００４８】
インターフェース部１８は，制御部１１からの指示に従って，ＲＡＭ１２に格納されるゲームの進行を示すデータを，カードスロット２０に挿入される記録媒体７０に格納し，又は記録媒体７０に格納される中断時のゲームデータを読み出し，データをＲＡＭ１２に転送するような処理を実行する。
【００４９】
ゲーム機１００でゲームをプレイする制御プログラム等の様々なデータは，記録媒体７０に格納されている。記録媒体７０に格納される制御プログラム等の様々なデータは，記録媒体７０が挿入されるカードスロット２０から，制御部１１により読み出され，ＲＡＭ１２にロードされる。
【００５０】
制御部１１は，ＲＡＭ１２にロードされる制御プログラムに従って，グラフィックス処理部１５に描画指示を出力すること，又は音響処理部１４に音響出力指示を出力するような処理を実行する。制御部１１が，処理を実行している間に，ゲームの進行に応じて途中で発生するデータは，作業メモリとして使用されるＲＡＭ１２に格納される。
【００５１】
図１０は，本発明の方法に基づいてスタイルされるモーションを獲得するフローチャートを示している。図１０に示されるように，この方法は，データベースを用意するステップ（Ｓ１０１），モーションを選択するステップ（Ｓ１０２），スタイルを学習し，変換するステップ（Ｓ１０３），そして，データベースを更新するステップ（Ｓ１０４）を含む。
【００５２】
モーションを選択するステップ（Ｓ１０２）は，モーションクリップをクラスタに分類するステップと，特徴的なモーションの集合を計算するステップを含む。各クラスタは，類似のモーションクリップを含み，特徴的なモーションの集合は，すべてのクラスタを含む。
【００５３】
スタイルを学習し，変換するステップ（Ｓ１０３）は，第１の新しいモーションを，新しいモーションクリップとして受け取るステップと，新しいモーションクリップをクラスタに分類するステップと，新しいモーションクリップを含む各ボーン及び各モーションのモーションクリップを集めるステップと，新しいモーションクリップを含む新しい特徴的なモーションを創作するステップと，新しい特徴的なモーションを表示するステップとを含む。
【００５４】
第１の側面の好ましい態様として，キャラクターのボーングループは，脚，左腕，右腕，及び上半身である。
【００５５】
第１の側面の好ましい態様として，本方法は，新しいモーションクリップをクラスタに分類するステップの後に，新しいモーションクリップが分類されるクラスタのモーションクリップを，新しいモーションクリップに変換するステップをさらに含む。
【００５６】
第１の側面の好ましい態様として，本方法は，データベースを更新するステップ（Ｓ１０４）をさらに含む。もしも，このシステムが，新しい特徴的なモーションのいずれか１つが，失敗であることを示す入力データを受け取る場合，コンピュータは，第２の新しいモーションを，第２の新しいモーションクリップとして受け取ってもよい。次に，コンピュータは，失敗したモーションを第２の新しいモーションに変換してもよい。その後，コンピュータは，第２の新しいモーションクリップを含む新しい特徴的なモーションを，創作する。最後に，コンピュータは，第２の新しい特徴的なモーションを表示する。
【００５７】
もしも，コンピュータが，新しい特徴的なモーションのすべてが成功であることを示す入力データを受け取る場合，新しい特徴的なモーションを，新しいスタイルとしてデータベースに格納する。
【００５８】
本発明のフレームワークは，図１１に示されるように，４つの主要なステージを有する。第１のステージにおいて，本発明は，スケルトンを複数のグループに分けることにより，入力モーションデータベースを準備する。グループの例は，ボーングループ，特に，左腕，右腕，胴体，脚の４つのボーングループである。本発明は，各ボーングループ内のモーション内容のユニットを区別するために，キーポーズを自動検出することにより，モーションをセグメントする。
【００５９】
第２のステージにおいて，本発明は，ユーザがスタイルするモーションを選択する。本発明は，各ボーングループを含むセグメントをクラスタし，スタイルされる用例セグメントの少なくとも１つが，存在できるようにする。このセグメントは，すべてのクラスタに提供される。これを行うために，本発明は，すべてのクラスタをカバーする全身モーションのコンパクトな集合を見つけだす，集合カバー問題を解いてもよい。本発明は，理想的なクラスタリングと必要なモーション数を決定するために，受信者動作特性（ＲＯＣ）曲線を分析してもよい。その後，ユーザは，これらのモーションをスタイルする。
【００６０】
第３のステージにおいて，本発明は，用例モーションから学習されるスタイルを残りのデータベースに転送する。初めに，本発明は，すべてのクラスタ間に依存する内部ボーングループを計算する。次に，本発明は，各クラスタのスタイル変換関数を学習するために，入力ポーズと用例ポーズを利用する。本発明は，適切な変換関数を，残りの入力モーションのセグメントに適用し，ボーングループとセグメントを全身モーションに組み立て直し，そして，後処理を実行してもよい。第４のステージでは，本発明は，うまくいった合成モーションを変換し，ユーザに評価させる。
【００６１】
うまくスタイルされたモーションは，出力データベースに格納され，残りのスタイルされたモーションは，放棄される。その後，本発明は，すべての入力モーションのスタイルがうまくできるまで，スタイル変換関数を改善するように，第２のステージから処理を繰り返す。
【００６２】
データベースの用意
本発明は，一連のポーズ｛ｐ１，ｐ２，．．．．．，ｐｎ｝により，モーションＭをモデル化してもよい。ポーズは，スケルトンの運動学的自由度を定義する。これは，ボーンの階層構造で構成されている。本発明は，指数写像で，各ボーンｂの自由度を表わしてもよい（ＧＲＡＳＳＩＡ，Ｆ．Ｓ．１９９８．Ｐｒｏｃｔｉｃａｌ  ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ  ｏｆ  ｒｏｔａｔｉｏｎｓ  ｕｓｉｎｇ  ｔｈｅ  ｅｘｐｏｎｅｎｔｉａｌ  ｍａｐ参照（Ｊ．Ｇｒａｐｈ．Ｔｏｏｌｓ  ３（Ｍａｒｃｈ）,２９−４８参照））。本発明は，‘ＫＯＶＡＲ，Ｌ．，ＡＮＤ  ＧＬＥＩＣＨＥＲ，Ｍ．２００３.Ｆｌｅｘｉｂｌｅ  ａｕｔｏｍａｔｉｃ  ｍｏｔｉｏｎ  ｂｌｅｎｄｉｎｇ  ｗｉｔｈ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｃｕｒｖｅ．Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｔｈｅ  ２００３  ＡＣＭ  ＳＩＧＧＲＡＰＨ／Ｅｕｒｏｇｒａｐｈｉｃｓ  ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｏｍｐｕｔｅｒ  ａｎｉｍａｔｉｏｎ  Ｅｕｒｏｇｒａｐｈｉｃｓ  Ａｓｓｏｃｉａｔｉｏｎ，Ａｉｒｅ−ｌａ−Ｖｉｌｌｅ，Ｓｗｉｔｚｅｒｌａｎｄ，Ｓｗｉｔｚｅｒｌａｎｄ，ＳＣＡ’０３，２１４−２２４と同じ方法により，スケルトンの大域変換を表わしてもよい。ヒップ間のベクトルにより定義されるローカルフレームを使用することにより，本発明は，以前のポーズ及び絶対ｙ軸並進（ａｂｓｏｌｕｔｅ  ｙ  ｔｒａｎｓｌａｔｉｏｎ）からオフセットを行う際に，ｘ軸とｚ軸への並進移動及びｙ軸の回転を追跡することができる。また，本発明は，以前のポーズからの経過時間ｔを追跡してもよい。本発明は，ポーズｐにおけるボーンｂの大域変換を，行列Ｍｂ（ｐ）として定義してもよい。これにより，本発明は，ボーンの位置をｐｏｓｂ（ｐ）＝Ｍｂ（ｐ）［０００１］Ｔとして定義することができる。本発明は，自動ツールと手動ラベリングの組み合せによって，入力モーションの足を置く情報（ｆｏｏｔ  ｐｌａｎｔ  ｉｎｆｏｒｍａｔｉｏｎ）に注釈を付けてもよい。
【００６３】
スケルトンのセグメンテーション
本発明は，スケルトンを４つの区分：Ａ＝脚，Ｂ＝左腕，Ｃ＝右腕，Ｄ＝上半身に分割してもよい。本発明は，Ａ，Ｂ，Ｃ，Ｄを含むグループＩのボーンの集合をＢＩと呼び，ルーツボーングループをｒＩとしてもよい。また，本発明は，ボーングループの階層構造を定義してもよい。ボーングループの階層構造は，後に，ボーングループ間の従属性を部分的に取り戻すのに使用される。この従属性は，スケルトンが分割された時に失われる。本発明は，脚からスケルトンが移動することにより，各ボーングループの従属性を，以下のように，形成してもよい。
【００６４】
【数１】
0005210401.tif 000002
【００６５】
モーションのセグメンテーション
本発明は，基本的なモーション内容のユニットを区別するために，キーポーズの自動検出により，各ボーングループのモーションを，より小さなセグメントに前処理してもよい。各モーションのそれぞれのボーングループに関して，本発明は以下のように定義してもよい。
【００６６】
【数２】
0005210401.tif 000003
【００６７】
上記式において，キーポーズは，ＫＩ（ｐ）が極小値及び極大値で生じる。直観的にいえば，これは，ボーングループが最もコンパクトであるか，最も広がっている場合のポーズと一致する。セグメントＳは，キーポーズ間のモーションのポーズとして，定義される。
【００６８】
モーションの選択
モーション選択ステージは，モーションを特定する。ユーザは，用例にスタイルを適応させるために，これらのモーションを提供することになる。本発明は，候補のモーション集合を生成するために，距離関数により，すべてのセグメントの階層的クラスタリングの組み合わせを，各ボーングループ内で繰り返し適用してもよく，標準集合被覆アルゴリズムをすべてのボーングループから，すべてのクラスタに適用してもよい。その時，本発明は，重複するモーション内容を符号化する理想的なコンパクトなモーション集合を特定するために，各クラスタのセグメント変動に対するモーション数をグラフに表わす合成ＲＯＣ曲線を分析してもよい。
【００６９】
セグメントのクラスタリング
ボーングループのセグメントをクラスタするために，本発明はセグメント間の距離関数を定義してもよい。本発明は，まず始めにボーン間の距離関数を定義してもよい。本発明は，ボーングループのルーツボーンのローカル空間で所定のポーズを取り囲む，３つのポーズのウィンドウにおける，各ボーンの位置間の相違点を考慮してもよい。
【００７０】
【数３】
0005210401.tif 000004
【００７１】
３つのポーズウィンドウの選択は，位置と速度と加速度の情報を取り込む必要がある。これらの情報により，本発明は，スタイルの構成要素を考慮する。その時，本発明は，ポーズ間の距離を以下の計算式として定義することができる。
【００７２】
【数４】
0005210401.tif 000005
【００７３】
セグメントは様々な間隔でもよい。従って，本発明は，ボーングループのセグメント間の距離を，セグメントの始点，中間点，終点のポーズ間の最大距離として以下のように定義してもよい。
【００７４】
【数５】
0005210401.tif 000006
【００７５】
この距離は，グループＩのボーン数によって正規化されることを示している。これにより，本発明は，ボーングループ間のセグメント距離を比較することができる。モーションのユニットは，比較的滑らかなことから，本発明は，比較のために動的タイムワープを行うよりもむしろ，このメトリックで十分である。この距離関数を使用することにより，本発明は，セグメントの完全連結式階層的クラスタリング（ＪＡＩＮ，Ａ．Ｋ．，ＭＵＲＴＹ，Ｍ．Ｎ．，ＡＮＤ  ＦＬＹＮＮ，Ｐ．Ｊ．１９９９．  Ｄａｔａ  ｃｌｕｓｔｅｒｉｎｇ：ａ  ｒｅｖｉｅｗ．  ＡＣＭ  Ｃｏｍｐｕｔ．Ｓｕｒｖ．３１（Ｓｅｐｔｅｍｂｅｒ），２６４−３２３参照）を構成してもよい。これは，各ボーングループの１つのクラスタ樹係図を生じる。初めに，本発明は，ボーングループのすべてのセグメントが単一のクラスタに含まれるように，樹系図を十分に結合してもよい。
【００７６】
集合カバー
本発明は，クラスタ内のある用例から学習されるスタイル変換関数が，そのクラスタ内の残りのセグメントに，十分適用できると，仮定してもよい。これにより，本発明は，各クラスタが，少なくとも１つの用例セグメントの代表的なスタイルを有するように，最も少ないモーション数を選択することができる。これらのモーションを選択するために，本発明は，すべてのボーングループ間のすべてのクラスタに，貪欲集合カバー（ｇｒｅｅｄｙ  ｓｅｔ  ｃｏｖｅｒ）を実行してもよい（ＣＯＲＭＥＮ，Ｔ．Ｈ．，ＳＴＥＩＮ，Ｃ．，ＲＩＶＥＳＴ，Ｒ．Ｌ．，ＡＮＤ  ＬＥＩＳＥＲＳＯＮ，Ｃ．Ｅ．２００１．  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ａｌｇｏｒｉｔｈｍｓ，２ｎｄ  ｅｄ．ＭｃＧｒａｗ−Ｈｉｌｌ  Ｈｉｇｈｅｒ  Ｅｄｕｃａｔｉｏｎ参照）。
【００７７】
これは，本発明に，現在のクラスタをカバーするモーションの集合を与えることになる。適切なクラスタリングとモーション数を決定する客観的な分析を行うために，本発明は，クラスタリングと集合カバー手順を繰り返してもよい。各反復において，本発明は，いずれかのボーングループの最も長い連結クラスタを中断することにより，セグメントを再びクラスタしてもよく，再び集合カバーを実行してもよい。本発明は，すべてのモーションが選択されるまで繰り返してもよい。この時，クラスタごとに１つのセグメントが存在する。
【００７８】
ＲＯＣ曲線の分析
ＲＯＣ曲線は，モデルの複雑さとデータを明らかにできることとの妥協点を評価する方法を提供する（ＦＡＷＣＥＴＴ，Ｔ．２００６．  Ａｎ  ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  ｒｏｃ  ａｎａｌｙｓｉｓ．  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｌｅｔｔｅｒｓ  ２７，８，８６１−８７４．  ＲＯＣ  Ａｎａｌｙｓｉｓ  ｉｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ．参照）。本発明は，モデルの複雑さを選択されるモーション数と考えてもよい。各モーション数に関して，本発明は，データを明らかにできることを，モーション数を選択するすべてのクラスタリングから派生する最も長い連結クラスタの最小値と考えてもよい。本発明は，値域（０，１）をカバーする各軸線を正規化してもよい。直観的に，もし，データ構造がほとんどなかったら，生じる曲線は，線形ｙ＝ｘに接近することになる。したがって，本発明は，最も大きなデータの基礎構造を明らかにするために，この線形から最も大きな符号付き距離の点を，このモデルをパラメータ化する点として，選択してもよい。図１２は，クラスタリングと集合カバーの繰り返しにより生成される，ＲＯＣ曲線の例を示している。
【００７９】
用例の提供
かつて，適切なモーションは，ＲＯＣ曲線の分析により選択されていたが，本発明は，スタイルされるこれらのモーションの用例を提供するユーザを必要とする。本発明は，同じアクターで同じスケルトンのモーションキャプチャを使用することにより，用例を得た。
【００８０】
学習と合成
第３のステージにおいて，本発明は，スタイル変換関数を学習し，用例が提供されなかった入力セグメントにそれらを適用するために，ユーザにより提供されるスタイル化された用例モーションを使用する。用例モーションの複数のクリップは，同じクラスタ内に存在できるが，集合カバーアルゴリズムは，少なくとも１つのスタイル化された用例クリップが，各クラスタに存在することを約束する。スタイル変換関数は，加重局所回帰により，各クラスタについて学習される。これらのモーションは，スタイルされる各ボーングループのセグメントから再び集められる。
【００８１】
交差するボーングループとクラスタの重み付け
本発明は，スケルトンが分割される時に失われる，ボーングループ間の従属するモーション内容を部分的に回復させるために，選択されるモーションのすべてのボーングループにまたがるすべてのクラスタ間の時間的相関関係を測定してもよい。本発明は，同じポーズで２つのクラスタが発生するかどうかを確かめるために，まず始めに，以下のバイナリ関数を定義してもよい。
【００８２】
【数６】
0005210401.tif 000007
【００８３】
これにより，本発明は，他のクラスタすべてに対して，いずれかのボーングループのいずれかのクラスタが重み付けされる，以下の関数を定義することができる。これらの重み付けは，各クラスタの回帰に使用される。
【００８４】
【数７】
0005210401.tif 000008
【００８５】
クラスタごとのスタイル変換
入力モーションと用例モーションの間の対応するポーズデータを一時的にアライメントをとるために，本発明は，入力モーションと適応させるように，用例モーションを，動的にタイムワープしてもよい（ＫＯＶＡＲ，Ｌ．，ＡＮＤ  ＧＬＥＩＣＨＥＲ，Ｍ．２００３．  Ｆｌｅｘｉｂｌｅ  ａｕｔｏｍａｔｉｃ  ｍｏｔｉｏｎ  ｂｌｅｎｄｉｎｇ  ｗｉｔｈ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｃｕｒｖｅｓ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００３  ＡＣＭ  ＳＩＧＧＲＡＰＨ／Ｅｕｒｏｇｒａｐｈｉｃｓ  ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｏｍｐｕｔｅｒ  ａｎｉｍａｔｉｏｎ，  Ｅｕｒｏｇｒａｐｈｉｃｓ  Ａｓｓｏｃｉａｔｉｏｎ，Ａｉｒｅ−ｌａ−Ｖｉｌｌｅ，Ｓｗｉｔｚｅｒｌａｎｄ，Ｓｗｉｔｚｅｒｌａｎｄ，ＳＣＡ’０３，２１４−２２４．）。本発明は，各クラスタのｋ最近隣回帰関数を学習するために，対応する用例ポーズデータと共に，選択される入力モーションの各クラスタに含まれるポーズデータを使用してもよい。交差ボーングループの従属性を考慮することにより，本発明は，２つの入力ポーズ間の距離を以下のように定義する。
【００８６】
【数８】
0005210401.tif 000009
【００８７】
これにより，本発明は，回帰の重み付けを以下のように定義することができる。
【００８８】
【数９】
0005210401.tif 000010
【００８９】
ここで，Ｎは，入力ポーズｐのｋ最近隣集合である。本発明は，クラスタに利用できる用例ポーズの総数の平方根となるようｋを選択してもよい。本発明は，重み付け０の最遠隣を円滑にマップするように，以下の３次スプライン関数を適用してもよい。
【００９０】
【数１０】
0005210401.tif 000011
【００９１】
本発明は，スタイルをペアレントボーンのローカル空間でのユークリッドのオフセットとして学習することができる。そのため，３次元回転に関連付けられる特異点を，容易に補間し，実際に回避する。各ボーンに関して，本発明は，ポーズの位置である，ｐｏｓｂ（ｐ）のオフセットを学習してもよい。すべてのボーンがルーツボーンの場合，本発明は，軸：ａｌｎｂ（ｐ）＝Ｍｂ（ｐ）αｂのボーンのアライメントをとるのに使用される点の位置におけるオフセットを学習してもよい。ここで，αｂは，ボーン軸に垂直な任意の単位ベクトルである。ルーツボーンは，軸を持たないため，本発明は，２つのアライメントオフセットを学習する。１つは，各ヒップの方向である：ａｌｎｒ１（ｐ）＝Ｍｒ（ｐ）β  と  ａｌｎｒ２（ｐ）＝Ｍｒ（ｐ）γである。ここで，βとγは，ヒップボーンの左右の単位方向である。また，ルーツボーンは，Δｔを学習する。
【００９２】
回帰出力は，統合されて単一のベクトルとなることにより，入力されるポーズｐとスタイルされる用例ポーズｐ´のペアレントボーンのローカル空間におけるボーンの位置とアライメントのユークリッドのオフセットとなる。
【００９３】
【数１１】
0005210401.tif 000012
【００９４】
回帰の重み付けは，以下のように行われる。
【００９５】
【数１２】
0005210401.tif 000013
【００９６】
これは，それぞれのポーズのそれぞれのボーングループに用例が提供されなかった場合である。
【００９７】
モーションの再構築
現段階では，本発明は，用例が提供されなかった各入力ポーズのそれぞれのボーンにおけるオフセットを有してもよい。残りのスタイルされない入力モーションのすべてのポーズに関して，本発明は，異なるボーングループからオフセットを集めて，スケルトン全体のオフセットにしてもよい。大域的なルーツの自由度とタイムワープ情報は，前節の通りに学習された。脚を置く情報は，入力モーションから出力データにコピーされる。その時，本発明は，スタイルされたタイムワープにより，入力モーションとオフセットデータの両方をアンタイムワープする。次に，本発明は，重み付けされた移動平均により，オフセットを滑らかにしてもよい。本発明は，スタイルされるポーズの望ましい位置とアライメントを得るために，オフセットデータを，各入力ポーズの位置とアライメントに加えてもよい。本発明は，２つの連続する回転を適用することにより，各ボーンの回転を計算してもよい。初めに，本発明は，望ましい位置にできるだけ近づく位置となるように，ボーンを自由に回転させてもよい。次に，本発明は，できるだけ望ましいアライメント点に近づくように，軸の周りにボーンを回転させてもよい。ルーツボーンに関して，本発明は，その位置を設定し，２つのヒップアライメント点を整列させてもよい。本発明は，大域的なｘ軸，ｚ軸の移動とｙ軸の回転情報を，入力情報からコピーしてもよい。
【００９８】
後処理
本発明は，完全なスケルトンのモーションをスタイルし，後処理を適用する。初めに，本発明は，重み付けされた移動平均により，出力モーションを滑らかにする。次に，本発明は，スケルトンのルーツを適切に変換することで，いずれのポーズにも配置される脚が以前のポーズで同じ位置でとどまるように，強制することにより，脚のスケートを整える。また，本発明は，スケルトンが接地平面にとどまるようにしてもよい。
【００９９】
ユーザのフィードバック
合成されるモーションが，後処理により整えられた後，本発明は，スタイルの自動変換の質を判断するために，ユーザに，新しくスタイルされるモーションを検査させる。本発明は，対話型インターフェースにおけるユーザの入力と自動的にスタイルされるモーションを表示する。対話型インターフェースは，ユーザが，すべてのモーションを効果的に検査し，それらがうまくスタイルされるか否かを示すことを可能にする。うまくスタイルされるモーションは，出力データベースに移送され，そうでないモーションは，破棄される。その時処理は，入力データベースの全体が，提供される用例モーションと合成モーションの組み合わせからうまくスタイルされ終えるまで，第２ステージからフレームワークを繰り返す。ユーザのフィードバックループのそれぞれの反復において，うまくスタイルされるモーションが考慮されない時，本発明は，入力モーションのより小さな集合を連続的に処理する。このスタイル変換モデルの解決法は，フレームワークを一巡するごとに，反復的に改善される。本発明の方法は，余分なモーション内容が入力データベースに存在するという仮定により，動機づけられている。しかし，本発明は，入力データベースの類似モーションに制約を加えない。もし，入力データベースのどのモーション間にも共通内容がなかったら，本発明のフレームワークは，個々にスタイルする各入力モーションを，単に変換する。ユーザに，合成されるモーションのスタイルの質を判断させることは，提供する用例の量によって，美的感覚を犠牲にすることを許容することにより，モーションデータベースのスタイリングにさらなる柔軟性を与える。
【実施例１】
【０１００】
図１３は，毒のスタイルを生成するために，オリジナルのモーションとユーザからのモーションを合成した結果を示している。オリジナルのモーションは，図６に示されている。
【実施例２】
【０１０１】
図１４は，ロボットスタイルを生成するために，オリジナルのモーションとユーザからのモーションを合成した結果を示している。オリジナルのモーションは，図６に示されている。
【実施例３】
【０１０２】
図１５は，忍び足のスタイルを生成するために，オリジナルのモーションとユーザからのモーションを合成した結果を示している。オリジナルのモーションは，図６に示されている。
【実施例４】
【０１０３】
図１６は，第１の反復の結果の例を示している。言い換えると，ステップ１０１からステップ１０３までのそれぞれは，１度は実行される。いくつかのモーションは，失敗であると決定された。ユーザが，失敗したモーションの情報を入力する時，コンピュータは，失敗したモーションと生成された新しいモーションを変換した。図１７は，第２の反復の結果の例を示している。モーションを獲得するために，コンピュータは，再びステップ１０１からステップ１０３を繰り返す。図１７には失敗したモーションが存在した。そのため，コンピュータはステップ１０１からステップ１０３を４回繰り返した。図１８は，第４の反復の結果の例を示している。図１８には失敗したモーションは存在しなかった。したがって，コンピュータは，モーションを，新しいスタイルのモーション集合として格納した。
【産業上の利用可能性】
【０１０４】
本発明は，コンピュータ産業，特に娯楽産業において利用され得る。
【符号の説明】
【０１０５】
１０１  データベースを前処理する手段
１０２  モーションを選択する手段
１０３  スタイルを学習し，変換する手段
１０４  データベースを更新する手段
【図１】
0005210401.tif 000014
【図２】
0005210401.tif 000015
【図３】
0005210401.tif 000016
【図４】
0005210401.tif 000017
【図５】
0005210401.tif 000018
【図６】
0005210401.tif 000019
【図７】
0005210401.tif 000020
【図８】
0005210401.tif 000021
【図９】
0005210401.tif 000022
【図１０】
0005210401.tif 000023
【図１１】
0005210401.tif 000024
【図１２】
0005210401.tif 000025
【図１３】
0005210401.tif 000026
【図１４】
0005210401.tif 000027
【図１５】
0005210401.tif 000028
【図１６】
0005210401.tif 000029
【図１７】
0005210401.tif 000030
【図１８】
0005210401.tif 000031