FIT（情報科学技術フォーラム）2003

LJ-014
モーションデータによる目的関数推定法を用いた仮想人間の動作生成
向井 智彦 ∗Tomohiko Mukai

1.

栗山 繁 ∗
Shigeru Kuriyama

序論

仮想人間の動作生成手法の中でも直観的な操作を実現する手法として広く用いられている逆運動学の計算 [1]は，手先や足先の位置・方向から姿勢を計算するが，全身に及ぶような自由度の大きい構造への適用は難しい．
逆運動学計算に全身バランス操作を導入する手法 [2] 等も提案されているが，単一の評価項目を最適化するだけでは見た目に自然な動作を生成するのは難しい．全身を対象とした動作生成では同時に複数の評価項目を考慮し，時間経過に従ってその最適性を動的に変化させる必要があると考えられるが，そのように複雑な目的関数を設計するには高度な知識と熟練が必要である．目的関数の動的な同定手法として，逆運動学計算における評価項目の重み付けにモーションデータを用いる手法 [3] が提案されているが，適用できるモデルの自由度の大きさに限界がある．
本研究では，キーフレーム法における仮想人間の全身姿勢を探索する際に、その目的関数をモーションデータから推定する手法を提案する．本手法を用いることにより，手先や足先の位置を指定するだけで自然な全身動作を生成することが可能となる．

2.

このように Ri (t) は δqti,j = 0 の時に最大値をとり，その最大値と分布は偏差 σti,j によって決まる．また，上位階層の報酬関数は全身のバランス評価と下位階層からのフィードバックを用いて次のように設計する．
Rp (t) = −Bp +Fii∈Cp

ただし，Bp はモデルのバランスが失われると値が大きくなるようなバランス評価値，Cp は簡単化モデルを構成する可変長軸の集合，Fi は部位 i における報酬値をフィードバックしたものである．この Rp (t) の動作全体の総和を最大化するような姿勢を探索する．
しかし、関節角の変位量の単純な総和を最小化するだ
けでは各関節の機能的な差異を反映できないので、生成される姿勢は必ずしも自然とはならない。そこで本研究では報酬関数をさらに拡張し，目的動作に類似したモーションデータを用いて最適な報酬係数を推定する手法を提案する．

3.

Ri (t) =N (δqti,j , 0, σti,j )i∈Ji

ただし，Ji は部位 i の自由度，δqti,j は時刻 t における姿i
勢 qti と qt+1間の j 番目の関節角変位である．また N は次式に示す正規分布関数である．

1exp
N (x, µ, σ) = √2πσ−(x − µ)22σ 2推定アルゴリズム

まず，Ri (t) に新たな報酬係数 µi,jt を導入する．
i,jR̄i (t) =N (δqti,j , µi,jt , σt )目的関数の設計

我々はキーフレーム補間に基づく仮想人間動作の自動生成を目的として，各キーフレームに対して設定される手先や足先の拘束条件を満たす最適な姿勢を階層的強化学習によって探索する手法を提案した [4]．この手法では，与えられた報酬関数を最適化する姿勢列を探索し，それらの関節角を適切な関数で補間することにより動作を自動生成する．計算ではまず全身を両腕，胴，両足の5 つの部位に分割し，各部位をそれぞれ 1 本の可変長軸で表現した簡単化モデルを導入することで全身モデルを階層的に扱う．そして最適姿勢も階層的に探索するために，まず簡単化モデルの姿勢を探索し，その可変長軸の状態に従って各部位の姿勢を探索するという手順を踏む．
したがって報酬関数を上位階層と下位階層で個別に設計する．下位階層における報酬関数は，関節角変位量の最小化を目的として次のように設計する．

金子 豊久 ∗Toyohisa Kanekoi∈Ji

ただし，R̄i (t) は δqti,j = µi,jt の時に最大の報酬を得るよ
うに Ri (t) を拡張したもので，µi,jt はいわば関節角変位i,jの目標値である（図 1）．本研究ではこれら µi,jt と σtの最適値をモーションデータから抽出することを目標とする．
ႎ㈽ផቯ㑐▵ⷺᐲᄌൻ㊂⋡ᮡ୯

図 1: 報酬係数の推定
まず，各キーフレームで参照するモーションデータ中のフレームをユーザが選択する．本研究で参照するモーションデータの骨格構造は 75 の自由度を持つが，仮想人間モデルは 40 自由度しか持たない．したがってここでは，図 2 のように各リンクの長さ・向きを一致させることでモーションデータの骨格構造を変換する．変換された t 番目のキーフレームにおける姿勢を q̂t と表す．次に t 番目と (t + 1) 番目のキーフレーム姿勢を用い，
i,ji,jµi,jt = q̂t+1 − q̂t∗ 豊橋技術科学大学 情報工学系，愛知県

249

FIT（情報科学技術フォーラム）2003

として目標値 µi,jt を求める．つまり，モーションデータにおける実際の関節角変位を目標として µi,jt に与える．
一方，偏差 σti,j は報酬に占める各関節評価値の割合を決定するとともに，報酬の最大値を決定し学習の収束性を変化させるが，本稿では全ての関節に対して等しい経験値 σc を与えた．各関節毎に最適な偏差を推定する機構の開発は今後の課題である．
:3⥄↱ᐲ㑐▵n :n⥄↱ᐲ㑐▵（a）モーションデータ

:೰૕᫔31㛽ᩰ᭴ㅧᄌ឵೰૕᫔㐳ߩ⸳ቯ೰૕᫔ᣇะߩ৻⥌333（b）目的関数推定前 (µi,jt = 0)313

図 2: 骨格構造の変換
以上の方法で推定された報酬関数を用いることにより，各関節の挙動がモーションデータに類似した自然な動作を生成することが可能となる．

4.

図 3: 荷上げ動作生成例

生成結果

荷持ち上げ動作に対して報酬関数を推定した結果を図3 に示す．図中の丸点は各キーフレームにおける右手先の拘束位置を示す．
（a）がモーションデータの骨格構造を変換した参照データ姿勢，（b）は報酬関数を推定せずに（c）は本手法
全て µi,jt = 0 に固定した場合の生成動作，により（a）の参照データ姿勢を用いて報酬関数を推定した場合の生成動作である．計算時間は Pentium4 2GHzの環境で（b）21.5CPU 秒（c）22.3CPU 秒であった．図3 の結果より，（b）と比較して（c）がより自然な姿勢を探索できていることが確認される．特に 3 番目のキーフ
レーム姿勢において（b）では肩の回転等に不自然な部分も見られるが，（c）では十分解消され自然な姿勢を獲得している．この例では（b），（c）共に参照データ姿勢の手先・足先位置を拘束位置として与えているが，これに多少の変更を加えても，参照データ姿勢の特徴を全体として反映した自然な動作が生成される．

5.

（c）目的関数推定後定アルゴリズムについて検討する必要がある．さらに，モーションデータから得られる動力学的な特徴量等を含めて報酬関数を拡張し，より自然な動作生成を目指す．
こうして推定された複数の報酬関数を補間することで，類似するモーションデータが存在しない場合に最適な報酬関数を獲得する手法も今後の課題である．

謝辞
本研究は文部科学省２１世紀 COE プログラム「インテリジェント ヒューマン センシング」の援助により実施された．また、本研究の一部は日本学術振興会・科学研究費補助金・基盤研究（Ｃ）一般（15500108），情報・未踏ソフトウェア創造事業，処理振興事業協会（IPA）およびスズキ（株）との共同研究による支援を受けた．

参考文献

結論

本研究では階層的強化学習による動作探索法における報酬関数をモーションデータから推定する手法を提案し，データの自然さを反映した姿勢を効率的に生成できることを示した．本稿では最大報酬を与える動作獲得についてのみ示したが，強化学習は部分的な探索条件の変更に対して学習済みの状態遷移図を利用した再学習により，他の類似動作も即座に取得することが可能である．この点から，本手法は複数の候補姿勢をユーザに提示する機構や獲得した姿勢の手先・足先位置を修正する機構などの対話的な編集環境を構築するのに適していると言える．
また，推定された報酬関数は類似する別の動作へも適用可能であると考えており，例えば梯子昇降運動のモーションデータからロッククライミング動作を生成する実験を試みている．本稿では報酬係数のうち目標値 µi,jt についてのみ推定を行ったが，今後は偏差 σti,j も含めた推[1] J Zhao and Norman I. Badler, ”Inverse Kinematics positioning using nonlinear programming for highly articlated figures”, ACM TOG,13(4), pp.313-336, 1994.
[2] Ronan Boulic, Ramon Mas-Sanso and Daniel Thalmann, ”Complex Character Positioning Based on Compatible Flow Model of Multiple Supports”, IEEE Trans.
Visualization and Computer Graphics, 3(3), pp.245261, 1997.
[3] Natsuki Miyata, Kenichiro Oguri, Jun Ota and TamioArai, ”Human Lift-up Motion Generation based on
Identification of Time-variant Performance Index”,
Proc. of the 2002 IEEE/RSJ International Conferenceon Intelligent Robots and Systems, pp.2503-2508(CDROM), 2002.
[4] 向井 智彦, 栗山 繁, 金子 豊久, ”階層的強化学習による仮想人間の動作生成”, 信学論, J86-D-II(6), 2003.

250