TOWARDS HUMAN-LIKE VIRTUAL BEINGS: SIMULATING HUMAN BEHAVIOR IN 3D SCENES(2025) 

### TOWARDS HUMAN-LIKE VIRTUAL BEINGS: SIMULATING HUMAN BEHAVIOR IN 3D SCENES(2025) 

#### Q:この論文の概要を教えてください
#### A:
この論文は、現実的な3D環境下で人間の行動を模倣する自律エージェントACTORの開発について述べています。ACTORは、大規模言語モデル(LLM)を制御機構として用い、階層的な行動計画と環境への適応を可能にする独自のアーキテクチャを採用しています。 また、人間の行動シミュレーションのための新しい大規模データセットBEHAVIORHUBも提案しており、LLMを活用したデータ生成手法により、高品質なデータの効率的な構築を実現しています。 広範な実験により、ACTORの高い性能とBEHAVIORHUBの有効性が示されています。 最後に、ACTORとBEHAVIORHUBの将来的な応用についても言及しています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/0392974c-be97-7acc-27fd-68da34930ce2.png)


#### Q:この論文の主要な貢献を３つ挙げてください
#### A:
この論文の主要な貢献は、以下の3点に集約されます。

*   **ACTORエージェントの提案**: この研究では、**大規模言語モデル（LLM）を搭載した、3D環境での人間のような行動シミュレーション**を目的とした新しいエージェントであるACTORが提案されています。ACTORは、**知覚・計画・行動のサイクル**を通じて、**長期的な抽象的目標を達成**し、**環境の変化に対応**しながら、**価値関数に基づいて意思決定**を行うことができます。このエージェントは、**階層的な行動表現**と**行動ツリーの探索**を組み合わせることで、複雑な行動をシミュレーションする能力を備えています。

*   **BEHAVIORHUBデータセットの構築**: この研究では、**大規模でシーン認識を伴う行動データセット**であるBEHAVIORHUBが新たに構築されました。BEHAVIORHUBは、**LLMを用いて自動生成された行動計画**と、**3Dシーンに整合された高品質なモーションデータ**で構成されています。このデータセットは、**日常的な家庭環境における多様な人間の行動をカバー**しており、**環境を認識した行動シミュレーション**の研究を大きく前進させます。また、このデータセットは、**自動生成パイプライン**によって作成されており、**人間の介入を最小限に抑えつつ、高品質なデータを効率的に収集**できます。BEHAVIORHUBは、**ダウンストリームタスク**（シーン認識モーション生成や言語条件付きモーション生成など）への応用も期待されています。

*   **価値主導型行動計画の導入**: ACTORエージェントの中核をなすのは、**LLMをコントローラーとして利用し、価値関数に基づいた行動計画**を行うメカニズムです。このアプローチは、**行動の候補を評価**し、**効率性や個人の価値観を考慮した行動を選択**することを可能にします。**環境の状態やエージェントの信念**を考慮することで、**環境の変化に動的に対応**し、より**柔軟で知的な行動**を実現します。この価値主導型アプローチは、従来のLLMベースのプランニングにおける**環境との相互作用の欠如という課題**に対処するものであり、**3D環境における自律的な人間の行動シミュレーション**に大きな進歩をもたらします.

これらの貢献により、この論文は、**現実的な3D環境における人間のような行動のシミュレーション**という分野において、新たな可能性を切り開く重要な一歩を踏み出しました。


#### Q:この論文で提案されているACTORエージェントの主要な特徴は何ですか？
#### A:
この論文で提案されているACTORエージェントの主な特徴は以下の通りです。

*   **3D環境での人間のような行動のシミュレーション:** ACTORは、現実的な3D環境で人間の行動をシミュレートすることを目指しています。
*   **知覚・計画・行動のサイクル:** ACTORは、知覚（環境を理解する）、計画（行動を決定する）、行動（3Dモーションを実行する）というサイクルで動作します。このサイクルの中で、言語が3つのフェーズを繋ぐインターフェースとして機能します。
*   **長期的な抽象的目標の達成:**  ACTORは、「仕事の準備をする」のような抽象的な目標を、具体的な行動計画に分解して達成することができます。
*   **LLM（大規模言語モデル）による制御:** ACTORは、LLMを中核コントローラとして利用し、行動空間を探索しながら計画を立てます。
*   **価値関数による意思決定:**  ACTORは、行動の選択と評価を、カスタマイズ可能な価値関数によって行います。これにより、効率性や個人の価値観を考慮した行動が可能になります。
*   **階層的な行動の表現:** 行動は、低レベルの実行可能なアクションが、高レベルのセマンティックユニットであるアクティビティにグループ化され、階層構造を形成します。
*   **環境への適応:** 環境の変化や新しい言語コマンドに応じて、計画を動的に調整することができます。
*   **行動ツリーの維持:**  ACTORは、中間目標を達成するためのステップを表す行動ツリーを維持し、探索を行います。
*  **BEHAVIORHUBデータセットの利用:** ACTORは、新たに提案された大規模なシーン認識行動データセットであるBEHAVIORHUBを利用して開発・評価されています。BEHAVIORHUBは、LLMによって生成された行動計画と、3Dシーンに整合されたモーションデータを含んでいます。

これらの特徴により、ACTORは、現実的な3D環境で、人間のように、状況に応じて柔軟に、目標を達成することができるエージェントとして機能します。

#### Q:ACTORのエージェントアーキテクチャを説明せよ。
#### A:
ACTORエージェントは、**3D環境での人間のような行動シミュレーション**を目的として設計された、**知覚・計画・行動のループ**で動作するエージェントです。そのアーキテクチャは、以下の主要なコンポーネントで構成されています:

*   **知覚 (Perception)**:
    *   環境に関する情報を収集するだけでなく、**環境を深く理解すること**を目指します。
    *   **オブジェクトのプロパティ、空間的な関係、シーンのレイアウト**などを把握します。
    *   利用可能なモデルを使用して、**シーンのジオメトリやエージェントの状態**などの情報を取得し、**ヒューリスティック関数**を用いて**言語的な記述**に変換します。
    *   例えば、**[環境：{住宅内部}、オブジェクト：{ベッド、机、椅子、キッチンカウンター、シンク、テレビ、...、ソファ}、周囲：{シンク：空、蛇口：オン、トイレ：空き}]**のような形式で環境を記述します。
*   **計画 (Plan)**:
    *   **LLM（大規模言語モデル）**をコアとして、**現在の環境と過去の行動試行**を入力とし、**行動の記述を出力**します。
    *   LLMは、**長期的な目標を、より短い行動ステップに分解**します。
    *   **実行可能なアクション**については、**モーションシーケンスの記述**を提供します。
    *   **高レベルのアクティビティ**については、**アクション段階をスキップ**し、**目標をさらに分解**します。
    *  **価値主導の行動計画**を行います。これは、LLMが出力する行動候補を、**価値関数を用いて評価**し、**優先順位付け**するメカニズムです。
        *   **ノードの拡張**: LLMから候補となる行動を生成する際に、**階層的なヒューリスティック**を用いて、**実行可能なアクション**や**高レベルの活動**に絞り込みます。
        *  **価値関数**: 各ノードを評価する際、**実数値関数（最短経路の評価など**や**言語ベースの命令（「几帳面な人が次の行動を取る可能性は？」など**を使用して、行動の妥当性を判断します。
        *   **探索アルゴリズム**: 価値関数に基づき、**貪欲探索、ビーム探索、モンテカルロ木探索(MCTS)**などを使用して、最適な行動経路を探索します。MCTSが最も良い結果を示しています。
*   **行動 (Action)**:
    *   **3Dシーンにおける全身の人間の動き**を生成します。
    *   **テキストと軌道**に基づいて、**全身のモーション**を生成するモデルを使用します。
    *   **オブジェクトとのインタラクション**については、**把持推定モデル**を用いて、手の動きをさらに調整します。
    *   **歩行などの移動アクション**については、**軌道パスが事前に推定**されます。

ACTORエージェントは、これらのコンポーネントが連携して動作することで、**複雑な3D環境での人間らしい行動**をシミュレートすることができます。また、**環境の変化や新しい言語コマンド**に対応して、**動的に計画を調整**することができます.

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/a3fafd58-ab42-2592-f7c4-bf3906a5c4ea.png)

#### Q:BEHAVIORHUBデータセットの作成方法と、その利点は何ですか？
#### A:
BEHAVIORHUBデータセットは、**大規模な3Dシーンにおける人間の行動シミュレーション**を目的として作成されました。このデータセットは、**日常的な家庭環境での人間の行動を、シーンを認識した状態でシミュレーション**するために設計されています。

BEHAVIORHUBデータセットの作成方法は、以下の2つの主要なステップから構成されます:

1.  **言語的な目標-計画の生成**:
    *   まず、少数の人間が作成したシードサンプルを基に、**LLM（大規模言語モデル）を用いて、目標と計画の木構造を生成**します。
    *   この際、**部屋の種類、候補となるオブジェクト、および計画中の活動と相互作用するアクションをプロンプトに含める**ことで、より広範なカバレッジと特定のシーンとの整合性を確保します。
    *   生成された木構造は、**中間ノードの順序がラベル付け**され、**同じセット内のノードが相互に交換可能**なグループとして表現されます。
    *   さらに、**不足している計画ステップの補完や、ルートノードの抽象化**を行い、木の構造を改善します。
    *   最後に、**BERTScoreによる類似度**が低い木構造のみをプールに追加し、**LLMによる検証**で無効とされた計画は除外することで、データの多様性と品質を確保します。
2.  **目標-モーション-シーンのアライメント**:
    *   生成された目標-計画の木構造を、既存の**人間のモーションデータ**（AMASSなど）と**3D屋内シーンデータ**（ScanNetなど）を用いて、3D環境に接地させます。
    *   各木構造に対して、**アクションとオブジェクトをリソースからサンプリング**し、実行可能な活動を実現します。
    *   サンプリングされたモーションを、**接触可能なオブジェクトを基準にシーンに配置**し、**衝突と接触の損失を最小化するように変換と回転のパラメータを最適化**します。
    *   最後に、**Transformerベースのモーション補完メソッドを用いて、スパースで空間的に接続されていないモーションシーケンスをブレンド**し、シーンと目標計画に整合した連続的なモーションシーケンスを生成します。

BEHAVIORHUBデータセットの利点は以下の通りです:

*   **大規模かつ多様なデータ**: 1.5kの3Dシーンで、10kの行動サンプル、2kのユニークなアクティビティ、0.1kのアクション、1kのオブジェクトをカバーし、既存のデータセットよりも大規模で多様なデータを提供します。
*   **シーンを認識した行動シミュレーション**: 環境を考慮した人間の行動シミュレーションに特化しており、現実的な3D環境での人間の行動をより正確にモデル化できます。
*   **自動生成による効率的なデータ作成**: LLMと既存のリソースを活用することで、人間の介入を最小限に抑え、高品質なデータを効率的に作成できます。
*   **ダウンストリームタスクへの貢献**: シーン認識モーション生成や言語条件付きモーション生成など、さまざまなダウンストリームタスクのモデル開発に役立ちます。
*   **研究開発の促進**: 行動計画やシミュレーションの研究を促進し、仮想的な人間やヒューマノイドロボットの開発を加速します。

BEHAVIORHUBは、**人間の行動をシミュレートするAIエージェントの構築**において、重要な役割を果たすことが期待されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/4c6abbd0-84f7-28c0-8f4c-3cbd00bce616.png)


#### Q:ACTORエージェントの性能評価方法はどのようなもので、その結果は？
#### A:
ACTORエージェントの性能評価は、主に以下の2つの側面から行われています:

*   **行動計画（Behavior Planning）**: エージェントが生成する行動計画の妥当性を評価します。
    *   **Sentence-BLEU (S-BLEU)**: 正解の計画と予測された計画の間の意味的な類似性を測定します。
    *   **BERTScore (BERT-S)**:  正解の計画と予測された計画の間の意味的な類似性を測定します。
*   **行動シミュレーション（Behavior Simulation）**: 生成された行動計画が、3D環境内で自然な動きのシーケンスとして実行されるかを評価します。
    *   **成功率（Success Rate）**:
        *   **ステップ成功率 (SSR)**: エージェントがステップの目標を達成した割合を記録します。例えば、人がベッドに横たわる動作が、股関節と頭部が目標位置から30cm以内にある場合に成功とみなされます。
        *  **目標成功率 (GSR)**: プラン全体のすべてのステップが正常に実行されたかどうかを測定します。
        *   **経路長で重み付けされた目標成功率 (GSRPL)**: エージェントが目標を完了する効率を評価します。これは、GSRに、ground-truthの経路長とエージェントの経路長の比率を掛けたもので定義されます。
    *   **モーション品質**:
        *   **Frechet Inception Distance (FID)**: 生成されたモーション全体の品質を評価します。
        *   **認識精度**: 事前学習済みの標準RNNアクション認識分類器の最終層で測定されます。これは、生成品質を直感的かつ詳細に評価するのに役立ちます。

評価結果としては、以下の点が挙げられます:

*   **ACTORは、行動計画と行動シミュレーションの両方で、最も良い結果を達成しています**。
*   ACTORは、強力なベースラインをほぼ2倍のGSRで上回り、価値主導の行動計画設計の有効性を示しています。
*   **動的なサブセット（Dynamic subset）**において、既存のモデルはBERT-Sの点で著しい低下を示していますが、ACTORはより優れたパフォーマンスを発揮しています。これは、環境を認識していないLLMが環境に配慮した行動計画を立てる上で課題があることを示しています。
*   人間による評価では、ACTORは他のモデルよりも優れていることが確認されています。しかし、人間の作成した計画の方が一貫して好まれており、BEHAVIORHUBベンチマークが難しいことを示しています。

これらの結果から、ACTORエージェントは、複雑な3D環境での人間のような行動シミュレーションにおいて、優れた性能を発揮することが示唆されています。しかし、人間のパフォーマンスとの間にはまだギャップがあり、今後のさらなるモデル開発の必要性を示唆しています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/657e49f5-944d-e020-dfa6-4d771fe40413.png)

#### Q:ACTORのエージェントが環境変化にどのように対応するか説明せよ。
#### A:
ACTORエージェントが環境変化に対応する主なメカニズムは、**価値主導型行動計画**と**知覚・計画・行動ループ**にあります。

*   **価値主導型行動計画**:
    *   ACTORは、**LLMをコントローラー**として利用し、環境の状態を考慮しながら**行動計画を立てます**。
    *   **価値関数**は、各行動候補を評価し、**環境の変化に応じて最適な行動を選択**するために使用されます。
    *   価値関数は、**実数値関数（最短経路の評価など）**と**言語ベースの命令（「几帳面な人が次の行動を取る可能性は？」など）**の両方を使用します。これにより、**環境の変化やエージェントの価値観を考慮**した意思決定が可能になります。
    *   例えば、**「浴室が使用中である」**という環境変化を認識した場合、**価値関数に基づいて、朝食を先に食べるか、浴室が空くまで待つか**を判断します。
    *   また、**「几帳面な人である」**という言語コマンドが与えられた場合、**掃除をしてから朝食を食べる**といった行動を計画します。
*   **知覚・計画・行動ループ**:
    *   ACTORは、**知覚・計画・行動のサイクル**を繰り返すことで、**環境の変化に動的に対応**します。
    *   **知覚**段階では、**環境に関する情報を収集**し、**言語的な記述**に変換します。
        *   例えば、**オブジェクトの状態（冷蔵庫が開いているか、トイレが空いているかなど）**や、**エージェント自身の状態（場所や行動の種類）**を把握します。
    *   **計画**段階では、**収集した環境情報**と**過去の行動履歴**に基づき、**LLMを使用して次の行動を決定**します。この際、**価値関数**を用いて、**最適な行動計画**を選択します。
    *   **行動**段階では、**計画された行動を3D環境内で実行**します。

このループを繰り返すことで、ACTORは、**環境の変化を検知**し、**その変化に応じて計画を修正**しながら、**目標を達成**することができます。このメカニズムにより、ACTORは、**動的な環境**において、**人間のように柔軟で適応的な行動**をシミュレートすることが可能になります.

また、実験結果からも、**動的なサブセット（Dynamic subset）**において、既存のLLMモデルは環境変化に対応できず性能が低下するのに対し、ACTORは**環境を認識した計画を立てることでより優れたパフォーマンスを発揮**することが示されています。


#### Q:ACTORの価値関数に基づく計画立案を説明せよ。
#### A:
ACTORエージェントにおける価値関数に基づく計画立案は、**環境の変化やエージェントの特性を考慮しながら、最適な行動を決定する**ための重要なメカニズムです。このプロセスは、以下の要素で構成されています。

*   **LLMコントローラー**: **LLM（大規模言語モデル）**を中核として使用し、**長期的な目標をより短い行動ステップに分解**します。
*   **行動候補の生成**: LLMは、**現在の環境状態**と**過去の行動履歴**を入力として受け取り、**次の行動候補となる複数の選択肢**を生成します。この際、**階層的なヒューリスティック**を利用し、**実行可能なアクション**や**高レベルの活動**に絞り込むことで、効率的な探索を可能にします。
*   **価値関数の適用**: 生成された行動候補それぞれに対して、**価値関数**を用いて評価を行います。価値関数は、以下の2つのタイプで構成されています。
    *   **実数値関数**: **最短経路**などの**定量的な指標**を評価します。この関数は、**各候補アクションの距離を推定**し、その結果を確率値に変換して利用します。
    *  **言語ベースの命令**: **「几帳面な人が次の行動を取る可能性は？」**といった、**エージェントの特性や価値観**を反映した命令をLLMに与え、その**回答を基に候補の妥当性を評価**します。この際、**「確実」「可能性が高い」「可能性が低い」「不可能」**といった分類値を、**1.0/0.7/0.3/0.01**といった確率値に変換して利用します。
*   **環境とエージェントの状態への依存**: 価値関数による評価は、**現在の環境とエージェントの状態**に依存して行われます。これにより、**環境の変化に動的に対応**し、**状況に応じた適切な行動**を選択することができます。
*   **確率値の統合**: LLMが出力する行動の妥当性（**常識に基づく確率**）と、価値関数が算出する行動の妥当性（**環境とエージェントの状態に基づいた確率**）を組み合わせて、**最終的な行動選択の確率**を決定します。具体的には、**p(zi+1| l, E, s)∝pθ(zi+1| l, e, s) · pv(zi+1| l, E, s)**という式で表されます。
*   **探索アルゴリズム**: **統合された確率値**に基づき、**貪欲探索、ビーム探索、モンテカルロ木探索（MCTS）**などの探索アルゴリズムを用いて、最適な行動経路を探索します。実験の結果、**MCTSが最も良い結果を示す**ことが確認されています。

このように、ACTORの価値関数に基づく計画立案は、**LLMの持つ常識的な知識**と、**環境やエージェントの状態**を組み合わせることで、**複雑な状況下でも適切な行動**を可能にするメカニズムです。これにより、ACTORは、**環境の変化に適応**し、**与えられた目標を効率的に達成**することができます。

#### Q:この論文の手法はいわゆる強化学習ですか？
#### A:
この論文で提案されている手法は、**純粋な強化学習ではありません**。しかし、強化学習の要素を取り入れている部分もあります。以下に詳しく説明します。

*   **強化学習との違い**:
    *   この論文で提案されている**ACTOR**エージェントは、**知覚、計画、行動のループ**に基づいて動作し、**LLM (大規模言語モデル)** を中心的なコントローラーとして利用しています。
    *   従来の強化学習アプローチは、**環境とのインタラクションを通じて、報酬を最大化するポリシーを学習**しますが、ACTORは**事前に定義された価値関数**に基づいて行動を決定します。
    *   強化学習では、**報酬**が明確に定義されている必要がありますが、ACTORは**言語ベースのルール**や**実数値関数**を用いて、**複雑で曖昧な目標**を達成するために行動を計画します。
    *   また、強化学習は**固定されたタスク空間**で動作することが多いですが、ACTORは**3Dの現実的な環境**で**多様な人間行動をシミュレーション**することを目的としています。
*   **強化学習の要素**:
    *   **価値関数**: ACTORは、**価値関数**を用いて、行動の候補を評価します。価値関数は、**行動の妥当性や効率性を評価**するために使用され、強化学習における**Q関数や価値関数**と概念的に類似しています。
    *   **探索**: ACTORは、**モンテカルロ木探索（MCTS）**などのアルゴリズムを使用して、行動空間を探索します。MCTSは、強化学習でよく利用される探索アルゴリズムの一つです。
    *   **環境とのインタラクション**: ACTORは、**環境を認識**し、**その変化に応じて行動を調整**します。これは、強化学習エージェントが環境とのインタラクションを通じて学習するプロセスと類似しています。
*   **主な違いのまとめ**:
    *   **学習方法**: 強化学習は、**試行錯誤を通じてポリシーを学習**しますが、ACTORは**LLMと価値関数**に基づいて**計画を立て**、行動を決定します。
    *   **報酬**: 強化学習は、**明確な報酬**に基づいて学習しますが、ACTORは**実数値関数や言語ベースのルール**に基づいて行動を評価します。
    *   **タスク空間**: 強化学習は、**固定されたタスク空間**で学習しますが、ACTORは**3Dの現実的な環境**で動作します。

ACTORは、強化学習の**探索や価値関数といった概念**を取り入れつつも、**LLM**と**環境の認識**を組み合わせることで、**より複雑で現実的なタスク**に対応できるように設計されていると言えます。