Perceptually validated global/local deformations(2010)

### Perceptually validated global/local deformations(Carol O’Sullivan, 2010)

https://dl.acm.org/doi/abs/10.5555/1857859.1857890

モーダル解析ってBlendShapeみたいに形状を事前に用意しておく感じかしら？
全体的な形状はモーダル解析でざっくりやって局所的な変形はしっかり計算しようっていうのが提案手法．計算速度考えたら当然そうですよね．

#### 概要


この論文は、リアルタイムで変形可能なオブジェクトのアニメーションにおける計算効率と視覚的リアリティの向上を目的とした、グローバル変形とローカル変形のハイブリッド手法を提案しています。従来のモーダル解析はグローバルな変形を効率的に表現しますが、ローカルな詳細を欠くという問題がありました。そこで、モーダル解析にローカル変形を付加することで、計算コストを抑えつつ、よりリアルな表現を実現する手法を開発し、知覚実験を通してその有効性を検証しています。実験の結果、特に柔らかいオブジェクトや衝突シーンにおいて、ローカル変形を追加することでリアリティが向上し、グローバル変形の精度を落とさずに済むことが示されました。さらに、どの程度のローカル変形が必要なのかを、オブジェクトの材質やユーザーのタスク（能動的か受動的か）といった要因と関連付けて議論しており、最適な速度と品質のバランスを実現するための指針を提供しています。

#### 研究の目的と手法、得られた結果、知見について論ぜよ
この研究の目的、手法、得られた結果、および知見について、以下に説明します。

**研究の目的**

この研究の主な目的は、**モーダル解析**を用いた変形可能な物体のシミュレーションにおいて、**大域的な変形**だけでなく、**局所的な変形**も同時に考慮することで、シミュレーションの**リアリティ**を向上させることです。具体的には、以下の点を目指しています。

*   高速なシミュレーションを維持しながら、視覚的な品質を高めること。
*   特に、柔らかい物体のシミュレーションや、接触時の変形など、従来のモーダル解析では捉えきれなかった局所的な変形を表現すること。
*   ユーザーがアニメーションをどのように知覚するかを実験的に検証し、局所変形の効果を定量的に評価すること。
*   局所変形を適用するべき状況と、そうでない状況を特定するためのガイドラインを策定すること。

**研究の手法**

この研究では、**モーダル解析**と**局所変形**を組み合わせた**ハイブリッドモデル**を提案しています。この手法の主なステップは以下の通りです。

1.  **大域的変形の計算**:
    *   まず、物体の振動モードを事前に計算します。
    *   次に、少数の低周波数の振動モードを使用して、物体の**大域的な変形**を計算します。
    *   この段階では、計算コストを抑えるために、コローテーション法を用いた線形モデルを使用しています。
2.  **局所変形の計算**:
    *   衝突検出の結果に基づいて、接触している要素を特定します。
    *   接触している要素とその周辺の要素に対して、**局所変形**を計算します。
    *   局所変形には、コローテーション定式化を用いた線形変位を使用します。
    *   局所変形は、大域的変形の結果と統合されます。
    *   局所変形を計算する要素の範囲は、設計者が調整できます。
3.  **知覚実験**:
    *   シミュレーションのリアリティを評価するために、一連の**知覚実験**を実施しました。
    *   実験には、能動的なタスク、受動的なタスク、異なる材質のオブジェクト、衝突検出タスクなどが含まれます。
    *   参加者の視覚的な好みやタスク遂行能力を測定し、局所変形の効果を評価しました。
4.  **パフォーマンス評価**:
    *   提案手法の計算コストを、既存の手法（大域的変形のみ、コローテーション法）と比較しました。
    *   異なるモデル（Flubberモデル、低複雑度シリンダー、高複雑度シリンダー）を使用して、パフォーマンスを評価しました。

**得られた結果**

この研究から、以下の主な結果が得られました。

*   **局所変形の効果**:
    *   **受動的なタスク**において、局所変形はアニメーションのリアリティを**大幅に向上させる**ことが示されました。
    *   **柔らかい物体**のシミュレーションにおいて、局所変形は特に有効であることが示されました。
    *   局所変形は、**衝突の知覚を向上させる**ことが示されました。
    *   局所変形を使用することで、**大域的変形の品質を多少下げても**、視覚的な品質を維持できることが示されました。
    *   能動的なタスクにおいては、局所変形の影響は比較的小さいものの、**硬い物体**では局所変形が好まれる傾向がありました。
*  **パフォーマンス**:
    *   提案手法は、コローテーション法と比較して、**大幅に高速**にシミュレーションを実行できることが示されました。
    *   局所変形を計算するためのコストは、**アクティブなローカルノード数**にほぼ比例することが示されました。
    *   局所変形に使用する隣接レベルを調整することで、パフォーマンスと品質のバランスを最適化できることが示されました。

**知見**

この研究から、以下の主な知見が得られました。

*   **局所変形の重要性**:
    *   局所変形は、アニメーションのリアリティを向上させる上で**重要な要素**であり、特に柔らかい物体や接触を伴うシミュレーションにおいて、その効果が顕著です。
    *   局所変形は、人間の知覚に大きな影響を与え、特に受動的なタスクにおいて、視覚的な魅力を高めることが示されました。
*  **計算コストの削減**:
    *   局所変形を必要な箇所に限定することで、計算コストを効率的に削減できます。
    *   モーダル解析と組み合わせることで、高速なシミュレーションを実現できます。
*   **柔軟なモデル**:
     *   局所変形を無効化することで、さらに計算コストを削減でき、状況に応じて柔軟にレベルオブディテールを調整できます。
*   **局所変形の適用に関するガイドライン**:
    *   局所変形は、柔らかい物体、受動的なタスク、衝突の知覚を向上させる場合に特に有効です。
    *   能動的なタスクや硬い物体のシミュレーションでは、局所変形の影響は比較的小さい場合があります。
    *   シミュレーションの目的や状況に応じて、局所変形の有無や範囲を調整する必要があります。
* **線形材料モデルの限界**
    *   線形材料モデルを使用すると、ユーザーがオブジェクトを引っ張るなどの操作を行った場合に、不自然な変形が発生する可能性があるため、今後の課題として非線形材料モデルの導入が考えられます。

**結論**

この研究では、モーダル解析と局所変形を組み合わせた**新しい手法**を提案し、その有効性を実験的に検証しました。得られた結果は、**局所変形がアニメーションのリアリティを向上させる上で重要な役割を果たす**ことを示しており、**シミュレーションの品質とパフォーマンスのバランス**を最適化するためのガイドラインを提供しています。この研究は、コンピュータグラフィックスにおける変形可能な物体のシミュレーションの発展に貢献すると考えられます。

#### モーダル解析とはなんですか？
モーダル解析は、物体の振動特性を分析する手法であり、特にコンピュータグラフィックスにおける**変形可能な物体のシミュレーション**でよく利用されます。

具体的には、以下の様な特徴があります。

*   **振動モードの利用**: 物体の変形を、固有の振動モード（特定の振動パターン）の組み合わせで表現します。 各モードは、特定の周波数と変形パターンに対応し、これらのモードを重ね合わせることで、複雑な変形を表現できます。
    *   この論文の図1では、物体の静止位置と、いくつかの振動モード（2番目、3番目、5番目、7番目）が示されています。
*   **計算コストの削減**: モーダル解析では、**少数の低周波数の振動モードのみ**を使用して、物体の主要な変形を表現します。これにより、変形の自由度を大幅に減らすことができ、計算コストを削減し、リアルタイムシミュレーションを可能にします。
    *   例えば、この論文では、10個以下のモードで良好な結果が得られる場合があると述べています。
*   **大域的な変形の表現**: モーダル解析は、物体の**全体的な動きや変形（大域的変形）**を捉えるのに優れています。しかし、局所的な変形（接触時の細かな変形など）は表現するのが苦手です。
*   **高速なシミュレーション**: モーダル解析は、計算が比較的容易なため、プログラマブルグラフィックスハードウェア（GPU）などを利用して、高速に実行できます。

この論文では、モーダル解析の利点を活かしつつ、その欠点を補うために、**局所変形を組み合わせた手法**を提案しています。この手法では、モーダル解析で大域的な変形を計算し、接触箇所など局所的な変形が必要な部分に対して、別の方法で変形を計算します。

このように、モーダル解析は、変形可能な物体のシミュレーションにおいて、計算コストと表現力のバランスを取るための重要な手法です。

#### 全体変形と局所変形の組み合わせは、現実感にどう影響するか？
全体変形と局所変形の組み合わせが現実感に与える影響について、この資料では、主に以下の点が述べられています。

*   **全体変形（グローバル変形）だけでは、局所的な挙動を捉えきれないため、現実感が損なわれる可能性がある**。特に、変形可能な物体のアニメーションにおいて、全体的な動きは捉えられても、局所的な細かな変形が表現されないと、アニメーションの品質やリアリズムが低下します。
*   **全体変形に局所変形を加えることで、視覚的な品質と魅力を向上させることが期待される**。この考えに基づき、全体変形モデルに局所変形を加えるハイブリッド手法が提案されています。
*   **実験により、局所変形が、特に柔らかい物体のシミュレーションにおいて、リアリズムの向上に役立つことが示唆された**。また、衝突時の表現をよりリアルにする効果も認められました。
*   **受動的なタスク（ビデオ鑑賞など）では、局所変形がアニメーションの魅力を大きく向上させることが示されました**。一方、能動的なタスク（ゲームなど）では、局所変形の有無による現実感の差は、それほど大きくないことが示されました。
*   **柔らかい物体のシミュレーションでは、局所変形が特に重要であることが示唆されました**。また、局所変形を使用すると、全体変形の質を若干下げても、視覚的な品質を維持できることがわかりました。
*   **局所変形は、衝突の知覚にも役立つことが示唆されました**。実験では、局所変形を加えた場合、衝突の検出精度が向上しました。特に、柔らかい物体の衝突検出では、局所変形がある方がより効果的です。
*   **全体変形と局所変形を組み合わせた手法（Global/Localモデル）は、計算コストを大幅に削減できる一方で、視覚的な品質を向上させることができます**。また、局所的な要素がアクティブなノードの数にほぼ比例するため、比較的低コストでシミュレーションできます。
*  この研究では、全体変形のみを使用する場合、特に柔らかい物体をシミュレートすると、不自然な変形が生じ、ユーザーを混乱させる可能性があると指摘しています。局所変形は、このような不自然さを軽減するのに役立つ可能性を示唆しています。

これらの結果から、全体変形と局所変形の組み合わせは、特に柔らかい物体のシミュレーション、受動的なタスク、および衝突の知覚において、現実感を向上させる効果があると考えられます。

#### 計算コストと視覚的品質のバランスをどのように最適化したか？
この論文では、計算コストと視覚的品質のバランスを最適化するために、**大域的な変形モデル（global model）と局所的な変形モデル（local model）を組み合わせたハイブリッドな手法**を提案しています。

具体的には、以下の点が最適化に貢献しています。
*   **大域的変形モデル:**
    *   **モーダル解析**（modal analysis）を用いて、物体の変形を少数の振動モードで表現することで、計算量を大幅に削減しています。
    *   これにより、物体の全体的な動きを高速にシミュレーションすることが可能になります。
    *   ただし、大域的変形モデルのみでは、**局所的な変形を捉えることができない**という問題があります。
*   **局所的変形モデル:**
    *   **接触が発生した箇所**やその周辺の要素に対してのみ、**局所的な変形を計算**することで、必要な部分にのみ計算リソースを集中させています。
    *   局所的な変形は、従来の**共回転（co-rotational）有限要素法（FEM）**に基づいて計算され、よりリアルな変形を表現します。
    *   局所的な変形モデルは、大域的変形モデルでは捉えきれない、**接触時の細かい変形や、柔らかい物体の変形をリアルに表現**することができます。
*   **レベルオブディテール（LOD）:**
    *   必要に応じて、**局所的な変形を無効化**し、大域的な変形のみを使用することで、さらに計算コストを削減することが可能です。
    *   これにより、**状況に応じて計算負荷を調整**し、パフォーマンスを最適化することができます。

実験結果から、**局所的な変形は、特に柔らかい物体のシミュレーションにおいて視覚的な品質を向上させる**ことが示されています。また、**接触の知覚を向上させ、衝突を検出しやすくする**ことも明らかになっています。さらに、**局所的な変形を使用することで、大域的変形に使用する振動モード数を削減しても、視覚的な品質を維持できる**ことが示されています。

性能評価では、提案された手法（Global/Localモデル）が、**従来の共回転FEMと比較して大幅に高速**であり、**大域的変形モデル（Globalモデル）と比較して、局所的な変形を追加しても計算コストの増加がわずか**であることが示されています。

この研究によって、**視覚的な品質と計算コストのバランスを最適化し、リアルタイムな変形シミュレーションを実現するためのガイドライン**が提供されました。

#### 全体モデルと局所モデルを組み合わせた手法の計算コストと、従来手法との比較を述べよ。

この論文では、全体モデル（Global model）と局所モデル（Local model）を組み合わせた手法（Global/Localモデル）の計算コストについて、従来手法との比較を通じて詳細な評価を行っています。

*   **従来手法:**
    *   **共回転有限要素法（CF）**：この手法は、変形可能な物体のシミュレーションにおいて高いリアリズムを提供しますが、計算コストが非常に高いという課題があります。特に、各要素の回転成分を計算する必要があるため、計算負荷が大きくなります。
    *   論文中では、CF法を**Conjugate Gradient method (CGM)** を用いて実装し、その計算コストを評価しています。

*  **Global/Local モデル**
    *   **全体変形（Global model）**: モーダル解析を利用し、少数の振動モードで物体の変形を表現するため、高速なシミュレーションが可能です。
    *   **局所変形（Local model）**: 接触が発生した箇所やその周辺に限定して、共回転FEMを用いてより詳細な変形を計算します。これにより、必要な部分にのみ計算リソースを集中させることができ、計算コストを抑えながらリアリティを向上させることが可能になります。
    *   Global/Localモデルでは、**局所的な計算はアクティブなローカルノードの数にほぼ比例**するため、効率的な計算が可能です。

*   **計算コストの比較:**
    *   **Global/Localモデルは、CF法と比較して大幅に計算コストが低い**ことが示されています。
    *   **GlobalモデルとGlobal/Localモデルの比較**：シミュレーション開始時は、接触がないため、GlobalモデルとGlobal/Localモデルの計算コストはほぼ同じです。接触が発生し、局所的な変形計算が必要になると、Global/Localモデルの計算コストは増加しますが、その増加は**アクティブなローカルノードの数にほぼ比例**するため、比較的低コストで済むことが示されています。
    *   実験では、**アクティブなローカルノード数はモデル全体の20％を超えることはなかった**と報告されており、Global/Localモデルが効率的であることが示唆されています。
    *  **CF法では、シミュレーション開始時にシステム行列の構築や要素ごとの回転計算にコストがかかる**ことが示されています。
    *   **Global/Localモデルは、ローカルノードのセットの計算コストも無視できる程度に低い**ことが示されています。

*  **図による比較**:
    *   **Figure 5** では、Flubberモデルと高複雑度シリンダーモデルのシミュレーションにおいて、Globalモデル、Global/Localモデル、CF法の計算コストが比較されています。この図から、GlobalモデルとGlobal/LocalモデルがCF法よりも大幅に高速であることがわかります。
    *   **Figure 6** では、GlobalモデルとGlobal/Localモデルの計算コストが、アクティブなローカルノードの数とともに示されています。この図から、Global/Localモデルの計算コストが、ローカルノード数にほぼ比例して増加することがわかります。
    *   **Figure 7** では、Global/Localモデルの計算コストが、CF法と比較してどれだけ高速化されたかが示されています。異なるモデルと隣接レベルにおいて、Global/LocalモデルはCF法よりも高速であることが示されています。

**結論として、Global/Localモデルは、全体変形と局所変形を組み合わせることで、従来のCF法よりも大幅に計算コストを削減しつつ、視覚的な品質を向上させることが可能であると言えます。また、Global/Localモデルは、Globalモデルと比較して、局所的な変形を追加しても、計算コストの増加がわずかであり、非常に効率的な手法であると言えます。**

#### 知覚実験の結果から、局所変形がアニメーションのリアリティに及ぼす影響を考察しなさい。
知覚実験の結果から、局所変形がアニメーションのリアリティに及ぼす影響について、以下の点が考察できます。

*   **局所変形は、特に受動的なタスクにおいて、アニメーションのリアリティを高める**。実験では、参加者が動画を視聴するパッシブタスクにおいて、大域的変形のみのモデルよりも、局所変形を加えたモデルの方が、より現実的であると評価されました。これは、局所変形が、全体的な動きだけでなく、細かな変形を捉えることで、より自然な印象を与えるためと考えられます。
*   **柔らかいオブジェクトのシミュレーションにおいて、局所変形は特に重要である**。実験結果から、柔らかい物体をシミュレートする際、局所変形を加えたモデルの方が、より現実的であると認識される傾向が示されました。これは、柔らかい物体が、接触時に大きく変形し、その変形が視覚的なリアリティに大きく影響するためと考えられます。
*   **局所変形は、接触の知覚を向上させる**。実験では、局所変形を加えたモデルを使用した場合、参加者が衝突をより正確に検出できることが示されました。これは、局所変形が、衝突時の変形をよりリアルに表現することで、衝突の発生をより認識しやすくするためと考えられます。特に、柔らかい物体の衝突では、局所変形の効果が顕著でした。
*   **局所変形を使用することで、大域的変形の品質を多少下げても、視覚的な品質を維持できる**。実験では、大域的変形に使用する振動モード数を減らした場合でも、局所変形を加えることで、視覚的な品質が十分に保たれることが示されました。これは、局所変形が、大域的変形では捉えきれない細かな変形を補完することで、全体のリアリティを維持するためと考えられます。
*   **能動的なタスクでは、局所変形の影響は比較的小さい**。実験では、参加者が物体を操作するアクティブタスクにおいては、局所変形の追加によるリアリティの向上は、パッシブタスクほど顕著ではありませんでした。これは、アクティブタスクでは、参加者がタスクに集中するため、細かな変形に対する注意が低下するためと考えられます。しかし、硬い物体の場合には、局所変形が好まれる傾向が見られました。
*   **全体変形のみを使用すると、特に柔らかい物体で不自然な変形が生じ、ユーザーを混乱させる可能性がある**。局所変形は、この問題を軽減するのに役立つ可能性があります。
*   **局所変形は、シミュレーションの計算コストを増加させるが、その効果は視覚的な品質とリアリティの向上に見合う**。この研究では、局所変形を追加する際に、計算コストを削減する方法を提案しており、従来のコローテーション法と比較して高速にシミュレーションできることを示しています。

これらの結果から、**局所変形は、アニメーションのリアリティを高める上で重要な役割を果たす**ことが示唆されます。特に、**柔らかい物体のシミュレーションや、受動的なタスク、接触の知覚においては、局所変形の効果が顕著**です。また、**局所変形を使用することで、計算コストと視覚的品質のバランスを最適化できる**ことも重要なポイントです。

#### モーダル解析と局所変形を組み合わせた手法の利点と欠点を論じなさい。

モーダル解析と局所変形を組み合わせた手法（Global/Localモデル）の利点と欠点について、この論文では以下のように論じられています。

**利点**

*   **計算効率の向上**：
    *   モーダル解析は大域的な変形を少数の振動モードで表現するため、計算コストを大幅に削減できます。
    *   局所変形は接触が発生した要素やその周辺のみに適用されるため、計算リソースを必要な箇所に集中させることができ、計算コストを抑えられます。
    *   この組み合わせにより、従来の有限要素法（FEM）などの手法と比較して、より高速なシミュレーションが可能です。
*   **視覚的品質の向上**：
    *   大域的変形だけでは捉えきれない、局所的な細かな変形（接触時の変形や柔らかい物体の変形など）を表現できます。
    *   特に柔らかい物体のシミュレーションにおいて、局所変形はリアリズムを大きく向上させます。
    *  実験結果では、パッシブタスク（ビデオ鑑賞など）において、局所変形がアニメーションの魅力を向上させることが示されています。
*   **柔軟なレベルオブディテール（LOD）**：
    *   必要に応じて局所変形を無効化することで、さらに計算コストを削減できます。
    *   状況に応じて計算負荷を調整し、パフォーマンスを最適化できます。
*   **衝突検出の向上**：
    *   局所変形は接触のリアリズムを高め、衝突の検出を助けます。
    *   特に、柔らかい物体の衝突検出において、局所変形は効果的です。
*   **グローバル変形の品質を一部削減可能**:
    *   局所変形を使用すると、大域的変形の品質（使用する振動モード数）を若干下げても、視覚的な品質を維持できることが示されています。

**欠点**

*   **局所変形の計算コスト**:
     *  局所変形を計算するためには、追加の計算が必要になり、完全に大域的変形のみを使用するよりも計算コストは増加します。ただし、実験結果では、この計算コストの増加は比較的わずかであることが示されています。
*   **パラメータ調整の必要性**：
    *   局所変形の適用範囲（隣接レベル）や、削除の閾値などのパラメータを適切に設定する必要があります。これらのパラメータは、シミュレーション対象の物体や、目的とする視覚効果に応じて調整が必要です。
*   **線形材料モデルの限界**：
    *   この研究では、線形材料モデルを使用しているため、現実の非線形な材料特性を完全に再現することはできません。特に、ユーザーが物体を引っ張るような操作をした場合、不自然な変形が生じる可能性があります。
*   **アクティブタスクでの効果の限定性**：
     *   アクティブタスク（ユーザーがゲームをプレイするなど）においては、局所変形がシミュレーションの魅力度に大きな影響を与えない場合があります。これは、ユーザーがタスクに集中しているため、細かな変形に注意を払わないためと考えられます。

**まとめ**

モーダル解析と局所変形を組み合わせた手法は、**計算効率と視覚的品質の両立**を目指す上で非常に有効な手法です。特に、柔らかい物体のシミュレーションや、パッシブな視聴環境において、その効果を発揮します。ただし、計算コストの増加や、パラメータ調整の必要性、線形材料モデルの限界などの欠点も存在します。これらの利点と欠点を理解し、状況に応じて適切な手法を選択することが重要です。


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/31e9e924-12d7-20b4-e5f1-125e202a672b.png)