Predicting Moves-on-Stills for Comic Art using Viewer Gaze Data(2015) 

### Predicting Moves-on-Stills for Comic Art using Viewer Gaze Data(Eakta, 2015) 

https://jainlab.cise.ufl.edu/documents/motion-comics-cga2015.pdf

#### Q:この論文の概要を教えてください
#### A:
この論文は、コミックアートにおける静止画像の動きを予測するためのアルゴリズムについて述べています。コミックブックが固定サイズのスクリーンに再配置される際、視聴者の注目を引くためにmove-on-stillsの技術が使用されます。本研究では、複数の視聴者がコミックパネルを見る際の注視データから、move-on-stillのパラメータを予測するアルゴリズムを提案しています。このアルゴリズムは、注視データから得られる情報を活用して、コミックパネルのmove-on-stillパラメータを予測し、視聴者の注目を誘導することでコミックアートの視聴体験を向上させることを目的としています。また、プロフェッショナルなDVDとの比較によってアルゴリズムの性能を評価しています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/1fca99b6-5ebd-a7ee-6f1f-cc1365889bc8.png)


#### Q: "Move-on-still"とは何ですか？
#### A:
"Move-on-still"は、コミックアートや静止画像などの静止画において、視聴者の注視データを活用して、カメラ移動のパラメータを予測し、静止画像を動的に表示する技術のことです。これにより、静止画像を動的に見せることができ、視聴者の注目を引きつける効果が期待されます。

#### Q:この論文の主な貢献を3つ挙げてください
#### A:
この論文の主な貢献を以下の3つにまとめます：

**注視データを活用したコミックアートの動き予測手法の提案**: この研究では、視聴者の注視データを活用してコミックアートの静止画像における動きを予測するアルゴリズムを提案しています。従来の手法では困難であったコミックパネルのmove-on-stillパラメータを、視聴者の注視データを解析することで予測する新しい手法を示しています。このアプローチにより、コミックアートのデジタル表示において視聴者の注目を誘導し、アーティストの意図を尊重する動きを生成することが可能となります。

**アーティストの意図を尊重した視覚的ストーリーテリング**: 本研究のアルゴリズムは、コミックアートにおけるアーティストの意図を尊重し、視覚的ストーリーテリングを強化することに焦点を当てています。視聴者の注視データを解析することで、コミックパネル内の重要なポイントを正確に特定し、それに基づいて適切なカメラ動きを予測します。このアプローチにより、コミックアートの視覚的な魅力や物語の流れを向上させることが可能となります。

**プロフェッショナルなDVDとの比較による性能評価**: 本研究では、提案されたアルゴリズムの性能を評価するために、プロフェッショナルなDVDとの比較を行っています。その結果、アルゴリズムがプロフェッショナルなDVDに匹敵するか、それに近いパフォーマンスを示すことが確認されました。この比較により、アルゴリズムがコミックアートのmove-on-stillパラメータを効果的に予測し、視聴者の視聴体験を向上させる潜在能力を示すことが示されました。

これらの貢献により、本研究はコミックアートのデジタル表示における新たなアプローチを提供し、アーティストの意図を尊重しながら視覚的なストーリーテリングを強化する手段を提供しています。

#### Q:この研究の限界と今後の課題はなんですか
#### A:
この研究の限界と今後の課題は以下のようにまとめられます：

**注視データのクラスタリングの精度**: 現在のアルゴリズムでは、視聴者の注視データをクラスタリングして重要なポイントを特定していますが、クラスタリングの精度には限界があります。特に、複数の注視点が1つのオブジェクトに集中する場合、クラスターの中心がオブジェクトの一部を正確に表現できない可能性があります。この点を改善するために、より高度なクラスタリング手法やオブジェクトの完全な表現方法が必要とされます。

**視覚的ストーリーテリングの複雑性**: コミックアートにおける視覚的ストーリーテリングは非常に複雑であり、アーティストが意図した物語の流れや視聴者の注目を誘導する方法を正確に捉えることは困難です。今後の課題として、より高度なアルゴリズムや機械学習手法を活用して、より洗練された視覚的ストーリーテリングを実現するための研究が必要とされます。

**実世界の応用への拡張**: 本研究では、コミックアートの静止画像に焦点を当てていますが、実世界の映像やアニメーションなどへの応用においても同様の手法が有効であるかどうかは未知数です。今後の研究では、異なるメディア形式やコンテキストにおけるアルゴリズムの有効性を検証し、実用的な応用範囲を拡大する必要があります。

これらの限界と課題を克服するために、より高度なデータ解析手法やアルゴリズムの開発、視覚的ストーリーテリングの理解を深めるための研究が必要とされます。また、実世界での応用可能性を検証し、アルゴリズムの汎用性を向上させる取り組みが重要となります。


#### Q:視聴者の視線データに基づいて、静止時の移動パラメータをどのようにアルゴリズムが予測するのか？
#### A:
本アルゴリズムは、視聴者の視線データを、分散ベースの手法を用いて固視とサッカードに変換することで、静止時の移動パラメータを予測する。固視位置、サッケードの方向、滞留時間から特徴を抽出し、仮想ロストラムカメラ移動のパラメータを決定する。このプロセスでは、視聴者が視線を固定した場所、急速な眼球運動（サッケード）の方向、マンガコマの特定の領域を見ている時間を分析する。これらの視線データの特徴を活用することで、アルゴリズムは作者の意図に沿った最適なカメラの動きを予測し、漫画コマの物語の流れを強化することができる。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/d76dddb7-5517-0bd7-bf7f-15037a90e331.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/b8a9b095-7a1c-4d05-5765-83a1902ad878.png)



#### Q:固定サイズのスクリーン用にリターゲットされたコミックアートで、Move-on-stillを使用する利点は何ですか？
#### A:
Move-on-stillは、固定サイズのスクリーン用にコミックアートをリターゲットする際に、いくつかの利点を提供します：

**アートワークの保存**： Move-on-stillでは、元のアートワークを拡大縮小したり、トリミングしたり、歪めたりすることなく、固定サイズのスクリーンでコミック・アートを表示することができます。この技術は、アートワークの完全性と視覚的インパクトを維持します。

**エンゲージメント**： Move-on-stillによって静止画像をアニメーション化することで、視聴者はダイナミックでインタラクティブな方法でコミックアートに関わることができます。これにより、視聴者の体験が向上し、観客を魅了します。

**適応性**： Move-on-stillにより、様々なアスペクト比のスクリーンにコミックアートを表示することができます。

**芸術的意図**： Move-on-stillは、視聴者の注意をシーン全体にコントロールされた意図的な流れにすることで、コミックアーティストの芸術的意図を尊重します。これにより、物語と視覚的なストーリーテリングがデジタルフォーマットでも確実に維持されます。

全体として、Move-on-stillは、固定サイズのスクリーンでコミックアートを表示するための創造的で効果的なソリューションを提供し、視聴者の関心を高め、元のアートワークの芸術的完全性を維持します。

#### Q:Move-on-stillのパラメーター評価において、アルゴリズムの性能はプロのDVDと比較してどうなのか？
#### A:
視聴者の視線データに基づいてMove-on-stillのパラメータを予測するアルゴリズムの性能を、予測されたパラメータを業務用DVDのパラメータと比較することで評価した。評価の結果、アルゴリズムの予測値は、アスペクト比に基づくムーブなどの他の手法と比較して、プロフェッショナルDVDのパラメータと同等か、より近いことが示された。

特に、このアルゴリズムは、マンガのコマの中にある注目点を、方向に関係なく正確に特定する能力を示した。この方法は、静止画の物語をサポートするカメラの動きを決定するために不可欠な情報を含む、記録された視線データを活用することで、もっともらしい動きを静止画上で予測することに成功した。

アルゴリズムの性能は有望であったが、人間の固視のクラスタリングにより、関心のあるオブジェクトが部分的に表現されるなどの限界が指摘された。これらの限界にもかかわらず、このアルゴリズムは、視聴者の視線データに基づいて、コミックアートのための静止画の移動パラメータを効果的に予測し、アーティストの意図に沿い、視聴者の体験を向上させる可能性を示した。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/65da4d6c-ff48-e680-34fb-c87d2f174e9c.png)


### 所感
静止画かつコミックアートを対象にしたものではあるが、eye-trackingデータから人間がどこに注目しやすいかを明らかにしている。思ったよりも興味深い研究だった。データドリブンではあるが、参考になりそうなので精読してみたい．