SIGGRAPH ASIA 2024参加レポート 3Dスキャン関連

# SIGGRAPH ASIAとは？
SIGGRAPHとはCGやインタラクション技術に関する国際会議及び展示会です。SIGGRAPH本体の方が規模が大きく、SIGGRAPH ASIAはそのアジア版といった位置づけです。[SIGGRAPH ASIA 2024](https://asia.siggraph.org/2024/)は12月3日から12月6日にかけて東京国際フォーラムで開催されました。
筆者は、展示ホールと一部のトークセッションにアクセスできる「EXHIBIT & EXPERIENCE ACCESS」パスで参加しました（カンファレンスセッションへの参加権はありません）。この記事では、展示ホールで体験した内容を中心にご紹介します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/5345e6e1-94b6-94fb-dc6e-6a22c9a9ad30.png)


# 3Dスキャン関連展示
## ポータブル3Dスキャナー
[3DMakerpro](https://store.3dmakerpro.com/collections/3dmakerpro)は深センに本社を置き、低コストの3Dスキャナーを展開している企業です。

[EAGLE](https://store.3dmakerpro.com/pages/eagle-lidar-3d-scanner)
3DMakerproの今回の目玉製品がこちら。「EAGLE」はバッテリーを内蔵し、LiDARと複数の半球カメラを備えたポータブル3Dスキャナーです。片手で持てる程度の軽量設計で、高解像度かつ広範囲のスキャンが手軽に可能とのこと。2024年12月に発売予定です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/7c1fee29-060b-5db1-2fee-53d2c86fef91.png)

[Moose](https://store.3dmakerpro.com/products/moose)
「Moose」は、専用の回転テーブルを使用してスキャン対象を置き、スキャナーを手で操作してスキャンします（回転テーブルを使用しないスキャンも可能）。スキャン後、対象物だけを3Dモデルとして抽出できます。さらに、物体を裏返してスキャンすると、アプリが表側と裏側の3Dメッシュを自動的に結合してくれます。
![3dmakerpro_1.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/1ac19887-d91d-2174-abd9-daf1415e9bc0.gif)

## サーマル画像でGaussian Splatting
Korea National University of Artsのブースでは、サーマル画像を使用してGaussian Splattingを行う展示が行われていました。この展示では、印象派絵画における短く断片的なブラシストロークに着目し、Gaussian Splattingを用いて、3Dで印象派の筆遣いに似たアート表現を模索していました。また、Gaussian Splattingの処理中に意図的にノイズを増幅させることで、グリッチのような要素を取り入れ、独特の筆遣いに近づけていました。

![GS.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/9d452b1a-9b94-b595-067b-06d17b1023d1.gif)
※なお、使用されていたFLIRのデータは、正確にはサーマル画像を可視光カメラのデータにオーバーレイしたものです。サーマル画像のみでは解像度が低いため、この形式がよく用いられます。

サーマル画像のシーケンスでは、相対的な温度値によりカラーが変化してしまうため、一貫したカラー値を元に3D再構築を行うGaussian Splattingをそのまま適用することはできませんでした。そこで、彼らはサーマル画像をAIを使って動画に拡張し、カラー値の一貫性を保ったデータを生成。そのデータをGaussian Splattingで処理することで、3Dアート表現を実現していました。

## サイバー南無南無
[サイバー南無南無](https://www.youtube.com/@CyberNamunamu)とは、仏教美術×テクノロジーアートで新たな表現方法を模索してるクリエイターグループです。
渋谷の街を点群で表現した中に、金色の点群が現れて仏像が浮かび上がる映像が展示されていました。
| ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/9e403c2e-0a55-5722-0d39-a413936fdfbf.png) | ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/8931a36d-684e-5ae1-86db-2ed4b6e4411a.png) | ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/2be34a72-ac22-6ff7-aa5e-091410597a3b.png) |
|--------------------|--------------------|--------------------|

東京都のオープンデータをTouch Desingerというソフトで処理されたそうです。オープンデータの扱い方については、下記のご本人の執筆された記事が参考になります。
[東京都の点群データのダウンロードとTouchDesignerでの利用方法](https://note.com/imgee/n/n929dcc014272)

余談ですが、サイバー南無南無出展者の[まどかさん](https://x.com/madoka55537?s=21&t=K1MEYV6ukmNp_bwWAuoPYg)は、点群がお好きだとおっしゃっていました。今後も彼らの活動に点群が活用されるかもしれませんね！

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/9942ff99-0cd5-1659-466c-c7c56cf727f0.png)
まどかさん

## LUMIO3D
[Lumio3D](https://lumio3d.com/jp/)は、高品質な3Dフェイススキャナーで、多面体の一部が欠けたような形状の装置に多数のLEDとカメラが配置されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/9c0467de-c188-aa34-c898-576c121d04ac.png)

このブースで顔を装置内に入れて一瞬で撮影すると、数分後には非常に高品質な3Dモデルが完成していて驚きました。撮影の瞬間に、様々な光源条件で複数の写真を撮影し、そのデータをもとに顔の凹凸情報を取得しています。なんと、毛穴の凹凸までもが再現可能とのことです！（ちなみに、肌をキレイに見せたい場合はノーマルマップをぼかせばいいそうです。笑）

さらに、表情をリアルタイムでキャプチャして3Dモデルに反映させるデモも行っていました。別の人が操作することもできますが、自分自身の顔のスキャンを使って、私が操作したときの様子です。実物によく似ていますね！

| <img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/6ee142d9-7414-a9cf-d36b-b1a77a5cbc40.gif" width="250"> <br> 表情キャプチャデモ | <img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/03c8480c-961b-fc71-95c1-8633e667c4bf.png" width="250"> <br> 本人との比較|
|--------------------|--------------------|


## ハイスピードボリュメトリックキャプチャー(Imagica group)
ハイスピードカメラを用いて解析対象を複数視点から撮影し、ハイスピードの3次元シーケンス（HSVC: High Speed Volumetric Capture）を作成する技術です。

デモでは[エアバッグの展開の様子](https://www.photron.co.jp/service/hsvcam/shooting-analysis-support/hsvc/)を見ることができました。エアバッグの収納時の畳み方によって展開時の挙動が異なるため、このような解析が行われています。

![imagica.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/264475/906064ee-b554-b445-5d3d-532bbb256240.gif)

この技術では、フレーム間での点群の対応付けにICP（Iterative Closest Point）マッチングを使用しています。これにより、頂点がシーケンス内でどのように移動するかを可視化でき、CAE（Computer-Aided Engineering）シミュレーションとの比較が可能です。これにより、シミュレーションモデルを現実により近づけるための検証が可能になります。

さらに、データ圧縮にも取り組んでおり、時系列データの膨大なローデータから、フレーム間の頂点の移動情報を基に不要なデータを間引くことが可能です。このアプローチにより、効率的なデータ処理が実現しています。