情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-462024/2/28

ぬけがらメトリ：半透明膜を用いたフォトグラメトリにより物体の表面を現実と異なるかたちで抽出・造形する手法
森田茉莉†1†

岩井大輔†2

橋田朋子†1

概要：3D スキャンでは一般的に現実の形状を正確に再現することが求められるが，芸術領域では通常失敗とされる現象を意図的に引き起こし，物体の形が変形したスキャンデータを活用する試みもある．筆者らは二つの物体の合成・融合による新たな変形に着目し，フォトグラメトリ手法による 3D スキャンにおいて，スキャン時に物体に半透明膜を被せると，物体の表面が外側の膜に貼りついたような変形したスキャンデータが生成されることに気が付いた．さらに生成されたデータから立体物を造形し，これらのデータや造形物を“ぬけがら“に見立て，この一連の抽出・造形手法を「ぬけがらメトリ」として提案する．

1. はじめに（図 2），一連の抽出・造形手法を「ぬけがらメトリ」と名付けた．

3D スキャンは，現実の物体をデジタル空間上に写し取る

本稿ではぬけがらメトリの提案・実装，アプリケーショ技術であり，デジタルアーカイブの作成，リバースエンジン制作について述べる．そして展示とワークショップを通ニアリング，寸法の測定，映像作品等への 3D モデルの利じて，“ぬけがららしさ”やモノの“そのものらしさ”につ用などさまざまな分野で活用されている．こうした用途でいて考察する．

は，現実の形状を精密かつ正確にデジタルデータとして再現することが一般的である．一方，3D スキャン技術のより多様な活用可能性を探る試みもアート等の領域で増えつつある．特に本研究では，実世界の物体をスキャンする際に，現実の正確な複製という一般的な目的からは失敗やエラーとみなされるような現象を意図的に引き起こし，物体そのものの形をベースにしつつも現実には存在しないような形状のデータを生成する試みに注目している[1][2][3]．また，現実の物体を想起させるが現実とは異なる姿をした物体が鑑賞者に違和感や新鮮さをもたらす例は他の彫刻などのアナログな芸術作品でも見られる[4][5]．これらは物体の一部

図 1ぬけがらメトリ（上段：スキャンデータ，下段：実体化）の要素を変化させることで，物の「そのものらしさ」がどこにあるのかを問いかける作品になっている．
筆者らは 3D スキャン技術を用いながら，物体そのものの形から生じる変形ではなく，より現実とは異なる変形を生み出したいと考えた．そのための予備的な検討として，フォトグラメトリ手法による 3D スキャンにおいて，透明度の高い物質は正しいスキャンデータの取得が困難であることに着目し，物体にポリ袋などの半透明膜を被せてフォ

図 2

内部が空洞である様子

トグラメトリすると，中身の物体の表面が外側の膜に貼りついたようなスキャンデータが出力されることに気が付いた（図１上段）．これは二つの物体の合成・融合による新た2. 関連事例な変形と言える．さらに生成されたデータから立体物を造物体の属性の一部を通常とは異なる形に変化させ，物体形し，現実とはズレた姿の物体の実体化を試みた（図 1 下に非現実感を与える事例として，まず彫刻などの芸術分野段）．このようなスキャンデータの中身が失われて表面だけでの試みを挙げる．雨宮の作品[4]では，りんごを溶けたよが残されたような様は“ぬけがら”に見立てられると考えうな形状に変化させて，物体の“らしさ”の境界を模索し†1 早稲田大学†2 大阪大学© 2024 Information Processing Society of Japan383

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-46
2024/2/28ている．また長田奈緒の作品[5]では，物体の色情報を実際状のデータと呼ぶ．ぬけがらとは，大辞泉によると「1 昆とは異なる素材の表面に転写することで，見慣れたはずの虫や甲殻類などが脱皮した古い体皮．2 中身のなくなった光景に違和感を生じさせている．これらは手作業で制作さあとのもの．また，人がうつろな状態であること．」とあるれる彫刻作品であるため，個別の造形やそれに伴う作家の[6]．本研究における“ぬけがら”は主に 2 の用法に近いが技術を必要とするが，本研究は半透明膜を被せる手法を用両者の要素を含む．またこの“ぬけがら”の特徴を持ったいれば対象物体や制作者を問わず作成可能な点で異なる．

データを，ごく薄い材質を用いて，内側が空洞になるよう次に，3D スキャン技術を活用しつつ，現実とはズレた姿に設計して実体化する（図 1 下段）．これにより，外形はごのデータを生成する試みを挙げる．Dream Life of Driverless

く薄い層で構成され，内部は空洞で，本来の物体とは異なCars [1]や acceleration[2]は，スキャン時の自己位置推定にる見た目をしているが，残った色と形の情報から本来の物加速度センサを用いることを利用して，伸びや歪みのある体を想起できるようなモノを具現化することができ，よりスキャンデータを作成している．また，mirror[3]では，風景“ぬけがら”の特性を強調して表現できると考えた．に鏡を置いて鏡像ごとスキャンすることで，実世界と鏡の以上を踏まえ，半透明の薄いシートをスキャンする物体世界が入り混じった 3D モデルを作成している．これらのに被せてフォトグラメトリを行うぬけがら形状のデータ生事例は，スキャン対象の一部の伸縮や，時間変化の差分や成と，生成したデータの色情報を適した素材に印刷し実体鏡像の重ね合わせなど，もとの物体の形状をベースとして化する実体化の二つのプロセスで構成される“ぬけがら”

現実とは異なる形状のスキャンデータを生成しているが，の作成手法，ぬけがらメトリを提案する．

本研究では物体そのものの形から生じる変形ではなく，他の物体との合成・融合によってデータを生み出している．

3.2 ぬけがら形状データの生成

また，これらの事例はデジタル空間上での表現であるが，ぬけがら形状データの生成では，半透明膜の材質や被せ

本研究はデジタルデータの生成後に実体化を行う点でも異方によって，データの形状と色情報の残り方が変化する．

なる．

本節では予備的な検討により発見した，半透明膜を被せた状態で行うフォトグラメトリの特性をまとめた上で，ぬけ3. ぬけがらメトリ
3.1 ぬけがらメトリの提案と原理がら形状のデータ生成の指針を示す．
3.2.1 半透明膜を被せた状態のフォトグラメトリの特性
半透明膜の透過度，物体と半透明膜の距離，半透明膜のぬけがらメトリは，フォトグラメトリによる 3D スキャ

テクスチャ，半透明膜の密着度，半透明膜の端と床面の距ンにおいて，物体に半透明膜を被せることで，物体表面の離の 5 つの要因に関して複数の水準を設けた時の結果を以情報を現実とは異なるかたちで抽出し，得られたスキャン下にまとめる．図 3 に目視での見え方を示し，図 4 にそれデータを再び実体化する試みである．

らを 3D スキャンした際のデータを示す．なお図 4 のデー

まず，フォトグラメトリとは，様々な角度から被写体をタは，モデル生成時に含まれていた余計な周辺環境のモデ撮影し，その画像を解析・合成して 3D モデルを作成する

ルを削除している．

手法である．フォトグラメトリでは，複数の写真の特徴点(1) 半透明膜の透過度を紐づけることでモデルを生成する．しかし透明物体はカ透過度が高いと膜が認識されず物体単体のスキャンデータメラ位置によって見え方が変化するため特徴点を得るのがとなり，低いと色情報の白味が強くなる．

難しく，正しい計測が困難である．半透明な材質で物体を(2) 物体と半透明膜の距離覆うと内部で散乱が生じ，内側の物体は材質との距離や散物体と半透明膜の距離が近いと中の物体の色情報がはっき乱の指向性に応じて，視点を変えるごとに視認性が変化すりと写し取られ，距離が離れるとぼやける．

る．目視では内部の物体表面の色情報（模様や皺）と膜上(3) 半透明膜のテクスチャの色情報がそれぞれ別個に見えている．これをフォトグラ

材質にしわが有るとスキャンデータの色情報の位置がズレメトリによってスキャンすると，まず，形状は膜の皺などるなどの揺らぎが生じ，しわが無いと均一にぼやけたようの視覚特徴によって膜の形状として出力され，色情報は膜に見える．

上の散乱により，物体表面のものではなく膜上のものとし(4) 半透明膜の密着度て認識され，復元結果では膜に内部の模様が貼りついたよ密着度が高いと中の物体の輪郭が強く反映され，低いと反うに見えるのではないかと考える．

映されにくくなる．

フォトグラメトリの際に物体に半透明な覆いを被せるこ(5) 半透明膜の端と床面の距離とで生成されたデータは，中の物体の表面が膜に貼りつい覆いと床面に距離があると，側面が補間され，中の物体のたような形状をしている（図 1 上段）．我々はこの中身が失情報が消失したように見える．

われて表面だけが残されたような状態のデータをぬけがら© 2024 Information Processing Society of Japan384

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-46
2024/2/28

半透明膜の透過度については，図 3 と図 4 より，高い場合は膜が認識されずに内部の物体の輪郭がそのままスキャンされ，低い場合は白味が強く内部の物体が判別できない．
そのため指針 1 と 2 を満たすには，透過度は中程度であることが望ましい．物体と半透明膜の距離については平面同士の場合の見え方を図 3 と図 4 に示したが，実際は物体の形状に応じて，一つの物体の中でも部位ごとに膜との距離に差が生じる．そのため物体の特徴的な色情報がある部分は膜との距離を小さくすると，指針 2 における色情報による物体の判別が容易になる．半透明膜の材質については，しわのある素材を用いると，特徴点が増えて指針１を満たしやすくなり，表面が凸凹になることで物体の色情報にズレが生じやすくなる（指針 2）．半透明の密着度は指針 3 に関係し，図 3 と図 4 より，半透明膜の密着度が高い時よりも密着度が中程度や低い時の方が内部の物体の輪郭が弱まりより“ぬけがららしく見える．半透明膜の端と床面の距離は，接地していない部分を作ることで，側面に内部の物体の情報が出ず，膜に貼りついた印象が強くなる（指針 4）．
これは側面の補間部分を削除して整形することでさらに強
図 3各条件のスキャン物体の目視での見え方調される．（図 5）以上の項目を考慮し，対象物体に応じて各項目を調整しながらスキャンを行う．

図 5

整形前のデータ（左）と整形後のデータ（右）3.3 ぬけがら形状データの実体化
ぬけがら形状データの実体化にあたってはまず，設計指針を述べた上で，適した素材の検討結果をまとめる．
3.3.1 設計指針
ぬけがら形状のスキャンデータを実体化する際の設計指針は以下の通りである．
1.

3D モデルの形と色の情報を再現している

2.

形は薄い層で作られていて，内部が空洞である

3.
図 4

各条件のスキャンデータ

3.2.2 設計指針
ぬけがら形状のスキャンデータを生成するための設計指針を下記に挙げる．

軽やかで繊細な印象がある
スキャンデータの形状や色の特徴が再現されていることや，内部が空になっていることはデータが持つ“ぬけがら”らしさの表現に関わる．また，セミやヘビの抜け殻から連想されるような，軽くて壊れやすいといった印象も重1.

膜に内部物体の模様が貼りついたように見える要だと考えられる．土や木などを用いた彫刻的な造形や，

2.

色情報に内部の物体が判別できる程度の変化がある

3D プリントによる造形では，形と色の再現や内部の空洞化

3.

物体の輪郭がわずかに残っているは技術的には可能だが，軽さや繊細さを表現するのは困難

4.

膜の端の一部が接地していないである．そのため布やフィルムなどのごく薄いものを素材© 2024 Information Processing Society of Japan385

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-46
2024/2/28として用いる．素材表面に印刷をして色情報を再現し，布スチャが細分化された状態で出力されるが，造形の際にはの形状を立体的に造形して，その形が保てるようにする．

図 8 右下のように全体がひとかたまりの状態になるのが望3.3.2 素材の検討

ましいため，分散しているパーツを繋ぎ合わせた．手順と以上の指針を踏まえて，実体化に用いる素材の検討をししては，まずスキャンデータのメッシュを再構成し（図 8た．検討する事項は素材の透過度である．素材の透過度は，右上），その後に UV 展開を行い，ひとかたまりになった状

物体の実在感の知覚と，内部が空である知覚に関係すると態の UV マップを作成する（図 8 右上）．その後 Maya の考えられる．透過度の異なる素材として，OPP 袋，ジョーTransfer Maps ツールを用いて，元のモデルの UV マップかゼット 75D，サテンの 3 種を用いた実体化ぬけがらを図 6

ら再構成したモデルの UV マップにテクスチャ情報を転送に示す．OPP 袋は透過度が高く中が空だと認識できるが，すると，一続きのテクスチャ画像を得られる．ここから周印刷された色情報が背面と重なってしまい実在感が弱い．

囲の不要な色情報を削除して整形すると図 8 右下のようなサテンはほぼ透過せず色情報をはっきりと視認できるが，画像データが得られる．

内部が空であると認識しづらい．ジョーゼット 75D はわず

次に，作成したテクスチャ画像を素材に印刷する（図 9

かに透過するため内部が空であると認識でき，色情報も視左）．印刷する素材は 75 デニールのジョーゼット布であり，認できるため，この素材が適当である．

印刷には UV プリンタ（Roland, LEF-12i）を用いた．
最後に，印刷した布をスキャンデータと同様の形状に成形する．成形のプロセスを図 10 に示す．成形の手法は複数考えられるが，主に布に硬化剤を塗布し，型（図 9 右）に沿わせて形を整え，乾燥させることで固める手法をとった．
型はスキャンデータを 3D プリントして制作した．また，

図 6 印刷素材による見え方の違い

硬化剤には Mod podge stiffy（PLAID）を用いた．

4. 実装
4.1 ぬけがら形状データの生成
スキャンデータの作成プロセスを図 7 に示す．ぬけがら形状のスキャンデータを作成するため，スキャン環境としては，木目調の机に正方形の白い土台を置き，その上に被写体を設置し，半透明膜を被せた．スキャンソフトにはPolyCam を使用し，半透明膜には半透明のポリエチレン袋（DAISO）を使用した．スキャンの方法は，撮影者が被写体の周囲を回り，水平方向には約 10 度ずつ角度を変え，垂図 8 編集前の UV マップ（左上）とテクスチャ（左下）直方向の角度は 3 段階変えて，合計で 100 枚程度撮影した．

および編集後の UV マップ（右上）とテクスチャ（右下）

スキャン後には，図 5 に示したように，床面を削除し，側面の補間部分がある場合はそれを削除してデータの整形を行った．

図9
図 7

UV プリント後の布（左）と整形用の型（右）スキャンデータ作成プロセス

4.2 ぬけがら形状データの実体化
スキャン過程で得られたぬけがら形状データの実体化はテクスチャ画像の生成，印刷，成形という手順で行った．

図 10

造形プロセス

まず，テクスチャ画像を生成する．編集には 3DCG ソフ
トの Maya を用いた．3D モデルの色情報は，表面に画像（テクスチャ）を張り付けることで表現されている．PolyCamで生成されたスキャンデータでは，図 8 左下のようにテク© 2024 Information Processing Society of Japan

5. アプリケーション
提案した手法を用いて 3 種類の物体のぬけがら化を行っ386

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

た．以下に各作品の制作手法や狙いについて述べる．
まず，『アイスのぬけがら』を図 11 に示す．ぬけがらにはある時点での物体の姿を留めるような性質があると考え，本来時間が経つと溶けて消えてしまうはずのアイスの一瞬の姿を切り取ることが，コンテンツとして適していると考えた．データ作成の際には，図 3（4）の材質の密着度を中程度にし，アイスの角張ったシルエットがやや残るようにした．また図 3（5）膜の端は床面に接地させたためデータの段階では中が空であるとはっきり視認できないが，実体化の際に全体を浮かせることで代替した．またアイス本体の部分だけをスキャンし，棒は実物を用いた．
次に『何かを押す手のぬけがら』を図 12 に示す．中身のないぬけがらには，幽霊や亡霊や残像のような印象が生じると考え，本来その場に残らないはずの動作が適していると考えた．データ作成の際には，図 3（4）の膜の密着度は低くし，手指のシルエットを分からなくした．また図 3（5）の膜の端と床面との距離は離し，データの整形時に腕の部分に空洞ができるようにした．
最後に，『たい焼きのぬけがら』を図 13 に示す．ぬけがらの魂が抜けたような印象を，生きている状態と死んでいる状態を行き来するような表現が適していると考えた． データ作成の際には，図 3（4）の膜の密着度を中程度にし，たい焼きのシルエットは残らないが，模様が判別できるようにした．また図 3（5）の膜の端と床面との距離は離し，データの整形時に両端に空洞が出来るようにした．なお実

1B-46
2024/2/28

6. 展示とワークショップ
6.1 展示提案システムを，2023 年 8 月 30 日より 11 月 19 日まで
SusHi Tech Tokyo にて行われた，わたしのからだは心になる展？内の特別展示であるバグのとなりで展にて展示した[8]．展示の様子を図 14 に示す．展示はぬけがら生成の一連の工程と，ぬけがら状のスキャンデータ，実体化したぬけがら作品群の 3 要素から構成されている．また，各実体化ぬけがら作品群の展示には，木箱や標本針など，標本や博物館を連想させるようなモチーフを使用した．これらは生物の抜け殻の展示方法から着想を得ている．
会期を通して様々な鑑賞者が訪れた．初めは実体化ぬけがらを見て驚きを見せ，その後に一連の工程やモニターに映るスキャンデータ，キャプションを読んで再び実体化ぬけがらを鑑賞する様子や，下から覗き込んで内部が空出ることを確認するような様子が多く見られた．
実体化ぬけがら作品群がぬけがらのように見えるかを鑑賞者に尋ねたところ，様々なフィードバックを得られた．
『アイスのぬけがら』『何かを押す手のぬけがら』に対して，初めは中身があると思いながら鑑賞するためぬけがらのようには見えないが，中身が無いと気付いてぬけがららしさを感じるようになるというような意見を得られた．また『たい焼きのぬけがら』に対して，空気で浮いている時は生きている印象が強いが，停止してしぼんだ時にぬけがららしさを感じるというような意見を得られた．

体化の際は，硬化させるのではなく，装置を用いて空気で浮かせる成形手法を用いた．システムはブロワファン（SanAce, 109BM12MC2-1），開口部，テグス 0.4 号，ぬけがらの布で構成されており，ブロワファンが 30 秒間隔で作動・停止を繰り返すことでぬけがらが浮き沈みを繰り返す．これ
により，ぬけがらは送風時には膨らんで生き物のように揺れ動き，停止時にはしぼんで命が消えたように見える．なお，設計は Floath[7]を参考にして行った．

図 14

図 11 アイスのぬけがら展示の様子

6.2 ワークショップ
2023 年 10 月 15 日に SusHi Tech Tokyo にてワークショッ
プを行い，モノの“そのものらしさ”や“ぬけがららしさ”について考察した[9]．
本ワークショップでは本作品の紹介をした後に，ぬけがら形状データ生成体験として，参加者に提案システムと同図 12

何かを押す手のぬけがら様の半透明の膜を用いた 3D スキャンを体験してもらった．
一方ぬけがら形状データの実体化体験は簡易的な方法を用いた．まず粘土を用いて物体を実物のように造形し，その後型に押し付けて平たく伸ばすようにしてぬけがらの制作

図 13

たい焼きのぬけがら© 2024 Information Processing Society of Japan

体験をしてもらった（図 15）．形状が型に沿って変化し，387

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

色情報が引き延ばされることで，提案手法のぬけがらと同様に，色と形が本来の姿とはズレたものになる．
ぬけがらの制作では，まず各参加者にりんごのぬけがらを作成してもらった．そして参加者間同士で「ぎりぎりりんご順」に並べてもらった．その様子を図 16 に示す．形が変化しても，色情報の手がかりがあればりんごと判別可能だというフィードバックがあった．
次に，同様の手順で参加者に任意の物体のぬけがらを制作してもらい，その後にワークシートを記入してもらった．
ワークシート回答者は 9 歳以下から 40 代までの男女 12 名である．項目は「①作ったものの名前」「②なぜその題材を選びましたか？」「③作ったものはぬけがらに見えましたか？」「④③の理由を教えてください．」「⑤作ったものに元の題材らしさは残っていますか？」「⑥⑤の理由を教えてください」「⑦気づき，感想などがあれば教えてください」となっている．③と⑤は 5 段階評価で，1 が「全く思わない」，5 が「とてもそう思う」とし回答してもらった．
ワークシートの結果について述べる．質問③の平均値は2.92，標準誤差は 0.38 であり，質問④には「ペラペラなところにぬけがらっぽさがありつつも，裏にも情報が残ったことで実物っぽさもあると感じた」「ウェットティッシュのぬけがらは普通に中身の無くなったビニールのガワだと思う」などの意見があった．質問⑤の平均値は 4.3，標準誤差は 0.26 であり，質問⑥には「情報がちゃんと表裏に残っている」「配色が与える印象が大きい」などの意見があった．
また質問⑦の感想として「ぬけがらは不透明度が大きいとそれらしくない」などがあった．

1B-46
2024/2/28

7. まとめと議論
本稿では，フォトグラメトリによる 3D スキャンを用いて，物体に半透明膜を被せることで物体表面の情報を現実とは異なるかたちで抽出し，またそれを再び実体化する手法であるぬけがらメトリを提案した．また提案手法を用いた作品例の展示とワークショップを通じて，物体の“ぬけがららしさ”と“そのものらしさ”について考察した．
議論としては，半透明膜を用いてフォトグラメトリを行った際に，中の物体の表面が膜に貼りついた形状が出力される原理の解明が挙げられる．今回用いたソフトウェアでは，合成処理のアルゴリズムが非公開であるため，詳細な検証のためには自前でプログラムを組む必要がある．また，今回制作したぬけがらの“ぬけがららしさ”はどの様な要素によって生じるのかという議論がある．実世界にあるセミの抜け殻は，形状の情報のみで元のセミの存在を想起させる．一方で今回制作した作品は，形状による手がかりは少なく，むしろ色に元の物体の情報が残りやすい．つまり現実に存在するぬけがらの要素とは一致しないが，ぬけがらを連想させるような独特の存在感や空虚さを持っている．
また，元から内側と外側の区別があるような物体（パッケージに包まれた商品など）よりも，それらの区別が無い物
体をぬけがらにするとより“ぬけがららしい”と感じる傾向が出ている．これは本来ぬけがらになり得ない物体を変化させるのが効果的であると言え，ここで生じる“ぬけがららしさ”の感覚は提案手法固有のものであることが考えられる．今後さらなる制作を通じ，“そのものらしさ”と“ぬけがららしさ”についてさらなる探究を行っていきたい．

以上のことから，“ぬけがららしさ”を感じるかは，題材の選び方や，潰した際の情報の残り方，素材の選択に左右されると考えらえる．また，ぬけがら化して形や色が本来のかたちから変化した状態でも，物体を判別するのに特徴的な色や形状の情報が残っていれば，“そのものらしさ”が保たれると考えられる．

図 15

粘土の造形物（左）と型を用いる様子（中央）と型による変形後の様子（右）参考文献[1]“Dream Life of Driverless Cars”. https://scanlabprojects.co.uk/work/dreamlife-of-driverless-cars/ , (参照 2023-12-14).
[2]“acceleration”. https://mtodo.myportfolio.com/acceleration, (参照2023-12-14).
[3]“mirror”. https://mtodo.myportfolio.com/cubism, (参照 2023-12-14).
[4]“apple”. https://amemiyan.com/works_2012ObjectRotterdam.html,(参照 2023-12-14).
[5]“長田奈緒「大したことではない（なにか）」”. https://www.maki
finearts.com/jp/exhibitions/osada2020.html, (参照 2023-12-14).
[6]小学館大辞泉編集部. 大辞泉第二版. 小学館, 2012,下巻 2780p.
[7]小林佑輔, 橋田朋子, Floath システムを用いた体や服の周りに浮遊する動的なエフェクトとテクスチャの提案. インタラクシ
ョン 2023 論文集. 2023, p. 880-884.
[8]“わたしのからだは心になる？展”. https://sushitech-real.metro.to
kyo.lg.jp/first/, (参照 2023-12-18).
[9]“ワークショップ アーカイブ｜～3D スキャンのバグでぬけがらを作ろう！どこまで変わってもりんごはりんご？～”.
https://www.youtube.com/watch?v=Uz5f1c-qdJw, (参照 2023-1214).

図 16「ぎりぎりりんご順」に並べた様子（動画よりキャプチャ[9]）© 2024 Information Processing Society of Japan388