自由部門 登録番号：20002
対象者：“わびさび”が秘める美を体感したいあなたへ2

わびさびを感じる世界
16世紀中ごろに日本に伝来し、私たちの祖先が発展させてきた“わびさび”
一方で、現代を生きる私たちは日々を生き急ぎ“わびさび”を感じる場面も少なくなりました。
私たちは“わびさび”を“閑寂な環境や時の流れの中で変化していく物を、多彩な美と捉え楽しむ心”であると考えました。
私たちの祖先は、 “わび”を表現するために素朴でなじみ深い“砂”を枯山水に用いてきました。
砂場など、今も私たちの生活の近くにある“砂”は“わび”を身近に感じられるものの一つでしょう。
“さび”は時間の流れの中でゆったりと形成されていくものです。
あたりまえですが、私たちが時間の流れを変えることはできません。
しかし、デジタルの世界なら、植物が芽吹きやがて枯れゆく姿のような、長い時を経て少しずつ風化していく風景も、時間を操作して気ままに“さび”を感じることができます。
そんな「砂と時が創り出す“わびさび”が秘めた美」をデジタルで感じてみませんか？

私たちは、時を操れるデジタルな世界で現代人が忘れかけている“ わびさび ”の美を体験できるシステムを提案します。

3とはわんもあでは「あの頃の童心をもう一度」「過ぎたあの時をもう一度」 「もう一つの鏡の世界」「わびさびの感性をもっと身近に」をテーマとし、“わびさび”を体感することができます。

砂

砂の魅力を感じる

時

時を自由に操作する

砂遊びは創造性などを発達させるために効果的だと考えられています[1]。 一方で、砂には枯山水のような大人な魅力もあります。
わんもあでは砂の両方の魅力を楽しめます。

現実では変わることのない、時の流れを操作して遊ぶという新たな体験を通して、時が生み出す様々な変化やその美しさに気づくことができます。
わんもあでは美しい時を何度も体験できます。

鏡和「鏡の世界」を楽しむ

わんもあに存在する「鏡の世界」は、現実の世界に影響を受け、変化します。ただの物体が植物に変化し、現実とは異なる時が流れる不思議な「鏡の世界」を体験できます。

和の心と向き合う“わびさび”は日常の中で感じることが少なくなりました。 わんもあでは“わびさび”を体感できるだけでなく、身近な“和”の情景を見つめなおすきっかけを作ることもできます。

[1]新美 諒,加納 誠司.生活科における砂や土を使った遊びの教育的な価値に関する研究
https://aue.repo.nii.ac.jp/?action=repository_uri&item_id=7692&file_id=15&file_no=1

4

システム概要本システムは砂を操作することで“わびさび”を体感したり創造性を育んだりできるシステムです。
砂粘土を用いた入力

プロジェクタAzure Kinect

砂粘土は力を加えると固まり、衝撃で簡単に壊れ、粘土よりも流動的です。そのため砂のように高低を作れ、粘土のように立体を造形したり、ペンなどの物体を刺すこともできます。物体はカラーカメラで認識し、砂粘土の形はKinectで取ります。認識したこれらの情報から「鏡の世界」に地形や植物・物体となって反映されます。

マジックミラー

カラーカメラ

砂時計を用いた入力
砂時計型デバイスを任意の方向に傾けることで、砂の移動量に応じて「鏡の世界」の時間を操作できます。

鏡を用いた投影ディスプレイの表示だけでなく、マジックミラーを用いることで作品に奥行きが生まれ、且つ鏡に自分の姿が映るため画面に映る対称な世界をより強調できます。

砂粘土の砂箱ディスプレイ
砂時計型デバイス5

奥に広がる「鏡の世界」
鏡の中には現実と対称な「鏡の世界」が広がっており、入力が「鏡の世界」に反映されます。

砂粘土の変化植物が生まれる

砂粘土の形状から「鏡の世界」の地形や物体が生成されます。

ペンやはさみなど、身の回りの物を砂粘土に刺すと、位置情報や高さ、傾きを認識して「鏡の世界」に花や木などの植物が生まれます。

穴を掘ると海ができる

葉っぱの生成関数生成される花砂粘土を盛ると山ができる取得した情報から凹んだ地形であれば海や川に、盛り上がっているところは山になります。また、砂粘土で造形した立体も動物や建物などの物体になって反映されます。

取得した情報から生成アルゴリズムを用い植物がプロシージャル生成されます。
時が経つにつれ「鏡の世界」では花が枯れ、季節が移り替わるなどの変化が起こります。

6

砂遊びによる入力 ～センシング手法～
砂遊びによって変化する「鏡の世界」を表現するために、以下のようなセンシング手法によって情報を取得します。

砂粘土の起伏刺した物の検出

砂粘土の高低差や、砂粘土で造形した形状を取得します。
Azure Kinectの深度センサを用いて砂箱の深度情報を取得します。

物体の位置情報、傾き、高さを取得します。

深度データ取得↓
三次元点群に変換↓
シミュレーション
砂粘土で作った地形にあわせて山や川が生まれます。また砂粘土で立体の造形を行うと、造形物に合わせた絵がStable Diffusionによって自動で生成され、プロジェクタで投影されます。
砂粘土で造形プロジェクタで投影

物体検出
↓物体認識
↓
傾き推定
砂粘土に刺した身の回りにある物をOpenCVを用いてトラッキングを行います。

7

時間の操作
わび“さび”の時によって変化する美しさをデジタルの力で表現します。
砂時計型デバイスの砂の移動量に対応して、時の流れを自由に操作することができます。
マイコン

砂時計型デバイスは上面と底面にマイコンと加速度センサが埋め込まれており、傾きや動きなどを正確に取得することができます。
砂時計の砂が落ちるのに合わせて画面内の時間の流れが進みます。

加速度センサ

砂時計の上下を入れ替えると、時間を巻き戻すことが可能です。

また、砂時計型デバイスを水平に寝かせると完全に時が止まります。

時間の流れはこのシステムにおいて大切な要素です。植物が芽吹きやがて枯れゆく姿や、川や海の水・天気の変化など、本来ゆっくりと時間をかけて移り変わる物の様子が、落ちていく砂の量に合わせて変化します。
砂が全て落ちた時、「鏡の世界」の時間が止まるのも、新しい“わびさび”の美のひとつです。

好奇心を刺激するゲーム機能
では砂粘土を用いた入力機能や砂時計型デバイスを用いて、「鏡の世界」に現れる障害を取り除き「鏡の世界」の住人をゴールへ導く立体脱出ゲームなどを楽しむことができます。
脱出ゲームでは「鏡の世界」に落とし穴や壊れた橋などがあり、「鏡の世界」の住人が進めなくて困っています。砂粘土に物体を刺し、砂時計型デバイスで時間を進め、花を生やすことで穴を埋めたり、砂時計型デバイスで時間を巻き戻すことで橋を直したりして助けてあげましょう。
また、ゲーム内のマップは砂箱の砂粘土の形状から生成されます。
時を戻すと…

＜橋が壊れていて渡れません…＞＜橋が壊れる前に戻り渡れるようになりました＞

現実では操作することのできない時間という概念を動かしながら遊ぶことができるため、ゲーム機能を通してより柔軟な思考を養うことができます。

89全体処理フロー
砂粘土の形状や物体の位置に応じて「鏡の世界」が変化し、砂時計からの入力で「鏡の世界」の時を操作します。
シミュレーション
砂粘土の形状Azure Kinect

物体の位置

カラーカメラ

砂時計型デバイス

加速度センサプロジェクタ

深度画像

姿勢

形状認識

起伏マップ
絵の生成

オブジェクトの検出・認識

物体の種類や位置情報

姿勢認識

砂時計型デバイスの傾き

ディスプレイ「鏡の世界」

映像出力

10

類似品との相違点
え～でる すなば・テーマに沿った絵を砂の上に描く
・砂の形状に合わせた季節を体感できる映像が砂に投影される

では…

砂粘土を造形したり、砂粘土に物体を刺したりすることにより自由で多彩な表現ができます。

SAND PARTY!
・砂を盛ると山が、掘ると海ができる
・専用デバイスで砂の上に投影された宝を探したり生き物を観察したりできる

デジタル・サンドテーブル
・砂で作った地形を3Dで読み取り、仮想現実映像を合成する
・軍隊などでも使用されている

砂箱への投影だけでなく、マジックミラーとディスプレイで「鏡の世界」を演出します。

砂粘土での入力は「鏡の世界」にも反映され、またその世界の時間を操作することも可能です。

11

課題点
課題点①：立体的な表示

課題点②：トラッキングの精度

ディスプレイだけだと視点が変化しても見カラーカメラだと照明などの影響を受けてえる映像が同じで平面的な表示になってししまうため、赤外線カメラの使用を検討しまうため、マジックミラーをより効果的にています。プロジェクタの光や蛍光灯等の用いることを検討しています。視点が変わ照明は赤外線をあまり発生させないため、れば砂箱の見え方も変化するため、立体感トラッキングの精度を向上させることがでを感じることができると考えています。

きると考えています。

特許調査
本システムは、特許6951005の請求項記載の要件と比較した結果、文言上非侵害であると考えられます。(尚、従属項は狭義的補足であるため列挙しない)
請求項

特許との相違請求項１
請求項２『 ハーフミラー部材の後方に配置され、前方側を照明する第２照明部材』は、『ディスプレイにより表示するシステム』とは文言上非侵害である。

12

開発日程
～５月

ライブラリ

ソフトウェアハードウェア

６月

入力の導入
案出し予選資
料作成

その他

設計

７月

８月

９月
デバッグ/改良

アプリケーション
開発

UI/SE

部品作成
素材調達

１０月

改良
組み立て

デザイン考案

プレゼン資料作成・練習

開発環境

実行環境

OS：WindowsOS：Windows

使用言語：C# / シェーダー言語

ライブラリ：Unity / Azure Kinect SDK / OpenCV /環境：Visual Studio /Unity

YOLOv8 / Stable Diffusion
ハードウェア ：Kinect / カラーカメラ
PCスペック: Intel i7-12900k / NVIDIA RTX3070Ti