WISS 2022

舞い落ちる木の葉に着目した手に取りたくなる落下型ディスプレイ
甲斐 一希 ∗ 佐藤 俊樹 †概要. 我々は山や森を歩いているときに，ふと舞い落ちてくる木の葉を目にすることがある．このとき，目に入った木の葉が近づいてくると，我々は自然と手を伸ばし掴んでしまうことがあるのではないだろう
か．また，ゆっくり落ちてくる雪や桜の花びらに手を伸ばした経験もあるだろう．このような受け取る動作を誘発することのできる舞い落ちてくるものは，無意識な情報の受け取りを誘導するディスプレイとして活用できるのではないかと考えた．本研究ではダイナミックプロジェクションマッピングをすることにより，木の葉をモチーフにした回転しながら落下する空中ディスプレイを提案する．特に本研究では，ストロボ光を投影することでディスプレイの見かけの回転速度を変化させるプロジェクションマッピングを行う．
光の点滅はディスプレイの回転速度を同じ周波数，小さい周波数，大きい周波数で投影する．ディスプレイの回転速度はカメラで撮影した画像を元に算出する．

1

はじめに我々は山や森を歩いているときに，ふと舞い落ちてくる木の葉を目にすることがある．このとき，目に入った木の葉が近づいてくると，我々は自然と手を伸ばし掴んでしまうことがあるのではないだろうか．また，ゆっくり落ちてくる雪や桜の花びらに手を伸ばした経験もあるだろう．このような舞い落ちてきたものを掴んでしまう行為は，次のようないくつかの興味深い動作で成り立っていると考える．まず，視界の隅に動くものが映ると，ヒトは勝手に意識を向けてしまう．これは，視界の中心よりも視界の周辺のほうが，動くものを知覚する能力が高いという，ヒトの視覚特性 [1] が関係している．そしてヒトは，捕まえられそうな速度で動いているものを追いかけてつかみたくなる．これは人間の本能の中の狩猟本能に関連した習性であると考えられている[2][3]．このような「目の前に落下してきた物体」をふとつかんでしまう体験を様々な技術を用いて再現することで，落下する実物体を用いてユーザに直接的に情報を提示 (受け渡す) することが可能な新しいディスプレイ体験が実現できるのではないかと考えた．そこで本研究では，動的なプロジェクションマッピング技術を用いて，そこを通り過ぎるユーザに対して木の葉のような「回転しながらゆっくり落下」する実物体を提示する空中映像ディスプレイを提案する．
舞い落ちる木の葉で受け取る動作を誘発している先行事例として，アート作品のまばたきの葉 [4] がある．この作品は，木の葉に見立てた紙片を，樹木
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗北陸先端科学技術大学院大学†
北陸先端科学技術大学院大学の幹に見立てた円筒に差し込むと，円筒の内部に設置した送風機によって上部からその紙片が吹き上げられる仕組みになっている．舞い落ちる葉を追いかけ，落ちている葉を拾い集め，幹に差し込むというインタラクティブな要素がある．特に本研究では，木の葉に対してリアルタイムの物体追跡・投影技術を用いた様々な映像投影を行い，ふと手で捕まえたくなるような視覚的な要素を増強する工夫を試みた
いと考えている．

2

目的

本研究の目的は，回転しながら落下する空中ディスプレイにリアルタイムにプロジェクションを行うことで，そこを通るユーザの「受け取り」動作を誘発し，より印象に残る情報の受け渡しが可能な実物体ディスプレイを実現することである．
能動的な受け取り動作を促し，印象的に情報を受け取らせるためには，いくつか気を付けるべきことがある．まず１つ目は，落下物が魅力的なものであると直感的に感じさせる必要がある点である．例えば，落ちてきたものが虫やゴミなどの不快な物体や重そうなものや尖っているものだと捉えられてしまった
場合，ユーザは受け取るどころかそれを避けてしまうだろう．また，提示しても無関心な反応をされてしまう場合もある．
また２つ目は，落下速度である．木の葉のようにゆっくりくるくる，もしくはひらひらと落ちてこな
いと落下に気づいた後，そこに興味を持つまでの猶予が生じないし地面や床に到達までに掴んでもらえない可能性がある．
最後に３つ目は，落下する物体そのものの回転 (自転) およびその回転方向である．回転の種類として，縦軸回転と横軸回転，そして回転せずひらひらと落ちるという 3 種類が考えられるが，本研究では，ディWISS 2022

スプレイがユーザに向かって落下してくる状況が最適な状況だと考え，そのためには横軸回転かつ逆回転 (バックスピン) する必要があると考える．
以上を考慮し，本研究ではストロボ効果のような高速に点滅する映像を投影することで，落下物の見かけの回転速度を変化させる投影技術の提案を試みる．光の点滅はディスプレイの回転速度を同じ周波数，小さい周波数，大きい周波数で投影する．同じ周波数のときはディスプレイがまるで回転していないかのように見える．小さい周波数では実際より回転速度が遅く，大きい周波数では速く見える．ディ
スプレイの回転速度はカメラで撮影した画像を元に算出する．
図 1. ハードウェア構成

3

関連研究

これまでにも，自然な情報の受け取りを目指した研究が行われている．先行事例として，情報を降らせて受け取らせる手のひらインタフェース [5] がある．この研究ではあらかじめ床面に映像が投影されており，その領域内で手のひらを天井に向けることで手のひらへの映像の表示を可能にしている．しかし手のひらにのみ投影可能なため，空中に情報を表示することはできない．またこの際，別途，手を差し出すように指示をする必要がある．
また，落下物にダイナミックプロジェクションマッ
ピングを行っている研究として，MirAIProjectionなどがある．[6][7][8] この研究におけるディスプレイは滞空時間の少ないものであり，予測モデルによる誤差の修正が必要である．

4プロトタイピング

ここで，実装を行ったプロトタイプについて述べる．ハードウェア構成は図 1 に示した通りである．
本デバイスは，紙素材の木の葉型ディスプレイ (縦8cm，横 3.5cm) と，そのディスプレイを落下させる紙送り機構，プロジェクタ (ViewSonic PX7014K)，カメラ，ビームスプリッタで構成される同軸プロカムユニットからなる．木の葉型ディスプレイには輪郭に再帰性反射材を貼り．赤外線 LED を用いて，カメラでのディスプレイの検知を可能にしている．
紙送り機構にはステッピングモータを用いたローラーを採用しており，一度に何枚も送り出されてしまわないようにするため，底辺部には摩擦力を高めるゴム素材の分離パッドを設置している．

5アプリケーション

次に，本提案システムの特徴を活かすアプリケー
ション案について述べる．
まず，歩行者を検知してディスプレイを落下させるシステムがある．このシステムでは，歩行者の歩行速度を急激に減少させてしまうなどの妨げなく自然にディスプレイを受け取ってもらう．落下開始のタイミングが重要となり，伸ばした手の中に偶然入ってきたと感じるように，歩行者に対してちょうど手の位置に来るように落とす必要がある．いきなり落ちてくるとびっくりして反射的に避けてしまうか，思わず無意識につかんでしまう可能性がある．逆に，落とし始めるタイミングが遅すぎても，そもそも気づかないで通り過ぎてしまう可能性が高い．
次に，回転しながら落下するディスプレイの特徴を利用した，ディスプレイの見かけの回転速度を変化させるアプリケーションが考えられる．このアプ
リでは，ストロボ光をディスプレイの回転速度を同じ周波数，小さい周波数，大きい周波数で投影する．
同じ周波数のときはディスプレイがまるで回転していないかのように見える．小さい周波数では実際より回転速度が遅く，大きい周波数では速く見える．
ディスプレイの回転速度はカメラで撮影した画像を元に算出する．

6

今後の展望

本研究では，回転しながら落下するディスプレイを提案した．
今後はプロトタイプの実装をさらに進め，ディスプレイに対するダイナミックプロジェクションマッピ
ングの精度について実験を行い，評価したい．この精度については，カメラで撮影したディスプレイの面積の何割をプロジェクションマッピングで投影できているかで判断し，OpenCV の Houghtransformation関数を用いることで計算しようと考えている．
また，ディスプレイの回転速度をカメラで撮影した画像を元に算出し，その速度に合わせた周波数のストロボ光を投影することでまるで回転していないかのような演出も実現したい．

舞い落ちる木の葉に着目した手に取りたくなる落下型ディスプレイ

参考文献[1] Hartmann, E., Lanchenmayr, B., Brettel, H.
1979: The eripheral critical ﬂicker frequency, Vision Research, 19(9), 1019/1023.
[2] James, W. The Principles of Psychology Vol. 2
Dover Publications, Inc. 1950.
[3] Hilgard, E. R. and Bower, G. H. 1975 Theories oflearning. 4th ed. Prentice-Hall, Inc.
[4] ま ば た き の 葉( 鈴 木 康 弘)
http://www.mabataki.com/works/blinkingleaves/[5] 石井陽子・小林稔・中茂睦裕・小池英樹（2008）「手のひらインタフェース: 画像処理を用いた公共空間におけるパーソナルな情報提示システム」, 情報処理学会論文誌 2008，49（7）,pp.2528-2538[6] Kosuke Maeda and Hideki Koike. 2020. MirAIProjection: Real-time Projection onto Highspeed Objects by Predicting Their 3D Position
and Pose using DNNs. In Proceedings of the International Conference on Advanced Visual Interfaces (AVI ’20). Association for Computing Machinery, New York, NY, USA, Article 59, 1–5.
[7] J. Knibbe, H. Benko, and A. D. Wilson. Juggling the Eﬀects of Latency: Motion Prediction
Approaches to Reducing Latency in Dynamic
Projector-Camera Systems. UIST 15 Adjunct,
pp. 93–94, 2015.
[8] Y. Mikawa, T. Sueishi, Y. Watanabe and M.
Ishikawa, ”Dynamic Projection Mapping for
Robust Sphere Posture Tracking Using Uniform/Biased Circumferential Markers,” in IEEE
Transactions on Visualization and Computer
Graphics, vol. 28, no. 12, pp. 4016-4031, 1 Dec.
2022.