情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-412024/2/28

積層式導光プリズムによる疑似空中像型
タンジブルユーザインタフェースの研究
室井克仁†1大島登志一†1

概要：本研究では，水平に置かれたディスプレイの映像をプリズム内部に立体的な疑似的な空中像を表示することができる積層導光プリズムを作成した．このプリズムをカメラの位置・方向を操作することのできるタンジブルユーザインタフェース（TUI）として扱うことで，体験者の見たいアングルからバーチャルな 3D モデルを観察することができる．また，複数人での体験も可能となっており，各体験者が任意の位置にプリズムを置くことでその位置からのアングルの映像がプリズムに表示され，現実世界と同じ鑑賞法を体験することができる．本研究では，積層導光プリズムを用いるコンテンツ例も挙げており，これにより水平に置かれたディスプレイの平面映像と積層式導光プリズムによる空中像を組み合わせたインタラクションが体験できる．

1. はじめに

2. 積層式導光プリズム

直接的にデジタル情報に触れてインタラクションを起

近年の TUI における体験では，透明なオブジェクトをこすタンジブルユーザインタフェース（TUI）はインタラク

TUI のインタフェースとして用いるケースが多い．透明なションの研究のみでなく，インタフェースに投影される映オブジェクトは，オブジェクトの下に表示されているコン像表現の手法も多く提案されている．これらの提案は直感テンツの可視化が可能であることや透明なオブジェクトに的に扱うことのできるインタフェースと豊な映像表現を組

情報を投影することでデジタル情報を直接操作しているよ

み合わせたインタラクションはこの先も重要な検討事項でうに感じさせることができる点に加え，インタラクションある．

によってオブジェクトそのものを光らせたり映像を表示す

そこで筆者らは，TUI オブジェクトによる新たな映像表示手法として，積層式の導光プリズムの提案をした[1]．積るなど，情報の入力装置だけでなく，映像の表示ディスプレイとしても用いることができるからである．

層式の導光プリズムでは，アクリル板の導光板を積層し，しかし，TUI による体験の現状では，透明なオブジェクテーブル上に映像をプリズムの内部に浮いている疑似的なトの内部へインタラクティブな映像を表現することはでき空中像（以下空中像）として提示するものである．ていない[2]．また，Tablescape Plus[3]では，水平面と垂直面

本論文では，積層式導光プリズムの原理と構造についてをつなげて映像提示を行っているものの，プロジェクタの改めて説明し，国内外での学会発表，展示実験でのフィー投影により，一方向からでしか垂直面に映像を投影するこ

ドバックと比較実験の結果を通じてプリズムの構造の改善とができない．その点において，Printed Optics[4]では，光や積層式導光プリズムを用いた二次元平面と三次元立体視

ファイバと同様の性質を持つパイプの中をテーブルトップの双方の映像提示を可能にした体験できるコンテンツを提ディスプレイの映像を導光しているため，オブジェクトの案する．

向きを変えることで様々な方向に映像を提示することが可能である．しかし，光ファイバの構造は，光ファイバの側面に傷をつけた場合を除き，末端でしか導光された光が出射されないため，オブジェクトの内部に映像が表示されているように見えるのは難しい．
さらに，TUI での体験は一人の体験者によるインタラクションの結果を体験者全体が共有するような表示装置となっているケースが多いため個人としての体験は行うことが難しい．
このような問題に対して，積層導光プリズムでは，透明
図 1

積層式導光プリズムなオブジェクトの内部に映像を空中像としてみることができ，簡単に動かすことのできるディスプレイ装置を利用できることを目指す．さらに，積層導光プリズムの位置 ・方†1 立命館大学映像学部© 2024 Information Processing Society of Japan1240

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-41
2024/2/28

向によってプリズム内部の映像が変化し，任意の位置から立体視をすることができるアプリケーションの実現を目指す．これらの実現により，複数のプリズムを用いれば複数人が同時に体験できかつ，ユーザ視点依存の立体視がそれぞれ得られる．また，積層式導光プリズムと平面ディスプレイの映像と組み合わせた二次元平面映像と空中像の双方を取り入れたインタラクティブな映像体験が可能となる．

3. 積層式導光プリズムのデザイン設計
3.1 導光板の事例図 3

積層式導光プリズムの導光

マイクロソフト社の HoloLens シリーズをはじめとする光学シースルー方式のヘッドマウントディスプレイ（HMD）

3.2 積層式導光プリズムの構成には，ディスプレイ部から接眼レンズまで映像を届けるた

積層式導光プリズムは積層したアクリル板が真横から見め に ，導 光 版 が 用 いら れ て い る ． マ イ ク ロ ソ フト 社 のたときに三角柱になるように，長方形のアクリル板を底面

HoloLens シリーズの開発者によるレビュー論文[5]とそれから上面にかけて幅が徐々に小さくなるように積層していを参考に概説している文献[6]によると，導光板への光の入く．積層したアクリル板は側面から押さえつけるようにし射は側面から行っている．しかし，積層式導光プリズムでて固定し，その後，積み重ねた各層の幅の大きさのずれをは，導光板の端面から光を入射しており，導光板を用いた平らにする．最終的に平らにしたアクリル板の端面がディ導光の方法として新しいものとなっている．また，文献 56

スプレイとの接地面となるようにして用いる．には端面から入射しているケースも記載されているが，空隙をなくすためにプリズムを用いているが，積層式導光プリズムはテーブルトップディスプレイと直接するため，プリズムを使わずに端面に光を入射することができる．
このように，導光板の端面から入射した映像光は，水平な角度から起き上がり，積層式導光プリズムの内部へ疑似的な空中像として映像が表示されているように見せることができる．
図 4

積層式導光プリズムの構成図

積層した各アクリル板の同士は接着剤などを用いた接着は行わないこととする．板同士を接着しない理由は，接着することによってアクリル板の持つ全反射の性質を損ねかねないという懸念と，接着剤によって接着材部分の屈折率とアクリルの屈折率の差異によって導光される光の位相のずれが生じるのを防ぐためである．
また，今回は用いるテーブルトップディスプレイの大きさを考慮し，底面のアクリル板の大きさは，幅 30mm，奥行き 60mm の長方形，上面のアクリル板の大きさが，幅 8mm，奥行き 60mm の長方形となるように中央でそろうように積
図 2

文献[5]の Fig. 5 にあるヘッドアップディスプレイ

層する．底面と上面の大きさは用いるテーブルトップディ

用導光板コンバイナの米国の特許文書の図を簡易化し引用

スプレイの大きさなどによって適宜変更していくこととする．
以前に提案した積層型導光プリズム 1 では，厚さ 2mm のアクリル板を用いて，底面から上面にかけて 2mm ずつ幅を小さくしていき，12 枚のアクリル板を積層した．しかし，今回新たに提案する積層式導光プリズムは，積層するアクリル板の厚さ 2mm から 1mm へと薄くし，積層する板の数を増やすことで出力される映像の解像度を上げている．

© 2024 Information Processing Society of Japan1241

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-41
2024/2/28

1mm のアクリルを用いた積層式導光プリズムは，底面から上面にかけて 0.5mm ずつ幅を小さくしていき，計 26 枚のアクリル板を積層した．

図 6
図 5

システム構成図

アクリル板の厚さによる違い
4.1 積層式導光プリズムに映し出す映像の生成プロセス

アクリル板の内部を全反射している光は，外部からの光

積層式導光プリズム用の映像は積層式導光プリズムの置の影響を受けない．そのため出力面の反対側の面は出力さかれている位置の真下に積層式導光プリズムと同じ大きされる映像に影響を与えることはないため，トラッキングにの映像を表示し，その映像を導光することでプリズムのデ必要なマーカなどを設置することが可能である．トラッキィスプレイ面へと出力する．そのため，本システムではテングの方法は様々あるが，今回は，OpenCV ベースの AR マ

ーブルトップディスプレイにテーブルトップディスプレイーカ「ArUco」を積層式導光プリズムの背面に設置し，プリ用の映像と積層式導光プリズムに出力するための映像の二ズムの位置，角度を検知している．

種類の映像を同時に表示する．

3.3 積層式導光プリズムのマテリアル

一つのディスプレイで異なる二つの映像を表示する方

積層式導光プリズムはアクリルを素材として用いてい法として，本システムでは，オフスクリーンレンダリングる．アクリルは透明度が高く，加工しやすいという点で優を用いて積層式導光プリズムに表示する映像をオフスクリれている．さらに，アクリルは光ファイバーと同様に内部ーンバッファでレンダリングを行い，表示用のテクスチャで全反射する性質を持っており，映像の光をアクリル内部として生成し，テーブルトップディスプレイ上の積層式導へ入射させ，全反射を繰り返しながら導光させることがで

光プリズムの置かれている位置・方向に合わせてマッピンきる．全反射を用いることで，入射した光が出力される際グをする．に，逆位相にならないという利点もある．また，アクリルに入射される光は臨界点を除き，すべての角度からに光が入射され，導光されるためエネルギーロスがなく，明るい映像出力が可能である．

4. システム構成
全体のシステム構成を図 6システム構成図に示す．まず初めに，システム上部に設置してあるカメラによってテーブルトップディスプレイの領域を検知する．次に，テーブルトップディスプレイの領域に置かれた積層式導光プリズ
ムの位置・方向を設置してあるマーカをもとにカメラが検知し、積層式導光プリズムに出力する映像を生成する。生成された映像はテーブルトップディスプレイ上の積層式導光プリズムが置かれている位置に映像が表示される．

図 7

テーブルトップディスプレイの表示風景

5. 実装コンテンツ
積層式導光プリズムを用いることで，内部に疑似的な空中像を表示することができる．積層式導光プリズムの映像© 2024 Information Processing Society of Japan1242

情報処理学会 インタラクション 2024
IPSJ Interaction 2024とテーブルトップディスプレイの映像の二つの映像を用い

3B-41
2024/2/28

ウンロードし，活用している．

ることで，二次元平面映像と空中像による情報提示が可能となる．そこで本研究では，積層式導光プリズムを用いる例として三つのコンテンツを実装した．コンテンツでは，積層式導光プリズムをカメラの TUI として操作することで，積層式導光プリズムの位置と方向から見える映像が積層式導光プリズムのディスプレイ面に表示される．
5.1 3D オブジェクトの立体視実装した一つ目のコンテンツは，テーブルトップディスプレイに表示されている 3D オブジェクトを積層式導光

図 9

京都駅周辺の建物を立体視している様子プリズムによってパースペクティブビューの空中像として見ることができるコンテンツである．このコンテンツは，

5.3 日本地図と地形情報

テーブルトップディスプレイの上に置かれている仮想の実装した三つ目のコンテンツは，標準地図と表示されて3D オブジェクトを，透視投影された映像としてプリズムいる地図の土地の形状，起伏を表示するものである．テーを通してみることができる．積層式導光プリズムには，テブルトップディスプレイには標準地図を映し出し，表示さーブルトップ上のバーチャルな 3D オブジェクトを，プリれている平面地図の上にプリズムを置くことで，地図上のズムの置いた位置・方向からみたアングルの映像が表示さ

プリズムの位置と方向から見た土地の形状や起伏などの地れる．プリズムをテーブルトップディスプレイ上の任意の形情報などを，プリズムを通して透視投影できる．テーブ位置 ・角度に置くことで，バーチャルな 3D オブジェクト

ルトップディスプレイとプリズムディスプレイの両方を用が現実空間に存在しているかのように様々な角度から見るいることで，平面地図のみからの情報では読み取ることがことができる．

難しい地形の形状を可視化することができる．また，プリズムの映像はほぼ垂直に見えるため，山の高さを知るなどの相性が良い．なお，本コンテンツで用いた地図，地形情報のモデルは国土地理院[8]からダウンロードし，利用している．

図 8

ユタティーポットとスタンフォードバニーの空中像

5.2 平面図と都市データ実装した二つ目のコンテンツは，都市モデルを真上からみた映像と道路や建物などの都市データの 3D オブジェク
トを表示するコンテンツである．テーブルトップディスプ
レイには実際の寸法，形状をもとに作られた都市データを

図 10

地形の形状を立体視している様子

6. 実験と考察

真上から俯瞰した映像が出力され，プリズムディスプレイ

本項では，積層式導光プリズムに用いたアクリル板の厚には地図アプリを 3D モードで見たときのように，建物さが 1mm と 2mm のもので体験が見やすいと感じる見え方を斜め上からみている様子を出力する．テーブルトップデはどちらなのかの比較実験を行った．また，本研究で提案ィスプレイに表示されている俯瞰したモデルの上にプリズしたコンテンツを用いて，積層式導光プリズムによる空中ムを置くことで，置いた位置，方向から見える道路や建物像とテーブルトップディスプレイによる二次元平面映像のなどの都市データをプリズムディスプレイに表示してい提示によって体験者にどのような効果を与えるのかを調査る．これにより，体験者はその土地がどのような建築物がした．具体的には，3D オブジェクトのパースペクティブビあるのかといった空間構造を，平面図を見ながら確認する

ューのコンテンツでは，透視投影したオブジェクトの実態ことができる．都市データのモデルは国土交通省が主導す感の有無，平面地図と都市データのコンテンツでは空間的る日本全国の 3D 都市モデルの設備・オープンデータ化プ

構造の把握のしやすさ，日本地図と地形情報のコンテンツロジェクトである「PLATEAU」[7]からモデルデータをダ

では土地の形状の理解がしやすいかどうかの比較実験を行© 2024 Information Processing Society of Japan1243

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-412024/2/28

った．比較する対象は，積層式導光プリズムによる空中像とテーブルトップディスプレイによる二次元平面映像を組み合わせた体験と積層式導光プリズムを用いずにテーブルトップディスプレイに透視投影した映像と二次元平面映像を表示したときの二パターンとし，５段階評価で，５が最高評価，１が最低評価として評価した．検証するための比較実験は立命館大学に所属する男女 17 人を対象に行った．
図 126.1 アクリル板の厚さによる見え方の比較実験の考察

オブジェクトの実態感の感じ方の違い

厚さ 1mm のアクリル板と厚さ 2mm のアクリル板を用いた積層式導光プリズムによる見やすさ 17 人対して評価してもらい，図 111mm と 2mm のアクリル板による見やすさの評価結果のような結果となった．結果は 1mm のアクリル板を用いた積層式導光プリズムのほうが圧倒的に見やすいという結果になった．この結果により，積層式導光プリズムの解像度を上げるには，積層する導光板の厚さを薄くし，多くの板を積層することが重要であるといえる．
図 13

図 11

空間的構造の把握のしやすさ

1mm と 2mm のアクリル板による見やすさの評価
結果

6.2 積層式導光プリズムを用いたコンテンツの比較実験
図 14の考察図 12

地形や土地の起伏の理解のしやすさ

オブジェクトの実態感の感じ方の違いに示している通り，ほとんどの人が積層式導光プリズムによる空中像とテーブルトップディスプレイによる平面映像を用いる

7. まとめことで，バーチャルな 3D オブジェクトの実態感を感じる

本研究では，アクリル板を導光板として用いた積層式導ことができるという結果になった．積層式導光プリズムを光プリズムについて述べた．第 2 章では，関連研究とその用いることで AR 表示としても用いることが期待できる．

問題点を挙げ，本研究が目指す目的について述べた．第 3

また，図 13

地形章では，既存の光学式シースルーに用いられている導光のや土地の起伏の理解のしやすさに示してある通り，空間的方法と積層式導光プリズムの導光方法を比較しながら，積構造の把握，地形や土地の起伏の理解では，若干であるが，層式導光プリズムの原理，構造について述べた．第 4 章で積層式導光プリズムを用いた場合のほうが優位性が見られは，積層式導光プリズムを TUI として用いるためのシステた．これらの結果により，テーブルトップディスプレイ上ム構成を述べ，第 5 章では TUI として用いているためのコのどの角度からも表示可能な積層式導光プリズムによる空ンテンツ例の紹介をした．第 6 章では，アクリル板の厚さ中像の提示とテーブルトップディスプレイの平面映像の組による見え方の違いと積層式導光プリズムを用いた場合とみ合わせによる映像表示には一定の効果があることがいえそうでない場合の効果の比較実験を行った．

空間的構造の把握のしやすさ，図 14る．

また，本研究は SIGGRAPH Asia2023 においてもデモ展示を行い，一般ユーザを対象とした運用実験も行った．ここでは，150 名以上の体験者に体験をしてもらい，積層式導光プリズムの光学的構造，オブジェクト内部に表示される空中像と二次元平面映像によるコンテンツ体験に対して多くの方の興味が惹かれている様子が見られた．

© 2024 Information Processing Society of Japan1244

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-41
2024/2/28

第 6 章でも述べたように，積層式導光プリズムの表示に関して，積層する導光板の厚みを薄くすることで表示される映像の解像度は向上した．しかし，積層されたアクリル板の層が映像表示を妨げてしまうという課題が残っている．
これを改善することによってさらに体験者に深い積層式導光プリズムによる空中像の体験を提供するのではないかと考える．

8. 謝辞
本研究は，JPS 科研費 JK21K12004 の助成を受けたものです．

参考文献
室井, 克仁, 大島登志一. (2023). タンジブルユーザインター
フェースのための積層型導光プリズムの開発. エンタテイン
メントコンピューティングシンポジウム 2023 論文集, 2023,286-289.
[2] Büschel, W., Kister, U., Frisch, M., Dachselt, R. (2014, May). T4transparent and translucent tangibles on tabletops. In Proceedingsof the 2014 International Working Conference on Advanced VisualInterfaces (pp. 81-88).
[3] 筧康明, 飯田誠, 苗村健, 松下光範. (2006). Tablescape Plus:
インタラクティブな卓上映像シアター (「グラフィックスとアルゴリズム」 特集). 日本バーチャルリアリティ学会論文誌, 11(3), 377-385.
[4] Willis, K., Brockmeyer, E., Hudson, S., Poupyrev, I. (2012,October). Printed optics: 3D printing of embedded optical elements
for interactive devices. In Proceedings of the 25th annual ACM
symposium on User interface software and technology (pp. 589598).
[5] B. C. Kress and I. Chatterjee, “Waveguide combiners for mixed
reality headsets: a nanophotonics design perspective,”
Nanophotonics, vol. 10, no. 1, pp. 41–74, oct 2020.
[6] 吉川浩(2021), シースルーデイスプレイ用光学系の基礎, 3D
映像，Vol.33，No.2，pp. 4-7[7] 日本全国の都市デジタルツイン実現プロジェクト
PLATEAU, https://www.mlit.go.jp/plateau/ （参照日 2023-1120）[8] 国土地理院，「立体地図（地理院地図）」，
https://maps.gsi.go.jp/#13/35.022898/135.742950/&base=std&ls=std&disp=1&vs=c1g1j0h0k0l0u0t0z0r0s0m0f0&d=m （参照日2023-11-20）[1]© 2024 Information Processing Society of Japan1245