FIT2016（第 15 回情報科学技術フォーラム）K-021
指向性ボリュームディスプレイの高解像度化手法の提案
Proposal of the High Resolution Technique of a Directional Volumetric Display
池田 正隆*1

白木 厚司*2

中山 弘敬*3

平山 竜士*3

角江 崇*3Masataka Ikeda

Atsushi Shiraki

Hirotaka Nakayama

Ryuji Hirayama

Takashi Kakue

下馬場 朋禄*3
Tomoyoshi Shimobaba

伊藤 智義*3
Tomoyoshi Ito

1 ． はじめにエンターテイメントの分野において，特定の方向に対して対応する音や光を伝える指向性はマイクやスピーカなどに利用されており，注目度も高い．文献[1] の三次元アンビグラムや文献[2] ではこの指向性を利用して 3 方向に異なるパターンを投影している．しかしこのオブジェクトは階調を持った映像を表現することが困難である．そこで，三次元空間上に映像を直接描画するディスプレイであるボリュームディスプレイにこの指向性を利用することで，記録するパターンに階調を持たせることができるようになり，多くの表現が可能となった[3]．また，ボリュームディスプ
レイの有する秘匿性やアート性は，文献[4] に示す暗号化や文献[5] に示すメディアアートへの応用が期待できる．
我々の研究グループではすでに図 1 に示すクリスタルアートや図 2 に示す LED(Light Emitting Diode)のボリュームディスプレイに対して指向性を持たせることに成功している．
しかし LED を用いて解像度の向上を図る場合，配線数の増加に伴い奥側の LED が隠れてしまうという問題が生じる．
そこで別の手法として，光で制御される量子ドットや図 3に示す 7×7 本の糸で構成されたボリュームディスプレイが考案された[6, 7]．しかし，クリスタルアートや量子ドット
ではあらかじめボリュームディスプレイにパターンを記録するため静止画に限られ，パターンを書き換えることができない．また，図 3 のボリュームディスプレイの表現できる映像の解像度は横幅 7 ピクセルと低い．このボリュームディスプレイを作製するにあたり，糸を一本配置するごとにその糸に光が当たるかどうか確認しつつ，糸の配置場所を決定している．糸を配置する際は決められた制約を守る必要があるが，構成する本数を増やすにつれて制約を守ることが困難になり，また，糸同士の位置関係の把握も困難となる．
一方で，糸のボリュームディスプレイは映像をプロジェクタから糸それぞれに対して投影することで表現するため，この映像を高速で切り替えることで動画表現が可能となる．
また，糸を上から垂らすという構成のため，縦方向への解像度の増加が容易という利点がある．これらの理由から，

図 1 : クリスタルによるボリュームディスプレイ(a)概観図(b)元画像(c)各方向から観察したもの

図 2 : LED によるボリュームディスプ
レイ(a)概観図(b)正面から観察したもの(c)側面から観察したもの

図 3 : 49 本の糸によるボリュームディスプレイ(a)概観図(b)正面から観察したもの(c) 側面から観察したもの*1 千葉大学大学院融合科学研究科, Graduate

School of Advanced Integration Science, ChibaUniversity*2 千葉大学統合情報センター, Institute ofManagement and Information Technologies, Chiba
University*3 千葉大学大学院工学研究科, Graduate School ofEngineering, Chiba University465
第 3 分冊図 4 : 投影イメージ

Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2016（第 15 回情報科学技術フォーラム）図 5 : 概要の模式図

図 7 : ボリュームディスプレイと画像の対応

図 6 : ボリュームディスプレイの構成
本研究では糸を用いたボリュームディスプレイを採用する．
ボリュームディスプレイを作製するにあたり，シミュレーションにより糸配置の場所を決定することでさらに多くの糸で構成されたボリュームディスプレイを作製し，比較的高解像度の階調を持った映像を認識できるようにする．具
体的には，図 4 のように 2 枚の元画像を投影画像に処理し，プロジェクタからボリュームディスプレイに対して投影することで，投影されたボリュームディスプレイの正面方向および側面方向からそれぞれの元画像を認識できるシステムを構成する．

2 ．投影システム
2.1 投影システムの概要
投影システムの概要の模式図を図 5 に示す．元画像 A，B から中間処理データを生成し，検査画像と照合することで投影画像とする．投影を行うために，作業は大きく分けてボリュームディスプレイ作製，中間処理データ生成，高さ調整の三つに分けることができる．図中の各データについて以下に示す．

2.1.1 中間処理データ
どの糸のどの高さの位置に投影するかを示すデータを中間処理データと呼ぶ．画像情報と糸の配置場所データを用いて先行研究のデータ生成アルゴリズムにより生成される[6]．色調を持った画像を用いる場合には RGB 値それぞれに対して処理を行い，処理結果をそれぞれ出力する．

2.1.2 検査画像
光線と糸との対応付けを行うための画像を検査画像と呼ぶ．ボリュームディスプレイの作製と並行して検査画像を

図 8: 観察方向に対して糸が重ならない例
完成させていく．コンピュータのディスプレイ上のどこの座標がどの糸と 1 対 1 で対応しているかを知ることができる．

2.1.3 投影画像
中間処理データを検査画像に割り当てた後，高さ補正を加えた実際に投影する画像を投影画像と呼ぶ．中間処理データはどの糸のどの高さの位置に投影するかを示し，検査画像はコンピュータのディスプレイ上の座標と糸の対応を表す．どちらも糸と対応していることを利用し，中間処理データを検査画像に割り当てることにより，コンピュータのディスプレイ上のどこの座標がどの糸のどの高さの位置と対応しているかを知ることができる．

2.2 ボリュームディスプレイ
図 6 にボリュームディスプレイの構成を示す．ミシン糸の両端にはナットが取り付けられている．片側に取り付けられているナットを，磁石を用いてホワイトボードに付ける．もう片側のナットを重りとして糸を地面に対して垂直に垂らす．元画像の横の解像度は 20 ピクセルとする．図 7のように，奥に向かって並ぶ 20 本の糸で画像の横 1 ピクセル分を表現するため，ボリュームディスプレイは 20×20=400 本の糸で構成すると仮定する．ホワイトボード内に0.8 m 四方の正方形を描画し，その中を縦横に対してそれぞれ 20 等分することで 400 個の格子が完成する．糸は一つ466
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2016（第 15 回情報科学技術フォーラム）図 11 : 糸の当たり判定

図 9 : 光線と糸の対応

図 12 : 三つのパターンを記録する物体
制約 3 の不規則な配置によって，観察方向に応じて糸それぞれの位置関係が変化するため，ボリュームディスプレイに高い指向性を持たせることができる．
糸は制約 1～3 を基にホワイトボードから可能な限り垂らす．また，糸を配置しつつプロジェクタからの光線と糸との対応付けを行うことで検査画像を作成する．光線と糸が1 対 1 で対応することから，検査画像に割り当てられた糸は制約 2 を満たすことになる．

図 10 : 作成したシミュレータの格子につき 1 本ずつ配置されることになる．ボリュームディスプレイを構成する糸は以下の制約に従って配置される．
制約 1 正面および側面から観察する際に，それぞれの糸が重ならないこと
制約 2 プロジェクタからのすべての光線がすべての糸と 1 対 1 で対応すること
制約 3 ボリュームディスプレイを構成する糸全体の配置が不規則であること
制約 1 は正面および側面から観察したときにすべての糸が見えるようにするための制約である．図 8 のようにそれぞれの観察方向に対して糸が重ならないようにする必要がある．制約 2 は本手法を実現するにあたり，過不足なく糸を点灯させるために必須となる制約である．図 9 のように光線が糸に当たるように糸を配置する．制約 1 および制約2 を守ることで，正面および側面からボリュームディスプレイを確認した際にそれぞれ 400 本の糸を認識することができる．制約 3 は各方向から観察したときに見える画像の大きさに偏りがでないようにするための制約である．また

2.3 糸配置シミュレーション
制約 1～3 を満たす糸配置の試行錯誤的な決定や配置された糸の場所の把握は困難である．そこで，図 10 のようなシミュレータを作成し糸の配置場所をあらかじめ決めておくことで，これを比較的容易にする．

2.3.1 糸の配置配置場所は制約 1～3 に従いながら決定していく．制約 1は各糸の座標が一致しないように定めることで守ることができる．制約 2 は各光線を順に糸に割り当て，割り当てられたときにその光線を候補から外すことで守る．制約 3 はホワイトボード内の区画を横方向および縦方向にそれぞれ20 等分することで区画分けし，一つの区画に 1 本の糸を割り当て，糸候補の初期位置を区画内のランダムな位置から開始することで守ることができる．

2.3.2 光線の当たり判定
光線が糸に当たっているかどうかのシミュレーションについて述べる．例として図 11 のように光線が存在する場合，各糸が光線の範囲内に存在するかどうかを以下の方法で判断する．まず，プロジェクタの位置を原点とする．図 11 中467
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2016（第 15 回情報科学技術フォーラム）図 13 : 奥行きによって変化する点灯位置と光線の調整
図 15 : シミュレーション結果における濃度を表す．
式(2)を各方向に対して計算すると式(3)～(5)のようになる．ただし，Z 軸方向に投影される最終的な濃度をAij ，X軸方向をBkj ，Y 軸方向をCik とする[6]．
R

Aij = ∑ Vijk
k=1

= λaij (b1j ci1 + b2j ci2 + ⋯ + bRj ciR )(3)P

Bkj = ∑ Vijk
i=1

=λbkj (c1k a1j + c2k a2j + ⋯ + cPk aPj )(4)

QCik = ∑ Vijk

図 14 : 作製したボリュームディスプレイの外観j=1の端 1 の傾きをak1 ，端 2 の傾きをak2 ，糸と原点を結んだ直線の傾きをat とすると，式(1)が成り立つときに糸が光線の範囲内に存在する．
(ak1 - at )(ak2 - at ) < 0(1)例として，図 11 中の糸 1，糸 2，糸 3 が光線の範囲内に存在するか式(1)を用いて確かめる．糸 1 の場合，糸 1 と原点を結ぶ直線の傾きは端 1 の傾きより小さく，端 2 の傾きより大きいため，式(1)が成り立つ．糸 2 の場合，端 1 と端2 のどちらに対しても傾きは小さいため，式(1) は成り立たない．糸 3 の場合，原点と糸 3 を結ぶ直線の傾きは負である．端 1 と端 2 の傾きは正であるため，式(1) は成り立たない．この結果，糸 1 のみ光線内に存在していることが式(1)からわかる．

2.4 中間処理データ生成アルゴリズム
三つのパターンを記録する，大きさ P×Q×R の物体を図12 に示す．元画像 A， B，C において，立体内の座標(X, Y, Z)=(i, j, k)のボクセルに記録する濃度Vijk は式(2)で求めることができる[6]．
Vijk = λaij bkj cik(2)
𝜆は濃度調整用の定数であり，aij ，bkj ，cik は元画像 A，B，
C それぞれの座標(X, Y)=(i, j)，(Z, Y)=(k, j)，(X, Z)=(i, k)=λcik (ai1 bk1 + ai2 bk2 + ⋯ + aiQ bkQ )(5)
本投影システムで記録するパターンは二つであることから，(X, Y, Z)=(i, j, k)におけるボクセルの濃度は式(6)で求められる．aij ，bkj は元画像 A，B それぞれの座標(X, Y)=(i, j)，(Z, Y)=(k, j)における濃度を表す．また階調を持った画像を用いるため，濃度の RGB 値それぞれに対して処理を行い，処理結果をそれぞれ出力する．この処理結果を中間処理データと呼び，どの糸のどの高さの位置に投影するかを示す．
本研究におけるλはVijk を 0～255 の値に正規化するため，λ=1/255 としている．
Vijk = λaij bkj(6)2.5 高さ調整
図 13 のようにプロジェクタからの仰角を持った光線がボリュームディスプレイに対して当たる場合を考える．この場合，同じ高さから照射される光線であっても糸の配置されている奥行きによって点灯する箇所が変わってしまう．
このため，各方向から観察した際に正しい映像を認識することができない．そこで，検査画像の各光線に，対応する糸の奥行きの情報を与え，ある光線に対応する糸の持つ奥行きの値が大きければ大きいほどその光線を縮小させ，その光線に属する座標点の高さも縮小された割合を考慮して

468
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2016（第 15 回情報科学技術フォーラム）図 16 : 正面から確認できる映像の元画像(天気)図 19 : 正面から確認した結果(天気)図 17 : 側面から確認できる映像の元画像(天気)図 20 : 側面から確認した結果(天気)

補正することで投影画像を作成する．光線の最上部の補正式を式(7)に，最下部の補正式を式(8) に示す．式(7) において，ht は調整後の高さ，ht0 は調整前の高さ，ab は光線の最上部の傾き，zf はボリュームディスプレイの最も手前に存在する糸の奥行き，zt は高さを調整したい糸の奥行きとする．式(7) において，zf = zt のときht = ht0 となるため，光線の最上部はボリュームディスプレイ内の最も手前で点灯する糸を基準に補正することになる．また，式(8) において，hb は調整後の高さ，hb0 は調整前の高さ，ab は光線の最下部の傾き，zd はボリュームディスプレイの最も奥に存在する糸の奥行き，zb は高さを調整したい糸の奥行きとす
る．式(8) において，zd = zb のときhb = hb0 となるため，光線の最下部はボリュームディスプレイ内の最も奥で点灯する糸を基準に補正することになる．
ht = ht0 - at (zf - zt )(7)
hb = hb0 - ab (zd - zb )(8)

印の無い区画内の点は糸を配置可能な場所，×印部は糸を配置できなかった区画を意味する．シミュレーション結果を基に実際にボリュームディスプレイを作製したところ，構成する糸の本数は 347 本となった．糸を配置できなかった理由として，制約 1～3 を満たせていないこと，磁石の磁力に関するシミュレーションを行わなかったため，磁石の作用によって配置できなかったことが挙げられる．

3 ．ボリュームディスプレイ高解像度化手法の実装結果3.1 ボリュームディスプレイとシミュレーション作製したボリュームディスプレイを図 14 に，糸配置のシミュレーションを見やすく編集した結果を図 15 に示す．×3.2 投影結果(天気)
本節では天気をテーマにした映像を動画として投影した際に得られた一場面の結果について述べる．本研究で用いた元画像を図 16 と図 17 に示す．図 16 はボリュームディスプレイの正面から認識するための画像，図 17 は側面から認識するための画像である．本研究において，正面からは天気の模様が確認でき，側面からはその天気に対応した文字が確認できるような映像を投影した．
図 16 および図 17 から作成された中間処理データを割り当て，高さ調整を行った投影画像を図 18 に示す．得られた投影画像をプロジェクタから投影した時，ボリュームディスプレイを正面から確認した結果を図 19 に，側面から確認した結果を図 20 に示す．
図 16 の太陽の部分を図 19 からも確認でき，図 17 の「NY」という文字を図 20 からも確認できる．投影する映像によっ

図 18 : 投影画像(天気)図 21 : 斜め方向から確認した結果(天気)469
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2016（第 15 回情報科学技術フォーラム）図 22 : 正面および側面から確認できる映像の元画像(魚)図 24 : 正面から確認した結果(魚)図 23 : 投影画像(魚)図 25 : 側面から確認した結果(魚)てノイズもあったが，正面および側面からの観察において元画像を十分認識することができた．ノイズの原因として，
式(6)においていずれかの元画像の RGB 値が 0 を含む場合にもう一方の RGB 値がどんな値であってもその積が 0 となってしまうこと，人の手による投影環境の構築のため，配置場所に誤差が発生したことが原因であると考えられる．
また，図 21 に示す斜め方向から観察した結果において，使用した元画像のいずれの情報も得ることができなかったことから，本ボリュームディスプレイは，斜め方向に秘匿性を持つと言える．

3.3 投影結果(魚)本節では魚をテーマにした映像を動画として投影した際に得られた一場面の結果について述べる．元画像を図 22 に示す．図 22 はボリュームディスプレイの正面および側面から認識するための画像であり，本研究において，それぞれの方向から同じ元画像が確認できるような映像を投影した．
投影画像を図 23 に示す．ボリュームディスプレイを正面から観察した結果を図 24 に，側面から観察した結果を図 25に示す．3.2 節と同様の問題からノイズが発生しているものと考えられるが，正面及び側面からの観察において元画像を十分認識することができた．このことから，本システ
ムは任意の映像を各方向に表現できると言える．

4 ．まとめ本研究の目的は，比較的解像度の高い階調を持った 2 枚の元画像を投影画像に処理し，シミュレータによって算出された糸配置を基に構成されたボリュームディスプレイに投影することで，正面方向および側面方向からそれぞれの元画像を認識できるシステムを構成することである．本研
究では，347 本の糸で構成されたボリュームディスプレイを作製した．作製したボリュームディスプレイは正面方向および側面方向に，階調を持った横幅 20 ピクセルの異なる映像を表現することができるため，表現の幅が広がった．

また，シミュレータを用いて糸の配置を算出してからボリュームディスプレイを作製したため，糸の配置場所の把握が比較的容易であった．
今後は，投影した際に見えるノイズを低減させるために中間処理データ生成のアルゴリズムを見直す．また，観察者の認識できる画像を移動に追従して変化させていく技術を，観察できる方向を増やすとともに実装する．
謝辞
本研究は JSPS 科研費(15K16111)の助成を受けたものである．ここに謝意を表す．
参考文献[1] D. R. Hofstadter, “Gödel, Escher, Bach: an Eternal Golden
Braid. xiv,” Basic Books, New York, 1979.
[2] N. J. Mitra, M. Pauly, “Shadow Art,” ACM Trans. Graphics,vol.28, no.5, article 156, pp.1–8, Dec. 2009.
[3] B. Blundell, A. Schwarz, “Volumetric Three Dimensional
Display Systems,” IEEE Press, New York, USA, 2000.
[4] A. Alfalou, C. Brosseau, “Optical image compression andencryption methods,” Advances in Optics and Photonics, vol.1,issue 3, pp.589–636, Oct. 2009.
[5] J. Muller, D. Wilmsmann, J. Exeler, M. Buzeck, A. Schmidt,T. Jay, “Krüger Display Blindness: The Eﬀect of Expectations
on Attention towards Digital Signage,” Lecture Notes in
Computer Science, vol.5538, pp.1–8, 2009.
[6] H. Nakayama, A. Shiraki, R. Hirayama, N. Matsuda, T.
Shimobaba, T. Ito, “Three-dimensional volume containing
multiple two-dimensional information patterns,” ScientiﬁcReports, vol.3, article number 1931, pp.1–5, Jun. 2013.
[7] R. Hirayama, M. Naruse, H. Nakayama, N. Tate, A. Shiraki,T. Kakue, T. Shimobaba, M. Ohtsu, T. Ito, “Design,Implementation and Characterization of a Quantum-DotBased Volumetric Display,” Scientiﬁc Reports, vol.5, article
number 8472, pp.1–6, Feb. 2015.

470
第 3 分冊Copyright © 2016 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.