情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1C63
2018/3/5

太陽光源を用いた液晶シャッタの高速な開閉制御により肉眼で不可視な影を投影するディスプレイ
中山祐之介†1

横田智大†1

橋田朋子†1

概要：本研究では太陽光を光源として活用し，液晶シャッタの高速な開閉によって直射日光の透過/遮断を時間的に制御することで，カメラ撮影時にのみ任意の視覚パターンを提示するディスプレイを提案する．肉眼とカメラでは時間分解能の差があり，肉眼では視認できない短時間の変化を，カメラではシャッタ速度を高速に設定すれば捉えることが可能であるという点に筆者らは着目した．また，空間が明るい状態では，スマートフォンなどのカメラのシャッタ速度が高速な値に設定されるため，光源として直射日光を用いることで，ユーザはカメラに特定の設定や操作をすることなく投影された情報を撮影，取得できる．本稿では具体的なシステム実装方法と，スマートフォンに搭載されたカメラの特性の検討，提案システムの視認性に関する評価について報告する．また，提案システムを用いたアニメーション表示と撮影補助の仕組みについての 2 つのアプリケーションについても紹介する．

A Display that Projects Invisible Shadows by High-speed Switching
Control of the Liquid Crystal Shutter Using a Solar Light Source
YUNOSUKE NAKAYAMA†1 TOMOHIRO YOKOTA†1TOMOKO HASHIDA†1
Abstract: In this research, we propose a display that uses sunlight as a light source and temporal controls the transmission/shadingof direct sunlight by opening and closing the liquid crystal shutter at high speed, thereby presenting visual pattern only during
camera shooting. We focused on the fact that a short change in time can be captured by setting the shutter speed at high speed butcannot be visually recognized with the naked eye because there is a difference in temporal resolution between the naked eye andthe camera. The user can capture the projected image without making specific settings or operations on the camera because theshutter speed of the camera will be set to a high value when using bright light such as direct sunlight. In this paper, we describe aconcrete system implementation method, investigate the characteristics of a camera mounted on a smartphone, and evaluate thevisibility of the proposed system. In addition, we will also introduce two applications, one for animation display and one as aphotography assistance mechanism using the proposed system.

1. はじめに木漏れ日があると思わず入りたくなり，面白い影には自然と目がとまるように，私達は太陽光を光源としてその光路にある遮蔽物との関係で偶発的かつ動的に生じる光と影による自然の映像表現にいつの時代も魅了されてきた．筆者らはこの太陽光を光源とする自然の映像表現を拡張することを目指している．太陽光の表現拡張を試みる従来研究として，光の透過/遮断パターンや反射タイミングを機械や

図１ システムが駆動する様子．太陽光が本システムを介遮蔽機構により細かく制御して文字や絵などの情報提示をして空間的な透過/遮断パターンを描き，撮影すると重畳可能にする事例がある[1][2][3].これは任意の光の空間パされた時間的な透過/遮断パターンがカメラ上で現れる．

ターンを提示できるという意味で自然の光や影によるもの

Figure 1

Appearance of the system operating.

以上の映像表現を実現している．一方でプロジェクタなどの人工的な光源を用いた映像表現では，目に見える光の空時だけ見える情報を重畳する技術も多数提案されている

間パターンとしての投影像に加えて，光の点滅に焦点をあ[4][5].て肉眼で見えない速さの光の時間点滅パターンも設計する

筆者らはこのような人工光源における投影像の中に人間ことで情報を多重化し，機械にだけ読める/機械をかざしたには見えない情報を埋め込む技術に着想を得て，太陽光に†1 早稲田大学
Waseda University© 2018 Information Processing Society of Japan425

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1C63
2018/3/5

おいても光の透過/遮断の時間パターンを制御することで，肉眼では不可視だが機械をかざした時だけ見える/機械にだけ見える光と影のパターンを重畳投影し，太陽光のパターンを時間的・空間的に拡張できると考えた．
そこで本研究では太陽光の透過/遮断の時間パターンを制御するデバイスとして高速な開閉制御が可能な液晶シャッタに着目し，そのパターンを読み取る機械としてはスマ

図2ートフォンのカメラなど，特殊なものではなく誰でも持っFigure 2

システム概要System overview.ているものを用いる．液晶シャッタをマトリクス状に並べたものを直射日光の光路上に置き，液晶シャッタの開状態と閉状態の切り替えによって空間的な透過/遮断パターンを投影すると共に，各液晶シャッタの状態を時分割して高速に開閉駆動させることで時間的な透過/遮断パターンを投影する．高速に時分割された透過/遮断の時間パターンは目の時間分解能の限界よりも高速であれば，肉眼では一つ

図3の空間的な透過/遮断パターンに見え，カメラでは肉眼の見Figure 3

え方とは異なる時間的な透過/遮断パターンが見える．実際に提案システムが駆動する様子を図１に示す． このように肉眼では不可視な影を投影する技術により，見る人に発見的な楽しみを与えるインタラクションが実現できる．また副次的な効果として，光の写り込みを避けたい屋外での撮影時にカメラにのみ選択的な影を出して撮影を補助することもできる．
以下，関連研究，システム実装及びシステム視認性の評
価，アニメーション表示と，撮影補助の仕組みの 2 つのアプリケーションの詳細について述べる．

システム外観Appearance of the system.

られる．SteganoScan[4]は可視光通信プロジェクタを用い，プロジェクタの投影像に画像情報と位置情報を時間分割し多重化することで，LED マトリクスによる発光デバイスが投影面の位置情報を元に任意の発光パターンを描くものである．Unphotogenic Light[5]はプロジェクタ投影面の画像にあらかじめ用意されたノイズのパターンを時間分割し重畳投影させることで，撮影時にのみ撮影者の意図しないパターンを浮かび上がらせ撮影を阻害するものである．これらの研究ではどれも光源としてプロジェクタといった人工の2. 関連研究

光源を用いているが，本研究では光源に太陽光を用いてい2.1 太陽を光源としたディスプレイの事例ており，自然に存在する光を間接的に制御している点で異太陽光を光源とし，透過や反射を制御することによって情報提示を可能にする事例には以下のものが挙げられる．
SUN_D[1]は 太 陽 光 や そ の 他 の 環 境 光 を 光 源 と し 光 の 透過・遮断を機械的に制御できるようなマトリクスによって視覚情報の表示を可能とするものである．One Day PoemPavilion[2]は太陽光の時間経過による入射角度の変化を入力として太陽の傾きの変化とともに異なる詩を地面に投影する装置である．Solar Pink Pong[3]は太陽光を反射する鏡の角度を自由に変える装置を用いることで，地面に反射光を投影し，動く光の玉を表現するものである．これら太陽光を光源としたディスプレイの試みは空間的に直射日光の透過/遮断や反射を制御することで任意の視覚パターンを表示するものである．本研究では更に時間的な直射日光の透過/遮断の制御を用いる点で異なる．
2.2 時間分割による情報多重化の試み
人工光源を用いた目に見えない速さの光の点滅パターンによって情報を多重化し機械にのみ読める/機械をかざした時だけ見える情報を重畳する研究には以下のものが挙げなる．

3. システム
3.1 システム概要
本システムは，マトリクス状に並べられた液晶シャッタの開状態と閉状態を切り替えることで直射日光を空間的に分割し，光の透過/遮断パターンを描き出す．また，液晶シャッタの高速な開閉制御を行なうことで空間的な光のパターンを時間的に分割し，人間の目には不可視な光の透過/遮断パターンをつくりだす．本システムの概要を図 2 に示す．
また，システムの外観を図 3 に示す．
我々の目は時間分解能に限界があり，強いコントラストの反転の変化に気づくことができる限界の値がある．この周波数を CFF (Critical Flicker Frequency)といい，その値は中心視野でおよそ 50Hz と言われている[6]．この CFF 値よりも遅い液晶シャッタの開閉制御は直射日光を空間的パターンに分割し，CFF 値よりも早い液晶シャッタの開閉制御は直射日光を時間的パターンに分割することができる．
CFF 値よりも早い透過/遮断パターンの制御は，肉眼では透© 2018 Information Processing Society of Japan426

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1C632018/3/5

表 1 時刻とカメラのシャッタ速度

過と遮断の状態が時間的に積分され，一つの空間的なパターンとして見えるようになる．一方で，カメラのシャッタ

Table 1Time of day and shutter speed of camera.

速度が CFF 値より高速であれば，カメラでは時間的な透過/遮断パターンを空間的な透過/遮断パターンとして撮影す

シャッタ速度[秒]時刻

ることができる．

iPhone 6s

iPhone 7 Plus(ISO 25, F2.2)(ISO 25, F1.8)

それにくわえて，直射日光下のような照度の高い環境で10 時

1/9615

1/14913は，多くのスマートフォン等のカメラは光量を制限するた

11 時

1/12821

1/19230

めにシャッタ速度が自動的に高速になる．この時のシャッ

12 時

1/8119.5

1/19230

タ速度が CFF の値よりも速くなるため，ユーザがカメラ側

13 時

1/9340.5

1/19230

で特殊な操作・設定を行なうこと無く時間的な透過/遮断パ

14 時

1/81201/13699

ターンを撮影することが可能である．
本システムでは光源となる光は直射日光の平行光であることが望ましい．曇りや，霧がかっているような状態では，投影される影の輪郭が失われるため，システムを駆動することが困難である．
3.2 システム実装
本システムは主に光源となる太陽，マトリクス状に並べられた 3×3 の液晶シャッタと，その駆動回路から構成される．液晶シャッタはルートアール社製のアクティブシャッ
ター方式 3D メガネ(RV-3DGBT2B)を分解し，内蔵された液晶シャッタを使用している．それぞれの液晶シャッタは電磁リレーを介して 2 つの矩形波発信回路に接続できるようになっている．2 つの矩形波発信回路は Arduino と MOSFET を用いた H ブリッジ回路により任意の周波数と反転した位相を持った交流の矩形波を生成する．時間的な透過/遮断パターンを投影するときは，この液晶シャッタの開閉周波数を CFF 値である 50Hz よりも高速に制御する．液晶シ
ャッタに印加する電圧波形を，リレーを用いて切り替えることによって，任意の液晶シャッタごとに開閉のタイミングを反転させた状態で駆動する．これによって動的に時間的な透過/遮断パターンを変更することができる．また，カメラデバイスには，ユーザの手軽さを考えスマートフォンを使用しているが，実際には高速にシャッタを切ることができるカメラであれば不可視な影を撮影することが可能である．

4. 評価
提案システムの動作確認のため，2 つの実験を行った．
はじめに直射日光下におけるスマートフォンでの撮影時にシャッタ速度が提案システムの液晶シャッタの開閉速度より高速に設定されることを確認するための実験を行った．
つぎに液晶シャッタの開閉周波数の値によって，時間的に分割された不可視な透過/遮断パターンの視認性が撮影時にどのように変わるかを確認する実験を行った．
4.1

スマートフォンなどの携帯端末におけるカメラ特性

スマートフォン等のカメラデバイスでは絞り値が固定されている場合が多く，その場合，空間の照度が高くなる直射日光下ではカメラのシャッタ速度が速くなる．この条件© 2018 Information Processing Society of Japanでのシャッタ速度が人間の CFF 値よりも高速であれば，肉眼で認知できないが撮影時にのみに時間分割された透過/遮断パターンを視認することができる．
そこで，日中の直射日光に曝された空間において，カメラのシャッタ速度がどのように変化するか検討を行った．
直射日光が当たる時間帯（2017 年 12 月 16 日，10~14 時頃）に 1 時間刻みで直射日光に照らされたホワイトボードを 1m 離れたところから撮影し，シャッタ速度の変化を記録した．撮影には iPhone 6s（Apple Inc.）と iPhone 7 Plus（Apple Inc.）の 2 台を使用し，撮影は東京都内(35°42'21.0"N139°42'23.6"E)の屋外で行った．天候は晴れであった．時間
帯とカメラのシャッタ速度を表したものを表 1 に示す．
結果より，直射日光があたる時間帯ではカメラのシャッタ速度が CFF 値，50Hz（1/50 秒）よりも十分に高速であることが分かる．直射日光が当たっている時であればユーザはカメラの設定を操作することなく情報の取得が可能であることが確認できた．
4.2 液晶シャッタの開閉周波数と提案システムの視認性
液晶シャッタの開閉周波数の変化によって，提示されたパターンがカメラ越しに視認できるかを評価した．液晶シ
ャッタの開閉周波数を 50Hz〜200Hz の間で 10Hz 刻みに変化させ撮影を行う．投影された影とカメラの距離は 1m とし，撮影は iPhone 7 Plus（Apple Inc.）を使用した．設定は自動露出設定で行った．実際に撮影された画像を図 4 に示す．
結果より，周波数の低いところでは提示したパターンと同じものを画像上で視認できる．しかし，周波数が高くなるにつれて提示したパターンを視認できなくなっている．
これは液晶シャッタの開閉周波数が高速になるほど撮影している時間内に，液晶シャッタが切り替わる瞬間を撮影してしまう可能性が高まることが原因であると考えられる．
透過パターンと遮断パターンの両方の状態が重なったように撮影されてしまうと，肉眼と同じように写り視認することが難しくなる．カメラのシャッタ速度が高速であっても，液晶シャッタの開閉周波数はある程度低いほうが望ましいことが確認できた．

427

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1C632018/3/5

図5
Figure 5

影のアニメーション表示の例
Example of displaying shadow animation.

図6

通常の写真（左）と局所的な遮断による被写体の撮影補助（右）図4

液晶シャッタの開閉周波数ごとの撮影画像

Figure 4

Figure 6

Captured Image by each opening/closing

Normal photography (Left) andphotography assistance with topical light shading (Right).

frequency of liquid crystal shutter.

5. アプリケーション
提案システムにおけるアプリケーションの例を示す．
5.1 アニメーション提示
本システムは液晶シャッタの開閉位相の制御をそれぞれの液晶シャッタごとに操作することが可能であるため，不可視な透過/遮断パターンの動的なアニメーションの提示が可能である．今回は，ひとつの液晶シャッタごとに開閉位相を切り替える制御をおこない，ピクセルが渦巻くようなアニメーションを実装した．実際の外観を図５に示す．
このようなアニメーション提示によって，カメラを使って初めて見た人に発見的な楽しみを与えるインタラクションが実現できる．
5.2 写真撮影の補助
写真撮影時に水面などを撮る時，環境の光の反射によって水面は撮影することができても水中の様子を捉えることができない場面がある．通常，水中の様子を撮影する場合を行った．提案システムを使用し，投影されたパターンのアニメーション表示と，撮影の補助を行なう影のアプリケーションを実装した．
今後の展望としては，液晶シャッタマトリクスの高解像度化による精細な表現の実現を目指す．また，太陽光の傾きや動きを入力とし，時間の変化によって表現パターンを動的に変化させるものを開発していく予定である．また，筆者らは本システムを用い，見る人に驚きや発見的な楽しみを与えるようなインタラクションを模索していきたい．
例えば謎解きゲームのような，何かヒントや答えとなるものを見つけなければならない状況で，カメラを使って初めて答えとなる情報が透過/遮断パターンとして描き出されるといった，発見が重要な要素としてあるゲームやアクテ
ィビティに本システムを適用していきたい．

参考文献
[1]

カメラレンズに偏向フィルターをかける方法や，被写体に当たる光を物理的に遮る方法がとられる．しかし本システ[2]ムを用いた，太陽光の時間的な透過/遮断パターンが投影されている水面上であれば，カメラにフィルターをかけるこ[3]となく，また水中の任意の場所のみの太陽光の投影を防ぐことによって，水面と水中の同時撮影が可能となる．図６[4]に，通常撮影を行った時の写真（左）と，局所的な液晶シャッタピクセルの制御によって被写体の見えを向上させる補助を行った場合の写真（右）を示す．

[5]

6. まとめと今後の展望
本稿では直射日光に照らされる屋外空間において肉眼には不可視だが，カメラでの撮影時にのみ透過/遮断パターン[6]

Burkl, J.O.. SUN_D. https://www.sun-d.ch/（参照：201712-14）
Song, J.. One Day Poem Pavilion.
http://people.artcenter.edu/~jsong5/thesis/index.html (参照：2017-12-14)
Surat Kwanmuang. Solar Pink Pong.
http://assocreation.com/project/solar-pink-pong/ (参照：2017-12-18)
Kishi, R., Kakehi, Y., and Naemura, T.. SteganoScan :Persistence of vision display with pixel-level visible light
communication projector. SIGGRAPH 2009 Posters,
SIGGRAPH '09. 2009, 103.
Suzuki, I. and Ochiai, Y.. Unphotogenic light: high-speed
projection method to prevent secret photography by small
cameras. SIGGRAPH 2017 Posters, SIGGRAPH ʼ17. 2017,
Article 65, 2 pages.
福田忠彦. CFF で示される中心視と周辺視の感度差. テレビジョン学会誌. 1978, vol.32, no.3, p.210-216.

を提示するシステムの提案と開発を行った．また，液晶シャッタ周波数の変化と透過/遮断パターンの視認性の評価© 2018 Information Processing Society of Japan428