情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B122021/3/10

行灯を用いたインタラクティブ映像システムの開発
畑田 彩花†1,a)

水野 慎士†1,b)

概要：ディジタル技術の発達はあらゆる分野に影響を与えており，芸術分野での利用も大きく広がってきた．その一例としてプロジェクションマッピング技術がある．プロジェクションマッピングの活用事例は日本の伝統建築や文化にも広がっている．この理由としては，日本の伝統文化にデジタル技術を組み合わせることで，本来の特徴や良さをそのまま生かしつつ，新たな価値が創造できることが挙げられる．本研究では，日本の伝統文化として行灯に着目して，行灯とプロジェクションマッピングを組み合わせたインタラクティブコンテンツを提案する．そして，行灯と行灯を置く机の上にプロジェクションマッピングを施しながら，行灯の位置や角度を変化させた際に，行灯の側面映像と机の映像が連動しながら変化する手法の開発とコンテンツの制作を行う．

1. はじめにミジの葉が浮かび上がる．そして，行灯を移動させると，水紋ができる位置やモミジが浮かび上がる位置も行灯と共ディジタル技術の発達はあらゆる分野に影響を与えておに移動する．また，行灯の角度を変化させた際には，行灯り，芸術分野での利用も大きく広がってきた．その一例と側面を流れ落ちるモミジの葉の色が変化して，その結果としてプロジェクションマッピング技術がある．東京駅へのして机に流れ出るモミジの葉の色も変化する．

プロジェクションマッピング[1]で大きな注目を集めて，その後は様々なイベントの演出として活用されている．そして近年は，お城[2]，古民家[3]，生け花[4]や古代遺物[5]など，日本の伝統建築や文化にプロジェクションマッピングを適用する事例が増えている．この理由としては，日本の伝統文化にデジタル技術を組み合わせることで，本来の特徴や良さをそのまま生かしつつ，新たな価値が創造できることが挙げられる．
本研究では，日本の伝統文化として行灯に着目する．そして，行灯を用いたインタラクティブプロジェクションマ

図 1 コンテンツ外観

ッピング手法の開発とコンテンツ制作を行う．筆者らはすでに行灯を用いたインタラクティブコンテンツを制作しているが[6]，そこでは行灯の明るさだけをコントロールして3. 手法

いた．本研究では行灯へインタラクティブ映像を映すこと3.1 システム構成を試みる．

本研究で制作するコンテンツを実現するには，行灯の 4つの側面への映像投影，行灯の位置と角度の取得，行灯の2. コンテンツ概要

映像や位置・角度に連動した机への映像投影，などの要素が必要になる．

本研究で制作するインタラクティブコンテンツは，行灯これらを実現するためのシステム構成を図 2 に示す．使の側面，および行灯を置く机の上に映像を映すとともに，用する機材としては，行灯と机の他，行灯の位置情報を取それらを行灯の位置や向きに合わせて連動させるものであ得するためのレーザレンジセンサ，行灯用のモバイルプロる．コンテンツの外観を図 1 に記す．

ジェクタ，机用のプロジェクタ，そして処理用 PC である．

コンテンツでは，床面が正方形の行灯を机の上に置く．

処理用 PC では，行灯追跡アプリケーション，行灯側面映

行灯は滝，机はその滝が落ちる水面をイメージしている．

像生成アプリケーション，机映像生成アプリケーションが行灯を動かさない状態では，行灯側面には水とモミジの葉稼働しており，行灯の位置情報や映像情報を各アプリケーが流れる映像が映し出されて，行灯が置かれた机の部分でションで共有している．

は，行灯から落ちた水が水紋を作り，行灯から流れ出たモ†1 愛知工業大学 情報科学部a) x17079xx@aitech.ac.jpb) s_mizuno@aitech.ac.jp© 2021 Information Processing Society of Japan397

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B122021/3/10

この変形映像をプロジェクタで投影すれば，球面鏡での反射と行灯への投影で再び変形して，元の映像として行灯に映し出される．

図2

全体の構成

3.2 行灯の四面への映像の投影
行灯の 4 つの側面に映像を投影する手法として，本研究ではモバイルプロジェクタと半球の球面鏡を使用する．図図4

光線の球面鏡反射と側面交差のシミュレーション

3 に行灯の構成を示す．
3.3 行灯の位置と角度の検出
行灯を動かしたときに行灯の側面映像を変化させたり，行灯の側面映像と机上の映像を連動させるためには，リアルタイムで行灯の位置と角度を取得する必要がある．これを実現するため，本研究では二次元レーザレンジセンサを使用した．また，行灯の底面の辺サイズ l は事前に計測して既知とする．
図 5 に行灯の位置と角度の取得の様子を示す．二次元レーザレンジセンサは机の約 2cm 上方を二次元的に 30（fps）でスキャンする．そのため，行灯を机に置いた場合には，
図 3 行灯の構成

行灯の 1 つまたは 2 つの側面がスキャンされる．そして，スキャン結果を二値画像として可視化すると，行灯のスキモバイルプロジェクタは行灯上部に設置して，球面鏡はャン結果は 1 本または 2 本の直線分として現れる．

行灯底部に設置する．そして，モバイルプロジェクタから実際にはスキャン結果には多くのノイズが含まれる．そ

球面鏡に向けて映像を投影すると，映像は球面鏡で反射しのため，毎フレームのスキャン二値画像を新しいフレームて行灯の 4 つの側面に投影される．

画像ほど大きな重みを与えながら加算する．そして，加算

球面鏡で反射して行灯側面に映った映像は，球面鏡に影結果に対するしきい値処理およびクロージング処理を施す

響によって曲線的に歪む．そのため，行灯側面に適切な映ことで，ノイズを低減したスキャン結果画像を取得する（図像を投影するには，反射による歪みを考慮して補正した映5(a)）．

像を生成する必要がある．

次にスキャン結果画像に対して領域輪郭抽出処理を施し

そこで本研究では，モバイルプロジェクタから投影されて，しきい値以上の輪郭がある領域の包含矩形を注目領域た映像が球面鏡で反射して行灯側面に映ったときにどのよ（ROI）とする．そして， ROI 内で確率的ハフ変換を施しうに変形するかをシミュレーションによって求めた．三次て，1 本の直線分，または直交に近い関係を持つ 2 本の直元 CG 空間に球面鏡と行灯側面を模した平面を設置して，線分を検出する（図 5(b)）．

プロジェクタに相当する位置から 16,000 本（100×160 本）検出された直線分が 1 本の場合，検出された直線分は行の光線を放出した．そして，光線が球面鏡で反射して行灯灯の一つの側面全体または両端が一様に切れた側面一部と側面と交差する位置を計算した（図 4）．

見なす．そのため，線分の角度は行灯の角度となる．また，投影シミュレーションによって，プロジェクタ映像の座直線分の中点は行灯の一つの側面の中央であり，そこから標と行灯側面に投影される映像の座標との位置関係が得ら

長さ l/2 直交線分を伸ばすことで，行灯の中心座標が得られる．そこで，その位置関係に基づいてプロジェクタ映像れる（図 5(b)）．

をあらかじめ変形させる．具体的には，行灯側面に映した検出された直線分が 2 本の場合，検出された直線分は行い映像を CG で生成したら，変形を考慮した二次元格子に灯の角を含む 2 つの側面全体または一部と見なす．そのたテクスチャとして貼り付けることで，変形映像を生成する．

め，2 本の直線分の交点は行灯の角点となる．角点から一© 2021 Information Processing Society of Japan398

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B12
2021/3/10

方の線分に平行な長さ l の直線分を伸ばせば，これは行灯の一つの側面全体となり，行灯の角度も得られる．
そして，その中点から長さ l/2 直交線分を伸ばすことで，行灯の中心座標が得られる．

(a) 変換前の画像(a) 可視化された行灯のスキャン結果(b) 変形後の画像(b) 行灯側面の直線分と中心座標の取得
図 5 レーザレンジセンサを用いた行灯の位置と角度の取得
3.4 机と行灯の映像の連動
本研究のシステムでは，3.2 節で述べた行灯側面映像生成アプリケーション，3.3 節で述べた行灯追跡アプリケーション，そして机映像生成アプリケーションが稼働しており，行灯の位置情報や映像情報を各アプリケーションで共有し(c) 行灯に投影された映像ている．共有データは，行灯の二次元座標と角度，表示オ

図6

行灯用映像の投影実験

図7

行灯用映像の投影実験

ブジェクトであるモミジの葉の個数と座標と色，などである．これらの情報はプロセス間通信またはネットワーク通信でテキストデータとして共有する．

4. 実験
本研究で提案したシステムを試作して実験を行なった．
使用した PC は MacBook Air で，映像生成に OpenGL，スキャン結果画像の解析に OpenCV を用いている．
図 6 に行灯用映像の生成と投影の様子を示す．初めに最終的に行灯に表示したい映像を生成する（図 6(a)）．次に，球面鏡による光線反射シミュレーション結果に基づいて映像を変形する（図 6(b)）．そして，変形した映像を行灯に設置したモバイルプロジェクタで投影すると，球面鏡で反射して行灯側面に映った映像は，意図したようになっていることを確認した（図 6(c)）．
図 7 に行灯を机の上に置いたときに様子を示す．行灯側面に投影された映像と机に投影された映像が連動しており，行灯から流れ落ちたモミジの葉が行灯の下から机に浮かび上がる様子が確認できた．そして，行灯の移動に応じて机の上でモミジが出現する位置も移動することを確認した．

© 2021 Information Processing Society of Japan399

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B122021/3/10

5. おわりに本研究では，行灯を用いたインタラクティブ映像システ
ムの開発を行った．実装実験では，行灯側面の映像と行灯が置かれた机の映像が連動するとともに，行灯の移動によって変化することを確認した．行灯を用いた新しいインタ
ラクティブコンテンツによって，日本の伝統文化に新しい魅力を追加できることが期待される．
今後の課題としては，複数の行灯への対応，本映像システムの特性を生かしたより魅力的なコンテンツ制作などが挙げられる．

参考文献
[1]

[2]
[3]

[4]

[5]

[6]

東京駅丸の内駅舎保存・復原工事完成記念 プロジェクショ
ンマッピング「TOKYO STATION VISION」, 入手先⟨https://www.nhk-ep.co.jp/service/media/projectionmapping/tokyo-station-vision/⟩ (参照 2020-12-25).
大阪城 3D プロジェクションマッピング 2014-2015, 入手先⟨https://youtu.be/iXBAxt2YeWo⟩ (参照 2020.12.25).
水野慎士, 小栗真弥, 小栗宏次, 安田孝美, 日本の伝統的住宅を用いたインタラクティブプロジェクションマッピング, 情報処理学会論文誌・デジタルコンテンツ, Vol. 7, No. 1, pp.
22–32 (2019).
岩崎妃呂子，水野慎士，秋葉陽児, いけばなと CG によるイ
ンタラクティブデジタルコンテンツ"デジタル枯山水"と"いけばな影絵", 情報処理学会論文誌・デジタルコンテンツ,
Vol. 5, No. 1, pp. 1–7 (2017).
迎山和司, 小林真幸: 国宝「中空土偶」へのインタラクティ
ブ・プロジェクションマッピングを使った新しい展示方法の検討, 芸術科学会論文誌, Vol. 14, No. 6, pp. 248–256 (2015).
小栗真弥, 水野慎士, 浦田真由, 遠藤守, 安田孝美建具の特徴を活かしたプロジェクションマッピングによる新しい和室演出の試み, 芸術科学会論文誌, Vol. 19, No. 5, pp. 86–97 (2020).

© 2021 Information Processing Society of Japan400