情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1C-61
2020/3/9

パターンの最適化による複数平面への文字情報の同時投影手法
平尾 勇人1

岩口 尭史1川崎 洋1

概要：2 台のプロジェクタを用いることで，投影対象の位置によって異なるパターンを投影する手法が近年提案されているが，光が何重にも重なることで投影像が全体的に薄くなる問題やノイズが写り込む問題，文字投影では小さな文字しか投影できない問題が発生する．本研究では投影像として文字を対象とする場合，投影される情報量は投影面上の配置に依存しない特徴に着目し，文字配置及びノイズの発生位置をコントロールすることで光が何重にも重なることを防ぎ，投影像が全体的に薄くなる問題を抑制する手法を提案する．また，ノイズの写り込みを文字と認識させないようにするため，文字の形状情報を２台のプロジェクタの投影画像に適切に分割する方法についても提案を行う．さらに実際の投影環境において文字を大きく投影するためのプロジェクタのセットアップについても提案を行う．また実験ではシンメトリー性を回避した文字分割を行うことで，投影される文字が指定投影面以外で推測できる割合が減少することを示す．

1. はじめにする．
我々は投影手法を改良するのではなく，投影画像の文字プロジェクタを用いて建造物等に画像を投影し，元の対の位置を変化させることで，望ましくない重なり合いを回象とは異なる映像情報を付加するプロジェクションマッピ避することを目指す．具体的には，投影画像上で配置を移ング技術が利用されている．一般にプロジェクタの投影画動可能な文字情報の投影を目標とし，投影画像内の他の投像は空間的に不変のものである．もし，プロジェクタを用

影面の写り込みのノイズが一定の間隔で現れる特性を利用いて異なる投影面に対して異なる情報を提示することがですることでノイズの発生位置をコントロールする．これにきれば，プロジェクタから投影できる情報量を増やすこと

よりノイズの発生位置と文字の描画位置の分離，ノイズどが可能となり，モノづくりの現場等において目視で部材をうしの領域を重ね合わせて文字投影領域の確保ができるた

設置する位置を確認しながら作業を進める等の AR・MR

め，望ましくない重なり合いを回避した投影画像の作成がデバイスとして使用する等の，プロジェクタの新しい利用可能となる．

方法が考えられる．

我々は文字情報を２つのプロジェクタの投影画像に分割我々はこれまで異なる投影面に異なる情報を提示するこする方法について提案を行う．従来手法では文字形状情報とを目的として，2 台のプロジェクタを用いて複数の深さを分割しないため，片方のプロジェクタ画像が指定投影面で平面や自由形状に異なる画像や文字を投影する手法が提以外に作る写り込みが文字として認識できてしまう問題が案されている [1], [2]．これは，異なる投影面の深さにおい存在する．本手法では大きなドットを用いて文字を構成すて各プロジェクタからピクセルの色を合成・打ち消しあうることで形状を分割し，非投影対象平面に発生する写り込パターンを投影することで，複数の深さで異なる画像や文みが文字として認識されないようにする．また写り込みが字を投影するものである．

文字と認識されないため，写り込みを打ち消す必要が無く，この手法では，２つのプロジェクタによる投影画像の望画像が全体的に薄くなる問題を解消できる．

ましくない重なり合いにより，図 1 のように他の投影面でまた２つのプロジェクタの物理的配置のセットアップをの文字や画像が背景に写り込む問題や, 図 2 のように写り変更することで，小さい文字しか投影できない問題の解消

込みを打ち消すため画像が全体的に薄くなる問題が発生も行っている．デモでは実際に作成したパターンを投影しする．また，この手法で投影できる文字は図 4 のようにサ提案手法の有効性を実証する．

イズが小さく，視認性が低いものとなっている問題が存在1

九州大学© 2020 Information Processing Society of Japan403

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1C-61
2020/3/9

図 3 白色ドットを使用した３平面投影手法
図 1

投影像における写り込みの発生例

図 4 他の投影面の写り込みの影響が無い投影手法

平尾らは白いドットを文字以外の部分に振りまくことで，ノイズを減少させながら文字投影を行う手法を考案する [5]．またこの手法では３つ以上の投影面に対し，異な図 2 投影画像が薄くなる例 (左：同時投影手法を用いた実際の投影像，右：同時投影しない場合の投影像)

る文字を投影することが可能となる．さらに他の投影面の文字が写り込んでしまう問題を解消するため，著者らは投影画像の色を白，黒，灰色の３色に限定した文字投影が考2. 関連研究

案されている [4]．この手法では，完全に他の投影面の影響を０にすることが可能となる．

近年 2 台のプロジェクタを使用して，2 つ以上の平面これらの従来手法では写り込みから他の投影面の情報をに異なる投影像を投影する手法が複数考案されている．

推測できてしまう．そこで，写り込みを打ち消すため，何Scarzanella らは２台のプロジェクタから平面や３次元的な重にも投影画像を重ねる必要があった．提案手法では文字曲面に対し，プロジェクタから投影物体の距離に応じて投をドットを用いて構成することで，写り込みを文字だと認影される画像が変化するシステムを提案している [2]．さ識されないようにするため打ち消す必要がない．

らに蛭川らは，2 つのプロジェクタを用いて，2 つの位置に設置された異なる任意形状の物体に対して異なる映像を投影することに成功している [1]．

3. 投影画像の作成
本システムは，2 つのプロジェクタの投影光を重ね合わ

石原は複数のプロジェクタから平面に対して投影したいせることで複数の平面で異なる画像の同時投影を実現す

画像と実際に投影される画像の全体の輝度変化をできるだる．図 5 を用いてその原理を簡単に説明する．図 5 の例でけ一致させることで２つの投影面に異なる画像を投影する

は，投影面 1 では青色の「１」「３」の文字，投影面 2 では手法を提案している [3]．実際に投影を行いたい画像と実際黄色の「２」「４」の文字が投影することが目標である．の投影画像の間の輝度変化のみを保存するため，実際の投( 1 ) まず図 5(a) のように投影面 1 の 1 列目を投影する際影では色味が少し変わってしまう問題点が発生している．に投影面 2 にどのようにノイズが発生するかを計算す© 2020 Information Processing Society of Japan404

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1C-61
2020/3/9

る．図 5(a) のプロジェクタセットアップでは，投影面2 では投影面 1 の文字のノイズは左右 2 つの位置に発Noise

Noise

TargetDepth 2

TargetDepth 2

TargetDepth 1

TargetDepth 1

Projecting
pattern

Projectingpattern

生する．

( 2 ) このノイズの発生位置を片方共有するように投影面 1の 2 列目以降を図 5(b) のように描画するといった手順で投影画像を作成する．

( 3 ) このようにして投影面 1 の情報を作成した後，図 5(b)のように投影面 2 でのシミュレーション画像を計算

Projector

Projector

し，どのようにノイズが発生するかを計算する．

(a)とで図 5(c) のような投影画像を作成する．
図 5(c) に示されているように，投影面 2 の黄色の文字の描(b)Noise

その後，投影面 2 のシミュレーション画像のノイズ間の空いているスペースに投影面 2 の文字を挿入するこProjector

Projector

TargetDepth 2

画には投影面 1 の文字描画に使用していない部分が使われるため，文字と写り込みが重ならない配置が実現できる．
今回の手法ではノイズの発生位置と文字が投影される位置は重なることがない．また，図 5(b) のようにノイズの発生

TargetDepth 1位置を共有することで発生位置を減らしているため，文字の投影領域を広く確保できる．よって視認性の高い投影が行うことが可能となっている．
以上の原理から，2 つのプロジェクタからの投影画像にProjectingpatternは図 5(c) のように，投影面 1 と投影面 2 で投影したい文字が交互になるように文字を配置する．

4. 写り込みの低減

Projector

Projector(c)2 つの投影画像の望ましくない重なり合いにより図 3 の

図 5 複数パターン投影原理 ((a):投影面 1 の 1 列目描画におけるノ左下部分に見られるような他の投影面の写り込みが生じる

イズ発生位置,(b):ノイズを共有する投影面 1 の 2 列目以降描原因として，片方のプロジェクタの投影画像のみの写り込画位置,(c):投影面 2 の描画位置におけるノイズ発生位置

みでも文字が認識されてしまう問題が存在する．投影画像
作成段階における，この問題の解消方法を説明する．

２つの投影面への分配比率だけをコントロールする．

4.1 写り込みを防止する適切な文字形状の分割

4.2 写り込み情報の背景への溶け込み

従来手法では文字の形状を適切に分割できていないた

4.2.1 投影画像に使用する点の大きさや密度

め，片方のプロジェクタの投影画像から投影したい文字情投影画像に使用する点が小さい場合，指定投影面以外の報が推測できてしまう．ドットを用いて文字を構成する提場所でも点の密度が大きいため小さい点同士の間を補完し案手法では，文字を構成するドットを２つのプロジェクタて文字が読めてしまう場合が存在する．このため投影画像の投影画像にそれぞれ配分できる．指定された投影面以外に使用する点をできるだけ大きくし、文字を構成する点のの投影では文字の構成点の半分だけの点となったノイズと数はできるだけ少なくなるよう構成する．

して投影されるため，穴抜きの文字となり片方のプロジェ

4.2.2 使用するドットの色クタの投影画像から投影したい文字情報が推測できないも文字の構成点の色については投影面での視認性を確保すのとなる．これにより，他の投影面では写り込みから文字るため RGB それぞれ 128 以上の範囲の中かランダムに決を読めなくさせることが可能となっている．

定している．文字ごとに色に違いを出すことで指定投影面4.1.1 シンメトリーな文字が補間され認識される問題

での視認性を向上させるために，同じ文字の構成点は同じシンメトリーになるよう文字の構成点を２つのプロジェクタで分けた場合，片方のプロジェクタ画像でも図 15 のように，対称性からドットの間を補間して文字が認識されてしまう特徴が存在する．このため，文字の構成点がどちらのプロジェクタから投影されるかはランダムに決定し，© 2020 Information Processing Society of Japan色としている．

5. プロジェクタからの実投影手法
5.1 投影文字スケールが拡大可能なセットアップ
従来手法 [4] では，２つのプロジェクタの投影領域が重405

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1C-612020/3/9

幾何キャリブレーションレーション誤差 (単位:px)76543210

従来手法

提案手法
X軸

図 7

図 6 今回の実験環境におけるセットアップ

Y軸

幾何キャリブレーションの精度評価

れらの問題を解消するため，距離誤差については幾何キャリブレーション，色の問題については輝度キャリブレーなる範囲をできるだけ大きくするため２つのプロジェクタションを行う．

はほぼ平行に，また２つのプロジェクタの間隔を空けるこ

5.2.1 幾何キャリブレーションとなくセットアップされていた．このセットアップでは投提案手法ではグレーコードをプロジェクタから投影する

影面の奥行方向の移動距離に対して投影領域の移動距離がことで幾何キャリブレーションを行う．このグレーコード

少なく他の投影面の写り込みが投影面内に多く残る問題点

キャリブレーションでは，プロジェクタから投影面であるが存在する．これにより投影する文字のサイズが小さくなチェッカーボード上にグレーコードを投影している映像をるという問題点も同時に存在する．

カメラでキャプチャすることで，プロジェクタの投影画像

今回の提案手法では図 6 のように２つのプロジェクタに大きく傾きをつけるセットアップを行うことでこの問題上の位置と投影面のチェッカーボードの交差点の位置を整合させている．

点を解消する．これにより，２つのプロジェクタの投影領提案手法では投影対象の輪郭を使用せず，チェッカー域の共通部分は減少するが，より他の投影面のノイズが上ボードを用いるため，従来手法 [1] での問題点を回避する

下方向に移動し，そのノイズの間にサイズの大きな文字をことが可能となる．提案手法では，チェッカーボードを使投影することが可能となる．従来手法 [4] では２台のプロ用して交差点 70 点を使用し，幾何キャリブレーションをジェクタの角度は約 5 度に設定されており，投影画像上で行う．これにより，図 7 のように従来手法 [4] では投影画高さ 20px 程度の文字投影が限界であった．提案手法では像上で約 6px あった投影誤差が提案手法では約 2px ほどま

２台のプロジェクタの角度は約 45 度に設定されており，で減少する．

40px 程度の文字投影が可能となる．

5.2.2 輝度キャリブレーション
プロジェクタからの投影光の色が投影画像と異なる問題

5.2 キャリブレーションを解消するため，輝度キャリブレーションを行う．提案手

今回の提案手法では 2 つのプロジェクタに大きな角度法では，実際にプロジェクタから RGB についてそれぞれを付けて投影しているため，投影面の移動距離に対して投255 段階の単色光を投影し，投影された光の色をカメラを影面上の光の移動距離が大きくなる．そこで，2 台のプロ用いてキャプチャする．これにより得られた実際のプロジェクタの投影光を極めて正確に重ねる必要がある．このジェクタからの投影光の色と，投影画像の光を比較し誤差ため以下の 2 つの要素が重要となる．

が小さくなるよう投影画像の色を修正する操作を行う．こ( 1 ) プロジェクタから投影面へズレがなく正確に投影でき

れにより図 8 のようにプロジェクタの投影光の色のズレはること( 2 ) プロジェクタへ入力した画像の色と投影光の色にズレが存在しないこと
従来手法 [1] ではプロジェクタから投影面への投影位置計視認されない範囲まで抑えることが可能となる．

6. 実験
6.1 実環境における投影実験算を行う際に投影対象の輪郭を使用している．このため投投影像の視認性を確認するため，実環境において投影実影面と背景の色が似ている場合や投影面と投影面以外の物験を行う．実験風景の様子を図 6 に示す．2 台のピコプロ体との距離が近い場合などに投影誤差が発生してしまう問ジェクタを縦置きに配置し，POINTGRAY のカメラを配題が発生している．また，プロジェクタから投影される光置する．ピコプロジェクタは VIVTEK 社の QUMI-Q8 をの色についても図 8 のようなレスポンスカーブの非線形性

2 台使用している．

から，投影画像と投影光の色が異なる問題も発生する．こ© 2020 Information Processing Society of Japan

提案手法により，図 9,10 のような 2 台のプロジェクタか406

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1C-61
2020/3/9

観測輝度 (縦軸:観測輝度 横軸:投影輝度)
120
100

80
60
40
200
1

2141

61

81

101

121

修正後

141

161

181

201

221

241

修正前

図 8 輝度キャリブレーションの評価

図 11

提案手法における投影面 1 のシミュレーション

図 12

提案手法における投影面 2 のシミュレーション

図 13

実際のプロジェクタを使用した投影面 1 の様子

図 9 提案手法におけるプロジェクタ 1 からの投影画像 (投影領域を拡大)

図 10

提案手法におけるプロジェクタ 2 からの投影画像 (投影領域を拡大)

6.2 文字のシンメトリー性の評価実験
ら投影される画像 2 枚を作成した．２つのプロジェクタ画

今回適切な文字形状分割により写り込みが文字と認識さ像を指定された位置で重ね合わせたシミュレーション画像

れない効果を評価するため、11 人の実験協力者により実験は図 11,12 のようになっており，実環境では図 13,14 のよを行う．今回の実験では，片方のみのプロジェクタ画像かうな投影像が確認された．実際に指定された位置で文字がら考えられる写り込みとしての文字推測結果を記録する．

視認できることが確認できる．

被験者は図 15 のようにシンメトリーを回避しない投影画© 2020 Information Processing Society of Japan407

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1C-61
2020/3/9

上や，文字の分割手法の向上, 拡張現実 (AR) や複合現実(MR) での応用手法が考えられる．
参考文献
[1]

図 14

図 15

実際のプロジェクタを使用した投影面 2 の様子

Takuto Hirukawa, Marco Visentini-Scarzanella, HiroshiKawasaki, Ryo Furukawa, and Shinsaku Hiura. Simultaneous independent image display technique on multiple 3dobjects. In The proceeding so the 13th Asian Conference
on Computer Vision (ACCV2016), 2016.
[2] Marco Visentini-Scarzanella, Takuto Hirukawa, Hiroshi
Kawasaki, Ryo Furukawa, and Shinsaku Hiura. A twoplane volumetric display for simultaneous independentimages at multiple depths. In PSIVT workshop Vision
meets Graphics, pp. 1–8, 2015.
[3] 石原葵, 久保尋之, 舩冨卓哉, 向川康博. 画像調整法を用いた 4 次元光線空間生成による多重スクリーンへの個別情報
提示. 研究報告コンピュータビジョンとイメージメディア（CVIM）, Vol. 199, No. 25, 2015.
[4] 平尾勇人, 川崎洋. パターンの最適化による複数平面への文字情報の同時投影手法. 画像の認識・理解シンポジウム（MIRU）, 2018.
[5] 平尾勇人, 日浦慎作, 古川亮, 川崎洋. 複数投影パターンの重ね合わせにより複数深度に異なる情報を提示するためのパターン最適化手法. 研究報告コンピュータビジョンとイメージメディア（CVIM）, 2017.

シンメトリー性を回避しない投影画像 (投影領域を拡大)像と提案手法である図 9 のようなシンメトリーを回避した投影画像を見た後，それぞれについて推測した文字の回答を行う．被験者に回答してもらった文字の中から、投影目標文字と一致する文字の割合を測定し、正答率として計算する．正答率は図 15 の画像では 89 ％, 提案手法である図9 の画像では 39 ％となった．この結果からシンメトリー性を回避することが文字の認識率を下げるため有効であると結論付けられる．

7. 結論
本研究では投影画像を文字列に限定し，文字の投影位置やノイズの発生位置を最適になるようコントロールする手法を提案した．また文字情報を２つのプロジェクタ画像に適切に分割することで文字と認識されない写り込みを作成し，従来手法で問題となっていた写り込みの打ち消し処理を回避し，同時に複数行にわたる文字列描画も可能となった．さらに，2 つのプロジェクタに大きく傾きをつけることにより，より大きな文字の投影も可能となった．以上の提案手法により，2 台のプロジェクタでもコントラストの高い情報提示手法を提案した．
提案手法は，プロジェクションマッピングの新たな表現技法となり得る．今後の課題として，さらなる視認性の向© 2020 Information Processing Society of Japan408