研究報告書概要 2020 実施

人間と遊び錯視効果とプロジェクションマッピングによる
2D-3D 提 示 シ ス テ ム

千葉工業大学 先進工学部准教授 藤井 浩光

１．研究背景幼少期は、生涯に渡る人間形成の基礎を培う重要な時期である。
子供は遊びや日常生活を通して成長をするため、幼少期における教育は成長に大きな影響を与える。特に我々の生活空間は 3 次元の立体で構成されており、その形状を他者と共通のものとして認識することは必須である。
幼少時から空間認識能力を育む目的(a) 1 平面上の図で、積み木や嵌め合いパズルなどの知育玩具が提案・開発されてきているが、効果的な学習のためには実際に触れ合って対象を変図 1：アナモルフォーシスの例化させフィードバックを得るインタラクティブな体験が重要で流通する映像コンテンツの高解像度化を背景に、大画面での鑑賞ある。現在、児童向けの遊興施設などのアトラクションでは、周用に高解像度対応なプロジェクタが市場に登場してきている。
さ囲環境をセンシングし、その形状に応じたテクスチャをプロジェらに、昨今の新型ウィルスによる感染症対策により自宅で過ごすクションマッピングにより投影することで、ユーザとのインタラ時間が増加する中で、ホームシアターなどの用途で一般家庭プロクションを実現している。このようなシステムは、子供の空間認ジェクタの需要は益々高まり、市場も拡大してきている。このよ識能力とともに創造性を育む「遊び」道具として注目されている。

うな状況下で、プロジェクタを用いたアプリケーションも多様性

しかし、一般に大規模な装置が必要であり大型遊園地などでしかが増している。例えば、従来の映画やビデオなどの映像鑑賞以外体験できない。家庭で日常的に提供可能な、インタラクティブなにも、スクリーンの形状に合わせてコンテンツを提示するプロジ教材が必要とされている。

ェクションマッピングや、人感センサやカメラなどと併用してイ

絵本は、幼少期から想像力や知的好奇心を育む教育目的で広くンタラクティブな体験を可能とした教育向けコンテンツが提案利用されている。特に、仕掛け絵本と呼ばれる、本を開くと絵本されてきている。

助成研究Ｂの登場人物や建物が飛び出す仕掛けが施された絵本は、想像力な本研究では、以上の背景を基に、一般家庭における幼児向け教どと同時に空間認識能力も鍛えることが出来るため、教育効果の材としてのプロジェクタを利用したプロジェクションマッピン高い教材である。しかし、1 ページを製作するにも台紙となる部グによる電子的な仕掛け絵本を提案した（研究業績 [1] - [5]）。プ

分や、飛び出すための仕掛けとなる部分などの、複雑な構造を実ロジェクタによる投影は大画面での提示に適しており、鑑賞する現する必要がある。また、仕掛けの部分は本を閉じたときに折りのに子供に特別な機器の装着を必要としない。そのため、ヘッドたたまれることから、使用する紙に強度が求められ、仕掛け絵本

マウントディスプレイで指摘されている眼精疲労や斜視のリスの作成には高い技術力や多くの紙資源を必要とする。

クも低減でき、子供向けコンテンツの提示方法として適切である。

以上の背景から、本研究では家庭などで手軽に実現が可能な仕また、既存の娯楽コンテンツなどにも見られるように、プロジェ掛け絵本提示システムの構築を目的として取り組んだ。

クタと人感センサやカメラなどと併用することでインタラクテ２．要求仕様と課題に対するアプローチィブな体験が可能である。特に本研究では、アナモルフォーシス実現にあたって、我々の研究グループでは一般家庭におけるデと呼ばれる錯視を利用した絵画技術を用いて、2次元画像を3次ジタルコンテンツの鑑賞手段として、プロジェクタの普及が急速元的に提示する映像コンテンツ生成技術を開発した。例えば、図1 はタブレット端末などモバイル機器に搭載される単眼カメラに進んでいることに着目した。例えば、4K・8Kコンテンツなど

118(b) 2 平面上の描画- 1 -研究報告書概要 202財団レポート
0 実施

2019・2020

を通して鑑賞することで、 2 次元的なコンテンツを立体的に示した例である。特に、図1 (b)は、壁と床などの交差する2 平面などのプリミティブな形状をもつ物体に歪んだ図形を描いて特定の角度から提示することで立体的に見せた例である。
本研究では、このアナモルフォーシス技法を幾何学的に定式化し、センシングにより得られるユーザの位置姿勢から立体的に見える映像

図 2：投影システムを生成した。

図 3：別視点からの鑑賞結果

アナモルフォーシスによる錯視には、プロジェクタで投影する提示映像を鑑賞者の位置に応じて生成する必要がある。
提案シ
ステムでは ComputerGraphics（CG）環境内でピンホールカメラモデルとしてカメラおよびプロジェクタのモデルを作成し、ス
クリーン平面に対する両モデルの位置姿勢関係に基づく射影変換により錯視映像を生成した。具体的には、鑑賞者の位置から観図 4：2 画面への投影結果（“桃太郎”より）測したスクリーン上に透視投影変換されたシーンをプロジェクタの位置から観測されるスクリーン上の映像に射影変換し、実環本研究の成果は、本報告書最後の「本研究助成金に関わる業境において CG 内と同様に配置したプロジェクタから投影する績」に示した5つの国内外の学会において報告済み（[5] は採択ことで立体視映像を提示した。またアナモルフォーシスは、特定済み、報告予定）である。の位置から鑑賞した際に立体的に見えるような図を平面状に描画する絵画技法であるが、その鑑賞においては人の有する両眼視差が立体感を阻害することが課題となる。
本研究では鑑賞者の位

本研究助成金に関わる業績

置をトラッキングすることで提示映像上に運動視差を再現し、よ[1] 戸田 沙也香, 藤井 浩光: “仕掛け絵本の電子化のための錯視効果を用いたプロジェクションマッピング”,
日本機械学会ロボティクス・メカトロニクス講演会’
20 講演論文集（ROBOMECH2020）, 1A1-L02, 金沢,
May 2020. [doi:10.1145/3415264.3425470]

り立体的に鑑賞可能な手法を提案した。
本助成の研究期間において、以上の機能を備えた電子的な仕掛
け絵本を、一般家庭向けのプロジェクタ・カメラシステムとして構築した。特に、プロジェクションマッピングにおいては、プロ[2] Sayaka Toda, Hiromitsu Fujii, “Projection Mapped
Gimmick Picture Book by Optical Illusion-Based
Stereoscopic Vision”, The 13th ACM SIGGRAPH
Conference and Exhibition on Computer Graphics &Interactive Technique in Asia (SIGGRAPH Asia 2020),
Article No. 34. [doi:10.1145/3415264.3425470]

ジェクタから投影する映像が実環境のスクリーンに位置ずれなく投影されることが重要である。
このような位置ずれの補正をプロジェクタの位置姿勢などで試行錯誤的に調整することは利用者の負担が大きく、設置スペースに限りのある一般家庭向けのシタ・カメラシステムでは、これらの補正を自動で行うためのキャリブレーション手法も提案した。
３．検証結果と研究成果[4] 戸田 沙也香, 藤井 浩光:“錯視効果を用いた仕掛け絵本提示のためのプロジェクタ・カメラシステム”,
日本機械学会ロボティクス・メカトロニクス講演会’
21 講演論文集（ROBOMECH2021）, 2A1-M09, 大阪（オンライン）, June 2021.

構築したシステムを図 2 に示す。本研究では立体視の効果を高めるために多面スクリーンを設計し、家庭用プロジェクタを用いてシステムを構築した。提案システムでは、スクリーン上部のカメラで鑑賞者の位置姿勢をリアルタイムで計測し、鑑賞者からの視点から立体的に見えるアナモルフォーシス画像を提示した。
そのため、鑑賞者以外からは立体的には見えず図 3 のような外観となる。鑑賞者視点から見た場合の投影結果について、図4に示す。 両図の比較から、鑑賞者の視点から立体的に見える映像

助成研究Ｂ[3] 戸田 沙也香, 藤井 浩光：“プロジェクションマッピ
ングによる仕掛け絵本のための錯視効果を用いた立体視映像提示システム”, 第 21 回計測自動制御学会
システムインテグレーション部門講演会講演論文集（SI2020）, 3E3-01, December 2020.

ステムとしても適切ではない。本研究では提案したプロジェク[5] Sayaka Toda, Hiromitsu Fujii, “AR-Based Gimmick
Picture Book for Household Use by Projection Mapping”,
Proceedings of the 2021 IEEE 10th Global Conference on
Consumer Electronics (GCCE2021), Kyoto (Japan),
October 2021.

が提示できたことを確認した。

- 2 -119