(57)【要約】【課題】実物体に含まれた領域が背景から浮き上がり、当該領域の背景領域に対する見掛けの高さが時間変化すると錯覚させる影の映像を自動生成する。【解決手段】映像生成装置は、標的対象に対応する空間領域であって背景よりも暗い暗領域を含む暗領域画像と、暗領域に与える動きを特定する制御情報と、を入力とし、制御情報に従って暗領域に動きを与えて得られる動領域に対し、標的対象に対応する空間位置のマスク領域の画素を動領域よりも明るい画素に置き換えるマスク処理を行って得られる影領域、を含む映像を得て出力する。この映像に対応する出力映像を実物体に重畳することで、出力映像が重畳された実物体を見た観察者に、標的対象に対応する実物体に含まれた標的領域が背景領域から浮き上がり、背景領域に対する標的領域の見掛けの高さが時間変化すると錯覚させる。【選択図】図２
2019186762.tif 000002
【特許請求の範囲】
【請求項１】
標的対象に対応する空間領域であって背景よりも暗い暗領域を含む暗領域画像と、前記暗領域に与える動きを特定する制御情報と、を入力とし、前記制御情報に従って前記暗領域に動きを与えて得られる動領域に対し、前記標的対象に対応する空間位置のマスク領域の画素を前記動領域よりも明るい画素に置き換えるマスク処理を行って得られる影領域、を含む映像を得て出力する映像生成部を含み、
前記映像に対応する出力映像を実物体に重畳することで、前記出力映像が重畳された前記実物体を見た観察者に、前記標的対象に対応する前記実物体に含まれた標的領域が背景領域から浮き上がり、前記背景領域に対する前記標的領域の見掛けの高さが時間変化すると錯覚させる前記映像を生成する、映像生成装置。
【請求項２】
請求項１の映像生成装置であって、
前記動領域のそれぞれは、前記暗領域を空間的に平行移動させた領域であり、
前記暗領域から任意の距離離れた位置で見た前記暗領域に対する前記動領域の移動量の視角が０．３５度以下である、映像生成装置。
【請求項３】
請求項１または２の映像生成装置であって、
前記動領域のそれぞれは、
前記暗領域から前記観察者側に向かう方向成分を含む方向に、
前記暗領域を空間的に平行移動させた領域である、映像生成装置。
【請求項４】
請求項１から３の何れかの映像生成装置であって、
前記暗領域に対する前記動領域の移動量は、所定時間区間において単調増加するか、または、前記所定時間区間において単調減少し、
前記所定時間区間は０．５秒以上である、映像生成装置。
【請求項５】
請求項１から４の何れかの映像生成装置であって、
前記暗領域の鮮鋭度は前記標的対象の鮮鋭度よりも低い、映像生成装置。
【請求項６】
請求項１から５の何れかの映像生成装置であって、
前記暗領域に対する移動量が第１値である前記動領域の明るさは、前記暗領域に対する移動量が第２値である前記動領域の明るさよりも低く、
前記第１値は前記第２値よりも小さい、映像生成装置。
【請求項７】
請求項１から６の何れかの映像生成装置であって、
（１）前記標的対象と前記背景とを表す標的画像を入力とし、前記標的画像のうち基準よりも暗い空間領域に対応する前記暗領域と前記暗領域の周辺領域とを含む前記暗領域画像を得る閾値化部をさらに有し、前記標的対象のすべての領域は前記背景よりも暗く、前記基準は、前記標的対象よりも明るく、前記背景よりも暗い明るさを表し、前記暗領域よりも前記周辺領域の方が明るい、または、
（２）前記標的対象と前記背景とを表す標的画像を入力とし、前記標的画像のうち基準よりも明るい空間領域に対応する前記暗領域と前記暗領域の周辺領域とを含む前記暗領域画像を得る閾値化部をさらに有し、前記標的対象のすべての領域は前記背景よりも明るく、前記基準は、前記標的対象よりも暗く、前記背景よりも明るい明るさを表し、前記暗領域よりも前記周辺領域の方が明るい、映像生成装置。
【請求項８】
請求項１から６の何れかの映像生成装置であって、
（１）前記標的対象と前記背景とを表す標的画像を入力とし、前記標的画像のうち基準よりも暗い空間領域に対応する前記暗領域と前記暗領域の周辺領域とを含む前記暗領域画像を得る閾値化部をさらに有し、前記標的対象のエッジ領域は前記標的対象の内部領域よりも暗く、前記エッジ領域および前記内部領域は前記背景よりも暗く、前記基準は、前記エッジ領域よりも明るく、前記内部領域および前記背景よりも暗い明るさを表し、前記暗領域よりも前記周辺領域の方が明るい、または、
（２）前記標的対象と前記背景とを表す標的画像を入力とし、前記標的画像のうち基準よりも明るい空間領域に対応する前記暗領域と前記暗領域の周辺領域とを含む前記暗領域画像を得る閾値化部をさらに有し、前記標的対象のエッジ領域は前記標的対象の内部領域よりも明るく、前記エッジ領域および前記内部領域は前記背景よりも明るく、前記基準は、前記エッジ領域よりも暗く、前記内部領域および前記背景よりも明るい明るさを表し、前記暗領域よりも前記周辺領域の方が明るい、映像生成装置。
【請求項９】
請求項１から８の何れかの映像生成装置であって、
前記標的対象は、前記実物体に含まれた前記標的領域に対応し、
前記出力映像の前記標的対象に対応する空間領域のエッジを前記標的領域のエッジに重畳することで、前記観察者に、前記標的領域が前記背景領域から浮き上がり、前記背景領域に対する前記標的領域の見掛けの高さが時間変化すると錯覚させる前記映像を生成する、映像生成装置。
【請求項１０】
請求項９の映像生成装置であって、
前記マスク領域は、前記標的対象に対応する空間領域のエッジ部分である、映像生成装置。
【請求項１１】
請求項１から１０の何れかの映像生成装置であって、
前記マスク処理は、前記動領域における前記マスク領域の画素を前記動領域の周辺の画素と同一または略同一の輝度の画素に置き換える処理である、映像生成装置。
【請求項１２】
請求項１から１１の何れかの映像生成装置であって、
前記標的対象は前記実物体に含まれた前記標的領域に対応し、
前記映像を入力とし、前記映像を前記標的領域に位置合わせした前記出力映像を得て出力する空間変換部をさらに有し、
前記出力映像を前記実物体に投影することで、前記観察者に、前記標的領域が前記背景領域から浮き上がり、前記背景領域に対する前記標的領域の見掛けの高さが時間変化すると錯覚させる前記映像を生成する、映像生成装置。
【請求項１３】
標的対象に対応する空間領域であって背景よりも暗い暗領域を含む暗領域画像と、前記暗領域に与える動きを特定する制御情報と、を入力とし、前記制御情報に従って前記暗領域に動きを与えて得られる動領域に対し、前記標的対象に対応する空間位置のマスク領域の画素を前記動領域よりも明るい画素に置き換えるマスク処理を行って得られる影領域、を含む映像を得て出力する映像生成ステップを含み、
前記映像に対応する出力映像を実物体に重畳することで、前記出力映像が重畳された前記実物体を見た観察者に、前記標的対象に対応する前記実物体に含まれた標的領域が背景領域から浮き上がり、前記背景領域に対する前記標的領域の見掛けの高さが時間変化すると錯覚させる前記映像を生成する、映像生成方法。
【請求項１４】
請求項１から１２の何れかの映像生成装置としてコンピュータを機能させるためのプログラム。
【請求項１５】
標的領域が含まれた画像を表す第１データと、
前記標的領域の複数種類の影の動きに対応する映像をそれぞれ表した映像群または画像群である第２データと、
前記標的領域の複数種類の影の動きを特定するパラメータ群を表す第３データと、を有し、
前記第１データと前記第２データと前記第３データとが互いに対応付けられており、
前記第２データで表された影は前記標的領域の背景領域よりも暗く、
前記第３データで表された前記パラメータ群に属する各パラメータは、前記第２データで表された前記標的領域の影の動きのそれぞれに対応付けられており、
前記第１データ、前記第２データ、および前記第３データが映像表示装置に入力され、
前記映像表示装置が、
前記第１データと前記第２データと前記第３データとが互いに対応付けに従って、
前記第１データに含まれる前記画像によって表される前記標的領域を含む実物、
前記第１データに含まれる前記画像によって表される前記標的領域を含む仮想物、
または、前記第１データに含まれる前記画像によって表される前記標的領域が印刷または描かれた物、
または、前記第１データに含まれる前記画像、
（以下、「実物体」という）
に対して、
前記第３データで表された前記パラメータ群に属する何れかのパラメータに対応する前記第２データで表された前記標的領域の影の動きを表す映像または画像群を、
前記映像表示装置によって重畳することによって、
前記映像または画像群が重畳された前記実物体を見た観察者に、前記標的領域が背景領域から浮き上がり、前記背景領域に対する前記標的領域の見掛けの高さが時間変化すると錯覚させることに用いられるデータ構造。
【請求項１６】
請求項１５のデータ構造であって、
前記標的領域は、絶対値が零より大きい空間周波数成分である第１エッジを含み、
前記映像群または画像群は、前記第１エッジに対応する第２エッジを含み、
前記第１データは、前記画像を表す画像データと、前記画像データの水平位置情報および垂直位置情報と、が対応づけられたデータであり、
前記第２データは、前記映像群に含まれる映像または前記画像群に含まれる画像を表す像データと、前記像データの水平位置情報および垂直位置情報と、が対応づけられたデータであり、
前記第１データが含む前記画像データの水平位置情報および垂直位置情報と、前記第２データが含む前記像データの水平位置情報および垂直位置情報とが対応付けられており、
前記第１データおよび／または前記第２データは、前記第１データが含む前記画像データの水平位置情報および垂直位置情報と、前記第２データが含む前記像データの水平位置情報および垂直位置情報と、を対応つける対応情報を含み、
前記重畳は、
前記映像表示装置が、前記対応情報、前記第１データが含む前記画像データの水平位置情報および垂直位置情報、および、前記第２データが含む前記像データの水平位置情報および垂直位置情報に従って、
前記実物体における前記標的領域の前記第１エッジの水平位置および垂直位置に、前記第３データで表された前記パラメータ群に属する前記パラメータに対応する前記第２データで表された前記標的領域の影の動きを表す映像または画像群の前記第２エッジの水平位置および垂直位置を合わせて、前記実物体に前記映像または画像群を重ね合わせることである、データ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚的な錯覚を引き起こす技術に関し、特に、動きの錯覚を引き起こす技術に関する。
【背景技術】
【０００２】
一般に画像中の対象に影をつけるためにはコンピュータグラフィックスが利用される。市販のコンピュータグラフックスソフトウェアを用いることで、画像内の対象へ簡便に影をつけることができる。このソフトウェアを使うことで物理的に正しい影を画像内の対象に付与することができる。
【０００３】
一方で、コンピュータグラフィックスにおける投影図法を工夫することで、画像内の対象の大きさを変えないまま近傍領域に落ちる影の位置や形状だけを変化させ、その対象が錯覚で浮き上がって見えるようにする技術が報告されている。例えば、対象Aとその背後に対象Aとは異なる対象Bがあるとする。対象Aは対象Bよりも想定物理サイズは小さいとする。カメラの撮影方向軸上に対象Aと対象Bがあり、対象Aの外側に対象Bが視認可能であるとする。対象Aが対象Bと接している状態をレンダリングすると、対象Aは対象Bに影を生成しない。一方で、対象Aが対象Bと異なる奥行位置関係にあり、光源が撮影方向軸上から離れた位置にあり、かつ対象Aが対象Bよりもカメラに近い場合、対象Aは対象Bに影を生成する。一方で、対象Aの大きさは、対象Aが対象Bから離れる前と後では変化する。具体的には、カメラに近づくにつれ、対象Aの大きさは大きくなる。非特許文献１では、カメラの撮影方向軸に直交するように対象Aにあたる正方形と対象Bにあたる背景とを配置する。正方形をカメラ方向に近づけたとき、正方形は背景に影を落とす。普通であれば正方形がカメラに近づいた時に正方形の大きさは大きくなるが、非特許文献１では正方形の大きさ変化を排除するため、撮影時に垂直投影を用いている。これにより、正方形の奥行きを変更した時に、正方形の大きさを変えずに正方形の影を背景に生成できる（非特許文献１等参照）。この技術を使うことで、正方形があたかも背景から浮き上がっているかのような錯覚を与えることができる。またテーブルトップ画面上に配置された３次元対象の近傍領域を暗くし、あたかもその領域に影が落ちているかのように見せることのできる芸術作品も発表されている（例えば、非特許文献２等参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Kersten, D., Knill, D. C., Mamassian, P., & Bulthoff, I. (1996). "Illusory motion from shadows," Nature, 379(6560), p. 31, [2018年3月14日検索], インターネット＜https://doi.org/10.1038/379031a0＞
【非特許文献２】Joon Y. Moon, "Augmented shadow," (2010), [2018年3月14日検索], インターネット＜http://joonmoon.net/Augmented-Shadow＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
先行技術では画面上に表示された対象に影を付加する手法や、画面中の対象に影による奥行き効果を与える手法が提案されてきたものの、実物体に含まれた領域が背景から浮き上がり、当該領域の背景領域に対する見掛けの高さが時間変化すると錯覚させる影の映像を自動生成する技術は知られていない。非特許文献１では、垂直投影法を利用することで対象の大きさは変えずに影の位置だけを変え、画面上の対象が異なる奥行きにあるように錯覚させることを実現する技術が提案された。一方で、この手法を利用するには、コンピュータグラフィックスにおける投影図法、光源設定、物体のモデリングといった高度な知識が必要である。また、非特許文献１の処理を実装するには、コンピュータグラフィックスの専門ソフトウェアが必要であり、一般的な画像処理ソフトウェアで処理を実装することはできない。また、実物体に含まれた領域に影を付けるという目的を非特許文献１で実装しようとすると、影を付与したい実物体の３次元情報を正確に把握し、その３次元情報をコンピュータグラフィックスの専門ソフトウェアで利用できるような様式に落とし込む処理が必要であるが、この処理には時間がかかるため、影を付与したい実物体に形状や位置や位置の変更が生じた場合に即座に対応することができない。以上のことから、実物体に影を付与し実物体が背景から浮き上がっているような錯覚を生じさせるためには、計算が経済的である簡便な画像処理技術を利用することが望ましい。非特許文献２で用いられている技術は、光源を想定した際に実物体が落とす影をテーブルトップ画面上に表示するものであるが、実物体の領域の見掛けの高さは一定である。
【０００６】
本発明はこのような点に鑑みてなされたものであり、実物体に含まれた領域が背景から浮き上がり、当該領域の背景領域に対する見掛けの高さが時間変化すると錯覚させる影の映像を自動生成する簡便な画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
標的対象に対応する空間領域であって背景よりも暗い暗領域を含む暗領域画像と、暗領域に与える動きを特定する制御情報と、を入力とし、制御情報に従って暗領域に動きを与えて得られる動領域に対し、標的対象に対応する空間位置のマスク領域の画素を動領域よりも明るい画素に置き換えるマスク処理を行って得られる影領域、を含む映像を得て出力する。この映像に対応する出力映像を実物体に重畳することで、出力映像が重畳された実物体を見た観察者に、標的対象に対応する実物体に含まれた標的領域が背景領域から浮き上がり、背景領域に対する標的領域の見掛けの高さが時間変化すると錯覚させる。
【発明の効果】
【０００８】
以上により、実物体に含まれた領域が背景から浮き上がり、当該領域の背景領域に対する見掛けの高さが時間変化すると錯覚させる影の映像を簡便な画像処理技術で自動生成することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は実施形態の錯覚システムの構成を例示するための概念図である。
【図２】図２は実施形態の映像生成装置を例示するためのブロック図である。
【図３】図３Ａは実施形態の閾値化部の処理を例示するための図である。図３Ｂは画像ぼけ付与部の処理を例示するための図である。
【図４】図４は実施形態の動き計算部、位置移動部、および輝度変更部の処理を例示するための図である。
【図５】図５は影領域の移動と観察者の知覚内容との関係を例示するための図である。
【図６】図６Ａは実施形態のマスク処理部の処理を例示するための図である。図６Ｂは実施形態の行列生成部のホモグラフィ行列生成処理を例示するための図である。
【図７】図７は実施形態の空間変換部の処理を例示するための図である。
【図８】図８Ａは実施形態の実物体を例示するための図である。図８Ｂは実施形態の出力映像を実物体に重畳した様子を例示するための図である。
【図９】図９は実施形態の閾値化部の処理を例示するための図である。
【図１０】図１０Ａは実施形態の実物体を例示するための図である。図１０Ｂは実施形態の出力映像を例示するための図である。
【図１１】図１１は実施形態の出力映像を実物体に重畳した様子を例示するための図である。
【図１２】図１２Ａは実施形態の映像生成装置の処理を例示するための図である。図１２Ｂは実施形態の出力映像を実物体に重畳した様子を例示するための図である。
【図１３】図１３は実施形態の映像表示システムの構成を例示するための概念図である。
【図１４】図１４は実施形態の映像表示システムの構成を例示するための概念図である。
【図１５】図１５Ａおよび図１５Ｂは実施形態の映像表示システムの構成を例示するための概念図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。
［概要］
まず本実施形態の概要を説明する。
実施形態の映像生成装置は、標的対象に対応する空間領域であって背景よりも暗い暗領域を含む暗領域画像と、暗領域に与える動きを特定する制御情報と、を入力とし、制御情報に従って暗領域に動きを与えて得られる動領域に対し、標的対象に対応する空間位置のマスク領域の画素を動領域よりも明るい画素に置き換えるマスク処理を行って得られる影領域、を含む映像を得て出力する映像生成部を含む。当該映像に対応する出力映像を実物体に重畳することで、出力映像が重畳された実物体を見た観察者に、標的対象に対応する実物体に含まれた標的領域が背景領域から浮き上がり（奥行き方向に移動し）、背景領域に対する標的領域の見掛けの高さ（実際に標的対象が存在する平面からの奥行き方向の距離）が時間変化すると錯覚させることができる。すなわち、出力映像を実物体に重畳することにより、実物体に含まれた標的領域に時間変化する影が加えられ、観察者は浮かび上がらないはずの標的領域が浮かび上がり、時間的に見掛けの奥行きが変化するように錯覚する。
【００１１】
物理世界において影が平行移動する要因は複数存在する。例えば、物体が奥行き方向へ浮き出る場合、もしくは影の落ちている背景面が奥行き次元において遠ざかる場合である。他にも光源の位置が移動し背景面の方向が変わる場合でも同様の影の変化が生じる場合がある。一方で、非特許文献１が示す通り、人間はたいていは光源の移動を知覚上想定しない。また、一般にテクスチャや両眼視差といった他の手がかりがない場合は、背景面の奥行き方向の方向変化も知覚しにくい。したがって、影が平行移動する場合には、対象と背景面との間に奥行きがあるという知覚解釈を採用する。これが影による奥行き錯覚の原因である。
【００１２】
「標的対象」は、奥行き方向に移動する錯覚を与えようとする空間領域に対応する対象を意味する。「標的対象」は、奥行き方向に移動する錯覚を与えようとする空間領域を特定するための情報を与えるものであればよい。「標的対象」は、実空間に存在するものであってもよいし、実空間に存在しないものであってもよい。例えば、「標的対象」は、実空間に存在する実物（平面物または立体物）であってもよいし、実物の外面に表れた領域であってもよいし、実物の表面に投影された画像領域であってもよいし、ディスプレイに表示された画像領域であってもよいし、仮想空間に存在する仮想物（平面物または立体物）であってもよいし、空間領域を表す空間位置情報（座標）と各空間位置情報で特定される空間位置での画素値とが特定された画像データであってもよいし、空間領域を表す空間位置情報を特定する数値データであってもよい。「実物の外面に表れた領域」は、例えば、実物に印刷または描かれた領域であってもよいし、実物の表現形状として表れた領域であってもよいし、実物の表面の材質に基づく模様であってもよい。
【００１３】
「暗領域」は「標的対象」に対応する空間領域であればよい。例えば、「暗領域」は、「標的対象」と同一形状または略同一形状の空間領域であってもよいし、「標的対象」と相似または略相似の空間領域であってもよいし、「標的対象」と同一形状、略同一形状、相似、または略相似の空間領域を回転させた空間領域であってもよいし、「標的対象」と同一形状、略同一形状、相似、または略相似の空間領域を所定の平面に射影した空間領域であってもよいし、標的対象と同一形状、略同一形状、相似、または略相似の空間領域を空間的に歪ませたものであってもよいし、これらの何れかの空間領域にフィルタリング（例えば、画像ぼかし処理、画像鮮鋭化処理、コントラスト変更処理、明るさ変更処理、ハイパスフィルタリング処理、ローパスフィルタリング処理など）を行って得られる領域であってもよい。「暗領域」は標的対象と明るさ（輝度または明度）が同一の領域であってもよいし、標的対象よりも明るさが暗い領域であってもよいし、標的対象よりも明るさが明るい領域であってもよい。ただし、「暗領域画像」は「暗領域」と「背景」とを含み、「背景」は「暗領域」よりも明るい。なお、「略同一」とは、同一とみなすことができることを意味する。例えば、「αがβと略同一形状である」とはαとβとを同一形状であるとみなすことができることを意味する。例えば、「αがβと略同一形状である」とはαとβとの相違部分の面積がαのγ％以下であることを意味する。また「略相似」とは、相似とみなすことができることを意味する。例えば、「αがβと略相似形状である」とはαを拡大または縮小したα’とβとの相違部分の面積の最小値がγ％以下であることを意味する。γの例はγ＝１〜３０などであり、個人差があるが、αとβとが略同一形状であると認識可能な範囲に設定すればよい。
【００１４】
「制御情報」は「暗領域」に与える動きを特定するものである。「暗領域」に与える動きは関数によって特定されてもよいし、関数とその他の値とによって与えられてもよいし、動きを表す情報と識別子とが対応付けられた参照テーブルによって特定されてもよい。例えば、「関数」は、少なくとも時間情報を変数とする時間関数であり、線形関数であってもよいし、非線形関数であってもよい。制御情報は、「関数」を特定するための情報を含んでもよいし、参照テーブルを参照するための識別子の情報を含んでもよいし、その他の動きを特定するための情報を含んでもよい。例えば、「暗領域」に与える動きが特定方向の平行移動（並進）である場合、「制御情報」は、例えば時間情報に対して各時点での移動量を出力する線形関数を特定する切片（移動量の初期値）、最大移動量、および「暗領域」に与える一連の動きに対応するフレーム数（例えば、１周期分の動きのフレーム数、最大フレーム数）、ならびに移動方向を含む。なお、「暗領域」に与える平行移動が一方向への並進（片道の並進運動）である場合、移動を開始してから終了するまでの動きを１周期分の動きとみなす。一方、「暗領域」に与える平行移動が特定の距離を往復する往復運動（互いに逆向きの並進運動を交互に繰り返す往復運動）の場合、１往復分の動きを１周期分の動きとみなす。また、「フレーム」は映像を構成する画像であり、空間次元における大きさと時間次元における長さをもつ。フレームの時間次元における長さは画像（映像）表示装置の垂直周波数に依存する。例えば1秒間の映像が30フレームの画像で構成される場合、1フレームは1／30秒の長さをもつ。言い換えれば、1フレームは所定の時間区間を表しているともいえる。
【００１５】
「暗領域」に与える動きの方向や大きさに制限はない。ただし、「動領域」のそれぞれが「暗領域」を空間的に平行移動させた領域である場合、暗領域から任意の距離離れた位置で見た「暗領域」に対する「動領域」の移動量の視角が所定値（例えば０．３５度）以下となることが望ましい。例えば、暗領域から１００ｃｍ離れた位置で見た「暗領域」に対する動領域の移動量が０．６１ｃｍ以下になるように設定する。これにより、上述の錯覚を明確に知覚させることができる。また「動領域」のそれぞれは、「暗領域」から「観察者」側に向かう方向成分を含む方向（例えば、暗領域」から「観察者」側に向かう方向）に、「暗領域」を空間的に平行移動させた領域であることが望ましい。これにより、上述の錯覚を明確に知覚させることができる。また「動領域」の空間位置は時間変化する。例えば、「動領域」が「暗領域」を並行移動した領域である場合、「暗領域」に対する「動領域」の移動量が時間変化する。「暗領域」に対する「動領域」の移動量は周期的に変化してもよいし、非周期的に変化してもよい。例えば、「暗領域」に対する「動領域」の移動量が「所定時間区間」において単調増加するか、または、所定時間区間において単調減少する場合、当該「所定時間区間」は０．５秒以上であることが望ましい。より好ましくは当該「所定時間区間」は１秒以上であることが望ましい。これにより、上述の錯覚を明確に知覚させることができる。例えば、「暗領域」に対する「動領域」の移動が周期的（例えば、往復運動）であり、当該「所定時間区間」が１周期分のフレーム数（最大フレーム数）の１／２に相当する時間である場合、最大フレーム数は１秒以上の時間に対応するものであることが望ましい。詳細については後述する。
【００１６】
「暗領域」の鮮鋭度が「標的対象」の鮮鋭度よりも低いことが望ましい。言い換えると、「暗領域」が「標的対象」の画像をぼかした領域であることが望ましい。物理世界では、単一の直進光のみならず、反射光や散乱光など様々な方向の光が物体に遮られることで影ができることが多い。そのため、実際の影の輪郭はぼけていることが多い。「暗領域」の鮮鋭度を「標的対象」の鮮鋭度よりも低くすることで「影領域」の輪郭をぼかすことができ、この条件を模倣できる。これにより、上述の錯覚を明確に知覚させることができる。詳細については後述する。
【００１７】
物理世界では物体が影の投影面から離れるにつれ、影の輝度が上がる。この条件を模倣するため、「暗領域」に対する移動量が「第１値」である「動領域」の明るさ（輝度で表現されてもよいし、RGB値で表現されてもよいし、その他の画像強度の指標で表現されてもよい）は、「暗領域」に対する移動量が「第２値」である「動領域」の明るさよりも低いことが望ましい。ただし、「第１値」は「第２値」よりも小さい。この場合、「暗領域」に対する移動量が「第１値」である「動領域」に対応する「影領域」の明るさは、「暗領域」に対する移動量が「第２値」である「動領域」に対応する「影領域」の明るさよりも低い。例えば、「暗領域」に対する「動領域」の移動量が小さいほど、当該「動領域」の明るさが低いことが望ましい。この場合、「暗領域」に対する「動領域」の移動量が小さいほど「影領域」の明るさが低い。これにより、上述の錯覚を明確に知覚させることができる。詳細については後述する。
【００１８】
「マスク処理」では、「動領域」に対し、「標的対象」に対応する空間位置の「マスク領域」の画素を「暗領域」よりも輝度の高い画素に置き換える。すなわち、「動領域」のうち「マスク領域」の画素を「暗領域」よりも輝度の高い画素に置き換える。例えば、「マスク処理」は、「動領域」における「マスク領域」の画素を「動領域」の周囲の画素と同一または略同一の輝度の画素（例えば、「動領域」の周囲の画素）に置き換える処理である。例えば、「マスク領域」の空間位置は「暗領域」の空間位置と同一または略同一である。空間位置αと空間位置βとが略同一とは、これらを同一とみなせることを意味する。例えば、「マスク領域」の空間位置αと「暗領域」の空間位置βとが略同一とは、空間位置αと空間位置βとの差分が「マスク領域」の面積のγ％以下であることを意味する。例えば、「マスク領域」の空間領域は「暗領域」の空間領域と同一または略同一であってもよいし、「暗領域」の空間領域の一部（例えば、エッジ部分）と同一または略同一であってもよい。空間領域αと空間領域βとが略同一とは、これらを同一とみなせることを意味する。例えば、空間領域αと空間領域βとが略同一とは、空間領域αと空間領域βとの相違部分の面積がαのγ％以下であることを意味する。なお、「エッジ」とは絶対値が零より大きい空間周波数成分を意味する。なお、「動領域」は「暗領域」に動きを与えて得られる。そのため、少なくとも一部のフレームの「動領域」の空間位置は「暗領域」の空間位置と相違する。従って、少なくとも一部のフレームの「マスク領域」の空間位置は「暗領域」の空間位置と相違する。
【００１９】
前述の通り、「映像」は「動領域」に対して「マスク処理」を行って得られる影領域を含む。例えば、「映像」は「動領域」に対して「マスク処理」を行って得られる影領域を含むフレーム画像を時系列に並べた動画である。例えば、フレームｆ（ｎ）（ただし、ｎ＝１，…，Ｎであり、Ｎは最大フレーム数の１／２である正整数）のフレーム画像ＦＰ（ｎ）に含まれる「影領域」の面積をＤ（ｎ）とする。ここで、フレームｆ（１）からフレームｆ（Ｎ）までの間で「影領域」の面積Ｄ（ｎ）が単調増加するとする（すなわち、Ｄ（１）＜Ｄ（２）＜…＜Ｄ（Ｎ）を満たすとする）。この場合「映像」の例を示す。
＜「映像」の例１＞
例１の「映像」では、期間１と期間２とが交互に繰り返される。期間１では、η＝１，…，Ｎ−１についてフレーム画像ＦＰ（η）の後にフレーム画像ＦＰ（η＋１）が表示される（ＦＰ（１）→ＦＰ（２）→・・・→ＦＰ（Ｎ））。期間１では「影領域」の面積Ｄ（ｎ）が単調増加する。期間１の後には期間２が続く。期間２では、λ＝Ｎ，…，２についてフレーム画像ＦＰ（λ）の後にフレーム画像ＦＰ（λ−１）が表示される（ＦＰ（Ｎ）→ＦＰ（Ｎ−１）→・・・→ＦＰ（１））。期間２では「影領域」の面積Ｄ（ｎ）が単調減少する。期間２の後には期間１が続く（ＦＰ（１）→ＦＰ（２）→・・・→ＦＰ（Ｎ）→ＦＰ（Ｎ）→ＦＰ（Ｎ−１）→・・・→ＦＰ（１）→ＦＰ（２）→・・・）。例１の「映像」では、各フレーム画像ＦＰ（ｎ）の表示時間は同一である。さらに、隣接するフレーム画像ＦＰ（ｎ）の変化が滑らかにつながるようにされる。このために各フレーム画像ＦＰ（ｎ）に対し、時間次元での平滑化フィルタリングが行われてもよい。
＜「映像」の例２＞
例２の「映像」では、期間３と期間４とが交互に繰り返される。期間３は期間１に含まれる何れかのフレームのフレーム画像が省略（例えば、ランダムに省略）されたものである。ただし、省略されたフレーム画像のフレームに最も近いフレームのフレーム画像が、省略されたフレーム画像のフレーム分だけさらに表示される。例えば、１個のフレーム画像ＦＰ（ｎ）が省略された場合、フレーム画像ＦＰ（ｎ−１）が２フレーム分表示されるか、フレーム画像ＦＰ（ｎ＋１））が２フレーム分表示される。例えば、ＦＰ（３）が省略された場合、ＦＰ（１）→ＦＰ（２）→ＦＰ（２）→ＦＰ（４）→・・・→ＦＰ（Ｎ）の順序で表示される。期間３の後には期間４が続く。期間４は期間２に含まれる何れかのフレーム画像ＦＰ（ｎ）が省略（例えば、ランダムに省略）されたものである。ただし、省略されたフレーム画像のフレームに最も近いフレームのフレーム画像が、省略されたフレーム画像のフレーム分だけさらに表示される。例えば、ＦＰ（Ｎ−１）が省略された場合、ＦＰ（Ｎ）→ＦＰ（Ｎ−２）→ＦＰ（Ｎ−２）→ＦＰ（Ｎ−３）→・・・→ＦＰ（１）の順序で表示される。すなわち、例２の「映像」では、少なくも何れかのフレーム画像の表示時間は他のフレーム画像の表示時間と異なる。期間３の後には期間４が続く（例えば、ＦＰ（１）→ＦＰ（２）→ＦＰ（２）→ＦＰ（４）→・・・→ＦＰ（Ｎ）→ＦＰ（Ｎ）→ＦＰ（Ｎ−２）→ＦＰ（Ｎ−２）→ＦＰ（Ｎ−３）→・・・→ＦＰ（１）・・・）。さらに、隣接するフレーム画像ＦＰ（ｎ）の変化が滑らかにつながるようにされる。このために各フレーム画像ＦＰ（ｎ）に対し、時間次元での平滑化フィルタリングが行われてもよい。
【００２０】
「映像」に対応する「出力映像」は、「映像」と同一であってもよいし、「映像」を構成する各フレームの画像に座標変換を行う変換行列を適用して得られる各フレームの画像からなる映像であってもよいし、「映像」に対してその他の変換（フィルタリング等）を行って得られる映像であってもよい。変換行列の詳細については後述する。
【００２１】
「実物体」は「出力映像」が表す影を付与する対象を含む、当該影を付与される対象とその近辺の領域とを含むものを意味する。「実物体」は実空間に存在する実物（平面物または立体物）であってもよいし、実物の外面に表れた領域であってもよいし、実物の表面に投影された画像領域であってもよいし、ディスプレイに表示された画像領域であってもよい。「実物の外面に表れた領域」は、例えば、実物に印刷または描かれたパターン（例えば、模様、文字、絵、写真など）を含む領域でもよいし、実物の表現形状として表れた領域であってもよいし、実物の表面の材質に基づく模様であってもよい。「実物体」は「標的対象」に対応する「標的領域」とその「背景領域」とを含む。すなわち、「標的領域」および「背景領域」は、それぞれ「実物体」の表面に表れた一部の領域である。「標的対象」は、「標的領域」と同一形状または略同一形状の空間領域であってもよいし、「標的対象」と相似または略相似の空間領域であってもよいし、「標的対象」と同一形状、略同一形状、相似、または略相似の空間領域を回転させた空間領域であってもよいし、「標的対象」と同一形状、略同一形状、相似、または略相似の空間領域を所定の平面に射影した空間領域であってもよいし、「標的対象」と同一形状、略同一形状、相似、または略相似の空間領域を空間的に歪ませたものであってもよいし、これらの何れかの空間領域にフィルタリングを行って得られる領域であってもよい。「標的領域」はエッジを持つ領域であってもよいし、エッジを持たない領域であってもよい。なお、「標的領域」がエッジを持たない領域である場合、「標的対象」が「実物体」と独立に設定されてもよい。
【００２２】
映像生成装置が、標的対象と背景とを表す標的画像を入力とし、標的画像のうち基準よりも暗い空間領域に対応する暗領域と暗領域の周辺領域とを含む暗領域画像を得る閾値化部をさらに有してもよい。「基準」は明るさを表す指標を表す閾値である。「明るさを表す指標」は、輝度であってもよいし、明度であってもよいし、ＲＧＢの特定のチャンネルの画素値であってもよい。「基準」よりも暗い領域の「明るさを表す指標」は「基準」よりも暗い明るさを表す。閾値化部は、「基準」と各画素の「明るさを表す指標」とを比較し、各画素が「基準」よりも暗いか否か、および各画素が「基準」よりも明るいか否か、を判断する。ここで「標的対象」のすべての領域がその「背景」よりも暗いとする。また「基準」が「標的対象」よりも明るく、かつ、その「背景」よりも暗い明るさを表すとする。さらに「暗領域」よりもその「周辺領域」が明るいとする。この場合、「暗領域」および「動領域」は「標的対象」のすべての領域に対応し、「影領域」は「標的対象」のすべての領域に対応する影を表す。このような「影領域」を含む「映像」に対応する「出力映像」を「実物体」に重畳した場合、観察者に、当該「標的対象」に対応する「実物体」の「標的領域」全体が「背景領域」から浮き上がり、「背景領域」に対する「標的領域」の見掛けの高さが時間変化すると錯覚させることができる。逆に、「標的対象」のすべての領域がその「背景」よりも明るいとする。また「基準」が「標的対象」よりも暗く、かつ、その「背景」よりも明るいとする。さらに「暗領域」よりもその「周辺領域」が明るいとする。この場合も、「暗領域」および「動領域」は「標的対象」のすべての領域に対応し、「影領域」は「標的対象」の全領域に対応する影を表す。このような「影領域」を含む「映像」に対応する「出力映像」を「実物体」に重畳した場合も、観察者に、当該「標的対象」に対応する「実物体」の「標的領域」全体が「背景領域」から浮き上がり、「背景領域」に対する「標的領域」の見掛けの高さが時間変化すると錯覚させることができる。また、「標的対象」の「エッジ領域（例えば、外縁部分）」が「標的対象」の「内部領域（例えば、エッジ領域の内側部分）」よりも暗く、当該「エッジ領域」および「内部領域」は「背景」よりも暗いとする。また「基準」が「エッジ領域」よりも明るく、「内部領域」および「背景」よりも暗い明るさを表すとする。さらに「暗領域」よりもその「周辺領域」が明るいとする。この場合、「暗領域」および「動領域」は「標的対象」の「エッジ領域」のみに対応し、「影領域」は「標的対象」の「エッジ領域」のみに対応する影を表す。このような「影領域」を含む「映像」に対応する「出力映像」を「実物体」に重畳した場合、観察者に、「標的対象」の「内部領域」に対応する「標的領域」の一部が透過し、当該「標的領域」が「背景領域」から浮き上がり、「背景領域」に対する「標的領域」の見掛けの高さが時間変化すると錯覚させることができる。これにより、「標的領域」に影が与えられたような錯覚を利用して「標的領域」の素材印象を変化させることができる。逆に、「標的対象」の「エッジ領域（例えば、外縁部分）」が「標的対象」の「内部領域（例えば、エッジ領域の内側部分）」よりも明るく、当該「エッジ領域」および「内部領域」は「背景」よりも明るいとする。また「基準」が「エッジ領域」よりも暗く、「内部領域」および「背景」よりも明るい明るさを表すとする。さらに「暗領域」よりもその「周辺領域」が明るいとする。この場合も、「暗領域」および「動領域」は「標的対象」の「エッジ領域」のみに対応し、「影領域」は「標的対象」の「エッジ領域」のみに対応する影を表す。このような「影領域」を含む「映像」に対応する「出力映像」を「実物体」に重畳した場合も、観察者に、「標的対象」の「内部領域」に対応する「標的領域」の一部が透過し、当該「標的領域」が「背景領域」から浮き上がり、「背景領域」に対する「標的領域」の見掛けの高さが時間変化すると錯覚させることができる。「標的対象」が「実物体」に含まれた「標的領域」に対応し、「標的領域」にエッジが存在する場合、「出力映像」の「標的対象」に対応する空間領域のエッジを「標的領域」のエッジに重畳することで、観察者に、前述した錯覚をより明確に知覚させることができる。なお、「マスク領域」が「標的対象」のエッジ部分である場合、「対象物」の「標的領域」のエッジ付近に明るさが内部領域と異なる境界（例えば、黒枠や白枠）を設けなくても、観察者に同様な錯覚を知覚させることができる。
【００２３】
「出力映像」を「実物体」に重畳する方法に限定はない。例えば、「出力映像」を「実物体」に投影してもよい。例えば、「標的対象」が「実物体」に含まれた「標的領域」に対応し、映像生成装置が「映像」を入力とし、「映像」を「標的領域」に位置合わせした「出力映像」を得て出力する空間変換部を有し、当該「出力映像」を「実物体」に投影することで、「出力映像」を「実物体」に重畳してもよい。その他、観察者と「実物体」との間に配置された透過ディスプレイに「出力映像」を表示し、観察者がこの透過ディスプレイ越しに「実物体」を観察してもよい。これによっても観察者は「出力映像」が「実物体」に重畳された様子を知覚できる。観察者が「出力映像」と「実物体」とをデジタル的に重畳された映像を観察してもよい。その他、テーブルトップ型のディスプレイに「出力映像」を表示し、このディスプレイに「実物体（例えば、立体物）」を配置してもよい。これによっても「出力映像」を「実物体」に重畳させることができる。
【００２４】
標的領域が含まれた画像を表す第１データと、標的領域の複数種類の影（例えば、「影領域」）の動きに対応する映像をそれぞれ表した映像群または画像群である第２データと、標的領域の複数種類の影の動きを特定するパラメータ群を表す第３データと、を有し、第１データと第２データと第３データとが互いに対応付けられたデータ構造が提供されてもよい。ここで「標的領域」は「実物体」に含まれた領域であり、「標的領域が含まれた画像」は「実物体」を表す画像である。「標的領域」の複数種類の影の動きをそれぞれ表した映像群は、複数種類の影の動きに対応する「映像」を要素とする集合である。「映像群」に属する各映像は第３データが表すパラメータ群の何れかに対応する。「パラメータ群」に属する各パラメータは、例えば、影の動きを特定するための情報を含む。影の動きを特定するための情報の例は、影の最大移動量、影の移動方向、および影の移動が行われるフレーム数（例えば、１周期分の影の移動が行われるフレーム数）、の組を含む情報である。各影の動きに対応する、影の最大移動量、影の移動方向、および影の移動が行われるフレーム数は、互いに対応付けられている。その他、「パラメータ群」に属する各パラメータが、影の動きに対応する「出力映像」を「実物体」に重畳することで観察者が錯覚する「背景領域」に対する「標的領域」の「見掛けの高さに対応する値」を含んでいてもよい。例えば、同じ影の動きに対応する、影の最大移動量、影の移動方向、影の移動が行われるフレーム数、および見掛けの高さに対応する値が互いに対応付けられていてもよい。なお、「見掛けの高さに対応する値」は、「見掛けの高さ（実際に標的対象が存在する平面からの奥行き方向の距離）」そのものであってもよいし、「見掛けの高さ」の関数値であってもよいし、「見掛けの高さ」を特定するパラメータであってもよい。「映像」に代えて、当該「映像」の各フレームに対応する時刻情報付きの「画像」の集合が設けられてもよい。ここで、第２データで表された影は標的領域の背景領域よりも暗く、第３データで表されたパラメータ群に属する各パラメータは、第２データで表された標的領域の影の動きのそれぞれに対応付けられている。なお、標的領域の複数種類の影（例えば、「影領域」）の動きに対応する映像は、例えば、上述の映像生成部によって生成された映像である。
【００２５】
第１データ、第２データ、および第３データが映像表示装置に入力されると、映像表示装置は、第１データと第２データと第３データとが互いに対応付けに従って、実物体（第１データに含まれる画像によって表される標的領域を含む実物、第１データに含まれる画像によって表される標的領域を含む仮想物、または、第１データに含まれる画像によって表される標的領域が印刷または描かれた物、または、第１データに含まれる画像）に対して、第３データで表されたパラメータ群に属する何れかのパラメータに対応する第２データで表された標的領域の影の動きを表す映像または画像群を、映像表示装置によって重畳する。映像表示装置は、入力に基づいてパラメータ群に属する何れかのパラメータを選択してもよいし、予め定められた規則に従ってパラメータ群に属する何れかのパラメータを選択してもよい。例えば、観察者に錯覚させようとする見掛けの高さを特定する情報が映像表示装置に入力され、映像表示装置が当該「見掛けの高さを特定する情報」に対応するパラメータを選択してもよい。映像表示装置は、例えば、選択した１つのパラメータで１つの標的領域の影の動きを表す映像を特定し、当該映像を実物体に重畳する。あるいは、映像表示装置は、例えば、選択した１つのパラメータで１つの標的領域の影の動きを表すグループ化された時刻情報付きの画像群を選択し、当該時刻情報に従って当該選択された画像群の各画像を各フレーム画像として実物体に重畳する。これにより、当該映像または画像群が重畳された実物体を見た観察者に、標的領域が背景領域から浮き上がり、背景領域に対する標的領域の見掛けの高さが時間変化すると錯覚させることができる。
【００２６】
ここで「標的領域」が絶対値が零より大きい空間周波数成分である第１エッジを含み、「映像群」または「画像群」が、第１エッジに対応する第２エッジを含み、第１データが、画像を表す画像データと、画像データの水平位置情報および垂直位置情報と、が対応づけられたデータであり、第２データが、映像群に含まれる映像または画像群に含まれる画像を表す像データと、像データの水平位置情報および垂直位置情報と、が対応づけられたデータであってもよい。さらに、第１データが含む画像データの水平位置情報および垂直位置情報と、第２データが含む像データの水平位置情報および垂直位置情報とが対応付けられており、第１データおよび／または第２データは、第１データが含む画像データの水平位置情報および垂直位置情報と、第２データが含む像データの水平位置情報および垂直位置情報と、を対応つける対応情報を含んでもよい。この場合、映像表示装置が、対応情報、第１データが含む画像データの水平位置情報および垂直位置情報、および、第２データが含む像データの水平位置情報および垂直位置情報に従って、実物体における標的領域の第１エッジの水平位置および垂直位置に、第３データで表されたパラメータ群に属する何れかのパラメータに対応する第２データで表された標的領域の影の動きを表す映像または画像群の第２エッジの水平位置および垂直位置を合わせて、実物体に映像または画像群を重ね合わせてもよい（重畳）。
【実施例１】
【００２７】
実施例１では、実物体から取り込まれた標的画像から影領域を含む映像を生成し、当該映像に対応する出力映像を実物体に投影し、観察者に標的対象に対応する実物体に含まれた標的領域が背景領域から浮き上がり、背景領域に対する標的領域の見掛けの高さが時間変化すると錯覚させる。
【００２８】
＜構成＞
図１に例示するように、本実施例の錯覚システム１は、映像生成装置１００、画像取得装置１１、および投影装置１２を有し、生成した出力映像を実物体１３に投影する。図２に例示するように、本実施例の映像生成装置１００は、入力部１０１、出力部１０２、記憶部１０３、制御部１０４、閾値化部１０５、画像ぼけ付与部１０６、動き計算部１０７、位置・輝度変更部１０８、マスク処理部１１０、行列生成部１１１，１１２、および空間変換部１１３を有する。なお、動き計算部１０７、位置・輝度変更部１０８、およびマスク処理部１１０の組が「映像生成部」の例である。画像取得装置１１は外部の画像を取り込むことができる装置であり、例えば、カメラや３Ｄスキャナーなどである。投影装置１２は映像を投影することができる装置であり、例えば、ビデオプロジェクタなどである。なお、以下では説明を省略するが、映像生成装置１００は制御部１０４の制御の下で各処理を実行する。また、入力部１０１に入力された情報、および各部で得られた情報は記憶部１０３に格納され、必要に応じて読み出されて各処理に使用される。
【００２９】
＜処理＞
本実施例の処理を説明する。本実施例では投影装置１２から投影した光によって実物体１３の領域に影がついたように見せ、観察者に上記の錯覚を起こさせる。投影装置１２からの光が到達する実物体１３は、見掛け上の影の原因と錯覚させる標的領域（標的領域によって光が遮られることで影ができたと錯覚させる）と見掛け上の影が表れる背景領域（標的領域によって光が遮られることで背景領域に影ができていると錯覚させる）とで構成される。すなわち、「標的領域」および「背景領域」は、それぞれ実物体１３の表面に表れた一部の領域である。本実施例の実物体１３は、実物（例えば、紙）に印刷または描かれたパターンを含む領域である。例えば、「標的領域」はこのパターンの領域であり、「背景領域」はこのパターン以外の領域である。例えば、図８Ａに例示する実物体１３は、エッジ１１０１ａを有する黒色の標的領域１１０１とそれ以外の背景領域１１０２とを含む。この例の実物体１３は、パズルを撮影して得られた写真を印刷したものであり、パズルの間隙、つまりミッシングピースの領域が標的領域１１０１となっている。
【００３０】
≪標的画像の入力処理≫
まず、画像取得装置１１が、実物体１３（図８Ａ）の表面に表れた標的領域１１０１および背景領域１１０２の一部または全部を含む像を取り込み、標的画像１０００を得て出力する。例えば、画像取得装置１１は正面から実物体１３を撮影またはスキャン等し、標的画像１０００を得て出力する。標的画像１０００は標的対象１００１と背景対象（背景）１００２とを含む。標的対象１００１は標的領域１１０１に対応し、背景対象１００２は背景領域１１０２の一部または全部に対応する。すなわち、標的対象１００１は画像取得装置１１によって取り込まれた標的領域１１０１の像であり、背景対象１００２は画像取得装置１１によって取り込まれた背景領域１１０２の一部または全部の像である。本実施例の場合、標的対象１００１のすべての領域は背景対象１００２よりも暗い。得られた標的画像１０００は映像生成装置１００の入力部１０１に入力され、閾値化部１０５に送られる（図３Ａ）。
【００３１】
≪閾値化処理≫
図３Ａに例示するように、閾値化部１０５は、標的対象１００１と背景対象１００２とを表す標的画像１０００を入力とし、標的画像１０００のうち基準よりも暗い空間領域に対応する暗領域１０１１と暗領域１０１１の周辺領域（背景）１０１２とを含む暗領域画像１０１０を得て出力する。例えば、閾値化部１０５は、入力された標的画像１０００のうち、基準よりも暗い空間領域の画素値をＡとすることで暗領域１０１１を得、それ以外の空間領域の画素値をＢとすることで周辺領域１０１２を得る。画素値Ａが表す明るさは画素値Ｂが表す明るさよりも暗い。すなわち、暗領域１０１１の明るさは周辺領域１０１２の明るさよりも暗い。画素値ＡおよびＢの値は、標的画像１０００の何れかの画素値であってもよいし、標的画像１０００の何れかの画素値に対応する画素値（例えば、標的画像１０００の何れかの画素値の関数値）であってもよい。その他、入力部１０１への入力に基づいて画素値ＡおよびＢの値が設定されてもよい（例えば、画素値Ａが０であり、画素値Ｂが１２８）。すなわち、暗領域１０１１と周辺領域１０１２とが区別されるように、手動で暗領域１０１１および周辺領域１０１２の画素値が設定されてもよい。例えば、暗領域１０１１の輝度が周辺領域１０１２の輝度よりも小さい、または、暗領域１０１１の明度が周辺領域１０１２の明度よりも小さい。暗領域１０１１は影に対応する領域となるため、暗領域１０１１は黒またはグレーもしくは黒またはグレーに近い領域であることが望ましい。なお、本実施例の「基準」は標的対象１００１よりも明るく、背景対象１００２よりも暗い明るさを表す。また閾値化部１０５は、基準に対応する閾値を用いて標的画像１０００のうち基準よりも暗い空間領域とそれ以外の空間領域とを判定する。例えば、閾値化部１０５は、閾値よりも輝度、明度、ＲＧＢの何れかのチャネルの画素値、またはＲＧＢの全てのチャネルの画素値が低い空間領域の画素値をＡとしたものを暗領域１０１１とし、それ以外の領域（閾値以上の輝度を持つ領域）の画素値をＢとしたものを周辺領域１０１２とする。本実施例では、標的対象１００１のすべての領域が背景対象１００２よりも暗く、基準は、標的対象１００１よりも明るく、背景対象１００２よりも暗い明るさを表す。そのため、標的対象１００１のすべての空間領域の画素値をＡとしたものが暗領域１０１１となり、それ以外の空間領域の画素値をＢとしたものが周辺領域１０１２となる。暗領域１０１１よりも周辺領域１０１２の方が明るい（図３Ａ）。
【００３２】
≪画像ぼけ付与処理≫
閾値化部１０５から出力された暗領域画像１０１０は画像ぼけ付与部１０６に入力される。画像ぼけ付与部１０６は、入力された暗領域画像１０１０に対して画像ぼけ付与処理を行い、それによって得られた画像ぼけ付与後の暗領域画像１０２０（標的対象１００１に対応する空間領域であって周辺領域（背景）１０２２よりも暗い暗領域１０２１を含む暗領域画像１０２０）を得て出力する。すなわち、画像ぼけ付与部１０６は、入力された暗領域画像１０１０の鮮鋭度を下げた暗領域画像１０２０を得て出力する。例えば、画像ぼけ付与部１０６は、入力された暗領域画像１０１０に平滑化フィルタやガウシアンフィルタなどを適用し、暗領域画像１０２０を得て出力する。暗領域画像１０２０は、暗領域１０１１に対応する画像ぼけ付与後の暗領域１０２１と、周辺領域１０１２に対応する画像ぼけ付与後の周辺領域（背景）１０２２とを含む。画像ぼけ付与後の暗領域１０２１の鮮鋭度は画像ぼけ付与前の暗領域１０１１の鮮鋭度よりも低い。また画像ぼけ付与後の暗領域１０２１の鮮鋭度は標的対象１００１の鮮鋭度よりも低い（図３Ｂ）。
【００３３】
≪位置・輝度変更処理≫
次に、暗領域画像１０２０に対する位置・輝度変更処理を行う。位置・輝度変更処理では、動き計算部１０７が制御情報ｐａｒａに基づいて暗領域１０２１に与える動きを特定し、位置・輝度変更部１０８が当該動きを暗領域１０２１に与えるとともに輝度変更を行って各フレームの動領域１０３１を得、各フレームついて動領域１０３１とその周辺領域（背景）１０３２とを含む動画像１０３０を得て出力する。例えば、動き計算部１０７は制御情報ｐａｒａに基づいて暗領域１０２１の各フレームでの移動量および移動方向を特定し、位置・輝度変更部１０８が当該移動量および移動方向に従って各フレームで暗領域１０２１を移動させるとともに輝度変更を行って各フレームの動領域１０３１を得、各フレームついて動領域１０３１とその周辺領域１０３２とを含む動画像１０３０を得て出力する（図４）。各フレームでの暗領域１０２１に対する動領域１０３１の移動量は、連続する複数個のフレームにおいて滑らかに増加または減少するものであることが望ましい。これにより、前述した「背景領域に対する標的領域の見掛けの高さ（見掛けの奥行き）」が連続的に時間変化すると錯覚させることができる。見掛けの奥行を徐々に増やしたい場合には、暗領域１０２１に対する各フレームの動領域１０３１の移動量を徐々に増やす。例えば、見掛けの奥行を徐々に増やしたい場合には、暗領域１０２１に対する各フレームの動領域１０３１の移動量が、所定時間区間において単調増加（または広義単調増加、単調非減少）するようにする。逆に、奥行を徐々に減らしたい場合には、暗領域１０２１に対する各フレームの動領域１０３１の移動量を徐々に減らす。例えば、見掛けの奥行を徐々に減らしたい場合には、暗領域１０２１に対する各フレームの動領域１０３１の移動量が、所定時間区間において単調減少（または広義単調減少、単調非増加）するようにする。動領域１０３１の移動量の最大値（最大移動量）に制限はない。しかし、動領域１０３１のそれぞれが暗領域１０２１を空間的に平行移動させた領域である場合、暗領域１０２１か任意の距離離れた位置で見た暗領域１０２１に対する動領域１０３１の移動量の視角が０．３５度以下であることが望ましい。この所定距離は想定される観察者の観察位置に基づいて予め定められる。また、動領域１０３１のそれぞれは、暗領域１０２１から想定観察者（想定される観察者）側に向かう方向成分を含む方向に、暗領域１０２１を空間的に平行移動させた領域であることが望ましい。これらにより、前述の錯覚を明確に知覚させることができる（この理由については後述する）。また、位置・輝度変更部１０８が暗領域１０２１の輝度変更を行う理由は次の通りである。物理世界では物体が影の投影面から離れるにつれ、影の輝度は上がる。これは光源が動かないという前提において、物体が投影面に近い時にはその物体が多くの光線を遮蔽するが、物体が投影面から離れるにつれてより多くの光線が投影面に当たるようになるためである。この物理条件を摸倣するために、本実施例では、暗領域１０２１に対する動領域１０３１の移動量に応じて動領域１０３１全体の輝度を変更する。すなわち、暗領域１０２１に対する動領域１０３１の移動量の増加に応じ、動領域１０３１の輝度を暗領域１０２１の輝度に対して一様に上昇させる。すなわち、暗領域１０２１に対する移動量が第１値である動領域１０３１は、暗領域１０２１に対する移動量１０３２が第２値である動領域よりも暗く、第１値は第２値よりも小さい。なお、周辺領域１０３２の画素値は周辺領域１０２２の画素値と同一または略同一である。動領域１０３１の輝度の上限は任意に設定可能である。しかし、動領域１０３１の輝度が高くなりすぎると、動領域１０３１の輝度と周辺領域１０３２の輝度との違いが小さくなり、影が知覚されづらくなる。そのため、周辺領域１０３２が周辺領域１０３２から十分に視認できる値までであることが望ましい。また、動領域１０３１の輝度が周辺領域１０３２の輝度を超えると、影の色が背景よりも明るく（白く）なってしまい、物理的な影と周辺領域との輝度関係と整合しなくなり、人間にとって影に見えにくくなる。そのため、少なくとも、動領域１０３１の輝度の上限は周辺領域１０３２の輝度未満であることが望ましい。以下、この位置・輝度変更処理を具体的に説明する。
【００３４】
まず制御情報ｐａｒａが入力部１０１に入力される。制御情報ｐａｒａは各フレームで暗領域１０２１に与える動きを特定する情報である。制御情報ｐａｒａの例は、暗領域１０２１の空間的な平行移動を特定する情報である。制御情報ｐａｒａは、各フレームで暗領域１０２１に与えられる動き（例えば、移動方向および移動距離）をそれぞれ表すパラメータの集合であってもよいし、各フレームでの動きを特定する線形関数または非線形関数を特定するパラメータであってもよいし、このような線形関数または非線形関数を特定するパラメータとその他の動きを特定するパラメータとの組み合わせであってもよい。例えば、暗領域１０２１に与える動きが線形関数（各時点での移動量を出力する線形関数）および移動方向を表すパラメータで特定される平行移動である場合、制御情報ｐａｒａは、例えば、当該線形関数を特定する切片（移動量の初期値）、暗領域１０２１に与えられる最大移動量、暗領域１０２１に与えられる一連の動きに対応するフレーム数（最大フレーム数）、および移動方向を含む。
【００３５】
入力された制御情報ｐａｒａは動き計算部１０７に入力される（図４）。動き計算部１０７は制御情報ｐａｒａに従って各フレームで暗領域１０２１に与える動きを特定して出力する。一例として、各フレームの時間情報（例えば、フレーム番号）を線形関数に適用することで空間的な移動量が決定される場合の動き計算部１０７の処理を説明する。この線形関数は傾きと切片をもつ。この場合、制御情報ｐａｒａは、当該線形関数を特定する切片、暗領域１０２１に対する動領域１０３１の最大移動量、暗領域１０２１に与えられる一連の動きに対応するフレーム数（最大フレーム数）、および暗領域１０２１に対する動領域１０３１の移動方向を含み、動き計算部１０７は傾き計算部１０７ａおよび移動量計算部１０７ｂを含む。傾き計算部１０７ａは、最大移動量および最大フレーム数を入力とし、最大移動量を最大フレーム数で除して傾き（傾き＝最大移動量／最大フレーム数）を得て出力する。最大フレーム数があまりにも小さい場合には傾きが大きくなる。この場合、影の位置が突然変化し、影の位置が変わったというよりは影に見えない何か暗い領域が突然現れたように知覚されてしまう。そのため、最大フレーム数は１秒間以上に対応する長さであることが望ましい。例えば、暗領域１０２１に対する動領域１０３１の移動量は、最大フレーム数に対応する時間区間の半分の時間区間において単調増加するかまたは単調減少し、当該最大フレーム数に対応する時間区間の半分の時間区間が０．５秒以上であることが望ましい。切片は移動量の初期値である。見掛けの奥行きがない状態から次第に見掛けの奥行きが大きくなっていく錯覚を観察者に与える場合には、切片は零である。一方、或る程度の見掛けの奥行きがある状態から次第に見掛けの奥行きが大きくなっていく錯覚を観察者に与える場合には、切片は零より大きく最大移動量より小さい。移動量計算部１０７ｂは傾きおよび切片を入力として線形関数を特定する。さらに、移動量計算部１０７ｂは、各フレームの時間情報を当該線形関数に適用し、各フレームにおける暗領域の移動量を決定して出力する。
【００３６】
移動量計算部１０７ｂから出力された各フレームにおける暗領域１０２１の移動量、制御情報ｐａｒａに含まれた移動方向、および暗領域画像１０２０は、位置・輝度変更部１０８に入力される。位置・輝度変更部１０８は、各フレームにおける暗領域１０２１の移動量および移動方向に従い、前述のように暗領域画像１０２０の暗領域１０２１を移動するとともに輝度を変更した動領域１０３１を得、各フレームついて動領域１０３１とその周辺領域１０３２とを含む動画像１０３０を得て出力する。
【００３７】
動画像１０３０はマスク処理部１１０に入力される。マスク処理部１１０は、各フレームの動画像１０３０が含む動領域１０３１に対してマスク処理を行って得られる影領域１０４１を含む各フレーム画像を時系列に並べた映像１０４０を得て出力する。なお、映像１０４０の例は、前述した「映像」の例１，２などである。このマスク処理は、標的対象１００１に対応する空間位置（例えば、標的対象１００１の空間領域）のマスク領域１０４３の画素を動領域１０３１よりも明るい画素（輝度の高い画素）に置き換える処理である。例えば、マスク処理は、動領域１０３１におけるマスク領域１０４３の画素を動領域１０３１の周辺領域（周辺）１０３２の画素と同一または略同一の輝度の画素（例えば、周辺領域１０３２の画素）に置き換える処理である。前述した背景対象１００２および周辺領域１０１２，１０２２に含まれる画素が動領域１０３１の周辺領域１０３２の画素と同一または略同一なのであれば、動領域１０３１におけるマスク領域１０４３の画素を、背景対象１００２および周辺領域１０１２，１０２２に含まれる画素に置き換えるマスク処理が行われてもよい。例えば、動領域１０３１の周辺領域（周辺）１０３２の画素値が背景対象１００２の画素値と同一または略同一である場合、標的画像１０００における低い画素値の領域である標的対象１００１に対応する空間位置（例えば、標的対象１００１の空間領域）であるマスク領域１０４３の動領域１０３１の画素値を、標的画像１０００における背景対象１００２の高い画素値に置き換えるマスク処理が行われてもよい。映像１０４０の各フレーム画像は、影領域１０４１、マスク領域１０４３、および影領域１０４１およびマスク領域１０４３以外の周辺領域１０４２を含む。なお、各フレーム画像の周辺領域１０４２の画素は、マスク処理後のマスク領域１０４３の画素と同一または略同一である。
【００３８】
≪ホモグラフィ行列・画素位置変換行列≫
上記の処理とは独立に、映像１０４０をマスクエッジが実物体１３の標的領域１１０１のエッジ１１０１ａ（図８Ａ）に整合する出力映像１０５０（映像１０４０を標的領域１１０１に位置合わせした出力映像１０５０）に変換するための変換情報を得ておく。出力映像１０５０の各フレーム画像は、影領域１０５１、マスク領域１０５３、および影領域１０５１およびマスク領域１０５３以外の周辺領域１０５２を含む。出力映像１０５０の各フレーム画像は、影領域１０５１、マスク領域１０５３、および周辺領域１０５２は、映像１０４０の各フレーム画像に含まれる影領域１０４１、マスク領域１０４３、および周辺領域１０４２にそれぞれ対応する（図７）。出力映像１０５０の各フレーム画像に含まれるマスク領域１０５３のエッジ１０５３ａは、実物体１３の標的領域１１０１のエッジ１１０１ａに整合する（例えば、エッジ１０５３ａとエッジ１１０１ａとが互いに重なる）（図８Ｂ）。変換情報の例は、ホモグラフィ行列Ｈおよび画素位置変換行列（Ｃ２Ｐ行列）Ｃ２Ｐである。ホモグラフィ行列は、映像１０４０の各フレーム画像を実物体１３の面に射影するための３×３の行列である。本実施例では、まず画像取得装置１１が実物体１３の画像１０５０’（標的対象１０５１’と背景対象１０５２’とを含む）を取得する。次に行列生成部１１２は画像１０５０’および標的画像１０００を入力とし、画像１０５０’と標的画像１０００とのマッチングを行って、画像１０５０’中の標的画像１０００とマッチする画像領域を認識する。さらに行列生成部１１２は、標的画像１０００の位置・形状と、マッチした画像領域の位置・形状とが空間的に整合するように標的画像を変形する３×３のホモグラフィ行列Ｈを生成して出力する（図６Ｂ）。なお、標的画像１０００が取得した画像取得装置１１の位置の変更がない場合にはホモグラフィ行列Ｈを生成しなくてもよい。また、画素位置変換行列Ｃ２Ｐは、画像取得装置１１で取得される画像の位置と投影装置１２で実物体１３に投影される画像の位置とを整合させるものである。画素位置変換行列Ｃ２Ｐは、周知のグレイコード法等によって得られる。
【００３９】
≪空間変換処理≫
空間変換部１１３は、映像１０４０を入力とし、映像１０４０を実物体１３の標的領域１１０１に位置合わせした出力映像１０５０を得て出力する。例えば、空間変換部１１３は、ホモグラフィ行列Ｈや画素位置変換行列Ｃ２Ｐなどの変換情報、および、映像１０４０を入力とし、変換情報に従って、映像１０４０をマスクエッジが実物体１３の標的領域１１０１のエッジ１１０１ａに整合する出力映像１０５０に変換して出力する（図７）。例えば、空間変換部１１３は、まずホモグラフィ行列Ｈを用いて映像１０４０の各フレーム画像を変換し、さらに画素位置変換行列Ｃ２Ｐを用いて素配列を並べ替えることで、出力映像１０５０の各フレーム画像を得て出力する。
【００４０】
≪重畳処理≫
出力映像１０５０は出力部１０２から出力され、投影装置１２に入力される。投影装置１２は、出力映像１０５０を実物体１３に投影することで、出力映像１０５０を実物体１３に重畳する。すなわち、出力映像１０５０の各フレーム画像のマスク領域１０５３のエッジ１０５３ａ（標的対象に対応する空間領域のエッジ）を、実物体１３の標的領域１１０１のエッジ１１０１ａに重畳する（整合させる）（図８Ｂ）。このように出力映像１０５０が重畳された実物体１３を見た観察者は、出力映像１０５０の影領域１０５１が実物体１３の標的領域１１０１の影であるかのように見える。この影領域１０５１が変化することで、観察者に、実物体１３に含まれた標的領域１１０１が背景領域１１０２から浮き上がり、背景領域１１０２に対する標的領域１１０１の見掛けの高さ（見掛けの奥行き）が時間変化すると錯覚させることができる。図８Ａは出力映像１０５０を投影する前の実物体１３の様子を表し、図８Ｂは出力映像１０５０を投影した実物体１３の様子を表す。図８Ａのようにパズルを撮影して得られた写真を印刷した実物体１３の場合、出力映像１０５０を投影した実物体１３を見た観察者は、黒いミッシングピースの領域（標的領域１１０１）に影がつき、その影が移動することで黒いミッシングピースが浮かびあがり、その見掛けの高さが変化するように見える。
【００４１】
なお、出力映像１０５０の各フレーム画像のマスク領域１０５３（実物体１３の標的領域１１０１に重ねられる領域）に対する影領域１０５１の移動量が大きすぎると、標的領域１１０１と影領域１０５１との対応関係が知覚されづらくなる。つまり、影領域１０５１が他の物体から落とされた影として解釈されたり、標的領域１１０１とは無関係に背景に現れたバターンとして解釈されたりする可能性がある。そのため、マスク領域１０５３に対する影領域１０５１の最大移動量が所定値以下であることが望ましい。すなわち、前述した位置・輝度変更部１０８で暗領域１０２１に与えられる最大移動量が所定値以下であることが望ましい。具体的には、暗領域１０２１から任意の距離離れた位置で見た暗領域１０２１に対する動領域１０３１の視角が０．３５度以下であることが望ましい。例えば、１００ｃｍ離れた位置で見た暗領域１０２１に対する影領域１０５１の移動量が０．６１ｃｍ以下になるように設定する。また、観察者に対する影領域１０５１の移動方向によっても観察者の知覚する印象が相違する。好ましくは、動領域１０３１のそれぞれは、暗領域１０２１から観察者側に向かう方向成分を含む方向に、暗領域１０２１を空間的に平行移動させた領域であることが望ましい。以下にこれらの理由を説明する。図５は、実験によって得られた、マスク領域１０５３に対する影領域１０５１の移動量に対応する暗領域１０２１に対する動領域１０３１の視角と、マスク領域１０５３に対する影領域１０５１の移動方向と、観察者が知覚する背景領域１１０２に対する標的領域１１０１の見かけの奥行き印象の強さとの関係を表す。黒い丸は０．３５度（ｄｅｇ）の視角を表し、黒い三角形は０．７５度の視角を表し、白抜きの四角形は１．１０度の視角を表し、黒い四角形は１．４５度の視角を表す。また「手前方向」は標的領域１１０１から観察者側に向かう方向（暗領域１０２１から観察者側に向かう方向）を表し、「奥方向」は「手前方向」の逆方向（観察者側から標的領域１１０１側へ向かう方向）を表し、「右方向」は観察者から見た標的領域１１０１の右方向を表し、「左方向」は観察者から見た標的領域１１０１の左方向を表す。また破線で表された１〜５の値は、観察者が知覚した「見掛けの奥行き」の変化の程度を表す。この値が大きいほど知覚された「見掛けの奥行き」の変化が大きい。実験では、被験者に「見掛けの奥行き」の変化がないと知覚した場合には１を、「見掛けの奥行き」の変化が明らかであると知覚した場合には５を、「見掛けの奥行き」の変化が曖昧な場合には３を報告させた。その結果、移動距離が視角０．３５度の時には奥行き変化印象が強く、０．７５度になると曖昧になり、それ以上になると奥行き変化印象が弱いことが分かった。また移動方向に関しては、観察者の「手前方向」に（観察者へ近づく方向へ）動領域１０３１を移動することが望ましいことが分かった。「奥方向」へ移動する場合は、たとえ移動距離が０．３５度と短くても「見掛けの奥行き」の変化は曖昧となる。これらの結果から、位置・輝度変更部１０８で暗領域１０２１に与えられる最大移動量は、暗領域１０２１から所定距離離れた位置で見た暗領域１０２１に対する動領域１０３１の視角が０．３５度以下であることが望ましく、暗領域１０２１の移動方向は、暗領域１０２１から観察者側に向かう方向成分を含む方向であることが望ましい。
【００４２】
［実施例１の変形例］
実施例１では、標的対象１００１のすべての領域が背景対象１００２よりも暗かった。これに対し、逆に標的対象１００１のすべての領域が背景対象１００２よりも明るい場合には閾値化処理の内容が異なる。この場合、閾値化部１０５は、標的対象１００１と背景対象１００２とを表す標的画像１０００を入力とし、標的画像１０００のうち基準よりも明るい空間領域に対応する暗領域１０１１と暗領域１０１１の周辺領域（背景）１０１２とを含む暗領域画像１０１０を得て出力する。例えば、閾値化部１０５は、入力された標的画像１０００のうち、基準よりも明るい空間領域の画素値をＡとすることで暗領域１０１１を得、それ以外の空間領域の画素値をＢとすることで周辺領域１０１２を得る。ただし、暗領域１０１１の明るさは周辺領域１０１２の明るさよりも暗い。なお、この場合の「基準」は標的対象１００１よりも暗く、背景対象１００２よりも明るい明るさを表す。この場合の閾値化部１０５は、この基準に対応する閾値を用いて標的画像１０００のうち基準よりも暗い空間領域とそれ以外の空間領域とを判定する。例えば、閾値化部１０５は、閾値よりも輝度や画素値等が高い空間領域の画素値をＡとしたものを暗領域１０１１とし、それ以外の領域の画素値をＢとしたものを周辺領域１０１２とする。
【実施例２】
【００４３】
実施例１では、画像取得装置１１で取り込まれた標的画像１０００の標的領域１１０１のすべての領域に対応する暗領域１０１１（図３Ａ）を画像処理することで出力映像１０５０の影領域１０５１が生成された。しかしながら、画像取得装置１１で取り込まれた標的画像の一部の領域を暗領域として画像処理を行うことで出力映像の影領域が生成されてもよい。例えば、画像取得装置１１で取り込まれた標的画像を構成するＲＧＢのいずれかのチャンネルまたは全てのチャンネルに関して設定された閾値以下（もしくは閾値以上）の値をもつ画素のみを暗領域として抽出し、それに対して画像処理を行うことで出力映像の影領域が生成されてもよい。これにより、背景領域に対する標的領域の見掛けの高さが時間変化すると錯覚させるとともに、標的領域の素材印象を変化させることができる。以下ではこれまで説明した事項との相違点を中心に説明し、これまで説明した事項と同一の事項については同じ参照番号を引用して説明を省略する。
【００４４】
＜構成＞
図１に例示するように、本実施例の錯覚システム２は、映像生成装置２００、画像取得装置１１、および投影装置１２を有し、生成した出力映像を実物体２３に投影する。図２に例示するように、本実施例の映像生成装置２００は、入力部１０１、出力部１０２、記憶部１０３、制御部１０４、閾値化部２０５、画像ぼけ付与部１０６、動き計算部１０７、位置・輝度変更部１０８、マスク処理部１１０、行列生成部１１１，１１２、および空間変換部１１３を有する。
【００４５】
＜処理＞
本実施例の処理を説明する。実施例２の実施例１との相違点は取り込まれる標的画像と閾値化処理のみである。以下では、本実施例の標的画像の入力処理および閾値化処理のみを説明する。
【００４６】
≪標的画像の入力処理≫
まず、画像取得装置１１が、実物体２３（図１０Ａ）の表面に表れた標的領域２１０１および背景領域２１０２の一部または全部を含む像を取り込み、標的画像２０００を得て出力する（図９）。例えば、画像取得装置１１は正面から実物体２３を撮影またはスキャン等し、標的画像２０００を得て出力する。実物体２３は標的領域２１０１と背景領域２１０２とを含み、標的領域２１０１はエッジ領域２１０１ｂ（例えば、黒枠部分）とその内部領域２１０１ａとを含む。標的画像２０００は標的対象２００１と背景対象（背景）２００２とを含み、標的対象２００１はエッジ領域２００１ｂとその内部領域２００１ａとを含む。標的対象２００１は標的領域２１０１に対応し、背景対象２００２は背景領域２１０２の一部または全部に対応する。エッジ領域２００１ｂはエッジ領域２１０１ｂに対応し、内部領域２００１ａは内部領域２１０１ａに対応する。本実施例の場合、標的対象２００１のエッジ領域２００１ｂは内部領域２１０１ａよりも暗く、エッジ領域２００１ｂおよび内部領域２１０１ａは背景対象２００２（背景）よりも暗い。得られた標的画像２０００は映像生成装置２００の入力部１０１に入力され、閾値化部２０５に送られる（図９）。
【００４７】
≪閾値化処理≫
図９に例示するように、閾値化部２０５は標的画像２０００を入力とし、標的画像２０００のうち基準よりも暗い空間領域に対応する暗領域２０１１と暗領域２０１１の周辺領域（背景）２０１２とを含む暗領域画像２０１０を得て出力する。例えば、閾値化部２０５は、入力された標的画像２０００のうち、基準よりも暗い空間領域の画素値をＡとすることで暗領域２０１１を得、それ以外の空間領域の画素値をＢとすることで周辺領域２０１２を得る。画素値Ａが表す明るさは画素値Ｂが表す明るさよりも暗い。画素値ＡおよびＢの決め方は実施例１で説明した通りである。例えば、画素値Ａを０とし、画素値Ｂを１２８とする。すなわち、暗領域２０１１の明るさは周辺領域２０１２の明るさよりも暗い。暗領域２０１１は影に対応する領域となるため、暗領域２０１１は黒またはグレーもしくは黒またはグレーに近い領域であることが望ましい。本実施例の「基準」は、エッジ領域２００１ｂよりも明るく、内部領域２００１ａおよび背景対象２００２よりも暗い明るさを表す。例えば、閾値化部２０５は、閾値よりも輝度、明度、ＲＧＢの何れかのチャネルの画素値、またはＲＧＢの全てのチャネルの画素値が低い空間領域の画素値をＡとしたものを暗領域２０１１とし、それ以外の領域（閾値以上の輝度を持つ領域）の画素値をＢとしたものを周辺領域２０１２とする。例えば、閾値化部２０５は、入力された標的画像２０００のうち、特定のチャンネルの画素値が３２未満の画素を暗領域２０１１とし、それ以外の画素を周辺領域２０１２とする。これにより、標的画像２０００のエッジ領域２００１ｂに対応する暗領域２０１１と、内部領域２１０１ａおよび背景対象２００２に対応する周辺領域２０１２と、を含む暗領域画像２０１０が得られる。
【００４８】
その後、実施例１で説明した暗領域１０１１と周辺領域１０１２とを含む暗領域画像１０１０に代えて、上述の暗領域２０１１と周辺領域２０１２とを含む暗領域画像２０１０が画像ぼけ付与部１０６に入力され、画像ぼけ付与処理が実行される。それ以降の処理は実施例１と同じである。図１０Ｂに例示するように、本実施例の出力映像２０５０の各フレーム画像は、影領域２０５１、マスク領域２０５３、および影領域２０５１およびマスク領域２０５３以外の周辺領域２０５２を含む。この出力映像２０５０が実物体２３に重畳される。すなわち、出力映像２０５０の各フレーム画像のマスク領域２０５３のエッジ２０５３ａ（標的対象に対応する空間領域のエッジ）を、実物体２３の標的領域２１０１のエッジ２１０１ｂに重畳する（整合させる）（図１０Ａ，図１０Ｂ，図１１）。これにより、出力映像２０５０の影領域２０５１が標的領域２１０１のエッジ領域２１０１ｂの影であるかのように見せることができる。さらに、この影領域２０５１が変化することで、観察者に、実物体２３に含まれた標的領域２１０１が背景領域２１０２から浮き上がり、背景領域２１０２に対する標的領域２１０１の見掛けの高さが時間変化すると錯覚させることができる。さらに、標的領域２１０１のエッジ領域２１０１ｂのみに影が与えられたように見えるため、標的領域２１０１の内部領域２１０１ａが透過しているように錯覚される。これにより、標的領域２１０１に対する標的領域２１０１の見掛けの高さが時間変化すると錯覚させるとともに、標的領域の素材印象を変化させることができる。
【００４９】
［実施例２の変形例］
実施例２では、標的対象２００１のエッジ領域２００１ｂが内部領域２１０１ａよりも暗く、エッジ領域２００１ｂおよび内部領域２１０１ａが背景対象２００２よりも暗かった。これに対し、標的対象２００１のエッジ領域２００１ｂが内部領域２１０１ａよりも明るく、エッジ領域２００１ｂおよび内部領域２１０１ａが背景対象２００２よりも明るい場合には閾値化処理の内容が異なる。この場合、閾値化部２０５は、標的対象２００１と背景対象２００２とを表す標的画像２０００を入力とし、標的画像２０００のうち基準よりも明るい空間領域に対応する暗領域２０１１と暗領域２０１１の周辺領域（背景）２０１２とを含む暗領域画像２０１０を得て出力する。例えば、閾値化部２０５は、入力された標的画像２０００のうち、基準よりも明るい空間領域の画素値をＡとすることで暗領域２０１１を得、それ以外の空間領域の画素値をＢとすることで周辺領域２０１２を得る。ただし、暗領域２０１１の明るさは周辺領域２０１２の明るさよりも暗い。なお、この場合の「基準」はエッジ領域２００１ｂよりも暗く、内部領域２００１ａおよび背景対象２００２よりも明るい明るさを表す。この場合の閾値化部２０５は、この基準に対応する閾値を用いて標的画像２０００のうち基準よりも明るい空間領域とそれ以外の空間領域とを判定する。例えば、閾値化部２０５は、閾値よりも輝度や画素値等の高い空間領域の画素値をＡとしたものを暗領域１０１１とし、それ以外の領域の画素値をＢとしたものを周辺領域１０１２とする。
【実施例３】
【００５０】
実施例１，２では、画像取得装置１１で実物体の表面に表れた像を取り込んで得られた標的画像の一部を利用して暗領域を生成し、それに対する画像処理を行うことで出力映像を生成した。一方で、実物体の表面に表れた像と形状や模様や空間位置が直接関係しない暗領域を用い、出力映像を生成してもよい。つまり、所望の仮想的な標的画像α１を想定し、その標的画像α１の影の動きによって実物体中の標的画像α１の見掛けの奥行きが変化するように錯覚させることもできる。
【００５１】
＜構成＞
図１に例示するように、本実施例の錯覚システム３は、映像生成装置３００、画像取得装置１１、および投影装置１２を有し、生成した出力映像を実物体１３に投影する。図２に例示するように、本実施例の映像生成装置３００は、入力部３０１、出力部１０２、記憶部１０３、制御部１０４、閾値化部１０５、画像ぼけ付与部１０６、動き計算部１０７、位置・輝度変更部１０８、マスク処理部１１０、行列生成部１１１，１１２、および空間変換部１１３を有する。
【００５２】
＜処理＞
本実施例の処理を説明する。実施例３の実施例１，２との相違点は標的画像の入力処理のみである。以下では実施例の閾値化処理のみを説明する。
【００５３】
≪標的画像の入力処理≫
本実施例では、実物体１３，２３と独立に得られた画像（実物体１３と形状や模様や空間位置が直接関係しない画像）を標的画像３０００とする。標的画像３０００は、所望の仮想的な標的対象３００１と背景対象（背景）３００２とを含む（図１２Ａ）。標的対象３００１は背景対象３００２と明るさが異なる。標的対象３００１は実施例１のように全体が同一の明るさの領域であってもよいし、実施例２のようなエッジ領域と内部領域とを含む領域であってもよい。例えば、図１２Ａに例示する標的画像３０００の標的対象３００１は、背景対象３００２よりも暗い星型の領域である。
【００５４】
これ以降の処理は、標的画像１０００，２０００に代えて標的画像３０００を用いること以外、実施例１、実施例１の変形例、実施例２、実施例２の変形例の何れかと同一である。これによって出力映像２０５０が得られる。本実施例の出力映像２０５０の各フレーム画像は、影領域３０５１、マスク領域３０５３、および影領域３０５１およびマスク領域３０５３以外の周辺領域３０５２を含む（図１２Ａ）。この出力映像３０５０を実物体１３，２３に重畳することで、出力映像３０５０の影領域３０５１が実物体１３，２３中の仮想的な領域３１０３の影であるかのように見せることができる。さらに、この影領域３０５１が変化することで、観察者に、実物体１３，２３に含まれた仮想的な領域３１０３が背景領域３１００から浮き上がり、背景領域３１００に対する領域３１０３の見掛けの高さが時間変化すると錯覚させることができる。
【００５５】
［実施例３の変形例］
実施例３では、実物体の表面に表れた像と形状や模様や空間位置が直接関係しない暗領域を用い、出力映像を生成した。この変形例として、標的対象のエッジ部分（所定の幅を持ったエッジ領域）のみをマスク領域として出力映像を生成し、エッジ部分（例えば、黒枠部分や白枠部分）を持たない標的領域（例えば、明るさが一様または略一様な標的領域）を含む実物体に重畳してもよい。ただし、出力映像のマスク領域の外周形状は、実物体に含まれる標的領域の外周形状と同一または略同一であり、出力映像のマスク領域の外周形状のエッジが実物体に含まれる標的領域の外周形状のエッジと重なるように、出力映像が標的領域に重畳される。例えば、実施例２で例示した出力映像２０５０（図１０Ｂ）を、実物体２３（図１０Ａ）の標的領域２１０１のエッジ領域２１０１ｂ（黒枠部分）の画素を内部領域２１０１ａの画素に置き換えて得られる標的領域βを含む実物体に重畳してもよい。ただし、出力映像２０５０のマスク領域２０５３の外周形状のエッジが標的領域βの外周形状のエッジに重なるように、出力映像２０５０を、標的領域βを含む実物体に重畳する。これによって、観察者に、実物体に含まれた標的領域βが背景領域から浮き上がり、背景領域に対する標的領域βの見掛けの高さが時間変化すると錯覚させることができる。
【実施例４】
【００５６】
標的領域が含まれた画像を表す第１データと、標的領域の複数種類の影（例えば、影領域）の動きに対応する映像をそれぞれ表した映像群または画像群である第２データと、標的領域の複数種類の影の動きを特定するパラメータ群を表す第３データと、を有し、第１データと第２データと第３データとが互いに対応付けられたデータ構造が提供されてもよい。標的領域が含まれた画像は、実施例１，２のように実物体の表面に表れた像から取得したものであってもよいし、実施例３のように実物体とは独立に生成されたものであってもよい。標的領域の複数種類の影の動きに対応する映像は、例えば、実施例１から３またはそれらの変形例で生成される映像１０４０である。標的領域の複数種類の影の動きを特定するパラメータ群は、標的領域の複数種類の影の動きにそれぞれ対応する制御情報ｐａｒａである。以下にこのデータ構造を例示する。
【表１】
2019186762.tif 000003
この例のデータ構造は、複数個の画像Ｐｉを表す第１データと、各画像Ｐｉに対応する標的領域の複数種類の影の動きに対応する映像をそれぞれ表した映像群または画像群Ｍｉ，ｊである第２データと、標的領域の複数種類の影の動きを特定するパラメータ群ｐａｒａｉ，ｊを表す第３データと、が対応付けられている。ただし、ｉおよびｊは１以上の整数であり、ｉおよびｊの上限はレコード数に応じて予め定められている。映像群または画像群Ｍｉ，ｊで表された影は画像Ｐｉが含む標的領域の背景領域よりも暗い。パラメータ群に属する各パラメータｐａｒａｉ，ｊは、映像群または画像群Ｍｉ，ｊで表された影の動きのそれぞれに対応付けられている。第２データに含まれる各映像Ｍｉ，ｊは、第３データに含まれる何れか１つのパラメータｐａｒａｉ，ｊに一対一で対応付けられている。１つのパラメータｐａｒａｉ，ｊを指定することで、それに対応する映像Ｍｉ，ｊが特定できる。第２データに含まれる画像群Ｍｉ，ｊは映像の各フレーム画像となり得る時刻情報つきの画像群（画像のグループ）である。１つの映像の各フレーム画像となり得る時刻情報つきの画像群Ｍｉ，ｊは、第３データに含まれる何れか１つのパラメータｐａｒａｉ，ｊに対応付けられている。１つのパラメータｐａｒａｉ，ｊを指定することで、それに対応するグループ化された映像Ｍｉ，ｊが特定でき、その映像Ｍｉ，ｊを時刻情報に従って各フレーム画像として使用することで映像を再生できる。なお、第２データに含まれる各映像Ｍｉ，ｊは、例えば、前述の実施例１から３で説明した方法で生成できる。
【００５７】
このようなデータ構造を持つデータはハードウェアによる処理を規定するプログラムに準じた性質を持つ。図１３にこのようなデータ構造に従って処理を実行する錯覚システム４を例示する。錯覚システム４は映像表示装置４００、投影装置４２、および実物体４１を有する。実物体４１は、第１データに含まれる何れかの画像Ｐｉによって表される標的領域を含む実物であってもよいし、当該画像Ｐｉによって表される標的領域を含む仮想物（例えば、ディスプレイに表示された画像）であってもよいし、当該画像Ｐｉによって表される標的領域が印刷または描かれた物であってもよい。映像表示装置４００には、実物体４１に対応する画像Ｐｉを特定するための情報ｉ、および影の動きに対応する映像を特定するための情報ｊ、およびデータ構造が入力される。情報ｉは利用者によって入力されてもよいし、実物体４１の像を取り込んで得られた画像から自動的に設定されたものであってもよいし、外部の装置から出力された実物体４１のデータから自動的に抽出されたものであってもよい。情報ｊは利用者によって入力されたものであってもよいし、外部の装置から与えられたものであってもよいし、予め定められたものであってもよい。映像表示装置４００は、第１データと第２データと第３データとの対応付けに従って、投影装置４２に出力映像を送り、投影装置４２は、実物体４１に対して、第３データで表されたパラメータ群に属する何れかのパラメータｐａｒａｉ，ｊに対応する第２データで表された標的領域の影の動きを表す映像または画像群Ｍｉ，ｊを投影する。このように映像表示装置４００は、映像または画像群Ｍｉ，ｊを実物体４１に重畳する。これにより、映像または画像群Ｍｉ，ｊが重畳された実物体４１を見た観察者５０に、実物体４１の標的領域が背景領域から浮き上がり、背景領域に対する標的領域の見掛けの高さが時間変化すると錯覚させることができる。
【００５８】
実施例１，２で例示したように、標的領域が絶対値が零より大きい空間周波数成分である第１エッジを含み、映像群または画像群Ｍｉ，ｊが、第１エッジに対応する第２エッジ（絶対値が零より大きい空間周波数成分）を含んでもよい。この場合、第１データは、画像Ｐｉを表す画像データと、画像データの水平位置情報（水平座標）および垂直位置情報（垂直座標）と、が対応づけられたデータであり、第２データは、映像群に含まれる映像Ｍｉ，ｊまたは画像群に含まれる画像Ｍｉ，ｊを表す像データと、像データの水平位置情報および垂直位置情報と、が対応づけられたデータである。第１データが含む画像データの水平位置情報および垂直位置情報と、第２データが含む像データの水平位置情報および垂直位置情報とは、互いに対応付けられている。第１データおよび／または第２データは、第１データが含む画像データの水平位置情報および垂直位置情報と、第２データが含む像データの水平位置情報および垂直位置情報と、を対応つける対応情報（例えば、ポインタ）を含んでいる。この場合、映像表示装置４００は、対応情報、第１データが含む画像データの水平位置情報および垂直位置情報、および、第２データが含む像データの水平位置情報および垂直位置情報に従って、実物体４１における標的領域の第１エッジの水平位置および垂直位置に、第３データで表されたパラメータ群に属するパラメータｐａｒａｉ，ｊに対応する第２データで表された標的領域の影の動きを表す映像または画像群Ｍｉ，ｊの第２エッジの水平位置および垂直位置を合わせて、実物体４１に映像または画像群Ｍｉ，ｊを重ね合わせる。
【００５９】
［実施例４の変形例１］
図１４に上述のデータ構造に従って処理を実行する他の錯覚システム５を例示する。錯覚システム５は映像表示装置５００、透明ディスプレイ５２、および実物体４１を有する。映像表示装置５００には、実物体４１に対応する画像Ｐｉを特定するための情報ｉ、および影の動きに対応する映像を特定するための情報ｊ、および前述のデータ構造が入力される。映像表示装置５００は、第１データと第２データと第３データとの対応付けに従って、透明ディスプレイ５２に出力映像を送り、透明ディスプレイ５２は、第３データで表されたパラメータ群に属する何れかのパラメータｐａｒａｉ，ｊに対応する第２データで表された標的領域の影の動きを表す映像または画像群Ｍｉ，ｊを表示する。観察者５０は映像または画像群Ｍｉ，ｊが表示された透明ディスプレイ５２越しに実物体４１を観察する。これにより、観察者５０は映像または画像群Ｍｉ，ｊが重畳された実物体４１を見ることができ、上述のような錯覚を知覚する。
【００６０】
［実施例４の変形例２］
図１５Ａおよび図５Ｂに上述のデータ構造に従って処理を実行する他の錯覚システム６を例示する。錯覚システム６は映像表示装置６００、テーブルトップ型のディスプレイ６２、および実物体６１を有する。実物体６１は実物（例えば、立体物またはシート）である。実物体６１はディスプレイ６２の表示面６２ａ上に配置されている。映像表示装置６００には、実物体６１に対応する画像Ｐｉを特定するための情報ｉ、および影の動きに対応する映像を特定するための情報ｊ、および前述のデータ構造が入力される。映像表示装置６００は、第１データと第２データと第３データとの対応付けに従って、ディスプレイ６２に出力映像を送り、ディスプレイ６２は、第３データで表されたパラメータ群に属する何れかのパラメータｐａｒａｉ，ｊに対応する第２データで表された標的領域の影の動きを表す映像または画像群Ｍｉ，ｊを表示する。これにより、映像または画像群Ｍｉ，ｊを実物体６１に重畳する。この様子を観察する観察者５０は上述のような錯覚を知覚する。
【００６１】
［実施例４の変形例３］
その他、第１データに含まれる何れかの画像Ｐｉのデータを実物体とし、映像表示装置が、入力された実物体に対応する画像Ｐｉを特定するための情報ｉ、および影の動きに対応する映像を特定するための情報ｊ、および前述のデータ構造を用い、画像処理によって画像Ｐｉと映像または画像群Ｍｉ，ｊを重畳し、重畳後の画像データをディスプレイに表示させてもよい。このディスプレイに表示された画像データを見た観察者は上述のような錯覚を知覚する。
【００６２】
［その他の変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、映像生成装置に入力される標的対象によっては、閾値化処理および画像ぼけ付与処理の少なくとも一方を省略することも可能である。例えば、閾値化処理を省略する場合には、映像生成装置に入力された標的対象を含む画像を画像ぼけ付与部１０６の入力とし、その後の処理を行えばよい。例えば、閾値化処理および画像ぼけ付与処理を省略する場合には、映像生成装置に入力された標的対象を含む画像を位置・輝度変更部１０８の入力とし、その後の処理を行えばよい。例えば、閾値化処理を行うが画像ぼけ付与処理を省略する場合には、閾値化部１０５，２０５から出力された画像を位置・輝度変更部１０８の入力とし、その後の処理を行えばよい。
【００６３】
投影以外の方法で出力映像を実物体に重畳する場合には、ホモグラフィ行列や画素位置変換行列を用いた空間変換処理を省略できる。すなわち、位置・輝度変更部１０８で得られる映像を出力映像としてもよい。
【００６４】
上述の実施例では、位置・輝度変更部１０８が動きを暗領域に与えるとともに輝度変更を行ったが、動きを暗領域に与えた画像を生成してから輝度変更を行ってもよいし、暗領域の輝度変更を行った画像を生成してから動きを与えてもよい。
【００６５】
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００６６】
上記の各装置（映像生成装置および映像表示装置のそれぞれ）は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
【００６７】
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００６８】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６９】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００７０】
コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【符号の説明】
【００７１】
１００，２００，３００  映像生成装置
４００，５００，６００  映像表示装置
【図１】
2019186762.tif 000004
【図２】
2019186762.tif 000005
【図３】
2019186762.tif 000006
【図４】
2019186762.tif 000007
【図５】
2019186762.tif 000008
【図６】
2019186762.tif 000009
【図７】
2019186762.tif 000010
【図８】
2019186762.tif 000011
【図９】
2019186762.tif 000012
【図１０】
2019186762.tif 000013
【図１１】
2019186762.tif 000014
【図１２】
2019186762.tif 000015
【図１３】
2019186762.tif 000016
【図１４】
2019186762.tif 000017
【図１５】
2019186762.tif 000018