(57)【要約】【課題】観察者の視点移動に伴う画質変動に対する違和感を抑制することができる画像生成技術を提供する。【解決手段】φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを用いて、擬似視点画像Ｉφｋと擬似視点画像Ｉ−φｋを生成する画像生成部と、視点画像Ｉを擬似視点画像Ｉφ０、擬似視点画像Ｉφｋ，Ｉ−φｋ（０≦ｋ≦Ｋ）をＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉφ０（＝Ｉ），Ｉ−φ１，…，Ｉ−φＫの順に整列したものをＩ（１），Ｉ（２），…，Ｉ（Ｋ），Ｉ（Ｋ＋１），Ｉ（Ｋ＋２），…，Ｉ（２Ｋ＋１）とし、擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成する出力画像生成部とを含み、出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦２Ｋ−２）は、合成して視認されると、相殺される位相変調成分を含む。【選択図】図９
2019185589.tif 000002
【特許請求の範囲】
【請求項１】
Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、
ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉに対応する視差マップＤｍａｐから、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成部と、
視点画像Ｉを擬似視点画像Ｉφ０、擬似視点画像Ｉφｋ，Ｉ−φｋ（０≦ｋ≦Ｋ）をＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉφ０（＝Ｉ），Ｉ−φ１，…，Ｉ−φＫの順に整列したものをＩ（１），Ｉ（２），…，Ｉ（Ｋ），Ｉ（Ｋ＋１），Ｉ（Ｋ＋２），…，Ｉ（２Ｋ＋１）とし、
擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成する出力画像生成部と
を含む画像生成装置であって、
出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦２Ｋ−２）は、合成して視認されると、相殺される位相変調成分を含む
画像生成装置。
【請求項２】
Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、
ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉを撮影した視点位置に隣接する視点位置から撮影した視点画像Ｉ’から、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成部と、
視点画像Ｉを擬似視点画像Ｉφ０とし、擬似視点画像Ｉφｋ，Ｉ−φｋ（０≦ｋ≦Ｋ）をＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉφ０（＝Ｉ），Ｉ−φ１，…，Ｉ−φＫの順に整列したものをＩ（１），Ｉ（２），…，Ｉ（Ｋ），Ｉ（Ｋ＋１），Ｉ（Ｋ＋２），…，Ｉ（２Ｋ＋１）とし、
擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成する出力画像生成部と
を含む画像生成装置であって、
出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦２Ｋ−２）は、合成して視認されると、相殺される位相変調成分を含む
画像生成装置。
【請求項３】
Ｉ（１），Ｉ（２），…，Ｉ（Ｍ）を視点位置の順に整列した視点画像の列、Ｄｍａｐ（ｍ）（１≦ｍ≦Ｍ）を視点画像Ｉ（ｍ）に対応する視差マップとし、
視点画像Ｉ（ｍ）と視差マップＤｍａｐ（ｍ）（１≦ｍ≦Ｍ）から出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成する出力画像生成部と
を含む画像生成装置であって、
出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦Ｍ−２）は、合成して視認されると、相殺される位相変調成分を含む
画像生成装置。
【請求項４】
Ｉ（１），Ｉ（２），…，Ｉ（Ｍ）を視点位置の順に整列した視点画像の列とし、
視点画像Ｉ（ｍ）（１≦ｍ≦Ｍ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成する出力画像生成部と
を含む画像生成装置であって、
出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦Ｍ−２）は、合成して視認されると、相殺される位相変調成分を含む
画像生成装置。
【請求項５】
Ｉ（１），Ｉ（２），…，Ｉ（２Ｊ＋１）を視点位置の順に整列した視点画像の列とし、
視点画像Ｉ（ｊ）（１≦ｊ≦２Ｊ＋１）から出力画像Ｏｕｔｊ（１≦ｊ≦Ｊ−１）を生成する出力画像生成部と
を含む画像生成装置であって、
出力画像Ｏｕｔｊと出力画像Ｏｕｔｊ＋１（１≦ｊ≦Ｊ−２）は、合成して視認されると、相殺される位相変調成分を含む
画像生成装置。
【請求項６】
Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、
ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉに対応する視差マップＤｍａｐから、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成部と
を含む画像生成装置であって、
視点画像Ｉを擬似視点画像Ｉφ０とし、
ｋ＝−Ｋ，−（Ｋ−１），…，−１，０，１，…，Ｋ−１について、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）は、互いに隣接する視点位置における視点画像であるとし、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）の少なくとも２枚の画像の輝度を合成したものをこれらの視点位置の中間に位置する視点における画像として提示するために用いる画像である
画像生成装置。
【請求項７】
Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、
ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉを撮影した視点位置に隣接する視点位置から撮影した視点画像Ｉ’から、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成部と
を含む画像生成装置であって、
視点画像Ｉを擬似視点画像Ｉφ０とし、
ｋ＝−Ｋ，−（Ｋ−１），…，−１，０，１，…，Ｋ−１について、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）は、互いに隣接する視点位置における視点画像であるとし、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）の少なくとも２枚の画像の輝度を合成したものをこれらの視点位置の中間に位置する視点における画像として提示するために用いる画像である
画像生成装置。
【請求項８】
Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、
画像生成装置が、ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉに対応する視差マップＤｍａｐから、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成ステップと、
視点画像Ｉを擬似視点画像Ｉφ０、擬似視点画像Ｉφｋ，Ｉ−φｋ（０≦ｋ≦Ｋ）をＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉφ０（＝Ｉ），Ｉ−φ１，…，Ｉ−φＫの順に整列したものをＩ（１），Ｉ（２），…，Ｉ（Ｋ），Ｉ（Ｋ＋１），Ｉ（Ｋ＋２），…，Ｉ（２Ｋ＋１）とし、
前記画像生成装置が、擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成する出力画像生成ステップと
を含む画像生成方法であって、
出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦２Ｋ−２）は、合成して視認されると、相殺される位相変調成分を含む
画像生成方法。
【請求項９】
Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、
画像生成装置が、ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉを撮影した視点位置に隣接する視点位置から撮影した視点画像Ｉ’から、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成ステップと、
視点画像Ｉを擬似視点画像Ｉφ０とし、擬似視点画像Ｉφｋ，Ｉ−φｋ（０≦ｋ≦Ｋ）をＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉφ０（＝Ｉ），Ｉ−φ１，…，Ｉ−φＫの順に整列したものをＩ（１），Ｉ（２），…，Ｉ（Ｋ），Ｉ（Ｋ＋１），Ｉ（Ｋ＋２），…，Ｉ（２Ｋ＋１）とし、
前記画像生成装置が、擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成する出力画像生成ステップと
を含む画像生成方法であって、
出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦２Ｋ−２）は、合成して視認されると、相殺される位相変調成分を含む
画像生成方法。
【請求項１０】
Ｉ（１），Ｉ（２），…，Ｉ（Ｍ）を視点位置の順に整列した視点画像の列、Ｄｍａｐ（ｍ）（１≦ｍ≦Ｍ）を視点画像Ｉ（ｍ）に対応する視差マップとし、
画像生成装置が、視点画像Ｉ（ｍ）と視差マップＤｍａｐ（ｍ）（１≦ｍ≦Ｍ）から出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成する出力画像生成ステップと
を含む画像生成方法であって、
出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦Ｍ−２）は、合成して視認されると、相殺される位相変調成分を含む
画像生成方法。
【請求項１１】
Ｉ（１），Ｉ（２），…，Ｉ（Ｍ）を視点位置の順に整列した視点画像の列とし、
画像生成装置が、視点画像Ｉ（ｍ）（１≦ｍ≦Ｍ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成する出力画像生成ステップと
を含む画像生成方法であって、
出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦Ｍ−２）は、合成して視認されると、相殺される位相変調成分を含む
画像生成方法。
【請求項１２】
Ｉ（１），Ｉ（２），…，Ｉ（２Ｊ＋１）を視点位置の順に整列した視点画像の列とし、
画像生成装置が、視点画像Ｉ（ｊ）（１≦ｊ≦２Ｊ＋１）から出力画像Ｏｕｔｊ（１≦ｊ≦Ｊ−１）を生成する出力画像生成ステップと
を含む画像生成方法であって、
出力画像Ｏｕｔｊと出力画像Ｏｕｔｊ＋１（１≦ｊ≦Ｊ−２）は、合成して視認されると、相殺される位相変調成分を含む
画像生成方法。
【請求項１３】
Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、
画像生成装置が、ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉに対応する視差マップＤｍａｐから、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成ステップと
を含む画像生成方法であって、
視点画像Ｉを擬似視点画像Ｉφ０とし、
ｋ＝−Ｋ，−（Ｋ−１），…，−１，０，１，…，Ｋ−１について、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）は、互いに隣接する視点位置における視点画像であるとし、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）の少なくとも２枚の画像の輝度を合成したものをこれらの視点位置の中間に位置する視点における画像として提示するために用いる画像である
画像生成方法。
【請求項１４】
Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、
画像生成装置が、ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉを撮影した視点位置に隣接する視点位置から撮影した視点画像Ｉ’から、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成ステップと
を含む画像生成方法であって、
視点画像Ｉを擬似視点画像Ｉφ０とし、
ｋ＝−Ｋ，−（Ｋ−１），…，−１，０，１，…，Ｋ−１について、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）は、互いに隣接する視点位置における視点画像であるとし、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）の少なくとも２枚の画像の輝度を合成したものをこれらの視点位置の中間に位置する視点における画像として提示するために用いる画像である
画像生成方法。
【請求項１５】
請求項１ないし７のいずれか１項に記載の画像生成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成技術に関し、特に、隣り合う視点の中間に位置する視点における画像を知覚させるための画像生成技術に関する。
【背景技術】
【０００２】
例えば、非特許文献１にあるような、隣り合う視点における画像（視点画像）の輝度をその中間の視点（中間視点）の位置に応じて滑らかに合成されるよう提示することにより、観察者に中間視点での画像を知覚させる技術をリニアブレンディングという。
【０００３】
リニアブレンディングを用いると、中間視点における画像を用意する必要がないため、画像表示に必要となるプロジェクタの数を削減することができるというメリットがある。つまり、画像表示に係るコストダウンを実現することが可能となる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Andrew Jones, Jonas Unger, Koki Nagano, Jay Busch, Xueming Yu, Hsuan-Yueh Peng, Oleg Alexander, Mark Bolas, Paul Debevec, “An Automultiscopic Projector Array for Interactive Digital Humans”, SIGGRAPH '15, ACM SIGGRAPH 2015 Emerging Technologies Article No. 6, 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来のリニアブレンディングでは、中間視点において画像が重なることによる画像の多重化が起こり、その結果、画質が劣化するという問題があった。また、プロジェクタの設置位置に相当する隣り合う視点では画質の劣化がない一方、中間視点では画質が劣化するため、観察者の視点が移動することによる画質の変動が生じ、観察者が違和感を感じてしまうという問題もあった。
【０００６】
図１を参照して説明する。視点Ａではひとつの視点画像（画像１）のみが視認されるため画質が高いが、中間視点の視点Ｂではふたつの視点画像（画像１と画像２）が合成して視認される（同時に視認される）ため、多重像による画質劣化が生じる。そのため、観察者がＡ→Ｂ→Ｃの順に移動すると、画質は高→低→高と上下に変動することになる。
【０００７】
そこで本発明では、観察者の視点移動に伴う画質変動に対する違和感を抑制することができる画像生成技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉに対応する視差マップＤｍａｐから、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成部と、視点画像Ｉを擬似視点画像Ｉφ０、擬似視点画像Ｉφｋ，Ｉ−φｋ（０≦ｋ≦Ｋ）をＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉφ０（＝Ｉ），Ｉ−φ１，…，Ｉ−φＫの順に整列したものをＩ（１），Ｉ（２），…，Ｉ（Ｋ），Ｉ（Ｋ＋１），Ｉ（Ｋ＋２），…，Ｉ（２Ｋ＋１）とし、擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成する出力画像生成部とを含み、出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦２Ｋ−２）は、合成して視認されると、相殺される位相変調成分を含む。
【０００９】
本発明の一態様は、Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉを撮影した視点位置に隣接する視点位置から撮影した視点画像Ｉ’から、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成部と、視点画像Ｉを擬似視点画像Ｉφ０とし、擬似視点画像Ｉφｋ，Ｉ−φｋ（０≦ｋ≦Ｋ）をＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉφ０（＝Ｉ），Ｉ−φ１，…，Ｉ−φＫの順に整列したものをＩ（１），Ｉ（２），…，Ｉ（Ｋ），Ｉ（Ｋ＋１），Ｉ（Ｋ＋２），…，Ｉ（２Ｋ＋１）とし、擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成する出力画像生成部とを含み、出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦２Ｋ−２）は、合成して視認されると、相殺される位相変調成分を含む。
【００１０】
本発明の一態様は、Ｉ（１），Ｉ（２），…，Ｉ（Ｍ）を視点位置の順に整列した視点画像の列、Ｄｍａｐ（ｍ）（１≦ｍ≦Ｍ）を視点画像Ｉ（ｍ）に対応する視差マップとし、視点画像Ｉ（ｍ）と視差マップＤｍａｐ（ｍ）（１≦ｍ≦Ｍ）から出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成する出力画像生成部とを含み、出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦Ｍ−２）は、合成して視認されると、相殺される位相変調成分を含む。
【００１１】
本発明の一態様は、Ｉ（１），Ｉ（２），…，Ｉ（Ｍ）を視点位置の順に整列した視点画像の列とし、視点画像Ｉ（ｍ）（１≦ｍ≦Ｍ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成する出力画像生成部とを含み、出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦Ｍ−２）は、合成して視認されると、相殺される位相変調成分を含む。
【００１２】
本発明の一態様は、Ｉ（１），Ｉ（２），…，Ｉ（２Ｊ＋１）を視点位置の順に整列した視点画像の列とし、視点画像Ｉ（ｊ）（１≦ｊ≦２Ｊ＋１）から出力画像Ｏｕｔｊ（１≦ｊ≦Ｊ−１）を生成する出力画像生成部とを含み、出力画像Ｏｕｔｊと出力画像Ｏｕｔｊ＋１（１≦ｊ≦Ｊ−２）は、合成して視認されると、相殺される位相変調成分を含む。
【００１３】
本発明の一態様は、Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉに対応する視差マップＤｍａｐから、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成部とを含み、視点画像Ｉを擬似視点画像Ｉφ０とし、ｋ＝−Ｋ，−（Ｋ−１），…，−１，０，１，…，Ｋ−１について、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）は、互いに隣接する視点位置における視点画像であるとし、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）の少なくとも２枚の画像の輝度を合成したものをこれらの視点位置の中間に位置する視点における画像として提示するために用いる画像である。
【００１４】
本発明の一態様は、Ｋを１以上の整数、φｋ（１≦ｋ≦Ｋ）を０＜φ１＜…＜φＫ≦π／２を満たす実数とし、ｋ＝１，…，Ｋについて、視点画像Ｉと、視点画像Ｉを撮影した視点位置に隣接する視点位置から撮影した視点画像Ｉ’から、視点画像Ｉとの位相差がφｋである視差誘導エッジＤφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋを加算することにより擬似視点画像Ｉφｋを生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより擬似視点画像Ｉ−φｋを生成する画像生成部とを含み、視点画像Ｉを擬似視点画像Ｉφ０とし、ｋ＝−Ｋ，−（Ｋ−１），…，−１，０，１，…，Ｋ−１について、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）は、互いに隣接する視点位置における視点画像であるとし、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）の少なくとも２枚の画像の輝度を合成したものをこれらの視点位置の中間に位置する視点における画像として提示するために用いる画像である。
【発明の効果】
【００１５】
本発明によれば、観察者の視点移動に伴う画質変動に対する違和感を抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】従来技術（リニアブレンディング）を説明する図。
【図２】画像生成装置１の構成を示すブロック図。
【図３】画像生成装置１の動作を示すフローチャート。
【図４】画像生成部１０の構成を示すブロック図。
【図５】視点移動に伴う画質の変動の様子を示す図。
【図６】画像生成装置２の構成を示すブロック図。
【図７】画像生成装置２の動作を示すフローチャート。
【図８】画像生成部２０の構成を示すブロック図。
【図９】画像生成装置３の構成を示すブロック図。
【図１０】画像生成装置３の動作を示すフローチャート。
【図１１】出力画像生成部３０の構成を示すブロック図。
【図１２】出力画像生成部３０の動作を示すフローチャート。
【図１３】合成用画像生成部３１の構成を示すブロック図。
【図１４】本願技術を説明する図。
【図１５】画像生成装置４の構成を示すブロック図。
【図１６】画像生成装置４の動作を示すフローチャート。
【図１７】画像生成装置５の構成を示すブロック図。
【図１８】画像生成装置５の動作を示すフローチャート。
【図１９】画像生成装置６の構成を示すブロック図。
【図２０】画像生成装置６の動作を示すフローチャート。
【図２１】画像生成装置７の構成を示すブロック図。
【図２２】画像生成装置７の動作を示すフローチャート。
【図２３】Ｊ＝５の場合における視点画像と出力画像の関係を示す図。
【図２４】合成用画像生成部７１の構成を示すブロック図。
【図２５】実験結果を示す図。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１８】
＜第１実施形態＞
以下、図２〜図３を参照して画像生成装置１を説明する。図２は、画像生成装置１の構成を示すブロック図である。図３は、画像生成装置１の動作を示すフローチャートである。図２に示すように画像生成装置１は、画像生成部１０と、記録部９０を含む。記録部９０は、画像生成装置１の処理に必要な情報を適宜記録する構成部である。
【００１９】
画像生成装置１は、視点画像Ｉと、視点画像Ｉに対応する視差マップＤｍａｐを入力とし、視点画像Ｉと視差マップＤｍａｐから２Ｋ個（Ｋは１以上の整数）の擬似視点画像Ｉφｋ、Ｉ−φｋ（１≦ｋ≦Ｋ）を生成し、擬似視点画像Ｉφｋ、Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像Ｉを出力する。ここで、φｋ（１≦ｋ≦Ｋ）は、視点画像Ｉと視差誘導エッジＤφｋの位相差を表し、０＜φ１＜…＜φＫ≦π／２を満たす実数である。視差誘導エッジＤφｋは、視点画像Ｉとの位相差がφｋとなるように位相を変調した画像である。また、擬似視点画像Ｉφｋ、Ｉ−φｋは、いずれも視点画像Ｉの視点位置と異なる視点位置における画像である（図５参照）。以下では、φ０＝０，Ｉφ０＝Ｉと表し、視点画像Ｉのことを擬似視点画像Ｉφ０と呼ぶこともある。
【００２０】
なお、視点画像Ｉに対応する視差マップＤｍａｐの視差は、厳密に視点画像Ｉを撮影した視点位置において得られる視差でなくてもよい。例えば、与えたい視差であってもよい。
【００２１】
図３に従い画像生成装置１の動作について説明する。
【００２２】
ステップＳ１０において、画像生成部１０は、視点画像Ｉとその視差マップＤｍａｐを入力とし、ｋ＝１，…，Ｋについて、視点画像Ｉと視差マップＤｍａｐから擬似視点画像Ｉφｋ，Ｉ−φｋを生成し、擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像Ｉを出力する。擬似視点画像Ｉφｋ，Ｉ−φｋの生成手順について説明する。まず、画像生成部１０は、視点画像Ｉと視差マップＤｍａｐから視点画像Ｉとの位相差がφｋとなる位相変調画像である視差誘導エッジＤφｋを生成する。次に、画像生成部１０は、視点画像Ｉに視差誘導エッジＤφｋを加算することにより、擬似視点画像Ｉφｋ（Ｉφｋ＝Ｉ＋Ｄφｋ）を生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより、擬似視点画像Ｉ−φｋ（Ｉ−φｋ＝Ｉ−Ｄφｋ）を生成する。画像生成部１０は、擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）を順次生成する。
【００２３】
なお、画像生成装置１は、更に、Ｓ１０で出力した擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像Ｉを投影する投影部（図示しない）を含んでもよい。投影部は、擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像ＩをＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉ，Ｉ−φ１，…，Ｉ−φＫと位相差の順に、つまり、視点位置の順に整列し、スクリーンに投影する。
【００２４】
また、ｋ＝−Ｋ，−（Ｋ−１），…，−１，０，１，…，Ｋ−１について、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）は、互いに隣接する視点位置における視点画像であるとし、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）の少なくとも２枚の画像の輝度を合成したものをこれらの視点位置の中間に位置する視点における画像として提示するために用いる画像であるとしてもよい。
【００２５】
以下、図４を参照して画像生成部１０の構成及び動作について詳細に説明する。ここでは、位相差がπ／２である場合について説明する。また、その説明の中で、視点画像のことを原画像、視差誘導エッジのことを位相変調画像、擬似視点画像のことを加算画像という。
【００２６】
（画像生成部１０）
図４に例示するように、画像生成部１０は、分解部１１１，１１２、空間周波数領域変換部１２１，１２２、空間領域変換部１２３，１２４、重み計算部１３、位相操作部１４、重み付け部１５、再構成部１６、および重畳部１７，１８を有する。
【００２７】
画像生成部１０の処理を説明する。
【００２８】
画像生成部１０には、原画像ＩＣ、および、視差マップＤｍａｐが入力される。原画像ＩＣは、ＩＣ（ｘ，ｙ）を要素（画素）に持つ二次元配列である。原画像ＩＣは、静止画像であってもよいし、動画の各フレームの画像であってもよく、外部の記録装置から読み込まれたものであってもよいし、記録部９０から読み込まれたものであってもよい。視差マップＤｍａｐは、ｄ（ｘ，ｙ）を要素（画素）に持つ二次元配列（二次元濃淡画像）である。ただし、Ｄｍａｐのサイズは原画像ＩＣのサイズと同じであり、ｘは空間領域の水平座標を表し、ｙは空間領域の垂直座標を表し、ｘｍｉｎ≦ｘ≦ｘｍａｘ，ｙｍｉｎ≦ｙ≦ｙｍａｘ，ｘｍｉｎ＜ｘｍａｘ，ｙｍｉｎ＜ｙｍａｘを満たす。ｄ（ｘ，ｙ）は正値、負値、零の何れかである。Ｄｍａｐでは、ｄ（ｘ，ｙ）＞０の領域はディスプレイ面もしくはスクリーン面よりも手前側に見えるような視差（交差視差）を表し、ｄ（ｘ，ｙ）＜０の領域はディスプレイ面もしくはスクリーン面よりも奥側に見えるような視差（非交差視差）を表し、絶対値｜ｄ（ｘ，ｙ）｜が大きいほど視差は大きい。このようなＤｍａｐを用いることで、画像領域ごとに所望の視差を与えることができる。
【００２９】
原画像ＩＣは空間周波数領域変換部１２１に入力される。空間周波数領域変換部１２１は、原画像ＩＣを空間周波数領域の原画像ＩＣ〜に変換し、原画像ＩＣ〜を出力する。ただし、空間周波数領域の原画像ＩＣ〜はＩＣ〜（ωx，ωy）を要素に持つ二次元配列である。ωxは水平方向の空間周波数を表し、ωyは垂直方向の空間周波数を表す。原画像ＩＣから原画像ＩＣ〜への変換には、例えば、離散フーリエ変換を用いることができる。なお、「ＩＣ〜」の上付き添え字の「〜」は本来「Ｉ」の真上に記載されるべきである。しかし、明細書の記載表記の制約上、「ＩＣ」の右上に「〜」を記載することがある（ステップＳ１２１）。
【００３０】
空間周波数領域の原画像ＩＣ〜は分解部１１２に入力される。分解部１１２は、原画像ＩＣ〜に複素ステアラブル・フィルタ（complex steerable filters）列Ψを適用し、複素ステアラブル・ピラミッドを得て、出力する。ただし、ステアラブル・フィルタ列Ψは、空間周波数バンドλおよび方位バンドμに対応するステアラブル・フィルタΨλ，μから構成される。ここで、λは所定の幅を持った空間周波数バンドに対応する整数のインデックスであり、μは所定の幅を持った方位バンドに対応する整数のインデックスである。λｍｉｎ≦λ≦λｍａｘ，μｍｉｎ≦μ≦μｍａｘ，λｍｉｎ＜λｍａｘ，μｍｉｎ＜μｍａｘを満たす。λの小さいほど低い周波数の周波数バンドに対応する。以下のように、分解部１１２はすべてのλおよびμの組み合わせについて、原画像ＩＣ〜にステアラブル・フィルタΨλ，μを乗算することで、各空間周波数バンドλおよび各方位バンドμに対応する複素ステアラブル・ピラミッドＳＣλ，μ〜を得て出力する。
【００３１】
【数１】
2019185589.tif 000003
【００３２】
なお、「ＳＣλ，μ〜」の上付き添え字の「〜」は本来「Ｓ」の真上に記載されるべきである（式（１）参照）。しかし、明細書の記載表記の制約上、「ＳＣλ，μ」の右上に「〜」を記載することがある。また、「ＳＣλ，μ〜」の下付き添え字の「Ｃλ，μ」は本来「Ｃλ，μ」と記載されるべきである（式（１）参照）。しかし、明細書の記載表記の制約上、「Ｃλ，μ」と記載することがある（ステップＳ１１２）。
【００３３】
複素ステアラブル・ピラミッドＳＣλ，μ〜は空間領域変換部１２３に入力される。空間領域変換部１２３は、複素ステアラブル・ピラミッドＳＣλ，μ〜を空間領域の複素ステアラブル・ピラミッドＳＣλ，μに変換し、複素ステアラブル・ピラミッドＳＣλ，μを出力する。複素ステアラブル・ピラミッドＳＣλ，μ〜から複素ステアラブル・ピラミッドＳＣλ，μへの変換には、例えば、離散逆フーリエ変換を用いることができる。各複素ステアラブル・ピラミッドＳＣλ，μは、ＳＣλ，μ（ｘ，ｙ）を要素（画素）に持つ二次元配列である（ステップＳ１２３）。
【００３４】
空間領域の複素ステアラブル・ピラミッドＳＣλ，μは位相操作部１４に入力される。位相操作部１４は、各複素ステアラブル・ピラミッドＳＣλ，μの虚数部分Ｉｍ［ＳＣλ，μ（ｘ，ｙ）］を抽出し、以下のように、各空間周波数バンドλおよび各方位バンドμに対応する各位相シフト画像ＳＣ’λ，μを得て出力する。
【００３５】
【数２】
2019185589.tif 000004
【００３６】
ただし、各位相シフト画像ＳＣ’λ，μは、ＳＣ’λ，μ（ｘ，ｙ）を要素（画素）に持つ二次元配列である。「ＳＣ’λ，μ」の下付き添え字の「Ｃ’λ，μ」は本来「Ｃ’λ，μ」と記載されるべきである（式（２）参照）。しかし、明細書の記載表記の制約上、「Ｃ’λ，μ」と記載することがある。θμは方位バンドμに含まれる方位のうち、パワーが最も強い成分に対応する方位（ピーク方位）を意味する。θμの例は方位バンドμの中心の方位である。θμはある空間周波数成分からなる空間領域での格子が垂直方位に対してなす角度であり、０≦θμ≦πを満たす。位相シフト画像ＳＣ’λ，μの位相は、原画像ＩＣの空間周波数バンドλおよび方位バンドμに対応する正弦波成分の位相を正方向に０．５π［ｒａｄ］分シフトさせたものとなる。式（２）において、θμ＞π／２の場合に正負符号を反転させるのは、０≦θμ≦π／２の範囲とπ≧θμ＞π／２の範囲で位相を同じ方向（正方向）に０．５π［ｒａｄ］シフトさせるためである（ステップＳ１４）。
【００３７】
画像生成部１０に入力された視差マップＤｍａｐは分解部１１１に入力される。分解部１１１は視差マップＤｍａｐにガウシアン・フィルタ（Gaussian filters）列を適用し、視差マップＤｍａｐのガウシアン・ピラミッドＧＤλ（ｘ，ｙ）を得て出力する。ガウシアン・ピラミッドＧＤλは、空間周波数バンドλおよびそれより低い空間周波数バンドに対応する空間周波数を含む。すなわち、ＧＤλ（ｘ，ｙ）は、ωλに対応する空間周波数バンドλおよび空間周波数バンドλよりも低い空間周波数バンドに対応する、視差マップＤｍａｐのガウシアン・ピラミッドの各座標（ｘ，ｙ）の値を表す。なお、「ＧＤλ」の下付き添え字「Ｄλ」は、本来「Ｄλ」と記載されるべきである。しかし、明細書の記載表記の制約上、「Ｄλ」と記載することがある（ステップＳ１１１）。
【００３８】
ガウシアン・ピラミッドＧＤλ（ｘ，ｙ）は重み計算部１３に入力される。重み計算部１３は、以下のように、各重みＡλ，μ（ｘ，ｙ）を要素とする二次元配列である重み画像Ａλ，μを得て出力する。
【００３９】
【数３】
2019185589.tif 000005
【００４０】
ただし、ωλは空間周波数バンドλに含まれる空間周波数のうち、パワーが最も強い成分に対応する空間周波数（ピーク空間周波数）を意味する。ωλの例は空間周波数バンドλの中心の空間周波数である（ステップＳ１３）。
【００４１】
位相シフト画像ＳＣ’λ，μおよび重み画像Ａλ，μは重み付け部１５に入力される。重み付け部１５は、以下のように、重み画像Ａλ，μの各重みＡλ，μ（ｘ，ｙ）を位相シフト画像ＳＣ’λ，μの各要素ＳＣ’λ，μ（ｘ，ｙ）を乗じ、各Ｓ＾Ｃ’λ，μ（ｘ，ｙ）を要素とする二次元配列である重み付け画像Ｓ＾Ｃ’λ，μを得て出力する。
【００４２】
【数４】
2019185589.tif 000006
【００４３】
なお、「Ｓ＾」の上付き添え字「＾」は本来「Ｓ」の真上に記載されるべきである（式（４）参照）。しかし、明細書の記載表記の制約上、「Ｓ」の右上に「＾」を記載することがある（ステップＳ１５）。
【００４４】
重み付け画像Ｓ＾Ｃ’λ，μは空間周波数領域変換部１２２に入力される。空間周波数領域変換部１２２は、重み付け画像Ｓ＾Ｃ’λ，μを空間周波数領域の重み付け画像Ｓ＾〜Ｃ’λ，μに変換し、重み付け画像Ｓ＾〜Ｃ’λ，μを出力する。なお、明細書の記載表記の制約上、「Ｓ＾〜Ｃ’λ，μ」と表記する場合があるが、「Ｓ＾〜Ｃ’λ，μ」は
【００４５】
【数５】
2019185589.tif 000007
【００４６】
と同義である。なお、重み付け画像Ｓ＾Ｃ’λ，μから重み付け画像Ｓ＾〜Ｃ’λ，μへの変換には、例えば、離散フーリエ変換を用いることができる（ステップＳ１２２）。
【００４７】
重み付け画像Ｓ＾〜Ｃ’λ，μは再構成部１６に入力される。再構成部１６は、以下のように、重み付け画像Ｓ＾〜Ｃ’λ，μに前述したステアラブル・フィルタ列Ψを適用し、空間周波数領域の位相変調画像ＩＤ〜を得て出力する（ステップＳ１６）。
【００４８】
【数６】
2019185589.tif 000008
【００４９】
空間周波数領域の位相変調画像ＩＤ〜は空間領域変換部１２４に入力される。空間領域変換部１２４は、空間周波数領域の位相変調画像ＩＤ〜を空間領域の位相変調画像ＩＤに変換し、位相変調画像ＩＤを出力する。ただし、位相変調画像ＩＤはＩＤ（ｘ，ｙ）を要素（画素）に持つ二次元配列である。位相変調画像ＩＤ〜から位相変調画像ＩＤへの変換には、例えば、離散逆フーリエ変換を用いることができる（ステップＳ１２４）。
【００５０】
重畳部１７は、原画像ＩＣおよび位相変調画像ＩＤを入力とし、原画像ＩＣに位相変調画像ＩＤの正負反転画像（位相変調成分ａ）を重畳して加算画像ＩＲ（画像Ａ）を得て出力する。ある領域において視差マップＤｍａｐの値が正（交差視差）であった場合、対応する領域における位相変調画像ＩＤの位相は、原画像ＩＣの位相に対して正方向に０．５π［ｒａｄ］分だけシフトしている。したがって、この領域における位相変調画像ＩＤの正負反転画像（位相変調成分ａ）の位相は、原画像ＩＣの位相を負方向に０．５π［ｒａｄ］分だけ移動させたものとなる。一方、ある領域において視差マップＤｍａｐの値が負であった場合、対応する領域における位相変調画像ＩＤの位相は、原画像ＩＣの位相に対して負方向に０．５π［ｒａｄ］分だけシフトしている。したがって、この領域における位相変調画像ＩＤの正負反転画像（位相変調成分ａ）の位相は、原画像ＩＣの位相を正方向に０．５π［ｒａｄ］分だけ移動させたものとなる。加算画像ＩＲの各座標（ｘ，ｙ）の画素値ＩＲ（ｘ，ｙ）は、原画像ＩＣの各座標（ｘ，ｙ）の画素値ＩＣ（ｘ，ｙ）から位相変調画像ＩＤの正負反転画像の各座標（ｘ，ｙ）の画素値ＩＤ（ｘ，ｙ）を加算した値である（ＩＲ（ｘ，ｙ）＝ＩＣ（ｘ，ｙ）−ＩＤ（ｘ，ｙ））。なお、位相変調画像ＩＤの正負反転画像および加算画像ＩＲは、原画像ＩＣの位相を変化させて得られる画像の各「第１領域」に、少なくとも各「第１領域」に対応する重みを与えて得られる「位相変調成分ａを含む画像」に対応する（ステップＳ１７）。
【００５１】
重畳部１８は、原画像ＩＣおよび位相変調画像ＩＤを入力とし、原画像ＩＣと位相変調画像ＩＤ（位相変調成分ｂ）を重畳して加算画像ＩＬ（画像Ｂ）を得て出力する。位相変調成分ｂは位相変調成分ａの逆位相画像である。ある領域において視差マップＤｍａｐの値が正（交差視差）であった場合、対応する領域における位相変調画像ＩＤの位相は、原画像ＩＣの位相に対して正方向に０．５π［ｒａｄ］分だけシフトしている。したがって、この領域における位相変調成分ｂの位相は、原画像ＩＣの位相を正方向に０．５π［ｒａｄ］分だけ移動させたものとなる。一方、ある領域において視差マップＤｍａｐの値が負であった場合、対応する領域における位相変調画像ＩＤの位相は、原画像ＩＣの位相に対して負方向に０．５π［ｒａｄ］分だけシフトしている。したがって、この領域における位相変調成分ｂの位相は、原画像ＩＣの位相を負方向に０．５π［ｒａｄ］分だけ移動させたものとなる。加算画像ＩＬの各座標（ｘ，ｙ）の画素値ＩＬ（ｘ，ｙ）は、原画像ＩＣの各座標（ｘ，ｙ）の画素値ＩＣ（ｘ，ｙ）と位相変調画像ＩＤの各座標（ｘ，ｙ）の画素値ＩＤ（ｘ，ｙ）とを加算した値である（ＩＬ（ｘ，ｙ）＝ＩＣ（ｘ，ｙ）＋ＩＤ（ｘ，ｙ））。なお、位相変調画像ＩＤおよび加算画像ＩＬは、原画像ＩＣの位相を変化させて得られる画像の各「第２領域」に、少なくとも各「第２領域」に対応する重みを与えて得られる「位相変調成分ｂを含む画像」に相当する（ステップＳ１８）。
【００５２】
以下、画像生成部１０の変形例についていくつか説明する。
【００５３】
（変形例１）
理論的には、加算画像ＩＲ，ＩＬ間の視差の最大値は各波長の半波長である。しかしながら、半波長のずれ幅を得るためには前述した重みＡλ，μ（ｘ，ｙ）を無限大にする必要があり、現実的ではない。そのため、原画像ＩＣに対する加算画像ＩＲ，ＩＬの位相シフト量の絶対値をそれぞれπ／４［ｒａｄ］以下に制限してもよい。このような制限下では、重みＡλ，μ（ｘ，ｙ）の絶対値が１以下となり、加算画像ＩＲ，ＩＬ間の視差の絶対値はπ／（２ωλ｜ｃｏｓθμ｜）未満となる。この場合、重み計算部１３は、式（３）に代えて以下の式（６）に従って、各重みＡλ，μ（ｘ，ｙ）を要素とする二次元配列である重み画像Ａλ，μを得て出力する。
【００５４】
【数７】
2019185589.tif 000009
【００５５】
ただし、
【００５６】
【数８】
2019185589.tif 000010
【００５７】
である。この変形例を適用した場合、同一方位バンドに含まれる空間周波数バンドの重みを比較すると、ある空間周波数ωλ１をピークにもつ空間周波数バンドλ１（第１空間周波数バンド）に対応する重みは、空間周波数バンドλ１よりも高い空間周波数ωλ2をピークにもつ空間周波数バンドλ２（第２空間周波数バンド）（すなわち、ωλ２＞ωλ１）に対応する重み以下となる。また、同一空間周波数バンドに含まれる方位バンドの重みを比較すると、ある方位θμ１をピークにもつ方位バンドμ１（第１方位バンド）に対応する重みは、方位バンドμ１よりも垂直方位（０またはπ）に近い方位θμ２をピークにもつ方位バンドμ２（第２方位バンド）（すなわち、｜θμ２-π/２｜＞｜θμ１-π/２｜）に対応する重み以下となる。その他は画像生成部１０について説明した通りである。
【００５８】
（変形例２）
画像生成部１０は、位相変調画像ＩＤの正負反転画像および位相変調画像ＩＤをそれぞれ原画像ＩＣに重畳することで、互いに視差を持つ加算画像ＩＲおよびＩＬを得ている。このように得られた加算画像ＩＲおよびＩＬの振幅は原画像ＩＣの振幅よりも大きく、加算画像ＩＲおよびＩＬが所定の下限値ｂＬおよび／または上限値ｂＵを超えてしまう場合（ｂＬ＜ｂＵ）、すなわち、所定のダイナミックレンジを超えてしまう場合がある。これに対する単純な対策として、加算画像ＩＲおよびＩＬを下限値ｂＬと上限値ｂＵとの間の範囲内に収めるために、加算画像ＩＲおよびＩＬの全体の強度を線形圧縮する方法が考えられる。しかしながら、この単純な対策では、加算画像ＩＲおよびＩＬのコントラストが原画像ＩＣのものよりも小さくなり、画像の印象が変わってしまう。また加算画像ＩＲおよびＩＬのうち下限値ｂＬおよび／または上限値ｂＵを超えた部分を削除する対策も考えられるが、この場合には加算画像ＩＲおよびＩＬの視差成分が互いに相殺されず、加算画像ＩＲおよびＩＬを両目で一度に見た場合に二重にぼやけた画像が知覚される可能性がある。そのため、本変形例２では、加算画像ＩＲおよびＩＬのうち下限値ｂＬまたは上限値ｂＵを超える部分に対応する位相変調画像ＩＤをクリッピングする。
【００５９】
具体的に説明する。本変形例２では、画像生成部１０がさらにダイナミックレンジ調整部１６１を有する（図４参照）。ダイナミックレンジ調整部１６１は、位相変調画像ＩＤおよび重畳部１７，１８で得られた加算画像ＩＲ，ＩＬを入力とし、以下のように位相変調画像ＩＤを位相変調画像ＩＤ＾に更新して出力する。
【００６０】
【数９】
2019185589.tif 000011
【００６１】
ただし、位相変調画像ＩＤ＾は要素ＩＤ＾（ｘ，ｙ）からなる二次元配列であり、ＭＵ（ｘ，ｙ）＝ｍａｘ（ｍａｘ（ＩＲ（ｘ，ｙ）−ｂＵ，０），ｍａｘ（ＩＬ（ｘ，ｙ）−ｂＵ，０））、ＭＬ（ｘ，ｙ）＝ｍｉｎ（ｍｉｎ（ＩＲ（ｘ，ｙ）−ｂＬ，０），ｍｉｎ（ＩＬ（ｘ，ｙ）−ｂＬ，０））である。ｍａｘ（α１，α２）は、α１およびα２のうち大きな方の値を表し、ｍｉｎ（α１，α２）はα１およびα２のうち小さな方の値を表す。なお、「ＩＤ＾」の「＾」は本来「Ｉ」の真上に記載されるべきである（式（７）参照）。しかし、明細書の記載表記の制約上、「ＩＤ」の右上に「＾」を表記することがある。
【００６２】
この場合、重畳部１７は、さらに原画像ＩＣおよび位相変調画像ＩＤ＾を入力とし、原画像ＩＣに位相変調画像ＩＤ＾の正負反転画像（位相変調成分ａ）を重畳して加算画像ＩＲ（画像Ａ）を得て出力する。加算画像ＩＲの各座標（ｘ，ｙ）の画素値ＩＲ（ｘ，ｙ）は、原画像ＩＣの各座標（ｘ，ｙ）の画素値ＩＣ（ｘ，ｙ）から位相変調画像ＩＤ＾の各座標（ｘ，ｙ）の画素値ＩＤ＾（ｘ，ｙ）を減算した値である（ＩＲ（ｘ，ｙ）＝ＩＣ（ｘ，ｙ）−ＩＤ＾（ｘ，ｙ））。この場合、前述のステップＳ１７で得られた加算画像ＩＲは画像Ａとして出力されない。
【００６３】
重畳部１８は、さらに原画像ＩＣおよび位相変調画像ＩＤ＾を入力とし、原画像ＩＣと位相変調画像ＩＤ＾（位相変調成分ｂ）を重畳して加算画像ＩＬ（画像Ｂ）を得て出力する。加算画像ＩＬの各座標（ｘ，ｙ）の画素値ＩＬ（ｘ，ｙ）は、原画像ＩＣの各座標（ｘ，ｙ）の画素値ＩＣ（ｘ，ｙ）と位相変調画像ＩＤ＾の各座標（ｘ，ｙ）の画素値ＩＤ（ｘ，ｙ）とを加算した値である（ＩＬ（ｘ，ｙ）＝ＩＣ（ｘ，ｙ）＋ＩＤ＾（ｘ，ｙ））。この場合、前述のステップＳ１８で得られた加算画像ＩＬは画像Ｂとして出力されない。
【００６４】
（変形例３）
原画像ＩＣがカラー画像である場合、各色チャネル（Ｒ，Ｇ，Ｂチャネル）についてそれぞれ、ステップＳ１２１，Ｓ１１２，Ｓ１２３，Ｓ１４，Ｓ１５，Ｓ１２２，Ｓ１６，Ｓ１２４，Ｓ１７，Ｓ１８の処理が実行され、すべての色チャネルの加算画像ＩＲ（画像Ａ）および加算画像ＩＬ（画像Ｂ）が出力されてもよい。原画像ＩＣがカラー画像である場合にも変形例１，２が実行されてもよく、この場合の変形例２の処理は各色チャネルについて実行される。
【００６５】
（変形例４）
画像生成部１０は、原画像ＩＣの位相を正方向に０．５π［ｒａｄ］分シフトさせたものを位相シフト画像ＳＣ’λ，μとした（式（２））。しかし、原画像ＩＣの位相を正方向に０．５πの近傍分だけシフトさせたものを位相シフト画像ＳＣ’λ，μとしてもよい。この場合、視差マップＤｍａｐの値が正（交差視差）である領域に対応する位相変調画像ＩＤの正負反転画像（位相変調成分ａ）の領域の位相は、原画像ＩＣの位相に対して負方向に０．５π［ｒａｄ］の近傍分だけシフトしたものとなる。一方、視差マップＤｍａｐの値が負である領域に対応する位相変調画像ＩＤの正負反転画像（位相変調成分ａ）の領域の位相は、原画像ＩＣの位相に対して正方向に０．５π［ｒａｄ］の近傍分だけシフトしたものとなる。視差マップＤｍａｐの値が正（交差視差）である領域に対応する位相変調画像ＩＤ（位相変調成分ｂ）の領域の位相は、原画像ＩＣの位相に対して正方向に０．５π［ｒａｄ］の近傍分だけシフトしたものとなる。一方、視差マップＤｍａｐの値が負である領域に対応する位相変調画像ＩＤ（位相変調成分ｂ）の領域の位相は、原画像ＩＣの位相に対して負方向に０．５π［ｒａｄ］の近傍分だけシフトしたものとなる。また、位相変調画像ＩＤの正負反転画像を位相変調成分ａとし、位相変調画像ＩＤを位相変調成分ｂとすることに代え、位相変調画像ＩＤの正負反転画像を位相変調成分ａとし、位相変調成分ａの逆位相近傍の画像を位相変調成分ｂとしてもよい。
【００６６】
（その他）
（画像生成部１０）で説明した通り、式（２）を用いることにより位相差がπ／２である位相変調画像を生成した。式（２）の代わりに所定の式を用いることにより、任意の位相差の位相変調画像を生成することができる。
【００６７】
以上、画像生成部１０について、その変形例も含め詳細に説明した。以下、Ｋ＝２、φ１＝π／４，φ２＝π／２とした場合を例に説明する（図５参照）。画像生成部１０は、擬似視点画像ＩΠ／４，Ｉ−Π／４と擬似視点画像ＩΠ／２，Ｉ−Π／２を生成し、擬似視点画像ＩΠ／２，Ｉ−Π／２，ＩΠ／４，Ｉ−Π／４と視点画像Ｉを出力する。これらの画像をＩΠ／２，ＩΠ／４，Ｉ，Ｉ−Π／４，Ｉ−Π／２の順に５台のプロジェクタ（投影装置）を用いてスクリーンに投影し、観察者に提示すると、観察者の視点移動に伴い、例えば、ＩΠ／２，ＩΠ／４，Ｉ，Ｉ−Π／４，Ｉ−Π／２の順に観察されることになる。このとき、画像ＩΠ／２，ＩΠ／４，Ｉまでは画質が概ね線形に上昇する。そして、画像Ｉの画質をピークに、Ｉ，Ｉ−Π／４，Ｉ−Π／２までは画質が概ね線形に下降する。例えば、視点位置１、視点位置１と視点位置２の中間視点、視点位置２では、画質が徐々に高くなっていくため、従来のリニアブレンディングのように画質が高→低→高とならない。このため、画質変動により観察者が感じる違和感を抑制することができる。
【００６８】
本実施形態の発明によれば、１つの視点画像Ｉとその視差マップＤｍａｐから、視点画像Ｉの視点位置と異なる視点位置における擬似視点画像を任意の数だけ生成することができる。また、擬似視点画像と視点画像Ｉを位相差の順に整列してプロジェクタで投影することにより、観察者の視点移動に伴う画質変動に対する違和感を抑制することができる。
【００６９】
＜第２実施形態＞
以下、図６〜図７参照して画像生成装置２を説明する。図６は、画像生成装置２の構成を示すブロック図である。図７は、画像生成装置２の動作を示すフローチャートである。図６に示すように画像生成装置２は、画像生成部２０と、記録部９０を含む。記録部９０は、画像生成装置２の処理に必要な情報を適宜記録する構成部である。
【００７０】
画像生成装置２は、視点画像Ｉとその隣の視点画像Ｉ’を入力とし、視点画像Ｉと視点画像Ｉ’から２Ｋ個（Ｋは１以上の整数）の擬似視点画像Ｉφｋ、Ｉ−φｋ（１≦ｋ≦Ｋ）を生成し、擬似視点画像Ｉφｋ、Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像Ｉを出力する。ここで、φｋ（１≦ｋ≦Ｋ）は、視点画像Ｉと視差誘導エッジＤφｋの位相差を表し、０＜φ１＜…＜φＫ≦π／２を満たす実数である。視差誘導エッジＤφｋは、視点画像Ｉとの位相差がφｋとなるように位相を変調した画像である。また、擬似視点画像Ｉφｋ、Ｉ−φｋは、いずれも視点画像Ｉの視点位置と異なる視点位置における画像である（図５参照）。以下では、φ０＝０，Ｉφ０＝Ｉと表し、視点画像Ｉのことを擬似視点画像Ｉφ０と呼ぶこともある。
【００７１】
なお、撮影対象に向かって水平に等間隔に配置された複数の視点位置を前提とし、それぞれの視点位置からカメラで撮影した画像が視点画像であり、隣接する視点位置から撮影した画像を“その隣の視点画像”という。つまり、画像生成装置２は、視点画像Ｉと、視点画像Ｉを撮影した視点位置に隣接する視点位置から撮影した視点画像Ｉ’を入力とする。
【００７２】
図７に従い画像生成装置２の動作について説明する。
【００７３】
ステップＳ２０において、画像生成部２０は、視点画像Ｉとその隣の視点画像Ｉ’を入力とし、ｋ＝１，…，Ｋについて、視点画像Ｉと視点画像Ｉ’から擬似視点画像Ｉφｋ、Ｉ−φｋを生成し、擬似視点画像Ｉφｋ、Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像Ｉを出力する。擬似視点画像Ｉφｋ，Ｉ−φｋの生成手順について説明する。まず、画像生成部２０は、視点画像Ｉと視点画像Ｉ’から視点画像Ｉとの位相差がφｋとなる位相変調画像である視差誘導エッジＤφｋを生成する。次に、画像生成部２０は、視点画像Ｉに視差誘導エッジＤφｋを加算することにより、擬似視点画像Ｉφｋ（Ｉφｋ＝Ｉ＋Ｄφｋ）を生成し、視点画像Ｉに視差誘導エッジＤφｋの正負反転画像を加算することにより、擬似視点画像Ｉ−φｋ（Ｉ−φｋ＝Ｉ−Ｄφｋ）を生成する。画像生成部２０は、擬似視点画像Ｉφｋ、Ｉ−φｋ（１≦ｋ≦Ｋ）を順次生成する。
【００７４】
なお、画像生成装置２は、更に、Ｓ２０で出力した擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像Ｉを投影する投影部（図示しない）を含んでもよい。投影部は、擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像ＩをＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉ，Ｉ−φ１，…，Ｉ−φＫと位相差の順に、つまり、視点位置の順に整列し、スクリーンに投影する。
【００７５】
また、ｋ＝−Ｋ，−（Ｋ−１），…，−１，０，１，…，Ｋ−１について、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）は、互いに隣接する視点位置における視点画像であるとし、擬似視点画像Ｉφｋと擬似視点画像Ｉφ（ｋ＋１）の少なくとも２枚の画像の輝度を合成したものをこれらの視点位置の中間に位置する視点における画像として提示するために用いる画像であるとしてもよい。
【００７６】
以下、図８を参照して画像生成部２０の構成及び動作について詳細に説明する。ここでは、位相差がπ／２である場合について説明する。また、その説明の中で、視点画像のことを原画像、視差誘導エッジのことを位相変調画像、擬似視点画像のことを加算画像という。
【００７７】
（画像生成部２０）
図８に例示するように、画像生成部２０は、空間周波数領域変換部１２２、２２１，２２２、空間領域変換部１２４、２２４、２２５、分解部２１１，２１２、位相操作部２３、位相差計算部２４、重み計算部２５、重み付け部１５、再構成部１６、および重畳部１７，１８を有する。
【００７８】
画像生成部２０の処理を説明する。
【００７９】
画像生成部２０には、原画像ＩＬ’＝ＩＣ（第１原画像）および原画像ＩＲ’（第２原画像）が入力される。原画像ＩＬ’および原画像ＩＲ’は、例えば、両眼画像提示手法によって画像に見掛けの奥行きを与えるための三次元画像コンテンツである。原画像ＩＬ’および原画像ＩＲ’との間には両眼視差として認識される位相差がある。言い換えると、原画像ＩＬ’および原画像ＩＲ’との間には両眼視差として認識される位置ずれがある。一方の眼（例えば、右眼）で原画像ＩＲ’を見、他方の眼（例えば、左眼）で原画像ＩＬ’を見たものは「立体像」を知覚する。一方、両目で原画像ＩＲ’および原画像ＩＬ’の両方を見たものは、二重にぼやけた画像を知覚する。原画像ＩＲ’はＩＲ’（ｘ，ｙ）を要素に持つ二次元配列であり、原画像ＩＬ’はＩＬ’（ｘ，ｙ）を要素（画素）に持つ二次元配列である。原画像ＩＲ’および原画像ＩＬ’は、静止画像であってもよいし、動画の各フレームの画像であってもよく、外部の記録装置から読み込まれたものであってもよいし、記録部９０から読み込まれたものであってもよい。
【００８０】
原画像ＩL’は空間周波数領域変換部２２１に入力され、原画像ＩR’は空間周波数領域変換部２２２に入力される。空間周波数領域変換部２２１は、原画像ＩL’を空間周波数領域の原画像ＩL’〜に変換し、原画像ＩL’〜を出力する。空間周波数領域変換部２２２は、原画像ＩR’を空間周波数領域の原画像ＩR’〜に変換し、原画像ＩR’ 〜を出力する。空間周波数領域変換部２２１，２２２での変換には、例えば、離散フーリエ変換を用いることができる。なお、「ＩL’〜」「ＩR’〜」の上付き添え字の「〜」は本来「Ｉ」の真上に記載されるべきである。しかし、明細書の記載表記の制約上、それぞれ「ＩL’」「ＩR’」の右上に「〜」を記載することがある（ステップＳ２２１，Ｓ２２２）。
【００８１】
空間周波数領域の原画像ＩＲ’〜は分解部２１１に入力され、空間周波数領域の原画像ＩＬ’〜は分解部２１２に入力される。分解部２１１および２１２は、それぞれ以下のように、原画像ＩＲ’〜およびＩＬ’〜に複素ステアラブル・フィルタ列Ψを適用し、各空間周波数バンドλおよび各方位バンドμに対応する各複素ステアラブル・ピラミッドＳＬ’λ，μ〜およびＳＲ’λ，μ〜をそれぞれ得て出力する（ステップＳ２１１，Ｓ２１２）。
【００８２】
【数１０】
2019185589.tif 000012
【００８３】
複素ステアラブル・ピラミッドＳＬ’λ，μ〜およびＳＲ’λ，μ〜は、それぞれ、空間領域変換部２２４および２２５に入力される。空間領域変換部２２４および２２５は、それぞれ、複素ステアラブル・ピラミッドＳＬ’λ，μ〜およびＳＲ’λ，μ〜を空間領域の複素ステアラブル・ピラミッドＳL’λ，μおよびＳＲ’λ，μに変換し、複素ステアラブル・ピラミッドＳL’λ，μおよびＳＲ’λ，μを出力する。空間領域変換部２２４および２２５での変換には、例えば、離散逆フーリエ変換を用いることができる。各複素ステアラブル・ピラミッドＳＬ’λ，μは、ＳＬ’λ，μ（ｘ，ｙ）を要素（画素）に持つ二次元配列であり、各複素ステアラブル・ピラミッドＳＲ’λ，μは、ＳＲ’λ，μ（ｘ，ｙ）を要素に持つ二次元配列である（ステップＳ２２４，Ｓ２２５）。
【００８４】
複素ステアラブル・ピラミッドＳL’λ，μおよびＳＲ’λ，μは位相差計算部２４に入力される。位相差計算部２４は、参考非特許文献１（DIDYK, P., SITTHI-AMORN, P., FREEMAN, W., DURAND, F., AND MATUSIK, W. 2013, “Joint View Expansion and Filtering for Automultiscopic 3d Displays,” ACM Trans. Graph. 32, 6737 (Nov.), 221:1-221:8）に記載された方法を用い、ＳＬ’λ，μ（ｘ，ｙ）とＳＲ’λ，μ（ｘ，ｙ）との間の位相差δλ，μ（ｘ，ｙ）を得て出力する。位相差δλ，μ（ｘ，ｙ）を要素とする集合を位相差δλ，μと表記する。参考非特許文献１に記載されているように、位相差がπ／２［ｒａｄ］を超えた空間周波数バンドλについては、１つ低い空間周波数バンドλ‐１での位相差δλ−１，μ（ｘ，ｙ）の２倍の値を位相差δλ，μ（ｘ，ｙ）とする。
【００８５】
【数１１】
2019185589.tif 000013
【００８６】
ただし、空間周波数バンドλのピーク空間周波数ωλは、空間周波数バンド（λ−１）のピーク空間周波数ωλ−１の２倍または２倍の近傍である（ステップＳ２４）。
【００８７】
位相差δλ，μは重み計算部２５に入力される。重み計算部２５は、以下のように重みＡλ，μ（ｘ，ｙ）を得て出力する（ステップＳ２５）。
【００８８】
【数１２】
2019185589.tif 000014
【００８９】
空間領域変換部２２４で得られた複素ステアラブル・ピラミッドＳＬ’λ，μは、位相操作部２３に入力される。位相操作部２３は、複素ステアラブル・ピラミッドＳＬ’λ，μの虚数部分を抽出し、ＳＣλ，μ＝ＳＬ’λ，μとし、式（２）に従って、各空間周波数バンドλおよび各方位バンドμに対応する各位相シフト画像ＳＣ’λ，μを得て出力する（ステップＳ２２４）。
【００９０】
これ以降は、（画像生成部１０）で説明したステップＳ１５，Ｓ１２２，Ｓ１６，Ｓ１２４の処理を行って空間領域変換部１２４が位相変調画像ＩＤを出力する。さらに、ステップＳ１７の処理を行って重畳部１７が加算画像ＩＲ（画像Ａ）を得て出力する。また、ステップＳ１８の処理を行って重畳部１８が加算画像ＩＬ（画像Ｂ）を得て出力する。
【００９１】
以下、画像生成部２０の変形例についていくつか説明する。
【００９２】
（変形例１）
画像生成部１０の変形例１で説明したように、原画像ＩＬ，＝ＩＣに対する加算画像ＩＲ，の位相シフト量の絶対値をそれぞれπ／４［ｒａｄ］以下に制限してもよい。この場合、画像生成部２０（図８参照）はさらに位相差制限部２４１を有する。位相差制限部２４１は、位相差計算部２４で得られた位相差δλ，μ（ｘ，ｙ）を入力とし、以下のように位相差δλ，μ（ｘ，ｙ）をδ＾λ，μ（ｘ，ｙ）に更新する。
【００９３】
【数１３】
2019185589.tif 000015
【００９４】
ただし、τはスケーリングのための正の定数である。τの値を小さくすることで位相差がπ／４［ｒａｄ］にクリッピングされる範囲を狭くできる。
【００９５】
この場合、ステップＳ２５では、位相差δλ，μ（ｘ，ｙ）に代えてδ＾λ，μ（ｘ，ｙ）が重み計算部２５に入力される。この場合、重み計算部２５は、以下のように重みＡλ，μ（ｘ，ｙ）を得て出力する。
【００９６】
【数１４】
2019185589.tif 000016
【００９７】
以降の処理は前述の通りである。
【００９８】
（変形例２）
画像生成部１０の変形例２と同様、画像生成部２０がさらにダイナミックレンジ調整部１６１を有してもよい（図８参照）。この場合、ダイナミックレンジ調整部１６１は、画像生成部１０の変形例２で説明したように、位相変調画像ＩＤを位相変調画像ＩＤ＾に更新して出力し、重畳部１７は原画像ＩＬ’＝ＩＣに位相変調画像ＩＤ＾の正負反転画像（位相変調成分ａ）を重畳して加算画像ＩＲ（画像Ａ）を得て出力し、重畳部１８は、さらに原画像ＩＬ’＝ＩＣおよび位相変調画像ＩＤ＾を入力とし、原画像ＩＬ’＝ＩＣと位相変調画像ＩＤ＾（位相変調成分ｂ）を重畳して加算画像ＩＬ（画像Ｂ）を得て出力する。
【００９９】
（変形例３）
原画像ＩＬ’＝ＩＣ、および、原画像ＩＲ’がカラー画像である場合、各色チャネル（Ｒ，Ｇ，Ｂチャネル）についてそれぞれ、ステップＳ２２１，Ｓ２２２，Ｓ２１１，Ｓ２１２，Ｓ２２４，Ｓ２２５，Ｓ２４，Ｓ２５，Ｓ２３，Ｓ１５，Ｓ１２２，Ｓ１６，Ｓ１２４，Ｓ１７，Ｓ１８の処理が実行され、すべての色チャネルの加算画像ＩＲ（画像Ａ）および加算画像ＩＬ（画像Ｂ）が出力されてもよい。ステップＳ２４の処理は何れか１つのチャネルのみでよい。原画像ＩＬ’＝ＩＣがカラー画像である場合にも変形例１，２が実行されてもよく、この場合の変形例２の処理は各色チャネルについて実行される。
【０１００】
（変形例４）
画像生成部２０は、原画像ＩＬ’＝ＩＣの位相を正方向に０．５π［ｒａｄ］分シフトさせたものを位相シフト画像ＳＣ’λ，μとした（式（２））。しかし、原画像ＩＬ’＝ＩＣの位相を正方向に０．５πの近傍分だけシフトさせたものを位相シフト画像ＳＣ’λ，μとしてもよい。この場合、視差マップの値が正（交差視差）である領域に対応する位相変調画像ＩＤの正負反転画像（位相変調成分ａ）の位相は、原画像ＩＬ’＝ＩＣの位相に対して負方向に０．５π［ｒａｄ］の近傍分だけシフトしたものとなり、視差マップの値が正（交差視差）である領域に対応する位相変調画像ＩＤ（位相変調成分ｂ）の位相は、原画像ＩＬ’＝ＩＣの位相に対して正方向に０．５π［ｒａｄ］の近傍分だけシフトしたものとなる。また、位相変調画像ＩＤの正負反転画像を位相変調成分ａとし、位相変調画像ＩＤを位相変調成分ｂとすることに代え、位相変調画像ＩＤの正負反転画像を位相変調成分ａとし、位相変調成分ａの逆位相近傍の画像を位相変調成分ｂとしてもよい。
【０１０１】
（その他）
（画像生成部２０）で説明した通り、式（２）を用いることにより位相差がπ／２である位相変調画像を生成した。式（２）の代わりに所定の式を用いることにより、任意の位相差の位相変調画像を生成することができる。
【０１０２】
以上、画像生成部２０について、その変形例も含め詳細に説明した。なお、Ｋ＝２、φ１＝π／４，φ２＝π／２とした場合における、視点移動と画質変動の関係は、画像生成部１０と同様である（図５参照）。
【０１０３】
本実施形態の発明によれば、視点画像Ｉとその隣の視点画像Ｉ’から、視点画像Ｉの視点位置と異なる視点位置における擬似視点画像を任意の数だけ生成することができる。また、擬似視点画像と視点画像Ｉを位相差の順に整列してプロジェクタで投影することにより、観察者の視点移動に伴う画質変動に対する違和感を抑制することができる。
【０１０４】
＜第３実施形態＞
以下、図９〜図１０を参照して画像生成装置３を説明する。図９は、画像生成装置３の構成を示すブロック図である。図１０は、画像生成装置３の動作を示すフローチャートである。図９に示すように画像生成装置３は、画像生成部１０と、出力画像生成部３０と、記録部９０を含む。記録部９０は、画像生成装置３の処理に必要な情報を適宜記録する構成部である。
【０１０５】
画像生成装置３は、視点画像Ｉと、視点画像Ｉに対応する視差マップＤｍａｐを入力とし、視点画像Ｉと視差マップＤｍａｐから２Ｋ個（Ｋは２以上の整数）の出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成し、出力する。ここで、出力画像Ｏｕｔｍは、プロジェクタ（投影装置）を用いてスクリーンに投影される画像である。
【０１０６】
図１０に従い画像生成装置３の動作について説明する。
【０１０７】
ステップＳ１０において、画像生成部１０は、視点画像Ｉとその視差マップＤｍａｐを入力とし、ｋ＝１，…，Ｋについて、視点画像Ｉと視差マップＤｍａｐから擬似視点画像Ｉφｋ，Ｉ−φｋを生成し、擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像Ｉを出力する。ここで、φｋ（１≦ｋ≦Ｋ）は、視点画像Ｉと視差誘導エッジＤφｋの位相差を表し、０＜φ１＜…＜φＫ≦π／２を満たす実数である。また、以下では、φ０＝０，Ｉφ０＝Ｉと表し、視点画像Ｉのことを擬似視点画像Ｉφ０と呼ぶこともある。
【０１０８】
ステップＳ３０において、出力画像生成部３０は、Ｓ１０で出力した擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像Ｉを入力とし、出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成し、出力する。擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像ＩをＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉφ０（＝Ｉ），Ｉ−φ１，…，Ｉ−φＫの順に整列し、Ｉ（１），Ｉ（２），…，Ｉ（Ｋ），Ｉ（Ｋ＋１），Ｉ（Ｋ＋２），…，Ｉ（２Ｋ＋１）とする。つまり、出力画像生成部３０は、擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）を入力とする。以下、図１１〜図１２を参照して出力画像生成部３０を説明する。図１１に示すように出力画像生成部３０は、合成用画像生成部３１と、出力画像合成部３２を含む。図１２に従い出力画像生成部３０の動作について説明する。
【０１０９】
ステップＳ３１において、合成用画像生成部３１は、Ｓ１０で出力した擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）を入力とし、ｍ＝１，…，２Ｋについて、擬似視点画像Ｉ（ｍ）と擬似視点画像Ｉ（ｍ＋１）から、合成用画像Ｉ（ｍ）Ｌ，Ｉ（ｍ）Ｒを生成し、合成用画像Ｉ（ｍ）ＬとＩ（ｍ）Ｒ（１≦ｍ≦２Ｋ）を出力する。例えば、合成用画像生成部３１は、画像生成部２０と同一の手順により、合成用画像Ｉ（ｍ）Ｌ，Ｉ（ｍ）Ｒを生成してもよい。この場合、合成用画像生成部３１は、画像生成部２０と同一の構成を有する構成部である（図８参照）。また、合成用画像生成部３１は、擬似視点画像Ｉ（ｍ）と擬似視点画像Ｉ（ｍ＋１）から擬似視点画像Ｉ（ｍ）の視差マップＤｍａｐ（ｍ）を生成した後、擬似視点画像Ｉ（ｍ）と視差マップＤｍａｐ（ｍ）から、画像生成部１０と同一の手順により、合成用画像Ｉ（ｍ）Ｌ，Ｉ（ｍ）Ｒを生成してもよい。この場合、合成用画像生成部３１は、図１３に示すように、視差マップ生成部３１１と画像生成部１０とを含む構成部となる。つまり、視差マップ生成部３１１は、擬似視点画像Ｉ（ｍ）と擬似視点画像Ｉ（ｍ＋１）から擬似視点画像Ｉ（ｍ）の視差マップＤｍａｐ（ｍ）を生成し、擬似視点画像Ｉ（ｍ）と視差マップＤｍａｐ（ｍ）を出力する。いずれにしても、ステップＳ３１において、合成用画像生成部３１は、ｍ＝１，…，２Ｋについて、擬似視点画像Ｉ（ｍ）と擬似視点画像Ｉ（ｍ＋１）から、擬似視点画像Ｉ（ｍ）との位相差が所定の値（例えば、π／２）である視差誘導エッジＤ（ｍ）を生成し、擬似視点画像Ｉ（ｍ）に視差誘導エッジＤ（ｍ）を加算することにより合成用画像Ｉ（ｍ）Ｌを生成し、擬似視点画像Ｉ（ｍ）に視差誘導エッジＤ（ｍ）の正負反転画像を加算することにより合成用画像Ｉ（ｍ）Ｒを生成する。
【０１１０】
ステップＳ３２において、出力画像合成部３２は、Ｓ３１で生成した合成用画像Ｉ（ｍ）Ｒ，Ｉ（ｍ）Ｌ（１≦ｍ≦２Ｋ）を入力とし、ｍ＝１，…，２Ｋ−１について、合成用画像Ｉ（ｍ）Ｒ，Ｉ（ｍ＋１）Ｌから出力画像Ｏｕｔｍを合成し、出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を出力する。例えば、合成用画像Ｉ（ｍ）Ｒと合成用画像Ｉ（ｍ＋１）Ｌの各画素におけるＲＧＢ値をそれぞれ加算し、２で割った値（平均化した値）を画素値とする画像を出力画像とすればよい。
【０１１１】
なお、画像生成装置３は、更に、Ｓ３０で出力した出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を投影する投影部（図示しない）を含んでもよい。投影部は、出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）をＯｕｔ１，Ｏｕｔ２，…，Ｏｕｔ２Ｋ−１の順に、つまり、視点位置の順に整列し、スクリーンに投影する。
【０１１２】
以下、図１４を参照して説明する。出力画像Ｏｕｔ１は、合成用画像Ｉ（１）ＲとＩ（２）Ｌを合成して得られる画像である。また、出力画像Ｏｕｔ２は、合成用画像Ｉ（２）ＲとＩ（３）Ｌを合成して得られる画像である。視点位置Ａでは、出力画像Ｏｕｔ１が知覚されることになる。一方、視点位置Ｂでは、出力画像Ｏｕｔ１と出力画像Ｏｕｔ２が合成して視認される（同時に視認される）。つまり、視点位置Ｂでは、位相変調成分が相殺されて合成用画像Ｉ（２）が主に知覚される。視点位置Ｂで知覚される画像は、劣化する成分として視点位置Ａの出力画像Ｏｕｔ１の合成に用いた合成用画像Ｉ（１）Ｒと視点位置Ｃの出力画像Ｏｕｔ３の合成に用いた合成用画像Ｉ（３）Ｌを含み、これらが知覚されることになるが、これらの劣化成分の影響は従来のリニアブレンディングの半分以下となるため、画質劣化が軽減される。その結果、観察者の視点がＡからＣに移動することによる画質変動の違和感を感じにくくなる。
【０１１３】
以上の説明からわかるように、出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１が合成して視認される（同時に視認される）と、位相変調成分である視差誘導エッジＤ（ｍ＋１）が相殺された画像（擬似視点画像Ｉ（ｍ＋１））が主に知覚される。つまり、出力画像生成部３０は、擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成するものであり、出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦２Ｋ−２）は、合成して視認される（同時に視認される）と、相殺される位相変調成分を含むものとなる。
【０１１４】
本実施形態の発明によれば、観察者の視点移動に伴う画質変動に対する違和感を抑制することができる。
【０１１５】
＜第４実施形態＞
以下、図１５〜図１６を参照して画像生成装置４を説明する。図１５は、画像生成装置４の構成を示すブロック図である。図１６は、画像生成装置４の動作を示すフローチャートである。図１５に示すように画像生成装置４は、画像生成部２０と、出力画像生成部３０と、記録部９０を含む。記録部９０は、画像生成装置４の処理に必要な情報を適宜記録する構成部である。
【０１１６】
画像生成装置４は、視点画像Ｉとその隣の視点画像Ｉ’（つまり、視点画像Ｉと、視点画像Ｉを撮影した視点位置に隣接する視点位置から撮影した視点画像Ｉ’）を入力とし、視点画像Ｉと視点画像Ｉ’から２Ｋ個（Ｋは２以上の整数）の出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成し、出力する。ここで、出力画像Ｏｕｔｍは、プロジェクタ（投影装置）を用いてスクリーンに投影される画像である。
【０１１７】
図１６に従い画像生成装置４の動作について説明する。
【０１１８】
ステップＳ２０において、画像生成部２０は、視点画像Ｉとその隣の視点画像Ｉ’を入力とし、ｋ＝１，…，Ｋについて、視点画像Ｉと視点画像Ｉ’から擬似視点画像Ｉφｋ，Ｉ−φｋを生成し、擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像Ｉを出力する。ここで、φｋ（１≦ｋ≦Ｋ）は、視点画像Ｉと視差誘導エッジＤφｋの位相差を表し、０＜φ１＜…＜φＫ≦π／２を満たす実数である。また、以下では、φ０＝０，Ｉφ０＝Ｉと表し、視点画像Ｉのことを擬似視点画像Ｉφ０と呼ぶこともある。
【０１１９】
ステップＳ３０において、出力画像生成部３０は、Ｓ２０で出力した擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像Ｉを入力とし、出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成し、出力する。
【０１２０】
なお、画像生成装置４は、更に、Ｓ３０で出力した出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を投影する投影部（図示しない）を含んでもよい。投影部は、出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）をＯｕｔ１，Ｏｕｔ２，…，Ｏｕｔ２Ｋ−１の順に、つまり、視点位置の順に整列し、スクリーンに投影する。
【０１２１】
出力画像Ｏｕｔｍ（１≦ｍ≦２）は、合成用画像Ｉ（ｍ）ＲとＩ（ｍ＋１）Ｌを合成して得られる画像であるため、画像生成装置３と同様、観察者の視点がＡからＣに移動することによる画質変動の違和感を感じにくくなる（図１４参照）。
【０１２２】
つまり、擬似視点画像Ｉφｋ，Ｉ−φｋ（１≦ｋ≦Ｋ）と視点画像ＩをＩφＫ，Ｉφ（Ｋ−１），…，Ｉφ１，Ｉφ０（＝Ｉ），Ｉ−φ１，…，Ｉ−φＫの順に整列したものをＩ（１），Ｉ（２），…，Ｉ（Ｋ），Ｉ（Ｋ＋１），Ｉ（Ｋ＋２），…，Ｉ（２Ｋ＋１）とし、出力画像生成部３０は、擬似視点画像Ｉ（ｍ）（１≦ｍ≦２Ｋ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦２Ｋ−１）を生成するものであり、出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦２Ｋ−２）は、合成して視認される（同時に視認される）と、相殺される位相変調成分を含むものとなる。
【０１２３】
本実施形態の発明によれば、観察者の視点移動に伴う画質変動に対する違和感を抑制することができる。
【０１２４】
＜第５実施形態＞
以下、図１７〜図１８を参照して画像生成装置５を説明する。図１７は、画像生成装置５の構成を示すブロック図である。図１８は、画像生成装置５の動作を示すフローチャートである。図１７に示すように画像生成装置５は、出力画像生成部５０と、記録部９０を含む。出力画像生成部５０は、合成用画像生成部５１と、出力画像合成部５２を含む。記録部９０は、画像生成装置５の処理に必要な情報を適宜記録する構成部である。
【０１２５】
画像生成装置５は、Ｍ個の視点画像Ｉ（ｍ）と視点画像Ｉ（ｍ）に対応する視差マップＤｍａｐ（ｍ）の組（１≦ｍ≦Ｍ、Ｍは３以上の整数）を入力とし、Ｍ−１個の出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成し、出力する。ここで、視点画像Ｉ（１），Ｉ（２），…，Ｉ（Ｍ）は視点位置の順に整列した視点画像の列である。また、出力画像Ｏｕｔｍは、プロジェクタ（投影装置）を用いてスクリーンに投影される画像である。隣り合う視点画像Ｉ（ｍ）と視点画像Ｉ（ｍ＋１）の間隔は、隣り合う出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１の間隔、つまり、出力画像Ｏｕｔｍを投影するプロジェクタの設置間隔と同一とする。
【０１２６】
図１８に従い画像生成装置５の動作について説明する。
【０１２７】
ステップＳ５０において、出力画像生成部５０は、視点画像Ｉ（ｍ）とその視差マップＤｍａｐ（ｍ）（１≦ｍ≦Ｍ）を入力とし、出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成し、出力する。
【０１２８】
ステップＳ５１において、合成用画像生成部５１は、視点画像Ｉ（ｍ）とその視差マップＤｍａｐ（ｍ）（１≦ｍ≦Ｍ）を入力とし、ｍ＝１，…，Ｍについて、視点画像Ｉ（ｍ）と視差マップＤｍａｐ（ｍ）から、合成用画像Ｉ（ｍ）ＬとＩ（ｍ）Ｒを生成し、合成用画像Ｉ（ｍ）ＬとＩ（ｍ）Ｒ（１≦ｍ≦Ｍ）を出力する。例えば、合成用画像生成部５１は、画像生成部１０と同一の手順により、合成用画像Ｉ（ｍ）ＬとＩ（ｍ）Ｒを生成してもよい。つまり、加算画像ＩＬ，ＩＲを合成用画像Ｉ（ｍ）Ｌ，Ｉ（ｍ）Ｒとする。この場合、合成用画像生成部５１は、画像生成部１０と同一の構成を有する構成部であり（図４参照）、Ｍ個の視点画像Ｉ（ｍ）とその視差マップＤｍａｐ（ｍ）の組に対して、生成処理を繰り返す。換言すると、ステップＳ５１において、合成用画像生成部５１は、ｍ＝１，…，Ｍについて、視点画像Ｉ（ｍ）とその視差マップＤｍａｐ（ｍ）から、視点画像Ｉ（ｍ）との位相差が所定の値（例えば、π／２）である視差誘導エッジＤ（ｍ）を生成し、視点画像Ｉ（ｍ）に視差誘導エッジＤ（ｍ）を加算することにより合成用画像Ｉ（ｍ）Ｌを生成し、視点画像Ｉ（ｍ）に視差誘導エッジＤ（ｍ）の正負反転画像を加算することにより合成用画像Ｉ（ｍ）Ｒを生成する。
【０１２９】
ステップＳ５２において、出力画像合成部５２は、Ｓ５１で生成した合成用画像Ｉ（ｍ）ＲとＩ（ｍ）Ｌ（１≦ｍ≦Ｍ）を入力とし、ｍ＝１，…，Ｍ−１について、合成用画像Ｉ（ｍ）ＲとＩ（ｍ＋１）Ｌから、出力画像Ｏｕｔｍを合成し、出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を出力する。出力画像Ｏｕｔｍの合成手順は、出力画像合成部３２と同一でよく、Ｍ−１個の合成用画像Ｉ（ｍ）ＲとＩ（ｍ＋１）Ｌの組に対して、生成処理を繰り返す。
【０１３０】
換言すると、出力画像生成部５０は、視点画像Ｉ（ｍ）とその視差マップＤｍａｐ（ｍ）（１≦ｍ≦Ｍ）から出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成するものであり、出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦Ｍ−２）は、合成して視認される（同時に視認される）と、相殺される位相変調成分を含むものとなる。
【０１３１】
なお、画像生成装置５は、更に、Ｓ５０で出力した出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を投影する投影部（図示しない）を含んでもよい。投影部は、出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）をＯｕｔ１，Ｏｕｔ２，…，ＯｕｔＭ−１の順に、つまり、視点位置の順に整列し、スクリーンに投影する。
【０１３２】
本実施形態の発明によれば、観察者の視点移動に伴う画質変動に対する違和感を抑制することができる。
【０１３３】
＜第６実施形態＞
以下、図１９〜図２０を参照して画像生成装置６を説明する。図１９は、画像生成装置６の構成を示すブロック図である。図２０は、画像生成装置６の動作を示すフローチャートである。図１９に示すように画像生成装置６は、出力画像生成部６０と、記録部９０を含む。出力画像生成部６０は、合成用画像生成部６１と、出力画像合成部５２を含む。記録部９０は、画像生成装置６の処理に必要な情報を適宜記録する構成部である。
【０１３４】
画像生成装置６は、視点画像Ｉ（ｍ）（１≦ｍ≦Ｍ＋１、Ｍは３以上の整数）を入力とし、Ｍ−１個の出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成し、出力する。ここで、視点画像Ｉ（１），Ｉ（２），…，Ｉ（Ｍ）は視点位置の順に整列した視点画像の列である。また、出力画像Ｏｕｔｍは、プロジェクタ（投影装置）を用いてスクリーンに投影される画像である。隣り合う視点画像Ｉ（ｍ）と視点画像Ｉ（ｍ＋１）の間隔は、隣り合う出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１の間隔、つまり、出力画像Ｏｕｔｍを投影するプロジェクタの設置間隔と同一とする。
【０１３５】
図２０に従い画像生成装置６の動作について説明する。
【０１３６】
ステップＳ６０において、出力画像生成部６０は、視点画像Ｉ（ｍ）（１≦ｍ≦Ｍ＋１）を入力とし、出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成し、出力する。
【０１３７】
ステップＳ６１において、合成用画像生成部６１は、視点画像Ｉ（ｍ）（１≦ｍ≦Ｍ＋１）を入力とし、ｍ＝１，…，Ｍについて、視点画像Ｉ（ｍ）とその隣の視点画像Ｉ（ｍ＋１）から合成用画像Ｉ（ｍ）ＬとＩ（ｍ）Ｒを生成し、合成用画像Ｉ（ｍ）ＬとＩ（ｍ）Ｒ（１≦ｍ≦Ｍ）を出力する。例えば、合成用画像生成部６１は、画像生成部２０と同一の手順により、合成用画像Ｉ（ｍ）ＬとＩ（ｍ）Ｒを生成してもよい。つまり、加算画像ＩＬ，ＩＲを合成用画像Ｉ（ｍ）Ｌ，Ｉ（ｍ）Ｒとする。この場合、合成用画像生成部６１は、画像生成部２０と同一の構成を有する構成部であり（図８参照）、Ｍ個の視点画像Ｉ（ｍ）とＩ（ｍ＋１）の組に対して、生成処理を繰り返す。また、別の方法として、例えば、合成用画像生成部６１は、合成用画像生成部３１と同一の手順により、合成用画像Ｉ（ｍ）ＬとＩ（ｍ）Ｒを生成してもよい。この場合、合成用画像生成部６１は、合成用画像生成部３１と同一の構成を有する構成部であり（図１３参照）、Ｍ個の視点画像Ｉ（ｍ）とＩ（ｍ＋１）の組に対して、生成処理を繰り返す。いずれにしても、ステップＳ６１において、合成用画像生成部６１は、ｍ＝１，…，Ｍについて、視点画像Ｉ（ｍ）とその隣の視点画像Ｉ（ｍ＋１）から、視点画像Ｉ（ｍ）との位相差が所定の値（例えば、π／２）である視差誘導エッジＤ（ｍ）を生成し、視点画像Ｉ（ｍ）に視差誘導エッジＤ（ｍ）を加算することにより合成用画像Ｉ（ｍ）Ｌを生成し、視点画像Ｉ（ｍ）に視差誘導エッジＤ（ｍ）の正負反転画像を加算することにより合成用画像Ｉ（ｍ）Ｒを生成する。
【０１３８】
ステップＳ５２において、出力画像合成部５２は、Ｓ６１で生成した合成用画像Ｉ（ｍ）ＲとＩ（ｍ）Ｌ（１≦ｍ≦Ｍ）を入力とし、ｍ＝１，…，Ｍ−１について、合成用画像Ｉ（ｍ）ＲとＩ（ｍ＋１）Ｌから、出力画像Ｏｕｔｍを合成し、出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を出力する。
【０１３９】
換言すると、出力画像生成部６０は、視点画像Ｉ（ｍ）（１≦ｍ≦Ｍ＋１）から出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を生成するものであり、出力画像Ｏｕｔｍと出力画像Ｏｕｔｍ＋１（１≦ｍ≦Ｍ−２）は、合成して視認される（同時に視認される）と、相殺される位相変調成分を含むものとなる。
【０１４０】
なお、画像生成装置６は、更に、Ｓ６０で出力した出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）を投影する投影部（図示しない）を含んでもよい。投影部は、出力画像Ｏｕｔｍ（１≦ｍ≦Ｍ−１）をＯｕｔ１，Ｏｕｔ２，…，ＯｕｔＭ−１の順に、つまり、視点位置の順に整列し、スクリーンに投影する。
【０１４１】
本実施形態の発明によれば、観察者の視点移動に伴う画質変動に対する違和感を抑制することができる。
【０１４２】
＜第７実施形態＞
以下、図２１〜図２２を参照して画像生成装置７を説明する。図２１は、画像生成装置７の構成を示すブロック図である。図２２は、画像生成装置７の動作を示すフローチャートである。図２１に示すように画像生成装置７は、出力画像生成部７０と、記録部９０を含む。出力画像生成部７０は、合成用画像生成部７１と、出力画像合成部５２を含む。記録部９０は、画像生成装置７の処理に必要な情報を適宜記録する構成部である。
【０１４３】
画像生成装置７は、視点画像Ｉ（ｊ）（１≦ｊ≦２Ｊ＋１、Ｊは３以上の整数）を入力とし、Ｊ−１個の出力画像Ｏｕｔｊ（１≦ｊ≦Ｊ−１）を生成し、出力する。ここで、視点画像Ｉ（１），Ｉ（２），…，Ｉ（２Ｊ＋１）を視点位置の順に整列した視点画像の列である。また、出力画像Ｏｕｔｊは、プロジェクタ（投影装置）を用いてスクリーンに投影される画像である。隣り合う２つの視点画像の間隔は、隣り合う２つの出力画像の間隔、つまり、出力画像Ｏｕｔｊを投影するプロジェクタの設置間隔の１／２と同一にする。図２３は、Ｊ＝５の場合の視点画像Ｉ（１）〜Ｉ（１１）と出力画像Ｏｕｔ１〜Ｏｕｔ４の位置関係を示す図である。つまり、プロジェクタは視点位置３，５，７，９にのみ設置されている。なお、Ｄはプロジェクタの設置間隔である。
【０１４４】
図２２に従い画像生成装置７の動作について説明する。
【０１４５】
ステップＳ７０において、出力画像生成部７０は、視点画像Ｉ（ｊ）（１≦ｊ≦２Ｊ＋１）を入力とし、出力画像Ｏｕｔｊ（１≦ｊ≦Ｊ−１）を生成し、出力する。
【０１４６】
ステップＳ７１において、合成用画像生成部７１は、視点画像Ｉ（ｊ）（１≦ｊ≦２Ｊ＋１）を入力とし、ｊ＝１，…，Ｊについて、視点画像Ｉ（２ｊ−１），Ｉ（２ｊ），Ｉ（２ｊ＋１）から合成用画像Ｉ（２ｊ）ＬとＩ（２ｊ）Ｒを生成し、合成用画像Ｉ（２ｊ）ＬとＩ（２ｊ）Ｒ（１≦ｊ≦Ｊ）を出力する。図２４に示すように、合成用画像生成部７１の構成は、画像生成部２０の構成と同一である。画像生成部２０では入力される画像が２つであるのに対し、合成用画像生成部７１では３つである点において異なる。したがって、合成用画像Ｉ（２ｊ）ＬとＩ（２ｊ）Ｒの生成手順は、画像生成部２０の加算画像の生成手順と同一である。換言すると、ステップＳ７１において、合成用画像生成部７１は、ｊ＝１，…，Ｊについて、隣り合う視点画像Ｉ（２ｊ−１），Ｉ（２ｊ），Ｉ（２ｊ＋１）から、視点画像Ｉ（２ｊ）との位相差が所定の値である視差誘導エッジＤ（２ｊ）を生成し、視点画像Ｉ（２ｊ）に視差誘導エッジＤ（２ｊ）を加算することにより合成用画像Ｉ（２ｊ）Ｌを生成し、視点画像Ｉ（２ｊ）に視差誘導エッジＤ（ｍ）の正負反転画像を加算することにより合成用画像Ｉ（２ｊ）Ｒを生成する。
【０１４７】
ステップＳ５２において、出力画像合成部５２は、Ｓ７１で生成した合成用画像Ｉ（２ｊ）ＲとＩ（２ｊ）Ｌ（１≦ｊ≦Ｊ）を入力とし、ｊ＝１，…，Ｊ−１について、合成用画像Ｉ（２ｊ）ＲとＩ（２ｊ＋２）Ｌから、出力画像Ｏｕｔｊを合成し、出力画像Ｏｕｔｊ（１≦ｊ≦Ｊ−１）を出力する。
【０１４８】
換言すると、出力画像生成部７０は、視点画像Ｉ（ｊ）（１≦ｊ≦２Ｊ＋１）から出力画像Ｏｕｔｊ（１≦ｊ≦Ｊ−１）を生成するものであり、出力画像Ｏｕｔｊと出力画像Ｏｕｔｊ＋１（１≦ｊ≦Ｊ−２）は、合成して視認される（同時に視認される）と、相殺される位相変調成分を含むものとなる。
【０１４９】
なお、画像生成装置７は、更に、Ｓ７０で出力した出力画像Ｏｕｔｊ（１≦ｊ≦Ｊ−１）を投影する投影部（図示しない）を含んでもよい。投影部は、出力画像Ｏｕｔｊ（１≦ｊ≦Ｊ−１）をＯｕｔ１，Ｏｕｔ２，…，ＯｕｔＪ−１の順に、つまり、視点位置の順に整列し、スクリーンに投影する。
【０１５０】
図２５は、実験結果を示す。縦軸は、画質評価指標ＳＳＩＭ（structural similarity）の値を表す。また、横軸は、図２３で用いた視点画像の視点位置を表したものである。従来のリニアブレンディングでは、視点位置３，５，７，９において、視点画像をそのまま出力画像としているため、視点位置３，５，７，９でのＳＳＩＭが高くなる一方、視点位置４，６，８において、ＳＳＩＭが大きく低下していることがわかる。これに対して、本願の手法では、プロジェクタが設置されていない視点位置４，６，８におけるＳＳＩＭの方がプロジェクタが設置されている視点位置３，５，７，９より高くなる。その結果、視点移動に伴う画質変動が軽減され、観察者が違和感を感じにくくなる。
【０１５１】
本実施形態の発明によれば、観察者の視点移動に伴う画質変動に対する違和感を抑制することができる。
【０１５２】
＜その他＞
上記実施形態の中には、例えば、第１実施形態のように視差マップを用いるものがある。視差マップを用いる実施形態については、視差マップの代わりにデプスマップ（深度マップ）を用いるようにしてもよい。例えば、デプスマップが入力された場合、デプスマップを視差マップに変換した後に、各実施形態で説明した処理を実行するようにすればよい。
【０１５３】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【０１５４】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【０１５５】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【０１５６】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１５７】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【０１５８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１５９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１６０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１６１】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2019185589.tif 000017
【図２】
2019185589.tif 000018
【図３】
2019185589.tif 000019
【図４】
2019185589.tif 000020
【図５】
2019185589.tif 000021
【図６】
2019185589.tif 000022
【図７】
2019185589.tif 000023
【図８】
2019185589.tif 000024
【図９】
2019185589.tif 000025
【図１０】
2019185589.tif 000026
【図１１】
2019185589.tif 000027
【図１２】
2019185589.tif 000028
【図１３】
2019185589.tif 000029
【図１４】
2019185589.tif 000030
【図１５】
2019185589.tif 000031
【図１６】
2019185589.tif 000032
【図１７】
2019185589.tif 000033
【図１８】
2019185589.tif 000034
【図１９】
2019185589.tif 000035
【図２０】
2019185589.tif 000036
【図２１】
2019185589.tif 000037
【図２２】
2019185589.tif 000038
【図２３】
2019185589.tif 000039
【図２４】
2019185589.tif 000040
【図２５】
2019185589.tif 000041