(57)【要約】【課題】本願発明は、多様な視覚効果を付加できる表示画像生成装置を提供する。【解決手段】表示画像生成装置１は、モデル化パラメータ入力手段１１と、正規化画像設定手段１２と、視点位置と、３次元形状モデルの表示範囲と、３次元形状モデルの表示時刻と、付加情報を表示する付加情報画素領域とを関係付けた関数を設定し、この関数に基づいて視点位置を求め、求めた視点位置の仮想カメラで３次元形状モデルを撮影することで、視覚効果画像を生成する視覚効果付加手段１３と、視覚効果画像の画素の画素値を正規化画像の画素に割り当てることで、正規化画像を生成する正規化画像生成手段１４と、正規化画像から表示画像を生成する表示画像生成手段１５とを備える。【選択図】図２
2015222892.tif 000002
【特許請求の範囲】
【請求項１】
要素レンズを２次元に配置したレンズアレイと画像表示手段とを備える立体表示装置で表示するために、視覚効果が付加された表示画像を生成する表示画像生成装置であって、
前記要素レンズの間隔に対して自然数分の１となる画素サイズを有する正規化画像を設定する正規化画像設定手段と、
前記画像表示手段の画素間隔及び前記正規化画像の画素サイズに基づいて、前記正規化画像の画素位置を算出する正規化画像画素位置算出手段と、
被写体を表した３次元形状モデルの表示範囲又は表示時刻の少なくとも一方を表す視覚効果パラメータに基づいて、前記３次元形状モデルの表示範囲に関係付けられた仮想カメラの視点位置と、前記視点位置に関係付けられた前記３次元形状モデルの表示時刻を表す被写体状態との関数を、設定する関数設定手段と、
前記関数設定手段で設定された関数に基づいて仮想カメラの視点位置を求め、求めた前記視点位置の仮想カメラで前記３次元形状モデルを撮影することで、前記視覚効果が付加された視覚効果画像を生成する視覚効果画像生成手段と、
所定の座標変換式により前記視覚効果画像の画素の画素値を前記正規化画像の画素に割り当てることで、前記正規化画像を生成する正規化画像生成手段と、
前記正規化画像生成手段が生成した正規化画像から前記表示画像を生成する表示画像生成手段と、
を備えることを特徴とする表示画像生成装置。
【請求項２】
前記関数設定手段は、前記関数において、前記３次元形状モデルから前記仮想カメラの視点位置までの距離Ｌ´と、前記要素レンズ間の画素数Ｍと、前記要素レンズの中心を原点としたローカル座標系で画素位置を表す整数ｘｕ，ｙｖとが含まれる下記の式（７）を用いて、前記仮想カメラの視点位置（ｘ´，ｙ´，ｚ´）と前記３次元形状モデルの表示範囲ωとを関係付ける視点設定手段、を備え、
前記視覚効果画像生成手段は、前記視点設定手段が関係付けた関数に基づいて、前記仮想カメラの視点位置毎に前記３次元形状モデルの異なる表示範囲を割り当てることで、前記視覚効果画像を生成することを特徴とする請求項１に記載の表示画像生成装置。
【数１】
2015222892.tif 000018
【請求項３】
前記関数設定手段は、前記関数において、予め設定された基準時刻から前記表示時刻が離れる程、当該表示時刻の３次元形状モデルを前記画像表示手段の中央から離れた前記仮想カメラの視点位置に関係付ける時間設定手段、を備え、
前記視覚効果画像生成手段は、前記時間設定手段が関係付けた関数に基づいて、前記仮想カメラの視点位置毎に異なる表示時刻の前記３次元形状モデルを割り当てることで、前記視覚効果画像を生成することを特徴とする請求項１又は請求項２に記載の表示画像生成装置。
【請求項４】
前記関数設定手段は、前記関数において、付加情報を表示する付加情報画素領域と前記仮想カメラの視点位置とを関係付ける領域設定手段、を備え、
前記付加情報が入力され、前記領域設定手段が関係付けた関数に基づいて、入力された前記付加情報を前記表示画像の付加情報画素領域に挿入する付加情報挿入手段、をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の表示画像生成装置。
【請求項５】
コンピュータを、請求項１から請求項４の何れか一項に記載の表示画像生成装置として機能させるための視覚効果付加プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、インテグラルフォトグラフィ（ＩＰ：Integral Photography）方式を用いた立体表示装置の表示画像を生成する表示画像生成装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、立体表示装置の研究開発が進み、特殊なメガネを用いなくても観察者に立体像を視認させることが可能な裸眼方式の立体表示装置が開発されている。例えば、ＩＰ方式の立体表示装置は、高精細画像表示パネルと、その前面に配置された２次元レンズアレイとを備え、高精細画像表示パネルに要素画像を表示すると立体像が再生される。
【０００３】
従来のＩＰ方式では、立体画像の表示に特化した手法が提案されている（例えば、特許文献１）。特許文献１に記載の発明は、複数人数が同時にインテグラル立体映像を観察する場合において、年齢などの個人情報を参照して適切な奥行き値（飛び出し量）を判断して各観察者に適した立体画像を表示するものである。例えば、この特許文献１に記載の発明では、子供又は大人といった観察者の年齢に応じて、適切な奥行きの立体画像を表示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２６２１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来のＩＰ方式では、単に仮想的な３次元空間を再現し、立体像を忠実に表示しているにすぎない。そこで、従来のＩＰ方式において、視野角が約２０度に制限された立体表示装置で被写体の全周を表示したり、被写体の時間変化を表示するような、多様な視覚効果を付加したいという要望がある。
【０００６】
本願発明は、多様な視覚効果を付加できる表示画像生成装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本願発明に係る表示画像生成装置は、要素レンズを２次元に配置したレンズアレイと画像表示手段とを備える立体表示装置で表示するために、視覚効果が付加された表示画像を生成する表示画像生成装置であって、正規化画像設定手段と、正規化画像画素位置算出手段と、関数設定手段と、視覚効果画像生成手段と、正規化画像生成手段と、表示画像生成手段と、を備えることを特徴とする。
【０００８】
かかる構成によれば、表示画像生成装置は、正規化画像設定手段によって、要素レンズの間隔に対して自然数分の１となる画素サイズを有する正規化画像を設定する。また、表示画像生成装置は、正規化画像画素位置算出手段によって、画像表示手段の画素間隔及び正規化画像の画素サイズに基づいて、正規化画像の画素位置を算出する。
【０００９】
また、表示画像生成装置は、関数設定手段によって、被写体を表した３次元形状モデルの表示範囲又は表示時刻の少なくとも一方を表す視覚効果パラメータに基づいて、３次元形状モデルの表示範囲に関係付けられた仮想カメラの視点位置と、視点位置に関係付けられた３次元形状モデルの表示時刻を表す被写体状態との関数を、設定する。
このように、表示画像生成装置は、表示対象となる３次元形状モデルを視点位置にそのまま対応させずに、視点位置と３次元形状モデルの状態及び時間変化との間に関数を介在させる。
【００１０】
また、表示画像生成装置は、視覚効果画像生成手段によって、関数設定手段で設定された関数に基づいて仮想カメラの視点位置を求め、求めた視点位置の仮想カメラで３次元形状モデルを撮影することで、視覚効果が付加された視覚効果画像を生成する。
【００１１】
また、表示画像生成装置は、正規化画像生成手段によって、所定の座標変換式により視覚効果画像の画素の画素値を正規化画像の画素に割り当てることで、正規化画像を生成する。そして、表示画像生成装置は、表示画像生成手段によって、正規化画像生成手段が生成した正規化画像から表示画像を生成する。
【発明の効果】
【００１２】
本願発明は、表示対象となる３次元形状モデルを視点位置にそのまま対応させずに、視点位置と３次元形状モデルの状態及び時間変化との間に関数を介在させることで、多様な視覚効果を付加することができる。また、本願発明は、視点を移動させることで、立体表示装置の視野角の制限を超えて３次元形状モデルを表示したり、３次元形状モデルをアニメーション表示することができる。
【図面の簡単な説明】
【００１３】
【図１】（ａ）は従来の立体撮影装置の概略図であり、（ｂ）は従来の立体表示装置の概略図である。
【図２】本願発明の実施形態に係る立体像生成装置の構成を示すブロック図である。
【図３】本願発明の実施形態における立体表示装置のモデル化を示す概念図であり、要素画像と、画像表示パネルと、レンズアレイとの位置関係を示す説明図である。
【図４】本願発明の実施形態において、正規化画像と、レンズアレイとの位置関係を示す説明図である。
【図５】図２の視覚効果付加手段の構成を示すブロック図である。
【図６】本願発明の実施形態において、正規化画像と、レンズアレイと、投影面との位置関係を示す説明図である。
【図７】本願発明の実施形態において、３次元形状モデルと視点位置との位置関係を示す説明図である。
【図８】（ａ）及び（ｂ）は、本願発明の実施形態において、視点位置と３次元形状モデルの表示範囲との関係を示す説明図である。
【図９】本願発明の実施形態において、視点位置と３次元形状モデルの表示時刻との関係を示す説明図である。
【図１０】本願発明の実施形態において、仮想カメラによる撮影を説明する説明図であり、レンズアレイと、正規化画像と、３次元形状モデルとの位置関係を示す図である。
【図１１】本願発明の実施形態において、仮想カメラによる撮影を説明する説明図であり、レンズアレイ上のサンプル点と、正規化画像との位置関係を示す図である。
【図１２】本願発明の実施形態において、仮想カメラによる撮影を説明する説明図であり、正規化画像と、レンズアレイと、仮想カメラとの位置関係を示す図である。
【図１３】本願発明の実施形態において、表示画像の生成を説明する説明図である。
【図１４】本願発明の実施形態において、（ａ）は３次元形状モデルの一例を示し、（ｂ）は付加情報の一例を示し、（ｃ）は付加情報画素領域の一例を示す説明図である。
【図１５】（ａ）〜（ｃ）は、本願発明の実施形態において、付加情報の挿入を説明する説明図である。
【図１６】図２の表示画像生成装置の動作を示すフローチャートである。
【図１７】図１６の視覚効果画像生成処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
［ＩＰ方式の概略］
以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。
まず、本願発明の実施形態に係る表示画像生成装置１（図２参照）の前提として、一般的なＩＰ方式の概略について説明する。
【００１５】
図１（ａ）に示すように、立体撮影装置２は、被写体ＵをＩＰ方式で撮影するものであり、要素レンズＬＰを２次元に配置したレンズアレイＬＡと、高精細カメラ２１とを備える。立体撮影装置２は、レンズアレイＬＡを介して、被写体Ｕからの光を高精細カメラ２１で記録する。これにより、立体撮影装置２は、レンズアレイＬＡの仕様に従って、各要素レンズＬＰで形成された像が並んだ表示画像Ｉを生成する。
【００１６】
図１（ｂ）に示すように、立体表示装置３は、立体撮影装置２が生成した表示画像Ｉ（複数の要素画像Ｇを縦横に配置した画像）をＩＰ方式で表示するものであり、液晶ディスプレイ等の画像表示パネル（画像表示手段）３１と、要素レンズＬＰを２次元に配置したレンズアレイＬＡとを備える。
【００１７】
立体表示装置３は、画像表示パネル３１の表示面に、立体撮影装置２が生成した表示対象の表示画像Ｉを表示する。このとき、要素画像Ｇに対応する要素レンズＬＰは一意に決まる。すると、立体表示装置３は、要素レンズＬＰにより要素画像Ｇを空中に投影して立体像Ｚを形成する。このとき、観察者Ａは、レンズアレイＬＡの要素レンズＬＰを通して、それぞれの要素画像Ｇを観視することで、立体像Ｚを視認することができる。このように、ＩＰ方式では、被写体空間の光線を取得、再現しているので、視点が移動しても、視点位置に応じた立体像Ｚを表示できる。つまり、ＩＰ方式は、被写体Ｕが実在するかのような立体像Ｚを再生する。
【００１８】
ここで、表示画像生成装置１(図２)を用いれば、多様な視覚効果を付加することが可能である。例えば、表示画像生成装置１は、視点を移動させることで、立体表示装置３で被写体Ｕの全周を表示したり（視覚効果の第１例）、被写体Ｕをアニメーション表示したり（視覚効果の第２例）、被写体Ｕとは別の付加情報を表示できる（視覚効果の第３例）。
【００１９】
［表示画像生成装置の構成］
図２を参照し、本願発明の実施形態に係る表示画像生成装置１の構成を説明する。
表示画像生成装置１は、視覚効果が付加された表示画像を生成するものであり、モデル化パラメータ入力手段１１と、正規化画像設定手段１２と、視覚効果付加手段１３と、正規化画像生成手段１４と、表示画像生成手段１５と、付加情報挿入手段１６とを備える。
【００２０】
モデル化パラメータ入力手段１１は、例えば、表示画像生成装置１の利用者から、立体表示装置３をモデル化するためのモデル化パラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ）が入力されると共に、このモデル化パラメータを正規化画像設定手段１２に出力する。このモデル化パラメータは、図３で示すように定義される。
【００２１】
Ｆ：要素レンズＬＰの焦点距離（画像表示パネル３１とレンズアレイＬＡとの距離）
ＲＨ：レンズアレイＬＡにおける要素レンズＬＰの水平方向の間隔（水平間隔）
ＲＶ：レンズアレイＬＡにおける要素レンズＬＰの垂直方向の間隔（垂直間隔）
Ｐ：画像表示パネル３１の画素間隔
【００２２】
本実施形態では、要素レンズＬＰが一行毎に水平間隔ＲＨ／２だけオフセットしており、垂直間隔ＲＶが水平間隔ＲＨの√３／２倍であるとして説明する。
また、水平間隔ＲＨ及び垂直間隔ＲＶが要素画像Ｇの画素間隔の自然数倍でないこととして説明する。
【００２３】
ここで、水平間隔ＲＨ及び垂直間隔ＲＶが要素画像Ｇの画素間隔の自然数倍でないため（この自然数は０を含まない）、仮想カメラ（正射影カメラ）を用いて撮影しても、要素画像Ｇの画素位置で光線を直接取得することができない。そこで、図４に示すように、仮想カメラで撮影する過程（計算過程）において、要素画像Ｇの画素間隔を定義し、水平間隔ＲＨ及び垂直間隔ＲＶが要素画像Ｇの画素間隔の自然数倍になるような中間画像を用意する。以後、この中間画像を正規化画像Ｉ´とする。
【００２４】
また、物理的な位置を示す世界座標を定義する。この世界座標は、レンズアレイＬＡの中央に位置する要素レンズＬＰのレンズ中心を原点として、レンズアレイＬＡの横方向をＸ軸、縦方向をＹ軸及びレンズアレイ面の鉛直方向をＺ軸とする。
さらに、要素画像Ｇ全体の画像座標として(ｉ，ｊ)を定義する。この画像座標の原点は前記した世界座標の原点に最も近い画素であるとする。
【００２５】
正規化画像設定手段１２は、モデル化パラメータ入力手段１１から入力されたモデル化パラメータに基づいて、正規化画像Ｉ´を設定するものである。具体的には、正規化画像設定手段１２は、正規化画像Ｉ´において、下記の式（１）で表されるように、水平間隔ＲＨ及び垂直間隔ＲＶを要素レンズＬＰ間の画素数Ｍで除算することで、正規化画像Ｉ´の水平方向の画素サイズＰＨ及び正規化画像Ｉ´の垂直方向の画素サイズＰＶを算出する。以下、水平画素サイズＰＨ及び垂直画素サイズＰＶと略記する場合がある。
【００２６】
【数１】
2015222892.tif 000003
【００２７】
このとき、正規化画像設定手段１２は、下記の式（２）で表されるように、水平間隔ＲＨを画素間隔Ｐで除算した値に基づいて、要素レンズＬＰ間の画素数Ｍを算出する。そして、正規化画像設定手段１２は、これらモデル化パラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）を視覚効果付加手段１３に出力する。
なお、式（２）において、“＜ａ＞”は、ａを四捨五入して自然数化することを意味する。つまり、“＜ＲＨ／Ｐ＞”は、図３での要素レンズＬＰ間の画素数となる。
【００２８】
【数２】
2015222892.tif 000004
【００２９】
図５に示すように、視覚効果付加手段１３は、視覚効果を付加するものであり、正規化画像画素位置算出手段１３１と、レンズ中心位置算出手段１３２と、関数設定手段１３３と、視覚効果画像生成手段１３４とを備える。
また、視覚効果付加手段１３は、正規化画像設定手段１２からモデル化パラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）が入力される。さらに、視覚効果付加手段１３は、例えば、表示画像生成装置１の利用者から、後記する視覚効果パラメータと、３次元形状モデルｏｂｊ（図８）と、定数Ｎとが入力される。
【００３０】
正規化画像画素位置算出手段１３１は、画像表示パネル３１の画素間隔Ｐ、水平画素サイズＰＨ及び垂直画素サイズＰＶに基づいて、正規化画像Ｉ´の画素位置を算出するものである。
【００３１】
ここで、式（１）を用いると、正規化画像Ｉ´の（世界座標）を下記の式（３）で表すことができる。従って、正規化画像画素位置算出手段１３１は、下記の式（４）で表されるように、画像表示パネル３１の画素間隔Ｐを、水平画素サイズＰＨ及び垂直画素サイズＰＶのそれぞれで除算することで、正規化画像Ｉ´の画素座標を算出する。つまり、表示画像Ｉの画素座標は、式（４）を用いて、正規化画像Ｉ´の画素位置に変換できる。
なお、式（４）において、（ｉ´，ｊ´）が正規化画像Ｉ´の画素座標を示す。
【００３２】
【数３】
2015222892.tif 000005
【００３３】
【数４】
2015222892.tif 000006
【００３４】
そして、正規化画像画素位置算出手段１３１は、モデル化パラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）と、算出した正規化画像Ｉ´の画素座標とをレンズ中心位置算出手段１３２に出力する。
【００３５】
レンズ中心位置算出手段１３２は、正規化画像画素位置算出手段１３１からモデル化パラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）と、算出した正規化画像Ｉ´の画素座標とが入力される。そして、レンズ中心位置算出手段１３２は、下記の式（５）を用いて、水平方向にｎ番目で垂直方向にｍ番目の要素レンズＬＰの中心位置Ｈ（ｎ，ｍ）を算出する。
【００３６】
【数５】
2015222892.tif 000007
【００３７】
その後、レンズ中心位置算出手段１３２は、正規化画像Ｉ´の画素座標と、中心位置Ｈと、モデル化パラメータ（Ｆ，ＲＨ，ＲＶ，Ｐ，ＰＨ，ＰＶ）とを視覚効果画像生成手段１３４に出力する。
【００３８】
関数設定手段１３３は、視覚効果の内容を示す関数Ｆ（Ｖ，Ｔ，Ｓ）を設定するものであり、図５に示すように、視点設定手段１３３Ａと、時間設定手段１３３Ｂと、領域設定手段１３３Ｃとを備える。
【００３９】
関数Ｆ（Ｖ，Ｔ，Ｓ）は、仮想３次元空間における視点位置及び被写体状態の関数であり、視点位置Ｖを表す変数と、被写体状態を表す変数として、視点位置Ｖに関係付けられた表示時刻Ｔ及びシーン識別子Ｓを含む。
被写体状態とは、３次元形状モデルが表示される状態のことである。例えば、被写体状態は、３次元形状モデルｏｂｊを表示する時刻又はシーンのような、３次元形状モデルが表示される状態に影響を与えるものである。
【００４０】
視点位置Ｖは、観察者Ａが３次元形状モデルｏｂｊを観察する位置を表し、仮想３次元空間に配置された仮想カメラＶｃ（図１０）と同位置になる。
表示時刻Ｔは、時間変化（アニメーション）する３次元形状モデルｏｂｊの表示時刻を表す。
シーン識別子Ｓは、３次元形状モデルｏｂｊを表示するシーンと、後記する付加情報を表示するシーンとを識別する情報である。
【００４１】
３次元形状モデルｏｂｊは、被写体Ｕの形状を表す３次元モデルであり、例えば、コンピュータグラフィックス（ＣＧ）やレンジセンサで生成することができる。この３次元形状モデルｏｂｊは、仮想空間内に配置されている。
【００４２】
視覚効果パラメータは、関数Ｆ（Ｖ，Ｔ，Ｓ）の設定に必要なパラメータであり、例えば、３次元形状モデルｏｂｊの表示範囲及び表示時刻と、付加情報画素領域とが含まれる。
３次元形状モデルｏｂｊの表示範囲は、立体表示装置３で３次元形状モデルｏｂｊが表示される範囲を表す情報である。例えば、３次元形状モデルｏｂｊの表示範囲は、３次元形状モデルｏｂｊの正面から裏側に回り込むときの回転角度を表す（最大３６０°＝２π）。
３次元形状モデルｏｂｊの表示時刻は、表示時刻Ｔの開始から終了までを表す情報である。
付加情報は、３次元形状モデルｏｂｊ以外の付加的な情報である。
付加情報画素領域は、表示画像Ｉで付加情報を表示する領域を表す情報である。
【００４３】
＜視覚効果の第１例：３次元形状モデルの全周表示＞
図６〜図８を参照し、視覚効果の第１例として、３次元形状モデルｏｂｊの全周表示について説明する（適宜図５参照）。
【００４４】
図６では、整数ｘｕ，ｙｖが、要素レンズＬＰの中心位置Ｈを原点とした各要素画像Ｇのローカル座標系において、水平方向及び垂直方向の画素位置を表す。
また、レンズアレイＬＡと投影面との距離をＬとする。投影面とは、仮想カメラの撮影面（つまり、視点位置）が集合した平面である。
【００４５】
図６では、３角形Ｒ１は、中心位置Ｈと、画素位置（ｘｕ，ｙｖ）と、正規化画像Ｉ´で中心位置Ｈに対応する位置とを頂点とする。さらに、３角形Ｒ２は、中心位置Ｈと、視点位置Ｖ（ｘ´，ｙ´，ｚ´）と、投影面で中心位置Ｈに対応する位置とを頂点とする。
なお、図６では、３角形Ｒ１，Ｒ２をハッチングで図示した。
【００４６】
図６のように、３角形Ｒ１，Ｒ２の相似によりＬ：Ｆ＝ｘ´：ｘｕが成立することから、下記の式（６）を利用して、画素位置（ｘｕ，ｙｖ）から視点位置Ｖ（ｘ´，ｙ´，ｚ´）を求めることができる。
【００４７】
【数６】
2015222892.tif 000008
【００４８】
図７のように、３次元形状モデルｏｂｊ（図７の“●”）を原点とした３次元空間に、視点位置Ｖ（ｘ´，ｙ´，ｚ´）を配置した場合を考える。この場合、ｘｚ平面内において、視点位置Ｖ（ｘ´，ｙ´，ｚ´）とｚ軸との角度θ１がωｘｕ／Ｍとなる。また、視点位置Ｖ（ｘ´，ｙ´，ｚ´）とｘｚ平面との角度θ２がωｙｖ／Ｍとなる。ここで、ωは、３次元形状モデルｏｂｊの表示範囲を表す。例えば、表示範囲ω＝２πのとき、３次元形状モデルｏｂｊの全周が表示される。
【００４９】
また、ｘｚ平面上の三角形について、辺の長さＬ１がＬ´ｃｏｓ（ωｙｖ／Ｍ）となり、辺の長さＬ２がＬ´ｃｏｓ（ωｘｕ／Ｍ）ｃｏｓ（ωｙｖ／Ｍ）となる。なお、３次元形状モデルｏｂｊと視点位置Ｖ（ｘ´，ｙ´，ｚ´）との距離をＬ´とする。
【００５０】
以上より、式（６）を下記の式（７）で表すことができる。つまり、視点設定手段１３３Ａは、関数Ｆ（Ｖ，Ｔ，Ｓ）において、式（７）を用いて、視点位置Ｖ（ｘ´，ｙ´，ｚ´）と３次元形状モデルｏｂｊの表示範囲ωとを関係付けることができる。さらに、視点設定手段１３３Ａは、視線方向を反転させるため、視点位置Ｖ（ｘ´，ｙ´，ｚ´）を視点位置Ｖ（−ｘ´，−ｙ´，ｚ´）に変換してもよい。
【００５１】
【数７】
2015222892.tif 000009
【００５２】
ここで、３角柱状の３次元形状モデルｏｂｊの例を考える。図８（ａ）に示すように、従来のＩＰ方式では、約２０度の視野角θの範囲内で３次元形状モデルｏｂｊを忠実に表示するため、３次元形状モデルｏｂｊの裏側を表示できない。一方、表示画像生成装置１では、図８（ｂ）に示すように、視野角θの範囲内に３次元形状モデルｏｂｊの全周を関係付けるため、３次元形状モデルｏｂｊの裏側も表示することができる。
【００５３】
＜視覚効果の第２例：アニメーション表示＞
図９を参照し、視覚効果の第２例として、３次元形状モデルｏｂｊのアニメーション表示について説明する（適宜図５参照）。
【００５４】
時間設定手段１３３Ｂは、関数Ｆ（Ｖ，Ｔ，Ｓ）において、所定の基準時刻から表示時刻Ｔが離れる程、表示時刻Ｔにおける３次元形状モデルｏｂｊを画像表示パネル３１の中央から離れた視点位置Ｖ（ｘ，ｙ，ｚ）に関係付けるものである。つまり、時間設定手段１３３Ｂは、３次元形状モデルｏｂｊの時間的変化を、視点位置Ｖ（ｘ，ｙ，ｚ）の空間的変化で表す。
【００５５】
図９に示すように、上昇している風船を３次元形状モデルｏｂｊとして、９枚のフレーム画像でアニメーション表示する場合を考える。基準時刻は、全てのフレーム画像のうち、中間に位置するフレーム画像の表示時刻Ｔとする。つまり、基準時刻は、５枚目のフレーム画像の表示時刻Ｔとなる。
【００５６】
この場合、時間設定手段１３３Ｂは、先頭になる表示時刻Ｔ−４のフレーム画像を、画像表示パネル３１の中央から最も離れた左側の視点位置Ｖ（ｘ，ｙ，ｚ）に関係付ける。また、時間設定手段１３３Ｂは、表示時刻Ｔ−３，Ｔ−２，Ｔ−１のフレーム画像の順で、左側から中央寄りの視点位置Ｖ（ｘ，ｙ，ｚ）に関係付ける。そして、時間設定手段１３３Ｂは、表示時刻Ｔのフレーム画像を画像表示パネル３１の中央の視点位置Ｖ（ｘ，ｙ，ｚ）に関係付ける。さらに、時間設定手段１３３Ｂは、表示時刻Ｔ＋１，Ｔ＋２，Ｔ＋３のフレーム画像の順で、中央から右寄りの視点位置Ｖ（ｘ，ｙ，ｚ）に関係付ける。その後、時間設定手段１３３Ｂは、末尾になる表示時刻Ｔ＋４のフレーム画像を、画像表示パネル３１の中央から最も離れた右側の視点位置Ｖ（ｘ，ｙ，ｚ）に関係付ける。
【００５７】
また、約２０度の視野角θの範囲内に２０枚のフレーム画像を割り当てる場合を考える。この場合、時間設定手段１３３Ｂは、下記の式（８）を用いて関係付けることができる。このＴ´は、各視点位置Ｖ（ｘ，ｙ，ｚ）で表示すべき３次元形状モデルｏｂｊの局所時間（ローカル時刻Ｔｌｏｃａｌ）を表す。
【００５８】
【数８】
2015222892.tif 000010
【００５９】
一般的な立体映像（静止画）では、Ｔ´＝Ｔとなり、どの視点位置Ｖ（ｘ，ｙ，ｚ）でも同一時刻の３次元形状モデルｏｂｊが表示される。また、一般的な立体映像（動画）であれば、視点位置Ｖ（ｘ，ｙ，ｚ）によらず、グローバル時刻Ｔｇｌｏｂａｌ（動画の表示速度で決まる時刻、フレーム番号やタイムコード）での３次元形状モデルｏｂｊが表示される。
【００６０】
ここで、視点位置Ｖ（ｘ，ｙ，ｚ）により設計された時間変化をＸｕとすると、式（８）を下記の式（９）で表すことができる。
なお、図９の例では、時間変化Ｘｕが−４≦Ｘｕ≦４の範囲となる。
【００６１】
【数９】
2015222892.tif 000011
【００６２】
＜視覚効果の第３例：付加情報＞
以下、視覚効果の第３例として、付加情報の表示について説明する（適宜図５参照）。
領域設定手段１３３Ｃは、関数Ｆ（Ｖ，Ｔ，Ｓ）において、付加情報画素領域と視点位置Ｖ（ｘ，ｙ，ｚ）とを関係付けるものである。
【００６３】
具体的には、領域設定手段１３３Ｃは、下記の式（１０）のように、視点位置Ｖ（ｘ，ｙ，ｚ）が領域Ｓａに含まれる場合、３次元形状モデルｏｂｊのシーンｓａを表示するように、領域Ｓａと視点位置Ｖ（ｘ，ｙ，ｚ）とを関係付ける。また、領域設定手段１３３Ｃは、式（１０）のように、視点位置Ｖ（ｘ，ｙ，ｚ）が領域Ｓｂに含まれる場合、付加情報のシーンｓｂを表示するように、領域Ｓｂと視点位置Ｖ（ｘ，ｙ，ｚ）とを関係付ける。つまり、式（１０）は、３次元形状モデルｏｂｊを表示する３次元形状モデル画素領域Ｓａと、付加情報を表示する付加情報画素領域Ｓｂとを定義する。
【００６４】
【数１０】
2015222892.tif 000012
【００６５】
その後、関数設定手段１３３は、設定した関数Ｆ（Ｖ，Ｔ，Ｓ）を、視覚効果画像生成手段１３４と、付加情報挿入手段１６（図２）とに出力する。
なお、関数Ｆ（Ｖ，Ｔ，Ｓ）＝１の場合、従来のＩＰ方式と同様、３次元形状モデルｏｂｊを忠実に表示することを示す。
【００６６】
視覚効果画像生成手段１３４は、関数設定手段１３３から入力された関数Ｆ（Ｖ，Ｔ，Ｓ）に基づいて視点位置を求め、求めた視点位置の仮想カメラで３次元形状モデルｏｂｊを撮影することで、視覚効果画像を生成するものである。
【００６７】
ここで、視覚効果画像生成手段１３４は、３次元形状モデルｏｂｊと、定数Ｎとが入力される。
定数Ｎは、要素レンズＬＰの数を一定倍してサンプリングすることを示す値であり、予め設定されている。
【００６８】
＜仮想カメラによる撮影＞
以下、図１０〜図１２を参照し、仮想カメラＶｃによる撮影を詳細に説明する（適宜図５参照）。
なお、図１０では、説明を簡易にするために、３次元形状モデル（表示対象）ｏｂｊの一部表面のみを図示した。
また、図１１では、“●”と“△”とがサンプル点を示しており、“●”は中心位置Ｈでのサンプル点であり、“△”は“●”以外で増やしたサンプル点である。また、図１１において、“■”は、それぞれの要素画像Ｇの中で、中心位置Ｈに対して同じ相対位置となる計算対象の画素である。つまり、視覚効果画像生成手段１３４は、各要素画像Ｇの画素位置を、中心位置Ｈを原点とするローカル座標（ｕ，ｖ）によって表すことができる。
また、図１１及び図１２では、仮想カメラの画素数は、レンズアレイＬＡの“●”及び“△”をあわせたサンプル点と同数としている。また、図１２では、光線のそれぞれを矢印で図示している。
【００６９】
まず、視覚効果画像生成手段１３４は、関数Ｆ（Ｖ，Ｔ，Ｓ）で求めた視点位置に仮想カメラＶｃを配置する。例えば、視覚効果画像生成手段１３４は、前記した第１例であれば、３次元形状モデルｏｂｊの全周を撮影できる視点位置に仮想カメラＶｃを配置する。また、例えば、視覚効果画像生成手段１３４は、前記した第２例であれば、３次元形状モデルｏｂｊの時間時刻Ｔ−４〜Ｔ＋４に応じて、異なる視点位置に仮想カメラを配置する。
【００７０】
また、視覚効果画像生成手段１３４は、図１０に示すように、単位ベクトルの逆方向ｒｚに存在する中心位置Ｈを中心に、レンズアレイＬＡ全体の中心位置を含んだ画角で、仮想配置された立体表示装置３を仮想的に撮影する。すなわち、この視覚効果画像生成手段１３４は、単位ベクトルの逆方向ｒｚに存在する中心位置Ｈの位置を視覚効果画像の中心として、要素画像Ｇの各画素位置と仮想カメラＶｃの光学主点とを結んだ直線上に存在する３次元形状モデルｏｂｊの表面の色を仮想平面（仮想カメラＶｃの焦点位置）に投影（正射影）することで、視覚効果画像を生成する。
【００７１】
このとき、視覚効果画像生成手段１３４は、図１１及び図１２に示すように、仮想カメラＶｃによる撮影において、中心位置Ｈを通過する光線を一括してサンプリングする。ここでは、視覚効果画像生成手段１３４は、後記する第１のフィルタを適用するために、中心位置Ｈの数をＮ倍した数の光線をサンプリングする（例えば、Ｎ＝４）。そして、視覚効果画像生成手段１３４は、各要素画像Ｇのローカル座標（ｕ，ｖ）に位置する画素に対応する光線を取得する。このように、視覚効果画像においては、要素レンズＬＰの間隔が要素画像Ｇの画素サイズの自然数倍を満たすことになるので、各要素レンズＬＰから出射される光線の方向が有限になり、同一方向の光線を集めることが可能となる。すなわち、視覚効果画像生成手段１３４は、出射される光線群を有限枚の視覚効果画像で表すことができる。
【００７２】
すなわち、（ｎ，ｍ）＝(０，０)の要素レンズＬＰにおいて、その要素画像Ｇのある画素(ｕ，ｖ)の世界座標を（ＸＰ，ＹＰ，−Ｆ）とすると、仮想カメラＶｃの姿勢を示す行列Ｒは、以下の式（１１）で表すことができる。従って、下記の式（１１）を用いて、中心位置Ｈを、視覚効果画像の画像面に投影（正射影）することができる。
【００７３】
【数１１】
2015222892.tif 000013
【００７４】
この場合、中心位置Ｈの３次元位置を(ＸＲ，ＹＲ,０)とすると、その視覚効果画像上に投影される点の画像座標(ｋ，ｌ)は、下記の式（１２）及び式（１３）を用いて求められる。
【００７５】
【数１２】
2015222892.tif 000014
【００７６】
【数１３】
2015222892.tif 000015
【００７７】
なお、ここで、(Ｗ´，Ｈ´)は、視覚効果画像の縦横の長さであり、(Ｋ，Ｌ)は、視覚効果画像の画素数である。この場合、図１１のサンプル点“●”と“△”を視覚効果画像に投影すると、その投影点は、図１２に示すようになる。
【００７８】
以上のように、視覚効果画像生成手段１３４は、式（１２）及び式（１３）を用いて、レンズアレイＬＡ面上の任意の点を仮想カメラＶｃに投影し、視覚効果が付加された視覚効果画像を生成できる。その後、視覚効果画像生成手段１３４は、生成した視覚効果画像を正規化画像生成手段１４（図２）に出力する。
【００７９】
図２に戻り、表示画像生成装置１の構成について、説明を続ける。
正規化画像生成手段１４は、視覚効果付加手段１３（視覚効果画像生成手段１３４）から視覚効果画像が入力され、所定の座標変換式によって、この視覚効果画像の画素の画素値を正規化画像Ｉ´の画素に割り当てることで、正規化画像Ｉ´を生成するものである。
【００８０】
具体的には、正規化画像生成手段１４は、視覚効果画像のサンプル点（図１２の“●”）を、正規化画像Ｉ´の計算対象画素（図１１の“■”）に割り当てる。このとき、正規化画像生成手段１４では、位置が(ｎ，ｍ)で表される中心位置Ｈの視覚効果画像上での画素座標を得る必要がある。このため、正規化画像生成手段１４は、前記した式（５）によってレンズアレイＬＡ面上の物理的な位置Ｈ(ｎ，ｍ)を求め、式（１２）及び式（１３）を用いて視覚効果画像の画像座標を得る。また、この座標に対応する正規化画像Ｉ´の画素座標は、下記の式（１４）で表される。この場合、式（１４）の右辺第１項は、中心位置Ｈの位置を示すことになる。
【００８１】
【数１４】
2015222892.tif 000016
【００８２】
その後、表示画像生成装置１では、要素画像Ｇの各画素をローカル座標（ｕ，ｖ）としてそれぞれ指定して、視覚効果付加手段１３による仮想カメラでの撮影処理、及び、正規化画像生成手段１４による画素値の割り当て処理を、要素画像Ｇの全ての画素に対して実行する。従って、表示画像生成装置１では、要素画像Ｇの画素数だけこれら処理を繰り返せばよく、従来のように画像内に存在する全画素に対して処理を繰り返し行う必要がない。
このようにして、正規化画像生成手段１４は、正規化画像Ｉ´の全画素値を得ることができる。その後、正規化画像生成手段１４は、生成した正規化画像Ｉ´を表示画像生成手段１５に出力する。
【００８３】
＜表示画像の生成＞
以下、図１３を参照し、表示画像Ｉの生成について説明する（適宜図２参照）。
表示画像生成手段１５は、正規化画像生成手段１４から正規化画像Ｉ´が入力され、この正規化画像Ｉ´から表示画像Ｉを生成するものである。
【００８４】
表示画像生成手段１５は、正規化画像Ｉ´が画像表示パネル３１で表示する表示画像Ｉの縦横にそれぞれＭ倍の画素を持つので、正規化画像Ｉ´に対して低域通過フィルタ処理を施す。具体的には、図１３に示すように、表示画像生成手段１５は、低域通過フィルタ処理として、表示画像Ｉの１画素の画素値を、その表示画像Ｉの１画素に対応する領域に含まれる正規化画像Ｉ´の全画素の平均値とする処理を行う。さらに、表示画像生成手段１５は、低域通過フィルタ処理として、平均値を求める代わりに、重み付け加算値又はメディアン値を求めてもよい。
【００８５】
つまり、表示画像生成手段１５は、前記した式（４）で座標変換できることから、下記の式（１５）で表される低域通過フィルタ処理を行うことで、表示画像Ｉを生成する。そして、表示画像生成手段１５は、生成した表示画像Ｉを付加情報挿入手段１６に出力する。
【００８６】
【数１５】
2015222892.tif 000017
【００８７】
なお、式（１５）において、Ｉ´（ｉ´＋ｓ，ｊ´＋ｔ）が正規化画像Ｉ´の画素（ｉ´＋ｓ，ｊ´＋ｔ）の画素値を示しており、Ｉ（ｉ，ｊ）が表示画像Ｉの画素（ｉ，ｊ）の画素値を示している。また、Ｄは、Σの条件を満たすＩ（ｉ´＋ｓ，ｊ´＋ｔ）の数であり、総和に寄与した画素の数となる。さらに、ｓ及びｔは、０から要素レンズＬＰ間の画素数の半分までの整数値である。
【００８８】
付加情報挿入手段１６は、関数Ｆ（Ｖ，Ｔ，Ｓ）に基づいて、表示画像生成手段１５から入力された表示画像Ｉの付加情報画素領域に付加情報を挿入するものである。
ここで、付加情報挿入手段１６は、視覚効果付加手段１３（関数設定手段１３３）から関数Ｆ（Ｖ，Ｔ，Ｓ）が入力され、表示画像生成手段１５から表示画像Ｉが入力される。また、付加情報挿入手段１６は、例えば、表示画像生成装置１の利用者から、付加情報が入力される。
【００８９】
例えば、図１４（ａ）に示すように、３次元形状モデルｏｂｊが３Ｄキャラクタである。また、例えば、図１４（ｂ）に示すように、付加情報が「Ｈｅｌｌｏ！」という文字の２次元画像である。この付加情報は、要素レンズＬＰと同数の画素（例えば、横７３×縦４８画素）で構成される。
【００９０】
例えば、図１４（ｃ）に示すように、関数Ｆ（Ｖ，Ｔ，Ｓ）では、表示画像Ｉを構成する各要素画像Ｇで要素レンズＬＰに含まれる領域のうち、１画素分の領域が付加情報画素領域Ｓｂとして定義されている。また、例えば、関数Ｆ（Ｖ，Ｔ，Ｓ）では、表示画像Ｉを構成する各要素画像Ｇで要素レンズＬＰに含まれる領域のうち、付加情報画素領域Ｓｂ以外の画素領域が３次元形状モデル画素領域Ｓａとして定義されている。
【００９１】
図１５（ａ）及び（ｂ）に示すように、付加情報の´Ｈ’の左上部分に着目する。この場合、付加情報挿入手段１６は、付加情報の画素数が要素レンズＬＰと同数のため、図１５（ｃ）に示すように、各要素画像Ｇに１個ずつ付加情報を挿入する。例えば、付加情報挿入手段１６は、左列上から２番目の付加情報の画素Ｋ１を、画素Ｋ１と対応する位置（左列上から２番目）の要素画像Ｇの領域Ｓｂ１に挿入する。これと同様、付加情報挿入手段１６は、付加情報の画素Ｋ２〜Ｋ５を、画素Ｋ２〜Ｋ５と対応する位置の要素画像Ｇの領域Ｓｂ２〜Ｓｂ５に挿入する。
その後、付加情報挿入手段１６は、付加情報が挿入された表示画像Ｉを立体表示装置３（図１）に出力する。
【００９２】
なお、表示画像Ｉに付加情報及び３次元形状モデルｏｂｊが含まれるので、観察者Ａの両眼に異なる像が入射することがある。この場合、付加情報及び３次元形状モデルｏｂｊは、ある程度類似した色彩や、大きな奥行き変化を伴わないことが好ましい。これにより、付加情報と３次元形状モデルｏｂｊとが切り替わるショックを抑えることができる。
【００９３】
［表示画像生成装置の動作］
図１６を参照し、図２の表示画像生成装置１の動作について説明する。
表示画像生成装置１は、正規化画像設定手段１２によって、モデル化パラメータに基づいて、正規化画像を設定する（ステップＳ１）。
【００９４】
表示画像生成装置１は、視覚効果付加手段１３によって、視覚効果画像生成処理を行う（ステップＳ２）。この視覚効果画像生成処理は、詳細を後記する。
表示画像生成装置１は、正規化画像生成手段１４によって、ステップＳ２で生成した視覚効果画像の画素の画素値を、座標変換式により正規化画像の画素に割り当てることで、正規化画像を生成する（ステップＳ３）。
【００９５】
表示画像生成装置１は、表示画像生成手段１５によって、ステップＳ３で生成した正規化画像から表示画像を生成する（ステップＳ４）。
表示画像生成装置１は、付加情報挿入手段１６によって、関数に基づいて、ステップＳ４で生成した表示画像の付加情報画素領域に付加情報を挿入する（ステップＳ５）。
【００９６】
［視覚効果画像生成処理］
図１７を参照し、図１６の視覚効果画像生成処理（ステップＳ２）の詳細について、説明する（適宜図５参照）。
【００９７】
視覚効果付加手段１３は、正規化画像画素位置算出手段１３１によって、画像表示パネル３１の画素間隔、水平画素サイズ及び垂直画素サイズに基づいて、正規化画像の画素位置を算出する（ステップＳ２１）。
視覚効果付加手段１３は、レンズ中心位置算出手段１３２によって、前記した式（５）を用いて、要素レンズＬＰの中心位置を算出する（ステップＳ２２）。
【００９８】
視覚効果付加手段１３は、関数設定手段１３３によって、関数を設定する。具体的には、視点設定手段１３３Ａは、前記した式（６）を用いて、視点位置と３次元形状モデルの表示範囲とを関係付ける。また、時間設定手段１３３Ｂは、基準時刻から表示時刻が離れる程、表示時刻における３次元形状モデルを画像表示パネル３１の中央から離れた視点位置に関係付ける。さらに、領域設定手段１３３Ｃは、前記した式（１０）を用いて、付加情報画素領域と視点位置とを関係付ける（ステップＳ２３）。
【００９９】
視覚効果付加手段１３は、視覚効果画像生成手段１３４によって、ステップＳ２３で設定した関数に基づいて、視点位置を求め、求めた視点位置の仮想カメラで３次元形状モデルを撮影する。このようにして、視覚効果画像生成手段１３４は、視覚効果画像を生成する（ステップＳ２４）。
【０１００】
以上のように、本願発明の実施形態に係る表示画像生成装置１は、表示する３次元形状モデルを視点位置にそのまま対応させずに、視点位置と３次元形状モデルの状態及び時間変化との間に関数を介在させることで、多様な視覚効果を付加することができる。これによって、表示画像生成装置１は、視点を移動させることで、立体表示装置３の視野角の制限を超えて３次元形状モデルを表示したり、３次元形状モデルをアニメーション表示したり、３次元形状モデルとは異なる付加情報を表示することができる。
【０１０１】
（変形例）
表示画像生成装置１は、前記した各実施形態に限定されず、その趣旨を逸脱しない範囲で変形を加えることができる。
【０１０２】
前記した実施形態では、表示画像生成装置１は、視野角の制限を超えた３次元形状モデルを表示、３次元形状モデルのアニメーション表示、及び、付加情報の表示という３種類の視覚効果を付加することとしたが、これに限定されない。ここで、表示画像生成装置１は、これら３種類の視覚効果のうち、何れか１種類以上のみを付加してもよい。
【０１０３】
視覚効果の第１例として、３次元形状モデルの全周を表示することとしたが、これに限定されない。例えば、表示画像生成装置１は、３次元形状モデルの半周を表示するように、式（６）の表示範囲ω＝πを設定してもよい。
【０１０４】
付加情報画像領域Ｓｂが１画素分の領域であることとして説明したが、これに限定されない。付加情報画像領域Ｓｂは、表示画像Ｉを構成する各要素画像Ｇで要素レンズＬＰに含まれる領域のうち、半分以下であればよい。
【０１０５】
前記した実施形態では、表示画像生成装置１を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、表示画像生成装置１は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させる表示画像生成プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【０１０６】
１  表示画像生成装置
２  立体撮影装置
３  立体表示装置
１１  モデル化パラメータ入力手段
１２  正規化画像設定手段
１３  視覚効果付加手段
１４  正規化画像生成手段
１５  表示画像生成手段
１６  付加情報挿入手段
２１  高精細カメラ
３１  画像表示パネル（画像表示手段）
１３１  正規化画像画素位置算出手段
１３２  レンズ中心位置算出手段
１３３  関数設定手段
１３３Ａ  視点設定手段
１３３Ｂ  時間設定手段
１３３Ｃ  領域設定手段
１３４  視覚効果画像生成手段
ＬＡ  レンズアレイ
ＬＰ  要素レンズ
【図１】
2015222892.tif 000019
【図２】
2015222892.tif 000020
【図３】
2015222892.tif 000021
【図４】
2015222892.tif 000022
【図５】
2015222892.tif 000023
【図６】
2015222892.tif 000024
【図７】
2015222892.tif 000025
【図８】
2015222892.tif 000026
【図９】
2015222892.tif 000027
【図１０】
2015222892.tif 000028
【図１１】
2015222892.tif 000029
【図１２】
2015222892.tif 000030
【図１３】
2015222892.tif 000031
【図１４】
2015222892.tif 000032
【図１５】
2015222892.tif 000033
【図１６】
2015222892.tif 000034
【図１７】
2015222892.tif 000035