(57)【要約】【課題】  観測者の視点位置に応じて、最適な画像を出力する。【解決手段】  オブジェクト画像に関するオブジェクト情報を入力する。視聴者の視線情報を入力する。視線情報に従って、表示装置に対して定義される仮想空間上のオブジェクト画像における座標系の値から表示装置の座標系の値に変換するための変換パラメータを算出する。変換パラメータに基づいて、オブジェクト画像をレンダリングして、レンダリング画像を作成する。視線情報と変換パラメータに基づいて、仮想空間上の基準座標に対して設定されているオブジェクト画像に適用するための基準フィルタを変形した変形フィルタを作成する。レンダリング画像を変形フィルタでフィルタ処理し、得られる画像データを出力する。【選択図】  図１
2014006674.tif 000002
【特許請求の範囲】
【請求項１】
視聴者の視線情報に応じてオブジェクト画像を表示装置に表示するための画像処理を行う画像処理装置であって、
前記オブジェクト画像に関するオブジェクト情報を入力するオブジェクト情報入力手段と
前記視線情報を入力する視線情報入力手段と、
前記視線情報に従って、前記表示装置に対して定義される仮想空間上の前記オブジェクト画像における座標系の値から前記表示装置の座標系の値に変換するための変換パラメータを算出する変換パラメータ算出手段と、
前記変換パラメータに基づいて、前記オブジェクト画像をレンダリングして、レンダリング画像を作成するレンダリング画像作成手段と、
前記視線情報と前記変換パラメータに基づいて、前記仮想空間上の基準座標に対して設定されている前記オブジェクト画像に適用するための基準フィルタを変形した変形フィルタを作成するフィルタ作成手段と、
前記レンダリング画像を前記変形フィルタでフィルタ処理するフィルタ処理手段と、
前記フィルタ処理手段で得られる画像データを出力する出力手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記表示装置の画像表示面の位置情報である表示面情報を入力する表示面情報入力手段を更に有し、
前記変換パラメータ算出手段は、前記表示面情報に基づいて、前記変換パラメータを算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示面情報入力手段は、前記表示面情報として、前記画像表示面を複数の平面に分割した各面についての表示面情報を入力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記視線情報入力手段は、前記視聴者の前記表示装置の画像表示面の注視点を示す座標である注視点情報を前記視線情報として入力し、
前記フィルタ作成手段は、前記注視点情報に応じて前記基準フィルタの重みを変更する  ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
視聴者の視線情報に応じてオブジェクト画像を表示装置に表示するための画像処理を行う画像処理装置の制御方法であって、
前記オブジェクト画像に関するオブジェクト情報を入力するオブジェクト情報入力工程と、
前記視線情報を入力する視線情報入力工程と、
前記視線情報に従って、前記表示装置に対して定義される仮想空間上の前記オブジェクト画像における座標系の値から前記表示装置の座標系の値に変換するための変換パラメータを算出する変換パラメータ算出工程と、
前記変換パラメータに基づいて、前記オブジェクト画像をレンダリングして、レンダリング画像を作成するレンダリング画像作成工程と、
前記視線情報と前記変換パラメータに基づいて、前記仮想空間上の基準座標に対して設定されている前記オブジェクト画像に適用するための基準フィルタを変形した変形フィルタを作成するフィルタ作成工程と、
前記レンダリング画像を前記変形フィルタでフィルタ処理するフィルタ処理工程と、
前記フィルタ処理工程で得られる画像データを出力する出力工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項６】
視聴者の視線情報に応じてオブジェクト画像を表示装置に表示するための画像処理を行う画像処理装置の制御をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
前記オブジェクト画像に関するオブジェクト情報を入力するオブジェクト情報入力手段と、
前記視線情報を入力する視線情報入力手段と、
前記視線情報に従って、前記表示装置に対して定義される仮想空間上の前記オブジェクト画像における座標系の値から前記表示装置の座標系の値に変換するための変換パラメータを算出する変換パラメータ算出手段と、
前記変換パラメータに基づいて、前記オブジェクト画像をレンダリングして、レンダリング画像を作成するレンダリング画像作成手段と、
前記視線情報と前記変換パラメータに基づいて、前記仮想空間上の基準座標に対して設定されている前記オブジェクト画像に適用するための基準フィルタを変形した変形フィルタを作成するフィルタ作成手段と、
前記レンダリング画像を前記変形フィルタでフィルタ処理するフィルタ処理手段と、
前記フィルタ処理手段で得られる画像データを出力する出力手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴者の視点に応じて画像を表示させることができる画像処理技術に関するものである。
【背景技術】
【０００２】
従来、両眼視差のある画像を視聴者の左右の眼に表示して、視聴者が立体的な画像を得るシステムが提案されている。左右に異なる画像を提示する方式には、液晶シャッターや偏光板等を用いた特殊な眼鏡を装着する方式や、パララックスバリアやレンチキュラーレンズ等を用いた特殊なディスプレイを用いる方式がある。
【０００３】
近年は、さらに、観測者の視点位置情報を用いて観測者の位置の変化に対応して画像処理を行うことで、さらに立体感や臨場感が得られるシステムが提案されている。
【０００４】
特許文献１では、視聴者の視点位置を検出する検出部を用いて、視聴者の視点位置に応じて少なくとも１本の稜線を含む表示画像の稜線を変換することによって、視聴者が違和感を覚えない仮想空間の映像を提供する構成が開示されている。
【０００５】
特許文献２では、頭部装着型ディスプレイと位置姿勢センサとＣＧ映像生成部を用いて、視聴者の位置に従ってＣＧオブジェクトの位置姿勢を変更することで、仮想のＣＧ空間の中に没入しているような仮想現実感を提示する構成が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３１８０１５号公報
【特許文献２】特開２００６−３３８１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１には、観測者位置の変化によって画像にエイリアシングが発生することがあるという課題がある。また、特許文献２にはディスプレイと観測者の相対位置が変わらないことが前提となっているため、相対位置が変わった場合に観測者から見えるＣＧオブジェクトが歪んでしまうことがあるという課題がある。
【０００８】
本発明は上記の課題を解決するためになされたものであり、観測者の視点位置に応じて、最適な画像を出力することができる画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、  視聴者の視線情報に応じてオブジェクト画像を表示装置に表示するための画像処理を行う画像処理装置であって、
前記オブジェクト画像に関するオブジェクト情報を入力するオブジェクト情報入力手段と
前記視線情報を入力する視線情報入力手段と、
前記視線情報に従って、前記表示装置に対して定義される仮想空間上の前記オブジェクト画像における座標系の値から前記表示装置の座標系の値に変換するための変換パラメータを算出する変換パラメータ算出手段と、
前記変換パラメータに基づいて、前記オブジェクト画像をレンダリングして、レンダリング画像を作成するレンダリング画像作成手段と、
前記視線情報と前記変換パラメータに基づいて、前記仮想空間上の基準座標に対して設定されている前記オブジェクト画像に適用するための基準フィルタを変形した変形フィルタを作成するフィルタ作成手段と、
前記レンダリング画像を前記変形フィルタでフィルタ処理するフィルタ処理手段と、
前記フィルタ処理手段で得られる画像データを出力する出力手段と
を有する。
【発明の効果】
【００１０】
本発明によれば、観測者の視点位置に応じて、オブジェクト画像に対するフィルタ処理のエイリアシングや歪みを低減した最適な画像を出力することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１の画像処理装置の構成の一例を示すブロック図である。
【図２】実施形態１の画像処理装置の処理のフロー図である。
【図３Ａ】実施形態１の座標変換を３次元空間で説明する図である。
【図３Ｂ】実施形態１の座標変換を３次元空間で説明する図である。
【図３Ｃ】実施形態１の座標変換を３次元空間で説明する図である。
【図４Ａ】実施形態１のフィルタ作成を３次元空間で説明する図である。
【図４Ｂ】実施形態１のフィルタ作成を３次元空間で説明する図である。
【図５】実施形態１のフィルタ作成処理のフロー図である。
【図６】実施形態１のスクリーンが１つの平面でない場合の処理の模式図である。
【図７】実施形態２の人間の眼のぼけの模式図である。
【図８】実施形態２の人間の眼のぼけに従うフィルタ作成処理のフロー図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１３】
尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１４】
＜実施形態１＞
実施形態１は、視聴者の視点に応じて、例えば、３Ｄオブジェクト（オブジェクト画像）のレンダリング画像を生成してフィルタ処理（フィルタリング）した画像を表示する画像処理装置である。視点位置に応じて、レンダリングの座標変換だけでなくフィルタ形状も変形する処理を行う。
【００１５】
●画像処理装置（図１、図２）
図１は実施形態１の画像処理装置の構成の一例を示す図である。図２は実施形態１の画像処理装置の処理のフロー図である。以下、図１と図２を使って画像処理装置の処理フローを説明する。
【００１６】
まず、ステップＳ２１において、表示面情報入力部１１は、画像表示面の位置情報（以後、表示面情報と呼ぶ）を入力する。ここで、画像表示面とは、後述の処理により生成される画像データが実際に表示される面であり、例えば、モニタの画面やプロジェクタで画像を投影するスクリーンである。表示面情報には、例えば、画像表示面の四隅（４点）の３次元座標が含まれていれば良い。これらの４点Ｓ１、Ｓ２、Ｓ３、Ｓ４と画面中心Ｓ０の例を図３Ａに示す。尚、図３Ａ中、３１は画像処理装置、３２は位置センサ、３３は画像表示面である。これらの３次元座標は、適当な位置を原点Ｏとして測定することにより算出される。また、表示面情報は、予め測定して画像処理装置内の記憶装置に保持しておき、これを表示面情報入力部１１が取得するようにしてもよい。
【００１７】
次に、ステップＳ２２において、視線情報入力部１２は、視聴者の視線情報を入力する。視線情報は、視聴者の位置を表す視点位置ベクトルｃと、視聴者が見ている方向を表す視線方向ベクトルｅから成る。これらのベクトルの例を図３Ａに示す。視点位置ベクトルｃと視線方向ベクトルｅの取得には、特許文献２に記載されているヘッドマウントディスプレイ等で利用されている赤外線や電磁波を用いた位置測定技術が利用可能である。あるいは、画像処理により視聴者の瞳の位置を左右それぞれ検出し、両瞳の中点の座標を視点位置ベクトルｃ、両瞳を結ぶ線分に垂直で画像表示面へ向かうベクトルを視線方向ベクトルｅとして算出してもよい。瞳の位置は、例えば、既存の顔検出技術と３次元位置推定技術を組み合わせることにより取得可能である。
【００１８】
次に、ステップＳ２３において、オブジェクト情報入力部１３は、仮想３次元空間内のオブジェクト（オブジェクト画像）に関するオブジェクト情報としての頂点データやテクスチャから成るオブジェクト情報を入力する。オブジェクト情報には、例えば、オブジェクトの反射特性等が記述されたマテリアル情報や、仮想３次元空間における光源情報等が含まれる。
【００１９】
次に、ステップＳ２４において、変換パラメータ算出部１４は、表示面情報と視線情報を用いて、レンダリング時の頂点処理に用いる各種の座標変換パラメータを算出する。頂点処理で行われる座標変換には、ビュー変換と射影変換がある。オブジェクトの頂点座標は、まず、ビュー変換により仮想３次元空間（原点Ｏ）上の値から、仮想カメラの位置を原点とするビュー座標系の値に変換される。次に、ビュー座標系で表された頂点座標は、射影変換によりスクリーン平面Ｓｃｒ上の座標である射影座標系の値に変換される。以下に、ビュー変換及び射影変換で用いる座標変換パラメータについて説明する。
【００２０】
●ビュー変換（図３Ｂ）
ビュー変換では、一般に下記の式（１）に示す行列計算により、仮想３次元空間上の座標（ｘw，ｙw，ｚw）がビュー座標（ｘv，ｙv，ｚv）に変換される。
【００２１】
【数１】
2014006674.tif 000003
【００２２】
上記の式（１）において、Ｍvは下記の式（２）で表されるビュー変換行列である。
【００２３】
【数２】
2014006674.tif 000004
【００２４】
ここで、ｖ＝（ｖx，ｖy，ｖz）T，ｕ＝（ｕx，ｕy，ｕz）T，ｅ'＝（ｅ'x，ｅ'y，ｅ'z）Tはそれぞれ、仮想カメラの横方向、上方向、視線方向を表す単位ベクトルである。また、式（２）におけるＣw＝（Ｃwx，Ｃwy，Ｃwz）Tは、仮想カメラの位置ベクトルである。ここで、１つ目の行列は基底変換のための行列であり、２つ目の行列は原点移動のための行列である。
【００２５】
通常、仮想カメラを視聴者の位置に合わせてレンダリングを行う場合、仮想カメラの位置Ｃを視聴者の位置に一致させる。また、視聴者の視線方向ベクトルｅがスクリーン面に対して垂直であることを前提に、仮想カメラの視線方向ベクトルｅ’を視聴者の視線方向ベクトルｅに一致させる。
【００２６】
しかしながら、実施形態１においては、視聴者の視線方向ベクトルｅはスクリーン面に対して斜めである。そこで、実施形態１では、仮想カメラの位置Ｃは通常と同様に視聴者の位置に一致させるが、仮想カメラの視線方向ベクトルｅ’は視聴者の位置を通るスクリーン面に垂直なベクトルとする。図３Ｂに仮想カメラの位置Ｃ及び視線方向ベクトルｅ’、横方向ベクトルｖ、上方向ベクトルｕの例を示す。ここで、Ｕpwは仮想３次元空間における地面の鉛直方向である。このとき、例えば、横方向ベクトルｖはＵpwと視線方向ベクトルｅの外積から、ｖ＝Ｕpw×ｅ／｜Ｕpw×ｅ｜とし、上方向ベクトルｕは視線方向ベクトルｅと横方向ベクトルｖの外積からｕ＝ｅ×ｖ／｜ｅ×ｖ｜として算出することができる。以上の条件の下に、式（２）により算出されるビュー変換行列Ｍvが、実施形態１のビュー変換における座標変換パラメータである。
【００２７】
●射影変換（図３Ｃ）
射影変換では、下記の式（３）により、ビュー座標（ｘv，ｙv，ｚv）が射影座標（ｘp，ｙp，ｚp）に変換される。
【００２８】
【数３】
2014006674.tif 000005
【００２９】
上記の式（３）において、Ｍpは下記の式（４）で表される射影変換行列である。
【００３０】
【数４】
2014006674.tif 000006
【００３１】
ここで、θFOVは仮想カメラの水平画角であり、ＡRは仮想カメラのアスペクト比（＝横の視野サイズＷ÷縦の視野サイズＨ）である。一般に仮想カメラが画像表示面の正面にある（仮想カメラの視線方向ベクトルｅ’を延長すると画像表示面の中心で垂直に交わる）場合、仮想カメラの水平画角θFOVとアスペクト比ＡRは画像表示面の幅Ｗと高さＨとスクリーン平面Ｓｃｒまでの距離ｄに合わせて設定される。
【００３２】
しかしながら、実施形態１における仮想カメラは画像表示面の正面にあるとは限らない。そこで、実施形態１では、仮想カメラの水平画角θFOVをスクリーン平面Ｓｃｒ上において画像表示面を内包するような値に設定する。具体的には、画像表示面の四隅の内、仮想カメラからｘｖ軸方向及びｙｖ軸方向の距離が最大である点までの距離の２倍の値をＷmax、Ｈmaxとする。そして、それぞれ２＊ｄ＊ＡR＊ｔａｎ（θFOV/2）、２＊ｄ＊ｔａｎ（θFOV/2）に収まるようにθFOVを設定する。図３Ｃに仮想カメラの視野角θFOVと横の視野サイズＷmax、縦の視野サイズＨmaxの例を示す。
【００３３】
上記の式（３）において、Ｍtは下記の式（５）で表わされる原点位置とスケールの変換行列である。
【００３４】
【数５】
2014006674.tif 000007
【００３５】
ここで、Ｗp、Ｈp、Ｓ0xp、Ｓ0ypはそれぞれ次の式（６）で表わされる。
【００３６】
【数６】
2014006674.tif 000008
【００３７】
ここで、Ｓ0w＝（Ｓ0xw、Ｓ0yw、Ｓ0zw）Tは、スクリーン中心である画面中心Ｓ０（図３Ｃ参照）の仮想３次元空間上の座標である。また、もし視線方向ベクトルｅがスクリーンに直交しているならば、Ｗp＝Ｈp＝２となり１つ目のスケール変換行列は単位行列になる。
【００３８】
上記の式（３）において、Ｍsは、下記の式（７）で表わされるスクリーン座標系へのスケールの変換と原点移動の行列である。
【００３９】
【数７】
2014006674.tif 000009
【００４０】
ここで、Ｗs、Ｈsはスクリーンの描画単位で横と縦の長さを表したものである。例えば、横方向と縦方向のピクセル数を設定すれば、画面の左上を原点とするピクセル座標系に変換することができる。
【００４１】
変換パラメータ算出部１４は、上記のビュー変換行列Ｍvと射影変換行列Ｍp、Ｍt、Ｍsを、座標変換パラメータとして記憶する。
【００４２】
次に、ステップＳ２５において、レンダリング画像作成部１５は、オブジェクト情報及び座標変換パラメータを用いてレンダリングを実行し、レンダリング画像を作成する。具体的には、ビュー変換行列Ｍvと射影変換行列ＭsＭtＭpを用いて頂点処理を行う。次に、オブジェクトをスクリーン平面Ｓｃｒ上に射影し、テクスチャマッピング等のピクセル処理を行い、レンダリング画像を出力すれば良い。
【００４３】
次に、ステップＳ２６において、フィルタ設定入力部１６は、オブジェクトに適用するためのフィルタである基準フィルタのフィルタ設定を入力する。ここで、フィルタ設定とは、例えば、ぼかしやシャープネス等のフィルタの種類、フィルタサイズ、係数等がある。
【００４４】
尚、オブジェクトの奥行きに従ってフィルタ設定を変更する場合には、ステップ２５においてレンダリングした際の画像のｚ座標を用いて奥行き情報が与えられても良い。ｚ座標の奥行きは、ここでは式（４）によって０≦ｚ≦１にスケーリングしていたので、ビュー変換座標に戻すためには、
【００４５】
【数８】
2014006674.tif 000010
【００４６】
と変換すれば良い。
【００４７】
次に、ステップＳ２７において、フィルタ作成部１７は、フィルタ設定と視線情報と座標変換パラメータに従って変形したフィルタ（以降、変形フィルタと呼ぶ）を作成する。フィルタの変形方法は後述する。
【００４８】
次に、ステップＳ２８において、フィルタ処理部１８は、変形フィルタに従ってレンダリング画像をフィルタ処理する。
【００４９】
最後に、ステップＳ２９において、画像データ出力部１９は、レンダリング画像をフィルタ処理した画像データを出力する。
【００５０】
●変形フィルタの作成（図５）
フィルタ作成部１７によるステップＳ２７の変形フィルタの作成について、図５を用いて詳細に説明する。実施形態１のフィルタは、視線方向から見た時のオブジェクトの形が変わらないように設定する例を上げる。
【００５１】
まず、ステップＳ５１において、フィルタ設定に従って、フィルタを作成する。ここで、フィルタ中心をｘ＝０、ｙ＝０と設定した時のフィルタ係数をｆ（ｘ，ｙ）とする。フィルタ係数の例として、例えば、ガウシアンフィルタやラプラシアンフィルタ等がある。  
【００５２】
次に、ステップＳ５２において、フィルタのｘ方向ベクトルｘf、ｙ方向ベクトルｙf、原点座標Ｆ０wを設定する。ここで、視線方向ベクトルｅに対してｘf、ｙfはそれぞれ、
【００５３】
【数９】
2014006674.tif 000011
【００５４】
とすれば良い。また、フィルタ（フィルタ座標）の原点は画面の注視点、つまり、視線方向ベクトルｅとスクリーンＳｃｒの交点Ｆ０とする。また、交点Ｆ０の仮想空間上の座標（基準座標）をＦ０w＝（F0xw，Ｆ0yw，Ｆ0zw）Tとする。以下、フィルタサイズはＦ０でのフィルタサイズを基準に設定されているとする。つまり、ビュー座標でｚ＝ｄの位置でのフィルタサイズがフィルタサイズの設定値とする。もし、異なるｚ座標ｚ'においてフィルタサイズが設定されている場合は、ステップＳ５１において、フィルタサイズをｄ／ｚ'倍にしてフィルタを設定すれば良い。
【００５５】
次に、ステップＳ５３において、フィルタ座標から仮想空間座標への変換行列Ｍfwを算出する。ここで、仮想空間座標からフィルタ座標への変換行列Ｍfはオブジェクトの変換と同様に以下の式（１０）、（１１）、（１２）によって算出することができるので、その逆行列を使って、Ｍfw＝Ｍf-1とすれば良い。
【００５６】
【数１０】
2014006674.tif 000012
【００５７】
【数１１】
2014006674.tif 000013
【００５８】
【数１２】
2014006674.tif 000014
【００５９】
尚、ここでフィルタの縦サイズはＨf、横サイズはＷf、ＡRf＝Ｗf／Hf、θFOVfは２＊ａｔａｎ（Ｈf／２ｄ）とする。また、フィルタ上のｚ座標はｘf＊ｘf＋ｙf＊ｙf＋Ｆ０wのｚ座標から算出される。
【００６０】
次に、ステップＳ５４において、フィルタ座標の原点Ｆ０wとフィルタ座標の端点のフィルタ座標を画面座標に射影する。ここで、端点のフィルタ座標とは、図４Ａに示すＦ１＝（−２／Ｗ，２／Ｈ）、Ｆ２＝（−２／Ｗ，−２／Ｈ）、Ｆ３＝（２／Ｗ，２／Ｈ）、Ｆ４＝（２／Ｗ，２／Ｈ）である。そして、これらを画面座標に射影した点は図４Ｂに示すＦ１ｐ、Ｆ２ｐ、Ｆ３ｐ、Ｆ４ｐになる。変換行列は、ステップＳ５２で算出したＭfwと、ステップＳ２４で算出した変換パラメータＭv、Ｍp、Ｍt、Ｍsを用いて、ＭsＭtＭpＭvＭfwとすれば良い。以下、Ｍi＝ＭsＭtＭpＭvとする。これによって、画面座標上でのフィルタサイズ（フィルタ範囲）を算出できる。
【００６１】
次に、ステップＳ５５において、画面座標内に変換したフィルタの端点で囲まれる領域（フィルタ範囲）にあるすべての画素をフィルタ座標に変換する。この処理は、ステップＳ５３と逆方向の行列変換となるので、ステップＳ５３で用いた変換行列の逆行列ＭfＭi-1をかければ良い。
【００６２】
次に、ステップＳ５６において、フィルタ座標から画面座標へ変換した点毎のヤコビアンを算出する。これは、フィルタ関数のような積分関数の変数変換に必要な処理である。画面座標上で均等に分布している点をフィルタ座標に変換した時にｘｙ座標によって粗密ができるために行う処理である。これには、例えば、ヤコビアンを算出した画面座標上の変換した原点Ｆ０wを元にＰx,y＝（ｘ，ｙ）＋ＭiＭfwＦ０wとする。この時、Ｐx,yとその隣の点Ｐx+1,y＝（ｘ＋１，ｙ）＋ＭiＭfwＦ０wとＰx,y+1＝（ｘ，ｙ＋１）＋ＭiＭfwＦ０wを変数変換した点を使って、
【００６３】
【数１３】
2014006674.tif 000015
【００６４】
とすれば良い。尚、点Ｐx,yのｚ座標はスクリーン平面Ｓｃｒからの視点位置の距離ｄを使ってｚｆ（ｄ−ｚｎ）／（ｚｆ−ｚｎ）とする。これは変換された点で作る三角形の２倍（平行四辺形）の面積になる。また、これは離散的で簡易的な算出方法であるが、連続関数の微分の形で解析的に算出しても良い。
【００６５】
最後に、ステップＳ５７において、フィルタ座標に変換した点とヤコビアンの逆数をかけて、変形したフィルタ係数ｆnew（ｘ，ｙ）としてｆtrans（ｘ，ｙ）を式（１４）により算出する。
【００６６】
【数１４】
2014006674.tif 000016
【００６７】
以上の処理によって、例えば、真円形のフィルタの場合、横斜め方向から見た時は横に長い楕円のフィルタに変形され、視点位置が変わってもフィルタの形は変わらないようフィルタ係数を設定できる。
【００６８】
以上説明したように、実施形態１によれば、視聴者の位置が変化しても、視聴者の位置から画像表示面を見た際に歪みがなく、かつエイリアシングの少ない３Ｄオブジェクトのレンダリングとフィルタ処理をすることが可能となる。
【００６９】
尚、実施形態１では、スクリーンが１枚の平面として説明しているが、複数枚や曲面の場合でも、図６のように複数の小さいスクリーン（平面）の集合と考えて分割した各面に同じ処理を行うことで同様の処理が可能である。
【００７０】
また、実施形態１では、３Ｄオブジェクトの変換の例を上げているが、オブジェクトは２Ｄの画像やベクトルデータであっても良い。
【００７１】
更に、実施形態１の構成においては、上記以外にも様々な構成要素が存在し得るが、本発明の主眼ではないため、その説明は省略する。
【００７２】
＜実施形態２＞
実施形態２では、実施形態１の構成に加え、視聴者の注視点の座標である注視点情報を利用し、視聴者自身の眼のぼけを考慮してフィルタを作成する構成について説明する。
【００７３】
カメラのレンズには、被写界深度という奥行きに応じたぼけの程度を表す指標があることが知られているが、人間の目もレンズであるため、被写界深度が存在する。図７は人間の眼の被写界深度を説明する図である。ここで、ｌが焦点の距離、ｌrが前方被写界深度、ｌfが後方被写界深度と呼ばれるものであり、ぼけが許容ぼけ量δ以下になる距離の範囲の両端を表す。ｌrとｌfは瞳孔径Ｄ、目のレンズ焦点距離ｆとｌ、δを用いて、
【００７４】
【数１５】
2014006674.tif 000017
【００７５】
として算出することができる。また、逆に、注視点のｚ座標がｌである時の原点を視聴位置とした式１０のフィルタのビュー座標（ｘvf，ｙvf，ｚvf）でのぼけ量δvfは、
【００７６】
【数１６】
2014006674.tif 000018
【００７７】
で算出できる。このぼけが大きい場合には、実施形態１による画像処理の結果がスクリーン位置によってぼけ量が異なるように見えてしまう。視聴者の見た目に同じように見せるためには、このぼけ量も利用してフィルタを作成することが望ましい。
【００７８】
以下、フィルタ作成部１７において、眼のぼけ量を考慮してフィルタを作成するフローを図８を用いて説明する。
【００７９】
ステップＳ８１〜ステップＳ８３は、図５のステップＳ５１〜ステップＳ５３に対応し、処理内容は同一であるため、説明を省略する。
【００８０】
次に、ステップＳ８４において、注視点座標とフィルタ作成位置をフィルタ座標に変換する。ここで、注視点座標Ｐ０は仮想空間上の座標でフィルタ作成位置Ｐ１は画面上の座標とする。この場合、それぞれ、Ｐ０＝（ｘ０w，ｙ０w，ｚ０w）、Ｐ１＝（ｘ１p，ｙ１p，ｚ１p）とすると、式（１７）を用いて、
【００８１】
【数１７】
2014006674.tif 000019
【００８２】
として変換できる。
【００８３】
次に、ステップＳ８５において、眼のぼけ量を算出し、それに従ってフィルタのぼけ量（重み）を変更する。ここで、眼のぼけ量δvfは、式（１６）と式（１７）を用いて、以下の式（１８）により、
【００８４】
【数１８】
2014006674.tif 000020
【００８５】
と算出される。これを用いてフィルタｆ（ｘ，ｙ）を、例えば、フィルタのぼけ量をδ−δvfとして再設定すれば良い。但し、ここで、δ−δvfがゼロ以下の場合は、ぼかさない又は鮮鋭化すれば良い。
【００８６】
以降、ステップＳ８６〜ステップＳ８９は図５のステップＳ５４からステップＳ５７に対応するので、説明は省略する。但し、フィルタ及び定義域（フィルタ範囲）は、ステップＳ８５で再設定したフィルタ及び定義域となる。
【００８７】
以上説明したように、実施形態２によれば、視聴者自身の眼のぼけが大きくなる場合でも、実施形態１と同様の効果を得ることができる。
【００８８】
尚、上述の画像処理装置には、コンピュータが組み込まれていても良い。コンピュータには、ＣＰＵ等の主制御部、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の記憶部が具備される。また、コンピュータには、その他、キーボード、マウス、ディスプレイ又はタッチパネル等の入出力部、ネットワークカード等の通信部等も具備される。また、これらの各構成要素は、バス等の通信路により接続され、主制御部が記憶部に記憶されたプログラムを実行することで、上記の画像処理装置の機能を実現するように制御される。
【００８９】
更に、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014006674.tif 000021
【図２】
2014006674.tif 000022
【図３Ａ】
2014006674.tif 000023
【図３Ｂ】
2014006674.tif 000024
【図３Ｃ】
2014006674.tif 000025
【図４Ａ】
2014006674.tif 000026
【図４Ｂ】
2014006674.tif 000027
【図５】
2014006674.tif 000028
【図６】
2014006674.tif 000029
【図７】
2014006674.tif 000030
【図８】
2014006674.tif 000031