(57)【要約】【課題】往復走査による表示の際に顕著な動画の表示特性の劣化を抑制する。【解決手段】画像光を画像生成面上に走査して画像を生成する画像信号の較正方法であって、画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれＰｄ２、Ｐｄ４を、この移動体の移動方向及び移動速度に対応して補正する。【選択図】図５
2008077035.tif 000002
【特許請求の範囲】
【請求項１】
画像光を画像生成面上に走査して画像を生成する画像信号の較正方法であって、
前記画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、前記移動体の移動方向及び移動速度に対応して補正する
ことを特徴とする画像信号の較正方法。
【請求項２】
前記画像生成面上での前記画像光の走査が往復走査とされることを特徴とする請求項１記載の画像信号の較正方法。
【請求項３】
目的とするフレームレートの１／２のフレームレートで画像情報に対応して作成された参照フレームの画像信号に基づいて、前記移動体の画像信号を算出して補間フレームの画像信号を作成することを特徴とする請求項1記載の画像信号の較正方法。
【請求項４】
前記参照フレームの走査方向に関してｎ番目、前記走査方向と直交する方向に関してｍ番目の画素の画像信号から前記補間フレームの画像信号を作成するにあたって、
前記画像生成面上において走査位置の前記走査方向に沿う移動速度をｖｓ［画素／ｓ］、前記移動体の前記走査方向の移動速度をｖｘ［画素／ｓ］、前記参照フレームのブランキング時間をＴｆｂ［ｓ］、前記補間フレームのブランキング時間をＴｒｂ［ｓ］、１画素を描画する時間をｔｐ［ｓ］、1秒間のフレーム数をＮｆ、前記走査方向に沿う方向の画素数をＮｐとするとき、前記補間フレームにおける前記移動体の前記走査方向に沿う方向の表示画素位置Ｐｘは、下記数１を下記数２に代入して算出し、
前記画像生成面上における前記走査方向と直交する方向に関しては、この方向の前記移動体の速度をｖｙ［画素／ｓ］とすると、下記の数１を下記数３に代入して前記走査方向と直交する方向の表示画素位置Ｐｙを算出することを特徴とする請求項３記載の画像信号の較正方法。
【数１】
2008077035.tif 000007
【数２】
2008077035.tif 000008
【数３】
2008077035.tif 000009
【請求項５】
前記参照フレームの画像信号から算出した前記補間フレームの表示画素位置Ｐｘ及び／又はＰｙが小数点以下の数値を含む場合において、前記走査方向に隣接する次の画素及び／又は前記走査方向と直交する方向に隣接する次の画素に、前記小数点以下の数値に対応して画像信号を分散することを特徴とする請求項４記載の画像信号の較正方法。
【請求項６】
光源から出射される光を画像信号に対応して変調する光変調部と、該光変調部で変調された画像光を走査する走査光学部及び投射光学部とを有し、
前記走査光学部の走査により画像生成面に描画される画像光の画像信号に対して、前記画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、前記移動体の移動方向及び移動速度に対応して補正する演算部が設けられて成る
ことを特徴とする画像生成装置。
【請求項７】
画像信号に対応して光を変調した画像光を、画像生成面上に走査して画像を描画する画像生成装置と、
前記画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、前記移動体の移動方向及び移動速度に対応して補正する演算を行う演算部と、を有する
ことを特徴とする画像生成システム。
【請求項８】
画像信号に対応して光を変調した画像光を、画像生成面上に走査して画像を描画するに際して、
前記画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、前記移動体の移動方向及び移動速度に対応して補正した画像信号を用いる
ことを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報に対応して変調された画像光を画像生成面上に走査して画像を生成する際の画像信号の較正方法、これを用いた画像生成装置、画像生成システム及び画像生成方法に関する。
【背景技術】
【０００２】
プロジェクタやプリンタ等の光源からの光を画像生成面上に描画して２次元画像を表示する画像生成装置において、１次元的な画像情報を有する画像光を、走査光学系により走査しながら画像生成面に投影することで２次元画像を形成する装置が知られている（例えば特許文献１参照。）。
１次元の画像光を変調する光変調素子として、米国Silicon Light Machine社が開発した回折ライトバルブ（ＧＬＶ：grating light valve)が知られている(例えば、特許文献２参照。)。
通常の２次元表示用の光変調素子と比較して、このＧＬＶを用いる場合は、縦方向の画素数は同じになるが、横方向は少なくとも１個あればよいので、２次元画像表示に必要な画素数が少なくすむという利点がある。また、ＧＬＶのリボン素子と呼ばれている電極部分は、サイズが例えば約１μｍ×４０μｍ程度と非常に小さいので、高い解像度、高速なスイッチング速度及び広い帯域幅の表示が可能である一方、低い印加電圧で動作されるので、非常に小型化された光変調装置及び画像生成装置を実現することが期待されている。
【０００３】
このような１次元型の光変調素子により変調した画像光をスクリーン等の画像生成面上に走査する方法としては、従来は一方の走査方向の走査時のみに画像を描画する方法が採られている。図１４は、この走査方法において画像生成面上の走査位置の時間変化の一例を示す図である。図１４に示すように、この場合、往路すなわち正方向では、期間Ｔ１ａ内にガルバノミラー等の走査素子の回転速度がゼロから所定の速度まで加速され、期間Ｔ１で略一定の速度で画像生成面上を走査する。その後の期間Ｔ２内で回転速度がゼロまで減速し、逆方向の回転を開始して元の位置に戻り、再び期間Ｔ１ａ内で往路の回転を開始する。
この場合、期間Ｔ２では走査素子の回転速度を調整するとか、次回走査のために元の位置に戻るだけで、投影や結像などの描画をせず、期間Ｔ１内だけ描画する。つまりＴ２の無駄な時間が生じており、スキャナの利用効率が低いという問題がある。スキャナの利用効率を高めるには、例えば戻り方向の移動時間Ｔ２を短縮する方法があるが、短時間にスキャナ、例えばガルバノミラーを戻すためには大きな駆動力を加えなければならない。この場合はスキャニングシステムの電力量の増大とスキャンミラーの機械的な強度を高める必要があり、これを実現するためにスキャニングシステムが大型化し、コスト高を招来するという問題がある。
また、光源として例えば半導体レーザ等のレーザ装置を用いる場合、上述の期間Ｔ２における無効時間でも出射は続けており、この期間の光が無駄となり、光利用効率が低いという問題もある。
【０００４】
これに対し、ガルバノミラー等のスキャナの復路でも投影を行う往復走査による画像生成方法が提案されている（例えば特許文献３参照。）。
【０００５】
【特許文献１】米国特許第５９８２５５３号明細書
【特許文献２】特許第３１６４８２４号公報
【特許文献３】再公表２００４−３１８３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、上記特許文献３に記載されているような往復走査による画像の描画を行う場合、画面の一端において動画が二重に見える、あるいはぼやけてしまうという問題がある。例えばフライトシミュレータ、ゲームコンテンツ、アニメーション等のＣＧ（コンピュータグラフィックス）表示は比較的輪郭が明瞭な画像や文字情報であり、このような二重表示やぼやけが顕著である。特に文字が画面上を移動して文章を表示するいわゆるテロップを描画する場合、画面の特定位置において文字が二重に見えてしまうという不都合が生じてしまう。
【０００７】
以上の問題に鑑みて、本発明は、画像生成面上に画像信号に対応して変調された画像光を走査して画像を生成する場合において、往復走査による表示の際に顕著な動画の劣化を抑制することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明による画像信号の較正方法は、画像光を画像生成面上に走査して画像を生成する画像信号の較正方法であって、画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、この移動体の移動方向及び移動速度に対応して補正するものである。
【０００９】
本発明者は、上述した往復走査時において顕著な動画像のぼやけや二重に見えるなどの不都合が、描画周期の違いによって生じることを究明した。一例として、描画周期を一定として作成した画像信号を用いてそのまま例えば往復走査により描画を行う場合を考える。この場合、画面上の位置により描画周期が異なり、例えば中央位置は描画周期が略一定となるが、両端部では描画周期が大きく異なる。描画周期を一定として作成した画像信号によりそのまま画像を生成すると、このような描画周期の大きく異なる領域では、移動体の運動が不自然となってしまう。つまり、画面の特定位置において移動体が二重に見えたりぼやけたりするという不具合が生じることとなる。また、画面中の移動体を視線が追従して観察しているにも拘わらず、移動体が不自然な位置に表示されてしまうため、いわば眼球運動と生成画像とに矛盾が生じることによって動画の劣化を引き起こす。したがって、本発明においてはこのような描画周期の違いによって生じる移動体の位置ずれを補正することによって、描画周期を一定とした画像をそのまま往復走査等により表示する場合と比較すると、移動体の運動をスムーズに表示して二重表示やぼやけを抑え、動画の劣化を抑制することができる。
【００１０】
また、本発明は、上述の画像信号の較正方法において、画像生成面上での画像光の走査を往復走査とする。
このように、往復走査とする場合は、往路又は復路において描画周期が短くなる領域の動画像の二重表示やぼやけを抑制することができる。
【００１１】
更に、本発明は、上述の画像信号の較正方法において、目的とするフレームレートの１／２のフレームレートで画像情報に対応して作成された参照フレームの画像信号に基づいて、少なくとも移動体の画像信号を算出して補間フレームの画像信号を作成する。
このように、参照フレームから移動体の画像信号を算出することにより、例えば往復走査をする場合の復路における画像を補間フレームとして、補正された画像信号により画像を走査描画することによって、動画の劣化を抑制することが可能となる。またこの場合、低フレームレートの画像信号を用いて高フレームレートの画像の生成が可能となり、いわば画像情報の２倍のフレームレートの画像を生成することが可能となる。
【００１２】
また、本発明による画像生成装置は、上述の本発明による画像信号の較正方法を実行する演算部を設ける構成とするものである。すなわち、光源から出射される光を画像信号に対応して変調する光変調部と、この光変調部で変調された画像光を走査及び投射する走査光学部及び投射光学部とを有し、走査光学部の走査により画像生成面に描画される画像光の画像信号に対して、画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、移動体の移動方向及び移動速度に対応して補正する演算部を設ける構成とする。
【００１３】
更に、本発明による画像生成システムは、上述の本発明による画像信号の較正方法を実行する演算部と画像生成装置とより構成する。すなわち、画像信号に対応して光を変調した画像光を、画像生成面上に走査して画像を描画する画像生成装置と、画像生成面上の描画位置における描画周期の違いによって生じる移動体の位置ずれを、移動体の移動方向及び移動速度に対応して補正する演算を行う演算部と、を有する構成とする。
また、本発明による画像生成方法は、上述の本発明による画像信号の較正方法を利用して算出した画像信号を用いて画像を生成するものである。
【００１４】
本発明の画像生成装置、画像生成システム及び画像生成方法によれば、上述の本発明による画像信号の較正方法を利用して画像を生成することから、同様に、移動体の運動をスムーズに表示して二重表示やぼやけることを抑え、動画の劣化を抑制することができる。
【発明の効果】
【００１５】
本発明の画像信号の較正方法、画像生成装置、画像生成システム及び画像生成方法によれば、移動体の運動を良好に表示して、往復走査による表示の際に顕著な動画の劣化を抑制することができる。
【発明を実施するための最良の形態】
【００１６】
以下本発明を実施するための最良の形態の例を説明するが、本発明は以下の例に限定されるものではない。
一般に、液晶テレビやＣＲＴ（陰極線管）型のテレビ等、また上述したＧＬＶ等の１次元光変調装置を用いて画像生成面上に走査投射によって画像を表示するプロジェクタにおいても、画面上の任意の位置における画像信号の更新レート、すなわち描画周期はほぼ一定である。したがって、画像信号も全て同じフレームレート周期にて変化するデータとなっている。
【００１７】
例えばフライトシミュレータやゲームコンテンツ、アニメーション等のコンピュータグラフィックス（ＣＧ）を用いた映像を投影する場合に、ＣＧ作成時におけるレンダリングは画像の移動速度×フレームレート間隔［ｓ］で移動量を決定する。この様子を図１に示す。図１においては、横軸は時間軸、縦軸は画像生成面上の位置を示し、縦軸の下側を画像生成面の右側、上側を画像生成面の左側を示す。図１においてフレーム毎に破線Ｒ１、Ｒ２、・・・、Ｒ５で示すように、画面の右から左に向かって走査を行う場合において、画面の左側の位置から右側に向かって移動体が実線Ｍで示すように移動する際の画像生成面上の走査位置を示したものである。各フレームＦ１〜Ｆ５において描画する位置は、実線Ｍとの交点Ｐ１ｒ、Ｐｒ２、・・・Ｐｒ５となる。なお、一点鎖線ＰＲ、ＰＬはそれぞれ画像生成面の右端及び左端の位置を示す。
【００１８】
このようにして作成した画像信号を、往復走査により画像を描画する場合に適用すると、復路のフレームＦ２及びＦ４において図２に示すように、位置的及び時間的なずれが生じる。図２において、図１と対応する部分には同一符号を付して重複説明を省略する。図２中、走査方向を実線Ｓ１、Ｓ２、・・・、Ｓ５として示す。実際には走査素子の特性によって、例えば走査方向の変換前後で走査速度が変動するが、一点鎖線ＰＲ及びＰＬで示す画像生成領域内ではほぼ一定速度で走査するものとする。
このとき、走査方向が往路となるフレームＦ１、Ｆ３、Ｆ５においては、図１において示す位置Ｐ１ｒ、Ｐ３ｒ、Ｐ５ｒは、移動体の移動軌跡に対応する実線Ｍとの交点Ｍ１、Ｍ３、Ｍ５上に位置することが分かる。したがって、往路においては点Ｐ１ｄ、Ｐ３ｄ、Ｐ５ｄでそのまま画像を表示しても位置ずれは生じない。一方、走査方向が復路となるフレームＦ２及びＦ４においては、図１で求めた交点Ｐ２ｒ及びＰ４ｒと画像生成面上で走査方向には同じ位置となる点Ｐ２ｄ、Ｐ４ｄで画像信号をそのまま描画すると、実線Ｍ上の交点Ｍ２、Ｍ４（すなわち描画されるべき位置)からそれぞれ走査方向にＰｄ２、Ｐｄ４だけ位置がずれてしまう。また、これらの画像信号が描画されるべき時刻からもそれぞれｔｄ２、ｔｄ４の時間的なずれが生じ、移動体が本来描画される時刻、すなわち実線Ｓ２及びＳ４と実線Ｍとの交点Ｍ２及びＭ４からもそれぞれｔｄ２´、ｔｄ４´の時間的なずれが生じることとなる。
【００１９】
このような位置ずれ及び時間的なずれは、描画周期が一定でない領域が生じるためである。一般に、往復走査を行う場合、画像生成面の中心位置では画像の更新レートは一定間隔となるが、画像生成面の中心から走査方向にずれるに従い画像の更新レートは一定ではなくなる。この様子を図３に示す。画像生成面の中心部からの画素毎の位置に対して、往復走査時の描画周期は端部に行くほど短くなり、特に端部近傍では６倍程度以上も描画周期がずれていることが分かる。
つまり、往復走査による画像描画を行う場合に前述の図１において破線Ｒ１〜Ｒ５で示すフレームレートにしたがって作成された画像信号を描画すると、画像中心部では他方式の画像生成装置と同様に問題は発生しないが、画像中心から走査方向にずれるに従い、動画中の移動体の運動を観察する眼球運動による追従と、生成される画像との矛盾が生じ、前述したような画像生成面の例えば右端や左端などの特定位置における動画の劣化が引き起こされることとなる。これは、画像信号が一定の周期で作成されたものであるのに対して、描画周期が一定ではなくなることが原因である。
【００２０】
このような描画周期の違いによって生じるずれを補正する方法の一例を以下に説明する。先ず、画像をレンダリングする際にまずフレームレートを１／２とした条件、例えば目的とするフレームレート２４０ｆｐｓ（frame per second）の１／２である１２０ｆｐｓとしてレンダリングを行い、その画像を参照フレームと定義する。そして、参照フレームにおける動画中の移動体の移動速度と画像光の走査条件から、追従視における眼球運動と生成される画像とに矛盾が生じない画像信号を算出して求める。走査方向は、図４に示すように、往復走査とする。フレームｎ、ｎ＋２、ｎ＋４・・・において例えば右から左への往路走査、フレームｎ＋１、ｎ＋３、ｎ＋５・・・において例えば左から右への復路走査として、往路走査時に参照フレーム、復路走査時に参照フレームから算出した補間フレームの画像信号による画像光を描画する。この場合１フレームの描画時間ｔＦは１／２４０［ｓ］である。
【００２１】
次に補間フレームの画像信号の算出方法の一例について説明する。この例においては、参照フレームにおいて描画される任意の画素（ピクセル）（ｎ，ｍ）が補間フレームにおいてどの位置に描画されるかを算出する。具体的な算出方法としては、参照フレームで表示される任意の点（移動体）が、実時間に沿って移動速度ｖｘで走査方向に移動した場合に、図５に示すように、補間フレームＦ２、Ｆ４において走査素子が実際に描画するタイミング（実線Ｓ２、Ｓ４）とこの移動体の移動軌跡（実線Ｍ）とが交わる位置Ｐ２、Ｐ４のピクセル座標（Ｐｘ、Ｐｙ）を算出することにより補間フレームの画像信号を作成する。図５において、図１及び図２と対応する部分には同一符号を付して重複説明を省略する。
なお、以下の説明では画像生成面上の走査方向をｘ方向、走査方向と直交する方向をｙ方向とする。計算パラメータを下記に示す。
【００２２】
ｖｘ：移動体の走査方向の移動速度［画素／ｓ］
ｖｓ：画像生成面上の走査位置の移動速度［画素／ｓ］
Ｔｆｂ：参照フレームのブランキング時間［ｓ］
Ｔｒｂ：補間フレームのブランキング時間［ｓ］
ｔｐ：１ピクセルを描画する時間［ｓ］
Ｎｆ：1秒間のフレーム数
Ｎｐ：ｘ方向（走査方向）の画素数
【００２３】
図５に示す参照フレームＦ１、Ｆ３及びＦ５の移動体の位置Ｐｏは、実時間上では走査方向に対して下記の式（１）で表される軌跡上を移動する。
Ｐｏ＝ｖｘ×｛ｔ−（Ｔｆｂ＋ｔｐ×ｎ）｝＋ｎ    ・・・（１）
一方、走査素子によって走査される描画位置は、補間フレームにおいては、下記の式（２）で表される。
Ｐｓ＝ｖｓ×｛ｔ−（１／Ｎｆ＋Ｔｒｂ）｝＋Ｎｐ    ・・・（２）
なお、ここでｔは、１／Ｎｆ＋Ｔｒｂ≦ｔ≦１／（Ｎｆ／２）の範囲とする。１秒間のフレーム数Ｎｆとしては参照フレームと補間フレームを合わせた例えば２４０であり、１／Ｎｆは１フレームあたりの走査時間となる。
【００２４】
これらの軌跡が交わる時間ｔ（ｎ）に描画されている画素（ピクセル）が補間画像で表すべき位置Ｐｘとなる。ここで、Ｐｏ＝Ｐｓを満たす時間ｔ（ｎ）は、下記の数１で表される。
【００２５】
【数１】
2008077035.tif 000003
【００２６】
なお、上記数１においては、ｖｘ≦ｖｓとする。
【００２７】
そして、補間フレームにおけるピクセルと時間の関係は、下記の式（３）により表される。
ｔ＝１／Ｎｆ＋Ｔｒｂ＋ｔｐ×（Ｎｐ−Ｐｘ）    ・・・（３）
上記式（３）を展開し、時間ｔにｔ（ｎ）を代入すると、下記数２となる。
【００２８】
【数２】
2008077035.tif 000004
【００２９】
上記数２のｔ(ｎ)に、上記数１により求めたＰｏ＝Ｐｓを満たす時間ｔ（ｎ）を導入することによって、補間フレームＦ２、Ｆ４におけるｘ軸上の位置Ｐｘを算出することができる。
一方、ｙ方向に関しては、上記数１により求めたｔ（ｎ）と速度ｖｙ［画素／ｓ］を用いて補間画像で表すべき位置Ｐｙを算出する。この位置Ｐｙは、下記の数３により表される。
【００３０】
【数３】
2008077035.tif 000005
【００３１】
以上の数１〜数３により求めた位置Ｐｘ、Ｐｙに補間画像を作成して信号を割り当てることによって、移動体の運動に対する眼球運動とのずれが殆どなく、滑らかに移動する移動体の表示を行うことが可能となる。
特に、ＣＧによる各種画像や文字情報、テロップの表示に際して、画像生成面上のどの位置でも明確な表示を行うことができることとなる。
【００３２】
なお、補間画像となる点を算出したときに、その位置が元の画像の画素位置と完全に一致するわけではないので、その場合は算出された補間画素位置から対応する各画素に対して画像情報（カラー表示の場合は色情報）を分配する形で画像データを作成することが望ましい。
【００３３】
例えば、上記の演算により求めた位置Ｐｘ及びＰｙが小数点を含む数値であり、Ｐｘ（ｉｎ）及びＰｙ（ｉｎ）はそれぞれＰｘ及びＰｙの整数部、Ｐｘ（ｄｅ）及びＰｙ（ｄｅ）はそれぞれＰｘ及びＰｙの小数部とする。すなわち、
Ｐｘ＝Ｐｘ（ｉｎ）＋Ｐｘ（ｄｅ）  ・・・（４）
Ｐｙ＝Ｐｙ（ｉｎ）＋Ｐｙ（ｄｅ）  ・・・（５）
とする。
【００３４】
補間フレーム中の画素位置におけるデータ、例えば輝度情報をdata［ｎ＊，ｍ＊］とし、すなわちｎ＊＝Ｐｘ（ｉｎ）、ｍ＊＝Ｐｙ（ｉｎ）として、元の画像フレーム中の画素位置［ｎ，ｍ］におけるデータをdata［ｎ，ｍ］とすると、以下の式（６）〜（９）に示すように小数部のデータを割り当てる。すなわち、
data［ｎ＊，ｍ＊］＝data［ｎ，ｍ］×〔{１−Ｐｘ(ｄｅ)}×{１−Ｐｙ(ｄｅ)}〕・・・（６）
data［ｎ＊＋１，ｍ＊］＝data［ｎ，ｍ］×〔Ｐｘ(ｄｅ)×{１−Ｐｙ（ｄｅ）}〕・・（７）
data［ｎ＊，ｍ＊＋１］＝data［ｎ，ｍ］×〔{１−Ｐｘ（ｄｅ）}×Ｐｙ（ｄｅ）〕・・（８）
data［ｎ＊＋１，ｍ＊＋１］＝data［ｎ，ｍ］×{Ｐｘ（ｄｅ）×Ｐｙ（ｄｅ）}・・（９）
とする。
【００３５】
このように、求めた画素位置が小数点を有する場合に、隣接する画素に小数点以下の分のデータを割り当てる場合の一例を図６Ａ及びＢに示す。例えば図６Ａに示すように、求めた画素位置がｘ方向ではＰｍとＰｍ＋１の間、ｙ方向ではＰｎとＰｎ＋１との間であるとき、図６Ｂに示すように、画像信号を画素位置（Ｐｎ，Ｐｍ）、（Ｐｎ＋１，Ｐｍ）、（Ｐｎ，Ｐｍ＋１）、（Ｐｎ＋１，Ｐｍ＋１）に分配する。図示の例では、画素位置（Ｐｎ，Ｐｍ）が最も輝度が高く、次いで画素位置（Ｐｎ＋１，Ｐｍ）、（Ｐｍ＋１，Ｐｎ）の順に輝度が低くなり、画素位置（Ｐｎ+１，Ｐｍ+１）で最も輝度が低くなるように濃淡をもたせて表示する例を示す。図６Bにおいては輝度の高い画素を比較的濃く、輝度の低い画素を比較的薄い濃度をもって示す。このように、小数点以下の分のデータを隣接する画素に分散させてグラデーションをもたせて表示することによって、より自然に移動体の動きを表示して、スムーズな動画表示を行うことができることとなる。
【００３６】
上記数１〜数３、更に式（６）〜式（９）による演算によって補間フレームの画像信号を作成することによって、移動体の動きが自然に表示され、動画の劣化を抑制することができる。なお、背景画像などの静止画像についてはこのような画像信号の較正は必要なく、動画部分を含む重ね合わせ画像の全画素に対して上記演算を行えばよい。背景画像などと重ね合わせることで最終的に一つの画像となる。
【００３７】
また、ＣＧなどの画像のみならず通常のビデオ映像などの場合においても、例えば１２０ｆｐｓの動画像が入力された場合には、その入力画像を参照フレームとして、前（又は後）の参照フレームとの差分から動画部分を認識し移動速度を求める。求めた移動速度を用いて上記数１〜数３、式（６）〜（９）から補間フレームを算出することで、２４０ｆｐｓのフレームレートすなわち２倍の高フレームレートでかつ動画の劣化が抑制された、良好な画像を生成することが可能となる。
【００３８】
以上説明したように、本発明の画像信号の較正方法を用いて補間フレームを作成することにより、眼球運動と動画中の移動体の移動のずれが解消され、ＣＧ等で作成した画像、文字情報、テロップ等の解像度の劣化を抑え、往復走査等の描画周期の異なる走査を行う場合においても、臨場感のある良質な画像を提供することが可能となる。
【００３９】
なお、往復走査により画像を描画する場合において、例えば往路では左目用画像、復路では右目用画像を描画して、シャッター機能を有する眼鏡を用いて画像を観察することによって立体画像を表示する場合においても、本発明を適用することが可能である。
この場合においても、参照フレームで例えばレンダリングにより左目用画像の画像信号を生成し、これに基づいて上記数１〜数３、式（６）〜（９）を用いて補間フレームの移動体の動きを補正するとともに、立体視用の視差を考慮して例えば右目用画像の画像信号を生成することによって、左右の目による画像で移動体の運動の矛盾が生じず、かつ立体視を実現する画像を提供することができ、立体画像における動画の表示特性の劣化を防ぐことも可能となる。
【００４０】
次に、このような画像信号の構成方法を利用した本発明の画像生成装置の一実施形態例について図７〜図１１を参照して説明する。この例においては、外部演算部において上述した数１〜数３、更には上記式（６）〜（９）を用いて画像信号を較正する演算を行い、画像生成装置の光変調装置にその画像信号を入力する構成とする例を示す。
図７に示すように、この画像生成装置は光源５１、照明光学系５２、光変調装置５、光選択部５３を含む光変調部２０、投射光学部３０、走査部２を有する走査光学部４０から構成される。光源５１には、例えば半導体レーザや固体レーザ等が用いられる。光源５１から射出された光Ｌｏは、照明光学系５２を経て例えば回折格子型構成の１次元型の光変調装置５に１次元状（線状）の光ビームとして照射される。照明光学系５２にはビーム整形やビーム拡大等のためのレンズ系が含まれる。
回折格子型の光変調装置５は外部演算部１５０において生成された画像信号をもとに、図示しない駆動回路からの信号Ｓｐを受けて動作する。光変調装置５を回折格子型構成とする場合、その回折光が光選択部５３に入射される。なお、例えば三原色の光を用いる場合は、各色の光源からそれぞれ照明光学系、各色用光変調装置を経てＬ字型プリズム等の色合成部により光束を重ね合わせて光選択部に出射される構成とすることができる。
光選択部５３はオフナーリレー光学系等より成り、シュリーレンフィルター等の空間フィルター（図示せず）を有し、ここにおいて例えば＋１次光が選択されて１次元画像光Ｌｍとして出射される。更に投射光学部３０によって拡大等を行い、走査光学部４０における走査素子２の矢印ｒで示す回転によりＬ１、Ｌ２、・・・Ｌｎ−１、Ｌｎで示すように走査され、スクリーン等の画像生成面１上に２次元像５４が生される。画像生成面１上において走査位置は矢印ｓで示すように往復走査される。なお、画像生成面１の走査方向の両端は非表示領域５５ａ及び５５ｂとなる。走査素子２としては、例えばガルバノミラー、ポリゴンミラーの他、例えば電磁石等によって共振して走査を行ういわゆるレゾナントスキャナを用いることも可能である。
【００４１】
このような画像生成装置において利用可能な光変調装置の一例を図８〜図１０を参照して説明する。図８は、この実施形態例に係る光変調装置を構成する光変調素子の概略斜視構成図である。図８に示すように、この光変調素子６０は、シリコン等より成る基板（図示せず）上に、ポリシリコン薄膜などから成る共通電極６３が形成され、この共通電極６３と所定の間隔を保って、表面に反射膜が形成された条帯（ストリップ）状の第１の電極６１ａ〜６１ｃと、第２の電極６２ａ〜６２ｃとが交互に形成されている。第１の電極６１ａ〜６１ｃは、固定電位とされて例えば接地され、第２の電極６２ａ〜６２ｃは可動電極すなわち可動部とされ、駆動電圧電源６５に接続される。
【００４２】
このような構成とする場合、第１の電極６１ａ〜６１ｃは例えば固定されており、反射面の高さは不変である。そして第２の電極６２ａ〜６２ｃが駆動電圧に応じた静電力に起因する吸引力または反発力によって、共通電極６３に向かって移動又は屈曲可能であり、第２の電極６２ａ〜６２ｃの反射面の高さ（例えば基板との間隔）を変えることができる。第２の電極６２ａ〜６２ｃの移動又は屈曲によってピッチは一定で深さが変調可能な回折格子として機能させることができる。
なお、この光変調素子６０は、光変調装置内の１つの画素（ピクセル）に対応して第２の電極６２ａ〜６２ｃを１画素分の画素信号に対応して変調させるものであるが、この光変調素子に設ける第１の電極及び第２の電極の数は図８に示す例のように６本とする以外に、２本、４本等とすることができ、適宜変更可能である。また、この光変調素子６０を各電極の長手方向と直交する方向に画素数分並置配列して、所望の画素数に対応する光変調装置が構成される。すなわち光変調装置内に設ける電極の総数は、１画素あたりの電極の本数及び目的とする表示画像の画素数に対応して適宜選定される。
【００４３】
この光変調素子６０の代表的な寸法の一例として、例えば、第１及び第２の電極の幅は３〜４μｍ、隣接する電極間ギャップは約０．６μｍ、電極の長さは２００〜４００μｍ程度である。この場合、６本の電極で１画素分とすると、１画素分の光変調素子の幅は約２５μｍである。
実用化されつつある１０８０画素を表示する１次元光変調装置においては、図８の第１及び第２の電極の幅方向に沿って、１０８０画素分程度の電極が多数並置配列される。
【００４４】
なおこのような回折格子型の光変調装置としては、各電極が非動作時に表面がほぼ一平面上に配置される通常型構成と、各電極が基準面（例えば光変調装置の基板面）から所定の角度をもって傾斜されて配置されるいわゆるブレーズ型構成とが提案されている。これらの各タイプの光変調装置の一例の概略断面構成図を図９及び図１０に模式的に示す。図９及び図１０において、図８と対応する部分には同一符号を付して重複説明を省略する。図９及び図１０に示す例では、１画素に対応する第１及び第２の電極の数を３本ずつ、合計６本とした場合を示すが、これに限定されるものではない。
【００４５】
通常型構成の光変調装置は、図９に動作時の一例を示すように、第２の電極６２ａ〜６２ｃの移動量Ｚ１を例えば入射光の波長λに対しλ／４とするときに、入射方向と逆向きに反射される０次回折光（図示せず）と、±１次回折光Ｌｒ（＋１）及びＬｒ（−１）が回折光として反射される。一例として、λ＝５３２ｎｍの場合は、第２の電極の移動量は最大λ／４＝１３３ｎｍである。例えば＋１次回折光のみを利用する場合、１本の回折光だけを空間フィルタを通してスクリーン上に結像し、画像表示用に利用することができる。非動作時（駆動電圧をゼロとする場合）には＋１次回折光は生じないため、このオフ状態は画面の暗状態に対応し、表示画面が黒になる。すなわち、第２の電極６２ａ〜６２ｃへの駆動電圧を外部からの画像情報に対応して調整して、移動量Ｚ１を制御することによって、画素のオン／オフとこの間の階調表示が可能となる。
【００４６】
一方ブレーズ型構成の光変調装置は、図１０に示すように、基準面Ａ、すなわち光変調装置の基板（図示せず）の表面と平行な面から例えば角度θをもって各電極６１ａ〜６１ｃ、６２ａ〜６２ｃを傾斜して配置する。この角度θは好適には電極１本分の周期に対して隣接する電極間の高さの差がλ／４（λは用いる光の波長）となる角度とする。そして動作時には、隣接する一対の第１及び第２の電極６１ａ及び６２ａ、６１ｂ及び６２ｂ、６１ｃ及び６２ｃの各表面が一平面を成すように、第２の電極６２ａ〜６２ｃを移動させる。このときその移動量Ｚ２は、入射光の波長λに対してλ／４（つまり２本の電極周期毎にλ／２の段差）となるように動作させると、＋１次回折光のみが出射される。従って、この＋１次回折光を用いて、１本の回折光だけを空間フィルタを通してスクリーン上に結像することができる。すなわちブレーズ型の光変調装置を用いる場合は、反射回折光のうち１本の回折光を利用する構成とすることにより、光利用効率を高めることができる。
【００４７】
このような光変調装置に対して、その画像信号に対応する駆動信号として、上述の図５において説明した本発明の画像信号の較正方法により外部演算部１５０において補間フレームの画像信号を算出しておく。そして、参照フレームの画像信号と交互に矢印Ｓｐで示すように入力することによって、図７中の画像生成面１において表示する動画の移動体の動きを良好に表示し、すなわち二重に見えることやぼやけてしまうことを抑制し、動画の劣化を抑制することができる。
【００４８】
次に、上述した本発明による画像信号の較正方法を行う演算部を内部に有する構成とした本発明の画像生成装置の一実施形態例について説明する。
図１１は、この実施形態に係わる画像生成装置の一例の概略構成図である。図１１に示す例では、スクリーン１、走査素子２と、この走査素子２の駆動部３とを有する走査光学部４０、投射光学部３０、例えば三原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の照射光を変調する１次元型の光変調装置５ａ、５ｂ、５ｃ、これら光変調装置５ａ、５ｂ、５ｃに駆動電圧を出力する駆動回路６ａ、６ｂ、６ｃ、インターフェイス回路７ａ、７ｂ、７ｃ、画像データ変換回路８ａ、８ｂ、８ｃ、走査素子駆動回路９、システム制御回路１０を有する。
光変調装置５ａ、５ｂ、５ｃには、例えば上述の図８〜図１０において説明したＧＬＶ型の回折格子型光変調装置を用いることができる。各光変調装置５ａ、５ｂ、５ｃとその駆動回路６ａ、６ｂ、６ｃより、図示しない光源からの各色光を１次元像に変換する光変調部１７ａ、１７ｂ、１７ｃが構成され、これらから光変調部２０が構成される。
【００４９】
このような構成において、半導体レーザ等の複数の光源（図示せず）から出射される赤（Ｒ）、緑（Ｇ）、青（Ｂ）色の照明光束ＬＳ−Ｒ，ＬＳ−Ｇ，ＬＳ−Ｂは、不図示の照明光学系により平行光に変換され、光変調装置５ａ、５ｂ、５ｃに照射される。光変調装置５ａ、５ｂ、５ｃは、後述する画像信号に応じた駆動電圧が駆動回路６ａ、６ｂ、６ｃにより印加され、これに応じて入射された照明光を反射又は回折し、反射光又は回折光を投射光学部３０に射出する。
投射光学部３０では、光変調装置５ａ、５ｂ、５ｃから射出された反射光又は回折光を平行光に変換する。そして±１次回折光と０次光が分離され、例えば０次光は遮蔽されて±１次回折光が通過され、走査素子２に到達する。また、投射光学部３０においては、光変調装置５ａ、５ｂ、５ｃからの例えば主に±１次回折光により形成された１次元の像を拡大し、走査素子２を介して、スクリーン１に投射し、結像する。
【００５０】
画像データ変換回路８ａ、８ｂ、８ｃとインターフェイス回路７ａ、７ｂ、７ｃは、画像生成装置１００に入力された赤（Ｒ）、緑（Ｇ）、青（Ｂ）色の画像データＶＤ−Ｒ，ＶＤ−Ｇ，ＶＤ−Ｂの形式を変換し、１ラインごとに駆動回路６ａ、６ｂ、６ｃに出力する。なお、この変換に加えて、上述した本発明の画像信号の較正によって、参照フレームの画像信号から補間フレームの画像信号を算出する。
走査素子２の駆動部３、例えばスキャナモータは、駆動回路９からのスキャナ駆動信号ＳＤＳに駆動されて、連動する走査素子２を往復回転させる。走査素子２が往復回転しながら、投射光学部３０から射出されている±１次回折光を走査して逐次画像生成面１に射出し、１次元画像を展開して２次元画像を形成する。走査素子２は、ガルバノミラー、ポリゴンミラー、上述のレゾナントスキャナ等を用いることも可能である。
【００５１】
駆動部３には角度センサ１６が内蔵されていてもよい。この場合、角度センサ１６で検出した走査素子２の駆動部３の回転角度に基づいて、駆動部３と連動する走査素子２の現在の角度を正確に求め、角度センサ１６で検出した角度信号ＳＡＳをシステム制御回路１０の角度データ補正部１３に出力し、角度信号ＳＡＳに基づいて往路像と復路像の適切な走査タイミングを生成する処理を行う。
システム制御回路１０は、例えば中央演算回路（ＣＰＵ）１１、メモリ１２、角度データ補正部１３を含み、画像データ変換回路８ａ、８ｂ、８ｃ、インターフェイス回路７ａ、７ｂ、７ｃは、光変調装置５ａ、５ｂ、５ｃと駆動回路６ａ、６ｂ、６ｃを含む光変調回路１７ａ、１７ｂ、１７ｃなどの同期を取るため、フレーム同期信号ＦＲＭｓｙｎｃを分配する。また、システム制御回路１０は、走査素子２を駆動するための基本データとそのデータに対して位相、振幅、及び周期情報を含むスキャナ指示信号ＳＩＳを出力する。また、システム制御回路１０は、各種データを用いて、光変調装置５ａ、５ｂ、５ｃの変調と投射タイミングを示す変調投射信号ＲＱＴ（発生タイミングＴ及び位相データψを含む）を生成する。
【００５２】
インターフェイス回路７ａ、７ｂ、７ｃでは、光変調装置５ａ、５ｂ、５ｃの変調タイミングを決定する変調投射信号ＲＱＴの発生タイミングと位相データ（Ｔとψ）を例えばメモリに保持する。図示しないがインターフェイス回路内の制御回路は、フレーム同期信号ＦＲＭｓｙｎｃを受け、インターフェイス回路７全体及び各構成成分の動作タイミングを調整する。また、メモリに記憶された変調投射信号ＲＱＴの発生タイミングと位相データ（Ｔとψ）に基づいて、光変調装置５ａ、５ｂ、５ｃの変調タイミングを決定する変調投射信号ＲＱＴを生成し、画像データ変換回路８ａ、８ｂ、８ｃに出力する。
画像データ変換回路８ａ、８ｂ、８ｃのうち、例えば、画像データ変換回路８ａは、基準回路として、フレーム同期信号ＦＲＭｓｙｎｃを生成し、システム制御回路１０へ出力する。画像データ変換回路８ａへ入力されるデータに基準となるフレーム同期信号が含まれており、画像データ変換回路８ａにおいて、そのフレーム同期信号のタイミングが、システム制御回路１０に設定されているタイミングに変換され、フレーム同期信号ＦＲＭｓｙｎｃとして出力される。
【００５３】
このようにしてフレーム同期信号により同期がとられた赤、緑及び青色の変調信号すなわち画像信号が光変調装置５ａ、５ｂ、５ｃの駆動回路６ａ、６ｂ、６ｃに入力される。画像信号は、上述したように例えば画像データ変換回路８ａ、８ｂ、８ｃにおいて、上述の本発明による画像信号の較正方法を用いて補間フレームの画像信号が算出され、参照フレームの画像信号とともに出力されて、投射光学部３０、走査光学部４０を経て画像生成面1に描画される。
このような構成とする本発明の画像生成装置によれば、動画における移動体の動きに合わせた追従視に対してスムーズな表示を行うことができ、二重表示やぼやけを抑制して、良好な動画表示特性を保持することができる。
【００５４】
上述の画像生成装置に適用可能な画像信号の較正方法により画像信号を補正した例を図１２及び１３に示す。図１２中実線ｍ１は参照フレームの移動体の画像信号であり、図１３中実線ｍ２は較正後の補間フレームの移動体の画像信号を示す。この例では、走査方向に１９２０画素、走査方向と直交する方向に１０８０画素のＨＤ（High Definition）型の画素数とした場合であり、図１２に示す実線ｍ１の円が１／２４０秒後に移動速度ｖｓ＝−１２，０００［画素／ｓ］として矢印Ａで示すように左方向に移動する場合の補間画像の信号を算出する例を示す。なお、この例では補間フレームでの画像信号の説明のために、高速で移動する場合を示したものである。
【００５５】
図１２の実線ｍ１はほぼ円形であるのに対し、図１３の実線ｍ２は横長の楕円形となっている。これは、実線ｍ１が参照フレームの画像信号であるので、走査方向のどの位置においても同一の時刻の画像を表示しているのに対し、実線ｍ２は補間フレームの画像信号であるので、走査方向の各位置において同一の時刻の画像を表示しているのではなく、各々別の時刻の画像を表示しているためである。すなわち、図１３中の右端部側では描画周期が比較的短く、図１２で示す実線ｍ１の位置からの移動量が比較的少ない。一方移動方向（左方向）にいくほど描画周期が長いので、より後の時刻の位置を示すこととなり、結果的に図１２で示す実線ｍ１の位置から、より左方向にずれていく。つまり補間フレームにおいては、描画周期の長い部分の位置をより大きく移動方向にずらすので、例えばほぼ円形の物体は、補間フレームでは図１３に示すように、移動方向に伸長した楕円形の画像信号となる。物体が逆方向（右方向）に移動する場合は、逆に左右が縮んだ形状の画像信号となる。これらの参照フレーム及び補間フレームの画像信号を用いて往復走査により表示することによって、ほぼ円形の物体がスムーズに左方向に移動する様子が表示され、二重表示やぼやけを抑制した良好な動画特性を保持することができる。
【００５６】
以上説明したように、本発明による画像信号の較正方法、画像生成装置、画像生成システムによれば、ＣＧ、アニメーションなどの動画中の移動体が画像の特定領域付近で二重写しとなるとか、ぼやけてしまうことを抑制し、良好な動画表示特性を保持することができる。
また、本発明において、走査方法を往復走査とする場合は、復路における動画の不自然な動きを抑制して、良好に動画を表示することができる。
【００５７】
また、目的とするフレームレートの１／２のフレームレートで画像情報に対応して作成された参照フレームの画像信号に基づいて、移動体の画像信号を算出して補間フレームの画像信号を作成することによって、動画の表示特性を良好に保持するとともに、低フレームレートの画像情報を用いて２倍の高フレームレートでかつ動画表示を良好に行うことが可能な画像信号を提供することができる。
【００５８】
更に、本発明の画像信号の較正方法において、上記数１〜数３を用いて参照フレームの画像信号から補間フレームの画像信号を算出することによって、同様に、動画の表示を良好に行うことが可能となる。
また、上記数１〜数３で求めた補間フレームの表示画素位置が小数点以下の数値を含む場合に、走査方向に隣接する次の画素及び／又は走査方向と直交する方向に隣接する次の画素に、小数点以下の数値に対応して画像信号を例えば上記式（６）〜（９）を用いて分散することによって、より動画中の移動体の移動をスムーズに表示して、良好に動画を表示することが可能となる。
【００５９】
なお、本発明による画像信号の較正方法、画像生成装置、画像生成システム及び画像生成方法は上述の例に限定されるものではなく、その他種々の変形、変更が可能である。
例えば画像生成装置の走査光学部において用いる走査素子として、上述したレゾナントスキャナを用いる場合は、走査方向の走査速度ｖｓは一定でなく、共振周波数を周期とする正弦波状に変動する。したがって、上記数１中ｖｓを適切な関数等に変更して補間フレームの画像信号を算出することが望ましい。
【００６０】
更に、上記特許文献３において提案されているように、例えば図１１に示す画像生成装置において、画像生成面１の前に位置感知型検出器を配置することによって、走査素子の回転角度が往路及び復路で変動することを検出することができ、この変動量に基づいて１画素を描画する時間ｔｐを随時算出することも可能である。この場合は、ｔｐが一定ではなくなるので、上記数１及び数２中のｔｐ×ｎを下記の数４に置き換えることが望ましい。
【００６１】
【数４】
2008077035.tif 000006
【００６２】
また、移動体の移動速度が一定でない場合は、例えば上記数１及び数３において用いた移動体のｘ方向及びｙ方向の速度を関数ｖｘ（ｔ）、ｖｙ（ｔ）を求めて代入して画像信号を算出することにより、同様に移動体の動きを良好に表示する画像信号を生成することができる。
その他、本発明は、上述の各実施形態例において説明した構成に限定されることなく、光変調装置、照明光学系や光選択部、投射光学部及び走査光学部の各光学素子などの材料、構成等において、また、描画周期の異なる画像信号の演算以外の各種信号の演算、出力態様等において、本発明構成を逸脱しない範囲において、種々の変形、変更が可能であることはいうまでもない。
【図面の簡単な説明】
【００６３】
【図１】一般的な画像信号の生成方法の説明図である。
【図２】往復走査時の移動体の位置ずれ及び時間的なずれを示す説明図である。
【図３】画像生成面の中心部からの画素位置に対する往復走査時の描画周期の変化を示す図である。
【図４】本発明の画像信号の較正方法の一実施形態例の走査位置の説明図である。
【図５】本発明の画像信号の較正方法の一実施形態例の説明図である。
【図６】Ａ及びＢは本発明の画像信号の較正方法の一実施形態例の説明図である。
【図７】本発明の画像生成装置の一実施形態例の概略斜視構成図である。
【図８】本発明の画像生成装置の一実施形態例に用いる光変調装置の要部の概略斜視構成図である。
【図９】本発明の画像生成装置の一実施形態例に用いる光変調装置の要部の概略断面図である。
【図１０】本発明の画像生成装置の一実施形態例に用いる光変調装置の要部の概略断面図である。
【図１１】本発明の画像生成装置の一実施形態例の概略構成図である。
【図１２】画像信号の一例の模式図である。
【図１３】本発明の画像信号の較正方法により較正した画像信号の一例の模式図である。
【図１４】従来の画像生成装置における走査位置の説明図である。
【符号の説明】
【００６４】
１．画像生成面、２．走査素子、３．駆動部、５．光変調装置、５ａ〜５ｃ．光変調装置、６ａ〜６ｃ．駆動回路、７ａ〜７ｃ．インターフェイス回路、８ａ〜８ｃ．画像データ変換回路、９．駆動回路、１０．システム制御回路、５１．光源、５２．照明光学系、５３．光選択部、５４．２次元像、５５ａ．非表示領域、５５ｂ．非表示領域、６０．光変調素子、６１ａ〜６１ｃ．第１の電極、６２ａ〜６２ｃ．第２の電極、６３．共通電極、６５．駆動電圧電源
【図１】
2008077035.tif 000010
【図２】
2008077035.tif 000011
【図３】
2008077035.tif 000012
【図４】
2008077035.tif 000013
【図５】
2008077035.tif 000014
【図７】
2008077035.tif 000015
【図８】
2008077035.tif 000016
【図９】
2008077035.tif 000017
【図１０】
2008077035.tif 000018
【図１１】
2008077035.tif 000019
【図１２】
2008077035.tif 000020
【図１３】
2008077035.tif 000021
【図１４】
2008077035.tif 000022
【図６】
2008077035.tif 000023