(57)【要約】【課題】変曲点を有する投射面に対する投射が行われる場合でも、精度良く歪みを補正して、視聴者の感じる歪みを良好に軽減可能にすることを課題とする。【解決手段】映像投影装置は、入力映像を含む領域について設定された代表点の位置を、映像が投射される投射面の形状における変曲点の位置に合わせるように調整する調整手段（３０８）と、前記代表点の位置を基に、前記代表点の変形座標を算出する算出手段（３０９）と、前記代表点の変形座標に基づいて前記入力映像を変形して、前記投射面に投射する映像を生成する変形手段（３０１）と、を有することを特徴とする。【選択図】図３
2020061662.tif 000002
【特許請求の範囲】
【請求項１】
入力映像を含む領域について設定された代表点の位置を、映像が投射される投射面の形状における変曲点の位置に合わせるように調整する調整手段と、
前記代表点の位置を基に、前記代表点の変形座標を算出する算出手段と、
前記代表点の変形座標に基づいて前記入力映像を変形して、前記投射面に投射する映像を生成する変形手段と、
を有することを特徴とする映像処理装置。
【請求項２】
前記代表点の変形座標を記憶する記憶手段を有し、
前記変形手段は、前記記憶手段に記憶されている前記変形座標を基に前記入力映像を変形することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記変形手段は、前記投射された映像において前記投射面の形状により生ずる歪みとは逆の方向に前記入力映像を変形することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記調整手段は、前記入力映像を含む領域について設定された複数の全ての代表点の位置をオフセットさせるように調整することを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
【請求項５】
前記調整手段は、前記入力映像を含む領域について設定された複数の代表点の中の一部の代表点の位置をオフセットさせるように調整することを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
【請求項６】
前記調整手段は、前記変曲点の位置を示す座標値が、代表点間の間隔で割り切れない場合に、前記オフセットさせる調整を行うことを特徴とする請求項４または５に記載の映像処理装置。
【請求項７】
前記調整手段は、前記変曲点の位置を示す座標値を前記代表点間の間隔で割った剰余を基に、前記代表点の位置を前記オフセットさせる調整量を決定することを特徴とする請求項６に記載の映像処理装置。
【請求項８】
前記調整手段は、前記代表点の位置を、水平方向と垂直方向の少なくともいずれかの方向に前記オフセットさせる調整を行うことを特徴とする請求項４から７のいずれか１項に記載の映像処理装置。
【請求項９】
前記生成された映像を表示する表示パネルと、
前記表示された映像を、投射面に投射させる投影機構と、
を有することを特徴とする請求項１から８のいずれか１項に記載の映像処理装置。
【請求項１０】
映像処理装置が実行する映像処理方法であって、
入力映像を含む領域について設定された代表点の位置を、映像が投射される投射面の形状における変曲点の位置に合わせるように調整する調整工程と、
前記代表点の位置を基に、前記代表点の変形座標を算出する算出工程と、
前記代表点の変形座標に基づいて前記入力映像を変形して、前記投射面に投射する映像を生成する映像変形工程と、
を有することを特徴とする映像処理方法。
【請求項１１】
コンピュータを、請求項１から９のいずれか１項に記載の映像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投射される映像を処理する技術に関する。
【背景技術】
【０００２】
近年、映像投射装置は、平面にとどまらず、円柱やドームなどの曲面に対しても映像を投射するユースケースが増えている。このような多様な投射面への投射がなされる場合でも、視聴者に投射映像の歪みを感じさせないようにする、画像変形機能を搭載した映像投射装置が商品化されている。この画像変形機能を備えた映像投射装置は、元画像を投射面に合わせるように変形し、その変形後の画像を投射する。これにより、視聴者は歪みを感じない映像を視聴できることになる。また、画像変形機能については、平面の投射面にだけ対応するのであれば原理的な変形演算機能のみ搭載すればよいが、円柱やドームなど全ての投写面に対応可能な変形演算機能を搭載する場合には回路規模が増大化するという問題が生ずる。
【０００３】
このような回路規模の増大を抑制しつつ変形演算を可能にする手法として、画像内の代表点の座標値のみをメモリに記憶しておき、そのメモリに記憶された座標値を用いて変形演算を行う手法（特許文献１）がある。特許文献１の場合、画像の座標系を均等分割した各ブロックの各頂点の座標値が、代表点の座標値としてメモリに記憶される。そして、メモリ内の代表点の座標値を用いた補間により着目画素の座標が算出され、その算出された座標値周辺の画素値から、当該着目画素の画素値が算出される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００８／１３９５７７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、投射面は、平面や曲面の他に、四角柱などのような変曲点を持つ面の場合もある。このような変曲点を持つ投射面についても、前述同様に、画像内の代表点の座標値をメモリに記憶しておき、その座標値を投射面の形状に応じて変えるような画像変形を行うことができる。しかしながら、メモリに記憶されている代表点の位置と、実際の投射面における変曲点の位置とを合わせることができない場合、その変曲点周辺の画像変形の際に算出される座標値の精度が著しく低下してしまうことになる。これにより、視聴者の感じる歪みを軽減することが難しくなる。
【０００６】
そこで、本発明は、変曲点を有する投射面への投射が行われる場合でも、精度良く歪みを補正でき、視聴者の感じる歪みを良好に軽減可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の映像処理装置は、入力映像を含む領域について設定された代表点の位置を、映像が投射される投射面の形状における変曲点の位置に合わせるように調整する調整手段と、前記代表点の位置を基に、前記代表点の変形座標を算出する算出手段と、前記代表点の変形座標に基づいて前記入力映像を変形して、前記投射面に投射する映像を生成する変形手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、変曲点を有する投射面への投射が行われる場合でも、精度良く歪みを補正でき、視聴者の感じる歪みを良好に軽減可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態の映像投射システムの概略構成を示す図である。
【図２】画像変形と代表点の説明に用いる図である。
【図３】映像投射装置の主要部の概略構成を示すブロック図である。
【図４】代表点の変形前座標の計算方法の説明に用いる図である。
【図５】代表点の始点位置調整の動作説明に用いる図である。
【図６】画素値の算出方法の説明に用いる図である。
【図７】着目画素の変形前座標の算出方法の説明に用いる図である。
【図８】代表点の変形前座標を計算する処理のフローチャートである。
【図９】入力映像を変形する処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の好ましい実施の形態を添付の図面を参照して詳細に説明する。なお、以下に説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、本発明は以下の実施形態に限定されるものではない。
図１は、本発明に係る映像処理装置の一例である映像投射装置１０１が適用される映像投射システムの概略構成例を示す図である。
映像投射装置１０１は、例えばパーソナルコンピュータのような情報処理装置１００から、投影用の原画像のデータが供給され、その原画像に基づく映像を投射用表示パネル上に形成する。そして、映像投射装置１０１は、投射用表示パネル上に形成した映像を、光源および投射光学系を有する投影機構によりスクリーン１０２上に投射する。なお、本実施形態の映像投射装置１０１は、例えば反射型液晶プロジェクタでもよいし、透過型液晶プロジェクタでもよい。
【００１１】
スクリーン１０２は、投射面が例えば平面、円柱やドームなどの曲面の他、四角柱や部屋の角などのように変曲点を持つ面の場合もあり、本実施形態では、一例として図１に示すような折れ曲り箇所１０３が存在するスクリーンであるとする。本実施形態において、図１のようなスクリーン１０２上の折れ曲り箇所１０３は、投射面上で変曲点が集合した変曲線として扱われる。
【００１２】
本実施形態の映像投射装置１０１は、投射面が、投射光学系の光軸に対して傾斜した平面、円柱などの曲面、変曲点を有する面であるような場合に、それらの投射面に合わせるように原画像を変形する画像変形機能部を備えている。すなわち画像変形機能部によれば、投射面上で生ずる映像歪みとは逆方向に原画像を変形させるような映像処理が行われる。そして、その変形後の映像を投射用表示パネル上に形成して投射面上に投影することにより、投射面上に投影された映像は、視聴者から見て歪みが軽減された映像となる。
【００１３】
ここで、本実施形態の映像投射装置１０１は、実際に映像投射を行う前に、画像変形機能部に対する初期設定処理が行われる。初期設定処理では、投射面の形状を想定して予め用意された数種類のモデルパターンの中で、実際の投射面形状に合ったモデルパターンが選択されて照射され、投射面上でモデルパターン映像の歪みが少なくなるような調整が行われる。このような初期設定処理時のモデルパターンの選択や調整は、例えばユーザにより行われるが、その他にも、例えば撮像装置によりスクリーンを撮影した画像を基に自動的に行われる場合もある。そして、映像投射装置１０１は、このような初期設定処理で得られた情報を基に、画像変形機能部において原画像を変形させる際に用いる座標値等が算出される。また本実施形態の映像投射装置１０１では、原画像を含む領域について複数の代表点が設定され、それら各代表点の座標を基に原画像の変形処理が行われる。ただし、例えば投射面が変曲点を持つ面であり、後述するように代表点と投影面上の変曲点とが合っていない場合、その変曲点周辺の画像変形の際に算出される座標値の精度は著しく低下してしまうことになる。
【００１４】
そこで、本実施形態の映像投射装置１０１では、原画像を含む領域に設定された代表点の位置を、後述するように投射面の変曲点の位置に合わせるような代表点座標調整処理を実行して、画像変形処理に用いる代表点の座標を算出する。そして、映像投射装置１０１は、代表点座標調整処理後の代表点の座標を基に、原画像に対する画像変形処理を実行する。
【００１５】
以下、図２を参照して、本実施形態の映像投射装置１０１が備えている画像変形機能部について説明する。
図２の例の場合、映像投射装置１０１では、図１のスクリーン１０２のような折れ曲がり箇所１０３（つまり変曲点が集合した変曲線）を有する投射面上で、モデルパターン映像の歪みを少なくするような事前の初期設定処理が既に行われているとする。
【００１６】
図２において、映像２０１は、映像投射装置１０１への入力映像２０１を表しており、画像変形前の映像であるとする。そして、入力映像２０１を含んだ変形前映像領域２００を変形した場合、入力映像２０１は変形後映像２０５のような形状になるとする。一方、変形後映像領域２０４は、変形後映像２０５を含んだ矩形の映像領域となる。また、図中の各白丸は、画像変形後の各代表点を表しているとする。なお、図中の一点鎖線は、変曲点の集合である変曲線２１１を表しており、図１のスクリーン１０２の折れ曲り箇所１０３に対応しているとする。
【００１７】
ここで、画像変形機能部は、変形後映像領域２０４内の着目画素の画素値を求める際には、まず、変形後映像領域２０４内の着目画素の座標（ｘo，ｙo）に対応した、変形前映像領域２００内の画素の座標（ｘi，ｙi）を、代表点の座標値を用いて算出する。例えば水平方向の代表点のインデックスをｈ、垂直方向の代表点のインデックスをｖとすると、画像変形機能部は、まず変形後映像領域２０４内の代表点座標（ｘoh，ｙov）に対応した、変形前映像領域２００内の代表点座標（ｘih，ｙiv）を決定する。図２の例の場合、画像変形機能部は、まず、変形後映像領域２０４内の代表点２０８の座標（ｘo0，ｙo0）に対応した、変形前映像領域２００内の代表点２０９の座標（ｘi00，ｙi00）を決定する。同様にして、画像変形機能部は、変形前映像領域２００内の他の各代表点についてもそれぞれ座標を決定する。なお、以下の説明では、変形後映像領域２０４内の代表点の座標（ｘoh，ｙov）を簡略的に変形後座標ｐｖｈと呼び、変形前映像領域２００内の代表点の座標（ｘih，ｙiv）を簡略的に変形前座標ｑｖｈと呼ぶことにする。図２中の各黒丸は、変形前映像領域２００内の各代表点を表しているとする。そして、画像変形機能部は、このようにして求めた各代表点の座標値を用いて、変形後映像領域内の着目画素に対応した、変形前映像領域内の画素の座標値を算出する。
【００１８】
より具体的な例として、変形後映像領域２０４内の着目画素２０７の画素値を求める場合、画像変形機能部は、まず、変形後映像領域２０４内の着目画素２０７の座標２０６に対応した、変形前映像領域２００内の画素の座標２０２を算出する。ここで変形前映像領域２００内の座標２０２の値は小数を含む座標値であるため、画像変形機能部は、変形前映像領域２００内の座標２０２の周囲の画素群の画素値を基に、変形後映像領域２０４の着目画素２０７の画素値を算出する。図２の場合、変形前映像領域２００内の座標２０２の周囲の画素群として、２×２画素の４個の画素群２０３を例に挙げている。画像変形機能部は、それら周囲の画素群２０３の各画素の値と座標２０２とを基に、補間演算などにより、変形後映像領域２０４の着目画素２０７の画素値を算出する。
【００１９】
図３は、本実施形態に係る映像投射装置１０１における画像変形機能部に関する構成例を示したブロック図である。
映像投射装置１０１は、画像変形機能部に関する構成として、入力部３００、映像変形部３０１、代表点算出部３０５、記憶部３０６、出力部３０２を有する。
入力部３００は、図１の情報処理装置１００から原画像（入力映像）を取得して、映像変形部３０１に送る。
【００２０】
代表点算出部３０５は、前述した初期設定処理後の代表点に対し、投射面の変曲点の位置に合わせるような後述する代表点座標調整処理を実行し、実際に画像変形処理を行う際に用いる代表点の変形前座標を算出する。すなわち代表点算出部３０５は、前述した図２の各代表点の変形後座標ｐｖｈから、各代表点の変形前座標ｑｖｈを算出するモジュールであり、調整部３０８と変形座標計算部３０９とを有する。詳細は後述するが、調整部３０８は、初期設定処理による代表点の位置を、投射面の変曲点の位置に合わせるような代表点座標調整処理を実行する。同じく詳細は後述するが、変形座標計算部３０９は、代表点座標調整処理後の各代表点の座標から、画像変形処理を行う際に用いる代表点の変形前座標を算出する。
記憶部３０６は、代表点算出部３０５により算出された各代表点の変形前座標を記憶する。この記憶部３０６に記憶された各代表点の変形前座標の情報は、映像変形部３０１により読み出される。
【００２１】
映像変形部３０１は、記憶部３０６から読み出した各代表点の変形前座標を基に、原画像（入力映像）に対する画像変形処理を実行する。すなわち映像変形部３０１は、映像変形部３０１は、実際に画像変形処理を行うモジュールであり、着目座標算出部３０３と画素算出部３０４とを有する。詳細は後述するが、着目座標算出部３０３は、記憶部３０６に記憶されている各代表点の変形前座標を基に、着目画素の変形前座標を補間により算出する。同じく詳細は後述するが、画素算出部３０４は、着目座標算出部３０３により算出された着目画素の変形前座標と、その周囲の画素群の画素値とから、着目画素の画素値を算出する。
出力部３０２は、映像変形部３０１による画像変形処理後の映像を、投射用表示パネルに出力する。
【００２２】
以下、図３に示した各構成についてさらに詳細に説明する。
代表点算出部３０５は、前述した初期設定処理による入力映像の変形量を計算する。より詳細には、代表点算出部３０５は、以下の式（１）により、変形後映像領域の各代表点の変形後座標ｐｖｈ（ｘovh，ｙovh）に対応した、変形前映像領域の各代表点の変形前座標ｑｖｈ（ｘivh，ｙivh）を算出する。
【００２３】
ｑｖｈ（ｘivh，ｙivh）＝ｆ（ｐｖｈ（ｘovh，ｙｏｖｈ））      式（１）
【００２４】
ここで、式（１）のｆ（）は変形後映像領域の代表点の変形後座標を、変形前映像領域の代表点の変形前座標へ対応付ける作用素である。すなわち代表点算出部３０５が決定する座標は、各代表点における該作用素を使った、変形前座標である。なお、作用素は、映像投影がなされるスクリーンの形状に基づいたものである。
以下、作用素について、図１のスクリーン１０２を例に挙げて詳しく説明する。
【００２５】
図１に示したスクリーン１０２は、前述したように折れ曲り箇所１０３で二つの平面が組み合わされたような投射面を有するものとなされている。図４は、スクリーン１０２に映像を投影する場合の各作用素算出の説明に用いる図である。作用素ｆ（）としては、図４に示すように、水平方向座標ｘwを境に、それぞれの平面に対応した台形補正を行う作用素を二つ組み合わせるのが適当である。これを式（２）で表すと、スクリーン１０２における作用素ｆ（）は以下の通りである。
【００２６】
ｘovh＜ｘwでは、
ｆ（ｐｖｈ（ｘovh，ｙovh））＝Ｇ１（ｐｖｈ（ｘovh，ｙovh））
ｘovh＞＝ｘwでは、
ｆ（ｐｖｈ（ｘovh，ｙovh））＝Ｇ２（ｐｖｈ（ｘovh，ｙovh））
式（２）
【００２７】
なお、式（２）の作用素Ｇ１（）は、図４の４点ｍ1，ｍ2，ｍ5，ｍ4で示す四角形を、４点ｎ1，ｎ2，ｎ5，ｎ4で示す歪みのない基準四角形へ変形する台形補正の式である。また、作用素Ｇ２（）は、図４の４点ｍ2，ｍ3，ｍ6，ｍ5で示す四角形を、４点ｎ2，ｎ3，ｎ6，ｎ5で示す基準四角形へ変形する台形補正の式である。台形補正の演算は既存の演算式を用いることができその説明は省略する。なお、スクリーンの形状モデルは、スクリーン１０２のような平面を二つ組み合わせたものだけでなく、平面を三つ組み合わせたもの、円柱、円柱と平面を組み合わせたものなどいずれであってもよい。
【００２８】
調整部３０８は、代表点の始点座標を調整する。
図５は、代表点の始点座標の調整例の説明に用いる図である。
図５（ａ）および図５（ｂ）において、図中の白丸により表される各点がそれぞれ代表点である。
図５（ａ）中の太枠線で表される矩形は入力映像５２０を表しているとする。代表点は、水平方向にＷ画素間隔ごと、垂直方向にＨ画素間隔ごとに設定され、入力映像よりも広い領域に設定される。例えば、入力映像５２０が水平方向に６×Ｗ画素で垂直方向に４×Ｈ画素の大きさである場合、代表点が設定される領域の大きさは、例えば水平方向が９×Ｗ画素で垂直方向が７×Ｈ画素の大きさとする。すなわちこの例の場合、代表点は、水平方向が９個で、垂直方向が７個の、合計６３個が設定される。また、代表点の始点座標は左上端の代表点５０９の座標となされる。例えば入力映像５２０の左上端部の座標を（０，０）とし、当該入力映像５２０の左上端部が例えば代表点５００と一致しているとすると、代表点５０９の始点座標は（−Ｗ，−Ｈ）となる。また、図５（ｂ）は図５（ａ）とは別の例を示した図である。図５（ｂ）の例でも入力映像５２０の左上端部の座標を（０，０）とするが、当該入力映像５２０の左上端部は水平方向の代表点間隔（Ｗ画素）の１／２の位置である場合を示している。この図５（ｂ）の例の場合、代表点５０７の始点座標は（−Ｗ／２，−Ｈ）となる。
【００２９】
ここで、前述の図２に示したように、変曲点の集合である変曲線２１１が代表点の位置と合っていない場合、着目座標算出部３０３で算出される着目画素座標の算出精度は低下してしまうことになる。例えば図２の四つの代表点ｐ14，ｐ15，ｐ25，ｐ24からなる四角形内の着目画素を例にすると、その着目画素の座標は、それら四つの代表点の座標を用いた補間により算出されることになる。しかしながら、それら四つの代表点ｐ14，ｐ15，ｐ25，ｐ24の四角形内には変曲線２１１が存在しているため、補間により算出される着目画素の座標の精度が低くなってしまうことになる。例えば図５（ａ）で変曲点が代表点の位置に合っておらず、一方図５（ｂ）で変曲点が代表点の位置に合っていたとすると、図５（ａ）の例では着目座標の算出精度が低くなり、一方図５（ｂ）の例では着目画素の座標の算出精度は低下しないことになる。
【００３０】
前述した図２の例のように、変曲点が代表点の位置と合っていない場合、調整部３０８は、前述した式（２）の作用素ｆ（）に含まれる変曲点が代表点の位置と合うように、代表点の座標をオフセット調整させるような代表点座標調整処理を行う。代表点座標のオフセット調整の例として、調整部３０８は、代表点の始点座標を調整し、その始点座標の調整に合わせて他の全ての代表点の座標も調整する。前述の式（２）を例にすると、変曲点近傍の代表点の座標が、当該変曲点の水平方向座標ｘwに合うように、代表点の始点座標を調整する。より具体的に説明すると、調整部３０８は、水平方向座標ｘwが水平方向の代表点間隔Ｗで割り切れない場合、代表点の始点座標（Ｓｘ，Ｓｙ）を、式（３）を用いて調整する。
【００３１】
（Ｓｘ，Ｓｙ）＝（−Ｗ＋ｍｏｄ（ｘw，Ｗ），−Ｈ）        式（３）
ｍｏｄ（ｘ，ａ）は剰余、すなわちｘをａで割った余りである。このｍｏｄ（ｘ，ａ）により、代表点の始点座標を決めること、つまりオフセット調整における調整量が決められる。
【００３２】
なお本実施形態では、調整部３０８において、代表点の始点座標である左上端の代表点座標をオフセット調整する例を挙げたが、これ以外にも、以下のように調整してもよい。
例えば、それぞれ四つの代表点により構成される全ての四角形のうち、変曲点を含む四角形のみについて、代表点が変曲点と合うように調整してもよい。この場合、後段の着目座標算出部３０３における着目座標算出の際に、当該調整後の代表点により構成される四角形のみ、調整量に応じた代表点間隔として計算する。
また本実施形態では、調整部３０８が代表点の左上端の始点位置を調整したが、例えばユーザが指定する形をとってもよい。すなわち例えば、情報処理装置１００を介して、左上端の代表点の始点位置をユーザが指定する。この始点位置を使って後段の変形座標計算部３０９が代表点の変形座標を計算してもよい。
また例えば、外部の撮像装置と連携し、撮像装置によってスクリーンおよび投影された映像を撮像し、該撮像画像を解析して、代表点の左上端の始点位置を補正するようにしてもよい。例えば、映像投射装置１０１が格子等のテストパターンをスクリーン１０２に投影した場合において、変曲線２１１が代表点に合っていない場合、撮像装置が撮像した画像には歪みが生じていることになる。このため、投影したテストパターンと撮像画像から解析される歪み量とを基に、代表点の左上端の始点位置の調整量を算出することができる。
【００３３】
次に、変形座標計算部３０９は、作用素ｆ（）を用い、調整部３０８で調整された全ての代表点に対応する変形前座標を算出し、それら代表点の変形前座標を記憶部３０６に記憶させる。
【００３４】
記憶部３０６に記憶される変形前座標の個数は、例えば、代表点が水平垂直それぞれＮ画素間隔であった場合、変形後映像の水平方向の画素数がＡで、垂直方向の画素数がＢとすれば、（Ａ／Ｎ）×（Ｂ／Ｎ）個となる。また本実施形態において、前述した作用素ｆ（）は、ＬｏｏｋＵｐＴａｂｌｅ（ルックアップテーブル）に置き換えることができ、この場合、代表点の変形前座標ｑｖｈ（ｘih，ｙiv）は下記の式（４）のように表される。
【００３５】
ｑｖｈ（ｘih，ｙiv）＝ｆ（ｐｖｈ（ｘoh，ｙov））＝ＧＤ［ｖ］［ｈ］
式（４）
【００３６】
ここで、式（４）は、代表点の変形後座標ｐｖｈに対応した変形前座標は、座標ｑｖｈである、ことを表している。また、ＧＤ［］［］は作用素ｆ（）を表すＬｏｏｋＵｐＴａｂｌｅである。ＬｏｏｋＵｐＴａｂｌｅは、図２の例でいえば、代表点の変形後座標（ｘo0，ｙo0）に対応した変形前座標（ｘi00，ｙi00）が、ＧＤ［０］［０］に格納されているものとなる。
【００３７】
次に、映像変形部３０１は、代表点算出部３０５が算出して記憶部３０６に格納した、代表点の座標を基に、入力映像に対する画像変形処理を行う。本実施形態では、画像変形処理として、台形補正などで用いられる逆変換型の再配列による画像変形を用いる。これは、逆変換型の再配列、すなわち変形後映像の各画素を着目画素とし、その着目画素の座標の変形前座標を座標変換によって求め、その変形前座標と、画像変形前の座標の周囲の画素値とを用いて、変形後映像の着目画素の画素値を算出する方式である。
【００３８】
図６は、映像変形部３０１において、変形前映像６０１を変形後映像６０４に変形する画像変形処理を表した図である。
ここでは、変形前映像６０１を変形すると、台形６０５のような形状になるとする。一方、変形後映像６０４は、台形６０５を含んだ矩形である。この変形後映像６０４の各画素の画素値を求める際、変形後映像６０４内の着目画素６０７の座標６０６（ｘo，ｙo）に対応する変形前座標６０２（ｘi，ｙi）を算出する。この算出方法は、図６の例で言えば、台形に変換する作用素の逆変換になるのだが、ここでは説明を省略する。変形前座標６０２（ｘi，ｙi）は小数を含む座標であるため、その変形前座標６０２（ｘi，ｙi）の周囲画素群の画素値から、変形後映像６０４の着目画素６０７の画素値を算出する。図６の例では、周囲画素群として２×２画素の４個の画素群６０３を例に挙げている。この画素群６０３と、変形前座標６０２（ｘi，ｙi）を用いて、補間演算などにより、着目画素６０７の画素値を算出する。
【００３９】
以上説明した映像変形部３０１についての詳細説明を、さらに着目座標算出部３０３、画素算出部３０４についての説明に置き換える。
着目座標算出部３０３は、記憶部３０６に記憶されている代表点の変形前座標を基に、変形後映像領域の着目画素に対応した変形前映像領域の画素の変形前座標を求める。この算出方法について図７を参照しながら説明する。
【００４０】
図７（ａ）は、図２の変形前映像領域２００の一部を拡大した図であり、図７（ｂ）は変形後映像領域２０４の一部を拡大した図である。
この例では、変形後映像領域内の着目画素２０７の変形後座標２０６をｐd（ｘod，ｙod）とする。また、変形後映像領域内の着目画素２０７に対応した変形前映像領域内の着目画素の変形前座標２０２をｑd（ｘid，ｙid）としている。着目座標算出部３０３は、当該着目画素の変形前座標２０２を、着目画素２０７の変形後座標２０６の周囲の代表点の補正量から算出する。より具体的にいえば、着目座標算出部３０３は、周囲４点の代表点の中の着目画素の相対位置を、変形前座標２０２とその周囲の代表点の変形前座標との相対位置に適用することで、着目画素の変形前座標２０２を算出する。
【００４１】
ここで、１画素ずつ走査して着目画素の変形前座標２０２を求めるため、着目画素の変形後座標２０６（ｘod，ｙod）は既知である。また、何画素間隔で代表点を用意しているかについても既知のため、代表点ｐ11，ｐ12，ｐ21，ｐ22とそれらの座標（ｘo1，ｙo1），（ｘo2，ｙo1），（ｘo2，ｙo2），（ｘo1，ｙo2）も既知である。よって、それら四つの代表点ｐ11，ｐ12，ｐ21，ｐ22よりなる四角形を単位四角形とした場合の、着目画素２０７の変形後座標２０６（ｘo1，ｙo1）からの水平方向相対位置α、垂直方向相対位置βはそれぞれ以下の式（５）で算出できる。
【００４２】
α＝（ｘod−ｘo1）／（ｘo2−ｘo1）
β＝（ｙod−ｙo1）／（ｙo2−ｙo1）        式（５）
【００４３】
さらに、着目座標算出部３０３は、この相対位置を用いて、着目画素の変形前座標２０２（ｘid，ｙid）を以下の式（６）により算出する。なお、式中のＳｘ，Ｓｙは調整部３０８で決定した代表点の始点座標（Ｓｘ，Ｓｙ）である。
【００４４】
ｘid＝ｘi11＋｛α／（ｘi12−ｘi11）｝−Ｓｘ
ｙid＝ｙi11＋｛β／（ｙi21−ｙi11）｝−Ｓｙ      式（６）
【００４５】
そして、画素算出部３０４は、着目座標算出部３０３で算出された変形前座標とその周囲画素の画素値とから、変形後画素である着目画素の画素値を求める。図７の例でいえば、画素算出部３０４は、画素群７０３と変形前座標２０２（ｘi，ｙi）とから着目画素２０７の画素値を算出する。この算出方法は、一般的なバイリニア方式やバイキュービック方式など、いずれの方法を用いてもよい。
【００４６】
図８と図９には本実施形態における画像変形処理のフローチャートを示す。
図８は、代表点の変形前座標を算出する処理フローチャートである。図８の処理は、映像が投射されるスクリーンの変更や、映像投射装置１０１（プロジェクタ）の位置の変更がなされた場合など、変形形状を変える必要が生じたときに実施されればよく、全ての画素に対して実施する必要はない。一方、図９は、映像変形部３０１が入力画像を変形した映像を生成する処理のフローチャートであり、全ての画素に対して実施する。なお、以下の説明では、処理ステップＳ８０１〜Ｓ８０３、処理ステップＳ９０１、処理ステップＳ９０３をそれぞれＳ８０１〜Ｓ８０３、Ｓ９０１、Ｓ９０３のように略記する。図８、図９のフローチャートの処理は、ハードウエア構成により行われてもよいし、本実施形態に係る画像変形処理のプログラムを例えばコンピュータやＣＰＵが実行することにより実現されてもよい。また、図８、図９のフローチャートの処理は、一部がソフトウェア構成で残りがハードウエア構成により実現されてもよい。なお、本実施形態に係る画像変形処理のプログラムは各種記録メディアやネットワークを介して供給され、ＲＡＭ等に展開されることによりＣＰＵにより実行可能となされる。
【００４７】
まず、図８のフローチャートのＳ８０１において、調整部３０８は、代表点の左上端の始点座標を決定する。
次にＳ８０２において、変形座標計算部３０９は、代表点の変形前座標を決定する。
そしてＳ８０３において、変形座標計算部３０９は、Ｓ８０２で決定した代表点の変形前座標を記憶部３０６に格納する。
【００４８】
次に図９のフローチャートのＳ９０１において、着目座標算出部３０３は、記憶部３０６に格納されている代表点の変形前座標を用い、着目画素の変形前座標を算出する。
そしてＳ９０２において、画素算出部３０４は、着目画素の画素値を算出する。
【００４９】
以上説明したように本実施形態の映像投射装置１０１によれば、変曲点を有する投射面に対する投射を行う場合でも、精度よく歪みを補正することが可能となる。
【００５０】
前述した例では、一台の映像投射装置を例に挙げたが、複数台の映像投射装置による合成投射が行われる場合も、それぞれの映像投射装置において本実施形態を適用可能である。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５１】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５２】
１０１：映像投射装置、３００：入力部、３０１：変形部、３０２：出力部、３０３：着目座標算出部、３０４：画素算出部、３０５：代表点算出部、３０６：記憶部、３０８：調整部、３０９：変形座標計算部
【図１】
2020061662.tif 000003
【図２】
2020061662.tif 000004
【図３】
2020061662.tif 000005
【図４】
2020061662.tif 000006
【図５】
2020061662.tif 000007
【図６】
2020061662.tif 000008
【図７】
2020061662.tif 000009
【図８】
2020061662.tif 000010
【図９】
2020061662.tif 000011