(57)【要約】【課題】  映像の任意の変形に対応する高精度な画像変形処理を提供する。【解決手段】  映像変形部103は、第一の画像を変形した第二の画像を含む第三の画像を生成する。記憶部106は、第二の画像の上に配置された変形格子点の第二の画像における位置を示す座標値を記憶する。格子点判定部107は、記憶部106に記憶された座標値に基づいて、第三の画像における着目画素が第二の画像内に位置するか否かを判定し、着目画素が第二の画像内に位置する場合、第三の画像の上に配置された複数の変形後格子点のうち着目画素に対応する変形後格子点の組を判定する。算出方法決定部108は、変形後格子点の組に基づき、着目画素に対応する画素の第一の画像における位置を示す座標値の算出方法を決定する。【選択図】  図1
2016133835.tif 000002
【特許請求の範囲】
【請求項１】
第一の画像を変形した第二の画像を含む第三の画像を生成する画像処理装置であって、
前記第二の画像の上に配置された変形後格子点の前記第二の画像における位置を示す座標値を記憶する記憶手段と、
前記記憶手段に記憶された前記座標値に基づいて、前記第三の画像における着目画素が前記第二の画像内に位置するか否かを判定し、前記着目画素が前記第二の画像内に位置する場合、前記第三の画像の上に配置された複数の前記変形後格子点のうち前記着目画素に対応する変形後格子点の組を判定する判定手段と、
前記変形後格子点の組に基づき、前記着目画素に対応する画素の前記第一の画像における位置を示す座標値の算出方法を決定する決定手段とを有する画像処理装置。
【請求項２】
前記決定手段は、前記着目画素に対応する変形後格子点の組が形成する多角形を三角形に分割する前記多角形の対角線に基づき前記算出方法を決定する請求項1に記載された画像処理装置。
【請求項３】
前記多角形が四辺形の場合、前記決定手段は、前記四辺形の短い対角線によって前記四辺形を分割した三角形を用いる座標値の算出方法を前記算出方法に決定する請求項2に記載された画像処理装置。
【請求項４】
前記算出方法を用いて、前記着目画素に対応する変形後格子点の組に基づき、前記着目画素に対応する画素の前記第一の画像における位置を示す座標値を算出する座標処理手段を有する請求項1から請求項3の何れか一項に記載された画像処理装置。
【請求項５】
前記第一の画像における位置を示す座標値に基づき、前記第一の画像から前記着目画素の画素値を算出する画素処理手段を有する請求項1から請求項4の何れか一項に記載された画像処理装置。
【請求項６】
前記判定手段は、前記変形後格子点のうち少なくとも四つを頂点とし、その内部に他の変形後格子点を含まない多角形が前記着目画素を包含するか否かの包含判定を行い、前記着目画素を包含する多角形の頂点である変形後格子点を前記着目画素に対応する変形後格子点の組に決定する請求項5に記載された画像処理装置。
【請求項７】
前記多角形のすべてが前記着目画素を包含しない場合、前記判定手段は、当該着目画素が前記第二の画像外に位置すると判定し、画像外を示す情報を出力する請求項6に記載された画像処理装置。
【請求項８】
前記画素処理手段は、前記画像外が示された着目画素の画素値として、前記第二の画像の外側を表す値を割り当てる請求項7に記載された画像処理装置。
【請求項９】
請求項1から請求項8の何れか一項に記載された画像処理装置を有する映像投射装置。
【請求項１０】
第一の画像を変形した第二の画像を含む第三の画像を生成する画像処理方法であって、
前記第二の画像の上に配置された変形後格子点の前記第二の画像における位置を示す座標値を記憶し、
前記記憶された前記座標値に基づいて、前記第三の画像における着目画素が前記第二の画像内に位置するか否かを判定し、
前記着目画素が前記第二の画像内に位置する場合、前記第三の画像の上に配置された複数の前記変形後格子点のうち前記着目画素に対応する変形後格子点の組を判定し、
前記変形後格子点の組に基づき、前記着目画素に対応する画素の前記第一の画像における位置を示す座標値の算出方法を決定する画像処理方法。
【請求項１１】
コンピュータを請求項1から請求項8の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像投射装置における画像処理に関する。
【背景技術】
【０００２】
近年、映像の投射は平面にとどまらず、円柱やドームなどの曲面に対して投射を行うケースが増えている。このような多様な投射面へ映像を投射する際、観察者に映像の歪みを感じさせないように、画像変形機能を搭載した映像投射装置が提案されている。映像投射装置が投射面に合わせて変形した画像を投射することにより、観察者は歪みを感じない映像を観察することができる。また、複数台の映像投射装置による合成投射も行われている。
【０００３】
しかし、円柱形状やドーム形状など様々な投射面の形状ごとに、観察者に歪みを感じさせない画像を投影するための画像変形用の演算回路を映像投射装置に搭載すると、映像投射装置の回路規模が増大するという課題がある。
【０００４】
このような課題を解決する方法として、変形前の画像に対して配置した格子点の座標値をメモリに記憶しておき、メモリに記憶された座標値に基づき変形後の画像の画素値を算出する手法がある。この手法によれば、メモリに記憶する座標値を投射面の形状に応じて変更するだけで、所望の投射面において、歪みを感じさせない映像の投射が可能になる。さらに、画像変形機能は、投射面の形状に依存せず、共通化が可能になる。
【０００５】
ところで、映像投射装置向けの画像変形機能における画素値の算出は、画素抜けを防ぐために、一般に、逆変換型の再配列によって行われる。つまり、変形後画像の各画素を着目画素とし、着目画素の座標値に対応する変形前の座標値（以下、変形前座標値）を座標変換によって求める。そして、変形前座標値に対応する画素（以下、変形前着目画素）の値と、変形前着目画素の周囲画素の値を用いて着目画素の値を算出する。
【０００６】
変形前座標値を求める手法として、変形前の格子点の座標値と、当該格子点の変形後の座標値を用いる方法（以降、変形後格子点法）がある。また、変形後の格子点の座標値と、当該格子点の変形前の逆変形座標値を用いる方法（以後、変形前格子点法）の二通りが知られている（特許文献1、2参照）。
【０００７】
特許文献1は、変形前格子点法を開示し、格子点の座標値として、変形後から変形前への変換座標値（変形前座標値）をメモリに記憶する。ただし、変形前格子点法では、内側に縮小するような変形の場合、変形後画像の外側に位置する格子点は、変形形状の外側に位置するため不要になる。その結果、すべての格子点が座標変換に用いられず、座標変換の精度が低下する。座標変換の精度が低下すれば、例えば、複数台の映像投射装置による合成投射時など、各変形画像の一部を重畳して全体画像を投射する際に変形画像の間にずれが生じて鮮鋭感が低下するなど、画質劣化の要因となる。
【０００８】
特許文献2は、変形後格子点法を開示する。変形後格子点法には、着目画素の変形前座標値の算出に用いる格子点を決定する機能が必要である。特許文献2は、格子点の座標値として変形後座標値を用いるが、当該格子点の決定方法について何ら言及しない。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際公開第08/139577号
【特許文献２】特開2001-069434号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、映像の任意の変形に対応する高精度な画像変形処理を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１２】
本発明にかかる画像処理は、第一の画像を変形した第二の画像を含む第三の画像を生成する際に、前記第二の画像の上に配置された変形後格子点の前記第二の画像における位置を示す座標値を記憶し、前記記憶された前記座標値に基づいて、前記第三の画像における着目画素が前記第二の画像内に位置するか否かを判定し、前記着目画素が前記第二の画像内に位置する場合、前記第三の画像の上に配置された複数の前記変形後格子点のうち前記着目画素に対応する変形後格子点の組を判定し、前記変形後格子点の組に基づき、前記着目画素に対応する画素の前記第一の画像における位置を示す座標値の算出方法を決定する。
【発明の効果】
【００１３】
本発明によれば、映像の任意の変形に対応する高精度な画像変形処理が可能になる。
【図面の簡単な説明】
【００１４】
【図１】実施例の映像投射装置の構成例を示すブロック図。
【図２】映像変形部の画像変形処理を説明する図。
【図３】映像変形部が実行する画像変形処理を説明するフローチャート。
【図４】座標処理部による変形前座標値の算出方法の一例を説明する図。
【図５】変形前座標値の別の算出方法を説明する図。
【発明を実施するための形態】
【００１５】
以下、本発明にかかる実施例の映像投射装置および画像処理方法を図面を参照して詳細に説明する。なお、実施例は特許請求の範囲にかかる本発明を限定するものではなく、また、実施例において説明する構成の組み合わせのすべてが本発明の解決手段に必須とは限らない。
【００１６】
［装置の構成］
図1のブロック図により実施例の映像投射装置100の構成例を示す。映像投射装置100は、映像を入力する入力部101、入力映像に画像処理を施して映像を変形する映像変形部103、変形された映像を投射する出力部102を有する。
【００１７】
映像変形部103は、着目画素の変形前座標値を算出する座標変換部104と、着目画素の変形前座標値と、変形前画像から着目画素の画素値を算出する画素処理部105を有し、映像投射装置100における画像処理である画像変形処理を実行する。
【００１８】
座標変換部104は、変形後格子点を記憶する記憶部106、着目画素の座標変換に用いる格子点の組を判定する格子点判定部107を有する。座標変換部104は、さらに、変形前座標の算出方法を決定する算出方法決定部108、決定された算出方法を用いて、着目画素の変形前座標値を求める座標処理部109を有する。
【００１９】
［画像変形処理］
図2により映像変形部103の画像変形処理を説明する。入力部101は、第一の画像である図2(a)に示す変形前画像201を入力する。変形前画像201を変形した第二の画像が変形後画像202である。つまり、映像変形部103は、変形前画像201から変形後画像202を含む、第三の画像である図2(b)に示す出力画像203を生成し、出力画像203を出力部102に出力する。出力画像203を生成するために、映像変形部103は、出力画像203の各画素の画素値を算出する。
【００２０】
次に、格子点の定義を説明する。格子点は、変形前画像201と変形後画像202に配置した代表点に対応し、座標値(x, y)によって表される。変形前画像201の代表点に対応する格子点を「変形前格子点q」、変形後画像202の代表点に対応する格子点を「変形後格子点p」と呼ぶことにする。図2において、変形前格子点qと変形後格子点pの関係は次のようになる。
p0=f(q0)、p1=f(q1)、p2=f(q2)、p3=f(q3)、p4=f(q4)、p5=f(q5)
ここで、f()は変形における座標変換作用素。
【００２１】
つまり、変形前画像201に配置した変形前格子点qの座標値に、投射面の形状に対応させるための画像変形に基づく座標変換f()を施すと、変形後格子点pの座標値が得られる。記憶部106が記憶する変形後格子点pの座標値は、映像投射装置100内で演算して記憶部106に格納してもよいし、映像投射装置100外で演算して記憶部106に格納しても構わない。
【００２２】
格子点判定部107は、記憶部106が記憶する複数の変形後格子点pから、変形前座標値の算出に使う変形後格子点pの組を選択する。以下では、その内部に変形後格子点を包含しない最小の四辺形を構成する四つの格子点の組を「ブロック」と呼ぶ。図2(b)において、ブロックB0は変形後格子点p0、p1、p2、p3の組であり、ブロックB1は変形後格子点p2、p3、p4、p5の組である。なお、ブロックの形状は四辺形に限らず、頂点が五つ以上の多角形でも構わない。
【００２３】
変形後格子点pの組の選択は、ブロックを構成する四つの変形後格子点pによって形成される四辺形（以降、ブロック四辺形）が着目画素を包含するか否かの包含判定によって行う。なお、四辺形をもう一段細分化した二つの三角形、例えばp0p1p2やp1p2p3を包含判定の対象にしてもよい。
【００２４】
包含判定には、例えば交差数判定(crossing number algorithm)を用いればよい。交差数判定によれば、着目画素を起点とする水平線がブロック四辺形の辺と何回交差するかによって包含判定が行われる。交差回数が奇数のブロック四辺形は着目画素を包含すると判定され、交差回数が偶数のブロック四辺形は着目画素を包含しないと判定される。
【００２５】
例えば、図2(b)に示す着目画素s0を起点とする水平線は、ブロックB0四辺形の辺と一度だけ交差し、ブロックB1四辺形の辺と二度交差する。従って、着目画素s0は、ブロックB0四辺形に包含され、ブロックB1四辺形に包含されていないと判定される。なお、包含判定は、交差数判定に限定されるものでなく、回転数判定(winding number algorithm)など他のアルゴリズムを用いてもよい。なお、以下では、着目画素を包含するブロック四辺形を「包含ブロック」と呼ぶ。
【００２６】
座標処理部109は、詳細は後述するが、算出方法決定部108によって決定され算出方法を用いて、格子点判定部107によって決定された包含ブロックの変形後格子点pの各座標値と着目画素の座標値に基づき、着目画素の変形前座標値を算出する。図2(b)において、着目画素がs0とすると、着目画素s0の座標値、包含ブロックB0の変形後格子点pの座標値、および、当該変形後格子点pの対になる変形前格子点qの座標値から着目画素の変形前座標値が算出される。
【００２７】
図3のフローチャートにより映像変形部103が実行する画像変形処理を説明する。なお、図3は一画素分の画像変形処理を示し、出力画像203の全画素について図3に示す処理が繰り返される。
【００２８】
格子点判定部107は、注目ブロックを選択して(S11)、着目画素の包含判定を行い(S12)、着目画素を包含するブロック（以下、包含ブロック）を探索する。注目ブロックが着目画素を包含しないと判定した場合、全ブロックについて包含判定を行ったか否かを判定し(S13)、未判定のブロックがあれば処理をステップS11に戻す。
【００２９】
図2(b)に示す画素s2のように、変形後画像202の外側に位置する画素の場合、全ブロックについて包含判定を行っても包含ブロックは検出されない。そのような着目画素について、格子点判定部107は、着目画素が変形後画像202の画像内にはなく、画像外にあることを示す情報（以下、画像外情報）を算出方法決定部108と座標処理部109に出力する(S14)。また、格子点判定部107は、包含ブロックを検出すると、包含ブロックの各変形後格子点pの座標値を算出方法決定部108と座標処理部109に出力する(S15)。
【００３０】
算出方法決定部108は、格子点判定部107から入力される包含ブロックの変形後格子点pの座標値と着目画素の座標値に基づき、座標処理部109が変形前座標を算出する方法を決定する。そして、決定した算出方法を示す情報を座標処理部109に出力する(S16)。なお、算出方法の決定の詳細は後述する。また、格子点判定部107から画像外情報が入力された場合、算出方法決定部108は、当該着目画素における算出方法の決定を行わない。
【００３１】
座標処理部109は、算出方法決定部108が決定した算出方法を用いて、格子点判定部107から入力された各変形後格子点pの座標値と、着目画素の座標値から変形前座標値を算出する(S17)。図2において、着目画素がs0、包含ブロックがB0の場合、着目画素s0、変形後格子点p0、p1、p2、p3、および、それら変形後格子点の対になる変形前格子点q0、q1、q2、q3の各座標値から変形前画素t0の座標値が算出される。
【００３２】
図4により座標処理部109による変形前座標値の算出方法の一例を説明する。図4(a)は図2(a)に示す変形前格子点q0、q1、q2、q3部分の拡大図であり、図4(b)は図2(b)に示す変形後格子点p0、p1、p2、p3部分の拡大図である。座標処理部109は、四辺形p0p2p3p1内における着目画素s0の相対位置を求め、その相対位置を四辺形q0q2q3q1内における変形前画素t0に当て嵌めることで、変形前画素t0の座標値を求める。
【００３３】
まず、四辺形p0p2p3p1が長方形ではないため、着目画素s0を包含する三角形p0p2p3または三角形p0p3p1を用いて相対位置を求める。そのため、座標処理部109は、三角形p0p2p3および三角形p0p3p1について上述した包含判定を行い、着目画素s0を包含する三角形（以下、包含三角形）を判定する(S171)。なお、包含三角形の判定方法は限定されない。例えば、四辺形p0p2p3p1が着目画素s0を包含することは明らかなので、対角線p0p3と着目画素s0の比較により着目画素s0を包含する三角形（p0p2p3またはp0p3p1）を判定する方法でもよい。
【００３４】
次に、座標処理部109は、包含三角形内における着目画素の相対位置α、βを求める(S172)。図4(b)において、p0s0を通る直線と線分p2p3の交点Mを求め、線分p2p3における交点Mの相対位置αを内挿計算により求める。そして、線分p0Mにおける着目画素s0の相対位置βを内挿計算により求める。なお、実施例においてα、βの値域はともに0以上1未満である。
【００３５】
次に、座標処理部109は、相対位置α、βを変形前格子点の四辺形q0q2q3q1内における変形前画素t0の相対位置に適用して、変形前画素t0の座標値を求める(S173)。まず、ステップS171において判定された包含三角形に対応する三角形を選択する。例えば、包含三角形がp0p2p3の場合は三角形q0q2q3が選択され、包含三角形がp0p3p1の場合は三角形q0q3q1が選択される。そして、線分q2q3に対する内挿演算によってq0t0を通る直線と線分q2q3の交点Nの座標値を求め、線分q0Nに対する内挿演算によって変形前画素t0の座標値を求める。
【００３６】
また、座標処理部109は、着目画素について格子点判定部107から画像外情報を受け取った場合、当該情報を画素処理部105に出力する。
【００３７】
図4を用いて説明した算出方法以外にも、包含ブロック内の変形前画素t0の座標値を算出する方法が存在する。図5により変形前座標値の別の算出方法を説明する。図5(a)は図2(a)に示す変形前格子点q0、q1、q2、q3部分の拡大図であり、図5(b)は図2(b)に示す変形後格子点p0、p1、p2、p3部分の拡大図である。
【００３８】
座標処理部109は、四辺形p0p2p3p1を二つの三角形p2p1p0、p2p3p1に分割し、包含三角形を判定する。図5(b)の例では三角形p2p1p0が包含三角形である。そして、p2s0を通る直線と線分p0p1の交点Mを求め、線分p0p1における交点Mの相対位置αを内挿計算により求める。そして、線分p2Mにおける着目画素s0の相対位置βを内挿計算により求める。つまり、図5に示す算出方法は、包含ブロックの分割方法と分割後の三角形が異なることを除き、図4に示す算出方法と同じ手順で変形前座標値を算出する。
【００３９】
算出方法決定部108は、包含ブロックの二本の対角線の長さに基づき、使用すべき算出方法（例えば、図4に示す算出方法または図5に示す算出方法）を決定する。その理由は、座標処理部109による座標値の算出には線形補間が用いられるが、画像の変形が線形性を有すとは限らず、変形前格子点の座標値と変形後格子点の座標値の関係は線形とは限らない。従って、格子点間の距離が長くなると補間精度が低下する可能性が高くなる。そこで、算出方法決定部108は、座標処理部109が変形前座標の算出に使用する三つの格子点の間の距離が短くするために、包含ブロックの対角線の長さの比較を行う。
【００４０】
図4(b)において、包含ブロックの対角線は線p0p3とp2p1である。算出方法決定部108は、これら対角線の長さを比較して、p0p3＞p2p1であれば図5に示す算出方法に決定し、そうでなければ（p0p3≦p2p1）図4に示す算出方法に決定する(S16)。言い替えれば、包含ブロックの短い対角線が、包含ブロックを二つの三角形に分割する分割線に採用される。これにより、座標処理部109において、より好ましい算出条件において補正前座標値を算出することができる。
【００４１】
なお、包含ブロックが頂点が五つ以上の多角形の場合、例えば、当該多角形を三角形に分割する当該多角形に内在する対角線の長さの和を求め、和が最小の対角線の組を分割線とする算出方法に決定すればよい。
【００４２】
図3のフローチャートの説明に戻る。画素処理部105は、座標処理部109が算出した変形前座標値に対応する変形前画像201の画素とその周囲画素の画素値から、変形後画像202の着目画素の画素値を算出する(S18)。例えば、図2(a)において、変形前座標205に対応する変形前画素t0とその周囲画素206の画素値から、着目画素s0の画素値が算出される。画素値の算出には、一般的なバイリニア方式、バイキュービック方式などを用いればよい。
【００４３】
また、画素処理部105は、着目画素について座標処理部109を介して画像外情報を受け取った場合、当該着目画素の画素値として変形後画像202の外側を示す値を割り当てる(S19)。なお、変形後画像202の外側を示す値としては、出力画像203を投射する際に光が投射されない値、例えばRGB値であれば(0, 0, 0)などを用いればよい。そして、算出または割り当てた着目画素の画素値を出力部102に出力する(S20)。
【００４４】
変形後画像202に対して一画素未満でも外側にあると判定された着目画素は、変形後画像202の外側にあると判定される。また、画素処理部105は、変形前座標値に対応する画素とその周囲画素の画素値から着目画素の画素値を算出する。変形前画像201と出力画像203が同サイズとすると、変形後画像202の境界部分の画素値を算出する際、変形後画像202の境界外に対応する変形前画像201の画素がなく、変形後画像202の境界部分について滑らかな画像を生成することができない。変形後画像202の境界部分について滑らかな画像を生成するには、変形前画像201のサイズを出力画像203のサイズよりもやや大きく設定するか、出力画像203のサイズを変形前画像201のサイズよりもやや小さく設定することが望ましい。
【００４５】
以上の映像変形部103の画像変形処理により、変形前画像201から、様々な投射面の形状に合わせて任意の変形を施した変形後画像202を含む出力画像203を生成し、観察者に映像の歪みを感じさせない映像を投射することができる。
【００４６】
このように、出力画像203における着目画素の変形前座標値の算出に用いる格子点および算出方法を決定して、出力画像203の全画素の画素値を算出または割り当てる画像変形処理が可能になる。この画像変形処理によれば、任意の変形に対応可能かつ高精度な変形演算が提供される。また、変形前画像201の画像サイズを相対的に大きく設定することで、変形後画像202の境界部分について滑らかな画像を生成することができる。
【００４７】
［変形例］
上記では、映像変形部103が映像投射装置100内にある例を説明したが、映像変形部103をコンピュータ装置を用いた画像処理装置として実現することもできる。つまり、映像変形部103の機能を実現するプログラムと変形後格子点のデータを記録媒体やネットワークを介してコンピュータ装置に供給する。そして、当該コンピュータ装置が変形前画像201を入力し、変形後画像202を含む出力画像203を映像投射装置100に供給すればよい。
【００４８】
［その他の実施例］
本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ASIC）によっても実現可能である。
【符号の説明】
【００４９】
103 … 映像変形部、106 … 記憶部、107 … 格子点判定部、108 … 算出方法決定部
【図１】
2016133835.tif 000003
【図２】
2016133835.tif 000004
【図３】
2016133835.tif 000005
【図４】
2016133835.tif 000006
【図５】
2016133835.tif 000007