(57)【要約】【課題】映像信号に対する特殊処理を施すにあたり、色空間変換に伴い処理時間のロスを発生させず、同じ映像色で変換を行うこと。【解決手段】本発明は、第１の色空間によって表される映像信号を取り込む映像信号入力部２と、第１の色空間とは異なる第２の色空間によって表される信号について所定の変換を施す信号変換部４と、映像信号入力部２で取り込んだ映像信号を第１の色空間で表される値のまま第２の色空間で表される値として信号変換部４へ渡す信号インタフェース部２とを備える画像処理装置１である。【選択図】図１
2006262062.tif 000002
【特許請求の範囲】
【請求項１】
第１の色空間によって表される映像信号を取り込む映像信号入力部と、
前記第１の色空間とは異なる第２の色空間によって表される信号について所定の変換処理を施す信号変換部と、
前記映像信号入力部で取り込んだ前記映像信号を前記第１の色空間で表される値のまま前記第２の色空間で表される値として前記信号変換部へ渡す信号インタフェース部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の色空間は均等色空間であり、前記第２の色信号は映像出力装置で取り扱う色空間である
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記信号変換部は、座標変換処理を行う
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記信号変換部は、前記第１の色空間に対応する係数を用いてシェーディング処理を施す
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
第１の色空間によって表される映像信号を取り込むステップと、
前記第１の色空間とは異なる第２の色空間によって表される信号について所定の変換処理を施すステップとをコンピュータによって実行する画像処理プログラムにおいて、
取り込んだ前記映像信号を前記第１の色空間で表される値のまま前記第２の色空間で表される値として前記所定の変換を施す
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に対して所定の信号処理を施す画像処理装置および画像処理プログラムに関し、主として映像信号に対して３次元特殊画像効果を施すにあたりコンピュータグラフィックスのテクスチャマッピング技術を適用するものに関する。
【背景技術】
【０００２】
コンピュータグラフィックスの分野においては、対象のグラフィックスについてテクスチャマッピング技術を用い、移動や回転、変形等の３次元（３Ｄ）特殊効果を容易に施すことができる。
【０００３】
このような特殊効果を施す画像処理装置では、取り扱う色空間としてＲＧＢを用いている。これは、ＲＧＢ色空間において黒は（Ｒ，Ｇ，Ｂ）＝（０，０，０）で表せるため、シェーディング処理等の輝度調整での演算が行いやすいためである。
【０００４】
ここで、特許文献１〜３においては、映像信号に対する特殊効果等の画像処理技術が開示されている。通常、デジタルカメラ等で取り込んだ映像信号では、色空間として均等色空間であるＹＵＶを用いている。この映像信号をテクスチャとしてコンピュータグラフィックスに適用し、所定の処理を施す場合、事前に色空間変換（ＣＳＣ：Color Space Conversion）を行う必要がある。つまり、映像信号に対して特殊効果を施すには、ＹＵＶ色空間をコンピュータグラフィックスに対応したＲＧＢ色空間に変換した後、テクスチャマッピング等の所定の処理を施している。
【０００５】
【特許文献１】特開平７−２１２６９５号公報
【特許文献２】特開平１１−１８００５号公報
【特許文献３】特開平１１−２０５７５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＹＵＶ色空間とＲＧＢ色空間とでは表現できる色の範囲が異なるため、映像信号であるＹＵＶをＲＧＢに変換して処理した後、再度ＹＵＶに戻す変換を行うと、複数の変換誤差が累積することから、元の映像色と同じ映像色を得られる保証ができない。さらに、色空間の変換を行うための処理時間も必要になってしまう。
【課題を解決するための手段】
【０００７】
本発明はこのような問題を解決するために成されたものである。すなわち、本発明は、第１の色空間によって表される映像信号を取り込む映像信号入力部と、第１の色空間とは異なる第２の色空間によって表される信号について所定の変換を施す信号変換部と、映像信号入力部で取り込んだ映像信号を第１の色空間で表される値のまま第２の色空間で表される値として信号変換部へ渡す信号インタフェース部とを備える画像処理装置である。
【０００８】
このような本発明では、映像信号に対する処理を施すにあたり、映像信号で取り扱う第１の色空間で表される値を第２の色空間で表される値としてそのまま信号変換部へ渡し、処理を行うことから、第１の色空間から第２の色空間への色空間変換に伴う色ずれや変換時間のロスを無くすことができる。
【０００９】
また、本発明は、第１の色空間によって表される映像信号を取り込むステップと、第１の色空間とは異なる第２の色空間によって表される信号について所定の変換を施すステップとをコンピュータによって実行する画像処理プログラムであり、取り込んだ映像信号を前記第１の色空間で表される値のまま第２の色空間で表される値として前記所定の変換を施すものである。
【００１０】
このような本発明では、映像信号に対する処理を施すプログラムの実行にあたり、映像信号で取り扱う第１の色空間で表される値を第２の色空間で表される値としてそのまま信号変換処理を行うことから、第１の色空間から第２の色空間への色空間変換に伴う色ずれや変換時間のロスを無くすことができる。
【００１１】
ここで、映像信号を取り扱う第１の色空間としては、ＹＵＶやＬ*ａ*ｂ*で示される均等色空間が用いられ、第２の色空間としては、モニタ等の映像出力装置で取り扱う主としてＲＧＢが用いられる。また、信号変換部では、移動や回転、変形等の座標変換処理が行われるが、第１の色空間に対応した係数を用いてシェーディング処理を施すこともできる。
【発明の効果】
【００１２】
したがって、本発明によれば、映像信号のテクスチャの色空間をそのまま用いて信号処理を行うため、色空間変換に伴う処理時間のロスを発生させず、しかも元の映像色と同じ映像色で変換を行うことが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図に基づき説明する。すなわち、本実施形態に係る情報処理装置は、映像信号に対する特殊効果処理として、コンピュータグラフィックスにおけるテクスチャマッピングの技術を用いるもので、映像信号とコンピュータグラフィックスで取り扱う信号との間の色空間変換をなくして高速かつ色ずれのない映像特殊効果処理を実現できる点に特徴がある。
【００１４】
ここで、図１の模式図に基づき、テクスチャマッピングによる映像変換処理について説明する。コンピュータグラフィックスで映像信号を扱う場合、まず、テクスチャとして映像に対応した画像を用意し、ポリゴンにマッピングする。そして、ポリゴンの移動、回転等の変換を加え、フレームバッファにレンダリングする。これらの処理は専用のハードウェア装置で行うことで処理の高速化を図ることができる。
【００１５】
通常、テクスチャもフレームバッファも1つのピクセルに対してＲ（赤）、Ｇ（緑）、Ｂ（青）、Ａ（透明度）から成るＲＧＢＡデータフォーマットで処理が行われる。このため、従来の技術では、データをＹ（輝度）、Ｕ（輝度と青色との差）、Ｖ（輝度と赤色との差）であるＹＵＶデータフォーマットで持つ映像信号に対しては、一度、ＹＵＶ→ＲＧＢのＣＳＣを行ってからレンダリングし、結果をＲＧＢ→ＹＵＶのＣＳＣで映像信号に戻すという処理を行っている。
【００１６】
図２は、色空間変換について説明する模式図で、（ａ）がＣＳＣを伴う従来技術、（ｂ）が本実施形態の例である。図２（ａ）に示すように、従来の技術では、例えばＹＵＶ４２２（４ピクセルからＹを４サンプル、Ｕ、Ｖをそれぞれ２サンプル採る方式）から成る映像信号をＣＳＣによってＲＧＢ４４４（４ピクセルから、各ピクセル毎にＲ、Ｇ、Ｂをそれぞれ１サンプル採る方式）に変換し、このＲＧＢ４４４信号を用いて所定のレンダリングを施す。その後、変換後のＲＧＢ４４４を再度ＣＳＣによってＹＵＶ４２２に戻している。このため、少なくとも２回の色空間変換を行うことから、変換時の誤差（色ずれ）が累積してしまうことになる。
【００１７】
一方、本実施形態では、ＹＵＶの各成分をＲＧＢ成分に変換せず処理することで、ＣＳＣの処理をなくすことができる。すなわち、図２（ｂ）に示すように、例えばＹＵＶ４２２から成る映像信号をＣＳＣによって変換することなくＹＵＶ４４４にUp Samplingしてレンダリングを施し、変換後のＹＵＶ４４４をＹＵＶ４２２にDown Samplingする。なお、通常、映像信号はＹＵＶ４２２のフォーマットが多く用いられているため、レンダリングの前後でUp Sampling、Down Samplingを行っている。これにより、ＣＳＣによって生じる時間のロスや、変換に伴う色ずれを発生させずに済む。
【００１８】
具体的には、通常ＧＰＵ（Graphics Processing Unit）内部では、１ピクセルのデータについてＲ、Ｇ、Ｂ、Ａの各成分のバッファを用意している。このバッファに対してＹ、Ｕ、Ｖ、Ａのデータをそのまま対応付ける。図３は、バッファの対応付けを説明する模式図である。この例では、ＧＰＵ  Ｂｕｆｆｅｒのうち、Ｂに対応する領域へＶｉｄｅｏ  ＤａｔａのＹの値をそのまま入力し、Ｇに対応する領域にＶｉｄｅｏ  ＤａｔａのＵの値をそのまま入力し、Ｂに対応する領域にＶｉｄｅｏ  ＤａｔａのＶの値をそのまま入力し、Ａに対応する領域にＶｉｄｅｏ  ＤａｔａのＡの値をそのまま入力している。なお、データのマッピングは任意で構わない。
【００１９】
このように、ＹＵＶの映像信号の各成分をＲＧＢの各バッファ領域に対応付けしてそのまま入力し、ＹＵＶデータの値をＲＧＢデータとして処理することで、色空間変換処理が不要となり、これによって色空間変換に伴う時間のロスや色ずれをなくすことが可能となる。
【００２０】
図４は、本実施形態に係る情報処理装置の具体的な構成を説明するブロック図である。すなわち、本実施形態に係る情報処理装置１は、ＹＵＶ等の第１の色空間によって表される映像信号Ｓを取り込む映像信号入力部２と、第１の色空間とは異なるＲＧＢ等の第２の色空間によって表される信号について所定の変換を施す信号変換部４と、映像信号入力部２で取り込んだ映像信号Ｓを第１の色空間で表される値のまま第２の色空間で表される値として信号変換部４へ渡す信号インタフェース部３とを備えている。
【００２１】
これらの構成は、全てハードウェアで実現しても、全てソフトウェアで実現しても、また一部構成をハードウェア、他の構成をソフトウェアで実現してもよい。ソフトウェアで実現する部分については、コンピュータのＣＰＵで実行され、また所定の記録媒体（ＣＤ−ＲＯＭ等）に格納された状態で流通したり、所定のネットワークを介した配信によって流通することが可能である。
【００２２】
映像信号Ｓとしては、デジタルカメラ等の映像機器で取り扱う均等色空間（例えば、ＬＵＶやＬ*ａ*ｂ*）が用いられている。ここではＬＵＶを例として説明するが、他の色空間であっても適用可能である。映像信号入力部２は、ＬＵＶフォーマットの映像信号Ｓを取り込んで、信号インタフェース部３に渡す。
【００２３】
信号インタフェース部３は、ＬＵＶフォーマットの映像信号Ｓを、信号変換部４で取り扱う色空間のフォーマットに変換することなく、１対１の対応で信号変換部４に渡す。つまり、信号変換部４で使用するバッファメモリの各色の領域に、映像信号Ｓの各色の信号をそのまま入力する。例えば、信号変換部４で取り扱う色空間がＲＧＢであった場合、ＬＵＶの各信号をＲＧＢの各信号のバッファ領域へ１対１で対応付けして入力する。
【００２４】
この対応付けは任意でよいが、例えば図３に示すように、映像信号（Ｖｉｄｅｏ  Ｄａｔａ）のＹの信号をバッファ（ＧＰＵ  Ｂｕｆｆｅｒ）のＲの領域に入力し、映像信号（Ｖｉｄｅｏ  Ｄａｔａ）のＵの信号をバッファ（ＧＰＵ  Ｂｕｆｆｅｒ）のＧの領域に入力し、映像信号（Ｖｉｄｅｏ  Ｄａｔａ）のＶの信号をバッファ（ＧＰＵ  Ｂｕｆｆｅｒ）のＢの領域に入力する、また、必要に応じて映像信号（Ｖｉｄｅｏ  Ｄａｔａ）のＡの信号をバッファ（ＧＰＵ  Ｂｕｆｆｅｒ）のＡの領域に入力する。
【００２５】
信号変換部４は、信号インタフェース部３から渡された映像信号Ｓについて、そのまま所定の変換処理を施す。すなわち、映像信号ＳにおけるＹＵＶデータをＲＧＢデータとみなしてそのまま変換処理を施す。変換処理としては、例えば移動や回転、変形等の座標変換処理である。このような座標変換処理では、色についての変換を伴わずに単に座標を変換するだけであることから、ＹＵＶデータをＲＧＢデータとして演算しても問題は発生しない。
【００２６】
信号変換部４は、ＹＵＶデータが入力されたＧＰＵ  Ｂｕｆｆｅｒのデータを用いて座標変換等の処理を行い、変換後映像信号Ｓ’を出力する。これにより、映像信号Ｓについて座標変換等の処理を色変換処理なしで実行することが可能となる。なお、信号変換部４は、別途ＲＧＢデータ（ＹＵＶデータから変換されたものを含む）を用いて色成分に関する所定の変換処理を行うこともできる。
【００２７】
次に、本実施形態の画像処理装置および画像処理プログラムを用いた映像信号の処理において、シェーディングを行う場合の処理を説明する。すなわち、ＧＰＵでは信号をＲＧＢとして計算するため、本実施形態のようにＹＵＶデータをそのままＲＧＢとして処理すると、シェーディング等の色修正を伴う処理では正常な結果を得ることができない。そこで、本実施形態では、以下のシェーディングアルゴリズムを用いる。
【００２８】
シェーディングアルゴリズムにおけるレンダリング方程式は、一般的に以下の数１となる。
【００２９】
【数１】
2006262062.tif 000003
【００３０】
上記数１は、Ｃに対して、以下の数２のようにまとめることができる。
【００３１】
【数２】
2006262062.tif 000004
【００３２】
この数２はＲＧＢ各成分に対して行われるので、以下の数３のように示すことができる。
【００３３】
【数３】
2006262062.tif 000005
【００３４】
ここで、ＲＧＢ→ＹＵＶの色空間変換行列をＴｒとすると、正規化されたＹＵＶに対して(Ｒ，Ｇ，ＢおよびＹ，Ｕ，Ｖの範囲は各々[0.0,1.0])、以下の数４を得ることができる。
【００３５】
【数４】
2006262062.tif 000006
【００３６】
これを、数３のＩ、Ｃに適用すると、数５を得ることができる。
【００３７】
【数５】
2006262062.tif 000007
【００３８】
したがって、上記数５で計算を行えば、ＹＵＶテクスチャに対してシェーディング処理を行い、ＹＵＶデータで出力することが可能となる。なお、Ｔｒは映像信号のフォーマットによって適したものを使えばよい。
【００３９】
なお、通常、光はＲＧＢ成分同じ輝度である場合が多い。この場合、数３は以下に示す数６のようになり、色空間変換行列を用いず、ＲＧＢ形式のシェーディング処理と同様に計算することができる。
【００４０】
【数６】
2006262062.tif 000008
【００４１】
このような本実施形態に係る情報処理装置および情報処理プログラムでは、映像信号に対してコンピュータグラフィックスの３Ｄ特殊画像効果処理を適応する際に、テクスチャのＲＧＢ成分にＹＵＶ成分を割り当てることで色空間変換を行わずに処理することができ、色空間変換による画質劣化を防ぐことができる。また、色空間変換を行わないため、入力画像と同じ画質を保証することが可能になるとともに、処理の高速化を図ることが可能となる。
【００４２】
また、通常シェーディング計算処理はＲＧＢ色空間で処理されるが、これに関してもシェーディングに必要な各係数をＲＧＢ成分ではなくＹＵＶ成分で与えることで、色空間変換を行うことなく適用することが可能となる。
【図面の簡単な説明】
【００４３】
【図１】テクスチャマッピングによる映像変換処理について説明する模式図である。
【図２】色空間変換について説明する模式図である。
【図３】バッファの対応付けを説明する模式図である。
【図４】本実施形態に係る情報処理装置の具体的な構成を説明するブロック図である。
【符号の説明】
【００４４】
１…画像処理装置、２…映像信号入力部、３…信号インタフェース部、４…信号変換部、Ｓ…映像信号
【図１】
2006262062.tif 000009
【図２】
2006262062.tif 000010
【図３】
2006262062.tif 000011
【図４】
2006262062.tif 000012