(57)【要約】【課題】画像の特定箇所に砂画のようなノイズ調の特殊な画像効果をもたらすようにする。【解決手段】変換座標出力部１０１は、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）を出力する。Ｘ，Ｙ座標変動値生成部１０６は、出力画像のピクセル単位で、キー信号選択／合成部１０５から出力されるキー信号のレベルに応じた変動幅を持つＸ，Ｙ座標の座標変動値ａ，ｂを生成する。座標合成部１０７は、Ｘ，Ｙ座標と座標変動値ａ，ｂを合成して、変動座標であるＸ′，Ｙ′座標を生成する。レンダリング部１０８は、出力画像のピクセル単位で出力画像データＶoutを構成する画素データを得る際に、出力画像の各ピクセルに対応した入力画像の座標としてＸ′，Ｙ′座標を用いる。Ｘ，Ｙ座標変動値生成部１０６で使用するキー信号を、所定の時間単位で加工し、特殊な画像効果を所定の時間単位で変化させてもよい。【選択図】図１
2011109279.tif 000002
【特許請求の範囲】
【請求項１】
出力画像のピクセル単位で、対応する入力画像の座標を出力する変換座標出力部と、
上記出力画像のピクセル単位で、キー信号を用い、該キー信号のレベルに応じた変動幅を持つ座標変動値を生成する座標変動値生成部と、
上記出力画像のピクセル単位で、上記変換座標出力部から出力される座標と上記座標変動値生成部で生成される座標変動値を合成して変動座標を生成する変動座標生成部と、
上記出力画像の各ピクセルに対応して、入力画像データを構成する各画素データのうち上記変動座標生成部で生成される変動座標に対応した画素データを用いて出力画像データを構成する画素データを得る画像処理部と
を備える画像処理装置。
【請求項２】
上記入力画像データに基づいて、キー信号を生成するキー信号生成部をさらに備え、
上記座標変動値生成部は、上記キー信号生成部で生成されたキー信号を用いて、上記座標変動値を生成する
請求項１に記載の画像処理装置。
【請求項３】
上記座標変動値生成部は、上記入力画像データとは異なる他の画像データに基づいて生成された外部キー信号を用いて上記座標変動値を生成する
請求項１に記載の画像処理装置。
【請求項４】
上記他の画像データは、撮影されて得られた自然画像の画像データまたは人工的に作成された人工画像の画像データである
請求項３に記載の画像処理装置。
【請求項５】
上記入力画像データに基づいて、キー信号を生成するキー信号生成部と、
上記キー信号生成部で生成されたキー信号および上記入力画像データとは異なる画像データに基づいて生成された外部キー信号のいずれか、または双方が合成されて得られたキー信号を出力するキー信号出力部とをさらに備え、
上記座標変動値生成部は、上記キー信号出力部から出力されたキー信号を用いて、上記座標変動値を生成する
請求項１に記載の画像処理装置。
【請求項６】
上記座標変動値生成部で用いられるキー信号を所定の時間単位で加工するキー信号加工部をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
上記座標変動値生成部は、予め定義されたキー信号の正規化値の関数を用いて、上記座標変動値を生成する
請求項１に記載の画像処理装置。
【請求項８】
上記変換座標出力部から出力される座標に基づいて画像の縮小率を算出する縮小率算出部と、
上記縮小率算出部で算出された縮小率に対応したフィルタ係数を出力するフィルタ係数出力部とをさらに備え、
上記画像処理部は、上記入力画像データに上記フィルタ係数出力部から出力されるフィルタ係数でフィルタリングを施し、該フィルタリングが施された後の入力画像データを構成する各画素データのうち上記変動座標生成部で生成される変動座標に対応した画素データを用いて出力画像データを構成する画素データを得る
請求項１に記載の画像処理装置。
【請求項９】
出力画像のピクセル単位で、対応する入力画像の座標を出力する変換座標出力ステップと、
上記出力画像のピクセル単位で、キー信号を用いて、座標変動値を生成する座標変動値生成ステップと、
上記出力画像のピクセル単位で、上記変換座標出力ステップで出力される座標と上記座標変動値生成ステップで生成される座標変動値を合成して変動座標を生成する変動座標生成ステップと、
上記出力画像の各ピクセルに対応して、入力画像データを構成する各画素データのうち上記変動座標生成ステップで生成される変動座標に対応した画素データを用いて出力画像データを構成する画素データを得る画像処理ステップと
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関し、特に、画像に変形処理を施して特殊効果を発生させる画像処理装置等に関する。
【背景技術】
【０００２】
従来、映像編集システムなどでは、２次元空間や３次元空間における座標変換によって画像に縮小、移動、回転などの変形処理を施すことが行われている（例えば、特許文献１，２参照）。
【０００３】
図１２は、従来の画像処理装置２１０の構成例を示している。変換座標出力部２１１には、図示しないシステムコントローラ等の外部機器からどのような画像変形を行うかを示す画像変形パラメータが供給される。画像変形は、例えば、縮小、移動、回転などである。この変換座標出力部２１１では、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）が出力される。この変換座標出力部２１１では、座標変換処理により、入力画像の座標と出力画像の座標との対応関係が決定される。
【０００４】
この変換座標出力部２１１から出力されるＸ，Ｙ座標は、縮小率算出部２１２に供給される。縮小率算出部２１２では、変換座標出力部２１１から出力されるＸ，Ｙ座標に基づいて、画像の縮小率が算出される。この縮小率算出部２１２では、例えば、出力画像の水平方向に隣接する２ピクセルに対応して出力される入力画像の座標の水平方向成分の差に基づいて、水平方向の画像の縮小率が算出される。同様に、縮小率算出部２１２では、例えば、出力画像の垂直方向に隣接する２ピクセルに対応して出力される入力画像の座標の垂直方向成分の差に基づいて、垂直方向の画像の縮小率が算出される。
【０００５】
この縮小率算出部２１２で算出される水平方向および垂直方向の画像の縮小率は、フィルタ係数出力部２１３に供給される。このフィルタ係数出力部２１３からは、画像の縮小率に対応したフィルタ係数が出力される。このフィルタ係数は、画像の縮小に伴って発生するエリアシング（折り返し歪み）を軽減するためのものである。レンダリング部２１４では、入力画像データＶinに対して、水平方向および垂直方向に、例えばＦＩＲ（Finite ImpulseResponse）フィルタにより、フィルタリングが施される。そのため、フィルタ係数出力部２１３から出力されるフィルタ係数には、水平方向の所定数のタップ分の係数と、垂直方向の所定数のタップ分の係数が含まれる。
【０００６】
レンダリング部２１４には、入力画像データＶinが供給されると共に、変換座標出力部２１１から出力されるＸ，Ｙ座標と、フィルタ係数出力部２１３から出力されるフィルタ係数が供給される。このレンダリング部２１４では、入力画像データＶinに対して、フィルタ係数出力部２１３から出力されるフィルタ係数を用いたフィルタリングが施される。
【０００７】
そして、このレンダリング部２１４では、出力画像の各ピクセルに対応して、フィルタリング後の入力画像データＶinの各画素データのうち、Ｘ，Ｙ座標に対応した画素データが用いられて、出力画像データＶoutを構成する画素データが得られる。この場合、レンダリング部２１４では、例えば、複数個の画素データを使用した補間処理が行われることで、各ピクセル位置に精度よく対応した画素データが生成される。
【０００８】
図１３は、上述の図１２に示す画像処理装置２１０における処理例を示している。入力画像データＶinが、例えば、図１３（ａ）に示すような画像を表示する画像データであるとする。縮小の変形処理が行われる場合には、変換座標出力部２１１からその変形処理のためのＸ，Ｙ座標が出力されてレンダリング部２１４に送られる。そのため、レンダリング部２１４では、例えば、図１３（ｂ）に示すような画像を表示する出力画像データＶoutが得られる。また、縮小および回転の変形処理が行われる場合には、同様にして、レンダリング部２１４では、例えば、図１３（ｃ）に示すような画像を表示する出力画像データＶoutが得られる。
【０００９】
また、従来、映像編集システムなどでは、入力画像データ等から作成されたキー信号に基づいて複数の画像データを合成する処理を施すことが行われている（例えば、特許文献３参照）。
【００１０】
図１４は、従来の画像処理装置２２０の構成例を示している。キー信号生成部２２１には、入力画像データＶinaが供給される。このキー信号生成部２２１では、入力画像データＶinaに基づいて、キー信号（ＫＥＹ信号）が生成される。例えば、キー信号生成部２２１では、ピクセル毎に、入力画像データＶinaを構成する輝度データＹのレベルに応じた、所定ビットのキー信号が生成される。また、例えば、キー信号生成部２２１では、ピクセル毎に、入力画像データＶinaを構成する青色差データＣｂおよび赤色差データＣｒのレベル（彩度、色相）に応じた所定ビットのキー信号が生成される。
【００１１】
このキー信号生成部２２１で生成されるキー信号は、キー信号選択／合成部２２２に供給される。また、このキー信号選択／合成部２２２には、図示しないシステムコントローラ等の外部機器から外部キー信号（外部ＫＥＹ信号）が供給される。この外部キー信号は、上述のキー信号生成部２２１と同様のキー信号生成部により、入力画像データＶinaとは異なる他の画像データに基づいて生成されたものである。
【００１２】
このキー信号選択／合成部２２２では、図示しないシステムコントローラ等の外部機器による制御により、キー信号生成部２２１で生成されたキー信号および外部キー信号のいずれか、または双方が合成されて得られたキー信号が出力される。キー信号の合成は、例えば、αブレンドにより行われる。
【００１３】
このキー信号選択／合成部２２２から出力されるキー信号は、画像合成部２２３に供給される。この画像合成部２２３には、上述したようにキー信号の生成のために使用された入力画像データＶinaが入力される共に、入力画像データＶinbが入力されている。この画像合成部２２３では、キー信号選択／合成部２２２から出力されるキー信号に基づいて、入力画像データＶinaと入力画像データＶinbとが合成されて、出力画像データＶoutが得られる。
【００１４】
この画像合成部２２３では、例えば、キー信号選択／合成部２２２から出力されるキー信号がその最大値が１となるように正規化され、正規化されたキー信号を用いたαブレンド処理による合成が行われる。すなわち、画像合成部２２３では、以下の（１）式に基づいて、入力画像データＶinaと入力画像データＶinbとが合成される。この（１）式において、ｓｋ′は、キー信号の正規化値である。
Ｖout＝Ｖina＊ｓｋ′＋Ｖinb＊（１−ｓｋ′）      ・・・（１）
【００１５】
図１５は、上述の図１４に示す画像処理装置２２０における処理例を示している。入力画像データＶinaが、例えば、図１５（ａ）に示すようなブルーバック画像を表示する画像データであるとする。また、入力画像データＶinbが、例えば、図１５（ｂ）に示すような画像を表示する画像データであるとする。キー信号生成部２２１が入力画像データＶinaのうち、ブルーバック部分を特定してキー信号（ＫＥＹ信号）とする場合には、キー信号生成部２２１では、図１５（ｃ）に示すようにキー信号が生成される。
【００１６】
そして、キー信号選択／合成部２２２においてキー信号生成部２２１で生成されるキー信号が選択されて出力される場合、画像合成部２２３では、例えば、図１５（ｄ）に示すような画像を表示する出力画像データＶoutが得られる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００２−８３３１６号公報
【特許文献２】特開２００７−１３８７４号公報
【特許文献３】特開平９−６５２０３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
この発明の目的は、画像の特定箇所に砂画のようなノイズ調の特殊な画像効果をもたらすことを可能とした画像処理装置を提供することにある。
【課題を解決するための手段】
【００１９】
この発明の概念は、
出力画像のピクセル単位で、対応する入力画像の座標を出力する変換座標出力部と、
上記出力画像のピクセル単位で、キー信号を用い、該キー信号のレベルに応じた変動幅を持つ座標変動値を生成する座標変動値生成部と、
上記出力画像のピクセル単位で、上記変換座標出力部から出力される座標と上記座標変動値生成部で生成される座標変動値を合成して変動座標を生成する変動座標生成部と、
上記出力画像の各ピクセルに対応して、入力画像データを構成する各画素データのうち上記変動座標生成部で生成される変動座標に対応した画素データを用いて出力画像データを構成する画素データを得る画像処理部と
を備える画像処理装置にある。
【００２０】
この発明においては、変換座標出力部により、出力画像のピクセル単位で、対応する入力画像の座標が出力される。また、座標変動値生成部により、出力画像のピクセル単位で、キー信号のレベルに応じた変動幅を持つ座標変動値が生成される。例えば、座標変動値生成部では、予め定義されたキー信号の正規化値の関数が用いられて、座標変動値が生成される。
【００２１】
例えば、キー信号として、入力画像データに基づいてキー信号生成部で生成されたキー信号、または入力画像データとは異なる他の画像データに基づいて生成された外部キー信号が用いられる。また、例えば、キー信号として、入力画像データに基づいて生成されたキー信号と外部キー信号とが合成されて得られたキー信号が用いられる。他の画像データは、例えば、自然画像または人工画像の画像データとされる。ここで、自然画像の画像データは、撮影されて得られた画像データを意味する。また、人工画像の画像データは、人工的に作成された画像データを意味する。
【００２２】
変動座標生成部により、出力画像のピクセル単位で、変換座標出力部から出力される座標と座標変動値生成部で生成される座標変動値が合成されて変動座標が生成される。そして、画像処理部により、出力画像の各ピクセルに対応して、入力画像データを構成する各画素データのうち変動座標生成部で生成される変動座標に対応した画素データが用いられて、出力画像データを構成する画素データが得られる。
【００２３】
このように、画像処理部では、出力画像のピクセル単位で出力画像データを構成する画素データを得る際に、出力画像の各ピクセルに対応した入力画像の座標として、キー信号のレベルに応じた変動幅を持つ座標変動値が合成されて得られた変動座標が用いられる。そのため、画像の特定箇所に砂画のようなノイズ調の特殊な画像効果をもたらすことが可能となる。
【００２４】
この発明において、例えば、座標変動値生成部で用いられるキー信号を所定の時間単位で加工するキー信号加工部をさらに備える、ようにしてもよい。この場合、座標変動値の変動幅が所定の時間単位で変化したものとなる。そのため、画像の特定箇所にもたらされる砂画のようなノイズ調の特殊な画像効果の深さを所定の時間単位で変化させることができる。
【００２５】
また、この発明において、例えば、変換座標出力部から出力される座標に基づいて画像の縮小率を算出する縮小率算出部と、この縮小率算出部で算出された縮小率に対応したフィルタ係数を出力するフィルタ係数出力部とをさらに備え、画像処理部は、入力画像データにフィルタ係数出力部から出力されるフィルタ係数でフィルタリングを施し、このフィルタリングが施された後の入力画像データを構成する各画素データのうち変動座標生成部で生成される変動座標に対応した画素データを用いて出力画像データを構成する画素データを得る、ようにしてもよい。これにより、画像処理部で縮小の変形処理が行われる場合、エリアシング（折り返し歪み）の発生を軽減できる。
【発明の効果】
【００２６】
この発明によれば、出力画像のピクセル単位で出力画像データを構成する画素データを得る際に、出力画像の各ピクセルに対応した入力画像の座標として、キー信号のレベルに応じた変動幅を持つ座標変動値が合成されて得られた変動座標が用いられるものであり、画像の特定箇所に砂画のようなノイズ調の特殊な画像効果をもたらすことが可能となる。
【図面の簡単な説明】
【００２７】
【図１】この発明の実施の形態としての画像処理装置の構成例を示すブロック図である。
【図２】変換座標出力部が、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標を出力することを説明するための図である。
【図３】フィルタ係数出力部に用意されているモード（縮小率とフィルタ係数の関係）の一例を示す図である。
【図４】フィルタ係数出力部が０倍から１倍の係数リストであるフィルタ係数テーブルを備えていることを示す図である。
【図５】フィルタ係数出力部が備えるフィルタ係数テーブル（０倍から１倍の係数リスト）の一例を示す図である。
【図６】Ｘ，Ｙ座標変動値生成部におけるＸ，Ｙ座標の変動値ａ，ｂの算出過程の一例を示す図である。
【図７】キー信号選択／合成部から出力されてＸ，Ｙ座標変動値生成部に供給されるキー信号の一例を示す図である。
【図８】この発明の画像効果を説明するための入力画像および出力画像の一例を示す図である。
【図９】キー信号選択／合成部から出力されてＸ，Ｙ座標変動値生成部に供給されるキー信号の他の例を示す図である。
【図１０】この発明の画像効果を説明するための出力画像の一例を示す図である。
【図１１】この発明の変形例としての画像処理装置の構成例を示すブロック図である。
【図１２】２次元空間や３次元空間における座標変換によって画像に縮小、回転などの変形処理を施す従来の画像処理装置の構成例を示す図である。
【図１３】２次元空間や３次元空間における座標変換によって画像に縮小、回転などの変形処理を施す従来の画像処理装置における処理例を示す図である。
【図１４】入力画像データ等から作成されたキー信号に基づいて複数の画像データを合成する処理を施す従来の画像処理装置の構成例を示す図である。
【図１５】入力画像データ等から作成されたキー信号に基づいて複数の画像データを合成する処理を施す従来の画像処理装置の処理例を示す図である。
【発明を実施するための形態】
【００２８】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２９】
＜１．実施の形態＞
［画像処理装置の構成］
図１は、実施の形態としての画像処理装置１００の構成例を示している。この画像処理装置１００は、変換座標出力部１０１と、縮小率算出部１０２と、フィルタ係数出力部１０３を有している。また、この画像処理装置１００は、キー信号生成部１０４と、キー信号選択／合成部１０５と、Ｘ，Ｙ座標変動値生成部１０６と、座標合成部１０７と、レンダリング部１０８を有している。
【００３０】
変換座標出力部１０１は、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）を出力する。画像変形パラメータは、どのような画像変形を行うかを示す。画像変形は、例えば、縮小、移動、回転などである。この画像変形パラメータは、図示しないシステムコントローラ等の外部機器から供給される。
【００３１】
変換座標出力部１０１は、以下のような座標変換処理により、入力画像の座標と出力画像の座標との対応関係を決定する。すなわち、変換座標出力部１０１は、２次元の入力画像を３次元空間のＸＹ平面上のオブジェクトと見なして３次元に拡張し、この３次元空間で、このオブジェクトに対して画像変形パラメータに応じた変形を施す。その後、変換座標出力部１０１は、３次元空間で変形されたオブジェクトを２次元のＸＹ平面に投影する。
【００３２】
例えば、入力画像の座標を図２（ａ）に示すようにＸ，Ｙ座標とし、出力画像の座標を図２（ｂ）に示すようにｘ，ｙ座標とする。変換座標出力部１０１は、出力画像の各ピクセルの座標（ｘ，ｙ）に対応した、入力画像の座標（Ｘ，Ｙ）を出力する。図２は、画像に縮小の変形処理を施す例を示している。変換座標出力部１０１は、例えば、出力画像の座標（ｘ１，ｙ１）、（ｘ２，ｙ２），（ｘ３，ｙ３）、（ｘ４，ｙ４）のピクセルで、それぞれ、入力画像の座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）を出力する。
【００３３】
縮小率算出部１０２は、変換座標出力部１０１から出力される座標に基づいて、画像の宿小率を算出する。縮小率算出部１０２は、例えば、出力画像の水平方向に隣接する２ピクセルに対応して出力される入力画像の座標の水平方向成分の差に基づいて、水平方向の画像の縮小率を算出する。同様に、縮小率算出部１０２は、例えば、出力画像の垂直方向に隣接する２ピクセルに対応して出力される入力画像の座標の垂直方向成分の差に基づいて、垂直方向の画像の縮小率を算出する。
【００３４】
フィルタ係数出力部１０３は、縮小率算出部１０２で算出された縮小率に対応したフィルタ係数を出力する。このフィルタ係数は、画像の縮小に伴って発生するエリアシング（折り返し歪み）を軽減するためのものである。フィルタ係数出力部１０３には、縮小率とフィルタ係数の関係が関数化された複数のモードが用意されており、各モードが選択的に利用される。
【００３５】
図３には、２つのモード例が示されている。図３（ａ）に示すモードは、縮小率（Ｘ）とフィルタ係数（Ｙ）との関係が、Ｙ＝ａＸ（ａ＝１０）の関数で表される。このモードでは、縮小率Ｘが０．８であるとき、出力すべきフィルタ係数は「フィルタ係数８」に決定される。また、図３（ｂ）に示すモードは、縮小率（Ｘ）とフィルタ係数（Ｙ）との関係が、Ｙ＝ａＸ（ａ＝５）の関数で表される。このモードでは、縮小率Ｘが０．８であるとき、出力すべきフィルタ係数は「フィルタ係数４」に決定される。
【００３６】
この「フィルタ係数４」は、図３（ａ）に示すモードにおいて、縮小率Ｘが０．４であるときのフィルタ係数である。そのため、図３（ｂ）に示すモードを使用する場合、図３（ａ）に示すモードを使用する場合に比べて、全体的により深くフィルタ効果がかけられることになる。
【００３７】
フィルタ係数出力部１０３は、図４に示すように、フィルタ係数テーブルを備えている。このフィルタ係数テーブルは、０倍から１倍の係数リストである。図５は、フィルタ係数テーブルの一例を示している。この例では、０倍に対応しているのがフィルタ係数０であり、１倍に対応しているのがフィルタ係数１０である。フィルタ係数出力部１０３は、このフィルタ係数テーブルと、選択されたモード（図３参照）に応じて、水平、垂直の縮小率にそれぞれ対応したフィルタ係数を決定する。
【００３８】
なお、レンダリング部１０８では、入力画像データＶinに対して、水平方向および垂直方向に、例えばＦＩＲ（Finite ImpulseResponse）フィルタにより、フィルタリングが施される。そのため、フィルタ係数出力部１０３から出力されるフィルタ係数には、水平方向の所定数のタップ分の係数と、垂直方向の所定数のタップ分の係数が含まれる。
【００３９】
また、レンダリング部１０８では、入力画像データＶinを構成する輝度データＹ、青色差データＣｂおよび赤色差データＣｒに対して個々にフィルタリングが施される。そのため、フィルタ係数出力部１０３から出力されるフィルタ係数には、輝度データ用のフィルタ係数と、色差データ用のフィルタ係数が含まれる。
【００４０】
キー信号生成部１０４は、入力画像データＶinに基づいて、キー信号（ＫＥＹ信号）を生成する。例えば、キー信号生成部１０４は、ピクセル毎に、入力画像データＶinを構成する輝度データＹのレベルに応じた、所定ビットのキー信号を生成する。また、例えば、キー信号生成部１０４は、ピクセル毎に、入力画像データＶinを構成する青色差データＣｂおよび赤色差データＣｒのレベル（彩度、色相）に応じた所定ビットのキー信号を生成する。ここで、キー信号が１ビットの信号であるとき２値の信号となり、キー信号が２ビット以上であるときは４値以上の信号となる。
【００４１】
キー信号選択／合成部１０５は、図示しないシステムコントローラ等の外部機器からの制御により、キー信号生成部１０４で生成されたキー信号および外部キー信号（外部ＫＥＹ信号）のいずれか、または双方が合成されて得られたキー信号を出力する。キー信号の合成は、例えば、αブレンドにより行われる。このキー信号選択／合成部１０５は、キー信号出力部を構成している。
【００４２】
外部キー信号は、上述のキー信号生成部１０４と同様のキー信号生成部により、入力画像データＶinとは異なる他の画像データに基づいて生成されたものである。例えば、入力画像データＶinは自然画像の画像データであり、他の画像データは自然画像の画像データまたは人工画像の画像データである。自然画像の画像データとは、撮影されて得られた画像データである。これに対して、人工画像の画像データとは、人工的に作成された画像データである。
【００４３】
Ｘ，Ｙ座標変動値生成部１０６は、出力画像のピクセル単位で、キー信号選択／合成部１０５から出力されるキー信号を用い、このキー信号のレベルに応じた変動幅の座標変動値を生成する。Ｘ，Ｙ座標変動値生成部１０６は、Ｘ座標の変動値ａおよびＹ座標の変動値ｂを個々に生成する。
【００４４】
このＸ，Ｙ座標変動値生成部１０６は、例えば、予め定義されたキー信号の正規化値の関数を用いて、Ｘ，Ｙ座標の変動値ａ，ｂを生成する。これにより、Ｘ，Ｙ座標の変動値ａ，ｂとして、キー信号のレベルに応じた変動幅を持つ座標変動値が得られる。図６は、Ｘ，Ｙ座標の変動値ａ，ｂを算出する過程の一例を示している。
【００４５】
この例では、図示のように、キー信号ｓｋの正規化値ｓｋ′の一次関数が３つ予め定義されている。この３つの一次関数はそれぞれ傾きが異なっている。傾きが最も大きな関数ｆ１は、例えば、正規化値ｓｋ′が０．８より大きく１．０以下の範囲に適用され、その範囲の関数の値ｍｏｄの最大値mod_maxは２０である。
【００４６】
次に傾きが大きな関数ｆ２は、例えば、正規化値ｓｋ′が０．４より大きく０．８以下の範囲に適用され、その範囲の関数の値ｍｏｄの最大値mod_maxは１０である。最も、傾きが小さな関数ｆ３は、例えば、正規化値ｓｋ′が０．０以上で０．４以下の範囲に適用され、その範囲の関数の値ｍｏｄの最大値mod_maxは４である。
【００４７】
Ｘ，Ｙ座標変動値生成部１０６は、キー信号選択／合成部１０５から出力されるキー信号ｓｋ（この例では１２ビットの信号）を、その最大値が１となるように正規化して、正規化値ｓｋ′を得る。そして、Ｘ，Ｙ座標変動値生成部１０６は、その正規化値ｓｋ′に対応した関数の値ｍｏｄを求め、以下の（２）式、（３）式を用いて、Ｘ，Ｙ座標の座標変動値ａ，ｂを算出する。
ａ＝ｓｋ ％ ｍｏｄ −mod_max／２      ・・・（２）
ｂ＝ｓｋ ％ ｍｏｄ −mod_max／２      ・・・（３）
【００４８】
この場合、正規化値ｓｋ′が１．０付近のときは、座標変動値ａ，ｂは−９から１０のいずれかとなる。また、正規化値ｓｋ′が０．８付近のときは、座標変動値ａ，ｂは−４から５のいずれかとなる。また、正規化値ｓｋ′が０．４付近のときは、座標変動値ａ，ｂは−１から２のいずれかとなる。このように、図６の例の場合、キー信号ｓｋの値が大きいほど、座標変動値ａ，ｂの変動幅は大きくなる。
【００４９】
なお、予め定義する関数は、図６の例に限定されるものではなく、その他の関数であってもよい。例えば、予め定義する関数により、キー信号ｓｋの値が小さいほど、座標変動値ａ，ｂの変動幅が大きくなるようにすることもできる。また、例えば、予め定義する関数により、キー信号ｓｋの値が中間値で、座標変動値ａ，ｂの変動幅が大きくなるようにすることもできる。
【００５０】
また、Ｘ，Ｙ座標変動値生成部１０６は、キー信号ｓｋと座標変動値ａ，ｂとの対応関係を記憶したテーブルを備えることで、キー信号ｓｋに対応した座標変動値ａ，ｂを容易に生成できる。この場合、Ｘ，Ｙ座標変動値生成部１０６は、キー信号ｓｋを正規化する処理、正規化値ｓｋに対応した関数の値ｍｏｄを求める処理、キー信号ｓｋ、正規化値ｓｋ′および関数の値ｍｏｄを用いて変動値ａ，ｂを算出する処理等を行わないで済む。
【００５１】
座標合成部１０７は、変換座標出力部１０１から出力されるＸ，Ｙ座標と、Ｘ，Ｙ座標変動値生成部１０６で生成される座標変動値ａ，ｂを合成して、変動座標であるＸ′，Ｙ′座標を生成する。座標合成部１０７は、例えば、予め定義されたＸ，ａの関数を用い、その関数の値としてＸ′を求める。同様に、座標合成部１０７は、例えば、予め定義されたＹ，ｂの関数を用い、その関数の値としてＹ′を求める。この座標合成部１０７は、変動座標生成部を構成している。
【００５２】
以下の（４）式、（５）式は、座標合成部１０７で使用される関数の一例を示している。
Ｘ′＝Ｘ＋ａ      ・・・（４）
Ｙ′＝Ｙ＋ｂ      ・・・（５）
【００５３】
レンダリング部１０８は、入力画像データＶinに対して、フィルタ係数出力部１０３から出力されるフィルタ係数を用いたフィルタリングを施す。また、レンダリング部１０８は、出力画像の各ピクセルに対応して、出力画像データＶoutを構成する画素データを得る。この場合、レンダリング部１０８は、フィルタリング後の入力画像データＶinの各画素データのうち、座標合成部１０７から出力されるＸ′，Ｙ′座標に対応した画素データを用いて、各ピクセルに対応した画素データを生成する。なお、この場合、レンダリング部１０８は、例えば、複数個の画素データを使用した補間処理を行うことで、各ピクセル位置に精度よく対応した画素データを生成する。このレンダリング部１０８は、画像処理部を構成している。
【００５４】
図１に示す画像処理装置１００の動作を説明する。変換座標出力部１０１には、図示しないシステムコントローラ等の外部機器からどのような画像変形を行うかを示す画像変形パラメータが供給される。画像変形は、例えば、縮小、移動、回転などである。この変換座標出力部１０１からは、画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標（Ｘ，Ｙ座標）が出力される。この変換座標出力部１０１では、座標変換処理により、入力画像の座標と出力画像の座標との対応関係が決定される。
【００５５】
この変換座標出力部１０１から出力されるＸ，Ｙ座標は、縮小率算出部１０２に供給される。縮小率算出部１０２では、このＸ，Ｙ座標に基づいて、水平方向および垂直方向の画像の縮小率が算出される。このように算出される画像の縮小率は、フィルタ係数出力部１０３に供給される。このフィルタ係数出力部１０３からは、画像の縮小率に対応したフィルタ係数が出力される。このフィルタ係数は、画像の縮小に伴って発生するエリアシング（折り返し歪み）を軽減するためのものである。
【００５６】
また、キー信号生成部１０４には、入力画像データＶinが供給される。このキー信号生成部１０４では、入力画像データＶinに基づいて、キー信号（ＫＥＹ信号）が生成される。例えば、キー信号生成部１０４では、ピクセル毎に、入力画像データＶinを構成する輝度データＹのレベルに応じた、所定ビットのキー信号が生成される。また、例えば、キー信号生成部１０４では、ピクセル毎に、入力画像データＶinを構成する青色差データＣｂおよび赤色差データＣｒのレベル（彩度、色相）に応じた所定ビットのキー信号が生成される。
【００５７】
このキー信号生成部１０４で生成されるキー信号は、キー信号選択／合成部１０５に供給される。また、このキー信号選択／合成部１０５には、図示しないシステムコントローラ等の外部機器から外部キー信号（外部ＫＥＹ信号）が供給される。この外部キー信号は、上述のキー信号生成部１０４と同様のキー信号生成部により、入力画像データＶinとは異なる他の画像データに基づいて生成されたものである。
【００５８】
このキー信号選択／合成部１０５では、図示しないシステムコントローラ等の外部機器による制御により、キー信号生成部１０４で生成されたキー信号および外部キー信号のいずれか、または双方が合成されて得られたキー信号が出力される。キー信号の合成は、例えば、αブレンドにより行われる。
【００５９】
このキー信号選択／合成部１０４から出力されるキー信号は、Ｘ，Ｙ座標変動値生成部１０６に供給される。このＸ，Ｙ座標変動値生成部１０６では、出力画像のピクセル単位で、キー信号選択／合成部１０５から出力されるキー信号が用いられ、このキー信号のレベルに応じた変動幅を持つ座標変動値が生成される。この場合、Ｘ，Ｙ座標変動値生成部１０６では、Ｘ座標の座標変動値ａおよびＹ座標の座標変動値ｂが生成すされる。
【００６０】
例えば、Ｘ，Ｙ座標変動値生成部１０６では、キー信号ｓｋを正規化する処理、正規化値ｓｋに対応した関数の値ｍｏｄを求める処理、キー信号ｓｋ、正規化値ｓｋ′および関数の値ｍｏｄを用いて座標変動値ａ，ｂを算出する処理等が行われる。また、例えば、Ｘ，Ｙ座標変動値生成部１０６では、キー信号ｓｋと座標変動値ａ，ｂとの対応関係を記憶したテーブルを参照することで、キー信号ｓｋに対応した座標変動値ａ，ｂが生成される。
【００６１】
このＸ，Ｙ座標変動値生成部１０６で生成されるＸ，Ｙ座標の座標変動値ａ，ｂは、座標合成部１０７に供給される。この座標合成部１０７には、変換座標出力部１０１から出力されるＸ，Ｙ座標が供給される。この座標合成部１０７では、Ｘ，Ｙ座標と座標変動値ａ，ｂが合成されて、変動座標であるＸ′，Ｙ′座標が生成される。この座標合成部１０７では、例えば、予め定義されたＸ，ａの関数が用いられ、その関数の値としてＸ′が求められる。同様に、座標合成部１０７では、例えば、予め定義されたＹ，ｂの関数が用いられ、その関数の値としてＹ′が求められる。
【００６２】
レンダリング部１０８には、入力画像データＶinが供給されると共に、フィルタ係数出力部１０３から出力されるフィルタ係数および座標合成部１０７で生成されるＸ′，Ｙ′座標が供給される。このレンダリング部１０８では、入力画像データＶinに対して、フィルタ係数出力部１０３から出力されるフィルタ係数を用いたフィルタリングが施される。このフィルタリングにより、画像の縮小変形に伴うエリアシング（折り返し歪み）の発生が軽減される。
【００６３】
また、このレンダリング部１０８では、出力画像の各ピクセルに対応して、フィルタリング後の入力画像データＶinの各画素データのうち、Ｘ′，Ｙ′座標に対応した画素データが用いられて、出力画像データＶoutを構成する画素データが得られる。この場合、Ｘ′，Ｙ′座標は、画像変形パラメータに基づいて変換座標出力部１０１から出力されるＸ，Ｙ座標を基本としている。そのため、レンダリング部１０８で得られる出力画像データＶoutは、画像変形パラメータが示す画像変形が施された出力画像を表示するものとなる。
【００６４】
上述したように、図１に示す画像処理装置１００においては、Ｘ，Ｙ座標変動値生成部１０６で、出力画像のピクセル単位で、キー信号選択／合成部１０５から出力されるキー信号のレベルに応じた変動幅を持つＸ，Ｙ座標の座標変動値ａ，ｂが生成される。そして、座標合成部１０７では、Ｘ，Ｙ座標と座標変動値ａ，ｂが合成されて、変動座標であるＸ′，Ｙ′座標が生成される。
【００６５】
そして、レンダリング部１０８では、出力画像のピクセル単位で出力画像データＶoutを構成する画素データを得る際に、出力画像の各ピクセルに対応した入力画像の座標としてＸ′，Ｙ′座標が用いられる。そのため、画像の特定箇所に砂画のようなノイズ調の特殊な画像効果をもたらすことが可能となる。
【００６６】
図７は、キー信号選択／合成部１０５から出力されてＸ，Ｙ座標変動値生成部１０６に供給されるキー信号の一例を示している。この場合、キー信号生成部１０４では、入力画像データＶinの輝度データＹに基づいて、図７（ａ）に示すキー信号が生成される。また、外部キー信号として、図７（ｂ）に示す、人工画像の画像データの輝度データＹから作成されたキー信号が与えられる。キー信号選択／合成部１０５では、図７（ａ）に示すキー信号と図７（ｂ）に示す外部キー信号が合成されて、図７（ｃ）に示すキー信号が生成される。
【００６７】
図８は、図７（ｃ）に示すキー信号がＸ，Ｙ座標変動値生成部１０６に供給された場合の画像効果例を示している。図８（ａ）は入力画像データＶinによる画像（入力画像）を示しており、図８（ｂ）は出力画像データＶoutによる画像（出力画像）を示している。図７（ａ）に示すキー信号は、大まかに垂直方向に３段階にそのレベルが分かれており、下部のレベルが高くなっている。そのため、Ｘ，Ｙ座標変動値生成部１０６で生成される座標変動値ａ，ｂは下部でその変動幅が大きくなる。したがって、図８（ｂ）に示す出力画像では、下部で砂画のようなノイズ調の特殊な画像効果が強くなっている。
【００６８】
図９は、キー信号選択／合成部１０５から出力されてＸ，Ｙ座標変動値生成部１０６に供給されるキー信号の他の例を示している。このキー信号は、入力画像データＶinの輝度データＹに基づいて生成されたものである。つまり、この場合、キー信号選択／合成部１０５からは、キー信号生成部１０４で生成されたキー信号がそのまま出力される。
【００６９】
図１０は、図９に示すキー信号がＸ，Ｙ座標変動値生成部１０６に供給された場合における、出力画像データＶoutによる画像（出力画像）を示している。図９に示すキー信号は、輝度が高い部分でレベルが高くなっている。そのため、Ｘ，Ｙ座標変動値生成部１０６で生成される座標変動値ａ，ｂは、輝度が高い部分でその変動幅が大きくなる。したがって、図１０に示す出力画像では、輝度が高い部分で砂画のようなノイズ調の特殊な画像効果が強くなっている。
【００７０】
なお、図８（ｂ）および図１０は、「画像変形なし」の場合を示している。しかし、図示は省略するが、縮小、移動、回転などの画像変形が施される場合にあっても、変形された画像の例えば輝度の高い部分で砂画のようなノイズ調の特殊な画像効果が強く表れるようになる。
【００７１】
＜２．変形例＞
なお、上述の図１に示す画像処理装置１００においては、変換座標出力部１０１からは、どのような画像変形を行うかを示す画像変形パラメータに基づいて、出力画像のピクセル単位で、対応する入力画像の座標が出力される。そのため、レンダリング部１０８で得られる出力画像データＶoutは、画像変形パラメータが示す画像変形が施された出力画像を表示できるものとなる。しかし、この発明は、画像変形の機能を持たない画像処理装置にも適用できる。
【００７２】
図１１は、画像変換機能を持たない画像処理装置１００Ａの構成例を示している。この図１１において、図１と対応する部分には同一符号を付し、適宜その詳細説明を省略する。この画像処理装置１００Ａは、変換座標出力部１０１Ａと、キー信号生成部１０４と、キー信号選択／合成部１０５と、Ｘ，Ｙ座標変動値生成部１０６と、座標合成部１０７Ａと、レンダリング部１０８Ａを有している。
【００７３】
変換座標出力部１０１Ａでは、出力画像のピクセル単位で、対応する入力画像のＸ，Ｙ座標が出力される。この変換座標出力部１０１Ａには、図１に示す画像処理装置１００の変換座標出力部１０１とは異なり、画像変形パラメータは供給されない。そのため、この変換画像出力部１０１Ａからは、図１に示す画像処理装置１００の変換座標出力部１０１において、「画像変形なし」の場合と同様のＸ，Ｙ座標が出力される。つまり、変換座標出力部１０１Ａからは、出力画像の各ピクセルに対して、そのピクセルの座標（ｘ，ｙ）と同じ入力画像の座標（Ｘ，Ｙ）が出力される。
【００７４】
座標合成部１０７Ａでは、変換座標出力部１０１Ａから出力されるＸ，Ｙ座標と、Ｘ，Ｙ座標変動値生成部１０６で生成される座標変動値ａ，ｂが合成されて、変動座標であるＸ′，Ｙ′座標が生成される。座標合成部１０７Ａでは、図１に示す画像処理装置１００の座標合成部１０７Ａと同様に、例えば、予め定義されたＸ，ａの関数およびＹ，ｂの関数が用いられ、その関数の値としてＸ′，Ｙ′が求められる。
【００７５】
レンダリング部１０８Ａでは、出力画像の各ピクセルに対応して、入力画像データＶinの各画素データのうち、座標合成部１０７Ａから出力されるＸ′，Ｙ′座標に対応した画素データが用いられ、出力画像データＶoutを構成する画素データが得られる。このレンダリング部１０８Ａでは、図１に示す画像処理装置１００のレンダリング部１０８とは異なり、入力画像データＶinに対してエリアシング（折り返し歪み）を軽減するためのフィルタリングは行われない。これは、この画像処理装置１００Ａにおいては、図１に示す画像処理装置１００とは異なって、画像の縮小変形が行われないからである。
【００７６】
この図１１に示す画像処理装置１００Ａのその他は、図１に示す画像処理装置１００と同様に構成され、同様の動作をする。
【００７７】
この図１１に示す画像処理装置１００Ａにおいては、図１に示す画像処理装置１００とは異なって、画像変形の処理は行われない。しかし、座標合成部１０７Ａでは、Ｘ，Ｙ座標と座標変動値ａ，ｂが合成されて、変動座標であるＸ′，Ｙ′座標が生成される。そして、レンダリング部１０８Ａでは、出力画像のピクセル単位で出力画像データＶoutを構成する画素データを得る際に、出力画像の各ピクセルに対応した入力画像の座標としてＸ′，Ｙ′座標が用いられる。そのため、画像の特定箇所に砂画のようなノイズ調の特殊な画像効果をもたらすことが可能となる。
【００７８】
また、上述していないが、例えば、図１、図１１に示す画像処理装置１００，１００Ａにおいて、キー信号生成部１０４で生成されるキー信号（ＫＥＹ信号）を、所定の時間単位、例えば１フレームあるいは複数フレームの単位などで加工することも考えられる。この場合、キー信号生成部１０４は、入力画像データＶinに基づいて生成されたキー信号を、所定の時間単位で加工して出力する。この意味で、キー信号生成部１０４は、キー信号加工部を構成する。
【００７９】
キー信号生成部１０４は、キー信号の加工処理として、例えば入力画像データＶinに基づいて生成されたキー信号に加算するオフセット値を、所定の時間単位で変化させる。あるいは、キー信号生成部１０４は、キー信号の加工処理として、例えば、入力画像データＶinに基づいて生成されたキー信号に乗算する係数値を、所定の時間単位で変化させる。
【００８０】
このようにキー信号生成部１０４で生成されるキー信号が所定の時間単位で加工されることで、Ｘ，Ｙ座標変動値生成部１０６で生成される座標変動値ａ，ｂの変動幅が所定の時間単位で変化したものとなる。そのため、画像の特定箇所にもたらされる砂画のようなノイズ調の特殊な画像効果の深さを所定の時間単位で変化させることができる。
【００８１】
なお、キー信号の加工処理は、上述したようにキー信号生成部１０４で生成されるキー信号に対して行う他に、外部キー信号（外部ＫＥＹ信号）に対して、あるいはキー信号選択／合成部１０５から出力されるキー信号に対して行う構成としてもよい。
【産業上の利用可能性】
【００８２】
この発明は、画像の特定箇所に砂画のようなノイズ調の特殊な画像効果をもたらすことができ、例えば放送局等の映像編集システム等に適用できる。
【符号の説明】
【００８３】
１００，１００Ａ・・・画像処理装置
１０１，１０１Ａ・・・変換座標出力部
１０２・・・縮小率算出部
１０３・・・フィルタ係数出力部
１０４・・・キー信号生成部
１０５・・・キー信号選択／合成部
１０６・・・Ｘ，Ｙ座標変動値生成部
１０７，１０７Ａ・・・座標合成部
１０８，１０８Ａ・・・レンダリング部
【図１】
2011109279.tif 000003
【図２】
2011109279.tif 000004
【図３】
2011109279.tif 000005
【図４】
2011109279.tif 000006
【図５】
2011109279.tif 000007
【図６】
2011109279.tif 000008
【図１１】
2011109279.tif 000009
【図１２】
2011109279.tif 000010
【図１３】
2011109279.tif 000011
【図１４】
2011109279.tif 000012
【図１５】
2011109279.tif 000013
【図７】
2011109279.tif 000014
【図８】
2011109279.tif 000015
【図９】
2011109279.tif 000016
【図１０】
2011109279.tif 000017