(57)【要約】  【課題】  ノイズが画像変形に伴い強調されることを抑制し、高画質な変形画像を得られる画像処理装置を提供する。  【解決手段】  ノイズ判定部１１で検出したノイズレベルが大きく、メッシュが拡大される場合には選択部２１は画像補間逆変換部２５を選択して周辺画素データを用いたフィルタ処理により変形画像データＴＲＮの画素データを算出する。それ以外の場合は、単純逆変換部２３を選択して、マッピングにより変形画像データＴＲＮの画素データを特定する。【選択図】  図１
2006127292.tif 000002
【特許請求の範囲】
【請求項１】
原画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えているか否かを判断するノイズ判断手段と、
前記原画像の変形対象の領域と、該変形対象の領域に対応する変形後の領域との大きさを比較する比較手段と、
前記ノイズ判断手段において前記ノイズレベルが前記所定の基準値を超えていると判断し、前記比較手段において原画像の変形対象の領域よりも変形後の領域が大きいと判断した場合に、当該領域の変形に対して画像補間処理を行う画像補間手段と、
を備える画像処理装置。
【請求項２】
所定サイズのブロック領域毎に画像を復号する復号手段と、
原画像の変形対象領域に存在するノイズレベルが所定の基準値を超えているか否かを判断するノイズ判断手段と、
前記原画像の変形対象領域が前記ブロック領域の境界又は境界近傍内にあるか否かを判定する境界判定手段と、
前記ノイズ判断手段において前記ノイズレベルが前記所定の基準値を超えていると判断し、前記境界判定手段において前記ブロック領域の境界又は境界近傍内にあると判定した場合に、当該領域の変形に対して画像補間処理を行う画像補間手段と、
を備える画像処理装置。
【請求項３】
原画像の変形対象領域に存在するノイズレベルが所定の基準値を超えているか否かを判断するノイズ判断ステップと、
前記原画像の変形対象領域と、該変形対象領域に対応する変形後の領域との大きさを比較する比較ステップと、
前記ノイズレベルが前記所定の基準値を超えていると判断し、前記原画像の変形対象領域よりも変形後の領域が大きいと判断した場合に、当該領域の変形に対して画像補間処理を行う画像補間ステップと、
を備える画像処理方法。
【請求項４】
原画像の変形対象領域に存在するノイズレベルが所定の基隼値を超えているか否かを判断するノイズ判断ステップと、
前記原画像の変形対象領域が画像を復号する所定サイズのブロック領域の境界又は境界近傍内にあるか否かを判定する境界判定ステップと、
前記ノイズレベルが前記所定の基準値を超えていると判断し、前記ブロック領域の境界又は境界近傍内にあると判定した場合に、当該領域の変形に対して画像補間処理を行う画像補間ステップと、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズの影響を抑えて画像変形を行うことができる画像処理装置およびその方法に関する。
【背景技術】
【０００２】
携帯電話が普及し、家族や友人との連絡やコミュニケーションに頻繁に使われるようになった。携帯電話は通話以外に、電子メールのやり取りをしたり、インターネットにアクセスして画像やゲームなどをダウンロードして利用したりするなど、データ通信を用いた各種サービスにも利用されている。
また、カメラを搭載した携帯電話も増え、携帯電話を用いて人の顔や風景を撮影してＪＰＥＧ(Joint Photographic Experts Group)ファイルとして保存し、ＪＰＥＧファイルを電子メールに添付してやり取りをすることが行われている。
さらに単に顔や風景を撮るだけではなく、撮影した画像にフレームを付けるフレーム処理や、カラー画像をモノクロにするモノクロ処理などのイフェクト処理を行ってからＪＰＥＧファイルとして保存している。
【０００３】
画像のイフェクト処理として、２枚の画像のマッチングを取って、一方の画像を他方の画像に変形させるモーフィングという技術がある。モーフィングは２枚の画像の中間画像を生成したり、２枚の画像の間を連続的に変化する中間画像によって動画を生成するために使われる。
モーフィングに使われる技術として、アフィン変換という幾何学変換がある。一般的なアフィン変換では、まず原画像の変形する領域と変形画像の変形する領域とを三角形に区切り、それら三角形を対応付ける。この三角形のことをメッシュと呼ぶ。変形前のメッシュと変形後のメッシュの頂点（３点ずつ合計６点）の座標（位置）がすでにわかっているとする。このとき、原画像上の座標と変形画像上の座標との間に成り立つ連立１次方程式を解き、変形画像上の座標に対応する原画像上の座標を求める。
【０００４】
このようにアフィン変換を用いた画像変形方法では、変形画像上の座標をアフィン変換することで原画像上の座標を求め、その画素データを取得することで、原画像を変形させた変形画像を生成することができる。
画像のデコードブロック毎にＤＣＴ(Discrete Cosine Transform) を行う手順を有する圧縮方法で圧縮された圧縮画像データ、例えばＪＰＥＧで圧縮率の高い画像であると、モスキートノイズと呼ばれるノイズが発生する。
これは原画像上で急激な色の変化がある場所、例えば人物と背景の境界線など、高周波成分が多い場所で発生するノイズで、蚊の大群がエッジにまとわりついているように見えることからこう呼ばれている。
このモスキートノイズにおいて原画像上のメッシュより変形画像上のメッシュが大きい場合、モスキートノイズが拡大されてしまい、画質を落とす原因となっている。
また、原画像が画像のブロック毎にＤＣＴを行う手順を有する圧縮方法で圧縮された圧縮画像データであり圧縮率の高い画像であると、ＤＣＴ特有のブロックノイズが発生する。ブロックとは、ＤＣＴを行う際の画像の領域（例えば、ＪＰＥＧでは８×８画素）である。
【０００５】
画像のデコードブロック毎にＤＣＴを行う手順を有する圧縮方法で高圧縮された圧縮画像データは、高周波成分が切り捨てられるため、圧縮率が高ければ高いほど、デコードしたときにブロック内の画素の色が圧縮前のブロックの平均的な色に近くなる。このため、隣り合うデコードブロック同士の間に急激な色の変化が見られ、デコードブロックの境界線が現れてしまう。これがブロックノイズである。このようなブロックノイズが発生している画像に対して、アフィン変換を用いて画像を変形すると、このブロックノイズが変形画像にも引き継がれてしまうため、画質を落とす原因となっている。特に原画像上のメッシュが変形画像上のメッシュよりも小さな場合、ブロックノイズが拡大されてしまい、画質を落とす原因となっている。  ノイズを取り除く方法として、あらかじめ原画像の全ての画素に対してぼかし処理などのフィルタリング処理を行っているものがある。
【０００６】
なお、ＤＣＴ変換手法を用いた圧縮画像データを携帯電話機が用いることは下記特許文献が開示している。
【特許文献１】特開２０００−３３３１４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
携帯電話機では、一般的に画像を伝送するサイズを小さくするため、またはメモリの節約のためにＪＰＥＧ圧縮方法などを使用し、かつ圧縮率を高くすることでファイルサイズを小さくしている。このため携帯電話機では、モスキートノイズやブロックノイズが発生しやすい。従来の画像変形装置ではモスキートノイズやブロックノイズが発生した画像を変形すると、変形後の変形画像にモスキートノイズやブロックノイズが引きずられ、それらノイズをより強調してしまう問題がある。
また、上記課題に関して、変形前に原画像の全ての画素に対してフィルタリング処理を行う従来の変形画像表示装置は、演算時間が掛かる問題がある。逆変換処理の結果、原画像の同一画素を複数回参照する場合（例えば、原画像のメッシュの幅又は高さが変形画像のメッシュの幅又は高さより小さな場合）で、かつその中にブロックノイズやモスキートノイズが含まれていた場合、ブロックノイズやモスキートノイズが拡大されてしまう。
しかし原画像のメッシュの幅又は高さが変形画像のメッシュの幅又は高さより大きな場合は、変形画像で原画像の同じ座標点が存在することがないためにノイズの影響が少ない。従来の画像変形処理ではこれらの特徴を考慮しないですべての画素に対してフィルタリング処理するため、効率が悪い。特に携帯電話では、ＣＰＵやメモリに制限があるため、なるべく演算量やメモリを抑えたい。
また、従来方法ではあらかじめ原画像をフィルタリング処理するときにフィルタリング用の記憶領域も必要となる。
【０００８】
本発明は上述した従来技術の問題点を解決するために、画像変形に伴いノイズが強調されることを抑制し、高画質な変形画像を得られる画像処理装置および画像処理方法を提供することを目的とする。
また、本発明は、画像変形時に画質向上のための画像処理を行う場合に、メモリの記憶容量、並びに演算量を削減できる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の発明の画
像処理装置は、原画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えているか否かを判断するノイズ判断手段と、前記原画像の変形対象の領域と、該変形対象の領域に対応する変形後の領域との大きさを比較する比較手段と、前記ノイズ判断手段において前記ノイズレベルが前記所定の基準値を超えていると判断し、前記比較手段において原画像の変形対象の領域よりも変形後の領域が大きいと判断した場合に、当該領域の変形に対して画像補間処理を行う画像補間手段とを備える。
【００１０】
第２の観点の発明の画像処理装置は、所定サイズのブロック領域毎に画像を復号する復号手段と、原画像の変形対象領域に存在するノイズレベルが所定の基準値を超えているか否かを判断するノイズ判断手段と、前記原画像の変形対象領域が前記ブロック領域の境界又は境界近傍内にあるか否かを判定する境界判定手段と、前記ノイズ判断手段において前記ノイズレベルが前記所定の基準値を超えていると判断し、前記境界判定手段において前記ブロック領域の境界又は境界近傍内にあると判定した場合に、当該領域の変形に対して画像補間処理を行う画像補間手段とを備える。
【００１１】
第３の観点の発明の画像処理方法は、原画像の変形対象領域に存在するノイズレベルが所定の基準値を超えているか否かを判断するノイズ判断ステップと、前記原画像の変形対象領域と、該変形対象領域に対応する変形後の領域との大きさを比較する比較ステップと、前記ノイズレベルが前記所定の基準値を超えていると判断し、前記原画像の変形対象領域よりも変形後の領域が大きいと判断した場合に、当該領域の変形に対して画像補間処理を行う画像補間ステップとを備える。
【００１２】
第４の観点の発明の画像処理方法は、原画像の変形対象領域に存在するノイズレベルが所定の基隼値を超えているか否かを判断するノイズ判断ステップと、前記原画像の変形対象領域が画像を復号する所定サイズのブロック領域の境界又は境界近傍内にあるか否かを判定する境界判定ステップと、前記ノイズレベルが前記所定の基準値を超えていると判断し、前記ブロック領域の境界又は境界近傍内にあると判定した場合に、当該領域の変形に対して画像補間処理を行う画像補間ステップとを備える。
【発明の効果】
【００１３】
本発明によれば、画像変形に伴いノイズが強調されることを抑制し、高画質な変形画像を得られる画像処理装置および画像処理方法を提供することができる。
また、本発明によれば、画像変形時に画質向上のための画像処理を行う場合に、メモリの記憶容量、並びに演算量を削減できる画像処理装置および画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態に係わる画像処理装置について説明する。
＜第１実施形態＞
以下、本発明の第１実施形態を説明する。
図１は、本発明の第１実施形態の画像処理装置１の構成図である。
図１に示すように、画像処理装置１は、例えば、メッシュ座標生成部１０、ノイズ判定部１１、領域比較部１３および逆変換部１５を有する。
なお、本実施形態では、メッシュ座標生成部１０を逆変換部１５とは別に設けた場合を例示するが、メッシュ座標生成部１０を逆変換部１５の機能の一部として実現してもよい。
【００１５】
メッシュ座標生成部１０は、入力操作などに応じて、原画像データＯＲＧ内の各メッシュについて、その変形後のメッシュ（変形画像データＴＲＮ内のメッシュ）との対応関係を決定する。
具体的には、メッシュ座標生成部１０は、例えば、原画像データＯＲＧ内の各メッシュの３頂点の座標と、それに対応した変形画像データＴＲＮ内のメッシュの３頂点とを生成し、それぞれの頂点をアフィン逆変換を基にした下記式（１），（２）に代入して６つの連立１次方程式を規定する。
下記式（１），（２）において、原画像データＯＲＧのメッシュの頂点の座標を座標Ｍ０（Ｍ０ｘ，Ｍ０ｙ）とし、変形画像データＴＲＮのメッシュの頂点の座標を座標Ｍ１（Ｍ１ｘ，Ｍ１ｙ）とする。
【００１６】
（数１）
Ｍ０ｘ＝ａＭ１ｘ＊ｂＭ１ｙ＋ｃ                      …（１）
【００１７】
（数２）
Ｍ０ｙ＝ｄＭ１ｘ＊ｅＭ１ｙ＋ｆ                      …（２）
【００１８】
そして、メッシュ座標生成部１０は、上記６つの連立１次方程式を解いて上記式（１），（２）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを生成する。
以降、これにより、上記式（１），（２）を基に、原画像データＯＲＧ内の各メッシュ内の座標と、その変形後のメッシュ（変形画像データＴＲＮ内のメッシュ）内の座標との対応関係が規定される。
【００１９】
ノイズ判定部１１は、メッシュ座標生成部１０から指定された原画像データＯＲＧ内のメッシュ（本発明の第１のメッシュ）に存在するノイズレベルと、第１の基準値および第２の基準値（第１の基準値＞第２の基準値）との間の大小関係を判断し、その判断の結果を示すノイズ判定信号Ｓ１１を生成し、これを逆変換部１５に出力する。
具体的には、ノイズ判定部１１は、指定された原画像データＯＲＧ内のメッシュに存在するノイズレベルが第１の基準値より大きい場合に「大」を示し、第２の基準値より大きく第１の基準値以下の場合に「中」を示し、第２の基準値以下の場合に「小」を示すノイズ判定信号Ｓ１１を生成する。
このとき、メッシュ座標生成部１０は、変形画像データＴＲＮの画素データの生成対象となるメッシュに対応した原画像データＯＲＧのメッシュを指定している。
【００２０】
領域比較部１３は、メッシュ座標生成部１０から指定された原画像データＯＲＧの上記指定されたメッシュと、変形画像データＴＲＮ内の対応したメッシュとの大きさを比較する。
具体的には、領域比較部１３は、原画像データＯＲＧ内の上記指定されたメッシュの３頂点の座標と、変形画像データＴＲＮ内の対応したメッシュの３頂点の座標とを基に、原画像データＯＲＧ内の上記指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さいか否かを判断し、その判断の結果を示す大きさ判断信号Ｓ１３を逆変換部１５に出力する。
【００２１】
図１に示すように、逆変換部１５は、例えば、選択部２１、単純逆変換部２３および画像補間逆変換部２５を有する。
選択部２１は、ノイズ判定部１１からのノイズ判定信号Ｓ１１と、領域比較部１３からの大きさ判断信号Ｓ１３とを基に、ノイズ判定信号Ｓ１１が「大」を示す場合、あるいは、ノイズ判定信号Ｓ１１が「中」を示し且つ原画像データＯＲＧ内の指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さいという条件を満たすか否かを判断する。
選択部２１は、上記条件を満たすと判断すると、画像補間逆変換部２５を選択し、上記条件を満たさないと判断すると単純逆変換部２３を選択する。
【００２２】
図２は、図１に示す単純逆変換部２３の処理を説明するためのフローチャートである。
単純逆変換部２３は、変形画像データＴＲＮのメッシュ内の座標データに対応した原画像データＯＲＧのメッシュ内の座標データを上記式（１），（２）を用いて計算する（ステップＳＴ１）。
次に、画像処理装置１は、ステップＳＴ１で計算した原画像データＯＲＧの座標データに対応した画素データを原画像データＯＲＧから取得して記憶する（ステップＳＴ２）。
【００２３】
図３は、図１に示す画像補間逆変換部２５の処理を説明するためのフローチャートである。
画像補間逆変換部２５は、変形画像データＴＲＮのメッシュ内の座標データに対応した原画像データＯＲＧのメッシュ内の座標データを上記式（１），（２）を用いて計算する（ステップＳＴ１１）。
次に、画像補間逆変換部２５は、例えば、ステップＳＴ１１で計算した原画像データＯＲＧの座標データ、並びにその近傍の座標データに対応した画素データを原画像データＯＲＧから取得して、これら複数の画素データをフィルタ処理して新たな画素データを生成する（ステップＳＴ１２）。
当該フィルタ処理は、例えば、ぼかし処理、メディアンフィルタ処理、バイリニア補間処理、あるいはバイキュービック補間処理である。
次に、画像処理装置１は、変形画像データＴＲＮの対応する画素データとして、ステップＳＴ１２で生成した新たな画素データを記憶する（ステップＳＴ１３）。
【００２４】
単純逆変換部２３および画像補間逆変換部２５は、図２および図３の処理を各メッシュ内の全ての座標データについて行う。なお、原画像データＯＲＧおよび変形画像データＴＲＮ内の全てのメッシュについて、単純逆変換部２３あるいは画像補間逆変換部２５の処理が行われる。
なお、単純逆変換部２３による新たな画素データの処理量（演算量）は、画像補間逆変換部２５による新たな画素データの処理量より小さい。
【００２５】
以下、図１に示す画像処理装置１の全体動作例を説明する。
図４は、図１に示す画像処理装置１の全体動作例を説明するためのフローチャートである。
ステップＳＴ２１：
メッシュ座標生成部１０は、入力操作などに応じて、原画像データＯＲＧ内の選択したメッシュについて、その変形後のメッシュ（変形画像データＴＲＮ内のメッシュ）との対応関係、すなわち、アフィン逆変換を基にした上記式（１），（２）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを生成する。
メッシュ座標生成部１０は、以後、上記式（１），（２）を基に原画像データＯＲＧのメッシュ内の座標データを指定する。
ステップＳＴ２２：
ノイズ判定部１１は、メッシュ座標生成部１０から指定された原画像データＯＲＧ内のメッシュに存在するノイズレベルと、第１の基準値および第２の基準値（第１の基準値＞第２の基準値）との間の大小関係を判断し、その判断の結果を示すノイズ判定信号Ｓ１１を生成し、これを逆変換部１５に出力する。
【００２６】
ステップＳＴ２３：
画像処理装置１は、ステップＳＴ２２でノイズ判定信号Ｓ１１が「大」を示す場合にステップＳＴ２４に進み、「中」を示す場合にステップＳＴ２６に進み、「小」を示す場合にステップＳＴ２８に進む。
【００２７】
ステップＳＴ２４：
逆変換部１５の選択部２１は、画像補間逆変換部２５を選択する。
画像補間逆変換部２５は、図３を用いて説明したように、原画像データＯＲＧ内の指定された座標データ、並びにその周囲の座標データに対応した画素データをフィルタ処理して新たな画素データを生成し、記憶する。そして、処理中のメッシュ内の全ての座標に対して当該処理を行う。
【００２８】
ステップＳＴ２６：
領域比較部１３は、メッシュ座標生成部１０から指定された原画像データＯＲＧの上記指定されたメッシュと、変形画像データＴＲＮ内の対応したメッシュとの大きさを比較する。
ステップＳＴ２７：
逆変換部１５の選択部２１は、ステップＳＴ２６で原画像データＯＲＧ内の指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さいと判断するとステップＳＴ２４に進み、そうでない場合にはステップＳＴ２８に進む。
【００２９】
ステップＳＴ２８：
逆変換部１５の選択部２１は、単純逆変換部２３を選択する。
単純逆変換部２３は、図２を用いて説明したように、原画像データＯＲＧ内の指定された座標データに対応する画素データを、変形画像データＴＲＮ内の対応する座標データの画素データとして記憶する。そして、単純逆変換部２３は、処理中のメッシュ内の全ての座標に対して、当該処理を行う。
ステップＳＴ３０：
画像処理装置１は、変形画像データＴＲＮ内の全てのメッシュについてステップＳＴ２１〜ＳＴ２８の処理を終了したか否かを判断し、終了したと判断すると処理を終了し、そうでない場合はステップＳＴ１に戻る。
【００３０】
以上説明したように、画像処理装置１では、ノイズ判定部１１において原画像データＯＲＧのメッシュのノイズレベルが「大」と判断された場合、あるいは、ノイズ判定部１１において原画像データＯＲＧのメッシュのノイズレベルが「中」と判断され且つ原画像データＯＲＧのメッシュが変形画像データＴＲＮのメッシュより小さいと判断された場合場合に図３を用いて説明した画素補間逆変換処理を行い、それ以外の場合に図２を用いて説明した単純逆変換処理を行なう。
そのため、画像処理装置１によれば、原画像データＯＲＧに存在する大きなモスキートノイズが強調されることを抑制でき、高画質な変形画像データＴＲＮを生成できる。
例えば、従来の手法では、図５に示すように、家の画像を拡大する場合に、原画像データＯＲＧが図５（Ａ）に示すように低圧縮画像である場合にはモスキートノイズはそれ程強調されないが、図５（Ｂ）に示すように、原画像データＯＲＧが高圧縮画像である場合にはモスキートノイズが強調される。
画像処理装置１によれば、図５（Ｂ）に示す場合でも、モスキートノイズの強調を抑制できる。
また、画像処理装置１では、上述した条件を満たす場合に、画素補間逆変換処理を行い、それ以外の場合に単純逆変換処理を行なうため、常に画素補間逆変換処理を行う場合に比べて、メモリの記憶容量および演算量を削減できる。
画像処理装置１は、携帯電話機などのように、メモリの記憶容量が比較的小さく、演算処理能力が低く、しかも高い画像圧縮率を用いるシステムに用いると特に効果的である。
【００３１】
＜第２実施形態＞
以下、本発明の第２実施形態を説明する。
図６は、本発明の第２実施形態の画像処理装置４１の構成図である。
図６に示すように、画像処理装置４１は、例えば、メッシュ座標生成部１０、ノイズ判定部１１、領域比較部１３、逆変換部４５、デコーダ５０およびブロック境界検出部５５を有する。
なお、本実施形態では、メッシュ座標生成部１０を逆変換部４５とは別に設けた場合を例示するが、メッシュ座標生成部１０を逆変換部４５の機能の一部として実現してもよい。
【００３２】
図６において、図１と同じ符号を付した構成要素は、第１実施形態で説明したものと同じである。
以下、図６に示すデコーダ５０、ブロック境界検出部５５および選択部５３について説明する。
デコーダ５０は、例えば、８ｘ８画素などの所定のデコードブロックを単位として逆ＤＣＴ処理などのデコード処理を原画像データＯＲＧ０に対して行って原画像データＯＲＧを生成し、これをノイズ判定部１１、逆変換部４５およびブロック境界検出部５５に出力する。
ブロック境界検出部５５は、例えば、メッシュ座標生成部１０によって指定された原画像データＯＲＧのメッシュ内の座標データが、上記デコードブロックの境界上、あるいは、当該境界から所定の距離内の座標を示すという条件を満たすか否かを検出し、その検出結果を示す検出信号Ｓ５５を逆変換部４５に出力する。
選択部５３は、ノイズ判定部１１からのノイズ判定信号Ｓ１１と、領域比較部１３からの大きさ判断信号Ｓ１３と、ブロック境界検出部５５からの検出信号Ｓ５５とを基に、ノイズ判定信号Ｓ１１が「大」を示し且つ検出信号Ｓ５５が上記条件を満たすことを示す場合、あるいは、ノイズ判定信号Ｓ１１が「中」を示し、原画像データＯＲＧ内の指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さく、且つ検出信号Ｓ５５が上記条件を満たすことを示す場合に、画像補間逆変換部２５を選択し、それ以外の場合に単純逆変換部２３を選択する。
【００３３】
以下、図６に示す画像処理装置４１の全体動作例を説明する。
図７は、図６に示す画像処理装置４１の全体動作例を説明するためのフローチャートである。
ステップＳＴ４１：
メッシュ座標生成部１０は、入力操作などに応じて、原画像データＯＲＧ内の選択したメッシュについて、その変形後のメッシュ（変形画像データＴＲＮ内のメッシュ）との対応関係、すなわち、アフィン逆変換を基にした上記式（１），（２）の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを生成する。
メッシュ座標生成部１０は、以後、上記式（１），（２）を基に原画像データＯＲＧのメッシュ内の座標を指定する。
ステップＳＴ４２：
ノイズ判定部１１は、メッシュ座標生成部１０から指定された原画像データＯＲＧ内のメッシュに存在するノイズレベルと、第１の基準値および第２の基準値（第１の基準値＞第２の基準値）との間の大小関係を判断し、その判断の結果を示すノイズ判定信号Ｓ１１を生成し、これを逆変換部４５に出力する。
【００３４】
ステップＳＴ４３：
画像処理装置４は、ステップＳＴ４２でノイズ判定信号Ｓ１１が「大」を示す場合にステップＳＴ４４に進み、「中」を示す場合にステップＳＴ４８に進み、「小」を示す場合にステップＳＴ５０に進む。
【００３５】
ステップＳＴ４４：
選択部５３は、ブロック境界検出部５５からの検出信号Ｓ５５が上記条件を満たすことを示す場合、すなわち、メッシュ座標生成部１０によって指定された原画像データＯＲＧのメッシュ内の座標データが、上記デコードブロックの境界上、あるいは、当該境界から所定の距離内の座標を示すという条件を満たすことを示す場合にステップＳＴ４５に進み、そうでない場合にステップＳＴ４６に進む。
ステップＳＴ４５：
画像補間逆変換部２５は、図３を用いて説明したように、原画像データＯＲＧ内の指定された座標データ、並びにその周囲の座標データに対応した画素データをフィルタ処理して新たな画素データを生成して記憶する。
ステップＳＴ４６：
単純逆変換部２３は、図２を用いて説明したように、原画像データＯＲＧ内の指定された座標データに対応する画素データを、変形画像データＴＲＮのメッシュ内の対応座標データの画素データとして記憶する。
画像補間逆変換部２５は、上記ステップＳＴ４５，ＳＴ４６の処理を、変形画像データＴＲＮの処理中のメッシュ内の全ての座標に対して行う。
【００３６】
ステップＳＴ４５，４６：
画像処理装置４１は、変形画像データＴＲＮの処理中のメッシュ内の全ての座標に対して行う。
【００３７】
ステップＳＴ４８：
領域比較部１３は、メッシュ座標生成部１０から指定された原画像データＯＲＧの上記指定されたメッシュと、変形画像データＴＲＮ内の対応したメッシュとの大きさを比較する。
ステップＳＴ４９：
選択部５３は、ステップＳＴ４８で原画像データＯＲＧ内の指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さいと判断するとステップＳＴ４４に進み、そうでない場合にはステップＳＴ５０に進む。
【００３８】
ステップＳＴ５０：
単純逆変換部２３は、図２を用いて説明したように、原画像データＯＲＧ内の指定された座標データに対応する画素データを、変形画像データＴＲＮのメッシュ内の対応座標データの画素データとして記憶する。
画像処理装置４１は、変形画像データＴＲＮの処理中のメッシュ内の全ての座標に対して当該処理を行う。
ステップＳＴ５２：
画像処理装置４１は、変形画像データＴＲＮ内の全てのメッシュに画素データの生成あるいは取得を終了したか否かを判断し、終了したと判断すると処理を終了し、そうでない場合はステップＳＴ４１に戻る。
【００３９】
以上説明したように、画像処理装置４１では、選択部５３においてノイズ判定信号Ｓ１１が「大」を示し且つ検出信号Ｓ５５が前述した条件を満たすことを示す場合、あるいは、ノイズ判定信号Ｓ１１が「中」を示し、原画像データＯＲＧ内の指定されたメッシュの幅または高さが変形画像データＴＲＮ内の対応したメッシュより小さく、且つ検出信号Ｓ５５が前述した条件を満たすことを示す場合に画像補間逆変換部２５を選択し、それ以外の場合に単純逆変換部２３を選択する。
そのため、画像処理装置１によれば、原画像データＯＲＧに存在するブロックノイズが強調されることを抑制でき、高画質な変形画像データＴＲＮを生成できる。
例えば、図８に示すように、メッシュＡ，Ｂ，Ｃに対して縦横２倍にする画像変形処理を行う場合に、従来手法では、変形画像データＴＲＮ内のメッシュＤ，Ｅ，Ｆが生成される。ここで、メッシュＤ，Ｅ，Ｆは、縦横が２倍になっているため、原画像データＯＲＧ内の１画素が４画素に拡大される。原画像データＯＲＧのデコードブロックにノイズが存在すると、メッシュＤ，Ｅ，Ｆではそのノイズがそのまま拡大され、図８に示すように、デコードブロックの境界が鮮明に現れる。
一方、本実施形態の画像処理装置４１によれば、図８に示すように、デコードブロックのノイズがぼかされ、デコードブロックの境界が従来手法の場合に比べて目立たなくなる。
また、画像処理装置４１では、上述したように選択的に画素補間逆変換処理を行い、それ以外の場合に単純逆変換処理を行なうため、常に画素補間逆変換処理を行う場合に比べて、メモリの記憶容量および演算量を削減できる。
画像処理装置４１は、携帯電話機などのように、メモリの記憶容量が比較的小さく、演算処理能力が低く、しかも高い画像圧縮率を用いるシステムに用いると特に効果的である。
【００４０】
本発明は上述した実施形態には限定されない。
例えば、上述した第１実施形態の画像処理装置１において、ステップＳＴ２３でノイズレベルと単数の所定の基準値との大小関係のみを判断し、ノイズレベルが所定の基準値を越えた場合に画素補間逆変換処理を選択し、そうでない場合に単純逆変換処理を選択してもよい。
また、上述した第２実施形態の画像処理装置４１において、ノイズレベルが第２の基準値を越えていれば、全てステップＳＴ４８に進むようにしてもよい。
また、上述した実施形態では、本発明の単位ブロックとして三角形のメッシュを例示したが、本発明は、三角形以外の形状の単位ブロックを用いてもよい。
【産業上の利用可能性】
【００４１】
本発明は、画像処理システムに適用可能である。
【図面の簡単な説明】
【００４２】
【図１】図１は、本発明の第１実施形態の画像処理装置の構成図である。
【図２】図２は、図１に示す単純逆変換部の処理を説明するためのフローチャートである。
【図３】図３は、図１に示す画像補間逆変換部の処理を説明するためのフローチャートである。
【図４】図４は、図１に示す画像処理装置の全体動作例を説明するためのフローチャートである。
【図５】図５は、図１に示す画像処理装置の効果を説明するための図である。
【図６】図６は、本発明の第２実施形態の画像処理装置の構成図である。
【図７】図７は、図６に示す画像処理装置の全体動作例を説明するためのフローチャートである。
【図８】図８は、図６に示す画像処理装置の効果を説明するための図である。
【符号の説明】
【００４３】
１…画像処理装置、１０…メッシュ座標生成部、１１…ノイズ判定部、１３…領域比較部、１５…逆変換部、２１…選択部、２３…単純逆変換部、２５…画像補間逆変換部、５０…デコーダ、５３…選択部、５５…ブロック境界検出部
【図１】
2006127292.tif 000003
【図２】
2006127292.tif 000004
【図３】
2006127292.tif 000005
【図４】
2006127292.tif 000006
【図５】
2006127292.tif 000007
【図６】
2006127292.tif 000008
【図７】
2006127292.tif 000009
【図８】
2006127292.tif 000010