(57)【要約】【課題】  色の境界付近で色のにじみを発生させることなく、ＹＣＣ４２２フォーマットの原画像をＹＣＣ４４４フォーマットの伸張画像に変換することができる画像処理装置を提供することを目的とする。【解決手段】  原画像上で共通の色差データが割り当てられた２つのピクセルを処理対象ピクセルとして抽出する処理対象ピクセル抽出部と、処理対象ピクセル内の各ピクセル間における輝度の差分値を第１差分として求める輝度変化検知部と、第１差分及び第１閾値を比較する第１比較部と、第１比較部による比較結果、及び、原画像上で処理対象ピクセル内の各ピクセルの配列方向に隣接する前ピクセル及び後ピクセルの色差データに基づいて、処理対象ピクセル内の各ピクセルに新たに割り当てる２つの色差データを生成する色差データ変換部により構成される。【選択図】  図９
2009231965.tif 000002
【特許請求の範囲】
【請求項１】
１ピクセルごとの輝度データ及び２ピクセルごとの色差データからなる原画像を１ピクセルごとの輝度データ及び色差データからなる伸張画像に変換して出力する画像処理装置において、
上記原画像上で共通の色差データが割り当てられた互いに隣接する２つのピクセルを処理対象ピクセルとして抽出する処理対象ピクセル抽出部と、
上記処理対象ピクセル内の各ピクセル間における輝度の差分値を第１差分として求める輝度変化検知部と、
第１差分及び第１閾値を比較する第１比較部と、
第１比較部による比較結果、及び、上記処理対象ピクセルに隣接する隣接ピクセルのうち、上記原画像上で上記処理対象ピクセル内の各ピクセルの配列方向に隣接する前ピクセル及び後ピクセルの色差データに基づいて、上記処理対象ピクセル内の各ピクセルに新たに割り当てる２つの色差データを生成する色差データ変換部とを備えたことを特徴とする画像処理装置。
【請求項２】
上記前ピクセル及び上記処理対象ピクセル間における色差の差分値を第２差分として求めるとともに、上記後ピクセル及び上記処理対象ピクセル間における色差の差分値を第３差分として求める色差変化検知部と、
第２差分及び第３差分のうち、大きい方の差分値と第２閾値とを比較するとともに、小さい方の差分値と第２閾値よりも小さな第３閾値とを比較する第２比較部とを備え、
上記色差データ変換部が、第１比較部及び第２比較部による比較結果に基づいて、上記２つの色差データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記色差データ変換部は、上記処理対象ピクセルに割り当てられている色差データと、上記前ピクセル及び上記後ピクセルのうち、上記処理対象ピクセルとの間で色差の差分値が大きな隣接ピクセルの色差データとから上記２つの色差データを生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
上記色差データ変換部は、第１差分が第１閾値を上回っており、かつ、上記大きい方の差分値が第２閾値を上回っているとともに、上記小さい方の差分値が第３閾値以下となっている場合に、上記処理対象ピクセルに割り当てられている色差データとは異なるデータを上記２つの色差データとして生成することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
上記２つの色差データのうちの一方が、上記処理対象ピクセルに割り当てられている元の色差データであることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
上記色差データ変換部は、上記処理対象ピクセル内の各ピクセルに上記２つの色差データを割り当てる際に、上記前ピクセル及び上記後ピクセルのうち、上記処理対象ピクセルとの間で色差の差分値が小さな隣接ピクセルに隣接するピクセルに対して、上記元の色差データを割り当てることを特徴とする請求項５に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、さらに詳しくは、１ピクセルごとの輝度データと２ピクセルごとの色差データとからなる原画像を１ピクセルごとの輝度データ及び色差データからなる伸張画像に変換して出力する画像処理装置の改良に関する。
【背景技術】
【０００２】
デジタルテレビ放送などのカラー映像信号に用いられる画像データのフォーマットとして、ＹＣｂＣｒ４２２フォーマットがある。ＹＣｂＣｒ４２２フォーマットは、ＲＧＢフォーマットからＹＣｂＣｒ４２２フォーマットへのデータ圧縮時に色情報の損失が少ないフォーマットとして知られている。ＹＣｂＣｒ４２２フォーマットの画像データは、輝度（Ｙ）成分と、色差（Ｃｂ及びＣｒ）成分とからなり、画像上で互いに隣接する２×２＝４ピクセル当たりに、４つのＹデータと、それぞれ２つのＣｂデータ及びＣｒデータによって構成される。一方、ＲＧＢフォーマットの画像データは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色成分からなり、１ピクセル当たりに、それぞれ１つの輝度データによって構成される。一般に、ＣＣＤ（Charge Coupled Devices：電荷結合素子）などの撮像素子によって得られるＲＧＢフォーマットの画像データをＹＣｂＣｒ４２２フォーマットの画像データに変換することにより、１ピクセル当たりのデータ量を抑えることができる。
【０００３】
しかしながら、ＲＧＢフォーマットの画像データをＹＣｂＣｒ４２２フォーマットの画像データに変換した場合、Ｙ成分が１ピクセルごとに変化するデータであるのに対して、Ｃｂ及びＣｒ成分は、いずれも２ピクセルごとに変化するデータとなる。このため、Ｙ成分が大きく変化する変化点とＣｂ又はＣｒ成分が大きく変化する変化点との間に１ピクセル分のずれが生じる場合があった。この様に、Ｙ成分の変化点とＣｂ及びＣｒ成分の変化点との間にずれが生じた場合、色の境界によっては、Ｙ成分の変化点とＣｂ及びＣｒ成分の変化点とが必ずしも一致しないこととなる。通常、ＹＣｂＣｒ４２２フォーマットの画像データを表示装置などの出力装置に入力する場合、ＲＧＢコンバータなどの画像処理装置を用いて、ＹＣｂＣｒ４２２フォーマットの画像データをＲＧＢフォーマットの画像データに変換し、画像を伸張させる処理が行われる。この様な従来の画像処理装置では、ＹＣｂＣｒ４２２フォーマットの画像データをＲＧＢフォーマットの画像データに変換した際に、上述した理由によって変化の度合いが大きな色の境界付近に色のにじみが発生し、境界付近が目立ってしまうという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上記の事情に鑑みてなされたものであり、変化の度合いが大きな色の境界付近で色のにじみが発生するのを抑制することができる画像処理装置を提供することを目的とする。特に、色の境界付近で色のにじみを発生させることなく、ＹＣｂＣｒ４２２フォーマットの原画像をＹＣｂＣｒ４４４フォーマットの伸張画像に変換することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
第１の本発明による画像処理装置は、１ピクセルごとの輝度データ及び２ピクセルごとの色差データからなる原画像を１ピクセルごとの輝度データ及び色差データからなる伸張画像に変換して出力する画像処理装置であって、上記原画像上で共通の色差データが割り当てられた互いに隣接する２つのピクセルを処理対象ピクセルとして抽出する処理対象ピクセル抽出部と、上記処理対象ピクセル内の各ピクセル間における輝度の差分値を第１差分として求める輝度変化検知部と、第１差分及び第１閾値を比較する第１比較部と、第１比較部による比較結果、及び、上記処理対象ピクセルに隣接する隣接ピクセルのうち、上記原画像上で上記処理対象ピクセル内の各ピクセルの配列方向に隣接する前ピクセル及び後ピクセルの色差データに基づいて、上記処理対象ピクセル内の各ピクセルに新たに割り当てる２つの色差データを生成する色差データ変換部とを備えて構成される。
【０００６】
この画像処理装置では、共通の色差データが割り当てられた２つのピクセルが処理対象ピクセルとして抽出され、処理対象ピクセル内の各ピクセル間の輝度の差分値が求められる。そして、この差分値と第１閾値との比較結果と、原画像上で処理対象ピクセル内の各ピクセルの配列方向に隣接する前ピクセル及び後ピクセルの色差データに基づいて、処理対象ピクセル内の各ピクセルに新たに割り当てる２つの色差データが生成される。この様な構成によれば、輝度の差分値と第１閾値との比較結果に基づいて新たに割り当てる２つの色差データが生成されるので、処理対象ピクセルについて輝度が大きく変化している場合に、新たに割り当てる色差データを元の色差データと異ならせることができる。また、処理対象ピクセルに隣接する前ピクセル及び後ピクセルの色差データに基づいて上記２つの色差データが生成されるので、新たに割り当てる色差データを元の色差データと異ならせる場合に、前後のピクセルの色差に応じた適切な色差を割り当てることができる。
【０００７】
第２の本発明による画像処理装置は、上記構成に加え、上記前ピクセル及び上記処理対象ピクセル間における色差の差分値を第２差分として求めるとともに、上記後ピクセル及び上記処理対象ピクセル間における色差の差分値を第３差分として求める色差変化検知部と、第２差分及び第３差分のうち、大きい方の差分値と第２閾値とを比較するとともに、小さい方の差分値と第２閾値よりも小さな第３閾値とを比較する第２比較部とを備え、上記色差データ変換部が、第１比較部及び第２比較部による比較結果に基づいて、上記２つの色差データを生成するように構成される。この様な構成によれば、処理対象ピクセルについて、輝度が大きく変化しているか否かと、前後のピクセルとの間で色差が大きく変化しているか否かとに応じて新たに割り当てる色差データを生成することができる。
【０００８】
第３の本発明による画像処理装置は、上記構成に加え、上記色差データ変換部が、上記処理対象ピクセルに割り当てられている色差データと、上記前ピクセル及び上記後ピクセルのうち、上記処理対象ピクセルとの間で色差の差分値が大きな隣接ピクセルの色差データとから上記２つの色差データを生成するように構成される。この様な構成によれば、処理対象ピクセルについて、色差の変化が大きな隣接ピクセルの色差データと元の色差データとから新たに割り当てる色差データが生成されるので、輝度の変化点付近における色差の変化を効果的に平滑化することができる。
【０００９】
第４の本発明による画像処理装置は、上記構成に加え、上記色差データ変換部が、第１差分が第１閾値を上回っており、かつ、上記大きい方の差分値が第２閾値を上回っているとともに、上記小さい方の差分値が第３閾値以下となっている場合に、上記処理対象ピクセルに割り当てられている色差データとは異なるデータを上記２つの色差データとして生成するように構成される。この様な構成によれば、処理対象ピクセルについて、輝度が大きく変化し、かつ、色差が前後のピクセルの一方に対してだけ大きく変化している場合に、新たに割り当てる色差データを元の色差データと異ならせることができる。これにより、輝度の変化点付近における色差の変化を平滑化できるので、変化の度合いが大きな色の境界付近で色のにじみが発生するのを抑制することができる。
【００１０】
第５の本発明による画像処理装置は、上記構成に加え、上記２つの色差データのうちの一方が、上記処理対象ピクセルに割り当てられている元の色差データであるように構成される。この様な構成によれば、処理対象ピクセルに元の色差データと異なるデータを割り当てる場合に、新たに割り当てる２つの色差データのうちの一方が元の色差データであるので、原画像における色差データからのずれが後で処理されるピクセルほど大きくなるのを抑制することができる。
【００１１】
第６の本発明による画像処理装置は、上記構成に加え、上記色差データ変換部が、上記処理対象ピクセル内の各ピクセルに上記２つの色差データを割り当てる際に、上記前ピクセル及び上記後ピクセルのうち、上記処理対象ピクセルとの間で色差の差分値が小さな隣接ピクセルに隣接するピクセルに対して、上記元の色差データを割り当てるように構成される。この様な構成によれば、処理対象ピクセルについて、色差の変化が小さな隣接ピクセルに隣接するピクセルに元の色差データが割り当てられるので、輝度の変化点付近における色差の変化を効果的に平滑化することができる。
【発明の効果】
【００１２】
本発明による画像処理装置によれば、処理対象ピクセルについて、輝度が大きく変化しているか否かと、前後のピクセルとの間で色差が大きく変化しているか否かとに応じて新たに割り当てる色差データを生成することができる。特に、処理対象ピクセルについて、輝度が大きく変化し、かつ、色差が前後のピクセルの一方に対してだけ大きく変化している場合に、新たに割り当てる色差データを元の色差データと異ならせることができる。これにより、輝度の変化点付近における色差の変化を平滑化できるので、変化の度合いが大きな色の境界付近で色のにじみが発生するのを抑制することができる。従って、色の境界付近で色のにじみを発生させることなく、ＹＣｂＣｒ４２２フォーマットの原画像をＹＣｂＣｒ４４４フォーマットの伸張画像に変換することができる画像処理装置を実現することができる。
【発明を実施するための最良の形態】
【００１３】
図１は、本発明の実施の形態による画像処理装置を含む画像処理システム１の一構成例を示したシステム図である。この画像処理システム１は、デジタルビデオカメラ２、画像処理装置３、解像度変更処理部４及び出力装置５からなり、デジタルビデオカメラ２で撮影された映像信号が出力装置５において可視化される。
【００１４】
デジタルビデオカメラ２は、被写体を撮影して映像信号を出力する撮影装置であり、ＣＣＤ２１及び色空間変換部２２からなる。ＣＣＤ２１は、多数の受光素子からなる撮像素子であり、受光量に応じた画素信号として、Ｒ、Ｇ、Ｂの色成分ごとの輝度データが生成される。
【００１５】
このＲＧＢフォーマットの画像データは、色空間変換部２２によってＹＣｂＣｒ４２２フォーマットの画像データに変換され、映像信号として出力される。ここでは、映像信号として、所定のフレームレートからなる動画像が出力されるものとする。
【００１６】
画像処理装置３に入力するＹＣｂＣｒ４２２フォーマットの映像信号は、デジタルビデオカメラ２の出力に限られるものではなく、例えば、ＤＶＤプレーヤーなど、一般的なコンポジット又はコンポーネント形式のあらゆる映像信号が想定される。また、画像処理装置３に入力するＹＣｂＣｒ４２２フォーマットの映像信号は、必要に応じて、ビデオデコーダーなどを経由させることによって、アナログＹＣｂＣｒ４２２フォーマットからデジタルＹＣｂＣｒ４２２フォーマットに量子化されるものとする。
【００１７】
画像処理装置３は、１ピクセルごとの輝度データと２ピクセルごとの色差データとからなる原画像を１ピクセルごとの輝度データ及び色差データからなる伸張画像に変換して出力するフォーマット変換装置である。この画像処理装置３では、色空間変換部２２からの映像信号を原画像として時系列に処理し、ＹＣｂＣｒ４４４又はＲＧＢフォーマットの画像データを伸張画像として生成する動作が行われる。
【００１８】
ここで、ＹＣｂＣｒ４４４フォーマットの画像データとは、画像上で互いに隣接する２×２＝４ピクセル当たりに、４つのＹデータと、それぞれ４つのＣｂデータ及びＣｒデータによって構成される画像データのことである。
【００１９】
出力装置５は、映像信号を可視化するための装置であり、画像処理装置３及び解像度変更処理部４からの画像データが処理される。この様な出力装置５としては、映像を画面表示する表示装置、静止画像を用紙に印刷するプリンタなどが用いられる。
【００２０】
解像度変更処理部４は、画像を必要に応じて拡大又は縮小させるための処理装置であり、拡大及び縮小によって画質を低下させないようにするために、画像処理装置によってＹＣｂＣｒ４４４又はＲＧＢフォーマットに変換された後の画像データが処理される。拡大処理及び縮小処理は、いずれも単位長さあたりの画素数を変更する処理であることから、これらの処理によって解像度を変更することができる。
【００２１】
図２は、図１の画像処理装置３の構成例を示したブロック図である。この画像処理装置３は、処理対象ピクセル抽出部１１、輝度変化検知部１２、閾値記憶部１３，１６、第１比較部１４、色差変化検知部１５、第２比較部１７及び色差データ変換部１８により構成される。
【００２２】
処理対象ピクセル抽出部１１は、画像データのフォーマットを変換するために、原画像から処理対象ピクセルを抽出する動作を行っている。この処理対象ピクセルは、原画像上で共通の色差データが割り当てられた互いに隣接する２つのピクセルである。処理対象ピクセル抽出部１１では、映像信号として入力されるＹＣｂＣｒ４２２フォーマットの画像データが原画像として時系列に処理され、抽出した処理対象ピクセル情報が輝度変化検知部１２、色差変化検知部１５及び色差データ変換部１８へ出力される。
【００２３】
輝度変化検知部１２は、処理対象ピクセル内の各ピクセル間における輝度の差分値（変化量）を第１差分として求める動作を行っている。第１比較部１４は、この第１差分と、閾値記憶部１３に保持されている第１閾値とを比較し、この比較結果を色差データ変換部１８へ出力する動作を行っている。
【００２４】
色差変化検知部１５は、処理対象ピクセルに隣接する隣接ピクセルのうち、前ピクセル及び当該処理対象ピクセル間における色差の差分値（変化量）を第２差分として求める動作を行っている。また、色差変化検知部１５は、処理対象ピクセルに隣接する隣接ピクセルのうち、後ピクセル及び当該処理対象ピクセル間における色差の差分値を第３差分として求める動作を行っている。
【００２５】
上記前ピクセル及び後ピクセルは、原画像上で処理対象ピクセル内の各ピクセルの配列方向に隣接する２つのピクセルである。例えば、前ピクセルは、処理対象ピクセルの直前に処理された隣接ピクセルであり、後ピクセルは、処理対象ピクセルの直後に処理される隣接ピクセルとなっている。
【００２６】
第２比較部１７は、第２差分及び第３差分のうち、大きい方の差分値と第２閾値とを比較するとともに、小さい方の差分値と第２閾値よりも小さな第３閾値とを比較し、この比較結果を色差データ変換部１８へ出力する動作を行っている。第２閾値及び第３閾値は、いずれも閾値記憶部１６内に予め格納されている。
【００２７】
色差データ変換部１８は、第１比較部１４及び第２比較部１７による比較結果に基づいて、処理対象ピクセル内の各ピクセルに新たに割り当てる２つの色差データを生成し、ＹＣｂＣｒ４４４データの色差成分として出力する動作を行っている。処理対象ピクセルに新たに割り当てる２つの色差データは、当該処理対象ピクセルに割り当てられている元の色差データと、前ピクセル及び後ピクセルのいずれかの色差データとに基づいて決定される。なお、ＹＣｂＣｒ４２２データの輝度成分は、ＹＣｂＣｒ４４４データの輝度成分としてそのまま出力される。
【００２８】
ＹＣｂＣｒ４２２フォーマットからＹＣｂＣｒ４４４フォーマットへの画像データの変換は、変化の度合いが大きな色の境界において、Ｙ成分の変化点とＣｂ及びＣｒ成分の変化点とが異なる場合に、色差成分を調整することによって行われる。
【００２９】
色差成分の調整は、次のルール（ａ）〜（ｄ）に従って行われる。
（ａ）Ｙ成分については、調整を行わず、入力データをそのまま出力データとして出力する。
（ｂ）調整は、色差成分について行い、Ｃｂ成分及びＣｒ成分をそれぞれ個別に独立して調整する。
（ｃ）調整を行うか否かは、Ｙ成分の変化と色差成分の変化との関連性によって判断する。
（ｄ）調整を行う場合には、処理対象ピクセルに新たに割り当てる２つの色差データとして、元の色差データとは異なる色差データを生成する。このとき、新たに割り当てる２つの色差データのうちの一方には、元の色差データ、すなわち、オリジナルデータがそのまま残るようにする。
【００３０】
具体的には、第１差分が第１閾値を上回っており、かつ、第２差分及び第３差分のうちの大きい方の差分値が第２閾値を上回っているとともに、小さい方の差分値が第３閾値以下となっている場合に、処理対象ピクセルに割り当てられている色差データとは異なる色差データが生成される。一方、第１差分が第１閾値以下である場合と、第１差分が第１閾値を上回っていても、第２差分及び第３差分のうちの大きい方の差分値が第２閾値以下であるか、或いは、小さい方の差分値が第３閾値を上回っている場合には、調整を行わず、元の色差データと同じ色差データが生成される。
【００３１】
また、調整を行う場合には、前ピクセル及び後ピクセルのうち、処理対象ピクセルとの間で色差の差分値が大きな隣接ピクセルの色差データと、元の色差データとに基づいて、２つの色差データが定められる。すなわち、処理対象ピクセルに新たに割り当てる２つの色差データのうちの一方には、元の色差データがそのまま用いられる。これに対し、２つの色差データのうちの他方の色差データは、前ピクセル及び後ピクセルのうち、処理対象ピクセルとの間で色差の差分値の大きな隣接ピクセルの色差データと元の色差データとから定められる。例えば、隣接ピクセルの色差と元の色差との平均値が２つの色差データのうちの他方の色差データとして出力される。
【００３２】
また、処理対象ピクセルとして抽出された各ピクセルに２つの色差データを割り当てる際には、前ピクセル及び後ピクセルのうち、処理対象ピクセルとの間で色差の差分値が大きな隣接ピクセルに隣接するピクセルに対して、元の色差データとは異なる色差データが割り当てられる。すなわち、色差の差分値が大きな隣接ピクセル側のピクセルに対して、元の色差データとは異なる色差データ、ここでは、隣接ピクセルの色差と元の色差との平均値が割り当てられる。これに対し、前ピクセル及び後ピクセルのうち、処理対象ピクセルとの間で色差の差分値が小さな隣接ピクセルに隣接するピクセルに対して、元の色差データが割り当てられる。
【００３３】
図３は、図２の画像処理装置３における動作の一例を示した図であり、処理対象のＹＣｂＣｒ４２２フォーマットの画像データの流れが示されている。Ｙ成分データは、１ピクセルごとに変化するデータであり、例えば、Ｙ０からＹ１１までのデータがこの順序で時系列に処理される。
【００３４】
これに対し、Ｃｂ及びＣｒ成分の色差データは、いずれも２ピクセルごとに変化するデータであり、２つのＹ成分データに１つの色差データが対応している。
【００３５】
この様なＹＣｂＣｒ４２２フォーマットの画像データをＹＣｂＣｒ４４４フォーマットの画像データに変換する際には、共通の色差データが割り当てられた２つのピクセルが処理対象として抽出される。そして、抽出された処理対象ピクセルについて、色差データの調整を行うか否かを判断するために、処理対象ピクセルのＹ成分データ及び色差データと、処理対象ピクセルに隣接する隣接ピクセル（前ピクセル及び後ピクセル）の色差データとが参照される。つまり、処理対象ピクセルと、前ピクセル及び後ピクセルとからなる４ピクセルの区間が色差データの調整区間となっている。
【００３６】
画像データの変換処理は、処理対象ピクセルを変更するごとに、この様な調整区間を２ピクセルずつずらしながら行われる。ただし、原画像の先頭ピクセル及び最終ピクセルについては、前ピクセル又は後ピクセルが存在しないので、これらの先頭ピクセル又は最終ピクセルが処理対象ピクセルに含まれている場合に限り、先頭ピクセル又は最終ピクセルが続いているものとして扱う。
【００３７】
図４は、図２の画像処理装置３における動作の一例を示した図であり、ＹＣｂＣｒ４２２フォーマットからＹＣｂＣｒ４４４フォーマットへの画像データの変換の様子が示されている。ｎ番目及び（ｎ＋１）番目のピクセルが処理対象ピクセルの場合、（ｎ−１）番目のピクセルが前ピクセルであり、（ｎ＋２）番目のピクセルが後ピクセルである。そして、（ｎ−１）番目から（ｎ＋２）番目のピクセルが調整区間となる。
【００３８】
画像データの変換処理では、Ｙ成分データについては入力データがそのまま出力データとして出力されるのに対して、色差データについては、処理対象ピクセルの各ピクセルに新たに割り当てる２つの色差データが生成される。この例では、共通の色差データＣｂ及びＣｒが割り当てられているｎ番目及び（ｎ＋１）番目のピクセルに対して、それぞれ新たに色差データが割り当てられる。
【００３９】
色差成分の調整を行う場合には、処理対象ピクセルに新たに割り当てる２つの色差データのうち、一方をオリジナルデータ、すなわち、元の色差データとし、他方を元の色差データとは異なる色差データとする調整が行われる。一方、色差成分の調整を行わない場合には、処理対象ピクセルに新たに割り当てる２つの色差データを共に元の色差データとし、元の色差データがそのまま処理対象ピクセルの各ピクセルに割り当てられる。
【００４０】
処理対象ピクセルとして抽出された２つのピクセルのいずれにオリジナルデータが割り当てられるかは、処理対象ピクセルと前後の隣接ピクセルとの間における色差の変化量に基づいて決定される。
【００４１】
また、色差成分の調整を行うか否かは、次の条件（１）及び（２）によって決定される。
（１）処理対象ピクセルの各ピクセル間において、輝度に一定値（第１閾値）を越える変化があること。
（２）処理対象ピクセルと前後の隣接ピクセルとの間における色差の変化量のうち、大きい方の変化量（差分値）が一定値（第２閾値）を越え、かつ、小さい方の変化量が一定値（第３閾値）以下であること。
【００４２】
これらの条件（１）及び（２）を両方とも満たす場合に、色差成分の調整が行われる。上記第１閾値としては、例えば、Ｙ成分が、ＩＴＵ−Ｒ  ＢＴ．６０１の国際規格に従って、１６以上２３５以下の範囲内の整数として量子化されている場合、又は、８ビットのフルレンジに拡張して０以上２５５以下の範囲内の整数として量子化されている場合、２５程度に定められる。
【００４３】
また、上記第２閾値及び第３閾値としては、例えば、Ｃｂ及びＣｒ成分が、いずれもＩＴＵ−Ｒ  ＢＴ．６０１の国際規格に従って、１６以上２４０以下の範囲内の整数として量子化されている場合、又は、８ビットのフルレンジに拡張して０以上２５５以下の範囲内の整数として量子化されている場合、第２閾値は４０程度、第３閾値は１０程度に定められる。ただし、第１から第３閾値の各設定値については、必要に応じて調整が可能な構成とする。
【００４４】
図５〜図１０は、図２の画像処理装置３における動作の一例を示した図であり、画像データの変換処理の具体例が示されている。図５には、処理対象ピクセルにおける輝度の変化量（差分値）が第１閾値以下である場合が示されている。この例では、処理対象ピクセルのＹ成分について、ｎ番目のピクセル及び（ｎ＋１）番目のピクセルの輝度値が共に１００であり、輝度の変化量が０となっている。
【００４５】
この様なケースは、条件（１）を満たさず、輝度の変化が小さくて、色の境界が目立たないと考えられることから、色差成分（Ｃｂ及びＣｒ）の調整は行わない。
【００４６】
図６には、処理対象ピクセルにおける輝度の変化量が第１閾値を越えているが、前後で色差変化が小さい場合が示されている。この例では、処理対象ピクセルのＹ成分について、ｎ番目のピクセルの輝度値が５０であり、（ｎ＋１）番目のピクセルの輝度値が１５０となっている。従って、処理対象ピクセルについて、輝度の変化量は１００となっている。
【００４７】
しかし、処理対象ピクセルと前後の隣接ピクセルとの間における色差の変化量は、共に０であることから、処理対象ピクセルの前後で色差の変化量が小さく、条件（２）を満たさないので、色差成分の調整は行わない。
【００４８】
図７には、処理対象ピクセルにおける輝度の変化量が第１閾値を越えているが、色差の変化量が前後で同じである場合が示されている。この例では、処理対象ピクセルのＹ成分について、ｎ番目のピクセルの輝度値が５０であり、（ｎ＋１）番目のピクセルの輝度値が１５０となっている。従って、処理対象ピクセルについて、輝度の変化量は１００となっている。
【００４９】
しかし、処理対象ピクセルと前後の隣接ピクセルとの間における色差の変化量は、共に２５となっている。具体的には、（ｎ−２）番目及び（ｎ−１）番目のピクセルについて色差値が１００であり、ｎ番目及び（ｎ＋１）番目のピクセルについて色差値が１２５となっている。また、（ｎ＋２）及び（ｎ＋３）番目のピクセルについて色差値が１５０となっており、前後の隣接ピクセルとの色差の変化量は、共に２５となっている。このため、色差の変化量が処理対象ピクセルの前後で同じであり、条件（２）を満たさないので、色差成分の調整は行わない。
【００５０】
図８には、処理対象ピクセルにおける輝度の変化量が第１閾値を越えているが、色差の変化量が前後で同じである場合の他の例が示されている。この例では、処理対象ピクセルのＹ成分について、ｎ番目のピクセルの輝度値が５０であり、（ｎ＋１）番目のピクセルの輝度値が１５０となっている。従って、処理対象ピクセルについて、輝度の変化量は１００となっている。
【００５１】
しかし、処理対象ピクセルと前後の隣接ピクセルとの間における色差の変化量は、共に５０となっている。具体的には、（ｎ−２）番目及び（ｎ−１）番目のピクセルについて色差値が１００であり、ｎ番目及び（ｎ＋１）番目のピクセルについて色差値が５０となっている。また、（ｎ＋２）及び（ｎ＋３）番目のピクセルについて色差値が１００となっており、前後の隣接ピクセルとの色差の変化量は、共に５０となっている。このため、色差の変化量が処理対象ピクセルの前後で同じであり、条件（２）を満たさないので、色差成分の調整は行わない。
【００５２】
図６〜図７の様なケースでは、色差の変化が一定間隔で段階的であるので、色の境界が目立たないと考えられる。また、図８の様なケースでは、色の境界に輪郭線が存在すると考えられることから、これらのケースでは、色差成分の調整は行わない。
【００５３】
図９には、処理対象ピクセルにおける輝度の変化量が第１閾値を越えており、しかも色差の変化量が条件（２）を満たす場合が示されている。この例では、処理対象ピクセルのＹ成分について、ｎ番目のピクセルの輝度値が５０であり、（ｎ＋１）番目のピクセルの輝度値が１５０となっている。従って、処理対象ピクセルについて、輝度の変化量は１００となっている。
【００５４】
しかも、処理対象ピクセルと前後の隣接ピクセルとの間における色差の変化量は、一方が０であり、他方が５０となっている。具体的には、（ｎ−２）番目及び（ｎ−１）番目のピクセルについて色差値が１００であり、ｎ番目及び（ｎ＋１）番目のピクセルについて色差値が１００となっている。また、（ｎ＋２）及び（ｎ＋３）番目のピクセルについて色差値が１５０となっており、前ピクセルとの色差の変化量が０であるのに対して、後ピクセルとの色差の変化量は５０となっている。
【００５５】
この様なケースは、条件（１）及び（２）を満たすので、色差成分の調整が行われる。色差成分の調整を行う場合、処理対象ピクセルの２つのピクセルのうちの一方には、オリジナルデータが割り当てられる。一方、他方には、前ピクセル及び後ピクセルのうち、処理対象ピクセルとの間で色差の差分値の大きな隣接ピクセルの色差値と処理対象ピクセルの色差値との平均値が割り当てられる。
【００５６】
隣接ピクセルの色差値と処理対象ピクセルの色差値との平均値を割り当てるピクセルは、前ピクセル及び後ピクセルのうち、処理対象ピクセルとの間で色差の差分値が大きな隣接ピクセルに隣接するピクセルとなっている。
【００５７】
すなわち、処理対象ピクセルの色差値と、前後の隣接ピクセルの色差値とを比較し、処理対象ピクセルの色差値が前後の隣接ピクセルのいずれに近いかを判断する。そして、前ピクセルの色差値に近い場合には、当該前ピクセルに隣接している処理対象ピクセルにはオリジナルデータを割り当て、後ピクセルに隣接する処理対象ピクセルには平均値を割り当てる。一方、後ピクセルの色差値に近い場合には、当該後ピクセルに隣接している処理対象ピクセルにはオリジナルデータを割り当て、前ピクセルに隣接する処理対象ピクセルには平均値を割り当てる。
【００５８】
図９では、処理対象ピクセルの色差値が前ピクセルの色差値に近くなっており、前ピクセルに隣接している処理対象ピクセルにはオリジナルデータ１００が割り当てられ、後ピクセルに隣接する処理対象ピクセルには平均値１２５が割り当てられている。
【００５９】
図１０には、処理対象ピクセルにおける輝度の変化量が第１閾値を越えており、しかも色差の変化量が条件（２）を満たす場合の他の例が示されている。この例では、処理対象ピクセルのＹ成分について、ｎ番目のピクセルの輝度値が５０であり、（ｎ＋１）番目のピクセルの輝度値が１５０となっている。従って、処理対象ピクセルについて、輝度の変化量は１００となっている。
【００６０】
しかも、処理対象ピクセルと前後の隣接ピクセルとの間における色差の変化量は、一方が５０であり、他方が０となっている。具体的には、（ｎ−２）番目及び（ｎ−１）番目のピクセルについて色差値が１００であり、ｎ番目及び（ｎ＋１）番目のピクセルについて色差値が１５０となっている。また、（ｎ＋２）及び（ｎ＋３）番目のピクセルについて色差値が１５０となっており、前ピクセルとの色差の変化量が５０であるのに対して、後ピクセルとの色差の変化量は０となっている。
【００６１】
この様なケースは、条件（１）及び（２）を満たすので、色差成分の調整が行われる。色差成分の調整を行う場合、処理対象ピクセルの２つのピクセルのうちの一方には、オリジナルデータが割り当てられる。一方、他方には、前ピクセル及び後ピクセルのうち、処理対象ピクセルとの間で色差の差分値の大きな隣接ピクセルの色差値と処理対象ピクセルの色差値との平均値が割り当てられる。
【００６２】
隣接ピクセルの色差値と処理対象ピクセルの色差値との平均値を割り当てるピクセルは、前ピクセル及び後ピクセルのうち、処理対象ピクセルとの間で色差の差分値が大きな隣接ピクセルに隣接するピクセルとなっている。
【００６３】
図１０では、処理対象ピクセルの色差値が後ピクセルの色差値に近くなっており、後ピクセルに隣接している処理対象ピクセルにはオリジナルデータ１５０が割り当てられ、前ピクセルに隣接する処理対象ピクセルには平均値１２５が割り当てられている。
【００６４】
本実施の形態によれば、処理対象ピクセルについて、輝度が大きく変化しているか否かと、前後のピクセルとの間で色差が大きく変化しているか否かとに応じて新たに割り当てる色差データを生成することができる。特に、処理対象ピクセルについて、輝度が大きく変化し、かつ、色差が前後のピクセルの一方に対してだけ大きく変化している場合に、新たに割り当てる色差データを元の色差データと異ならせることができる。これにより、輝度の変化点付近における色差の変化を平滑化できるので、変化の度合いが大きな色の境界付近で色のにじみが発生するのを抑制することができる。
【００６５】
また、処理対象ピクセルに元の色差データと異なるデータを割り当てる場合に、新たに割り当てる２つの色差データのうちの一方が元の色差データであるので、原画像における色差データからのずれが後で処理されるピクセルほど大きくなるのを抑制することができる。
【００６６】
なお、本実施の形態では、処理対象ピクセルと隣接ピクセルとの間における色差の変化量を前ピクセル及び後ピクセルについてそれぞれ閾値と比較することによって色差成分の調整を行うか否かが決定される場合の例について説明したが、本発明はこれに限られるものではない。例えば、処理対象ピクセルと前後の隣接ピクセルとの間における色差の変化量を前ピクセル及び後ピクセル間で直接に比較し、この比較結果に基づいて色差成分の調整を行うか否かを決定しても良い。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態による画像処理装置を含む画像処理システム１の一構成例を示したシステム図である。
【図２】図１の画像処理装置３の構成例を示したブロック図である。
【図３】図２の画像処理装置３における動作の一例を示した図であり、処理対象のＹＣｂＣｒ４２２フォーマットの画像データの流れが示されている。
【図４】図２の画像処理装置３における動作の一例を示した図であり、ＹＣｂＣｒ４４４フォーマットへの画像データの変換の様子が示されている。
【図５】図２の画像処理装置３における動作の一例を示した図であり、処理対象ピクセルにおける輝度の変化量（差分値）が第１閾値以下である場合が示されている。
【図６】図２の画像処理装置３における動作の一例を示した図であり、輝度の変化量が第１閾値を越えているが、前後で色差変化が小さい場合が示されている。
【図７】図２の画像処理装置３における動作の一例を示した図であり、輝度の変化量が第１閾値を越えているが、色差の変化量が前後で同じである場合が示されている。
【図８】図２の画像処理装置３における動作の一例を示した図であり、色差の変化量が前後で同じである場合の他の例が示されている。
【図９】図２の画像処理装置３における動作の一例を示した図であり、輝度の変化量が第１閾値を越え、しかも色差の変化量が条件（２）を満たす場合が示されている。
【図１０】図２の画像処理装置３における動作の一例を示した図であり、色差の変化量が条件（２）を満たす場合の他の例が示されている。
【符号の説明】
【００６８】
１  画像処理システム
２  デジタルビデオカメラ
３  画像処理装置
４  解像度変更処理部
５  出力装置
１１  処理対象ピクセル抽出部
１２  輝度変化検知部
１３，１６  閾値記憶部
１４  第１比較部
１５  色差変化検知部
１７  第２比較部
１８  色差データ変換部
【図１】
2009231965.tif 000003
【図２】
2009231965.tif 000004
【図３】
2009231965.tif 000005
【図４】
2009231965.tif 000006
【図５】
2009231965.tif 000007
【図６】
2009231965.tif 000008
【図７】
2009231965.tif 000009
【図８】
2009231965.tif 000010
【図９】
2009231965.tif 000011
【図１０】
2009231965.tif 000012