(57)【要約】【課題】画像信号から失われてしまった可能性のある周波数成分が存在する場合であっても、これを補い画像の画質を向上させることができる画像処理装置、画像処理方法を提供する。【解決手段】本発明の画像処理装置は、ドメインブロックＳ２を取得するドメインブロック抽出部２と、取得されたドメインブロックＳ２に所定の変換操作を施してドメインブロックＤＣＴ係数群Ｓ４を得るドメインブロック直交変換部４と、ドメインブロックＤＣＴ係数群Ｓ４から画像の劣化した成分に相当する係数の選別を行う劣化係数判定部５と、劣化係数判定部５の選別結果とドメインブロックＤＣＴ係数群Ｓ４に応じて合成ＤＣＴ係数群Ｓ１８を生成する係数合成部１８と、合成ＤＣＴ係数群Ｓ１８に所定の逆変換操作を施して拡大部分画像Ｓ１９を出力する逆変換部１９とを有する。【選択図】図１
2010093334.tif 000002
【特許請求の範囲】
【請求項１】
元画像から成分係数行列に変換を行う変換手段と、
前記成分係数行列から画像の劣化した成分に相当する領域を判定する劣化係数判定手段と、
前記劣化係数判定手段が判定した結果と前記成分係数行列とに応じて新たな成分係数行列を生成する係数生成手段と、
前記係数生成手段が生成する新たな成分係数行列に対して前記変換手段が行う変換の逆変換を行い画像を出力する逆変換手段と、
を備える画像処理装置。
【請求項２】
前記変換手段が行う変換は、直交変換であり、
前記逆変換手段が行う逆変換は、前記直交変換の逆変換であること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記係数生成手段は、前記変換手段が変換した成分係数行列の少なくとも一部を含むように新たな成分係数行列を生成すること、
を特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記係数生成手段は、前記劣化係数判定手段が劣化していると判定した領域の成分を新たな成分に置き換えて新たな成分係数行列を生成すること、
を特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記係数生成手段が置き換えを行う新たな成分は、前記元画像から生成した成分であること、
を特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記劣化係数判定手段は、前記変換手段が変換した成分係数行列の係数を閾値と比較して判定を行うこと、
を特徴とする請求項１から請求項５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記劣化係数判定手段は、前記元画像のメディアタイプに応じて設定された領域を劣化しているものとして判定すること、
を特徴とする請求項１から請求項５までのいずれか１項に記載の画像処理装置。
【請求項８】
前記劣化係数判定手段は、劣化していると判定する領域を劣化の度合いに応じて多値化し、
前記係数生成手段は、劣化していると判定された領域の多値化された値に応じて、前記劣化していると判定された領域に相当する領域の成分を生成して新たな成分係数行列を生成すること、
を特徴とする請求項１から請求項７までのいずれか１項に記載の画像処理装置。
【請求項９】
元画像から成分係数行列に変換を行い、
前記成分係数行列から画像の劣化した成分に相当する領域を判定し、
前記判定の結果と前記成分係数行列とに応じて新たな成分係数行列を生成し、
前記新たな成分係数行列に対して前記変換の逆変換を行い画像を出力する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、解像度変換を行う画像処理装置、画像処理方法に関するものである。
【背景技術】
【０００２】
従来、解像度変換を行う手法の一つとして、直交変換を用いた方法が知られている（特許文献１）。これは、元画像を離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などの直交変換を用いて周波数成分に分解した後、高周波成分の係数を拡張して０を補う。そしてその拡張された係数を逆変換することで、拡大された画像を得る手法である。
また、拡張して補う高周波成分として、フラクタル画像の高周波成分を補うことで拡大画像を高画質化する手法が知られている（特許文献２）。
さらに、直交変換係数の拡張を行うに先立って、元画像の高周波成分にゲインをかけて画像の高域強調を行うことで拡大画像の高画質化を行う手法も知られている（特許文献３）。
【特許文献１】特開平０２−０７６４７２号公報
【特許文献２】特開２０００−３１２２９４号公報
【特許文献３】特開２００６−０６５８８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
近年、画像信号は、直交変換を応用した画像圧縮がなされることが一般的である。このような手法によって高圧縮率で圧縮された画像は、ＤＣＴ高域成分の係数が失われ、場合によってはほぼ０になってしまう特徴がある。こういった画像に対して係数拡張を行って拡大画像を生成すると、ナイキスト周波数周辺の視覚的に重要な周波数成分が失われてしまっているために、拡大画像にぼやけが生じてしまう問題がある。
また、高域成分の係数が０になってしまっているために、高域成分にゲインをかけて高域強調を行っても係数が０のままになってしまい、高域強調の効果が現れ難いという問題がある。
さらに、符号化圧縮以外にも、撮像時のピンぼけやぶれ、アナログ伝送による高周波信号の減衰などによって高域成分の係数が失われる場合もあり、この場合にも拡大画像にぼやけが生じてしまう問題がある。
【０００４】
本発明の課題は、画像信号から失われてしまった可能性のある周波数成分が存在する場合であっても、これを補い画像の画質を向上させることができる画像処理装置、画像処理方法を提供することである。
【課題を解決するための手段】
【０００５】
本発明の第１の側面としての画像処理装置は、元画像から成分係数行列に変換を行う変換手段と、前記成分係数行列から画像の劣化した成分に相当する領域を判定する劣化係数判定手段と、前記劣化係数判定手段が判定した結果と前記成分係数行列とに応じて新たな成分係数行列を生成する係数生成手段と、前記係数生成手段が生成する新たな成分係数行列に対して前記変換手段が行う変換の逆変換を行い画像を出力する逆変換手段とを備える。
【０００６】
本発明の第２の側面としての画像処理方法は、元画像から成分係数行列に変換を行い、前記成分係数行列から画像の劣化した成分に相当する領域を判定し、前記判定の結果と前記成分係数行列とに応じて新たな成分係数行列を生成し、前記新たな成分係数行列に対して前記変換の逆変換を行い画像を出力する。
【発明の効果】
【０００７】
本発明によれば、画像の劣化した情報を補うことが可能となり、画質の向上を図ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明を実施するための最良の形態について図面等を参照して説明する。
なお、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。
また、以下の説明では、具体的な構成、数値、動作等を示して説明を行うが、これらは、適宜変更することができる。
【０００９】
（第１実施形態）
図１は、本発明による画像処理装置の第１実施形態の構成を示す図である。
図２は、ドメインブロック及びレンジブロックの概念図である。
以下、本実施形態の画像処理装置の構成について説明するが、各構成部位に対する制御の詳細は後述する。
元画像保持部１は、不図示の画像入力手段より入力された元画像Ｓ１００を不図示のフレームメモリに保持する。
ドメインブロック抽出部２は、元画像メモリアクセスバスＳ１を通じて元画像からドメインブロックＳ２を抽出する。
ドメインブロック直交変換部４は、ドメインブロック抽出部２により抽出されたドメインブロックＳ２に直交変換である離散コサイン変換（ＤＣＴ）を施し、成分係数行列であるドメインブロックＤＣＴ係数群Ｓ４に変換して出力する変換手段として機能する。
劣化係数判定部５は、ドメインブロック直交変換部４が出力したドメインブロックＤＣＴ係数群Ｓ４から符号圧縮により情報が失われてしまった可能性のある係数を特定し、劣化を判定した結果として劣化判定結果Ｓ５を出力する劣化係数判定手段として機能する。
【００１０】
レンジブロック縮小部（Ａ）６は、元画像Ｓ１００を縦横それぞれ１／２に縮小した１／４縮小画像Ｓ６を出力する。
レンジブロック保持部（Ａ）７は、１／４縮小画像Ｓ６を不図示のフレームメモリに保持する。
レンジブロック抽出部８は、１／４縮小画像メモリアクセスバスＳ７を通じて、レンジブロック保持部（Ａ）７が保持する１／４縮小画像Ｓ６からレンジブロック候補（Ａ）Ｓ８を抽出する。
レンジブロック相関比較部（Ａ）９は、ドメインブロックＳ２とレンジブロック候補（Ａ）Ｓ８の相関度を計算し、相関係数（Ａ）Ｓ９を出力する。
レンジブロック再抽出部（Ａ）１０は、最も相関度の高かった相関係数（Ａ）Ｓ９とその時のレンジブロック候補（Ａ）Ｓ８の対応を記憶する。そして最も相関度の高かったレンジブロック候補（Ａ）Ｓ１０５のエリアに相当する元画像Ｓ１００のエリアの画素群を元画像メモリアクセスバスＳ１を通じて取得し、レンジブロック（Ａ）Ｓ１０として出力する。
レンジブロック直交変換部（Ａ）１１は、レンジブロック再抽出部（Ａ）１０が出力したレンジブロック（Ａ）Ｓ１０にＤＣＴを施し、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を出力する。
【００１１】
レンジブロック縮小部（Ｂ）１２は、元画像Ｓ１００を縦横それぞれ１／４に縮小した１／１６縮小画像Ｓ１２を出力する。
レンジブロック保持部（Ｂ）１３は、１／１６縮小画像Ｓ１２を不図示のフレームメモリに保持する。
レンジブロック抽出部（Ｂ）１４は、１／１６縮小画像メモリアクセスバスＳ１３を通じて、レンジブロック保持部（Ｂ）１３が保持する１／１６縮小画像Ｓ１２からレンジブロック候補（Ｂ）Ｓ１４を抽出する。
レンジブロック相関比較部（Ｂ）１５は、ドメインブロックＳ２とレンジブロック候補（Ｂ）Ｓ１４の相関度を計算し、相関係数（Ｂ）Ｓ１５を出力する。
レンジブロック再抽出部（Ｂ）１６は、最も相関度の高かった相関係数（Ｂ）Ｓ１５とその時のレンジブロック候補（Ｂ）Ｓ１４の対応を記憶する。そして最も相関度の高かったレンジブロック候補（Ｂ）Ｓ１０６のエリアに相当する元画像Ｓ１００のエリアの画素群を元画像メモリアクセスバスＳ１を通じて取得し、レンジブロック（Ｂ）Ｓ１６として出力する。
レンジブロック直交変換部（Ｂ）１７は、レンジブロック再抽出部（Ｂ）１６が出力したレンジブロック（Ｂ）Ｓ１６にＤＣＴを施し、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７を出力する。
【００１２】
係数合成部１８は、新たな成分係数行列として合成ＤＣＴ係数群Ｓ１８を生成する係数生成手段として機能する。具体的には、係数合成部１８は、ドメインブロックＤＣＴ係数群Ｓ４、劣化係数判定結果Ｓ５、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７に基づいて、合成ＤＣＴ係数群Ｓ１８を生成する。また、係数合成部１８は、ドメインブロックＤＣＴ係数群Ｓ４の少なくとも一部（本実施形態では劣化していない部分）を含み、かつ、劣化した成分を置き換えるようにして、合成ＤＣＴ係数群Ｓ１８を生成する。
逆変換部１９は、合成ＤＣＴ係数群Ｓ１８にＤＣＴの逆変換である逆離散コサイン変換を施して拡大部分画像Ｓ１９を生成する逆変換手段として機能する。
出力画像保持部２０は、拡大部分画像Ｓ１９をフレームメモリに保持して最終的な出力となる拡大画像Ｓ２０を保持する。
また、制御部１００は、不図示の制御信号によって各構成部の動作を制御する。
【００１３】
図３は、第１実施形態の制御部１００が制御する画像処理装置全体の動作のフローチャートである。
ステップＰ１においては、不図示の画像入力手段より入力された元画像Ｓ１００を元画像保持部１に蓄積する。またレンジブロック縮小部（Ａ）６により縮小された１／４縮小画像Ｓ６をレンジブロック保持部（Ａ）７に蓄積する。同様に１／１６縮小画像Ｓ１２をレンジブロック保持部（Ｂ）１３に蓄積する。
【００１４】
ステップＰ２においては、ドメインブロック抽出部２により元画像保持部１に保持された元画像から順にドメインブロックＳ２を抽出する。
図４は、ドメインブロックを順に選択する概念を示す図である。
ドメインブロックＳ２は、８×８画素で構成され、元画像Ｓ１００の左上から順に重ならないように抽出される。
ステップＰ３においては、ドメインブロック直交変換部４によりドメインブロックＳ２にＤＣＴを施し、８×８要素で構成されるドメインブロックＤＣＴ係数群Ｓ４を得る。
【００１５】
ステップＰ５においては、劣化係数判定部５により劣化判定結果Ｓ５を得る。劣化係数の判定方法の詳細については後述する。
ステップＰ６においては、レンジブロック（Ａ）の探索を行い、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を得る。レンジブロック（Ａ）の探索の詳細については後述する。
ステップＰ７においては、レンジブロック（Ｂ）の探索を行い、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７を得る。レンジブロック（Ｂ）の探索の詳細については後述する。
【００１６】
ステップＰ８においては、係数合成部１８により劣化係数判定結果Ｓ５に基づいてドメインブロックＤＣＴ係数群Ｓ４、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７の係数合成を行う。係数合成処理の詳細については後述する。
ステップＰ９においては、逆変換部１９において、合成ＤＣＴ係数群Ｓ１８に逆ＤＣＴを施して拡大部分画像Ｓ１９を得る。
ステップＰ１０においては、出力画像保持部２０に拡大部分画像Ｓ１９を記憶する。
【００１７】
ステップＰ１１においては、ステップＰ２におけるドメインブロック抽出が元画像Ｓ１００の全ての領域において選択されて全画面の拡大処理が終了したか否かを検査する。全て終了していればステップＰ１２へ進み、まだ終了していなければステップＰ２へ戻る。
ステップＰ１２においては、出力画像保持部２０に保持されている画素情報を読み出し、拡大画像Ｓ２０を得る。
【００１８】
次にステップＰ５における劣化係数判定の方法の詳細について説明する。
図５は、劣化係数探索の概念図である。
図５の左上側が低周波側であり、右下側が高周波側である。
本実施形態の劣化係数の探索では、係数を閾値と比較して劣化しているか否かの判定を行う。具体的には、係数を高周波側から順に探索し、係数の値が劣化判定閾値ψより小さければ劣化係数であるとみなす。劣化判定閾値ψ以上の係数が出現したらそれよりも低域の周波数は劣化していないとみなす。ただし、場合によっては、劣化している周波数域の中であっても特異的に大きな係数が残っている場合があるので、その対応として特徴許容閾値ωを導入する。これにより特異的に大きい係数を無視して劣化エリアの判定を継続する。
【００１９】
図６は、劣化係数判定における処理のフローチャートである。
ステップＰ５０１においては、各種変数の初期化を行う。
具体的には、Ｌ（＊，＊）を０とし、ｃｎｔを０とし、ｘｙをＳＩＺＥとする。
ここで、ＳＩＺＥは、ドメインブロックのサイズを示す定数である。本実施形態においてドメインブロックのサイズは、８×８であるのでＳＩＺＥ＝８である。
Ｌ（＊，＊）は、劣化判定結果を格納する２次元配列である。配列サイズは、劣化を判定するＤＣＴ係数群の要素数と同じであり、ここでは、ドメインブロックのサイズと同じ８×８である。直流成分を示す左上の要素のインデックスは、（１，１）である。最も高周波の成分を示す右下の要素のインデックスは、（ＳＩＺＥ，ＳＩＺＥ）である。値が０であれば劣化無し、１であれば劣化ありとする。このステップにおいて全ての要素を０（劣化無し）に初期化する。
ｃｎｔは、劣化していないと判定された係数の数を数えるカウンタである。このステップにおいてカウント値を０に初期化する。
ｘｙは、劣化を判定する係数を指し示すための補助変数である。劣化判定は、高周波を示す右下の係数から順に判定するのでｘｙ＝ＳＩＺＥ（本実施形態においては、ｘｙ＝８）に初期化する。
【００２０】
ステップＰ５０２においては、探索用インデックス変数のｘをｘｙに初期化する。
ステップＰ５０３においては、探索用インデックス変数のｙを計算する。具体的には、ｙ＝ＳＩＺＥ＋ｘｙ−ｘによりｙを求める。
ステップＰ５０４においては、判定対象の係数Ｄ（ｘ，ｙ）が劣化判定閾値ψより大きいか否かを判定する。劣化判定閾値ψを超えていれば係数は、劣化していないと判断してステップＰ５１０へ進む。そうでなければ係数が劣化していると判断してステップＰ５０５へ進む。
【００２１】
ステップＰ５０５においては、劣化判定結果配列Ｌ（ｘ，ｙ）に”１”（劣化あり）を書き込む。
ステップＰ５０６においては、探索用インデックス変数のｘを１増加させる。
ステップＰ５０７においては、探索用インデックス変数のｘが所定の探索範囲を超えたか否かを判定する。ｘがＳＩＺＥ以下であればまだ超えていないのでステップＰ５０３へ戻る。超えていればステップＰ５０８へ進む。
ステップＰ５０８においては、補助変数ｘｙの値を１減らす（ｘｙ＝ｘｙ−１）。
ステップＰ５０９においては、補助変数のｘｙが所定の探索範囲を超えたか否かを判定する。１未満になったら探索終了である。そうでなければステップＰ５０２へ戻る。
【００２２】
ステップＰ５１０においては、非劣化のカウンタｃｎｔの値を１増やす。
ステップＰ５１１においては、前記非劣化のカウンタ値が示す劣化していない係数の個数が特徴許容閾値ωを超えたか否かを判定する。特徴許容閾値ωを超えていなければステップＰ５０６へ進んで探索を継続する。特徴許容閾値ωを超えたらもうこれ以上の高域側の係数は、仮にψ未満の係数であっても劣化した係数ではないと判断して探索を終了する。
画像によっては、高域部分に特異的に係数の大きな成分が偏在する場合がある。圧縮方法によっては、高域部の特異な特徴を保存しつつさらに低域側の係数を圧縮する場合もあるので、特徴許容閾値ωを適宜設定すると画質の向上が見られる場合がある。撮影時のピンぼけ等のように一様に高域劣化する性質の画像の場合には、特徴許容閾値ωは、低い値でよい。
【００２３】
次に、ステップＰ６におけるレンジブロック（Ａ）探索の方法の詳細について説明する。
図７は、レンジブロック探索処理のフローチャートである。
ステップＰ６１においては、レンジブロック抽出部（Ａ）６によりレンジブロック保持部（Ａ）７に保持された１／４縮小画像Ｓ６から順にレンジブロック候補（Ａ）Ｓ８を抽出する。
図８は、レンジブロックを順に選択する概念を示す図である。
レンジブロック候補（Ａ）Ｓ８は、８×８画素で構成され、１／４縮小画像Ｓ６の左上から順に１画素ずつ、ずらして抽出される。
【００２４】
ステップＰ６２においては、レンジブロック相関比較部（Ａ）９によりドメインブロックＳ２とレンジブロック候補（Ａ）Ｓ８との相関度を算出し、相関係数（Ａ）Ｓ９を得る。相関係数は、以下の方法によって算出される。
ドメインブロックＳ２を構成するそれぞれの画素をＰｄ（Ｘ，Ｙ）、レンジブロック候補（Ａ）Ｓ８を構成するそれぞれの画素をＰｒ（Ｘ，Ｙ）とおく。
ここで、それぞれの画素の差分絶対値
Ｇ（Ｘ，Ｙ）＝｜Ｐｄ（Ｘ，Ｙ）−Ｐｒ（Ｘ，Ｙ）｜
を算出し、画素相関度とする。
さらに、差分絶対値の総和
Ｒ＝Σ｛Ｇ（Ｘ，Ｙ）｝
を算出し、これを相関係数（Ａ）Ｓ９とする。この計算式では、Ｒが小さいほど相関度が高いことを意味する。比較対象が全く同一の場合には、Ｒは０になる。
【００２５】
ステップＰ６３においては、レンジブロック再抽出部（Ａ）１０内の不図示のレジスタに記憶されている、既に調査されたレンジブロックの内最も相関の高かったレンジブロック候補の相関度と新たなレンジブロック候補の相関度を比較する。
ステップＰ６４においては、ステップＰ６３の比較結果に基づいて、最も相関度の高いレンジブロックの候補とその相関度の記憶レジスタを更新する。
【００２６】
ステップＰ６５においては、１／４縮小画像の全てについてレンジブロックの探索が完了したか否かを判定する。まだ探索が完了していなければステップＰ６１へ戻る。探索が完了していればステップＰ６６へ進む。
【００２７】
ステップＰ６６においては、記憶されている最もドメインブロックＳ２との相関度の高かったレンジブロック候補（Ａ）Ｓ１０５（図２参照）に相当する、元画像Ｓ１００の部分画像を抽出してレンジブロック（Ａ）Ｓ１０を得る。例えば、最も相関度の高かったレンジブロック候補の部分画像が、１／４縮小画像の（２０，１０）−（２７，１７）の画素群であった場合、元画像の（４０，２０）−（５５，３５）の部分画像がレンジブロック（Ａ）Ｓ８となる。レンジブロック候補（Ａ）Ｓ８は、１／４縮小画像で探索されるので８×８画素で構成されるが、レンジブロック（Ａ）Ｓ１０は、元画像の相当する画素群であるので１６×１６画素で構成される。
【００２８】
ステップＰ６７においては、レンジブロック直交変換部１１においてレンジブロック（Ａ）Ｓ１０にＤＣＴを施し、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を得る。レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１は、１６×１６要素の係数によって構成される。
【００２９】
ステップＰ７におけるレンジブロック（Ｂ）の探索処理は、ステップＰ６におけるレンジブロック（Ａ）の探索処理とほぼ同様である。ただし、レンジブロック保持部（Ｂ）１３に蓄積されている画像が１／１６縮小画像であるので、レンジブロック（Ｂ）Ｓ１６は、３２×３２画素で構成され、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７は、３２×３２要素の係数によって構成される。
【００３０】
次に、ステップＰ８における係数合成処理の詳細について説明する。
図９は、係数合成処理のフローチャートである。
図１０は、係数合成の概念図である。
ステップＰ８１においては、ドメインブロックＤＣＴ係数群Ｓ４を劣化判定結果Ｓ５に基づいて、非劣化ドメインブロック係数Ｓ１１１と劣化ドメインブロック係数Ｓ１１２に分割する。
【００３１】
ステップＰ８２においては、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を非劣化レンジブロック（Ａ）係数αＳ１１４、非劣化レンジブロック（Ａ）係数βＳ１１５、劣化レンジブロック（Ａ）係数Ｓ１１６に分割する。この分割は、劣化判定結果Ｓ５とステップＰ８１における分割結果に基づいて行われる。非劣化レンジブロック（Ａ）係数αＳ１１４は、非劣化ドメインブロック係数Ｓ１１１と同じ要素エリアを持つ。レンジブロック（Ａ）においてもドメインブロックと同様に劣化した高域成分が存在する。すなわち、劣化レンジブロック（Ａ）係数Ｓ１１６は、劣化判定結果Ｓ５のエリアを縦横２倍拡大したエリアを持つ。この例を、図を用いて説明する。
【００３２】
図１１は、判定された劣化係数の概念図である。
図１２は、エリア拡大された劣化係数の概念図である。
例えば、劣化判定結果が図１１で示すような（７，８），（８，７），（８，８）の３要素のエリアであった場合、劣化レンジブロック（Ａ）係数Ｓ１１６のエリアは、図１２に示すようになる。すなわち、（１３，１５），（１３，１６），（１４，１５），（１４，１６），（１５，１３），（１５，１４），（１５，１５），（１５，１６），（１６，１３），（１６，１４），（１６，１５），（１６，１６）の１２要素のエリアとなる。そして、非劣化レンジブロック（Ａ）係数βＳ１１５は、それ以外のエリアを持つ。
【００３３】
図９及び図１０に戻って、ステップＰ８３においては、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７を劣化判定結果Ｓ５とステップＰ８１における分割結果とステップＰ８２における分割結果に基づいて分割する。非劣化レンジブロック（Ｂ）係数αＳ１１８は、非劣化ドメインブロック係数Ｓ１１１と同じ要素エリアを持つ。非劣化レンジブロック（Ｂ）係数βＳ１１９は、非劣化レンジブロック（Ａ）係数βＳ１１５と同じ要素エリアを持つ。非劣化レンジブロック（Ｂ）係数γＳ１２０は、劣化レンジブロック（Ａ）係数Ｓ１１６と同じ要素エリアを持つ。レンジブロック（Ｂ）においてもまた、ドメインブロックと同様に劣化した高域成分が存在する。すなわち、劣化レンジブロック（Ｂ）係数Ｓ１２２は、劣化判定結果Ｓ５のエリアを縦横４倍拡大したエリアを持つ。非劣化レンジブロック（Ｂ）係数δＳ１２１は、それ以外のエリアを持つ。
【００３４】
ステップＰ８４においては、非劣化ドメインブロック係数Ｓ１１１と非劣化レンジブロック（Ａ）係数βＳ１１５と非劣化レンジブロック（Ｂ）係数γＳ１２０を合成し、合成ＤＣＴ係数群Ｓ１８を得る。すなわち、ドメインブロックＤＣＴ係数群Ｓ４の内の劣化成分は、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１の相当する係数に置き換わる。また、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１の内の劣化成分は、レンジブロック（Ｂ）ＤＣＴ係数群Ｓ１７の相当する係数に置き換わる。
【００３５】
以上説明したように、第１実施形態によれば、画像の拡大処理を行うときに、画像の劣化した情報を補うことが可能となり、拡大された画像の画質を向上できる。
【００３６】
（第２実施形態）
図１３は、第２実施形態における画像処理装置の構成を示す図である。
第２実施形態は、先に説明した第１実施形態よりも簡易な装置構成とした形態である。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
【００３７】
高域係数生成部３１は、ドメインブロックＤＣＴ係数群Ｓ４に基づいて、８×８要素の高域係数Ｓ３１の生成を行う。
図１４は、高域係数生成部３１が行う高域係数生成の概念図である。
図１５は、高域係数生成部３１が高域係数生成を行うときに用いる空間周波数表である。
自然画にＦＦＴ（Fast Fourier Transform ：高速フーリエ変換）やＤＣＴ等の直交変換を施して得られた係数行列は、一般的に中心周波数を軸にして対称性が強い性質がある事が知られている。また、自然画のパワースペクトル分布強度は、空間周波数の逆数に比例する傾向がある事も知られている。高域係数生成部３１では、それらの性質を利用する。
まず、ドメインブロックＤＣＴ係数群Ｓ４の内、低域部分の４×４の係数を取り出す。
次に、残りの高域部分の係数に中心周波数を対称中心として低域の係数をコピーする。その際、図１５の空間周波数表を参照してコピー元の空間周波数とコピー先の空間周波数の比を係数に乗じる。例えば、（７，７）の係数は、コピー元の（２，２）とコピー先の（７，７）の空間周波数を参照して、（０．７１／４．２４）＊ｂ２となる。
【００３８】
図１６は、係数置換部３２により分割されたドメインブロックＤＣＴ係数群Ｓ４の概念図である。
係数置換部３２は、劣化判定結果Ｓ５に基づいて、ドメインブロックＤＣＴ係数群Ｓ４を非劣化ドメインブロック係数Ｓ１１１とハッチングを付して示した劣化ドメインブロック係数Ｓ１１２に分割する。
次に、係数置換部３２は、劣化ドメインブロック係数Ｓ１１２を高域係数Ｓ３１の対応する部分の係数と置換して、置換ドメインブロック係数Ｓ３２を出力する。
図１７は、高域係数Ｓ３１の概念図である。
図１８は、置換ドメインブロック係数Ｓ３２の概念図である。
図１７中でハッチングを付していない部分の係数を、図１６中でハッチングを付して示した劣化ドメインブロック係数Ｓ１１２と置き換えて、図１８に示す置換ドメインブロック係数Ｓ３２を得る。
【００３９】
係数拡張部３３は、８×８要素の置換ドメインブロック係数Ｓ３２を高域係数生成部３１と同様の方法によって係数を拡張し、１６×１６要素の合成ＤＣＴ係数群Ｓ１８を出力する。
図１９は、係数拡張部３３が合成ＤＣＴ係数群Ｓ１８を生成する係数拡張の概念図である。
係数拡張部３３は、まず、８×８要素の置換ドメインブロック係数Ｓ３２を低域部分に設定する。次に、残りの高域部分の係数に中心周波数を対称中心として低域の係数をコピーする。その際、図１５の空間周波数表を参照してコピー元の空間周波数とコピー先の空間周波数の比を、高域係数生成部３１の場合と同様に係数に乗じ、合成ＤＣＴ係数群Ｓ１８を生成する。
上述した高域係数生成部３１、係数置換部３２、係数拡張部３３以外の各部の動作は、第１実施形態と同様である。
【００４０】
以上説明したように、第２実施形態によれば、簡易な構成であっても、画質の良好な画像拡大を行うことができる。
【００４１】
（第３実施形態）
第３実施形態は、先に説明した第２実施形態における劣化係数判定部５による劣化係数の判定方法を簡略化した形態である。よって、前述した第２実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
図２０は、第３実施形態における劣化係数判定部５が行う劣化エリア判定の概念図である。
圧縮画像の劣化の度合いは、出力されるデータストリームのビットレートと非常に深い相関性を持つ。また、データストリームのビットレートは、映像コンテンツのメディアタイプによってほぼ決まった値となる。
【００４２】
そこで、第３実施形態の劣化係数判定部５は、入力される画像のメディアタイプに応じて劣化と見なすブロック（領域）を予め設定している。具体的には、地上波、衛星放送、外部入力の順で劣化と見なすブロックが広くなるように設定されている。なお、これらメディアタイプ毎の劣化と非劣化との境界は、実情に合わせて適宜変更してもよく、上述した順番に限るものではない。
【００４３】
第３実施形態によれば、さらに簡易な構成であっても、第２実施形態と同様な効果を得ることができる。
【００４４】
（第４実施形態）
第４実施形態は、第１実施形態に示した構成において、劣化係数判定部５の出力する劣化判定結果Ｓ５を、多値化することによって画質の向上を図る形態である。第４実施形態における装置の構成は、第１実施形態と同様である。よって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第４実施形態では、劣化判定閾値ψを３としたとき、ステップＰ５０５において劣化の判定結果を劣化の度合いに応じて以下のように多値化した値にする。
Ｌ（ｘ，ｙ）←１．００［Ｄ（ｘ，ｙ）＝０］
Ｌ（ｘ，ｙ）←０．７５［Ｄ（ｘ，ｙ）＝１］
Ｌ（ｘ，ｙ）←０．５０［Ｄ（ｘ，ｙ）＝２］
Ｌ（ｘ，ｙ）←０．２５［Ｄ（ｘ，ｙ）＝３］
【００４５】
また、図９に示したフローチャートのステップＰ８４における合成処理を本実施形態で行うとき、ドメインブロックＤＣＴ係数群Ｓ４とレンジブロック（Ａ）ＤＣＴ係数群Ｓ１１を劣化判定結果Ｓ５に応じて適宜混合して合成ＤＣＴ係数群Ｓ１８を生成する。例えば、Ｌ（７，８）＝０．７５であれば、以下のようになる。
Ｓ１８（７，８）＝Ｓ１１（７，８）＊Ｌ（７，８）＋Ｓ４（７，８）＊（１−Ｌ（７，８））＝Ｓ１１（７，８）＊０．７５＋Ｓ４（７，８）＊（１−０．７５）
ただし、Ｓ１８（７，８）は、合成ＤＣＴ係数群Ｓ１８の（７，８）の要素であり、Ｓ１１（７，８）は、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１の（７，８）の要素であり、Ｓ４（７，８）は、ドメインブロックＤＣＴ係数群Ｓ４の（７，８）の要素である。
【００４６】
また、レンジブロック（Ａ）ＤＣＴ係数群Ｓ１１の劣化係数についても同様に多値化した劣化判定結果に基づいた合成を行う。
その他の各部の動作及び装置全体の制御については、第１実施形態と同様である。
【００４７】
以上説明したように、第４実施形態によれば、多値化した劣化判定結果に基づいて、画像の劣化した情報を補うので、拡大された画像の画質を第１実施形態から第３実施形態の場合よりもさらに向上できる。
【００４８】
（第５実施形態）
先に説明した第１実施形態から第４実施形態では、画像の拡大において劣化した部分の画質を改善する例を示した。これに対して第５実施形態は、画像の拡大を伴わずに、画像の鮮明化を目的として本発明を適用する形態である。
図２１は、本発明による画像処理装置の第５実施形態の構成を示す図である。
第４実施形態における装置の構成は、第１実施形態の構成から、レンジブロック（Ｂ）に関する構成を省略した形態である。すなわち、レンジブロック縮小部（Ｂ）１２、レンジブロック保持部（Ｂ）１３、レンジブロック抽出部（Ｂ）１４、レンジブロック相関比較部（Ｂ）１５、レンジブロック再抽出部（Ｂ）１６、レンジブロック直交変換部（Ｂ）１７が省略されている。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
【００４９】
係数合成部１８は、非劣化ドメインブロック係数Ｓ１１１と、非劣化レンジブロック（Ａ）係数βＳ１１５の内の劣化ドメインブロック係数Ｓ１１２のエリアに相当する係数との合成を行い、合成ＤＣＴ係数群Ｓ１８として８×８要素の係数を出力する。
その他の構成部の動作は、第１実施形態と同様である。
以上説明したように、第５実施形態によれば、画像の拡大を伴わない場合であっても、本発明を適用して画像の鮮明化を行うことができる。
【００５０】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
（１）各実施形態において、画像の成分係数を得る変換操作として離散コサイン変換（ＤＣＴ）を用いた例を示した。しかし、これに限らずフーリエ変換やアダマール変換等、その他の直交変換を用いてもよい。また、トータル・バリエーション法（ＴＶ法）等の直交変換によらない成分分解法であっても、最終的に逆変換が可能な変換法であればそれらの変換法を用いてもよい。
【００５１】
（２）各実施形態において、画像の縦横比を維持して拡大する処理、又は、拡大を伴わない処理について説明した。これに限らず、例えば、画像の縦横比を変更する処理であってもよい。
【００５２】
なお、第１実施形態〜第５実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した各実施形態によって限定されることはない。
【図面の簡単な説明】
【００５３】
【図１】本発明による画像処理装置の第１実施形態の構成を示す図である。
【図２】ドメインブロック及びレンジブロックの概念図である。
【図３】第１実施形態の制御部１００が制御する画像処理装置全体の動作のフローチャートである。
【図４】ドメインブロックを順に選択する概念を示す図である。
【図５】劣化係数探索の概念図である。
【図６】劣化係数判定における処理のフローチャートである。
【図７】レンジブロック探索処理のフローチャートである。
【図８】レンジブロックを順に選択する概念を示す図である。
【図９】係数合成処理のフローチャートである。
【図１０】係数合成の概念図である。
【図１１】判定された劣化係数の概念図である。
【図１２】エリア拡大された劣化係数の概念図である。
【図１３】第２実施形態における画像処理装置の構成を示す図である。
【図１４】高域係数生成部３１が行う高域係数生成の概念図である。
【図１５】高域係数生成部３１が高域係数生成を行うときに用いる空間周波数表である。
【図１６】係数置換部３２により分割されたドメインブロックＤＣＴ係数群Ｓ４の概念図である。
【図１７】高域係数Ｓ３１の概念図である。
【図１８】置換ドメインブロック係数Ｓ３２の概念図である。
【図１９】係数拡張部３３が合成ＤＣＴ係数群Ｓ１８を生成する係数拡張の概念図である。
【図２０】第３実施形態における劣化係数判定部５が行う劣化エリア判定の概念図である。
【図２１】本発明による画像処理装置の第５実施形態の構成を示す図である。
【符号の説明】
【００５４】
１  元画像保持部
２  ドメインブロック抽出部
４  ドメインブロック直交変換部
５  劣化係数判定部
６  レンジブロック縮小部（Ａ）
７  レンジブロック保持部（Ａ）
８  レンジブロック抽出部（Ａ）
９  レンジブロック相関比較部（Ａ）
１０  レンジブロック再抽出部（Ａ）
１１  レンジブロック直交変換部（Ａ）
１２  レンジブロック縮小部（Ｂ）
１３  レンジブロック保持部（Ｂ）
１４  レンジブロック抽出部（Ｂ）
１５  レンジブロック相関比較部（Ｂ）
１６  レンジブロック再抽出部（Ｂ）
１７  レンジブロック直交変換部（Ｂ）
１８  係数合成部
１９  逆変換部
２０  出力画像保持部
３１  高域係数生成部
３２  係数置換部
３３  係数拡張部
１００  制御部
Ｓ１００  元画像
Ｓ１  元画像メモリアクセスバス
Ｓ２  ドメインブロック
Ｓ４  ドメインブロックＤＣＴ係数群
Ｓ５  劣化判定結果
Ｓ６  １／４縮小画像
Ｓ７  １／４縮小画像メモリアクセスバス
Ｓ８  レンジブロック候補（Ａ）
Ｓ９  相関係数（Ａ）
Ｓ１０  レンジブロック（Ａ）
Ｓ１１  レンジブロック（Ａ）ＤＣＴ係数群
Ｓ１２  １／１６縮小画像
Ｓ１３  １／１６縮小画像メモリアクセスバス
Ｓ１４  レンジブロック候補（Ｂ）
Ｓ１５  相関係数（Ｂ）
Ｓ１６  レンジブロック（Ｂ）
Ｓ１７  レンジブロック（Ｂ）ＤＣＴ係数群
Ｓ１８  合成ＤＣＴ係数群
Ｓ１９  拡大部分画像
Ｓ２０  拡大画像
Ｓ３１  高域係数
Ｓ３２  置換ドメインブロック係数
Ｓ１０５  最も相関度の高かったレンジブロック候補（Ａ）
Ｓ１０６  最も相関度の高かったレンジブロック候補（Ｂ）
Ｓ１１１  非劣化ドメインブロック係数
Ｓ１１２  劣化ドメインブロック係数
Ｓ１１４  非劣化レンジブロック（Ａ）係数α
Ｓ１１５  非劣化レンジブロック（Ａ）係数β
Ｓ１１６  劣化レンジブロック（Ａ）係数
Ｓ１１８  非劣化レンジブロック（Ｂ）係数α
Ｓ１１９  非劣化レンジブロック（Ｂ）係数β
Ｓ１２０  非劣化レンジブロック（Ｂ）係数γ
Ｓ１２１  非劣化レンジブロック（Ｂ）係数δ
Ｓ１２２  劣化レンジブロック（Ｂ）係数
【図１】
2010093334.tif 000003
【図２】
2010093334.tif 000004
【図３】
2010093334.tif 000005
【図４】
2010093334.tif 000006
【図５】
2010093334.tif 000007
【図６】
2010093334.tif 000008
【図７】
2010093334.tif 000009
【図８】
2010093334.tif 000010
【図９】
2010093334.tif 000011
【図１０】
2010093334.tif 000012
【図１１】
2010093334.tif 000013
【図１２】
2010093334.tif 000014
【図１３】
2010093334.tif 000015
【図１４】
2010093334.tif 000016
【図１５】
2010093334.tif 000017
【図１６】
2010093334.tif 000018
【図１７】
2010093334.tif 000019
【図１８】
2010093334.tif 000020
【図１９】
2010093334.tif 000021
【図２０】
2010093334.tif 000022
【図２１】
2010093334.tif 000023