(57)【特許請求の範囲】
【請求項１】
入力画像から、前記入力画像のうちの、階調が少なくエッジがはっきりした人工的な画像である人工画像を高品質にした出力画像を求める画像処理装置において、
前記出力画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記入力画像から抽出する第１のクラスタップ抽出手段と、
前記第１のクラスタップの隣接する画素どうしの画素値の差分を求める差分算出手段と、
前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類する第１の分類手段と、
前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記入力画像から抽出する第２のクラスタップ抽出手段と、
前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類する第２の分類手段と、
前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択する選択手段と、
複数の人工画像を用いた学習により獲得された前記第１のクラスごとの予測係数および前記第２のクラスごとの予測係数を格納する格納手段と、
前記入力画像と、前記注目画素のクラスとして選択された前記第１または第２のクラスの予測係数とを用いて演算することで、前記入力画像から前記出力画像を求める演算手段と
を備える画像処理装置。
【請求項２】
前記第１の分類手段は、前記差分の絶対値に基づいて、その差分に対応する注目画素を前記第１のクラスに分類する
請求項１に記載の画像処理装置。
【請求項３】
前記第１の分類手段は、前記差分の絶対値の比に基づいて、その差分に対応する注目画素を前記第１のクラスに分類する
請求項１に記載の画像処理装置。
【請求項４】
入力画像から、前記入力画像のうちの、階調が少なくエッジがはっきりした人工的な画像である人工画像を高品質にした出力画像を求める画像処理方法において、
前記出力画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記入力画像から抽出し、
前記第１のクラスタップの隣接する画素どうしの画素値の差分を求め、
前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類し、
前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記入力画像から抽出し、
前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類し、
前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択し、
前記入力画像と、複数の人工画像を用いた学習により獲得された前記第１のクラスごとの予測係数および前記第２のクラスごとの予測係数のうち、前記注目画素のクラスとして選択された前記第１または第２のクラスの予測係数とを用いて演算することで、前記入力画像から前記出力画像を求める
ステップを含む画像処理方法。
【請求項５】
入力画像から、前記入力画像のうちの、階調が少なくエッジがはっきりした人工的な画像である人工画像を高品質にした出力画像を求める処理を、コンピュータに実行させるプログラムであって、
前記出力画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記入力画像から抽出し、
前記第１のクラスタップの隣接する画素どうしの画素値の差分を求め、
前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類し、
前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記入力画像から抽出し、
前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類し、
前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択し、
前記入力画像と、複数の人工画像を用いた学習により獲得された前記第１のクラスごとの予測係数および前記第２のクラスごとの予測係数のうち、前記注目画素のクラスとして選択された前記第１または第２のクラスの予測係数とを用いて演算することで、前記入力画像から前記出力画像を求める
ステップを含むプログラム。
【請求項６】
階調が少なくエッジがはっきりした人工的な画像である人工画像を、高品質な人工画像に変換する変換処理を行うとき用いられる予測係数を学習する学習装置であって、
変換処理後の目標の人工画像となる教師画像と、前記変換処理が行われる前の前記人工画像に相当する生徒画像とを取得する取得手段と、
前記教師画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記生徒画像から抽出する第１のクラスタップ抽出手段と、
抽出された前記第１のクラスタップの隣接する画素どうしの画素値の差分を求める差分算出手段と、
前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類する第１の分類手段と、
前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記生徒画像から抽出する第２のクラスタップ抽出手段と、
前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類する第２の分類手段と、
前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択する選択手段と、
前記注目画素を求めるのに用いる複数の画素から構成される予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、
抽出された前記予測タップに基づいて、前記予測タップに対応する注目画素のクラスとして選択された前記第１または第２のクラスごとに、前記予測係数を用いて求められる前記注目画素の予測誤差を統計的に最小にする前記予測係数を演算する演算手段と
を備える学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラムに関し、特に、人工的な画像の品質を的確に高めることができるようにする画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラムに関する。
【背景技術】
【０００２】
本出願人は、クラス分類適応処理を先に提案している（例えば、特許文献１参照）。クラス分類適応処理は、入力された第１の画像の所定領域の複数画素の画素値に応じて、その第１の画像により求められる第２の画像の画素である注目画素を、クラスに分類し、そのクラスに対応する、学習処理によりクラスごとに予め求めておいた予測係数と、第１の画像の所定領域の複数画素の画素値との線形１次式を演算することにより、入力された第１の画像から第２の画像を求める処理である。
【０００３】
例えば、第１の画像がノイズを含む画像であり、第２の画像がノイズが低減された画像であれば、このクラス分類適応処理は、ノイズ除去処理として機能し、また、第１の画像がSD(Standard Definition)画像であり、第２の画像がSD画像より高解像度のHD(High Definition)画像であれば、このクラス分類適応処理は、低解像度の画像を高解像度の画像に変換する解像度変換処理として機能する。
【０００４】
また、従来の学習処理においては、放送を主体とした一般的な動画像の予測を可能にするため、教師画像と生徒画像として、後述する人工画像ではない、自然界に存在するものをそのまま撮像することにより得られる画像である自然画像が用いられている。従って、第１の画像が自然画像である場合、学習処理により求められた予測係数を用いてクラス分類適応処理を行うことにより、第１の画像から、高精細で綺麗な第２の画像を予測することができる。
【０００５】
【特許文献１】特開平９−１６７２４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、第１の画像が、文字や単純図形などの人工画像である場合、自然画像を用いた学習処理で求められた予測係数を用いてクラス分類適応処理を行うと、元々エッジが十分に立っている箇所の精細感がさらに強調されたり、平坦なノイズが正しい波形と認識されて、そのノイズの精細感が強調されてしまう。その結果、リンギングが発生したり、ノイズが強調される。
【０００７】
ここで、人工画像とは、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報がはっきりした、すなわち、平坦部分が多い人工的な画像である。換言すれば、人工画像は、文字や単純図形等の階調があまり無く、輪郭等の位置を表す情報が支配的になっている画像である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、人工画像の品質を的確に高めることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像処理装置は、入力画像から、前記入力画像のうちの、階調が少なくエッジがはっきりした人工的な画像である人工画像を高品質にした出力画像を求める画像処理装置において、前記出力画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記入力画像から抽出する第１のクラスタップ抽出手段と、前記第１のクラスタップの隣接する画素どうしの画素値の差分を求める差分算出手段と、前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類する第１の分類手段と、前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記入力画像から抽出する第２のクラスタップ抽出手段と、前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類する第２の分類手段と、前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択する選択手段と、複数の人工画像を用いた学習により獲得された前記第１のクラスごとの予測係数および前記第２のクラスごとの予測係数を格納する格納手段と、前記入力画像と、前記注目画素のクラスとして選択された前記第１または第２のクラスの予測係数とを用いて演算することで、前記入力画像から前記出力画像を求める演算手段とを備える。
【００１１】
前記第１の分類手段は、前記差分の絶対値に基づいて、その差分に対応する注目画素を前記第１のクラスに分類することができる。
【００１２】
前記第１の分類手段は、前記差分の絶対値の比に基づいて、その差分に対応する注目画素を前記第１のクラスに分類することができる。
【００１３】
本発明の第１の側面の画像処理方法は、入力画像から、前記入力画像のうちの、階調が少なくエッジがはっきりした人工的な画像である人工画像を高品質にした出力画像を求める画像処理方法において、前記出力画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記入力画像から抽出し、前記第１のクラスタップの隣接する画素どうしの画素値の差分を求め、前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類し、前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記入力画像から抽出し、前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類し、前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択し、前記入力画像と、複数の人工画像を用いた学習により獲得された前記第１のクラスごとの予測係数および前記第２のクラスごとの予測係数のうち、前記注目画素のクラスとして選択された前記第１または第２のクラスの予測係数とを用いて演算することで、前記入力画像から前記出力画像を求めるステップを含む。
【００１４】
本発明の第１の側面のプログラムは、入力画像から、前記入力画像のうちの、階調が少なくエッジがはっきりした人工的な画像である人工画像を高品質にした出力画像を求める処理を、コンピュータに実行させるプログラムであって、前記出力画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記入力画像から抽出し、前記第１のクラスタップの隣接する画素どうしの画素値の差分を求め、前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類し、前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記入力画像から抽出し、前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類し、前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択し、前記入力画像と、複数の人工画像を用いた学習により獲得された前記第１のクラスごとの予測係数および前記第２のクラスごとの予測係数のうち、前記注目画素のクラスとして選択された前記第１または第２のクラスの予測係数とを用いて演算することで、前記入力画像から前記出力画像を求めるステップを含む。
【００１５】
本発明の第１の側面においては、出力画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップが、入力画像から抽出され、第１のクラスタップの隣接する画素どうしの画素値の差分が求められ、差分に基づいて、その差分に対応する注目画素が第１のクラスに分類され、注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップが、入力画像から抽出され、第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素が、第２のクラスに分類され、第１のクラスに基づいて、注目画素の第１のクラスと、注目画素の第２のクラスのうちのいずれか一方が、注目画素のクラスとして選択され、入力画像と、複数の人工画像を用いた学習により獲得された第１のクラスごとの予測係数および第２のクラスごとの予測係数のうち、注目画素のクラスとして選択された第１または第２のクラスの予測係数とを用いて演算することで、入力画像から出力画像が求められる。
【００１６】
本発明の第２の側面の学習装置は、階調が少なくエッジがはっきりした人工的な画像である人工画像を、高品質な人工画像に変換する変換処理を行うとき用いられる予測係数を学習する学習装置であって、変換処理後の目標の人工画像となる教師画像と、前記変換処理が行われる前の前記人工画像に相当する生徒画像とを取得する取得手段と、前記教師画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記生徒画像から抽出する第１のクラスタップ抽出手段と、抽出された前記第１のクラスタップの隣接する画素どうしの画素値の差分を求める差分算出手段と、前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類する第１の分類手段と、前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記生徒画像から抽出する第２のクラスタップ抽出手段と、前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類する第２の分類手段と、前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択する選択手段と、前記注目画素を求めるのに用いる複数の画素から構成される予測タップを、前記生徒画像から抽出する予測タップ抽出手段と、抽出された前記予測タップに基づいて、前記予測タップに対応する注目画素のクラスとして選択された前記第１または第２のクラスごとに、前記予測係数を用いて求められる前記注目画素の予測誤差を統計的に最小にする前記予測係数を演算する演算手段とを備える。
【００２２】
本発明の第２の側面においては、変換処理後の目標の人工画像となる教師画像と、変換処理が行われる前の人工画像に相当する生徒画像とが取得され、教師画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップが、生徒画像から抽出され、抽出された第１のクラスタップの隣接する画素どうしの画素値の差分が求められ、差分に基づいて、その差分に対応する注目画素が第１のクラスに分類され、注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップが、生徒画像から抽出され、第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素が、第２のクラスに分類され、第１のクラスに基づいて、注目画素の第１のクラスと、注目画素の第２のクラスのうちのいずれか一方が、注目画素のクラスとして選択され、注目画素を求めるのに用いる複数の画素から構成される予測タップが、生徒画像から抽出され、抽出された予測タップに基づいて、予測タップに対応する注目画素のクラスとして選択された第１または第２のクラスごとに、予測係数を用いて求められる注目画素の予測誤差を統計的に最小にする予測係数が演算される。
【発明の効果】
【００２３】
本発明によれば、人工画像の品質を的確に高めることができる。
【発明を実施するための最良の形態】
【００２４】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２５】
本発明の第１の側面の画像処理装置は、入力画像（例えば、図１の出力位相変換部１１２から入力されるＨＤ画像）から、前記入力画像のうちの、階調が少なくエッジがはっきりした人工的な画像である人工画像を高品質にした出力画像(例えば、人工高品質画像)を求める画像処理装置(例えば、図１０の人工画予測部１３２)において、前記出力画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記入力画像から抽出する第１のクラスタップ抽出手段と、前記第１のクラスタップの隣接する画素どうしの画素値の差分を求める差分算出手段と、前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類する第１の分類手段(例えば、図１０のクラス分類部６５１)と、前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記入力画像から抽出する第２のクラスタップ抽出手段と、前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類する第２の分類手段(例えば、図２３のクラス分類器８６１)と、前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択する選択手段(例えば、図２３のクラス選択部８６３)と、複数の人工画像を用いた学習により獲得された前記第１のクラスごとの予測係数および前記第２のクラスごとの予測係数（例えば、予測係数Ｗn）を格納する格納手段(例えば、図１０の予測係数メモリ６５４)と、前記入力画像と、前記注目画素のクラスとして選択された前記第１または第２のクラスの予測係数とを用いて演算することで、前記入力画像から前記出力画像を求める演算手段（例えば、図１０の予測部６５５）とを備える。
【００２７】
前記第１の分類手段は、前記差分の絶対値（例えば、隣接画素差分絶対値）に基づいて、その差分に対応する注目画素を前記第１のクラスに分類する(例えば、図１６のクラス分類処理)。
【００２８】
前記第１の分類手段は、前記差分の絶対値の比（例えば、水平差分比）に基づいて、その差分に対応する注目画素を前記第１のクラスに分類する(例えば、図２２のクラス分類処理)。
【００２９】
本発明の第１の側面の画像処理方法は、入力画像(例えば、図１の出力位相変換部１１２から入力されるＨＤ画像)から、前記入力画像のうちの、階調が少なくエッジがはっきりした人工的な画像である人工画像を高品質にした出力画像(例えば、人工高品質画像)を求める画像処理方法において、前記出力画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記入力画像から抽出し、前記第１のクラスタップの隣接する画素どうしの画素値の差分を求め、前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類し（例えば、図１５のステップＳ７０１）、前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記入力画像から抽出し、前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類し、前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択し、前記入力画像と、複数の人工画像を用いた学習により獲得された前記第１のクラスごとの予測係数（例えば、予測係数Ｗn）および前記第２のクラスごとの予測係数のうち、前記注目画素のクラスとして選択された前記第１または第２のクラスの予測係数とを用いて演算することで、前記入力画像から前記出力画像を求める(例えば、図１５のステップＳ７０６)ステップを含む。
【００３０】
本発明の第２の側面の学習装置は、階調が少なくエッジがはっきりした人工的な画像である人工画像(例えば、図１の出力位相変換部１１２から入力されるＨＤ画像)を、高品質な人工画像(例えば、人工高品質画像)に変換する変換処理を行うとき用いられる予測係数（例えば、予測係数Ｗn）を学習する学習装置（例えば、図１７の学習装置８１１）であって、変換処理後の目標の人工画像となる教師画像と、前記変換処理が行われる前の前記人工画像に相当する生徒画像とを取得する取得手段(例えば、図１７の生徒画像生成部８２１)と、前記教師画像の画素である注目画素を第１のクラスに分類するために用いる複数の画素から構成される第１のクラスタップを、前記生徒画像から抽出する第１のクラスタップ抽出手段(例えば、図１１のクラスタップ抽出部６７１と同様に構成される図１７のクラス分類部８２２のクラスタップ抽出部)と、抽出された前記第１のクラスタップの隣接する画素どうしの画素値の差分を求める差分算出手段と、前記差分に基づいて、その差分に対応する注目画素を前記第１のクラスに分類する第１の分類手段(例えば、図１１のADRC処理部６７３と同様に構成される図１７のクラス分類部８２２のADRC処理部)と、前記注目画素を第２のクラスに分類するために用いる複数の画素から構成される第２のクラスタップを、前記生徒画像から抽出する第２のクラスタップ抽出手段と、前記第２のクラスタップの各画素の画素値に基づいて、その第２のクラスタップに対応する注目画素を、前記第２のクラスに分類する第２の分類手段と、前記第１のクラスに基づいて、前記注目画素の前記第１のクラスと、前記注目画素の前記第２のクラスのうちのいずれか一方を、前記注目画素のクラスとして選択する選択手段と、前記注目画素を求めるのに用いる複数の画素から構成される予測タップを、前記生徒画像から抽出する予測タップ抽出手段(例えば、図１８の予測タップ抽出部８３１)と、抽出された前記予測タップに基づいて、前記予測タップに対応する注目画素のクラスとして選択された前記第１または第２のクラスごとに、前記予測係数を用いて求められる前記注目画素の予測誤差を統計的に最小にする前記予測係数を演算する演算手段(例えば、図１８の正規方程式生成部８３２)とを備える。
【００３３】
以下、図を参照して、本発明の実施の形態について説明する。
【００３４】
図１は、本発明を適用した画像変換装置１０１の一実施の形態を示すブロック図である。画像変換装置１０１は、巡回型IP変換部１１１、出力位相変換部１１２、自然画予測部１３１、人工画予測部１３２、自然画人工画判定部１１４、および、合成部１３３により構成される。また、巡回型IP変換部１１１は、IP変換部１２１および巡回型変換部１２２により構成される。
【００３５】
巡回型IP変換部１１１のIP変換部１２１および巡回型変換部１２２には、処理対象となるインターレース方式のＳＤ画像が入力される。
【００３６】
IP変換部１２１は、所定の方法に基づいて、入力されたインターレース方式のＳＤ画像（以下、入力画像とも称する）をプログレッシブ方式のＳＤ画像（以下、中間画像とも称する）にIP変換し、IP変換したプログレッシブ方式のＳＤ画像を巡回型変換部１２２に供給する。
【００３７】
巡回型変換部１２２は、入力画像と、１フレーム前に巡回型変換部１２２から出力されたプログレッシブ方式のＳＤ画像（以下、出力画像とも称する）との間の動きベクトルを求める。巡回型変換部１２２は、入力画像の画素値と、求めた動きベクトルに基づいて、出力画像に動き補償を施した画像の画素値とを、巡回係数を用いて重み付け加算することにより、中間画像の画質を向上させる。巡回型変換部１２２は、中間画像をより高画質のプログレッシブ方式のＳＤ画像である出力画像に変換し、出力画像を出力位相変換部１１２に供給する。なお、巡回係数は、中間画像の各画素について、変換前の入力画像において画素が存在する位置にあるか否か、動きベクトルの垂直方向の大きさ、および、動きベクトルの確からしさを表す信頼度確からしさに基づいて設定される。
【００３８】
出力位相変換部１１２は、巡回型変換部１２２から供給される第１の画素数のＳＤ画像に対して、水平方向および垂直方向に補間を行うことにより、第１の画素数より多い第２の画素数のＨＤ画像を生成する。出力位相変換部１１２は、そのＨＤ画像を、自然画予測部１３１、人工画予測部１３２、および、自然画人工画判定部１１４に供給する。
【００３９】
画像処理部１１３は、自然画人工画判定部１１４より供給されてくる人工画度に基づいて、ＨＤ画像から高品質な画像に処理して、処理結果としての高品質なＨＤ画像を出力する。
【００４０】
自然画人工画判定部１１４は、出力位相変換部１１２より供給されるHD画像の各画素について、人工画像に分類される領域、または、自然画像に分類される領域のいずれの領域に属するかを判定し、判定結果を人工画度として画像処理部１１３に出力する。すなわち、人工画度とは、人工画像と自然画像との中間に分類される領域において自然画像における人工画像の割合を０乃至１の値で示したものである。
【００４１】
自然画予測部１３１は、出力位相変換部１１２から供給されるＨＤ画像から、そのＨＤ画像のうちの自然画像を高品質にしたＨＤ画像（以下、自然高品質画像と称する）を予測する。具体的には、自然画予測部１３１は、ＨＤ画像の特徴に応じて、そのＨＤ画像から求められる自然高品質画像の画素である注目画素を、自然画像の特徴に適したクラスに分類する。そして、自然画予測部１３１は、そのクラスに対応する、自然高品質画像を予測するための予測係数と、ＨＤ画像とを用いて演算することにより、出力位相変換部１１２から供給されたＨＤ画像から、自然高品質画像を予測する。自然画予測部１３１は、その自然高品質画像を合成部１３３に供給する。
【００４２】
人工画予測部１３２は、自然画予測部１３１と同様に、出力位相変換部１１２から供給されるＨＤ画像から、そのＨＤ画像のうちの人工画像を高品質にしたＨＤ画像(以下、人工高品質画像と称する)を予測する。具体的には、人工画予測部１３２は、ＨＤ画像の特徴に応じて、そのＨＤ画像から求められる人工高品質画像の画素である注目画素を、人工画像の特徴に適したクラスに分類する。そして、人工画予測部１３２は、そのクラスに対応する、人工高品質画像を予測するための予測係数と、ＨＤ画像とを用いて演算することにより、出力位相変換部１１２から供給されたＨＤ画像から、人工高品質画像を予測する。人工画予測部１３２は、その人工高品質画像を合成部１３３に出力する。
【００４３】
合成部１３３は、自然画人工画判定部１１４より供給される判定結果に基づいて、自然画予測部１３１から供給される自然高品質画像の各画素の画素値と、人工画予測部１３２から供給される人工高品質画像の各画素の画素値とを人工画度に応じた割合で合成し、合成の結果得られるＨＤ画像を出力する。
【００４４】
次に、図２のフローチャートを参照して、画像変換装置１０１により実行される画像変換処理を説明する。なお、この処理は、例えば、外部からインターレース方式のＳＤ画像の入力が開始されたとき開始される。
【００４５】
ステップＳ１において、IP変換部１２１は、ＩＰ変換を行う。具体的には、ＩＰ変換部１２１は、所定の方法に基づいて、インターレース方式の入力画像を、プログレッシブ方式の中間画像にIP変換し、IP変換した中間画像を巡回型変換部１２２に供給する。
【００４６】
ステップＳ２において、巡回型変換部１２２は、巡回型変換処理を行う。具体的には、入力画像と、１フレーム前に巡回型変換部１２２から出力された出力画像との間の動きベクトルを求める。巡回型変換部１２２は、入力画像の画素値と、求めた動きベクトルに基づいて、出力画像に動き補償を施した画像の画素値とを、巡回係数を用いて重み付け加算することにより、中間画像の画質を向上させる。巡回型変換部１２２は、中間画像をより高画質のプログレッシブ方式のＳＤ画像である出力画像に変換し、出力画像を出力位相変換部１１２に供給する。
【００４７】
ステップＳ３において、出力位相変換部１１２は、出力位相変換処理を行う。具体的には、出力位相変換部１１２は、巡回型変換部１２２から供給されるＳＤ画像に対して、水平方向および垂直方向に補間を行うことにより、ＨＤ画像を生成する。出力位相変換部１１２は、そのＨＤ画像を、自然画予測部１３１、人工画予測部１３２、および、自然画人工画判定部１１４に供給する。
【００４８】
ステップＳ４において、自然画予測部１３１は、自然画予測処理を行う。自然画予測処理の詳細は、図６を参照して後述するが、この処理により、ＨＤ画像から自然高品質画像が予測され、その自然高品質画像が合成部１３３に供給される。
【００４９】
ステップＳ５において、人工画予測部１３２は、人工画予測処理を行う。人工画予測処理の詳細は、図１５を参照して後述するが、この処理により、ＨＤ画像から人工高品質画像が予測され、その人工高品質画像が合成部１３３に出力される。
【００５０】
ステップＳ６において、自然画人工画判定部１１４は、自然画人工画判定処理を行う。自然画予測処理の詳細は、図３５を参照して後述するが、自然画人工画判定部１１４は、出力位相変換部１１２より供給されるHD画像の各画素について、人工画像に分類される領域、または、自然画像に分類される領域のいずれの領域に属するかを判定し、判定結果を人工画度として合成部１３３に出力する。
【００５１】
ステップＳ７において、合成部１３３は、画像を合成する。具体的には、合成部１３３は、自然画人工画判定部１１４より供給される判定結果に基づいて、自然画予測部１３１から供給される自然高品質画像の各画素の画素値と、人工画予測部１３２から供給される人工高品質画像の各画素の画素値とを人工画度に応じた割合で合成する。合成部１３３は、合成した画像を後段の装置に出力する。
【００５２】
なお、複数の画像の画像変換を連続して行う場合、上述したステップＳ１乃至Ｓ７の処理が繰り返し実行される。
【００５３】
図３は、図１の自然画予測部１３１の構成例を示すブロック図である。
【００５４】
図３の自然画予測部１３１は、クラスタップ抽出部５５１、ADRC(Adaptive Dynamic Range Coding)処理部５５２、係数種メモリ５５３、予測係数生成部５５４、予測係数メモリ５５５、予測タップ抽出部５５６、および予測演算部５５７により構成され、図１の出力位相変換部１１２から供給されるプログレッシブ方式のＨＤ画像から、そのＨＤ画像のうちの自然画像からノイズなどを除去して、高品質にした自然高品質画像を予測する。
【００５５】
自然画予測部１３１には、図１の出力位相変換部１１２から供給される、プログレッシブ方式のＨＤ画像が入力され、そのＨＤ画像はクラスタップ抽出部５５１と予測タップ抽出部５５６に供給される。
【００５６】
クラスタップ抽出部５５１は、入力されたＨＤ画像により求められる、自然高品質画像を構成する画素を、順次、注目画素とし、その注目画素をクラスに分類するために用いる、入力されたＨＤ画像を構成する画素の幾つかを、クラスタップとして抽出する。クラスタップ抽出部５５１は、抽出されたクラスタップを、ADRC処理部５５２に供給する。
【００５７】
ADRC処理部５５２は、クラスタップ抽出部５５１から供給されるクラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、その画素値に対してADRC処理などを行い、その結果得られるADRCコードを、クラスタップの特徴として検出する。
【００５８】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算される。
【００５９】
そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算されて、除算結果の小数点以下は切り捨てられ、これにより、各画素の画素値が１ビットとされる。即ち、各画素の画素値が２値化される。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００６０】
ADRC処理部５５２は、検出されたADRCコードに基づいてクラスを決定することにより、注目画素をクラスに分類し、そのクラスを予測係数メモリ５５５に供給する。例えば、ADRC処理部５５２は、ADRCコードをそのままクラスとして、予測係数メモリ５５５に供給する。
【００６１】
係数種メモリ５５３は、図７乃至図９を参照して後述する学習により獲得されたクラスごとの係数種を格納している。予測係数生成部５５４は、係数種メモリ５５３から係数種を読み出す。予測係数生成部５５４は、ユーザにより入力される水平方向の解像度を決定するためのパラメータhと、垂直方向の解像度を決定するためのパラメータvとに基づいて、そのパラメータhとvを含む多項式を用いて、読み出された係数種から予測係数を生成し、予測係数メモリ５５５に供給して記憶させる。
【００６２】
予測係数メモリ５５５は、ADRC処理部５５２から供給されるクラスに応じて、そのクラスの予測係数を読み出し、予測演算部５５７に供給する。
【００６３】
なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。
【００６４】
予測タップ抽出部５５６は、入力されたＨＤ画像から、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部５５６は、予測タップを予測演算部５５７に供給する。
【００６５】
予測演算部５５７は、予測タップ抽出部５５６から供給される予測タップと、予測係数メモリ５５５から供給される予測係数とを用いて、注目画素の真値の予測値を求める線形一次式の演算などの予測演算を行う。これにより、予測演算部５５７は、注目画素の画素値の予測値、即ち、自然高品質画像を構成する画素の画素値を求めて合成部１３３に出力する。
【００６６】
図４は、図３のクラスタップ抽出部５５１により抽出されるクラスタップのタップ構造の一例を示している。
【００６７】
なお、図中白丸は、出力位相変換部１１２から供給されるＨＤ画像の画素のうち、クラスタップを構成する画素を表し、点線の丸は、クラスタップを構成しない画素を表し、黒丸は注目画素を表している。このことは、後述する図５においても同様である。
【００６８】
図４では、９個の画素で、クラスタップが構成されている。即ち、注目画素ｑ６に対応するＨＤ画像を構成する画素ｐ６４を中心として、縦方向に１画素置きに並ぶ５画素ｐ６０，ｐ６１，ｐ６４，ｐ６７，ｐ６８、横方向に１画素置きに並ぶ画素ｐ６４を除いた４画素ｐ６２，ｐ６３，ｐ６５，ｐ６６から、いわば十字形状のクラスタップが構成されている。
【００６９】
図５は、図３の予測タップ抽出部５５６により抽出される予測タップのタップ構造の一例を示している。
【００７０】
図５では、１３個の画素で、予測タップが構成されている。即ち、図５では、出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素ｑ８に対応する画素ｐ８６を中心として縦方向に１画素置きに並ぶ５画素ｐ８０，ｐ８２，ｐ８６，ｐ９０，ｐ９２、横方向に１画素置きに並ぶ画素ｐ８６を除いた４画素ｐ８４、ｐ８５，ｐ８７，ｐ８８、画素ｐ８５を中心として、縦方向に１画素置きに並ぶ画素ｐ８５を除いた２画素ｐ８１，ｐ８９、画素ｐ８７を中心として、縦方向に１画素置きに並ぶ画素ｐ８７を除いた２画素ｐ８３，ｐ９１から、略ひし形状の予測タップが構成されている。
【００７１】
なお、図４と図５では、クラスタップを構成する９画素ｐ６０乃至ｐ６８と、予測タップを構成する１３画素ｐ８０乃至ｐ９２は、上下方向（垂直方向）または左右方向（水平方向）に１画素置きに、即ち２画素間隔で並んでいるが、その間隔は、これに限定されず、出力位相変換部１１２における変換前のＳＤ画像と変換後のＨＤ画像の画素数の比率、即ち補間倍率に応じて変更するとよい。
【００７２】
例えば、水平方向と垂直方向の各画素数が、それぞれ２倍になるように、出力位相変換部１１２が画像を変換した場合、図４と図５に示されるように、垂直方向または水平方向に２画素間隔で並ぶ画素から、クラスタップと予測タップを構成すると、補間された画素および補間前から存在する画素のうちの一方だけで、クラスタップと予測タップが構成されるので、それらの両方が混在する、例えばクラスタップと予測タップが１画素間隔で並ぶ画素から構成される場合よりも、自然画予測部１３１による予測処理の結果の精度が向上する。
【００７３】
次に、図６を参照して、図３の自然画予測部１３１が行う図２のステップＳ４の自然画予測処理の詳細を説明する。
【００７４】
初めに、ステップＳ５５１において、クラスタップ抽出部５５１は、図１の出力位相変換部１１２から入力されたＨＤ画像により求められる自然高品質画像を構成する画素のうちの１つを、注目画素として選択する。
【００７５】
ステップＳ５５２において、クラスタップ抽出部５５１は、図４に示されるような、ステップＳ５５１で選択された注目画素のクラス分類を行うのに用いる、入力されたＨＤ画像を構成する画素の幾つかを、ＨＤ画像からクラスタップとして抽出し、ADRC処理部５５２に供給する。
【００７６】
ステップＳ５５３において、ADRC処理部５５２は、クラスタップ抽出部５５１から供給されるクラスタップを構成する画素の画素値に対して、ADRC処理を行い、その結果得られるADRCコードを、クラスタップの特徴として検出する。
【００７７】
ステップＳ５５４において、ADRC処理部５５２は、ADRCコードに基づいてクラスを決定することにより、注目画素をクラスに分類し、そのクラスを予測係数メモリ５５５に供給する。
【００７８】
ステップＳ５５５において、予想係数生成部５５４は、係数種メモリ５５３から係数種を読み出す。
【００７９】
ステップＳ５５６において、予測係数生成部５５４は、ユーザにより入力されたパラメータhとvに基づいて、パラメータhとvを含む多項式を用いて、係数種メモリ５５３から読み出された係数種から予測係数を生成し、予測係数メモリ５５５に供給して記憶させる。この係数種から予測係数を生成する処理の詳細については後述する。
【００８０】
ステップＳ５５７において、予測係数メモリ５５５は、ADRC処理部５５２から供給されるクラスに基づいて、そのクラスの予測係数を読み出し、予測演算部５５７に供給する。
【００８１】
ステップＳ５５８において、予測タップ抽出部５５６は、入力されたＨＤ画像から、図５に示されるような、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部５５６は、予測タップを予測演算部５５７に供給する。
【００８２】
ステップＳ５５９において、予測演算部５５７は、予測タップ抽出部５５６から供給される予測タップと、予測係数メモリ５５５から供給される予測係数とを用いて、注目画素の真値の予測値を求める線形一次式などの予測演算を行う。
【００８３】
ステップＳ５６０において、予測演算部５５７は、予測演算の結果得られた注目画素の画素値の予測値、即ち、自然高品質画像を構成する画素の画素値を合成部１３３に出力する。
【００８４】
ステップＳ５６１において、クラスタップ抽出部５５１は、入力されたＨＤ画像により求められる自然高品質画像を構成するすべての画素を、注目画素としたかどうかを判定する。ステップＳ５６１で、すべての画素をまだ注目画素としていないと判定された場合、ステップＳ５６２において、クラスタップ抽出部５５１は、自然高品質画像を構成する画素のうち、まだ注目画素としていないものを、新たに注目画素として決定し、処理をステップＳ５５２に戻し、以下同様の処理を繰り返す。一方、ステップＳ５６１で、クラスタップ抽出部５５１は、すべての画素を注目画素としたと判定した場合、自然画予測処理を終了する。
【００８５】
以上のようにして、自然画予測部１３１は、出力位相変換部１１２から供給されるＨＤ画像から、自然高品質画像を予測し、出力する。即ち、自然画予測部１３１は、ＨＤ画像を自然高品質画像に変換し、出力する。
【００８６】
以上のように、図１の画像変換装置１０１では、出力位相変換部１１２が、巡回型変換部１２２から供給されるＳＤ画像を、自然画予測部１３１から出力するＨＤ画像に変換して、自然画予測部１３１に供給するので、予測前と予測後の画像の画素数が同一であり、予測前後の画像の画素の位置にはズレがなくなる。
【００８７】
従って、自然画予測部１３１は、自然高品質画像の画素である注目画素の位相と同一の位相のＨＤ画像の画素からなる予測タップを用いて、注目画素の画素値を予測することができる。その結果、自然画予測部１３１は、自然高品質画像を正確に予測し、高精度の画像変換を行うことができる。即ち、出力位相変換部１１２と自然画予測部１３１は、巡回型変換部１２２から入力されるＳＤ画像である画像を、画素数の異なる高品質なＨＤ画像である自然高品質画像に的確に変換することができる。
【００８８】
また、自然画予測部１３１は、クラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、注目画素をクラスに分類するので、平坦部分が比較的少ない自然画像の特徴を分類するのに適した分類を行うことができる。その結果、自然画予測部１３１は、ＨＤ画像のうちの自然画像の品質を、的確に高めることができる。
【００８９】
次に、図３の予測演算部５５７における予測演算と、その予測演算に用いられる予測係数の学習について説明する。
【００９０】
いま、入力されたＨＤ画像から予測タップを抽出し、その予測タップと予測係数を用いて、自然高品質画像を構成する画素（以下、適宜、自然高品質画像画素と称する）の画素値を予測する所定の予測演算として、例えば、線形１次予測演算を採用することとすると、自然高品質画像画素の画素値ｙは、次の線形１次式によって求められることになる。
【００９１】
【数１】
0004605468.tif 000002
【００９２】
但し、式（１）において、ｘnは、画素値ｙの自然高品質画像画素についての予測タップを構成する、ｎ番目のＨＤ画像の画素（以下、適宜、ＨＤ画像画素と称する）の画素値を表し、Ｗnは、ｎ番目のＨＤ画像画素の画素値と乗算されるｎ番目の予測係数を表す。なお、式（１）では、予測タップが、Ｎ個のＨＤ画像画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００９３】
自然高品質画像画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００９４】
いま、第ｋサンプルの自然高品質画像画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【００９５】
【数２】
0004605468.tif 000003
【００９６】
式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）の予測値ｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【００９７】
【数３】
0004605468.tif 000004
【００９８】
但し、式（３）において、ｘn,kは、第ｋサンプルの自然高品質画像画素についての予測タップを構成するｎ番目のＨＤ画像画素を表す。
【００９９】
式（３）または式（２）の予測誤差ｅkを０、即ち統計的に最小にする予測係数Ｗnが、自然高品質画像画素を予測するのに最適なものとなるが、すべての自然高品質画像画素について、そのような予測係数Ｗnを求めることは、一般には困難である。
【０１００】
そこで、予測係数Ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数Ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１０１】
【数４】
0004605468.tif 000005
【０１０２】
但し、式（４）において、Ｋは、高品質画像の画素値の真値ｙkと、その真値ｙkについての予測タップを構成するＨＤ画像画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数、即ち学習用のサンプルの数を表す。
【０１０３】
式（４）の自乗誤差の総和Ｅの最小値は、式（５）に示すように、総和Ｅを予測係数Ｗnで偏微分したものを０とするＷnによって与えられる。
【０１０４】
【数５】
0004605468.tif 000006
【０１０５】
そこで、上述の式（３）を予測係数Ｗnで偏微分すると、次式が得られる。
【０１０６】
【数６】
0004605468.tif 000007
【０１０７】
式（５）と式（６）から、次式が得られる。
【０１０８】
【数７】
0004605468.tif 000008
【０１０９】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１１０】
【数８】
0004605468.tif 000009
【０１１１】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数Ｗnについて解くことができる。
【０１１２】
式（８）の正規方程式をクラスごとにたてて解くことにより、最適な予測係数として、自乗誤差の総和Ｅを最小にする予測係数Ｗnを、クラスごとに求めることができる。
【０１１３】
また、図３の予測係数生成部５５４において予測係数を生成する多項式と、その多項式に用いられる係数種の学習について説明する。
【０１１４】
いま、入力されたパラメータhとv、並びに係数種を用いて予測係数を生成する式として、例えば、多項式を採用することとすると、クラスごと、かつパラメータhとvの組み合わせごとの予測係数Ｗnは、次の多項式によって求められる。
【０１１５】
【数９】
0004605468.tif 000010
【０１１６】
但し、式（９）において、ｗn,k（ｋ＝1,2・・・,9）は、式（１４）で表される画素値ｙの自然高品質画像画素についての予測タップを構成する、ｎ番目のＨＤ画像の画素の画素値ｘnと乗算されるｎ番目の予測係数Ｗnを生成するための係数種のうちの、ｋ番目の項の係数を表す。
【０１１７】
ここで、パラメータhとvに対応する、ｎ番目の予測係数の真値をＷvhnと表すとともに、式（９）によって得られるその真値Ｗvhnの推測値をＷvhn'と表すと、その推測誤差ｅvhnは、次式で表される。
【０１１８】
【数１０】
0004605468.tif 000011
【０１１９】
式（１０）の推測値Ｗvhn'は、式（９）にしたがって求められるため、式（１０）の推測値Ｗvhn'を、式（９）にしたがって置き換えると、次式が得られる。
【０１２０】
【数１１】
0004605468.tif 000012
【０１２１】
なお、式（１１）において、ｗvhn,kは、予測係数Ｗvhnを生成するための係数種のうちの、ｋ番目の項の係数を表す。また、式（１１）において、ｔkは次式で定義される。
【０１２２】
【数１２】
0004605468.tif 000013
【０１２３】
式（１０）または式（１１）の予測誤差ｅvhnを０、即ち統計的に最小にする係数種ｗvhn,kが、予測係数を推測するのに最適なものとなるが、すべての予測係数について、そのような係数種ｗvhn,kを求めることは、一般には困難である。
【０１２４】
そこで、係数種ｗvhn,kが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種ｗvhn,kは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１２５】
【数１３】
0004605468.tif 000014
【０１２６】
但し、式（１３）において、Vは、パラメータvの種類の数を表し、Hは、パラメータhの種類の数を表す。
【０１２７】
式（１３）の自乗誤差の総和Ｅの最小値は、式（１４）に示すように、総和Ｅを係数種ｗvhn,kで偏微分したものを０とするｗvhn,kによって与えられる。
【０１２８】
【数１４】
0004605468.tif 000015
【０１２９】
ここで、ＸklとＹkをそれぞれ以下の式（１５）と式（１６）で定義すると、式（１４）は以下の式（１７）の正規方程式に書き換えられる。
【０１３０】
【数１５】
0004605468.tif 000016
【０１３１】
【数１６】
0004605468.tif 000017
【０１３２】
【数１７】
0004605468.tif 000018
【０１３３】
式（１７）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種ｗn,kについて解くことができる。
【０１３４】
式（１７）の正規方程式をクラスごとにたてて解くことにより、最適な係数種として、自乗誤差の総和Ｅを最小にする係数種ｗn,kを、クラスごとに求めることができる。
【０１３５】
図７は、式（１７）の正規方程式をたてて解くことによりクラスごとの係数種ｗn,kを求める学習を行う学習装置６０１の構成例を示すブロック図である。
【０１３６】
図７の学習装置６０１は、帯域制限フィルタ６１１、クラスタップ抽出部６１２、ADRC処理部６１３、予測タップ抽出部６１４、正規方程式生成部６１５、予測係数生成部６１６、正規方程式生成部６１７、係数種決定部６１８、および係数種メモリ６１９により構成される。
【０１３７】
学習装置６０１には、図示せぬデータベースから読み出された、予測処理後の目標の自然画像となる教師画像が複数入力され、その教師画像は、帯域制限フィルタ６１１と正規方程式生成部６１５に供給される。また、学習装置６０１には、ユーザの指示に基づいて、パラメータhとvが外部から入力され、帯域制限フィルタ６１１と正規方程式生成部６１５に供給される。なお、学習装置６０１には、1枚の教師画像が学習装置６０１に入力されるごとに、パラメータhとvの全通りの組み合わせが入力されるようになっている。
【０１３８】
帯域制限フィルタ６１１は、外部から入力されるパラメータhとvに応じて、図示せぬデータベースから取得された教師画像の、垂直方向および水平方向の帯域をそれぞれ制限するフィルタ処理を行う。これにより、パラメータhとvの組み合わせごとの、予測処理が行われる前の自然画像に相当する生徒画像が生成される。例えば、パラメータhの種類が９種類であり、パラメータvの種類が９種類である場合、帯域制限フィルタ６１１は、外部から入力されるパラメータhとvに応じて、１枚の教師画像から８１種類の生徒画像を生成する。
【０１３９】
帯域制限フィルタ６１１は、その生徒画像をクラスタップ抽出部６１２と予測タップ抽出部６１４に供給する。
【０１４０】
クラスタップ抽出部６１２は、図３のクラスタップ抽出部５５１と同様に構成される。クラスタップ抽出部６１２は、教師画像を構成する画素を、順次、注目教師画素として、その注目教師画素について、生徒画像から、図４に示されるような、図３のクラスタップ抽出部５５１が抽出するクラスタップと同一のタップ構造のクラスタップを抽出し、ADRC処理部６１３に供給する。
【０１４１】
ADRC処理部６１３は、クラスタップ抽出部５５１から供給されるクラスタップを構成する画素の画素値に対して、ADRC処理などを行い、その結果得られるADRCコードを、クラスタップの特徴として検出する。ADRC処理部６１３は、そのADRCコードに基づいてクラスを決定し、そのクラスを正規方程式生成部６１５に供給する。
【０１４２】
予測タップ抽出部６１４は、図３の予測タップ抽出部５５６と同様に構成される。予測タップ抽出部６１４は、帯域制限フィルタ６１１から供給される生徒画像から、図５に示されるような、注目教師画素の画素値を予測するのに用いる生徒画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部５５６は、予測タップを正規方程式生成部６１５に供給する。
【０１４３】
正規方程式生成部６１５は、入力された教師画像と、予測タップ抽出部６１４から供給される予測タップのペアを、予測係数Ｗnの学習に用いられる学習対として、ADRC処理部６１３から供給されるクラスごと、かつ外部から入力されるパラメータhとvの組み合わせごとに、上述した式（８）の正規方程式をたてると、その正規方程式を予測係数生成部６１６に供給する。
【０１４４】
予測係数生成部６１６は、正規方程式生成部６１５から供給されるクラスごとの正規方程式を解くことにより、予測誤差を統計的に最小にする予測係数Ｗnを、パラメータhとvの組み合わせごと、かつクラスごとに求めて、正規方程式生成部６１７に供給する。
【０１４５】
正規方程式生成部６１７は、予測係数生成部６１６からの予測係数Ｗvhnに基づいて、上述した式（１７）の正規方程式をクラスごとに生成し、係数種決定部６１８に出力する。係数種生成部６１８は、クラスごとの式（１７）の正規方程式を解き、クラスごとの係数種ｗn,kを求めて係数種メモリ６１９に格納する。この係数種メモリ６１９に格納された係数種は、図３の係数種メモリ５５３に格納される。
【０１４６】
次に、図８を参照して、教師画像と生徒画像の画素の位置関係を説明する。
【０１４７】
図８において、菱形は教師画像の画素を表し、白丸は生徒画像の画素を表している。また、図中横軸は水平方向の位置を表し、縦軸は垂直方向の位置を表す。
【０１４８】
図８に示されるように、教師画像と生徒画像の画素の水平方向および垂直方向の位置は同一となっている。即ち、教師画像と生徒画像は同位相である。
【０１４９】
次に、図９のフローチャートを参照して、図７の学習装置６０１の学習処理について説明する。
【０１５０】
初めに、ステップＳ６０１において、帯域制限フィルタ６１１は、入力されたパラメータhとvに応じて、入力された教師画像の垂直方向および水平方向の帯域をそれぞれ制限するフィルタ処理を行うことにより、入力された教師画像から生徒画像を生成し、クラスタップ抽出部６１２と予測タップ抽出部６１４に供給する。
【０１５１】
ステップＳ６０２において、クラスタップ抽出部６１２は、図３のクラスタップ抽出部５５１と同様に、教師画像を構成する画素のうちの１つを注目教師画素として、選択する。
【０１５２】
ステップＳ６０３において、クラスタップ抽出部６１２は、クラスタップ抽出部５５１と同様に、生徒画像から、図４に示されるようなクラスタップを抽出し、ADRC処理部６１３に供給する。
【０１５３】
ステップＳ６０４において、ADRC処理部６１３は、クラスタップを構成する画素の画素値に対して、ADRC処理を行う。ステップＳ６０５において、ADRC処理部６１３は、ADRC処理の結果得られるADRCコードに基づいて、クラスを決定し、そのクラスを正規方程式生成部６１５に供給する。
【０１５４】
ステップＳ６０６において、予測タップ抽出部６１４は、図３の予測タップ抽出部５５６と同様に、注目教師画素について、帯域制限フィルタ６１１から供給される生徒画像から、図５に示されるような予測タップを抽出し、正規方程式生成部６１５に供給する。
【０１５５】
ステップＳ６０７において、正規方程式生成部６１５は、入力される教師画像から注目教師画素を抽出し、その注目教師画素と、予測タップ抽出部６１４から供給される注目教師画素について構成された予測タップを構成する生徒画像とを対象とした式（８）の足し込みを、パラメータhおよびvの組み合わせごと、かつADRC処理部６１３から供給されるクラスごとに行う。
【０１５６】
ステップＳ６０８において、クラスタップ抽出部６１２は、入力されるすべての教師画像の画素を注目教師画素としたかどうかを判定する。ステップＳ６０８で、まだすべての教師画像の画素を注目教師画素としていないと判定された場合、ステップＳ６０９において、クラスタップ抽出部６１２は、教師画像の画素のうち、まだ注目教師画素としていないものを、新たに注目教師画素として決定する。そして、処理はステップＳ６０３に戻り、以下、同様の処理が繰り返される。
【０１５７】
一方、ステップＳ６０８で、すべての教師画像の画素を注目教師画素としたと判定された場合、ステップＳ６１０において、正規方程式生成部６１５は、いままでの処理によって得られたパラメータhおよびvの組み合わせごと、かつクラスごとの式（８）における左辺の行列と、右辺のベクトルを、正規方程式として予測係数生成部６１６に供給する。
【０１５８】
ステップＳ６１１において、予測係数生成部６１６は、正規方程式生成部６１５から供給される、パラメータhおよびvの組み合わせごと、かつクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解き、パラメータhおよびvの組み合わせごと、かつクラスごとの予測係数Ｗvhnを求めて、正規方程式生成部６１７に出力する。
【０１５９】
ステップＳ６１２において、正規方程式生成部６１７は、予測係数Ｗvhnに基づいて、式（１７）の正規方程式をクラスごとに生成し、係数種決定部６１８に出力する。
【０１６０】
ステップＳ６１３において、係数種決定部６１８は、式（１７）の正規方程式を解き、クラスごとの係数種ｗn,kを求める。係数種メモリ６１９は、ステップＳ６１４において、その係数種ｗn,kを記憶する。この係数種が図３の係数種メモリ５５３に記憶される。
【０１６１】
以上のように、自然画予測部１３１は、自然画像を用いた学習により獲得された係数種よにり生成された予測係数Ｗnを用いて、自然高品質画像を予測するので、出力位相変換部１１２から供給されるＨＤ画像のうちの自然画像の品質を的確に高めることができる。
【０１６２】
また、自然画予測部１３１は、クラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、その特徴に応じて、注目画素をクラスに分類するので、自然画像の注目画素を、的確に分類することができる。その結果、自然画予測部１３１は、このクラスごとに学習により獲得された係数種により生成された予測係数を用いて、ＨＤ画像から自然高品質画像を予測することにより、自然画像に含まれるノイズ等をより的確に除去し、より高品質の自然高品質画像を出力することができる。
【０１６３】
図１０は、図１の人工画予測部１３２の第１の実施の形態の詳細構成例を示している。
【０１６４】
図１０の人工画予測部１３２は、クラス分類部６５１、係数種メモリ６５２、予測係数生成部６５３、予測係数メモリ６５４、および予測部６５５により構成され、出力位相変換部１１２から供給されるプログレッシブ方式のＨＤ画像から、そのＨＤ画像のうちの人工画像からノイズなどを除去して、高品質にした人工高品質画像を予測する。
【０１６５】
出力位相変換部１１２から供給されるＨＤ画像は、クラス分類部６５１と予測部６５５に入力される。クラス分類部６５１は、そのＨＤ画像により求められる人工高品質画像を構成する画素を、順次、注目画素とし、その注目画素を、ＨＤ画像の位相の特徴に応じて、幾つかのクラスのうちのいずれかのクラスに分類する。クラス分類部６５１は、分類されたクラスを予測係数メモリ６５４に供給する。
【０１６６】
係数種メモリ６５２は、例えばROM(Read Only Memory)などにより構成され、図１７乃至図１９を参照して後述する学習により獲得されたクラスごとの係数種を格納している。
【０１６７】
予測係数生成部６５３は、ユーザにより入力されるパラメータhとvを含む式（９）の多項式を用いて、係数種メモリ６５２より読み出された係数種ｗn,kから予測係数Ｗnを生成し、予測係数メモリ６５４に記憶させる。
【０１６８】
予測係数メモリ６５４は、クラス分類部６５１から供給されるクラスに基づいて、そのクラスの予測係数Ｗnをから読み出し、予測部６５５に供給する。
【０１６９】
予測部６５５は、ＨＤ画像と、予測係数メモリ６５４から供給される予測係数Ｗnとを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部６５５は、注目画素の画素値の予測値、即ち、人工高品質画像を構成する画素の画素値を求めて、図１の合成部１３３に出力する。
【０１７０】
図１１は、図１０のクラス分類部６５１の詳細構成例を示すブロック図である。
【０１７１】
図１１のクラス分類部６５１は、クラスタップ抽出部６７１、差分算出部６７２、およびADRC処理部６７３により構成される。
【０１７２】
クラスタップ抽出部６７１は、注目画素をクラスに分類するために用いるＨＤ画像を構成する画素の幾つかを、クラスタップとして抽出し、差分算出部６７２に供給する。
【０１７３】
差分算出部６７２は、クラスタップ抽出部６７１から供給されるクラスタップを構成する画素のうちの、隣接する２つの画素どうし（以下、隣接画素と称する）の画素値の差分の絶対値（以下、隣接差分絶対値と称する）を、クラスタップの位相の特徴として、隣接画素ごとに算出する。差分算出部６７２は、各隣接画素の隣接差分絶対値を、ADRC処理部６７３に供給する。
【０１７４】
ADRC処理部６７３は、差分算出部６７２から供給される隣接差分絶対値に対して、１ビットADRC処理を行う。具体的には、ADRC処理部６７３は、クラスタップの隣接差分絶対値を、その最大値MAXと最小値MINとの平均値で除算し、その除算結果の小数点以下を切り捨てることにより、隣接差分絶対値を１ビットにする。即ち、ADRC処理部６７３は、隣接差分絶対値を２値化する。
【０１７５】
そして、ADRC処理部６７３は、その１ビットの画素値を所定の順番で並べたビット列を、注目画素のクラスとして決定する。従って、クラスは、クラスタップ内のエッジの位置を表す位相情報となる。即ち、クラスは、クラスタップの位相を縮退した値となる。ADRC処理部６７３は、決定されたクラスを、図１０の予測係数メモリ６５４に供給する。
【０１７６】
以上のように、クラス分類部６５１は、各隣接画素の隣接差分絶対値を、クラスタップの位相の特徴として、その位相の特徴に応じて、注目画素をクラスに分類する。
【０１７７】
図１２は、図１１のクラスタップ抽出部６７１により抽出されるクラスタップのタップ構造の例を示している。なお、クラスタップのタップ構造は、図１２に示されている以外の構造とすることも可能である。
【０１７８】
図１２では、図１の出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素に対応する画素ｐ１２４と、その画素の上方向、左方向、右方向、下方向にそれぞれ隣接する２画素ｐ１２０，ｐ１２１，ｐ１２２，ｐ１２３，ｐ１２５，ｐ１２６，ｐ１２７，ｐ１２８とから、いわば十字形状のクラスタップが構成されている。
【０１７９】
図１１の差分算出部６７２は、クラスタップを構成する９個の画素ｐ１２０乃至ｐ１２８のうちの、隣接画素である画素ｐ１２０とｐ１２１，ｐ１２１とｐ１２４，ｐ１２２とｐ１２３，ｐ１２３とｐ１２４，ｐ１２４とｐ１２５，ｐ１２５とｐ１２６，ｐ１２４とｐ１２７，ｐ１２７とｐ１２８の８個の隣接差分絶対値ｄ０乃至ｄ７を算出し、ADRC処理部６７３に供給する。その結果、ADRC処理部６７３から８ビットで表されるクラスが出力される。
【０１８０】
図１３は、図１０の予測部６５５の詳細構成例を示すブロック図である。
【０１８１】
図１３の予測部６５５は、予測タップ抽出部６９１と予測演算部６９２から構成される。
【０１８２】
予測タップ抽出部６９１は、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出する。
【０１８３】
具体的には、予測タップ抽出部６９１は、注目画素に対応するＨＤ画像の画素、例えば、注目画素に対して空間的に最も近い位置にあるＨＤ画像の画素に対して、空間的に近い位置にある複数の画素を、ＨＤ画像から、予測タップとして抽出する。予測タップ抽出部６９１は、予測タップを予測演算部６９２に供給する。
【０１８４】
なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。
【０１８５】
予測演算部６９２には、予測タップ抽出部６９１から供給される予測タップのほかに、図１０の予測係数メモリ６５４から予測係数が供給される。予測演算部６９２は、その予測タップと予測係数とを用いて、注目画素の真値の予測値を求める、式（１）に示した予測演算を行う。これにより、予測演算部６９２は、注目画素の画素値の予測値、即ち、人工高品質画像を構成する画素の画素値を求めて、図１の合成部１３３に出力する。
【０１８６】
図１４は、図１３の予測タップ抽出部６９１により抽出される予測タップのタップ構造の例を示している。なお、予測タップのタップ構造は、図１４に示されている以外の構造とすることも可能である。
【０１８７】
図１４では、１３個の画素で、予測タップが構成されている。即ち、図１４では、出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素に対応する画素ｐ１４６を中心として縦方向に並ぶ５画素ｐ１４０，ｐ１４２，ｐ１４６，ｐ１５０，ｐ１５２、注目画素に対応する画素ｐ１４６の左と右に隣接する画素ｐ１４５，ｐ１４７それぞれを中心として縦方向に並ぶ３画素ｐ１４１，ｐ１４５，ｐ１４９，ｐ１４３，ｐ１４７，ｐ１５１、および注目画素に対応する画素ｐ１４６から左と右に２画素だけ離れた画素ｐ１４４，ｐ１４８から、略ひし形状の予測タップが構成されている。
【０１８８】
次に、図１５を参照して、図１０の人工画予測部１３２が行う図２のステップＳ５の人工画予測処理の詳細を説明する。
【０１８９】
初めに、ステップＳ７０１において、クラス分類部６５１は、求める人工高品質画像を構成する画素のうちの所定の画素である注目画素を、その注目画素に対応するＨＤ画像の位相の特徴に応じてクラスに分類するクラス分類処理を行う。このクラス分類処理の詳細は、図１６を参照して後述する。
【０１９０】
ステップＳ７０２において、係数種メモリ６５２は係数種ｗn,kを読み出し、予測係数生成部６５３に出力する。ステップＳ７０３において、予測係数生成部６５３は、ユーザにより入力されたパラメータhとvに基づいて、そのパラメータhとvを含む式（９）の多項式を用いて、係数種ｗn,kから予測係数Ｗnを生成し、予測係数メモリ５５５に供給して記憶させる。
【０１９１】
ステップＳ７０４において、予測係数メモリ６５４は、クラス分類部６５１により分類されたクラスに基づいて、そのクラスの予測係数Ｗnを読み出し、予測部６５５の予測演算部６９２に供給する。
【０１９２】
ステップＳ７０５において、予測タップ抽出部６９１は、出力位相変換部１１２から供給されるＨＤ画像から、図１４に示されるような、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出し、予測演算部６９２に供給する。
【０１９３】
ステップＳ７０６において、予測演算部６９２は、予測タップ抽出部６９１から供給される予測タップと、予測係数メモリ６５４から供給される予測係数Ｗnとを用いて、式（１）に示した予測演算を行うことにより、人工高品質画像を構成する画素の画素値を求める。ステップＳ７０７において、予測演算部６９２は、ステップＳ７０６で求められた人工高品質画像を構成する画素の画素値を、図１の合成部１３３に出力する。
【０１９４】
ステップＳ７０８において、クラス分類部６５１は、人工高品質画像を構成するすべての画素を注目画素としたかどうかを判定し、まだ人工高品質画像を構成するすべての画素を注目画素としていないと判定された場合、ステップＳ７０９において、クラス分類部６５１は、人工高品質画像を構成する画素のうち、まだ注目画素としていないものを新たに注目画素として決定し、処理をステップＳ７０１に戻し、以下、同様の処理を繰り返す。
【０１９５】
一方、ステップＳ７０８において、クラス分類部６５１は、人工高品質画像を構成するすべての画素を注目画素としたと判定した場合、人工画予測処理を終了する。
【０１９６】
以上のようにして、人工画予測部１３２は、出力位相変換部１１２から供給されるＨＤ画像から、人工高品質画像を予測し、出力する。即ち、人工画予測部１３２は、ＨＤ画像を人工高品質画像に変換し、出力する。
【０１９７】
次に、図１６のフローチャートを参照して、図１５のステップＳ７０１のクラス分類処理について説明する。
【０１９８】
ステップＳ７２１において、クラス分類部６５１のクラスタップ抽出部６７１(図１１)は、図１２に示されるような、注目画素のクラス分類を行うのに用いるＨＤ画像を構成する画素の幾つかを、クラスタップとして抽出し、差分算出部６７２に供給する。
【０１９９】
ステップＳ７２２において、差分算出部６７２は、クラスタップ抽出部６７１から供給されるクラスタップを構成する画素のうちの、各隣接画素の隣接差分絶対値を算出し、各隣接画素の隣接差分絶対値をADRC処理部６７３に供給する。
【０２００】
ステップＳ７２３において、ADRC処理部６７３は、差分算出部６７２から供給される隣接差分絶対値に対して、１ビットADRC処理を行う。ADRC処理部６７３は、その結果得られるビット列を、クラスとして決定することにより、注目画素をクラスに分類する。そして、ADRC処理部６７３は、そのクラスを図１０の予測係数メモリ６５４に供給する。その後、処理は図１５のステップＳ７０１に戻る。
【０２０１】
図１７は、図１０の係数種メモリ６５２に格納される係数種を求める学習を行う学習装置８１１の構成例を示すブロック図である。
【０２０２】
図１７の学習装置８１１は、生徒画像生成部８２１、クラス分類部８２２、生成部８２３、係数生成部８２４、正規方程式生成部８２５、係数種決定部８２６、および係数種メモリ８２７により構成される。
【０２０３】
この学習装置８１１は、上述した自然画予測部１３１の係数種メモリ５５３(図３)に格納される係数種ｗn,kの学習と同様に、係数種を学習する。即ち、学習装置８１１は、教師画像として、予測処理後の目標の人工画像に相当するＨＤ画像を採用し、生徒画像として、予測処理が行われる前の人工画像に相当するＨＤ画像を採用し、ユーザの指示に基づいて外部から入力されるパラメータhとvの組み合わせごと、かつクラスごとに上述した式（８）の正規方程式をたてて解くことにより、パラメータhとvの組み合わせごと、かつクラスごとの予測係数Ｗnである予測係数Ｗvhnを求める。
【０２０４】
そして、この予測係数Ｗvhnによりクラスごとに生成される上述した式（１７）の正規方程式を解くことで、クラスごとの係数種ｗn,kが生成され、記憶される。
【０２０５】
学習装置８１１には、図示せぬデータベースから読み出された教師画像が複数入力され、その教師画像は、生徒画像生成部８２１と生成部８２３に供給される。また、学習装置８１１には、パラメータhおよびvが入力され、生徒画像生成部８２１、および生成部８２３に供給される。
【０２０６】
生徒画像生成部８２１は、例えばローパスフィルタなどにより構成され、パラメータhおよびvに応じて、図示せぬデータベースから取得された人工画像である教師画像の品質を劣化させることにより、パラメータhおよびvの組み合わせごとの生徒画像を生成する。生徒画像生成部８２１は、その生徒画像をクラス分類部８２２と生成部８２３に供給する。
【０２０７】
クラス分類部８２２は、人工画予測部１３２の図１１のクラス分類部６５１と同様に構成される。クラス分類部８２２は、教師画像を構成する画素を、順次、注目教師画素として、その注目教師画素について、生徒画像から、図１１のクラスタップ抽出部６７１が抽出するクラスタップ（図１２）と同一のタップ構造のクラスタップを抽出する。
【０２０８】
そして、クラス分類部８２２は、クラスタップを構成する画素のうちの各隣接画素の隣接差分絶対値を算出し、その隣接差分絶対値に対して、１ビットADRC処理を行う。クラス分類部８２２は、その結果得られるビット列を、注目教師画素のクラスとして決定し、生成部８２３に供給する。
【０２０９】
生成部８２３は、教師画像と、生徒画像生成部８２１から供給される生徒画像のペアを、予測係数の学習に用いられる学習対として、外部から入力されるパラメータhとvの組み合わせごと、かつクラス分類部８２２から供給されるクラスごとに、式（８）に示した正規方程式をたてると、その正規方程式を、係数生成部８２４に供給する。
【０２１０】
係数生成部８２４は、生成部８２３から供給される、パラメータhとvの組み合わせごと、かつクラスごとの正規方程式を解くことにより、予測係数Ｗvhnを、パラメータhとvの組み合わせごと、かつクラスごとに求めて正規方程式生成部８２５に出力する。
【０２１１】
正規方程式生成部８２５は、予測係数Ｗvhnに基づいて式（１７）の正規方程式をクラスごとに生成し、係数種決定部８２６に出力する。係数種決定部８２６は、正規方程式を解くことで、係数種ｗn,kを求め、係数種メモリ８２７に格納する。係数種メモリ８２７に格納された係数種ｗn,kは、図１０の係数種メモリ６５２に格納される。
【０２１２】
図１８は、図１７の生成部８２３の詳細構成例を示すブロック図である。
【０２１３】
図１８の生成部８２３は、予測タップ抽出部８３１と正規方程式生成部８３２により構成される。
【０２１４】
生成部８２３に供給される学習対の生徒画像は、予測タップ抽出部８３１に供給され、教師画像は、正規方程式生成部８３２に供給される。
【０２１５】
予測タップ抽出部８３１は、学習対の教師画像を構成する画素を、順次、注目教師画素とし、その注目教師画素について、学習対の生徒画像から、図１３の予測タップ抽出部６９１が抽出する予測タップ(図１４)と同一のタップ構造の予測タップを抽出し、正規方程式生成部８３２に供給する。
【０２１６】
正規方程式生成部８３２は、教師画像から、注目教師画素を抽出し、その注目教師画素と、予測タップ抽出部８３１から供給される注目教師画素について構成された予測タップを構成する生徒画像とを対象とした足し込みを、外部から入力されるパラメータhとvの組み合わせごと、かつクラス分類部８２２から供給されるクラスごとに行う。
【０２１７】
そして、正規方程式生成部８３２は、学習装置８１１に入力されるすべての教師画像の画素を注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、図１７の係数生成部８２４に供給する。
【０２１８】
次に、図１９のフローチャートを参照して、図１７の学習装置８１１の学習処理について説明する。
【０２１９】
初めに、ステップＳ７４１において、生徒画像生成部８２１は、外部から入力されたパラメータhとvに応じて、入力された教師画像から生徒画像を生成し、クラス分類部８２２と生成部８２３に供給する。
【０２２０】
ステップＳ７４２において、クラス分類部８２２は、図１６のクラス分類処理と同様に、教師画像のうちの所定の画素である注目教師画素を、その注目教師画素に対応する生徒画像の位相の特徴に応じて、クラスに分類するクラス分類処理を行う。クラス分類部８２２は、決定されたクラスを生成部８２３の正規方程式生成部８３２（図１８）に供給する。
【０２２１】
ステップＳ７４３において、図１８の予測タップ抽出部８３１は、注目教師画素について、生徒画像生成部８２１から供給される生徒画像から、予測タップを抽出し、正規方程式生成部８３２に供給する。
【０２２２】
ステップＳ７４４において、正規方程式生成部８３２は、入力される教師画像から注目教師画素を抽出し、その注目教師画素と、予測タップ抽出部８３１から供給される注目教師画素について構成された予測タップを構成する生徒画像とを対象とした式（８）の足し込みを、パラメータhおよびvの組み合わせごと、かつクラス分類部８２２から供給されるクラスごとに行う。
【０２２３】
ステップＳ７４５において、クラス分類部８２２は、入力されるすべての教師画像の画素を注目教師画素としたかどうかを判定する。ステップＳ７４５で、まだすべての教師画像の画素を注目教師画素としていないと判定された場合、ステップＳ７４６において、クラス分類部８２２は、まだ注目教師画素としていない教師画像の画素を、新たに注目教師画素として決定する。そして、処理はステップＳ７４２に戻り、以下、同様の処理が繰り返される。
【０２２４】
一方、ステップＳ７４５で、すべての教師画像の画素を注目教師画素としたと判定された場合、ステップＳ７４７において、正規方程式生成部８３２は、いままでの処理によって得られたパラメータhおよびvの組み合わせごと、かつクラスごとの式（８）における左辺の行列と、右辺のベクトルを、正規方程式として係数生成部８２４に供給する。
【０２２５】
ステップＳ７４８において、係数生成部８２４は、生成部８２３から供給される、パラメータhおよびvの組み合わせごと、かつクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成される正規方程式を解き、パラメータhおよびvの組み合わせごと、かつクラスごとの予測係数Ｗvhnを求め、正規方程式生成部８２５に出力する。
【０２２６】
ステップＳ７４９において、正規方程式生成部８２５は、予測係数Ｗvhnに基づいて式（１７）の正規方程式をクラスごとに生成し、係数種決定部８２６に出力する。ステップＳ７５０において、係数種決定部８２６は、クラスごとの式（１７）の正規方程式を解き、クラスごとの係数種ｗn,kを求める。ステップＳ７５１において、係数種メモリ８２７は、係数種ｗn,kを記憶する。この係数種が図１０の係数種メモリ６５２に記憶される。
【０２２７】
以上のように、人工画予測部１３２は、人工画像を用いた学習により獲得された係数種により生成される予測係数を用いて、人工高品質画像を予測するので、出力位相変換部１１２から供給されるＨＤ画像のうちの人工画像の品質を的確に高めることができる。
【０２２８】
また、人工画予測部１３２は、クラスタップのエッジの位置を位相の特徴として、その特徴に応じて、注目画素をクラスに分類するので、階調が少なく、位相情報がはっきりした人工画像の注目画素を、的確に分類することができる。その結果、人工画予測部１３２は、このクラスごとに学習により獲得された係数種により生成される予測係数を用いて、ＨＤ画像から人工高品質画像を予測することにより、人工画像に含まれるノイズ等をより的確に除去し、より高品質の人工高品質画像を出力することができる。
【０２２９】
次に、人工画予測部１３２の第２の実施の形態について説明する。
【０２３０】
人工画予測部１３２の第２の実施の形態は、図１０の人工画予測部１３２のクラス分類部６５１の代わりに、後述する図２０のクラス分類部８４０を設けることにより構成される。なお、この場合、係数種メモリ６５２に格納される係数種ｗn,kを求める学習装置８１１は、クラス分類部８２２の代わりに、クラス分類部８４０と同様に構成されるクラス分類部を設けることにより構成される。
【０２３１】
図２０は、人工画予測部１３２の第２の実施の形態のクラス分類部の詳細構成例を示すブロック図である。
【０２３２】
図２０のクラス分類部８４０は、クラスタップ抽出部６７１、差分算出部６７２、およびクラス決定部８４１により構成される。クラス分類部８４０は、クラスタップを構成する画素のうち、水平方向に隣接する隣接画素の隣接差分絶対値の比（以下、水平差分比と称する）と、垂直方向に隣接する隣接画素の隣接差分絶対値の比（以下、垂直差分比と称する）とを、クラスタップの位相の特徴として、その特徴に応じてクラス分類を行う。なお、図１１と同一のものには、同一の符号を付してあり、説明は繰り返しになるので省略する。
【０２３３】
クラス決定部８４１には、差分算出部６７２により算出された隣接差分絶対値が供給される。クラス決定部８４１は、クラスタップの水平方向の位相を表す水平差分比と、クラスタップの垂直方向の位相を表す垂直差分比とを算出する。クラス決定部８４１は、水平差分比と垂直差分比を、クラスタップの位相の特徴として、その特徴に応じて、注目画素のクラスを決定する。
【０２３４】
図２１は、図２０のクラスタップ抽出部６７１により抽出されるクラスタップのタップ構造の例を示している。なお、クラスタップのタップ構造は、図２１に示されている以外の構造とすることが可能である。
【０２３５】
図２１では、出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素に対応する画素ｐ１６２と、その画素の上方向、左方向、右方向、下方向にそれぞれ隣接する１画素ｐ１６０，ｐ１６１，ｐ１６３，ｐ１６４とから、いわば十字形状のクラスタップが構成されている。
【０２３６】
差分算出部６７２は、クラスタップを構成する５個の画素ｐ１６０乃至ｐ１６４のうちの、隣接画素である画素ｐ１６１とｐ１６２，ｐ１６２とｐ１６３，ｐ１６０とｐ１６２，ｐ１６２とｐ１６４の４個の隣接差分絶対値ｄ４０乃至ｄ４３を算出し、クラス決定部８４１に供給する。
【０２３７】
クラス決定部８４１は、水平方向に隣接する隣接画素である画素ｐ１６１とｐ１６２，ｐ１６２とｐ１６３の隣接差分絶対値ｄ４０とｄ４１の比（d40/d41）を、水平差分比として算出する。また、クラス決定部８４１は、垂直方向に隣接する隣接画素である画素ｐ１６０とｐ１６２，ｐ１６２とｐ１６４の隣接差分絶対値ｄ４２とｄ４３の比（d42/d43）を、垂直差分比として算出する。そして、クラス決定部８４１は、水平差分比と垂直差分比に応じて、クラスを決定する。
【０２３８】
具体的には、クラス決定部８４１は、例えば、注目画素を水平差分比と垂直差分比のそれぞれを、その値に応じて、１乃至８の分類番号が付された８種類の分類（サブクラス）のいずれかに分ける。そして、クラス決定部８４１は、水平差分比に応じて分けられた分類の分類番号と、垂直差分比に応じて分けられた分類の分類番号との組み合わせを、クラスとして決定する。従って、このとき、注目画素は、６４（=８×８）個のクラスに分類される。なお、勿論、分類の数は８個に限定されない。
【０２３９】
次に、図２２のフローチャートを参照して、図２０のクラス分類部８４０が注目画素をクラスに分類するクラス分類処理について説明する。このクラス分類処理は、図１５のステップＳ７０１のクラス分類処理に対応する。
【０２４０】
ステップＳ７６１において、クラス分類部８４０のクラスタップ抽出部６７１は、入力されたＨＤ画像からクラスタップ（図２１）を抽出し、差分算出部６７２に供給する。
【０２４１】
ステップＳ７６２において、差分算出部６７２は、クラスタップ抽出部６７１から供給されるクラスタップを構成する画素のうちの、各隣接画素の隣接差分絶対値を算出し、クラス決定部８４１に供給する。
【０２４２】
ステップＳ７６３において、クラス決定部８４１は、差分算出部６７２から供給される隣接差分絶対値から、水平差分比と垂直差分比を算出する。
【０２４３】
ステップＳ７６４において、クラス決定部８４１は、水平差分比と垂直差分比に基づいて、クラスを決定する。クラス決定部８４１は、そのクラスを図１０の予測係数メモリ６５４に供給する。その後、処理は図１５のステップＳ７０１に戻る。
【０２４４】
次に、人工画予測部１３２の第３の実施の形態について説明する。
【０２４５】
人工画予測部１３２の第３の実施の形態は、図１０の人工画予測部１３２のクラス分類部６５１の代わりに、後述する図２３のクラス分類部８５１を設けることにより構成される。なお、この場合、係数種メモリ６５２に格納される係数種ｗn,kを求める学習装置８１１は、クラス分類部８２２の代わりに、クラス分類部８５１と同様に構成されるクラス分類部を設けることにより構成される。
【０２４６】
図２３は、人工画予測部１３２の第３の実施の形態のクラス分類部の詳細構成例を示すブロック図である。
【０２４７】
図２３のクラス分類部８５１は、クラス分類器８６１、クラス分類器８６２、およびクラス選択部８６３により構成される。クラス分類部８５１は、ＨＤ画像の位相の特徴に応じたクラス分類を行うだけでなく、ＨＤ画像の波形の特徴に応じたクラス分類も行い、それらの結果得られるクラスのいずれか一方を選択して出力する。
【０２４８】
出力位相変換部１１２から供給されるＨＤ画像は、クラス分類器８６１とクラス分類器８６２に入力される。
【０２４９】
クラス分類器８６１は、人工高品質画像を構成する画素を、順次、注目画素とし、その注目画素を、注目画素に対応するＨＤ画像の波形の特徴に応じて、幾つかのクラスのうちのいずれかのクラス（以下、波形分類クラスと称する）に分類する。クラス分類器８６１は、人工画像の中でも、平坦部分が比較的少ない、つまりエッジが比較的多い人工画像、即ち自然画像に近い人工画像の特徴を分類するのに適した分類を行う。クラス分類器８６１は、分類された波形分類クラスをクラス選択部８６３に供給する。
【０２５０】
クラス分類器８６２は、図１１のクラス分類部６５１と同様に構成される。クラス分類器８６２は、注目画素に対応するＨＤ画像の位相の特徴に応じて、クラス（以下、位相分類クラスと称する）に分類する。クラス分類器８６２は、人工画像の中でも、平坦部分が比較的多い、つまりエッジが比較的少ない人工画像、即ち人工画像らしい人工画像の特徴を分類するのに適した分類を行う。クラス分類器８６２は、分類された位相分類クラスをクラス選択部８６３に供給する。
【０２５１】
クラス選択部８６３は、クラス分類器８６２から供給される位相分類クラスに基づいて、クラス分類器８６１から供給される波形分類クラスと、クラス分類器８６２から供給される位相分類クラスのいずれか一方を選択し、図１０の予測係数メモリ６５４に出力する。
【０２５２】
図２４は、図２３のクラス分類器８６１の詳細構成例を示すブロック図である。
【０２５３】
図２３のクラス分類器８６１は、クラスタップ抽出部８７１とADRC処理部８７２により構成される。
【０２５４】
クラスタップ抽出部８７１には、ＨＤ画像が供給され、クラスタップ抽出部８７１は、注目画素を波形分類クラスに分類するために用いるＨＤ画像を構成する画素を、クラスタップとして抽出し、ADRC処理部８７２に供給する。
【０２５５】
ADRC処理部８７２は、クラスタップ抽出部８７１から供給されるクラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、その画素値に対して、１ビットADRC処理を行う。そして、ADRC処理部８７２は、ADRC処理の結果得られる１ビットの画素値を所定の順番で並べたビット列を、注目画素の波形分類クラスとして決定する。従って、波形分類クラスは、クラスタップの波形を縮退した値となる。ADRC処理部８７２は、決定された波形分類クラスを、図１０の予測係数メモリ６５４に供給する。
【０２５６】
以上のように、クラス分類器８６１は、クラスタップの波形の特徴に応じて、注目画素を波形分類クラスに分類する。
【０２５７】
図２５は、クラスタップ抽出部８７１により抽出されるクラスタップの構造の例を示している。なお、クラスタップのタップ構造は、図２５に示されている以外の構造とすることが可能である。
【０２５８】
図２５では、クラスタップ抽出部８７１により抽出されるクラスタップは、図１２と同様に、出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素に対応する画素ｐ１８４と、その画素の上方向、左方向、右方向、下方向にそれぞれ隣接する２画素ｐ１８０，ｐ１８１，ｐ１８２，ｐ１８３，ｐ１８５，ｐ１８６，ｐ１８７，ｐ１８８とから構成されている。
【０２５９】
ADRC処理部８７２は、クラスタップ抽出部８７１から供給される９個の画素ｐ１８０乃至ｐ１８８の各画素値に対して、１ビットADRC処理を行い、その結果得られる９ビットのビット列を波形分類クラスとして決定する。
【０２６０】
図２６は、図２３のクラス選択部８６３の詳細構成例を示すブロック図である。
【０２６１】
図２６のクラス選択部８６３は、テーブル変換部８９１とスイッチ８９２により構成される。
【０２６２】
クラス分類器８６１から出力される９ビットの波形分類クラスは、スイッチ８９２の一方の入力Ａに供給され、クラス分類器８６２から出力される８ビットの位相分類クラスは、テーブル変換部８９１とスイッチ８９２の他方の入力Ｂに供給される。
【０２６３】
テーブル変換部８９１は、図示せぬ内蔵するメモリに、クラス分類器８６２から供給される８ビットの位相分類クラスと、１ビットのセレクト信号とを対応付けることにより、８ビットの位相分類クラスを１ビットのセレクト信号に縮退する縮退テーブルを記憶している。テーブル変換部８９１は、その縮退テーブルに基づいて、クラス分類器８６２から供給される８ビットの位相分類クラスを、１ビットのセレクト信号に変換し、そのセレクト信号をスイッチ８９２に、それを切り換える制御信号として供給する。
【０２６４】
例えば、縮退テーブルは、８ビットのうち５個以上のビットが１である位相分類クラス、即ちエッジの数が基準値より多いクラスに対して、セレクト信号の１が、８ビットのうち５個より少ない数のビットが１である位相分類クラス、即ちエッジの数が基準値より少ないクラスに対して、セレクト信号の０が、それぞれ対応付けられることにより構成されている。これにより、例えば、位相分類クラスの値が（１０１１００１０）（１の数が４個）である場合、テーブル変換部８９１は、０を表すセレクト信号を出力し、位相分類クラスの値が（００１１０１１１）（１の数が５個）である場合、テーブル変換部８９１は、１を表すセレクト信号を出力する。
【０２６５】
スイッチ８９２は、テーブル変換部８９１から供給されるセレクト信号に応じて、セレクト信号が１のとき、即ちクラスタップにより構成されるＨＤ画像が、エッジの数が基準値より多い人工画像、つまり自然画像に近い人工画像のとき、入力Ａに供給される波形分類クラスを選択し、セレクト信号が０のとき、即ちクラスタップにより構成されるＨＤ画像が、エッジの数が基準値より少ない人工画像、つまり人工画像らしい人工画像のとき、入力Ｂに供給される位相分類クラスを選択し、図１０の予測係数メモリ６５４に出力する。
【０２６６】
次に、図２７のフローチャートを参照して、図２３のクラス分類部８５１が注目画素をクラス分類するクラス分類処理について説明する。このクラス分類処理は、図１５のステップＳ７０１のクラス分類処理に対応する。
【０２６７】
ステップＳ７８１において、クラス分類部８５１のクラス分類器８６１は、人工高品質画像を構成する画素を、順次、注目画素とし、その注目画素を、注目画素に対応するＨＤ画像の波形の特徴に応じて、波形分類クラスに分類するクラス分類処理を行う。このクラス分類処理の詳細は、図２８を参照して後述する。
【０２６８】
ステップＳ７８２において、クラス分類器８６２は、図１６における場合と同様のクラス分類処理を行う。その説明は繰り返しになるので省略する。ステップＳ７８３において、クラス選択部８６３は、クラス分類器８６２から供給される位相分類クラスに基づいて、クラス分類器８６１から供給される波形分類クラスと、クラス分類器８６２から供給される位相分類クラスのいずれか一方を選択するクラス選択処理を行う。その後、処理は、図１５のステップＳ７０１に戻る。このクラス選択処理の詳細は、図２９を参照して後述する。
【０２６９】
次に、図２８のフローチャートを参照して、図２７のステップＳ７８１のクラス分類処理について説明する。
【０２７０】
ステップＳ８０１において、クラス分類器８６１のクラスタップ抽出部８７１は、入力されたＨＤ画像から、クラスタップ（図２５）を抽出し、ADRC処理部８７２に供給する。
【０２７１】
ステップＳ８０２において、ADRC処理部８７２は、クラスタップ抽出部８７１から供給されるクラスタップの画素値に対して、１ビットADRC処理を行う。ADRC処理部８７２は、その結果得られる８ビットのビット列を、波形分類クラスとして決定する。ADRC処理部８７２は、その波形分類クラスをクラス選択部８６３の入力Ａに供給し、処理を図２７のステップＳ７８１に戻す。
【０２７２】
これにより、人工画像の中でも、エッジが多い、即ち自然画像に近い人工画像の特徴に適したクラスの分類が行われる。
【０２７３】
次に、図２９のフローチャートを参照して、図２７のステップＳ７８３のクラス選択処理について説明する。
【０２７４】
ステップＳ８２１において、クラス選択部８６３のテーブル変換部８９１（図２６）は、クラス分類器８６２から供給される８ビットの位相分類クラスを、１ビットのセレクト信号に縮退する。
【０２７５】
ステップＳ８２２において、スイッチ８９２は、テーブル変換部８９１から供給されるセレクト信号が１であるかどうかを判定する。ステップＳ８２２で、セレクト信号が１であると判定された場合、即ちクラスタップにより構成されるＨＤ画像がエッジの多い自然画像に近い人工画像である場合、ステップＳ８２３において、スイッチ８９２は、クラス分類器８６１から入力Ａに供給される波形分類クラスと、入力Ｂに供給される位相分類クラスのうちの、波形分類クラスを選択し、予測係数メモリ６５４に出力する。
【０２７６】
一方、ステップＳ８２２で、セレクト信号が０であると判定された場合、即ちクラスタップにより構成されるＨＤ画像がエッジの少ない代表的な人工画像である場合、ステップＳ８２４において、スイッチ８９２は、波形分類クラスと位相分類クラスのうちの、位相分類クラスを選択し、予測係数メモリ６５４に出力する。
【０２７７】
以上のように、クラス選択部８６３は、クラスタッップにより構成されるＨＤ画像がエッジの多い、即ち平坦部分の少ない人工画像である場合、波形分類クラスを選択し、クラスタップにより構成されるＨＤ画像がエッジの少ない、即ち平坦部分の多い人工画像である場合、位相分類クラスを選択する。
【０２７８】
即ち、クラス分類器８６１は、クラスタップにより構成されるＨＤ画像が平坦部分の少ない人工画像である場合、クラスタップの波形の特徴に応じて分類された波形分類クラスを出力するので、クラスタップが、階調が少なく位相情報がはっきりした人工画像のうち、平坦部分の少ない複雑な画像の部分であっても、そのクラスタップに対応する注目画素を的確にクラスに分類することができる。
【０２７９】
その結果、人工画予測部１３２は、このクラスごとに学習により獲得された予測係数を用いて、ＨＤ画像から人工高品質画像を求めることにより、ＨＤ画像のうちの人工画像に含まれるノイズをより的確に除去し、より高品質の人工高品質画像を出力することができる。
【０２８０】
なお、上述した説明では、図２３のクラス分類器８６２は、図１１のクラス分類部６５１と同様に構成されるようにしたが、図２０のクラス分類部８４０と同様に構成されるようにしてもよい。
【０２８１】
また、図２３のクラス分類部８５１では、クラス分類器８６１が、クラス選択部８６３の前に配置されたが、クラス選択部８６３の後に配置されるようにしてもよい。この場合、セレクト信号が１であるとき、クラス選択部８６３は、クラス分類器８６１にクラス分類を行うように指示し、セレクト信号が０であるとき、クラス分類器８６２から供給される位相分類クラスを出力する。これにより、クラス分類器８６１は、セレクト信号が１であるときだけクラス分類を行えばよく、クラス分類器８６１の処理負荷を軽減することができる。
【０２８２】
また、上述した説明では、自然画予測部１３１と人工画予測部１３２は、ノイズを含むＨＤ画像から、ノイズが除去された高品質な自然高品質画像または人工高品質画像を予測したが、低解像度のＨＤ画像から、高品質な高解像度の画像を予測するようにしてもよい。例えば、自然画予測部１３１と人工画予測部１３２は、入力された画像から、その画素数を４倍密にした画像を予測したり、画素数を減らした、即ち画素を間引いた画像を予測することもできる。即ち、本発明は、各種の画像処理を行う場合に利用することができる。
【０２８３】
さらに、自然画予測部１３１と人工画予測部１３２は、入力された圧縮画像から、原画像を予測することもできる。この場合、学習装置６０１と学習装置８１１では、例えば放送されてくる圧縮された画像や、DVD（Digital Versatile Disk）に記録されている圧縮された自然画像または人工画像などを生徒画像とし、生徒画像の原画像を教師画像として学習を行う。
【０２８４】
また、上述した説明では、係数種が学習されるようにしたが、予測係数そのものが学習されるようにしてもよい。この場合、自然画予測部１３１と人工画予測部１３２は、学習により獲得された予測係数そのものを用いて予測を行う。
【０２８５】
次に、図３０を参照して、自然画人工画判定部１１４の詳細構成例について説明する。自然画人工画判定部１１４は、広域特徴量抽出部９１１、広域人工画度算出部９１２、人工画度生成部９１３、狭域特徴量抽出部９１４、および狭域人工画度算出部９１５により構成される。
【０２８６】
広域特徴量抽出部９１１は、BEP（Broad Edge Parameter）抽出部９３１、BFP（Broad Flat Parameter）抽出部９３２、および特徴量合成部９３３より構成され、出力位相変換部１１２より供給されるHD画像の各画素より広域特徴量を抽出して広域人工画度算出部９１２に供給する。
【０２８７】
BEP抽出部９３１は、出力位相変換部１１２より供給されるHD画像の各画素について、注目画素に対応して設定される参照領域の画素の画素値のダイナミックレンジに基づいて得られる値を広域特徴量を構成する特徴量BEPとして抽出し、BFP抽出部９３２および特徴量合成部９３３に供給する。尚、BEP抽出部９３１の詳細な構成例については、図３１を参照して後述する。また、以降、参照領域の画素、および特徴量BEPについては、単に参照画素、およびBEPとも称する。さらに、以降の説明において、注目画素とは、出力位相変換部１１２より供給されるHD画像の画素であって、自然画人工画判定部１１４における処理対象となる画素である。
【０２８８】
BFP抽出部９３２は、出力位相変換部１１２より供給されるHD画像の各画素について、注目画素に対応して設定される参照画素の隣接する画素間の画素値の差分絶対値およびBEPに基づいて得られる値を、広域特徴量を構成する特徴量BFPとして抽出し、特徴量合成部９３３に供給する。尚、BFP抽出部９３２の詳細な構成例については、図３２を参照して後述する。また、以降、特徴量BFPについては、単にBFPとも称する。
【０２８９】
特徴量合成部９３３は、BEP抽出部９３１より供給されてくるBEPおよびBFP抽出部９３２より供給されてくるBFPを合成し、広域特徴量を生成して広域人工画度算出部９１２に供給する。すなわち、広域特徴量は、上述したBEPおよびBFPという２種類の特徴量より構成され、注目画素の属する広い範囲の画像の特徴を示す特徴量である。
【０２９０】
広域人工画度算出部９１２は、特徴量分離部９５１、広域境界線比較部９５２、広域境界線メモリ９５３、および内分計算部９５４から構成され、広域特徴量抽出部９１１より供給されてくる広域特徴量に基づいて、広域人工画度Artbを算出し、人工画度生成部９１３に供給する。
【０２９１】
特徴量分離部９５１は、広域特徴量抽出部９１１より供給されてくる広域特徴量を構成する特徴量を分離して、それぞれ広域境界線比較部９５２に供給する。すなわち、この例においては、広域特徴量は、BEPおよびBFPであるので、特徴量分離部９５１は、BEPおよびBFPをそれぞれ分離して広域境界線比較部９５２に供給する。
【０２９２】
広域境界線比較部９５２は、特徴量分離部９５１より供給されてくる２種類の特徴量の値に基づいて、予め複数の人工画像および自然画像より統計的に求められており、広域境界線メモリ９５３に記憶されている人工画像または自然画像のいずれに属するかを示す広域境界線と比較し、比較結果を内分計算部９５４に供給する。
【０２９３】
内分計算部９５４は、広域境界線比較部９５２より供給されてくる比較結果に基づいて、広域特徴量に対応する広域人工画度Artbを計算して人工画度生成部９１３に供給する。
【０２９４】
狭域特徴量抽出部９１４は、PNDP（Primary Narrow Discrimination Parameter）抽出部９７１、SNDP（Secondary Narrow Discrimination Parameter）抽出部９７２、および特徴量合成部９７３より構成され、出力位相変換部１１２より供給されるHD画像の各画素より狭域特徴量を抽出して狭域人工画度算出部９１５に供給する。
【０２９５】
PNDP抽出部９７１は、出力位相変換部１１２より供給されるHD画像の各画素について、注目画素に対応して設定される参照領域に含まれる長タップ領域の画素の画素値のダイナミックレンジに基づいて得られる値を狭域特徴量を構成する特徴量PNDPとして抽出し、SNDP抽出部９７２および特徴量合成部９７３に供給する。尚、PNDP抽出部９７１の詳細な構成例については、図３３を参照して後述する。また、以降、単に、特徴量PNDPは、単に、PNDPとも称する。
【０２９６】
SNDP抽出部９７２は、出力位相変換部１１２より供給されるHD画像の各画素について、注目画素に対応して設定される参照領域に含まれる長タップ領域に内包される短タップ領域の画素の画素値のダイナミックレンジおよびPNDPに基づいて得られる特徴量SNDPを狭域特徴量を構成する特徴量として抽出し、特徴量合成部９７３に供給する。尚、SNDP抽出部９７２の詳細な構成例については、図３４を参照して後述する。また、以降、特徴量SNDPについては、単に、SNDPとも称する。
【０２９７】
特徴量合成部９７３は、PNDP抽出部９７１より供給されてくるPNDPおよびSNDP抽出部９７２より供給されてくるSNDPを合成し、狭域特徴量を生成して狭域人工画度算出部９１５に供給する。すなわち、狭域特徴量とは、上述したPNDPおよびSNDPという２種類の特徴量より構成される特徴量であり、注目画素の属する狭い範囲の画像の特徴を示す特徴量である。
【０２９８】
狭域人工画度算出部９１５は、特徴量分離部９９１、狭域境界線比較部９９２、狭域境界線メモリ９９３、および内分計算部９９４から構成され、狭域特徴量抽出部９１４より供給されてくる狭域特徴量に基づいて、狭域人工画度Artnを算出し、人工画度生成部９１３に供給する。
【０２９９】
特徴量分離部９９１は、狭域特徴量抽出部９１４より供給されてくる狭域特徴量を構成する特徴量を分離して、それぞれ狭域境界線比較部９９２に供給する。すなわち、この例においては、狭域特徴量は、PNDPおよびSNDPであるので、特徴量分離部９９１は、PNDPおよびSNDPをそれぞれ分離して狭域境界線比較部９９２に供給する。
【０３００】
狭域境界線比較部９９２は、特徴量分離部９９１より供給されてくる２種類の特徴量の値に基づいて、予め複数の人工画像および自然画像より統計的に求められており、狭域境界線メモリ９９３に記憶されている人工画像または自然画像のいずれに属するかを示す狭域境界線と比較し、比較結果を内分計算部９９４に供給する。
【０３０１】
内分計算部９９４は、狭域境界線比較部９９２より供給されてくる比較結果に基づいて、狭域特徴量に対応する狭域人工画度Artnを計算して人工画度生成部９１３に供給する。
【０３０２】
人工画度生成部９１３は、広域人工画度算出部９１２より供給されてくる広域人工画度Artbと、狭域人工画度算出部９１５より供給されてくる狭域人工画度Artnとを合成して、人工画度Artを生成して、画像処理部１１３に出力する。
【０３０３】
次に、図３１を参照して、BEP抽出部９３１の詳細な構成例について説明する。
【０３０４】
図３１のBEP抽出部９３１は、バッファ１０１１、参照画素抽出部１０１２、重み計算部１０１３、画素間差分計算部１０１４、乗算部１０１５、蓄積部１０１６、最大値最小値抽出部１０１７、およびBEP計算部１０１８から構成される。
【０３０５】
バッファ１０１１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１０１２に供給する。参照画素抽出部１０１２は、順次、注目画素毎に参照画素を読み出して重み計算部１０１３および画素間差分計算部１０１４に供給する。ここで、参照画素とは、注目画素に対応付けて設定される所定の領域内の画素のことであり、例えば、注目画素を中心としたｎ画素×ｎ画素の範囲の全ての画素である。尚、参照画素については、注目画素に対応付けて設定される複数の画素であればよいので、その他の数、または、配置の画素であっても良いことは言うまでもない。
【０３０６】
重み計算部１０１３は、参照画素抽出部１０１２より供給されてくる参照画素毎に注目画素との距離に応じた重みを計算し乗算部１０１５に供給する。画素間差分計算部１０１４は、参照画素抽出部１０１２より供給されてくる参照画素毎に注目画素との差分値を求めて乗算部１０１５に供給する。乗算部１０１５は、重み計算部１０１３より供給されてくる重みと、画素間差分計算部１０１４より供給されてくる注目画素と参照画素との差分値とを乗算し、蓄積部１０１６に蓄積させる。
【０３０７】
最大値最小値抽出部１０１７は、蓄積部１０１６に蓄積されている全ての参照画素と注目画素との差分値に、対応する参照画素と注目画素との距離に応じた重みが乗じられた値が全て蓄積されると、その中から最大値と最小値とを抽出し、BEP計算部１０１８に供給する。BEP計算部１０１８は、最大値最小値抽出部１０１７より供給されてくる、参照画素と注目画素との差分値、すなわち、参照画素と注目画素との差分により求められる差分ダイナミックレンジに、対応する参照画素と注目画素との距離に応じた重みが乗じられた値の差分値を注目画素のBEPとして出力する。尚、差分ダイナミックレンジに重みが乗じられた値を、注目画素からの距離に応じたダイナミックレンジ、または、単に
差分ダイナミックレンジとも称する。
【０３０８】
次に、図３２を参照して、BFP抽出部９３２の詳細な構成例について説明する。
【０３０９】
図３２のBFP抽出部９３２は、バッファ１０３１、参照画素抽出部１０３２、隣接画素間差分計算部１０３３、関数変換部１０３４、重み計算部１０３５、乗算部１０３６、蓄積部１０３７、およびBFP計算部１０３８から構成されている。
【０３１０】
バッファ１０３１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１０３２に供給する。参照画素抽出部１０３２は、順次、注目画素毎に参照画素を読み出して隣接画素間差分計算部１０３３および重み計算部１０３５に供給する。
【０３１１】
隣接画素間差分計算部１０３３は、参照画素抽出部１０３２より供給されてきた全ての参照画素について隣接画素間の差分絶対値を関数変換部１０３４に供給する。関数変換部１０３４は、BEP抽出部９３１より供給されてくるBEPに基づいて、変換関数を設定すると供に、隣接画素間差分計算部１０３３より供給されてくる隣接画素間差分絶対値を、設定した変換関数で変換し乗算部１０３６に供給する。
【０３１２】
重み計算部１０３５は、参照画素抽出部１０３２より供給されてくる参照画素の画素間の位置毎に、注目画素からの距離に応じた重みを計算し乗算部１０３６に供給する。乗算部１０３６は、重み計算部１０３５より供給されてくる重みと、関数変換部１０３４より供給されてくる関数変換された参照画素間差分絶対値とを乗算し、蓄積部１０３７に蓄積させる。
【０３１３】
BFP計算部１０３８は、蓄積部１０３７に蓄積されている乗算結果を累積加算し、注目画素のBFPとして出力する。
【０３１４】
次に、図３３を参照して、PNDP抽出部９７１の詳細な構成例について説明する。
【０３１５】
図３３のPNDP抽出部９７１は、バッファ１０５１、参照画素抽出部１０５２、長タップ抽出部１０５３、画素値蓄積部１０５４、最大値最小値抽出部１０５５、およびPNDP計算部１０５６から構成されている。
【０３１６】
バッファ１０５１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１０５２に供給する。参照画素抽出部１０５２は、順次、注目画素毎に参照画素を読み出して、長タップ抽出部１０５３に供給する。
【０３１７】
長タップ抽出部１０５３は、参照画素のうち、参照画素の領域に含まれる、すなわち、参照画素の領域と同様であるか、または、それよりも小さな領域から画素を抽出して画素値蓄積部１０５４に供給する。また、長タップ抽出部１０５３は、長タップの情報をSNDP抽出部９７２の短タップ抽出部１０７３にも供給する。さらに、長タップ抽出部１０５３は、長タップについて、全ての抽出が終了した段階で、その旨を最大値最小値抽出部１０５５に供給する。
【０３１８】
最大値最小値抽出部１０５５は、画素値蓄積部１０５４に蓄積された長タップの全ての画素値のうち、最大値と最小値を抽出してPNDP計算部１０５６に供給する。
【０３１９】
PNDP計算部１０５６は、最大値最小値抽出部１０５５より供給されてくる画素値の最大値と最小値との差分値より参照画素の画素値ダイナミックレンジを求め、注目画素のPNDPとして出力する。ここで、画素値ダイナミックレンジとは、所定の領域に含まれる全ての画素値の最大値から最小値を引いた値である。
【０３２０】
次に、図３４を参照して、SNDP抽出部９７２の詳細な構成例について説明する。
【０３２１】
図３４のSNDP抽出部９７２は、バッファ１０７１、参照画素抽出部１０７２、短タップ抽出部１０７３、画素値蓄積部１０７４、最大値最小値抽出部１０７５、DR計算部１０７６、DR蓄積部１０７７、およびSNDP選択部１０７８から構成されている。
【０３２２】
バッファ１０７１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１０７２に供給する。参照画素抽出部１０７２は、順次、注目画素毎に参照画素を読み出して、短タップ抽出部１０７３に供給する。
【０３２３】
短タップ抽出部１０７３は、長タップ抽出部１０５３より供給されてくる長タップの情報に基づいて、注目画素を含む領域であって、長タップに含まれる領域と同様であるか、または、それよりも小さな、複数の領域から画素を抽出して画素値蓄積部１０７４に供給する。すなわち、長タップが１個について、短タップは、複数のパターンが設定されることがある。また、短タップ抽出部１０７３は、複数の短タップについて、全てのパターンについて抽出が終了した段階で、その旨をSNDP選択部１０７８に供給する。
【０３２４】
最大値最小値抽出部１０７５は、画素値蓄積部１０７４に蓄積された、短タップに含まれる全ての画素値のうち、最大値と最小値を抽出してDR計算部１０７６に供給する。
【０３２５】
DR計算部１０７６は、最大値最小値選択部１０７５より供給されてくる短タップに含まれる全ての画素値のうち、最大値と最小値との差分から画素値ダイナミックレンジを求め、DR蓄積部１０７７に蓄積させる。
【０３２６】
SNDP１０７９は、短タップ抽出部１０７３より全てのパターンの短タップについて抽出が終了したことが通知されると、DR蓄積部１０７７に蓄積されている、全てのパターンの短タップ毎に求められている画素値ダイナミックレンジより、最小値を選択し、SNDPとして出力する。
【０３２７】
次に、図３５のフローチャートを参照して、自然画人工画判定処理について説明する。
【０３２８】
ステップＳ８３１において、広域特徴量抽出部９１１のBEP抽出部９３１は、BEP抽出処理を実行し、出力位相変換部１１２より供給されるHD画像より画素毎にBEPを抽出して特徴量合成部９３３に供給する。
【０３２９】
ここで、図３６のフローチャートを参照して、図３１のBEP抽出部９３１によるBEP抽出処理について説明する。
【０３３０】
ステップＳ８５１において、バッファ１０１１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
【０３３１】
ステップＳ８５２において、参照画素抽出部１０１２は、バッファ１０１１より、未処理の画素を注目画素に設定すると供に、ステップＳ８５３において、注目画素に対応して設定されている参照画素を読み出して重み計算部１０１３および画素間差分計算部１０１４に供給する。ここで、参照画素とは、例えば、注目画素に対応付けて設定される所定の領域内の画素のことであり、例えば、図３７で示されるように、注目画素を中心としてｎ画素×ｎ画素の範囲の全ての画素である。
【０３３２】
尚、図３７においては、画像内における参照領域Ｒ内の黒丸印の注目画素Q（０，０）を中心としたｘ方向およびｙ方向の２次元空間の座標上の白丸印が参照画素Q（ｉ，ｊ）を示しており、注目画素Q（０，０）を中心としてｎ個×ｎ個の点線で囲まれた範囲内の画素が、参照画素Q（ｉ，ｊ）（−（ｎ−１）／２≦ｉ≦（ｎ−１）／２，−（ｎ−１）／２≦ｊ≦（ｎ−１）／２：ｉ，ｊは、整数）であることが示されている。
【０３３３】
ステップＳ８５４において、画素間差分計算部１０１４は、注目画素と未処理の参照画素との画素間の画素値の差分値を計算し、乗算部１０１５に供給する。すなわち、図３７においては、画素間差分計算部１０１４は、画素間差分値として、（Ｑ（０，０）−Ｑ（ｉ，ｊ））を計算して乗算部１０１５に供給する。尚、画素間差分値におけるＱ（０，０），Ｑ（ｉ，ｊ）は、注目画素Ｑ（０，０）および参照画素Ｑ（ｉ，ｊ）のそれぞれの画素値である。
【０３３４】
ステップＳ８５５において、重み計算部１０１３は、注目画素と未処理の参照画素との距離に応じた重みを計算し、計算結果である重みを乗算部１０１５に供給する。より具体的には、例えば、画素間差分値を求めた参照画素が、参照画素Ｑ（ｉ，ｊ）の場合、重み計算部１０１３は、座標のパラメータを用いて、例えば、重みとしてｗd＝ａ／（ｉ2＋ｊ2）（ａ：定数）を計算する。尚、重みｗdは、距離に応じて近いほど大きく、遠いほど小さくなるように値が求められれば良いので、上述の方法以外で計算するようにしてもよく、例えば、重みｗd＝ａ／√（ｉ2＋ｊ2）（ａ：定数）などでもよい。
【０３３５】
ステップＳ８５６において、乗算部１０１５は、画素間差分計算部１０１４より供給されてきた画素間差分値と、重み計算部１０１３より供給されてきた重みとを乗算し、蓄積部１０１６に蓄積させる。すなわち、図３７の場合、乗算部１０１５は、画素間差分計算部１０１４より供給されてきた画素間差分値（Ｑ（０，０）−Ｑ（ｉ，ｊ））と、重み計算部１０１３より供給されてきた重みｗdとを乗算し、乗算結果としてｗd×（Ｑ（０，０）−Ｑ（ｉ，ｊ））を蓄積部１０１６に蓄積させる。
【０３３６】
ステップＳ８５７において、画素間差分計算部１０１４は、未処理の参照画素が存在するか否かを判定し、未処理の参照画素が存在する場合、その処理は、ステップＳ８５４に戻る。すなわち、全ての参照画素について、ステップＳ８５４乃至Ｓ８５７の処理が繰り返される。
【０３３７】
そして、ステップＳ８５７において、未処理の参照画素がない、すなわち、全ての参照画素について注目画素との差分値が求められ、さらに、距離に応じた重みｗdが設定され、それらが乗算されて蓄積部１０１６に全て蓄積されていると判定された場合、ステップＳ８５８において、画素間差分計算部１０１４は、全ての参照画素について処理が終了したことを最大値最小値抽出部１０１７に通知する。最大値最小値抽出部１０１７は、蓄積部１０１６に蓄積されている乗算結果のうち、最大値となる値と最小値となる値とを抽出してBEP計算部１０１８に供給する。
【０３３８】
ステップＳ８５９において、BFP計算部１０１８は、最大値最小値抽出部１０１７より供給されてきた乗算結果の最大値より最小値を引いた値である参照画素の差分ダイナミックレンジを、注目画素に対するBEPとして計算し、BFP抽出部９３２および特徴量合成部９３３に供給する。
【０３３９】
ステップＳ８６０において、参照画素抽出部１０１２は、バッファ１０１１に記憶されている画像における全ての画素について、BEPが求められたか否かを判定する。ステップＳ８６０において、画像の全ての画素についてBEPが求められていない場合、処理は、ステップＳ８５２に戻る。すなわち、バッファ１０１１に記憶された画像の全ての画素についてBEPが求められるまで、ステップＳ８５２乃至Ｓ８６０の処理が繰り返される。そして、ステップＳ８６０において、画像内の全ての画素についてBEPが求められたと判定された場合、BEP抽出処理が終了する。
【０３４０】
以上の処理により、BEPとして画像における広域のエッジを表現する特徴量であるBEPが求められる。すなわち、BEPは、注目画素に対する参照画素内の差分ダイナミックレンジを表現することで、注目画素が属する広域領域にエッジが存在したような場合、大きな値となり、逆にエッジが存在しない場合、小さな値を取ることになる。
【０３４１】
ここで、図３５のフローチャートの説明に戻る。
【０３４２】
ステップＳ８３１におけるBEP抽出処理によりBEPが画像より抽出されると、ステップＳ８３２において、広域特徴量抽出部９１１のBFP抽出部９３２は、BFP抽出処理を実行し、出力位相変換部１１２より供給されるHD画像より画素毎にBFPを抽出して特徴量合成部９３３に供給する。
【０３４３】
ここで、図３８のフローチャートを参照して、図３２のBFP抽出部９３２によるBFP抽出処理について説明する。
【０３４４】
ステップＳ８７１において、バッファ１０３１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
【０３４５】
ステップＳ８７２において、参照画素抽出部１０３２は、バッファ１０１１より、未処理の画素を注目画素に設定すると供に、ステップＳ８７３において、注目画素に対応して設定されている参照画素を読み出して隣接画素間差分計算部１０３３および重み計算部１０３５に供給する。
【０３４６】
ステップＳ８７４において、隣接画素間差分計算部１０３３は、未処理の参照画素間（注目画素を含む）の画素値の差分絶対値を計算し、関数変換部１０３４に供給する。すなわち、図３９においては、隣接画素間差分計算部１０３３は、隣接画素間差分絶対値ｅとして、例えば、ｅ＝｜Ｑ（ｉ＋１，ｊ）−Ｑ（ｉ，ｊ）｜を計算して関数変換部１０３４に供給する。尚、画素間差分絶対値におけるＱ（ｉ＋１，ｊ），Ｑ（ｉ，ｊ）は、参照画素Ｑ（ｉ＋１，ｊ），Ｑ（ｉ，ｊ）のそれぞれの画素値である。また、図３９における黒丸印は、注目画素Ｑ（０，０）である。
【０３４７】
さらに、参照画素の隣接間差分絶対値ｅは、図３９における丸印で示される各画素のｘ方向およびｙ方向に隣接する画素との画素値の差分絶対値である。したがって、参照画素Ｑ（ｉ，ｊ）の隣接画素間差分絶対値ｅは、｜Ｑ（ｉ＋１，ｊ）−Ｑ（ｉ，ｊ）｜，｜Ｑ（ｉ，ｊ＋１）−Ｑ（ｉ，ｊ）｜，｜Ｑ（ｉ−１，ｊ）−Ｑ（ｉ，ｊ）｜，｜Ｑ（ｉ，ｊ−１）−Ｑ（ｉ，ｊ）｜の４種類の隣接画素間差分絶対値が設定される。ただし、参照画素の設定されている領域の辺縁部の画素については、ｘｙ方向の正方向または負方向いずれか１方向に参照画素と隣接していないので、３種類の隣接画素間差分絶対値が設定される。また、参照画素のうち、参照画素が設定されている領域の４箇所の角となる位置の参照画像については、ｘｙ方向の正方向または負方向いずれか２方向に参照画素と隣接していないので、２種類の隣接画素間差分絶対値が設定される。結果として、注目画素を中心としてｎ画素×ｎ画素の参照画素が設定される場合、２ｎ（ｎ−１）個の画素間差分絶対値が設定されることになる。
【０３４８】
ステップＳ８７５において、関数変換部１０３４は、BEP抽出部９３１より供給されてくるBEPにより設定される関数ｆに基づいて、隣接画素間差分計算部１０３３より供給されてきた隣接画素間差分絶対値ｅを変換して、乗算部１０３６に供給する。より詳細には、関数変換部１０３４は、BEP抽出部９３１より供給されてくるBEPにより設定される以下の式（１８）に基づいて、値を変換し、変換した値を乗算部１０３６に出力する。
【０３４９】
【数１８】
0004605468.tif 000019
【０３５０】
式（１８）においては、隣接画素間差分絶対値ｅが閾値th＝BEP／ｂより大きい場合、０が乗算部１０３６に出力され、隣接画素間差分絶対値ｅが閾値th＝BEP／ｂ以下である場合、１が乗算部１０３６に出力されることが示されている。尚、ここで、ｂは、定数である。また、閾値thの計算に用いられるBEPは、注目画素のBEPである。さらに、閾値thは、BEPの傾向が利用できればよいので、閾値th＝BEP／ｂ以外のBEPを用いた閾値でもよく、例えば、閾値th＝（√BEP）／ｂ、または、閾値th＝（BEP）2／ｂなどを利用するようにしても良い。
【０３５１】
ステップＳ８７６において、重み計算部１０３５は、注目画素と、隣接画素間差分絶対値を計算した画素間の中央位置との距離に応じた重みを計算し、計算結果である重みｗeを乗算部１０３６に供給する。より具体的には、例えば、隣接画素間差分絶対値を求めた参照画素が、参照画素Ｑ（ｉ，ｊ），Ｑ（ｉ＋１，ｊ），の場合、重み計算部１０１３は、座標のパラメータを用いて、例えば、重みとしてｗe＝ａ／（（ｉ＋１／２）2＋ｊ2）（ａ：定数）を計算する。尚、重みｗeは、距離に依存した値が求められれば良いので、上述の方法以外で計算するようにしてもよく、例えば、重みｗe＝ａ／√（（ｉ＋１／２）2＋ｊ2）（ａ：定数）などでもよい。
【０３５２】
ステップＳ８７７において、乗算部１０３６は、関数変換部１０３４より供給されてきた隣接画素間差分絶対値ｅと、重み計算部１０３５より供給されてきた重みｗeとを乗算し、ステップＳ８７８において、蓄積部１０３７に蓄積させる。すなわち、図３９の場合、乗算部１０３６は、関数変換部１０３４より供給されてきた変換結果である１または０と、重み計算部１０３５より供給されてきた重みｗeとを乗算し、乗算結果としてｗeまたは０を蓄積部１０３７に蓄積させる。
【０３５３】
ステップＳ８７９において、隣接画素間差分計算部１０３３は、未処理の参照画素が存在するか否か、すなわち、隣接画素間差分絶対値が設定されているにもかかわらず、求められていないものがあるか否かを判定し、存在する場合、その処理は、ステップＳ８７４に戻る。このとき、全ての隣接画素間差分絶対値について、ステップＳ８７４乃至Ｓ８７９の処理が繰り返される。すなわち、上述したように、図３９で示されるように、参照画素がｎ画素×ｎ画素で設定されている場合、２ｎ（ｎ−１）個の隣接画素間差分絶対値が求められることになるので、ステップＳ８７４乃至Ｓ８７９の処理が、２ｎ（ｎ−１）回繰り返されることになる。
【０３５４】
そして、ステップＳ８７９において、未処理の参照画素がない、すなわち、全ての隣接画素間差分絶対値が求められて関数変換され、さらに、距離に応じた重みが設定され、それらが乗算されて蓄積部１０３７に全て蓄積されていると判定された場合、ステップＳ８８０において、隣接画素間差分計算部１０３３は、全ての参照画素について処理が終了したことをBFP計算部１０３８に通知する。BFP計算部１０３８は、蓄積部１０３７に蓄積されている乗算結果の総和を求めてBFPとして出力する。
【０３５５】
ステップＳ８８１において、参照画素抽出部１０３２は、バッファ１０１１に記憶されている画像における全ての画素について、BFPが求められたか否かを判定する。ステップＳ８８１において、画像の全ての画素についてBFPが求められていない場合、処理は、ステップＳ８７２に戻る。すなわち、バッファ１０３１に記憶された画像の全ての画素についてBFPが求められるまで、ステップＳ８７２乃至Ｓ８８１の処理が繰り返される。そして、ステップＳ８８１において、画像内の全ての画素についてBFPが求められたと判定された場合、BFP抽出処理が終了する。
【０３５６】
以上の処理により、画像における広域の平坦部を表現する特徴量としてBFPが求められる。すなわち、BFPは、仮に重みｗeが距離に応じたものではなく、均一に１であった場合、参照画素のうち、閾値thよりも小さい隣接画素間差分絶対値の数がカウントされた値となる。結果として、BFPは、注目画素の属する広域的な範囲が平坦である場合、値が大きくなり、逆に、エッジなどが多く存在する、平坦ではないような場合、値が小さくなる。
【０３５７】
尚、以上においては、隣接画素間差分絶対値を求めるに当たり、参照画素の全ての隣接画素間の差分絶対値を求める例について説明してきたが、隣接している画素間の画素値の関係が明らかになる値が抽出できれば良いので、その他の方法で隣接画素間差分絶対値を求めるようにしてもよく、例えば、図３９におけるｘ方向、または、ｙ方向の何れかの方向に隣接する画素間の画素値の差分絶対値を求めるようにしても良いし、各参照画素について、上下方に隣接するそれぞれの画素との隣接画素間差分絶対値の和、左右に隣接するそれぞれの画素との隣接画素間差分絶対値の和、または上下左右方向に隣接するそれぞれの画素との画素間差分絶対値の総和などを隣接画素間差分絶対値として利用するようにしてもよい。さらに、以降の説明においても隣接画素間差分絶対値を求める処理があるが、上述のように様々な形式を用いるようにしてよいことは同様である。
【０３５８】
また、上述した関数変換部１０３４は、式（１８）で示されるような関数により隣接画素間差分絶対値ｅを変換して出力するようにしていたが、変換関数は、式（１８）で示されるものでなくてもよく、例えば、図４０で示されるように、傾向として隣接画素間差分絶対値の大きさの差を鮮明にできる値に変換し、結果として、式（１８）で示されるような関数を用いた場合と同様の効果を得るようにしても良い。
【０３５９】
さらに、変換関数ｆは、例えば、図４０で示されるようなものでもよいことは、上述した通りであるが、BEPと対応付けるようにしてもよく、例えば、隣接画素間差分絶対値ｅが、閾値th1＝BEP／ｂ１以上の場合、ｆ（ｅ）＝Ａ（Ａは定数）とし、隣接画素間差分絶対値ｅが、閾値th2＝BEP／ｂ２以下の場合、ｆ（ｅ）＝Ｂ（Ｂは定数）とし、さらに、隣接画素間差分絶対値ｅが、閾値th2＝BEP／ｂ２より大きく閾値th1＝BEP／ｂ１より小さい場合、ｆ（ｅ）＝（Ｂ−Ａ）・（ｅ−th1）／（th2−th1）＋Ａとするようにしてもよい。また、閾値th1，th2は、BEPの傾向が使えればよいので、例えば、閾値th1＝（BEP）2／ｂ１，th2＝（BEP）2／ｂ２、または、閾値th1＝（√BEP）／ｂ１，th2＝（√BEP）／ｂ２などを利用するようにしても良い。
【０３６０】
ここで、図３５のフローチャートの説明に戻る。
【０３６１】
ステップＳ８３２の処理により、BFPが求められると、ステップＳ８３３において、特徴量合成部９３３は、BEP抽出部９３１より供給されてくるBEPと、BFP抽出部９３２より供給されてくるBFPとを合成し、広域特徴量として広域人工画度算出部９１２に供給する。
【０３６２】
ステップＳ８３４において、広域人工画度算出部９１２は、広域特徴量抽出部９１１より供給されてくる広域特徴量に基づいて、広域人工画度算出処理を実行して、広域人工画度Artbを算出し、人工画度生成部９１３に供給する。
【０３６３】
ここで、図４１のフローチャートを参照して、図３０の広域人工画度算出部９１２による広域人工画度算出処理について説明する。
【０３６４】
ステップＳ８９１において、特徴量分離部９５１は、広域特徴量抽出部９１１より供給されてくる広域特徴量を取得すると供に、BEPおよびBFPを分離して、それぞれを広域境界線比較部９５２に供給する。
【０３６５】
ステップＳ８９２において、広域境界線比較部９５２は、広域境界線メモリ９５３より広域境界線の情報を読み出す。
【０３６６】
ステップＳ８９３において、広域境界線比較部９５２は、未処理の画素を注目画素とし、その注目画素のBEPおよびBFPを抽出して、BEP-BFPの２次元平面上にプロットすると供に、読み出した広域境界線との位置関係を比較する。
【０３６７】
ここで、広域境界線とは、複数の人工画像および自然画像から抽出されるBEPおよびBFPを、BEP軸およびBFP軸からなる２次元空間に（BEP，BFP）としてプロットすることで得られる統計上の分布から生成される境界線である。広域境界線には、広域人工画像境界線および広域自然画像境界線の２種類の境界線がある。このうち、広域人工画像境界線は、人工画像の広域特徴量のみがプロットされている領域と、人工画像および自然画像の広域特徴量が混在してプロットされている領域との境界線である。また、広域自然画像境界線は、自然画像の広域特徴量のみがプロットされている領域と、人工画像および自然画像の広域特徴量が混在してプロットされている領域との境界線である。したがって、BEP軸およびBFP軸からなる領域は、図４２で示されるように、広域人工画像境界線および広域自然画像境界線に基づいて、広域人工画像領域、広域自然画像領域、および人工画像および自然画像の広域混在領域の３種類の領域に分割されることになる。ここで、図４２においては、広域人工画像境界線は、図中の曲線Ｌ１であり、広域自然画像境界線は、図中の曲線Ｌ２である。尚、以下、曲線Ｌ１，Ｌ２については、適宜、広域人工画像境界線Ｌ１および広域自然画像境界線Ｌ２とも称するものとする。また、図４２においては、広域人工画像境界線Ｌ１よりも上部の領域が、広域人工画像領域であり、広域人工画像境界線Ｌ１および広域自然画像境界線Ｌ２の間の領域が、広域混在領域であり、広域自然画像境界線Ｌ２よりも下部の領域が広域自然画像領域である。
【０３６８】
ステップＳ８９４において、広域境界線比較部９５２は、注目画素のBEPおよびBFPをプロットした位置が、広域人工画像領域であるか否かを判定する。例えば、注目画素のBEPおよびBFPをプロットした位置が、図４２における位置Ｂ１である場合、ステップＳ８９５において、広域境界線比較部９５２は、その画素が広域人工画像領域に属していることを内分計算部９５４に通知する。
【０３６９】
ステップＳ８９６において、内分計算部９５４は、広域境界線比較部９５２からの注目画素の広域特徴量が広域人工画像領域に属している旨の通知を取得すると、広域人工画度Artbを１として人工画度生成部９１３に供給し、その処理は、ステップＳ９０２に進む。
【０３７０】
ステップＳ８９４において、例えば、注目画素のBEPおよびBFPをプロットした位置が、図４２における位置Ｂ１ではなく、位置Ｂ２またはＢ３である場合、広域境界線比較部９５２は、その画素が広域人工画像領域に属していないとみなし、処理は、ステップＳ８９７に進む。
【０３７１】
ステップＳ８９７において、広域境界線比較部９５２は、注目画素のBEPおよびBFPをプロットした位置が、広域自然画像領域であるか否かを判定する。例えば、注目画素のBEPおよびBFPをプロットした位置が、図４２における位置Ｂ３である場合、ステップＳ８９８において、広域境界線比較部９５２は、その画素が広域自然画像領域に属していることを内分計算部９５４に通知する。
【０３７２】
ステップＳ８９９において、内分計算部９５４は、広域境界線比較部９５２からの注目画素の広域特徴量が広域自然画像領域に属している旨の通知を取得すると、広域人工画度Artbを０として人工画度生成部９１３に供給し、その処理は、ステップＳ９０２に進む。
【０３７３】
ステップＳ８９７において、例えば、注目画素のBEPおよびBFPをプロットした位置が、図４２における位置Ｂ３ではなく、位置Ｂ２である場合、広域境界線比較部９５２は、その画素が広域人工画像領域にも広域自然画像領域にも属していないとみなし、処理は、ステップＳ９００に進む。
【０３７４】
ステップＳ９００において、広域境界線比較部９５２は、その画素が広域混在領域に属していることと供に、広域人工画像境界線Ｌ１と広域自然画像境界線Ｌ２との内分比率を内分計算部９５４に通知する。すなわち、図４２の場合、位置Ｂ２は、広域人工画像境界線Ｌ１までの距離：広域自然画像境界線Ｌ２までの距離との比率は、１−ｑ：ｑとなるので、この情報が内分計算部９５４に通知される。
【０３７５】
ステップＳ９０１において、内分計算部９５４は、広域境界線比較部９５２からの注目画素の広域特徴量が広域混在領域に属している旨と供に、内分比率の通知を取得すると、内分比率ｑを広域人工画度Artbとして人工画度生成部９１３に供給し、その処理は、ステップＳ９０２に進む。
【０３７６】
ステップＳ９０２において、広域境界線比較部９５２は、未処理の画素が存在するか否かを判定し、未処理の画素、すなわち、広域特徴量が、広域人工画像領域、広域自然画像領域、または、広域混在領域のいずれに属しているかが比較され、広域人工画度が求められているか否かを判定し、全ての画素について、広域人工画像度が求められていないと判定された場合、処理は、ステップＳ８９３に戻る。
【０３７７】
一方、全ての画素について、広域人工画度Artbが求められている場合、処理は終了する。
【０３７８】
以上の処理により、全ての画素についてBEPおよびBFPからなる広域特徴量が読み出されて、BEP-BFP空間においてプロットされ、複数の人工画像および自然画像の分布より統計的に求められた広域人工画像境界線および広域自然画像境界線と比較されることにより、BEP-BFP空間におけるプロット位置（BEP，BFP）と、広域人工画像境界線および広域自然画像境界線との位置関係に基づいて、広域人工画像度Artbが算出されることになる。尚、以上においては、広域混在領域に存在する場合、内分比率ｑが広域人工画度Artbとして設定される例について説明してきたが、内分比が傾向として反映される値となればよいので、広域人工画度としては、例えば、ｑ2または√ｑなどでもよい。
【０３７９】
ここで、図３５のフローチャートの説明に戻る。
【０３８０】
ステップＳ８３５において、狭域特徴量抽出部９１４のPNDP抽出部９７１は、PNDP抽出処理を実行し、出力位相変換部１１２より供給されるHD画像より画素毎にPNDPを抽出して特徴量合成部９３３に供給する。
【０３８１】
ここで、図４３のフローチャートを参照して、図３１のPNDP抽出部９７１によるPNDP抽出処理について説明する。
【０３８２】
ステップＳ９１１において、バッファ１０５１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
【０３８３】
ステップＳ９１２において、参照画素抽出部１０５２は、バッファ１０５１より、未処理の画素を注目画素に設定すると供に、ステップＳ９１３において、注目画素に対応して設定されている参照画素を読み出して長タップ抽出部１０５３に供給する。
【０３８４】
ステップＳ９１４において、長タップ抽出部１０５３は、参照画素より長タップを抽出すると供に、ステップＳ９１５において、長タップの画素値を画素値蓄積部１０５４蓄積させ、さらに、SNDP抽出部９７２に供給する。ここで、長タップとは、例えば、参照画素に含まれる、注目画素に対応付けて設定される所定の領域内の画素のことであり、例えば、図４４で示されるように、注目画素を中心としてｍ画素×ｍ画素の画素である。尚、図４４においては、ｎ画素×ｎ画素（ｎ＞ｍ）の範囲が参照画素の範囲を示している。また、図４４においては、画像内における黒丸印の注目画素Ｐ（０，０）を中心としたｘ方向およびｙ方向の２次元空間の座標上の白丸印が長タップＰ（ｉ，ｊ）を示しており、注目画素Ｐ（０，０）を中心としてｍ個×ｍ個の点線で囲まれた範囲内の画素が、長タップＰ（ｉ，ｊ）（−（ｍ−１）／２≦ｉ≦（ｍ−１）／２，−（ｍ−１）／２≦ｊ≦（ｍ−１）／２：ｉ，ｊは、整数）であることが示されている。
【０３８５】
ステップＳ９１６において、画素値蓄積部１０５４は、未処理の長タップが存在するか否かを判定し、未処理の長タップが存在する場合、その処理は、ステップＳ９１５に戻る。すなわち、全ての長タップについて、ステップＳ９１５，Ｓ９１６の処理が繰り返される。
【０３８６】
そして、ステップＳ９１６において、未処理の長タップがない、すなわち、全ての長タップについて画素値が抽出され、画素値蓄積部１０５４に全て蓄積されていると判定された場合、ステップＳ９１７において、画素値蓄積部１０５４は、全ての長タップについて処理が終了したことを最大値最小値抽出部１０５５に通知する。これを受けて、最大値最小値抽出部１０５５は、画素値蓄積部１０５４に蓄積されている画素値のうち、最大値となる値と最小値となる値とを抽出してPNDP計算部１０５６に供給する。
【０３８７】
ステップＳ９１８において、PNDP計算部１０５６は、最大値最小値抽出部１０５５より供給されてきた最大値より最小値を引いた値である長タップの画素値ダイナミックレンジを、注目画素に対するPNDPとして計算し、特徴量合成部９３３に供給する。
【０３８８】
ステップＳ９１９において、参照画素抽出部１０５２は、バッファ１０５１に記憶されている画像における全ての画素について、PNDPが求められたか否かを判定する。ステップＳ９１９において、画像の全ての画素についてPNDPが求められていない場合、処理は、ステップＳ９１２に戻る。すなわち、バッファ１０５１に記憶された画像の全ての画素についてPNDPが求められるまで、ステップＳ９１２乃至Ｓ９１９の処理が繰り返される。そして、ステップＳ９１９において、画像内の全ての画素についてPNDPが求められたと判定された場合、PNDP抽出処理が終了する。
【０３８９】
以上の処理により、画像における狭域のエッジを表現する特徴量であるPNDPが求められる。すなわち、PNDPは、注目画素に対する長タップ内の画素値ダイナミックレンジを表現することで、注目画素が属する狭域領域にエッジが存在したような場合、大きな値となり、逆にエッジが存在しない場合、小さな値を取ることになる。
【０３９０】
ここで、図３５のフローチャートの説明に戻る。
【０３９１】
ステップＳ８３５におけるPNDP抽出処理によりPNDPが画像より抽出されると、ステップＳ８３６において、狭域特徴量抽出部９１４のSNDP抽出部９７２は、SNDP抽出処理を実行し、出力位相変換部１１２より供給されるHD画像より画素毎にSNDPを抽出して特徴量合成部９３３に供給する。
【０３９２】
ここで、図４５のフローチャートを参照して、図３４のSNDP抽出部９７２によるSNDP抽出処理について説明する。
【０３９３】
ステップＳ９４１において、バッファ１０７１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
【０３９４】
ステップＳ９４２において、参照画素抽出部１０７２は、バッファ１０５１より、未処理の画素を注目画素に設定すると供に、ステップＳ９４３において、注目画素に対応して設定されている参照画素を読み出して短タップ抽出部１０７３に供給する。
【０３９５】
ステップＳ９４４において、短タップ抽出部１０７３は、参照画素、およびPNDP抽出部９７１より供給される長タップの情報に基づいて、参照画素より短タップ群を抽出する。ここで、短タップとは、長タップに含まれた画素であって、注目画素を含む複数の画素のことであり、例えば、参照画素のうち長タップに含まれる画素であって、注目画素に対応付けて設定される所定の領域内の画素のことであり、例えば、図４６のパターンＡで示されるように、注目画素を中心として、水平方向および垂直方向に隣接する４画素を含めた５画素からなる短タップＳＴ１であったり、パターンＢで示されるように、注目画素を右下隅として、水平方向および垂直方向に３画素×３画素の９画素からなる短タップＳＴ２であったり、パターンＣで示されるように、注目画素を左上隅として、水平方向および垂直方向に３画素×３画素の９画素からなる短タップＳＴ３であったり、パターンＤで示されるように、注目画素を左下隅として、水平方向および垂直方向に３画素×３画素の９画素からなる短タップＳＴ４であったり、または、パターンＥで示されるように、注目画素を右上隅として、水平方向および垂直方向に３画素×３画素の９画素からなる短タップＳＴ５などでもよい。また、複数のパターンの短タップを短タップ群と称している。従って、図４６の短タップＳＴ１乃至ＳＴ５が短タップとして使用される場合、５パターンの短タップからなる短タップ群が構成されていると言える。尚、図４６においては、丸印が画素を示しており、そのうち黒丸印が注目画素を示しており、さらに、実線で囲まれている範囲内の画素が、短タップを構成する画素であることを示している。
【０３９６】
ステップＳ９４５において、短タップ抽出部１０７３は、未処理の１つの短タップの画素値を抽出し、画素値蓄積部１０７４に蓄積させる。
【０３９７】
ステップＳ９４６において、短タップ抽出部１０７３は、未処理の短タップが存在するか否かを判定し、未処理の短タップが存在する場合、その処理は、ステップＳ９４５に戻る。すなわち、１つの短タップに含まれる全ての画素について、ステップＳ９４５，Ｓ９４６の処理が繰り返される。
【０３９８】
そして、ステップＳ９４６において、未処理の短タップがない、すなわち、１つの短タップの全ての画素値が、画素値蓄積部１０７４に全て蓄積されていると判定された場合、ステップＳ９４７において、画素値抽出部１０７４は、１つの短タップの全ての画素を蓄積する処理が終了したことを最大値最小値抽出部１０７５に通知する。最大値最小値抽出部１０７５は、画素値蓄積部１０７４に蓄積されている１つの短タップの画素値のうち、最大値となる値と最小値となる値とを抽出してDR計算部１０７６に供給する。
【０３９９】
ステップＳ９４８において、DR計算部１０７６は、最大値最小値抽出部１０７５より供給されてきた画素値の最大値より最小値を引いた値である１つの短タップの画素値ダイナミックレンジを、注目画素に対する画素値DR（画素値ダイナミックレンジ）として計算し、ステップＳ９４９において、DR蓄積部１０７７に蓄積させる。
【０４００】
ステップＳ９５０において、短タップ抽出部１０７３は、未処理の短タップ群が残されているか否かを判定し、残されていると判定した場合、その処理は、ステップＳ９４４に戻る。すなわち、全ての短タップ群についてDRが求められたと判定されるまで、ステップＳ９４４乃至Ｓ９５０の処理が繰り返される。従って、例えば、短タップ群が、図４６で示される５パターンである場合、ステップＳ９４４乃至Ｓ９５０の処理が５回繰り返されることになる。
【０４０１】
そして、ステップＳ９５０において、全ての短タップ群の処理が終了した、すなわち、全ての短タップについてDRが求められた場合、ステップＳ９５１において、短タップ抽出部１０７３は、その旨をSNDP選択部１０７８に通知する。さらに、SNDP選択部１０７８は、DR蓄積部１０７７に蓄積されている各短タップ群のDRを比較し、最小となるDRをSNDPとして選択し、特徴量合成部９７３に供給する。
【０４０２】
ステップＳ９５２において、参照画素抽出部１０７２は、バッファ１０７１に記憶されている画像における全ての画素について、SNDPが求められたか否かを判定する。ステップＳ９５２において、画像の全ての画素についてSNDPが求められていない場合、処理は、ステップＳ９４２に戻る。すなわち、バッファ１０７１に記憶された画像の全ての画素についてSNDPが求められるまで、ステップＳ９４２乃至Ｓ９５２の処理が繰り返される。そして、ステップＳ９５２において、画像内の全ての画素についてSNDPが求められたと判定された場合、SNDP抽出処理が終了する。
【０４０３】
以上の処理により、画像における各画素の属する狭域の平坦部の程度を表現する特徴量であるSNDPが求められる。すなわち、SNDPは、注目画素に対する長タップ内の複数の短タップの画素値ダイナミックレンジのうちの最小値により長タップ内において、短タップで表現される領域の中で最も平坦な領域における平坦さの程度が表現されることになるので、注目画素が属する狭域領域に含まれる平坦部が平坦であるほど小さな値となり、平坦ではなくなるほど大きな値となる。
【０４０４】
ここで、図３５のフローチャートの説明に戻る。
【０４０５】
ステップＳ８３６の処理により、SNDPが求められると、ステップＳ８３７において、特徴量合成部９７３は、PNDP抽出部９７１より供給されてくるPNDPと、SNDP抽出部９７２より供給されてくるSNDPとを合成し、狭域特徴量として狭域人工画度算出部９１５に供給する。
【０４０６】
ステップＳ８３８において、狭域人工画度算出部９１５は、狭域特徴量抽出部９１４より供給されてくる狭域特徴量に基づいて、狭域人工画度算出処理を実行し、狭域人工画度Artnを算出し、人工画度生成部９１３に供給する。
【０４０７】
ここで、図４７のフローチャートを参照して、図３０の狭域人工画度算出部９１５による狭域人工画度算出処理について説明する。
【０４０８】
ステップＳ９７１において、特徴量分離部９９１は、狭域特徴量抽出部９１４より供給されてくる狭域特徴量を取得すると供に、PNDPおよびSNDPを分離して、それぞれを狭域境界線比較部９９２に供給する。
【０４０９】
ステップＳ９７２において、狭域境界線比較部９９２は、狭域境界線メモリ９９３より狭域境界線の情報を読み出す。
【０４１０】
ステップＳ９７３において、狭域境界線比較部９９２は、未処理の画素を注目画素とし、その注目画素のPNDPおよびSNDPを抽出して、PNDP-SNDPの２次元平面上にプロットすると供に、読み出した狭域境界線との位置関係を比較する。
【０４１１】
ここで、狭域境界線とは、複数の人工画像および自然画像から抽出されるPNDPおよびSNDPを、PNDP軸およびSNDP軸からなる２次元空間に（PNDP，SNDP）としてプロットすることで得られる統計上の分布から生成される境界線である。狭域境界線には、狭域人工画像境界線および狭域自然画像境界線の２種類の境界線がある。このうち、狭域人工画像境界線は、人工画像の狭域特徴量のみがプロットされている領域と、人工画像および自然画像の狭域特徴量が混在してプロットされている領域との境界線である。また、狭域自然画像境界線は、自然画像の狭域特徴量のみがプロットされている領域と、人工画像および自然画像の狭域特徴量が混在してプロットされている領域との境界線である。したがって、PNDP軸およびSNDP軸からなる領域は、図４８で示されるように、狭域人工画像境界線および狭域自然画像境界線に基づいて、狭域人工画像領域、狭域自然画像領域、および人工画像および自然画像の狭域混在領域の３種類の領域に分割されることになる。ここで、図４８においては、狭域自然画像境界線は、図中の曲線Ｌ１１であり、狭域人工画像境界線は、図中の曲線Ｌ１２である。尚、以下、曲線Ｌ１１，Ｌ１２については、適宜、狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２とも称するものとする。また、図４８においては、狭域自然画像境界線Ｌ１１よりも上部の領域が、狭域自然画像領域であり、狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２の間の領域が、狭域混在領域であり、狭域人工画像境界線Ｌ１２よりも下部の領域が狭域人工画像領域である。
【０４１２】
ステップＳ９７４において、狭域境界線比較部９９２は、注目画素のPNDPおよびSNDPをプロットした位置が、狭域人工画像領域であるか否かを判定する。例えば、注目画素のPNDPおよびSNDPをプロットした位置が、図４８における位置N３である場合、ステップＳ９７５において、狭域境界線比較部９９２は、その画素が狭域人工画像領域に属していることを内分計算部９９４に通知する。
【０４１３】
ステップＳ９７６において、内分計算部９９４は、狭域境界線比較部９９２からの注目画素の狭域特徴量が狭域人工画像領域に属している旨の通知を取得すると、狭域人工画度Artnを１として人工画度生成部９１３に供給し、その処理は、ステップＳ９８２に進む。
【０４１４】
ステップＳ９７４において、例えば、注目画素のPNDPおよびSNDPをプロットした位置が、図４８における位置N３ではなく、位置N２またはN１である場合、狭域境界線比較部９９２は、その画素が狭域人工画像領域に属していないとみなし、処理は、ステップＳ９７７に進む。
【０４１５】
ステップＳ９７７において、狭域境界線比較部９９２は、注目画素のPNDPおよびSNDPをプロットした位置が、狭域自然画像領域であるか否かを判定する。例えば、注目画素のPNDPおよびSNDPをプロットした位置が、図４８における位置N１である場合、ステップＳ９７８において、狭域境界線比較部９９２は、その画素が広域自然画像領域に属していることを内分計算部９９４に通知する。
【０４１６】
ステップＳ９７９において、内分計算部９９４は、狭域境界線比較部９９２からの注目画素の狭域特徴量が狭域自然画像領域に属している旨の通知を取得すると、狭域人工画度Artnを０として人工画度生成部９１３に供給し、その処理は、ステップＳ９８２に進む。
【０４１７】
ステップＳ９７７において、例えば、注目画素のPNDPおよびSNDPをプロットした位置が、図４８における位置N１ではなく、位置N２である場合、狭域境界線比較部９９２は、その画素が狭域人工画像領域にも狭域自然画像領域にも属していないとみなし、処理は、ステップＳ９８０に進む。
【０４１８】
ステップＳ９８０において、狭域境界線比較部９９２は、その画素が狭域混在領域に属していることと供に、狭域自然画像境界線Ｌ１１と狭域人工画像境界線Ｌ１２との内分比率を内分計算部９９４に通知する。すなわち、図４８の場合、位置N２は、狭域自然画像境界線Ｌ１１までの距離：狭域人工画像境界線Ｌ１２までの距離との比率は、ｐ：１−ｐとなるので、この情報が内分計算部９９４に通知される。
【０４１９】
ステップＳ９８１において、内分計算部９９４は、狭域境界線比較部９９２からの注目画素の狭域特徴量が狭域混在領域に属している旨と供に、内分比率の通知を取得すると、内分比率ｐを狭域人工画度Artnとして人工画度生成部９１３に供給し、その処理は、ステップＳ９８２に進む。
【０４２０】
ステップＳ９８２において、狭域境界線比較部９９２は、未処理の画素が存在するか否かを判定し、未処理の画素、すなわち、狭域特徴量が、狭域人工画像領域、狭域自然画像領域、または、狭域混在領域のいずれに属しているかが比較され、狭域人工画度が求められているか否かを判定し、全ての画素について、狭域人工画像度が求められていないと判定された場合、処理は、ステップＳ９７３に戻る。
【０４２１】
一方、全ての画素について、狭域人工画度Artnが求められている場合、処理は終了する。
【０４２２】
以上の処理により、全ての画素についてPNDPおよびSNDPからなる狭域特徴量が読み出されて、PNDP-SNDP空間においてプロットされ、複数の人工画像および自然画像の分布より統計的に求められた狭域人工画像境界線および狭域自然画像境界線と比較されることにより、PNDP-SNDP空間におけるプロット位置（PNDP，SNDP）と、狭域人工画像境界線および狭域自然画像境界線との位置関係に基づいて、狭域人工画像度Artnが算出されることになる。尚、以上においては、狭域混在領域に存在する場合、内分比率ｐが狭域人工画度Artnとして設定される例について説明してきたが、内分比が傾向として反映される値となればよいので、広域人工画度としては、例えば、ｐ2または√ｐなどでもよい。
【０４２３】
ここで、図３５のフローチャートの説明に戻る。
【０４２４】
ステップＳ８３９において、人工画度生成部９１３は、広域人工画度算出部９１２より供給されてきた広域人工画度Artb、および狭域人工画度算出部９１５より供給されてきた狭域人工画度Artnに基づいて、以下の式（１９）を計算することで、人工画度Artを生成し、画像処理部１１３に供給する。
【０４２５】
【数１９】
0004605468.tif 000020
【０４２６】
ここで、α，β，γは、定数である。また、人工画度Artは、０≦Art≦１を想定して設定されている値であるため、式（１９）の計算結果、人工画度Artが１以上である場合、人工画度生成部９１３は、人工画度Artを１にクリップして画像処理部１１３に供給する。
【０４２７】
以上の処理により、上述した図２におけるステップＳ７の処理において、合成部１３３は、例えば、以下の式（２０）を演算することにより、自然画予測部１３１から供給される自然高品質画像の各画素の画素値と、人工画予測部１３２から供給される人工高品質画像の各画素の画素値とを人工画度に応じた割合で合成する。
【０４２８】
【数２０】
0004605468.tif 000021
【０４２９】
ここで、Pixは、最終的に合成されて生成される高品質画像の各画素の画素値であり、Pixnatは、自然画予測部１３１より供給されてきた自然画像であり、Pixartは、人工画予測部１３２より供給されてきた人工画像であり、さらに、Artは、人工画度の係数である。
【０４３０】
以上によれば、画像に対して人工画像としての画像処理を施した画素と、自然画像としての画像処理を施した画素とを、人工画度に応じて合成することで、画像における自然画像としての要素を含む領域と人工画像としての要素を含む領域とを区別して、それぞれの領域に対して最適な処理を施すことが可能となる。
【０４３１】
以上においては、図３８のフローチャートを参照して説明したBEP抽出処理のように、参照画素と注目画素との差分値の最大値と最小値との差分値を求めることにより、参照画素の差分ダイナミックレンジを求めることで、BEPを抽出する例について説明してきたが、参照画素の画素値の変化の大きな部分が求められればよいので、その他の方法でもよく、参照領域に含まれる画素の画素値の画素値ダイナミックレンジでも良い。尚、BEPとして画素値ダイナミックレンジを使用すると、参照領域の境界近傍の参照画素にエッジ領域に属する画素が含まれる場合と含まれない場合とで、BEPの値が大きく変化してしまう恐れがある。そこで、上述したように、BEPについては、距離に応じて重みを付する差分ダイナミックレンジの方がより好ましい結果を期待することができる。
【０４３２】
また、BEPとしては、例えば、各参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、上位の差分絶対値を用いて求めるようにしてもよい。
【０４３３】
図４９は、各参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、上位の差分絶対値を用いて参照画素のエッジの存在を表現するBEPとして求めるようにしたBEP抽出部９３１の構成例を示している。
【０４３４】
図４９のBEP抽出部９３１は、バッファ１１０１、参照画素抽出部１１０２、隣接画素間差分絶対値計算部１１０３、並び替え部１１０４、上位抽出部１１０５、およびBEP計算部１１０６から構成されている。
【０４３５】
バッファ１１０１は、基本的に図３１におけるバッファ１０１１と同様のものであり、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１１０２に供給する。参照画素抽出部１１０２は、基本的に図３１における参照画素抽出部１０１２と同様のものであり、順次、注目画素毎に参照画素を読み出して隣接画素間差分絶対値計算部１１０３に供給する。
【０４３６】
隣接画素間差分絶対値計算部１１０３は、参照画素抽出部１１０２より供給されてくる参照画素のうち、上下左右方向に隣接する画素間の画素値の差分絶対値を求めて並び替え部１１０４に供給する。並び替え部１１０４は、隣接画素間差分絶対値計算部１１０３より供給されてくる参照画素の隣接画素間の差分絶対値を昇順に並び替えて上位抽出部１１０５に供給する。
【０４３７】
上位抽出部１１０５は、並び替え部１１０４より供給されてきた隣接画素間差分絶対値の昇順に並び替えられた情報に基づいて、上位Ｎ１番目乃至Ｎ２番目の順位の値を抽出して、BEP計算部１１０６に供給する。BEP計算部１１０６は、上位抽出部１１０５より供給されてきた、隣接画素間差分絶対値の昇順に並び替えられた情報に基づいて、上位Ｎ１番目乃至Ｎ２番目の順位の値の平均値をBEPとして求め、特徴量合成部９３３に供給する。
【０４３８】
ここで、図５０のフローチャートを参照して、図４９のBEP抽出部９３１によるBEP抽出処理について説明する。
【０４３９】
ステップＳ１００１において、バッファ１１０１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
【０４４０】
ステップＳ１００２において、参照画素抽出部１１０２は、バッファ１１０１より、未処理の画素を注目画素に設定すると供に、ステップＳ１００３において、注目画素に対応して設定されている参照画素を読み出して隣接画素間差分絶対値計算部１１０３に供給する。
【０４４１】
ステップＳ１００４において、隣接画素間差分絶対値計算部１１０３は、未処理の参照画素の隣接画素間（注目画素を含む）の画素値の差分絶対値を計算し、並び替え部１１０４に供給する。
【０４４２】
ステップＳ１００５において、並び替え部１１０４は、隣接画素間差分絶対値計算部１１０３より供給されてきた隣接画素間差分絶対値を蓄積する。
【０４４３】
ステップＳ１００６において、隣接画素間差分絶対値計算部１１０３は、参照画素における全ての隣接画素間の差分絶対値を求めたか否かを判定し、例えば、全ての隣接画素間の差分絶対値が求められていないと判定された場合、処理は、ステップＳ１００４に戻る。
【０４４４】
すなわち、全ての隣接画素間の差分絶対値が求められるまで、ステップＳ１００４乃至Ｓ１００６の処理が繰り返される。そして、ステップＳ１００４において、全ての隣接画素間の差分絶対値が求められて、並び替え部１１０４に全て蓄積されていると判定された場合、ステップＳ１００７において、並び替え部１１０４は、隣接画素間差分絶対値の計算結果を昇順に並び替えて上位抽出部１１０５に供給する。すなわち、並び替え部１１０４は、例えば、図５１で示されるように、隣接画素間差分絶対値を昇順に並び替えて、上位抽出部１１０５に供給する。尚、図５１においては、横軸が順位を示しており、縦軸が隣接画素間差分絶対値を示している。
【０４４５】
ステップＳ１００８において、上位抽出部１１０５は、並び替え部１１０４より供給されてきた昇順に並び替えられている隣接画素間差分絶対値より上位Ｎ１番目乃至Ｎ２番目の順位の隣接画素間差分絶対値を抽出して、BEP計算部１１０６に供給する。すなわち、例えば、図５１の場合、図中の上位Ｎ１番目乃至Ｎ２番目の順位の隣接画素間差分絶対値から抽出される。
【０４４６】
ステップＳ１００９において、BEP計算部１１０６は、上位Ｎ１番目乃至Ｎ２番目の順位の隣接画素間差分絶対値の平均値をBEPとして計算し、特徴量合成部９３３に出力する。
【０４４７】
ステップＳ１０１０において、参照画素抽出部１１０２は、バッファ１１０１に記憶されている画像における全ての画素について、BEPが求められたか否かを判定する。ステップＳ１０１０において、画像の全ての画素についてBEPが求められていない場合、処理は、ステップＳ１００２に戻る。すなわち、バッファ１１０１に記憶された画像の全ての画素についてBEPが求められるまで、ステップＳ１００２乃至Ｓ１０１０の処理が繰り返される。そして、ステップＳ１０１０において、画像内の全ての画素についてBEPが求められたと判定された場合、BEP抽出処理が終了する。
【０４４８】
以上の処理により、画像における広域のエッジを表現する特徴量であるBEPが求められる。すなわち、BEPは、隣接画素間差分絶対値の上位Ｎ１番目乃至Ｎ２番目の順位の平均値であり、参照画素の隣接画素間差分絶対値のうち比較的大きな値が、広域のエッジを表現する特徴量として抽出される。
【０４４９】
尚、以上においては、上位Ｎ１番目乃至Ｎ２番目の順位の平均値をBEPとする例について説明してきたが、参照画素における隣接画素間差分絶対値を用いた広域の特徴量が求められればよいので、求め方は以上の方法以外でもよく、例えば、平均値ではなく各隣接画素間差分絶対値に対して重みを付加して積和を用いるようにしてもよいし、さらには、図５１で示されるように、上位Ｎ１番目乃至Ｎ２番目前後のＮ番目の順位の値をそのままBEPとするようにしてもよい。
【０４５０】
また、以上においては、図３８のフローチャートを参照して説明したBFP抽出処理のように、参照画素の隣接画素間差分絶対値を所定の閾値thと比較し、閾値thよりも大きな値については、関数により所定の値を設定し、全ての参照画素における総和をBFPとする例について説明してきたが、参照画素の画素値の変化の小さな部分が求められればよいので、その他の方法でもよく、例えば、各参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、下位の差分絶対値を用いて求めるようにしてもよい。
【０４５１】
図５２は、各参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、下位の差分絶対値を用いて参照画素の平坦部の存在を表現するBFPを求めるようにしたBFP抽出部９３２の構成例を示している。
【０４５２】
図５２のBFP抽出部９３２は、バッファ１１２１、参照画素抽出部１１２２、隣接画素間差分絶対値計算部１１２３、並び替え部１１２４、下位抽出部１１２５、およびBFP計算部１１２６から構成されている。
【０４５３】
バッファ１１２１は、基本的に図３２におけるバッファ１０３１と同様のものであり、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１１２２に供給する。参照画素抽出部１１２２は、基本的に図３２における参照画素抽出部１０３２と同様のものであり、順次、注目画素毎に参照画素を読み出して重み隣接画素間差分絶対値計算部１１２３に供給する。
【０４５４】
隣接画素間差分絶対値計算部１１２３は、参照画素抽出部１１２２より供給されてくる参照画素のうち、上下左右方向に隣接する画素間の画素値の差分絶対値を求めて並び替え部１１２４に供給する。並び替え部１１２４は、隣接画素間差分絶対値計算部１１２３より供給されてくる参照画素の隣接画素間の差分絶対値を昇順に並び替えて下位抽出部１１２５に供給する。
【０４５５】
下位抽出部１１２５は、並び替え部１１２４より供給されてきた隣接画素間差分絶対値の昇順に並び替えられた情報に基づいて、下位ｎ１番目乃至ｎ２番目の順位の値を抽出して、BFP計算部１１２６に供給する。BFP計算部１１２６は、下位抽出部１１２５より供給されてきた、隣接画素間差分絶対値の昇順に並び替えられた情報に基づいて、下位ｎ１番目乃至ｎ２番目の順位の値の平均値をBFPとして求め、特徴量合成部９３３に供給する。
【０４５６】
ここで、図５３のフローチャートを参照して、図５２のBFP抽出部９３２によるBFP抽出処理について説明する。
【０４５７】
ステップＳ１０３１において、バッファ１１２１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
【０４５８】
ステップＳ１０３２において、参照画素抽出部１１２２は、バッファ１１２１より、未処理の画素を注目画素に設定すると供に、ステップＳ１０３３において、注目画素に対応して設定されている参照画素を読み出して隣接画素間差分絶対値計算部１１２３に供給する。
【０４５９】
ステップＳ１０３４において、隣接画素間差分絶対値計算部１１２３は、未処理の参照画素の隣接画素間（注目画素を含む）の画素値の差分絶対値を計算し、並び替え部１１２４に供給する。
【０４６０】
ステップＳ１０３５において、並び替え部１１２４は、隣接画素間差分絶対値計算部１１２３より供給されてきた隣接画素間差分絶対値を蓄積する。
【０４６１】
ステップＳ１０３６において、隣接画素間差分絶対値計算部１１２３は、参照画素における全ての隣接画素間の差分絶対値を求めたか否かを判定し、例えば、全ての隣接画素間の差分絶対値が求められていないと判定された場合、処理は、ステップＳ１０３４に戻る。
【０４６２】
すなわち、全ての隣接画素間の差分絶対値が求められるまで、ステップＳ１０３４乃至Ｓ１０３６の処理が繰り返される。そして、ステップＳ１０３４において、全ての隣接画素間の差分絶対値が求められて、並び替え部１１２４に全て蓄積されていると判定された場合、ステップＳ１０３７において、並び替え部１１２４は、隣接画素間差分絶対値の計算結果を昇順に並び替えて下位抽出部１１２５に供給する。すなわち、並び替え部１１２４は、例えば、図５４で示されるように、隣接画素間差分絶対値を昇順に並び替えて、下位抽出部１１２５に供給する。尚、図５４においては、横軸が順位を示しており、縦軸が隣接画素間差分絶対値を示している。
【０４６３】
ステップＳ１０３８において、下位抽出部１１２５は、並び替え部１１２４より供給されてきた昇順に並び替えられている隣接画素間差分絶対値より下位ｎ１番目乃至ｎ２番目の順位の隣接画素間差分絶対値を抽出して、BFP計算部１１２６に供給する。すなわち、例えば、図５４の場合、図中の下位ｎ１番目乃至ｎ２番目の順位の隣接画素間差分絶対値から抽出される。
【０４６４】
ステップＳ１０３９において、BFP計算部１１２６は、下位ｎ１番目乃至ｎ２番目の順位の隣接画素間差分絶対値の平均値をBFPとして計算し、特徴量合成部９３３に出力する。
【０４６５】
ステップＳ１０４０において、参照画素抽出部１１２２は、バッファ１１２１に記憶されている画像における全ての画素について、BFPが求められたか否かを判定する。ステップＳ１０４０において、画像の全ての画素についてBFPが求められていない場合、処理は、ステップＳ１０３２に戻る。すなわち、バッファ１１２１に記憶された画像の全ての画素についてBFPが求められるまで、ステップＳ１０３２乃至Ｓ１０４０の処理が繰り返される。そして、ステップＳ１０４０において、画像内の全ての画素についてBFPが求められたと判定された場合、BFP抽出処理が終了する。
【０４６６】
以上の処理により、画像における広域の平坦部を表現する特徴量であるBFPが求められる。すなわち、BFPは、隣接画素間差分絶対値の下位ｎ１番目乃至ｎ２番目の順位の平均値であり、参照画素の隣接画素間差分絶対値のうち比較的小さな値が、広域の平坦部を表現する特徴量として抽出される。
【０４６７】
尚、以上においては、下位ｎ１番目乃至ｎ２番目の順位の平均値をBFPとする例について説明してきたが、参照画素における隣接画素間差分絶対値を用いた広域の特徴量が求められればよいので、求め方は以上の方法以外でもよく、例えば、平均値ではなく各隣接画素間差分絶対値に対して重みを付加して積和を用いるようにしてもよいし、さらには、図５４で示されるように、下位ｎ１番目乃至ｎ２番目の順位の前後のｎ番目の順位の値をそのままBFPとするようにしてもよい。
【０４６８】
また、以上においては、PNDPは、図４３のフローチャートを参照して説明したPNDP抽出処理のように、参照画素に含まれる長タップの画素値ダイナミックレンジより求められる例について説明してきたが、参照画素の画素値ダイナミックレンジを用いるようにしてもよい。
【０４６９】
図５５は、参照画素の画素値ダイナミックレンジを用いるようにしてPNDPを求めるようにしたPNDP抽出部９７１の構成例を示している。
【０４７０】
図５５のPNDP抽出部９７１は、バッファ１１４１、参照画素抽出部１１４２、画素値抽出部１１４３、画素値蓄積部１１４３、最大値最小値抽出部１１４４、およびPNDP計算部１１４５から構成されている。
【０４７１】
バッファ１１４１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１１４２に供給する。参照画素抽出部１１４２は、順次、注目画素毎に参照画素を読み出して、画素値を画素値蓄積部１１４３に蓄積させる。
【０４７２】
最大値最小値抽出部１１４４は、画素値蓄積部１１４３に蓄積された参照画素の全ての画素の画素値のうち、最大値と最小値を抽出してPNDP計算部１１４５に供給する。
【０４７３】
PNDP計算部１１４５は、最大値最小値抽出部１１４４より供給されてくる全ての参照画素の画素値の最大値から最小値を引いた値より参照画素の画素値ダイナミックレンジを求め、注目画素のPNDPとして出力する。
【０４７４】
次に、図５６のフローチャートを参照して、図５５のPNDP抽出部９７１によるPNDP抽出処理について説明する。
【０４７５】
ステップＳ１０５１において、バッファ１１４１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
【０４７６】
ステップＳ１０５２において、参照画素抽出部１１４２は、バッファ１１４１より、未処理の画素を注目画素に設定すると供に、ステップＳ１０５３において、注目画素に対応して設定されている参照画素を読み出してその画素値を、ステップＳ１０５４において、画素値蓄積部１１４３に蓄積させる。
【０４７７】
ステップＳ１０５５において、参照画素抽出部１１４２は、未処理の参照画素が存在するか否か、すなわち、全ての参照画素の画素値が画素値蓄積部１１４３に蓄積されたか否かを判定し、未処理の参照画素が存在する場合、その処理は、ステップＳ１０５４に戻る。すなわち、全ての参照画素について、ステップＳ１０５４，Ｓ１０５５の処理が繰り返される。
【０４７８】
そして、ステップＳ１０５５において、未処理の参照画素がない、すなわち、全ての参照画素について画素値が抽出され、画素値蓄積部１１４３に全て蓄積されていると判定された場合、ステップＳ１０５６において、参照画素抽出部１１４２は、全ての参照画素について処理が終了したことを最大値最小値抽出部１１４４に通知する。これを受けて、最大値最小値抽出部１１４４は、画素値蓄積部１０５４に蓄積されている画素値のうち、最大値となる値と最小値となる値とを抽出してPNDP計算部１１４５に供給する。
【０４７９】
ステップＳ１０５７において、PNDP計算部１１４５は、最大値最小値抽出部１１４４より供給されてきた画素値の最大値から最小値を引いた値である参照画素の画素値ダイナミックレンジを、注目画素に対するPNDPとして計算し、特徴量合成部９３３に供給する。
【０４８０】
ステップＳ１０５８において、参照画素抽出部１１４２は、バッファ１１４１に記憶されている画像における全ての画素について、PNDPが求められたか否かを判定する。ステップＳ１０５８において、画像の全ての画素についてPNDPが求められていない場合、処理は、ステップＳ１０５２に戻る。すなわち、バッファ１１４１に記憶された画像の全ての画素についてPNDPが求められるまで、ステップＳ１０５２乃至Ｓ１０５８の処理が繰り返される。そして、ステップＳ１０５８において、画像内の全ての画素についてPNDPが求められたと判定された場合、PNDP抽出処理が終了する。
【０４８１】
以上の処理により、画像における狭域のエッジを表現する特徴量であるPNDPが求められる。すなわち、PNDPは、注目画素に対する参照画素内の画素値ダイナミックレンジを表現することで、注目画素が属する狭域領域にエッジが存在したような場合、大きな値となり、逆にエッジが存在しない場合、小さな値を取ることになる。
【０４８２】
さらに、以上においては、図４５のフローチャートを参照して説明したSNDP抽出処理のように、短タップの画素値ダイナミックレンジのうち最小の値をSNDPとして抽出する例について説明してきたが、狭域の平坦部の傾向を特徴量に利用できればよいので、図３２のBFP抽出部９３２と同様に、参照画素と注目画素との差分絶対値を関数で変換し、参照画素から注目画素までの経路に応じた重みを付して、閾値と比較し、比較結果を加算してSNDPとして抽出するようにしてもよい。
【０４８３】
図５７は、参照画素と注目画素との差分絶対値を関数で変換し、参照画素から注目画素までの経路に応じた重みを付して、閾値と比較し、比較結果を加算してSNDPとして抽出するようにしたSNDP抽出部９７２の構成例を示している。
【０４８４】
図５７のSNDP抽出部９７２は、バッファ１１６１、参照画素抽出部１１６２、画素間差分計算部１１６３、関数変換部１１６４、重み計算部１１６５、乗算部１１６６、蓄積部１１６７、およびSNDP計算部１１６８から構成されている。
【０４８５】
バッファ１１６１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶し、順次必要に応じて参照画素抽出部１１６２に供給する。参照画素抽出部１１６２は、順次、注目画素毎に参照画素を読み出して画素間差分計算部１１６３および重み計算部１１６５に供給する。
【０４８６】
画素間差分計算部１１６３は、参照画素抽出部１１６２より供給されてきた全ての参照画素について注目画素との差分絶対値を関数変換部１１６４に供給する。関数変換部１１６４は、画素間差分計算部１１６３より供給されてくる画素間差分絶対値を、設定した変換関数で変換し乗算部１１６６に供給する。
【０４８７】
重み計算部１１６５は、補間画素生成部１１６５ａおよび差分計算部１１６５ｂを備えており、参照画素抽出部１１６２より供給されてくる参照画素の位置毎に、注目画素からの距離に応じた重みを計算し乗算部１１６６に供給する。より詳細には、重み計算部１１６５は、差分計算部１１６５ｂを制御して、注目画素と参照画素との経路上に存在する画素間の差分絶対値を積算し、積算結果に基づいて、重みｗsを求める。この際、重み計算部１１６５は、補間画素生成部１１６５ａ制御して、注目画素と参照画素との経路上に必要に応じて補間により画素を生成する。
【０４８８】
乗算部１１６６は、重み計算部１１６５より供給されてくる重みｗsと、関数変換部１１６４より供給されてくる関数変換された画素間差分絶対値とを乗算し、蓄積部１１６７に蓄積させる。
【０４８９】
SNDP計算部１１６８は、蓄積部１１６７に蓄積されている乗算結果を累積加算し、注目画素のSNDPとして出力する。
【０４９０】
ここで、図５８のフローチャートを参照して、図５７のSNDP抽出部９７２によるSNDP抽出処理について説明する。
【０４９１】
ステップＳ１０８１において、バッファ１１６１は、出力位相変換部１１２より供給されるHD画像を一時的に記憶する。
【０４９２】
ステップＳ１０８２において、参照画素抽出部１１６２は、バッファ１１６１より、未処理の画素を注目画素に設定すると供に、ステップＳ１０８３において、注目画素に対応して設定されている参照画素を読み出して画素間差分計算部１１６３および重み計算部１１６５に供給する。
【０４９３】
ステップＳ１０８４において、画素間差分計算部１１６３は、未処理の参照画素、すなわち、注目画素の画素値との差分絶対値を計算していない参照画素について、注目画素との画素値の画素間差分絶対値ｇを計算し、関数変換部１１６４に供給する。
【０４９４】
ステップＳ１０８５において、関数変換部１１６４は、予め設定される関数Fに基づいて、画素間差分計算部１１６３より供給されてきた画素間差分絶対値ｇを変換して、乗算部１１６６に供給する。より詳細には、関数変換部１１６４は、例えば、図５９の実線で示される関数F（ｇ）に基づいて、値を変換し、変換した値を乗算部１１６６に出力する。図５９の実線で示される関数Ｆ（ｇ）においては、画素間差分絶対値ｇは、関数Fにより、所定の値より小さいときより大きく、所定の値より大きいときより小さく変換される。すなわち、所定の値を境界として値が変化する。
【０４９５】
ステップＳ１０８６において、重み計算部１１６５は、注目画素と参照画素との間に補間生成すべき画素が存在するか否かを判定する。より詳細には、例えば、図６０で示されるように、注目画素Ｐ（０，０）と図中の二重丸印で示される参照画素Ｐ（２，４）とであった場合、注目画素Ｐ（０，０）と参照画素Ｐ（２，４）との経路上には、補間画素Ｐ（０．５，１），Ｐ（１．５，３）が必要となるため、補間の必要な画素が存在すると判定されることになる。この場合、処理は、ステップＳ１０８７に進む。
【０４９６】
ステップＳ１０８７において、重み計算部１１６５は、補間画素生成部１１６５ａを制御し、補間画素を生成させる。例えば，図６０で注目画素Ｐ（０，０）と参照画素Ｐ（２，４）との場合、補間画素生成部１１６５ａは、補間画素Ｐ（０．５，１），Ｐ（１．５，３）の画素値を、例えば、それぞれ（Ｐ（０，１）＋Ｐ（１，１））／２，（Ｐ（１，３）＋Ｐ（１，１））／２などのように平均値として求める。尚、補間の方法はこれに限らず、それ以外の方法でもよく、例えば、重みを付加して総和を求めるようにしてもよい。
【０４９７】
ステップＳ１０８６において、例えば、図６０において注目画素Ｐ（０，０）と図中のバツ印で示される参照画素Ｐ（３，３）とであった場合、注目画素Ｐ（０，０）と参照画素Ｐ（３，３）との経路上には、補間画素Ｐ（１，１），Ｐ（２，２）が存在するため、補間の必要な画素がないため、補間が必要な画素がないと判定されることになる。この場合、処理は、ステップＳ１０８７の処理はスキップされる。
【０４９８】
ステップＳ１０８８において、重み計算部１１６５は、差分計算部１１６５ｂを制御して、注目画素と、参照画素との経路上の画素間差分絶対値の総和Ｄを計算し、総和Ｄより重みｗg＝１−Ｄ／Ｈ（Ｈは定数）を求め、乗算部１１６６に供給する。すなわち、図６０における注目画素Ｐ（０，０）と参照画素Ｐ（２，４）との場合、差分計算部１１６５ｂは、｜Ｐ（０，０）−Ｐ（０．５，１）｜，｜Ｐ（０．５，１）−Ｐ（１，２）｜，｜Ｐ（１，２）−Ｐ（１．５，３）｜，｜Ｐ（１．５，３）−Ｐ（２，４）｜の総和Ｄを計算する。さらに、重み計算部１１６５は、重みｗg＝１−Ｄ／Ｈを計算し、乗算部１１６６に供給する。尚、重みｗgは、PNDP等のパラメータに対応付けた値としてもよく、例えば、重みｗg＝１−Ｄ／PNDP、または重みｗg＝１−Ｄ／（√PNDP）とするようにしてもよい。
【０４９９】
ステップＳ１０８９において、乗算部１１６６は、関数変換部１１６４より供給されてきた画素間差分絶対値ｇと、重み計算部１１６５より供給されてきた重みｗgとを乗算し、ステップＳ１０９０において、蓄積部１１６７に蓄積させる。
【０５００】
ステップＳ１０９１において、画素間差分計算部１１６３は、未処理の参照画素が存在するか否かを判定し、存在する場合、その処理は、ステップＳ１０８４に戻る。すなわち、全ての参照画素と注目画素との画素間差分絶対値が、ステップＳ１０８４乃至Ｓ１０９１の処理が繰り返されることにより求められる。
【０５０１】
そして、ステップＳ１０９１において、未処理の参照画素がないと判定された場合、ステップＳ１０９２において、画素間差分計算部１１６３は、全ての参照画素について処理が終了したことをSNDP計算部１１６８に通知する。SNDP計算部１１６８は、蓄積部１１６７に蓄積されている乗算結果の総和を求めてSNDPとして出力する。
【０５０２】
ステップＳ１０９３において、参照画素抽出部１１６２は、バッファ１１６１に記憶されている画像における全ての画素について、SNDPが求められたか否かを判定する。ステップＳ１０９３において、画像の全ての画素についてSNDPが求められていない場合、処理は、ステップＳ１０８２に戻る。すなわち、バッファ１１６１に記憶された画像の全ての画素についてSNDPが求められるまで、ステップＳ１０８２乃至Ｓ１０９３の処理が繰り返される。そして、ステップＳ１０９３において、画像内の全ての画素についてSNDPが求められたと判定された場合、SNDP抽出処理が終了する。
【０５０３】
以上の処理により、画像における狭域の平坦部を表現する特徴量であるSNDPが求められる。すなわち、SNDPは、注目画素の属する狭域が平坦である場合、値が大きくなり、逆に、エッジなどが多く存在する、平坦ではないような場合、値が小さくなる。
【０５０４】
以上において、変換関数Fは、例えば、図５９で示されるようなものでもよいことは、上述した通りであるが、PNDPと対応付けるようにしてもよく、例えば、画素間差分絶対値ｇが、閾値th11＝PNDP／ｂ１１以上の場合、F（ｇ）＝ＡＡ（ＡＡは定数）とし、画素間差分絶対値ｇが、閾値th2＝PNDP／ｂ１２以下の場合、Ｆ（ｇ）＝ＢＢ（ＢＢは定数）とし、さらに、画素間差分絶対値ｇが、閾値th12＝PNDP／ｂ１２より大きく閾値th11＝BEP／ｂ１１より小さい場合、Ｆ（ｇ）＝（ＢＢ−ＡＡ）・（ｇ−th11）／（th12−th11）＋ＡＡとするようにしてもよい。また、閾値th11，th12は、PNDPの傾向が使えればよいので、例えば、閾値th11＝（PNDP）2／ｂ１１，th12＝（PNDP）2／ｂ１２、または、閾値th11＝（√PNDP）／ｂ１１，th12＝（√PNDP）／ｂ１２などを利用するようにしても良い。
【０５０５】
以上においては、図１で示されるように、自然画予測部１３１および人工画予測部１３２が、それぞれ予測処理を行った後、それらを自然画人工画判定部１１４により求められる人工画度Artに基づいて合成する例について説明してきたが、予め自然画像と人工画像とを分離して、それぞれ自然画予測部１３１および人工画予測部１３２に供給するようにしてもよい。
【０５０６】
図６１は、予め自然画像と人工画像とを分離して、それぞれ自然画予測部１３１および人工画予測部１３２に供給するようにした画像変換装置１０１の構成例を示している。尚、図１における画像変換装置１０１と同様の構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０５０７】
図６１の画像変換装置１０１において、図１の画像変換装置１０１と異なるのは、出力位相変換部１１２の後段に分離部１２０１が設けられており、自然画予測部１３１および人工画予測部１３２の後段に加算部１２０２が設けられている点が異なる。
【０５０８】
分離部１２０１は、自然画人工画判定部１１４からの人工画度Artに基づいて、出力位相変換部１１２より供給されるHD画像を画素単位で分離し、自然画予測部１３１および人工画予測部１３２に供給する。
【０５０９】
加算部１２０２は、自然画予測部１３１および人工画予測部１３２より供給されてくる画素を加算することにより、すなわち、分離されて、高画質化された画素をそれぞれ分離前の位置に再配置することで画像にする。
【０５１０】
次に、図６２のフローチャートを参照して、図６１の画像変換装置１０１による画像変換処理について説明する。尚、図６２のフローチャートにおけるステップＳ１１１１乃至Ｓ１１１４，Ｓ１１１６，Ｓ１１１７の処理については、図２のフローチャートにおけるステップＳ１乃至Ｓ３，Ｓ６，Ｓ４，Ｓ５の処理と同様であるので、その説明は省略する。
【０５１１】
ステップＳ１１１５において、分離部１２０１は、自然画人工画判定部１１４より供給されてくる人工画度Artに基づいて、出力位相変換部１１２より供給されるHD画像を画素単位で分離し、自然画予測部１３１および人工画予測部１３２にそれぞれ供給する。より詳細には、画素単位で、分離部１２０１は、人工画度Artが１の場合、その画素を人工画予測部１３２に供給し、一方、人工画度Artが０の場合、その画素を自然画予測部１３１に供給する。また、人工画度Artが０より大きく１より小さい場合、人工画度の情報と共にその画素を自然画予測部１３１および人工画予測部１３２の両方に供給する。このとき、分離部１２０１は、分離した画素の情報と併せて、自然画予測処理および人工画予測処理のために、入力画像も自然画予測部１３１および人工画予測部１３２に供給する。
【０５１２】
そして、ステップＳ１１１６，Ｓ１１１７の処理により、自然画予測処理および人工画予測処理が行われた後、ステップＳ１１１８において、加算部１２０２は、自然画予測部１３１および人工画予測部１３２より供給されてくる画素を合わせることにより、高画質化された画像を生成して出力する。この際、分離部１２０１により分離される際、人工画度Artが０より大きく１より小さいときに、自然画予測部１３１および人工画予測部１３２のそれぞれに人工画度Artが付された状態で分離された画素については、人工画像には、人工画度Artを乗じると共に、自然画像には１より人工画度Artを引いた値（１−Art）を乗じた後、加算することで画素を生成する。
【０５１３】
以上の処理により、図１の画像変換装置１０１と同様の効果を得ることが可能となる。また、図６１の画像変換装置１０１においては、人工画度Artにより自然画予測部１３１および人工画予測部１３２にそれぞれ供給される画素が振り分けられるので、処理負荷を低減させることが可能となる。
【０５１４】
なお、以上においては、図４２で示されるように、広域人工画境界線Ｌ１が広域自然画像境界線Ｌ２の上側に存在する例について説明してきたが、この位置関係はBEPおよびBFPとして採用する特徴量によっては逆転することもある。
【０５１５】
すなわち、BEPとして、参照画素の差分ダイナミックレンジ、参照画素を用いた画素値ダイナミックレンジ、または、参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、上位の差分絶対値を用いる場合であって、BFPとして、参照画素の隣接画素間差分絶対値を所定の閾値thと比較し、閾値thよりも大きな値については、関数により所定の値を設定し、全ての参照画素における総和を用いるようなとき、縦軸にBFP、および横軸にBEPをとると、広域人工画像境界線は、広域自然画像境界線よりも上に位置する。また、BEPとして、参照画素の差分ダイナミックレンジ、参照画素を用いた画素値ダイナミックレンジ、または、参照画素の隣接画素間の画素値の差分絶対値を昇順に並べ替えて、上位の差分絶対値を用いる場合であって、BFPとして、参照画素の隣接画素間差分絶対値を昇順に並べ替えたとき、上位の値を用いるようなとき、縦軸にBFP、および横軸にBEPをとると、広域人工画像境界線は、広域自然画像境界線よりも下に位置する。
【０５１６】
また、広域人工画境界線Ｌ１および広域自然画像境界線Ｌ２は、例えば、画像変換処理をする際のパラメータ、例えば、解像度軸値、ノイズ軸値、ズーム倍率といった設定により、広域人工画度Artbの値を高くしたり低くしたりすることが可能である。
【０５１７】
すなわち、図６３の中段で示される広域人工画境界線Ｌ１および広域自然画像境界線Ｌ２は、図４２と同一のものであるが、例えば、画像変換処理における解像度を変化させた場合、解像度を上げたとき、図６３の上段で示されるように、広域人工画境界線Ｌ１’および広域自然画像境界線Ｌ２’が、それぞれ広域人工画境界線Ｌ１および広域自然画像境界線Ｌ２よりも低い位置となるため、同一の広域特徴量であれば、広域人工画度Artbが高い値を取りやすい状態となる。一方、解像度を下げたとき、図６３の下段で示されるように、広域人工画境界線Ｌ１’’および広域自然画像境界線Ｌ２’’が、高い位置となるため、同一の広域特徴量であれば、広域人工画度Artbが低い値をとりやすい状態となる。
【０５１８】
同様にして、以上においては、図４８で示されるように、狭域自然画像境界線Ｌ１１が狭域人工画像境界線Ｌ１２の上側に存在する例について説明してきたが、この位置関係はPNDPおよびSNDPとして採用する特徴量によっては逆転することもある。
【０５１９】
すなわち、PNDPとして、参照画素の画素値ダイナミックレンジを用いる場合であって、SNDPとして、注目画素と各参照画素との経路による重み付き差分絶対値和を用いたとき、縦軸にPNDP、および横軸にSNDPをとると、狭域人工画像境界線Ｌ１２は、狭域自然画像境界線Ｌ１１よりも上に位置する。また、PNDPとして、長タップの画素値ダイナミックレンジを用いる場合であって、SNDPとして、短タップの画素値ダイナミックレンジを用いるようなとき、縦軸にPNDP、および横軸にSNDPをとると、狭域人工画像境界線Ｌ１２は、狭域自然画像境界線Ｌ１１よりも下に位置する。
【０５２０】
また、狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２は、例えば、画像変換処理をする際のパラメータ、例えば、解像度軸値、ノイズ軸値、ズーム倍率といった設定により、狭域人工画度Artnの値を高くしたり低くしたりすることが可能である。
【０５２１】
すなわち、図６４の中段で示される狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２は、図４８と同一のものであるが、例えば、画像変換処理におけるノイズ軸値を変化させた場合、ノイズ軸値を上げたとき、図６４の上段で示されるように、狭域自然画像境界線Ｌ１１’および狭域人工画像境界線Ｌ１２’が、それぞれ狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２よりも低い位置となるため、同一の狭域特徴量であれば、狭域人工画度Artnが高い値を取りやすい状態となる。一方、ノイズ軸値を下げたとき、図６４の下段で示されるように、狭域自然画像境界線Ｌ１１’’および狭域人工画像境界線Ｌ１２’’が、それぞれ狭域自然画像境界線Ｌ１１および狭域人工画像境界線Ｌ１２よりも高い位置となるため、同一の狭域特徴量であれば狭域人工画度Artnが低い値をとりやすい状態となる。
【０５２２】
以上においては、広域特徴量としてBEPおよびBFPを、狭域特徴量としてPNDP、およびSNDPを用いた例について説明してきたが、広域特徴量については、エッジや平坦部を表現できるパラメータであれば、BEPおよびBFPに限るものではなく、それ以外の特徴量を使用するようにしてもよい。また、狭域特徴量についても同様に、上述したPNDPおよびSNDPのみならず、狭域の細線、エッジ、点、エッジ付近の平坦部、またはグラデーションなどが表現できる特徴量であれば、それらの特徴量を使用するようにしてもよい。さらに、以上においては、広域特徴量および狭域特徴量について、それぞれ２種類の特徴量を使用する例について説明してきたが、それ以上の種類の特徴量を使用するようにしてもよく、その場合、人工画像と自然画像との境界線については、図４２や図４８で示されるような２次元ではなく、特徴量の数ｎに応じたｎ次元で表現される境界線または境界面などとなるが、ｎ次空間における特徴量の存在領域を判定したり、混在領域において、境界線間、または、境界面間の距離の比率を求めるといった基本的な処理は同様である。
【０５２３】
以上によれば、画像を画素単位で自然画像または人工画像を識別し、自然画予測処理および人工画予測処理を施すことが可能となり、各画素について適切に予測処理を施すことができるので、画像全体の品質を的確に高めることが可能となる。
【０５２４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０５２５】
図６５は、図１，図６１の画像変換装置１０１の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU２００１は、パーソナルコンピュータの全体の動作を制御する。また、CPU２００１は、バス２００４および入出力インタフェース２００５を介してユーザからキーボードやマウスなどからなる入力部２００６から指令が入力されると、それに対応してROM(Read Only Memory)２００２に格納されているプログラムを実行する。あるいはまた、CPU２００１は、ドライブ２０１０に接続された磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリを含むリムーバルディスク２０１１から読み出され、記憶部２００８にインストールされたプログラムを、RAM(Random Access Memory)２００３にロードして実行する。これにより、上述した図１，図６１の画像変換装置１０１の機能が、ソフトウェアにより実現されている。さらに、CPU２００１は、通信部２００９を制御して、外部と通信し、データの授受を実行する。
【０５２６】
プログラムが記録されている記録媒体は、図６５に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（MD（Mini-Disc）を含む）、もしくは半導体メモリを含むリムーバルメディア２０１１などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２００２や、記憶部２００８に含まれるハードディスクなどで構成される。
【０５２７】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【図面の簡単な説明】
【０５２８】
【図１】本発明を適用した画像変換装置の一実施の形態の構成を示すブロック図である。
【図２】図１の画像変換装置により実行される画像変換処理を説明するフローチャートである。
【図３】自然画予測部の詳細構成例を示すブロック図である。
【図４】クラスタップのタップ構造を示す図である。
【図５】予測タップのタップ構造を示す図である。
【図６】自然画予測処理の詳細を説明するフローチャートである。
【図７】学習装置の構成例を示すブロック図である。
【図８】教師画像と生徒画像の画素の位置関係を説明する図である。
【図９】学習処理を説明するフローチャートである。
【図１０】人工画予測部の構成例を示すブロック図である。
【図１１】クラス分類部の詳細構成例を示すブロック図である。
【図１２】他のクラスタップのタップ構造を示す図である。
【図１３】予測部の詳細構成例を示すブロック図である。
【図１４】他の予測タップのタップ構造を示す図である。
【図１５】人工画予測処理を説明するフローチャートである。
【図１６】クラス分類処理を説明するフローチャートである。
【図１７】他の学習装置の構成例を示すブロック図である。
【図１８】生成部の詳細構成例を示すブロック図である。
【図１９】他の学習処理を説明するフローチャートである。
【図２０】クラス分類部の他の詳細構成例を示すブロック図である。
【図２１】さらに他のクラスタップのタップ構造を示す図である。
【図２２】他のクラス分類処理を説明するフローチャートである。
【図２３】クラス分類部のさらに他の詳細構成例を示すブロック図である。
【図２４】クラス分類器の詳細構成例を示すブロック図である。
【図２５】さらに他のクラスタップのタップ構造を示す図である。
【図２６】クラス選択部の詳細構成例を示すブロック図である。
【図２７】さらに他のクラス分類処理を説明するフローチャートである。
【図２８】図２７のステップＳ７８１のクラス分類処理を説明するフローチャートである。
【図２９】クラス選択処理を説明するフローチャートである。
【図３０】自然画人工画判定部の構成例を示すブロック図である。
【図３１】図３０のBEP抽出部の構成例を示すブロック図である。
【図３２】図３０のBFP抽出部の構成例を示すブロック図である。
【図３３】図３０のPNDP抽出部の構成例を示すブロック図である。
【図３４】図３０のSNDP抽出部の構成例を示すブロック図である。
【図３５】図３０の自然画人工画判定部による自然画人工画判定処理を説明するフローチャートである。
【図３６】図３１のBEP抽出部によるBEP抽出処理を説明するフローチャートである。
【図３７】参照画素を説明する図である。
【図３８】図３２のBFP抽出部によるBFP抽出処理を説明するフローチャートである。
【図３９】隣接画素間差分絶対値を求める参照画素の関係について説明する図である。
【図４０】変換関数ｆを説明する図である。
【図４１】広域人工画度算出処理を説明するフローチャートである。
【図４２】広域境界線を説明する図である。
【図４３】図３３のPNDP抽出部によるPNDP抽出処理を説明するフローチャートである。
【図４４】長タップを説明する図である。
【図４５】図３４のSNDP抽出部によるSNDP抽出処理を説明するフローチャートである。
【図４６】短タップを説明する図である。
【図４７】狭域人工画度算出処理を説明するフローチャートである。
【図４８】狭域境界線を説明する図である。
【図４９】BEP抽出部のその他の構成例を示すブロック図である。
【図５０】図４９のBEP抽出部によるBEP抽出処理を説明するフローチャートである。
【図５１】図４９のBEP抽出部によるBEP抽出処理を説明する図である。
【図５２】BFP抽出部のその他の構成例を示すブロック図である。
【図５３】図５２のBFP抽出部によるBFP抽出処理を説明するフローチャートである。
【図５４】図５２のBFP抽出部によるBFP抽出処理を説明する図である。
【図５５】PNDP抽出部のその他の構成例を示すブロック図である。
【図５６】図５５のPNDP抽出部によるPNDP抽出処理を説明するフローチャートである。
【図５７】SNDP抽出部のその他の構成例を示すブロック図である。
【図５８】図５７のSNDP抽出部によるSNDP抽出処理を説明するフローチャートである。
【図５９】変換関数Fを説明する図である。
【図６０】補間生成する画素を説明する図である。
【図６１】画像変換装置のその他の構成例を説明する図である。
【図６２】図６１による画像変換処理を説明するフローチャートである。
【図６３】広域人工画境界線および広域自然画境界線を説明する図である。
【図６４】狭域人工画境界線および狭域自然画境界線を説明する図である。
【図６５】媒体を説明する図である。
【符号の説明】
【０５２９】
１３２  人工画予測部，  ６５１  クラス分類部，  ６５２  係数種メモリ，  ６５３  予測係数生成部，  ６５４  予測係数メモリ，  ６５５  予測部，  ８１１  学習装置，  ８２２  クラス分類部，  ８２３  生成部，  ８２４  係数生成部，  ８２５  正規方程式生成部，  ８２６  係数種決定部，  ８２７  係数種メモリ，  ８３１  予測タップ抽出部，  ８３２  正規方程式生成部，  ８４０  クラス分類部，  ８４１  クラス決定部，  ８６１  クラス分類器，  ８６２  クラス分類器，  ８６３  クラス選択部
【図１】
0004605468.tif 000022
【図２】
0004605468.tif 000023
【図３】
0004605468.tif 000024
【図４】
0004605468.tif 000025
【図５】
0004605468.tif 000026
【図６】
0004605468.tif 000027
【図７】
0004605468.tif 000028
【図８】
0004605468.tif 000029
【図９】
0004605468.tif 000030
【図１０】
0004605468.tif 000031
【図１１】
0004605468.tif 000032
【図１２】
0004605468.tif 000033
【図１３】
0004605468.tif 000034
【図１４】
0004605468.tif 000035
【図１５】
0004605468.tif 000036
【図１６】
0004605468.tif 000037
【図１７】
0004605468.tif 000038
【図１８】
0004605468.tif 000039
【図１９】
0004605468.tif 000040
【図２０】
0004605468.tif 000041
【図２１】
0004605468.tif 000042
【図２２】
0004605468.tif 000043
【図２３】
0004605468.tif 000044
【図２４】
0004605468.tif 000045
【図２５】
0004605468.tif 000046
【図２６】
0004605468.tif 000047
【図２７】
0004605468.tif 000048
【図２８】
0004605468.tif 000049
【図２９】
0004605468.tif 000050
【図３０】
0004605468.tif 000051
【図３１】
0004605468.tif 000052
【図３２】
0004605468.tif 000053
【図３３】
0004605468.tif 000054
【図３４】
0004605468.tif 000055
【図３５】
0004605468.tif 000056
【図３６】
0004605468.tif 000057
【図３７】
0004605468.tif 000058
【図３８】
0004605468.tif 000059
【図３９】
0004605468.tif 000060
【図４０】
0004605468.tif 000061
【図４１】
0004605468.tif 000062
【図４２】
0004605468.tif 000063
【図４３】
0004605468.tif 000064
【図４４】
0004605468.tif 000065
【図４５】
0004605468.tif 000066
【図４６】
0004605468.tif 000067
【図４７】
0004605468.tif 000068
【図４８】
0004605468.tif 000069
【図４９】
0004605468.tif 000070
【図５０】
0004605468.tif 000071
【図５１】
0004605468.tif 000072
【図５２】
0004605468.tif 000073
【図５３】
0004605468.tif 000074
【図５４】
0004605468.tif 000075
【図５５】
0004605468.tif 000076
【図５６】
0004605468.tif 000077
【図５７】
0004605468.tif 000078
【図５８】
0004605468.tif 000079
【図５９】
0004605468.tif 000080
【図６０】
0004605468.tif 000081
【図６１】
0004605468.tif 000082
【図６２】
0004605468.tif 000083
【図６３】
0004605468.tif 000084
【図６４】
0004605468.tif 000085
【図６５】
0004605468.tif 000086