(57)【特許請求の範囲】
【請求項１】
第１の画像を、画素数が前記第１の画像より多い第２の画像に変換する変換手段と、
前記第２の画像を構成する画素のうちの所定の画素を、前記第２の画像を構成する画素であって、前記所定の画素から最も近い画素を少なくとも含む１個または複数個の画素と、前記第１の画像を構成する画素であって、前記所定の画素に最も近い画素を少なくとも含む１個または複数個の画素とに基づいて生成する画素生成手段と、
前記第２の画像と前記所定の画素を用いて、画素数が前記第２の画像と等しい第３の画像を生成する画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記変換手段は、
前記第１の画像に基づく、変換される前記第２の画像の第１の注目画素の位置に応じた特徴を抽出する第１の特徴抽出手段と、
前記特徴に基づいて、前記第１の注目画素を、複数のクラスのうちのいずれか一つに分類する第１のクラス分類手段と、
前記第１のクラス分類手段により分類された前記クラスに基づいて、前記第１の注目画素を生成する生成手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の特徴抽出手段は、
変換される前記第２の画像を構成する画素のうち、前記第１の画像を構成する画素と近いものから順に、前記第１の注目画素とし、前記第１の注目画素の位置に応じた特徴を抽出する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の画像と等しい画質の教師画像から、第２の注目画素を抽出する注目画素抽出手段と、
前記第１の画像と等しい画質の生徒画像から、前記第２の注目画素の位置に応じて、１個または複数個の画素を、クラスタップとして抽出するクラスタップ抽出手段と、
前記生徒画像から、前記第２の注目画素の位置に応じて、複数個の画素を、予測タップとして抽出する予測タップ抽出手段と、
前記クラスタップに基づいて、前記第２の注目画素の特徴を検出する第２の特徴検出手段と、
前記第２の注目画素の特徴に基づいて、前記第２の注目画素を、複数のクラスのうちのいずれか一つに分類する第２のクラス分類手段と
前記第１の画像を、前記第２の画像に変換するのに用いられる、前記予測タップと前記第２の注目画素に基づく予測係数を、前記第２のクラス分類手段により分類されたクラス毎に設定する設定手段と
をさらに備え、
前記生成手段は、前記第１のクラス分類手段により分類された前記クラスに対応して、前記設定手段により設定された前記予測係数に基づいて、前記第１の注目画素を生成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画素生成手段は、
前記第１の画像と前記第２の画像に基づく、生成される前記所定の画素の第１の注目画素の位置に応じた特徴を抽出する第１の特徴抽出手段と、
前記特徴に基づいて、前記第１の注目画素を、複数のクラスのうちのいずれか一つに分類する第１のクラス分類手段と、
前記第１のクラス分類手段により分類された前記クラスに基づいて、前記第１の注目画素を生成する生成手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記所定の画素と等しい画質の教師画像から、第２の注目画素を抽出する注目画素抽出手段と、
前記第１の画像と等しい画質の生徒画像と前記教師画像から、前記第２の注目画素の位置に応じて、１個または複数個の画素を、クラスタップとして抽出するクラスタップ抽出手段と、
前記生徒画像と前記教師画像から、前記第２の注目画素の位置に応じて、複数個の画素を、予測タップとして抽出する予測タップ抽出手段と、
前記クラスタップに基づいて、前記第２の注目画素の特徴を検出する第２の特徴検出手段と、
前記第２の注目画素の特徴に基づいて、前記第２の注目画素を、複数のクラスのうちのいずれか一つに分類する第２のクラス分類手段と、
前記所定の画素を生成するのに用いられる、前記予測タップと前記第２の注目画素に基づく予測係数を、前記第２のクラス分類手段により分類されたクラス毎に設定する設定手段と
をさらに備え、
前記生成手段は、前記第１のクラス分類手段により分類された前記クラスに対応して、前記設定手段により設定された前記予測係数に基づいて、前記第１の注目画素を生成する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像生成手段により生成された前記第３の画像を記憶する記憶手段をさらに備え、
前記変換手段は、前記第１の画像と前記記憶手段に記憶されている前記第３の画像を用いて、前記第１の画像を前記第２の画像に変換し、
前記画素生成手段は、前記所定の画素を、前記記憶手段に記憶されている前記第３の画像を構成する画素にも基づいて生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
第１の画像を、画素数が前記第１の画像より多い第２の画像に変換する変換ステップと、
前記第２の画像を構成する画素のうちの所定の画素を、前記第２の画像を構成する画素であって、前記所定の画素から最も近い画素を少なくとも含む１個または複数個の画素と、前記第１の画像を構成する画素であって、前記所定の画素に最も近い画素を少なくとも含む１個または複数個の画素とに基づいて生成する画素生成ステップと、
前記第２の画像と前記所定の画素を用いて、画素数が前記第２の画像と等しい第３の画像を生成する画像生成ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法に関し、特に、一度生成した画素を再予測することで、予測精度を向上させることができるようにした画像処理装置および方法に関する。
【０００２】
【従来の技術】
標準解像度の画像（以下、SD画像と称する）を、高解像度の画像（以下、HD画像と称する）に変換する、いわゆるアップコンバージョン処理が、各種提案されている。
【０００３】
そのうちの１つとして、HD画像のHD画素を、SD画像のSD画素との距離が小さい順に予測していく方法がある。以下において、その方法について説明する。なお、ここでは、SD画像に対して、その水平方向および垂直方向の画素数がそれぞれ２倍（全体の画素数が４倍）のHD画像を生成する場合を例として説明する。
【０００４】
図１は、SD画像の所定のフィールドを示している。このフィールドは、ラインＫ−１，Ｋ，Ｋ＋１などから構成されている。
【０００５】
図１はさらに、HD画像の、SD画像のこのフィールドに対応するフレームを示している。このフレームは、SD画像のフィールドを構成するラインＫ−１，Ｋ，Ｋ＋１と同位置のラインＬ−２，Ｌ，Ｌ＋２、およびそれらの中間に位置するラインＬ−１，Ｌ＋１などから構成されている。
【０００６】
すなわち、この例の場合、SD画像のラインＫ−１乃至Ｋ＋１に配置されている、図中、大きな○印（円の図形）で示されるSD画素Ｘ1乃至Ｘ9などに基づいて、ラインＬ−２乃至Ｌ＋２に配置される、図中、小さな○印で示されるHD画素Ｙ1乃至Ｙ16が予測される。なお、SD画像のSD画素Ｘ1乃至Ｘ9は、後述する処理により補正されることで、HD画素Ｚとなり、予測されるHD画素Ｙとともに、HD画像を形成する。
【０００７】
また、SD画素Ｘと隣接するHD画素Ｙとの距離は、図１の例では、SD画素ＸとHD画素Ｙが、左右に並ぶとき、上下に並ぶとき、そして斜めに並ぶときの順で大きい。すなわち、例えば、SD画素Ｘ5と隣接するHD画素Ｙ4，Ｙ5，Ｙ6，Ｙ8，Ｙ9，Ｙ11，Ｙ12，Ｙ13については、HD画素Ｙ8，Ｙ9との距離が最も小さく（１番目に小さく）、HD画素Ｙ5，Ｙ12との距離が２番目に小さく、そしてHD画素Ｙ4，Ｙ6，Ｙ11，Ｙ13との距離が３番目に小さい（最も大きい）。
【０００８】
はじめに、SD画素Ｘ（図１の例では、画素Ｘ1乃至Ｘ9）が補正される。
【０００９】
例えば、ラインＫに配置されているSD画素Ｘ5が補正されるものとする。この場合、ラインＫに、SD画素Ｘ5の左右方向に配置されているSD画素Ｘ4，Ｘ6、ラインＫ−１に、SD画素Ｘ5と対応する位置に配置されているSD画素Ｘ2およびSD画素Ｘ2の左右方向に配置されているSD画素Ｘ1，Ｘ3、並びにラインＫ＋１に、SD画素Ｘ5と対応する位置に配置されているSD画素Ｘ8およびSD画素Ｘ8の左右方向に配置されているSD画素Ｘ7，Ｘ9の８つの画素の画素値に基づいて、SD画素Ｙ5が補正される。
【００１０】
図２中、影が付された大きな○印で示されるHD画素Ｚ1乃至Ｚ9は、図１のSD画素Ｘ1乃至Ｘ9が、ここで補正された結果生成された画素である。このHD画素Ｚは、上述したように、これから予測されるHD画素Ｙとともに、HD画像を形成する。
【００１１】
SD画素Ｘ（正確には、HD画素Ｚ）との距離が最も小さい（１番目に小さい）HD画素Ｙが、それと所定の位置関係にあるSD画素Ｘ（HD画素Ｚ）に基づいて予測される。すなわち、図２の例では、SD画素Ｘ（HD画素Ｚ）と左右に並ぶHD画素Ｙ1，Ｙ2，Ｙ8，Ｙ9，Ｙ15，Ｙ16が予測される。
【００１２】
例えば、ラインＬに配置されるHD画素Ｙ9が予測されるものとする。この場合、HD画素Ｙ9から最も近い、HD画素Ｙ9と左右に並ぶHD画素Ｚ5，Ｚ6、並びにラインＬ−２に、HD画素Ｚ5，Ｚ6と対応する位置に配置されているHD画素Ｚ2，Ｚ3、およびラインＬ＋２に、HD画素Ｚ5，Ｚ6と対応する位置に配置されているHD画素Ｚ8，Ｚ9の６つの画素の画素値に基づいてHD画素Ｙ9が予測される。
【００１３】
図３中、影が付された小さな○印で示されるHD画素Ｙ1，Ｙ2，Ｙ8，Ｙ9，Ｙ15，Ｙ16は、ここでの処理（以下、第１の予測処理と称する）で予測された画素である。
【００１４】
次に、SD画素Ｘ（HD画素Ｚ）との距離が、２番目に小さいHD画素Ｙが、それと所定の位置関係にあるSD画素Ｘ（HD画素Ｚ）および第１の予測処理で予測されたHD画素Ｙに基づいて予測される。すなわち、図３の例では、HD画素Ｚと上下に並ぶHD画素Ｙ3，Ｙ5，Ｙ7，Ｙ10，Ｙ12，Ｙ14が予測される。
【００１５】
例えば、ラインＬ−１に配置されるHD画素Ｙ5が予測されるものとする。この場合、HD画素Ｚのうち、HD画素Ｙ5から最も近い、HD画素Ｙ5と上下に並ぶラインＬ−２上のHD画素Ｚ2およびラインＬ上のHD画素Ｚ5、並びに第１の処理で予測されたHD画素Ｙのうちの、ラインＬ−２に、HD画素Ｚ2と左右に並ぶHD画素Ｙ1，Ｙ2、およびラインＬに、HD画素Ｚ5と左右に並ぶHD画素Ｙ8，Ｙ9の６つの画素の画素値に基づいてHD画素Ｙ5が予測される。
【００１６】
図４中、影が付された小さな○印で示されるHD画素Ｙ3，Ｙ5，Ｙ7，Ｙ10，Ｙ12，Ｙ14は、ここでの処理（以下、第２の予測処理と称する）で予測された画素である。
【００１７】
最後に、SD画素Ｘ（HD画素Ｚ）との距離が３番目に小さい（最も長い）HD画素Ｙが、それと所定の位置関係にあるHD画素Ｚ、第１の予測処理で予測されたHD画素Ｙ、および第２の予測処理で予測されたHD画素Ｙに基づいて予測される。すなわち、例えば、図４の例では、HD画素Ｚと斜めに並ぶHD画素Ｙ4，Ｙ6，Ｙ11，Ｙ13が予測される。
【００１８】
例えば、ラインＬ−１に配置されるHD画素Ｙ6が予測されるものとする。この場合、HD画素Ｚのうちの、HD画素Ｙ6から最も近い、HD画素Ｙ6と斜め並ぶラインＬ−２上のHD画素Ｚ2，Ｚ3およびラインＫ上のHD画素Ｚ5，Ｚ6、第１の予測処理で予測されたHD画素Ｙのうちの、ラインＬ−２，Ｌに、HD画素Ｙ6と対応する位置に配置されているHD画素Ｙ2，Ｙ9、並びに第２の予測処理で予測されたHD画素Ｙのうちの、ラインＬ−１にHD画素Ｙ6と左右に並ぶHD画素Ｙ5，Ｙ7の８つの画素の画素値に基づいて、HD画素Ｙ6が予測される。
【００１９】
図５中、影が付されているHD画素Ｙ4，Ｙ6，Ｙ11，Ｙ13は、ここでの処理（以下、第３の予測処理と称する）で予測された画素である。
【００２０】
なお、上述した例における、SD画像を補正する処理およびHD画素を予測する処理として、例えば、クラス分類適用処理を利用することができる。
【００２１】
SD画素とHD画素との距離が小さい場合、SD画素とHD画素との相関は、その距離が大きい場合に比べ、高いものとなる。すなわち、このことより、SD画素とHD画素との距離が小さい場合、そのSD画素を利用することで、その距離が大きい場合に比べ、より高い精度でHD画素を予測（生成）することができる。
【００２２】
上述した例では、SD画素Ｘと左右に並ぶHD画素Ｙを、上下に並ぶHD画素Ｙまたは斜めに並ぶHD画素Ｙに比べ、より高い精度で予測することができる。
【００２３】
また、上述した例では、SD画素Ｘとの距離が大きい、SD画素Ｘと上下に並ぶHD画素Ｙを予測する場合、そのSD画素Ｘ（HD画素Ｚ）とともに、SD画素Ｘと左右に並ぶHD画素Ｙが利用されている。このことより、SD画素Ｘのみを利用して予測する場合に比べ、SD画素Ｘと上下に並ぶHD画素Ｙをより高い精度で予測することができる。また、上述の例では、SD画素Ｘとの距離がさらに大きい、SD画素Ｘと斜めに並ぶHD画素Ｙを予測する場合、そのSD画素Ｘ（HD画素Ｚ）とともに、SD画素Ｘと左右に並ぶHD画素Ｙおよび上下に並ぶHD画素Ｙが利用されている。このことより、SD画素Ｘのみを利用して予測する場合に比べ、SD画素Ｘと斜めに並ぶHD画素Ｙをより高い精度で予測することができる。つまり、その結果として、より高い精度で予測されたHD画像が生成される。
【００２４】
【発明が解決しようとする課題】
従来より、より精度の高い画素の生成方法が求められている。
【００２５】
本発明はこのような状況に鑑みてなされたものであり、一度予測した画素を再度予測し直して、予測精度を向上させることができるようにするものである。
【００２６】
【課題を解決するための手段】
本発明の画像処理装置は、第１の画像を、画素数が第１の画像より多い第２の画像に変換する変換手段と、第２の画像を構成する画素のうちの所定の画素を、第２の画像を構成する画素であって、所定の画素から最も近い画素を少なくとも含む１個または複数個の画素と、第１の画像を構成する画素であって、所定の画素に最も近い画素を少なくとも含む１個または複数個の画素とに基づいて生成する画素生成手段と、第２の画像と所定の画素を用いて、画素数が第２の画像と等しい第３の画像を生成する画像生成手段とを備えることを特徴とする。
【００２７】
変換手段は、第１の画像に基づく、変換される第２の画像の第１の注目画素の位置に応じた特徴を抽出する第１の特徴抽出手段と、特徴に基づいて、第１の注目画素を、複数のクラスのうちのいずれか一つに分類する第１のクラス分類手段と、第１のクラス分類手段により分類されたクラスに基づいて、第１の注目画素を生成する生成手段とを設けることができる。
【００２８】
第１の特徴抽出手段は、変換される第２の画像を構成する画素のうち、第１の画像を構成する画素と近いものから順に、第１の注目画素とし、第１の注目画素の位置に応じた特徴を抽出することができる。
【００２９】
第２の画像と等しい画質の教師画像から、第２の注目画素を抽出する注目画素抽出手段と、第１の画像と等しい画質の生徒画像から、第２の注目画素の位置に応じて、１個または複数個の画素を、クラスタップとして抽出するクラスタップ抽出手段と、生徒画像から、第２の注目画素の位置に応じて、複数個の画素を、予測タップとして抽出する予測タップ抽出手段と、クラスタップに基づいて、第２の注目画素の特徴を検出する第２の特徴検出手段と、第２の注目画素の特徴に基づいて、第２の注目画素を、複数のクラスのうちのいずれか一つに分類する第２のクラス分類手段と第１の画像を、第２の画像に変換するのに用いられる、予測タップと第２の注目画素に基づく予測係数を、第２のクラス分類手段により分類されたクラス毎に設定する設定手段とをさらに備え、生成手段は、第１のクラス分類手段により分類されたクラスに対応して、設定手段により設定された予測係数に基づいて、第１の注目画素を生成することができる。
【００３０】
画素生成手段は、第１の画像と第２の画像に基づく、生成される所定の画素の第１の注目画素の位置に応じた特徴を抽出する第１の特徴抽出手段と、特徴に基づいて、第１の注目画素を、複数のクラスのうちのいずれか一つに分類する第１のクラス分類手段と、第１のクラス分類手段により分類されたクラスに基づいて、第１の注目画素を生成する生成手段とを設けることができる。
【００３１】
所定の画素と等しい画質の教師画像から、第２の注目画素を抽出する注目画素抽出手段と、第１の画像と等しい画質の生徒画像と教師画像から、第２の注目画素の位置に応じて、１個または複数個の画素を、クラスタップとして抽出するクラスタップ抽出手段と、生徒画像と教師画像から、第２の注目画素の位置に応じて、複数個の画素を、予測タップとして抽出する予測タップ抽出手段と、クラスタップに基づいて、第２の注目画素の特徴を検出する第２の特徴検出手段と、第２の注目画素の特徴に基づいて、第２の注目画素を、複数のクラスのうちのいずれか一つに分類する第２のクラス分類手段と、所定の画素を生成するのに用いられる、予測タップと第２の注目画素に基づく予測係数を、第２のクラス分類手段により分類されたクラス毎に設定する設定手段とをさらに備え、生成手段は、第１のクラス分類手段により分類されたクラスに対応して、設定手段により設定された予測係数に基づいて、第１の注目画素を生成することができる。
【００３２】
画像生成手段により生成された第３の画像を記憶する記憶手段をさらに備え、変換手段は、第１の画像と記憶手段に記憶されている第３の画像を用いて、第１の画像を第２の画像に変換し、画素生成手段は、所定の画素を、記憶手段に記憶されている第３の画像を構成する画素にも基づいて生成することができる。
【００３３】
本発明の画像処理方法は、第１の画像を、画素数が第１の画像より多い第２の画像に変換する変換ステップと、第２の画像を構成する画素のうちの所定の画素を、第２の画像を構成する画素であって、所定の画素から最も近い画素を少なくとも含む１個または複数個の画素と、第１の画像を構成する画素であって、所定の画素に最も近い画素を少なくとも含む１個または複数個の画素とに基づいて生成する画素生成ステップと、第２の画像と所定の画素を用いて、画素数が第２の画像と等しい第３の画像を生成する画像生成ステップとを含むことを特徴とする。
【００３４】
本発明の画像処理装置および画像処理方法においては、第１の画像が、画素数が第１の画像より多い第２の画像に変換され、第２の画像を構成する画素のうちの所定の画素が、第２の画像を構成する画素であって、所定の画素から最も近い画素を少なくとも含む１個または複数個の画素と、第１の画像を構成する画素であって、所定の画素に最も近い画素を少なくとも含む１個または複数個の画素とに基づいて生成され、第２の画像と所定の画素を用いて、画素数が第２の画像と等しい第３の画像が生成される。
【００３５】
【発明の実施の形態】
図６は、本発明を適用した、SD画像をHD画像に変換する画像処理装置の構成例（予測処理を行う場合の構成例）を示している。処理部１は、入力画像としてのSD画像のSD画素と第１の位置関係にあるHD画像のHD画素を注目画素として、注目画素と所定の位置関係にあるSD画素の特徴量（例えば、画素値）に基づいて予測する。処理部１は、予測したHD画素（以下、処理部１により予測されたHD画素を、適宜、第１の予測画素と称する）を、処理部２、処理部３、および合成部４に供給する。
【００３６】
SD画素と第１の位置関係にあるHD画素とは、SD画素と隣接するHD画素のうち、SD画素との距離が最も小さい（１番目に小さい）HD画素のことである。SD画像が、５２５ｉの画像で、HD画像が、１０５０ｐの画像である場合を例として、SD画素と第１の位置関係にあるHD画素を、図７を参照して具体的に説明する。
【００３７】
図７（Ｂ）は、５２５ｉのSD画像の所定のフィールドＢを示している。このフィールドＢは、ラインＬib−１，Ｌib−２，Ｌib−３などから構成されている。
【００３８】
図７（Ｂ）はさらに、SD画像のフィールドＢに対応するHD画像のフレームＢを示している。フレームＢは、ラインＬob−１およびラインＬob−２などから構成されている。なお、HD画像は、実際には、図７（Ｂ）中、SD画像のラインＬibの間毎に、８本並ぶようにして存在するラインＬobから構成されているが、図７（Ｂ）においては、簡単のため、ラインＬob−１，Ｌob−２以外のラインの図示は省略している。
【００３９】
また、ラインＬib−２は、フィールドＢ（SD画像）において、フレームＢ（HD画像）のラインＬob−１とラインＬob−２の中間に位置するラインである。すなわち、例えば、フィールドＢ（SD画像）のラインＬib−２に配置されているSD画素Ｘ15と第１の位置関係にあるHD画素は、フレームＢのラインＬob−１に配置されるHD画素Ｙ11，Ｙ12（図中、△印（三角の形状）で示されているHD画素Ｙ）、およびラインＬob−２に配置されているHD画素Ｙ13，Ｙ14（図中、△印で示されているHD画素Ｙ）の４つのHD画素Ｙである。この場合、HD画素Ｙ11乃至Ｙ14が注目画素となる。
【００４０】
また、注目画素と所定の位置関係にあるSD画素を、注目画素が、図７（Ｂ）に示すHD画素Ｙ11乃至Ｙ14である場合を例として示す。この場合、図７（Ａ）乃至（Ｃ）中、影が付された○印で示されるSD画素Ｘが、注目画素と所定の位置関係にあるSD画素となる。すなわち、HD画素Ｙ11乃至Ｙ14から最も近い、図７（Ｂ）のフィールドＢのラインＬib−２上のSD画素Ｘ15の他、フィールドＢのラインＬib−１，Ｌib−２，Ｌib−３上のSD画素Ｘ12，Ｘ14，Ｘ16，Ｘ18、図７（Ａ）の、フィールドＢに対して１フィールド分過去のフィールドＡのラインＬia−１，Ｌia−２上のSD画素Ｘ21乃至Ｘ26、および図７（Ｃ）の、フィールドＢに対して１フィールド分未来のフィールドＣのラインＬic−１，Ｌic−２上のSD画素Ｘ31乃至Ｘ36の１７個のSD画素Ｘが、注目画素と所定の位置関係にあるSD画素となる。
【００４１】
結局、この場合、HD画素Ｙ11乃至Ｙ14は、図７（Ａ）乃至（Ｃ）に示す、影が付された○印で示されるSD画素Ｘに基づいて予測される。
【００４２】
なお、図７（Ａ）に示すラインＬia−１およびラインＬia−２は、フィールドＡにおいて、図７（Ｂ）に示すフィールドＢのラインＬib−１とラインＬib−２の中間およびラインＬib−２とラインＬib−３の中間に位置するラインである。また、図７（Ｃ）に示すラインＬic−１とラインＬic−２は、フィールドＣにおいて、図７（Ｂ）に示すフィールドＢのラインＬib−１とラインＬib−２の中間およびラインＬib−２とラインＬib−３の中間に位置するラインである。
【００４３】
図６に戻り、処理部２は、入力画像としてのSD画像のSD画素と第２の位置関係にあるHD画素を注目画素として、注目画素と所定の位置関係にあるSD画素および処理部１からの第１の予測画素の特徴量に基づいて予測する。処理部２は、予測したHD画素（以下、処理部２により予測されたHD画素を、適宜、第２の予測画素と称する）を、処理部３および合成部４に供給する。
【００４４】
SD画素と第２の位置関係にあるHD画素とは、SD画像と第１の位置関係にあるHD画素の次に、SD画素との距離が小さい（２番目に小さい）HD画素のことである。図８（Ｂ）に示すSD画像のフィールドＢおよびHD画像のフレームＢを例として、SD画像と第２の位置関係にあるHD画素を具体的に説明する。なお、図８（Ｂ）は、図７（Ｂ）と同じSD画像のフィールドＢおよびHD画像のフレームＢを示しているが、図８（Ｂ）に示されるフレームＢには、ラインＬob−１から１ライン分上のラインＬob−３とラインＬob−２から１ライン分下のラインＬob−４がさらに図示されている。
【００４５】
例えば、フィールドＢ（SD画像）のラインＬib−２に配置されているSD画素Ｘ15と第２の位置関係にあるHD画素は、フレームＢのラインＬob−３に配置されるHD画素Ｙ21，Ｙ22（図中、□印（四角の図形）で示されているHD画素Ｙ）、およびラインＬob−４上のHD画素Ｙ23，Ｙ24（図中、□印で示されているHD画素Ｙ）の４つのHD画素Ｙである。この場合、HD画素Ｙ21乃至Ｙ24が注目画素となる。
【００４６】
また、処理部２において、注目画素と所定の位置関係にあるSD画素を、注目画素が、図８（Ｂ）に示すHD画素Ｙ21乃至Ｙ24である場合を例として示す。この場合、処理部１において注目画素がHD画素Ｙ11乃至Ｙ14である場合と同様であり、図８（Ａ）乃至図８（Ｃ）中、影が付された○印で示されるSD画素Ｘが、注目画素と所定の位置関係にあるSD画素となる。つまり、HD画素Ｙ21乃至Ｙ24から最も近い、図８（Ｂ）のフィールドＢのラインＬib−２上のSD画素Ｘ15の他、フィールドＢのラインＬib−１，Ｌib−２，Ｌib−３上のSD画素Ｘ12，Ｘ14，Ｘ16，Ｘ18、図８（Ａ）の、SD画像のフィールドＡのラインＬia−１，Ｌia−２上のSD画素Ｘ21乃至Ｘ26、および図８（Ｃ）の、SD画像のフィールドＣのラインＬic−１，Ｌic−２上のSD画素Ｘ31乃至Ｘ36の１７つのSD画素Ｘが、注目画素と所定の位置関係にあるSD画素となる。
【００４７】
結局、この場合、図８（Ｂ）に示すHD画素Ｙ21乃至Ｙ24は、図８（Ａ）乃至（Ｃ）に示す、影が付された○印で示されるSD画素Ｘ、および処理部１で、図８（Ｂ）に示すHD画素Ｙ11乃至Ｙ14として予測された第１の予測画素に基づいて予測される。
【００４８】
図６に再び戻り、処理部３は、入力画像としてのSD画像のSD画素と第１の位置関係にあるHD画素を注目画素として、注目画素と所定の位置関係にあるSD画素、処理部１からの第１の予測画素、および処理部２からの第２の予測画素の特徴量に基づいて予測する。処理部３は、予測したHD画素（以下、処理部３により予測されたHD画素を、適宜、第３の予測画素と称する）を、合成部４に供給する。
【００４９】
SD画素と第１の位置関係にあるHD画素は、処理部１のところで説明した場合と同様である。すなわち、例えば、図７，８で示すHD画素Ｙ11乃至Ｙ14が、注目画素とされる。
【００５０】
処理部３において、注目画素と所定の位置関係にあるSD画像も、処理部１の場合と同様であり、注目画素が、図７，８（Ｂ）に示すHD画素Ｙ11乃至14である場合、図７，８（Ａ）乃至（Ｃ）中、影が付された○印で示されるSD画素Ｘが、注目画素と所定の位置関係にあるSD画素となる。
【００５１】
結局、図７，８（Ｂ）に示すHD画素Ｙ11乃至Ｙ14は、図７，８（Ａ）乃至（Ｃ）に示す、影が付された○印で示されるSD画素Ｘ、処理部１で、図７，８（Ｂ）に示すHD画素Ｙ11乃至Ｙ14として予測された第１の予測画素、および処理部２で、図８（Ｂ）に示すHD画素Ｙ21乃至Ｙ24として予測された第２の予測画素に基づいて再度予測される。
【００５２】
図９（Ｂ）中、影が付された△印で示されるHD画素Ｙ11乃至Ｙ14は、処理部３で予測（再予測）された画素（第３の予測画素）である。
【００５３】
なお、図９（Ｂ）は、図８（Ｂ）と同じSD画像のフィールドＢおよびHD画像のフレームＢを示している。また図９（Ａ）および図９（Ｃ）は、図７，８（Ａ）および図７，８（Ｃ）と同じSD画像のフィールドＡおよびフィールドＣを示している。
【００５４】
図６にさらに戻り、合成部４は、処理部１からの第１の予測画素、処理部２からの第２の予測画素、および処理部３からの第３の予測画素を合成し、HD画像を生成する。
【００５５】
例えば、図１０（Ａ）および図１０（Ｂ）に示す、○印で示されるSD画素を含むSD画像のフィールドが処理部１乃至処理部３にそれぞれ供給されると、最終的に合成部４において、図１０（Ａ），（Ｂ）に示す、図中、影が付された△印で示される、第１の予測画素と第３の予測画素が合成されて生成された画素と、□印で示される第２の予測画素を含むHD画像のフレームが生成される。なお、図１０（Ｂ）に示すSD画像のフィールドは、図１０（Ａ）に示すSD画像のフィールドより、１フィールド分未来のフィールドである。つまり、図１０（Ｂ）で示されるHD画像のフレームは、図１０（Ａ）で示されるHD画像のフレームより、１フレーム分未来のフレームである。また、図中、点線の枠は、各入力画素に対応する生成画素の位置を示している。
【００５６】
次に、処理部１の構成を説明する。
【００５７】
領域切り出し部１１は、入力画素としてのSD画像のSD画素と第１の位置関係にあるHD画素（例えば、図７（Ｂ）に示すHD画素Ｙ11乃至Ｙ14）を、順次注目画素とし、注目画素と所定の位置関係にあるSD画素（例えば、図７（Ａ）乃至（Ｃ）で影が付された○印のSD画素Ｘ）を選択し、これをクラスタップとして、特徴量抽出部１２に供給する。
【００５８】
特徴量抽出部１２は、領域切り出し部１１から供給されるクラスタップを形成するSD画素の特徴量、例えば、画素値の分布を検出し、その検出結果を、クラスコード発生部１３に供給する。
【００５９】
クラスコード発生部１３は、特徴量抽出部１２からの特徴量にあらかじめ割り当てられた値を、注目画素のクラスとして、ROMテーブル１４に供給する。
【００６０】
ROMテーブル１４は、後述する学習処理で求められた予測係数セットを、クラス毎に記憶しており、クラスコード発生部１３から、クラスが供給されたとき、そのクラスに対応するアドレスに記憶している予測係数セットを読み出し、予測演算部１６に供給する。
【００６１】
領域切り出し部１５は、入力画像としてのSD画像から、注目画素に対して所定の位置関係にあるSD画素を選択し、これを予測タップとして、予測演算部１６に供給する。なお、この例の場合、領域切り出し部１５により形成される予測タップは、領域切り出し部１１により形成されるクラスタップと同じ形状を有しているものとする。
【００６２】
予測演算部１６は、ROMテーブル１４からの予測係数セット（予測係数ｗ1，ｗ2，・・・）と、領域切り出し部１５からの予測タップを構成する画素の特徴量（特徴量ｘ1，ｘ2，・・・）とを用いて、その予測係数ｗと特徴量ｘの、例えば、線形結合により規定される線形１次結合モデルである式（１）に従って演算を行い、注目画素（HD画素）ｙの予測値Ｅ［ｙ］を演算する。
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
なお、非線形結合によるモデルを利用して、演算を行うこともできる。
【００６３】
予測演算部１６は、演算した予測値を、HD画素（第１の予測画素）の特徴量として、処理部２、処理部３、および合成部４に供給する。
【００６４】
次に、処理部２の構成を説明する。
【００６５】
領域切り出し部２１には、入力画像としてのSD画像と処理部１からの第１の予測画素（例えば、図８（Ａ）に示すHD画素Ｙ11乃至Ｙ14）がそれぞれ供給される。領域切り出し部２１は、SD画素と第２の位置関係にあるHD画素（例えば、図８（Ｂ）に示すHD画素Ｙ21乃至Ｙ24）を注目画素とし、注目画素と所定の位置関係にあるSD画像（例えば、図８（Ａ）乃至図８（Ｃ）で影が付された○印で示されるSD画素Ｘ）を選択するとともに、選択したSD画素と第１の予測画素からクラスタップを形成し、予測演算部２６に供給する。
【００６６】
領域切り出し部２５には、領域切り出し部２１と同様に、入力画像としてのSD画像と、処理部１からの第１の予測画素がそれぞれ供給される。領域切り出し部２５は、供給されるSD画像から、注目画素に対して所定の位置関係にあるSD画素を選択するとともに、選択したSD画素と第１の予測画素から予測タップを形成し、予測演算部２６に供給する。なお、この例の場合、領域切り出し部２５により形成される予測タップは、領域切り出し部２１により形成されるクラスタップと同じ形状を有するものとする。
【００６７】
予測演算部２６は、処理部１の予測演算部１６と同様に予測値を演算し、演算した予測値を、HD画素（第２の予測画素）の特徴量として、処理部３および合成部４に供給する。
【００６８】
特徴量抽出部２２乃至ROMテーブル２４は、処理部１の特徴量抽出部１２乃至ROMテーブル１４と、基本的に同様の処理を行うので、その説明は省略する。
【００６９】
次に、処理部３の構成を説明する。
【００７０】
領域切り出し部３１には、入力画像としてのSD画像、処理部１からの第１の予測画素（例えば、図８（Ｂ）に示すHD画素Ｙ11乃至Ｙ14）、および処理部２からの第２の予測画素（例えば、図８（Ｂ）に示すHD画素Ｙ21乃至Ｙ24）がそれぞれ供給される。領域切り出し部３１は、SD画像のSD画素と第１の位置関係にあるHD画素（例えば、図８（Ｂ）に示すHD画素Ｙ11乃至Ｙ14）を注目画素とし、注目画素と所定の位置関係にあるSD画素（例えば、図８（Ａ）乃至（Ｃ）で影が付された○印で示されるSD画素Ｘ）を選択するとともに、選択したSD画素、第１の予測画素、および第２の予測画素からクラスタップを形成し、特徴量抽出部３２に供給する。
【００７１】
領域切り出し部３５には、領域切り出し部３１と同様に、入力画像としてのSD画像、第１の予測画素、および第２の予測画素がそれぞれ供給される。領域切り出し部３５は、供給されるSD画像から、注目画素に対して所定の位置関係にあるSD画素を選択するとともに、選択したSD画素、第１の予測画素、および第２の予測画素から予測タップを形成し、予測演算部３６に供給する。なお、この例の場合、領域切り出し部３５により形成される予測タップは、領域切り出し部３１により形成されるクラスタップと同じ形状を有しているものとする。
【００７２】
予測演算部３６は、処理部１の予測演算部１６と同様にして予測値を演算し、演算した予測値を、HD画素（第３の予測画素）の特徴量として、合成部４に供給する。
【００７３】
特徴量抽出部３２乃至ROMテーブル３４は、処理部１の特徴量抽出部１２乃至ROMテーブル１４と、基本的に同様の処理を実行するので、その説明は省略する。
【００７４】
このようにして、処理部３において、処理部１で、第１の予測画素として１度予測された、例えば、図８（Ｂ）に示すHD画素Ｙ11乃至Ｙ14が、その第１の予測画素、図８（Ａ）乃至（Ｃ）で影が付された○印で示されるSD画素Ｘ、および図８（Ｃ）に示すHD画素Ｙ21乃至Ｙ24として予測された第２の予測画素の特徴量に基づいて、再予測される。
【００７５】
図１１は、図６の処理部１乃至処理部３のROMテーブル１４，２４，３４に記憶させる予測係数を算出する学習処理を行う場合の画像処理装置の構成例を示している。
【００７６】
学習における教師画像となるべきHD画像と生徒画像となるべきSD画像が、処理部５１乃至処理部５３に供給される。
【００７７】
処理部５１の領域切り出し部６１は、図６の処理部１の領域切り出し部１１と同様の処理を行って、供給されたSD画像のSD画素と第１の位置関係にあるHD画素を、順次注目画素とし、注目画素と所定の位置関係にあるSD画素を選択するとともに、これをクラスタップとして、特徴量抽出部６２に供給する。
【００７８】
特徴量抽出部６２は、領域切り出し部６１から供給されたクラスタップを形成するSD画素の特徴量、例えば、画素値の分布を検出し、その検出結果を、クラスコード発生部６３に供給する。
【００７９】
クラスコード発生部６３は、特徴量抽出部６２から供給された特徴量にあらかじめ割り当てられた値を、注目画素のクラスとして、正規方程式加算部６５に供給する。
【００８０】
領域切り出し部６４は、図６の処理部１の領域切り出し部１５と同様の処理を行って、供給されるSD画像から、注目画素に対して所定の位置関係にあるSD画素を選択し、これを予測タップとして、正規方程式加算部６５に供給する。
【００８１】
正規方程式加算部６５は、供給される教師画像としてのHD画像、クラスコード発生部６３からのクラスコード、および領域切り出し部６４からの予測タップに基づいて、予測係数を解とする正規方程式を解くために必要なデータを計算する。正規方程式加算部６５の出力は、予測係数決定部６６に供給される。
【００８２】
予測係数決定部６６は、クラス毎に、例えば、式（２）に示す正規方程式を解くことにより予測係数を求め、メモリ６７に供給する。
【数１】
0004324832.tif 000002
・・・・・（２）
【００８３】
メモリ６７は、予測係数決定部６６から供給された予測係数を記憶する。メモリ６７に記録された予測係数のセットが、図６のROMテーブル１４にロードされ、記憶される。
【００８４】
ところで、予測係数が求められる場合にたてられる式（２）の正規方程式については、クラス分類適応処理に関する先願においてすでに開示されているが、本願をより理解するためにここで説明する。なお、ここでは、画素の特徴量を、画素値として説明する。
【００８５】
予測値Ｅを算出するための予測係数および画素値の線形結合により規定される線形１次結合モデルの式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でなる行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列Ｙ’を、
【数２】
0004324832.tif 000003
で定義すると、次のような観測方程式が成立する。
【００８６】
ＸＷ＝Ｙ’
・・・（３）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。すなわち、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【００８７】
そして、この観測方程式に最小自乗法を適用して、HD画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるHD画素の真の画素値ｙの集合でなる行列Ｙ、およびHD画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数３】
0004324832.tif 000004
で定義すると、式（３）から、式（４）に示す残差方程式が成立する。
【００８８】
ＸＷ＝Ｙ＋Ｅ
・・・（４）
【００８９】
この場合、HD画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数４】
0004324832.tif 000005
を最小にすることで求められる。
【００９０】
従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、すなわち、式（５）を満たす予測係数ｗjが、HD画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【数５】
0004324832.tif 000006
・・・（５）
【００９１】
そこで、まず、式（４）を、予測係数ｗjで微分することにより、式（６）が成立する。
【００９２】
【数６】
0004324832.tif 000007
・・・（６）
【００９３】
式（５）および色（６）より、式（７）が得られる。
【００９４】
【数７】
0004324832.tif 000008
・・・（７）
【００９５】
さらに、式（４）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（７）から、式（２）に示した正規方程式を得ることができる。ここで、式（２）における各正規方程式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができる。従って、式（２）を解くことで、最適な予測係数ｗjを求めることができる。
【００９６】
次に、処理部５２の構成を説明する。
【００９７】
領域切り出し部７１には、生徒画像としてのSD画像と、教師画像としてのHD画像が供給される。
【００９８】
領域切り出し部７１は、図６の処理部２の領域切り出し部２１と同様の処理を行って、SD画素と第２の位置関係にあるHD画素を注目画素とし、注目画素と所定の位置関係にあるSD画素を選択する。領域切り出し部７１はまた、処理部５１の領域切り出し部６１において注目画素とされるHD画素を、HD画像から抽出する。
【００９９】
領域切り出し部７１は、選択したSD画素と抽出したHD画素を、クラスタップとして特徴量抽出部７２に供給する。
【０１００】
領域切り出し部７４には、領域切り出し部７１と同様に、生徒画像としてのSD画像と、教師画像としてのHD画像が供給される。
【０１０１】
領域切り出し部７４は、図６の処理部２の領域切り出し部１５と同様の処理を行って、SD画像から、注目画素に対して所定の位置関係にあるSD画素を選択する。領域切り出し部７４はまた、処理部５１の領域切り出し部６４において注目画素とされるHD画素を、HD画像から抽出する。
【０１０２】
領域切り出し部７４は、選択したSD画素と抽出したHD画素を、予測タップとして正規方程式加算部７５に供給する。
【０１０３】
特徴量抽出部７２、クラスコード発生部７３、正規方程式加算部７５、予測係数決定部７６、およびメモリ７７は、処理部５１の特徴量抽出部６２、クラスコード発生部６３、正規方程式加算部６５、予測係数決定部６６、およびメモリ６７と基本的に同様の処理を行うので、その説明は省略する。
【０１０４】
次に、処理部５３の構成を説明する。
【０１０５】
領域切り出し部８１には、生徒画像としてのSD画像と、教師画像としてのHD画像が供給される。
【０１０６】
領域切り出し部８１は、図６の処理部３の領域切り出し部３１と同様の処理を行って、SD画素と第１の位置関係にあるHD画素を注目画素とし、その注目画素と所定の位置関係にあるSD画素を選択する。領域切り出し部８１はまた、処理部５１の領域切り出し部６１および処理部５２の領域切り出し部７１において注目画素とされるHD画素を、それぞれHD画像から抽出する。
【０１０７】
領域切り出し部８１は、選択したSD画素と抽出したHD画素を、クラスタップとして特徴量抽出部８２に供給する。
【０１０８】
領域切り出し部８４には、領域切り出し部８１と同様に、生徒画像としてのSD画像と、教師画像としてのHD画像が供給される。
【０１０９】
領域切り出し部８４は、図６の処理部３の領域切り出し部３５と同様の処理を行って、SD画像から、注目画素と所定の位置関係にあるSD画像を選択する。領域切り出し部８４はまた、処理部５１の領域切り出し部６４および処理部５２の領域切り出し部７４において注目画素とされるHD画素を、それぞれHD画像から抽出する。
【０１１０】
領域切り出し部８４は、選択したSD画素と抽出したHD画素を、予測タップとして正規方程式加算部８５に供給する。
【０１１１】
特徴量抽出部８２、クラスコード発生部８３、正規方程式加算部８５、予測係数決定部８６、およびメモリ８７は、処理部５１の特徴量抽出部６２、クラスコード発生部６３、正規方程式加算部６５、予測係数決定部６６、およびメモリ６７と基本的に同様の処理を行うので、その説明は省略する。
【０１１２】
図１２は、本発明を適用した画像処理装置の予測処理を実行する場合の他の構成例を表している。
【０１１３】
この画像処理装置には、図６の画像処理装置に、ディレイ回路１０１がさらに設けられている。他の部分については同様であるので、適宜、説明は省略する。
【０１１４】
ディレイ回路１０１には、合成部４において生成されたHD画像が供給され、ディレイ回路１０１は、それを遅延させて、処理部１の領域切り出し部１１，１５、処理部２の領域切り出し部２１，２５、および処理部３の領域切り出し部３１，３５に、それぞれ供給する。
【０１１５】
処理部１の領域切り出し部１１は、入力画像としてのSD画像のSD画素と第１の位置関係にあるHD画素を、順次注目画素とし、注目画素と所定の位置関係にあるSD画素を選択する。例えば、図１３（Ｂ）中に、△印で示されるHD画素Ｙ11乃至Ｙ14が注目画素とされ、図１３（Ａ）乃至図（Ｃ）中、影が付された○印で示されるSD画素Ｘが選択される。なお、図１３（Ａ）乃至（Ｃ）は、図７（Ａ）乃至（Ｃ）と同じSD画像のフィールドＡ、フィールドＢ、およびフィールドＣ、並びにHD画像のフレームＢを示している。
【０１１６】
領域切り出し部１１はまた、ディレイ回路１０１から供給されるHD画像から、注目画素と所定の位置関係にあるSD画素を選択する。例えば、図１３（Ｄ）中、影が付された○印で示されるHD画素が選択される。
【０１１７】
領域切り出し部１１は、選択したこれらの画素を、クラスタップとして特徴量抽出部１２に供給する。
【０１１８】
領域切り出し部１５は、入力画像としてのSD画像およびディレイ回路１０１から供給されるHD画像から、注目画素と所定の位置にあるSD画素およびHD画素を選択し、これを予測タップとして、予測演算回路１６に供給する。なお、領域切り出し部１５により形成される予測タップは、領域切り出し部１１により形成されるクラスタップと同じ形状を有するものとする。
【０１１９】
処理部２の領域切り出し部２１は、入力画像としてのSD画像のSD画素と第２の位置関係にあるHD画素を、順次注目画素とし、注目画素と所定の位置関係にあるSD画素を選択する。例えば、図１４（Ｂ）で示すHD画素Ｙ21乃至Ｙ22が注目画素とされ、図１４（Ａ）乃至（Ｃ）中、影が付された○印で示されるSD画素Ｘが選択される。なお、図１４（Ａ）乃至（Ｃ）は、図８（Ａ）乃至（Ｃ）と同じSD画像のフィールドＡ、フィールドＢ、およびフィールドＣ、並びにHD画像のフレームＢを示している。
【０１２０】
領域切り出し部２１はまた、ディレイ回路１０１から供給されたHD画像から、注目画素と所定の位置関係にあるSD画素を選択する。例えば、図１４（Ｄ）中、影が付されている○印で示されるHD画素が選択される。
【０１２１】
領域切り出し部２１は、選択したこれらの画素を、クラスタップとして特徴量抽出部２２に供給する。
【０１２２】
領域切り出し部２５は、入力画像としてのSD画像およびディレイ回路１０１から供給されるHD画像から、注目画素と所定の位置にあるSD画素およびHD画素を選択し、これを予測タップとして、予測演算部２６に供給する。なお、領域切り出し部２５により形成される予測タップは、領域切り出し部２１により形成されるクラスタップと同じ形状を有するものとする。
【０１２３】
処理部３の領域切り出し部３１は、入力画像としてのSD画像のSD画素と第１の位置関係にあるHD画素を、順次注目画素とし、注目画素に対して所定の位置関係にあるSD画素を選択する。例えば、図１５（Ｂ）に示すHD画素Ｙ11乃至Ｙ14が注目画素とされ、図１５（Ａ）乃至（Ｃ）中、影が付された○印で示されるSD画素Ｘが選択される。なお、図１５（Ａ）乃至（Ｃ）は、図９（Ａ）乃至（Ｃ）と同じSD画像のフィールドＡ、フィールドＢ、およびフィールドＣ、並びにHD画像のフレームＢを示している。
【０１２４】
領域切り出し部３１はまた、ディレイ回路１０１から供給されたHD画像から、注目画素に対して所定の位置関係にあるHD画素を選択する。例えば、図１５（Ｄ）中、影が付された○印で示されるHD画素が選択される。
【０１２５】
領域切り出し部３１は、選択したこれらの画素を、クラスタップとして特徴量抽出部３２に供給する。
【０１２６】
領域切り出し部３５は、入力画像としてのSD画像およびディレイ回路１０１から供給されるHD画像から、注目画素と所定の位置にあるSD画素およびHD画素を選択し、これを予測タップとして、予測演算部３６に供給する。なお、領域切り出し部３５により形成される予測タップは、領域切り出し部３１により形成されるクラスタップと同じ形状を有するものとする。
【０１２７】
予測演算部３６は、図６の場合と同様に、予測値を演算し、合成部４に供給する。すなわち、処理部１で予測された第１の予測画素が、再予測され、図１５（Ｂ）中、影が付された△印で示されるHD画素Ｙ11乃至Ｙ14が、第３の予測画素として生成される。
【０１２８】
図１６は、図１２の処理部１乃至処理部３のROMテーブル１４，２４，３４に記憶させる予測係数を算出する学習処理を行う場合の画像処理装置の構成例を示している。
【０１２９】
この学習処理を行う画像処理装置には、図１１の画像処理装置に、ディレイ回路２０１がさらに設けられている。他の部分は、同様であるので、その説明は適宜省略する。
【０１３０】
ディレイ回路２０１には、教師画像としてのHD画像が供給される。ディレイ回路２０１は、入力された教師画像を１フレーム分遅延させ、処理部５１の領域切り出し部６１，６４、処理部５２の領域切り出し部７１，７４、および処理部５３の領域切り出し部８１，８４にそれぞれ供給する。
【０１３１】
処理部５１の領域切り出し部６１は、図１１の場合と同様の処理を行って、供給されたSD画像のSD画素と第１の位置関係にあるHD画素を、順次注目画素とし、注目画素と所定の位置関係にあるSD画素をSD画像から選択する。領域切り出し部６１はまた、ディレイ回路２０１から供給されたHD画像から、注目画素と所定の位置関係にあるHD画素を選択する。
【０１３２】
領域切り出し部６１は、選択したSD画素およびHD画素を、クラスタップとして、特徴量抽出部６２に供給する。
【０１３３】
領域切り出し部６４は、供給されたSD画像およびディレイ回路２０１から供給されたHD画像から、注目画素と所定の位置関係にあるSD画素およびHD画素を選択し、これを予測タップとして、正規方程式加算部６５に供給する。この例の場合においても、領域切り出し部６４により形成される予測タップは、領域切り出し部６１により形成されるクラスタップと同じ形状を有するものとする。
【０１３４】
処理部５２の領域切り出し部７１は、図１１の場合と同様の処理を行って、供給されたSD画像のSD画素と第２の位置関係にあるHD画素を、順次注目画素とし、注目画素と所定の位置関係にあるSD画素をSD画像から選択する。領域切り出し部７１はまた、ディレイ回路２０１から供給されたHD画像から、注目画素と所定の位置関係にあるHD画素を選択する。
【０１３５】
領域切り出し部７１は、選択したSD画像およびHD画像を、クラスタップとして、特徴量抽出部７２に供給する。
【０１３６】
領域切り出し部７４は、供給されたSD画像およびディレイ回路２０１から供給されたHD画像から、注目画素と所定の位置関係にあるSD画素およびHD画素を選択し、これを予測タップとして、正規方程式加算部７５に供給する。この例の場合においても、領域切り出し部７４により形成される予測タップの形状は、領域切り出し部７１により形成されるクラスタップと同じ形状を有するものとする。
【０１３７】
処理部５３の領域切り出し部８１は、図１１の場合と同様の処理を行って、供給されたSD画像の画素と第１の位置関係にあるHD画素を、順次注目画素とし、注目画素と所定の位置関係にあるSD画素をSD画像から選択する。領域切り出し部８１はまた、ディレイ回路２０１から供給されたHD画像から、注目画素と所定の位置関係にあるHD画素を選択する。
【０１３８】
領域切り出し部８１は、選択したSD画素およびHD画素を、クラスタップとして、特特徴量抽出部８２に供給する。
【０１３９】
領域切り出し部８４は、供給されたSD画像およびディレイ回路２０１から供給されたHD画像から、注目画素と所定の位置関係にあるSD画素およびHD画素を選択し、これを予測タップとして、正規方程式加算部８５に供給する。この例の場合においても、領域切り出し部８４により形成される予測タップは、領域切り出し部８１により形成されるクラスタップと同じ形状を有するものとする。
【０１４０】
なお、以上においては、クラスタップと予測タップが同じ形状である場合（注目画素の位置に対して同じ位置の画素が使用された場合）を例として説明したが、それぞれ異なる形状とすることもできる。
【０１４１】
また、以上においては、入力画像を、インターレースのフィールド画像とした場合を例として説明したが、プログレッシブ画像とすることもできる。
【０１４２】
【発明の効果】
本発明の画像処理装置および画像処理方法によれば、第１の画像を、画素数が第１の画像より多い第２の画像に変換し、第２の画像を構成する画素のうちの所定の画素を、第２の画像を構成する画素であって、所定の画素から最も近い画素を少なくとも含む１個または複数個の画素と、第１の画像を構成する画素であって、所定の画素に対応する位置に応じた画素とに基づいて予測することで、第２の画像を、画素数が第２の画像と等しい第３の画像に変換するようにしたので、予測精度を向上させることができる。
【図面の簡単な説明】
【図１】従来のアップコンバージョン処理を説明する図である。
【図２】従来のアップコンバージョン処理を説明する他の図である。
【図３】従来のアップコンバージョン処理を説明する他の図である。
【図４】従来のアップコンバージョン処理を説明する他の図である。
【図５】従来のアップコンバージョン処理を説明する他の図である。
【図６】本発明を適用した画像処理装置の予測処理をするための構成例を示すブロック図である。
【図７】本発明のアップコンバージョン処理を説明する図である。
【図８】本発明のアップコンバージョン処理を説明する他の図である。
【図９】本発明のアップコンバージョン処理を説明する他の図である。
【図１０】本発明のアップコンバージョン処理を説明する他の図である。
【図１１】本発明を適用した画像処理装置の学習処理をするための構成例を示すブロック図である。
【図１２】本発明を適用した画像処理装置の予測処理をするための他の構成例を示すブロック図である。
【図１３】本発明のアップコンバージョン処理を説明する他の図である。
【図１４】本発明のアップコンバージョン処理を説明する他の図である。
【図１５】本発明のアップコンバージョン処理を説明する他の図である。
【図１６】本発明を適用した画像処理装置の学習処理をするための他の構成例を示すブロック図である。
【符号の説明】
１  処理部，  ２  処理部，  ３  処理部，  ４  合成部，  １１  領域切り出し部，  １２  特徴量抽出部，  １３  クラスコード発生部，  １４  ROMテーブル，  １５  領域切り出し部、  １６  予測演算部，  ２１  領域切り出し部，  ２２  特徴量抽出部，  ２３  クラスコード発生部，  ２４  ROMテーブル，  ２５  領域切り出し部，  ２６  予測演算部，  ３１  領域切り出し部，３２  特徴量抽出部，  ３３  クラスコード発生部，  ３４  ROMテーブル，３５  領域切り出し部，  ３６  予測演算部，  ５１  処理部，    ５２  処理部，  ５３  処理部，  ６１  領域切り出し部，  ６２  特徴量抽出部，  ６３  クラスコード発生部，  ６４  領域切り出し部，  ６５  正規方程式加算部，  ６６  予測係数決定部，  ６７  メモリ，  ７１  領域切り出し部，  ７２特徴量抽出部，  ７３  クラスコード発生部，  ７４  領域切り出し部，  ７５  正規方程式加算部，  ７６  予測係数決定部，  ７７  メモリ，  ８１  領域切り出し部，  ８２  特徴量抽出部，  ８３  クラスコード発生部，  ８４  領域切り出し部，  ８５  正規方程式加算部，  ８６  予測係数決定部，  ８７メモリ，  １０１  蓄積メモリ，  ２０１  ディレイ回路
【図１】
0004324832.tif 000009
【図２】
0004324832.tif 000010
【図３】
0004324832.tif 000011
【図４】
0004324832.tif 000012
【図５】
0004324832.tif 000013
【図６】
0004324832.tif 000014
【図７】
0004324832.tif 000015
【図８】
0004324832.tif 000016
【図９】
0004324832.tif 000017
【図１０】
0004324832.tif 000018
【図１１】
0004324832.tif 000019
【図１２】
0004324832.tif 000020
【図１３】
0004324832.tif 000021
【図１４】
0004324832.tif 000022
【図１５】
0004324832.tif 000023
【図１６】
0004324832.tif 000024