"画像データを第1のサンプリング点でサンプリングして縮小し第1縮小画像データを生成するとともに、前記画像データを前記第1のサンプリング点とは異なる第2のサンプリング点でサンプリングして縮小し第2縮小画像データを生成する分離回路を含むことを特徴とする画像処理装置。前記分離回路は、前記画像データを前記第1のサンプリング点でサンプリングする第1フィルタと、前記画像データを前記第2のサンプリング点でサンプリングする第2フィルタと、を含むことを特徴とする請求項1に記載の画像処理装置。前記第2のサンプリング点はフレーム毎に周期的に変化することを特徴とする請求項1または請求項2に記載の画像処理装置。第1のサンプリング点でサンプリングされた第1縮小画像データに含まれる第1フレーム画像内の第1ブロック画像と前記第1縮小画像データに含まれる第1参照フレーム画像内の第1参照ブロック画像とに基づいて動きを検出する動き検出回路と、前記第1ブロック画像と前記第1参照ブロック画像とが動いていないと判定されるとき、前記第1のサンプリング点とは異なる第2のサンプリング点でサンプリングされた第2縮小画像データに含まれる第2フレーム画像内のブロック画像であって前記第1ブロック画像または前記第1参照ブロック画像と同時刻の第2ブロック画像を抽出し、前記第1ブロック画像と前記第2ブロック画像とに基づいて前記第1ブロック画像に対応する第1画像データを生成する合成処理回路と、を含むことを特徴とする画像処理装置。前記第1フレーム画像および前記第2フレーム画像は低解像度画像データに対応し、前記第1画像データは高解像度画像データに対応することを特徴とする請求項4に記載の画像処理装置。前記第1ブロック画像と前記第1参照ブロック画像とが動いていると判定されるとき、前記第2ブロック画像に対応する画像データを補間して、前記第1画像データを生成することを含むことを特徴とする請求項4または請求項5に記載の画像処理装置。前記動き検出回路は、前記第1ブロック画像と前記第1参照ブロック画像との輝度差の総和に基づいて前記動きを検出することを特徴とする請求項4乃至請求項6の何れか一に記載の画像処理装置。前記動き検出回路は、前記第1ブロック画像と前記第1参照ブロック画像との間の動きベクトルに基づいて前記動きを検出することを特徴とする請求項4乃至請求項7の何れか一に記載の画像処理装置。前記動き検出回路は、前記第1ブロック画像の位置と前記第1参照ブロック画像の位置とが所定の閾値よりも小さいときに、前記第1ブロック画像および前記第1参照ブロック画像が静止していると判定するとともに、前記第1ブロック画像の位置と前記第1参照ブロック画像の位置とが所定の閾値以上のときに、前記第1ブロック画像および前記第1参照ブロック画像が動いていると判定することを特徴とする請求項4乃至請求項8の何れか一に記載の画像処理装置。画像データを第1のサンプリング点でサンプリングして縮小し第1縮小画像データを生成し、前記画像データを前記第1のサンプリング点とは異なる第2のサンプリング点でサンプリングして縮小し第2縮小画像データを生成することを特徴とする画像処理方法。前述したように、例えば、4k2kといった高解像度表示パネルへの普及期においては、従来サイズとなるフルHDの解像度と、4k2kといったフルHDの4倍の解像度の双方に対応する画像処理技術が期待される。そのため、4k2kおよびフルHDの2つの解像度の映像を同時に記録するか、或いは、記録時にダウンコンバートを行ってフルHDとして記録し、再生時に超解像技術などの高品位アップコンバート技術を利用して4k2k表示装置で再生することが考えられる。しかしながら、4k2kとフルHDの2つの解像度の映像を同時記録する場合、そのための記憶容量の増加、或いは、画像を処理するための回路規模や処理時間の増大を招くことになる。具体的に、例えば、記憶容量は、フルHDだけを記録する場合のほぼ5倍になってしまう。一方、記録時にダウンコンバートし、再生時にアップコンバートする場合、前後の複数のフレームにわたり静止している領域については、高解像度化のための情報が少ないため画像の高解像度化が難しいといった課題がある。一実施形態によれば、分離回路を含むことを特徴とする画像処理装置が提供される。前記分離回路は、画像データを第1のサンプリング点でサンプリングして縮小し第1縮小画像データを生成するとともに、前記画像データを前記第1のサンプリング点とは異なる第2のサンプリング点でサンプリングして縮小し第2縮小画像データを生成する。開示の画像処理装置および画像処理方法は、異なる解像度の画像の記録再生を適切に行うことができるという効果を奏する。以下、画像処理装置および画像処理方法の実施例を、添付図面を参照して詳述する。図1は、本実施例の画像処理装置が適用されるシステムの一例を示すブロック図である。図1において、参照符号1は高解像度画像生成部、2は分離回路、3は記録部、そして、4は合成回路を示す。高解像度画像生成部1は、例えば、イメージセンサであり、そのイメージセンサの高解像度を生かした4k2kといった高解像度の画像データ高解像度画像シーケンス50が分離回路分離縮小手段2に入力される。分離回路2は、高解像度画像シーケンス50を受け取って処理し、第1縮小画像データ第1シーケンス61および第2縮小画像データ第2シーケンス62を生成して記録部3に記録する。なお、分離回路2の詳細は、後に、図2~図5を参照して詳述する。合成回路4は、記録部3に記録された第1縮小画像データ第1シーケンス71および第2縮小画像データ第2シーケンス72を使用して、高解像度画像データ82を合成する。また、低解像度画像データ81は、記録部3からの第1シーケンス71をそのまま使用する。なお、合成回路4の詳細は、後に、図6~図11を参照して詳述する。ここで、記録部3からの第1シーケンス71は、例えば、フルHDパネルに表示される低解像度画像データ81として使用され、また、合成回路4の出力は、4k2kパネルに表示される高解像度画像データ82として使用される。なお、分離回路2からの第1シーケンス61および第2シーケンス62を記録する記録部3は、例えば、半導体メモリや光学および磁気ディスク等の記録媒体に相当する。さらに、分離回路2からの第1シーケンス61および第2シーケンス62は、記録部3に記録されるのに限定されず、例えば、電波を利用した広域放送やインターネット等のネットワークを利用して配信されることもある。また、分離回路2および合成回路4は、例えば、動画の記録および再生を行う1つのカムコーダに設けられることもあるが、例えば、分離回路2を撮影カメラに設け、合成回路4を生成装置例えば、広域放送の受信装置に別々に設けられることもある。図2は、画像処理装置の第1実施例を示すブロック図であり、分離回路2を示すものである。図2において、参照符号20は制御プロセッサ、21および22は第1および第2ローパスフィルタおよびサンプラLPFサンプラ、そして、230はラインメモリを示す。さらに、参照符号241は、第1シーケンスSO161を格納して出力する第1縮小画像メモリを示し、また、242は、第2シーケンスSO262を格納して出力する第2縮小画像メモリを示す。図2に示されるように、分離回路2は、高解像度画像生成部1からの高解像度画像例えば、4k2kを受け取るラインメモリ230と、そのラインメモリ230の出力を受け取って処理する第1LPFサンプラ21および第1LPFサンプラ22を有する。ここで、第1LPFサンプラ21および第1LPFサンプラ22は、LPF間引きサンプリングを行うが、以下の記載では、これをリサンプリングと称する。図3は、図2に示す画像処理装置の動作を説明するための図である。さらに、図4は、図2に示す画像処理装置における処理の一例を説明するためのフローチャートであり、また、図5は、図2に示す画像処理装置における処理の他の例を説明するためのフローチャートである。ここで、本実施例は、高解像度画像4k2kと縮小画像フルHDの解像度を4:1と仮定して説明する。また、図3は、例えば、4k2kの各画素を注目点として、周辺の画素との演算LPFによってリサンプリング画素を演算する際の位相を示し、4k2kのうちの4×4画素を抜粋して図示したものである。前述したように、高解像度画像シーケンス50は、ラインメモリ230を介して第1LPFサンプラ21および第2LPFサンプラ22に供給される。ここで、LPFLPFフィルタは、中心画素に対して一定の大きさを持っており、例えば、3×3や5×5、或いは、偶数の場合もある。そこで、図3に示す4×4画素領域における左上の画素P11を考えると、P11を中心としてその上下左右の周辺を含めた3×3や5×5の領域の画素データをLPFに入力することになる。また、4×4画素領域における各格子P11,P12,...,P44は、縮小画像における画素と、高解像度シーケンスからのサンプリング抽出の画素重心の中心を表している。なお、各格子は、LPFによる処理を行わない単純な間引きサンプリングであれば、縮小後の画素と対応する最近傍の画素に相当する。また、各格子は、例えば、サンプリングカーネルがn×mの画素領域を持つ場合には、縮小後の画素の中心と、対応する縮小前の領域の重心を模式的に表すことになる。まず、図3に示されるように、高解像度画像シーケンス50の高解像度画像から4×4画素領域P11~P44を抜粋して、LPFカーネルの演算に必要な周辺の画素とともに第1LPFサンプラ21および第2LPFサンプラ22に供給する。ここで、LPFにおいて、フレーム外の画素を参照する場合には、例えば、境界の有効画素を用いてパディングを行って足りない画素を仮想的に創出する。なお、このパディングは、単なる例であり、様々な手法を利用することができるのはいうまでもない。第1LPFサンプラ21では、注目フレームカレントフレームCFの前のフレームPFにおいて、供給された4×4画素領域P11~P44とその周辺画素から、例えば、斜めハッチングで示す4つの画素P11,P13,P31,P33を中心重心としてLPFを適用しリサンプリングする。なお、第1LPFサンプラ21では、カレントフレームCF,および,カレントフレームの次のフレームNFにおいても、4×4画素領域P11~P44から、例えば、斜めハッチングで示す4つの画素P11,P13,P31,P33を重心としてLPFを適用しリサンプリングする。ここで、画素P11,P13,P31,P33が第1サンプリング点に相当する。ここで、フレームPFおよびNFは、フレームCFを中心として前後のフレームとして説明したが、例えば、前の2フレームおよび後ろの2フレームを含め、第2シーケンスの位相がすべて異なる条件のもと、任意の前後のフレームが対象となる。さらに、4画素の重心としては、例えば、4つの画素の十字中心を第1シーケンスの重心とし、4つの画素の左上,右上,左下および右下の画素のそれぞれの中央を第2シーケンスの重心とすることもできる。図4に示されるように、第1シーケンスフレーム処理が開始すると、まず、ステップST11において、縮小画像の画素ループを初期化してステップST12に進み、第1サンプリング点でのリサンプリングLPF間引きサンプリングを行う。ステップST11およびステップST12の処理は、図3の例では、4×4画素領域P11~P44から、例えば、斜めハッチングで示す4つの画素P11,P13,P31,P33を重心としてリサンプリングするのに相当する。さらに、ステップST13に進んで、すべての画素の処理が終了したかどうかを判定し、すべての画素の処理は終了していないと判定すると、ステップST14に進んで縮小画像ループを更新してステップST12に戻る。そして、ステップST13において、すべての画素の処理が終了したと判定すると、フレーム処理を終了する。このようにして、第1LPFサンプラ21は、各フレームにおける固定された間引き位置の画素の画像データをリサンプリングし、そのリサンプリングされた画像データが第1縮小画像メモリ241を介して出力される。なお、第1縮小画像メモリ241から出力される画像データが、図1における第1シーケンス61に対応する。一方、第2LPFサンプラ22では、カレントフレームの前のフレームPFにおいて、4×4画素領域P11~P44から、例えば、ドット模様で示す4つの画素P12,P14,P32,P34を重心としてリサンプリングする。また、第2LPFサンプラ22では、カレントフレームCFにおいて、4×4画素領域P11~P44から、例えば、縦ハッチングで示す4つの画素P22,P24,P42,P44を重心としてリサンプリングする。そして、第2LPFサンプラ22では、カレントフレームの次のフレームNFにおいて、4×4画素領域P11~P44から、例えば、横ハッチングで示す4つの画素P21,P23,P41,P43を重心としてリサンプリングする。なお、フレームNFのさらに次のフレームでは、フレームPFと同様に、4×4画素領域P11~P44から、例えば、ドット模様で示す4つの画素P12,P14,P32,P34を重心としてリサンプリングし、順次同様の処理を繰り返す。ここで、画素P12,P14,P32,P34、画素P22,P24,P42,P44、および、画素P21,P23,P41,P43が第2サンプリング点に相当する。図5に示されるように、第2シーケンスフレーム処理が開始すると、まず、ステップST20において、位相を選択してステップST21に進む。すなわち、図3における4×4画素領域P11~P44から選択する4つの画素を、ドット模様,縦ハッチングおよび横ハッチングの3つの位相パターンにおけるいずれのパターンで取り込むかを規定する。そして、ステップST21において、縮小画像の画素ループを初期化してステップST22に進み、リサンプリングを行う。ステップST21およびステップST22の処理は、図3の例では、4×4画素領域P11~P44から、ステップST20で規定されたドット模様,縦ハッチングまたは横ハッチングのいずれかのパターンによる4つの画素を重心としてリサンプリングするのに相当する。さらに、ステップST23に進んで、すべての画素の処理が終了したかどうかを判定し、すべての画素の処理は終了していないと判定すると、ステップST24に進んで縮小画像ループを更新してステップST12に戻る。そして、ステップST23において、すべての画素の処理が終了したと判定すると、フレーム処理を終了する。このようにして、第2LPFサンプラ22は、3つのフレームを1周期として、画像データをリサンプリングし、そのリサンプリングされた画像データが第2縮小画像メモリ242を介して出力される。なお、第2縮小画像メモリ242から出力される画像データが、図1における第2シーケンス62に対応する。以上において、全体的な処理流れとしては、1フレーム単位に行われるが、第1および第2シーケンスは、同時に1フレームずつ処理が行われる。なお、後述する合成処理に関しては、各時点の前後のフレームも利用する。ここで、第2シーケンスは、次のフレームに移るとサンプリング位相を変化させ、例えば、3種類のサンプリング位置を巡回する。なお、上述した説明において、例えば、4:1の縮小では、4×4画素の図が最少の繰り返しパターンであるために採用しているだけであり、処理は1フレームにわたり順に処理され、4×4単位に処理を行うことに限定されるものではない。さらに、分離回路2に供給される高解像度画像シーケンス50は、例えば、4k2kの高解像度画像であり、また、分離回路2から出力される第1および第2シーケンス61,62は、例えば、フルHDの低解像度画像であるが、これらに限定されるものではない。図6は、画像処理装置の第2実施例を示すブロック図であり、合成回路4を示すものである。図6において、参照符号40は制御プロセッサ、41は動き検出回路、42は合成処理回路、43はメモリコントローラ、441は低解像度画像表示用出力IF回路、442は高解像度画像表示用出力IF回路、そして、48は高解像度ブロックメモリを示す。図6に示されるように、合成回路4は、制御プロセッサ40、並びに、制御プロセッサ40により制御される動き検出回路41,合成処理回路42,メモリコントローラ43およびメモリを有する。ここで、動き検出回路41,合成処理回路42およびメモリコントローラ43は、制御プロセッサ40により制御される。動き検出回路41は、サーチ範囲バッファメモリ471を介した第1シーケンスの第1参照入力SR11、および、サーチ範囲バッファメモリ451を介した第1シーケンスの第2参照入力SR12を受け取る。さらに、動き検出回路41は、カレントブロックメモリ461を介した第1シーケンス入力SI10を受け取る。合成処理回路42は、参照ブロックメモリ472を介した第2シーケンスの第1参照入力SR21、および、参照ブロックメモリ452を介した第2シーケンスの第2参照入力SR22を受け取る。さらに、合成処理回路42は、カレントブロックメモリ462を介した第2シーケンスSI2のカレント入力SI20、および、カレントブロックメモリ461を介した第1シーケンスSI1のカレント入力SI10を受け取る。ここで、カレントブロックメモリ461を介した第1シーケンス入力SI10は、低解像度ラインメモリ491および低解像度表示用出力IFインターフェース回路441を介して、低解像度画像データ81として出力される。また、合成処理回路42は、高解像度ブロックメモリ48との間でデータの遣り取りを行い、合成処理回路42の出力は、高解像度ラインメモリ492および高解像度表示用出力IF回路442を介して、高解像度画像データ81として出力される。以上において、第1シーケンスSI1のカレント入力SI10,第1シーケンスの第1参照入力SR11および第1シーケンスの第2参照入力SR12は、第1シーケンスSI171に対応する。ここで、入力SI10は、第1シーケンスSI1のカレント注目フレーム入力に相当し、入力SR11はカレントフレームの1つ前のフレーム入力に相当し、そして、入力SR12は、カレントフレームの1つ後のフレーム入力に相当する。同様に、第2シーケンスのカレント入力SI20,第2シーケンスの第1参照入力SR21および第2シーケンスの第2参照入力SR22は、第2シーケンスSI272に対応する。ここで、入力SI20は、第2シーケンスSI2のカレントフレーム入力に相当し、入力SR21はカレントフレームの1つ前のフレーム入力に相当し、そして、入力SR22は、カレントフレームの1つ後のフレーム入力に相当する。図7は、図6に示す画像処理装置の動作の一例を説明するための図であり、また、図8は、図6に示す画像処理装置の動作の他の例を説明するための図であり、そして、図9は、図6に示す画像処理装置における処理の一例を説明するためのフローチャートである。ここで、本実施例は、高解像度画像4k2kと縮小画像フルHDの解像度を4:1と仮定して説明する。また、図7および図8は、例えば、縮小画像の第1シーケンス71SI1および第2シーケンス72SI2から高解像度画像データ82を合成する様子を示している。なお、図7は、注目フレームカレントフレームCFに対して、その前後のフレームPFおよびNFで両方とも静止判定の場合を示し、また、図8は、前のフレームPFで動判定、且つ、後のフレームNFで静止判定の場合を示す。さらに、図7および図8において、グリッド格子は縮小画像0.5画素小数精度とされ、これが高解像度ピクセルグリッドに対応する。まず、フレームを格子状のブロックに分割し、同一ブロック位置同一ブロック座標について、第1シーケンスSI171のカレントフレームCFおよびその前後のフレームPF,NFにより静止判定を行う。具体的に、第1シーケンスSI1のフレームPFおよびCFの格子画素P11,P13,P31,P33、並びに、第1シーケンスSI1のフレームCFおよびNFの画素P11,P13,P31,P33により静止判定を行う。まず、図7は、第1シーケンスSI1の画素P11,P13,P31,P33が3つのフレームPF,CFおよびNFで静止していると判定された場合を示し、そのときは、位相情報を用いて合成する。すなわち、図3および図5を参照して説明したドット模様,縦ハッチングおよび横ハッチングの3つのパターンを巡回する3フレーム巡回の場合には、第2シーケンスSI272のフレームPF,CFおよびNFを参照画像として処理する。具体的に、SI1の画素P11,P13,P31,P33とともに、SI2のフレームPFの画素P12,P14,P32,P34、フレームCFの画素P22,P24,P42,P44、および、フレームNFの画素P21,P23,P41,P44を参照する。これにより、図7に示されるように、第2シーケンスSI2の前後のフレームPF,NFを参照画像として動き補償MC:MotionCompensationを行って高解像度画像例えば、4k2kを合成する。次に、図8は、第1シーケンスSI1の画素P11,P13,P31,P33がPFからCFで動いていると判定動判定され、CFからNFで静止していると判定静止判定された場合を示す。このとき、カレントフレームCFから後のフレームNFは静止判定なので、SI1の画素P11,P13,P31,P33とともに、SI2のCFの画素P22,P24,P42,P44、および、NFの画素P21,P23,P41,P44を参照する。一方、前のフレームPFからカレントフレームCFは動判定なので、画素P21,P23,P41,P43は、第2シーケンスSI2のPFの画素を参照せずに、補間画素を生成して高解像度画像例えば、4k2kを合成する。すなわち、動判定された場合、カレントフレームCFと参照フレームに対応する第2シーケンスSI2における前のフレームPFは使用せずに、補間を行う。なお、補間画素は、カレントフレームCFに対して前後1フレームPF,NFを参照画像として生成するものに限定されず、例えば、前または後ろ2フレームを参照画像として生成することもできる。さらに、補間画素の生成は、より多くの画像を参照してもよいが、その時の合成は、例えば、加重平均や最近傍の時刻のフレームを採用するといった処理を行うことになる。図9に示されるように、合成処理が開始すると、まず、ステップST31において、縮小画像を格子状に区切り、ブロックループを初期化してステップST32に進む。ステップST32では、第1シーケンスのカレント画像と、同時刻の第2シーケンスのカレント画像から対応する高解像度画像を生成して、ステップST33に進む。ステップST33では、第1および第2シーケンスのカレントの位相以外の画素に対して補間候補とマークを生成する。さらに、ステップST34に進んで、参照画像に関する参照ループを初期化してステップST35に進み、第1シーケンスのカレント画像と、参照フレームで静止判定を行うように、ステップST36に進む。ステップST36では、画像間の類似性を評価するために、比較する画像から領域を切り出し、その領域に対する輝度差の総和SAD:SumofAbsoluteDifferenceが閾値よりも小さいかどうかを判定する。なお、SADの値が小さいほど、似ている位置静止に近い状態になる。また、SAD以外にも、輝度差の2乗和SSD:SumofSquaredDifference等の他の手法を用いることもできる。ステップST36において、静止している、すなわち、SAD<閾値であると判定すると、ステップST37を介してステップST38に進み、逆に、静止していない、すなわち、SAD<閾値ではないと判定すると、直接ステップST38に進む。ステップST37では、第1シーケンス参照画像と同時刻の第2シーケンス参照画像の位相情報からブロックを抽出して対応画素を生成し、補間候補のマークを外して、ステップST38に進む。ステップST38において、すべての参照画像の処理が終了したかどうかを判定し、すべての参照画像の処理が終了したと判定するとステップST39に進む。ステップST39では、すべてのブロックの処理が終了したかどうかを判定し、すべてのブロックの処理が終了したと判定すると合成処理を終了し、また、すべてのブロックの処理が終了していないと判定するとステップST41に進む。一方、ステップST38において、すべての参照画像の処理が終了していないと判定するとステップST40に進み、参照フレームのループを更新してステップST35に戻る。そして、ステップST38ですべての参照画像の処理が終了したと判定するまで同様の処理を繰り返す。ステップST41では、補間候補にマークされた画素を補間し、ブロックループを更新してステップ32に戻り、同様の処理を繰り返す。このように、本実施例の画像処理装置によれば、例えば、イメージセンサの高解像度を生かした4k2kといった高解像度の記録再生と、再生互換性を重視して広く普及したフルHDといった解像度の記録再生を両立させることができる。すなわち、本実施例の画像処理装置によれば、高解像度の記録に際して少ないデータ量および処理量で記録再生を行うとともに、高解像の動画像と低解像度の動画像の記録再生を実現することが可能になる。具体的に、例えば、4k2kとフルHDの再生装置を対象とすれば、これらを同時に記録する場合に比べ2/5程度のデータ量と、2/5程度の処理量または回路規模で効果的な記録再生機能を実現することができる。さらに、フルHDの再生機器で広く再生できる映像を容易に分離することも可能になる。また、4k2k専用装置を対象とすれば、高解像度単体の記録に対しては、1/2程度のデータ量と処理量または回路規模とすることができる。図10は、図6に示す画像処理装置の動作のさらに他の例を説明するための図であり、また、図11は、図6に示す画像処理装置における処理の他の例を説明するためのフローチャートである。ここで、図10および図11に示す実施例は、図7~図9を参照して説明した実施例に対して、さらにブロックマッチングによる動き検出を行うようになっている。なお、図10において、グリッド格子は縮小画像0.5画素小数精度とされ、これが高解像度ピクセルグリッドに対応する。すなわち、前述した図7~図9に示す実施例では、第1シーケンスSI1における同一ブロック位置同一ブロック座標について、カレントフレームCFおよびその前後のフレームPF,NFによる静止判定を行っていた。これに対して、図10および図11に示す実施例では、例えば、類似度としてSADを利用し、ベクトルの大きさ,フレーム間距離を基にした重みとSADを加えたものをコストCOSTとする。そして、コストがある閾値よりも小さく、最終的に最も類似していた位置を動きベクトルとして規定する。ここで、類似していない場合、すなわち、コストがある閾値以上である場合には、動き補償対象とはしない。また、重みは、時間的に遠いフレームの動きを信用しない方向に制御するため、考慮しなくてもよい。なお、補間画素は、前述したのと同様にして生成することができる。具体的に、図10は、カレントフレームCFが、前のフレームPFに対して右上方向に動いており、また、後のフレームNFが、カレントフレームCFに対して右上方向に動いている場合を示す。まず、フレームを格子状のブロックに分割し、第1シーケンスSI1のカレントフレームCFおよびその前後のフレームPF,NFにおいて、ブロックマッチングにより動き検出を行う。具体的に、第1シーケンスSI1の前のフレームPFおよびカレントフレームCFのブロック画素P11,P13,P31,P33のマッチングから動き推定ME:MotionEstimationを行って、動きベクトルを検出する。同様に、第1シーケンスSI1のカレントフレームCFおよび後のフレームNFのブロック画素P11,P13,P31,P33のマッチングから動き推定MEを行って、動きベクトルを検出する。ここで、図10は、上記検出された動きベクトルによる座標の補正が行われた後における、図7の場合カレントフレームCFに対して、その前後のフレームPFおよびNFで両方とも静止判定の場合に相当する。そして、第2シーケンスSI2において、検出された動きベクトルによる座標の補正を行った後、前述した図7と同様に、例えば、3フレーム巡回の場合には、第2シーケンスSI2のフレームPF,CFおよびNFを参照画像として処理する。すなわち、図10に示されるように、第2シーケンスSI2において、検出された動きベクトルによる座標補正を行った前後のフレームPF,NFを参照画像として動き補償MCを行って高解像度画像例えば、4k2kを合成する。なお、一致するブロックが検出できない場合、すなわち、上述のコストがある閾値よりも大きい場合には、動き補償対象とはせずに、補間画素を生成することになる。ここで、ブロックマッチングとしては、様々な手法を適用することができ、例えば、複数の参照画像を用いるとき、すでに補間済みの画素が存在し、同じ位相で新たに動き補償が可能となったブロックが存在した場合には、以下の何れかの処理を行うことができる。すなわち、時間的に近いフレームを優先する、平均を取る、フレームの時間的距離を加味した重みで合成する、或いは、上書きを行う予め決めた参照フレームの処理順で優先順位を決定するといった処理の何れかを実行する。さらに、参照画像による補償画素がなかった場合には、例えば、カレントの第1および第2フレームの画素から補間を行うことができる。以上の処理を、図11を参照して説明する。なお、図11に示す処理は、前述した図9の処理からステップST35およびST36の処理を変更したものに相当する。すなわち、図11に示されるように、合成処理が開始すると、まず、ステップST31において、縮小画像を格子状に区切り、ブロックループを初期化してステップST32に進む。ステップST32では、第1シーケンスのカレント画像と、同時刻の第2シーケンスのカレント画像から対応する高解像度画像を生成して、ステップST33に進む。ステップST33では、第1および第2シーケンスのカレントの位相以外の画素に対して補間候補とマークを生成する。さらに、ステップST34に進んで、参照画像に関する参照ループを初期化してステップST35’に進み、第1シーケンスのカレント画像と、参照フレームで動き検出を行うように、ステップST36’に進む。ステップST36’では、前述したCOSTが閾値よりも小さいかどうかを判定する。ここで、COSTは、例えば、類似度としてSADを利用し、ベクトルの大きさ,フレーム間距離を基にした重みとSADを加えたものである。なお、SAD以外にもSSD等の他の手法を用いることもできる。ステップST36’において、COSTが閾値よりも小さいCOST<閾値と判定すると、ステップST37を介してステップST38に進み、逆に、COST<閾値ではないと判定すると、直接ステップST38に進む。ここで、COST<閾値で、最終的に最も類似していた位置が動きベクトルとなる。なお、前述したように、第2シーケンスの各フレームは、例えば、検出された動きベクトルによる座標の補正が行われることになる。ステップST37では、第1シーケンス参照画像と同時刻の第2シーケンス参照画像の位相情報からブロックを抽出して対応画素を生成し、補間候補のマークを外して、ステップST38に進む。ステップST38において、すべての参照画像の処理が終了したかどうかを判定し、すべての参照画像の処理が終了したと判定するとステップST39に進む。ステップST39では、すべてのブロックの処理が終了したかどうかを判定し、すべてのブロックの処理が終了したと判定すると合成処理を終了し、また、すべてのブロックの処理が終了していないと判定するとステップST41に進む。一方、ステップST38において、すべての参照画像の処理が終了していないと判定するとステップST40に進み、参照フレームのループを更新してステップST35’に戻る。そして、ステップST38ですべての参照画像の処理が終了したと判定するまで同様の処理を繰り返す。ステップST41では、補間候補にマークされた画素を補間し、ブロックループを更新してステップ32に戻り、同様の処理を繰り返す。図10および図11に示す実施例のように、ブロックマッチングによる動き検出を行うと、そのためのメモリや処理回路の増加を招くことになるが、前述した図7~図9の実施例に比べて、より高画質な高解像度画像を得ることができる。以上において、動き検出や静止判定によっては、合成結果または高解像度画像にマッピングされなかった画素、すなわち、補償できなかった画素が存在する。このような補償できなかった画素による隙間を埋めるために、例えば、初期値として、第1シーケンスから16tapバイキュービックやバイリニア或いは加重平均といった内挿により補間画素を生成しておく。そして、生成された補間画素に対して、補償された画素を上書きするか、加重平均を行うか、或いは、最終的にマッピングされなかった画素に対して内挿手段を用いて画素を埋めることになる。これらの手法として、知られている他の様々なものを適用することもできる。図12および図13は、図6に示す画像処理装置に適用される補間処理を説明するための図である。前述したように、本実施例において、補間画像を得るための補間処理としては、様々な手法を適用することが可能である。具体的に、図12aは、補間対象にマークされた画素PPの上下左右4つの画素から補間画像を求める手法を示し、また、図12bは、画素PPの上下2つの画素から補間画像を求める手法を示す。さらに、図12cは、画素PPの左右2つの画素から補間画像を求める手法を示し、そして、図12dは画素PPに隣接する8つの画素から補間画像を求める手法を示す。なお、これら補間画像の生成は、もっとも簡単には平均値を用いる。また、図13は、上述した手法に加えて、さらに外側の画素を用いて補間画像を生成するものであり、Ntapの1次元内挿フィルタ、或いは、N×Nの2次元内挿フィルタを用いて補間画像を生成するものを示す。すなわち、図13aは、図12bの画素PPの上下2つの画素に加えてさらに一回り外側の2つの画素を用いて補間画像を求める手法を示す。また、図13bは、図12cの画素PPの左右2つの画素に加えてさらに一回り外側の2つの画素を用いて補間画像を求める手法を示す。さらに、図13cは、図12aの画素PPの上下左右4つの画素に加えてさらに一回り外側の4つの画素を用いて補間画像を求める手法を示す。また、図13dは、図12aの画素PPの上下左右4つの画素に加えてさらに一回り外側の12個の画素を用いて補間画像を求める手法を示す。ここで、図13dの例では、図示されるように、x軸およびy軸は斜め方向に設定され、また、補間画像PPからの距離に応じて重み付けがなされている。そして、図13eは、図12dの画素PPに隣接する8つの画素に加えてさらに一回り外側の32個の画素を用いて補間画像を求める手法を示す。なお、上述した補間画像の生成手法は、単なる例であり、知られている他の様々な手法を適用することができるのはいうまでもない。以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。付記1画像データを第1のサンプリング点でサンプリングして縮小し第1縮小画像データを生成するとともに、前記画像データを前記第1のサンプリング点とは異なる第2のサンプリング点でサンプリングして縮小し第2縮小画像データを生成する分離回路を含むことを特徴とする画像処理装置。付記2前記分離回路は、前記画像データを前記第1のサンプリング点でサンプリングする第1フィルタと、前記画像データを前記第2のサンプリング点でサンプリングする第2フィルタと、を含むことを特徴とする付記1に記載の画像処理装置。付記3前記第1のサンプリング点は固定され、前記第2のサンプリング点は前記画像データのフレーム毎に異なることを特徴とする付記1または付記2に記載の画像処理装置。付記4前記第2のサンプリング点はフレーム毎に周期的に変化することを特徴とする付記3に記載の画像処理装置。付記5第1のサンプリング点でサンプリングされた第1縮小画像データに含まれる第1フレーム画像内の第1ブロック画像と前記第1縮小画像データに含まれる第1参照フレーム画像内の第1参照ブロック画像とに基づいて動きを検出する動き検出回路と、前記第1ブロック画像と前記第1参照ブロック画像とが動いていないと判定されるとき、前記第1のサンプリング点とは異なる第2のサンプリング点でサンプリングされた第2縮小画像データに含まれる第2フレーム画像内のブロック画像であって前記第1ブロック画像または前記第1参照ブロック画像と同時刻の第2ブロック画像を抽出し、前記第1ブロック画像と前記第2ブロック画像とに基づいて前記第1ブロック画像に対応する第1画像データを生成する合成処理回路と、を含むことを特徴とする画像処理装置。付記6前記第1フレーム画像および前記第2フレーム画像は低解像度画像データに対応し、前記第1画像データは高解像度画像データに対応することを特徴とする付記4に記載の画像処理装置。付記7前記第1ブロック画像と前記第1参照ブロック画像とが動いていると判定されるとき、前記第2ブロック画像に対応する画像データを補間して、前記第1画像データを生成することを含むことを特徴とする付記5または付記6に記載の画像処理装置。付記8前記動き検出回路は、前記第1ブロック画像と前記第1参照ブロック画像との輝度差の総和に基づいて前記動きを検出することを特徴とする付記5乃至付記7の何れか一に記載の画像処理装置。付記9前記動き検出回路は、前記第1ブロック画像と前記第1参照ブロック画像との間の動きベクトルに基づいて前記動きを検出することを特徴とする付記5乃至付記8の何れか一に記載の画像処理装置。付記10前記動き検出回路は、前記第1ブロック画像の位置と前記第1参照ブロック画像の位置とが所定の閾値よりも小さいときに、前記第1ブロック画像および前記第1参照ブロック画像が静止していると判定するとともに、前記第1ブロック画像の位置と前記第1参照ブロック画像の位置とが所定の閾値以上のときに、前記第1ブロック画像および前記第1参照ブロック画像が動いていると判定することを特徴とする付記5乃至付記9の何れか一に記載の画像処理装置。付記11画像データを第1のサンプリング点でサンプリングして縮小し第1縮小画像データを生成し、前記画像データを前記第1のサンプリング点とは異なる第2のサンプリング点でサンプリングして縮小し第2縮小画像データを生成することを特徴とする画像処理方法。付記12前記第1のサンプリング点は固定され、前記第2のサンプリング点は前記画像データのフレーム毎に異なることを特徴とする付記11に記載の画像処理方法。付記13前記第2のサンプリング点はフレーム毎に周期的に変化することを特徴とする付記12に記載の画像処理方法。付記14さらに、前記第1縮小画像データに含まれる第1フレーム画像内の第1ブロック画像と前記第1縮小画像データに含まれる第1参照フレーム画像内の第1参照ブロック画像とに基づいて動きを検出し、前記第1ブロック画像と前記第1参照ブロック画像とが動いていないと判定されるとき、前記第2縮小画像データに含まれる第2フレーム画像内のブロック画像であって前記第1ブロック画像または前記第1参照ブロック画像と同時刻の第2ブロック画像を抽出し、前記第1ブロック画像と前記第2ブロック画像とに基づいて前記第1ブロック画像に対応する第1画像データを生成すること、を含むことを特徴とする付記11乃至付記13の何れか一に記載の画像処理方法。付記15前記第1フレーム画像は低解像度画像データに対応し、前記第2フレーム画像は高解像度画像データに対応することを特徴とする付記14に記載の画像処理方法。付記16前記第1ブロック画像と前記第1参照ブロック画像とが動いていると判定されるとき、前記第2ブロック画像に対応する画像データを補間して、前記第1画像データを生成することを含むことを特徴とする付記14または付記15に記載の画像処理方法。付記17前記動きの検出は、前記第1ブロック画像と前記第1参照ブロック画像との輝度差の総和に基づいて前記動きを検出することを特徴とする付記14乃至付記16の何れか一に記載の画像処理方法。付記18前記動きの検出は、前記第1ブロック画像と前記第1参照ブロック画像との間の動きベクトルに基づいて前記動きを検出することを特徴とする付記14乃至付記17の何れか一に記載の画像処理方法。"