所定のフレームレートの画像を1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離し、前記分離された第2のフレームの低周波成分と前記第1のフレームの低周波成分との差分を算出し、前記第1のフレームに対してユーザにより指示された信号処理を行い、前記信号処理が施された第1のフレームの低周波成分と前記差分を用いて、前記信号処理が近似的に施された前記第2のフレームの低周波成分を復元し、前記復元された第2のフレームの低周波成分と当該第2のフレームの高周波成分とから前記信号処理が近似的に施された第2のフレームを復元する画像処理方法。請求項1に記載の画像処理方法であって、前記第2のフレームの低周波成分において前記信号処理が施される前の前記第1のフレームの低周波成分との差分が閾値以上の画素に対して前記信号処理を行う画像処理方法。請求項2に記載の画像処理方法であって、前記分離された少なくとも第2のフレームの周波数成分を解析して特徴点としての画素を抽出し、この画素に対して前記信号処理を行い、この信号処理の結果をもとに補間値を生成し、この補間値で前記特徴点以外の画素の値を書き換えて、前記信号処理が近似的に施された第2のフレームを復元する画像処理方法。所定のフレームレートの画像を1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離するフレーム分離部と、前記分離された第1のフレームおよび第2のフレームをそれぞれ低周波成分と高周波成分に分解する第1の周波数分解部と、前記第2のフレームの低周波成分と前記第1のフレームの低周波成分との差分データを生成する差分生成部と、前記差分データおよび前記第2のフレームの高周波成分をそれぞれ圧縮符号化する圧縮符号化部と、前記分離された第1のフレームに対してユーザにより指示された信号処理を行う第1の信号処理部と、前記圧縮符号化された差分データおよび第2のフレームの高周波成分と、前記信号処理が施された第1のフレームを伝送する伝送部とを具備するエンコード装置。請求項4に記載のエンコード装置であって、前記第2のフレームの低周波成分において前記第1のフレームの低周波成分との差分が閾値以上の画素に対して前記信号処理を行う第2の信号処理部をさらに具備するエンコード装置。請求項5に記載のエンコード装置であって、前記分離された少なくとも第2のフレームの周波数成分を解析して特徴点としての画素を抽出し、この画素に対して前記信号処理を行い、この信号処理の結果をもとに補間値を生成し、この補間値で前記特徴点以外の画素の値を書き換えて、前記信号処理が近似的に施された第2のフレームを復元するフレーム内圧縮信号処理部をさらに具備するエンコード装置。所定のフレームレートの画像を1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離するフレーム分離部と、前記分離された第1のフレームおよび第2のフレームをそれぞれ低周波成分と高周波成分に分解する第1の周波数分解部と、前記第2のフレームの低周波成分と前記第1のフレームの低周波成分との差分データを生成する差分生成部と、前記差分データおよび前記第2のフレームの高周波成分をそれぞれ圧縮符号化する圧縮符号化部と、前記分離された第1のフレームに対してユーザにより指示された信号処理を行う第1の信号処理部と、前記圧縮符号化された差分データおよび第2のフレームの高周波成分と、前記信号処理が施された第1のフレームを伝送する伝送部とを具備するエンコード装置より伝送された情報をデコードするデコード装置であって、前記エンコード装置より伝送された情報を、前記差分データの圧縮符号系列、前記第2のフレームの高周波成分の圧縮符号系列、および前記信号処理が施された第1のフレームとに分離する分離部と、前記分離された差分データの圧縮符号系列および前記分離された第2のフレームの高周波成分の圧縮符号系列をそれぞれ伸張する伸張部と、前記伸張された差分データと前記信号処理が施された第1のフレームの低周波成分とから前記信号処理が近似的に施された前記第2のフレームの低周波成分を復元する低周波成分復元部と、前記復元された第2のフレームの低周波成分と前記伸張された第2のフレームの高周波成分から周波数逆分解により前記信号処理が近似的に施された第2のフレームを復元するフレーム復元部とを具備するデコード装置。所定のフレームレートの画像を1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離し、前記分離された第1のフレームに対してユーザにより指示された信号処理を行い、前記分離された第2のフレームと前記信号処理が施される前の第1のフレームとを画素単位で比較し、閾値以上の差分が検出された画素に対して前記信号処理を行うとともに、前記閾値以上の差分が検出されない画素に対して前記信号処理が施された前記第1のフレームの同一位置の画素の値を与えることによって前記信号処理が近似的に施された第2のフレームを復元する画像処理方法。所定のフレームレートの画像を1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離するフレーム分離部と、前記分離された第1のフレームに対してユーザにより指示された信号処理を行う第1の信号処理部と、前記分離された第2のフレームと前記信号処理が施される前の第1のフレームとを画素単位で比較する比較部と、閾値以上の差分が検出された画素に対して前記信号処理を行う第3の信号処理部と、前記閾値以上の差分が検出されない画素に対して前記信号処理が施された前記第1のフレームの同一位置の画素の値を与えるコピー処理部と、前記第3の信号処理部の出力と前記コピー処理部の出力とを結合して前記信号処理が近似的に施された第2のフレームを復元する結合部とを具備する画像処理装置。高速度カメラによって撮影された画像データ以下高速画像データと呼ぶ。のデータ量は膨大になるため、これに画像処理として一般的な信号処理を施すとなると、信号処理のためのトータルの演算量も膨大になってくる。昨今、CPUなどの演算処理装置の高速化は目覚しいとは言え、毎秒数百フレームから数千フレームといった高フレームレートの高速画像に対して、時間的な制約が与えられる中で画像処理を行わねばならないとなると、求められるハードウェア資源の大規模化は避けられなかった。以上のような事情に鑑み、本技術の目的は、信号処理用のハードウェアの規模縮小、画像の伝送効率の向上を図ることのできる画像処理方法、エンコード装置、デコード装置および画像処理装置を提供することにある。上記の課題を解決するために、本技術の一形態である画像処理方法は、分離ステップ、差分算出ステップ、信号処理ステップ、第1の復元ステップ、第2の復元ステップを有する。分離ステップでは、所定のフレームレートの画像が1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離される。差分算出ステップでは、前記分離された第2のフレームの低周波成分と前記第1のフレームの低周波成分との差分が算出される。信号処理ステップでは、前記第1のフレームに対してユーザにより指示された信号処理が行われる。第1の復元ステップでは、前記信号処理が施された第1のフレームの低周波成分と前記差分を用いて、前記信号処理が近似的に施された前記第2のフレームの低周波成分が復元される。そして第2の復元ステップでは、前記復元された第2のフレームの低周波成分と当該第2のフレームの高周波成分とから前記信号処理が近似的に施された第2のフレームが復元される。この画像処理方法によれば、第1のフレームの信号処理が行われるだけで、再生画像の全体にその信号処理を近似的に施すことができる。これにより、信号処理部の規模を縮小することができ、消費電力も低減させることができる。また、この画像処理方法によれば、第2のフレームの伝送符号量が低減するので画像の伝送効率が向上する。この画像処理方法は、前記第2のフレームの低周波成分において前記信号処理が施される前の前記第1のフレームの低周波成分との差分が閾値以上の画素に対して前記信号処理を行う第2の信号処理ステップを含むものであってよい。これにより第2のフレームに対する信号処理の品質を向上させることができ、第1のフレームおよび第2のフレームを連続的に再生した場合の画質の向上を期待できる。この画像処理方法は、前記分離された少なくとも第2のフレームの周波数成分を解析して特徴点としての画素を抽出し、この画素に対して前記信号処理を行い、この信号処理の結果をもとに補間値を生成し、この補間値で前記特徴点以外の画素の値を書き換えて、前記信号処理が近似的に施された第2のフレームを復元するステップを含むものであってよい。これにより、特に第2のフレーム中のすべての画素に対して信号処理が行われなくても、フレーム全体に信号処理が施されたものに近い画像が得られる。また、これにより第2のフレームに対する信号処理の品質を向上させることができ、第1のフレームおよび第2のフレームを連続的に再生した場合の画質の向上を期待できる。本技術の他の形態であるエンコード装置は、所定のフレームレートの画像を1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離するフレーム分離部と、前記分離された第1のフレームおよび第2のフレームをそれぞれ低周波成分と高周波成分に分解する第1の周波数分解部と、前記第2のフレームの低周波成分と前記第1のフレームの低周波成分との差分データを生成する差分生成部と、前記差分データおよび前記第2のフレームの高周波成分をそれぞれ圧縮符号化する圧縮符号化部と、前記分離された第1のフレームに対してユーザにより指示された信号処理を行う第1の信号処理部と、前記圧縮符号化された差分データおよび第2のフレームの高周波成分と、前記信号処理が施された第1のフレームを伝送する伝送部とを具備する。本技術の他の形態であるデコード装置は、所定のフレームレートの画像を1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離するフレーム分離部と、前記分離された第1のフレームおよび第2のフレームをそれぞれ低周波成分と高周波成分に分解する第1の周波数分解部と、前記第2のフレームの低周波成分と前記第1のフレームの低周波成分との差分データを生成する差分生成部と、前記差分データおよび前記第2のフレームの高周波成分をそれぞれ圧縮符号化する圧縮符号化部と、前記分離された第1のフレームに対してユーザにより指示された信号処理を行う第1の信号処理部と、前記圧縮符号化された差分データおよび第2のフレームの高周波成分と、前記信号処理が施された第1のフレームを伝送する伝送部とを具備するエンコード装置より伝送された情報をデコードするデコード装置であって、前記エンコード装置より伝送された情報を、前記差分データの圧縮符号系列、前記第2のフレームの高周波成分の圧縮符号系列、および前記信号処理が施された第1のフレームとに分離する分離部と、前記分離された差分データの圧縮符号系列および前記分離された第2のフレームの高周波成分の圧縮符号系列をそれぞれ伸張する伸張部と、前記伸張された差分データと前記信号処理が施された第1のフレームの低周波成分とから前記信号処理が近似的に施された前記第2のフレームの低周波成分を復元する低周波成分復元部と、前記復元された第2のフレームの低周波成分と前記伸張された第2のフレームの高周波成分から周波数逆分解により前記信号処理が近似的に施された第2のフレームを復元するフレーム復元部とを具備する。本技術の他の形態である画像処理方法は、分離ステップ、信号処理ステップ、復元ステップを有する。分離ステップでは、所定のフレームレートの画像が1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離される。信号処理ステップでは、前記分離された第1のフレームに対してユーザにより指示された信号処理が行われる。復元ステップでは、前記分離された第2のフレームと前記信号処理が施される前の第1のフレームとが画素単位で比較され、閾値以上の差分が検出された画素に対して前記信号処理が行われるとともに、前記閾値以上の差分が検出されない画素に対して前記信号処理が施された前記第1のフレームの同一位置の画素の値を与えることによって前記信号処理が近似的に施された第2のフレームが復元される。これにより、信号処理部の規模を縮小することができ、消費電力も低減させることができる。本技術の他の形態である画像処理装置は、所定のフレームレートの画像を1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離するフレーム分離部と、前記分離された第1のフレームに対してユーザにより指示された信号処理を行う第1の信号処理部と、前記分離された第2のフレームと前記信号処理が施される前の第1のフレームとを画素単位で比較する比較部と、閾値以上の差分が検出された画素に対して前記信号処理を行う第3の信号処理部と、前記閾値以上の差分が検出されない画素に対して前記信号処理が施された前記第1のフレームの同一位置の画素の値を与えるコピー処理部と、前記第3の信号処理部の出力と前記コピー処理部の出力とを結合して前記信号処理が近似的に施された第2のフレームを復元する結合部とを具備する。以上のように、本技術によれば、信号処理用のハードウェアの規模縮小、画像の伝送効率の向上を図ることができる。以下、本技術に係る実施形態を、図面を参照しながら説明する。本実施形態は、高速画像データの信号処理に好適な画像処理方法、エンコード装置、デコード装置および画像処理装置に関するものである。高速画像データについてまず、高速画像データについて説明する。高速画像データは、高速度カメラにより撮影された映像データである。典型的なカメラによる撮影は毎秒24コマ、毎秒30コマで行われるのに対し、高速度カメラは、例えば、毎秒数百コマ、毎秒数千コマ、毎秒数万コマといった高フレームレートによる撮影を行うことのできるカメラである。このような高速度カメラにより、例えば毎秒120コマで撮影された画像を毎秒30コマの通常の速度で再生することによって、等倍速1倍速の1/4の速度での高精細なスロー再生が実現される。また、毎秒120コマの速度で撮影された高速画像データを1倍速で再生するには、図1に示すように、1/4の周期でフレームを再生すればよい。以下の説明において、1倍速で再生する場合に処理されるフレームを1倍速フレーム第1のフレーム、その他のフレームを非1倍速フレーム第2のフレームと呼ぶ。エンコード装置の概要本実施形態のエンコード装置は、上記のような高速画像データに対して信号処理を施すとき、1倍速フレームに対してユーザにより指示された種類の信号処理を行う。エンコード装置は、その一方で、全てのフレームを周波数分解により低周波成分と高周波成分とに分解し、非1倍速フレームの高周波成分を圧縮符号化する。さらに、エンコード装置は、非1倍速フレーム毎に、この非1倍速フレームの低周波成分と直前の1倍速フレームの低周波成分との差分データを求め、この差分データを圧縮符号化する。そして、エンコード装置は、非1倍速フレームの差分データの圧縮符号系列と高周波成分の圧縮データとを結合し、上記の1倍速フレームの信号処理結果とともに伝送する。デコード装置の概要一方、本実施形態のデコード装置は、伝送されてきた画像情報を、信号処理が施された1倍速フレーム、非1倍速フレームの高周波成分の圧縮データ、非1倍速フレームの低周波波成分の差分データの圧縮符号系列に分離する。デコード装置は、分離された非1倍速フレームの高周波成分の圧縮データおよび低周波波成分の差分データの圧縮符号系列をそれぞれ伸張する。デコード装置は、伸張した低周波波成分の差分データと、信号処理が施された1倍速フレームの低周波成分とから当該信号処理が近似的に施された非1倍速フレームの低周波成分を復元する。そしてデコード装置は、復元された非1倍速フレームの低周波成分と非1倍速フレームの高周波成分とから周波数逆分解によって、信号処理が施された非1倍速フレームを復元し、信号処理が施された1倍速フレームと組み合わせて復元画像として出力する。<第1の実施形態>次に、本技術に係る第1の実施形態を詳細に説明する。[エンコード装置の構成]図2は、本技術に係る第1の実施形態のエンコード装置の構成を示すブロック図である。このエンコード装置100は、フレーム分離部101、第1の信号処理部103、第1のウェーブレット変換部105、第1のバッファ107、差分生成部109、第1のエントロピー符号化部111、第2のエントロピー符号化部113、第1の結合部115、伝送部117を備える。フレーム分離部101は、図示しない高速度カメラより入力された高速画像データから1倍速フレームを分離して第1の信号処理部103に供給するとともに、1倍速フレームを含む全てのフレームを第1のウェーブレット変換部105に供給する。第1の信号処理部103は、1倍速フレームに対して予めユーザにより指定された信号処理を施す。信号処理の種類については後で説明する。第1のウェーブレット変換部105周波数分解部は、フレーム分離部101より供給されたフレームに対して周波数分解によるウェーブレット変換を行う。ウェーブレット変換では、画像は低周波成分と、X方向高周波成分、Y方向高周波成分、XY方向高周波成分に分離される。第1のウェーブレット変換部105は、1倍速フレームに対するウェーブレット変換によって得た低周波成分を第1のバッファ107に保存する。また、第1のウェーブレット変換部105は非1倍速フレームに対するウェーブレット変換によって得た低周波数成分を差分生成部109に供給し、X方向高周波成分、Y方向高周波成分、XY方向高周波成分を第2のエントロピー符号化部113に供給する。第1のバッファ107は、1倍速フレームに対する第1のウェーブレット変換部105によるウェーブレット変換により得られた低周波成分を保持する。差分生成部109は、非1倍速フレームに対する第1のウェーブレット変換部105によるウェーブレット変換により得られた低周波成分と、第1のバッファ107に保持された1倍速フレームの低周波成分との差分データを生成して第1のエントロピー符号化部111に供給する。第1のエントロピー符号化部111圧縮符号化部は、差分生成部109により生成された差分データをエントロピー符号化によって圧縮符号化する。エントロピー符号化の方式としては、ハフマン符号、算術符号などがある。第2のエントロピー符号化部113圧縮符号化部は、非1倍速フレームに対する第1のウェーブレット変換部105によるウェーブレット変換により得られた高周波成分をエントロピー符号化によって圧縮する。第1の結合部115は、第1のエントロピー符号化部111の出力である、非1倍速フレームの低周波成分の差分圧縮データと第2のエントロピー符号化部113の出力である非1倍速フレームの高周波成分の圧縮データとを結合して伝送部117に供給する。伝送部117は、第1の信号処理部103により信号処理が施された非圧縮の1倍速フレーム、第1の結合部115により結合された非1倍速フレームの圧縮データをそれぞれ伝送する。[エンコード装置100の動作]次に、このエンコード装置100の動作を説明する。図3はエンコード装置100の動作を示すフローチャートである。まず、エンコード装置100内のレジスタおよびメモリの初期化処理が行われるステップS101。初期化が完了すると、例えば図示しない高速度カメラから高速画像データが入力されるステップS102。フレーム分離部101は、入力された高速画像データから1倍速フレームを分離して第1の信号処理部103に供給する一方、1倍速フレームを含む全てのフレームを第1のウェーブレット変換部105に供給するステップS103。第1の信号処理部103は、供給された1倍速フレームに対して予め指定された信号処理を行いステップS104、その結果を伝送部117に供給する。これにより1倍速フレームの信号処理結果の伝送が行われるステップS111。一方、第1のウェーブレット変換部105は、1倍速フレームが入力されたときと非1倍速フレームが入力されたときとで異なる動作をする。第1のウェーブレット変換部105に1倍速フレームが入力された場合、第1のウェーブレット変換部105は、その1倍速フレームのウェーブレット変換を行いステップS105、1倍速フレームの低周波成分を第1のバッファ107に保存するステップS106。また、第1のウェーブレット変換部105に非1倍速フレームが入力された場合、第1のウェーブレット変換部105は、その非1倍速フレームのウェーブレット変換を行いステップS107、非1倍速フレームの低周波成分を差分生成部109に供給し、高周波成分を第2のエントロピー符号化部113に供給する。非1倍速フレームの高周波成分は、第2のエントロピー符号化部113にて圧縮符号化されステップS108、第1の結合部115に供給される。一方、差分生成部109は、第1のウェーブレット変換部105より供給された非1倍速フレームの低周波成分と、第1のバッファ107に保持されている1倍速フレームの低周波成分との差分を求めるステップS109。この差分データは、第1のエントロピー符号化部111によるエントロピー符号化によって圧縮符号化された後ステップS110、第1の結合部115にて、非1倍速フレームの高周波成分の圧縮データと結合され、伝送部117によって伝送されるステップS111。そして以上の動作が、図示しない高速度カメラからの高速画像データが入力される間繰り返されるステップS112。図4はエンコード装置100による16倍速毎秒16コマの高速画像データに対する処理を示す図である。なお、個々のフレームの左隅には便宜的にフレーム番号1-16を示してある。実際の画像にはこのフレーム番号は存在しない。ここで、フレーム番号=1のフレームを1倍速フレームとする。この1倍速フレームは非圧縮のまま伝送される。フレーム番号=2-16の計15個のフレームが非1倍速フレームとして処理される。フレーム番号=1-16の全てのフレームは第1のウェーブレット変換部105にてウェーブレット変換される。ウェーブレット変換により得られた1倍速フレームの低周波成分は第1のバッファ107に保持され、差分生成部109によって、この第1のバッファ107に保持された低周波成分と、フレーム番号=2-16それぞれのフレームの低周波成分との差分データが差分生成部109にてそれぞれ求められる。求められた各差分データは第1のエントロピー符号化部111にてそれぞれ圧縮符号化される。そして各フレームの差分データは、それぞれ第2のエントロピー符号化部113にて圧縮符号化された同一フレームの高周波成分のデータと結合され、伝送部117により伝送される。[デコード装置の構成]次に、上記の実施形態のエンコード装置100と組み合わせて用いられるデコード装置について説明する。図5はデコード装置の構成を示すブロック図である。このデコード装置200は、分離部201、第2のウェーブレット変換部203、第2のバッファ205、第1のエントロピー逆符号化部207、第2のエントロピー逆符号化部209、復元処理部211、第2の結合部213、ウェーブレット逆変換部215、画像出力部217を備える。分離部201は、エンコード装置100より伝送された画像圧縮データから、信号処理が施された非圧縮の1倍速フレーム、非1倍速フレームの低周波成分の差分圧縮データ、非1倍速フレームの高周波成分の圧縮データをそれぞれ分離する。第2のウェーブレット変換部203は、分離部201により分離された非圧縮の1倍速フレームに対して周波数分解によるウェーブレット変換を行い、このウェーブレット変換により得た1倍速フレームの低周波成分を第2のバッファ205に保持させる。第1のエントロピー逆符号化部207伸張部は、分離部201により分離された差分圧縮データをエントロピー逆符号化によって伸張する。第2のエントロピー逆符号化部209伸張部は、分離部201により分離された高周波成分の圧縮データをエントロピー逆符号化によって伸張する。復元処理部211低周波成分復元部は、第1のエントロピー逆符号化部207によって伸張された差分データと第2のバッファ205に保持された非圧縮の1倍速フレームの低周波成分とから、信号処理が近似的に施された非1倍速フレームの低周波成分を復元する。第2の結合部213は、復元処理部211によって得られた非1倍速フレームの低周波成分と第2のエントロピー逆符号化部209によって得られた非1倍速フレームの高周波成分とを1フレーム分のウェーブレット変換画像として結合する。ウェーブレット逆変換部215フレーム復元部は、第2の結合部213によって結合されたウェーブレット変換画像から非1倍速フレームを復元し、画像出力部217に供給する。画像出力部217は、分離部201により分離された非圧縮の1倍速フレームおよびウェーブレット逆変換部215により得られた非1倍速フレームを復元画像として出力する。[デコード装置200の動作]次に、このデコード装置200の動作を説明する。まず、デコード装置200内のレジスタおよびメモリの初期化処理が行われる。この後、分離部201に、上記のエンコード装置100より伝送された圧縮画像が入力される。分離部201にて分離された非圧縮の1倍速フレームはそのまま画像出力部217に供給される。したがって、デコード装置200に対してユーザより1倍速の画像再生が指示されている場合には、入力された圧縮画像の中から非圧縮の1倍速フレームのみを分離部201にて分離して画像出力部217に供給すればよい。デコード装置200に対してユーザよりスロー再生が指示されている場合、分離部201は、圧縮画像の中から非圧縮の1倍速フレーム、非1倍速フレームの低周波成分の差分圧縮データ、非1倍速フレームの高周波成分の圧縮データをそれぞれ分離する。分離部201にて分離された非圧縮の1倍速フレームは、画像出力部217に供給されるとともに第2のウェーブレット変換部203に供給される。第2のウェーブレット変換部203は非圧縮の1倍速フレームに対するウェーブレット変換によって得た低周波成分を第2のバッファ205に供給して保持させる。また、分離部201にて分離された非1倍速フレームの低周波成分の差分圧縮データは、第1のエントロピー逆符号化部207にて伸張され、低周波成分の差分データとなって復元処理部211に供給される。復元処理部211は、低周波成分の差分データを受け取ると、第2のバッファ205から1倍速フレームの低周波成分を読み込み、この1倍速フレームの低周波成分と非1倍速フレームの低周波成分の差分データとから、信号処理が近似的に施された非1倍速フレームの低周波成分を復元する。この復元処理は、例えば、1倍速フレームの低周波成分から差分データを差し引くことなどによって行われる。非圧縮の1倍速フレームは、エンコード装置100にて信号処理が施されたものであるため、復元処理部211にて復元される非1倍速フレームの低周波成分は信号処理が近似的に施されたものとなる。このようにして復元された非1倍速フレームの低周波成分は第2の結合部213に供給される。さらに、分離部201にて分離された非1倍速フレームの高周波成分の圧縮データは、第2のエントロピー逆符号化部209によって伸張されて第2の結合部213に供給される。第2の結合部213は、復元処理部211によって復元された非1倍速フレームの低周波成分と第2のエントロピー逆符号化部209によって伸張された非1倍速フレームの高周波成分とを結合してウェーブレット逆変換部215に供給する。ウェーブレット逆変換部215は、供給された非1倍速フレームの低周波成分と高周波成分からウェーブレット逆変換によって非1倍速フレームを復元して画像出力部217に供給する。これにより、画像出力部217から非1倍速フレームが出力される。画像出力部217からは、1倍速フレームと非1倍速フレームとがフレーム番号の順に連続して出力され、これが繰り返されることで、スロー再生の画像の出力が得られる。上記の実施形態によれば、1倍速フレームの信号処理を行うだけで、スロー再生画像の全体にその信号処理を近似的に施すことができる。これにより、高速画像の信号処理を行うために必要な信号処理部の規模を縮小することができ、消費電力も低減させることができる。また、本実施形態によれば、ハードウェアの規模の縮小の効果とともに、非1倍速フレームの伝送符号量を低減することができ、高速画像の伝送効率を向上させることができる。<第2の実施形態>次に、本技術に係る第2の実施形態であるエンコード装置100Aを説明する。第2の実施形態のエンコード装置100Aは、1倍速フレームの信号処理を行うとともに、非1倍速フレームの低周波成分において1倍速フレームの低周波成分との差分が閾値より大きい部分に対しても信号処理を行う点に特徴がある。図6は本技術に係る第2の実施形態のエンコード装置100Aの構成を示すブロック図である。図7は本実施形態のエンコード装置100Aの動作のフローチャートである。本実施形態のエンコード装置100Aは、第2の信号処理部108Aが追加されている点で、第1の実施形態のエンコード装置100と構成が異なる。その他の構成は、符号の末尾にAを付けただけで、第1の実施形態のエンコード装置100と同じである。第2の信号処理部108Aは、第1のウェーブレット変換部105Aより出力される、非1倍速フレームの低周波成分と、第1のバッファ107Aに保持された1倍速フレームの低周波成分との差分が閾値以上の部分を判定しステップS207-1、その部分に対して信号処理を行いステップS207-2、その他の部分はスルーさせる。第2の信号処理部108Aの出力は差分生成部109に与えられる。差分生成部109Aは、第2の信号処理部108Aの出力と第1のバッファ107Aから読み込んだ1倍速フレームの低周波成分との差分データを求め、第1のエントロピー符号化部111に供給するステップS209。以後の動作は、第1の実施形態のエンコード装置100Aと同様である。このように本実施形態では、第1の信号処理部103Aにて1倍速フレームの信号処理が行われるとともに、第2の信号処理部108Aにて第1のウェーブレット変換部105Aより出力される、非1倍速フレームの低周波成分と、第1のバッファ107Aに保持された1倍速フレームの低周波成分との差分が閾値より大きい部分に対して信号処理が行われる。これにより、第1の実施形態のように、1倍速フレームに対してのみ信号処理を施す場合に比較してトータルの信号処理量はやや増大するものの、非1倍速フレームに対する信号処理の品質を向上させることができる。これによりスロー再生時の画質の向上を期待できる。なお、このエンコード装置100Aによって得られる圧縮画像は、第1の実施形態のデコード装置200によって復元されることが可能である。<第3の実施形態>次に、本技術に係る第3の実施形態であるエンコード装置を説明する。図8は本技術に係る第3の実施形態のエンコード装置100Bの構成を示すブロック図である。図9は本実施形態のエンコード装置100Bの動作のフローチャートである。本実施形態のエンコード装置100Bは、フレーム内圧縮信号処理部102Bが追加されている点で、第2の実施形態のエンコード装置100Bと構成が異なる。その他の構成は、その他の構成は、符号の末尾がAからBに変更されただけであり、第2の実施形態のエンコード装置100Aと同じである。フレーム内圧縮信号処理部102Bは、全てのフレームについて、画像を特徴付ける1以上の画素の位置を特徴点として抽出する。フレーム内圧縮信号処理部102Bは、抽出した特徴点である画素に対して信号処理を行い、この信号処理の結果をもとに補間値を作成して、特徴点以外の画素の値を補間値で書き換える。これにより、フレームのすべての画素に対して信号処理を行わなくても、全画素に対して信号処理を行った結果と略同じ画像が得られる。図10ないし図12は画像の周波数成分を解析して特徴点を抽出する方法を説明する図である。特徴点の抽出方法には例えば以下がある。A.フレーム内圧縮信号処理部102Bは、画像を水平方向または垂直方向に走査して、走査方向に隣り合う画素間の差分が閾値以内に収まる領域を1つの画素グループとし、画素グループ毎に1つの画素を特徴点とする。ここで、閾値は信号処理の種類に応じて適宜選定される値である図10参照。B.フレーム内圧縮信号処理部102Bは、水平および垂直方向に隣り合う画素間の差分が閾値以内に収まる矩形領域を1つのグループとし、矩形領域グループ毎に1つの画素を特徴点とする図11参照。C.フレーム内圧縮信号処理部102Bは、例えば、2×2画素の領域毎、および4×4画素の領域毎にウェーブレット変換によって低周波成分と高周波成分とに分解する。2×2画素の領域および4×4画素の領域に対するウェーブレット変換によって得られた縦方向、横方向、斜め方向の差分の値例えば、平均値、最大値などが閾値以内に収まる最大画素数の領域を1つのグループとし、そのグループから1以上の画素を特徴点として判定する。また、2×2画素の領域に対するウェーブレット変換によって得られた縦方向、横方向、斜め方向の差分の値例えば、平均値、最大値などが閾値以内に収まらない場合、フレーム内圧縮信号処理部102Bは、その2×2画素を全て特徴点とする図12参照。なお、図12では、2×2画素の領域と4×4画素の領域のウェーブレット変換までを行うこととしたが、さらに多くの画素数の領域毎にウェーブレット変換を行って特徴点の抽出を行ってもよい。本実施形態の以下の説明においては、上記のAの方法を採用して特徴点の抽出を行う場合について詳述するが、他の抽出方法の場合も同様である。図10において、フレーム内圧縮信号処理部102Bは、入力された画像において走査方向に隣り合う画素間の差分をP1-P2間、P2-P3間、P3-P4間、の順に求めて行く。図10の画像において、1つの四角形は1つの画素に対応しており、四角形内の模様が同一であることは走査方向に隣り合う画素間の差分が閾値以内に収まることを意味する。また、走査方向に連続して同一の模様を有する1以上の画素は1つの画素グループを形成することを意味する。例えば、P1からP5までの画素列は画素グループG1を形成し、P6は画素グループG2を形成し、P7からP13までの画素列は画素グループG3を形成する。本例では、計12個の画素グループG1-G12がフレーム内圧縮信号処理部102Bによって判定される。そしてフレーム内圧縮信号処理部102Bは、画素グループ毎にいずれか1つの画素を特徴点として判定する。例えば、図10は、画素グループ毎に走査方向において先頭の画素を特徴点C1-C12とする場合を示している。フレーム内圧縮信号処理部102Bは、フレーム中の特徴点である画素に対して、ユーザにより指定された信号処理を行い、この信号処理の結果を用いて特徴点以外の画素の値を補間する図9のステップS303-1。例えば、特徴点の信号処理の結果を用いて、当該特徴点が属する画素グループ内の特徴点以外の画素の値を補間する方法などがある。補間方法としては、特徴点の信号処理の結果をそのまま特徴点以外の画素に与えるコピー方法等があるが、本技術はこれに限定されない。フレーム内圧縮信号処理部102Bの後段では、フレーム内圧縮信号処理部102Bの出力に対して、第1のウェーブレット変換部105B、第2の信号処理部108B、差分生成部109B、第1のエントロピー符号化部111B、第2のエントロピー符号化部113Bによるそれぞれの処理が第2の実施形態のエンコード装置100Aと同様に行われる。本実施形態のエンコード装置100Bによれば、フレーム内圧縮信号処理部102Bが、特に非1倍速フレーム中の画像の特徴点である画素に対して信号処理を行い、この信号処理の結果をもとに作成した補間値で特徴点以外の画素の値を書き換える。これによって、非1倍速フレーム中のすべての画素に対して信号処理を行わなくても、非1倍速フレーム全体に信号処理が施されたものに近い画像を得ることができる。また、これにより非1倍速フレームに対する信号処理の品質を向上させることができ、スロー再生時の画質の向上を期待できる。さらに、非1倍速フレームの低周波成分について、1倍速フレームの低周波成分との差分の大きい部分については、第2の信号処理部108Bにて別途信号処理が行われることで、スロー再生時の画質のさらなる向上を期待できる。<第4の実施形態>次に、本技術に係る第4の実施形態を説明する。これまで説明してきた実施形態のエンコード装置は、非1倍速フレームに対してウェーブレット変換とエントロピー符号化の技術を採用している。しかしながら、高速画像の信号処理のためのトータルの演算量を低減することに課題を絞った場合には、必ずしもウェーブレット変換およびエントロピー符号化の技術は必須ではない。そこで、高速画像の信号処理のためのトータルの演算量を低減することに目的を絞った画像処理装置について次に説明することにする。図13は本技術に係る第4の実施形態の画像処理装置の構成を示すブロック図である。この画像処理装置100Cは、フレーム分離部101C、第1の信号処理部103C、第1のフレームバッファ107C、第2のフレームバッファ119C、差分判定部109C、第3の信号処理部121C、コピー処理部123C、第1の結合部115C、伝送部117Cを備える。フレーム分離部101Cは、図示しない高速度カメラより入力された高速画像データから1倍速フレームを分離して第1の信号処理部103Cに供給する。第1の信号処理部103Cは、フレーム分離部101Cによって分離された1倍速フレームに対してユーザにより指定された信号処理を行う。第1のフレームバッファ107Cは、フレーム分離部101Cによって分離された1倍速フレームを保持する。第2のフレームバッファ119Cは、第1の信号処理部103Cによって信号処理が施された1倍速フレームを保持する。差分判定部109C比較部は、フレーム分離部101Cによって分離された非1倍速フレームについて第1のフレームバッファ107Cから読み込んだ1倍速フレームとの間で閾値以上の差分があることが判定された画素について第3の信号処理部121Cに信号処理を依頼し、閾値以上の差分がないことが判定された画素についてコピー処理部123Cにコピー処理を依頼する。第3の信号処理部121Cは、差分判定部109Cから依頼に応じて、対象の画素に対して第1の信号処理部103Cと同じ信号処理を行い、その結果を第1の結合部115Cに供給する。コピー処理部123Cは、差分判定部109Cから依頼に応じて、対象の画素に対して、第2のフレームバッファ119Cに保持された信号処理済みのフレームにおける同一位置の画素の値を与え、その結果を第1の結合部115Cに供給する。第1の結合部115Cは、第3の信号処理部121Cの出力とコピー処理部123Cの出力とを結合して信号処理が近似的に施された非1倍速フレームを作成する。伝送部117Cは、第1の信号処理部103Cより供給された1倍速フレーム、第1の結合部115Cより供給された非1倍速フレームを伝送する。[画像処理装置100Cの動作]図14は本実施形態の画像処理装置100Cの動作のフローチャートである。まず、画像処理装置100C内のレジスタおよびメモリの初期化処理が行われるステップS401。初期化が完了すると、例えば図示しない高速度カメラから高速画像データが入力されるステップS402。フレーム分離部101Cは、入力された高速画像データから1倍速フレームを分離して第1の信号処理部103Cおよび第1のフレームバッファ107Cに供給する一方、非1倍速フレームを差分判定部109Cに供給するステップS403。これにより、第1のフレームバッファ107Cに1倍速フレームが保持されるステップS404。この第1のフレームバッファ107Cに保持された1倍速フレームは次の新たな1倍速フレームがフレーム分離部101Cより供給されるまで保持される。第1の信号処理部103Cは、フレーム分離部101Cより供給された1倍速フレームに対して予め指定された信号処理を行い、その結果を伝送部117Cに供給するステップS405。これにより信号処理が施された1倍速フレームが伝送されるステップS411。また、信号処理が施された1倍速フレームは第2のフレームバッファ119Cに供給されて保持されるステップS406。一方、差分判定部109Cは、フレーム分離部101Cより供給された非1倍速フレームについて、第1のフレームバッファ107Cに保持された1倍速フレームとの差分を判定する。差分判定部109Cは、閾値以上の差分が判定された画素について第3の信号処理部121Cに信号処理を依頼し、閾値以上の差分が判定されない画素についてコピー処理部123Cにコピー処理を依頼するステップS407。第3の信号処理部121Cは、差分判定部109Cからの依頼に応じて、対象の画素に対して信号処理を行いステップS409、その結果を第1の結合部115Cに供給する。一方、コピー処理部123Cは、差分判定部109Cからの依頼に応じて、対象の画素に対して第2のフレームバッファ119Cに保持された信号処理済みのフレームにおける同一位置の画素の値を与えステップS408、その結果を第1の結合部115Cに供給する。第3の信号処理部121Cの出力とコピー処理部123Cの出力は第1の結合部115Cにおいて空間的に結合され、この結果、信号処理が近似的に施された非1倍速フレームが復元されるステップS410。この後、信号処理が近似的に施された非1倍速フレームは伝送部117Cによって伝送されるステップS411。以上の動作が、図示しない高速度カメラからの高速画像データが入力される間繰り返されステップS412、信号処理が施された高速画像データが続けて伝送される。なお、本実施形態の画像処理装置100Cによって信号処理を施されて伝送された高速画像は、フレームを順番に処理するだけで再生される。この実施形態の画像処理装置100Cによれば、1倍速フレームと、非1倍速フレームにおいて1倍速フレームとの間で閾値以上の差分が判定された画素に対して信号処理を行うだけで、スロー再生画像の全体にその信号処理を近似的に施すことができる。これにより、本実施形態によっても、高速画像の信号処理を行うために必要な信号処理部の規模を縮小することができ、消費電力も低減させることができる。[信号処理について]上記の各実施形態の画像処理装置で、信号処理のためのトータルの演算量を低減できるとしたが、実際には信号処理の種類によって演算量の低減効果に違いがある。画素の値に対する信号処理には、大きく分けて、1タップTapで完了するデジタル信号処理と、1タップで完了しないデジタル信号処理とがある。1タップで完了するデジタル信号処理とは、例えば、n番目の画素の信号処理アルゴリズムがそのn番目の画素の情報だけを用いる処理を言う。例えば、ホワイトバランス調整、ブラックバランス調整、ガンマ補正、Knee補正、WhiteClip補正、サチュレーション補正、輝度補正、マトリクス補正、オフセット処理、シェーディング補正、周辺光量落ち補正などが1タップで完了するデジタル信号処理である。1タップで完了しないデジタル信号処理とは、n番目の画素の信号処理アルゴリズムが、そのn番目の画素の情報のみならず、例えば、座標空間においてn番目の画素の前後、上下、あるいは前後上下の周囲の画素の情報を使用するものである。例えば、ローパスフィルタ、DNRノイズリダクション、ハイパスフィルタ、ディテイル処理、倍率収差補正などが1タップで完了しないデジタル信号処理としてある。上記の第1の実施形態から第3の実施形態のエンコード装置は非1倍速フレームの低周波成分について、信号処理が施される前の1倍速フレームの低周波成分との差分データを求める。エンコード装置はその差分データと信号処理が施された1倍速フレームの低周波成分の同一位置の画素の情報とから、信号処理が近似的に施された非1倍速フレームの低周波成分を生成する。このため、信号処理が1タップで完了するデジタル信号処理であれば、信号処理が近似的に施された非1倍速フレームの低周波成分を問題無く作成することができるが、1つの画素の情報を求めるために周囲の画素の情報を必要とする種類のデジタル信号処理1タップでは完了しないデジタル信号処理に関しては本実施形態は不向きである。但し、1タップでは完了しないデジタル信号処理の中でもローパスフィルタ、DNRノイズリダクションなどのローパス系の処理は例外である。その理由は次の通りである。上記の実施形態のエンコーダ装置では、非1倍速フレームの低周波成分の情報が差分データに置き換えられて伝送される。ここで、非1倍速フレームの低周波成分を、所定のビット数の差分データに置き換えることによって、その低周波成分中で最も高い周波数域の差分微小な差分が無視されることとなる。このように上記の第1の実施形態から第3の実施形態のエンコーダ装置は、低周波成分に対して定常的にローパス系として動作するので、第1の信号処理部にてローパス系の信号処理が1倍速フレームに対して行われる場合にも有効と言える。以上、高速度カメラにより撮影された高速画像データを処理する方法および装置について説明してきたが、本技術は、典型的な映画用カメラ、ビデオカメラにより撮影された画像データを処理する装置にも、信号処理用のハードウェアの規模縮小等を図るために適用可能であることは言うまでもない。なお、本技術は以下のような構成も採ることができる。1所定のフレームレートの画像を1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離し、前記分離された第2のフレームの低周波成分と前記第1のフレームの低周波成分との差分を算出し、前記第1のフレームに対してユーザにより指示された信号処理を行い、前記信号処理が施された第1のフレームの低周波成分と前記差分を用いて、前記信号処理が近似的に施された前記第2のフレームの低周波成分を復元し、前記復元された第2のフレームの低周波成分と当該第2のフレームの高周波成分とから前記信号処理が近似的に施された第2のフレームを復元する画像処理方法。2前記1に記載の画像処理方法であって、前記第2のフレームの低周波成分において前記信号処理が施される前の前記第1のフレームの低周波成分との差分が閾値以上の画素に対して前記信号処理を行う画像処理方法。3前記1または2に記載の画像処理方法であって、前記分離された少なくとも第2のフレームの周波数成分を解析して特徴点としての画素を抽出し、この画素に対して前記信号処理を行い、この信号処理の結果をもとに補間値を生成し、この補間値で前記特徴点以外の画素の値を書き換えて、前記信号処理が近似的に施された第2のフレームを復元する画像処理方法。4所定のフレームレートの画像を1/nnは2以上の整数の周期の第1のフレームと他の1以上の第2のフレームとに分離するフレーム分離部と、前記分離された第1のフレームおよび第2のフレームをそれぞれ低周波成分と高周波成分に分解する第1の周波数分解部と、前記第2のフレームの低周波成分と前記第1のフレームの低周波成分との差分データを生成する差分生成部と、前記差分データおよび前記第2のフレームの高周波成分をそれぞれ圧縮符号化する圧縮符号化部と、前記分離された第1のフレームに対してユーザにより指示された信号処理を行う第1の信号処理部と、前記圧縮符号化された差分データおよび第2のフレームの高周波成分と、前記信号処理が施された第1のフレームを伝送する伝送部とを具備するエンコード装置。5前記4に記載のエンコード装置であって、前記第2のフレームの低周波成分において前記第1のフレームの低周波成分との差分が閾値以上の画素に対して前記信号処理を行う第2の信号処理部をさらに具備するエンコード装置。6前記4または5に記載のエンコード装置であって、前記分離された少なくとも第2のフレームの周波数成分を解析して特徴点としての画素を抽出し、この画素に対して前記信号処理を行い、この信号処理の結果をもとに補間値を生成し、この補間値で前記特徴点以外の画素の値を書き換えて、前記信号処理が近似的に施された第2のフレームを復元するフレーム内圧縮信号処理部をさらに具備するエンコード装置。7前記4から6に記載のいずれかのエンコード装置より伝送された情報をデコードするデコード装置であって、前記エンコード装置より伝送された情報を、前記差分データの圧縮符号系列、前記第2のフレームの高周波成分の圧縮符号系列、および前記信号処理が施された第1のフレームとに分離する分離部と、前記分離された差分データの圧縮符号系列および前記分離された第2のフレームの高周波成分の圧縮符号系列をそれぞれ伸張する伸張部と、前記伸張された差分データと前記信号処理が施された第1のフレームの低周波成分とから前記信号処理が近似的に施された前記第2のフレームの低周波成分を復元する低周波成分復元部と、前記復元された第2のフレームの低周波成分と前記伸張された第2のフレームの高周波成分から周波数逆分解により前記信号処理が近似的に施された第2のフレームを復元するフレーム復元部とを具備するデコード装置。