(57)【要約】【課題】より高精度の画像補間が可能な情報処理装置及び情報処理方法を提供する。【解決手段】微分値算出部、積分値算出部及び補間処理部を備える情報処理装置を提供する。微分値算出部は、所定画像内の画素値が既知である第１画素の画素値と、所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値とを取得し、それらのデータに基づいて第１画素の画素値の微分値を算出する。積分値算出部は、第１及び第２画素の画素値を取得し、それらのデータに基づいて第１画素における画素値の積分値を算出する。また、補間処理部は、第１及び第２画素の画素値、第１画素の微分値及び積分値、予め算出された第２画素の微分値及び所定距離若しくは所定時間を取得する。そして、補間処理部は、取得したこれらのデータを用いてＣＩＰ−ＣＳＬ４法により第１及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出する。【選択図】図４
2010045666.tif 000002
【特許請求の範囲】
【請求項１】
所定画像内の画素値が既知である第１画素の画素値と、前記所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値または前記所定画像から所定時間離れた画像内の第１画素と同じ位置の画素値が既知である第２画素の画素値とを取得して、第１及び第２画素の前記画素値に基づいて第１画素における画素値の微分値を算出する微分値算出部と、
第１及び第２画素の前記画素値を取得して、第１及び第２画素の前記画素値に基づいて第１画素における画素値の積分値を算出する積分値算出部と、
第１及び第２画素の前記画素値、第１画素における前記微分値及び前記積分値、前記微分値算出部で予め算出された第２画素における微分値、及び、前記所定距離若しくは前記所定時間を取得して、ＣＩＰ−ＣＳＬ４法により第１画素及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出する補間処理部と、
を備える情報処理装置。
【請求項２】
前記微分値算出部が、第１画素の前記画素値と第２画素の前記画素値との差を前記所定距離または前記所定時間で除算して前記微分値を求め、
前記積分値算出部が、第１及び第２画素の前記画素値の平均値に前記所定距離または前記所定時間を乗算して前記積分値を求める
請求項１に記載の情報処理装置。
【請求項３】
さらに、前記画像を撮像して得る撮像部を備える
請求項１に記載の情報処理装置。
【請求項４】
第３画素の前記画素値が第３画素の第２画素からの距離または時間を変数とする４次の多項式で表され、
前記補間処理部が、
前記多項式中の各項の係数を算出する係数算出部と、
前記係数算出部により算出された前記係数に基づいて、第３画素の前記画素値を求める多項式演算部とを有する
請求項１に記載の情報処理装置。
【請求項５】
さらに、前記所定画像の原画像を拡大して、前記所定画像内に第３画素を生成する画像拡大部を備える
請求項１に記載の情報処理装置。
【請求項６】
さらに、前記所定画像と前記所定画像から所定時間離れた前記画像とを含む原画像群のフレームレートを拡大して、前記所定画像と、前記所定画像から所定時間離れた前記画像との間に、第３画素を含む画像を生成するフレームレート変換部を備える
請求項１に記載の情報処理装置。
【請求項７】
さらに、第３画素が欠陥画素であり、前記所定画像内の前記欠陥画素の位置を抽出する欠陥画像抽出部を備える
請求項１に記載の情報処理装置。
【請求項８】
さらに、前記画素値を記憶する第１記憶部と、
前記微分値を記憶する第２記憶部とを備える
請求項１に記載の情報処理装置。
【請求項９】
所定画像内の画素値が既知である第１画素の画素値と、前記所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値または前記所定画像から所定時間離れた画像内の第１画素と同じ位置の画素値が既知である第２画素の画素値とを取得するステップと、
第１及び第２画素の前記画素値に基づいて第１画素における画素値の微分値及び積分値を算出するステップと、
第１及び第２画素の前記画素値、第１画素における前記微分値及び前記積分値、予め算出された第２画素における微分値、及び、前記所定距離若しくは前記所定時間を用いて、ＣＩＰ−ＣＳＬ４法により第１画素及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出するステップと、
を含む情報処理方法。
【請求項１０】
所定画像内の画素値が既知である第１画素の画素値と、前記所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値または前記所定画像から所定時間離れた画像内の第１画素と同じ位置の画素値が既知である第２画素の画素値とを取得する処理と、
第１及び第２画素の前記画素値に基づいて第１画素における画素値の微分値及び積分値を算出する処理と、
第１及び第２画素の前記画素値、第１画素における前記微分値及び前記積分値、予め算出された第２画素における微分値、及び、前記所定距離若しくは前記所定時間を用いて、ＣＩＰ−ＣＳＬ４法により第１画素及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出する処理と、
をコンピュータ装置に実装して実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置、情報処理方法及びプログラムに関し、より詳細には、画像処理に適用して好適な情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、情報（データ）の補間技術として、ラグランジュ補間（多項式近似）法やキュービックスプライン補間法等の様々な技術が知られている。また、これらの補間技術は、例えば、静止画像を拡大する際や静止画像から動画像を生成する際の画像処理に適用されている（例えば、特許文献１〜３参照）。
【０００３】
特許文献１〜３には、主に入力された１枚の静止画像から動画像を生成する技術が記載されている。特許文献１〜３では、画素（画素値）の移動を移流方程式により推定することにより、１枚の静止画像から動画像を生成する技術が提案されている。
【０００４】
特許文献２では、数値計算時の数値誤差拡散による画質劣化を改善するために、１次元のＣＩＰ（Constrained Interpolation Profile）法を用いて移流方程式を解く技術が提案されている。また、特許文献３には、２次元に拡張したＣＩＰ法により移流方程式を解く技術が提案されている。なお、特許文献３には、動画像生成だけでなく、画像の一部の拡大する処理も記載されている。
【０００５】
なお、特許文献２及び３で用いられているＣＩＰ法は、セミ・ラグランジュ法と呼ばれる解法の一種である。ＣＩＰ法では、位置変数等の３次多項式を補間関数（補間対象となるパラメータの関数）として用い、移流方程式を解く。
【０００６】
【特許文献１】特開２００４−３３４６９４号公報
【特許文献２】特開２００６−３３８３６５号公報
【特許文献３】特開２００７−２９３５２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したラグランジュ補間法では、所定画素の補間値（画素値）を求める際に、近傍の画素情報のみを使用する。そのため、多項式近似による誤差伝搬により、偽信号が発生する。この問題を解消するためには、サンプリング点を増やす必要がある。しかしながら、この場合、記憶量の増大や演算時間の増大といった問題が生じる。また、ラグランジュ補間法では、補間関数をより高次にすると、補間曲線（補間特性）が振動する現象、いわゆるルンゲの現象と呼ばれる現象が発生し、計算が不安定になる。
【０００８】
また、上述した特許文献２及び３で用いられているＣＩＰ法は、移流方程式の移流項（速度成分と補間関数の微分値との積で表される項）と非移流項とを分離して解くので、補間関数のエネルギー保存は数学的には保証されない。そのため、高精度の補間が行えないという問題が生じる。また、従来のＣＩＰ法では、補間精度を向上させるために、補間関数だけでなく補間関数の微分係数（微分値）についても解く。しかしながら、この微分係数が０となる場合には補間ができないという問題もある。
【０００９】
本発明は上記問題を解決するためになされたものであり、本発明の目的は、より高精度の画像補間が可能な情報処理装置、情報処理方法及びそれを実行するプログラムを提供することである。
【課題を解決するための手段】
【００１０】
上記問題を解決するために、本発明の情報処理装置は、微分値算出部と、積分値算出部と、補間処理部とを備える構成とし、各部が次のように機能するようにした。微分値算出部は、所定画像内の画素値が既知である第１画素の画素値と、所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値とを取得する。または、微分値算出部は、所定画像内の画素値が既知である第１画素の画素値と、所定画像から所定時間離れた画像内の第１画素と同じ位置の画素値が既知である第２画素の画素値とを取得する。そして、微分値算出部は、取得した第１及び第２画素の画素値に基づいて第１画素における画素値の微分値を算出する。積分値算出部は、第１及び第２画素の画素値を取得し、該取得した第１及び第２画素の画素値に基づいて第１画素における画素値の積分値を算出する。また、補間処理部は、第１及び第２画素の画素値、第１画素における微分値及び積分値、微分値算出部で予め算出された第２画素における微分値、及び、所定距離若しくは所定時間を取得する。そして、補間処理部は、取得したこれらのデータを用いてＣＩＰ−ＣＳＬ４法により第１画素及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出する。
【００１１】
また、上記問題を解決するために、本発明の情報処理方法及びプログラムでは、次のようにして処理を行うようにした。まず、所定画像内の画素値が既知である第１画素の画素値と、所定画像内の第１画素から所定距離離れた位置の画素値が既知である第２画素の画素値とを取得する。または、所定画像内の画素値が既知である第１画素の画素値と、所定画像から所定時間離れた画像内の第１画素と同じ位置の画素値が既知である第２画素の画素値とを取得する。次いで、取得した第１及び第２画素の画素値に基づいて第１画素における画素値の微分値及び積分値を算出する。そして、第１及び第２画素の画素値、第１画素の微分値及び積分値、予め算出された第２画素の微分値及び所定距離若しくは所定時間を用いて、ＣＩＰ−ＣＳＬ４法により第１画素及び第２画素の間に位置する画素値が未知の第３画素の画素値を算出する。
【００１２】
すなわち、本発明では、補間対象となる画素値のエネルギー保存が数学的に保証されているＣＩＰ−ＣＳＬ４法（Conservative Semi-Lagrangian 4）法を用いて画像の補間処理を行う。
【発明の効果】
【００１３】
上述のように、本発明によれば、画素の画素値（輝度値等）を補間する際に、ＣＩＰ−ＣＳＬ４法を用いるので、より精度の高い画像の補間処理が可能になる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を、添付図面を参照しながら説明する。本発明の実施形態は以下の順で説明する。また、下記実施形態では、情報処理装置として、撮像して得た画像の補間処理を行う画像処理装置を例にとって説明する。なお、本発明は以下の例に限定されるものではない。
１．第１の実施形態：画像拡大時の画像処理装置の構成例
２．第２の実施形態：フレームレート変換時の画像処理装置の構成例
【００１５】
＜第１の実施形態＞
［補間処理の原理］
まず、第１の実施形態の画像処理装置及び補間処理を具体的に説明する前に、本実施形態で用いるＣＩＰ−ＣＳＬ４法を図１を参照しながら説明する。
【００１６】
ＣＩＰ−ＣＳＬ４法は、ＣＩＰ法を改良した補間法であり、補間対象となるパラメータのエネルギー保存が数学的に保証されるようにしたものである。ＣＩＰ−ＣＳＬ４法では、補間対象となるパラメータのエネルギー保存を保証するために、そのパラメータの微分値だけでなく積分値も用いる。
【００１７】
図１は、原画像を拡大した際の拡大画像の１次元の画素配置図である。図１には、拡大画像における画素値が既知の画素、すなわち、原画像の画素に対応する画素（以下、原画素ともいう）と、その原画素間に生成される画素値が未知の画素（以下、補間画素ともいう）との位置関係を示している。なお、図１の例は、原画素間に一つの補間画素が生成されるように原画像を拡大した例である。
【００１８】
また、図１中の原画素１及び原画素２に記載のパラメータｆは画素値であり、画素値ｆの添え字ｉは画素の位置を示している。また、図１中のＦ（ｘ）は、位置ｘの補間画素３の画素値である。なお、画素値としては、輝度値が用い得る。また、画像がカラーで有る場合には、画像のＲ（赤）、Ｇ（緑）、Ｂ（青）の各成分の強度を画素値として用いてもよい。
【００１９】
以下の原理説明では、ｘ方向における位置ｘｉ＋１の原画素１（第１画素）と、位置ｘｉの原画素２（第２画素）との間の補間画素３（第３画素）の画素値の補間を考える。
【００２０】
ＣＩＰ−ＣＳＬ４法では、補間画素３の画素値Ｆ（ｘ）（補間値）は、下記数式１で示すように、原画素２からの位置変数ｘの４次多項式で表される。なお、下記数式１中のΔｘは、原画素１と原画素２との距離（サンプル間隔）である。
【００２１】
【数１】
2010045666.tif 000003
【００２２】
そして、上記数式１の画素値Ｆ（ｘ）、並びに画素値Ｆ（ｘ）の微分値Ｆ′（ｘ）及び積分値Ｒ（ｘ）は、原画素１の位置ｘｉ＋１及び原画素２の位置ｘｉにおいて、下記数式２に示すような拘束条件（境界条件）を満たさなければならない。
【００２３】
【数２】
2010045666.tif 000004
【００２４】
ここで、上記数式１の４次多項式の各項の係数Ａ〜Ｅを求めるために、原画素２の位置ｘｉを原点とし（ｘｉ＝０）、原画素１の位置ｘｉ＋１をΔｘとして、位置変数ｘ（ｘｉ≦ｘ≦ｘｉ＋１）をＸ（０≦Ｘ≦Δｘ）に変換する（図１参照）。この結果、上記数式１は下記数式３のように変形される。
【００２５】
【数３】
2010045666.tif 000005
【００２６】
また、上記数式３の微分値Ｆ′（Ｘ）及び積分値Ｒ（Ｘ）は下記式４のように表される。
【００２７】
【数４】
2010045666.tif 000006
【００２８】
上記数式３及び４に対しても上記数式２と同様の拘束条件が成立するので、上記数式３及び４の拘束条件は下記数式５のようになる。
【００２９】
【数５】
2010045666.tif 000007
【００３０】
上記数式５から明らかなように、上記数式１及び３中の係数Ｅ及びＤは、それぞれ原画素２の画素値ｆｉ及び微分値ｇｉとなる。また、上記数式１及び３中の係数Ａ〜Ｃは、上記数式５中のＦ（Δｘ）、Ｆ′（Δｘ）及びＲ（Δｘ）の式を連立方程式として解くことにより、下記数式６のように与えられる。
【００３１】
【数６】
2010045666.tif 000008
【００３２】
ＣＩＰ−ＣＳＬ４法では、上記数式５及び６で求めた係数Ａ〜Ｅ及び補間画素３（第３画素）の位置情報Ｘ（＝Δｘｐ）を上記数式３に代入して、補間画素３の画素値Ｆ（Ｘ）を求める。
【００３３】
なお、本実施形態では、ＣＩＰ−ＣＳＬ４法を用いているので（画素値のエネルギー保存が数学上保証されているので）、各原画素における微分値ｇ及び積分値ｒは、コンパクトスキームと呼ばれる簡易な手法により求める。コンパクトスキームでは、微分値ｇは、所定距離離れた２つの原画素間の画素値の差分を所定距離で除算して求める。また、積分値ｒは、所定距離離れた２つの原画素の画素値に対して台形公式（２つの画素値の和を２で割った値（平均値）に所定間隔を積算する）を適用して求める。例えば、図１中の原画素１における微分値ｇｉ＋１及び積分値ｒｉ＋１は、それぞれ下記数式７及び８により求める。
【００３４】
【数７】
2010045666.tif 000009
【００３５】
【数８】
2010045666.tif 000010
【００３６】
ここで、参考として、図２に、ＣＩＰ−ＣＳＬ４法と、その他の補間手法との補間特性を比較した図を示す。図２は、所定間隔で値の異なる離散サンプルデータがある場合の補間特性（補間形状）を比較した図である。なお、図２の横軸は位置変数ｘであり、縦軸は補間対象となる関数ｙの値（本実施形態では画素値）である。
【００３７】
図２中の白抜き四角印４０は離散サンプルデータである。また、太破線の特性４１は、ラグランジュ補間法の０次補間（０次ホールド補間）の特性であり、実線の特性４２は１次補間（直線補間）の特性であり、そして、破線の特性４３は２次補間の特性である。点線の特性４４はバイキュービック法の補間特性である。二点鎖線の特性４５はＣＩＰ法の補間特性であり、一点鎖線の特性４６はＣＩＰ−ＣＳＬ４法の補間特性である。また、太実線の特性４７はＩＤＯ（Interpolated Differential Operator）法の補間特性である。
【００３８】
なお、バイキュービック法はキュービック（３次）ラグランジュ補間の一種であり、変数を変えることにより補間形状を変化させる。また、ＩＤＯ法は、ＣＩＰ法よりさらに高次（５次）の補間関数を用いた補間手法である。
【００３９】
［装置構成］
図３は、本実施形態の画像処理装置を適用した画像処理システムのブロック構成図である。本実施形態の画像処理システム４は、撮像装置５で撮像した画像データ（原画像）を画像処理装置１０で拡大及び補間処理し、補間済みの画像を表示装置６に表示するシステムである。
【００４０】
撮像装置５としては、所定のフレーム周期で連続して得られる画像信号をそのまま記録することにより、動画像信号を記録する撮像装置（いわゆるビデオカメラ）を用いることができる。また、撮像装置５として、１フレームの画像信号だけを記録することにより、静止画像信号を記録する撮像装置（いわゆるスチルカメラ）を用いてもよい。なお、本実施形態では、画像処理装置１０と撮像装置５とが別装置である例を説明するが、本発明はこれに限定されず、画像処理装置１０が撮像装置５（撮像部）を含んでいてもよい。
【００４１】
表示装置６は、補間前の画像データと補間後の画像データとを別個に表示することはもちろん、それらの画像データを一緒（同一画面上）に表示することができる。なお、本実施形態では、画像処理装置１０と表示装置６とが別装置である例を説明するが、本発明はこれに限定されず、画像処理装置１０が表示装置６を含んでいてもよい。
【００４２】
画像処理装置１０は取得した原画像を空間的に拡大し、その拡大画像において、原画素の画素値（既知）から、画素値が未知の補間画素の画素値を求める。
【００４３】
図４は、本実施形態の画像処理装置１０のブロック構成図である。画像処理装置１０は、画像拡大部１１と、微分値算出部１２と、積分値算出部１３と、第１記憶部１４と、第２記憶部１５と、補間処理部１６と、拡大画像生成部１９とを備える。また、補間処理部１６は、係数算出部１７と、多項式演算部１８とで構成される。そして、各部の入出力端子は、上記数式３及び６〜８を計算できるように各部間で適宜接続されている。
【００４４】
画像拡大部１１は、撮像装置５で撮像した画像データ（原画像）を取得し、その原画像を所定のサイズに拡大する。そして、画像拡大部１１は、拡大画像内の原画素の画素値ｆ、原画素間の距離Δｘ（サンプル間隔）及び補間画素の位置情報Ｘをそれぞれ所定の部に出力する。例えば、図４の例では、画像拡大部１１は、原画素１の画素値ｆｉ＋１、原画素間の距離Δｘ及び補間画素５または６の位置情報ｘ＝Δｘｐをそれぞれ所定の部に出力する。また、画像拡大部１１は、後述するように、各部における処理の繰り返し回数を制御する機能を有する。なお、画像拡大部１１は、画像処理装置１０の外部に設けられていてもよい。
【００４５】
微分値算出部１２は、拡大画像中の原画素における画素値の微分値ｇ（空間変化量）を算出する。より具体的には、微分値算出部１２では、隣り合う２つの原画素の画素値を取得し、それらの画素値に基づいて上記数式７に示したコンパクトスキームにより微分値ｇを算出する。
【００４６】
図５に、微分値算出部１２の内部構成を示す。微分値算出部１２は、減算回路２１と、除算回路２２とから構成される。減算回路２１は画像拡大部１１から入力された位置ｘｉ＋１の原画素１（第１画素）の画素値ｆｉ＋１から、第１記憶部２４から入力された位置ｘｉの原画素２（第２画素）の画素値ｆｉを差し引く。そして、除算回路２２は、減算回路２１の出力を画像拡大部１１から入力された原画素間のサンプル間隔Δｘで割り算する。このような構成により、微分値算出部１２では、位置ｘｉ＋１の原画素１における画素値の微分値ｇｉ＋１を算出する。
【００４７】
積分値算出部１３は、拡大画像中の原画素における画素値の積分値ｒを算出する。より具体的には、積分値算出部１３では、隣り合う２つの原画素の画素値を取得し、それらの画素値に基づいて上記数式８に示したコンパクトスキームにより積分値ｒを算出する。
【００４８】
図６に、積分値算出部１３の内部構成を示す。積分値算出部１３は、減算回路２３と、除算回路２４と、積算回路２５とから構成される。減算回路２３は画像拡大部１１から入力された位置ｘｉ＋１の原画素１の画素値ｆｉ＋１から、第１記憶部２４から入力された位置ｘｉの原画素２の画素値ｆｉを差し引く。そして、除算回路２２は、減算回路２１の出力を２で割る。すなわち、減算回路２３及び除算回路２４により、原画素１の画素値ｆｉ＋１と原画素２の画素値ｆｉとの平均値を計算する。そして、積算回路２５は、除算回路２４の出力にサンプル間隔Δｘを掛算する。このような構成により、積分値算出部１３では、位置ｘｉ＋１の原画素１における画素値の積分値ｒｉ＋１を計算する。
【００４９】
第１記憶部１４は、画像拡大部１１から入力された原画素の画素値ｆを記憶する。また、第１記憶部１４は、画像拡大部１１から入力された画素値ｆのインデックスより１小さいインデックスの画素値ｆを出力する。例えば、位置ｘｉ＋１の原画素１の画素値ｆｉ＋１が画像拡大部１１から入力された際には、第１記憶部１４は、その隣の位置ｘｉの原画素２の画素値ｆｉを出力する。すなわち、第１記憶部１４は遅延機能を有する。それゆえ、本実施形態では、第１記憶部１４を遅延器で置き換えてもよい。
【００５０】
第２記憶部１５は、微分値算出部１２で計算された原画素における画素値の微分値ｇを記憶する。また、第２記憶部１５は、微分値算出部１２から入力された微分値ｇのインデックスより１小さいインデックスの微分値ｇを出力する。例えば、位置ｘｉ＋１の原画素１における微分値ｇｉ＋１が微分値算出部１２から入力された際には、第２記憶部１５は、その隣の位置ｘｉの原画素２における微分値ｇｉを出力する。すなわち、第２記憶部１５は遅延機能を有する。それゆえ、本実施形態では、第２記憶部１５を遅延器で置き換えてもよい。
【００５１】
係数算出部１７は、上記各部から出力された種々のデータに基づいて、上記数式３で表される４次多項式中の各項の係数Ａ〜Ｃを算出する。具体的には、図４の例では、位置ｘｉ＋１の原画素１の画素値ｆｉ＋１及びサンプル間隔Δｘが、画像拡大部１１から係数算出部１７に入力される。また、位置ｘｉの原画素２における画素値ｆｉ及び微分値ｇｉが、それぞれ第１記憶部１４及び第２記憶部１５から係数算出部１７に入力される。さらに、位置ｘｉ＋１の原画素１おける微分値ｇｉ＋１及び積分値ｒｉ＋１が、それぞれ微分値算出部１２及び積分値算出部１３から係数算出部１７に入力される。係数算出部１７は、これらの入力データを用いて、上記数式６により、４次多項式の各項の係数Ａ〜Ｃを算出する。
【００５２】
なお、上記数式３の４次多項式中の係数Ｄ及びＥは、上記数式５に示すように、位置ｘｉの原画素２における微分値ｇｉ及び画素値ｆｉにそれぞれ対応する。すなわち、第１記憶部１４及び第２記憶部１５の出力データが、それぞれ係数Ｅ及びＤとなる。それゆえ、本実施形態では、係数算出部１７で係数Ｅ及びＤを算出せず、第１記憶部１４及び第２記憶部１５の出力端子を図４に示すように、直接、多項式演算部１８に接続している。なお、係数Ｄ及びＥを係数算出部１７を介して多項式演算部１８に入力してもよい。この場合には、第１記憶部１４及び第２記憶部１５の出力端子を多項式演算部１８に接続しなくてよい。
【００５３】
多項式演算部１８は、係数算出部１７、第１記憶部１４及び第２記憶部１５から入力される係数Ａ〜Ｅ、並びに、画像拡大部１１から入力される補間画素３の位置Ｘ＝Δｘｐを用いて上記数式３を計算し、位置Δｘｐの補間画素３の画素値Ｆ（Δｘｐ）を求める。
【００５４】
拡大画像生成部１９は、拡大画像中の全ての補間画素に対して行われた補間処理の結果を統合し、補間済みの拡大画像を生成する。
【００５５】
［補間処理］
次に、本実施形態の補間処理を図７〜１２を参照しながら説明する。なお、図７は、補間処理全体の手順を示すフローチャートであり、図８は、図７中のステップＳ３内の処理手順を示すフローチャートである。また、図９〜１２は図７中の各ステップの処理後の画像内の画素配置図である。
【００５６】
まず、画像処理装置１０の画像拡大部１１は、撮像装置５で撮像した原画像データを取得する（ステップＳ１）。図９に、ステップＳ１で取得される原画像の一例を示す。図９中の各マス目が画素を表している。この例では、原画像のサイズを１０画素×１０画素とし、原画像には文字「正」が写っている画像の例を考える。なお、図９の原画像では、文字部に対応する画素は黒色で表し、それ以外の画素は白色で表している。
【００５７】
次いで、画像拡大部１１は、入力された原画像を所定のサイズに拡大する（ステップＳ２）。図１０に、ステップＳ２で得られる拡大画像の画素配置図を示す。図１０の例では、原画像の縦横のサイズをそれぞれ２倍した拡大画像の画素配置図である。すなわち、図１０の例では、図９に示した１０画素×１０画素のサイズの原画像を、２０画素×２０画素のサイズの拡大画像に拡大している。
【００５８】
この際、拡大画像では、Ｘ座標が偶数の列の画素及びＹ座標が偶数の行の画素が補間画素となり、Ｘ座標が奇数の列（またはＹ座標が奇数の行）では、原画素と補間画素が交互に配置される。それゆえ、例えば、図１０中の原画素２０の周囲に隣接する８個の画素が補間画素となる。なお、図１０の例では、補間画素を、文字部以外の原画素と同様に白色で表している。
【００５９】
次いで、画像処理装置１０は、拡大画像内の補間画素に対してＸ方向（行方向）の補間処理を行う（ステップＳ３）。この際、上述した１次元のＣＩＰ−ＣＳＬ４法を拡大画像の各行に適用する。ただし、上述のように、図１０の例では、Ｙ座標が偶数の行に配置される画素は全て補間画素（画素値が未知）であるので、ステップＳ３で補間処理を行えるのは、Ｙ座標が奇数の行の補間画素に対してのみとなる。なお、ステップＳ３内の処理については、図８を参照しながら後で詳述する。
【００６０】
図１１に、ステップＳ３でＸ方向の補間処理を行った後の拡大画像の画素配置図を示す。図１１中のグレー部の画素が、ステップＳ３の補間処理により画素値（色）の変わった補間画素である。ステップＳ３の補間処理により、原画素の文字部（黒色部）のＸ方向に隣接する両側の補間画素の色が変わる。
【００６１】
次いで、画像処理装置１０は、拡大画像内の補間画素に対してＹ方向（列方向）の補間処理を行う（ステップＳ４）。この際、原画素の画素値ｆ及びステップＳ３で補間処理された奇数行の補間画素の画素値Ｆを用いて、それらの間の補間画素（偶数行の画素）の画素値を求める。これにより、ステップＳ３で補間処理されなかった偶数行の補間画素が処理される。なお、Ｙ方向の補間処理は、Ｘ方向の補間処理（図８の補間処理）と同様にして行う。
【００６２】
図１２に、ステップＳ４でＹ方向の補間処理を行った後の拡大画像の画素配置図を示す。図１２中の斜線部の画素が、ステップＳ４の補間処理により画素値（色）の変わった補間画素である。ステップＳ４の補間処理により、原画素の文字部（黒色部）及び補間画素のグレー部のＹ方向に隣接する両側の補間画素の色が変わる。この結果、図１２に示すように、拡大画像中に拡大された文字「正」が生成される。そして、画像処理装置１０は、生成された補間済みの拡大画像を表示装置６に出力する。
【００６３】
次いで、表示装置６は、画像処理装置１０から入力された補間済みの拡大画像を表示する（ステップＳ５）。
【００６４】
次に、ステップＳ３におけるＸ方向の補間処理を図８を参照しながら詳細に説明する。
【００６５】
まず、画像拡大部１１は、以下に説明するステップＳ２２〜Ｓ３４の処理の繰り返し回数を制御する第１の制御カウンタｍを初期化（ｍ＝１）する（ステップＳ２１）。第１の制御カウンタｍは、拡大画像において補間処理する行数を示すパラメータである。
【００６６】
次いで、画像拡大部１１は、以下に説明するステップＳ２３〜Ｓ３２の処理の繰り返し回数を制御する第２の制御カウンタｉを初期化（ｉ＝１）する（ステップＳ２２）。なお、第２の制御カウンタｉは、各行における原画素の位置を示すパラメータである（図１参照）。
【００６７】
次いで、第１記憶部１４及び第２記憶部１５は、それぞれ位置ｘｉの原画素２（第２画素）における画素値ｆｉ及び微分値ｇｉを記憶する（ステップＳ２３）。なお、ｉ＝１の場合の微分値ｇｉは、予め設定された所定の値を第２記憶部１５に記憶する。
【００６８】
次いで、微分値算出部１２及び積分値算出部１３は、画像拡大部１１から位置ｘｉ＋１における原画素１（第１画素）の画素値ｆｉ＋１を取得する（ステップＳ２４）。
【００６９】
次いで、微分値算出部１２及び積分値算出部１３は、第１記憶部１４及び第２記憶部１５から、それぞれ位置ｘｉの原画素２における画素値ｆｉ及び微分値ｇｉを読み出す（ステップＳ２５）。
【００７０】
次いで、微分値算出部１２及び積分値算出部１３は、画像拡大部１１から原画素１と原画素２とのサンプル間隔Δｘ（＝ｘｉ＋１−ｘｉ）を取得する（ステップＳ２６）。なお、ステップＳ２４〜Ｓ２６の処理は同時に行ってもよいし、その順序を適宜変更してもよい。
【００７１】
次いで、微分値算出部１２及び積分値算出部１３は、取得した原画素１の画素値ｆｉ＋１、原画素２の画素値ｆｉ及びサンプル間隔Δｘを用いて、原画素１における微分値ｇｉ＋１及び積分値ｒｉ＋１をそれぞれ求める（ステップＳ２７）。具体的には、原画素１における微分値ｇｉ＋１及び積分値ｒｉ＋１をそれぞれ上記数式７及び８で表されるコンパクトスキームを用いて算出する。
【００７２】
次いで、係数算出部１７は、上記ステップＳ２３〜Ｓ２７で取得及び算出した画素値（ｆｉ＋１、ｆｉ）、微分値（ｇｉ＋１、ｇｉ）、積分値（ｒｉ＋１）及びサンプル間隔（Δｘ）を用いて、上記数式３の多項式中の係数Ａ、Ｂ及びＣを求める（ステップＳ２８）。具体的には、係数算出部１７は、上記数式６を用いて係数Ａ、Ｂ及びＣを求める。そして、係数算出部１７は、求めた係数Ａ〜Ｃを多項式演算部１８に出力する。
【００７３】
また、この際、第１記憶部１４は、上記数式３の多項式中の係数Ｅとして、原画素２の画素値ｆｉを多項式演算部１８に出力する。また、第２記憶部１５は、上記数式３の多項式中の係数Ｄとして、原画素２における微分値ｇｉを多項式演算部１８に出力する。
【００７４】
次いで、多項式演算部１８は、画像拡大部１１から、補間画素３（第３画素）の位置情報（Ｘ＝Δｘｐ）を取得する（ステップＳ２９）。
【００７５】
次いで、多項式演算部１８は、入力された係数Ａ〜Ｅ及び補間画素３の位置Δｘｐを用いて、補間画素３の画素値Ｆ（Δｘｐ）を算出する（ステップＳ３０）。そして、多項式演算部１８は、算出した補間画素３の画素値Ｆ（Δｘｐ）を拡大画像生成部１９に出力する。
【００７６】
なお、隣り合う原画素間に複数の補間画素が存在する場合には、補間画素毎にステップＳ２９及びＳ３０を繰り返してもよいし、ステップＳ２９でその複数の補間画素の補間位置を同時に取得して、ステップＳ３０で各補間画素の画素値を同時に求めてもよい。
【００７７】
次いで、画像拡大部１１は、第２の制御カウンタｉをその最大値ｉｍａｘ（行中の原画素数−１）と比較する（ステップＳ３１）。
【００７８】
第２の制御カウンタｉが最大値ｉｍａｘより小さい場合、すなわち、拡大画像内の所定の行中の全ての補間画素の処理が終了していない場合には、ステップＳ３１はＹＥＳ判定となる。この場合には、第２の制御カウンタｉを更新（ｉ＝ｉ＋１）してステップＳ２３に戻る（ステップＳ３２）。その後は、ステップＳ２３〜Ｓ３２の処理を繰り返す。
【００７９】
そして、所定の行中の全ての補間画素の処理が終了した場合には、ステップＳ３１はＮＯ判定となる。この場合には、ステップＳ３３に進む。
【００８０】
次いで、画像拡大部１１は、第１の制御カウンタｍをその最大値ｍｍａｘ（補間処理を行う行数）と比較する（ステップＳ３３）。
【００８１】
第１の制御カウンタｍが最大値ｍｍａｘより小さい場合、すなわち、補間処理可能な全ての行（奇数行）についての処理が終了していない場合には、ステップＳ３３はＹＥＳ判定となる。この場合には、第１の制御カウンタｍを更新（ｍ＝ｍ＋１）してステップＳ２２に戻る（ステップＳ３４）。その後は、ステップＳ２２〜Ｓ３４の処理を繰り返す。
【００８２】
そして、ステップＳ３３でＮＯ判定となった場合、すなわち、補間処理可能な全ての行（奇数行）についての処理が終了した場合には、図７中のステップＳ４に進み、Ｙ方向の補間処理を開始する。
【００８３】
本実施形態では、以上のようにして拡大画像に対して補間処理を行う。本実施形態では、上述のように、ＣＩＰ−ＣＳＬ４法を用いて拡大画像中の画素値が未知である補間画素に対して補間処理を行う。それゆえ、本実施形態によれば、補間処理時に補間対象となる画素値のエネルギー保存は数学的に保証されるので、より高精度な空間補間が可能になる。
【００８４】
また、本実施形態によれば、補間対象となる画素値の積分値も用いるので、微分値（微分係数）が０となった場合でも補間が可能となる。
【００８５】
さらに、本実施形態では、補間対象となる画素値のエネルギー保存が数学上保証されるので、画素値の微分値ｇ及び積分値ｒをコンパクトスキームで計算することができる。この場合、より簡易な構成及び計算手法で補間処理が可能になる。
【００８６】
［補間結果］
次に、本実施形態の補間処理を実際に適用した例（具体例）を説明する。ここでは、１０画素×１０画素のサイズの原画像を、２０画素×２０画素のサイズの拡大画像に拡大した例を説明する。また、具体例では、原画像に文字「正」が写っている画像を用いた。図１３に、具体例の補間結果を示す。なお、図１３には、比較のため、ラグランジュ補間法の０次補間及び１次補間の補間結果も併せて示した。
【００８７】
図１３の結果から明らかなように、０次補間では文字幅が細くなる。なお、図１３中では原画像及び拡大画像を見やすくするために両画像とも拡大しているので明確ではないが、原画像の文字幅と０次補間の画像の文字幅は同程度となっている。また、１次補間では文字が滲んだようになり、文字部とそれ以外の部分との境界が不明瞭になる。これらの結果に対して、本実施形態の具体例の補間結果（図１３中の右下画像）では、文字幅が０次補間に比べて太くになり、文字部とそれ以外の部分との境界も明瞭になる。この結果から、本実施形態によれば、より精度の高い画像補間が可能になることが分かる。
【００８８】
上述した本実施形態では、原画像全体のサイズを拡大する場合の例について説明したが、本発明は、これに限定されない。例えば、原画像の一部を拡大する場合にも同様に適用可能であり、同様の効果が得られる。
【００８９】
また、本実施形態は、例えばテレビの映像を携帯電話や携帯ゲーム機のディスプレイサイズに合わせる際に行う画像の縮小処理に用いることもできる。さらに、カメラやテレビに搭載されている画像サイズ変換装置（いわゆるスケーラーと呼ばれる装置）により、撮像映像の画素数を所定の表示規格に応じて変換（縮小）する際にも本実施形態を適用することができる。
【００９０】
ここで、上記画像の縮小処理における本実施形態の適用例を簡単に説明する。原画像と縮小画像との縦横比が異なる場合、原画像の画素を間引いただけでは、縮小画像の映像が歪んでしまう。それゆえ、この問題を避けるために、まず、原画像と縮小画像との最小公倍数の画素数の画像に原画像を拡大（オーバーサンプリング）し、次いで、その拡大画像を所定の画素数に縮小する。本実施形態は、オーバーサンプリング後の拡大画像の補間処理に適用することができる。拡大処理後（オーバーサンプリング後）の補間処理に線形補間を用いると画像が歪んだりするが、より高精度な補間が可能な本実施形態を用いることにより、この拡大画像の歪みを最小限に抑制することができる。
【００９１】
さらに、本実施形態は、ＭＰＥＧ（Moving Picture Experts Group）方式におけるＧＯＰ（Group of Pictures）内の画像フレームのフレーム変換処理に適用することができる。この場合、例えば、Ｉ（Intra picture）フレームをＰ（Predictive picture）フレームに変換する際や、ＰフレームをＢ（Bidirectionallypredictive picture）フレームに変換する際に本実施形態を適用する。
【００９２】
［変形例］
上述の第１の実施形態では、原画像のサイズを拡大する場合の例について説明したが、本発明は、これに限定されない。本発明は、拡大処理時だけでなく、例えば、撮像素子の画素欠陥の補正及びノイズ除去にも適用できる。
【００９３】
図１４は、画像フレーム内に画素欠陥が有る場合の欠陥画素近傍の拡大図である。図１４中の中央位置の画素３３が欠陥画素である。このような場合には、上述した１次元のＣＩＰ−ＣＳＬ４法を方向分離して２次元に拡張し、欠陥画素３３のＸ方向及びＹ方向に隣接する原画素３４〜３７の画素値を用いて欠陥画素９６の画素値Ｆ２２を求める。
【００９４】
図１５は、撮像素子の画素欠陥の補正を行う場合（変形例）の画像処理装置のブロック構成図である。なお、図１５の画像処理装置３０において、第１の実施形態の画像処理装置１０（図４）と同じ構成部分には同一符号を付した。
【００９５】
変形例の画像処理装置３０は、図４に示した第１の実施形態のそれとの比較から明らかなように、第１の実施形態の画像拡大部１１及び拡大画像生成部１９をそれぞれ欠陥画素抽出部３１及び画像生成部３２で置き換えた構成となる。これ以外の構成は、第１の実施形態と同様である。それゆえ、ここでは、欠陥画素抽出部３１及び画像生成部３２以外の構成についての説明は省略する。
【００９６】
欠陥画素抽出部３１は、撮像装置５で撮像した画像データ（原画像）を取得し、その原画像中の欠陥画素の位置を抽出する。そして、欠陥画素抽出部３１は、その欠陥画素の位置Δｘｐ、その欠陥画素に隣接する所定の原画素の画素値ｆｉ＋１、及び、原画素間のサンプル間隔Δｘを出力する。また、欠陥画素抽出部３１は、第１の実施形態の画像拡大部１１と同様に、画像処理装置３０内の各部における処理の繰り返し回数を制御する機能も有する。なお、欠陥画素抽出部３１は、画像処理装置３０の外部に設けられていてもよい。
【００９７】
また、画像生成部３２は、欠陥画素の画素値が補間された補正画像を表示装置６に出力する。
【００９８】
＜第２の実施形態＞
［補間処理の原理］
第２の実施形態では、所定のフレームレートで連続撮影された複数の画像フレームからなる原画像群のフレームレートを変換（拡大）した際に必要となる時間軸上の補間処理について説明する。
【００９９】
図１６は、所定の時間間隔Δｔで連続撮像された原画像群のフレームレートを拡大した際の画素値が既知の原画素５１及び５２（第１及び第２画素）と、画素値が未知の補間画素５３（第３画素）との位置関係を示す図である。また、原画素５１、原画素５２及び補間画素５３はそれぞれ異なる画像フレーム中の画素であるが、画素フレーム内の位置は同じである。なお、図１６の例は、時間間隔Δｔで離れた２枚の原画素を含む画像フレーム間に補間画素を含む画像フレームが１枚生成されるようにフレームレートを変換した例である。
【０１００】
ここでは、時刻ｔｋ＋１の原画素５１（第１画素）と、時刻ｔｋの原画素５２（第２画素）との間に生成された時刻ｔ（ｔｋ＜ｔ＜ｔｋ＋１）の補間画素５３（第３画素）の画素値の補間を考える。
【０１０１】
ＣＩＰ−ＣＳＬ４法では、補間画素５３の画素値Ｆ（ｔ）（補間値）は、下記数式９で示すように、原画素５２からの時間変数ｔの４次多項式で表される。なお、下記数式９中のΔｔは、原画素５１と原画素５２との時間間隔である。
【０１０２】
【数９】
2010045666.tif 000011
【０１０３】
また、上記数式９は、原画素５１及び原画素５２の時刻において、下記数式１０に示すような拘束条件（境界条件）を満たさなければならない。
【０１０４】
【数１０】
2010045666.tif 000012
【０１０５】
また、上記数式９を、原画素５２の時刻ｔｉを原点とし（ｔｋ＝０）、原画素５１の時刻ｔｋ＋１をΔｔとして、時間変数ｔ（ｔｋ≦ｔ≦ｔｋ＋１）をＴ（０≦Ｔ≦Δｔ）に変換すると（図１６参照）、上記数式９は下記数式１１のように変形される。
【０１０６】
【数１１】
2010045666.tif 000013
【０１０７】
また、上記数式１１の画素値Ｆ（Ｔ）の微分値Ｆ′（Ｘ）及び積分値Ｒ（Ｘ）は下記数式１２のように表される。
【０１０８】
【数１２】
2010045666.tif 000014
【０１０９】
上記数式１１及び１２に対しても上記数式１０と同様の拘束条件が成立する。
【０１１０】
上記数式９〜１２は、第１の実施形態で説明した上記数式１〜４との比較から明らかなように、数式１〜４中の位置変数ｘ（またはＸ）を時間変数ｔ（またはＴ）に置き換え、位置のインデックスｉを時間のインデックスｋに置き換えた式となる。それゆえ、上記数式９または１１中の各項の係数Ａ〜Ｅは、第１の実施形態の上記数式５及び６において、サンプル間隔Δｘを時間間隔Δｔに、インデックスｉをｋに置き換えた式となり、下記数式１３のようになる。
【０１１１】
【数１３】
2010045666.tif 000015
【０１１２】
本実施形態では、上記数式１３で求めた係数Ａ〜Ｅ及び補間画素５３の時間情報Ｔ（＝Δｔｐ）を上記数式１１に代入して、補間画素５３の画素値Ｆ（Ｔ）を求める。
【０１１３】
なお、本実施形態では、第１の実施形態と同様に、各原画素における画素値の微分値ｇ及び積分値ｒは、コンパクトスキームで求める。すなわち、例えば、図１６中の原画素５１における微分値ｇｋ＋１及び積分値ｒｋ＋１は、それぞれ下記数式１４及び１５により求める。
【０１１４】
【数１４】
2010045666.tif 000016
【０１１５】
【数１５】
2010045666.tif 000017
【０１１６】
ここで、図１７（ａ）及び（ｂ）に、ＣＩＰ−ＣＳＬ４法及びＣＩＰ法を１次元の移流方程式に適用し、その際の時間進展の補間特性を比較した図を示す。図１７（ａ）及び（ｂ）の特性は、所定の信号波形を所定時間一方向に移流させた際の信号波形の再現性を示しており、その横軸は位置であり、縦軸は補間対象となるパラメータの値である。
【０１１７】
図１７（ａ）及び（ｂ）中の特性７０は、初期波形（原波形）である。また、特性７１及び７２は、それぞれＣＩＰ−ＣＳＬ４法及びＣＩＰ法の補間処理により得られた移流後の信号波形である。なお、図１７（ａ）及び（ｂ）の計算条件は、移流量の値を０．１とし、計算繰り返し回数は１０００回とした。
【０１１８】
図１７（ａ）及び（ｂ）の結果から明らかなように、例えば、ＣＩＰ−ＣＳＬ４法で求められた信号波形７１の立ち上がり及び立ち上がり部分がＣＩＰ法のそれより急峻になっており、ＣＩＰ−ＣＳＬ４法の方がＣＩＰ法より原波形７０の崩れが少なくなっている。このことから、ＣＩＰ法に比べて、ＣＩＰ−ＣＳＬ４法の方が高精度に時間補間できることが分かる。これは、ＣＩＰ−ＣＳＬ４法では、補間対象となるパラメータのエネルギー保存が数学的に保証されているのに対して、ＣＩＰ法ではエネルギー保存が数学的に保証されていないためである。
【０１１９】
［装置構成］
図１８は、本実施形態に係る画像処理装置を適用した画像処理システムのブロック構成図である。本実施形態の画像処理システム６５は、撮像装置５で撮像した複数の画像フレームからなる画像群を画像処理装置６０でフレームレート変換及び補間処理し、補間済みの画像群を表示装置６に表示するシステムである。なお、本実施形態では、画像処理装置６０以外のシステム構成は第１の実施形態と同様とした。
【０１２０】
画像処理装置６０は、撮像装置５で撮像した複数の画像フレームからなる原画像群のフレームレートを拡大し、その際に新たに生成される画像フレームの画素の画素値（未知）を画素値が既知の画像フレームから求める。
【０１２１】
図１９は、画像処理装置６０の内部構成を示すブロック図である。画像処理装置６０は、フレームレート変換部６１と、微分値算出部１２と、積分値算出部１３と、第１記憶部１４と、第２記憶部１５と、補間処理部１６と、変換画像生成部６２とを備える。また、補間処理部１６は、係数算出部１７と、多項式演算部１８とで構成される。そして、各部の入出力端子は、上記数式１１及び１３〜１５式を計算できるように各部間で適宜接続されている。
【０１２２】
本実施形態の画像処理装置６０は、図４に示した第１の実施形態のそれとの比較から明らかなように、第１の実施形態の画像拡大部１１及び拡大画像生成部１９をそれぞれフレームレート変換部６１及び変換画像生成部６２で置き換えた構成となる。これ以外の構成は、第１の実施形態と同様である。それゆえ、ここでは、フレームレート変換部６１及び変換画像生成部６２以外の構成についての説明は省略する。
【０１２３】
フレームレート変換部６１は、撮像装置５で撮像して得た複数の画像フレームからなる原画像群を取得する。そして、フレームレート変換部６１は、取得した原画像群のフレームレートを所定のフレームレートに拡大して、フレームレート変換された画像群（以下では、変換画像群ともいう）を生成する。また、フレームレート変換部６１は、変換画像群内の所定時刻ｔｋ＋１の原画素５１の画素値ｆｋ＋１、原画素間の時間間隔Δｔ及び補間画素５３の時間情報Ｔ（＝Δｔｐ）をそれぞれ所定の部に出力する。また、フレームレート変換部６１は、後述するように、各部における処理の繰り返し回数を制御する機能を有する。なお、フレームレート変換部６１は、画像処理装置６０の外部に設けられていてもよい。
【０１２４】
変換画像生成部６２は、画素値が未知の画像フレーム内の全ての画素に対して行った補間処理の結果を統合して、補間済みの変換画像群を生成する。
【０１２５】
［補間処理］
次に、本実施形態の補間処理を図２０及び２１を参照しながら説明する。図２０は、補間処理全体の手順を示すフローチャートである。図２１は、図２０中のステップＳ４４内の処理の手順を示すフローチャートである。
【０１２６】
まず、フレームレート変換部６１は、撮像装置５で所定の時間間隔Δｔで連続撮像された複数の画像フレームからなる原画像群を取得する（ステップＳ４１）。
【０１２７】
次いで、フレームレート変換部６１は、入力された原画像群のフレームレートを所定のフレームレートに拡大して変換画像群を生成する（ステップＳ４２）。
【０１２８】
次いで、フレームレート変換部６１は、以下に説明するステップＳ４４〜Ｓ４６の処理の繰り返し回数を制御する第１の制御カウンタＬを初期化（Ｌ＝１）する（ステップＳ４３）。なお、第１の制御カウンタＬは、画像フレーム内の画素の位置を示すパラメータである。
【０１２９】
次いで、画像処理装置６０は、第１の制御カウンタＬに対応する画像フレーム内の所定位置において、変換画像群内で時系列に配列された複数の補間画素の補間処理を行う（ステップＳ４４）。なお、ステップＳ４４については、図２１を参照しながら後で詳述する。
【０１３０】
次いで、フレームレート変換部６１は、第１の制御カウンタＬをその最大値Ｌｍａｘ（画像フレーム内の画素数）と比較する（ステップＳ４５）。
【０１３１】
第１の制御カウンタＬが最大値Ｌｍａｘより小さい場合、すなわち、画像フレーム内の全ての画素位置について補間処理が終了していない場合、ステップＳ４５はＹＥＳ判定となる。この場合、フレームレート変換部６１は、第１の制御カウンタＬを更新する（ステップＳ４６：Ｌ＝Ｌ＋１）。その後は、ステップＳ４４〜Ｓ４６の処理を繰り返す。
【０１３２】
そして、画像フレーム内の全ての画素位置について補間処理が終了すると、ステップＳ４５はＮＯ判定となり、変換画像生成部６２は、全ての補間画素に対する処理結果を統合して、補間済みの変換画像群を生成する（ステップＳ４７）。
【０１３３】
次いで、表示装置６は、補間済みの変換画像群を表示する（ステップＳ４８）。なお、本実施形態では、各画素位置の補間処理を画像フレームの画素数だけ繰り返す例を説明したが、本発明はこれに限定されず、各画素位置の補間処理を平行して同時に処理してもよい。
【０１３４】
次に、ステップＳ４４の補間処理を図２１を参照しながら詳細に説明する。
【０１３５】
まず、フレームレート変換部６１は、以下に説明するステップＳ５２〜Ｓ６１の処理の繰り返し回数を制御する第２の制御カウンタｋを初期化（ｋ＝１）する（ステップＳ５１）。なお、第２の制御カウンタｋは、変換画像群内における画素値が既知の画像フレームの時刻を示すパラメータである（図１６参照）。
【０１３６】
次いで、第１記憶部１４及び第２記憶部１５は、時刻ｔｋの原画素５２（第２画素）における画素値ｆｋ及び微分値ｇｋをそれぞれ記憶する（ステップＳ５２）。なお、ｋ＝１の場合の微分値ｇｋは、予め設定された所定の値を第２記憶部１５に記憶する。
【０１３７】
次いで、微分値算出部１２及び積分値算出部１３は、フレームレート変換部６１から時刻ｔｋ＋１における原画素５１（第１画素）の画素値ｆｋ＋１を取得する（ステップＳ５３）。
【０１３８】
次いで、微分値算出部１２及び積分値算出部１３は、第１記憶部１４及び第２記憶部１５から、時刻ｔｋの原画素５２における画素値ｆｋ及び微分値ｇｋをそれぞれ読み出す（ステップＳ５４）。
【０１３９】
次いで、微分値算出部１２及び積分値算出部１３は、フレームレート変換部６１から原画素間の時間間隔Δｔを取得する（ステップＳ５５）。なお、ステップＳ５３〜Ｓ５５の処理は同時に行ってもよいし、その順序を適宜変更してもよい。
【０１４０】
次いで、微分値算出部１２及び積分値算出部１３は、取得した原画素５１（時刻ｔｋ＋１）の画素値ｆｋ＋１、原画素５２（時刻ｔｋ）のｆｋ、及び、時間間隔Δｔを用いて、原画素５１における微分値ｇｋ＋１及び積分値ｒｋ＋１をそれぞれ求める（ステップＳ５６）。具体的には、原画素５１における微分値ｇｋ＋１及び積分値ｒｋ＋１をそれぞれ上記数式１４及び１５で表されるコンパクトスキームを用いて算出する。
【０１４１】
次いで、係数算出部１７は、上記ステップＳ５２〜Ｓ５６で取得及び算出した画素値（ｆｋ＋１、ｆｋ）、微分値（ｇｋ＋１、ｇｋ）、積分値（ｒｋ＋１）及び時間間隔（Δｔ）を用いて、上記数式１１の多項式中の係数Ａ、Ｂ及びＣを求める（ステップＳ５７）。具体的には、係数算出部１７は、上記数式１３を用いて係数Ａ、Ｂ及びＣを求める。そして、係数算出部１７は、求めた係数Ａ〜Ｃを多項式演算部１８に出力する。
【０１４２】
また、この際、第１記憶部１４は、上記数式１１の多項式中の係数Ｅとして、原画素５２の画素値ｆｋを多項式演算部１８に出力する。また、第２記憶部１５は、上記数式１１の多項式中の係数Ｄとして、原画素５２における微分値ｇｋを多項式演算部１８に出力する。
【０１４３】
次いで、多項式演算部１８は、上記数式１１の多項式中の係数Ａ〜Ｅを取得すると共に、フレームレート変換部６１から、補間画素５３（第３画素）の時刻情報Ｔ＝Δｔｐ（時刻ｔｋ＝０からの時間、図１６参照）を取得する（ステップＳ５８）。
【０１４４】
次いで、多項式演算部１８は、取得した係数Ａ〜Ｅ及び補間画素５３の時刻Ｔ＝Δｔｐを用いて、補間画素５３の画素値Ｆ（Ｔ）を算出する（ステップＳ５９）。そして、多項式演算部１８は、算出した補間画素５３の画素値Ｆ（Ｔ）を変換画像生成部６２に出力する。
【０１４５】
なお、隣り合う原画素間に複数の補間画素が存在する場合には、補間画素毎にステップＳ５８及びＳ５９を繰り返してもよいし、ステップＳ５８でその複数の補間画素の時刻を同時に取得して、ステップＳ５９で各補間画素の画素値を同時に求めてもよい。
【０１４６】
次いで、フレームレート変換部６１は、第２の制御カウンタｋをその最大値ｋｍａｘ（変換画像群中の原画像フレーム数−１）と比較する（ステップＳ６０）。
【０１４７】
第２の制御カウンタｋが最大値ｋｍａｘより小さい場合、すなわち、画像フレーム内の所定位置において時系列に配列された複数の画素からなる画素群中の全ての補間画素に対して補間処理が終了していない場合、ステップＳ６０はＹＥＳ判定となる。この場合には、第２の制御カウンタｋを更新（ｋ＝ｋ＋１）してステップＳ５２に戻る（ステップＳ６１）。その後は、ステップＳ５２〜Ｓ６１の処理を繰り返す。
【０１４８】
そして、時系列に配列された複数の画素からなる画素群中の全ての補間画素に対して補間処理が終了した場合には、ステップＳ６０はＮＯ判定となり、図２０中のステップＳ４５に進む。
【０１４９】
本実施形態では、以上のようにしてフレームレート変換された画像群に対して補間処理を行う。本実施形態では、上述のように、ＣＩＰ−ＣＳＬ４法を用いてフレームレート変換された画像群内の画素値が未知である補間画素に対して補間を行う。それゆえ、本実施形態によれば、第１の実施形態と同様の効果が得られる。
【０１５０】
上述した第２の実施形態の応用例としては、例えば、インターレース走査（interlace scanning）方式の画像とプログレッシブ走査（progressive scanning）方式の画像との間の画像変換（ｉ／ｐ変換）を行う際の処理に用いることができる。この場合、例えば、２４ｐの画像を６０ｉの画像に変換する際や、１８０ｉの画像を３０ｐの画像に変換する際などに第２の実施形態を用いる。
【０１５１】
また、上記実施形態では、本発明を画像処理に適用する例を説明したが、画像処理以外では、次のような用途に本発明を適用することができる。
（１）デジタルシグナルプロセッサ（ＤＳＰ）における処理クロックのアップ／ダウンコンバージョン
（２）音声サンプリング周波数の変換（例えば、４４．１ｋＨｚのサンプリング周波数を１９２ｋＨｚのサンプリング周波数に変換するなど）
（３）株価、為替、債権価格の予想（一目均衡表の変種）
【０１５２】
上記（１）の応用例では、ＤＳＰの処理クロックでサンプリングする任意のパラメータが補間値（補間関数）となる。上記（２）の応用例では、サンプリング周波数を変えたことにより補間が必要となった周波数成分の信号強度が補間値となる。また、上記（４）の適用例では、株価、為替、債権価が補間値となる。
【０１５３】
上記実施形態において、画像処理装置は、専用の装置として構成した例を説明したが、本発明はこれに限定されない。例えば、カメラなどの必要な周辺機器が接続され且つ各種データ処理を行うパーソナルコンピュータ装置に、本発明による画像処理を行うソフトウェア（プログラム）を実装して、本発明の処理を行う構成としてもよい。この場合、本発明の処理を実行するプログラムは、光ディスクや半導体メモリなどの媒体で配布する他に、インターネットなどの伝送手段を介してダウンロードさせる構成としてもよい。
【図面の簡単な説明】
【０１５４】
【図１】原画像を拡大した際の拡大画像内の１次元画素配置図である。
【図２】ＣＩＰ−ＣＳＬ４法と、その他の補間手法との補間特性を比較した図を示す。
【図３】本発明の第１の実施形態に係る画像処理システムのブロック構成図である。
【図４】第１の実施形態の画像処理装置のブロック構成図である。
【図５】第１の実施形態の微分値算出部のブロック構成図である。
【図６】第１の実施形態の積分値算出部のブロック構成図である。
【図７】第１の実施形態の補間処理の手順を示すフローチャートである。
【図８】図７中のステップＳ３の処理の手順を示すフローチャートである。
【図９】原画像の２次元画素配置図である。
【図１０】原画像を拡大した直後の２次元画素配置図である。
【図１１】Ｘ方向の補間処理が終了した際の２次元画素配置図である。
【図１２】Ｙ方向の補間処理が終了した際の２次元画素配置図である。
【図１３】第１の実施形態の補間処理の結果を示す図である。
【図１４】欠陥画素周辺の画素の２次元配置図である。
【図１５】変形例の画像処理装置のブロック構成図である。
【図１６】フレームレート変換した際の変換画像群内の画素配置図である。
【図１７】図１７（ａ）はＣＩＰ−ＣＳＬ４法の時間進展の補間特性であり、図１７（ｂ）はＣＩＰ法の時間進展の補間特性である。
【図１８】本発明の第２の実施形態に係る画像処理システムのブロック構成図である。
【図１９】第２の実施形態の画像処理装置のブロック構成図である。
【図２０】第２の実施形態の補間処理の手順を示すフローチャートである。
【図２１】図１８中のステップＳ４４の処理の手順を示すフローチャートである。
【符号の説明】
【０１５５】
１，５１…原画素（第１画素）、２，５２…原画素（第２画素）、３，５３…補間画素（第３画素）、４，６５…画像処理システム、５…撮像装置、６…表示装置、１０，３０，６０…画像処理装置、１１…画像拡大部、１２…微分値算出部、１３…積分値算出部、１４…第１記憶部、１５…第２記憶部、１６…補間処理部、１７…係数算出部、１８…多項式演算部、１９…拡大画像生成部、２１，２３…減算回路、２２，２４…除算回路、２５…積算回路、３１…欠陥画像抽出部、３２…画像生成部、３３…欠陥画素、６１…フレームレート変換部、６２…変換画像生成部
【図１】
2010045666.tif 000018
【図２】
2010045666.tif 000019
【図３】
2010045666.tif 000020
【図４】
2010045666.tif 000021
【図５】
2010045666.tif 000022
【図６】
2010045666.tif 000023
【図７】
2010045666.tif 000024
【図８】
2010045666.tif 000025
【図９】
2010045666.tif 000026
【図１０】
2010045666.tif 000027
【図１１】
2010045666.tif 000028
【図１２】
2010045666.tif 000029
【図１４】
2010045666.tif 000030
【図１５】
2010045666.tif 000031
【図１６】
2010045666.tif 000032
【図１７】
2010045666.tif 000033
【図１８】
2010045666.tif 000034
【図１９】
2010045666.tif 000035
【図２０】
2010045666.tif 000036
【図２１】
2010045666.tif 000037
【図１３】
2010045666.tif 000038