(57)【要約】【課題】より簡易な構成で高精度の画像補間が可能な情報処理装置及び情報処理方法を提供する。【解決手段】画素値出力部と、微分値算出部と、補間処理部とを備える情報処理装置を提供し、各部が次のように機能するようにする。画素値出力部は、所定画像内の画素値が既知である第１画素から所定方向に所定距離、該所定距離の２倍の距離及び該所定距離の３倍の距離にそれぞれ位置する画素値が既知の第２、第３及び第４画素の各画素値を出力する。微分値算出部は、第１〜第４画素の画素値を取得して、それらの画素値を用いて第１〜第３画素における画素値の微分値を算出する。そして、補間処理部は、第１〜第３画素の画素値、第１〜第３画素における微分値及び所定距離または所定時間を用いて、ＩＤＯ法により、第１画素及び第３画素の間に位置する画素値が未知の第５画素の画素値を算出する。【選択図】図４
2010044647.tif 000002
【特許請求の範囲】
【請求項１】
所定画像内の画素値が既知である第１画素から所定方向に所定距離、該所定距離の２倍の距離及び該所定距離の３倍の距離にそれぞれ位置する画素値が既知の第２、第３及び第４画素の各画素値を出力する、または、前記所定画像からそれぞれ所定時間、該所定時間の２倍の時間及び該所定時間の３倍の時間離れた画像内の第１画素と同じ位置の画素値が既知である第２、第３及び第４画素の各画素値を出力する画素値出力部と、
第１〜第４画素の前記画素値を取得し、第１及び第２画素の前記画素値に基づいて第１画素における画素値の微分値を算出し、第２及び第３画素の前記画素値に基づいて第２画素における画素値の微分値を算出し、且つ、第３及び第４画素の前記画素値に基づいて第３画素における画素値の微分値を算出する微分値算出部と、
第１〜第３画素の前記画素値、第１〜第３画素における前記微分値、及び、前記所定距離または前記所定時間を取得して、ＩＤＯ法により、第１画素及び第３画素の間に位置する画素値が未知の第５画素の画素値を算出する補間処理部と、
を備える情報処理装置。
【請求項２】
前記微分値算出部が、前記所定距離離れた画素値が既知の２つの画素間の画素値の差を前記所定距離で除算して前記微分値を求める、または、前記所定時間離れた画素値が既知の２つの画素間の画素値の差を前記所定時間で除算して前記微分値を求める
請求項１に記載の情報処理装置。
【請求項３】
さらに、前記画像を撮像して得る撮像部を備える
請求項１に記載の情報処理装置。
【請求項４】
第５画素の前記画素値が第５画素の第２画素からの距離または時間を変数とする５次の多項式で表され、
前記補間処理部が、
前記多項式中の各項の係数を算出する係数算出部と、
前記係数算出部により算出された前記係数に基づいて、第５画素の前記画素値を求める多項式演算部とを有する
請求項１に記載の情報処理装置。
【請求項５】
さらに、前記所定画像の原画像を拡大して、前記所定画像内に第５画素を生成する画像拡大部を備える
請求項１に記載の情報処理装置。
【請求項６】
さらに、前記所定画像と、前記所定画像からそれぞれ前記所定時間、前記所定時間の２倍の時間及び前記所定時間の３倍の時間離れた画像とを含む原画像群のフレームレートを拡大して、前記所定画像と、前記所定画像から前記所定時間の２倍の時間離れた画像との間に、第５画素を含む画像を生成するフレームレート変換部を備える
請求項１に記載の情報処理装置。
【請求項７】
さらに、第５画素が欠陥画素であり、前記所定画像内の前記欠陥画素の位置を抽出する欠陥画像抽出部を備える
請求項１に記載の情報処理装置。
【請求項８】
前記画素値出力部が、複数の遅延回路を有する
請求項１に記載の情報処理装置。
【請求項９】
所定画像内の画素値が既知である第１画素から所定方向に所定距離、該所定距離の２倍の距離及び該所定距離の３倍の距離にそれぞれ位置する画素値が既知の第２、第３及び第４画素の各画素値を出力する、または、前記所定画像からそれぞれ所定時間、該所定時間の２倍の時間及び該所定時間の３倍の時間離れた画像内の第１画素と同じ位置の画素値が既知である第２、第３及び第４画素の各画素値を出力するステップと、
第１〜第４画素の前記画素値を取得し、第１及び第２画素の前記画素値に基づいて第１画素における画素値の微分値を算出し、第２及び第３画素の前記画素値に基づいて第２画素における画素値の微分値を算出し、且つ、第３及び第４画素の前記画素値に基づいて第３画素における画素値の微分値を算出するステップと、
第１〜第３画素の前記画素値、第１〜第３画素における前記微分値、及び、前記所定距離または前記所定時間を取得して、ＩＤＯ法により、第１画素及び第３画素の間に位置する画素値が未知の第５画素の画素値を算出するステップと、
を含む情報処理方法。
【請求項１０】
所定画像内の画素値が既知である第１画素から所定方向に所定距離、該所定距離の２倍の距離及び該所定距離の３倍の距離にそれぞれ位置する画素値が既知の第２、第３及び第４画素の各画素値を出力する、または、前記所定画像からそれぞれ所定時間、該所定時間の２倍の時間及び該所定時間の３倍の時間離れた画像内の第１画素と同じ位置の画素値が既知である第２、第３及び第４画素の各画素値を出力する処理と、
第１〜第４画素の前記画素値を取得し、第１及び第２画素の前記画素値に基づいて第１画素における画素値の微分値を算出し、第２及び第３画素の前記画素値に基づいて第２画素における画素値の微分値を算出し、且つ、第３及び第４画素の前記画素値に基づいて第３画素における画素値の微分値を算出する処理と、
第１〜第３画素の前記画素値、第１〜第３画素における前記微分値、及び、前記所定距離または前記所定時間を取得して、ＩＤＯ法により、第１画素及び第３画素の間に位置する画素値が未知の第５画素の画素値を算出する処理と、
をコンピュータ装置に実装して実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置、情報処理方法及びプログラムに関し、より詳細には、画像処理に適用して好適な情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、情報（データ）の補間技術として、ラグランジュ補間（多項式近似）法やキュービックスプライン補間法等の様々な技術が知られている。また、これらの補間技術は、例えば、静止画像を拡大する際や静止画像から動画像を生成する際の画像処理に適用されている（例えば、特許文献１〜３参照）。
【０００３】
特許文献１〜３には、主に入力された１枚の静止画像から動画像を生成する技術が記載されている。特許文献１〜３では、画素（画素値）の移動を移流方程式により推定することにより、１枚の静止画像から動画像を生成する技術が提案されている。
【０００４】
特許文献２では、数値計算時の数値誤差拡散による画質劣化を改善するために、１次元のＣＩＰ（Constrained Interpolation Profile）法を用いて移流方程式を解く技術が提案されている。また、特許文献３には、２次元に拡張したＣＩＰ法により移流方程式を解く技術が提案されている。なお、特許文献３には、動画像生成だけでなく、画像の一部の拡大する処理も記載されている。
【０００５】
なお、特許文献２及び３で用いられているＣＩＰ法は、セミ・ラグランジュ法と呼ばれる解法の一種である。ＣＩＰ法では、位置変数等の３次多項式を補間関数（補間対象となるパラメータの関数）として用い、移流方程式を解く。
【０００６】
【特許文献１】特開２００４−３３４６９４号公報
【特許文献２】特開２００６−３３８３６５号公報
【特許文献３】特開２００７−２９３５２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したラグランジュ補間法では、所定画素の補間値（画素値）を求める際に、近傍の画素情報のみを使用する。そのため、多項式近似による誤差伝搬により、偽信号が発生する。この問題を解消するためには、サンプリング点を増やす必要がある。しかしながら、この場合、記憶量の増大や演算時間の増大といった問題が生じる。また、ラグランジュ補間法では、補間関数をより高次にすると、補間曲線（補間特性）が振動する現象、いわゆるルンゲの現象と呼ばれる現象が発生し、計算が不安定になる。
【０００８】
また、上述した特許文献２及び３で用いられているＣＩＰ法は、移流方程式の移流項（速度成分と補間関数の微分値との積で表される項）と非移流項とを分離して解くので、補間関数のエネルギー保存は数学的に保証されない。そのため、精度の高い補間が行えないという問題が生じる。また、上述した特許文献２及び３では、ＣＩＰ法を用いて移流方程式を解く際に、補間領域の速度場等を予め設定するなどの必要性があり、計算が複雑であるという問題がある。
【０００９】
本発明は上記問題を解決するためになされたものであり、本発明の目的は、より簡易な構成で高精度の画像補間が可能な情報処理装置、情報処理方法及びそれを実行するプログラムを提供することである。
【課題を解決するための手段】
【００１０】
上記問題を解決するために、本発明の情報処理装置は、画素値出力部と、微分値算出部と、補間処理部とを備える構成とし、各部が次のように機能するようにした。画素値出力部は、所定画像内の画素値が既知である第１画素から所定方向に所定距離、該所定距離の２倍の距離及び該所定距離の３倍の距離にそれぞれ位置する画素値が既知の第２、第３及び第４画素の各画素値を出力する。または、画素値出力部は、所定画像からそれぞれ所定時間、該所定時間の２倍の時間及び該所定時間の３倍の時間離れた画像内の第１画素と同じ位置の画素値が既知である第２、第３及び第４画素の各画素値を出力する。微分値算出部は、第１〜第４画素の画素値を取得して、第１及び第２画素の画素値に基づいて第１画素における画素値の微分値を算出する。また、微分値算出部は、第２及び第３画素の画素値に基づいて第２画素における画素値の微分値を算出する。さらに、微分値算出部は、第３及び第４画素の画素値に基づいて第３画素における画素値の微分値を算出する。そして、補間処理部は、第１〜第３画素の画素値、第１〜第３画素における微分値、及び、所定距離または所定時間を取得して、ＩＤＯ法により、第１画素及び第３画素の間に位置する画素値が未知の第５画素の画素値を算出する。
【００１１】
また、上記問題を解決するために、本発明の情報処理方法では、次のようにして処理を行うようにした。まず、所定画像内の画素値が既知である第１画素から所定方向に所定距離、該所定距離の２倍の距離及び該所定距離の３倍の距離にそれぞれ位置する画素値が既知の第２、第３及び第４画素の各画素値を出力する。または、所定画像からそれぞれ所定時間、該所定時間の２倍の時間及び該所定時間の３倍の時間離れた画像内の第１画素と同じ位置の画素値が既知である第２、第３及び第４画素の各画素値を出力する。次いで、第１〜第４画素の画素値を取得し、第１及び第２画素の画素値に基づいて第１画素における画素値の微分値を算出する。また、第２及び第３画素の画素値に基づいて第２画素における画素値の微分値を算出し、且つ、第３及び第４画素の画素値に基づいて第３画素における画素値の微分値を算出する。そして、第１〜第３画素の画素値、第１〜第３画素における微分値、及び、所定距離または所定時間を用いて、ＩＤＯ法により、第１画素及び第３画素の間に位置する画素値が未知の第５画素の画素値を算出する。
【００１２】
すなわち、本発明では、ＩＤＯ（Interpolated Differential Operator）法を用いて画像の補間処理を行う。ＩＤＯ法では、補間対象となる画素値のエネルギー保存性も実質保証される。また、ＩＤＯ法はＣＩＰ法に比べて計算が簡易である。
【発明の効果】
【００１３】
上述のように、本発明によれば、画素の画素値（輝度値等）を補間する際に、ＩＤＯ法を用いるので、より簡易な計算で高精度の画像の補間処理が可能になる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を、添付図面を参照しながら説明する。本発明の実施形態は以下の順で説明する。また、下記実施形態では、情報処理装置として、撮像して得た画像の補間処理を行う画像処理装置を例にとって説明する。また、本発明は以下の例に限定されるものではない。
１．第１の実施形態：画像拡大時の画像処理装置の構成例
２．第２の実施形態：フレームレート変換時の画像処理装置の構成例
【００１５】
＜第１の実施形態＞
［補間処理の原理］
まず、第１の実施形態の画像処理装置及び補間処理を具体的に説明する前に、本実施形態で用いるＩＤＯ法を図１を参照しながら説明する。
【００１６】
ＩＤＯ法は、ＣＩＰ法と同様に移流拡散方程式を数値的に解くために開発されたものであり、ＣＩＰ法を基にしてさらに高次の補間関数を用いる解法である。ＩＤＯ法では、補間対象となるパラメータのエネルギー保存が実質保証される。また、その計算手法は、ＣＩＰ法に比べて簡易になる。
【００１７】
図１は、原画像を拡大した際の拡大画像の１次元の画素配置図である。図１には、拡大画像における画素値が既知の画素、すなわち、原画像の画素に対応する画素（以下、原画素ともいう）と、その原画素間に生成される画素値が未知の画素（以下、補間画素ともいう）との位置関係を示している。なお、図１の例は、原画素間に一つの補間画素が生成されるように原画像を拡大した例である。
【００１８】
また、図１中の原画素１〜４に記載のパラメータｆは画素値であり、画素値ｆの添え字ｉは画素の位置を示している。なお、画素値としては、輝度値を用い得る。また、画像がカラーで有る場合には、画像のＲ（赤）、Ｇ（緑）、Ｂ（青）の各成分の強度を画素値として用いてもよい。また、図１中のｆ（ｘ１）及びｆ（ｘ２）は、それぞれ位置ｘ１の補間画素５の画素値及び位置ｘ２の補間画素６の画素値である。
【００１９】
以下の原理説明では、位置ｘｉ＋１の原画素１（第１画素）と位置ｘｉ−１の原画素３（第３画素）との間の補間画素５及び６の画素値の補間を考える。
【００２０】
ＩＤＯ法では、補間画素５または６（第５画素）の画素値ｆ（ｘ）（補間値）は、下記数式１で示すように、位置変数ｘの５次多項式で表される。なお、下記数式１では、原画素２の位置ｘｉを原点（ｘｉ＝０）としており、下記数式１中のΔｘは、原画素間の距離（サンプル間隔）である。
【００２１】
【数１】
2010044647.tif 000003
【００２２】
また、上記数式１の画素値ｆ（ｘ）の微分値は、下記数式２で表される。
【００２３】
【数２】
2010044647.tif 000004
【００２４】
そして、上記数式１及び２は、原画素１〜３の位置において、下記数式３に示すような拘束条件を満たさなければならない。なお、下記数式３中のｇは画素値の微分値である。
【００２５】
【数３】
2010044647.tif 000005
【００２６】
ここで、上記数式１及び２を上記数式３に代入すると、下記数式４が得られる。
【００２７】
【数４】
2010044647.tif 000006
【００２８】
上記数式４を連立方程式として解くと、下記数式５に示すように、上記数式１の多項式中の各項の係数Ａ〜Ｆが求まる。
【００２９】
【数５】
2010044647.tif 000007
【００３０】
ＩＤＯ法では、上記数式５で求めた係数Ａ〜Ｆ及び補間画素の位置情報ｘ（＝Δｘｐまたは−Δｘｐ）を上記数式１に代入して補間画素５または６の画素値ｆ（ｘ）を求める。
【００３１】
なお、本実施形態では、ＩＤＯ法を用いているので（画素値のエネルギー保存が実質保証されているので）、各原画素における微分値ｇは、コンパクトスキームと呼ばれる簡易な手法により求める。コンパクトスキームでは、微分値ｇは、所定距離離れた２つの原画素間の画素値の差分を所定距離で除算して求める。例えば、図１中の原画素１における微分値ｇｉ＋１は、下記数式６により求める。
【００３２】
【数６】
2010044647.tif 000008
【００３３】
ここで、参考として、図２に、ＩＤＯ法と、その他の補間手法との補間特性を比較した図を示す。図２は、所定間隔で値の異なる離散サンプルデータがある場合の補間特性（補間形状）を比較した図である。なお、図２の横軸は位置変数ｘであり、縦軸は補間対象となる関数ｙの値（本実施形態では画素値）である。
【００３４】
図２中の白抜き四角印４０は離散サンプルデータである。また、太破線の特性４１は、ラグランジュ補間法の０次補間（０次ホールド補間）の特性であり、実線の特性４２は１次補間（直線補間）の特性であり、そして、破線の特性４３は２次補間の特性である。点線の特性４４はバイキュービック法の補間特性である。二点鎖線の特性４５はＣＩＰ法の補間特性であり、一点鎖線の特性４６はＣＩＰ−ＣＳＬ４（Conservative Semi-Lagrangian 4）法の補間特性である。また、太実線の特性４７はＩＤＯ法の補間特性である。
【００３５】
なお、バイキュービック法はキュービック（３次）ラグランジュ補間の一種であり、変数を変えることにより補間形状を変化させる。ＣＩＰ−ＣＳＬ４法は、ＣＩＰ法を改良して補間対象となるパラメータのエネルギー保存が数学的に保証されるようにしたものである。
【００３６】
［装置構成］
図３は、本実施形態の画像処理装置を適用した画像処理システムのブロック構成図である。本実施形態の画像処理システム７は、撮像装置８で撮像した画像データ（原画像）を画像処理装置１０で拡大及び補間処理し、補間済みの画像を表示装置９に表示するシステムである。
【００３７】
撮像装置８としては、所定のフレーム周期で連続して得られる画像信号をそのまま記録することにより、動画像信号を記録する撮像装置（いわゆるビデオカメラ）を用いることができる。また、撮像装置８として、１フレームの画像信号だけを記録することにより、静止画像信号を記録する撮像装置（いわゆるスチルカメラ）を用いてもよい。なお、本実施形態では、画像処理装置１０と撮像装置８とが別装置である例を説明するが、本発明はこれに限定されず、画像処理装置１０が撮像装置８（撮像部）を含んでいてもよい。
【００３８】
表示装置９は、補間前の画像データと補間後の画像データとを別個に表示することはもちろん、それらの画像データを一緒（同一画面上）に表示することができる。なお、本実施形態では、画像処理装置１０と表示装置９とが別装置である例を説明するが、本発明はこれに限定されず、画像処理装置１０が表示装置９を含んでいてもよい。
【００３９】
画像処理装置１０は取得した原画像を空間的に拡大し、その拡大画像において、原画素の画素値（既知）から、画素値が未知の補間画素の画素値を求める。
【００４０】
図４は、画像処理装置１０の内部構成を示すブロック図である。画像処理装置１０は、画像拡大部１２と、遅延部１３と、微分値算出部１４と、補間処理部１５と、拡大画像生成部１８とを備える。また、補間処理部１５は、係数算出部１６と、多項式演算部１７とで構成される。そして、各部の入出力端子は、上記数式１、５及び６を計算できるように各部間で適宜接続されている。
【００４１】
画像拡大部１２は、撮像装置８で撮像した画像データ（原画像）を取得し、その原画像を所定のサイズに拡大する。そして、画像拡大部１２は、拡大画像内の所定の原画素の画素値ｆ、原画素間の距離Δｘ（サンプル間隔）及び補間画素の位置情報ｘをそれぞれ所定の部に出力する。例えば、図４の例では、画像拡大部１２は、原画素１の画素値ｆｉ＋１、原画素間の距離Δｘ及び補間画素５または６の位置情報ｘ＝Δｘｐまたは−Δｘｐをそれぞれ所定の部に出力する。また、画像拡大部１２は、後述するように、各部における処理の繰り返し回数を制御する機能を有する。また、画像拡大部１２は、画像処理装置１０の外部に設けられていてもよい。
【００４２】
遅延部１３（画素値出力部）は、拡大画像中の原画素における画素値の微分値ｇの計算に必要な画素値ｆを微分値算出部１４に出力する。具体的には、遅延部１３は、画像拡大部１２から入力された画素値の原画素の位置から−ｘ方向（図１面上では右から左に向かう方向）にそれぞれΔｘ〜３Δｘの距離離れた位置の原画素の画素値を出力する。例えば、位置ｘｉ＋１の原画素１の画素値ｆｉ＋１が遅延部１３に入力された場合には、遅延部１３は、位置ｘｉの原画素２の画素値ｆｉ、位置ｘｉ−１の原画素３の画素値ｆｉ−１及び位置ｘｉ−２の原画素４の画素値ｆｉ−２を出力する（図４参照）。
【００４３】
また、遅延部１３は、多項式中の係数Ａ〜Ｄの計算に必要な画素値ｆを係数算出部１６に出力する。例えば、図４の例では、遅延部１３は、位置ｘｉの原画素２の画素値ｆｉ及び位置ｘｉ−１の原画素３の画素値ｆｉ−１を係数算出部１６に出力する。
【００４４】
図５に、遅延部１３の内部構成を示す。遅延部１３は、３つの遅延回路から構成され、入力側から第１遅延回路２１、第２遅延回路２２及び第３遅延回路２３が配置されている。第１遅延回路２１の出力端子は第２遅延回路２２の入力端子に接続され、第２遅延回路２２の出力端子は第３遅延回路２３の入力端子に接続されている。また、遅延部１３は、各遅延回路の出力端子からそれぞれ画素値ｆが平行して出力される構成になっている。
【００４５】
各遅延回路は、入力された画素値の原画素の位置から−ｘ方向にΔｘの距離離れた位置の原画素の画素値を出力する。それゆえ、図５に示す遅延部１３では、第１遅延回路２１に位置ｘｉ＋１の原画素１（第１画素）の画素値ｆｉ＋１が入力された場合には、まず、第１遅延回路２１は位置ｘｉの原画素２（第２画素）の画素値ｆｉを出力する。次いで、位置ｘｉの原画素２の画素値ｆｉが入力された第２遅延回路２２は、位置ｘｉ−１の原画素３（第３画素）の画素値ｆｉ−１を出力する。そして、位置ｘｉ−１の原画素３の画素値ｆｉ−１が入力された第２遅延回路２２は、位置ｘｉ−２の原画素４（第４画素）の画素値ｆｉ−２を出力する。このようにして、遅延部１３は、入力された画素値の原画素の位置から−ｘ方向にそれぞれΔｘ〜３Δｘの距離離れた位置の原画素の画素値を出力する。
【００４６】
なお、本実施形態では、遅延部１３を３つの遅延回路で構成し、原画素１（位置ｘｉ＋１）の画素値ｆｉ＋１が入力された際に、原画素２〜４（位置ｘｉ〜ｘｉ−２）の画素値ｆｉ〜ｆｉ−２を出力する例を説明したが、本発明はこれに限定されない。遅延部１３を、原画素の画素値ｆを記憶する記憶部（メモリ）で置き換えてもよい。この場合には、位置ｘｉ＋１の原画素１の画素値ｆｉ＋１が入力された際に、その入力された原画素１の位置に基づいて位置ｘｉ〜ｘｉ−２の原画素２〜４の画素値ｆｉ〜ｆｉ−２を出力するように制御する。
【００４７】
微分値算出部１４は、画像拡大部１２から所定の原画素の画素値及びサンプル間隔Δｘを取得し、遅延部１３からは該所定の原画素から−ｘ方向にそれぞれΔｘ〜３Δｘの距離離れた位置の原画素の画素値を取得する。そして、微分値算出部１４は、それらの入力データに基づいて、所定の原画素及び該所定の原画素から−ｘ方向にそれぞれΔｘ〜２Δｘの距離離れた位置の原画素における画素値の微分値ｇを算出する。例えば、図４の例では、微分値算出部１４は、画像拡大部１２から原画素１の画素値ｆｉ＋１及びサンプル間隔Δｘを取得し、遅延部１３から原画素２〜４の画素値ｆｉ〜ｆｉ−２を取得する。そして、微分値算出部１４は、原画素１〜３における画素値の微分値ｇｉ＋１〜ｇｉ−１を出力する。
【００４８】
図６に、微分値算出部１４の内部構成を示す。微分値算出部１４は３つの微分回路２４〜２６により構成される。各微分回路は、所定位置の原画素の画素値、その原画素から−ｘ方向にΔｘ離れた原画素の画素値及びサンプル間隔Δｘを取得し、それらの入力データを用いて、所定位置の原画素における微分値ｇを算出して出力する。例えば、図６中の微分回路２４では、位置ｘｉ＋１の原画素１の画素値ｆｉ＋１、位置ｘｉの原画素２の画素値ｆｉ及びサンプル間隔Δｘを取得し、位置ｘｉ＋１の原画素１における微分値ｇｉ＋１を算出して出力する。同様にして、遅延回路２５及び２６は、それぞれ位置ｘｉの原画素２における微分値ｇｉ及び位置ｘｉ−１の原画素３における微分値ｇｉ−１を算出して出力する。
【００４９】
また、各微分回路は、上記数式６に示したコンパクトスキームにより微分値ｇを算出する。図７に、微分回路２４の内部構成を示す。なお、微分回路２５及び２６の構成は、微分回路２４と同様である。微分回路２４は、減算回路２７と、除算回路２８とから構成される。減算回路２７は、例えば、画像拡大部１２から入力された位置ｘｉ＋１の原画素１の画素値ｆｉ＋１から、遅延部１３から入力された位置ｘｉの原画素２の画素値ｆｉを差し引く。そして、除算回路２８は、減算回路２７の出力（ｆｉ＋１−ｆｉ）を画像拡大部１２から入力されたサンプル間隔Δｘで割り算する。このような構成により、位置ｘｉ＋１の原画素１における微分値ｇｉ＋１の計算を行う。
【００５０】
係数算出部１６は、上記各部から入力される各データに基づいて、上記数式１の５次多項式中の各項の係数Ａ〜Ｄを算出する。例えば、図４の例では、位置ｘｉ＋１の原画素１の画素値ｆｉ＋１及びサンプル間隔Δｘが、画像拡大部１２から係数算出部１６に入力される。また、位置ｘｉの原画素２の画素値ｆｉ及び位置ｘｉ−１の原画素３の画素値ｆｉ−１が、遅延部１３から係数算出部１６に入力される。さらに、位置ｘｉ＋１〜ｘｉ−１の原画素１〜３における微分値ｇｉ＋１〜ｇｉ−２が、微分値算出部１４から係数算出部１６に入力される。係数算出部１６は、このような入力データを用いて、上記数式５により、上記数式１の５次多項式中の各項の係数Ａ〜Ｄを算出する。
【００５１】
なお、上記数式１の５次多項式中の係数Ｅ及びＦは、上記数式５に示すように、位置ｘｉの原画素２における微分値ｇｉ及び画素値ｆｉにそれぞれ対応する。すなわち、遅延部１３及び微分値算出部１４からそれぞれ出力される位置ｘｉの原画素２における画素値ｆｉ及び微分値ｇｉが、それぞれ係数Ｆ及びＥとなる。それゆえ、本実施形態では、係数算出部１６では係数Ｅ及びＦを求めず、遅延部１３及び微分値算出部１４の所定の出力端子を図４に示すように、直接、多項式演算部１７に接続している。なお、係数Ｅ及びＦを係数算出部１６を介して多項式演算部１７に出力してもよい。この場合には、遅延部１３及び微分値算出部１４の所定の出力端子を多項式演算部１７に接続しなくてよい。
【００５２】
多項式演算部１７は、画像拡大部１２、遅延部１３、微分値算出部１４及び係数算出部１６から入力される種々のデータを用いて、ＩＤＯ法により補間画素の画素値を算出する。図４の例では、多項式演算部１７は、上記各部から、係数Ａ〜Ｆ及び補間画素５または６の位置情報ｘ＝Δｘｐまたは−Δｘｐを取得し、これらのデータを用いて上記数式１を計算し、補間画素５または６の画素値ｆ（ｘ）を求める。
【００５３】
拡大画像生成部１８は、画素値が未知の全ての補間画素に対する補間処理の結果を統合して、補間済みの拡大画像を生成する。
【００５４】
［補間処理］
次に、本実施形態の補間処理を図８〜１３を参照しながら説明する。なお、図８は、補間処理全体の手順を示すフローチャートであり、図９は、図８中のステップＳ３内の処理手順を示すフローチャートである。また、図１０〜１３は、図８中の各ステップの処理後の画像内の画素配置図である。
【００５５】
まず、画像処理装置１０の画像拡大部１２は、撮像装置８で撮像した原画像データを取得する（ステップＳ１）。図１０に、ステップＳ１で取得される原画像の一例を示す。図１０中の各マス目が画素を表している。この例では、原画像のサイズを１０画素×１０画素とし、原画像には文字「正」が写っている画像の例を考える。なお、文字部に対応する画素は黒色で表し、それ以外の画素は白色で表している。
【００５６】
次いで、画像拡大部１２は、入力された原画像を所定のサイズに拡大する（ステップＳ２）。図１１に、ステップＳ２で得られる拡大画像の画素配置図を示す。図１１の例では、原画像の縦横のサイズをそれぞれ２倍した拡大画像の画素配置図である。すなわち、図１１の例では、図１０に示した１０画素×１０画素のサイズの原画像を、２０画素×２０画素のサイズの拡大画像に拡大している。
【００５７】
この際、拡大画像では、ｘ座標が偶数の列の画素及びｙ座標が偶数の行の画素が補間画素となり、ｘ座標が奇数の列（またはｙ座標が奇数の行）では、原画素と補間画素が交互に配置される。それゆえ、例えば、図１１中の原画素３０の周囲に隣接する８個の画素が補間画素となる。なお、図１１の例では、補間画素を、文字部以外の原画素と同様に白色で表している。
【００５８】
次いで、画像処理装置１０は、拡大画像内の補間画素に対してｘ方向（行方向）の補間処理を行う（ステップＳ３）。この際、上述した１次元のＩＤＯ法を拡大画像の各行に適用する。ただし、上述のように、図１１の例では、ｙ座標が偶数の行に配置される画素は全て補間画素（画素値が未知）であるので、ステップＳ３で補間処理を行えるのは、ｙ座標が奇数の行の補間画素に対してのみとなる。なお、ステップＳ３内の処理については、図９を参照しながら後で詳述する。
【００５９】
図１２に、ステップＳ３でｘ方向の補間処理を行った後の拡大画像の画素配置図を示す。図１２中のグレー部の画素が、ステップＳ３の補間処理により画素値（色）の変わった補間画素である。ステップＳ３の補間処理により、原画素の文字部（黒色部）のｘ方向に隣接する両側の補間画素の色が変わる。
【００６０】
次いで、画像処理装置１０は、拡大画像内の補間画素に対してｙ方向（列方向）の補間処理を行う（ステップＳ４）。この際、原画素の画素値及びステップＳ３で補間処理された奇数行の補間画素の画素値を用いて、それらの間の補間画素（偶数行の画素）の画素値を求める。これにより、ステップＳ３で補間処理されなかった偶数行の補間画素が処理される。なお、ｙ方向の補間処理は、ｘ方向の補間処理（図９の補間処理）と同様にして行う。
【００６１】
図１３に、ステップＳ４でｙ方向の補間処理を行った後の拡大画像の画素配置図を示す。図１３中の斜線部の画素が、ステップＳ４の補間処理により画素値（色）の変わった補間画素である。ステップＳ４の補間処理により、原画素の文字部（黒色部）及び補間画素のグレー部のｙ方向に隣接する両側の補間画素の色が変わる。この結果、図１３に示すように、拡大画像中に拡大された文字「正」が生成される。そして、画像処理装置１０は、生成された補間済みの拡大画像を表示装置９に出力する。
【００６２】
次いで、表示装置９は、画像処理装置１０から入力された補間済みの拡大画像を表示する（ステップＳ５）。
【００６３】
次に、ステップＳ３におけるｘ方向の補間処理を図９を参照しながら詳細に説明する。
【００６４】
まず、画像拡大部１２は、以下に説明するステップＳ２２〜Ｓ３３の処理の繰り返し回数を制御する第１の制御カウンタｍを初期化（ｍ＝１）する（ステップＳ２１）。第１の制御カウンタｍは、拡大画像において補間処理する行数を示すパラメータである。
【００６５】
次いで、画像拡大部１２は、以下に説明するステップＳ２３〜Ｓ３１の処理の繰り返し回数を制御する第２の制御カウンタｉを初期化（ｉ＝１）する（ステップＳ２２）。なお、第２の制御カウンタｉは、各行における原画素の位置を示すパラメータである（図１参照）。
【００６６】
次いで、遅延部１３は、画像拡大部１２から位置ｘｉ＋１における原画素１（第１画素）の画素値ｆｉ＋１を取得する（ステップＳ２３）。
【００６７】
次いで、遅延部１３は、入力された画素値の原画素１の位置ｘｉ＋１から−ｘ方向にそれぞれΔｘ〜３Δｘの距離離れた位置の原画素の画素値を微分値算出部１４に出力する（ステップＳ２４）。すなわち、遅延部１３は、位置ｘｉの原画素２の画素値ｆｉ、位置ｘｉ−１の原画素３の画素値ｆｉ−１及び位置ｘｉ−２の原画素４の画素値ｆｉ−２を微分値算出部１４に出力する。また、この際、遅延部１３は、位置ｘｉの原画素２の画素値ｆｉ及び位置ｘｉ−１の原画素３の画素値ｆｉ−１を係数算出部１６に出力する。
【００６８】
次いで、微分値算出部１４は、画像拡大部１２から原画素１と原画素２とのサンプル間隔Δｘ（＝ｘｉ＋１−ｘｉ）を取得する（ステップＳ２５）。また、この際、微分値算出部１４は、画像拡大部１２から原画素１の画素値ｆｉ＋１も取得する。
【００６９】
次いで、微分値算出部１４は、取得した原画素１〜４の画素値ｆｉ＋１、ｆｉ、ｆｉ−１及びｆｉ−２並びにサンプル間隔Δｘを用いて、位置ｘｉ＋１、ｘｉ及びｘｉ−１の原画素１〜３における微分値ｇｉ＋１、ｇｉ及びｇｉ−１をそれぞれ求める（ステップＳ２６）。例えば、微分値算出部１４は、位置ｘｉ＋１の原画素１における微分値ｇｉ＋１を上記数式６で表されるコンパクトスキームを用いて算出する。
【００７０】
次いで、係数算出部１６は、上記ステップＳ２３〜Ｓ２６で取得及び算出した画素値（ｆｉ＋１、ｆｉ、ｆｉ−１）、微分値（ｇｉ＋１、ｇｉ、ｇｉ−１）及びサンプル間隔（Δｘ）を用いて、上記数式１の多項式中の係数Ａ、Ｂ、Ｃ及びＤを求める（ステップＳ２７）。具体的には、係数算出部１６は、上記数式５を用いて係数Ａ、Ｂ、Ｃ及びＤを求める。そして、係数算出部１６は、求めた係数Ａ〜Ｄを多項式演算部１７に出力する。
【００７１】
また、この際、遅延部１３は、上記数式１の多項式中の係数Ｆとして、位置ｘｉの原画素２における画素値ｆｉを多項式演算部１７に出力する。また、微分値算出部１５は、上記数式１の多項式中の係数Ｅとして、位置ｘｉの原画素２における微分値ｇｉを多項式演算部１７に出力する。
【００７２】
次いで、多項式演算部１７は、画像拡大部１２から補間画像５または６の位置情報（ｘ＝Δｘｐまたは−Δｘｐ）を取得する（ステップＳ２８）。
【００７３】
次いで、多項式演算部１７は、入力された係数Ａ〜Ｆ及び補間画像５または６の位置情報（Δｘｐまたは−Δｘｐ）を用いて、位置ｘｉ＋１の原画素１と位置ｘｉ−１の原画素３との間に位置する補間画素５または６の画素値ｆ（ｘ）を算出する（ステップＳ２９）。そして、多項式演算部１７は、算出した補間画素５または６の画素値ｆ（ｘ）を拡大画像生成部１８に出力する。
【００７４】
なお、補間画素５及び６の補間処理は、上記ステップＳ２８及びＳ２９を繰り返して順次行なってもよいし、ステップＳ２８で補間画素５及び６の補間位置を同時に取得し、ステップＳ２９で補間画素５及び６の画素値を同時に求めてもよい。また、隣り合う原画素間に複数の補間画素が存在する場合には、補間画素毎にステップＳ２８及びＳ２９を繰り返してもよいし、ステップＳ２８でその複数の補間画素の補間位置を同時に取得して、ステップＳ２９で各補間画素の画素値を同時に求めてもよい。
【００７５】
次いで、画像拡大部１２は、第２の制御カウンタｉをその最大値ｉｍａｘ（行中の原画素数−１）と比較する（ステップＳ３０）。
【００７６】
第２の制御カウンタｉが最大値ｉｍａｘより小さい場合、すなわち、拡大画像内の所定の行中の全ての補間画素の処理が終了していない場合には、ステップＳ３０はＹＥＳ判定となる。この場合には、第２の制御カウンタｉを更新（ｉ＝ｉ＋１）してステップＳ２３に戻る（ステップＳ３１）。その後は、ステップＳ２３〜Ｓ３１の処理を繰り返す。
【００７７】
そして、拡大画像内の所定の行中の全ての補間画素の処理が終了した場合には、ステップＳ３０はＮＯ判定となり、ステップＳ３２に進む。
【００７８】
次いで、画像拡大部１２は、第１の制御カウンタｍをその最大値ｍｍａｘ（補間処理を行う行数）と比較する（ステップＳ３２）。
【００７９】
第１の制御カウンタｍが最大値ｍｍａｘより小さい場合、すなわち、補間処理可能な全ての行（奇数行）についての処理が終了していない場合には、ステップＳ３２はＹＥＳ判定となる。この場合には、第１の制御カウンタｍを更新（ｍ＝ｍ＋１）してステップＳ２２に戻る（ステップＳ３３）。その後は、ステップＳ２２〜Ｓ３３の処理を繰り返す。
【００８０】
そして、ステップＳ３２でＮＯ判定となった場合、すなわち、補間処理可能な全ての行（奇数行）についての処理が終了した場合には、図８中のステップＳ４に進み、ｙ方向の補間処理を開始する。
【００８１】
本実施形態では、以上のようにして拡大画像に対して補間処理を行う。本実施形態では、上述のように、ＩＤＯ法を用いて拡大画像中の画素値が未知である補間画素に対して補間を行う。それゆえ、本実施形態によれば、補間処理時に補間対象となる画素値のエネルギー保存性は実質保証されるので、より高精度な空間補間が可能になる。
【００８２】
また、本実施形態では、例えば、上記特許文献２及び３で用いられているＣＩＰ法のように、補間領域の速度場等を予め設定するなどの必要性がなく、簡易な計算で補間処理を行うことができる。それゆえ、本実施形態によれば、より簡易な構成及び計算で精度の高い画像補間が可能になる。特に、補間対象となる画素値の微分値ｇを上述したコンパクトスキームで計算した場合にはより簡易な構成にすることができる。
【００８３】
［補間結果］
次に、本実施形態の補間処理を実際に適用した例（具体例）を説明する。ここでは、１０画素×１０画素のサイズの原画像を、２０画素×２０画素のサイズの拡大画像に拡大した例を説明する。また、具体例では、原画像に文字「正」が写っている画像を用いた。図１４に、具体例の補間結果を示す。なお、図１４には、比較のため、ラグランジュ補間法の０次補間及び１次補間の補間結果も併せて示した。
【００８４】
図１４の結果から明らかなように、０次補間では文字幅が細くなる。なお、図１４中では原画像及び拡大画像を見やすくするために両画像とも拡大しているので明確ではないが、原画像の文字幅と０次補間の画像の文字幅は同程度となっている。また、１次補間では文字が滲んだようになり、文字部とそれ以外の部分との境界が不明瞭になる。これらの結果に対して、本実施形態の具体例の補間結果（図１４中の右下画像）では、文字幅が０次補間に比べて太くになり、文字部とそれ以外の部分との境界も明瞭になる。この結果から、本実施形態によれば、より精度の高い画像補間が可能になることが分かる。
【００８５】
上述した本実施形態では、原画像全体のサイズを拡大する場合の例について説明したが、本発明は、これに限定されない。例えば、原画像の一部を拡大する場合にも同様に適用可能であり、同様の効果が得られる。
【００８６】
また、本実施形態は、例えばテレビの映像を携帯電話や携帯ゲーム機のディスプレイサイズに合わせる際に行う画像の縮小処理に用いることもできる。さらに、カメラやテレビに搭載されている画像サイズ変換装置（いわゆるスケーラーと呼ばれる装置）により、撮像映像の画素数を所定の表示規格に応じて変換（縮小）する際にも本実施形態を適用することができる。
【００８７】
ここで、上記画像の縮小処理における本実施形態の適用例を簡単に説明する。原画像と縮小画像との縦横比が異なる場合、原画像の画素を間引いただけでは、縮小画像の映像が歪んでしまう。それゆえ、この問題を避けるために、まず、原画像と縮小画像との最小公倍数の画素数の画像に原画像を拡大（オーバーサンプリング）し、次いで、その拡大画像を所定の画素数に縮小する。本実施形態は、オーバーサンプリング後の拡大画像の補間処理に適用することができる。拡大処理後（オーバーサンプリング後）の補間処理に線形補間を用いると画像が歪んだりするが、より高精度な補間が可能な本実施形態を用いることにより、この拡大画像の歪みを最小限に抑制することができる。
【００８８】
さらに、本実施形態は、ＭＰＥＧ（Moving Picture Experts Group）方式におけるＧＯＰ（Group of Pictures）内の画像フレームのフレーム変換処理に適用することができる。この場合、例えば、Ｉ（Intra picture）フレームをＰ（Predictive picture）フレームに変換する際や、ＰフレームをＢ（Bidirectionallypredictive picture）フレームに変換する際に本実施形態を適用する。
【００８９】
［変形例］
上述の第１の実施形態では、原画像のサイズを拡大する場合の例について説明したが、本発明は、これに限定されない。第１の実施形態は、拡大処理時だけでなく、例えば、撮像素子の画素欠陥の補正及びノイズ除去にも適用できる。
【００９０】
図１５は、画像フレーム内に画素欠陥が有る場合の欠陥画素近傍の拡大図である。図１５中の太枠で囲った画素３１が欠陥画素である。このような場合には、上述した１次元のＩＤＯ法を方向分離して２次元に拡張して、欠陥画素３１の画素値を求める。図１５の例では、欠陥画素３１の近傍のｘ方向に所定間隔で配置された画素３２〜３４及びｙ方向に所定間隔で配置された画素３５〜３７の画素値を用いて欠陥画素３１の画素値ｆ４４を求める。
【００９１】
図１６は、撮像素子の画素欠陥の補正を行う場合（変形例）の画像処理装置のブロック構成図である。なお、図１６の画像処理装置５０において、第１の実施形態の画像処理装置１０（図４）と同じ構成部分には同一符号を付した。
【００９２】
変形例の画像処理装置５０は、図４に示した第１の実施形態のそれとの比較から明らかなように、第１の実施形態の画像拡大部１２及び拡大画像生成部１８をそれぞれ欠陥画素抽出部５１及び画像生成部５２で置き換えた構成となる。これ以外の構成は、第１の実施形態と同様である。それゆえ、ここでは、欠陥画素抽出部５１及び画像生成部５２以外の構成についての説明は省略する。
【００９３】
欠陥画素抽出部５１は、撮像装置８で撮像した画像データ（原画像）を取得し、その原画像中の欠陥画素の位置を抽出する。そして、欠陥画素抽出部３１は、その欠陥画素の位置Δｘｐ、その欠陥画素に隣接する所定の原画素の画素値ｆｉ＋１、及び、原画素間のサンプル間隔Δｘを出力する。また、欠陥画素抽出部５１は、第１の実施形態の画像拡大部１２と同様に、画像処理装置５０内の各部における処理の繰り返し回数を制御する機能も有する。なお、欠陥画素抽出部５１は、画像処理装置５０の外部に設けられていてもよい。
【００９４】
また、画像生成部５２は、欠陥画素の画素値が補間された補正画像を表示装置９に出力する。
【００９５】
＜第２の実施形態＞
［補間処理の原理］
第２の実施形態では、所定のフレームレートで連続撮影された複数の画像フレームからなる原画像群のフレームレートを変換（拡大）した際に必要となる時間軸上の補間処理について説明する。
【００９６】
図１７は、所定の時間間隔Δｔで連続撮像された原画像群のフレームレートを拡大した際の画素値が既知の原画素（第１〜第４画素６１〜６４）と、画素値が未知の補間画素６５〜６７との位置関係を示す図である。また、原画素６１〜６４及び補間画素６５〜６７はそれぞれ異なる画像フレーム中の画素であるが、画像フレーム内の位置は同じである。なお、図１７の例は、時間間隔Δｔで離れた２枚の原画素を含む画像フレーム間に補間画素を含む画像フレームが１枚生成されるようにフレームレートを変換した例である。
【００９７】
ここでは、所定時刻ｔｋの原画素６２の前時刻ｔｋ−１の原画素６３と、次時刻ｔｋ＋１の原画素６１との間に生成された時刻ｔ＝ｔ１またはｔ２（ｔｋ−１＜ｔ＜ｔｋ＋１）の補間画素６５または６６の画素値の補間を考える。なお、図１７中のパラメータｆ、ｔの添え字ｋは画像群内における原画素を含む画像フレームの時刻を示すインデックスである。
【００９８】
ＩＤＯ法では、補間画素６５または６６の画素値ｆ（ｔ）（補間値）は、下記数式７で示すように、原画素６２からの時間変数ｔの５次多項式で表される。なお、下記数式７中のΔｔは、原画素間の時間間隔である。
【００９９】
【数７】
2010044647.tif 000009
【０１００】
なお、上記数式７では、原画素６２の時刻ｔｋを原点とし（ｔｋ＝０）、原画素６３の時刻ｔｋ−１を−Δｔとし、原画素６１の時刻ｔｋ＋１をΔｔとしている（図１７参照）。また、上記数式７の画素値ｆ（ｔ）の微分値は、下記数式８で表される。
【０１０１】
【数８】
2010044647.tif 000010
【０１０２】
また、上記数式７及び８は、原画素６１、６２及び６３の時刻ｔ＝Δｔ，０及び−Δｔ（ｔｋ＋１、ｔｋ及びｔｋ−１）において、下記数式９に示すような拘束条件を満たさなければならない。
【０１０３】
【数９】
2010044647.tif 000011
【０１０４】
上記数式７〜９と、第１の実施形態で説明した上記数式１〜３との比較から明らかなように、上記数式７〜９は、上記数式１〜３中の位置変数ｘを時間変数ｔに置き換え、位置のインデックスｉを時間のインデックスｋに置き換えた式となる。それゆえ、上記数式７中の各項の係数Ａ〜Ｆは、第１の実施形態の上記数式５において、サンプル間隔Δｘを時間間隔Δｔに、インデックスｉをｋに置き換えた式となり、下記数式１０のようになる。
【０１０５】
【数１０】
2010044647.tif 000012
【０１０６】
本実施形態では、上記数式１０で求めた係数Ａ〜Ｆ及び補間画素の時間情報ｔ（＝Δｔｐまたは−Δｔｐ）を上記数式７に代入して、補間画素６５または６６の画素値ｆ（ｔ）を求める。
【０１０７】
なお、本実施形態では、第１の実施形態と同様に、各原画素における微分値ｇは、コンパクトスキームで求める。すなわち、例えば、図１７中の原画素６１における微分値ｇｋ＋１は下記数式１１により求める。
【０１０８】
【数１１】
2010044647.tif 000013
【０１０９】
ここで、図１８（ａ）及び（ｂ）に、ＩＤＯ法及びＣＩＰ法を１次元の移流方程式に適用し、その際の時間進展の補間特性を比較した図を示す。図１８（ａ）及び（ｂ）の特性は、所定の信号波形を所定時間一方向に移流させた際の信号波形の再現性を示しており、その横軸は位置であり、縦軸は補間対象となるパラメータの値である。
【０１１０】
図１８（ａ）及び（ｂ）中の特性７０は、初期波形（原波形）である。また、特性７１及び７２はそれぞれＩＤＯ法及びＣＩＰ法の補間処理により得られた移流後の信号波形である。なお、図１８（ａ）及び（ｂ）の計算条件は、移流量の値を０．１とし、計算繰り返し回数は１０００回とした。
【０１１１】
図１８（ａ）及び（ｂ）の結果から明らかなように、例えば、ＩＤＯ法で求められた信号波形７１の立ち上がり部分におけるオーバーシュートがＣＩＰ法のそれより抑制されており、ＩＤＯ法の方がＣＩＰ法より原波形７０の崩れが少なくなっている。このことから、ＣＩＰ法に比べて、ＩＤＯ法の方が高精度に時間補間できることが分かる。これは、ＩＤＯ法では、補間対象となるパラメータのエネルギー保存性が実質保証されているのに対して、ＣＩＰ法ではエネルギー保存が数学的に保証されていないためである。
【０１１２】
［装置構成］
図１９は、本実施形態に係る画像処理装置を適用した画像処理システムのブロック構成図である。本実施形態の画像処理システム８５は、撮像装置８で撮像した複数の画像フレームからなる画像群を画像処理装置８０でフレームレート変換及び補間処理し、補間済みの画像群を表示装置９に表示するシステムである。なお、本実施形態では、画像処理装置８０以外のシステム構成は第１の実施形態と同様とした。
【０１１３】
画像処理装置８０は、撮像装置８で撮像した複数の画像フレームからなる原画像群のフレームレートを拡大し、その際に新たに生成される画像フレームの画素の画素値（未知）を画素値が既知の画像フレームから求める。
【０１１４】
図２０は、画像処理装置８０の内部構成を示すブロック図である。画像処理装置８０は、フレームレート変換部８１と、遅延部１３と、微分値算出部１４と、補間処理部１５と、変換画像生成部８２とを備える。また、補間処理部１５は、係数算出部１６と、多項式演算部１７とで構成される。そして、各部の入出力端子は、上記数式７、１０及び１１を計算できるように各部間で適宜接続されている。
【０１１５】
画像処理装置８０は、図４に示した第１の実施形態のそれとの比較から明らかなように、第１の実施形態の画像拡大部１２及び拡大画像生成部１８をそれぞれフレームレート変換部８１及び変換画像生成部８２で置き換えた構成となる。これ以外の構成は、第１の実施形態と同様である。それゆえ、ここでは、フレームレート変換部８１及び変換画像生成部８２以外の構成についての説明は省略する。
【０１１６】
フレームレート変換部８１は、撮像装置８で撮像して得た複数の画像フレームからなる原画像群を取得する。そして、フレームレート変換部８１は、取得した原画像群のフレームレートを所定のフレームレートに拡大して、フレームレート変換された画像群（以下では、変換画像群ともいう）を生成する。また、フレームレート変換部８１は、変換画像群内の所定時刻ｔｋ＋１の原画素６１の画素値ｆｋ＋１、原画素間の時間間隔Δｔ及び補間画素６５または６６の時間情報ｔ（＝Δｔｐまたは−Δｔｐ）をそれぞれ所定の部に出力する。また、フレームレート変換部８１は、後述するように、各部における処理の繰り返し回数を制御する機能を有する。なお、フレームレート変換部８１は、画像処理装置８０の外部に設けられていてもよい。
【０１１７】
変換画像生成部８２は、画素値が未知の画像フレーム内の全ての画素に対して行った補間処理の結果を統合して、補間済みの変換画像群を生成する。
【０１１８】
［補間処理］
次に、本実施形態の補間処理を図２１及び２２を参照しながら説明する。図２１は、補間処理全体の手順を示すフローチャートである。図２２は、図２１中のステップＳ４４内の処理の手順を示すフローチャートである。
【０１１９】
まず、フレームレート変換部８１は、撮像装置８で所定の時間間隔Δｔで連続撮像された複数の画像フレームからなる原画像群を取得する（ステップＳ４１）。
【０１２０】
次いで、フレームレート変換部８１は、入力された原画像群のフレームレートを所定のフレームレートに拡大して変換画像群を生成する（ステップＳ４２）。
【０１２１】
次いで、フレームレート変換部８１は、以下に説明するステップＳ４４〜Ｓ４６の処理の繰り返し回数を制御する第１の制御カウンタＬを初期化（Ｌ＝１）する（ステップＳ４３）。なお、第１の制御カウンタＬは、画像フレーム内の画素の位置を示すパラメータである。
【０１２２】
次いで、画像処理装置８０は、第１の制御カウンタＬに対応する画像フレーム内の所定位置において、変換画像群内で時系列に配列された複数の補間画素の補間処理を行う（ステップＳ４４）。なお、ステップＳ４４については、図２２を参照しながら後で詳述する。
【０１２３】
次いで、フレームレート変換部８１は、第１の制御カウンタＬをその最大値Ｌｍａｘ（画像フレーム内の画素数）と比較する（ステップＳ４５）。
【０１２４】
第１の制御カウンタＬが最大値Ｌｍａｘより小さい場合、すなわち、画像フレーム内の全ての画素位置について補間処理が終了していない場合、ステップＳ４５はＹＥＳ判定となる。この場合、フレームレート変換部８１は、第１の制御カウンタＬを更新する（ステップＳ４６：Ｌ＝Ｌ＋１）。その後は、ステップＳ４４〜Ｓ４６の処理を繰り返す。
【０１２５】
そして、画像フレーム内の全ての画素位置について補間処理が終了すると、ステップＳ４５はＮＯ判定となり、変換画像生成部８２は、全ての補間画素に対する処理結果を統合して、補間済みの変換画像群を生成する（ステップＳ４７）。
【０１２６】
次いで、表示装置９は、補間済みの変換画像群を表示する（ステップＳ４８）。なお、本実施形態では、各画素位置の補間処理を画像フレームの画素数だけ繰り返す例を説明したが、本発明はこれに限定されず、各画素位置の補間処理を平行して同時に処理してもよい。
【０１２７】
次に、ステップＳ４４の補間処理を図２２を参照しながら詳細に説明する。
【０１２８】
まず、フレームレート変換部８１は、以下に説明するステップＳ５２〜Ｓ６０の処理の繰り返し回数を制御する第２の制御カウンタｋを初期化（ｋ＝１）する（ステップＳ５１）。なお、第２の制御カウンタｋは、変換画像群内における画素値が既知の画像フレームの時刻を示すパラメータである（図１７参照）。
【０１２９】
次いで、遅延部１３は、フレームレート変換部８１から時刻ｔｋ＋１における原画素６１の画素値ｆｋ＋１を取得する（ステップＳ５２）。
【０１３０】
次いで、遅延部１３は、入力された原画素６１の時刻ｔｋ＋１からΔｔ〜３Δｔ前の時刻の原画素の画素値、すなわち、原画素６２の画素値ｆｋ、原画素６３の画素値ｆｋ−１及び原画素６４の画素値ｆｋ−２を微分値算出部１４に出力する（ステップＳ５３）。また、この際、遅延部１３は、原画素６２の画素値ｆｋ及び原画素６３の画素値ｆｋ−１を係数算出部１４に出力する。
【０１３１】
次いで、微分値算出部１４は、画像拡大部１２から原画素間の時間間隔Δｔを取得する（ステップＳ５４）。
【０１３２】
次いで、微分値算出部１４は、取得した原画素６１〜６４の画素値ｆｋ＋１、ｆｋ、ｆｋ−１及びｆｋ−２並びに時間間隔Δｔを用いて、原画素６１〜６３における微分値ｇｋ＋１、ｇｋ及びｇｋ−１をそれぞれ求める（ステップＳ５５）。具体的には、原画素６１における微分値ｇｋ＋１は、原画素６１の画素値ｆｋ＋１、原画素６２の画素値ｆｋ及び時間間隔Δｔを用いて上記数式１１で表されるコンパクトスキームにより算出する。同様に、原画素６２における微分値ｇｋは、原画素６２の画素値ｆｋ、原画素６３の画素値ｆｋ―１及び時間間隔Δｔを用いて算出し、原画素６３における微分値ｇｋ―１は、原画素６３の画素値ｆｋ−１、原画素６４の画素値ｆｋ―２及び時間間隔Δｔを用いて算出する。
【０１３３】
次いで、係数算出部１６は、上記ステップＳ５２〜Ｓ５４で取得及び算出した画素値（ｆｋ＋１、ｆｋ、ｆｋ−１）、微分値（ｇｋ＋１、ｇｋ、ｇｋ−１）及び時間間隔（Δｔ）を用いて、上記数式７の多項式中の係数Ａ、Ｂ、Ｃ及びＤを求める（ステップＳ５６）。具体的には、係数算出部１６は、上記数式１０を用いて係数Ａ〜Ｄを求める。そして、係数算出部１６は、求めた係数Ａ〜Ｄを多項式演算部１７に出力する。
【０１３４】
この際、遅延部１３は、上記数式７の多項式中の係数Ｆとして、原画素６２の画素値ｆｋを多項式演算部１７に出力する。また、微分値算出部１４は、上記数式７の多項式中の係数Ｅとして、原画素６２における微分値ｇｋを多項式演算部１７に出力する。
【０１３５】
次いで、多項式演算部１７は、フレームレート変換部８１から補間画像６５または６６の時間情報ｔ＝Δｔｐまたは−Δｔｐを取得する（ステップＳ５７）。
【０１３６】
次いで、多項式演算部１７は、入力された係数Ａ〜Ｆ及び補間画像の時間情報ｔ（＝Δｔｐまたは−Δｔｐ）を用いて、補間画素６５または６６の画素値ｆ（ｔ）を算出する（ステップＳ５８）。そして、多項式演算部１７は、算出した補間画素の画素値ｆ（ｔ）を変換画像生成部８２に出力する。
【０１３７】
なお、補間画素６５及び６６の補間処理は、ステップＳ５７及びＳ５８を繰り返して行なってもよいし、ステップＳ５７で補間画素６５及び６６の時刻を同時に取得して、補間画素６５及び６６の補間処理を同時に行なってもよい。また、隣り合う原画素間に複数の補間画素が存在する場合には、補間画素毎にステップＳ５７及びＳ５８を繰り返してもよいし、ステップＳ５７でその複数の補間画素の時刻を同時に取得して、ステップＳ５８で各補間画素の画素値を同時に求めてもよい。
【０１３８】
次いで、フレームレート変換部８１は、第２の制御カウンタｋをその最大値ｋｍａｘ（変換画像群中の原画像フレーム数−１）と比較する（ステップＳ５９）。
【０１３９】
第２の制御カウンタｋが最大値ｋｍａｘより小さい場合、すなわち、画像フレーム内の所定位置において時系列に配列された複数の画素からなる画素群中の全ての補間画素に対して補間処理が終了していない場合、ステップＳ５９はＹＥＳ判定となる。この場合には、第２の制御カウンタｋを更新（ｋ＝ｋ＋１）してステップＳ５２に戻る（ステップＳ６０）。その後は、ステップＳ５２〜Ｓ６０の処理を繰り返す。
【０１４０】
そして、時系列に配列された複数の画素からなる画素群中の全ての補間画素に対して補間処理が終了した場合には、ステップＳ５９はＮＯ判定となり、図２１中のステップＳ４５に進む。
【０１４１】
本実施形態では、以上のようにしてフレームレート変換された画像群に対して補間処理を行う。本実施形態では、上述のように、ＩＤＯ法を用いてフレームレート変換された画像群内の画素値が未知である補間画素に対して補間を行う。それゆえ、本実施形態によれば、第１の実施形態と同様の効果が得られる。
【０１４２】
上述した第２の実施形態の応用例としては、例えば、インターレース走査（interlace scanning）方式の画像とプログレッシブ走査（progressive scanning）方式の画像との間の画像変換（ｉ／ｐ変換）を行う際の処理に用いることができる。この場合、例えば、２４ｐの画像を６０ｉの画像に変換する際や、１８０ｉの画像を３０ｐの画像に変換する際などに第２の実施形態を用いる。
【０１４３】
また、上記実施形態では、本発明を画像処理に適用する例を説明したが、画像処理以外では、次のような用途に本発明を適用することができる。
（１）デジタルシグナルプロセッサ（ＤＳＰ）における処理クロックのアップ／ダウンコンバージョン
（２）音声サンプリング周波数の変換（例えば、４４．１ｋＨｚのサンプリング周波数を１９２ｋＨｚのサンプリング周波数に変換するなど）
（３）株価、為替、債権価格の予想（一目均衡表の変種）
【０１４４】
上記（１）の応用例では、ＤＳＰの処理クロックでサンプリングする任意のパラメータが補間値（補間関数）となる。上記（２）の応用例では、サンプリング周波数を変えたことにより補間が必要となった周波数成分の信号強度が補間値となる。また、上記（４）の適用例では、株価、為替、債権価が補間値となる。
【０１４５】
上記実施形態において、画像処理装置は、専用の装置として構成した例を説明したが、本発明はこれに限定されない。例えば、カメラなどの必要な周辺機器が接続され且つ各種データ処理を行うパーソナルコンピュータ装置に、本発明による画像処理を行うソフトウェア（プログラム）を実装して、本発明の処理を行う構成としてもよい。この場合、本発明の処理を実行するプログラムは、光ディスクや半導体メモリなどの媒体で配布する他に、インターネットなどの伝送手段を介してダウンロードさせる構成としてもよい。
【図面の簡単な説明】
【０１４６】
【図１】原画像を拡大した際の拡大画像内の１次元画素配置図である。
【図２】ＩＤＯ法と、その他の補間手法との補間特性を比較した図を示す。
【図３】本発明の第１の実施形態に係る画像処理装置のブロック構成図である。
【図４】第１の実施形態の画像補間部のブロック構成図である。
【図５】第１の実施形態の遅延部のブロック構成図である。
【図６】第１の実施形態の微分値算出部のブロック構成図である。
【図７】微分回路のブロック構成図である。
【図８】第１の実施形態の補間処理の手順を示すフローチャートである。
【図９】図８中のステップＳ３の処理の手順を示すフローチャートである。
【図１０】原画像の２次元画素配置図である。
【図１１】原画像を拡大した直後の２次元画素配置図である。
【図１２】ｘ方向の補間処理が終了した際の２次元画素配置図である。
【図１３】ｙ方向の補間処理が終了した際の２次元画素配置図である。
【図１４】第１の実施形態の補間処理の結果を示す図である。
【図１５】欠陥画素周辺の画素の２次元配置図である。
【図１６】変形例の画像補間部のブロック構成図である。
【図１７】フレームレート変換した際の変換画像群内の画素配置図である。
【図１８】図１８（ａ）はＩＤＯ法の時間進展の補間特性であり、図１８（ｂ）はＣＩＰ法の時間進展の補間特性である。
【図１９】本発明の第２の実施形態に係る画像処理装置のブロック構成図である。
【図２０】第２の実施形態の画像補間部のブロック構成図である。
【図２１】第２の実施形態の補間処理の手順を示すフローチャートである
【図２２】図２１中のステップＳ４４の処理の手順を示すフローチャートである。
【符号の説明】
【０１４７】
１，６１…原画素（第１画素）、２，６２…原画素（第２画素）、３，６３…原画素（第３画素）、４，６４…原画素（第４画素）、５，６，６５，６６…補間画素、７，８５…画像処理システム、８…撮像装置、９…表示装置、１０，５０，８０…画像処理装置、１２…画像拡大部、１３…遅延部（画素値出力部）、１４…微分値算出部、１５…補間処理部、１６…係数算出部、１７…多項式算出部、１８…拡大画像生成部、２１，２２，２３…遅延回路、２４，２５，２６…微分回路、２７…減算回路、２８…除算回路、３１…欠陥画素、５１…欠陥画像抽出部、５２…画像生成部、８１…フレームレート変換部、８２…変換画像生成部
【図１】
2010044647.tif 000014
【図２】
2010044647.tif 000015
【図３】
2010044647.tif 000016
【図４】
2010044647.tif 000017
【図５】
2010044647.tif 000018
【図６】
2010044647.tif 000019
【図７】
2010044647.tif 000020
【図８】
2010044647.tif 000021
【図９】
2010044647.tif 000022
【図１０】
2010044647.tif 000023
【図１１】
2010044647.tif 000024
【図１２】
2010044647.tif 000025
【図１３】
2010044647.tif 000026
【図１５】
2010044647.tif 000027
【図１６】
2010044647.tif 000028
【図１７】
2010044647.tif 000029
【図１８】
2010044647.tif 000030
【図１９】
2010044647.tif 000031
【図２０】
2010044647.tif 000032
【図２１】
2010044647.tif 000033
【図２２】
2010044647.tif 000034
【図１４】
2010044647.tif 000035