(57)【要約】【課題】複数の処理時間となる複数種類の補間処理を行う場合でも、メモリアクセスや処理の待ち時間を少なくすることができる画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】ＣＰＵ２０がバイキュービック法で補間を行うエリアとバイリニア法で補間を行うエリアを特定して、バイキュービック法で行うエリアを先に行い、バイリニア法により行うエリアを後に行うように処理順序を補間回路２の第１ＲＡＭ４ａに設定し、制御部４では、第１ＲＡＭ４ａに設定された処理順にしたがって補間処理を行う。【選択図】図１
2013126130.tif 000002
【特許請求の範囲】
【請求項１】
入力画像が格納されている画像格納手段と、前記入力画像に対する補間処理を行う際に必要とする画素の位置情報である参照パラメータが格納されている参照パラメータ格納手段と、前記画像格納手段に格納されている前記入力画像と前記参照パラメータ格納手段に格納されている前記参照パラメータに基づいて複数種類の補間処理が実行可能な補間手段と、前記入力画像を複数のエリアに分割して各エリア毎に前記補間手段に前記複数種類の補間処理のうち一つを行わせる制御手段と、を備えた画像処理装置において、
前記複数種類の補間処理は、複数種類の処理時間により実行されるものであり、
前記複数種類の補間処理のうち、同じ処理時間となる補間処理を行う前記エリアを特定する特定手段と、
前記特定手段で特定された前記エリアを連続して実行するように全ての前記エリアの処理順を決定する処理順決定手段と、を備え、
前記制御手段が、前記処理順決定手段が決定した処理順で前記補間処理を行わせる
ことを特徴とする画像処理装置。
【請求項２】
前記制御手段が、前記入力画像の歪みの大きさに基づいて前記複数種類の補間処理から選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像格納手段が、一度の前記補間処理で必要となる画素に応じて分割されていることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
入力画像を画像格納手段に格納する画像格納ステップと、前記入力画像に対する補間処理を行う際に必要とする画素の位置情報である参照パラメータを参照パラメータ格納手段に格納する参照画像格納ステップと、前記入力画像を複数のエリアに分割して各エリア毎に前記画像格納手段に格納されている前記入力画像と前記参照パラメータ格納手段に格納されている前記参照パラメータに基づいて複数種類の補間処理を選択して行う補間ステップと、を備えた画像処理方法において、
前記複数種類の補間処理は、複数種類の処理時間により実行されるものであり、
前記複数種類の補間処理のうち、同じ処理時間である補間処理となる前記エリアを特定する特定ステップと、
前記特定ステップで特定された前記エリアを連続して実行するように全ての前記エリアの処理順を決定する処理順決定ステップと、を備え、
前記補間ステップは、前記処理順決定ステップで決定した処理順で前記補間処理を行う
ことを特徴とする画像処理方法。
【請求項５】
入力画像が格納されている画像格納手段と、前記入力画像に対する補間処理を行う際に必要とする画素の位置情報である参照パラメータが格納されている参照パラメータ格納手段と、を備えた画像処理装置のコンピュータを、前記画像格納手段に格納されている前記入力画像と前記参照パラメータ格納手段に格納されている前記参照パラメータに基づいて複数種類の補間処理が実行可能な補間手段と、前記入力画像を複数のエリアに分割して各エリア毎に前記補間手段に前記複数種類の補間処理のうち一つを選択して行わせる制御手段と、して機能させる画像処理プログラムにおいて、
前記複数種類の補間処理は、複数種類の処理時間により実行されるものであり、
前記複数種類の補間処理のうち、同じ処理時間となる補間処理を行う前記エリアを特定する特定手段と、
前記特定手段で特定された前記エリアを連続して実行するように全ての前記エリアの処理順を決定する処理順決定手段と、して前記コンピュータに機能させるとともに、
前記制御手段が、前記処理順決定手段が決定した処理順で前記補間処理を行わせる
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広角レンズまたは全方位ミラー等により撮像された画像の歪みの補正や、入力画像の回転といった画像の補間処理を行う画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
例えば、広角レンズまたは全方位ミラーによる撮像画像など画像の一部または全部に対して任意に補間補正処理を行い出力する画像処理装置では、例えば、カメラ等から入力された入力画像が入力画像フレームメモリに格納され、次に、出力結果として得たい画像（出力画像）の各画素が入力画像のどの位置に対応しているかが演算され、当該演算により求められた入力画像座標上に位置している画素が入力画像フレームメモリから取得され、これが出力画像フレームメモリに格納されるようになっている。この処理が出力画像の全画素に対して走査順に繰り返し行われることで、最終的に所望の補正が行われた画像が得られる。
【０００３】
上述した画像処理において、出力画像の各画素が対応する入力画像上の位置が小数を含む座標として演算された場合、当該座標周囲の複数の画素から補間する必要がある。そして、そのような補間をするための処理としては周知のバイリニア法やバイキュービック法など複数の補間方法があり、これらの方法は、画像を複数のエリア（エリア）に分割して、エリアごとの歪みの度合いなどに応じて選択して行うことが一般的である。
【０００４】
このような補間処理においては、入力画像をメモリから読み出すメモリアクセスの時間と補間処理の演算時間が処理時間全体の中で大きな部分を占める。そこで、演算中に次のエリアのメモリアクセスを行うことで処理時間を縮めるようにする構成が既に知られている。
【０００５】
また、特許文献１には、メモリアクセス時間を縮める目的で、入力画像を所定の大きさのエリア単位に分割し、エリア単位でのデータアクセスを行い、読み込んだエリアのデータをキャッシュメモリに格納しておき、当該キャッシュメモリから画素のデータを取得して出力画像を生成するようにした構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば、バイリニア法やバイキュービック法では処理時間やメモリアクセス時間が異なり、バイキュービック法はバイリニア法よりも処理時間が長くメモリアクセス時間も長くなる。上述した特許文献１に記載された画像処理装置などの従来の画像処理装置では、入力画像に対してライン毎（走査順）に処理を行っているために、上述した処理時間が異なる処理方法が混在することがある。そのため、次のエリアのメモリアクセスや処理に待ち時間が発生してしまうという問題があった。
【０００７】
本発明はかかる問題を解決することを目的としている。
【０００８】
すなわち、本発明は、複数の処理時間となる複数種類の補間処理を行う場合でも、メモリアクセスや処理の待ち時間を少なくすることができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するためになされた請求項１に記載された発明は、入力画像が格納されている画像格納手段と、前記入力画像に対する補間処理を行う際に必要とする画素の位置情報である参照パラメータが格納されている参照パラメータ格納手段と、前記画像格納手段に格納されている前記入力画像と前記参照パラメータ格納手段に格納されている前記参照パラメータに基づいて複数種類の補間処理が実行可能な補間手段と、前記入力画像を複数のエリアに分割して各エリア毎に前記補間手段に前記複数種類の補間処理のうち一つを行わせる制御手段と、を備えた画像処理装置において、前記複数種類の補間処理は、複数種類の処理時間により実行されるものであり、前記複数種類の補間処理のうち、同じ処理時間となる補間処理を行う前記エリアを特定する特定手段と、前記特定手段で特定された前記エリアを連続して実行するように全ての前記エリアの処理順を決定する処理順決定手段と、を備え、前記制御手段が、前記処理順決定手段が決定した処理順で前記補間処理を行わせることを特徴とする画像処理装置である。
【発明の効果】
【００１０】
本発明によれば、特定手段で、複数の補間処理のうち、同じ処理時間である補間処理となるエリアを特定し、処理順決定手段で、特定手段で特定されたエリアを連続して実行するように全てのエリアの処理順を決定して、制御手段が、処理順決定手段が決定した処理順で補間処理を行わせているので、処理時間が同じエリアを連続して補間することができるために、メモリアクセスや処理の待ち時間を少なくすることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態にかかる画像処理装置の回路構成図である。
【図２】図１に示された画像処理装置の補間動作を示したフローチャートである。
【図３】図１に示された画像処理装置におけるエリア処理順の例を示した説明図である。
【図４】図１に示された画像処理装置におけるエリア処理順の他の例を示した説明図である。
【図５】従来と図１に示された画像処理装置との処理時間の違いを説明した図である。
【発明を実施するための形態】
【００１２】
（第１実施形態）
以下、本発明の第１の実施形態を、図１ないし図５を参照して説明する。図１は、本発明の一実施形態にかかる画像処理装置の回路構成図である。図２は、図１に示された画像処理装置の補間動作を示したフローチャートである。図３は、図１に示された画像処理装置におけるエリア処理順の例を示した説明図である。図４は、図１に示された画像処理装置におけるエリア処理順の他の例を示した説明図である。図５は、従来と図１に示された画像処理装置との処理時間の違いを説明した図である。
【００１３】
図１に示した画像処理装置１は、補間回路２と、ＣＰＵ２０と、ＤＤＲコントローラ３０と、ＤＤＲメモリ４０と、を備えている。
【００１４】
補間回路２は、エリアメモリブロック３と、演算ブロック１５と、を備えている。
【００１５】
エリアメモリブロック３は、制御部４と、入出力部５と、デマルチプレクサ６、７と、第２ＲＡＭ８、９と、第３ＲＡＭ１０、１１と、マルチプレクサ１２と、フリップフロップ１３と、第４ＲＡＭ１４と、を備えている。
【００１６】
制御手段としての制御部４は、第１ＲＡＭ４ａを備え、ＣＰＵ２０が補間処理するエリア順に当該エリアのＤＤＲメモリ４０内における先頭アドレスと演算方法を第１ＲＡＭ４ａに書き込み、制御部４では、第１ＲＡＭ４ａに記載されたデータにしたがってＤＤＲコントローラ３０に対して必要なデータをＤＤＲメモリ４０から読み出させて、第２ＲＡＭ８、９に後述する参照パラメータを格納するとともに第３ＲＡＭ１０、１１に参照画像データ（入力画像）を格納する。そして、演算ブロック１５にＣＰＵ２０からの設定に応じた補間処理を行わせる。
【００１７】
入出力部５は、ＤＤＲコントローラ３０とのデータの入出力を行う回路であり、ＤＤＲコントローラ３０から入力された後述する参照パラメータや参照画像データをデマルチプレクサ６、７に出力したり、第４ＲＡＭ１４から出力された補間済みの画像データをＤＤＲコントローラ３０に出力する。
【００１８】
デマルチプレクサ６は、ＤＤＲメモリ４０から読み出された参照パラメータを第２ＲＡＭ８または９に出力する。参照パラメータとは、後述するバイキュービック法やバイリニア法などで、補間処理の際に必要とする画素の位置を示しているパラメータであり、バイキュービック法とバイリニア法それぞれについて全画素分（全座標分）設定されている。つまり、全画素（全座標）分それぞれについて補間処理時に参照する画素の位置情報が設定されている。そして、第２ＲＡＭ８または９には、処理対象のエリア内の画素における参照パラメータが格納される。
【００１９】
デマルチプレクサ７は、ＤＤＲメモリ４０から読み出された参照画像データを第３ＲＡＭ１０または１１に出力する。参照画像データとは、ＤＤＲメモリ４０に格納されている撮像装置で撮像された入力画像のうち、補間処理に必要とするエリアの画像データである。
【００２０】
参照パラメータ格納手段としての第２ＲＡＭ８、９は、デマルチプレクサ６から出力された参照パラメータが格納されている。
【００２１】
画像格納手段としての第３ＲＡＭ１０、１１は、デマルチプレクサ７から出力された参照画像データが格納されている。第３ＲＡＭ１０、１１はともに内部が４分割されている。これは、後述するバイリニア法による補間に使用する２画素×２画素の領域を一度に読み出せるようにするためであり、画像の横方向の画素の並びを偶数と奇数に分け、縦方向の画素の並びを偶数と奇数に分け、横方向が奇数で縦方向が奇数の画素（ｏｏ）、横方向が偶数で縦方向が奇数の画素（ｅｏ）、横方向が奇数で縦方向が偶数の画素（ｏｅ）、横方向が偶数で縦方向が偶数の画素（ｅｅ）、の４種類に分けて分割された各ＲＡＭに格納している。即ち、一度の補間処理で必要となる画素に応じて分割されている。
【００２２】
第２ＲＡＭ８、９と第３ＲＡＭ１０、１１は、図示したように、第３ＲＡＭ１０に格納された参照画像データを処理する際には第２ＲＡＭ８に格納されている参照パラメータが対応し、第３ＲＡＭ１１に格納された参照画像データには第２ＲＡＭ９が対応する。
【００２３】
マルチプレクサ１２は、第３ＲＡＭ１０または１１から読み出された４画素分データを演算ブロック１５に出力する。
【００２４】
フリップフロップ１３は、補間処理がなされた画素データを８画素格納して第４ＲＡＭ１４に書き込みためのタイミング調整用のフリップフロップである。
【００２５】
第４ＲＡＭ１４は、補間処理がなされた画素データが一時的に格納されるメモリであり、例えば１つのエリア分の画素データが格納される。
【００２６】
演算ブロック１５は、補間手段として、バイキュービック補間部１６とバイリニア補間部１７と、を備えている。
【００２７】
バイキュービック補間部１６は、１画素（１座標）につき、４画素×４画素の１６画素から補間を行う周知のバイキュービック法により補間を行う回路であり、後述するバイリニア法よりも滑らかに補間できることが知られている。しかしながらバイリニア法と比較して使用する画素の数が多いため、処理やメモリアクセスの時間が長い。本実施形態では、第２ＲＡＭ８または９に格納されている参照パラメータに基づいて第３ＲＡＭ１０または１１に４回アクセスして読み出す。
【００２８】
バイリニア補間部１７は、１画素（１座標）につき、２画素×２画素の４画素から補間を行う周知のバイリニア法により補間を行う回路である。バイリニア法は、バイキュービック法と比較して使用する画素の数が少ないため処理やメモリアクセスの時間が短い。本実施形態では、第３ＲＡＭ１０または１１から読み出す際には１回のアクセスで可能である。つまり、本実施形態では、２種類の処理時間により実行される補間処理が実行可能となっている。
【００２９】
バイキュービック補間部１６またはバイリニア補間部１７で保管された画素データは、エリアメモリブロック３に出力される。なお、バイキュービック補間部１６とバイリニア補間部１７で処理時に使用する乗算器等の演算回路は共用してもよい。
【００３０】
特定手段、処理順決定手段としてのＣＰＵ２０は、補間回路２に対して、入力画像を複数のエリアに分割して、各エリアごとにバイキュービック法またはバイリニア法のどちらで処理を行うかを決定するとともに、各エリアの処理順を決定して各エリアのＤＤＲメモリ４０内における先頭アドレスやどちらの処理を行うかといった情報を処理順に制御部４の第１ＲＡＭ４ａに書き込む。
【００３１】
ＤＤＲコントローラ３０は、撮像装置などで得られた入力画像データや参照パラメータをＤＤＲメモリ４０に格納したり、補間回路２からの要求によりＤＤＲメモリから入力画像データや参照パラメータを読み出して補間回路２へ出力するとともに補間回路２で補間された画像データをＤＤＲメモリ４０へ格納する。また、補間された画像データをＤＤＲメモリ４０から読み出して出力画像として外部へ出力する。
【００３２】
ＤＤＲメモリ４０は、ＤＤＲコントローラ３０により書き込みや読み出しが制御されるメモリであり、ＤＤＲ−ＳＤＲＡＭ（Double Data Rate-Synchronous DRAM）で構成されている。
【００３３】
次に、上述した構成の画像処理装置１における画像補間動作を図２のフローチャートを参照して説明する。
【００３４】
まず、ステップＳ１において、ＣＰＵ２０が、第１ＲＡＭ４ａにエリアの先頭アドレスをセットしてステップＳ２に進む。本ステップでは、上述したようにＣＰＵ２０が、補間処理するエリアの先頭アドレスと当該エリアの処理方法（バイキュービックまたはバイリニア）を処理順に第１ＲＡＭ４ａに格納している。
【００３５】
ここで、ＣＰＵ２０における複数のエリアの処理順の決定方法について説明する。図３および図４ではエリアとして縦方向４×横方向４の１６エリアに分割した場合である。図中の数字は処理順を示している。
【００３６】
まず、図３は、広角レンズまたは全方位ミラーあるいは魚眼レンズ等により撮像されて、画像周辺部の歪みが大きい場合の例である。この場合、歪みの大きい部分はバイキュービック法により補間処理を行い、それ以外はバイリニア法により処理を行う。したがって、図３に示したように周囲のエリアから順に処理を行い中心部は後で処理を行うようにしている。なお、ＣＰＵ２０は、予め１フレームの画像サイズ（縦方向と横方向の画素数）と１エリアのサイズが設定されているため、これらの情報からどのエリアが周囲に該当するかは特定することができる。また、次に処理を行うエリアは現在処理中のエリアと離れていてもよい。例えば、図中の番号で示すと、１、２、３、４、１２、５、１１、６…とった順序で行ってもよいし、要するに周囲のエリアから順に処理を行う順序であれば他の順序でもよい。
【００３７】
次に、図４は、中心部に対して回転処理を行う場合の例である。この場合、回転処理が行われる中心部はバイキュービック法により補間処理を行い、それ以外はバイリニア法により処理を行う。したがって、図４に示したように中心に位置するエリアから順に処理を行い周辺部は後で処理を行うようにしている。なお、ＣＰＵ２０は、回転する位置座標が設定されるため、その情報からどのエリアをバイキュービック法で補間するかを特定することができる。また、図４は中心のエリアから順に処理を行う順序の一例であり、図３と同様に中心のエリアから順に処理を行う順序であれば他の順序でもよい。
【００３８】
図３や図４のようにバイキュービック法とバイリニア法を組み合せて使用することで、画質を落とさず１フレーム内にかかる演算処理時間を短縮することができる。そして、上述したようにまずバイキュービック法のエリアを行ってからバイリニア法のエリアを行うような順序で処理することで、同じ処理時間となる補間処理を行うエリアを特定して特定されたエリアを連続して実行するので、図５に示したように処理やメモリアクセスの待ち時間を少なくすることができる。図５は上段に走査順に処理を行った場合、下段に上述したような順序で処理を行った場合の処理時間の例を示した図である。図５内のＡ〜Ｆは処理するエリア名である、図５に示したように、バイキュービック法で処理するエリア（Ａ、Ｃ、Ｅ）を先に処理し、バイリニア法で処理するエリア（Ｂ、Ｄ、Ｆ）を後で処理することで待ち時間が少なくなる。図５では、歪みの大きさに基づいて複数種類の補間処理から選択している。
【００３９】
以上説明したように、ＣＰＵ２０では、同じ処理時間である補間処理となるエリアを特定する特定ステップと、特定ステップで特定されたエリアを連続して実行するように全てのエリアの処理順を決定する処理順決定ステップと、を予め行ってからステップＳ１で補間回路２に設定している。
【００４０】
図２のフローチャートに戻って、ステップＳ２において、ＣＰＵ２０からＤＤＲメモリ４０に参照パラメータをセットしてステップＳ３に進む。本ステップでは、以降のステップで第２ＲＡＭ８、９に格納される参照パラメータを初期パラメータが格納されているメモリ等から読み出してＤＤＲメモリ４０に格納している。以降のステップから画像データの転送が開始される。なお、ステップＳ１とＳ２は順序が逆でもよい。
【００４１】
次に、ステップＳ３において、ＣＰＵ２０が、入力画像データを１フレーム分ＤＤＲメモリ４０に格納してステップＳ４およびＳ７に進む。本ステップ以降は、次エリアメモリアクセス処理（ステップＳ４〜Ｓ６）と演算処理（ステップＳ７〜Ｓ１２）とが並行して行われる。
【００４２】
次エリアメモリアクセス処理から説明する。ステップＳ４において、制御部４が、１フレームの最終エリアか否かを判断し、最終エリアである場合（ＹＥＳの場合）はステップＳ１３に進み、最終エリアでない場合（ＮＯの場合）はステップＳ５に進む。
【００４３】
次に、参照画像格納ステップとしてのステップＳ５において、制御部４が、参照パラメータをＤＤＲコントローラ３０にメモリ４０から読み出させて第２ＲＡＭ８または９に格納してステップＳ６に進む。本実施形態では、第２ＲＡＭ８および９と第３ＲＡＭ１０および１１は交互に使用する。つまり、あるエリアの画像データと参照パラメータを第２ＲＡＭ８と第３ＲＡＭ１０に格納した場合は、次に処理するエリアの画像データと参照パラメータは第２ＲＡＭ９と第３ＲＡＭ１１に格納するようにデマルチプレクサ６、７を切り替える。このようにすることで、補間処理で演算ブロック１５にアクセスされている間に次のエリアの参照画像データと参照パラメータを用意することができる。
【００４４】
次に、画像格納ステップとしてのステップＳ６において、制御部４が、第１ＲＡＭ４ａに格納されているＤＤＲメモリ４０の先頭アドレスを参照して補間処理するエリアの参照画像データを第３ＲＡＭ１０または１１に格納してステップＳ１３に進む。
【００４５】
次に、演算処理を説明する。ステップＳ７において、制御部４が、フレーム内の１エリア目か否かを判断し、１エリア目である場合（ＹＥＳの場合）はステップＳ１３に進み、１エリア目でない場合（ＮＯの場合）はステップＳ８に進む。
【００４６】
次に、ステップＳ８において、制御部４が、第２ＲＡＭ８または９に格納されている参照パラメータを参照して演算ブロック１５で必要とする４または１６画素を出力する。つまり、参照パラメータとして第３ＲＡＭ１０、１１の格納されている画素データのうち、どのデータを参照画像として出力すればよいかを示す情報（アドレス等）が設定されており、この参照パラメータに基づいて第３ＲＡＭ１０、１１から４または１６画素を出力する。また、４画素か１６画素かは、ＣＰＵ２０から第１ＲＡＭ４ａに設定された処理を行うエリアの補間方法に基づいて決定する。なお、本ステップで読み出される第２ＲＡＭと第３ＲＡＭは、次エリアメモリアクセスで参照画像データと参照パラメータの格納処理が行われていないメモリである。
【００４７】
次に、補間ステップとしてのステップＳ９において、制御部４が、ステップＳ８で読み出された４または１６画素からバイキュービック補間部１６またはバイリニア補間部１７に１画素を算出させてステップＳ１０に進む。本ステップも、ステップＳ８と同様にＣＰＵ２０から第１ＲＡＭ４ａに設定された処理を行うエリアの補間方法に基づいてどちらの補間部を動作させるかを決定する。即ち、入力画像を複数のエリアに分割して各エリア毎に補間手段に複数種類の補間処理のうち一つを選択して行わせている。
【００４８】
次に、ステップＳ１０において、制御部４が、ステップＳ９で算出された画素データを第４ＲＡＭ１４に格納してステップＳ１１に進む。
【００４９】
次に、ステップＳ１１において、制御部４が、第４ＲＡＭ１４に１エリア分の全ての画素データを格納したか否かを判断し、格納した場合（ＹＥＳの場合）はステップＳ１２に進み、格納していない場合（ＮＯの場合）はステップＳ８に戻る。
【００５０】
次に、ステップＳ１２において、制御部４が、ＤＤＲメモリ４０に第４ＲＡＭ１４に格納されている１エリア分の画像データを格納してステップＳ１３に進む。
【００５１】
次に、ステップＳ１３において、制御部４が、１フレーム終了したか否かを判断し、終了した場合（ＹＥＳの場合）はステップＳ１４に進み、終了していない場合（ＮＯの場合）はステップＳ４およびＳ７に戻る。
【００５２】
次に、ステップＳ１４において、ＣＰＵ２０が、ＤＤＲコントローラ３０にＤＤＲメモリ４０から１フレーム分の補間後の画像データを外部に出力させて終了する。
【００５３】
本実施形態によれば、ＣＰＵ２０がバイキュービック法で補間を行うエリアとバイリニア法で補間を行うエリアを特定して、バイキュービック法で行うエリアを先に行い、バイリニア法により行うエリアを後に行うように処理順序を補間回路２の第１ＲＡＭ４ａに設定し、制御部４では、第１ＲＡＭ４ａに設定された処理順にしたがって補間処理を行うので、メモリアクセスや処理の待ち時間を少なくすることができる。
【００５４】
また、入力画像の歪みの大きさに基づいて、歪みが大きいエリアのみをバイキュービック法で補間しているので、画質を落とさず１フレーム内のかかる処理時間を短縮することができる。
【００５５】
また、第３メモリ８、９が４分割されているので、バイリニア法の場合一度のアクセスで補間処理に必要とする参照画像データを読み出すことができる。また、バイキュービック法の場合でも、４回のアクセスで補間処理に必要とうする参照画像データを読み出すことができるので、１画素ずつ読み出すよりもメモリアクセス時間を短縮することができる。
【００５６】
なお、上述した実施形態では、処理時間のかかる処理法（バイキュービック法）を先に行っていたが後でもよい。
【００５７】
また、本発明は、バイキュービック法とバイリニア法に限らず、他の画像補間方法や補正方法を含む３以上の処理方法から選択するようにしてもよい。また、処理時間ごとにまとめられればよいので、異なる処理方法が同じ処理時間であった場合は混在してもよい。なお、この同じ処理時間とは、全く同一に限らず、全体の処理時間からに見て待ち時間などの影響がほとんど無いとみなせるものであれば同じとしてもよい。
【００５８】
また、上述したＣＰＵ２０と補間回路２の機能を統合してコンピュータで動作するプログラムとして構成してもよい。
【００５９】
また、本発明は上記実施形態に限定されるものではない。即ち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。
【符号の説明】
【００６０】
１          画像処理装置
２          補間回路
４          制御部（制御手段）
４ａ        第１ＲＡＭ
８、９      第２ＲＡＭ（参照パラメータ格納手段）
１０、１１  第３ＲＡＭ（画像格納手段）
１６        バイキュービック補間部（補間手段）
１７        バイリニア補間部（補間手段）
２０        ＣＰＵ（特定手段、処理順決定手段）
Ｓ１        ＣＰＵから第１ＲＡＭにエリアのアドレスデータをセット（特定ステップ、処理順決定ステップ）
Ｓ５        参照パラメータを第２ＲＡＭに格納（参照画像格納ステップ）
Ｓ６        ＤＤＲメモリの参照画像を第３ＲＡＭへ格納（画像格納ステップ）
Ｓ９        ４または１６画素から補間演算して１画素を算出（補間ステップ）
【先行技術文献】
【特許文献】
【００６１】
【特許文献１】特開２００２−９１６０８号公報
【図１】
2013126130.tif 000003
【図２】
2013126130.tif 000004
【図３】
2013126130.tif 000005
【図４】
2013126130.tif 000006
【図５】
2013126130.tif 000007