(57)【要約】 【課題】  処理速度が早く、かつ回路面積およびコストの低減化を図ることができる画像処理装置および画像処理方法を提供する。【解決手段】  輝度成分の補間値Ｐを算出する場合、補間処理部２２３は、１６個の画像データＰ１１〜Ｐ４４および係数部２２４から受け取る重み係数に基づいて、中間値ＰＡ〜ＰＤを算出する。出力データ制御部２２５は、中間値ＰＡ〜ＰＤを加算して補間値Ｐを算出する。色差成分の補間値を算出する場合、補間処理部２２３は、第１の補間点についての４個のＣｂデータＰＡ２２〜ＰＡ３３および４個のＣｒデータＰＢ２２〜ＰＢ３３、ならびに第２の補間点についての４個のＣｂデータＰＣ２２〜ＰＣ３３および４個のＣｒデータＰＤ２２〜ＰＤ３３、および係数部２２４から受け取る重み係数に基づいて、第１の補間点のＣｂ，Ｃｒ成分および第２の補間点のＣｂ，Ｃｒ成分として、それぞれ中間値ＰＡ〜ＰＤを算出する。【選択図】      図１１
2010113554.tif 000002
【特許請求の範囲】
【請求項１】
相互に異なる第１〜第３成分からなる画素によって構成される画像を表す画像データを入力する入力手段と、
画像のサイズを変更する倍率を指示する指示手段と、
３次たたみ込み内挿法または共１次内挿法によって補間値を算出する補間値算出手段と、
補間値算出手段を用いて、入力手段によって入力される画像データを、指示手段によって指示される倍率で変更したサイズの画像を表す画像データに変換する変換手段と、
変換手段によって変換される画像データを出力する出力手段とを含み、
変換手段は、変換前の座標系において変換後の画像データが示す画像の画素に対応する位置である補間点での第１〜第３成分の補間値を補間値算出手段によって算出させるとき、
第１成分については、補間点ごとにそれぞれ、入力手段によって入力される画像データが示す入力画像の画素のうち、補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素の第１成分に基づいて、３次たたみ込み内挿法によって第１成分の補間値を算出させ、
第２成分および第３成分については、２つの補間点ごとに同時に、２つの補間点のうちの第１の補間点での第２成分の補間値を、前記入力画像の画素のうちの第１の補間点を囲む４個の画素の第２成分に基づいて、第１の補間点での第３成分の補間値を第１の補間点を囲む前記４個の画素の第３成分に基づいて、２つの補間点のうちの第１の補間点とは異なる第２の補間点での第２成分の補間値を、前記入力画像の画素のうちの第２の補間点を囲む４個の画素の第２成分に基づいて、および第２の補間点での第３成分の補間値を第２の補間点を囲む前記４個の画素の第３成分に基づいて、共１次内挿法によって算出させ、
補間値算出手段によって算出される第１成分の補間値を第１成分、補間値算出手段によって算出される第２成分の補間値を第２成分、および補間値算出手段によって算出される第３成分の補間値を第３成分とする画素によって構成される画像を表す画像データを変換後の画像データとすることを特徴とする画像処理装置。
【請求項２】
３次たたみ込み内挿法によって補間値を算出するために必要な第１の補間係数、および共１次内挿法によって補間値を算出するために必要な第２の補間係数を表す補間係数情報を記憶する記憶手段をさらに含み、
前記補間値算出手段は、
前記１６個の画素の第１成分、および記憶手段に記憶される補間係数情報が示す第１の補間係数に基づいて、前記第１成分の補間値を算出し、
前記第１の補間点または第２の補間点を囲む４個の画素の第２成分、および記憶手段に記憶される補間係数情報が示す第２の補間係数に基づいて、前記第２成分の補間値を算出し、
前記第１の補間点または第２の補間点を囲む４個の画素の第３成分、および記憶手段に記憶される補間係数情報が示す第２の補間係数に基づいて、前記第３成分の補間値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補間値算出手段は、
補間点の位置をＸＹ座標系で表したとき、前記１６個の画素のうちの１つの画素の第１成分とその第１成分に対応するＸ軸方向の第１の補間係数とを乗算する２つの第１の乗算器と、２つの第１の乗算器の出力を加算する第１の加算器と、第１の加算器の出力と前記第１成分に対応するＹ軸方向の第１の補間係数とを乗算する第２の乗算器とを備える８つの論理回路部と、
８つの論理回路部を４つのグループに分けたとき、各グループの２つの第２の乗算器の出力を加算する４つの第２の加算器とを含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補間値算出手段は、
３次たたみ込み内挿法によって補間値を算出するとき、前記１６個の画素の第１成分、および記憶手段に記憶される補間係数情報が示す第１の補間係数を、前記８つの論理回路部に入力し、前記４つのグループの第２の加算器の出力を加算することによって、前記第１成分の補間値を算出し、
共１次内挿法によって４つの補間値を算出するとき、前記第１の補間点を囲む４個の画素の第２成分、および記憶手段に記憶される補間係数情報が示す第２の補間係数を前記４つのグループのうちの第１のグループの２つの論理回路部に入力し、第１のグループの出力を第１の補間点での第２成分の補間値とし、前記第１の補間点を囲む４個の画素の第３成分、および記憶手段に記憶される補間係数情報が示す第２の補間係数を前記４つのグループのうちの第２のグループの２つの論理回路部に入力し、第２のグループの出力を第１の補間点での第３成分の補間値とし、前記第２の補間点を囲む４個の画素の第２成分、および記憶手段に記憶される補間係数情報が示す第２の補間係数を前記４つのグループのうちの第３のグループの２つの論理回路部に入力し、第３のグループの出力を第２の補間点での第２成分の補間値とし、前記第２の補間点を囲む４個の画素の第３成分、および記憶手段に記憶される補間係数情報が示す第２の補間係数を前記４つのグループのうちの第４のグループの２つの論理回路部に入力し、第４のグループの出力を第２の補間点での第３成分の補間値とすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
相互に異なる第１〜第３成分からなる画素によって構成される画像を表す画像データを入力する入力ステップと、
画像のサイズを変更する倍率を指示する指示ステップと、
３次たたみ込み内挿法または共１次内挿法によって補間値を算出する補間値算出部によって、入力ステップで入力された画像データを、指示ステップで指示された倍率で変更したサイズの画像を表す画像データに変換する変換ステップであって、
変換前の座標系において変換後の画像データが示す画像の画素に対応する位置である補間点での第１〜第３成分の補間値を補間値算出部によって算出するとき、
第１成分については、補間点ごとにそれぞれ、入力ステップで入力された画像データが示す入力画像の画素のうち、補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素の第１成分に基づいて、３次たたみ込み内挿法によって第１成分の補間値を算出し、
第２成分および第３成分については、２つの補間点ごとに同時に、２つの補間点のうちの第１の補間点での第２成分の補間値を、前記入力画像の画素のうちの第１の補間点を囲む４個の画素の第２成分に基づいて、第１の補間点での第３成分の補間値を第１の補間点を囲む前記４個の画素の第３成分に基づいて、２つの補間点のうちの第１の補間点とは異なる第２の補間点での第２成分の補間値を、前記入力画像の画素のうちの第２の補間点を囲む４個の画素の第２成分に基づいて、および第２の補間点での第３成分の補間値を第２の補間点を囲む前記４個の画素の第３成分に基づいて、共１次内挿法によって算出し、
補間値算出部によって算出された第１成分の補間値を第１成分、補間値算出部によって算出された第２成分の補間値を第２成分、および補間値算出部によって算出された第３成分の補間値を第３成分とする画素によって構成される画像を表す画像データを変換後の画像データとする変換ステップと、
変換ステップで変換された画像データを出力する出力ステップとを含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を変形する処理を行う画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像処理装置は、画像を拡大、縮小あるいは回転など変形して表示するとき、画像を表す画像データに対して幾何変換を行って表示する。幾何変換は、画像データを所定の座標変換式によって別の座標系に射影する変換である。画像データがベクトル型データであるときは、座標変換処理を行うだけで幾何変換を行うことができるが、画像データがラスタ型データであるときは、座標変換処理の他に、画像再配列処理および画像データの内挿処理を行う必要がある。
【０００３】
座標変換処理は、入力画像の画像データを出力画像の座標系での画像データに変換する処理、または出力画像の画像データを入力画像の座標系での画像データに変換する処理である。画像再配列処理は、座標変換処理後の画像データが示す画像の各画素を、出力画像の座標系で定められる格子状の画素位置（以下「格子点」という）に対応するように、入力画像の各画素を並べ直す処理である。
【０００４】
画像データの内挿処理は、座標変換処理によって変換された画像データが示す出力画像の各画素の位置が格子点の位置に一致しない場合、格子点に配置する画素の値を内挿補間によって算出する処理である。内挿補間の方法には、いくつかの方法があり、処理の単純さ、精度、あるいは歪みの発生などの影響を考慮して、目的に応じた方法を選択する必要がある。
【０００５】
画像処理装置の多様化に伴い、多くの画像処理装置は、画像の拡大表示あるいは縮小表示を行う機能を有している。画像処理装置として、たとえばディジタルスチルカメラでは、ディジタルズーム機能によって、ディジタル信号処理によるカラー画像の拡大縮小を行うことができる。画像の拡大縮小は、内挿する点（以下「補間点」という）の画素の値（以下「補間値」という）をどのような方法で算出するかによって、画質および処理速度に大きな影響を与える。
【０００６】
内挿補間の方法には、たとえば最近隣内挿法（以下「ニアレストネイバー法」ともいう）、共１次内挿法（以下「バイリニア法」ともいう）および３次たたみ込み内挿法（以下「バイキュービック法」ともいう）がある。ニアレストネイバー法およびバイリニア法は、バイキュービック法よりも、演算処理が簡易で処理速度は速いが、補間精度が低く、画質の面で劣る。バイキュービック法は、ニアレストネイバー法およびバイリニア法よりも、補間精度が高く、画質の面で優れているが、演算処理が複雑であり、処理に時間がかかる。したがって要求される仕様が処理速度を重視するか画質を重視するかによって、補間方法を選択する必要がある。
【０００７】
図１４は、従来の技術による画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、２つの補間方法を用いて画像の拡大縮小を行う装置であり、入力画像メモリ１０１、補間演算部１０２および出力画像メモリ１０３を含んで構成される。入力画像メモリ１０１は、入力される画像を表す画像データを記憶するメモリであり、画像データを、色成分の種類たとえば輝度成分および色差成分などの種類ごとに記憶する。補間演算部１０２は、第１の補間処理部１０２ａおよび第２の補間処理部１０２ｂを含む。出力画像メモリ１０３は、補間演算部１０２で演算された補間値を色成分の種類ごとに記憶するメモリである。
【０００８】
第１の補間処理部１０２ａおよび第２の補間処理部１０２ｂは、それぞれ異なる補間方法によって補間値を算出する。たとえば、第１の補間処理部１０２ａは、バイキュービック法によって第１成分である輝度成分の補間値を算出し、第２の補間処理部１０２ｂは、バイリニア法によって第２成分および第３成分である色差成分の補間値を算出する。図１４に示した補間演算部１０２は、２つの補間処理部を含むが、色成分の種類が３つ以上ある場合は、それぞれの成分に対応する補間処理部を設けることによって、それぞれの成分の補間値を並行して算出することができる。
【０００９】
たとえば特許文献１に記載の画像処理装置は、投影法などの高品位の画素密度変換を行う第１の画素密度変換部と、単純間引きなどの高速な画素密度変換を行う第２の画素密度変換部と含む。第１の画素密度変換部は、ＹＵＶ画像データから得られるＹ信号つまり輝度信号に対して画素密度変換を行う。第２の画素密度変換部は、２つの画素密度変換部を含み、ＹＵＶ画像データから得られるＵ信号およびＶ信号つまり２つの色差信号に対して画素密度変換を行う。
【００１０】
第１の画素密度変換部は、図１４に示した補間処理部１０２ａつまりバイキュービック法によって補間値を算出する補間処理部に対応し、第２の画素密度変換部は、図１４に示した補間処理部１０２ｂつまりバイリニア法によって補間値を算出する補間処理部に対応する。
【００１１】
特許文献２に記載の画像処理装置は、輝度信号を４×４画素以上の演算領域の内挿法たとえば立体たたみ込み内挿法、すなわち３次たたみ込み内挿法を用いて信号処理を行う輝度信号処理部と、色差信号を立体たたみ込み内挿法とは異なる２×２画素以内の演算領域の内挿法である他の内挿法を用いて信号処理を行う色差信号処理部とを含み、画像信号を輝度信号と色差信号とに分けて異なる補間方法を用いて信号処理を行う。信号処理は、内挿法に対応する補間プログラムを実行することによって処理される。
【００１２】
他の内挿法は、たとえば共１次内挿法、最近隣内挿法、単純間引きあるいは単純補間である。それぞれの内挿法に対応した補間プログラムをＲＯＭ（Read Only Memory）に記憶しておき、目的の内挿法に対応する補間プログラムを選択して実行することも可能である。色差信号に演算領域の狭い補間方法を用いているので、位置が離れているために生じる色の違いを低く抑えると共に、色ずれを防止することができる。
【００１３】
【特許文献１】特開平９−２９８６６０号公報
【特許文献２】特開２００１−１４４５４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
特許文献１に記載の画像処理装置では、人の目が色差信号よりも輝度信号のほうに敏感であることを利用しており、演算量を減らして、画質の劣化の少ない画像に変換することができる。特許文献１の画像処理装置は、高速な処理は可能であるが、輝度信号および２つの色差信号ごとに画素密度変換を行う回路が必要となるので、回路面積が増大するという問題がある。
【００１５】
特許文献２に記載の画像処理装置では、補間プログラムを実行することによって所定の補間方法による信号処理が行われるので、ハードウェアによる信号処理に比べて時間がかかり、実時間処理には適していない。実時間処理が要求される装置に適用するためには、内挿法による補間処理をハードウェアによって実現する必要がある。しかし、前記補間処理をハードウェアによって実現した場合、特許文献１の画像処理装置と同様に、回路面積が増大するという問題がある。
【００１６】
本発明の目的は、処理速度が早く、かつ回路面積およびコストの低減化を図ることができる画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【００１７】
本発明は、相互に異なる第１〜第３成分からなる画素によって構成される画像を表す画像データを入力する入力手段と、
画像のサイズを変更する倍率を指示する指示手段と、
３次たたみ込み内挿法または共１次内挿法によって補間値を算出する補間値算出手段と、
補間値算出手段を用いて、入力手段によって入力される画像データを、指示手段によって指示される倍率で変更したサイズの画像を表す画像データに変換する変換手段と、
変換手段によって変換される画像データを出力する出力手段とを含み、
変換手段は、変換前の座標系において変換後の画像データが示す画像の画素に対応する位置である補間点での第１〜第３成分の補間値を補間値算出手段によって算出させるとき、
第１成分については、補間点ごとにそれぞれ、入力手段によって入力される画像データが示す入力画像の画素のうち、補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素の第１成分に基づいて、３次たたみ込み内挿法によって第１成分の補間値を算出させ、
第２成分および第３成分については、２つの補間点ごとに同時に、２つの補間点のうちの第１の補間点での第２成分の補間値を、前記入力画像の画素のうちの第１の補間点を囲む４個の画素の第２成分に基づいて、第１の補間点での第３成分の補間値を第１の補間点を囲む前記４個の画素の第３成分に基づいて、２つの補間点のうちの第１の補間点とは異なる第２の補間点での第２成分の補間値を、前記入力画像の画素のうちの第２の補間点を囲む４個の画素の第２成分に基づいて、および第２の補間点での第３成分の補間値を第２の補間点を囲む前記４個の画素の第３成分に基づいて、共１次内挿法によって算出させ、
補間値算出手段によって算出される第１成分の補間値を第１成分、補間値算出手段によって算出される第２成分の補間値を第２成分、および補間値算出手段によって算出される第３成分の補間値を第３成分とする画素によって構成される画像を表す画像データを変換後の画像データとすることを特徴とする画像処理装置である。
【００１８】
また本発明は、相互に異なる第１〜第３成分からなる画素によって構成される画像を表す画像データを入力する入力ステップと、
画像のサイズを変更する倍率を指示する指示ステップと、
３次たたみ込み内挿法または共１次内挿法によって補間値を算出する補間値算出部によって、入力ステップで入力された画像データを、指示ステップで指示された倍率で変更したサイズの画像を表す画像データに変換する変換ステップであって、
変換前の座標系において変換後の画像データが示す画像の画素に対応する位置である補間点での第１〜第３成分の補間値を補間値算出部によって算出するとき、
第１成分については、補間点ごとにそれぞれ、入力ステップで入力された画像データが示す入力画像の画素のうち、補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素の第１成分に基づいて、３次たたみ込み内挿法によって第１成分の補間値を算出し、
第２成分および第３成分については、２つの補間点ごとに同時に、２つの補間点のうちの第１の補間点での第２成分の補間値を、前記入力画像の画素のうちの第１の補間点を囲む４個の画素の第２成分に基づいて、第１の補間点での第３成分の補間値を第１の補間点を囲む前記４個の画素の第３成分に基づいて、２つの補間点のうちの第１の補間点とは異なる第２の補間点での第２成分の補間値を、前記入力画像の画素のうちの第２の補間点を囲む４個の画素の第２成分に基づいて、および第２の補間点での第３成分の補間値を第２の補間点を囲む前記４個の画素の第３成分に基づいて、共１次内挿法によって算出し、
補間値算出部によって算出された第１成分の補間値を第１成分、補間値算出部によって算出された第２成分の補間値を第２成分、および補間値算出部によって算出された第３成分の補間値を第３成分とする画素によって構成される画像を表す画像データを変換後の画像データとする変換ステップと、
変換ステップで変換された画像データを出力する出力ステップとを含むことを特徴とする画像処理方法である。
【発明の効果】
【００１９】
本発明によれば、入力手段によって、相互に異なる第１〜第３成分からなる画素によって構成される画像を表す画像データが入力され、指示手段によって、画像のサイズを変更する倍率が指示される。補間値算出手段によって、３次たたみ込み内挿法または共１次内挿法によって補間値が算出される。変換手段によって、補間値算出手段を用いて、入力手段によって入力される画像データが、指示手段によって指示される倍率で変更したサイズの画像を表す画像データに変換され、出力手段によって、変換手段によって変換される画像データが出力される。
【００２０】
さらに、変換手段によって、変換前の座標系において変換後の画像データが示す画像の画素に対応する位置である補間点での第１〜第３成分の補間値が補間値算出手段によって算出されるとき、第１成分については、補間点ごとにそれぞれ、入力手段によって入力される画像データが示す入力画像の画素のうち、補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素の第１成分に基づいて、３次たたみ込み内挿法によって第１成分の補間値が算出される。
【００２１】
第２成分および第３成分については、２つの補間点ごとに同時に、２つの補間点のうちの第１の補間点での第２成分の補間値が、前記入力画像の画素のうちの第１の補間点を囲む４個の画素の第２成分に基づいて、第１の補間点での第３成分の補間値が第１の補間点を囲む前記４個の画素の第３成分に基づいて、２つの補間点のうちの第１の補間点とは異なる第２の補間点での第２成分の補間値が、前記入力画像の画素のうちの第２の補間点を囲む４個の画素の第２成分に基づいて、および第２の補間点での第３成分の補間値が第２の補間点を囲む前記４個の画素の第３成分に基づいて、共１次内挿法によって算出される。
【００２２】
そして、補間値算出手段によって算出される第１成分の補間値を第１成分、補間値算出手段によって算出される第２成分の補間値を第２成分、および補間値算出手段によって算出される第３成分の補間値を第３成分とする画素によって構成される画像を表す画像データが変換後の画像データとされる。
【００２３】
したがって、３次たたみ込み内挿法または共１次内挿法によって補間値を算出する補間値算出手段として、たとえばハードウェアによって構成される手段を有しているので、補間値を算出するプログラムを実行して逐次計算するよりも短時間で３次たたみ込み内挿法による補間値を算出することができ、その補間値算出手段を用いて、共１次内挿法によって算出される補間値を算出することができるので、共１次内挿法によって補間値を算出するためのハードウェアが不要であり、回路面積およびコストの低減化を図ることができる。すなわち、処理速度が早く、かつ回路面積およびコストの少ない回路で画像の補間を行うことができる。
【００２４】
また本発明によれば、入力ステップでは、相互に異なる第１〜第３成分からなる画素によって構成される画像を表す画像データを入力し、指示ステップでは、画像のサイズを変更する倍率を指示する。
【００２５】
変換ステップでは、３次たたみ込み内挿法または共１次内挿法よって補間値を算出する補間値算出部によって、入力ステップで入力された画像データを、指示ステップで指示された倍率で変更したサイズの画像を表す画像データに変換するにあたって、変換前の座標系において変換後の画像データが示す画像の画素に対応する位置である補間点での第１〜第３成分の補間値を補間値算出部によって算出するとき、第１成分については、補間点ごとにそれぞれ、入力ステップで入力された画像データが示す画像の画素のうち、補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素の第１成分に基づいて、３次たたみ込み内挿法によって第１成分の補間値を算出する。
【００２６】
第２成分および第３成分については、２つの補間点ごとに同時に、２つの補間点のうちの第１の補間点での第２成分の補間値を、前記入力画像の画素のうちの第１の補間点を囲む４個の画素の第２成分に基づいて、第１の補間点での第３成分の補間値を第１の補間点を囲む前記４個の画素の第３成分に基づいて、２つの補間点のうちの第１の補間点とは異なる第２の補間点での第２成分の補間値を、前記入力画像の画素のうちの第２の補間点を囲む４個の画素の第２成分に基づいて、および第２の補間点での第３成分の補間値を第２の補間点を囲む前記４個の画素の第３成分に基づいて、共１次内挿法によって算出する。
【００２７】
そして、補間値算出部によって算出された第１成分の補間値を第１成分、補間値算出部によって算出された第２成分の補間値を第２成分、および補間値算出部によって算出された第３成分の補間値を第３成分とする画素によって構成される画像を表す画像データを変換後の画像データとする。さらに、出力ステップでは、変換ステップで変換された画像データを出力する。
【００２８】
したがって、本発明に係る画像処理方法を適用すれば、３次たたみ込み内挿法または共１次内挿法によって補間値を算出する補間値算出部として、たとえばハードウェアによって構成される回路を用いるので、補間値を算出するプログラムを実行して逐次計算するよりも短時間で３次たたみ込み内挿法による補間値を算出することができ、その補間値算出部を用いて、共１次内挿法によって算出される補間値を算出することができるので、共１次内挿法によって補間値を算出するためのハードウェアが不要であり、回路面積およびコストの低減化を図ることができる。すなわち、処理速度が早く、かつ回路面積およびコストを少なくすることができる。
【発明を実施するための最良の形態】
【００２９】
図１は、本発明の実施の一形態である画像処理装置１の概略の構成を示すブロック図である。画像処理装置１は、画像を変形する処理たとえば拡大、縮小あるいは回転などの処理を行う装置であり、入力画像メモリ１１、補間演算部１２および出力画像メモリ１３を含んで構成される。本発明に係る画像処理方法は、画像処理装置１で処理される。
【００３０】
入力画像メモリ１１は、たとえばイメージセンサなどの入力手段である図示しない入力装置によって入力される画像を表す画像データを記憶するメモリである。入力画像メモリ１１は、画像データを、画像データが示す画像を構成する各画素の成分の種類たとえば画像をＹＣｂＣｒ（Luma Chroma-blue Croma-red）方式で表した場合の輝度成分および色差成分などの種類ごとに記憶する。図１に示した画像データＡがたとえば輝度成分を表すデータであり、画像データＢがたとえば２つの色差成分のうちの１つの色差成分を表すデータである。
【００３１】
補間演算部１２は、３次たたみ込み内挿法であるバイキュービック法、共１次内挿法であるバイリニア法およびニアレストネイバー法のうちのいずれかの補間方法を選択し、選択した補間方法を用いて補間値を算出することができる。補間演算部１２は、これらの補間方法を用いることによって、指示手段である図示しない操作部によって指示される倍率で、入力画像を出力画像に変換する。
【００３２】
補間演算部１２は、入力データ制御部１２１、補間処理部１２２、出力データ制御部１２３および入出力制御部１２４を含んで構成される。入力データ制御部１２１は、入出力制御部１２４から指示される画素で、かつその画素の成分のうち入出力制御部１２４から指示される成分を表す画素データを入力画像メモリ１１から読み出し、読み出した画素データもしくは入出力制御部１２４から指示される値が「０」である成分のデータ、および入出力制御部１２４から指示される補間係数を、補間処理部１２２に入力する。補間係数は、補間値を算出すために必要な係数であり、バイキュービック法の補間係数、バイリニア法の補間係数およびニアレストネイバー法の補間係数がある。以下、補間係数のことを重み係数ともいう。
【００３３】
補間処理部１２２は、補間値を算出するための中間値を算出する論理回路であり、入力データ制御部１２１によって入力される入力データおよび重み係数に基づいて、中間値を算出し、算出した中間値を出力データ制御部１２３に入力する。出力データ制御部１２３は、補間処理部１２２から入力される中間値に対して、入出力制御部１２４から指示される画素の成分に対応する演算を行って補間値を算出し、算出した補間値を変換後の画像データとして出力画像メモリ１３に書き込む。演算の必要がない場合は、補間処理部１２２から入力される中間値を補間値として扱い、その補間値を変換後の画像データとして出力画像メモリ１３に書き込む。
【００３４】
入出力制御部１２４は、入力データ制御部１２１および出力データ制御部１２３を制御する。入力データ制御部１２１に対しては、入力画像メモリ１１から読み出す画素データの画像および成分、値を「０」とする成分、ならびに重み係数を指示する。出力データ制御部１２３に対しては、補間値を算出する画素の成分を指示する。
【００３５】
出力画像メモリ１３は、補間演算部１２で演算される補間値つまり変換後の画像データを画像の成分ごとに記憶するメモリである。たとえば、画像データＡ’が輝度成分を表す画像データであり、画像データＢ’が２つの色差成分のうちの１つの色差成分を表す画像データである。出力画像メモリ１３に記憶される画像データは、液晶ディスプレイあるいはプリンタなどの出力手段である図示しない出力装置に出力される。
【００３６】
入力画像メモリ１１、入力データ制御部１２１、補間処理部１２２、出力データ制御部１２３および出力画像メモリ１３は、補間値算出手段あるいは補間値算出部である。入出力制御部１２４は、変換手段である。
【００３７】
図２は、入力画像メモリ１１に記憶される画像データが示す画像を構成する各画素５１の位置と補間点５２の位置との関係を示す図である。各画素５１は、格子状に配列され、各格子点に１つの画素５１が配置される。ＸＹ座標軸における各格子点の位置は、Ｘ座標およびＹ座標ともに整数の値の位置である。
【００３８】
補間点５２の位置は、入力画像の画素を出力画像に変換したとき、出力画像の画素を入力画像の座標系で表した位置であり、座標（ｕ，ｖ）で表す。補間点５２での補間値をＰ（ｕ，ｖ）とする。バイキュービック法を用いて補間値Ｐ（ｕ，ｖ）（以下単に「Ｐ」ともいう）を算出する場合は、領域５３内にある１６個の画素、つまり補間点５２を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素に基づいて算出し、バイリニア法を用いて補間値Ｐを算出する場合は、領域５４内にある４個の画素、つまり補間点５２を囲む４個の画素に基づいて算出する。
【００３９】
図３は、図２に示した領域５３を拡大した図である。画像データＰ１１，Ｐ１２，Ｐ１３，Ｐ１４，Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４，Ｐ３１，Ｐ３２，Ｐ３３，Ｐ３４，Ｐ４１，Ｐ４２，Ｐ４３，Ｐ４４（以下「Ｐ１１〜Ｐ４４」ともいう）は、領域５３内にある各画素の演算対象の成分を示す。バイキュービック法を用いる場合、補間値Ｐ（ｕ，ｖ）は、式（１）〜（３）から算出することができる。変数ｘ１〜ｘ４は、補間点から領域５３内にある１６個の画素までのＸ軸方向の距離であり、変数ｙ１〜ｙ４は、補間点から領域５３内にある１６個の画素までのＹ軸方向の距離である。重み係数ｆ（ｘ１）〜ｆ（ｘ４）およびｆ（ｙ１）〜ｆ（ｙ４）は、式（３）の変数ｔに、式（２）によって求められる変数ｘ１〜ｘ４および変数ｙ１〜ｙ４を代入して求められる係数である。式（２），（３）における［］は、少数部分を切り捨てて整数部分をとるガウス記号である。
【００４０】
【数１】
2010113554.tif 000003
【００４１】
x1=1+(u-[u]),x2=(u-[u]),x3=1-(u-[u]),x4=2-(u-[u]),
y1=1+(v-[v]),y2=(v-[v]),y3=1-(v-[v]),y4=2-(v-[v])               …（２）
f(t)=sin(πt)/(πt)                                             …（３）
【００４２】
式（３）に含まれるｓｉｎ関数をディジタル的に演算することができないので、補間演算部１２は、式（４）に示す積和演算のみで表現した近似式を用いて演算する。定数ａは実数であり、定数ａの値を変化させることによって補間特性を制御することができる。画像処理装置１では、定数ａの値は、たとえば「−１」である。
【００４３】
【数２】
2010113554.tif 000004
【００４４】
図４は、図２に示した領域５４を拡大した図である。図２では、領域５４内の４個の画素の成分はＰ２２，Ｐ２３，Ｐ３２，Ｐ３３であるが、図４では、一般化してＰｉｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ，Ｐｉ＋１ｊ＋１で表している。変数ｉおよびｊは、正の整数である。バイリニア法を用いる場合、補間値Ｐは、補間点を囲む４個の画素と補間点との距離に応じた重み係数を用いて、式（５），（６）から算出することができる。バイリニア法は、バイキュービック法と比べて、補間精度は低いが演算量が少ないという利点がある。式（６）における［］は、ガウス記号である。
P={(i+1)-u}{(j+1)-v}Pij+{(i+1)-u}(v-j)Pij+1
+{(u-i){(j+1)-v}Pi+1j+(u-i)(v-j)Pi+1j+1                       …（５）
i=[u],j=[v]                                                     …（６）
【００４５】
図５は、ニアレストネイバー法を用いて補間値を求める例を説明するための図である。ニアレストネイバー法は、補間点を囲む画素に基づいて、式（７），（８）によって補間値を算出する。ニアレストネイバー法は、位置精度は最大で画素間隔の距離の１／２の距離がずれるが、元の画素の成分の値がそのまま適用され変化しないという利点がある。さらに、バイリニア法に比して演算量が少ない。式（８）における［］は、ガウス記号である。
P=Pmn                                                           …（７）
m=[u+0.5],n=[v+0.5]                                             …（８）
【００４６】
バイキュービック法の演算量とバイリニア法の演算量とを比較するために、それぞれの算出式を変形する。バイキュービック法については、式（１）を展開して、式（９）〜（１３）に変形する。式（９）〜（１２）によって算出されるＰＡ〜ＰＤは、最終的な補間値Ｐを求めるための途中結果である中間値であり、図３に示した１６画素を左上の４画素、左下の４画素、右上の４画素、および右下の４画素に等分割した各４画素についての計算結果である。補間値Ｐは、中間値ＰＡ〜ＰＤの和であり、式（１３）によって算出される。
PA=P11f(x1)f(y1)+P21f(x2)f(y1)+P12f(x1)f(y2)+P22f(x2)f(y2)      …（９）
PB=P31f(x3)f(y1)+P41f(x4)f(y1)+P32f(x3)f(y2)+P42f(x4)f(y2)        …(10)
PC=P13f(x1)f(y3)+P23f(x2)f(y3)+P14f(x1)f(y4)+P24f(x2)f(y4)        …(11)
PD=P33f(x3)f(y3)+P43f(x4)f(y3)+P34f(x3)f(y4)+P44f(x4)f(y4)        …(12)
P=PA+PB+PC+PD                                                     …(13)
【００４７】
バイリニア法については、式（５），（６）を式（１４），（１５）に変形する。
f(x1)=(i+1)-u,f(x2)=u-i,f(y1)=(j+1)-v,f(y2)=v-j                   …(14)
P=f(x1)f(y1)Pij+ f(x1)f(y2)Pij+1+f(x2)f(y1))Pi＋1j+f(x2)f(y2)Pi+1j+1 
…(15)
【００４８】
重み係数については、バイリニア法は、補間点を囲む４個の画素に基づいて、式（１４）によって算出するが、バイキュービック法は、補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素に基づいて、式（２）,（４）によって算出する。すなわち、バイキュービック法で重み係数を算出する演算量は、バイリニア法で重み係数を算出する演算量よりも多い。
【００４９】
これらの重み係数は、倍率および補間精度が予め決まっている場合は、予め算出しておくことが可能である。予め算出した重み係数をテーブル化したデータとして記憶しておき、記憶されている重み係数を用いて補間計算を行うことによって、演算量を低減し、処理時間の短縮を図ることができる。
【００５０】
補間計算については、バイキュービック法の計算式である式（９）〜（１２）と、バイリニア法の計算式である式（１５）とを比較すると、式（１５）の項の構成は、式（９）〜（１２）のそれぞれの項の構成と同じである。したがって、重み係数をテーブル化したとしても、バイキュービック法での演算量は、バイリニア法での演算量の４倍であり、論理回路の構成によっては、バイキュービック法はバイリニア法よりも処理時間がかかる。
【００５１】
図６は、補間処理部１２２の構成を示すブロック図である。図６では、重み係数を予め算出したデータがテーブル化されて記憶される係数部１２５が追加されている。図１では、重み係数は、入出力制御部１２４で演算され、演算された重み係数が入出力制御部１２４から入力データ制御部１２１を介して補間処理部１２２に入力されたが、図６では、係数部１２５に記憶される重み係数が補間処理部１２２に入力され、処理時間の短縮を図っている。
【００５２】
補間処理部１２２は、８個の論理回路部（以下「ＣＡＬ」という）３１〜３８を含んで構成される。バイキュービック法によって補間値を算出する場合、入力データ制御部１２１は、補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６画素の画像データＰ１１〜Ｐ４４を補間処理部１２２に入力する。係数部１２５は、重み係数ｆ（ｘ１）〜ｆ（ｘ４）およびｆ（ｙ１）〜ｆ（ｙ４）を補間処理部１２２に入力する。補間処理部１２２は、各ＣＡＬ３１〜３８で算出された中間値ＰＡ〜ＰＤを出力し、出力データ制御部１２３に入力する。出力データ制御部１２３は、中間値ＰＡ〜ＰＤを加算して補間値Ｐを出力する。
【００５３】
図７は、補間処理部１２２の論理回路図である。図８は、補間処理部１２２のうち中間値ＰＡを算出する部分の論理回路図である。ＣＡＬ３１は、３つの乗算器３１１，３１２，３１４および１つの加算器３１３によって構成され、ＣＡＬ３３は、３つの乗算器３３１，３３２，３３４および１つの加算器３３３によって構成される。乗算器３１１，３１２，３１４，３３１，３３２，３３４はそれぞれ２つの入力の乗算を行い、加算器３１３，３３３はそれぞれ２つの入力の加算を行う。
【００５４】
乗算器３１１には、画像データＰ１１および重み係数ｆ（ｘ１）が入力され、乗算器３１２には、画像データＰ２１および重み係数ｆ（ｘ２）が入力される。加算器３１３には、乗算器３１１の出力および乗算器３１２の出力が入力され、乗算器３１４には、加算器３１３の出力および重み係数ｆ（ｙ１）が入力される。乗算器３３１には、画像データＰ１２および重み係数ｆ（ｘ１）が入力され、乗算器３３２には、画像データＰ２２および重み係数ｆ（ｘ２）が入力される。加算器３３３には、乗算器３３１の出力および乗算器３３２の出力が入力され、乗算器３３４には、加算器３３３の出力および重み係数ｆ（ｙ２）が入力される。ＣＡＬ３１の出力およびＣＡＬ３３の出力は、加算器３９１に入力され、加算器３９１によって加算された値が中間値ＰＡとして出力される。
【００５５】
中間値ＰＢを出力するためのＣＡＬ３２、ＣＡＬ３４および加算器３９２の組み合わせ、中間値ＰＣを出力するためのＣＡＬ３５、ＣＡＬ３７および加算器３９３の組み合わせ、ならびに中間値ＰＤを出力するためのＣＡＬ３６、ＣＡＬ３８および加算器３９４の組み合わせは、ＣＡＬ３１、ＣＡＬ３３および加算器３９１の組合せと同じ論理回路構成であり、重複を避けるために説明は省略する。
【００５６】
中間値ＰＡ〜ＰＤは、式（９）〜（１２）を変形した式（１６）〜（１９）に基づいて算出される。
PA={P11f(x1)+P21f(x2)}f(y1)+{P12f(x1)+P22f(x2)}f(y2)              …(16)
PB={P31f(x3)+P41f(x4)}f(y1)+{P32f(x3)+P42f(x4)}f(y2)              …(17)
PC={P13f(x1)+P23f(x2)}f(y3)+{P14f(x1)+P24f(x2)}f(y4)              …(18)
PD={P33f(x3)+P43f(x4)}f(y3)+{P34f(x3)+P44f(x4)}f(y4)              …(19)
【００５７】
ＣＡＬ３１は、式（１６）の第１項を演算する論理回路であり、ＣＡＬ３２は、式（１７）の第１項を加算する論理回路であり、ＣＡＬ３３は、式（１６）の第２項を加算する論理回路であり、ＣＡＬ３４は、式（１７）の第２項を加算する論理回路であり、ＣＡＬ３５は、式（１８）の第１項を加算する論理回路であり、ＣＡＬ３６は、式（１９）の第１項を加算する論理回路であり、ＣＡＬ３７は、式（１８）の第２項を加算する論理回路であり、ＣＡＬ３８は、式（１９）の第２項を加算する論理回路である。
【００５８】
ＣＡＬ３１〜３８は、それぞれ３つの乗算器と１つの加算器から構成され、補間処理部１２２は、それらに４つの加算器を加えて構成される。すなわち合計で２４個の乗算器と１２個の加算器とから構成される。それに対して、補間処理部１２２を式（９）〜（１２）に基づいて、論理構成すると、３２個の乗算器と１２個の加算器が必要になる。したがって、式（１６）〜（１９）に基づいて論理構成することによって、式（９）〜（１２）に基づいて論理構成する場合よりも、乗算器を８個削減することができ、回路規模を小さくすることができる。
【００５９】
図９は、補間演算部１２を用いてバイリニア法による補間値を１つ算出するときに用いる画素データの配置を示す図である。補間演算部１２は、バイリニア法によって補間値を１つ求める場合、領域５４内の画素データつまり補間点を囲む４個の画素の画素データを用い、他の１２個の画素データの値を「０」とする。
【００６０】
具体的には、補間演算部１２は、補間点を囲む４個の画素の画素データＰ２２，Ｐ３２，Ｐ２３，Ｐ３３（以下「Ｐ２２〜Ｐ３３」という）を補間処理部１２２に入力し、１６個の画素データＰ１１〜Ｐ４４のうち前記４個の画素データＰ２２〜Ｐ３３を除く他の１２個の画素データとして「０」のデータを補間処理部１２２に入力する。そして、式（１４）によって求めた重み係数ｆ（ｘ１）、ｆ（ｘ２）、ｆ（ｙ１）およびｆ（ｙ２）を、式（９）〜（１２）の項のうち入力される画素データの値が「０」でない項の重み係数、つまり画素データＰ２２〜Ｐ３３が含まれる項の重み係数ｆ（ｘ２）、ｆ（ｘ３）、ｆ（ｙ２）およびｆ（ｙ３）として補間処理部１２２に入力し、式（９）〜（１３）によって補間値Ｐを算出する。式（９）〜（１２）の重み係数ｆ（ｘ１）、ｆ（ｘ４）、ｆ（ｙ１）およびｆ（ｙ４）の値は、画像データの値が０であるのでどんな値でもよい。
【００６１】
まず、式（９）〜（１２）に、４個の画素データＰ２２〜Ｐ３３、１６個の画素データＰ１１〜Ｐ４４のうち４個の画素データＰ２２〜Ｐ３３を除く他の１２個の画素データとして「０」を代入すると、式（９）〜（１２）は、それぞれ式（２０）〜（２３）と表される。
PA=0・f(x1)f(y1)+0・f(x2)f(y1)+0・f(x1)f(y2)+P22f(x2)f(y2)        …(20)
PB=0・f(x3)f(y1)+0・f(x4)f(y1)+P32f(x3)f(y2)+0・f(x4)f(y2)        …(21)
PC=0・f(x1)f(y3)+P23f(x2)f(y3)+0・f(x1)f(y4)+0・f(x2)f(y4)        …(22)
PD=P33f(x3)f(y3)+0・f(x4)f(y3)+0・f(x3)f(y4)+0・f(x4)f(y4)        …(23)
【００６２】
次に、式（２０）〜（２３）を変形すると式（２４）〜（２７）となる。
PA=P22f(x2)f(y2)                                                  …(24)
PB=P32f(x3)f(y2)                                                  …(25)
PC=P23f(x2)f(y3)                                                  …(26)
PD=P33f(x3)f(y3)                                                  …(27)
【００６３】
さらに、式（２４）〜（２７）によって算出される中間値ＰＡ〜ＰＤを式（１３）に代入し、式（２８）よって、補間値Ｐを算出する。
P=PA+PB+PC+PD=P22f(x2)f(y2)+P32f(x3)f(y2)+P23f(x2)f(y3)+P33f(x3)f(y3)
…(28)
【００６４】
式（２８）は、バイリニア法によって補間値を算出する式（１５）の４個の画素データと重み係数とを置き換えた式である。換言すれば、１２個の画像データの値を「０」とし、かつ重み係数をバイリニア法の重み係数とすれば、バイキュービック法によって補間値を算出する補間演算部１２によって、バイリニア法による補間値を算出することができる。
【００６５】
たとえば、画素をＹＣｂＣｒ方式で表して、輝度成分であるＹ成分の補間値をバイキュービック法によって算出し、色差成分であるＣｂ成分およびＣｒ成分の補間値をバイリニア法によって算出する場合、補間演算部１２は、まず、バイキュービック法によって第１成分の補間値であるＹ成分の補間値を算出し、次にバイリニア法によって第２成分の補間値であるＣｂ成分の補間値を算出し、最後にバイリニア法によって第３成分の補間値であるＣｒ成分の補間値を算出する。
【００６６】
図１０は、補間演算部１２を用いてバイリニア法による補間値を同時に４つ算出するときに用いる画素データの配置を示す図である。補間演算部１２は、バイリニア法によって、２つの補間点についてのそれぞれ２つの色素成分つまり合計４つの色素成分について、同時に４つの補間値を求める場合、領域５５内の４個の画素データＰ１１，Ｐ２１，Ｐ１２，Ｐ２２を１つの色差成分を求めるために用い、領域５６内の４個の画素データＰ３１，Ｐ４１，Ｐ３２，Ｐ４２を１つの色差成分を求めるために用い、領域５７内の４個の画素データＰ１３，Ｐ２３，Ｐ１４，Ｐ２４を１つの色差成分を求めるために用い、領域５８内の４個の画素データＰ３３，Ｐ４３，Ｐ３４，Ｐ４４を１つの色差成分を求めるために用いる。
【００６７】
具体的には、２つの補間点の画素のうち第１の補間点の画素のＣｂ成分を求めるための４個の画素データのＣｂ成分をＰＡ２２，ＰＡ２３，ＰＡ３２，ＰＡ３３（以下「ＰＡ２２〜ＰＡ３３」という）とし、第１の補間点の画素のＣｒ成分を求めるための４個の画素データのＣｒ成分をＰＢ２２，ＰＢ２３，ＰＢ３２，ＰＢ３３（以下「ＰＢ２２〜ＰＢ３３」という）とし、第２の補間点の画素のＣｂ成分を求めるための４個の画素データのＣｂ成分をＰＣ２２，ＰＣ２３，ＰＣ３２，ＰＣ３３（以下「ＰＣ２２〜ＰＣ３３」という）とし、第２の補間点の画素のＣｒ成分を求めるための４個の画素データのＣｒ成分をＰＤ２２，ＰＤ２３，ＰＤ３２，ＰＤ３３（以下「ＰＤ２２〜ＰＤ３３」という）とすると、補間演算部１２は、第１の補間点を囲む４個の画素のＣｂ成分の画素データＰＡ２２〜ＰＡ３３を、１６個の画素データＰ１１〜Ｐ４４のうちの４個の画素データＰ１１，Ｐ２１，Ｐ１２，Ｐ２２として補間処理部１２２に入力し、第１の補間点を囲む４個の画素のＣｒ成分の画素データＰＢ２２〜ＰＢ３３を、１６個の画素データＰ１１〜Ｐ４４のうちの４個の画素データＰ３１，Ｐ４１，Ｐ３２，Ｐ４２として補間処理部１２２に入力し、第２の補間点を囲む４個の画素のＣｒ成分の画素データＰＣ２２〜ＰＣ３３を、１６個の画素データＰ１１〜Ｐ４４のうちの４個の画素データＰ１３，Ｐ２３，Ｐ１４，Ｐ２４として補間処理部１２２に入力し、第２の補間点を囲む４個の画素のＣｒ成分の画素データＰＤ２２〜ＰＤ３３を、１６個の画素データＰ１１〜Ｐ４４のうちの４個の画素データＰ３３，Ｐ４３，Ｐ３４，Ｐ４４として補間処理部１２２に入力する。
【００６８】
そして、第１の補間点のＣｂ成分について式（１４）によって求めた重み係数ｆ（ｘ１）、ｆ（ｘ２）、ｆ（ｙ１）およびｆ（ｙ２）を、式（１６）の重み係数ｆ（ｘ１）、ｆ（ｘ２）、ｆ（ｙ１）およびｆ（ｙ２）として補間処理部１２２に入力し、第１の補間点のＣｒ成分について式（１４）によって求めた重み係数ｆ（ｘ１）、ｆ（ｘ２）、ｆ（ｙ１）およびｆ（ｙ２）を、式（１７）の重み係数ｆ（ｘ３）、ｆ（ｘ４）、ｆ（ｙ１）およびｆ（ｙ２）として補間処理部１２２に入力し、第２の補間点のＣｂ成分について式（１４）によって求めた重み係数ｆ（ｘ１）、ｆ（ｘ２）、ｆ（ｙ１）およびｆ（ｙ２）を、式（１８）の重み係数ｆ（ｘ１）、ｆ（ｘ２）、ｆ（ｙ３）およびｆ（ｙ４）として補間処理部１２２に入力し、第２の補間点のＣｒ成分について式（１４）によって求めた重み係数ｆ（ｘ１）、ｆ（ｘ２）、ｆ（ｙ１）およびｆ（ｙ２）を、式（１９）の重み係数ｆ（ｘ３）、ｆ（ｘ４）、ｆ（ｙ３）およびｆ（ｙ４）として補間処理部１２２に入力する。これらの値を式（１６）〜（１９）に代入して変形すると、式（１６）〜（１９）は、それぞれ式（２９）〜（３２）と表される。
PA=PA22f(x1)f(y1)+PA32f(x2)f(y1)+PA23f(x1)f(y2)+PA33f(x2)f(y2)    …(29)
PB=PB22f(x3)f(y1)+PB32f(x4)f(y1)+PB23f(x3)f(y2)+PB33f(x4)f(y2)    …(30)
PC=PC22f(x1)f(y3)+PC32f(x2)f(y3)+PC23f(x1)f(y4)+PC33f(x2)f(y4)    …(31)
PD=PD22f(x3)f(y3)+PD32f(x4)f(y3)+PD23f(x3)f(y4)+PD33f(x4)f(y4)    …(32)
【００６９】
式（２９）〜（３２）は、バイリニア法によって補間値を算出する式（１５）の４個の画素データと重み係数とを置き換えた式である。換言すれば、画像データを２つの補間点のＣｂ成分およびＣｒ成分の画素データとし、かつ重み係数を２つの補間点でのＣｂ成分およびＣｒ成分を算出するためのバイリニア法の重み係数とすれば、バイキュービック法によって補間値を算出する補間演算部１２によって、色差成分であるＣｂ成分およびＣｒ成分のバイリニア法による補間値を、２つの補間点について同時に算出することができる。
【００７０】
たとえば、画素をＹＣｂＣｒ方式で表し、輝度成分であるＹ成分の補間値をバイキュービック法によって算出し、色差成分であるＣｂ成分およびＣｒ成分の補間値をバイリニア法によって算出する場合、補間演算部１２は、まず、第１の補間点および第２の補間点について、バイキュービック法によって第１成分であるＹ成分の補間値をそれぞれ算出し、次にバイリニア法によって第２成分であるＣｂ成分および第３成分であるＣｒ成分の補間値を、第１の補間点および第２の補間点について同時に算出する。したがって、２つの補間点についての補間値を算出する場合、図９に示した場合は、バイキュービック法によって２回そしてバイリニア法によって４回合計６回の処理が必要であったが、補間演算部１２の場合は、バイキュービック法によって２回そしてバイリニア法によって１回合計３回の処理で算出することができ、処理時間を１／２に低減することができる。
【００７１】
図１１は、本発明の実施の他の形態であるディジタルスチルカメラ２の構成を示すブロック図である。画像処理装置であるディジタルスチルカメラ２は、図１に示した画像処理装置１をディジタルスチルカメラに適用した例であり、入力装置２０、画像メモリ２１、サイズ変換処理部２２、出力装置２３および制御プロセッサ２４を含んで構成される。本発明に係る画像処理方法は、ディジタルスチルカメラ２で処理される。
【００７２】
入力手段である入力装置２０は、たとえばイメージセンサによって構成され、撮像した画像の画像データを、具体的には、画像をＹＣｂＣｒ方式で表す場合、輝度成分であるＹ成分ならびに色差成分であるＣｂ成分およびＣｒ成分の画像データに変換して、画像メモリ２１に送り記憶させる。画像メモリ２１は、たとえば半導体メモリあるいはハードディスク装置などの記憶装置によって構成され、入力装置２０から受け取る画像データおよびサイズ変換処理部２２から受け取る画像データを記憶する。
【００７３】
画像をＹＣｂＣｒ方式で表す場合、ディジタルスチルカメラ２は、輝度成分であるＹ成分の補間値をバイキュービック法によって算出し、色差成分であるＣｂ成分およびＣｒ成分の補間値をバイリニア法によって算出する。これは、人の目が色差成分よりも輝度成分のほうに敏感であることを利用したものであり、画質の劣化が少なく、かつ演算量を少なくする上で、非常に効果的である。さらに、色差成分であるＣｂ成分およびＣｒ成分の補間値を算出するために、バイキュービック法での算出に必要な補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６画素よりも少ない画素、つまり補間点を囲む４画素の成分で算出しているので、位置が離れているために生じる色の違いを低く抑えると共に、色ずれを防止することができる。
【００７４】
サイズ変換処理部２２は、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、係数部２２４、出力データ制御部２２５、画像出力部２２６およびコントローラ部２２７を含んで構成される。
【００７５】
画像入力部２２１は、たとえば半導体メモリによって構成される入力バッファ２２１ａを含み、コントローラ部２２７から指示される画像データを画像メモリ２１から読み出しし、読み出した画像データを入力バッファ２２１ａに記憶する。具体的には、画像メモリ２１に記憶される画像データのうち、コントローラ部２２７から指示される成分の画素データから、コントローラ部２２７から指示される画素についての画素データを選択して読み出し、読み出した画素データを入力バッファ２２１ａに記憶する。
【００７６】
たとえばコントローラ部２２７から１つの補間点について輝度成分が指示されると、画像入力部２２１は、輝度成分つまりＹ成分の画素データから、コントローラ部２２７から指示される１６個の画素、つまり補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む４×４の画素の画素データＰ１１〜Ｐ４４を選択して読み出し、読み出した１６個の画素データＰ１１〜Ｐ４４を入力バッファ２２１ａに記憶する。そして、入力バッファ２２１ａに記憶した１６個の画素データＰ１１〜Ｐ４４を入力データ制御部２２２に送る。
【００７７】
あるいはコントローラ部２２７から１つの補間点について色差成分が指示されると、画像入力部２２１は、色差成分つまりＣｂ成分およびＣｒ成分の画素データから、コントローラ部２２７から指示される４個の画素のＣｂ成分の画素データ、つまり補間点を囲む２×２の画素のＣｂ成分の画素データ、および４個のＣｒ成分の画素データ、つまり補間点を囲む２×２の画素のＣｂ成分の画素データ、たとえば４個のＣｂ成分の画素データＰＡ２２〜ＰＡ３３および４個のＣｒ成分のＰＢ２２〜ＰＢ３３を選択して読み出し、読み出した４個のＣｂ成分の画素データＰＡ２２〜ＰＡ３３および４個のＣｒ成分の画素データＰＢ２２〜ＰＢ３３を入力バッファ２２１ａに記憶する。
【００７８】
さらに、コントローラ部２２７から２つの補間点について色差成分が指示されると、画像入力部２２１は、色差成分つまりＣｂ成分およびＣｒ成分の画素データから、コントローラ部２２７から指示される第１の補間点を囲む４個の画素のＣｂ成分の画素データおよび４個のＣｒ成分の画素データ、たとえば４個のＣｂ成分の画素データＰＡ２２〜ＰＡ３３および４個のＣｒ成分のＰＢ２２〜ＰＢ３３、ならびにコントローラ部２２７から指示される第２の補間点を囲む４個の画素のＣｂ成分の画素データおよび４個のＣｒ成分の画素データ、たとえば４個のＣｂ成分の画素データＰＣ２２〜ＰＣ３３および４個のＣｒ成分のＰＤ２２〜ＰＤ３３を選択して読み出す。そして、読み出した第１の補間点についての４個のＣｂ成分の画素データＰＡ２２〜ＰＡ３３および４個のＣｒ成分の画素データＰＢ２２〜ＰＢ３３、ならびに第２の補間点についての４個のＣｂ成分の画素データＰＣ２２〜ＰＣ３３および４個のＣｒ成分の画素データＰＤ２２〜ＰＤ３３を入力バッファ２２１ａに記憶する。
【００７９】
入力データ制御部２２２は、画像入力部２２１から受け取る画素データを、補間処理部２２３への入力データに変換して、補間処理部２２３に送る。補間処理部２２３は、図１に示した補間処理部１２２と同じ回路構成であり、重複を避けるために回路構成の詳細な説明は省略する。補間処理部２２３は、入力データ制御部２２２から受け取る１６個の画像データ、および係数部２２４から受け取る重み係数に基づいて、中間値ＰＡ〜ＰＤを算出し、算出した中間値ＰＡ〜ＰＤを出力データ制御部２２５に送る。
【００８０】
記憶手段である係数部２２４は、たとえば不揮発性のメモリによって構成され、式（２），（４），（１４）によって求められる重み係数を予め計算しテーブル化して記憶する。そして、係数部２２４に記憶する補間係数情報であるテーブルから、コントローラ部２２７から指示される重み係数を読み出し、読み出した重み係数を補間処理部２２３に入力する。
【００８１】
具体的には、係数部２２４は、コントローラ部２２７から輝度成分が指示されると、式（２），（４）から求められる重み係数ｆ（ｘ１）〜ｆ（ｘ４）およびｆ（ｙ１）〜ｆ（ｙ４）を係数部２２４に記憶するテーブルから読み出し、読み出した重み係数ｆ（ｘ１）〜ｆ（ｘ４）およびｆ（ｙ１）〜ｆ（ｙ４）を補間処理部２２３に送る。あるいは、コントローラ部２２７から色差成分が指示されると、式（１４）から求められる重み係数ｆ（ｘ１）、ｆ（ｘ２）、ｆ（ｙ１）およびｆ（ｙ２）を係数部２２４に記憶するテーブルから読み出し、読み出した重み係数ｆ（ｘ１）、ｆ（ｘ２）、ｆ（ｙ１）およびｆ（ｙ２）を、それぞれ式（１６）〜（１９）の重み係数ｆ（ｘ１）〜（ｘ４）およびｆ（ｙ１）〜ｆ（ｙ４）として、補間処理部２２３に送る。
【００８２】
出力データ制御部２２５は、補間処理部２２３から受け取る中間値に基づいて補間値を算出し、算出した補間値を画像出力部２２６に送る。輝度成分については、補間処理部２２３から受け取る中間値ＰＡ〜ＰＤを加算して補間値Ｐを求め、求めた補間値Ｐを画像出力部２２６に送る。色差成分については、補間処理部２２３から受け取る中間値ＰＡを補間値ＰＡとして、補間処理部２２３から受け取る中間値ＰＢを補間値ＰＢとして、補間処理部２２３から受け取る中間値ＰＣを補間値ＰＣとして、補間処理部２２３から受け取る中間値ＰＤを補間値ＰＤとして、画像出力部２２６に送る。
【００８３】
画像出力部２２６は、たとえば半導体メモリによって構成される出力バッファ２２６ａを含み、出力データ制御部２２５から受け取る補間値ＰをＹ成分の画素データとして、出力データ制御部２２５から受け取る補間値ＰＡおよび補間値ＰＢを第１の補間点についてのＣｂ成分の画素データおよびＣｒ成分の画素データとして、出力データ制御部２２５から受け取る補間値ＰＣおよび補間値ＰＤを第２の補間点についてのＣｂ成分の画素データおよびＣｒ成分の画素データとして、出力バッファ２２６ａに記憶する。そして、出力バッファ２２６ａに記憶するＹ成分の画素データ、あるいはＣｂ成分の画素データおよびＣｒ成分の画素データを画像メモリ２１に送り記憶させる。
【００８４】
コントローラ部２２７は、たとえば半導体メモリによって構成される制御レジスタ２２７ａを含み、制御レジスタ２２７ａに記憶されるパラメータに基づいて、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、係数部２２４、出力データ制御部２２５および画像出力部２２６を制御する。
【００８５】
制御レジスタ２２７ａに記憶されるパラメータは、制御プロセッサ２４およびコントローラ部２２７によって設定される。制御プロセッサ２４によって設定されるパラメータは、画素を構成する成分、つまり輝度成分および色差成分のうち処理する成分を示す処理成分指定情報、入力画像のサイズを表す入力画像サイズ情報、および拡大または縮小する倍率を表す拡大縮小倍率情報などの情報を含む。
【００８６】
制御プロセッサ２４は、指示手段である図示しない操作部から、ユーザによって入力される情報に基づいて、入力画像サイズ情報および拡大縮小倍率情報などの情報を生成し、生成した情報をパラメータとして制御レジスタ２２７ａに設定し記憶させる。制御レジスタ２２７ａに記憶されるパラメータは、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、係数部２２４、出力データ制御部２２５および画像出力部２２６から参照される。
【００８７】
コントローラ部２２７は、制御プロセッサ２４から処理の開始を指示されると、サイズ変換処理を開始する。コントローラ部２２７は、制御レジスタ２２７ａに記憶される入力画像サイズ情報および拡大縮小倍率情報などの情報に基づいて、出力画像サイズおよび出力画像の座標計算を行い、計算結果を制御レジスタ２２７ａに記憶した後、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、係数部２２４、出力データ制御部２２５および画像出力部２２６に動作の開始を指示する。
【００８８】
動作の開始を指示された画像入力部２２１、入力データ制御部２２２、補間処理部２２３、係数部２２４、出力データ制御部２２５および画像出力部２２６は、制御レジスタ２２７ａに記憶されるパラメータを参照することによって、コントローラ部２２７からの指示を受け処理を行う。
【００８９】
コントローラ部２２７は、補間値を算出するとき、２つの補間点単位で補間値を算出する。具体的には、２つの補間点のうち第１の補間点について輝度成分であるＹ成分の補間値をバイキュービック法によって算出し、次に第２の補間点について輝度成分であるＹ成分の補間値をバイキュービック法によって算出し、最後に第１の補間点および第２の補間点について色素成分であるＣｂ成分およびＣｒ成分の補間値を、図１０に示したバイリニア法によって算出する。補間点の数が奇数であり、最後に１つ残った場合、その補間点については、輝度成分であるＹ成分の補間値をバイキュービック法によって算出し、次に色素成分であるＣｂ成分およびＣｒ成分の補間値を第１の補間点とし、かつ第２の補間点の係数を０として図１０に示したバイリニア法によって算出する。
【００９０】
出力手段である出力装置２３は、液晶ディスプレイなどの表示装置よって構成され、制御プロセッサ２４から指示される画像データを画像メモリ２１から読み出し、読み出した画像データを表示装置に表示する。制御プロセッサ２４は、たとえばプログラムおよびデータを記憶する記憶装置と、記憶装置に記憶されるプログラムを実行する中央処理装置（Central Processing Unit：以下「ＣＰＵ」という）とを含んで構成される。ＣＰＵは、記憶装置に記憶されるプログラムを実行することによって、入力装置２０、サイズ変換処理部２２および出力装置２３を制御する。
【００９１】
画像メモリ２１、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、出力データ制御部２２５および画像出力部２２６は、補間値算出手段あるいは補間値算出部である。コントローラ部２２７および制御プロセッサ２４は、変換手段である。
【００９２】
図１２は、制御プロセッサ２４および補間演算部２２が実行するサイズ変換処理の処理手順を示すフローチャートである。サイズ変換処理は、色素成分の補間値を算出する場合、図１０に示したように、２つの補間点について同時に４つの補間値を算出する場合の処理である。図１２に示したフローチャートの前処理ステップで、入力装置２０によって画像データが入力され、入力された画像データが画像メモリ２１に記憶され、図示しない操作部から画像サイズを変更する倍率が指示されると、ステップＡ１に移る。
【００９３】
ステップＡ１では、パラメータを設定する。具体的には、制御プロセッサ２４は、処理成分指定情報、入力画像サイズ情報および拡大縮小倍率情報などの情報を生成し、生成した情報をパラメータとして制御レジスタ２２７ａに設定し記憶させる。制御プロセッサ２４は、制御レジスタ２２７ａにパラメータを設定した後、処理の開始をコントローラ部２２７に指示する。コントローラ部２２７は、制御プロセッサ２４から処理の開始を指示されると、処理を開始する。
【００９４】
ステップＡ２では、座標計算を行う。具体的には、コントローラ部２２７は、制御レジスタ２２７ａに記憶される入力画像サイズ情報および拡大縮小倍率情報などの情報に基づいて、出力画像サイズおよび出力画像の座標計算を行い、計算結果を制御レジスタ２２７ａに記憶した後、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、係数部２２４、出力データ制御部２２５および画像出力部２２６に動作の開始を指示する。
【００９５】
ステップＡ３では、入力画像データを取得する。具体的には、動作の開始を指示された画像入力部２２１は、制御レジスタ２２７ａに記憶されたパラメータを参照し、参照したパラメータによって指示される画像データを画像メモリ２１から読み出し、読み出した画像データを入力バッファ２２１ａに記憶する。
【００９６】
たとえば参照した処理成分指定情報が輝度成分を指定していると、画像入力部２２１は、補間値を算出する補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素のＹ成分の画素データＰ１１〜Ｐ４４を画像メモリ２１から読み出し、読み出した１６個のＹ成分の画素データＰ１１〜Ｐ４４を入力バッファ２２１ａに記憶する。あるいは参照した処理成分指定情報が色差成分を指定していると、第１の補間点を囲む４個の画素のＣｂ成分の画素データＰＡ２２〜ＰＡ３３およびＣｒ成分の画素データＰＢ２２〜ＰＢ３３、ならびに第２の補間点を囲む４個の画素のＣｂ成分の画素データＰＣ２２〜ＰＣ３３およびＣｒ成分の画素データＰＤ２２〜ＰＤ３３を読み出し、読み出した４個のＣｂ成分の画素データＰＡ２２〜ＰＡ３３および４個のＣｒ成分の画素データＰＢ２２〜ＰＢ３３、ならびに４個のＣｂ成分の画素データＰＣ２２〜ＰＣ３３および４個のＣｒ成分の画素データＰＤ２２〜ＰＤ３３を入力バッファ２２１ａに記憶する。
【００９７】
さらに、画像入力部２２１は、処理成分指定情報が輝度成分を指定している場合は、入力バッファ２２１ａに記憶した１６個のＹ成分の画素データＰ１１〜Ｐ４４を入力データ制御部２２２に送る。処理成分指定情報が色差成分を指定している場合は、入力バッファ２２１ａに記憶した４個のＣｂ成分の画素データＰＡ２２〜ＰＡ３３および４個のＣｒ成分の画素データＰＢ２２〜ＰＢ３３、ならびに４個のＣｂ成分の画素データＰＣ２２〜ＰＣ３３および４個のＣｒ成分の画素データＰＤ２２〜ＰＤ３３を読み出し、読み出した４個のＣｂ成分の画素データＰＡ２２〜ＰＡ３３および４個のＣｒ成分の画素データＰＢ２２〜ＰＢ３３、ならびに４個のＣｂ成分の画素データＰＣ２２〜ＰＣ３３および４個のＣｒ成分の画素データＰＤ２２〜ＰＤ３３を、入力データ制御部２２２に送る。
【００９８】
ステップＡ４では、補間計算処理を行う。具体的には、入力データ制御部２２２は、画像入力部２２１から受け取る１６個の画素データを、補間処理部２２３への入力データとして補間処理部２２３に送る。補間処理部２２３への入力データへの変換が必要であれば、補間処理部２２３への入力データに変換して補間処理部２２３に送る。補間処理部２２３は、入力データ制御部２２２から受け取る１６個の画像データＰ１１〜Ｐ４４、および係数部２２４から受け取る重み係数ｆ（ｘ１）〜ｆ（ｘ４）およびｆ（ｙ１）〜ｆ（ｙ４）に基づいて、中間値ＰＡ〜ＰＤを算出し、算出した中間値ＰＡ〜ＰＤを出力データ制御部２２５に送る。
【００９９】
出力データ制御部２２５は、補間処理部２２３から受け取る中間値に基づいて補間値を算出し、算出した補間値を画像出力部２２６に送る。輝度成分の場合は、中間値ＰＡ〜ＰＤを加算して補間値Ｐを算出し、算出した補間値Ｐを画像出力部２２６に送る。色差成分の場合は、補間処理部２２３から受け取った中間値ＰＡ〜ＰＤを補間値ＰＡ〜ＰＤとして画像出力部２２６に送る。ステップＡ４の補間計算処理は、図１３に示す補間計算処理を呼び出すことによって処理される。
【０１００】
ステップＡ５では、出力画像データ送信を行う。具体的には、画像出力部２２６は、輝度成分の場合は、出力データ制御部２２５から受け取る補間値ＰをＹ成分の画素データとして出力バッファ２２６ａに記憶し、色差成分の場合は、出力データ制御部２２５から受け取る補間値ＰＡ〜ＰＤのうち、補間値ＰＡを第１の補間点のＣｂ成分の画素データとして、補間値ＰＢを第１の補間点のＣｒ成分の画素データとして、補間値ＰＣを第２の補間点のＣｂ成分の画素データとして、補間値ＰＤを第２の補間点のＣｒ成分の画素データとして出力バッファ２２６ａに記憶する。そして、出力バッファ２２６ａに記憶するＹ成分の画素データ、あるいはＣｂ成分の画素データおよびＣｒ成分の画素データを画像メモリ２１に送り、出力画像データとして記憶させる。
【０１０１】
ステップＡ６では、すべての出力画像データを作成したか否かを判定する。コントローラ部２２７は、１つの色成分について、出力画像サイズに変換された出力画像のすべての画素について、出力画像データに変換されると、すべての出力画像データを作成したと判定し、ステップＡ７に進む。１つの色成分について、出力画像サイズに変換された出力画像のすべての画素について、出力画像データに変換されていないと、すべての出力画像データを作成していないと判定し、ステップＡ２に戻り、ステップＡ２〜ステップＡ５を繰り返す。
【０１０２】
ステップＡ７では、すべての色成分を処理したか否かを判定する。制御プロセッサ２４は、すべての色成分つまり輝度成分および色差成分を処理したと判定すると、サイズ変換処理を終了し、すべての色成分つまり輝度成分および色差成分を処理していないと判定すると、制御レジスタ２２７ａに記憶される処理成分指定情報を次の色成分に変更し、ステップＡ１に戻り、次の色成分について、ステップＡ１〜ステップＡ６を繰り返す。
【０１０３】
図１２に示したサイズ変換処理画像が終了すると、図１２に示していない後処理ステップで、メモリ２１に記憶される出力画像データは、出力装置２３によって出力される。
【０１０４】
図１３は、補間演算部２２が実行する補間計算処理の処理手順を示すフローチャートである。図１２に示したステップＡ４が実行されると、補間計算処理が呼び出され、ステップＢ１に移る。
【０１０５】
ステップＢ１では、輝度成分の処理であるか否かが判定される。具体的には、入力データ制御部２２２および出力データ制御部２２５は、制御レジスタ２２７ａに記憶される処理成分指定情報を参照し、処理成分指定情報が輝度成分を指定していると、輝度成分の処理であると判定し、ステップＢ２に進む。制御レジスタ２２７ａに記憶される処理成分指定情報を参照し、処理成分指定情報が色差成分を指定していると、輝度成分の処理でないと判定し、ステップＢ３に進む。
【０１０６】
ステップＢ２では、輝度成分の補間計算を行う。具体的には、入力データ制御部２２２は、画像入力部２２１から受け取る１６個の画素データＰ１１〜Ｐ４４を、変換することなく入力データとして補間処理部２２３に送る。補間処理部２２３は、入力データ制御部２２２から受け取る１６個の画像データＰ１１〜Ｐ４４、および係数部２２４から受け取る重み係数ｆ（ｘ１）〜ｆ（ｘ４）およびｆ（ｙ１）〜ｆ（ｙ４）に基づいて、中間値ＰＡ〜ＰＤを算出し、算出した中間値ＰＡ〜ＰＤを出力データ制御部２２５に送る。出力データ制御部２２５は、補間処理部２２３から受け取る中間値ＰＡ〜ＰＤを加算して補間値Ｐを算出し、算出した補間値Ｐを画像出力部２２６に送り、補間計算処理を終了する。
【０１０７】
ステップＢ３では、入力データを生成する。具体的には、入力データ制御部２２２は、置き換え式である式（３３）に従って、画像入力部２２１から受け取る４個のＣｂ成分の画像データＰＡ２２〜ＰＡ３３および４個のＣｒ成分の画像データＰＢ２２〜ＰＢ３３、ならびに４個のＣｂ成分の画素データＰＣ２２〜ＰＣ３３および４個のＣｒ成分の画素データＰＤ２２〜ＰＤ３３を、１６個の画素データＰ１１〜Ｐ４４に置き換える。
P11=PA22,P12=PA23,P13=PC22,P14=PC23,P21=PA32,P22=PA33,P23=PC32,P24=PC33,
P31=PB22,P32=PB23,P33=PD22,P34=PD23,P41=PB32,P42=PB33,P43=PD32,P44=PD33                                                                          …(33)
【０１０８】
入力データ制御部２２２は、置き換え後の１６個の画素データＰ１１〜Ｐ４４を入力データとして補間処理部２２３に送る。
【０１０９】
ステップＢ４では、色差成分の補間計算を行う。具体的には、補間処理部２２３は、入力データ制御部２２２から受け取る１６個の画像データＰ１１〜Ｐ４４、および係数部２２４から受け取る重み係数ｆ（ｘ１）〜ｆ（ｘ４）およびｆ（ｙ１）〜ｆ（ｙ４）に基づいて、中間値ＰＡ〜ＰＤを算出し、算出した中間値ＰＡ〜ＰＤを出力データ制御部２２５に送る。
【０１１０】
ステップＢ５では、出力データを生成して、補間計算処理を終了する。具体的には、出力データ制御部２２５は、補間処理部２２３から中間値ＰＡ〜ＰＤを受け取ると、受け取った中間値ＰＡ〜ＰＤを補間値ＰＡ〜ＰＤとして画像出力部２２６に送り、補間計算処理を終了する。図１２に示したステップＡ１〜Ａ７は、変換ステップである。
【０１１１】
上述した実施の形態では、輝度成分にバイキュービック法を、そして色差成分にバイリニア法を適用したが、適用する補間方法の組み合わせは、目的に応じて自由に変更してもよい。さらに、画像をＹＣｂＣｒ方式つまりＹＵＶ方式で表した画像データに対して適用したが、画像を他の方式たとえばＲＧＢ（Red Green Blue）方式あるいはＹＩＱ（Luma
In-phase Quadrature）方式で表した画像データにも適用可能である。
【０１１２】
上述した実施の形態では、補間演算部１２を画像処理装置１に適用し、補間演算部２２をディジタルスチルカメラ２に適用したが、補間演算部１２あるいは補間演算部２２は、補間計算を行う他の装置にも適用可能である。
【０１１３】
このように、図示しない入力装置あるいは入力装置２０によって、相互に異なるＹ成分、Ｃｂ成分およびＣｒ成分からなる画素によって構成される画像を表す画像データが入力され、図示しない操作部によって、画像のサイズを変更する倍率が指示される。補間値算出手段、具体的には、入力画像メモリ１１、入力データ制御部１２１、補間処理部１２２、出力データ制御部１２３および出力画像メモリ１３あるいは画像メモリ２１、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、出力データ制御部２２５および画像出力部２２６によって、３次たたみ込み内挿法または共１次内挿法によって補間値が算出される。
【０１１４】
入出力制御部１２４あるいはコントローラ部２２７および制御プロセッサ２４によって、前記補間値算出手段を用いて、図示しない入力装置あるいは入力装置２０によって入力される画像データが、図示しない操作部によって指示される倍率で変更したサイズの画像を表す画像データに変換される。図示しない出力装置あるいは出力装置２３によって、入出力制御部１２４あるいはコントローラ部２２７および制御プロセッサ２４によって変換される画像データが出力される。
【０１１５】
さらに、入出力制御部１２４あるいはコントローラ部２２７および制御プロセッサ２４によって、変換前の座標系において変換後の画像データが示す画像の画素に対応する位置である補間点でのＹ成分、Ｃｂ成分およびＣｒ成分の補間値が、前記補間値算出手段によって算出されるとき、Ｙ成分については、補間点ごとにそれぞれ、図示しない入力装置あるいは入力装置２０によって入力される画像データが示す入力画像の画素のうち、補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素のＹ成分に基づいて、３次たたみ込み内挿法によってＹ成分の補間値が算出される。
【０１１６】
第２成分および第３成分については、２つの補間点ごとに同時に、２つの補間点のうちの第１の補間点のＣｂ成分の補間値が、前記入力画像の画素のうちの第１の補間点を囲む４個の画素のＣｂ成分に基づいて、第１の補間点のＣｒ成分の補間値が第１の補間点を囲む前記４個の画素のＣｒ成分に基づいて、２つの補間点のうちの第１の補間点とは異なる第２の補間点のＣｂ成分の補間値が、前記入力画像の画素のうちの第２の補間点を囲む４個の画素のＣｂ成分に基づいて、および第２の補間点のＣｒ成分の補間値が第２の補間点を囲む前記４個の画素のＣｒ成分に基づいて、共１次内挿法によって算出される。
【０１１７】
そして、補間値算出手段によって算出される第１成分の補間値を第１成分、補間値算出手段によって算出される第２成分の補間値を第２成分、および補間値算出手段によって算出される第３成分の補間値を第３成分とする画素によって構成される画像を表す画像データが変換後の画像データとされる。
【０１１８】
そして、前記補間値算出手段によって算出されるＹ成分の補間値をＹ成分、前記補間値算出手段によって算出されるＣｂ成分の補間値をＣｂ成分、および前記補間値算出手段によって算出されるＣｒ成分の補間値をＣｒ成分とする画素によって構成される画像を表す画像データが変換後の画像データとされる。
【０１１９】
したがって、３次たたみ込み内挿法または共１次内挿法によって補間値を算出する補間値算出手段として、たとえばハードウェア、具体的には、入力画像メモリ１１、入力データ制御部１２１、補間処理部１２２、出力データ制御部１２３および出力画像メモリ１３あるいは画像メモリ２１、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、出力データ制御部２２５および画像出力部２２６を有しているので、補間値を算出するプログラムを実行して逐次計算するよりも短時間で３次たたみ込み内挿法による補間値を算出することができる。さらに、３次たたみ込み内挿法によって補間値を算出する前記ハードウェアを用いて、共１次内挿法によって算出される補間値を算出することができるので、共１次内挿法によって補間値を算出するためのハードウェアが不要であり、回路面積およびコストの低減化を図ることができる。すなわち、処理速度が早く、かつ回路面積およびコストの少ない回路で画像の補間を行うことができる。
【０１２０】
さらに、係数部１２５あるいは係数部２２４によって、３次たたみ込み内挿法によって補間値を算出するために必要なＹ成分の補間係数、および共１次内挿法によって補間値を算出するために必要なＣｂ成分およびＣｒ成分の補間係数を表すテーブルが記憶される。
【０１２１】
入力画像メモリ１１、入力データ制御部１２１、補間処理部１２２、出力データ制御部１２３および出力画像メモリ１３あるいは画像メモリ２１、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、出力データ制御部２２５および画像出力部２２６によって、前記１６個の画素のＹ成分、および係数部１２５あるいは係数部２２４に記憶されるテーブルが示すＹ成分の補間係数に基づいて、Ｙ成分の補間値が算出される。
【０１２２】
前記第１の補間点または第２の補間点を囲む４個の画素のＣｂ成分、および係数部１２５あるいは係数部２２４に記憶されるテーブルが示すＣｂ成分およびＣｒ成分の補間係数に基づいて、Ｃｂ成分の補間値が算出され、前記第１の補間点または第２の補間点を囲む４個の画素のＣｒ成分、および係数部１２５あるいは係数部２２４に記憶されるテーブルが示すＣｂ成分およびＣｒ成分の補間係数に基づいて、Ｃｒ成分の補間値が算出される。
【０１２３】
すなわち、補間値を計算するために必要な補間係数を内挿法ごとに予め計算して記憶しているので、補間値を算出する内挿法に応じて補間係数を選択することができ、さらに補間係数を算出するために必要な処理時間を削減することができる。
【０１２４】
さらに、入力画像メモリ１１、入力データ制御部１２１、補間処理部１２２、出力データ制御部１２３および出力画像メモリ１３あるいは画像メモリ２１、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、出力データ制御部２２５および画像出力部２２６は、補間点の位置をＸＹ座標系で表したとき、前記１６個の画素のうちの１つの画素の第１成分とその第１成分に対応するＸ軸方向の第１の補間係数とを乗算する２つの第１の乗算器、たとえば乗算器３１１，３１２と、２つの第１の乗算器の出力を加算する第１の加算器、たとえば加算器３１３と、第１の加算器の出力と前記第１成分に対応するＹ軸方向の第１の補間係数とを乗算する第２の乗算器、たとえば乗算器３１４とを備える８つの論理回路部ＣＡＬ３１〜３８と、８つの論理回路部ＣＡＬ３１〜３８を４つのグループに分けたとき、各グループの２つの第２の乗算器の出力を加算する４つの第２の加算器３９１〜３９４とを含む。したがって、式（９）〜（１２）によって回路を構成する場合よりも乗算器の数を低減することができる。
【０１２５】
さらに、入力画像メモリ１１、入力データ制御部１２１、補間処理部１２２、出力データ制御部１２３および出力画像メモリ１３あるいは画像メモリ２１、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、出力データ制御部２２５および画像出力部２２６によって、３次たたみ込み内挿法によって補間値が算出されるとき、前記１６個の画素のＹ成分、および記憶手段に記憶される補間係数情報が示す第１の補間係数が、前記８つの論理回路部ＣＡＬ３１〜３８に入力され、前記４つのグループの第２の加算器の出力が加算されることによって、Ｙ成分の補間値が算出される。
【０１２６】
さらに、共１次内挿法によって４つの補間値が算出されるとき、前記第１の補間点を囲む４個の画素のＣｂ成分、および記憶手段に記憶される補間係数情報が示す第２の補間係数が、前記４つのグループのうちの第１のグループの２つの論理回路部に入力され、第１のグループの出力が第１の補間点のＣｂ成分の補間値とされる。前記第１の補間点を囲む４個の画素のＣｒ成分、および記憶手段に記憶される補間係数情報が示す第２の補間係数が、前記４つのグループのうちの第２のグループの２つの論理回路部に入力され、第２のグループの出力が第１の補間点のＣｒ成分の補間値とされる。前記第２の補間点を囲む４個の画素のＣｂ成分、および記憶手段に記憶される補間係数情報が示す第２の補間係数が、前記４つのグループのうちの第３のグループの２つの論理回路部に入力され、第３のグループの出力が第２の補間点のＣｂ成分の補間値とされる。そして、前記第２の補間点を囲む４個の画素のＣｒ成分、および記憶手段に記憶される補間係数情報が示す第２の補間係数が、前記４つのグループのうちの第４のグループの２つの論理回路部に入力され、第４のグループの出力が第２の補間点のＣｒ成分の補間値とされる。
【０１２７】
したがって、３次たたみ込み内挿法については１つの補間値を算出し、共１次内挿法については４つの補間値を同時に算出することができる。
【０１２８】
さらに、図１２に示したフローチャートにおいて、図示しない前処理ステップでは、相互に異なるＹ成分、Ｃｂ成分およびＣｒ成分からなる画素によって構成される画像を表す画像データを入力し、画像のサイズを変更する倍率を指示する。
【０１２９】
ステップＡ１〜Ａ７では、３次たたみ込み内挿法または共１次内挿法によって補間値を算出する補間値算出部、具体的には入力画像メモリ１１、入力データ制御部１２１、補間処理部１２２、出力データ制御部１２３および出力画像メモリ１３あるいは画像メモリ２１、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、出力データ制御部２２５および画像出力部２２６によって、図示しないステップで入力された画像データを、図示しない前処理ステップで指示された倍率で変更したサイズの画像を表す画像データに変換するにあたって、変換前の座標系において変換後の画像データが示す画像の画素に対応する位置である補間点での第１〜第３成分の補間値を、前記補間値算出部によって算出するとき、第１成分については、補間点ごとにそれぞれ、図示しない前処理ステップで入力された画像データが示す入力画像の画素のうち、補間点を囲む４個の画素およびこの４個の画素を囲む１２個の画素を含む１６個の画素のＹ成分に基づいて、３次たたみ込み内挿法によってＹ成分の補間値を算出する。
【０１３０】
さらに、第２成分および第３成分については、２つの補間点ごとに同時に、２つの補間点のうちの第１の補間点のＣｂ成分の補間値を、前記入力画像の画素のうちの第１の補間点を囲む４個の画素のＣｂ成分に基づいて、第１の補間点のＣｒ成分の補間値を第１の補間点を囲む前記４個の画素のＣｒ成分に基づいて、２つの補間点のうちの第１の補間点とは異なる第２の補間点のＣｂ成分の補間値を、前記入力画像の画素のうちの第２の補間点を囲む４個の画素のＣｂ成分に基づいて、および第２の補間点のＣｒ成分の補間値を第２の補間点を囲む前記４個の画素のＣｒ成分に基づいて、共１次内挿法によって算出する。
【０１３１】
そして、前記補間値算出部によって算出されたＹ成分の補間値をＹ成分、前記補間値算出部によって算出されたＣｂ成分の補間値をＣｂ成分、および前記補間値算出部によってによって算出されたＣｒ成分の補間値をＣｒ成分とする画素によって構成される画像を表す画像データを変換後の画像データとする。さらに、図示しない後処理ステップでは、ステップＡ１〜Ａ７で変換された画像データを出力する。
【０１３２】
したがって、本発明に係る画像処理方法を適用すれば、３次たたみ込み内挿法または共１次内挿法によって補間値を算出する補間値算出部として、たとえばハードウェア、具体的には、入力画像メモリ１１、入力データ制御部１２１、補間処理部１２２、出力データ制御部１２３および出力画像メモリ１３あるいは画像メモリ２１、画像入力部２２１、入力データ制御部２２２、補間処理部２２３、出力データ制御部２２５および画像出力部２２６を用いるので、補間値を算出するプログラムを実行して逐次計算するよりも短時間で３次たたみ込み内挿法による補間値を算出することができる。そして、３次たたみ込み内挿法によって補間値を算出する前記ハードウェアを用いて、共１次内挿法によって算出される補間値を算出することができるので、共１次内挿法によって補間値を算出するためのハードウェアが不要であり、回路面積およびコストの低減化を図ることができる。すなわち、処理速度が早く、かつ回路面積およびコストを少なくすることができる。
【図面の簡単な説明】
【０１３３】
【図１】本発明の実施の一形態である画像処理装置１の概略の構成を示すブロック図である。
【図２】入力画像メモリ１１に記憶される画像データが示す画像を構成する各画素５１の位置と補間点５２の位置との関係を示す図である。
【図３】図２に示した領域５３を拡大した図である。
【図４】図２に示した領域５４を拡大した図である。
【図５】ニアレストネイバー法を用いて補間値を求める例を説明するための図である。
【図６】補間処理部１２２の構成を示すブロック図である。
【図７】補間処理部１２２の論理回路図である。
【図８】補間処理部１２２のうち中間値ＰＡを算出する部分の論理回路図である。
【図９】補間演算部１２を用いてバイリニア法による補間値を１つ算出するときに用いる画素データの配置を示す図である。
【図１０】補間演算部１２を用いてバイリニア法による補間値を同時に４つ算出するときに用いる画素データの配置を示す図である。
【図１１】本発明の実施の他の形態であるディジタルスチルカメラ２の構成を示すブロック図である。
【図１２】制御プロセッサ２４および補間演算部２２が実行するサイズ変換処理の処理手順を示すフローチャートである。
【図１３】補間演算部２２が実行する補間計算処理の処理手順を示すフローチャートである。
【図１４】従来の技術による画像処理装置１００の構成を示すブロック図である。
【符号の説明】
【０１３４】
１  画像処理装置
２  ディジタルスチルカメラ
１１，１０１  入力画像メモリ
１２，１０２  補間演算部
１３，１０３  出力画像メモリ
２０  入力装置
２１  画像メモリ
２２  サイズ変換処理部
２３  出力装置
２４  制御プロセッサ
３１〜３８  ＣＡＬ
５１  画素
５２  補間点
２２１  画像入力部
２２１ａ  入力バッファ
１２１，２２２  入力データ制御部
１２２，２２３  補間処理部
１２３，２２５  出力データ制御部
１２４  入出力制御部
１２５，２２４  係数部
２２６  画像出力部
２２６ａ  出力バッファ
２２７  コントローラ部
２２７ａ  制御レジスタ
３１１，３１２，３１４，３３１，３３２，３３４  乗算器
３１３，３３３，３９１〜３９４  加算器
【図１】
2010113554.tif 000005
【図２】
2010113554.tif 000006
【図３】
2010113554.tif 000007
【図４】
2010113554.tif 000008
【図５】
2010113554.tif 000009
【図６】
2010113554.tif 000010
【図７】
2010113554.tif 000011
【図８】
2010113554.tif 000012
【図９】
2010113554.tif 000013
【図１０】
2010113554.tif 000014
【図１１】
2010113554.tif 000015
【図１２】
2010113554.tif 000016
【図１３】
2010113554.tif 000017
【図１４】
2010113554.tif 000018