(57)【要約】【課題】  従来の補間処理は、画素毎の解像力の差が生じるという問題があった。【解決手段】  本発明では、画像入力部と、入力画像を変形した出力画像の画素に対応する入力画像上の補間対象位置を設定する補間対象位置設定部と、入力画像を構成する複数の画素のうち補間対象位置の近傍のＮ個（Ｎは３以上の整数）を参照画素とし、当該参照画素の画素値を抽出する参照画素値抽出部と、Ｎ個の参照画素の位置に応じて、参照画素毎に補間加重係数を設定する補間加重係数設定部と、参照画素の画素値に当該参照画素の補間加重係数を掛けた乗算値を算出し、Ｎ個の参照画素に対する乗算値の総和を補間対象位置の補間値とする補間部とを備え、補間加重係数設定部は、Ｎ個の参照画素の位置の拡散度を表す評価値が、補間対象位置に依存せずに一定になるように補間加重係数を設定することを特徴とする。【選択図】図１１
2014230014.tif 000002
【特許請求の範囲】
【請求項１】
二次元状に配置された複数の画素で構成される画像を入力する画像入力部と、
入力画像を変形した出力画像の画素に対応する前記入力画像上の補間対象位置を設定する補間対象位置設定部と、
前記入力画像を構成する複数の画素のうち前記補間対象位置の近傍のＮ個（Ｎは３以上の整数）を参照画素とし、当該参照画素の画素値を抽出する参照画素値抽出部と、
前記Ｎ個の参照画素の位置に応じて、前記参照画素毎に補間加重係数を設定する補間加重係数設定部と、
前記参照画素の画素値に当該参照画素の前記補間加重係数を掛けた乗算値を算出し、前記Ｎ個の参照画素に対する前記乗算値の総和を前記補間対象位置の補間値とする補間部と
を備え、
前記補間加重係数設定部は、
前記Ｎ個の参照画素の位置の拡散度を表す評価値が、補間対象位置に依存せずに一定になるように前記補間加重係数を設定する
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記補間加重係数設定部は、
条件Ａとして、前記Ｎ個の補間加重係数の合計が一定であること、
条件Ｂとして、前記Ｎ個の参照画素位置の加重平均が前記補間対象位置であること、
条件Ｃとして、前記評価値が前記補間対象位置に依存せずに一定であること、
の少なくとも３つの条件を満足する前記補間加重係数を設定する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記評価値は、次式（ｎは１からＮまでの整数）により算出される
【数３】
2014230014.tif 000005
ことを特徴とする画像処理装置。
【請求項４】
請求項１または２に記載の画像処理装置において、
前記評価値は、次式（ｎは１からＮまでの整数）により算出される
【数４】
2014230014.tif 000006
ことを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、
ｘを整数座標、Δを−０．５から＋０．５までの範囲の端数座標、補間対象位置を（ｘ＋Δ）、参照画素の数Ｎを３とした場合、
前記参照画素値抽出部は、前記３つの参照画素の座標（ｘ−１），ｘ，（ｘ＋１）の画素値Ｐ（ｘ−１），Ｐ（ｘ），Ｐ（ｘ＋１）を抽出し、
前記補間加重係数設定部は、
前記条件Ａとして、Ａ（Δ）＋Ｂ（Δ）＋Ｃ（Δ）＝１であること、
前記条件Ｂとして、−Ａ（Δ）＋Ｃ（Δ）＝Δであること、
前記条件Ｃとして、（Δ＋１）２×Ａ（Δ）＋Δ２×Ｂ（Δ）＋（Δ−１）２×Ｃ（Δ）＝一定であること、
の３つの条件から成る連立方程式の解を前記３つの参照画素のそれぞれに対する前記補間加重係数Ａ（Δ），Ｂ（Δ），Ｃ（Δ）とする
ことを特徴とする画像処理装置。
【請求項６】
請求項４に記載の画像処理装置において、
ｘを整数座標、Δを−０．５から＋０．５までの範囲の端数座標、補間対象位置を（ｘ＋Δ）、参照画素の数Ｎを３とした場合、
前記参照画素値抽出部は、前記３つの参照画素の座標（ｘ−１），ｘ，（ｘ＋１）の画素値Ｐ（ｘ−１），  Ｐ（ｘ），  Ｐ（ｘ＋１）を抽出し、
前記補間加重係数設定部は、
前記条件Ａとして、Ａ（Δ）＋Ｂ（Δ）＋Ｃ（Δ）＝１であること、
前記条件Ｂとして、−Ａ（Δ）＋Ｃ（Δ）＝Δであること、
前記条件Ｃとして、｜Δ＋１｜×Ａ（Δ）＋｜Δ｜×Ｂ（Δ）＋｜Δ−１｜×Ｃ（Δ）＝一定であること、
の３つの条件から成る連立方程式の解を前記３つの参照画素のそれぞれに対する前記補間加重係数Ａ（Δ），Ｂ（Δ），Ｃ（Δ）とする
ことを特徴とする画像処理装置。
【請求項７】
請求項５または６に記載の画像処理装置において、
−０．５から＋０．５までの範囲の前記端数座標Δに対応する前記補間加重係数Ａ（Δ），Ｂ（Δ），Ｃ（Δ）を予め算出した係数テーブルを設け、
前記補間部は、前記係数テーブルを参照して前記端数座標Δに応じた前記補間加重係数を求め、前記参照画素値に当該参照画素の前記補間加重係数を掛けた乗算値を算出し、前記Ｎ個の参照画素の前記乗算値の総和を前記補間対象位置の補間値とする
ことを特徴とする画像処理装置。
【請求項８】
請求項５から７のいずれか一項に記載の画像処理装置において、
−０．５から＋０．５までの範囲の前記端数座標Δの分解能を１／８から１／３２に設定する
ことを特徴とする画像処理装置。
【請求項９】
請求項１から８のいずれか一項に記載の画像処理装置の各部の処理をコンピュータで実行することを特徴とする画像処理プログラム。
【請求項１０】
請求項１から８のいずれか一項に記載の画像処理装置を搭載する電子カメラであって、
被写体を撮像して得られた画像を前記画像入力部に出力する撮像部と、
前記画像処理装置が補間した画像を記録する記憶部と
を有することを特徴とする電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補間処理を行う画像処理技術に関する。
【背景技術】
【０００２】
一般に、電子カメラなどで撮影されたデジタル画像に対して、拡大、縮小、回転、並進、歪曲収差補正などの変形処理を行う場合、変形前の画素値から変形後に新たに生成される画素値を補間する処理が行われている。例えば、１．２倍の拡大を行う処理では、拡大後の画像の座標（ｘ，ｙ）の画素値として、拡大前の座標（ｘ／１．２，ｙ／１．２）の画素値を割り当てればよい。但し、拡大前の画素は整数座標で配置されているので、座標（ｘ／１．２，ｙ／１．２）が整数にならない場合は、例えば近傍の整数座標の画素値を用いて、座標（ｘ／１．２，ｙ／１．２）の画素値を補間している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６４−０５１７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来は、既存画素間に新たな画素を補間生成する場合、既存画素や補間対象位置によって解像力（ボケの程度など）に差が生じてしまうという問題があった。例えば、補間対象位置の座標が特定の既存画素の整数座標に近い場合、その整数座標の画素値を主に参照して生成する補間値を算出するので、補間対象位置の解像力の低下が少ない。一方、補間対象位置の座標が複数の整数座標の画素位置の中間にある場合、それらの整数座標の画素値を均等に参照して補間対象位置の補間値を算出するので、複数の参照画素の画素値が平滑化され、補間対象位置の解像力が低下してしまうという問題が生じる。
【０００５】
尚、補間後に輪郭強調処理を行えば、低下した解像力を高めることができるが、解像力の低下が少ない画素に対しては過剰な強調処理を行うことになり、ジャギーの発生など画質が劣化する原因となる。
【０００６】
上記課題を鑑み、本発明の目的は、画素間に新たな画素を補間生成する場合に、補間生成された画素間で解像力の差が生じないように補間することができる画像処理装置および画像処理プログラム並びに電子カメラを提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、二次元状に配置された複数の画素で構成される画像を入力する画像入力部と、入力画像を変形した出力画像の画素に対応する前記入力画像上の補間対象位置を設定する補間対象位置設定部と、前記入力画像を構成する複数の画素のうち前記補間対象位置の近傍のＮ個（Ｎは３以上の整数）を参照画素とし、当該参照画素の画素値を抽出する参照画素値抽出部と、前記Ｎ個の参照画素の位置に応じて、前記参照画素毎に補間加重係数を設定する補間加重係数設定部と、前記参照画素の画素値に当該参照画素の前記補間加重係数を掛けた乗算値を算出し、前記Ｎ個の参照画素に対する前記乗算値の総和を前記補間対象位置の補間値とする補間部とを備え、前記補間加重係数設定部は、前記Ｎ個の参照画素の位置の拡散度を表す評価値が、補間対象位置に依存せずに一定になるように前記補間加重係数を設定することを特徴とする。
【０００８】
本発明に係る画像処理プログラムは、前記画像処理装置の各部の処理をコンピュータで実行することを特徴とする。
【０００９】
本発明に係る電子カメラは、前記画像処理装置を搭載する電子カメラであって、被写体を撮像して得られた画像を前記画像入力部に出力する撮像部と、前記画像処理装置が補間生成した画像を記録する記憶部とを有することを特徴とする。
【発明の効果】
【００１０】
本発明に係る画像処理装置および画像処理プログラム並びに電子カメラは、画素間に新たな画素を補間生成する場合に、補間生成された画素間で解像力の差が生じないように補間することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る電子カメラ１０１の構成例を示すブロック図である。
【図２】拡大処理の例を示す図である。
【図３】拡大前後の画素値の補間例を示す図である。
【図４】補間対象位置の例を示す図である。
【図５】拡大処理と縮小処理の補間対象位置の一例を示す図である。
【図６】補間対象位置の補間値の算出手順を示す図である。
【図７】参照画素と補間対象位置の範囲の一例を示す図である。
【図８】補間対象位置Δｘの範囲と具体例を示す図である。
【図９】係数テーブル１４１の一例を示す図である。
【図１０】補間対象位置Δｙの範囲と具体例を示す図である。
【図１１】電子カメラ１０１の画像処理部１０７の構成例および処理の流れを示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラの実施形態について、図面を用いて詳しく説明する。尚、本実施形態では、本発明に係る画像処理装置が搭載された電子カメラの例を挙げて説明するが、撮影済みの画像を入力して画像処理を行うパソコンのプログラムや単体の画像処理装置であっても構わない。
【００１３】
［電子カメラ１０１の構成例］
図１は、電子カメラ１０１の構成を示すブロック図である。図１において、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、制御部１０８と、メモリ１０９と、表示部１１０と、操作部１１１と、メモリカードＩＦ（インターフェース）１１２とで構成される。ここで、画像処理部１０７は、本発明に係る画像処理プログラムが搭載された画像処理装置に相当するブロックである。
【００１４】
図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞りなどで構成され、制御部１０８からの指令に応じて、ズームレンズやフォーカスレンズ或いは絞りなどが撮影条件に応じて制御される。
【００１５】
撮像素子１０４は、ＣＭＯＳセンサなどで構成される。尚、本実施形態では、撮像素子１０４が出力する信号はモノクロ画像であってもよいし、カラー画像であってもよい。また、撮像素子１０４が各画素にＲＧＢ３色のいずれか１色のカラー情報を有するベイヤー配列などのＲＡＷデータである場合は、色補間処理によって各画素にＲＧＢ３色の情報を有するＲＧＢデータやＹＣｂＣｒデータなどの輝度／色差データに変換された後の画像データを扱うものとする。
【００１６】
Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値に変換し、１枚の撮影画像分の画像データを画像バッファ１０６に一時的に記憶する。例えば、撮像素子１０４の解像度が４０００画素×３０００画素である場合、１２００万画素分の画像データが画像バッファ１０６に取り込まれる。尚、画像バッファ１０６に取り込まれた画像データは、ＲＡＷデータである場合、先に説明したように、各画素にＲＧＢ３色の情報を生成する色補間処理が画像処理部１０７によって行われる。撮像素子１０４がモノクロの撮像素子やＲＧＢ３色に対応する３板の撮像素子である場合は、色補間処理は不要である。
【００１７】
画像バッファ１０６は、揮発性の高速メモリで構成され、Ａ／Ｄ変換部１０５が出力する撮影画像を一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う際のバッファメモリとしても使用される。或いは、撮影画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を表示部１１０に表示する際の表示用バッファとしても使用される。
【００１８】
画像処理部１０７は、画像バッファ１０６に取り込まれた画像データに対して、ノイズ除去処理，彩度強調処理，輪郭強調処理などの一般的な画像処理を行う。さらに電子カメラ１０１の設定に応じて、ＪＰＥＧ規格などに準拠した画像圧縮方法で撮影画像の圧縮処理を行いＪＰＥＧデータを出力する。特に本実施形態に係る電子カメラ１０１では、画像処理部１０７は、拡大、縮小、回転、並進、歪曲収差補正などの変形処理を行う。この時、画像処理部１０７は、変形前の画素値から変形後に新たに生成される画素値を補間する処理を実行する。尚、補間処理については後で詳しく説明する。
【００１９】
制御部１０８は、内部に予め記憶されたプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１全体の動作を制御する。例えば、制御部１０８は、操作部１１１を構成する撮影モード選択ダイヤルやレリーズボタンの操作に応じて、電子カメラ１０１の撮影モードを設定したり、レリーズボタン押下時には光学系１０２のレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉して、撮像素子１０４で被写体画像を撮像する。そして、制御部１０８は、撮像素子１０４からアナログの画像信号を読み出しながらＡ／Ｄ変換部１０５でデジタル値に変換し、１画面分の画像データを画像バッファ１０６に取り込む。さらに、制御部１０８は、画像バッファ１０６に取り込まれた画像データに対してノイズ除去処理や輪郭強調処理などの画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像（例えばＪＰＥＧ画像）に所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存する。特に本実施形態では、制御部１０８は、画像処理部１０７に対して撮像素子１０４で撮影された画像データに対して、拡大、縮小、回転、並進、歪曲収差補正などの変形処理を施すように指令する。
【００２０】
メモリ１０９は、フラッシュメモリなどの不揮発性の半導体メモリで構成され、電子カメラ１０１の撮影モードや露出情報，フォーカス情報などのパラメータが記憶される。そして、制御部１０８はこれらのパラメータを参照して電子カメラ１０１の動作を制御する。特に、本実施形態に係る電子カメラ１０１では、拡大、縮小、回転、並進、歪曲収差補正などの変形処理を行うために必要なパラメータや係数テーブルなどが製造時にメモリ１０９に記憶されており、制御部１０８はこれらのパラメータや係数テーブルを参照して画像処理部１０７に変形処理や補間処理を指令する。尚、これらのパラメータや係数テーブルは、操作部１１１を介して行われる設定メニューによってユーザーが適宜変更することができる。
【００２１】
表示部１１０は、液晶モニタなどで構成され、制御部１０８によって撮影画像や電子カメラ１０１の操作に必要な設定メニュー画面などが表示される。
【００２２】
操作部１１１は、電源ボタン、レリーズボタン、撮影モード選択ダイヤル、カーソルボタンなどで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を使用する。尚、これらの操作ボタンの操作情報は制御部１０８に出力され、制御部１０８は操作部１１１から入力する操作情報に応じて電子カメラ１０１全体の動作を制御する。
【００２３】
メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースで、制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａとの間で画像データを読み書きする。
【００２４】
以上が本実施形態に係る電子カメラ１０１の構成および基本動作である。尚、電子カメラ１０１ではなく、本発明に係る単体の画像処理装置を構成する場合は、図１において、光学系１０２，メカニカルシャッタ１０３，撮像素子１０４およびＡ／Ｄ変換部１０５で構成される撮像部を取り除いた装置とし、制御部１０８（画像処理装置の制御部に相当）が撮影済みの画像データをメモリカード１１２ａから画像バッファ１０６に読み出して、画像処理部１０７で変形処理や補間処理を行う。
［変形処理の例］
本実施形態に係る電子カメラ１０１では、撮像素子１０４で撮影された画像やメモリカード１１２ａに記憶された撮影済の画像に対して、拡大、縮小、回転、並進、歪曲収差補正などの変形処理を行うことができる。変形処理は、例えば撮影画像や撮影済の画像を表示部１１０に表示して、操作部１１１のカーソルボタンを操作し、拡大、縮小、回転、並進、歪曲収差補正などの変形処理を選択して実行する。例えば拡大や縮小の処理であれば倍率、回転処理であれば回転の中心と角度、などを指定して変形処理を実行する。尚、本実施形態では、入力画像を変形処理した出力画像を構成する画素の画素値を補間する技術に関するので、変形処理自体の操作については省略する。また、タッチパネルが操作部１１１のマンマシンインターフェースとして表示部１１０に配置されている場合は、制御部１０８は、タッチパネル上で行われる拡大、縮小、回転などの変形処理の操作に応じて、拡大縮小倍率や回転角度などの情報を含む指令を画像処理部１０７に与える。
【００２５】
次に、変形処理の一例として拡大処理の場合について説明する。図２は、４０００画素×３０００画素で構成される熊の画像１２１をｋ倍（ｋは０を除く実数）に拡大処理を行い、同じ画素サイズ及び画素数の画像１２２を作成する場合の一例を示している。また、図２の点線枠１２３は、画像１２１と画像１２２の熊の目と鼻の部分を抽出した時の画素と画像の位置関係を示し、熊の左目の位置を基準にして横方向７画素、縦方向５画素の領域を示した図である。尚、画像１２１と画像１２２の画素数と画素サイズ（画素間隔）は同じである。
【００２６】
ここで、拡大前の画像１２１をｘｙ座標の画素で示し、ｋ倍に拡大後の画像１２２をｉｊ座標の画素で示す。尚、説明がわかり易いように、熊の目や鼻の大きさに対して画素サイズを粗く描いてあるが、実際には、目や鼻の形を表現できる程度に画素サイズは小さいものとする。
【００２７】
点線枠１２３は、拡大前と拡大後の熊の左目を同じ画素位置に比較し易いように配置した図で、拡大前の画像１２１における熊の左目１２１ａはｘｙ座標の画素（２，２）に位置し、拡大後の画像１２２における熊の左目１２２ａもｉｊ座標の画素（２，２）に位置する。一方、熊の右目は、拡大前の画像１２１のｘｙ座標では画素（４，２）に位置（右目１２１ｂ）するが、拡大後の画像１２２のｉｊ座標では右目１２２ｂは画素（５，２）に位置しているので、この場合の拡大倍率はｋ＝１．５倍である。
【００２８】
ここで、一般的な拡大処理では、拡大後の画素（５，２）の画素値は、拡大前の画素（４，２）の画素値がそのまま用いられるが、拡大後の画素が拡大前の整数座標の画素に合致しない場合、拡大後の画素値を求めるために補間処理が用いられる。図３は、水平方向のみ（ｘ軸またはｉ軸のみ）の拡大前のｘ座標の画素Ｐ（ｘ）と、ｋ＝４／３倍の拡大後のｉ座標の画素ｐ（ｉ）とを描いた図である。尚、図２で説明したように、同じ画素サイズ（画素間隔）であるものとする。また、図３では、拡大前の画像の画素Ｐ（０）を拡大後の画像の画素ｐ（０）に合わせて、右方向に４／３倍に拡大している。
【００２９】
図３において、拡大後の画素ｐ（０）の画素値は、拡大前の画素Ｐ（０）の画素値をそのまま用いることができるが、拡大後の画素ｐ（１）の画素値は、ｘ座標が０．７５で、拡大前の画素Ｐ（０）と画素Ｐ（１）の間にあるため、例えば画素Ｐ（０）の画素値と画素Ｐ（１）の画素値とを０．２５：０．７５の比率で加算して求める必要がある。同様に、次の拡大後の画素ｐ（２）の画素値は、ｘ座標が整数座標ではなく実数座標の位置にあるため、例えば画素Ｐ（１）の画素値と画素Ｐ（１）の画素値とを平均する必要がある。また、画素ｐ（３）の画素値は、画素Ｐ（２）の画素値と画素Ｐ（３）の画素値を０．２５：０．７５の比率で加算して求める必要がある。次の画素ｐ（４）の画素値は、対応する拡大前のｘ軸上の整数座標の画素Ｐ（３）があるので、画素Ｐ（３）の画素値で置き換えることができる。
【００３０】
ところが、上記のような補間処理を行った場合、拡大後の画素ｐ（０）および画素ｐ（４）は、拡大前の画素Ｐ（０）およびＰ（３）のそれぞれの画素値のみで置き換えられるだけなので、解像力（ボケの程度）は拡大前と同じであるが、拡大後の画素ｐ（１）、画素ｐ（２）および画素ｐ（３）は、拡大前の複数の画素Ｐ（ｘ）の画素値が含まれるので、解像力（ボケの程度）は拡大前より劣化する。これは、平均化処理によって精鋭度が落ちた画像（ボケた画像）を生成するのと同じことを意味する。この結果、拡大後の画素ｐ（１）、画素ｐ（２）および画素ｐ（３）は、画素ｐ（０）および画素ｐ（４）に比べて解像力が低くなり、参照する拡大前の画素の位置によって解像力が異なってしまう。このようにして、拡大後の画像の解像力が一定にならず、ジャギーなどが現れて画質が劣化するという問題が生じる。尚、図３の例では、説明がわかり易いように、４／３倍の拡大処理の例を挙げたが、縮小処理や回転処理、或いは歪曲収差補正などの変形処理を行う場合でも、整数座標の画素の画素値だけでなく、実数座標の位置の画素値を補間して求める必要があるので、様々な解像力の画素値が混在する出力画像が生成されることになる。
【００３１】
そこで、本実施形態に係る電子カメラ１０１では、解像力が一定になるように補間処理を行い、出力画像にジャギーなどが現れないようにすることができるようになっている。
【００３２】
次に、二次元状に配置された画素で拡大処理を行う場合について説明する。図４（ａ）は、拡大前の画素配置例を示す図で、例えば図２で説明した画像１２１に対応する。図４（ａ）の例では、ｘ軸方向の整数位置に３画素、ｙ軸方向の整数位置に３画素、合計９画素が配置されている。ここで、各画素の座標を画素Ｐ（ｘ，ｙ）で表記し、図４（ａ）の例では、画素Ｐ（０，０）から画素Ｐ（２，２）までの９つの画素が描かれている。
【００３３】
図４（ｂ）は、図４（ａ）を１．２５倍に拡大後の画素配置例を示す図で、例えば図２で説明した画像１２１に対応する。図４（ｂ）の例では、ｉ軸方向の整数位置に３画素、ｊ軸方向の整数位置に３画素、合計９画素が配置されている。ここで、拡大前後の画素サイズ（画素間隔）は変わらないものとする。また、拡大後の各画素の座標を画素ｐ（ｉ，ｊ）で表記し、図４（ｂ）の例では、画素ｐ（０，０）から画素ｐ（２，２）までの９つの画素が描かれている。
【００３４】
図４（ａ）のｘｙ座標の画像１２１を１．２５倍に拡大して図４（ｂ）のｉｊ座標の画像１２２を作成する場合、画素Ｐ（０，０）と画素ｐ（０，０）とを基準として拡大後のｉｊ座標の画素ｐ（１，１）の画素値は、拡大前のｘｙ座標上の位置（０．８，０．８）の画素値と同じにしなければならない。尚、拡大後のｉｊ座標の画素ｐ（１，１）に対応する拡大前のｘｙ座標上の位置（０．８，０．８）を補間対象位置と称する。
【００３５】
ここで、倍率をｋ、拡大後のｉｊ座標の画素ｐ（ｉ，ｊ）、画素ｐ（ｉ，ｊ）に対応するｘｙ座標上の補間対象位置の座標（ｘ０，ｙ０）とした場合、次の関係がある。
ｘ０＝ｉ／ｋ    …（式１）
ｙ０＝ｊ／ｋ    …（式２）
上記の例では、ｋ＝１．２５倍、拡大後のｉｊ座標の画素ｐ（１，１）なので、拡大前のｘｙ座標上の補間対象位置（ｘ０，ｙ０）の座標は、次のように求まる。
ｘ０＝１／１．２５＝０．８
ｙ０＝１／１．２５＝０．８
この補間対象位置（０．８，０．８）を図４（ａ）のｘｙ座標上に描くと、黒丸印の座標（０．８，０．８）に対応し、この座標の補間値を求めれば、それが図４（ｂ）の拡大後のｉｊ座標の画素ｐ（１，１）の画素値となる。
【００３６】
次に、補間対象位置の補間値を求める方法について説明する。尚、補間対象位置の補間値は、画像処理部１０７によって行われる処理である。図５（ａ）は、図４（ａ）および図４（ｂ）で説明した拡大処理に対応し、黒丸印で示した補間対称位置（０．８，０．８）の補間値を求める必要がある。
【００３７】
先ず、本実施形態では、拡大前の整数座標の画素のうち、補間対象位置（０．８，０．８）に最も近いを画素を選択する。図５（ａ）の例では、画素（１，１）が中心画素として選択される。そして、画素（１，１）を中心とする周囲の８つの画素を含む９つの画素（参照画素と称する）の画素値から補間対象位置（０．８，０．８）の補間値を求める。ここで、実数座標の補間対象位置（ｘ０，ｙ０）に最も近い整数座標の画素は、例えば補間対象位置の実数座標を四捨五入した整数座標の画素として選択することができる。図５（ａ）の例では、補間対象位置（０．８，０．８）に最も近い拡大前の整数座標の画素は、実数座標０．８を四捨五入した整数座標１の画素Ｐ（１，１）となる。そして、画素Ｐ（１，１）を中心とする画素Ｐ（１，１）を含む画素Ｐ（０，０）から画素（２，２）までの９つの参照画素の画素値から図４の拡大後の画素ｐ（１，１）の画素値に対応する補間対象位置（０．８，０．８）の補間値を求める。尚、補間対象位置（０．８，０．８）に最も近い画素Ｐ（１，１）とのずれ（座標差分）は、ｘ軸方向にΔｘ、ｙ軸方向にΔｙとなる。ここで、ΔｘおよびΔｙを端数座標（Δｘ，Δｙ）と称する。
【００３８】
端数座標（Δｘ，Δｙ）は、図５（ａ）の例では、補間対象位置（０．８，０．８）と、画素Ｐ（０．８，０．８）に最も近い画素Ｐ（１，１）とのそれぞれのｘｙ座標から、以下のように計算できる。
Δｘ＝０．８−１より、Δｘ＝−０．２
Δｙ＝０．８−１より、Δｙ＝−０．２
となる。
【００３９】
尚、図５（ａ）では、ｋ＝１．２５倍の拡大処理を行う場合について説明したが、ｋ＝０．８倍の縮小処理の場合は、図４の縮小後の画素ｐ（１，１）に対応する縮小前のｘｙ座標における補間対象位置は（１．２５，１．２５）となり、図５（ｂ）に示すように、補間対象位置（１．２５，１．２５）に最も近い整数座標の画素は、画素Ｐ（１，１）となる。この場合の端数座標（Δｘ，Δｙ）は、次のように計算できる。
Δｘ＝１．２５−１より、Δｘ＝０．２５
Δｙ＝１．２５−１より、Δｙ＝０．２５
となる。
【００４０】
ここで、補間対象位置Ｐ（ｘ０，ｙ０）に最も近い整数座標の画素をＰ（ｘ，ｙ）とすると、端数座標（Δｘ，Δｙ）は（式３）で表すことができる。
（Δｘ，Δｙ）＝（ｘ０−ｘ，ｙ０−ｙ）    …（式３）
尚、拡大や縮小だけでなく、回転、歪曲収差補正などの変形処理の場合についても、同様に、変形処理前の補間対象位置（ｘ０，ｙ０）から参照画素を抽出することができる。
［補間対象位置（ｘ０，ｙ０）の補間値の算出方法］
次に、補間対象位置（ｘ０，ｙ０）の補間値を求める方法について説明する。図６（ａ）は、図５（ｂ）の例を一般化して描いた図である。図６（ａ）において、補間対象位置（ｘ０，ｙ０）に最も近い整数座標の画素Ｐ（ｘ，ｙ）を中心とし、画素Ｐ（ｘ，ｙ）を含む周辺の画素Ｐ（ｘ−１，ｙ−１）から画素Ｐ（ｘ＋１，ｙ＋１）までの９つの参照画素の画素値から補間対象位置（ｘ０，ｙ０）の補間値を算出する。ここで、整数座標の画素Ｐ（ｘ，ｙ）に対する補間対象位置（ｘ０，ｙ０）のずれは、端数座標（Δｘ，Δｙ）である。また、端数座標（Δｘ，Δｙ）の範囲は、例えば図７に示したように、画素Ｐ（ｘ，ｙ）を中心とする斜線で示した領域１３１に対応し、本実施形態では下記の条件を満たすものとする。
−０．５ ≦ Δｘ ＜ ０．５    …（式４）
−０．５ ≦ Δｙ ＜ ０．５    …（式５）
以下、順番に補間処理について説明する。先ず、図６（ｂ）に示すように、補間対象位置（ｘ０，ｙ０）の端数座標Δｘを各行に投影させた位置の補間値を求める。図６（ｂ）の例では、ｙ−１の行における補間対象位置（ｘ０，ｙ−１）の補間値を同じ行の整数座標の画素Ｐ（ｘ−１，ｙ−１）、画素Ｐ（ｘ，ｙ−１）、画素Ｐ（ｘ＋１，ｙ−１）の３つの画素値から算出する。同様に、ｙの行における補間対象位置（ｘ０，ｙ）の補間値を同じ行の整数座標の画素Ｐ（ｘ−１，ｙ）、画素Ｐ（ｘ，ｙ）、画素Ｐ（ｘ＋１，ｙ）の３つの画素値から算出し、ｙ＋１の行における補間対象位置（ｘ０，ｙ＋１）の補間値を同じ行の整数座標の画素Ｐ（ｘ−１，ｙ＋１）、画素Ｐ（ｘ，ｙ＋１）、画素Ｐ（ｘ＋１，ｙ＋１）の３つの画素値から算出する。ここで、参照する３つの画素を参照画素と称する。
【００４１】
次に、各行における補間対象位置の補間値の求め方について説明する。図８（ａ）は、ｙの行における補間対象位置（ｘ０，ｙ）の補間値を同じ行の３つの参照画素（Ｐ（ｘ−１，ｙ）、Ｐ（ｘ，ｙ）、Ｐ（ｘ＋１，ｙ））から求める例を示している。ここで、補間対象位置（ｘ０，ｙ）の範囲（Δｘの範囲）は、画素Ｐ（ｘ，ｙ）を中心として、−０．５≦Δｘ＜０．５の範囲とする。そして、Δｘの範囲を例えば１６分割した場合、Δｘ＝０を含む１７個の位置のいずれかが求めるべき補間対象位置（ｘ０，ｙ）となる。ここで、Δｘを１７個の補間対象位置に分けるための算術的手法として、例えばΔｘを１６倍した値を四捨五入して求めることができる。これにより、Δｘを−８，−７，−６，−５，−４，−３，−２，−１，０，１，２，３，４，５，６，７，８の１７段階の分割位置に分けることができる。例えばΔｘ＝−０．５の時は分割位置＝−８となり、Δｘ＝０．４９９９・・・の時は分割位置＝８となる。図８（ｂ）の例では、補間対象位置（ｘ０，ｙ）のΔｘは＋０．３なので、１６×０．３＝４．８となり、四捨五入すると分割位置は５となる。
【００４２】
図９は、補間対象位置（ｘ０，ｙ）と同じ行の３つの参照画素（Ｐ（ｘ−１，ｙ）、Ｐ（ｘ，ｙ）、Ｐ（ｘ＋１，ｙ））の画素値に乗算する３つの係数（Ａ（Δ）、Ｂ（Δ）、Ｃ（Δ））の数値例を示した係数テーブル１４１である。ここで、係数テーブル１４１は、ｘ軸方向およびｙ軸方向に共通なので、ΔｘおよびΔｙをまとめてΔと表記している。
【００４３】
そして、係数テーブル１４１を用いて、補間対象位置（ｘ０，ｙ）の補間値は、（式６）のように求めることができる。
補間対象位置（ｘ０，ｙ）の補間値＝Ａ（Δｘ）・Ｐ（ｘ−１，ｙ）＋Ｂ（Δｘ）・Ｐ（ｘ，ｙ）＋Ｃ（Δｘ）・Ｐ（ｘ＋１，ｙ）…（式６）
例えば図８（ｂ）の場合、Δｘ＝０．３なので、図９の係数テーブル１４１の分割位置は１６×０．３≒＋５となり、この時の係数Ａ（Δ）＝０．０１８、Ｂ（Δ）＝０．６５２、Ｃ（Δ）＝０．３３０が求められる。これを、（式６）に適用すると、補間対象位置（ｘ０，ｙ）の補間値は、変倍処理前の参照画素（Ｐ（ｘ−１，ｙ）、Ｐ（ｘ，ｙ）、Ｐ（ｘ＋１，ｙ））の画素値から以下の式で求めることができる。
補間対象位置（ｘ０，ｙ）の補間値＝０．０１８・Ｐ（ｘ−１，ｙ）＋０．６５２・Ｐ（ｘ，ｙ）＋０．３３０・Ｐ（ｘ＋１，ｙ）
このようにして、補間対象位置（ｘ０，ｙ）の補間値を求めることができる。同様に、図６（ｂ）のｙ−１行目の補間対象位置（ｘ０，ｙ−１）の補間値も同じ行の参照画素（Ｐ（ｘ−１，ｙ−１）、Ｐ（ｘ，ｙ−１）、Ｐ（ｘ＋１，ｙ−１））の画素値から求めることができる。また、ｙ＋１行目の補間対象位置（ｘ０，ｙ＋１）の補間値も同じ行の参照画素（Ｐ（ｘ−１，ｙ＋１）、Ｐ（ｘ，ｙ＋１）、Ｐ（ｘ＋１，ｙ＋１））の画素値から求めることができる。
【００４４】
このようにして、図６（ｂ）の各行のｘ座標＝ｘ０（ｘ０の列）における３つの補間対象位置（（ｘ０，ｙ−１）、（ｘ０，ｙ）、（ｘ０，ｙ＋１））の補間値が求められる。
【００４５】
次に、図６（ｃ）に示すように、各行のｘ０列の３つの補間対象位置（（ｘ０，ｙ−１）、（ｘ０，ｙ）、（ｘ０，ｙ＋１））の補間値から最終的な補間対象位置（ｘ０，ｙ０）の補間値を求める。図６（ｃ）において、補間対象位置（ｘ０，ｙ０）の補間値は、ｘ０列のｙ軸上のΔｙに応じて、参照する３つの補間対象位置（（ｘ０，ｙ−１）、（ｘ０，ｙ）、（ｘ０，ｙ＋１））の補間値に乗算する各係数（Ａ（Δｙ）、Ｂ（Δｙ）、Ｃ（Δｙ））を係数テーブル１４１から求める。ここで、補間対象位置（ｘ０，ｙ０）の範囲（Δｙの範囲）は、図８（ａ）のΔｘの場合と同様に、図１０（ａ）に示すように、画素Ｐ（ｘ０，ｙ）を中心として、−０．５≦Δｙ＜０．５の範囲とする。そして、Δｙの範囲を例えば１６分割したΔｙ＝０を含む１７段階に分割する。分割位置は、Δｘの場合と同様に、例えばΔｙを１６倍した値を四捨五入して求めることができる。図１０（ｂ）の例では、補間対象位置（ｘ０，ｙ０）のΔｙは＋０．３なので、１６×０．３＝４．８となり、四捨五入すると分割位置＝５となる。
【００４６】
そして、係数テーブル１４１を用いて、補間対象位置（ｘ０，ｙ０）の補間値は、（式７）のように求めることができる。
補間対象位置（ｘ０，ｙ０）の補間値＝Ａ（Δｙ）・Ｐ（ｘ０，ｙ−１）＋Ｂ（Δｙ）・Ｐ（ｘ０，ｙ）＋Ｃ（Δｙ）・Ｐ（ｘ０，ｙ＋１）…（式７）
例えば図１０（ｂ）の場合、Δｙ＝０．３なので、図９の係数テーブル１４１の分割位置は１６×０．３≒＋５となり、この時の係数Ａ（Δ）＝０．０１８、Ｂ（Δ）＝０．６５２、Ｃ（Δ）＝０．３３０が求められる。これを、（式７）に適用すると、補間対象位置（ｘ０，ｙ０）の補間値は、図６（ｂ）で求めた各行の３つの補間対象位置（（ｘ０，ｙ−１）、（ｘ０，ｙ）、（ｘ０，ｙ＋１））の各補間値をＰ（ｘ０，ｙ−１）、Ｐ（ｘ０，ｙ）、Ｐ（ｘ０，ｙ＋１）とすると、以下の式で求めることができる。
補間対象位置（ｘ０，ｙ０）の補間値＝０．０１８・Ｐ（ｘ０，ｙ−１）＋０．６５２・Ｐ（ｘ０，ｙ）＋０．３３０・Ｐ（ｘ０，ｙ＋１）
このようにして、図６（ｃ）に示した最終的な補間対象位置（ｘ０，ｙ０）の補間値を求めることができる。そして、上記の一連の処理を変形処理後の出力画像を構成する整数座標の全画素ｐ（ｉ，ｊ）について同じように実行する。
【００４７】
ここで、上記の一連の処理は、図１の制御部１０８の指令によって画像処理部１０７で実行される処理である。
［画像処理部１０７の構成例］
次に、画像処理部１０７の構成および動作について説明する。図１１は、画像処理部１０７の構成例を示す図で、各ブロック間の処理の流れを示している。図１１において、画像処理部１０７は、画像入力部２０１と、補間対象位置設定部２０２と、参照画素値抽出部２０３と、補間加重係数設定部２０４と、補間部２０５と、画像出力部２０６とを備え、拡大、縮小、回転、並進、歪曲収差補正などの変形処理に伴う補間処理を行う。ここで、図４（ａ）および図４（ｂ）で説明したように、変形処理前の入力画像の座標を（ｘ，ｙ）で表し、整数座標の画素をＰ（ｘ，ｙ）とする。また、変形処理後に補間処理を行って生成される出力画像の整数座標の画素をｐ（ｉ，ｊ）とする。
【００４８】
画像入力部２０１は、撮像素子１０４で撮影された画像またはメモリカード１１２ａに保存されている撮影済の画像を画像バッファ１０６に取り込む処理を行う。そして、画像入力部２０１は、画像バッファ１０６に取り込まれた画像に対して変倍処理などの変形処理を施す。
【００４９】
補間対象位置設定部２０２は、出力画像の画素ｐ（ｉ，ｊ）に相当する入力画像上の補間対象位置（ｘ，ｙ）を設定する。この処理は、例えば先に説明した図４において、変倍後の出力画像における画素ｐ（ｉ，ｊ）＝ｐ（１，１）に相当する変倍前の補間対象位置（０．８，０．８）を設定する処理である。変倍前の補間対象位置（ｘ０，ｙ０）は、先に説明した（式１）および（式２）により求めることができる。尚、変倍処理に限らず、並進処理や回転処理、或いは歪曲補正処理など、任意の変形処理における補間対象位置を公知の方法で算出してもよい。
【００５０】
そして、補間対象位置設定部２０２は、補間対象位置（ｘ０，ｙ０）の実数座標ｘ０およびｙ０を小数以下を四捨五入して、補間対象位置（ｘ０，ｙ０）に最も近い入力画像上の整数座標（ｘ，ｙ）を算出すると共に、補間対象位置（ｘ０，ｙ０）の端数座標（Δｘ，Δｙ）を先に説明した（式３）により算出する。
【００５１】
参照画素値抽出部２０３は、入力画像のｘ座標（（ｘ−１）から（ｘ＋１）まで）、且つ、ｙ座標（（ｙ−１）から（ｙ＋１）まで）において、補間対象位置（ｘ０，ｙ０）に最も近い入力画像上の整数座標（ｘ，ｙ）を中心とする９つの画素（Ｐ（ｘ−１，ｙ−１），Ｐ（ｘ，ｙ−１），Ｐ（ｘ＋１，ｙ−１），Ｐ（ｘ−１，ｙ），Ｐ（ｘ，ｙ），Ｐ（ｘ＋１，ｙ），Ｐ（ｘ−１，ｙ＋１），Ｐ（ｘ，ｙ＋１），Ｐ（ｘ＋１，ｙ＋１））の画素値を抽出する。
【００５２】
補間加重係数設定部２０４は、先に説明した図９の係数テーブル１４１に基づいて、Δｘに対応する補間加重係数（Ａ（Δｘ），Ｂ（Δｘ），Ｃ（Δｘ））を設定する。そして、Δｘを１６倍して四捨五入した値を係数テーブル１４１の左端の欄の中から探し、当該行の係数（Ａ（Δｘ），Ｂ（Δｘ），Ｃ（Δｘ））を設定する。例えば（１６×Δｘ）を四捨五入した値が−８の場合は、Ａ（Δｘ）＝０．５，Ｂ（Δｘ）＝０．５，Ｃ（Δｘ）＝０となり、当該値が−７の場合は、Ａ（Δｘ）＝０．４３９，Ｂ（Δｘ）＝０．５５９，Ｃ（Δｘ）＝０．００２となる。同様に、Δｙに対応する補間加重係数（Ａ（Δｙ），Ｂ（Δｙ），Ｃ（Δｙ））も設定する。
【００５３】
補間部２０５は、次の演算により補間対象位置（ｘ０，ｙ０）の補間値を算出する。ここで、補間対象位置（ｘ０，ｙ０）＝（ｘ＋Δｘ，ｙ＋Δｙ）である。
【００５４】
先ず、（ｙ−１）行目の補間対象位置（ｘ０，ｙ−１）の補間値Ｐ（ｘ＋Δｘ，ｙ−１）を先に説明した（式６）により、次のように算出する。
Ｐ（ｘ＋Δｘ，ｙ−１）＝Ａ（Δｘ）×Ｐ（ｘ−１，ｙ−１）＋Ｂ（Δｘ）×Ｐ（ｘ，ｙ−１）＋Ｃ（Δｘ）×Ｐ（ｘ＋１，ｙ−１）
同様に、（ｙ）行目の補間対象位置（ｘ０，ｙ）の補間値Ｐ（ｘ＋Δｘ，ｙ）を次のように算出する。
Ｐ（ｘ＋Δｘ，ｙ）＝Ａ（Δｘ）×Ｐ（ｘ−１，ｙ）＋Ｂ（Δｘ）×Ｐ（ｘ，ｙ）＋Ｃ（Δｘ）×Ｐ（ｘ＋１，ｙ）
同様に、（ｙ＋１）行目の補間対象位置（ｘ０，ｙ＋１）の補間値Ｐ（ｘ＋Δｘ，ｙ＋１）を次のように算出する。
Ｐ（ｘ＋Δｘ，ｙ＋１）＝Ａ（Δｘ）×Ｐ（ｘ−１，ｙ＋１）＋Ｂ（Δｘ）×Ｐ（ｘ，ｙ＋１）＋Ｃ（Δｘ）×Ｐ（ｘ＋１，ｙ＋１）
そして、（ｙ−１）行目、（ｙ）行目、（ｙ＋１）行目の各補間対象位置の補間値を用いて、最終的な補間対象位置（ｘ０，ｙ０）の補間値Ｐ（ｘ＋Δｘ，ｙ＋Δｙ）を先に説明した（式７）により、次のように算出する。
Ｐ（ｘ＋Δｘ，ｙ＋Δｙ）＝Ａ（Δｙ）×Ｐ（ｘ＋Δｘ，ｙ−１）＋Ｂ（Δｙ）×Ｐ（ｘ＋Δｘ，ｙ）＋Ｃ（Δｙ）×Ｐ（ｘ＋Δｘ，ｙ＋１）
画像出力部２０６は、出力画像の画素ｐ（ｉ，ｊ）の画素値として、補間部２０５が求めた補間対象位置（ｘ０，ｙ０）の補間値Ｐ（ｘ＋Δｘ，ｙ＋Δｙ）を出力する。尚、画像処理部１０７は、上記の一連の処理を変形処理後の出力画像を構成する整数座標の全画素ｐ（ｉ，ｊ）について同じように実行する。また、出力する変形処理後の画像は、画像バッファ１０６に一時的に保持され、必要に応じて他の画像処理や更なる変形処理が施された後、ＪＰＥＧなどの画像圧縮処理が施され、ファイル名が付加されてメモリカード１１２ａに記憶される。
【００５５】
このようにして、本実施形態に係る電子カメラ１０１は、図２で説明したような拡大処理や縮小処理、或いは並進処理、回転処理、歪曲補正処理などの変形処理を行うことができる。
【００５６】
尚、本実施形態では、各画素の画素値が輝度値だけの白黒画像なのか、色差やＲＧＢデータを含むカラー画像なのかを明記していないが、カラー画像である場合は、例えばＲＧＢ各色の値について（或いは、Ｙ，Ｃｒ，Ｃｂの各値について）それぞれ同様の処理によって出力画像を生成する。
［本実施形態の効果］
本実施形態に係る電子カメラ１０１は、図３で説明したように、補間対象位置に依らず、出力画像における各画素の解像力を一定に維持できるという効果がある。以下、この理由について詳しく説明する。
【００５７】
先ず、図９に例示した補間加重係数（Ａ（Δ），Ｂ（Δ），Ｃ（Δ））の条件を示す。
（１）条件Ａ：「補間加重係数の合計は１（一定）である。」
条件Ａを数式で表すと、Ａ（Δ）＋Ｂ（Δ）＋Ｃ（Δ）＝１となる。この条件Ａを満たすことにより、補間後の平均的な明るさが補間前と同じになる。つまり、平均的な明るさが変わらないことを意味する。尚、本実施形態では、Ａ（Δ）＋Ｂ（Δ）＋Ｃ（Δ）＝１としたが、Ａ（Δ）＋Ｂ（Δ）＋Ｃ（Δ）＝一定であってもよい。この場合は、補間後の平均的な明るさを同時に変えることができる。例えば、Ａ（Δ）＋Ｂ（Δ）＋Ｃ（Δ）＝０．８とすれば、出力画像の明るさを暗くすることができる。また、カラー画像である場合は、各色毎に条件Ａの値を変えて色補正などを同時に行うようにしてもよい。
（２）条件Ｂ：「参照画素位置の加重平均は、補間対象位置である。」
条件Ｂをｘ軸の場合について数式で表すと、
｛（ｘ−１）×Ａ（Δｘ）＋ｘ×Ｂ（Δｘ）＋（ｘ＋１）×Ｃ（Δｘ）｝／（Ａ（Δｘ）＋Ｂ（Δｘ）＋Ｃ（Δｘ））＝（ｘ＋Δｘ）
であり、条件Ａを使ってまとめると、−Ａ（Δｘ）＋Ｃ（Δｘ）＝Δｘとなる。ｙ軸の場合についても同様に、
｛（ｙ−１）×Ａ（Δｙ）＋ｙ×Ｂ（Δｙ）＋（ｙ＋１）×Ｃ（Δｙ）｝／（Ａ（Δｙ）＋Ｂ（Δｙ）＋Ｃ（Δｙ））＝（ｙ＋Δｙ）
となる。
【００５８】
これは、条件Ｂを満たすことにより、補間加重係数（Ａ（Δ），Ｂ（Δ），Ｃ（Δ））によって求められる補間値は、補間対象位置（ｘ＋Δｘ，ｙ＋Δｙ）の画素値に相当する値になることを示している。例えば、先に説明した図８（ｂ）の場合、Ａ（Δｘ）＝０．０１８、Ｃ（Δｘ）＝０．３３０なので、
−Ａ（Δｘ）＋Ｃ（Δｘ）＝−０．０１８＋０．３３０＝０．３１２となり、小数点第二位で四捨五入すると、＋０．３となる。これは、図８（ｂ）のΔｘ＝＋０．３と同じである。つまり、図９の係数テーブル１４１は、参照画素位置の画素値から補間対象位置の補間値を精度良く求めるための係数値に設定されていることを意味する。
（３）条件Ｃ：「参照画素位置の広がり具合を表す評価値が、補間対象位置に依存せずに一定である。」
ここで、「参照画素位置の広がり具合を表す評価値」とは、複数の位置の参照画素の画素値がどのくらい補間対象位置の補間値に反映されているかを評価するための値で、補間対象位置の補間値に対する参照画素の画素値の拡散度を示している。例えば、「参照画素位置の広がり具合を表す評価値」として、参照画素の座標の加重分散を用いている。これは、次式に示すように、（補間対象位置の座標−参照画素の座標）２に補間加重係数を乗算した総和である。
【００５９】
【数１】
2014230014.tif 000003
尚、先に説明した図８（ｂ）の例はＮ＝３（Ｎは３以上の整数、ｎは１からＮまでの整数）の場合を示しており、（式８）において、補間加重係数（１）は図９のＡ（Δ）、同様に、補間加重係数（２）はＢ（Δ）、補間加重係数（３）はＣ（Δ）に対応する。ここで、第４の条件を追加して、Ｎ＝４の場合についても同様に考えることができる。
【００６０】
図８（ｂ）の例では、参照画素位置（１）＝−１、参照画素位置（２）＝０、参照画素位置（３）＝＋１で、補間対象位置＝＋０．３なので、図９の係数テーブル１４１より、Δ＝＋０．３の時の補間加重係数（１）＝０．０１８、補間加重係数（２）＝０．６５２、補間加重係数（３）＝０．３３０である。これらの値を（式８）に代入すると、評価値は０．２５０８（約０．２５）となる。
【００６１】
同様に、補間対象位置が−０．５の場合の評価値は、補間対象位置＝−０．５、参照画素位置（１）＝−１、参照画素位置（２）＝０、参照画素位置（３）＝＋１で、係数テーブル１４１より、Δ＝−０．５の時の補間加重係数（１）＝０．５００、補間加重係数（２）＝０．５００、補間加重係数（３）＝０．０００である。これらの値を（式８）に代入すると、評価値は０．２５となる。
【００６２】
その他の例として、補間対象位置が−０．２の場合の評価値は、補間対象位置＝−０．２、参照画素位置（１）＝−１、参照画素位置（２）＝０、参照画素位置（３）＝＋１で、係数テーブル１４１より、Δ＝−０．２の時の補間加重係数（１）＝０．０４９、補間加重係数（２）＝０．７１５、補間加重係数（３）＝０．２３６である。これらの値を（式８）に代入すると、評価値は０．２５０２（約０．２５）となる。
【００６３】
上記以外の−０．５≦Δ＜０．５に対応する図９の係数テーブル１４１の補間加重係数の評価値も０．２５になるように設定されている。
【００６４】
このように、補間対象位置の補間値Ｐ（ｘ＋Δ）について、Δに応じた補間加重係数Ａ（Δ），Ｂ（Δ），Ｃ（Δ）を用いて、
Ｐ（ｘ＋Δ）＝Ａ（Δ）×Ｐ（ｘ−１）＋Ｂ（Δ）×Ｐ（ｘ）＋Ｃ（Δ）×Ｐ（ｘ＋１）
の式により補間する処理の評価値Ｅは、以下の式で求めることができる。
Ｅ＝（（ｘ＋Δ）−（ｘ−１））２×Ａ（Δ）＋（（ｘ＋Δ）−ｘ）２×Ｂ（Δ）＋（（ｘ＋Δ）−（ｘ＋１））２×Ｃ（Δ）
＝（Δ＋１）２×Ａ（Δ）＋Δ２×Ｂ（Δ）＋（Δ−１）２×Ｃ（Δ）
この評価値Ｅによって、補間対象位置の座標に対して参照画素の座標がどの程度広がっているかを適切に表現することができる。従って、評価値Ｅを一定に保つように補間加重係数を設定することにより、補間値の解像力の低下を一定に維持することができる。
【００６５】
以上、説明したように、本実施形態において、補間加重係数（Ａ（Δ），Ｂ（Δ），Ｃ（Δ））が満たすべき条件式は以下の３つである。
条件Ａ：Ａ（Δ）＋Ｂ（Δ）＋Ｃ（Δ）＝１
条件Ｂ：−Ａ（Δ）＋Ｃ（Δ）＝Δ
条件Ｃ：（Δ＋１）２×Ａ（Δ）＋Δ２×Ｂ（Δ）＋（Δ−１）２×Ｃ（Δ）＝Ｅ
そして、補間対象位置の端数座標Δと評価値Ｅを与えれば、補間加重係数Ａ（Δ），Ｂ（Δ），Ｃ（Δ）についての３式の連立方程式となるので、この連立方程式を解けば、補間加重係数Ａ（Δ），Ｂ（Δ），Ｃ（Δ）が一義的に定まる。図９の係数テーブル１４１は、評価値Ｅ＝０．２５に設定した場合の上記の連立方程式の解（補間加重係数Ａ（Δ），Ｂ（Δ），Ｃ（Δ））を示している。また、この解は、Δを−０．５（−８／１６）から＋０．５（＋８／１６）までを１／１６ステップずつ変えた時の補間加重係数Ａ（Δ），Ｂ（Δ），Ｃ（Δ）である。
【００６６】
このようにして、係数テーブル１４１の補間加重係数を用いて補間対象位置の補間値を求めることにより、図３で説明した従来例のように、補間値の解像力が補間対象位置に依存することなく、補間値の解像力を一定に保つことができる。この結果、出力画像の全ての画素について解像力が一定に保たれているので、出力画像に対して公知の輪郭強調処理を強く施した場合でもジャギーの発生を少なくすることができる。
（その他の例）
上記の説明では、「参照画素位置の広がり具合を表す評価値」として、参照画素の座標と補間対象位置との差を二乗して補間加重係数を乗じる加重分散を用いたが、（式９）に示すような参照画素の座標と補間対象位置との差の絶対値に補間加重係数を乗じる一次ノルムを適用してもよい。
【００６７】
【数２】
2014230014.tif 000004
先の実施形態の例を（式９）に当てはめると、Ｎ＝３（Ｎは３以上の整数、ｎは１からＮまでの整数）として、評価値Ｅは次式で求めることができる。
Ｅ＝｜Δ＋１｜×Ａ（Δ）＋｜Δ｜×Ｂ（Δ）＋｜Δ−１｜×Ｃ（Δ）      
尚、上記以外の方法で、参照画素位置の広がり具合を表す任意の評価値を求めるようにしてもよい。
【００６８】
このようにして求めた評価値Ｅを条件Ｃとして、先に説明した条件Ａおよび条件Ｂと組み合わせた連立方程式を解くことにより、補間加重係数（Ａ（Δ），Ｂ（Δ），Ｃ（Δ））を求めることができる。そして、補間加重係数（Ａ（Δ），Ｂ（Δ），Ｃ（Δ））を用いて、入力画像を変形処理した出力画像の画素値を生成する処理は、先の実施形態と同様なので説明を省略する。
【００６９】
以上、説明してきたように、本実施形態に係る電子カメラ１０１は、条件Ａ，ＢおよびＣを満足する補間加重係数を算出し、この補間加重係数を用いて出力画像の画素値を生成する。これにより、出力画像を構成する画素毎の解像力の差をなくすことができ、出力画像に輪郭強調処理を施した場合でもジャギーなどによる画質の劣化を防止できる。
【００７０】
尚、本実施形態では、本発明に係る画像処理装置が搭載された電子カメラの例を挙げて説明したが、図１１で説明した画像処理部１０７の処理を実行する画像処理プログラムをパソコン、携帯電話、スマートフォンなどにインストールして、ネットワークからダウンロードした画像やメモリカード１１２ａなどに記憶されている画像に対して変形処理を行う場合でも同様の効果が得られる。
【００７１】
また、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【００７２】
１０１・・・電子カメラ；１０２・・・光学系；１０３・・・メカニカルシャッタ；１０４・・・撮像素子；１０５・・・Ａ／Ｄ変換部；１０６・・・画像バッファ；１０７・・・画像処理部；１０８・・・制御部；１０９・・・メモリ；１１０・・・表示部；１１１・・・操作部；１１２・・・メモリカードＩＦ；１１２ａ・・・メモリカード；１４１・・・係数テーブル；２０１・・・画像入力部；２０２・・・補間対象位置設定部；２０３・・・参照画素値抽出部；２０４・・・補間加重係数設定部；２０５・・・補間部；２０６・・・画像出力部
【図１】
2014230014.tif 000007
【図２】
2014230014.tif 000008
【図３】
2014230014.tif 000009
【図４】
2014230014.tif 000010
【図５】
2014230014.tif 000011
【図６】
2014230014.tif 000012
【図７】
2014230014.tif 000013
【図８】
2014230014.tif 000014
【図９】
2014230014.tif 000015
【図１０】
2014230014.tif 000016
【図１１】
2014230014.tif 000017