(57)【要約】【課題】  従来のアップサンプリング処理は、斜めの輪郭線などにジャギーが発生するという問題があった。【解決手段】  本発明では、第一の画像を入力する画像入力部と、縦方向、横方向、第一の斜め方向、第二の斜め方向の類似度を算出する方向類似度算出部と、第一の画像の第一の斜め方向類似度と第二の斜め方向類似度に応じて第一の新規画素を補間生成して、第一の画像の各画素と第一の新規画素とがハニカム状に配列する第二の画像を生成する第一の補間部と、第二の画像の縦方向類似度と横方向類似度に応じて第二の新規画素を補間生成して、第一の画像の各画素と第一の新規画素と第二の新規画素とが縦横に配列する第三の画像を生成する第二の補間部とを備えることを特徴とする。【選択図】図２
2013229651.tif 000002
【特許請求の範囲】
【請求項１】
縦横に配列された複数の画素で構成される第一の画像を入力する画像入力部と、
前記第一の画像の処理対象領域において、縦方向、横方向、第一の斜め方向、第二の斜め方向の各方向について、互いに隣接する画素出力の差異を求めることにより、縦方向類似度、横方向類似度、第一の斜め方向類似度、第二の斜め方向類似度を算出する、方向類似度算出部と、
前記第一の画像の第一の斜め方向の隣接画素と第二の斜め方向の隣接画素とを結ぶ直線の交点上に第一の新規画素を生成する場合、前記第一の斜め方向類似度が前記第二の斜め方向類似度より大きい場合には、前記第一の斜め方向の隣接画素を用いて前記第一の新規画素を補間生成し、前記第二の斜め方向類似度が前記第一の斜め方向類似度より大きい場合には、前記第二の斜め方向の隣接画素を用いて前記第一の新規画素を補間生成することにより、前記第一の画像の画素と前記第一の新規画素とがハニカム状に配列する第二の画像を生成する、第一の補間部と、
前記第二の画像の縦方向の隣接画素と横方向の隣接画素とを結ぶ直線の交点上に第二の新規画素を生成する場合、前記縦方向類似度が前記横方向類似度より大きい場合には、前記縦方向の隣接画素を用いて前記第二の新規画素を補間生成し、前記横方向類似度が前記縦方向類似度より大きい場合には、前記横方向の隣接画素を用いて前記第二の新規画素を補間生成することにより、前記第一の画像の画素と前記第一の新規画素と前記第二の新規画素とが縦横に配列する第三の画像を生成する、第二の補間部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第一の補間部は、前記第一の斜め方向類似度が前記第二の斜め方向類似度より大きいほど前記第一の新規画素の画素値を前記第一の斜め方向の隣接画素の画素値に近い値にし、前記第一の斜め方向類似度が前記第二の斜め方向類似度より小さいほど前記第一の新規画素の画素値を前記第二の斜め方向の隣接画素の画素値に近い値にする
ことを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記第二の補間部は、前記縦方向類似度が前記横方向類似度より大きいほど前記第二の新規画素の画素値を前記縦方向の隣接画素の画素値に近い値にし、前記縦方向類似度が前記横方向類似度より小さいほど前記第二の新規画素の画素値を前記横方向の隣接画素に近い値にする
ことを特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか一項に記載の画像処理装置において、
前記第二の画像の第一の斜め方向の隣接画素と第二の斜め方向の隣接画素とを結ぶ直線の交点上に第三の新規画素を生成し、前記第三の新規画素のみで構成される第四の画像を生成する、第三の補間部をさらに備える
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記第三の補間部は、前記第一の斜め方向類似度が前記第二の斜め方向類似度より大きいほど前記第三の新規画素の画素値を前記第一の斜め方向の隣接画素の画素値に近い値にし、前記第一の斜め方向類似度が前記第二の斜め方向類似度より小さいほど前記第三の新規画素の画素値を前記第二の斜め方向の隣接画素の画素値に近い値にする
ことを特徴とする画像処理装置。
【請求項６】
請求項１から５のいずれか一項に記載の画像処理装置の各部の処理をコンピュータで実行することを特徴とする画像処理プログラム。
【請求項７】
請求項１から５のいずれか一項に記載の画像処理装置を搭載する電子カメラであって、
被写体を撮像して得られた画像データを前記画像入力部に出力する撮像部と、
前記画像処理装置が補間生成した画像データを記録する記憶部と
を有することを特徴とする電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アップサンプリング処理を行う画像処理技術に関する。
【背景技術】
【０００２】
一般に、コンパクトデジタルカメラやカメラ付携帯電話などの電子カメラにはデジタルズーム機能が装備されている。デジタルズーム機能は、光学系ズームではなく被写体を画像処理によって拡大する機能で、撮影画像の一部に対してアップサンプリング処理を行うことにより、望遠レンズで撮影した場合と同じ画角の画像を生成することができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３０８４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、線形補間やＣｕｂｉｃ補間を行ってアップサンプリング処理を行うと、斜めの輪郭線などにジャギーが発生するという問題がある。
【０００５】
本発明の目的は、ジャギーを発生させずに簡易な処理でアップサンプリングを行うことができる画像処理装置および画像処理プログラム並びに電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、縦横に配列された複数の画素で構成される第一の画像を入力する画像入力部と、前記第一の画像の処理対象領域において、縦方向、横方向、第一の斜め方向、第二の斜め方向の各方向について、互いに隣接する画素出力の差異を求めることにより、縦方向類似度、横方向類似度、第一の斜め方向類似度、第二の斜め方向類似度を算出する、方向類似度算出部と、前記第一の画像の第一の斜め方向の隣接画素と第二の斜め方向の隣接画素とを結ぶ直線の交点上に第一の新規画素を生成する場合、前記第一の斜め方向類似度が前記第二の斜め方向類似度より大きい場合には、前記第一の斜め方向の隣接画素を用いて前記第一の新規画素を補間生成し、前記第二の斜め方向類似度が前記第一の斜め方向類似度より大きい場合には、前記第二の斜め方向の隣接画素を用いて前記第一の新規画素を補間生成することにより、前記第一の画像の画素と前記第一の新規画素とがハニカム状に配列する第二の画像を生成する、第一の補間部と、前記第二の画像の縦方向の隣接画素と横方向の隣接画素とを結ぶ直線の交点上に第二の新規画素を生成する場合、前記縦方向類似度が前記横方向類似度より大きい場合には、前記縦方向の隣接画素を用いて前記第二の新規画素を補間生成し、前記横方向類似度が前記縦方向類似度より大きい場合には、前記横方向の隣接画素を用いて前記第二の新規画素を補間生成することにより、前記第一の画像の画素と前記第一の新規画素と前記第二の新規画素とが縦横に配列する第三の画像を生成する、第二の補間部とを備えることを特徴とする。
【０００７】
特に、前記第一の補間部は、前記第一の斜め方向類似度が前記第二の斜め方向類似度より大きいほど前記第一の新規画素の画素値を前記第一の斜め方向の隣接画素の画素値に近い値にし、前記第一の斜め方向類似度が前記第二の斜め方向類似度より小さいほど前記第一の新規画素の画素値を前記第二の斜め方向の隣接画素の画素値に近い値にすることを特徴とする。
【０００８】
さらに、前記第二の補間部は、前記縦方向類似度が前記横方向類似度より大きいほど前記第二の新規画素の画素値を前記縦方向の隣接画素の画素値に近い値にし、前記縦方向類似度が前記横方向類似度より小さいほど前記第二の新規画素の画素値を前記横方向の隣接画素に近い値にすることを特徴とする。
【０００９】
また、前記第二の画像の第一の斜め方向の隣接画素と第二の斜め方向の隣接画素とを結ぶ直線の交点上に第三の新規画素を生成し、前記第三の新規画素のみで構成される第四の画像を生成する、第三の補間部をさらに備えることを特徴とする。
【００１０】
特に、前記第三の補間部は、前記第一の斜め方向類似度が前記第二の斜め方向類似度より大きいほど前記第三の新規画素の画素値を前記第一の斜め方向の隣接画素の画素値に近い値にし、前記第一の斜め方向類似度が前記第二の斜め方向類似度より小さいほど前記第三の新規画素の画素値を前記第二の斜め方向の隣接画素の画素値に近い値にすることを特徴とする。
【００１１】
本発明に係る画像処理プログラムは、前記画像処理装置の各部の処理をコンピュータで実行することを特徴とする。
【００１２】
本発明に係る電子カメラは、前記画像処理装置を搭載する電子カメラであって、被写体を撮像して得られた画像データを前記画像入力部に出力する撮像部と、前記画像処理装置が補間生成した画像データを記録する記憶部とを有することを特徴とする。
【発明の効果】
【００１３】
本発明に係る画像処理装置および画像処理プログラム並びに電子カメラは、ジャギーを発生させずに簡易な処理でアップサンプリングを行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係る電子カメラ１０１の構成例を示すブロック図である。
【図２】電子カメラ１０１の画像処理部１０７の構成例を示すブロック図である。
【図３】方向類似度の判定方法を示す図である。
【図４】第一の補間処理を示す図である。
【図５】第二の補間処理を示す図である。
【図６】斜め輪郭線の補間例を示す図である。
【図７】第三の補間処理を示す図である。
【図８】アップサンプリング処理の効果を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラの実施形態について図面を用いて詳しく説明する。尚、以下の実施形態では、本発明に係る画像処理装置が搭載された電子カメラの例を挙げて説明するが、撮影済みの画像を入力して画像処理を行うパソコンのプログラムや単体の画像処理装置であっても構わない。
【００１６】
［電子カメラ１０１の構成例］
先ず、各実施形態に共通の電子カメラ１０１の構成例について説明する。図１は電子カメラ１０１の構成を示すブロック図で、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、カメラ制御部１０８と、メモリ１０９と、表示部１１０と、操作部１１１と、メモリカードＩＦ（インターフェース）１１２とで構成される。ここで、画像処理部１０７は、本発明に係る画像処理プログラムが搭載された画像処理装置に相当するブロックである。
【００１７】
図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞りなどで構成され、カメラ制御部１０８からの指令に応じて、ズームレンズやフォーカスレンズ或いは絞りなどが撮影条件に応じて制御される。
【００１８】
撮像素子１０４は、ＣＭＯＳセンサなどで構成される。尚、本実施形態では、撮像素子１０４が出力する信号はモノクロ画像であってもよいし、カラー画像であってもよい。また、撮像素子１０４が各画素にＲＧＢ３色のいずれか１色のカラー情報を有するベイヤー配列などのＲＡＷデータである場合は、色補間処理によって各画素にＲＧＢ３色の情報を有するＲＧＢデータやＹＣｂＣｒデータなどの輝度／色差データに変換された後の画像データを扱うものとする。
【００１９】
Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値に変換し、１枚の撮影画像分の画像データを画像バッファ１０６に一時的に記憶する。例えば、撮像素子１０４の解像度が１０００画素×１０００画素である場合、１００万画素分の画像データが画像バッファ１０６に取り込まれる。尚、画像バッファ１０６に取り込まれた画像データは、ＲＡＷデータである場合、先に説明したように、各画素にＲＧＢ３色の情報を生成する色補間処理が画像処理部１０７によって行われる。撮像素子１０４がモノクロの撮像素子やＲＧＢ３色に対応する３板の撮像素子である場合は、色補間処理は不要である。
【００２０】
画像バッファ１０６は、揮発性の高速メモリで構成され、Ａ／Ｄ変換部１０５が出力する撮影画像を一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う際のバッファメモリとしても使用される。或いは撮影画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を表示部１１０に表示する際の表示用バッファとしても使用される。
【００２１】
画像処理部１０７は、画像バッファ１０６に取り込まれた画像データに対して、ノイズ除去処理，彩度強調処理，輪郭強調処理などの一般的な画像処理を行う。さらに電子カメラ１０１の設定に応じて、ＪＰＥＧ規格などに準拠した画像圧縮方法で撮影画像の圧縮処理を行いＪＰＥＧデータを出力する。特に本実施形態に係る電子カメラ１０１では、画像処理部１０７は超解像度化のためのアップサンプリング処理を行う。尚、アップサンプリング処理については後で詳しく説明する。
【００２２】
カメラ制御部１０８は、内部に記憶されたプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１全体の動作を制御する。例えば、カメラ制御部１０８は、操作部１１１を構成する撮影モード選択ダイヤルやレリーズボタンの操作に応じて、電子カメラ１０１の撮影モードを設定したり、レリーズボタン押下時には光学系１０２のレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉して、撮像素子１０４で被写体画像を撮像する。そして、カメラ制御部１０８は、撮像素子１０４からアナログの画像信号を読み出しながらＡ／Ｄ変換部１０５でデジタル値に変換し、１画面分の画像データを画像バッファ１０６に取り込む。さらに、カメラ制御部１０８は、画像バッファ１０６に取り込まれた画像データに対してノイズ除去処理や輪郭強調処理などの画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像（例えばＪＰＥＧ画像）に所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存する。特に本実施形態では、カメラ制御部１０８は、画像処理部１０７に対して撮像素子１０４で撮影された画像データを超解像度化するアップサンプリング処理を施すように指令する。
【００２３】
メモリ１０９は、フラッシュメモリなどの不揮発性の半導体メモリで構成され、電子カメラ１０１の撮影モードや露出情報，フォーカス情報などのパラメータが記憶される。そして、カメラ制御部１０８はこれらのパラメータを参照して電子カメラ１０１の動作を制御する。特に、本実施形態に係る電子カメラ１０１では、メモリ１０９にアップサンプリング処理を行うために必要なパラメータなどが製造時に記憶されており、カメラ制御部１０８はこの情報を参照して画像処理部１０７にアップサンプリング処理を指令する。尚、これらのパラメータは、操作部１１１を介して行われる設定メニューによってユーザーが適宜変更することができる。
【００２４】
表示部１１０は、液晶モニタなどで構成され、カメラ制御部１０８によって撮影画像や電子カメラ１０１の操作に必要な設定メニュー画面などが表示される。
【００２５】
操作部１１１は、電源ボタン、レリーズボタン、撮影モード選択ダイヤル、カーソルボタンなどで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を使用する。尚、これらの操作ボタンの操作情報はカメラ制御部１０８に出力され、カメラ制御部１０８は操作部１１１から入力する操作情報に応じて電子カメラ１０１全体の動作を制御する。
【００２６】
メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースで、カメラ制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａとの間で画像データを読み書きする。
【００２７】
以上が電子カメラ１０１の構成および基本動作である。尚、電子カメラ１０１ではなく、本発明に係る単体の画像処理装置を構成する場合は、図１において、光学系１０２，メカニカルシャッタ１０３，撮像素子１０４およびＡ／Ｄ変換部１０５で構成される撮像部を取り除いた装置とし、カメラ制御部１０８（画像処理装置の制御部に相当）が撮影済みの画像データをメモリカード１１２ａから画像バッファ１０６に読み出して、画像処理部１０７がアップサンプリング処理を行う。
【００２８】
次に、画像処理部１０７の構成および動作について説明する。図２は、画像処理部１０７の構成例を示す図である。図２において、画像処理部１０７は、画像入力部２０１と、方向類似性算出部２０２と、第一の補間部２０３と、第二の補間部２０４とを基本的に備え、アップサンプリング処理を行う。さらに、精度の高いアップサンプリング処理を行うために第三の補間部２０５を備える。また、先に説明したように、画像バッファ１０６に取り込まれる画像がＲＡＷデータである場合は、各画素にＲＧＢデータを生成するための色補間処理を行う色補間部２００を設けてもよい。さらに、アップサンプリング処理後の画像に対して一般的な画像処理を施す一般画像処理部２０６を設けてもよい。尚、一般画像処理部２０６は、アップサンプリング処理の前や途中で行うようにしてもよい。
【００２９】
次に、アップサンプリング処理に関係するブロックについて詳しく説明する。
【００３０】
画像入力部２０１は、図３（ａ）に示すように、ｘ軸方向およびｙ軸方向の縦横に配列された画像データを画像バッファ１０６から入力する。尚、画像データがモノクロ画像である場合は各画素（ｘ、ｙ）に対応する輝度値で構成され、カラー画像である場合は各画素（ｘ、ｙ）に対応するＲＧＢ３色の値またはＹＣｂＣｒの輝度値および各色差値で構成される。本実施形態では、説明がわかり易いように、モノクロ画像であるものとして説明するが、ＲＧＢのカラー画像である場合は、Ｒ画素、Ｂ画素、Ｇ画素のそれぞれ同様に処理を３回繰り返せばよい。同様に、ＹＣｂＣｒのカラー画像である場合は、Ｙ画素、Ｃｂ画素、Ｃｒ画素のそれぞれについて同様の処理を３回繰り返せばよい。
【００３１】
ここで、図３（ａ）において、隣接する４つの画素（１，１）、画素（１，２）、画素（２，１）、画素（２，２）の画素値をそれぞれＡ、Ｂ、Ｃ、Ｄとして以降の処理を説明するが、同様の処理を１画面全体について繰り返し行う。例えば隣接する４つの画素（１，２）、画素（１，３）、画素（２，２）、画素（２，３）については、画素（１，２）の画素値をＡ、画素（１，３）の画素値をＢ、画素（２，２）の画素値をＣ、画素（２，３）の画素値をＤに対応させて同様の処理を行えばよい。
【００３２】
方向類似性算出部２０２は、例えば図３（ａ）の２画素×２画素の範囲にある画素の組（画素（１，１）、画素（１，２）、画素（２，１）、画素（２，２））について画像構造の方向類似度を判定するための計算を行う。ここで、方向類似度は、縦方向、横方向、斜め方向（右下がりの第一の斜め方向、右上がりの第二の斜め方向）について画像構造が類似しているか否かを示す指標で、例えば縦線は縦方向の類似度が高く、横線は横方向の類似度が高くなる。具体的には、２画素×２画素の範囲にある画素のそれぞれ画素値Ａ、Ｂ、Ｃ、Ｄについて、次の（式１）から（式４）を計算し、縦方向類似度Ｓ１、横方向類似度Ｓ２、第一の斜め方向類似度Ｓ３、第二の斜め方向類似度Ｓ４をそれぞれ算出する。
縦方向類似度Ｓ１＝−（｜Ａ−Ｃ｜＋｜Ｂ−Ｄ｜）／２    …（式１）
横方向類似度Ｓ２＝−（｜Ａ−Ｂ｜＋｜Ｃ−Ｄ｜）／２    …（式２）
第一の斜め方向類似度Ｓ３＝−｜Ａ−Ｄ｜    …（式３）
第二の斜め方向類似度Ｓ４＝−｜Ｂ−Ｃ｜    …（式４）
（式１）は、図３（ｂ）に示すように、図３（ａ）において縦方向に隣接する画素（１，１）および画素（２，１）の画素値Ａおよび画素値Ｃの差の絶対値と、画素（１，２）および画素（２，２）の画素値Ｂおよび画素値Ｄの差の絶対値との平均を求め、マイナス符号を付けて負の数とする。尚、負の数とするのは、数値が大きいほど類似度が高くなるようにするためで、類似度は０以下の値になる。
【００３３】
同様に（式２）は、図３（ｃ）に示すように、図３（ａ）において横方向に隣接する画素（１，１）および画素（１，２）の画素値Ａおよび画素値Ｂの差の絶対値と、画素（２，１）および画素（２，２）の画素値Ｃおよび画素値Ｄの差の絶対値との平均を求め、マイナス符号を付けて負の数とする。
【００３４】
また（式３）は、図３（ｄ）に示すように、図３（ａ）において第一の斜め方向に隣接する画素（１，１）および画素（２，２）の画素値Ａおよび画素値Ｄの差の絶対値を求め、マイナス符号を付けて負の数とする。
【００３５】
同様に（式４）は、図３（ｅ）に示すように、図３（ａ）において第二の斜め方向に隣接する画素（１，２）および画素（２，１）の画素値Ｂおよび画素値Ｃの差の絶対値を求め、マイナス符号を付けて負の数とする。
【００３６】
尚、（式１）から（式４）の計算を画面全体にわたって同様の４つの画素の各組について繰り返す。
【００３７】
次に、第一の補間部２０３は、図３（ａ）の４つの画素（１，１）、画素（１，２）、画素（２，１）、画素（２，２）の中央に新規画素（１．５，１．５）を生成する補間処理を行う。ここで、新規画素の座標をｘ軸方向およびｙ軸方向の値を用いて（１．５，１．５）と表記する。例えば隣の４つの画素（１，２）、画素（１，３）、画素（２，２）、画素（２，３）の中央の新規画素の座標は（２．５，１．５）となる。つまり、新規画素（１．５，１．５）は、画素（１，１）と画素（２，２）を結ぶ直線をＡＤと、画素（１，２）と画素（２，１）を結ぶ直線をＢＣとの交点に位置する。尚、第一の補間部２０３により補間生成される新規画素は請求項の第一の新規画素に対応する。
【００３８】
第一の補間部２０３は、先ず図４（ａ）左側に示すように、第一の斜め方向の画素（１，１）の画素値Ａおよび画素（２，２）の画素値Ｄを用いて新規画素（１．５，１．５）の画素値Ｅ１を（式５）により求め、同様に図４（ａ）右側に示すように、第二の斜め方向の画素（１，２）の画素値Ｂおよび画素（２，１）の画素値Ｃを用いて新規画素（１．５，１．５）の画素値Ｅ２を（式６）により求める。
Ｅ１＝（Ａ＋Ｄ）／２    …（式５）
Ｅ２＝（Ｂ＋Ｃ）／２    …（式６）
次に、Ｅ１およびＥ２のうち、第一の斜め方向類似度Ｓ３と第二の斜め方向類似度Ｓ４のうち類似度が高い方の方向で求めた画素値を新規画素（１．５，１．５）の画素値Ｅ０とする。
【００３９】
Ｅ１＜Ｅ２の場合、（式７）により、新規画素（１．５，１．５）の画素値Ｅ０を求める。
Ｅ０＝（Ｅ１＋Ｅ２）／２＋ｋ×（Ｓ４−Ｓ３）    …（式７）
尚、（式７）では、Ｅ０をＥ１以上Ｅ２以下にクリップした値をＥとする。
【００４０】
Ｅ１＞Ｅ２の場合、（式８）により、新規画素（１．５，１．５）の画素値Ｅ０を求める。
Ｅ０＝（Ｅ１＋Ｅ２）／２−ｋ×（Ｓ４−Ｓ３）    …（式８）
尚、（式８）では、Ｅ０をＥ２以上Ｅ１以下にクリップした値をＥとする。また、Ｓ３＝Ｓ４の場合は、Ｅ１とＥ２の平均値をＥ０（Ｅ）とする。
【００４１】
ここで、Ｓ３とＳ４は、対象箇所について求めた第一の斜め方向類似度と第二の斜め方向類似度であり、係数ｋは、０．５から２．０までの値が望ましく、例えば１近傍の値とする。また、（式７）および（式８）の処理では、Ｓ３がＳ４より大きい程Ｅの値はＥ１に近くなり、Ｓ３がＳ４より小さい程Ｅの値はＥ２に近くなる。
【００４２】
上記の処理を全画面の４つの画素の各組について繰り返すことにより、図４（ｂ）に示すように、画像入力部２０１が入力する元の画素（図４（ｂ）左側の画素）と、第一の補間部２０３が補間生成した新規画素とを合わせた画像は、図４（ｂ）右側に示すように、ハニカム配列の画素配置になる。例えば新規画素は、ｘ座標が１．５，２．５，３．５，４．５・・・、ｙ座標が１．５，２．５，３．５・・・の各位置に補間生成される（図４（ｂ）右側の斜線で示した画素）。
【００４３】
第二の補間部２０４は、図５（ｂ）左側に示すように、第一の補間部２０３が生成したハニカム配列の画素配置の画像データに対する補間処理を行う。
【００４４】
ここで、図５（ｂ）左側の図において、４つの画素（１，２）、画素（２，２）、画素（１．５，１．５）、画素（２．５，１．５）の中央に新規画素（２，１．５）を生成する補間処理を行う。ここで、新規画素の座標をｘ軸方向およびｙ軸方向の値を用いて（２，１．５）と表記する。つまり、新規画素（２，１．５）は、画素（１，２）と画素（２，２）を結ぶ直線をＢＤと、画素（１．５，１．５）と画素（２．５，１．５）を結ぶ直線をＥＦとの交点に位置する。尚、第二の補間部２０４により補間生成される新規画素は請求項の第二の新規画素に対応する。
【００４５】
第二の補間部２０４は、先ず図５（ａ）左側に示すように、縦方向の画素（２，１）の画素値Ｂおよび画素（２，２）の画素値Ｄを用いて新規画素（２，１．５）の画素値Ｇ１を（式９）により求め、同様に図５（ａ）右側に示すように、横方向の画素（１．５，１．５）の画素値Ｅおよび画素（２．５，１．５）の画素値Ｆを用いて新規画素（２，１．５）の画素値Ｇ２を（式１０）により求める。
Ｇ１＝（Ｂ＋Ｄ）／２    …（式９）
Ｇ２＝（Ｅ＋Ｆ）／２    …（式１０）
次に、Ｇ１およびＧ２のうち、縦方向類似度Ｓ１と横方向類似度Ｓ２のうち類似度が高い方の方向で求めた画素値を新規画素（２，１．５）の画素値Ｇ０とする。
【００４６】
Ｇ１＜Ｇ２の場合、（式１１）により、新規画素（２，１．５）の画素値Ｇ０を求める。
Ｇ０＝（Ｇ１＋Ｇ２）／２＋ｋ×（Ｓ２−Ｓ１）    …（式１１）
尚、（式１１）では、Ｇ０をＧ１以上Ｇ２以下にクリップした値をＧとする。
【００４７】
Ｇ１＞Ｇ２の場合、（式１２）により、新規画素（２，１．５）の画素値Ｇ０を求める。
Ｇ０＝（Ｇ１＋Ｇ２）／２−ｋ×（Ｓ２−Ｓ１）    …（式１２）
尚、（式１２）では、Ｇ０をＧ２以上Ｇ１以下にクリップした値をＧとする。また、Ｓ１＝Ｓ２の場合は、Ｇ１とＧ２の平均値をＧ０（Ｇ）とする。
【００４８】
ここで、Ｓ１とＳ２は、対象箇所について求めた縦方向類似度と横方向類似度であり、係数ｋは、０．５から２．０までの値が望ましく、例えば１近傍の値とする。また、（式１１）および（式１２）の処理では、Ｓ１がＳ２より大きい程Ｇの値はＧ１に近くなり、Ｓ１がＳ２より小さい程Ｇの値はＧ２に近くなる。尚、係数ｋの値は先の（式７）および（式８）と同じ値でもよいし、別の値にしてもよい。ここでは、同じ値を用いるものとする。
【００４９】
上記の処理を全画面の４つの画素の各組について繰り返すことにより、図５（ｂ）に示すように、第一の補間部２０３が出力するハニカム配列の画素（図５（ｂ）左側の画素）と、第二の補間部２０４が補間生成した新規画素とを合わせた画像は、図５（ｂ）右側に示すように、縦横配列の画素配置になる。例えば新規画素は、第一の補間部２０３が出力するハニカム配列の画素の間に補間生成され（斜線で示した画素）、画素数は２倍になる。
【００５０】
このようにして、本実施形態に係る電子カメラ１０１は、縦横斜めの方向類似度を算出し、隣接する画素の画素値が類似する方向の画素を重点的に用いて補間を行うので、斜め線のジャギーを抑えることができ、解像力（精鋭度）を保持したアップサンプリングを行うことができる。
【００５１】
例えば図６に示すように、白と黒の画素の境界の輪郭線が第一の斜め方向にある場合、第一の斜め方向の類似度Ｓ３が大きな値になるので、新規画素に隣接する４つの画素のそれぞれの画素値Ａ，Ｂ，Ｃ，Ｄを用いた第一の補間部２０３が行う補間処理では、（式７）および（式８）で説明したように、画素値Ａと画素値Ｄが主に用いられ、斜め線が滑らかに再現されて、解像力も保持することができる。同様に、第二の補間部２０４についても、縦方向の類似度Ｓ１と横方向の類似度Ｓ２との大きさに応じて、（式１１）および（式１２）で説明したように、縦線または横線が滑らかに再現され、解像力も保持することができる。
【００５２】
ここで、図２において、第二の補間部２０４が出力する縦横配列の画像をアップサンプリング画像として一般画像処理部２０６に出力するようにしてもよいが、第二の補間部２０４が生成した画像では、図５（ｂ）右側に示したように、新規に補間生成された精鋭度が低い画素と、画像入力部２０１が入力する元の画像の精鋭度が高い画素とが交互に混在するため、被写体の種類によっては少し違和感のある画像になってしまうことがある。
【００５３】
そこで、本実施形態に係る電子カメラ１０１では、図２に示したように、第二の補間部２０４が生成した画像に対して更に第三の補間部２０５により補間処理を行うようになっている。
【００５４】
第三の補間部２０５は、図７（ｂ）左側に示すように、第二の補間部２０４が生成した縦横配列の画素配置（元画像の２倍の画素数）の画像データに対する補間処理を行う
ここで、図７（ｂ）左側の図において、４つの画素（２，１．５）、画素（２．５，１．５）、画素（２，２）、画素（２．５，２）の中央に新規画素（２’，１．５’）を生成する補間処理を行う。ここで、第二の補間部２０４が生成した画素の座標は図７（ｂ）左側に示すようにｘ軸およびｙ軸で表し、第三の補間部２０５が生成した画素の座標は図７（ｂ）右側に示すようにｘ’軸およびｙ’軸で表すものとする。そして、ｘ’軸はｘ軸に対して右に０．５画素分ずらした位置の座標軸で、ｙ’軸はｙ軸に対して下に０．５画素分ずらした位置の座標軸である。
【００５５】
図７（ｂ）右側の図において、新規画素の座標をｘ’軸方向およびｙ’軸方向の値を用いて（２’，１．５’）と表記し、新規画素（２’，１．５’）の画素値は画素値Ｉとする。つまり、新規画素（２’，１．５’）は、画素（２，１．５）と画素（２．５，２）を結ぶ直線をＧＨと、画素（２．５，１．５）と画素（２，２）を結ぶ直線をＦＤとの交点に位置する。尚、第三の補間部２０５により補間生成される新規画素は請求項の第三の新規画素に対応する。
【００５６】
第三の補間部２０５は、先ず図７（ａ）左側に示すように、第一の斜め方向の画素（２，１．５）の画素値Ｇおよび画素（２．５，２）の画素値Ｈを用いて新規画素（２’，１．５’）の画素値Ｉ１を（式１３）により求め、同様に図７（ａ）右側に示すように、第二の斜め方向の画素（２．５，１．５）の画素値Ｆおよび画素（２，２）の画素値Ｄを用いて新規画素（２’，１．５’）の画素値Ｉ２を（式１４）により求める。
Ｉ１＝（Ｇ＋Ｈ）／２    …（式１３）
Ｉ２＝（Ｆ＋Ｄ）／２    …（式１４）
次に、Ｉ１およびＩ２のうち、第一の斜め方向類似度Ｓ３と第二の斜め方向類似度Ｓ４のうち類似度が高い方の方向で求めた画素値を新規画素（２’，１．５’）の画素値Ｉ０とする。
【００５７】
Ｉ１＜Ｉ２の場合、（式１５）により、新規画素（２’，１．５’）の画素値Ｉ０を求める。
Ｉ０＝（Ｉ１＋Ｉ２）／２＋ｋ×（Ｓ４−Ｓ３）    …（式１５）
尚、（式１３）では、Ｉ０をＩ１以上Ｉ２以下にクリップした値をＩとする。
【００５８】
Ｉ１＞Ｉ２の場合、（式１６）により、新規画素（２’，１．５’）の画素値Ｉ０を求める。
Ｉ０＝（Ｉ１＋Ｉ２）／２＋ｋ×（Ｓ４−Ｓ３）    …（式１６）
尚、（式１３）では、Ｉ０をＩ１以上Ｉ２以下にクリップした値をＩとする。また、Ｓ３＝Ｓ４の場合は、Ｉ１とＩ２の平均値をＩ０（Ｉ）とする。
【００５９】
ここで、Ｓ３とＳ４は、対象箇所について求めた縦方向類似度と横方向類似度であり、係数ｋは、０．５から２．０までの値が望ましく、例えば１近傍の値とする。また、（式１５）および（式１６）の処理では、Ｓ３がＳ４より大きい程Ｉの値はＩ１に近くなり、Ｓ３がＳ４より小さい程Ｉの値はＩ２に近くなる。尚、係数ｋの値は先の（式７）および（式８）や、（式１１）および（式１２）と同じ値でもよいし、それぞれを別の値にしてもよい。ここでは、同じ値を用いるものとする。
【００６０】
上記の処理を全画面の４つの画素の各組について繰り返すことにより、図７（ｂ）に示すように、第三の補間部２０５が出力する縦横配列の画素（図７（ｂ）左側の画素を右に０．５画素と下に０．５画素それぞれ移動した画素配置の画像が得られる。尚、第二の補間部２０４が出力する画像の画素数と、第三の補間部２０５が出力する画像の画素数とは同じである。
【００６１】
ここで、新規画素（２’，１．５’）の画素値Ｉは、画素（２，１．５）、画素（２．５，１．５）、画素（２，２）、画素（２．５，２）の４つの画素の画素値Ｇ，Ｆ，Ｄ，Ｈから求められるが、画像入力部２０１が入力する元画像の画素値はＤだけなので、元画像の画素値の新規画素に与える影響を少なくすることができる。これにより、元画像の画素値ＢおよびＤの２つの影響を受ける第二の補間部２０４が生成した画像よりも違和感を抑えることができる。
【００６２】
このようにして、本実施形態に係る電子カメラ１０１は、縦横斜めの方向類似度を算出し、隣接する画素の画素値が類似する方向の画素を重点的に用いて補間を行うので、斜め線のジャギーを抑えることができ、解像力（精鋭度）を保持したアップサンプリングを行うことができる。特に、第三の補間部２０５によって生成した新規画素のみで構成される画像を作ることにより、全画素の解像力の差を解消して滑らかな画像が得られる。図８（ａ）は、本実施形態に係る電子カメラ１０１の画像処理部１０７においてアップサンプリングされた画像例を示す。また、図８（ｂ）は、同じ画像を公知の線形補間によってアップサンプリングされた画像例を示すが、本実施形態に係る電子カメラ１０１でアップサンプリングされた画像の方がジャギーが無く解像力が高いことがわかる。
【００６３】
以上、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラについて、各実施形態で例を挙げて説明してきたが、画像処理部１０７の処理を単独の画像処理装置やパソコンの画像処理プログラムで実現しても構わない。この場合は、例えば画像バッファ１０６の代わりに撮影済みの画像データが記憶されたメモリカードなどの記憶媒体をパソコンに装着して画像処理部１０７の各処理を実行し、再びメモリカードに処理後の画像データを記憶する。
【００６４】
尚、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【００６５】
１０１・・・電子カメラ；１０２・・・光学系；１０３・・・メカニカルシャッタ；１０４・・・撮像素子；１０５・・・Ａ／Ｄ変換部；１０６・・・画像バッファ；１０７・・・画像処理部；１０８・・・カメラ制御部；１０９・・・メモリ；１１０・・・表示部；１１１・・・操作部；１１２・・・メモリカードＩＦ；１１２ａ・・・メモリカード；２００・・・色補間部；２０１・・・画像入力部；２０２・・・方向類似度算出部；２０３・・・第一の補間部；２０４・・・第二の補間部；２０５・・・第三の補間部；２０６・・・一般画像処理部
【図１】
2013229651.tif 000003
【図２】
2013229651.tif 000004
【図３】
2013229651.tif 000005
【図４】
2013229651.tif 000006
【図５】
2013229651.tif 000007
【図６】
2013229651.tif 000008
【図７】
2013229651.tif 000009
【図８】
2013229651.tif 000010