(57)【要約】【課題】変倍処理によって画像のボケ感が変化する事を防ぐこと。【解決手段】画像を変倍する画像処理装置であって、画像内の複数の部分領域のそれぞれから、ボケに関する特徴量を抽出する特徴量抽出部と、複数の部分領域のそれぞれに対し、それぞれから抽出された特徴量に応じた補間パラメータを用いて補間演算をすることにより、画像を変倍する補間処理部とを備える。特徴量抽出部は、複数の部分領域のそれぞれから抽出したエッジ量を、部分領域よりも広い画像領域で正規化することにより、特徴量を抽出してよい。【選択図】図３
2012133492.tif 000002
【特許請求の範囲】
【請求項１】
画像を変倍する画像処理装置であって、
前記画像内の複数の部分領域のそれぞれから、ボケに関する特徴量を抽出する特徴量抽出部と、
前記複数の部分領域のそれぞれに対し、それぞれから抽出された前記特徴量に応じた補間パラメータを用いて補間演算をすることにより、前記画像を変倍する補間処理部と
を備える画像処理装置。
【請求項２】
前記特徴量抽出部は、前記複数の部分領域のそれぞれから抽出したエッジ量を、それぞれの部分領域よりも広い画像領域から抽出されたエッジ量を用いて正規化することにより、前記特徴量を抽出する
請求項１に記載の画像処理装置。
【請求項３】
前記補間処理部は、前記補間演算に用いる近傍画素の画素数を、前記特徴量に応じて異ならせる
請求項１または２に記載の画像処理装置。
【請求項４】
前記補間処理部は、前記特徴量がより大きいボケ量を示す場合、前記近傍画素の画素数をより大きくする
請求項３に記載の画像処理装置。
【請求項５】
前記補間処理部は、前記補間演算に用いる近傍画素に対する重み係数を、前記特徴量に応じて異ならせる
請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記補間処理部は、異なる２種類以上の補間フィルタによって算出された画素値を、前記特徴量に応じて異なる重みで加算する
請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記補間処理部は、前記補間演算に用いる補間フィルタの種類を、前記特徴量に応じて異ならせる
請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記補間処理部は、前記特徴量が予め定められた値以下のボケ量を示す場合、第１補間フィルタを適用し、前記特徴量が前記予め定められた値よりも大きいボケ量を示す場合、前記第１補間フィルタよりも高空間周波数成分を伝達しない第２補間フィルタを適用する
請求項７に記載の画像処理装置。
【請求項９】
前記第１補間フィルタは、線形補間、最近傍補間およびキュービック補間の少なくとも一方に基づく補間フィルタであり、前記第２補間フィルタは、ガウシアン補間に基づく補間フィルタである
請求項８に記載の画像処理装置。
【請求項１０】
前記特徴量抽出部は、周囲の部分領域との間で平均化された前記特徴量を抽出する
請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記特徴量抽出部は、前記画像の変倍後の複数の画素にそれぞれ対応する前記特徴量を抽出し、
前記補間処理部は、前記複数の画素にそれぞれ対応する前記特徴量に応じた補間パラメータを用いてそれぞれ補間演算をすることにより、前記複数の画素の画素値をそれぞれ算出する
請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記補間処理部は、前記画像の画素数に対する前記変倍した後の画素数との比に応じた補間パラメータを適用する
請求項１から１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記補間処理部は、前記画像の縮小率がより大きい場合に、前記補間演算に用いる近傍画素の画素数をより大きくする
請求項１２に記載の画像処理装置。
【請求項１４】
画像の変倍処理用のプログラムであって、コンピュータに、
前記画像内の複数の部分領域のそれぞれから、ボケに関する特徴量を抽出する特徴量抽出ステップと、
前記複数の部分領域のそれぞれに対し、それぞれから抽出された前記特徴量に応じた補間パラメータを用いて補間演算をすることにより、前記画像を変倍する補間処理ステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
入力された画像データを最近傍補間処理で拡大した後、拡大率に応じたサイズのフィルタでフィルタリングする技術が知られている（例えば特許文献１）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００２−２５９９６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
画像を補間処理で一様に変倍すると、変倍後の画像のエッジ成分の振る舞いが、元画像とは異なった振る舞いになる。例えば、画像の拡大処理では、拡大後の画像は一様にボケてしまう場合がある。また、画像の縮小処理では、縮小後の画像が一様にくっきりしたものになってしまう場合がある。このため、補間処理によって一様に変倍された画像が、元の画像とは大きく異なった印象の画像になってしまうという課題があった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の一態様においては、画像を変倍する画像処理装置であって、画像内の複数の部分領域のそれぞれから、ボケに関する特徴量を抽出する特徴量抽出部と、複数の部分領域のそれぞれに対し、それぞれから抽出された特徴量に応じた補間パラメータを用いて補間演算をすることにより、画像を変倍する補間処理部とを備える。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】カメラ１００が撮影した画像を変倍するシーンを示す概念図である。
【図２】本実施形態に係るカメラ１００のシステム構成図を示す図である。
【図３】縮小画像４００を生成する処理の一部を模式的に示す図である。
【図４】縮小画像４００を生成する処理の一部を模式的に示す図である。
【図５】補間演算に用いる補間パラメータの一例を説明する図である。
【図６】カメラ１００において縮小画像を生成する処理フローを示す図である。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、カメラ１００が撮影した画像を変倍するシーンを示す概念図である。カメラ１００は、撮像装置の一例としてのデジタルカメラである。カメラ１００で撮像されて生成された撮像画像データは、撮影結果等をユーザに提示すべく、表示パネル等の表示部１１０に表示される。このとき、撮像画像データは、表示部１１０が画像表示に用いる画素数の画像データに変換される。多くの場合、撮像画像データは縮小されて表示部１１０に表示される。近年、撮像装置が有する撮像素子の有効画素数はますます高くなる。しかし、表示部１１０が有する画素数は大きく増えていないので、撮像画像データに対する縮小率は高くなる傾向にある。
【０００９】
また、カメラ１００で生成された撮像画像データは、種々の画像出力機器を介して種々の出力媒体に出力される。例えば、撮像画像データは、画像出力機器の一例としてのデジタルフォトフレーム２０、携帯電話端末３０、パーソナルコンピュータ４２、テレビ６０等に出力され、各画像出力機器がそれぞれ有する表示パネルに出力される。撮像画像データは、表示パネルが表示に用いる画素数に従って縮小または拡大されて表示される。また、撮像画像データは、プリンタ５０に出力され、プリンタ５０が有するプリントヘッドのプリント解像度に応じた画素数に従って縮小または拡大されて、プリント媒体にプリントされる。画像出力機器としては、図示した機器の他、プロジェクタなどの投影装置等を例示することができる。
【００１０】
例えば、近年の撮像装置で撮像された高画素数の撮像画像データを、デジタルフォトフレーム２０や、大型ＴＶ６０に表示する場合、撮像画像データを大きく縮小して表示する必要がある。また、少画素数の画像データを、ＰＣ４２を用いてＰＣモニター４０に部分的に拡大するなどして表示する場合、画像データを大きく拡大して表示する必要がある。
【００１１】
一般に、画像に変倍処理を施すと、変倍処理の前後で画像の見た目の印象が変わってしまう場合がある。例えば画像を縮小する場合、画像の一部にボケのある領域があったとしても、縮小処理でその領域がくっきりしてしまい、全体が一様にくっきりした画像なってしまう場合がある。具体的には、変倍前の画像に背景としてボカされて撮影された雲や山が、縮小処理によって前景の主要被写体と同じ程度にくっきりしてしまう場合などである。
【００１２】
変倍前後で生じる見た目の印象の変化は、拡大率や縮小率が高い場合に特に顕著になり易い。また、ＰＣモニター４０やデジタルフォトフレーム２０を含む画像出力機器には、様々な画素数の画像が入力される場合がある。したがって、特定の変倍率だけでなく、幅広い変倍率に対しても見た目の印象が変わらないような変倍処理が望まれる。
【００１３】
本実施形態では、画像のボケに着目して、見た目の印象が変倍処理の前後で変化しにくい画像処理の一例を説明する。本実施形態では、カメラ１００が撮像画像データを補間演算で縮小して表示部１１０に表示する場合等、主として撮像画像データを縮小する場合を取り上げて、カメラ１００の動作の一例を説明する。
【００１４】
図２は、本実施形態に係るカメラ１００のシステム構成図を示す。カメラ１００は光学系１０１を備える。光学系１０１は、ズームレンズ、フォーカスレンズ等により構成される。被写体光は光軸に沿って光学系１０１に入射し、シャッタ１０２を通過して撮像素子１０３の受光面に被写体像として結像する。
【００１５】
撮像素子１０３は、被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１０３で光電変換された被写体像は、電荷として読み出されてアンプ部１０４でゲイン調整等がなされる。アンプ部１０４で増幅された信号は、アナログ信号としてＡ／Ｄ変換器１０５へ転送され、Ａ／Ｄ変換器１０５でデジタル信号に変換される。撮像素子１０３の電荷読み出し、シャッタ１０２の駆動等の制御は、システム制御部１１４の同期制御を受けたタイミング発生部１１２が供給するクロック信号により制御される。
【００１６】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、画像処理部１０７へ引き渡されて処理される。具体的には、Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、メモリ制御部１０６の制御により、内部メモリ１０８に一旦記憶される。内部メモリ１０８は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ１０８は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、画像処理部１０７が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。したがって、内部メモリ１０８は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部１０６は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。
【００１７】
画像処理部１０７は、設定されている撮影モード、ユーザからの指示に従って、画像データを規格化された画像フォーマットの画像データに変換する。例えば、カメラ１００の撮影モードの一部として静止画撮影モードおよび動画撮影モードを有しており、静止画撮影モードで静止画像としてＪＰＥＧファイルを生成する場合、画像処理部１０７は、色変換処理、ガンマ処理、ホワイトバランス補正等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、例えば動画撮影モードで動画像としてのＭＰＥＧファイル、Ｈ．２６４ファイルを生成する場合、画像処理部１０７は、生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化、量子化、エントロピー符号化等を施して圧縮処理を行う。
【００１８】
変換された画像データは再び内部メモリ１０８に保管される。画像処理部１０７によって処理された静止画像データ、動画像データは、システム制御部１１４の制御により、内部メモリ１０８から記録媒体ＩＦ１１１を介して、不揮発性メモリである記録媒体１２２に記録される。記録媒体１２２は、フラッシュメモリ等により構成される。記録媒体１２２は、カメラ１００の本体に対して着脱可能な不揮発性メモリであってよい。
【００１９】
画像処理部１０７は、記録用に処理される画像データに並行して、表示用の画像データを生成する。画像処理部１０７は、記録用に処理される画像データに並行して、後述する変倍処理を施すことによって表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１０９の制御に従って、液晶パネル等で構成される表示部１１０に表示される。また、表示制御部１０９は、画像の表示と共に、もしくは画像を表示することなく、カメラ１００の各種設定に関する様々なメニュー項目を、表示部１１０に表示することができる。
【００２０】
カメラ１００は、上記の画像処理における各々の要素も含めて、システム制御部１１４により直接的または間接的に制御される。システム制御部１１４は、電気的に消去・記録可能な不揮発性メモリであるシステムメモリを有する。システムメモリは、ＥＥＰＲＯＭ（登録商標）等により構成される。システム制御部１１４が有するシステムメモリは、カメラ１００の動作時に必要な定数、変数、プログラム等を、カメラ１００の非動作時にも失われないよう記録している。システム制御部１１４は、定数、変数、プログラム等を適宜内部メモリ１０８に展開して、カメラ１００の制御に利用する。
【００２１】
カメラ１００は、ユーザからの操作を受け付ける操作部材１２０を備えている。システム制御部１１４は、操作部材１２０が操作されたことを検知する。システム制御部１１４は、検出された操作に応じた動作を実行する。例えば、操作部材１２０としてのレリーズスイッチが操作されたことを検知したときには、システム制御部１１４は、被写体像を光電変換して画像データを生成する一連の撮影動作を実行する。
【００２２】
光学系１０１は、レンズ制御部１１３によって制御される。レンズ制御部１１３は、例えば、ユーザの指示に応じてズームレンズを駆動し、被写体像の画角を変更する。また、レンズ制御部１１３は、ＡＦ情報に基づいてフォーカスレンズを駆動し、被写体像を撮像素子１０３の受光面上で合焦させる。レンズ制御部１１３は、操作部材１２０等を通じてユーザによって指定された被写体に対して、オートフォーカスの制御を実行してよい。また、レンズ制御部１１３は、画像処理部１０７が処理した画像データまたは測光センサの出力を解析して露出値を算出する。レンズ制御部１１３は、算出した露出値に従って、光学系１０１が有する絞りの制御信号を出力する。
【００２３】
図３、４は、入力画像３００に縮小処理を施して縮小画像４００を生成するまでの処理を模式的に示す。図３および４に係る処理は、特に断わらない限り、画像処理部１０７が主体として動作することで実行される。入力画像３００は、例えば撮像素子１０３によって撮像され内部メモリ１０８に記憶された撮像画像データであり、縮小処理の対象となる画像である。例えば、入力画像３００は、４９２８×３２６４画素等、１６００万画素を超える画素数の画像データであってよい。一方、縮小後の画像は、例えば、９００×６００画素など、１００万画素以下の画素数の画像データであってよい。
【００２４】
画像処理部１０７は、入力画像３００に対してエッジ量抽出処理３１０を施して、縮小画像の各画素点に対応してエッジ量を有するデータ列を内部メモリ１０８に生成する。本データ列のことを、エッジ量画像３２０と呼ぶ。エッジ量抽出処理３１０では、例えば、縮小画像の画素位置に対応する予め定められた大きさの部分領域から、エッジ量が抽出される。一例として、エッジ抽出フィルタ３１２が、入力画像３００内の実線で図示した複数の部分領域にそれぞれ適用される。例示したエッジ抽出フィルタ３１２は、部分領域の一例としての３×３画素の画素ブロック内の各画素に適用する重み係数として、中心画素に対して８、周囲の８画素に対して−１を定めている。エッジ抽出フィルタ３１２を適用することで各中心画素のエッジ量が抽出される。抽出された各中心画素のエッジ量が、エッジ量画像３２０内の破線で図示した画素点に対応づけられる。なお、エッジ量の抽出方法は、本例に限られない。また、エッジ量を抽出するフィルタのサイズも本例に限られない。
【００２５】
画像処理部１０７は、エッジ量画像３２０に対して正規化処理３３０を施して正規化画像３４０を生成し、内部メモリ１０８に生成する。正規化画像３４０は、縮小画像の各画素点に対応して、正規化されたエッジ量を有するデータ列である。正規化処理３３０では、エッジ量画像３２０の全領域から、エッジ量の平均値および標準偏差σを算出する。そして、各画素点についてエッジ量から平均値を減算して偏差を算出する。そして、各画素点について偏差を標準偏差σで除すことで、正規化画像３４０を生成する。正規化画像３４０は、縮小画像の各画素点で、相対的にどれくらい強いエッジを有するべきかを示しているといえる。
【００２６】
画像処理部１０７は、正規化画像３４０に対して平滑化処理３５０を施して平滑化画像３６０を生成し、内部メモリ１０８に生成する。平滑化画像３６０は、縮小画像の各画素点に対応して、正規化かつ平滑化されたエッジ量を有するデータ列である。例えば、平滑化処理３５０では、平滑化フィルタ３５２を各画素点に適用することによって、各画素点の正規化されたエッジ量を平滑化する。例示した平滑化フィルタ３５２は、注目画素に対して２、周囲の８画素に対して１を定めている。平滑化処理３５０により、注目画素と周辺画素との間の相関を強化することができる。平滑化の具体的な処理方法は、本例に限られない。注目画素に対して周囲の画素の振舞いを加味することができる処理であれば、どのような処理であってもよい。平滑化したエッジ量に変換する場合に、予め定められた任意の関数を用いて変換したり、ＬＵＴを用いて変換してもよい。
【００２７】
図３で例示した処理により、画像処理部１０７は、入力画像３００内の複数の部分領域のそれぞれから、ボケに関する特徴量を抽出することができる。本実施形態に係る説明で単に特徴量と呼ぶときは、特に断らない限り、ボケに関する特徴量を指す。本実施形態においては、特に断らない限り、特徴量とは正規化かつ平滑化されたエッジ量を指す。
【００２８】
図４は、平滑化画像３６０から、縮小画像４００を生成するまでの処理を模式的に示す。上述したように、平滑化画像３６０は、縮小画像の各画素点に対応して特徴量を有するデータ列である。画像処理部１０７は、フィルタパラメータ抽出処理３７０として、各画素点の特徴量を補間パラメータに変換する。
【００２９】
具体的には、画像処理部１０７は、特徴量と補間パラメータとを対応づけたテーブル３７２に従って、各画素点の特徴量を補間パラメータに変換する。テーブル３７２は、補間演算で用いる近傍画素に対する重み係数を定めるデータと、特徴量とを対応づけてよい。例えば、注目画素を内部に含むｎ×ｎ画素ブロックの画素値を補間演算に使用する場合、ｎ×ｎ画素ブロックの各画素位置（ｘ１〜ｘｎ、ｙ１〜ｙｎ）に対応するｎ２個の重み係数を定めるデータが、テーブル３７２に記憶される。
【００３０】
テーブル３７２には、より大きい値の特徴量に対応して、より高い空間周波成分を伝達することができる重み係数を定めるデータが記憶される。例えば、テーブル３７２に記憶されるデータとしては、キュービック補間の重み係数の関数形状を定めるパラメータを例示することができる。テーブル３７２には、特徴量および縮小率の組み合わせに対応して、重み係数を定めるデータが記憶されてよい。重み係数を定めるデータの詳細については、後述する。
【００３１】
フィルタパラメータ抽出処理３７０により、補間パラメータ画像３８０が内部メモリ１０８に生成される。補間パラメータ画像３８０は、縮小画像の各画素点に対応して補間パラメータを有するデータ列となる。補間演算処理３９０では、補間パラメータ画像３８０と入力画像３００とを用いて、縮小画像４００を生成して内部メモリ１０８に記憶する。具体的には、入力画像３００の画素値を補間パラメータに従って補間演算することにより、各画素点の画素値を算出する。
【００３２】
本実施形態のカメラ１００によれば、画像内でエッジ量が相対的に強い画像領域には、高周波数領域を伝達する補間パラメータを適用することができる。また、画像内でエッジ量が相対的に弱い画像領域には、高周波数領域を伝達しない補間パラメータを適用することができる。このため、入力画像３００内で相対的にボケの小さい画像領域は、縮小画像４００においても相対的にボケが小さく、相対的にボケのある画像領域は縮小画像４００においても相対的にボケが大きくなる。したがって、縮小処理の前後で、ボケに関して見た目が大きく変わってしまうことを防ぐことができる。
【００３３】
図５は、補間演算に用いる補間パラメータの一例を説明する図である。本図において、ｘ軸は、補間位置から各画素位置までの距離を示す。横軸の座標値は、変倍対象の画像の画素間隔が１となるよう正規化されている。ｈ（ｘ）は、補間演算に用いられる重み係数を示す。
【００３４】
重み係数５００は、重み係数の一例として、キュービック補間の重み係数を示す。キュービック補間では、注目画素の近傍の４×４画素の画素値を重み係数に従って加重平均することにより、注目画素の画素値が算出される。本実施形態において、｜ｘ｜が１以下の画素に対する重み係数を、ｈ（ｘ）=(ａ＋２)｜ｘ｜３−（ａ＋３）｜ｘ｜２＋１で算出する。｜ｘ｜が１より大きく２以下の画素に対する重み係数を、ｈ（ｘ）=ａ｜ｘ｜３−５ａ｜ｘ｜２＋８ａ｜ｘ｜−４ａで算出する。｜ｘ｜が２より大きい画素に対しては、重み係数として０を適用する。
【００３５】
本実施形態において、係数ａは、ｈ（ｘ）の関数形状を定めるパラメータであり、重み係数を定めるデータの一例とする。本図には、ａ＝−１の場合のｈ（ｘ）が実線で示され、ａ＝−０．２の場合のｈ（ｘ）が点線で示される。ａ＝−１で定まる重み係数と比較して、ａ＝−０．２で定まる重み係数の方が、より高周波成分を伝達することができる。つまり、異なる値の係数ａを選択することで、高周波成分の伝達度合いを異ならせることができる。したがって、図４に例示したテーブル３７２には、より大きい特徴量に対して、より高周波成分を伝達することができる係数ａの値が対応づけられてよい。テーブル３７２には、２以上の特徴量に対して、互いに値が異なる係数ａが対応づけられてよい。
【００３６】
重み係数５１０は、重み係数の他の一例としての線形補間の重み係数を示す。線形補間では、注目画素の近傍の２×２画素の画素値を用いて補間演算する。｜ｘ｜が１以下の画素に対する重み係数は、ｈ（ｘ）＝１−｜ｘ｜で算出される。｜ｘ｜が１を超える画素に対しては、重み係数として０が適用される。一般に、線形補間は、キュービック補間と比較すると、フィルタ半径が小さく、より高周波成分を伝達することができる。したがって、予め定められた値以下の特徴量を持つ画素点に対してキュービック補間を適用し、予め定められた値よりも大きい特徴量を持つ画素点に対して線形補間を適用してよい。例えば、テーブル３７２には、キュービック補間を識別する情報が第１の特徴量に対応づけられ、線形補間を識別する情報が、第１の特徴量も大きい第２の特徴量に対応づけられてよい。このように、テーブル３７２には、重み係数を定めるデータの一例として、補間演算に用いる補間関数を識別する情報が、特徴量に対応づけられてよい。
【００３７】
図６は、カメラ１００において縮小画像を生成する処理フローを示す。撮像画像データが内部メモリ１０８に記憶された場合に、本フローが開始される。本フロー図においては、特に断わらない限り、画像処理部１０７が主体となって動作する。
【００３８】
ステップＳ６０２で、撮像画像データに対する縮小率を決定する。縮小率は、撮像画像データの画素数と、生成すべき縮小画像の画素数とにより決定される。ステップＳ６０４で、撮像画像データからエッジ量を抽出する。本処理フローは、図３に関連して説明したエッジ量抽出処理３１０に該当する。
【００３９】
ステップＳ６０６で、縮小後の画素に対応する特徴量を、撮像画像データから算出する。本処理フローは、図３に関連して説明した正規化処理３３０および平滑化処理３５０に該当する。本処理フローにより、図３に関連して説明した平滑化画像３６０に対応するデータが、内部メモリ１０８に生成される。
【００４０】
ステップＳ６０８で、画素点毎に補間パラメータを算出する。本処理フローは、図４に関連して説明したフィルタパラメータ抽出処理３７０に該当する。図４および５に関連して説明したように、縮小率および特徴量の組み合わせに応じて、補間パラメータが選択される。例えば図５等に関連して説明したように、縮小率および特徴量に補間パラメータを対応づけるテーブル３７２に従って、画素点毎に補間パラメータを選択する。例えば縮小率および特徴量に対応する、キュービック補間用の係数ａが、画素点毎に決定される。そして、画素点の位置と、撮像画像データの４×４画素との位置関係に基づき、補間パラメータの一例としての重み係数のセットが、画素点毎に算出される。
【００４１】
ステップＳ６１０で、ステップＳ６０８で算出された補間パラメータを用いて、撮像画像データを補間演算することにより、縮小画像を算出する。本処理フローは、図４に関連して説明した補間演算処理３９０に該当する。例えばステップＳ６０８で画素点毎に算出された重み係数のセットを、撮像画像データの対応する４×４画素に適用して加重平均することにより、各画素点の画素値が算出される。
【００４２】
ステップＳ６１２において、縮小画像を出力する。例えば、表示制御部１０９の制御により、縮小画像が表示部１１０に表示される。縮小画像は、記録媒体ＩＦ１１１を介して記録媒体１２２に記録されてもよい。
【００４３】
ステップＳ６１４で、撮像画像データから他の縮小率の画像を生成するかを判断する。例えば、外部のフォトフレーム２０等の外部の画像出力機器用の画像を生成するかを判断する。他にも、ユーザが指定した一部領域を拡大した画像を更に生成するか否かを判断する。他の縮小率の画像を生成する場合、ステップＳ６０２に進む。予め定められた縮小画像のセットが生成されるまで、ステップＳ６０２からステップＳ６１２の処理を続ける。全ての縮小率の画像の生成が完了すると、一連の縮小画像の生成処理を終了する。
【００４４】
以上に説明した縮小処理によれば、特にボケに関する特徴量に応じて異なる補間パラメータを用いて補間演算することができる。このため、ボケが相対的に大きい部分領域のエッジが強調されてくっきりしてしまうことがない。また、ボケが相対的に小さい部分領域がボケてしまうこともない。このため、縮小対象の画像内のボケ具合の違いを、縮小後の画像にきちんと反映することができる。
【００４５】
上記では、縮小処理をする場合のカメラ１００の動作を主として説明した。しかし、同様の処理を拡大処理にも適用することで、ボケに関する特徴量に応じて異なる補間パラメータを用いて補間演算することができる。したがって、拡大処理においても、画像全体に一様な補間パラメータを適用する場合と比べて、ボケが相対的に小さい部分領域がボケてしまうことを防ぐことができる。このため、拡大対象の画像内のボケ具合の違いを、拡大後の画像にきちんと反映することができる。したがって、以上に説明したボケに関する特徴量に応じた補間処理は、画素数を低減する縮小処理だけでなく、画素数を増加する拡大処理にも適用することができる。
【００４６】
画像処理部１０７は、画像内の複数の部分領域のそれぞれから、ボケに関する特徴量を抽出する特徴量抽出部と、複数の部分領域のそれぞれに対し、それぞれから抽出された特徴量に応じた補間パラメータを用いて補間演算をすることにより、画像を変倍する補間処理部として機能することができる。上記において、複数の部分領域のそれぞれから抽出したエッジ量を、全画像領域で正規化することにより、特徴量を抽出するとして説明した。しかし、正規化の対象とする画像領域は、画像領域全体でなくともよい。例えば、縮小画像の複数の画素点を含む複数の画素点から形成される画像領域であればよい。すなわち、上記複数の部分領域のそれぞれから抽出したエッジ量を、部分領域よりも広い画像領域で正規化することにより、特徴量を抽出してよい。画像全体または比較的に広い画像領域で正規化することで、例えば全体的に画像がボケている撮像画像データの中でも、特徴量の分布に応じて補間パラメータを異ならせることができる。全体的にくっきりした撮像画像データに対しても同様である。したがって、変倍対象となる画像内のボケ具合の違いを、変倍後の画像に適切に反映することができる。
【００４７】
上記において、エッジ量の平均値および標準偏差σを用いて、正規化されたエッジ量を算出するとして説明した。しかし、画像内のエッジ量分布における各エッジ量の位置を評価できる指標値であれば、どのような処理で算出してもよい。
【００４８】
上記において、エッジ量を加重平均する平均化フィルタを用いて、エッジ量を平滑化するとした。撮像画像データに局所的に急峻なエッジがある場合、対応する画素点に大きなエッジ量が算出されることがある。補間パラメータを選択する場合に、抽出したエッジ量を平滑化せずに用いると、隣接する画素間で補間特性が大きく異なるフィルタが適用されてしまう場合がある。しかし、本実施形態のようにエッジ量を平滑化することで、周囲の画素点のエッジ量を加味して特徴量を算出することができるので、ある画素点に周囲とは補間特性が全く異なるフィルタが適用されてしまうことがない。
【００４９】
エッジ量を平滑化する処理は、上記の平均化フィルタを用いた処理に限られず、周囲との間で平均化された特徴量を抽出することができる処理であれば、どのような処理であってもよい。例えば、縮小画像の画素数よりも少ない数の画素点でエッジ量を抽出して正規化し、縮小画像の画素点に対応するエッジ量を補間等で算出することで、縮小画像の画素点に対応する特徴量を算出してよい。少画素点のエッジ量から画素点のエッジ量を算出することで、特徴量の一例としての平滑化されたエッジ量を算出することができる。このように、変倍後の画像よりも少数の画素点に対応してエッジ量を抽出した場合でも、変倍後の画像の画素点に対応する特徴量を算出することがきる。すなわち、エッジ量を全画素点で抽出するか否かにかかわらず、画像の変倍後の複数の画素にそれぞれ対応する特徴量を抽出する。そして、複数の画素にそれぞれ対応する特徴量に応じた補間パラメータを用いてそれぞれ補間演算をすることにより、複数の画素の画素値をそれぞれ算出することができる。また別の一例として、エッジ量を補間するのではなく、変倍後の画像よりも少数の画素点について特徴量、または補間パラメータを算出するようにしてもよい。そして、算出しなかった画素点の補間パラメータを、近傍の画素点の特徴量、または補間パラメータを補間する事で算出してもよい。
【００５０】
上記において、特徴量に応じてキュービック補間か線形補間かを選択したり、特徴量に応じてキュービック補間の係数ａを決定したりすることで、補間演算に用いる近傍画素に対する重み係数を、特徴量に応じて異ならせるとした。しかし、キュービック補間および線形補間の他にも、最近傍補間、ガウシアン補間など、補間演算に用いる種々の補間フィルタの中から、適用すべき補間フィルタを選択することもできる。すなわち、補間演算に用いる補間フィルタの種類を、特徴量に応じて異ならせてもよい。また、特徴量に応じて、２つの異なるフィルターによる結果をもちいて、それぞれの重み付け和で結果を算出しても良い。
【００５１】
例えば、特徴量が予め定められた値以下のボケ量を示す場合、第１補間関数に基づく補間フィルタを適用し、特徴量が予め定められた値よりも大きいボケ量を示す場合、第１補間関数よりも高空間周波数成分を伝達しない第２補間関数に基づく補間フィルタを適用してよい。「高空間周波数成分を伝達しない」とは、高空間周波数の成分を強調または発生しないこを含む概念である。第１補間フィルタとしては、線形補間および最近傍補間の少なくとも一方に基づく補間フィルタを例示することができ、第２補間フィルタとしては、キュービック補間およびガウシアン補間の少なくとも一方に基づく補間フィルタを例示することができる。
【００５２】
また、補間関数の形状を制御するパラメータとして、キュービック補間の係数ａの他、ガウシアン補間の標準偏差σを例示することができる。例えば、ガウシアン補間の標準偏差σを、特徴量に基づき算出してよい。さらに、特徴量の大きさの逆数に比例する値を、ガウシアン補間の標準偏差σに適用してよい。この場合、エッジが強く特徴量が大きい値の部分では、ガウシアン補間のフィルター半径が大きくなり、その結果、補間処理で算出された対応点の画素値は低周波成分が大きくなる。
【００５３】
そして、特徴量に応じてフィルタ半径を異ならせるなど、補間演算に用いる近傍画素の画素数を特徴量に応じて異ならせてもよい。具体的には、特徴量がより大きいボケ量を示す場合、補間演算に用いる近傍画素の画素数をより大きくしてよい。一例として、特徴量が予め定められた値以下の場合、線形補間を適用し、特徴量が予め定められた値より大きい場合、フィルタ半径が線形補間よりも大きいキュービック補間を適用してよい。このように、特徴量がより大きい場合、より大きいフィルタ半径を持つ補間関数を適用する事で、ボケの大きい画素値が算出される。
【００５４】
上記において、補間パラメータが縮小率および特徴量に対応づけられているとして説明した。つまり、変倍処理の対象となる画像の画素数と変倍後の画素数との比に応じた補間パラメータを適用することを説明した。一例として、縮小率がより大きい場合に、補間演算に用いる近傍画素の画素数をより大きくすると良い。具体的には、特徴量がより大きい場合、より大きいフィルタ半径を持つ補間フィルタを適用してよい。例えば、キュービック補間のフィルター半径を、縮小率と特徴量に応じて変化させると良い。
【００５５】
上記において、特徴量に応じた補間演算により変倍後の画像の画素値を算出するとして説明した。画素値としては、ＲＧＢ等の複数の色信号の強度を例示することができる。すなわち、Ｒ信号、Ｇ信号およびＢ信号について、特徴量に応じて色毎に補間演算することによって、変倍後の画像における各色信号の強度を算出してよい。特徴量は、変倍対象の画像から色毎に抽出してよいし、変倍対象の画像の輝度信号に基づき抽出してもよい。また、画素値としては、ＲＧＢ等の色信号の他、輝度信号および色差信号を例示することができる。すなわち、輝度信号および色差信号のそれぞれに、特徴量に応じて補間演算することによって、変倍後の画像における輝度信号および色差信号の強度をそれぞれ算出してよい。特徴量は、変倍対象の画像から輝度信号および色差信号毎に抽出してよいし、変倍対象の画像の輝度信号に基づき抽出してもよい。特徴量に基づく補間処理は、輝度信号に対してのみ行ってもよい。つまり、輝度信号に対しては、輝度信号の特徴量に応じて補間演算し、色差信号に対しては、特徴量によらず予め定められた補間演算を一様に適用してよい。
【００５６】
上記において、２次元の画素ブロックからエッジ量を抽出するとして説明した。他にも、１次元方向のエッジ量を抽出してもよい。例えば垂直方向および水平方向のそれぞれのエッジ量を抽出してよい。そして、垂直方向および水平方向のそれぞれにつき、ボケに関する特徴量を算出してもよい。垂直方向および水平方向のそれぞれにつき、それぞれの特徴量に基づき補間パラメータを算出してよい。例えば、垂直方向および水平方向のそれぞれについて、特徴量に応じた補間パラメータを算出してよい。また、垂直方向および水平方向のそれぞれについて、特徴量に応じたフィルタ半径を持つ補間フィルタを適用してよい。
【００５７】
上記において、撮像画像データを撮影したときの撮影条件に応じた変倍処理については、特に言及しなかった。しかし、撮影条件を加味して補間パラメータを決定してもよい。例えば、ポートレートモードで撮像された撮像画像データに変倍処理を施す場合、人物の画像領域の高周波成分が伝達されるよう、人物の画像領域に含まれる部分領域の特徴量を補正してよい。例えば、人物の画像領域に属する部分領域から抽出された特徴量に、１より大きい補正係数を乗じてよい。本補正により、ポートレートモードで撮像された人物像が変倍処理でボケてしまうことを防ぐことができる。
【００５８】
上記実施形態で説明したカメラ１００は、レンズ交換式一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラおよびビデオカメラ等はもちろん、カメラ機能付きの携帯電話等に適用できる。また、上記において、上記の変倍処理が、主としてカメラ１００で行われるとして説明した。しかし、当該変倍処理を、デジタルフォトフレーム２０、携帯電話端末３０、パーソナルコンピュータ４２、プリンタ５０、テレビ６０が行うことができる。
【００５９】
カメラ１００、デジタルフォトフレーム２０、携帯電話端末３０、パーソナルコンピュータ４２、プリンタ５０、テレビ６０は、変倍処理の実行を制御する制御プログラムをプロセッサが実行することで、当該変倍処理を実行してよい。パーソナルコンピュータ４２等のように、外部の記録媒体からプログラムを読み込むことができる電子情報処理装置においては、制御プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって制御プログラムをロードしてよい。
【００６０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６２】
２０  デジタルフォトフレーム、３０  携帯電話端末、４２  パーソナルコンピュータ、５０  プリンタ、６０  テレビ、１００  カメラ、１０１  光学系、１０２  シャッタ、１０３  撮像素子、１０４  アンプ部、１０５  Ａ／Ｄ変換器、１０６  メモリ制御部、１０７  画像処理部、１０８  内部メモリ、１０９  表示制御部、１１０  表示部、１１１  記録媒体ＩＦ、１１２  タイミング発生部、１１３  レンズ制御部、１１４  システム制御部、１２０  操作部材、１２２  記録媒体、３００  入力画像、３１０  エッジ量抽出処理、３１２  エッジ抽出フィルタ、３２０  エッジ量画像、３３０  正規化処理、３４０  正規化画像、３５０  平滑化処理、３５２  平滑化フィルタ、３６０  平滑化画像、３７０  フィルタパラメータ抽出処理、３７２  テーブル、３８０  補間パラメータ画像、３９０  補間演算処理、４００  縮小画像、５００、５１０  重み係数
【図１】
2012133492.tif 000003
【図２】
2012133492.tif 000004
【図３】
2012133492.tif 000005
【図４】
2012133492.tif 000006
【図５】
2012133492.tif 000007
【図６】
2012133492.tif 000008