(57)【要約】【課題】粒状感のある画像をリサイズしても、粒状感が損なわれることのない自然な印象の画像を得ることができる画像処理装置等を提供する。【解決手段】画像データから高周波画像データを抽出するハイパスフィルタ２１ｂと、画像データから低周波画像データを抽出するローパスフィルタ２１ｃと、高周波画像データを第１の補間方法を用いてリサイズする第１リサイズ部２１ｄと、低周波画像データを第１の補間方法とは異なる第２の補間方法を用いてリサイズする第２リサイズ部２１ｅと、第１リサイズ部２１ｄによりリサイズした画像データと第２リサイズ部２１ｅによりリサイズした画像データとを合成する合成部２１ｇと、を備える画像処理装置。【選択図】図２
2015032114.tif 000002
【特許請求の範囲】
【請求項１】
画像データを処理する画像処理装置であって、
画像データに対しハイパスフィルタを適用して高周波成分を抽出した高周波画像データと、上記画像データに対しローパスフィルタを適用して低周波成分を抽出した低周波画像データと、を生成するフィルタ処理部と、
上記高周波画像データを第１の補間方法を用いてリサイズする第１のリサイズ部と、
上記低周波画像データを上記第１の補間方法とは異なる第２の補間方法を用いてリサイズする第２のリサイズ部と、
上記第１のリサイズ部によりリサイズした画像データと、上記第２のリサイズ部によりリサイズした画像データと、を合成する画像合成部と、
を具備することを特徴とする画像処理装置。
【請求項２】
上記第１の補間方法は、上記第２の補間方法に比べて、上記画像データの高周波成分をより多く残す補間方法であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像データを上記第１の補間方法とは異なる第３の補間方法を用いてリサイズする第３のリサイズ部と、
上記画像データの高周波成分の値が所定の閾値以上であるか否かを判定する判定部と、
をさらに具備し、
上記高周波成分の値が上記閾値以上である場合には、上記フィルタ処理部による上記高周波画像データおよび上記低周波画像データの生成と、上記第１のリサイズ部による上記高周波画像データのリサイズと、上記第２のリサイズ部による上記低周波画像データのリサイズと、上記画像合成部による合成と、を行い、
上記高周波成分の値が上記閾値未満である場合には、上記画像データの上記第３のリサイズ部によるリサイズを行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記第３のリサイズ部が行う上記第３の補間方法は、さらに上記第２の補間方法とも異なる補間方法であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記第３の補間方法は上記第２の補間方法と同一であって、上記第２のリサイズ部は上記第３のリサイズ部を兼用したものであることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
上記第１のリサイズ部によりリサイズした画像データと、上記第２のリサイズ部によりリサイズした画像データとは、同一サイズの画像データであることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
画像データを処理する画像処理方法であって、
画像データに対しハイパスフィルタを適用して高周波成分を抽出した高周波画像データと、上記画像データに対しローパスフィルタを適用して低周波成分を抽出した低周波画像データと、を生成するフィルタ処理ステップと、
上記高周波画像データを第１の補間方法を用いてリサイズする第１のリサイズステップと、
上記低周波画像データを上記第１の補間方法とは異なる第２の補間方法を用いてリサイズする第２のリサイズステップと、
上記第１のリサイズステップによりリサイズした画像データと、上記第２のリサイズステップによりリサイズした画像データと、を合成する画像合成ステップと、
を有することを特徴とする画像処理方法。
【請求項８】
コンピュータに画像データを処理させるための画像処理プログラムであって、
コンピュータに、
画像データに対しハイパスフィルタを適用して高周波成分を抽出した高周波画像データと、上記画像データに対しローパスフィルタを適用して低周波成分を抽出した低周波画像データと、を生成するフィルタ処理ステップと、
上記高周波画像データを第１の補間方法を用いてリサイズする第１のリサイズステップと、
上記低周波画像データを上記第１の補間方法とは異なる第２の補間方法を用いてリサイズする第２のリサイズステップと、
上記第１のリサイズステップによりリサイズした画像データと、上記第２のリサイズステップによりリサイズした画像データと、を合成する画像合成ステップと、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高周波成分を含む画像データをリサイズする画像処理装置、画像処理方法、画像処理プログラムに関する。
【背景技術】
【０００２】
ノイズ成分は画質の低下を招く一因であるために、デジタル画像に重畳しているノイズ成分を様々な手法で低減することが広く行われている。
【０００３】
ところで、銀塩フィルムに露光を行って得られる銀塩写真においても、銀塩粒子を主要因とする粒状ノイズが発生し、デジタル画像と同様に、画質低下の一因となっている。ただし、粒状ノイズによる粒状感（ここに、「粒状感」という言葉を、ノイズ感やザラザラ感などを含む言葉として用いることにする）が、銀塩写真の表現として一定の価値をもっているという側面もある。
【０００４】
こうした背景の下に、デジタル画像に対しても銀塩写真と同様の銀塩粒子の視覚効果が得られるようにする技術が種々提案されている。こうした技術は、例えば、銀塩粒子による粒状感に似せた粒状パターン（この粒状パターンのみを観察したときにはノイズのように見えるために、以下では適宜「ノイズ」とも呼ぶ）をデジタル画像に重畳することにより、あるいは、入力画像とは異なる画素位置の画素値を出力画像の画素値に用いて砂画のような効果を得ることにより、行われる。
【０００５】
具体的に、例えば特開２０１１−１０９２７９号公報には、キー信号のレベルに応じて入力画像の参照画素を変更することにより、砂画のような効果を適用した画像を生成する技術が記載されている。
【０００６】
また、特開２０１０−２４６０６８号公報には、画像データに粒状パターンを付加することで、粒状感のある画像を生成する技術が記載されている。
【０００７】
ところで、デジタルカメラでは、記録や表示を行うために、画像データのサイズをリサイズする場合がある。しかし、上述したような粒状感のある画像データには、一般的に多くの高周波成分が含まれており、リサイズを行うと、リサイズ処理により（例えば、補間処理により、あるいは折り返し歪みを防ぐためのプレフィルタ等を作用させる処理等により）周波数成分が変化して、粒状感が損なわれることがある。
【０００８】
そこで、上述した特開２０１０−２４６０６８号公報には、撮影時に粒状感のある画像を生成する際に、リサイズ前ではなくリサイズ後に粒状パターンを付加することにより、記録サイズに依ることなく粒状感のある画像を生成する技術がさらに記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１１−１０９２７９号公報
【特許文献２】特開２０１０−２４６０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述したような従来の技術では、すでに粒状感が与えられた画像をリサイズする際の粒状感の損失については考慮がなされておらず、有効な技術が確立されていない。
【００１１】
本発明は上記事情に鑑みてなされたものであり、粒状感のある画像をリサイズしても、粒状感が損なわれることのない自然な印象の画像を得ることができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明の第１の態様による画像処理装置は、画像データを処理する画像処理装置であって、画像データに対しハイパスフィルタを適用して高周波成分を抽出した高周波画像データと、上記画像データに対しローパスフィルタを適用して低周波成分を抽出した低周波画像データと、を生成するフィルタ処理部と、上記高周波画像データを第１の補間方法を用いてリサイズする第１のリサイズ部と、上記低周波画像データを上記第１の補間方法とは異なる第２の補間方法を用いてリサイズする第２のリサイズ部と、上記第１のリサイズ部によりリサイズした画像データと、上記第２のリサイズ部によりリサイズした画像データと、を合成する画像合成部と、を具備している。
【００１３】
本発明の第２の態様による画像処理方法は、画像データを処理する画像処理方法であって、画像データに対しハイパスフィルタを適用して高周波成分を抽出した高周波画像データと、上記画像データに対しローパスフィルタを適用して低周波成分を抽出した低周波画像データと、を生成するフィルタ処理ステップと、上記高周波画像データを第１の補間方法を用いてリサイズする第１のリサイズステップと、上記低周波画像データを上記第１の補間方法とは異なる第２の補間方法を用いてリサイズする第２のリサイズステップと、上記第１のリサイズステップによりリサイズした画像データと、上記第２のリサイズステップによりリサイズした画像データと、を合成する画像合成ステップと、を有している。
【００１４】
本発明の第３の態様による画像処理プログラムは、コンピュータに画像データを処理させるための画像処理プログラムであって、コンピュータに、画像データに対しハイパスフィルタを適用して高周波成分を抽出した高周波画像データと、上記画像データに対しローパスフィルタを適用して低周波成分を抽出した低周波画像データと、を生成するフィルタ処理ステップと、上記高周波画像データを第１の補間方法を用いてリサイズする第１のリサイズステップと、上記低周波画像データを上記第１の補間方法とは異なる第２の補間方法を用いてリサイズする第２のリサイズステップと、上記第１のリサイズステップによりリサイズした画像データと、上記第２のリサイズステップによりリサイズした画像データと、を合成する画像合成ステップと、を実行させるためのプログラムである。
【発明の効果】
【００１５】
本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、粒状感のある画像をリサイズしても、粒状感が損なわれることのない自然な印象の画像を得ることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態１における画像処理装置が適用されたデジタルカメラの構成を示すブロック図。
【図２】上記実施形態１における画像リサイズ部の一構成例を示すブロック図。
【図３】上記実施形態１における画像リサイズ部の他の構成例を示すブロック図。
【図４】上記実施形態１のデジタルカメラにおけるメイン処理の流れを示すフローチャート。
【図５】上記実施形態１のデジタルカメラにおける画像処理の流れを示すフローチャート。
【図６】上記実施形態１のデジタルカメラにおけるリサイズ処理の流れを示すフローチャート。
【図７】上記実施形態１の画像リサイズ部において用いられる各フィルタの周波数特性の例を示す線図。
【図８】上記実施形態１のデジタルカメラにおける再生・編集処理の流れを示すフローチャート。
【図９】本発明の実施形態２のデジタルカメラにおけるリサイズ処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１８】
図１から図８は本発明の実施形態１を示したものであり、図１は画像処理装置が適用されたデジタルカメラの構成を示すブロック図である。
【００１９】
このデジタルカメラは、交換式レンズ１とカメラ本体２とを、インタフェース（Ｉ／Ｆ）３を介して通信可能に接続して構成されている。
【００２０】
交換式レンズ１は、例えばレンズマウントを介してカメラ本体２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１側に設けられた電気接点およびカメラ本体２側に設けられた電気接点）等によりインタフェース３が構成されている。こうして、交換式レンズ１は、インタフェース３を介してカメラ本体２と通信可能となっている。
【００２１】
交換式レンズ１は、レンズ５と、絞り６と、ドライバ７と、マイクロコンピュータ８と、フラッシュメモリ９と、を備えている。
【００２２】
レンズ５は、被写体の光学像をカメラ本体２の後述する撮像素子１２上に結像するための撮影光学系である。
【００２３】
絞り６は、レンズ５を通過する光束の通過範囲を制御する光学絞りである。
【００２４】
ドライバ７は、マイクロコンピュータ８からの指令に基づき、レンズ５を駆動してフォーカス位置の調整を行い、レンズ５が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ７は、マイクロコンピュータ８からの指令に基づき、絞り６を駆動して開口径を変化させる。この絞り６の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。
【００２５】
マイクロコンピュータ８は、いわゆるレンズ側コンピュータであり、ドライバ７、フラッシュメモリ９、およびインタフェース３と接続されている。そして、マイクロコンピュータ８は、インタフェース３を介して後述する本体側コンピュータであるマイクロコンピュータ３０と通信し、マイクロコンピュータ３０からの指令を受けて、フラッシュメモリ９に記憶されている情報の読込／書込を行い、ドライバ７を制御する。さらに、マイクロコンピュータ８は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ３０へ送信する。
【００２６】
フラッシュメモリ９は、マイクロコンピュータ８により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。
【００２７】
インタフェース３は、交換式レンズ１のマイクロコンピュータ８と、カメラ本体２のマイクロコンピュータ３０とを、双方向に通信可能に接続する。
【００２８】
次に、カメラ本体２は、シャッタ１１と、撮像素子１２と、アナログ処理部１３と、アナログ／デジタル変換部（Ａ／Ｄ変換部）１４と、バス１５と、ＡＦ処理部１６と、ＡＥ処理部１７と、画像処理部１８と、画像リサイズ部２１と、画像圧縮伸張部２２と、ＬＣＤドライバ２３と、ＬＣＤ２４と、メモリインタフェース（メモリＩ／Ｆ）２５と、記録媒体２６と、ＳＤＲＡＭ２７と、操作部２８と、フラッシュメモリ２９と、マイクロコンピュータ３０と、を備えている。
【００２９】
シャッタ１１は、レンズ５からの光束が撮像素子１２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカニカルシャッタとなっている。このシャッタ１１は、マイクロコンピュータ３０の指令により駆動されて、光束の撮像素子１２への到達時間、つまり撮像素子１２による被写体の露光時間を制御する。
【００３０】
撮像素子１２は、レンズ５および絞り６を介して結像された被写体の光学像を光電変換してアナログ画像信号を生成するものである。この撮像素子１２は、例えば、垂直方向および水平方向に配列された複数の画素の前面にベイヤー配列のカラーフィルタを配置した単板式の撮像素子として構成されている。
【００３１】
アナログ処理部１３は、撮像素子１２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
【００３２】
Ａ／Ｄ変換部１４は、アナログ処理部１３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。
【００３３】
バス１５は、デジタルカメラ内のある場所で発生した各種のデータや制御信号を、デジタルカメラ内の他の場所へ転送するための転送路である。本実施形態におけるバス１５は、Ａ／Ｄ変換部１４と、ＡＦ処理部１６と、ＡＥ処理部１７と、画像処理部１８と、画像リサイズ部２１と、画像圧縮伸張部２２と、ＬＣＤドライバ２３と、メモリＩ／Ｆ２５と、ＳＤＲＡＭ２７と、マイクロコンピュータ３０と、に接続されている。
【００３４】
Ａ／Ｄ変換部１４から出力された画像データ（以下では適宜、ＲＡＷ画像データという）は、バス１５を介して転送され、ＳＤＲＡＭ２７に一旦記憶される。
【００３５】
ＡＦ処理部１６は、ＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ５のＡＦ駆動に用いられる。
【００３６】
ＡＥ処理部１７は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り６の制御やシャッタ１１の制御、撮像素子１２の露光タイミング制御等に用いられる。なお、被写体輝度を算出するためのデータとして、ここではＲＡＷ画像データを利用したが、これに代えて、デジタルカメラに専用の測光センサを設けて得られたデータを利用するようにしても構わない。
【００３７】
画像処理部１８は、ＲＡＷ画像データに対して種々の画像処理を行うものであり、基本画像処理部１９と、特殊画像処理部２０と、を備えている。
【００３８】
基本画像処理部１９は、ＲＡＷ画像データに対して基本的な画像処理を行うものである。この基本画像処理部１９が行う画像処理としては、例えば、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）処理、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズリダクション処理などが挙げられる。この基本画像処理部１９によって各処理が行われた後の画像データは、ＳＤＲＡＭ２７に再び記憶される。
【００３９】
また、特殊画像処理部２０は、上述した基本的な画像処理に該当しない画像処理、例えば画像の加工に関する処理を行うものである。本実施形態における特殊画像処理部２０は、具体的に、ノイズ重畳処理を含む処理を行うものとなっている。ここに、ノイズ重畳処理は、基本画像処理後の画像データ（あるいは、基本画像処理後の画像データにさらに画像リサイズ部２１によりリサイズ処理を行った画像データ）と、銀塩粒子の粒状感に類似する粒状パターンの画像データとを加算して出力する処理である。なお、画像への粒状感の付与は、粒状パターンの加算に限定されるものではなく、例えば上述した特開２０１１−１０９２７９号公報に記載されているような入力画像と出力画像とで画素位置を異ならせることにより砂画のような効果を与える技術などを利用しても構わない。この特殊画像処理部２０によって粒状パターンが重畳された画像データは、ＳＤＲＡＭ２７に記憶される。
【００４０】
画像リサイズ部２１は、ＳＤＲＡＭ２７に記憶されている画像データのサイズを、指定されたサイズにリサイズ（縮小または拡大）する処理を行う。画像リサイズ部２１は、画像データを縮小する場合には、折り返し歪みが生じないようにローパスフィルタ等を用いて高周波成分を低減させてから、画像の画素数を減少させる処理を行う。この画像リサイズ部２１の構成については、後で図２、図３を参照してより詳細に説明する。
【００４１】
画像圧縮伸張部２２は、画像データを記録する際には、ＳＤＲＡＭ２７から画像データを読み出して、読み出した画像データを例えば静止画の場合にはＪＰＥＧ圧縮方式、動画の場合にはＪＰＥＧ圧縮方式またはＨ．２６４圧縮方式等の圧縮方式に従って圧縮し、圧縮した画像データをＳＤＲＡＭ２７に一旦記憶させる。こうしてＳＤＲＡＭ２７に記憶された圧縮した画像データは、マイクロコンピュータ３０により、ファイルを構成するために必要なヘッダが付加されて記録用のデータとして整えられる。そして、マイクロコンピュータ３０の制御に基づき、整えられた記録用のデータが、メモリＩ／Ｆ２５を介して記録媒体２６に記録される。
【００４２】
また、画像圧縮伸張部２２は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ３０の制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ２５を介して記録媒体２６から読み出され、ＳＤＲＡＭ２７に一旦記憶される。画像圧縮伸張部２２は、ＳＤＲＡＭ２７に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ２７に記憶させる。
【００４３】
ＬＣＤドライバ２３は、ＳＤＲＡＭ２７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＬＣＤ２４を駆動制御して映像信号に基づく画像をＬＣＤ２４に表示させる。このＬＣＤドライバ２３により行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体２６に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示等における動画表示などが含まれる。
【００４４】
ＬＣＤ２４は、上述したようなＬＣＤドライバ２３の駆動制御により、画像を表示すると共に、このデジタルカメラに係る各種の情報を表示する。
【００４５】
メモリＩ／Ｆ２５は、上述したように、画像データの記録媒体２６への書き込み、および記録媒体２６からの画像データの読み出しを行う。
【００４６】
記録媒体２６は、画像データを不揮発に記憶するものであり、例えばカメラ本体２に着脱可能なメモリカード等により構成されている。ただし、記録媒体２６は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。こうして記録媒体２６は、デジタルカメラに固有の構成である必要はない。
【００４７】
ＳＤＲＡＭ２７は、上述したＲＡＷ画像データ、あるいは画像処理部１８、画像圧縮伸張部２２、画像リサイズ部２１等において処理された画像データ等の各種データを一時的に記憶する記憶部である。
【００４８】
操作部２８は、このデジタルカメラに対する各種の操作入力を行うためのものであり、デジタルカメラの電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、デジタルカメラの設定等を行うためのメニューボタン、動画撮影を行うための動画ボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。この操作部２８に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ３０へ出力される。
【００４９】
フラッシュメモリ２９は、マイクロコンピュータ３０により実行される処理プログラムや、このデジタルカメラに係る各種の情報を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ２９が記憶する情報としては、例えば、ホワイトバランスモードに応じたホワイトバランスゲイン、ローパスフィルタ係数等のデジタルカメラの動作に必要な各種パラメータ、銀塩粒子による粒状感に似せた粒状パターンの画像データ、およびデジタルカメラを特定するための製造番号などが幾つかの例として挙げられる。このフラッシュメモリ２９が記憶する情報は、マイクロコンピュータ３０により読み取られる。
【００５０】
マイクロコンピュータ３０は、カメラ本体２内の各部を制御すると共に、インタフェース３を介してマイクロコンピュータ８に指令を送信し交換式レンズ１を制御するものであり、このデジタルカメラを統括的に制御する制御部である。マイクロコンピュータ３０は、ユーザにより操作部２８から操作入力が行われると、フラッシュメモリ２９に記憶されている処理プログラムに従って、フラッシュメモリ２９から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。
【００５１】
次に図２は、画像リサイズ部２１の一構成例を示すブロック図である。
【００５２】
画像リサイズ部２１は、判定部２１ａと、ハイパスフィルタ（ＨＰＦ）２１ｂと、ローパスフィルタ（ＬＰＦ）２１ｃと、第１リサイズ部２１ｄと、第２リサイズ部２１ｅと、第３リサイズ部２１ｆと、合成部２１ｇと、輝度調整部２１ｈと、を備えている。
【００５３】
判定部２１ａは、ＳＤＲＡＭ２７から画像リサイズ部２１へ読み込まれる処理対象の画像データに対して、高周波成分の値が所定の閾値以上であるか否かを判定し、その判定結果に基づき、通常リサイズ処理のみを実行する（この場合の出力の流れを図２において点線で示している）か、あるいは高周波成分（高周波画像データ）と低周波成分（低周波画像データ）とに分離してそれぞれにリサイズ処理を実行する（この場合の出力の流れを図２において実線で示している）かを判定するものである。
【００５４】
高周波成分の値が所定の閾値以上であって、高周波成分と低周波成分とに分離してリサイズ処理を実行する場合には、画像データは、判定部２１ａからハイパスフィルタ２１ｂおよびローパスフィルタ２１ｃへ出力される。
【００５５】
ハイパスフィルタ２１ｂは、入力された画像データ中の高周波成分を通過させるフィルタ処理部である。このハイパスフィルタ２１ｂの周波数特性は、例えば図７の実線に示すようになっている。ここに図７は、画像リサイズ部２１において用いられる各フィルタの周波数特性の例を示す線図である。この図７については、後でさらに説明を行う。
【００５６】
ローパスフィルタ２１ｃは、入力された画像データ中の低周波成分を通過させるフィルタ処理部である。このローパスフィルタ２１ｃの周波数特性は、例えば図７の点線に示すようになっている。
【００５７】
ハイパスフィルタ２１ｂにより抽出された高周波成分は、第１リサイズ部２１ｄに入力され、高周波成分を保存する補間法（第１の補間方法）を用いて目的とするサイズにリサイズされる。本実施形態において第１リサイズ部２１ｄにより行われる補間法は、例えばニアレストネイバー補間法であるものとする。このニアレストネイバー補間法の場合には、入力画像と出力画像とで周波数特性が基本的に変化しないために、図７には周波数特性を記載していない。
【００５８】
ローパスフィルタ２１ｃにより抽出された低周波成分は、第２リサイズ部２１ｅに入力され、第１リサイズ部２１ｄの補間法に比して高周波成分は幾らか減衰するもののエッジのジャギー等を滑らかにすることができるような補間法（第１の補間方法とは異なる第２の補間方法）を用いて、目的とするサイズにリサイズされる。本実施形態において第２リサイズ部２１ｅにより行われる補間法は、例えばバイリニア補間法であるものとする。垂直方向および水平方向に１／２に縮小するバイリニア補間法を適用した場合の垂直方向または水平方向の周波数特性は、例えば図７の一点鎖線に示すようになっている。そして、第１リサイズ部２１ｄによるリサイズ後の画像サイズは、第２リサイズ部２１ｅによるリサイズ後の画像サイズと、採用する補間方法に応じて違いが生じ得る垂直方向数画素、水平方向数画素程度の誤差を除いて、基本的に同一サイズである（もちろん、完全に同一サイズとなり得るのであれば、その方が好ましい）。
【００５９】
第１リサイズ部２１ｄから出力されるリサイズ後の高周波画像、および第２リサイズ部２１ｅから出力されるリサイズ後の低周波画像は、画像合成部である合成部２１ｇに入力され、画像合成される。合成部２１ｇにおける画像合成は、例えば、本実施形態においては単純加算であるものとする（ただし、これに限定されるものではない）。
【００６０】
合成部２１ｇにより合成されたリサイズ画像は、輝度調整部２１ｈにより輝度調整される。すなわち、ハイパスフィルタ２１ｂやローパスフィルタ２１ｃが理想的なフィルタでない場合には、合成部２１ｇにより合成された画像の輝度が、判定部２１ａから出力される画像の輝度とは変化している場合がある。そこで輝度調整部２１ｈは、フィルタ処理を行う前の画像とフィルタ処理を行った後の画像の輝度特性が同一になるように輝度を調整するものである。
【００６１】
一方、高周波成分の値が所定の閾値未満であって通常リサイズ処理のみを実行する場合には、画像データは、判定部２１ａから第３リサイズ部２１ｆへ出力される。第３リサイズ部２１ｆは、元画像情報の損失をなるべく少なくする補間方法を用いて、目的とするサイズにリサイズする。本実施形態において第３リサイズ部２１ｆにより行われる補間法（第３の補間方法）は、例えばバイキュービック補間法であるものとする。垂直方向および水平方向に１／２に縮小するバイキュービック補間法を適用した場合の垂直方向または水平方向の周波数特性は、例えば図７の二点鎖線に示すようになっている。従って、図２に示す例においては、第３の補間方法は、第１の補間方法および第２の補間方法とは異なる補間方法となっている。
なお、第２リサイズ部２１ｅと第３リサイズ部２１ｆは、リサイズにより生じる折り返し歪みを防ぐために、ローパスフィルタを含んでも良い。また、このローパスフィルタは、ローパスフィルタ２１ｃの係数を変更することで兼用するようにしても良い。
【００６２】
また図３は、画像リサイズ部２１の他の構成例を示すブロック図である。
【００６３】
この図３に示す画像リサイズ部２１は、図２に示した第３リサイズ部２１ｆの代用として第２リサイズ部２１ｅを利用することにより第３リサイズ部２１ｆを省略し、構成の簡略化を図ったものとなっている。
【００６４】
すなわち、図３に示す画像リサイズ部２１は、高周波成分と低周波成分とに分離してリサイズ処理を実行する場合（この場合の出力の流れを図３においても実線で示している）には図２と構成および作用が同様であるが、通常リサイズ処理のみを実行する場合（この場合の出力の流れを図３においても点線で示している）には、画像データを、判定部２１ａから第２リサイズ部２１ｅへ出力して処理し、処理後の画像を画像リサイズ部２１から出力するようになっている。
【００６５】
つまり、この図３に示す例においては、第３の補間方法を第２の補間方法と同一として、第２リサイズ部２１ｅに第３リサイズ部２１ｆを兼用させるようにしたものとなっている。従って、図３に示す第２リサイズ部２１ｅが行う補間法は、例えば、上述したようなバイリニア補間法であっても良いが、あるいはバイキュービック補間法としても構わない。
【００６６】
次に、図４はデジタルカメラにおけるメイン処理の流れを示すフローチャートである。この図４に示す処理は、マイクロコンピュータ３０の制御に基づき行われる。
【００６７】
操作部２８の電源ボタンがオン操作されてデジタルカメラの電源がオンになると、このメイン処理が開始され、まずデジタルカメラの初期化を行う（ステップＳ１）。この初期化において、動画記録中であるか否かを示す記録中フラグもオフにリセットされる。
【００６８】
次に、マイクロコンピュータ３０は、操作部２８の再生ボタンが操作されたか否かを判定する（ステップＳ２）。
【００６９】
ここで再生ボタンが操作された場合には、再生・編集処理を行う（ステップＳ３）。この再生・編集処理は、記録媒体２６に記録されているファイルの一覧を表示して、ユーザーからの選択操作を待ち、選択決定されたファイルを再生したり、選択されている画像を編集したりする処理であるが、詳細については後で図８を参照して説明する。
【００７０】
ステップＳ２において再生ボタンが操作されていないか、あるいはステップＳ３の処理が行われた場合には、操作部２８のメニューボタンが操作されて、デジタルカメラに関するカメラ設定が選択されたか否かを判定する（ステップＳ４）。
【００７１】
ここでカメラ設定が選択された場合には、カメラ設定を変更するメニューをＬＣＤ２４に表示して、カメラ設定を変更するユーザ操作が操作部２８からなされるのを待機する。ここに、カメラ設定の幾つかの例としては、
仕上がり：ナチュラル、ビビッド、フラット、モノトーン
エフェクト：ノイズ重畳のオン／オフ
静止画記録モード：ＪＰＥＧ記録、ＴＩＦＦ記録、
ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録
動画記録モード：Ｍｏｔｉｏｎ  ＪＰＥＧ、Ｈ．２６４
画質：ファイン、ノーマル
などが挙げられるが、これらに限るものではない。
【００７２】
そして、ユーザ操作がなされた場合には、操作内容に応じてカメラ設定を行う（ステップＳ５）。
【００７３】
ステップＳ４においてカメラ設定が選択されていないか、あるいはステップＳ５の処理が行われた場合には、操作部２８の動画ボタンが操作されたか否かを判定する（ステップＳ６）。
【００７４】
ここで、動画ボタンが操作された場合には、まず、記録中フラグを反転（つまり、オンであればオフに、オフであればオンに）して（ステップＳ７）、記録中フラグがオンであるかオフであるかに基づき、動画記録中であるか否かを判定する（ステップＳ８）。
【００７５】
ここで動画記録中である場合には記録開始されたことになるために動画像ファイルを生成し、画像データを記録できるように準備する（ステップＳ９）。
【００７６】
また、動画記録中でない場合には、記録終了することになるために、動画像ファイルのヘッダにフレーム数を記録する等を行って動画像ファイルとして再生可能な状態にし、ファイル書き込みを終了して動画像ファイルを閉じる（ステップＳ１０）。このとき、後で説明する図５の画像処理においてノイズ重畳が行われている場合には、ノイズが重畳された旨の情報を動画像ファイルのヘッダ等に記録する処理も行うようになっている。
【００７７】
ステップＳ６において動画ボタンが操作されていないか、あるいはステップＳ９またはステップＳ１０の処理が行われた場合には、ステップＳ８と同様に記録中フラグに基づき動画記録中であるか否かを判定する（ステップＳ１１）。
【００７８】
ここで動画記録中でない場合には、レリーズボタンがオフから１段階目の押圧状態（いわゆる半押状態）である１ｓｔレリーズオンの状態へ遷移したか否かを判定する（ステップＳ１２）。
【００７９】
ここで１ｓｔレリーズオンの状態へ遷移した場合には、この遷移したタイミングにおいて、静止画像を撮影するための自動露出（ＡＥ）制御をＡＥ処理部１７により行うと共に、自動焦点制御（ＡＦ）をＡＦ処理部１６により行う（ステップＳ１３）。これにより、１ｓｔレリーズボタンが押圧された以降は、いわゆるＡＥロックおよびＡＦロックが行われる。
【００８０】
一方、ステップＳ１２において１ｓｔレリーズオンの状態へ遷移していない場合には、レリーズボタンが２段階目の押圧状態である２ｎｄレリーズオンの状態（いわゆる全押状態）となっているか否かを判定する（ステップＳ１４）。
【００８１】
ここで２ｎｄレリーズオンの状態となっている場合には、絞り６を駆動しシャッタ１１を開いて撮像素子１２により露光する、一連の撮影処理を実行する（ステップＳ１５）。
【００８２】
続いて、撮影により得られた画像に対して、後で図５を参照して説明するような画像処理を行う（ステップＳ１６）。
【００８３】
その後、画像処理された静止画像を、カメラ設定されている型式で静止画像ファイルとして記録媒体２６に記録する（ステップＳ１７）。具体例を挙げれば、静止画記録モードとしてＪＰＥＧ記録が設定されている場合には、ＹＣ４２２形式でＪＰＥＧ圧縮してＪＰＥＧファイルを作成し記録を行う。また、静止画記録モードとしてＴＩＦＦ記録が設定されている場合には、ＲＧＢデータに変換してＲＧＢ形式でＴＩＦＦファイルを作成し記録を行う。このとき、後で説明する図５の画像処理においてノイズ重畳が行われている場合には、ノイズが重畳された旨の情報を静止画像ファイルのヘッダ等に記録する処理も行うようになっている。
【００８４】
また、ステップＳ１４において２ｎｄレリーズオンの状態となっていない場合には、シャッタ１１を開放状態にして、動画撮影またはライブビュー用の自動露出（ＡＥ）制御をＡＥ処理部１７により行い（ステップＳ１８）、電子シャッタによる１フレーム（あるいは１フィールド等）の画像撮影を行う（ステップＳ１９）。
【００８５】
こうして撮影された画像に対して、後で図５を参照して説明するような画像処理を行い（ステップＳ２０）、ＬＣＤ２４にライブビュー表示を行う（ステップＳ２１）。
【００８６】
次に、動画記録中であるか否かを判定して（ステップＳ２２）、動画記録中である場合には記録媒体２６へ撮影して得られたフレーム画像を画像圧縮伸張部２２で圧縮して記録（追記）を行う（ステップＳ２３）。
【００８７】
ステップＳ１３、ステップＳ１７、あるいはステップＳ２３の処理を行うか、またはステップＳ２２において動画記録中でない場合には、電源ボタンがオフ操作されたか否かを判定する（ステップＳ２４）。
【００８８】
ここで、電源ボタンがオフ操作されていない場合には、ステップＳ２へ戻って上述したような処理を繰り返して行い、電源ボタンがオフ操作された場合には、このメイン処理を終了する。
【００８９】
次に図５は、デジタルカメラにおける画像処理の流れを示すフローチャートである。
【００９０】
この処理に入ると、ＯＢ減算処理を行い、画像データからオプティカルブラック値を減算する（ステップＳ３１）。
【００９１】
続いて、例えばベイヤー配列となっている画像データに対して、予めユーザーが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ２９から読み出して、読み出したＲゲインをＲ画素値に、ＢゲインをＢ画素値にそれぞれ乗算することによりホワイトバランス（ＷＢ）補正を行う（ステップＳ３２）。なお、ホワイトバランスモードとしてオートホワイトバランスが選択されている場合には、撮影した画像データを解析することによりＲゲインとＢゲインを算出し、算出したＲゲインとＢゲインを用いてホワイトバランス補正を行う。
【００９２】
そして、１画素につきＲＧＢ成分の内の１色成分のみが存在するベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補間して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換する同時化処理を行う（ステップＳ３３）。
【００９３】
さらに、設定されているホワイトバランスモードに応じたカラーマトリクス係数を本体のフラッシュメモリ２９から読み出して画像データに乗算すると共に、色相や彩度に応じて適切な色再現になるように色を補正することにより、色再現処理を行う（ステップＳ３４）。
【００９４】
次に、ＲＧＢ信号をそれぞれガンマ変換して、ＹＣｂＣｒ信号に色変換した後に、輝度信号Ｙに対してさらにガンマ変換することにより、輝度変更処理を行う（ステップＳ３５）。
【００９５】
続いて、バンドパスフィルタにより画像データからエッジ成分を抽出して、抽出したエッジ成分に、エッジ強調度に応じた係数を乗算して画像データに加算することにより、エッジ強調処理を行う（ステップＳ３６）。
【００９６】
加えて、画像データを周波数分解して、周波数に応じてコアリング処理などを行うことにより、ノイズを低減するノイズリダクション処理を行う（ステップＳ３７）。
【００９７】
そして、画像データを記録として用いるのか表示として用いるのかに応じて、画像データを、記録用のサイズまたは表示用のサイズにリサイズする通常リサイズ処理を画像リサイズ部２１により行う（ステップＳ３８）。この図５に示す画像処理は、撮影して得られた画像に対する処理であり、このステップＳ３８の処理を行う段階では画像データにはノイズがまだ重畳されていない（下記に説明するステップＳ４０において行われるため）。従って、このステップＳ３８においては、通常リサイズ処理を行い、ノイズが重畳された画像データに対するリサイズ処理（図６参照）は行っていない。ただし、通常リサイズ処理に代えて図６に示すリサイズ処理をこのステップＳ３８において行うようにしても構わない。
【００９８】
その後、エフェクトの設定が、ノイズ重畳オンに設定されているか否かを判定する（ステップＳ３９）。
【００９９】
ここで、ノイズ重畳オンに設定されている場合には、画像データに粒状性を与えるノイズを重畳するノイズ重畳処理を、特殊画像処理部２０により行う（ステップＳ４０）。ここに、重畳するノイズは、乱数を用いて生成するようにしても良いし、あるいは予めノイズパターンをフラッシュメモリ２９に記録しておいて、使用時にフラッシュメモリ２９から読み出すようにしても良い。また、重畳方法は、ノイズパターンを画像データに加算する方法を採用しても良いし、ノイズパターンを画像データに乗算する方法を採用しても構わないし、例えば特開２０１０−６２８３６号公報に記載されているような粒状パターンを輝度信号と色差信号とに分けてそれぞれのゲインを調整してから加算する等の方法を利用しても良いし、これらに限らず適宜の方法を用いることが可能である。また、ここでノイズ重畳処理を行った場合には、上述したように、画像ファイル（動画像ファイルまたは静止画像ファイル）のヘッダ等に、ノイズが重畳された旨の情報が記録されることになる。
【０１００】
このステップＳ４０の処理を行うか、あるいはステップＳ３９においてノイズ重畳オンに設定されていない場合には、この処理からメイン処理にリターンする。
【０１０１】
続いて図６は、デジタルカメラにおけるリサイズ処理の流れを示すフローチャートである。
【０１０２】
この処理に入ると、画像ファイルのヘッダ情報を取得して、ヘッダ情報に記録されている情報を解析して、ノイズが重畳された旨の情報が記録されているかどうかをマイクロコンピュータ３０が確認する（ステップＳ５１）。ただし、この図６に示す処理を行おうとしている画像データが、既に記録媒体２６に画像ファイルとして記録されている画像データでない場合には、ヘッダ情報自体が存在しないために、このステップＳ５１の処理はスキップすることになる。
【０１０３】
そして、ノイズが重畳された旨の情報が記録されているか否かに基づき、画像リサイズ部２１の判定部２１ａが、画像の高周波成分が所定の閾値以上であるか否かを判定する（ステップＳ５２）。
【０１０４】
ここで、ノイズが重畳された旨の情報が記録されている場合には、判定部２１ａは画像の高周波成分が所定の閾値以上であると判定して、判定部２１ａ以降の各処理を図２または図３の実線で示す流れに沿って実行する。
【０１０５】
すなわち、画像データがハイパスフィルタ２１ｂに入力されて高周波帯域が通過され（ステップＳ５３）、画像データがローパスフィルタ２１ｃに入力されて低周波帯域が通過される（ステップＳ５４）。
【０１０６】
ハイパスフィルタ２１ｂから出力された画像データは、第１リサイズ部２１ｄにより例えばニアレストネイバー補間法を用いてリサイズされ、ローパスフィルタ２１ｃから出力された画像データは、第２リサイズ部２１ｅにより例えばバイリニア補間法を用いてリサイズされる（ステップＳ５５）。
【０１０７】
続いて、合成部２１ｇにより、第１リサイズ部２１ｄによりリサイズされた画像データと、第２リサイズ部２１ｅによりリサイズされた画像データとが、例えば加算等を行うことにより合成される（ステップＳ５６）。
【０１０８】
さらに、輝度調整部２１ｈにより、局所的な輝度（例えば３×３画素の平均輝度）が、判定部２１ａから出力される時点の元の画像の局所的な輝度とほぼ同一レベルになるように輝度調整される（ステップＳ５７）。
【０１０９】
一方、ステップＳ５２において、ノイズが重畳された旨の情報が記録されていない場合には、判定部２１ａは画像の高周波成分が所定の閾値以上でないと判定して、判定部２１ａ以降の各処理を図２または図３の点線で示す流れに沿って実行する。なお、まだファイル化されていない画像データを処理する場合には、上述したようにヘッダ自体が存在していないために、ステップＳ５２において、高周波成分が所定の閾値以上でないと常に判定されることになる。
【０１１０】
そして、図２に示す構成の場合には、第３リサイズ部２１ｄにおいて例えばバイキュービック補間法により画像データが通常リサイズ処理され、図３に示す構成の場合には、第２リサイズ部２１ｅにおいて例えばバイリニア補間法により画像データが通常リサイズ処理される（ステップＳ５８）。
【０１１１】
こうして、ステップＳ５７またはステップＳ５８の処理を行ったら、この処理からリターンする。
【０１１２】
次に、上述した図７についてさらに説明する。この図７は、画像リサイズ部２１において行われる各処理を画像に加えたときの応答特性を示している。
【０１１３】
図７において、縦軸は応答を示し、横軸はナイキスト周波数を示している。
【０１１４】
横軸における数値０．５は、サンプリング周波数の半分に対応している。すなわち、画像上においてもっとも細かな周波数成分がナイキスト周波数０．５の部分に対応する。
【０１１５】
また、縦軸における数値１．０は増減がないことを、１．０未満の数値は減衰することを、１．０より大きい数値は増幅されることを、それぞれ示している。
【０１１６】
実線で示す曲線は、次の３×３画素でなるハイパスフィルタ
０    −１      ０
−１      ４    −１
０    −１      ０
を適用したときの、水平方向または垂直方向の周波数応答を示している。
【０１１７】
次に、点線で示す曲線は、次の３×３画素でなるローパスフィルタ
０      １      ０
１      ４      １
０      １      ０
を適用したときの、水平方向または垂直方向の周波数応答を示している。
【０１１８】
さらに、一点鎖線で示す曲線は、１／２縮小する場合において、バイリニア補間法により画素と画素の中間の値をリサイズ後の画素の値にした場合の、元の画像における周波数応答を示している。この応答特性は、補間する位置により変化する。
【０１１９】
そして、二点鎖線で示す曲線は、１／２縮小する場合において、バイキュービック補間法により画素と画素の中間の値をリサイズ後の画素の値にした場合の、元の画像における周波数応答を示している。この応答特性も、補間する位置により変化する。
【０１２０】
上記にフィルタ係数を例示したローパスフィルタとハイパスフィルタは、図７に示すような特性であるために、画像データを低周波成分と高周波成分とに概ね分離できていることがわかる。このように分離することができるのであれば、上述したフィルタ係数を用いるに限らず他のフィルタ係数を用いても構わないが、高周波成分に含まれるデータの主成分が重畳したノイズ成分であることを考慮すると、図７に示したような特性のフィルタでも十分に分離することができていると考えられる。
【０１２１】
また、バイリニア補間法またはバイキュービック補間法で１／２にリサイズした場合の応答特性曲線を見ると、高周波成分が著しく低下していることがわかる。特にバイリニア補間法は、周波数が高くなるにつれて応答が単調減少している特性となっており、低周波成分はリサイズ後も残るが、高周波成分は０応答に漸近するようにほぼ一定割合で減少している。
【０１２２】
ニアレストネイバー補間法の応答特性は図７に示していないが、画像データの再サンプリングに該当する処理となるために、折り返し歪みを除けば周波数特性は基本的に変化しないと考えられる。
【０１２３】
本実施形態においては、高周波成分をニアレストネイバー補間法により補間しているが、高周波成分は元々、ランダムなノイズ成分が主成分であるために、折り返し歪みなどは無視することができる。このために、ハイパスフィルタで分離したデータをニアレストネイバー補間法で補間しても、画質的な影響はほとんど生じないと考えられる。
【０１２４】
一方、本実施形態においては、低周波成分をバイリニア補間法またはバイキュービック補間法により補間している。これにより急激な階調変化であっても補間によりある程度鈍る（変化が幾らか緩やかになる）ことになる。このために、全体的な階調はリサイズ後も維持される。
【０１２５】
そして、各リサイズ後のこのような２つの特性のデータを合成しているために、局所的にはノイズ成分が十分に残る一方で、大域的にはなめらかな階調が維持されたリサイズを行うことが可能となる。
【０１２６】
続いて図８は、デジタルカメラにおける再生・編集処理の流れを示すフローチャートである。
【０１２７】
この処理に入るとまず、記録媒体２６に記録されている画像ファイルのサムネールを一覧表示する（ステップＳ６１）。
【０１２８】
次に、この一覧表示状態において操作部２８の再生ボタンが押されたか否かに基づき、再生を終了するか否かを判定する（ステップＳ６２）。
【０１２９】
ここでまだ再生を終了しない場合には、操作部２８における、十字キー等の項目を選択する操作ボタンと、ＯＫボタン等の選択されている項目を確定する操作ボタンと、の操作により、画像が選択されるのを待つ（ステップＳ６３）。
【０１３０】
そして、選択された画像が動画像であるか否かを判定して（ステップＳ６４）、動画像である場合には、動画像のフレーム数をまず読み込む（ステップＳ６５）。
【０１３１】
続いて、再生フレームを計数するためのカウンタｉを１に初期化して（ステップＳ６６）、動画像のｉフレーム目を再生してＬＣＤ２４に表示する（ステップＳ６７）。
【０１３２】
その後、カウンタｉをインクリメントして（ステップＳ６８）、カウンタｉの値がステップＳ６５において読み込んだフレーム数以下であるか否かを判定する（ステップＳ６９）。
【０１３３】
ここでカウンタｉの値がフレーム数以下である場合にはステップＳ６７へ戻って次のフレームの再生・表示を行い、カウンタｉの値がフレーム数よりも大きい場合にはステップＳ６１へ戻って上述したような処理を行う。
【０１３４】
また、ステップＳ６４において選択された画像が動画像でない場合には、選択された静止画像を記録媒体２６から読み込んで（ステップＳ７０）、画像処理部１８により表示用の処理を行い、ＬＣＤ２４に表示する（ステップＳ７１）。
【０１３５】
そして、メニューなどから編集が選択されたか否かを判定する（ステップＳ７２）。
【０１３６】
ここで編集操作がなされた場合には、選択された画像がＲＡＷ画像であるか否かをさらに判定し（ステップＳ７３）、ＲＡＷ画像である場合には、現在設定されている設定値に基づいた画像処理（図５参照）をＲＡＷ画像に対して行う（ステップＳ７４）。
【０１３７】
また、ステップＳ７３においてＲＡＷ画像でないと判定された場合には、リサイズ後のサイズをメニュー表示して選択を待ち、選択されたサイズとなるように図６に示したリサイズ処理を行う（ステップＳ７５）。
【０１３８】
そして、ステップＳ７４において処理された静止画像データ、またはステップＳ７５においてリサイズされた静止画像データを、ファイルとして記録媒体２６に記録する（ステップＳ７６）。なお、この記録時に、記録対象の画像データがステップＳ７４の処理によりノイズが重畳された画像データとなった場合には、ファイルのヘッダにノイズが重畳された旨の情報を記録することになる。さらに、ステップＳ７５によるリサイズを行う前の静止画像データがノイズが重畳された画像データである場合には、ステップＳ７６においてリサイズ後の画像を記録する際にもファイルのヘッダにノイズが重畳された旨の情報を記録することは勿論である。
【０１３９】
このステップＳ７６の処理が終了するか、またはステップＳ７２において編集操作がなされていないと判定された場合には、静止画像が表示されている状態でメニューボタンが押されたか否かに基づき、表示を終了するか否かを判定する（ステップＳ７７）。
【０１４０】
ここで、メニューボタンが押されておらず、表示を終了しない場合には、ステップＳ７２へ戻って上述したような処理を繰り返して行う。
【０１４１】
一方、ステップＳ７７においてメニューボタンが押されており、表示を終了すると判定された場合には、ステップＳ６１へ戻って上述したような処理を行う。
【０１４２】
こうして、ステップＳ６２において再生ボタンが押されたと判定された場合には、この再生・編集処理からリターンする。
【０１４３】
なお、この図８においては簡単のために、編集時にＲＡＷ画像でない場合に、リサイズ処理のみを実施する例について説明しているが、勿論その他の処理を行うようにしても構わない。
【０１４４】
また、リサイズ処理が実行されるのは、単一画像をリサイズする場合だけではない。例えば、複数の画像を選択することができるようにして、選択された複数の画像をそれぞれの目標サイズにリサイズし、さらにリサイズ後の各画像データを組み合わせて１枚の組写真として構成し、構成された１枚の組写真を１つの画像ファイルとして記録媒体２６に記録するといった場合なども考えられる。
【０１４５】
このような実施形態１によれば、高周波成分が所定の閾値以上である画像の場合には、画像データを高周波成分と低周波成分とに分離してそれぞれ異なる補間方法を用いてリサイズし、リサイズ後の各画像を合成するようにしたために、画像の空間周波数毎に適したリサイズを行うことが可能となる。
【０１４６】
このとき、第１の補間方法として、第２の補間方法よりも画像データの高周波成分をより多く残す補間方法を採用したために、リサイズ前の画像が粒状感を生じさせるノイズを含むものである場合に、そのノイズを良好に維持したままリサイズすることが可能となる。
【０１４７】
また、高周波成分が所定の閾値以上となる画像であるか否かを、ヘッダに記録されている情報に基づき判定しているために、確実な判定を容易に行うことが可能となる。
【０１４８】
さらに、高周波成分の値が所定の閾値未満である場合には、画像データを第３のリサイズ部によりリサイズするようにしたために、ノイズが重畳されていない画像データに対しては、従来と同様の処理を行うことができる。
【０１４９】
そして、第２リサイズ部２１ｅに第３リサイズ部２１ｆを兼用させた場合には、構成が簡単になり、処理回路の規模を縮小して低コスト化を図ることができる。
【０１５０】
加えて、第１リサイズ部２１ｄによりリサイズした画像データと、第２リサイズ部２１ｅによりリサイズした画像データとを、基本的に同一サイズの画像データとしたために、合成部２１ｇによる合成処理を、加算等の簡単な演算により行うことが可能となる。
【０１５１】
こうして、粒状感のある画像をリサイズしても、粒状感が損なわれることのない自然な印象の画像を得ることができる。
［実施形態２］
【０１５２】
図９は本発明の実施形態２を示したものであり、デジタルカメラにおけるリサイズ処理の流れを示すフローチャートである。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１５３】
上述した実施形態１はヘッダ情報に基づきノイズの有無を判定したが、本実施形態は画像データの周波数成分を解析することによりノイズの有無を判定するものとなっている。
【０１５４】
すなわち、図９に示す処理を開始すると、まず画像データを周波数変換する（ステップＳ８１）。この周波数変換としては、例えば、ＤＦＴ（離散フーリエ変換）やＤＣＴ（離散コサイン変換）などを利用することができる。リサイズの対象となる画像データが例えばＪＰＥＧデータである場合には、ＪＰＥＧ圧縮処理を行う途中の段階で既にＤＣＴ変換を行っている。このために、ＪＰＥＧ画像データからハフマン符号のデコードと逆量子化とを行えば、周波数変換した結果を容易に得ることができる。
【０１５５】
次に、周波数変換した画像データに基づき、高周波成分の値を抽出する（ステップＳ８２）。なお、周波数変換が画素ブロック単位で行われている（例えばＪＰＥＧ圧縮の場合には、８×８画素のブロック単位毎に処理されている）場合には、全てのブロックにおける高周波成分の平均値などを算出して、後段の判定を行えば良い。
【０１５６】
そして、ステップＳ５２において、抽出した高周波成分が所定の閾値以上であるか否かを判定する以降の処理は、図６に示したリサイズ処理と同様である。
【０１５７】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、高周波成分が所定の閾値以上となる画像であるか否かを、画像データの周波数成分を解析して行っているために、ヘッダへの記録が行われていない画像についても判定することが可能になる利点がある。
【０１５８】
さらに、画像データを圧縮して保存する場合には、圧縮処理の段階で周波数成分に分けられていることが比較的多いために、このような場合に該当すれば、周波数成分の解析を低い負荷で容易に行うことが可能となる。
【０１５９】
なお、上述では主として画像処理装置について説明したが、画像処理装置と同様の処理を行う画像処理方法であっても良いし、画像処理装置と同様の処理をコンピュータに行わせるための画像処理プログラム、該画像処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０１６０】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０１６１】
１…交換式レンズ
２…カメラ本体
３…インタフェース（Ｉ／Ｆ）
５…レンズ
６…絞り
７…ドライバ
８…マイクロコンピュータ
９…フラッシュメモリ
１１…シャッタ
１２…撮像素子
１３…アナログ処理部
１４…Ａ／Ｄ変換部
１５…バス
１６…ＡＦ処理部
１７…ＡＥ処理部
１８…画像処理部
１９…基本画像処理部
２０…特殊画像処理部
２１…画像リサイズ部
２１ａ…判定部
２１ｂ…ハイパスフィルタ（ＨＰＦ）（フィルタ処理部）
２１ｃ…ローパスフィルタ（ＬＰＦ）（フィルタ処理部）
２１ｄ…第１リサイズ部
２１ｅ…第２リサイズ部
２１ｆ…第３リサイズ部
２１ｇ…合成部（画像合成部）
２１ｈ…輝度調整部
２２…画像圧縮伸張部
２３…ＬＣＤドライバ
２４…ＬＣＤ
２５…メモリインタフェース（メモリＩ／Ｆ）
２６…記録媒体
２７…ＳＤＲＡＭ
２８…操作部
２９…フラッシュメモリ
３０…マイクロコンピュータ
【図１】
2015032114.tif 000003
【図２】
2015032114.tif 000004
【図３】
2015032114.tif 000005
【図４】
2015032114.tif 000006
【図５】
2015032114.tif 000007
【図６】
2015032114.tif 000008
【図７】
2015032114.tif 000009
【図８】
2015032114.tif 000010
【図９】
2015032114.tif 000011