(57)【要約】【課題】リサイズ後に高画質なモザイク状のカラー配列のＲＡＷ画像データを得ることができるようにする画像処理装置等を提供する。【解決手段】モザイク状のカラー配列のＲＡＷ画像データから複数のカラープレーンを生成するデモザイク部２７ａと、ＲＡＷ画像データから輝度エッジプレーンを生成する輝度エッジ生成部２７ｂと、輝度エッジプレーンにゲインを乗算する輝度エッジゲイン乗算部２７ｃと、複数のカラープレーンのそれぞれにゲインを乗算した輝度エッジプレーンを加算する輝度エッジ加算部２７ｄと、を備える画像処理装置。【選択図】図２
2019003443.tif 000002
【特許請求の範囲】
【請求項１】
モザイク状のカラー配列のＲＡＷ画像データを処理する画像処理装置であって、
前記ＲＡＷ画像データから複数のカラープレーンを生成するデモザイク部と、
前記ＲＡＷ画像データから輝度エッジプレーンを生成する輝度エッジ生成部と、
前記輝度エッジプレーンにゲインを乗算する輝度エッジゲイン乗算部と、
前記複数のカラープレーンのそれぞれに、前記ゲインを乗算した前記輝度エッジプレーンを加算する輝度エッジ加算部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記デモザイク部は、デモザイクフィルタを用いて前記ＲＡＷ画像データから前記複数のカラープレーンを生成するものであって、前記デモザイクフィルタを複数種類備えており、
前記輝度エッジゲイン乗算部は、前記ゲインの値を変更することができ、
前記デモザイク部が用いる前記デモザイクフィルタの種類を選択することと、前記輝度エッジゲイン乗算部がかける前記ゲインの値を設定することと、の少なくとも一方を行う制御部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ＲＡＷ画像データの記録形態が静止画と動画との何れであるかを判別する記録形態判別部をさらに備え、
前記制御部は、前記デモザイクフィルタの種類の選択と、前記ゲインの値の設定と、の少なくとも一方を、前記記録形態判別部の判別結果に応じて行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ＲＡＷ画像データの周波数成分を解析する周波数解析部をさらに備え、
前記制御部は、前記デモザイクフィルタの種類の選択と、前記ゲインの値の設定と、の少なくとも一方を、前記周波数解析部により解析した周波数成分に応じて行うことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記ＲＡＷ画像データの彩度を解析する彩度解析部を備え、
前記制御部は、前記デモザイクフィルタの種類の選択と、前記ゲインの値の設定と、の少なくとも一方を、前記彩度解析部により解析した彩度に応じて行うことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記ゲインを乗算した前記輝度エッジプレーンが加算された前記複数のカラープレーンをリサイズするリサイズ処理部と、
リサイズした前記複数のカラープレーンから、前記ＲＡＷ画像データの基本カラー配列と同じ基本カラー配列のリサイズＲＡＷ画像データを再構築するＲＡＷ画像再構築部と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記輝度エッジ加算部と前記リサイズ処理部との間に設けられ、前記ゲインを乗算した前記輝度エッジプレーンが加算された前記複数のカラープレーンに、ローパスフィルタをかけるローパスフィルタ演算部をさらに備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
モザイク状のカラー配列のＲＡＷ画像データを処理する画像処理方法であって、
前記ＲＡＷ画像データから複数のカラープレーンを生成するデモザイクステップと、
前記ＲＡＷ画像データから輝度エッジプレーンを生成する輝度エッジ生成ステップと、
前記輝度エッジプレーンにゲインを乗算する輝度エッジゲインステップと、
前記複数のカラープレーンのそれぞれに、前記ゲインを乗算した前記輝度エッジプレーンを加算する輝度エッジ加算ステップと、
を備えることを特徴とする画像処理方法。
【請求項９】
前記ゲインを乗算した前記輝度エッジプレーンが加算された前記複数のカラープレーンをリサイズするリサイズステップと、
リサイズした前記複数のカラープレーンから、前記ＲＡＷ画像データの基本カラー配列と同じ基本カラー配列のリサイズＲＡＷ画像データを再構築するＲＡＷ再構築ステップと、
をさらに備えることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
コンピュータに、モザイク状のカラー配列のＲＡＷ画像データを処理させるための画像処理プログラムであって、
前記ＲＡＷ画像データから複数のカラープレーンを生成するデモザイクステップと、
前記ＲＡＷ画像データから輝度エッジプレーンを生成する輝度エッジ生成ステップと、
前記輝度エッジプレーンにゲインを乗算する輝度エッジゲインステップと、
前記複数のカラープレーンのそれぞれに、前記ゲインを乗算した前記輝度エッジプレーンを加算する輝度エッジ加算ステップと、
をコンピュータに実行させるための画像処理プログラム。
【請求項１１】
前記ゲインを乗算した前記輝度エッジプレーンが加算された前記複数のカラープレーンをリサイズするリサイズステップと、
リサイズした前記複数のカラープレーンから、前記ＲＡＷ画像データの基本カラー配列と同じ基本カラー配列のリサイズＲＡＷ画像データを再構築するＲＡＷ再構築ステップと、
をさらにコンピュータに実行させるための、請求項１０に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モザイク状のカラー配列のＲＡＷ画像データを処理する画像処理装置、画像処理方法、画像処理プログラムに関する。
【背景技術】
【０００２】
モザイク状のカラー配列のＲＡＷ画像データに対する処理として、例えば、リサイズ処理を行う技術は、従来より提案されている。
【０００３】
例えば、特開２００７−１５８５０９号公報には、ベイヤ配列のＲＡＷ画像データをリサイズする際に、ＲＡＷ画像データをデモザイクした後に輝度色差データ（ＹＣｂＣｒ）にＹＣ変換し、この輝度色差データをリサイズして、リサイズした輝度色差データのままベイヤ配列の形に戻すように配列しなおす技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１５８５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ベイヤ配列のＲＡＷ画像データは色によって画素密度が異なるために、ＹＣ変換して生成したＹデータは、被写体色によって均一でない周波数特性となる。このために、ＹＣ変換してリサイズした場合には、低彩度の画像に対しては高い高周波再現性（ひいては、高い解像度）が得られる反面、高彩度の画像に対しては高周波モアレが発生することがある。
【０００６】
一方で、ＲＡＷ画像データをデモザイクしたＲＧＢプレーン（Ｒプレーン、Ｇプレーン、およびＢプレーン）をＹＣ変換することなくリサイズする場合には、リサイズした画像の高周波再現性やモアレが被写体によって異なること（被写体に依存する不均一性）が小さい反面、低彩度の画像をＹＣ変換したＹデータをリサイズする場合のような高い高周波再現性を得ることができない。
【０００７】
本発明は上記事情に鑑みてなされたものであり、リサイズ後に高画質なモザイク状のカラー配列のＲＡＷ画像データを得ることができるようにする画像処理装置、画像処理方法、画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の一態様による画像処理装置は、モザイク状のカラー配列のＲＡＷ画像データを処理する画像処理装置であって、前記ＲＡＷ画像データから複数のカラープレーンを生成するデモザイク部と、前記ＲＡＷ画像データから輝度エッジプレーンを生成する輝度エッジ生成部と、前記輝度エッジプレーンにゲインを乗算する輝度エッジゲイン乗算部と、前記複数のカラープレーンのそれぞれに、前記ゲインを乗算した前記輝度エッジプレーンを加算する輝度エッジ加算部と、を備える。
【０００９】
本発明の他の態様による画像処理方法は、モザイク状のカラー配列のＲＡＷ画像データを処理する画像処理方法であって、前記ＲＡＷ画像データから複数のカラープレーンを生成するデモザイクステップと、前記ＲＡＷ画像データから輝度エッジプレーンを生成する輝度エッジ生成ステップと、前記輝度エッジプレーンにゲインを乗算する輝度エッジゲインステップと、前記複数のカラープレーンのそれぞれに、前記ゲインを乗算した前記輝度エッジプレーンを加算する輝度エッジ加算ステップと、を備える。
【００１０】
本発明のさらに他の態様による画像処理プログラムは、コンピュータに、モザイク状のカラー配列のＲＡＷ画像データを処理させるための画像処理プログラムであって、前記ＲＡＷ画像データから複数のカラープレーンを生成するデモザイクステップと、前記ＲＡＷ画像データから輝度エッジプレーンを生成する輝度エッジ生成ステップと、前記輝度エッジプレーンにゲインを乗算する輝度エッジゲインステップと、前記複数のカラープレーンのそれぞれに、前記ゲインを乗算した前記輝度エッジプレーンを加算する輝度エッジ加算ステップと、をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【００１１】
本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、リサイズ後に高画質なモザイク状のカラー配列のＲＡＷ画像データを得ることができるようになる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１における画像処理装置が適用された撮像装置の構成を示すブロック図。
【図２】上記実施形態１の画像処理装置におけるＲＡＷ画像データリサイズ部の構成を示すブロック図。
【図３】上記実施形態１のＲＡＷ画像データリサイズ部によるベイヤデータのリサイズ処理の流れを示す図。
【図４】上記実施形態１において、デモザイクフィルタを用いてベイヤデータからＲＧＢプレーンを生成する処理を説明するための図表。
【図５】上記実施形態１において、輝度エッジ生成フィルタを用いてベイヤデータから輝度エッジプレーンを生成する処理を説明するための図表。
【図６】上記実施形態１において、輝度エッジを加算したＲＧＢプレーンからベイヤデータを再構築する処理を説明するための図表。
【図７】上記実施形態１において、記録形態の判別結果に応じて、輝度エッジゲインの値の設定と、デモザイクフィルタの種類の選択と、を行う例を示す図表。
【図８】上記実施形態１における画像処理装置が適用された撮像装置の作用を示すフローチャート。
【図９】本発明の実施形態２における第１画像処理部の構成を示すブロック図。
【図１０】上記実施形態２において、ＲＡＷ画像データの高周波成分に応じて、輝度エッジゲインの値の設定と、デモザイクフィルタの種類の選択と、を行う例を示す線図。
【図１１】上記実施形態２における画像処理装置が適用された撮像装置の作用を示すフローチャート。
【図１２】本発明の実施形態３における第１画像処理部の構成を示すブロック図。
【図１３】上記実施形態３において、ＲＡＷ画像データの彩度に応じて、輝度エッジゲインの値の設定と、デモザイクフィルタの種類の選択と、を行う例を示す線図。
【図１４】上記実施形態３における画像処理装置が適用された撮像装置の作用を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１４】
図１から図８は本発明の実施形態１を示したものであり、図１は画像処理装置が適用された撮像装置の構成を示すブロック図である。
【００１５】
なお、本実施形態においては、撮像装置としてデジタルカメラを例に挙げて説明するが、これに限定されるものではなく、撮像機能を備えた装置であれば任意の装置であって構わない。また、デジタルカメラとしてレンズ交換式のものを例に挙げているが、レンズ一体型であっても構わない。
【００１６】
この撮像装置は、交換式レンズ１とカメラ本体２とをレンズマウント等を介して着脱自在に接続して構成されている。
【００１７】
交換式レンズ１は、レンズ１１と、絞り１２と、レンズドライバ１３と、フラッシュメモリ１４と、マイクロコンピュータ１５と、を備えている。
【００１８】
レンズ１１は、被写体の光学像をカメラ本体２の後述する撮像素子２２上に結像するための撮影光学系である。
【００１９】
絞り１２は、レンズ１１から撮像素子２２へ向かう光束の通過範囲を制御する光学絞りである。
【００２０】
レンズドライバ１３は、マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行う。加えて、レンズドライバ１３は、マイクロコンピュータ１５からの指令に基づき、絞り１２を駆動して開口径を変化させる。この絞り１２の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。
【００２１】
フラッシュメモリ１４は、マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ１に関する各種の情報を記憶する記憶媒体である。
【００２２】
マイクロコンピュータ１５は、いわゆるレンズ側コンピュータであり、レンズドライバ１３、フラッシュメモリ１４、および後述するインタフェース（Ｉ／Ｆ）３７と接続されている。そして、マイクロコンピュータ１５は、インタフェース３７を介して本体側コンピュータである後述するマイクロコンピュータ４０と通信し、マイクロコンピュータ４０からの指令を受けて、フラッシュメモリ１４に記憶されている情報の読出／書込を行い、レンズドライバ１３を制御する。さらに、マイクロコンピュータ１５は、この交換式レンズ１に関する各種の情報をマイクロコンピュータ４０へ送信する。
【００２３】
次に、カメラ本体２は、メカニカルシャッタ２１と、撮像素子２２と、撮像素子ドライバ２３と、アナログ処理部２４と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２５と、ＲＡＷ画像データリサイズ部２７を有する第１画像処理部２６と、バス２８と、ＤＲＡＭ２９と、第２画像処理部３０と、ＡＥ処理部３１と、ＡＦ処理部３２と、ＬＣＤドライバ３３と、ＬＣＤ３４と、メモリインタフェース（メモリＩ／Ｆ）３５と、記録媒体３６と、インタフェース（Ｉ／Ｆ）３７と、操作部３８と、フラッシュメモリ３９と、マイクロコンピュータ４０と、を備えている。
【００２４】
メカニカルシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成の光学シャッタとなっている。このメカニカルシャッタ２１は、例えば静止画撮影時にマイクロコンピュータ４０の指令により駆動されて、撮像素子２２への光束の到達時間、つまり撮像素子２２による被写体の露光時間を制御する。一方、メカニカルシャッタ２１は、動画撮影時あるいはライブビュー時には、開放状態に維持され、各フレーム画像の取得は撮像素子２２のいわゆる電子シャッタにより行われるようになっている。ただし、電子シャッタを、静止画撮影時に用いても勿論構わない。
【００２５】
撮像素子２２は、複数の画素が所定の画素ピッチで２次元状に配列された撮像面を有し、撮像制御部であるマイクロコンピュータ４０の制御に基づき、レンズ１１および絞り１２により結像された被写体の光学像を光電変換してアナログ画像信号を生成する撮像部である。
【００２６】
本実施形態の撮像素子２２は、モザイク状のカラー配列をもち、具体的に例えば、原色ベイヤ配列のカラーフィルタを備える単板式の撮像素子として構成されている。
【００２７】
ここに、原色ベイヤ配列は、公知のように、２×２画素を基本カラー配列として、この基本カラー配列の対角位置にＧ（緑色）フィルタを配置し、残りの対角位置にＲ（赤色）フィルタとＢ（青色）フィルタとをそれぞれ配置した構成となっている。
【００２８】
ただし、撮像素子２２のカラー配列は、ベイヤ配列に限るものではなく、任意のモザイク状のカラー配列であっても構わない。
【００２９】
撮像素子ドライバ２３は、マイクロコンピュータ４０からの指令に基づいて撮像素子２２を駆動し、撮像素子２２に撮像を行わせるものである。
【００３０】
アナログ処理部２４は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
【００３１】
Ａ／Ｄ変換部２５は、アナログ処理部２４から出力されたアナログ画像信号をデジタル画像信号（ＲＡＷ（ロー）画像データ）に変換する。
【００３２】
第１画像処理部２６は、モザイク状のカラー配列のＲＡＷ画像データを処理する画像処理装置を構成しており、ＲＡＷ画像データから、撮影に係る基本的な制御であるＡＥ（自動露出）、ＡＦ（オートフォーカス）、あるいはＡＷＢ（オートホワイトバランス）などに係る画像情報を取得するための、様々な処理を行う。
【００３３】
第１画像処理部２６は、上述したように、ＲＡＷ画像データリサイズ部２７を有している。このＲＡＷ画像データリサイズ部２７は、Ａ／Ｄ変換部２５から出力されたＲＡＷ画像データの画像サイズを変更（通常は画像サイズが小さくなるように変更するが、画像サイズが大きくなるように変更しても構わない）して、リサイズされたＲＡＷ画像データを生成するものである。このＲＡＷ画像データリサイズ部２７により行われるリサイズ処理に関する各種のパラメータは、基本的に、マイクロコンピュータ４０により設定されるようになっている。
【００３４】
ここに、ＲＡＷ画像データをリサイズする理由の１つは、画素数を減らすことで、後述する第２画像処理部３０（あるいは、ＡＥ処理部３１、ＡＦ処理部３２等）の処理負荷を軽減するためである。例えば動画を例に挙げると、近年では４Ｋ動画、あるいは８Ｋ動画が実用化されつつあるが、撮像素子２２の画素数は製品により様々であって、一般に４Ｋ動画や８Ｋ動画の画素数には一致しない。第２画像処理部３０は、後述するように、ＲＡＷ画像データから表示用あるいは記録用の画像データを生成するための各種の画像処理を行うものであるから、３０ｆｐｓあるいは６０ｆｐｓといったフレームレートのリサイズしないままのＲＡＷ画像データを、第２画像処理部３０が画像処理するのは負荷が大きい。そこで、ＲＡＷ画像データのリサイズを、例えば第１画像処理部２６により行うことで、第２画像処理部３０の負荷の低減を図るようにしている。
【００３５】
また、ＲＡＷ画像データリサイズ部２７は、この図１に示すように、第１画像処理部２６内に配置すると好適である。この配置を採用すれば、ＤＲＡＭ２９へ転送するデータのサイズを低減することができるためである。この場合には、バス２８を伝送されるデータ量が減少してＤＲＡＭ２９の帯域制限にかからないようにすることができ、ＤＲＡＭ２９の記憶容量を節約することができる（従って、ＤＲＡＭ２９に記憶できる画像フレーム数が増加する）。
【００３６】
バス２８は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス２８は、第１画像処理部２６と、ＤＲＡＭ２９と、第２画像処理部３０と、ＡＥ処理部３１と、ＡＦ処理部３２と、ＬＣＤドライバ３３と、メモリＩ／Ｆ３５と、マイクロコンピュータ４０と、に接続されている。
【００３７】
第１画像処理部２６から出力されたＲＡＷ画像データ（必要に応じてリサイズされたＲＡＷ画像データ）は、バス２８を介して転送され、ＤＲＡＭ２９に一旦記憶される。
【００３８】
ＤＲＡＭ２９は、上述したＲＡＷ画像データ、第２画像処理部３０等において処理された画像データ等の各種データを一時的に記憶する記憶部である。
【００３９】
第２画像処理部３０は、モザイク状のカラー配列のＲＡＷ画像データを処理する画像処理装置を構成しており、バス２８を介して入力されるＲＡＷ画像データに対して、例えば、ＯＢ減算、ホワイトバランス（ＷＢ）ゲイン、デモザイク、ノイズ低減、色変換、ガンマ変換、拡大縮小、などの基本的な画像処理を行うものである。なお、静止画や動画を記録媒体３６に記録する際あるいは記録媒体３６から読み出す際のデータ圧縮／データ伸張は、この第２画像処理部３０により行っても構わないし、専用の圧縮伸張部を設けて行うようにしてもよい。
【００４０】
ＡＥ処理部３１は、バス２８を介して入力されるＲＡＷ画像データから輝度成分を抽出し、抽出した輝度成分に基づき適正露光条件（適正露光を与える、例えばＴｖ，Ａｖ，Ｓｖ等の各値）を算出する。ここで算出された適正露光条件は、自動露出（ＡＥ）制御に用いられ、具体的には、Ａｖ値に基づく絞り１２の制御、Ｔｖ値に基づくメカニカルシャッタ２１の制御、あるいはＴｖ値に基づく撮像素子２２の露光タイミング制御（いわゆる電子シャッタの制御）、Ｓｖ値に基づくアナログ処理部２４のゲイン制御（あるいは第２画像処理部３０等のデジタルゲイン制御）等が行われる。
【００４１】
ＡＦ処理部３２は、バス２８を介して入力されるＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素）を用いて位相差ＡＦを行うように構成しても構わない。
【００４２】
ＬＣＤドライバ３３は、表示装置駆動部であり、第２画像処理部３０により画像処理された後にＤＲＡＭ２９に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＬＣＤ３４を駆動制御して映像信号に基づく画像をＬＣＤ３４に表示させる。
【００４３】
ＬＣＤ３４は、表示装置であり、上述したようなＬＣＤドライバ３３の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する。
【００４４】
メモリＩ／Ｆ３５は、記録媒体３６へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体３６からの画像データの読み出しも行う。
【００４５】
記録媒体３６は、画像データを不揮発に記憶する記録部であり、例えばカメラ本体２に着脱できるメモリカード等により構成されている。ただし、記録媒体３６は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。従って、記録媒体３６は、撮像装置に固有の構成である必要はない。
【００４６】
インタフェース３７は、交換式レンズ１のマイクロコンピュータ１５と、カメラ本体２のマイクロコンピュータ４０とを、双方向に通信できるように接続する。
【００４７】
操作部３８は、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源をオン／オフするための電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、撮影モード（静止画撮影モード、動画撮影モード等）、記録モード、再生モードなどが含まれている。この操作部３８に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ４０へ出力される。
【００４８】
フラッシュメモリ３９は、マイクロコンピュータ４０により実行される処理プログラム（画像処理を行うための画像処理プログラムを含む）と、この撮像装置に係る各種の情報と、を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ３９が記憶する情報としては、例えば、撮像装置を特定するための機種名や製造番号、画像処理に用いるパラメータ、ユーザにより設定された設定値などが含まれる。さらに、画像処理に用いるパラメータとしては、ＲＡＷ画像データリサイズ部２７が行う処理に係る各種フィルタの係数、輝度エッジゲインの設定値などが含まれている。このフラッシュメモリ３９が記憶する情報は、マイクロコンピュータ４０により読み取られる。
【００４９】
マイクロコンピュータ４０は、カメラ本体２内の各部を制御すると共に、インタフェース３７を介してマイクロコンピュータ１５に指令を送信し交換式レンズ１を制御するものであり、この撮像装置を統括的に制御する制御部である。マイクロコンピュータ４０は、ユーザにより操作部３８から操作入力が行われると入力された情報を解析し、フラッシュメモリ３９に記憶されている処理プログラムに従って、フラッシュメモリ３９から処理に必要なパラメータを読み込んで、操作内容に応じた各種のシーケンスを実行する。
【００５０】
また、マイクロコンピュータ４０は、ＡＥ処理部３１により算出されたＡｖ値に基づく絞り１２の制御をマイクロコンピュータ１５およびレンズドライバ１３を介して行うと共に、ＡＥ処理部３１により算出されたＳｖ値に基づくアナログ処理部２４のゲイン制御（あるいは第２画像処理部３０のデジタルゲイン制御）も行う。
【００５１】
さらに、マイクロコンピュータ４０は、静止画撮影時には、ＡＥ処理部３１により算出されたＴｖ値に基づくメカニカルシャッタ２１の制御を行う。
【００５２】
加えて、マイクロコンピュータ４０は、リサイズ処理に関する各種のパラメータ（例えば、上述したフラッシュメモリ３９から読み込まれたパラメータ）をＲＡＷ画像データリサイズ部２７に対して設定することで、後述するように、デモザイク部２７ａ（図２参照）がカラープレーンを生成する際に用いるデモザイクフィルタの種類を選択することと、輝度エッジゲイン乗算部２７ｃ（図２参照）がかけるゲイン（輝度エッジゲイン）の値を設定することと、の少なくとも一方を行う制御部となっている。
【００５３】
このマイクロコンピュータ４０も、モザイク状のカラー配列のＲＡＷ画像データを処理する画像処理装置を構成している。
【００５４】
次に、図２は画像処理装置におけるＲＡＷ画像データリサイズ部２７の構成を示すブロック図である。
【００５５】
ＲＡＷ画像データリサイズ部２７は、図２に示すように、デモザイク部２７ａと、輝度エッジ生成部２７ｂと、輝度エッジゲイン乗算部２７ｃと、輝度エッジ加算部２７ｄと、ローパスフィルタ（ＬＰＦ）演算部２７ｅと、リサイズ処理部２７ｆと、ＲＡＷ画像再構築部２７ｇと、を備えている（各部の接続状態や処理の流れについては、後で図３を参照して説明する）。
【００５６】
デモザイク部２７ａは、ＲＡＷ画像データ（本実施形態においてはベイヤデータ）から複数のカラープレーン（本実施形態においてはＲプレーン、Ｇプレーン、およびＢプレーン）を生成する。このデモザイク部２７ａは、例えばデモザイクフィルタを用いて（ただし、その他の演算処理等でも構わない）ＲＡＷ画像データから複数のカラープレーンを生成するようになっており、本実施形態においては後述するように、複数種類のデモザイクフィルタを備えている。
【００５７】
輝度エッジ生成部２７ｂは、ＲＡＷ画像データから輝度エッジプレーンを生成するものであり、例えば輝度エッジ生成フィルタを用いて（ただし、その他の演算処理等でも構わない）輝度エッジプレーンの生成を行う。
【００５８】
輝度エッジゲイン乗算部２７ｃは、輝度エッジプレーンにゲイン（輝度エッジゲイン）を乗算する。この輝度エッジゲイン乗算部２７ｃは、ゲインの値を変更することができるようになっている。
【００５９】
輝度エッジ加算部２７ｄは、複数のカラープレーンのそれぞれに、ゲインを乗算した輝度エッジプレーンを加算する。
【００６０】
ローパスフィルタ演算部２７ｅは、輝度エッジ加算部２７ｄとリサイズ処理部２７ｆとの間に設けられ（図３参照）、ゲインを乗算した輝度エッジプレーンが加算された複数のカラープレーンに、ローパスフィルタをかける。
【００６１】
リサイズ処理部２７ｆは、ゲインを乗算した輝度エッジプレーンが加算された複数のカラープレーンをリサイズする。
【００６２】
ＲＡＷ画像再構築部２７ｇは、リサイズした複数のカラープレーンから、ＲＡＷ画像データの基本カラー配列と同じ基本カラー配列のリサイズＲＡＷ画像データを再構築する。
【００６３】
次に、図２に示したようなＲＡＷ画像データリサイズ部２７の処理の流れを、図３を参照して説明する。ここに図３は、ＲＡＷ画像データリサイズ部２７によるベイヤデータのリサイズ処理の流れを示す図である。
【００６４】
Ａ／Ｄ変換部２５からＲＡＷ画像データが入力されると、デモザイク部２７ａは、ベイヤデータであるＲＡＷ画像データにデモザイクフィルタをかけることでＲ成分の画素が欠落位置なしに配置されるＲプレーン、Ｇ成分の画素が欠落位置なしに配置されるＧプレーン、およびＢ成分の画素が欠落位置なしに配置されるＢプレーンを生成する（Ｐ１）。
【００６５】
ここに図４は、デモザイクフィルタを用いてベイヤデータからＲＧＢプレーンを生成する処理を説明するための図表である。
【００６６】
撮像素子２２は、上述したように、例えば原色ベイヤ配列のカラーフィルタを備える単板式の撮像素子として構成されているために、Ａ／Ｄ変換部２５により変換されたＲＡＷ画像データも、原色ベイヤ配列のベイヤデータとなる。
【００６７】
図４には、ＲＡＷ画像データにおける４×４画素配列部分を図示しており、左から右へ向かっての水平方向画素位置をｘ、上から下へ向かっての垂直方向画素位置をｙとして、左上角の画素をＲ（１，１）、右上角の画素をＧｒ（４，１）、左下角の画素をＧｂ（１，４）、右下角の画素をＢ（４，４）などと、（ｘ，ｙ）座標により表記することにする。
【００６８】
このとき、Ｒプレーン用のＲ画素（４×４画素配列の中央位置のＲ画素）は、以下のように算出される。
Ｒ＝｛Ｒ（１，１）＋３×Ｒ（３，１）
＋３×Ｒ（１，３）＋９×Ｒ（３，３）｝／１６
【００６９】
ここに、図４に示すデモザイクフィルタは、フィルタ係数（重み）を整数で示して記載を省略しているが、実際には正規化された値（このＲ成分の例では、１／１６、３／１６、３／１６、９／１６）を用いており、図４においてフィルタ係数の値が示されていない画素は、フィルタ係数が０である（以下、同様）。
【００７０】
同様に、Ｂプレーン用のＢ画素（４×４画素配列の中央位置のＢ画素）は、以下のように算出される。
Ｂ＝｛９×Ｂ（２，２）＋３×Ｂ（４，２）
＋３×Ｂ（２，４）＋Ｂ（４，４）｝／１６
【００７１】
一方、Ｇプレーン用のＧ画素（４×４画素配列の中央位置のＧ画素）は、ローパスフィルタ（ＬＰＦ）としての効果が異なる２種類のデモザイクフィルタを用いて算出されるようになっている。
【００７２】
まず、ローパスフィルタ（ＬＰＦ）としての効果が弱いデモザイクフィルタ（図４のＧ成分欄における左側に示すデモザイクフィルタ：４×４画素配列の中央位置に近い２つのＧ成分のみを用いるためにＬＰＦ効果が弱い）を用いる場合には、Ｇプレーン用のＧ画素は、以下のように算出される。
Ｇ＝｛Ｇｂ（３，２）＋Ｇｒ（２，３）｝／２
【００７３】
一方、ローパスフィルタ（ＬＰＦ）としての効果が強いデモザイクフィルタ（図４のＧ成分欄における右側に示すデモザイクフィルタ：４×４画素配列内の全てのＧ成分を用いるためにＬＰＦ効果が強い）を用いる場合には、Ｇプレーン用のＧ画素は、以下のように算出される。
Ｇ＝｛３×Ｇｒ（２，１）＋Ｇｒ（４，１）＋３×Ｇｂ（１，２）
＋９×Ｇｂ（３，２）＋９×Ｇｒ（２，３）＋３×Ｇｒ（４，３）
＋Ｇｂ（１，４）＋３×Ｇｂ（３，４）｝／３２
【００７４】
なお、ここではＧ画素について２種類のデモザイクフィルタを用いているが、３種類以上のデモザイクフィルタを用いても構わない。また、複数種類のデモザイクフィルタを用いる成分はＧ成分に限定されるものではなく、Ｒ成分、Ｂ成分に対して複数種類のデモザイクフィルタを用いても構わない。
【００７５】
上述したようなデモザイク処理を、画素位置を水平方向および垂直方向にずらしながらＲＡＷ画像全体に対して行うことで、Ｒプレーン、Ｇプレーン、Ｂプレーンが生成される。
【００７６】
上述したデモザイク処理と例えば並列して、輝度エッジ生成部２７ｂは、ベイヤデータであるＲＡＷ画像データに輝度エッジ生成フィルタをかけて輝度エッジ生成処理をすることで、輝度エッジ成分の画素が欠落位置なしに配置される輝度エッジプレーンを生成する（Ｐ２）。
【００７７】
ここに図５は、輝度エッジ生成フィルタを用いてベイヤデータから輝度エッジプレーンを生成する処理を説明するための図表である。
【００７８】
具体的に、輝度エッジプレーン用の輝度エッジ画素（輝度成分Ｙのエッジであるために、Ｙｅと記載する）（４×４画素配列の中央位置のＹｅ画素）は、以下のように算出される。
Ｙｅ＝｛−Ｇｒ（２，１）−Ｒ（３，１）−Ｇｂ（１，２）
＋２×Ｂ（２，２）＋２×Ｇｂ（３，２）−Ｂ（４，２）
−Ｒ（１，３）＋２×Ｇｒ（２，３）＋２×Ｒ（３，３）
−Ｇｒ（４，３）−Ｂ（２，４）−Ｇｂ（３，４）｝
【００７９】
なお、図５の輝度エッジ生成フィルタ欄に示すフィルタは、２×２画素配列において輝度成分Ｙを、
Ｙ＝（Ｒ＋Ｇｒ＋Ｇｂ＋Ｂ）／４
により生成する簡易的な輝度成分抽出フィルタ（ただし、より正確な輝度成分抽出フィルタを用いても構わない）と、３×３画素配列の輝度成分に対して、輝度エッジ画素Ｙｅを、
Ｙｅ＝｛−Ｙ（２，１）−Ｙ（１，２）＋４×Ｙ（２，２）
−Ｙ（３，２）−Ｙ（２，３）｝
により生成するエッジ抽出フィルタ（この例では、４近傍のラプラシアンフィルタ）と、を合成したものとなっている。
【００８０】
上述したような輝度エッジ生成処理を、画素位置を水平方向および垂直方向にずらしながらＲＡＷ画像全体に対して行うことで、輝度エッジプレーンであるＹｅプレーンが生成される。
【００８１】
次に、輝度エッジゲイン乗算部２７ｃは、輝度エッジ生成部２７ｂにより生成された輝度エッジプレーンの各画素値に輝度エッジゲインを乗算する（Ｐ３）。この輝度エッジゲインは、画素位置によらない定数（いわゆるグローバルな定数）であるが、全ての色成分に対して同一の値を用いてもよいし、より一般性をもたせるために色成分毎に異なる値を用いても構わない。そして、輝度エッジゲインは、本実施形態においては、後述するように、取得される画像が静止画像であるか動画像であるかに応じて異なる値をとるようになっている。
【００８２】
続いて、輝度エッジ加算部２７ｄは、デモザイク部２７ａにより生成されたＲプレーン、Ｇプレーン、Ｂプレーンのそれぞれに対して、輝度エッジゲインを乗算した輝度エッジプレーンを、同一画素位置毎に加算する（Ｐ４）。
【００８３】
具体的に、プレーン上の画素位置を（ｉ，ｊ）により表し、Ｒ成分用の輝度エッジゲインをｇｒ、Ｇ成分用の輝度エッジゲインをｇｇ、Ｂ成分用の輝度エッジゲインをｇｂとする（色成分毎に輝度エッジゲインの値が異なるより一般的な場合を想定している）と、輝度エッジ加算を行った後のＲＧＢ成分Ｒ’，Ｇ’，Ｂ’は、次のように算出される。
Ｒ’（ｉ，ｊ）＝Ｒ（ｉ，ｊ）＋ｇｒ×Ｙｅ（ｉ，ｊ）
Ｇ’（ｉ，ｊ）＝Ｇ（ｉ，ｊ）＋ｇｇ×Ｙｅ（ｉ，ｊ）
Ｂ’（ｉ，ｊ）＝Ｂ（ｉ，ｊ）＋ｇｂ×Ｙｅ（ｉ，ｊ）
【００８４】
輝度エッジ加算部２７ｄは、このような輝度エッジの加算処理を、プレーン上の全ての画素位置（ｉ，ｊ）に対して行うことで、輝度エッジ加算を行った後のＲＧＢプレーンを算出する。
【００８５】
さらに、ローパスフィルタ演算部２７ｅが、輝度エッジ加算を行った後のＲＧＢプレーンのそれぞれに対してローパスフィルタをかけ（Ｐ５）、リサイズ処理部２７ｆがリサイズ処理を行う（Ｐ６）。
【００８６】
なお、ここではリサイズ処理が画像縮小処理であることを想定して、リサイズ処理の前にローパスフィルタをかけたが、例えばリサイズ率が１に近い場合、あるいはリサイズ処理が画像拡大処理である場合などには、ローパスフィルタを省略しても構わない。このようにローパスフィルタ演算部２７ｅは、必須の構成ではない。
【００８７】
上述したリサイズ処理が行われたら、ＲＡＷ画像再構築部２７ｇは、リサイズ後のＲプレーン、Ｇプレーン、およびＢプレーンから、ベイヤデータであるＲＡＷ画像データ（リサイズＲＡＷ画像データ）を再構築する（Ｐ７）。
【００８８】
ここに、図６は、輝度エッジを加算したＲＧＢプレーンからベイヤデータを再構築する処理を説明するための図表である。
【００８９】
この図６に示す例においては、Ｒプレーンからベイヤ配列におけるＲ画素位置の画素を選択し、Ｇプレーンからベイヤ配列におけるＧ画素位置の画素を選択し、Ｂプレーンからベイヤ配列におけるＢ画素位置の画素を選択して、選択した画素により１枚のベイヤ画像を構成することでＲＡＷ画像データの再構築を行っている。なお、Ｇプレーンから選択した画素にＧｒ，Ｇｂの区別はないが、再構築したベイヤ画像においては慣例的にＧｒ，Ｇｂの表記を行っている。また、ＲＡＷ画像データの再構築はこの方法に限定されるものではなく、他の適宜の方法を用いても構わない。
【００９０】
次に、図７および図８を参照して、撮像装置の作用を説明する。ここに、図７は、記録形態の判別結果に応じて、輝度エッジゲインの値の設定と、デモザイクフィルタの種類の選択と、を行う例を示す図表、図８は画像処理装置が適用された撮像装置の作用を示すフローチャートである。
【００９１】
例えば、撮像装置の電源ボタンがオンされる等により、図８に示す処理が開始されると、ライブビュー用のＲＡＷ画像が取得される（ステップＳ１）。
【００９２】
そして、取得されたＲＡＷ画像は、第１画像処理部２６および第２画像処理部３０によりライブビュー用に画像処理されて、ＬＣＤドライバ３３によりＬＣＤ３４に表示される（ステップＳ２）。
【００９３】
その後、レリーズボタンが操作されることで画像の記録開始が指示されたか否かを、マイクロコンピュータ４０が判定する（ステップＳ３）。
【００９４】
ここで、記録開始が指示されたと判定された場合には、マイクロコンピュータ４０は、記録モードが動画記録モードであるか静止画記録モードであるかを判定する（ステップＳ４）。すなわち、マイクロコンピュータ４０は、ＲＡＷ画像データの記録形態が、静止画と動画との何れであるかを判別する記録形態判別部として機能するようになっている。
【００９５】
ここで動画記録モードであると判定された場合には、マイクロコンピュータ４０が、輝度エッジゲイン乗算部２７ｃに、動画記録モード用に予め設定されている輝度エッジゲインを設定する（ステップＳ５Ａ）。ここに、動画記録モード用に予め設定されている輝度エッジゲインは、図７に示すように、静止画記録モード用に予め設定されている輝度エッジゲインよりも値が大きい。
【００９６】
さらに、マイクロコンピュータ４０が、デモザイク部２７ａに、例えば図４に示したような、Ｇプレーンに対して予め用意されている２種類のデモザイクフィルタの内の、ローパスフィルタ（ＬＰＦ）としての効果が強いデモザイクフィルタ（図４のＧ成分欄における右側に示すデモザイクフィルタ）を設定する（ステップＳ６Ａ）。
【００９７】
そして、撮像素子２２、アナログ処理部２４、およびＡ／Ｄ変換部２５が動画用のＲＡＷ画像を取得し（ステップＳ７Ａ）、マイクロコンピュータ４０の制御に基づいて、ＲＡＷ画像データリサイズ部２７が、動画の画像サイズに関連したサイズ（動画の画像サイズに近いサイズの場合もあれば、動画の画像サイズよりも大きいサイズあるいは小さいサイズの場合もある）になるようにＲＡＷ画像のリサイズを行う（ステップＳ８Ａ）。
【００９８】
その後、第１画像処理部２６および第２画像処理部３０が、動画用の画像処理を行い（ステップＳ９Ａ）、処理後の動画フレームをメモリＩ／Ｆ３５を介して記録媒体３６に記録する（ステップＳ１０Ａ）。なお、この動画記録に際しては、併せて、ＬＣＤ３４への表示を行ってもよいことはいうまでもない。
【００９９】
次に、レリーズボタンが操作されることで画像の記録終了が指示されたか否かを、マイクロコンピュータ４０が判定する（ステップＳ１１Ａ）。
【０１００】
ここで、画像の記録終了が指示されていないと判定された場合には、ステップＳ７Ａへ戻って、次のフレームのＲＡＷ画像を取得し、上述したような処理を行う。
【０１０１】
また、ステップＳ１１Ａにおいて、画像の記録終了が指示されたと判定された場合には、記録媒体３６にフレーム単位で記録された動画フレーム群を１つの動画ファイルとして記録する（ステップＳ１２Ａ）。
【０１０２】
一方、ステップＳ４において、静止画記録モードであると判定された場合には、マイクロコンピュータ４０が、輝度エッジゲイン乗算部２７ｃに、静止画記録モード用に予め設定されている輝度エッジゲインを設定する（ステップＳ５Ｂ）。ここに、静止画記録モード用に予め設定されている輝度エッジゲインは、上述したように、動画記録モード用に予め設定されている輝度エッジゲインよりも値が小さい（図７参照）。
【０１０３】
さらに、マイクロコンピュータ４０が、デモザイク部２７ａに、例えば図４に示したような、Ｇプレーンに対して予め用意されている２種類のデモザイクフィルタの内の、ローパスフィルタ（ＬＰＦ）としての効果が弱いデモザイクフィルタ（図４のＧ成分欄における左側に示すデモザイクフィルタ）を設定する（ステップＳ６Ｂ）。
【０１０４】
そして、撮像素子２２、アナログ処理部２４、およびＡ／Ｄ変換部２５が静止画用のＲＡＷ画像を取得し（ステップＳ７Ｂ）、マイクロコンピュータ４０の制御に基づいて、ＲＡＷ画像データリサイズ部２７が、静止画の画像サイズに関連したサイズ（静止画の画像サイズに近いサイズの場合もあれば、静止画の画像サイズよりも大きいサイズあるいは小さいサイズの場合もある）になるようにＲＡＷ画像のリサイズを行う（ステップＳ８Ｂ）。
【０１０５】
その後、第１画像処理部２６および第２画像処理部３０が、静止画用の画像処理を行い（ステップＳ９Ｂ）、処理後の静止画像を画像ファイルとしてメモリＩ／Ｆ３５を介して記録媒体３６に記録する（ステップＳ１２Ｂ）。なお、この静止画ファイルの記録に際しては、併せて、記録した静止画像をＬＣＤ３４へ表示しても構わない。
【０１０６】
一方、ステップＳ３において、記録開始がまだ指示されていないと判定された場合には、電源ボタンがオフされたか否かを判定する（ステップＳ１３）。
【０１０７】
ここで、電源ボタンがオフされていないと判定された場合、またはステップＳ１２ＡかステップＳ１２Ｂの処理を行った場合には、ステップＳ１およびステップＳ２のライブビューに戻る。
【０１０８】
また、ステップＳ１３において、電源ボタンがオフされたと判定された場合には、この処理を終了する。
【０１０９】
なお、上述では、記録形態の判別結果に応じて、デモザイクフィルタの種類の選択と、輝度エッジのゲインの値の設定と、の両方を行っているが、何れか一方のみを行っても効果を得ることができるために、少なくとも一方を行えばよい。
【０１１０】
このような実施形態１によれば、ＲＡＷ画像データから生成した複数のカラープレーンのそれぞれに、ＲＡＷ画像データから生成した輝度エッジプレーンを、ゲインを乗算して加算するようにしたために、その後にリサイズを行ってからモザイク状のカラー配列のＲＡＷ画像データを再構築する場合に、高画質なモザイク状のカラー配列のＲＡＷ画像データを得ることができるようになる。
【０１１１】
また、制御部であるマイクロコンピュータ４０がデモザイクフィルタの種類を選択する場合には、デモザイクフィルタがもつＬＰＦ効果を調整することができる。従って、強いＬＰＦ効果を有するデモザイクフィルタを用いれば、高周波モアレを抑制することができる。一方、弱いＬＰＦ効果を有するデモザイクフィルタを用いれば、高周波再現性を高めることができる。
【０１１２】
一方、制御部であるマイクロコンピュータ４０が、輝度エッジゲインの値を設定する場合には、ゲインの値を小さくすることで画像の彩度が高い場合の高周波モアレを抑制することができ、ゲインの値を大きくすることで高周波再現性を高めることができる。
【０１１３】
静止画の場合には高周波モアレは静止しているために比較的気にならないが、動画の場合には高周波モアレが動いて目立つことになる。これに対して、デモザイクフィルタの種類の選択と、ゲインの値の設定と、の少なくとも一方を、記録形態が静止画と動画との何れであるかの判別結果に応じて行うようにしたために、動画の高周波モアレを抑制し、静止画の高周波再現性を高めることができるようになる。
【０１１４】
具体的に、動画の場合には、輝度エッジゲインを大きな値にすることで高周波再現性を高くすることができ、強いＬＰＦ効果を有するデモザイクフィルタを用いることで、高周波モアレを抑制することができる。
【０１１５】
一方、静止画の場合には、輝度エッジゲインを小さな値にして弱いＬＰＦ効果を有するデモザイクフィルタを用いることで、画像が高彩度である場合の輝度エッジゲインの高周波再現性の低下を抑制することができる。
【０１１６】
そして、輝度エッジプレーンを加算した複数のカラープレーンをリサイズしてからリサイズＲＡＷ画像データを再構築するようにしたために、リサイズされた高画質なモザイク状のカラー配列のＲＡＷ画像データを得ることができる。
【０１１７】
さらに、輝度エッジプレーンを加算した複数のカラープレーンに、リサイズ処理の前にローパスフィルタをかけるようにしたために、例えば画像縮小に伴う折り返し歪みの発生を抑制することができる。
［実施形態２］
【０１１８】
図９から図１１は本発明の実施形態２を示したものであり、図９は第１画像処理部２６の構成を示すブロック図である。
【０１１９】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１２０】
本実施形態の第１画像処理部２６は、図９に示すように、ＲＡＷ画像データリサイズ部２７に加えて、周波数解析部４１を備えている。
【０１２１】
この周波数解析部４１は、Ａ／Ｄ変換部２５から出力されたＲＡＷ画像データの周波数成分を解析するものであり、具体的には、例えばＢＰＦ（バンドパスフィルタ）、あるいはＨＰＦ（ハイパスフィルタ）を用いて（ただし、これらに限定されるものではない）、ＲＡＷ画像データに含まれる高周波成分を解析して取得するものとなっている。
【０１２２】
次に、図１０は、ＲＡＷ画像データの高周波成分に応じて、輝度エッジゲインの値の設定と、デモザイクフィルタの種類の選択と、を行う例を示す線図、図１１は画像処理装置が適用された撮像装置の作用を示すフローチャートである。なお、図１１では、電源がオンされた後に静止画像を撮影して電源をオフする場合の処理を記載しており、動画撮影等については記載を省略している。
【０１２３】
例えば、撮像装置の電源ボタンがオンされる等により、図１１に示す処理が開始されると、上述したステップＳ１およびステップＳ２の処理によりライブビューを行う。
【０１２４】
その後、レリーズボタンが操作されることで静止画像の記録開始が指示されたか否かを、マイクロコンピュータ４０が判定する（ステップＳ２１）。
【０１２５】
ここで、記録開始が指示されたと判定された場合には、上述したステップＳ７Ｂの処理により静止画用のＲＡＷ画像を取得する。
【０１２６】
そして、周波数解析部４１が、ＲＡＷ画像の周波数解析を行い、高周波成分の値を取得する（ステップＳ２２）。
【０１２７】
マイクロコンピュータ４０が、周波数解析部４１の解析結果に基づいて、ＲＡＷ画像の高周波成分が予め定められた閾値Ｔｈ１（図１０参照）以上であるか否かを判定する（ステップＳ２３）。
【０１２８】
ここで、高周波成分が閾値Ｔｈ１以上であると判定された場合には、上述したステップＳ５Ａと同様の処理を行って、輝度エッジゲインの値を大きく設定する。ただし、ここで設定する輝度エッジゲインは、図１０に示すように、高周波成分に応じて定められるようになっていて、輝度エッジゲインの値が大きいというのは、高周波成分が閾値Ｔｈ１未満であるときの輝度エッジゲインの値よりも大きいという意味である。
【０１２９】
図１０に示す例では、輝度エッジゲインの値は、高周波成分に応じて単調増加するようになっていて、さらに、閾値Ｔｈ１の前後において、値が不連続に変化するものとなっている。ただし、図１０の輝度エッジゲインの値の変化は一例であるために、これに限定されるものではない。
【０１３０】
ステップＳ５Ａの処理を行ったら、さらに、上述したステップＳ６Ａと同様の処理を行って、ローパスフィルタ（ＬＰＦ）としての効果が強いデモザイクフィルタ（例えば、図４のＧ成分欄における右側に示すデモザイクフィルタ）を設定する。
【０１３１】
また、ステップＳ２３において、高周波成分が閾値Ｔｈ１未満であると判定された場合には、上述したステップＳ５Ｂと同様の処理を行って、輝度エッジゲインの値を小さく設定する。上述したように、ここで設定する輝度エッジゲインは、高周波成分に応じて定められるようになっている（図１０参照）。
【０１３２】
ステップＳ５Ｂの処理を行ったら、さらに、上述したステップＳ６Ｂと同様の処理を行って、ローパスフィルタ（ＬＰＦ）としての効果が弱いデモザイクフィルタ（例えば、図４のＧ成分欄における左側に示すデモザイクフィルタ）を設定する。
【０１３３】
こうして、ステップＳ６ＡまたはステップＳ６Ｂの処理を行ったら、上述したステップＳ８Ｂの処理によりＲＡＷ画像のリサイズを行い、上述したステップＳ９Ｂの処理により静止画用の画像処理を行い、上述したステップＳ１２Ｂの処理により静止画像ファイルを記録媒体３６に記録する。
【０１３４】
一方、ステップＳ２１において、記録開始がまだ指示されていないと判定された場合には、上述したステップＳ１３の処理により電源ボタンがオフされたか否かを判定し、ステップＳ１３において電源ボタンがオフされていないと判定された場合、またはステップＳ１２Ｂの処理を行った場合には、ステップＳ１およびステップＳ２のライブビューに戻る。
【０１３５】
また、ステップＳ１３において、電源ボタンがオフされたと判定された場合には、この処理を終了する。
【０１３６】
なお、上述では、周波数解析部４１を第１画像処理部２６内に設けた。これは、周波数解析部４１の解析結果に基づいて、ＲＡＷ画像データリサイズ部２７における輝度エッジゲインの値とデモザイクフィルタの種類とを設定しているために、解析結果を設定にリアルタイムに反映するためである。このように周波数解析部４１を第１画像処理部２６内に設けると好適であるが、撮像装置の構成によっては、周波数解析部４１を、例えばマイクロコンピュータ４０内に配置（マイクロコンピュータ４０の機能として実装）しても構わない。従って、周波数解析部４１の配置は、第１画像処理部２６内に限定されるものではない。
【０１３７】
また、上述では、周波数解析部４１により解析した周波数成分に応じて、デモザイクフィルタの種類の選択と、輝度エッジのゲインの値の設定と、の両方を行っているが、何れか一方のみを行っても効果を得ることができるために、少なくとも一方を行えばよい。
【０１３８】
このような実施形態２によれば、周波数解析部４１により解析した周波数成分に応じて、デモザイクフィルタの種類の選択と、輝度エッジのゲインの値の設定と、の少なくとも一方を行うことによっても、上述した実施形態１とほぼ同様の効果を奏することができる。
【０１３９】
具体的に、ＲＡＷ画像データの高周波成分が閾値Ｔｈ１以上である場合には、輝度エッジゲインを大きな値にすることで高周波再現性を高くすることができ、強いＬＰＦ効果を有するデモザイクフィルタを用いることで、高周波モアレを抑制することができる。
【０１４０】
また、ＲＡＷ画像データの高周波成分が閾値Ｔｈ１未満である場合には、輝度エッジゲインを小さな値にして弱いＬＰＦ効果を有するデモザイクフィルタを用いることで、彩度が高い場合の輝度エッジゲインの高周波再現性の低下を抑制することができる。
［実施形態３］
【０１４１】
図１２から図１４は本発明の実施形態３を示したものであり、図１２は第１画像処理部２６の構成を示すブロック図である。
【０１４２】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１４３】
本実施形態の第１画像処理部２６は、図１２に示すように、ＲＡＷ画像データリサイズ部２７に加えて、彩度解析部４２を備えている。
【０１４４】
この彩度解析部４２は、Ａ／Ｄ変換部２５から出力されたＲＡＷ画像データの彩度を解析するものであり、具体的には、例えばＲとＧの差分の絶対値およびＢとＧの差分の絶対値を求める方法、あるいは色空間変換を行って色差や彩度を求める方法を用いて（ただし、これらに限定されるものではない）、ＲＡＷ画像データに含まれる彩度を解析して取得するものとなっている。
【０１４５】
次に、図１３は、ＲＡＷ画像データの彩度に応じて、輝度エッジゲインの値の設定と、デモザイクフィルタの種類の選択と、を行う例を示す線図、図１４は画像処理装置が適用された撮像装置の作用を示すフローチャートである。なお、図１４では、電源がオンされた後に静止画像を撮影して電源をオフする場合の処理を記載しており、動画撮影等については記載を省略している。
【０１４６】
例えば、撮像装置の電源ボタンがオンされる等により、図１４に示す処理が開始されると、上述したステップＳ１およびステップＳ２の処理によりライブビューを行い、上述したステップＳ２１の処理により静止画像の記録開始が指示されたか否かを判定する。
【０１４７】
ここで、記録開始が指示されたと判定された場合には、上述したステップＳ７Ｂの処理により静止画用のＲＡＷ画像を取得する。
【０１４８】
そして、彩度解析部４２が、ＲＡＷ画像の彩度解析を行い、彩度を取得する（ステップＳ３１）。
【０１４９】
マイクロコンピュータ４０が、彩度解析部４２の解析結果に基づいて、ＲＡＷ画像の彩度が予め定められた閾値Ｔｈ２（図１３参照）未満であるか否かを判定する（ステップＳ３２）。
【０１５０】
ここで、彩度が閾値Ｔｈ２未満であると判定された場合には、上述したステップＳ５Ａと同様の処理を行って、輝度エッジゲインの値を大きく設定する。ただし、ここで設定する輝度エッジゲインは、図１３に示すように、彩度に応じて定められるようになっていて、輝度エッジゲインの値が大きいというのは、彩度が閾値Ｔｈ２以上であるときの輝度エッジゲインの値よりも大きいという意味である。
【０１５１】
図１３に示す例では、輝度エッジゲインの値は、彩度に応じて単調減少するようになっていて、さらに、閾値Ｔｈ２の前後において、値が不連続に変化するものとなっている。ただし、図１３の輝度エッジゲインの値の変化は一例であるために、これに限定されるものではない。
【０１５２】
ステップＳ５Ａの処理を行ったら、さらに、上述したステップＳ６Ａと同様の処理を行って、ローパスフィルタ（ＬＰＦ）としての効果が強いデモザイクフィルタ（例えば、図４のＧ成分欄における右側に示すデモザイクフィルタ）を設定する。
【０１５３】
また、ステップＳ３２において、彩度が閾値Ｔｈ２以上であると判定された場合には、上述したステップＳ５Ｂと同様の処理を行って、輝度エッジゲインの値を小さく設定する。上述したように、ここで設定する輝度エッジゲインは、彩度に応じて定められるようになっている（図１３参照）。
【０１５４】
ステップＳ５Ｂの処理を行ったら、さらに、上述したステップＳ６Ｂと同様の処理を行って、ローパスフィルタ（ＬＰＦ）としての効果が弱いデモザイクフィルタ（例えば、図４のＧ成分欄における左側に示すデモザイクフィルタ）を設定する。
【０１５５】
こうして、ステップＳ６ＡまたはステップＳ６Ｂの処理を行ったら、上述したステップＳ８Ｂの処理によりＲＡＷ画像のリサイズを行い、上述したステップＳ９Ｂの処理により静止画用の画像処理を行い、上述したステップＳ１２Ｂの処理により静止画像ファイルを記録媒体３６に記録する。
【０１５６】
一方、ステップＳ２１において、記録開始がまだ指示されていないと判定された場合には、上述したステップＳ１３の処理により電源ボタンがオフされたか否かを判定し、ステップＳ１３において電源ボタンがオフされていないと判定された場合、またはステップＳ１２Ｂの処理を行った場合には、ステップＳ１およびステップＳ２のライブビューに戻る。
【０１５７】
また、ステップＳ１３において、電源ボタンがオフされたと判定された場合には、この処理を終了する。
【０１５８】
なお、上述では、彩度解析部４２を第１画像処理部２６内に設けた。これは、彩度解析部４２の解析結果に基づいて、ＲＡＷ画像データリサイズ部２７における輝度エッジゲインの値とデモザイクフィルタの種類とを設定しているために、解析結果を設定にリアルタイムに反映するためである。このように彩度解析部４２を第１画像処理部２６内に設けると好適であるが、撮像装置の構成によっては、彩度解析部４２を、例えばマイクロコンピュータ４０内に配置（マイクロコンピュータ４０の機能として実装）しても構わない。従って、彩度解析部４２の配置は、第１画像処理部２６内に限定されるものではない。
【０１５９】
また、上述では、彩度解析部４２により解析した彩度に応じて、デモザイクフィルタの種類の選択と、輝度エッジのゲインの値の設定と、の両方を行っているが、何れか一方のみを行っても効果を得ることができるために、少なくとも一方を行えばよい。
【０１６０】
このような実施形態３によれば、彩度解析部４２により解析した彩度に応じて、デモザイクフィルタの種類の選択と、輝度エッジのゲインの値の設定と、の少なくとも一方を行うことによっても、上述した実施形態１，２とほぼ同様の効果を奏することができる。
【０１６１】
具体的に、ＲＡＷ画像データの彩度が閾値Ｔｈ２未満である場合には、輝度エッジゲインを大きな値にすることで高周波再現性を高くすることができ、強いＬＰＦ効果を有するデモザイクフィルタを用いることで、高周波モアレを抑制することができる。
【０１６２】
また、ＲＡＷ画像データの彩度が閾値Ｔｈ２以上である場合には、輝度エッジゲインを小さな値にして弱いＬＰＦ効果を有するデモザイクフィルタを用いることで、彩度が高い場合の輝度エッジゲインの高周波再現性の低下を抑制することができる。
【０１６３】
なお、上述では、ＲＡＷ画像データとして、モザイク状のカラー配列をもつ撮像素子により光学情報を電気信号に変換して得られた画像データを例に挙げたが、例えばコンピュータにより生成されたモザイク状のカラー配列のＲＡＷ画像データであってもよく、撮像素子で撮像して取得されたＲＡＷ画像データに限定されるものではない。
【０１６４】
そして、上述した各部の処理は、ハードウェアとして構成されたプロセッサが行うようにしてもよい。
【０１６５】
また、上述では主として画像処理装置について説明したが、画像処理装置と同様の処理を行うための画像処理方法であってもよいし、コンピュータに画像処理装置と同様の処理を行わせるための画像処理プログラム、該画像処理プログラムを記録するコンピュータにより読み取りできる一時的でない記録媒体、等であっても構わない。
【０１６６】
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。
【符号の説明】
【０１６７】
１…交換式レンズ
２…カメラ本体
１１…レンズ
１２…絞り
１３…レンズドライバ
１４…フラッシュメモリ
１５…マイクロコンピュータ
２１…メカニカルシャッタ
２２…撮像素子
２３…撮像素子ドライバ
２４…アナログ処理部
２５…アナログ／デジタル変換部（Ａ／Ｄ変換部）
２６…第１画像処理部
２７…ＲＡＷ画像データリサイズ部
２７ａ…デモザイク部
２７ｂ…輝度エッジ生成部
２７ｃ…輝度エッジゲイン乗算部
２７ｄ…輝度エッジ加算部
２７ｅ…ローパスフィルタ演算部
２７ｆ…リサイズ処理部
２７ｇ…ＲＡＷ画像再構築部
２８…バス
２９…ＤＲＡＭ
３０…第２画像処理部
３１…ＡＥ処理部
３２…ＡＦ処理部
３３…ＬＣＤドライバ
３４…ＬＣＤ
３５…メモリＩ／Ｆ
３６…記録媒体
３７…インタフェース（Ｉ／Ｆ）
３８…操作部
３９…フラッシュメモリ
４０…マイクロコンピュータ
４１…周波数解析部
４２…彩度解析部
【図１】
2019003443.tif 000003
【図２】
2019003443.tif 000004
【図３】
2019003443.tif 000005
【図４】
2019003443.tif 000006
【図５】
2019003443.tif 000007
【図６】
2019003443.tif 000008
【図７】
2019003443.tif 000009
【図８】
2019003443.tif 000010
【図９】
2019003443.tif 000011
【図１０】
2019003443.tif 000012
【図１１】
2019003443.tif 000013
【図１２】
2019003443.tif 000014
【図１３】
2019003443.tif 000015
【図１４】
2019003443.tif 000016