(57)【要約】【課題】星を含む夜景を撮影した場合、星を背景から自然に目立たせた画像を撮影することができる撮像装置、画像処理装置、撮像方法、画像処理方法およびプログラムを提供する。【解決手段】撮像装置１は、被写体を撮像し、該被写体の画像データを生成する撮像素子６と、撮像素子６が生成した画像データに含まれる所定の色成分を抽出した抽出画像データを生成する画像抽出部１０３と、撮像素子６が生成した画像データに、画像抽出部１０３が生成した抽出画像データを合成した合成画像データを生成する画像合成部１０５と、を備える。【選択図】図２
2015023313.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、該被写体のカラーの画像データを生成する撮像部と、
前記撮像部が生成した前記画像データに含まれる色成分の一部を抽出した抽出画像データを生成する画像抽出部と、
前記撮像部が生成した前記画像データに、前記画像抽出部が生成した前記抽出画像データを合成した合成画像データを生成する画像合成部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記画像データに対応する画像内において輝度に基づいて定まる明暗の境界を判定する境界判定部をさらに備え、
前記画像合成部は、前記境界判定部が判定した前記境界に基づいて、前記画像データに前記抽出画像データを合成して前記合成画像データを生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像合成部は、前記境界判定部が判定した前記境界から暗部の領域に対し、前記抽出画像データに対応する抽出画像を合成することによって前記合成画像データを生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像合成部は、前記境界判定部が前記画像内において前記境界がないと判定した場合、前記画像データと前記抽出画像データとを平均化することによって前記合成画像データを生成することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記抽出画像データの色空間の変数を変更する色空間変更処理を行う色空間変更部をさらに備え、
前記画像合成部は、前記色空間変更部が前記色空間変更処理を行った前記抽出画像データを前記画像データに合成して前記合成画像データを生成することを特徴とする請求項２〜４のいずれか一つに記載の撮像装置。
【請求項６】
前記色空間の変数は、彩度であり、
前記色空間変更部は、前記抽出画像データの彩度を零または負にすること特徴とする請求項５に記載の撮像装置。
【請求項７】
前記色空間の変数は、彩度であり、
前記色空間変更部は、前記境界判定部が判定した前記境界から前記抽出画像内における上下方向の端部に向けて前記抽出画像内の輝度を段階的に低下させることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記撮像部は、
光を受光して光電変換を行うことによって電気信号を生成する複数の画素と、
前記画素毎に設けられ、互いに異なる波長帯域の光を透過させる複数のカラーフィルタと、
を有することを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。
【請求項９】
前記カラーフィルタは、赤色、緑色および青色のいずれかであることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記色成分の一部は、赤色または青色であることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
赤色、緑色および青色の波長帯域のいずれかを指示する指示信号の入力を受け付ける入力部をさらに備え、
前記画像抽出部は、前記入力部から入力された前記指示信号に応じた前記抽出画像データを生成することを特徴とする請求項９に記載の撮像装置。
【請求項１２】
外部から入力された被写体のカラーの画像データに含まれる色成分の一部を抽出した抽出画像データを生成する画像抽出部と、
前記画像データに、前記画像抽出部が生成した前記抽出画像データを合成した合成画像データを生成する画像合成部と、
を備えたことを特徴とする画像処理装置。
【請求項１３】
撮像装置が実行する撮像方法であって、
被写体を撮像し、該被写体の画像データを生成する撮像ステップと、
前記撮像ステップで生成した前記画像データに含まれる所定の色成分を抽出した抽出画像データを生成する画像抽出ステップと、
前記撮像ステップで生成した前記画像データに、前記画像抽出ステップで生成した前記抽出画像データを合成して合成画像データを生成する画像合成ステップと、
を含むことを特徴とする撮像方法。
【請求項１４】
画像処理装置が実行する画像処理方法であって、
外部から入力された被写体のカラーの画像データに含まれる色成分の一部を抽出した抽出画像データを生成する画像抽出ステップと、
前記画像データに、前記画像抽出部が生成した前記抽出画像データを合成した合成画像データを生成する画像合成ステップと、
を含むことを特徴とする画像処理方法。
【請求項１５】
撮像装置に、
被写体を撮像し、該被写体の画像データを生成する撮像ステップと、
前記撮像ステップで生成した前記画像データに含まれる所定の色成分を抽出した抽出画像データを生成する画像抽出ステップと、
前記撮像ステップで生成した前記画像データに、前記画像抽出ステップで生成した前記抽出画像データを合成して合成画像データを生成する画像合成ステップと、
を実行させることを特徴とするプログラム。
【請求項１６】
画像処理装置に、
外部から入力された被写体のカラーの画像データに含まれる色成分の一部を抽出した抽出画像データを生成する画像抽出ステップと、
前記画像データに、前記画像抽出部が生成した前記抽出画像データを合成した合成画像データを生成する画像合成ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、画像処理装置、撮像方法、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、照明や自然光によって作り出される光環境のシミュレーションにおいて、対象とする光環境を撮像した撮像画像に基づいて輝度分布を示す輝度分布画像を生成し、この輝度分布画像の各領域の輝度と背景の輝度とを対比させ、この輝度の差が大きい領域を目立たせた目立ち画像を生成する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０８３０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の技術を、デジタルカメラ等の撮像装置に適用したとしても、背景との輝度の差が大きい領域を単に目立たせるだけのため、夜景を撮影する場合、暗闇で光を発する星等の被写体を撮影したとしても、ビル等の人口照明が発する光によって埋もれてしまい、被写体を背景から自然に目立たせた画像を撮影することができないという問題点があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、暗闇で光を発する星等の被写体を撮影したとしても、被写体を背景から自然に目立たせた画像を観察、表示、撮影することができる撮像装置、画像処理装置、撮像方法、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像し、該被写体のカラーの画像データを生成する撮像部と、前記撮像部が生成した前記画像データに含まれる色成分の一部を抽出した抽出画像データを生成する画像抽出部と、前記撮像部が生成した前記画像データに、前記画像抽出部が生成した前記抽出画像データを合成した合成画像データを生成する画像合成部と、を備えたことを特徴とする。
【０００７】
また、本発明にかかる撮像装置は、上記発明において、前記画像データに対応する画像内において輝度に基づいて定まる明暗の境界を判定する境界判定部をさらに備え、前記画像合成部は、前記境界判定部が判定した前記境界に基づいて、前記画像データに前記抽出画像データを合成して前記合成画像データを生成することを特徴とする。
【０００８】
また、本発明にかかる撮像装置は、上記発明において、前記画像合成部は、前記境界判定部が判定した前記境界から暗部の領域に対し、前記抽出画像データに対応する抽出画像を合成することによって前記合成画像データを生成することを特徴とする。
【０００９】
また、本発明にかかる撮像装置は、上記発明において、前記画像合成部は、前記境界判定部が前記画像内において前記境界がないと判定した場合、前記画像データと前記抽出画像データとを平均化することによって前記合成画像データを生成することを特徴とする。
【００１０】
また、本発明にかかる撮像装置は、上記発明において、前記抽出画像データの色空間の変数を変更する色空間変更処理を行う色空間変更部をさらに備え、前記画像合成部は、前記色空間変更部が前記色空間変更処理を行った前記抽出画像データを前記画像データに合成して前記合成画像データを生成することを特徴とする。
【００１１】
また、本発明にかかる撮像装置は、上記発明において、前記色空間の変数は、彩度であり、前記色空間変更部は、前記抽出画像データの彩度を零または負にすること特徴とする。
【００１２】
また、本発明にかかる撮像装置は、上記発明において、前記色空間の変数は、彩度であり、前記色空間変更部は、前記境界判定部が判定した前記境界から前記抽出画像内における上下方向の端部に向けて前記抽出画像内の輝度を段階的に低下させることを特徴とする。
【００１３】
また、本発明にかかる撮像装置は、上記発明において、前記撮像部は、光を受光して光電変換を行うことによって電気信号を生成する複数の画素と、前記画素毎に設けられ、互いに異なる波長帯域の光を透過させる複数のカラーフィルタと、を有することを特徴とする。
【００１４】
また、本発明にかかる撮像装置は、上記発明において、前記カラーフィルタは、赤色、緑色および青色のいずれかであることを特徴とする。
【００１５】
また、本発明にかかる撮像装置は、上記発明において、前記色成分の一部は、赤色または青色であることを特徴とする。
【００１６】
また、本発明にかかる撮像装置は、上記発明において、赤色、緑色および青色の波長帯域のいずれかを指示する指示信号の入力を受け付ける入力部をさらに備え、前記画像抽出部は、前記入力部から入力された前記指示信号に応じた前記抽出画像データを生成することを特徴とする。
【００１７】
また、本発明にかかる画像処理装置は、外部から入力された被写体のカラーの画像データに含まれる色成分の一部を抽出した抽出画像データを生成する画像抽出部と、前記画像データに、前記画像抽出部が生成した前記抽出画像データを合成した合成画像データを生成する画像合成部と、を備えたことを特徴とする。
【００１８】
また、本発明にかかる撮像方法は、撮像装置が実行する撮像方法であって、被写体を撮像し、該被写体の画像データを生成する撮像ステップと、前記撮像ステップで生成した前記画像データに含まれる所定の色成分を抽出した抽出画像データを生成する画像抽出ステップと、前記撮像ステップで生成した前記画像データに、前記画像抽出ステップで生成した前記抽出画像データを合成して合成画像データを生成する画像合成ステップと、を含むことを特徴とする。
【００１９】
また、本発明にかかる画像処理方法は、画像処理装置が実行する画像処理方法であって、外部から入力された被写体のカラーの画像データに含まれる色成分の一部を抽出した抽出画像データを生成する画像抽出ステップと、前記画像データに、前記画像抽出部が生成した前記抽出画像データを合成した合成画像データを生成する画像合成ステップと、を含むことを特徴とする。
【００２０】
また、本発明にかかるプログラムは、撮像装置に、被写体を撮像し、該被写体の画像データを生成する撮像ステップと、前記撮像ステップで生成した前記画像データに含まれる所定の色成分を抽出した抽出画像データを生成する画像抽出ステップと、前記撮像ステップで生成した前記画像データに、前記画像抽出ステップで生成した前記抽出画像データを合成して合成画像データを生成する画像合成ステップと、を実行させることを特徴とする。
【００２１】
また、本発明にかかるプログラムは、画像処理装置に、外部から入力された被写体のカラーの画像データに含まれる色成分の一部を抽出した抽出画像データを生成する画像抽出ステップと、前記画像データに、前記画像抽出部が生成した前記抽出画像データを合成した合成画像データを生成する画像合成ステップと、を実行させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、画像合成部が撮像部によって生成された画像データに、画像抽出部によって生成された抽出画像データを合成して合成画像データを生成するので、星を含む夜景を撮影した場合、星を背景から自然に目立たせた画像を撮影することができるという効果を奏する。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の実施の形態１にかかる撮像装置のユーザに面する側の構成を示す斜視図である。
【図２】図２は、本発明の実施の形態１にかかる撮像装置の機能構成を示すブロック図である。
【図３】図３は、本発明の実施の形態１にかかる撮像装置が実行する処理の概要を示すフローチャートである。
【図４】図４は、本発明の実施の形態１にかかる撮像装置が夜景を模式的に示す図である。
【図５】図５は、図４の夜景を撮像装置で長時間露光して撮像した際の画像データに対応する画像を模式的に示す図である。
【図６】図６は、図４に示す状況下で撮像装置が撮影した画像データに対応する画像を模式的に示す図である。
【図７】図７は、図６に示す直線Ｌ1の輝度分布を模式的に示す図である。
【図８】図８は、図６に示す直線Ｌ2の輝度分布を模式的に示す図である。
【図９】図９は、赤色、緑色および青色の各フィルタの波長帯域と星の波長帯域との関係を模式的に示す図である。
【図１０】図１０は、人工照明の波長帯域を模式的に示す図である。
【図１１】図１１は、図３に示す境界判定処理の概要を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態１にかかる撮像装置の境界判定部の境界判定を模式的に示す図である。
【図１３】図１３は、本発明の実施の形態１にかかる撮像装置の境界判定部による境界を模式的に示す図である。
【図１４】図１４は、本発明の実施の形態１にかかる撮像装置の色空間変更部による色空間変更後の抽出画像を模式的に示す図である。
【図１５】図１５は、本発明の実施の形態１にかかる撮像装置の画像合成部による合成方法の概要を模式的に示す図である。
【図１６】図１６は、本発明の実施の形態１にかかる撮像装置の画像合成部による合成画像の一例を模式的に示す図である。
【図１７】図１７は、本発明の実施の形態２にかかる撮像装置が実行する処理の概要を示すフローチャートである。
【図１８】図１８は、本発明の実施の形態２にかかる撮像装置の画像抽出部が生成した抽出画像を模式的に示す図である。
【図１９】図１９は、本発明の実施の形態２にかかる撮像装置の色空間変更部による色空間変更後の抽出画像を模式的に示す図である。
【図２０】図２０は、本発明の実施の形態２にかかる撮像装置の画像合成部による合成方法の概要を模式的に示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置のユーザに面する側（背面側）の構成を示す斜視図である。図２は、本発明の実施の形態１にかかる撮像装置の機能構成を示すブロック図である。図１および図２に示す撮像装置１は、本体部２と、本体部２に着脱自在であり、所定の視野領域から光を集光するレンズ部３と、を備える。
【００２６】
本体部２は、シャッタ４と、シャッタ駆動部５と、撮像素子６と、撮像素子駆動部７と、信号処理部８と、Ａ／Ｄ変換部９と、画像処理部１０と、ＡＥ処理部１１と、ＡＦ処理部１２と、画像圧縮展開部１３と、入力部１４と、表示部１５と、表示駆動部１６と、記録媒体１７と、メモリＩ／Ｆ１８と、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）１９と、Ｆｌａｓｈメモリ２０と、本体通信部２１と、バス２２と、制御部２３と、を備える。
【００２７】
シャッタ４は、撮像素子６の状態を露光状態または遮光状態に設定する。シャッタ４は、フォーカルプレーンシャッタを用いて構成される。
【００２８】
シャッタ駆動部５は、制御部２３の制御のもと、シャッタ４を駆動する。シャッタ駆動部５は、ステッピングモータ等を用いて構成される。
【００２９】
撮像素子６は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を用いて構成される。撮像素子６は、レンズ部３が集光した光を受光して光電変換を行うことによって画像データ（アナログ電気信号）を生成し、この画像データを信号処理部８へ出力する。
【００３０】
ここで、撮像素子６の詳細な構成について説明する。撮像素子６は、カラーフィルタ６１と、受光部６２と、読み出し部６３と、を有する。
【００３１】
カラーフィルタ６１は、所定の波長領域の光を透過させる。カラーフィルタ６１は、赤フィルタ、緑フィルタおよび青フィルタの原色フィルタ（たとえば、赤：６００ｎｍ〜７００ｎｍ、緑：５００ｎｍ〜６００ｎｍ、青：４００ｎｍ〜５００ｎｍ）を用いて構成され、ベイヤー配列で受光部６２の各画素に配置される。なお、カラシアン、マゼンダ、イエローおよび緑の補色フィルタを用いて構成してもよい。
【００３２】
受光部６２は、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が２次元状に配置される。受光部６２は、レンズ部３およびカラーフィルタ６１からの光を受光して光電変換を行って電気信号（画像信号）を出力する。
【００３３】
読み出し部６３は、後述する撮像素子駆動部７の制御のもと、受光部６２の複数の画素のうち読み出し対象として任意に設定された画素から水平ライン毎に電気信号を画像データとして順次読み出す。
【００３４】
撮像素子駆動部７は、制御部２３の制御のもと、所定のタイミングで撮像素子６から画像データ（アナログ信号）を信号処理部８に出力させる。この意味で、撮像素子駆動部７は、電子シャッタとして機能する。また、撮像素子駆動部７は、制御部２３の制御のもと、撮像素子６に所定のフレームレート（たとえば３０ｆｐｓまたは６０ｆｐｓ）で画像データを出力させる。さらに、撮像素子駆動部７は、制御部２３の制御のもと、撮像素子６の所定のライン、たとえば偶数ラインや奇数ラインを間引くことで、撮像素子６に高速フレームレート（たとえば１２０ｆｐｓ）で画像データを信号処理部８に出力させる。
【００３５】
信号処理部８は、制御部２３の制御のもと、撮像素子６から入力される画像データ（ＲＡＷデータ）に対して、アナログ処理を施してＡ／Ｄ変換部９に出力する。具体的には、信号処理部８は、画像データに対して、ノイズ低減処理およびゲインアップ処理等を行う。
【００３６】
Ａ／Ｄ変換部９は、信号処理部８から入力されるアナログ信号の画像データに対してＡ／Ｄ変換を行うことによって、デジタルの画像データ（ＲＡＷデータ）に変換し、バス２２を介してＳＤＲＡＭ１９に出力する。
【００３７】
画像処理部１０は、バス２２を介してＳＤＲＡＭ１９から画像データをフレーム毎に取得し、取得した画像データ（ＲＡＷデータ）に対して、各主の画像処理を行って処理済みの画像データを生成する（現像処理）。この処理済みの画像データは、バス２２を介してＳＤＲＡＭ１９に出力される。具体的には、画像処理部１０は、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。なお、画像処理部１０は、撮像素子６がベイヤー配列の場合には画像データの同時化処理を行う。なお、本実施の形態１では、画像処理部１０が画像処理装置として機能する。
【００３８】
ここで、画像処理部１０の詳細な構成について説明する。画像処理部１０は、輝度変換部１０１と、コントラスト算出部１０２と、画像抽出部１０３と、色空間変更部１０４と、画像合成部１０５と、を有する。
【００３９】
輝度変換部１０１は、撮像素子６が生成した画像データ（ＲＡＷデータ）をＳＤＲＡＭ１９から取得し、取得した画像データに含まれるＲＧＢ成分をＹＣbＣrに変換して輝度成分を算出する。
【００４０】
コントラスト算出部１０２は、輝度変換部１０１が算出した画像データの輝度成分に基づいて、画像データのコントラストを算出する。具体的には、コントラスト算出部１０２は、輝度変換部１０１が輝度成分に変換した画像を構成する各画素の輝度を平均化することによって、画像データのコントラストを算出する。
【００４１】
画像抽出部１０３は、撮像素子６が生成した画像データ（ＲＡＷデータ）をＳＤＲＡＭ１９から取得し、取得した画像データに含まれる所定の色成分の一部を抽出した抽出画像データを生成する。具体的には、画像抽出部１０３は、画像データからＲＢ成分（赤色および青色）の色成分を抽出した抽出画像データを生成する。ここで、色成分とは、所定の波長帯域におけるスペクトルの輝度成分である。
【００４２】
色空間変更部１０４は、画像抽出部１０３が生成した抽出画像データの色空間の変数を変更する色空間変更処理を行う。たとえば、色空間変更部１０４は、画像抽出部１０３が生成した抽出画像データの色空間における彩度の変数を零または負にする色空間変更処理を行う。
【００４３】
画像合成部１０５は、撮像素子６が生成した画像データに、画像抽出部１０３が生成した抽出画像データを合成して合成画像データを生成する。また、画像合成部１０５は、後述する制御部２３の境界判定部２３２が判定した境界に基づいて、画像データに抽出画像データを合成して合成画像データを生成する。具体的には、画像合成部１０５は、後述する境界判定部２３２が判定した画像データに対応する画像内において境界から暗部の領域に対し、抽出画像データに対応する抽出画像を合成することによって合成画像データを生成する。
【００４４】
ＡＥ処理部１１は、バス２２を介してＳＤＲＡＭ１９に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１１は、画像データから輝度を算出し、算出した輝度に基づいて、たとえば絞り値（Ｆ値）の設定値、シャッタスピード等を決定することで撮像装置１の自動露出を行う。
【００４５】
ＡＦ処理部１２は、バス２２を介してＳＤＲＡＭ１９に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。たとえば、ＡＦ処理部１２は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto  Focus）演算処理を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。
【００４６】
画像圧縮展開部１３は、バス２２を介してＳＤＲＡＭ１９から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ１９に出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint  Photographic  Experts  Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１３は、バス２２およびメモリＩ／Ｆ１８を介して記録媒体１７に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ１９に出力する。
【００４７】
入力部１４は、撮像装置１の電源状態をオン状態またはオフ状態に切り換える電源スイッチ１４１と、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズスイッチ１４２と、記録媒体１７が記録する画像データを削除する削除信号の入力を受け付ける削除スイッチ１４３と、撮像装置１の各種設定を切り換える操作スイッチ１４４と、撮像装置１の各種設定を表示部１５に表示させるメニュースイッチ１４５と、記録媒体１７に記録された画像データに対応する画像を表示部１５に表示させる再生スイッチ１４６と、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画スイッチ１４７と、外部からの接触を検出し、この検出した位置に応じた位置信号の入力を受け付けるタッチパネル１４８と、を有する。
【００４８】
レリーズスイッチ１４２は、外部からの押圧により進退可能であり、半押しされた場合に撮影準備動作を指示するファーストレリーズ信号（以下、「１ｓｔレリーズ信号」という）の入力を受け付ける一方、全押しされた場合に静止画撮影を指示するセカンドレリーズ信号（以下、「２ｎｄレリーズ信号」という）の入力を受け付ける。操作スイッチ１４４は、メニュー画面等における選択設定を行う上下左右の各方向スイッチ１４４ａ〜１４４ｄと、メニュー画面等における各方向スイッチ１４４ａ〜１４４ｄによる操作を決定する決定スイッチ１４４ｅ（ＯＫスイッチ）とを有する（図１を参照）。なお、操作スイッチ１４４は、ダイヤルスイッチ等を用いて構成してもよい。
【００４９】
タッチパネル１４８は、表示部１５の表示領域に重畳して設けられ、外部からの物体のタッチを検出し、この検出したタッチ位置に応じた位置信号（座標位置を示す信号）を制御部２３に出力する。また、タッチパネル１４８は、ユーザが表示部１５で表示される情報、たとえばアイコン画像やサムネイル画像に基づいてタッチした位置（座標位置）を検出し、この検出したタッチ位置に応じて撮像装置１が行う動作を指示する指示信号や画像を選択する選択信号の入力を受け付けてもよい。一般に、タッチパネル１４８としては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。
【００５０】
表示部１５は、液晶または有機ＥＬ（Electro  Luminescence）等からなる表示パネルを用いて構成され、撮像素子６が生成した画像データに対応するライブビュー画像および／または記録媒体１７が記録する画像データに対応する撮影画像を表示する。表示駆動部１６は、バス２２を介してＳＤＲＡＭ１９に記録された画像データまたは記録媒体１７に記録された画像データを取得し、取得した画像データに対応する撮影画像を表示部１５に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒間）だけ表示するレックビュー表示、記録媒体１７に記録された画像データを再生する再生表示、および撮像素子６が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部１５は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。
【００５１】
記録媒体１７は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体１７は、メモリＩ／Ｆ１８を介して撮像装置１に着脱自在に装着される。記録媒体１７は、画像処理部１０や画像圧縮展開部１３が処理を施した画像データを記録する、または記録媒体１７に記録された画像データを出力する。また、記録媒体１７は、制御部２３の制御のもと、メモリＩ／Ｆ１８およびバス２２を介して撮像プログラムおよび各種情報それぞれをＦｌａｓｈメモリ２０に出力してもよい。
【００５２】
ＳＤＲＡＭ１９は、バス２２を介してＡ／Ｄ変換部９から入力される画像データ、画像処理部１０から入力される画像データおよび撮像装置１の処理中の情報を一時的に記録する。たとえば、ＳＤＲＡＭ１９は、信号処理部８、Ａ／Ｄ変換部９およびバス２２を介して撮像素子６が１フレーム毎に順次出力する画像データを一時的に記録する。ＳＤＲＡＭ１９は、揮発メモリを用いて構成される。また、ＳＤＲＡＭ１９は、ＲＡＷデータを記録するＲＡＷデータ記録部１９１と、画像データを一時的に記録する画像データ一時記録部１９２と、を有する。
【００５３】
Ｆｌａｓｈメモリ２０は、不揮発性メモリを用いて構成される。Ｆｌａｓｈメモリ２０は、プログラム記録部２０１を有する。プログラム記録部２０１は、撮像装置１を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部１０による画像処理の動作に必要な各画像処理のパラメータ等を記録する。
【００５４】
本体通信部２１は、本体部２に装着されるレンズ部３との通信を行うための通信インターフェースである。
【００５５】
バス２２は、撮像装置１の各構成部位を接続する伝送路等を用いて構成される。バス２２は、撮像装置１の内部で発生した各種データを撮像装置１の各構成部位に転送する。
【００５６】
制御部２３は、ＣＰＵ（Central  Processing  Unit）等を用いて構成され、バス２２を介して入力部１４からの指示信号またはレリーズ信号に応じて撮像装置１を構成する各部に対応する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。
【００５７】
ここで、制御部２３の詳細な構成について説明する。制御部２３は、波長選択部２３１と、境界判定部２３２と、撮像制御部２３３と、表示制御部２３４と、を有する。
【００５８】
波長選択部２３１は、画像データ（ＲＡＷデータ）に含まれる各フィルタの波長帯域を選択する。具体的には、波長選択部２３１は、メニュースイッチ１４５から入力される指示信号に応じて、画像データから所定のカラーフィルタ６１が積層された画素からの画像信号の成分を選択する。たとえば、波長選択部２３１は、Ｇフィルタが積層された画素からの画像信号の成分を選択する。
【００５９】
境界判定部２３２は、画像データに対応する画像内において輝度に基づいて定まる明暗の境界を判定する。具体的には、境界判定部２３２は、輝度変換部１０１が変換した画像データの輝度成分に基づいて、画像を構成する画素列（水平線）毎に比較し、輝度の差が所定の閾値以上の差が生じる画素列を画像内における明暗の境界として判定する。
【００６０】
撮像制御部２３３は、レリーズスイッチ１４２から２ｎｄレリーズ信号が入力された場合、撮像装置１における撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、シャッタ駆動部５および撮像素子駆動部７の駆動によって撮像素子６が出力した画像データに対し、信号処理部８、Ａ／Ｄ変換部９および画像処理部１０が所定の処理を施す動作をいう。このように処理が施された画像データは、制御部２３の制御のもと、画像圧縮展開部１３で圧縮され、バス２２およびメモリＩ／Ｆ１８を介して記録媒体１７に記録される。
【００６１】
表示制御部２３４は、表示部１５の表示態様を制御する。具体的には、表示制御部２３４は、表示駆動部１６を駆動し、画像処理部１０が画像処理を施した画像データに対応するライブビュー画像を表示部１５に表示させる。
【００６２】
以上の構成を有する本体部２に対して、音声入出力機能、フラッシュ機能および電子ビューファインダ（ＥＶＦ）等を具備させてもよい。
【００６３】
レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズＦｌａｓｈメモリ３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。
【００６４】
光学系３１は、一または複数のレンズを用いて構成され、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｏ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。
【００６５】
絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。
【００６６】
レンズ操作部３５は、図１に示すように、レンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。
【００６７】
レンズＦｌａｓｈメモリ３６は、光学系３１の位置および動きそれぞれを決定するための制御用プログラム、光学系３１のレンズ特性および各種パラメータを含むレンズ情報を記録する。
【００６８】
レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２１と通信を行うための通信インターフェースである。
【００６９】
レンズ制御部３８は、ＣＰＵ等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部３８は、レンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。なお、レンズ制御部３８は、レンズ部３が本体部２に装着された際に、レンズ部３のピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信するようにしてもよい。
【００７０】
以上のように構成された撮像装置１が行う処理について説明する。図３は、撮像装置１が実行する処理の概要を示すフローチャートである。
【００７１】
図３に示すように、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）、撮像制御部２３３は、撮像素子６に撮像を実行させる（ステップＳ１０２）。この場合、撮像装置１は、図４に示すビルや星等の夜景Ｗ１を撮像する。
【００７２】
続いて、撮像装置１が撮影モードの自動星空強調モードに設定されている場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、後述するステップＳ１０４へ移行する。これに対して、撮像装置１が撮影モードの自動星空強調モードに設定されていない場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、後述するステップＳ１２５へ移行する。
【００７３】
ステップＳ１０４において、輝度変換部１０１は、撮像素子６が生成した画像データ（ＲＡＷデータ）をＳＤＲＡＭ１９から取得し、取得した画像データに含まれるＲＧＢ成分（赤色、緑色および青色）をＹＣbＣrに変換して輝度成分ＹRGBを算出する。具体的には、輝度変換部１０１は、以下の式（１）によって、画像データの輝度成分ＹRGBを算出する。
ＹRGB＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６        ・・・（１）
【００７４】
続いて、コントラスト算出部１０２は、輝度変換部１０１が算出した画像データの輝度成分ＹRGBに基づいて、画像データのコントラストＣRGBを算出する（ステップＳ１０５）。具体的には、コントラスト算出部１０２は、輝度変換部１０１が輝度成分ＹRGBに変換した画像データに対応する画像を構成する各画素の輝度を平均化することによって、コントラストＣRGBを算出する。なお、コントラスト算出部１０２は、輝度成分ＹRGBに変換された画像データに対応する画像の所定の領域の輝度を平均化することによって、コントラストＣRGBを算出してもよい。さらに、コントラスト算出部１０２は、画像を複数の領域に分割し、分割した複数の領域それぞれの輝度を平均化することによって、コントラストＣRGBを算出してもよい。
【００７５】
その後、輝度変換部１０１は、ＳＤＲＡＭ１９から取得した画像データに含まれるＲＢ成分を用いてＹＣbＣrに変換してＲＢ成分（赤色および青色）の輝度成分ＹRBを算出する（ステップＳ１０６）。具体的には、輝度変換部１０１は、上述した式（１）にＧ＝（Ｒ＋Ｂ）／２を代入して、輝度成分ＹRBを算出する。
【００７６】
ここで、輝度変換部１０１が画像データに含まれる成分のうちＲＢ成分を用いる理由について説明する。図６は、図４の夜景Ｗ１を撮像装置１で長時間露光して撮像した際の画像データに対応する画像を模式的に示す図である。
【００７７】
図５に示すように、撮像装置１は、図４の夜景Ｗ１を長時間露光で撮影した場合、ビルＢ１〜Ｂ４の照明等の明かり（輝度）が星Ｈ１〜４の明かりに比して大きいため、ビルＢ１〜Ｂ４の明るさによって星Ｈ１〜Ｈ４が画像Ｗ２内で目立たなくなってしまう。
【００７８】
図６は、図４に示す状況下で撮像装置１が撮影した画像データに対応する画像を模式的に示す図である。図７は、図６に示す直線Ｌ1の輝度分布を模式的に示す図である。図８は、図６に示す直線Ｌ2の輝度分布を模式的に示す図である。図６において、画像Ｗ１における左下の隅の位置Ｐを原点（０，０）とし、画像Ｗ１の横方向をＸ軸とし、縦方向をＹ軸とする座標系とする。また、図７および図８において、横軸が図６のＸ座標を示し、縦軸が輝度の強度を示す。さらに、図７において、曲線Ｌ11が図６に示す直線Ｌ1の輝度を示す。さらにまた、図８において、曲線Ｌ12が図６に示す直線Ｌ2の輝度を示す。
【００７９】
図７の曲線Ｌ11に示すように、星空は、暗いため、直線Ｌ1上における星Ｈ１および星Ｈ３の位置が他の位置（背景）より輝度が突出して高くなる。このため、星空では、輝度を用いて背景と星とを容易に判別することができる。これに対して、図８の曲線Ｌ12に示すように、ビルＢ１〜ビルＢ４付近は、明るく、全体の輝度が高くなるため、輝度によって直線Ｌ2上における星Ｈ４の位置と他の位置との判別が困難である。
【００８０】
図９は、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各フィルタの波長帯域と星の波長帯域との関係を模式的に示す図である。図１０は、人工照明の波長帯域を模式的に示す図である。また、図９および図１０において、横軸が波長を示し、縦軸が強度を示す。また、図９において、曲線ＬBが青色の波長帯域を示し、曲線ＬGは緑色の波長帯域を示し、曲線ＬRが赤色の波長帯域を示し、曲線ＬSが星の波長帯域を示す。さらに、図１０において、曲線ＬLが人工照明の波長帯域を示す。
【００８１】
図９の曲線ＬSおよび図１０の曲線ＬLに示すように、蛍光灯、水銀灯およびＬＥＤ等の人工照明は、人間の視覚感度をよくするため、比較的に明るい緑色の波長帯域に輝度成分のピークを有する。一方、星は、赤色の波長帯域に輝度成分のピークを有する。そこで、本実施の形態１における自動星空強調モードにおいては、輝度変換部１０１は、画像データに含まれる赤色、緑色および青色の成分のうち、赤色および青色の色成分を抽出して画像データを輝度成分に変換する。これにより、星の輝度が人工照明の輝度に埋もれてしまう場合であって、星を人工照明（背景）から分離させて目立たせることができる。
【００８２】
図３に戻り、ステップＳ１０７以降の説明を続ける。ステップＳ１０７において、コントラスト算出部１０２は、輝度変換部１０１がＹGBに変換した画像データに基づいて、ＲＢ成分のコントラストＣGBを算出する。
【００８３】
続いて、制御部２３は、ＣRGB＜ＣGBであるか否かを判定する（ステップＳ１０８）。制御部２３がＣRGB＜ＣGBでないと判定した場合（ステップＳ１０８：Ｎｏ）、撮像装置１は、後述するステップＳ１０９へ移行する。この状況下は、たとえば、撮像装置１が星空のみ（人工照明がない夜景）の撮影を行っている。これに対して、制御部２３がＣRGB＜ＣGBであると判定した場合（ステップＳ１０８：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１３へ移行する。この状況下は、たとえば、撮像装置１が人工照明を発するビル等を含む夜景の撮影を行っている。
【００８４】
ステップＳ１０９において、表示制御部２３４は、画像処理部１０が波長選択部２３１によって採用されたＲＧＢ成分を含む画像データに対して画像処理を施したライブビュー画像を表示部１５に表示させる。この場合、撮像装置１は、背景が星に比して輝度が低いため、通常の撮影（カラー撮影）を行うことによって、星を背景から自然に目立たせた画像を撮影することができる。
【００８５】
続いて、レリーズスイッチ１４２からレリーズ信号が入力された場合（ステップＳ１１０：Ｙｅｓ）、撮像制御部２３３は、撮像装置１に撮像を実行させる（ステップＳ１１１）。この場合、撮像制御部２３３は、表示部１５が表示するライブビュー画像の設定内容に応じた撮像を撮像装置１に実行させる。たとえば、撮像制御部２３３は、画像処理部１０が画像データに現在施している画像処理の内容やパラメータを反映させた状態で撮像装置１に撮像を実行させる。ステップＳ１１１の後、撮像装置１は、ステップＳ１１２へ移行する。これに対して、レリーズスイッチ１４２からレリーズ信号が入力されていない場合（ステップＳ１１０：Ｎｏ）、撮像装置１は、ステップＳ１１２へ移行する。
【００８６】
続いて、電源スイッチ１４１が操作されて撮像装置１の電源がオフ状態になった場合（ステップＳ１１２：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、電源スイッチ１４１が操作されず、撮像装置１の電源がオフ状態になっていない場合（ステップＳ１１３：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。
【００８７】
ステップＳ１１３において、撮像装置１は、画像データに対応する画像内において明暗の境界を判定する境界判定処理を実行する。
【００８８】
図１１は、図３に示すステップＳ１１３の境界判定処理の概要を示すフローチャートである。図１１に示すように、境界判定部２３２は、画像内において輝度の高い領域を検出する（ステップＳ２０１）。具体的には、図１２に示すように、境界判定部２３２は、ＲＧＢ成分を含む画像Ｗ１内において、輝度が高い領域Ｒ１を検出する。
【００８９】
続いて、境界判定部２３２は、領域Ｒ１において輝度の連続性を検出する（ステップＳ２０２）。具体的には、境界判定部２３２は、Ｇ成分の画像データに対応する画像内の領域Ｒ１において、輝度の高い画素が連続的に繋がっている水平線（水平の画素列）を検出する。
【００９０】
その後、境界判定部２３２は、Ｇ成分の画像データに対応する画像内の領域Ｒ１において、輝度の高い画素が連続的に繋がっている水平線を境界線として判定する（ステップＳ２０３）。具体的には、図１３に示すように、境界判定部２３２は、画像Ｗ１内の領域Ｒ１において、輝度の高い画素が連続的に繋がっている水平線Ｃ１を境界線として判定する。ステップＳ２０３の後、撮像装置１は、図３のメインルーチンへ戻る。
【００９１】
ステップＳ１１３の後、レンズ操作部３５が操作されていない場合（ステップＳ１１４：Ｎｏ）、画像抽出部１０３は、画像データ（ＲＡＷデータ）からＲＢ成分を抽出した抽出画像データを生成する（ステップＳ１１５）。この場合、画像抽出部１０３は、撮像素子６が生成した画像データの同一フレーム（同じタイミング）を用いて抽出画像データを生成する。
【００９２】
その後、色空間変更部１０４は、画像抽出部１０３が生成した抽出画像データの色空間の変数を変更する（ステップＳ１１６）。具体的には、色空間変更部１０４は、画像抽出部１０３が生成した抽出画像データに含まれる彩度の色空間座標の変数を零または負にする色空間変更処理を行うことによって、ＲＢ成分の抽出画像データの白黒化（グレースケール化）を行う。たとえば、図１４に示すように、色空間変更部１０４は、ＲＢ成分の抽出画像データに対して、彩度の色空間座標の変数を零にする色空間変更処理を行うことによって、抽出画像データに対応する抽出画像Ｗ３の白黒化を行う。なお、色空間変更部１０４は、ＲＢ成分の抽出画像データに含まれる色相の変数も合わせて変更してもよい。
【００９３】
続いて、画像合成部１０５は、境界判定部２３２が判定した境界に基づいて、ＲＧＢ成分を含む画像データに、色空間変更部１０４が色空間変更処理を施したＲＢ成分の抽出画像データを合成して合成画像データを生成する（ステップＳ１１７）。具体的には、図１５に示すように、画像合成部１０５は、境界判定部２３２が判定した画像内において暗部の領域（上半分）に対し、抽出画像データに対応する白黒の抽出画像Ｗ３（図１５（ｂ））を採用し、明部の領域（下半分）に対し、ＲＧＢ成分を含む画像Ｗ２（図１５（ａ））を採用して合成画像データに対応する合成画像Ｗ４（図１５（ｃ））を生成する。この際、画像合成部１０５は、画像Ｗ２の画像データに、暗部の領域に抽出画像Ｗ３の抽出画像データを加算して平均化を行うことによって合成画像データを生成してもよい。
【００９４】
その後、表示制御部２３４は、画像合成部１０５が生成した合成画像データに対応するライブビュー画像を表示部１５に表示させる（ステップＳ１１８）。具体的には、図１５（ｃ）に示す合成画像Ｗ４を表示部１５に表示させる。ステップＳ１１８の後、撮像装置１は、ステップＳ１１０へ移行する。
【００９５】
ステップＳ１１３の後、レンズ操作部３５が操作された場合（ステップＳ１１４：Ｙｅｓ）、境界判定部２３２は、画像内における境界の移動が限界であるか否かを判定する（ステップＳ１１９）。境界判定部２３２が画像内における境界の移動が限界であると判定した場合（ステップＳ１１９：Ｙｅｓ）、撮像装置１は、後述するステップＳ１２０へ移行する。これに対して、境界判定部２３２が画像内における境界の移動が限界でないと判定した場合（ステップＳ１２４：Ｎｏ）、撮像装置１は、後述するステップＳ１２４へ移行する。
【００９６】
ステップＳ１２０において、画像抽出部１０３は、ＲＢ成分を画像データ（ＲＡＷデータ）から抽出した抽出画像データを生成する。
【００９７】
続いて、色空間変更部１０４は、画像抽出部１０３が生成した抽出画像データの色空間の変数を変更する（ステップＳ１２１）。具体的には、色空間変更部１０４は、画像抽出部１０３が生成した抽出画像データに含まれる彩度の色空間座標の変数を零または負にする色空間変更処理を行うことによって、ＲＢ成分の抽出画像データの白黒化を行う。
【００９８】
その後、画像合成部１０５は、ＲＧＢ成分を含む画像データに、色空間変更部１０４が色空間変更処理を施したＲＢ成分の抽出画像データを加算して平均化を行った合成画像データを生成する（ステップＳ１２２）。
【００９９】
続いて、表示制御部２３４は、画像合成部１０５が生成した合成画像データに対応する合成画像をライブビュー画像として表示部１５に表示させる（ステップＳ１２３）。具体的には、図１６に示すように、表示制御部２３４は、画像合成部１０５が生成した合成画像データに対応する合成画像Ｗ５をライブビュー画像として表示部１５に表示させる。ステップＳ１２３の後、撮像装置１は、ステップＳ１１０へ移行する。
【０１００】
ステップＳ１２４において、制御部２３は、レンズ操作部３５から入力される指示信号に応じて、画像内において明暗の領域を分ける境界を移動させる。ステップＳ１２４の後、撮像装置１は、ステップＳ１１０へ移行する。
【０１０１】
ステップＳ１２５において、撮像装置１が撮影モードのマニュアル星空強調モードに設定されている場合（ステップＳ１２５：Ｙｅｓ）、撮像装置１は、後述するステップＳ１２６へ移行する。これに対して、撮像装置１が撮影モードのマニュアル星空強調モードに設定されていない場合（ステップＳ１２５：Ｎｏ）、撮像装置１は、後述するステップＳ１１０へ移行する。
【０１０２】
ステップＳ１２６において、レンズ操作部３５が操作された場合（ステップＳ１２６：Ｙｅｓ）、画像抽出部１０３は、レンズ操作部３５から入力された指示信号に基づいて、画像データに含まれるＲＧＢ成分のうち次の１成分を抽出した抽出画像データを生成する。（ステップＳ１２７）。具体的には、画像抽出部１０３は、現在選択された成分がＲ成分の場合、画像データからＧ成分を抽出した抽出画像データを生成する。これに対して、レンズ操作部３５が操作されていない場合（ステップＳ１２６：Ｎｏ）、画像抽出部１０３は、画像データに含まれるＲＧＢ成分のうち所定の１成分、たとえば画像データからＲ成分を抽出した抽出画像データを生成する（ステップＳ１２８）。
【０１０３】
ステップＳ１２７およびステップＳ１２８の後、色空間変更部１０４は、画像抽出部１０３が生成した抽出画像データの白黒化を行う（ステップＳ１２９）。具体的には、色空間変更部１０４は、画像抽出部１０３が生成した抽出画像データに含まれる彩度を零または負にする変換を行うことによって、抽出画像データの白黒化を行う。この場合、色空間変更部１０４は、抽出画像データに含まれる色相の変数も合わせて変更してもよい。
【０１０４】
続いて、境界判定部２３２は、色空間変更部１０４が色空間の変数を変更した抽出画像データに対応する抽出画像内において白部よび黒部を判定する（ステップＳ１３０）。具体的には、境界判定部２３２は、色空間変更部１０４が色空間の変数を変更した白黒の抽出画像を構成する画素毎に、白部または黒部であるか否かを判定し、この判定結果と抽出画像内の座標とを対応付けてＳＤＲＡＭ１９に記録する。より詳細には、境界判定部２３２は、画素毎に輝度が閾値以上であるか否かを判定する。なお、境界判定部２３２は、白黒の抽出画像を複数の領域に分割し、この分割した複数の領域それぞれが白部または黒部であるかを判定し、この判定結果と抽出画像内の座標とを対応付けてＳＤＲＡＭ１９に記憶してもよい。
【０１０５】
その後、境界判定部２３２は、撮像素子６が生成した画像データ（ＲＡＷデータ）に対応するＲＧＢ成分を含む画像（カラー画像）内において所定の明るさ以上の画素を白部とし（ステップＳ１３１）、ＲＧＢ成分を含む画像内において所定の暗さ以上の画素を黒部とする（ステップＳ１３２）。
【０１０６】
続いて、画像合成部１０５は、境界判定部２３２が判定した画像内において所定の明るさ以上の画素に、白黒画像化を行った抽出画像データを合成して合成画像データを生成する（ステップＳ１３３）。
【０１０７】
その後、表示制御部２３４は、画像合成部１０５が生成した合成画像データに対応する画像をライブビュー画像として表示部１５に表示させる（ステップＳ１３４）。ステップＳ１３４の後、撮像装置１は、ステップＳ１１０へ移行する。
【０１０８】
ステップＳ１２５において、撮像装置１がマニュアル星空強調モードでない場合（ステップＳ１２５：Ｎｏ）、撮像装置１は、ステップＳ１１０へ移行する。
【０１０９】
ステップＳ１０１において、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は、記録媒体１７に記録された画像データを表示部１５で再生する再生表示処理を実行する（ステップＳ１３５）。ステップＳ１３５の後、撮像装置１は、ステップＳ１１０へ移行する。
【０１１０】
以上説明した本発明の実施の形態１によれば、画像合成部１０５が撮像素子６によって生成された画像データに、画像抽出部１０３によって生成された抽出画像データを合成して合成画像データを生成するので、ビルと星が入り込む夜景を撮影した場合であっても、星を目立たせた撮影結果を得ることができる。
【０１１１】
また、本発明の実施の形態１によれば、長時間露光を行うことなく、星を撮影することができる。
【０１１２】
また、本発明の実施の形態１によれば、入力部１４を介して所定の波長帯域を選択することによって、被写体の特性に応じた撮影を行うことができるので、たとえば被写体として花火等を撮影する際に、被写体を背景から目立たせた画像を撮影することができる。ｋの場合、画像抽出部１０３は、画像データから花火の波長帯域、たとえば赤色または青色を除去した抽出画像データを生成すればよい。
【０１１３】
また、本発明の実施の形態１によれば、特殊なフィルタをレンズ部３に設けることなく、簡易な構成で星を背景から目立たせた画像を撮影することができる。
【０１１４】
また、本発明の実施の形態１によれば、画像合成部１０５が境界判定部２３２の判定結果に応じて、画像データに抽出画像データを加算して平均化を行った合成画像データを生成するので、画像内において明暗の境界を判定できない場合であっても、星を目立たせた画像を撮影することができる。
【０１１５】
また、本発明の実施の形態１によれば、画像抽出部１０３が波長選択部２３１によって選択された波長領域の抽出画像データを生成し、画像合成部１０５が画像データに画像抽出画像データによって生成された抽出画像データを合成するので、被写体の特性に応じて背景から目立たせた画像を撮影することができる。
【０１１６】
なお、本発明の実施の形態１では、画像抽出部１０３が原色フィルタの波長帯域の成分を抽出した抽出画像データを生成したが、カラーフィルタ６１が補色フィルタの場合、この補色フィルタの波長帯域の成分を抽出した抽出画像データを生成してもよい。
【０１１７】
また、本発明の実施の形態１では、画像合成部１０５がＲＡＷデータに、画像抽出部１０３が生成した抽出画像データを合成して合成画像データを生成していたが、たとえば、画像圧縮展開部１３が圧縮した圧縮画像データに抽出画像データを合成して合成画像データを生成してもよい。
【０１１８】
また、本発明の実施の形態１では、波長選択部２３１および境界判定部２３２が制御部２３に設けられていたが、画像処理部１０に設けてもよい。
【０１１９】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。本実施の形態２にかかる撮像装置１は、上述した実施の形態１にかかる撮像装置１と同一の構成を有し、撮像装置１が実行する処理が異なる。このため、以下においては、本実施の形態２にかかる撮像装置が実行する処理のみを説明する。なお、上述した実施の形態１にかかる撮像装置１と同一の構成には同一の符号を付して説明を省略する。
【０１２０】
図１７は、本実施の形態２にかかる撮像装置１が実行する処理の概要を示すフローチャートである。
【０１２１】
ステップＳ３０１〜ステップＳ３１４は、図３のステップＳ１０１〜ステップＳ１１４にそれぞれ対応する。
【０１２２】
ステップＳ３１５において、画像抽出部１０３は、ＲＧＢ成分を含む画像データからＲＢ成分を抽出した抽出画像データを生成する。具体的には、図１８に示すように、画像抽出部１０３は、ＲＧＢ成分を含む画像データに対応する画像Ｗ１１からＲＢ成分を抽出した抽出画像データを生成する。
【０１２３】
続いて、色空間変更部１０４は、画像抽出部１０３が生成した抽出画像データの色空間の変数を変更する（ステップＳ３１６）。具体的には、色空間変更部１０４は、画像抽出部１０３が生成した抽出画像データに含まれる彩度の色空間座標の変数を零または負にする色空間変更処理を行うことによって、ＲＢ成分の抽出画像データの白黒化（グレースケール化）を行う。たとえば、図１９に示すように、色空間変更部１０４は、ＲＢ成分の抽出画像データに対して、彩度の色空間座標の変数を零にする色空間変更処理を行うことによって、抽出画像データに対応する白黒の抽出画像Ｗ１２を生成する。
【０１２４】
その後、色空間変更部１０４は、境界判定部２３２が判定した境界から段階的に抽出画像の輝度を低下させる（ステップＳ３１７）。具体的には、図１９に示すように、色空間変更部１０４は、抽出画像Ｗ１２の境界Ｃ１から上下方向の端部に向けて輝度の変数を段階的に低下させる色空間変更処理を行う。
【０１２５】
続いて、画像合成部１０５は、境界判定部２３２が判定した境界に基づいて、ＲＧＢ成分を含む画像データに、色空間変更部１０４が色空間変更処理を施したＲＢ成分の抽出画像データを合成して合成画像データを生成する（ステップＳ３１８）。具体的には、図２０に示すように、画像合成部１０５は、境界判定部２３２が判定した画像内において境界Ｃ１から暗部の領域（上半分）に対し、抽出画像データに対応する白黒の抽出画像Ｗ１２（図２０（ｂ））を採用し、境界Ｃ１から明部の領域（下半分）に対し、ＲＧＢ成分を含む画像Ｗ１１（図２０（ａ））を採用して合成画像データに対応する合成画像Ｗ１３（図２０（ｃ））を生成する。この際、画像合成部１０５は、画像Ｗ１１の画像データに、暗部の領域に抽出画像Ｗ１２の抽出画像データを加算して平均化を行うことによって合成画像データを生成してもよい。
【０１２６】
その後、表示制御部２３４は、画像合成部１０５が生成した合成画像データに対応するライブビュー画像を表示部１５に表示させる（ステップＳ３１９）。具体的には、図２０（ｃ）に示す合成画像Ｗ１３を表示部１５に表示させる。ステップＳ３１９の後、撮像装置１は、ステップＳ３１０へ移行する。
【０１２７】
ステップＳ３２０〜ステップＳ３３６は、図３のステップＳ１１９〜ステップＳ１３５にそれぞれ対応する。
【０１２８】
以上説明した本発明の実施の形態２によれば、画像合成部１０５が撮像素子６によって生成された画像データに、画像抽出部１０３によって生成された抽出画像データを合成して合成画像データを生成するので、ビルと星が入り込む夜景を撮影した場合であっても、星を目立たせた撮影結果を得ることができる。
【０１２９】
また、本発明の実施の形態２によれば、画像合成部１０５が色空間変更部１０４によって境界Ｃ１から段階的に上下方向の端部に向けて輝度を低下させた抽出画像データを画像データに合成して合成画像データを生成するので、画像内において暗部と明部との境界をより自然で滑らかに連続的につながる画像を得ることができるとともに、星を目立たせた画像を得ることができる。
【０１３０】
（その他の実施の形態）
また、本発明にかかる撮像装置は、デジタル一眼レフカメラ以外にも、たとえばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。
【０１３１】
また、本発明においては、暗い中を観察、表示するときの、定常的に存在する有害光成分の除去技術として、産業用の計測器や観察装置、医療用の診断装置に活用可能であることは言うまでもない。特定の波長成分を多く含む有害光の場合、この発明の考え方によって影響を減らした、正しい陰影や光点の表示、観察ができる。
【０１３２】
また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。
【０１３３】
また、本発明にかかる撮像装置および画像処理装置に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１３４】
また、本発明にかかる撮像装置および画像処理装置に実行させるプログラムは、ネットワーク経由でダウンロードしてＦｌａｓｈメモリや記録媒体等に記録させてもよい。さらに、本発明にかかる撮像装置および画像処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１３５】
また、本発明にかかる撮像装置および画像処理装置に実行させるプログラムは、オンラインストア等のネットワーク経由で販売または提供を行ってもよい。
【０１３６】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０１３７】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０１３８】
１  撮像装置
２  本体部
３  レンズ部
４  シャッタ
５  シャッタ駆動部
６  撮像素子
７  撮像素子駆動部
８  信号処理部
９  Ａ／Ｄ変換部
１０  画像処理部
１１  ＡＥ処理部
１２  ＡＦ処理部
１３  画像圧縮展開部
１４  入力部
１５  表示部
１６  表示駆動部
１７  記録媒体
１８  メモリＩ／Ｆ
１９  ＳＤＲＡＭ
２０  Ｆｌａｓｈメモリ
２１  本体通信部
２２  バス
２３  制御部
３１  光学系
３２  レンズ駆動部
３３  絞り
３４  絞り駆動部
３５  レンズ操作部
３６  レンズＦｌａｓｈメモリ
３７  レンズ通信部
３８  レンズ制御部
６１  カラーフィルタ
６２  受光部
６３  読み出し部
１０１  輝度変換部
１０２  コントラスト算出部
１０３  画像抽出部
１０４  色空間変更部
１０５  画像合成部
１４１  電源スイッチ
１４２  レリーズスイッチ
１４３  削除スイッチ
１４４  操作スイッチ
１４５  メニュースイッチ
１４６  再生スイッチ
１４７  動画スイッチ
１４８  タッチパネル
１９１  ＲＡＷデータ記録部
１９２  画像データ一時記録部
２０１  プログラム記録部
２３１  波長選択部
２３２  境界判定部
２３３  撮像制御部
２３４  表示制御部
【図１】
2015023313.tif 000003
【図２】
2015023313.tif 000004
【図３】
2015023313.tif 000005
【図７】
2015023313.tif 000006
【図８】
2015023313.tif 000007
【図９】
2015023313.tif 000008
【図１０】
2015023313.tif 000009
【図１１】
2015023313.tif 000010
【図１４】
2015023313.tif 000011
【図１７】
2015023313.tif 000012
【図１８】
2015023313.tif 000013
【図１９】
2015023313.tif 000014
【図２０】
2015023313.tif 000015
【図４】
2015023313.tif 000016
【図５】
2015023313.tif 000017
【図６】
2015023313.tif 000018
【図１２】
2015023313.tif 000019
【図１３】
2015023313.tif 000020
【図１５】
2015023313.tif 000021
【図１６】
2015023313.tif 000022