(57)【要約】【課題】実際にフィルタを用いることなく、照明用カラーフィルタを介して照明光を照射し撮影したかのような画像を得ることができる撮像システム等を提供する。【解決手段】照明光を発光する発光部２と、撮像部３と、画像処理部４と、制御部５と、を備え、制御部５は、発光部２に０発光量以上の第１の発光量で発光を行わせながら撮像部３に第１の画像データを取得させると共に、発光部２に第１の発光量よりも大きい第２の発光量で発光を行わせながら撮像部３に第２の画像データを取得させ、画像処理部４に、第２の画像データと第１の画像データとの差分を算出させ、算出された差分の色相を変化させ、色相を変化させた差分を第１の画像データに加算させて目標画像データを算出させる撮像システム１。【選択図】図１
2015056805.tif 000002
【特許請求の範囲】
【請求項１】
被写体へ向けて照明光を発光する発光部と、
前記被写体を撮影して画像データを取得する撮像部と、
前記画像データに画像処理を行う画像処理部と、
必要に応じて前記発光部に発光を行わせながら前記撮像部に撮影を行わせ、前記画像処理部に前記画像データに対する画像処理を行わせる制御部と、
を具備し、
前記制御部は、前記発光部に０発光量以上の第１の発光量で発光を行わせながら前記撮像部に第１の画像データを取得させると共に、前記発光部に前記第１の発光量よりも大きい第２の発光量で発光を行わせながら前記撮像部に第２の画像データを取得させ、前記画像処理部に、前記第２の画像データと前記第１の画像データとの差分を算出させ、算出された前記差分の色相を変化させ、色相を変化させた前記差分を前記第１の画像データに加算させて目標画像データを算出させることを特徴とする撮像システム。
【請求項２】
前記第１の発光量は発光を行わない０発光量であることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記制御部は、前記画像処理部に、カラー画像を撮影可能な照明光と目標とするカラー照明光との任意の色空間における各成分の比を前記差分に成分毎に乗算することにより、該差分の色相を変化させることを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記制御部は、前記画像処理部に、輝度色差空間における輝度軸周りに前記差分を所定角度だけ回転させることにより、該差分の色相を変化させることを特徴とする請求項２に記載の撮像システム。
【請求項５】
前記制御部は、前記画像処理部に、前記差分の彩度を増加させることを特徴とする請求項４に記載の撮像システム。
【請求項６】
前記制御部は、前記画像処理部に、輝度色差空間における輝度軸周りの特定の角度に一致するように前記差分を回転させることにより、該差分の色相を変化させることを特徴とする請求項２に記載の撮像システム。
【請求項７】
前記画像処理部は、前記差分の色相の変化を、任意の色空間において、該差分の輝度を変化させることがないように行うことを特徴とする請求項２に記載の撮像システム。
【請求項８】
前記画像処理部は、前記差分の色相が空間位置に応じて異なる色相となるように、色相を変化させることを特徴とする請求項２に記載の撮像システム。
【請求項９】
前記画像処理部は、前記差分の色相が空間位置に応じて連続的に異なるグラデーションの色相となるように、色相を変化させることを特徴とする請求項８に記載の撮像システム。
【請求項１０】
前記画像処理部は、前記差分の色相の変化を、任意の色空間において、該差分の色相および彩度に依ることなく該差分の輝度のみに基づき行うことを特徴とする請求項２に記載の撮像システム。
【請求項１１】
前記画像処理部は、前記第１の画像データに係る第１の輝度画像データと、前記第２の画像データに係る第２の輝度画像データとを算出し、さらに第２の輝度画像データと第１の輝度画像データとの輝度差分を算出し、算出した輝度差分からＲＧＢ各色成分毎に異なる階調変換特性を用いてＲ差分画像データ、Ｇ差分画像データ、およびＢ差分画像データを生成し、生成したＲ，Ｇ，Ｂ差分画像データを前記第１の画像データに加算して目標画像データを算出することを特徴とする請求項１０に記載の撮像システム。
【請求項１２】
０発光量以上の第１の発光量で照明光を発光して第１の画像データを取得するステップと、
前記第１の発光量よりも大きい第２の発光量で照明光を発光して第２の画像データを取得するステップと、
前記第２の画像データと前記第１の画像データとの差分を算出するステップと、
算出した前記差分の色相を変化させるステップと、
色相を変化させた前記差分を前記第１の画像データに加算して目標画像データを算出するステップと、
を有することを特徴とする撮像方法。
【請求項１３】
コンピュータに、
０発光量以上の第１の発光量で照明光を発光して第１の画像データを取得するステップと、
前記第１の発光量よりも大きい第２の発光量で照明光を発光して第２の画像データを取得するステップと、
前記第２の画像データと前記第１の画像データとの差分を算出するステップと、
算出した前記差分の色相を変化させるステップと、
色相を変化させた前記差分を前記第１の画像データに加算して目標画像データを算出するステップと、
を実行させるための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色が付いた照明光を照射して撮影したかのような画像を取得する撮像システム、撮像方法、撮像プログラムに関する。
【背景技術】
【０００２】
撮像機能を有するデジタルカメラやスマートフォンなどの撮像システムには、フラッシュ光を発光するための発光部が設けられているものがある。こうした発光部の前面に所定のフィルタ色の照明用カラーフィルタを配置してフラッシュ光を発光し撮影を行うことにより、発光部からの距離に応じた光量のフラッシュ光が到達した被写体の、フィルタ色の色味がついた特殊効果画像を撮影することができるカメラが開発されている。
【０００３】
ところで、動画撮影中にフラッシュ発光を伴う静止画撮影を行うときに、静止画の撮影タイミングがずれてしまった場合に対応するための技術が、例えば特開２００５−３１８４５０号公報に記載されている。すなわち、動画撮影中に動く被写体の静止画を撮影しようとする場合に、所望のタイミングでレリーズボタンを押下することは難しく、所望のタイミングから時間が少しずれたタイミングの静止画を撮影してしまうことがある。このような場合には、所望のタイミングの画像は、フラッシュ発光をしていない動画中の１コマのフレーム画像に該当すると考えられる。そこで該公報に記載の技術は、フラッシュ発光して撮影した画像と、フラッシュ発光せずに（または発光量を少なくして）撮影した画像とを用いて、これら２枚の画像間における被写体の移動量を算出し、算出した移動量に基づきフラッシュ発光して撮影した画像を補正することで、発光せずに撮影した画像とほぼ同様のシーンを生成する技術となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３１８４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般的なデジタルカメラや携帯機器等の撮像システムには照明用カラーフィルタが存在していないために、色味がついたフラッシュ光を用いた特殊効果画像は、撮影することができないか、もしくはユーザ自身が照明用カラーフィルタを用意するといった手間が必要である。
【０００６】
また、照明用カラーフィルタがない一般的な撮像システムでは、仮に上述した特開２００５−３１８４５０号公報に記載されている技術を利用したとしても、色味が付いた特殊効果画像を撮影することができない。
【０００７】
一方、実際に照明用カラーフィルタを用いて色味がついたフラッシュ光の下に撮影を行った場合には、得られる画像が白色光からある特定の色相にカラーバランスがずれた画像となってしまい、つまり、カラー画像を構成する３以上の色成分の内の、幾つかの色成分は比較的高い画素値となっているが、他の幾つかの色成分は画素値が低いことがある。このような場合には、撮影後にユーザーが、他の色相の画像（異なる色の照明用カラーフィルタを介して照明光を照射し撮影したかのような画像）を、画像処理により得たいと考えたとしても、所望の色味の画像を得ることができない場合がある。
【０００８】
そこで、色味がついた照明光を実際に照射するのに代えて、自然光もしくは白色照明光の下で撮影して得られた画像のホワイトバランスを変更することにより色味がついた画像を得ることも考えられるが、この場合には、本来フラッシュ光が届かない部分の色味も変わってしまうことになるために、意図した画像とは異なってしまうことがある。
【０００９】
本発明は上記事情に鑑みてなされたものであり、照明用カラーフィルタを実際に用いることなく、照明用カラーフィルタを介して照明光を照射し撮影したかのような画像を得ることができる撮像システム、撮像方法、撮像プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明のある態様による撮像システムは、被写体へ向けて照明光を発光する発光部と、前記被写体を撮影して画像データを取得する撮像部と、前記画像データに画像処理を行う画像処理部と、必要に応じて前記発光部に発光を行わせながら前記撮像部に撮影を行わせ、前記画像処理部に前記画像データに対する画像処理を行わせる制御部と、を具備し、前記制御部は、前記発光部に０発光量以上の第１の発光量で発光を行わせながら前記撮像部に第１の画像データを取得させると共に、前記発光部に前記第１の発光量よりも大きい第２の発光量で発光を行わせながら前記撮像部に第２の画像データを取得させ、前記画像処理部に、前記第２の画像データと前記第１の画像データとの差分を算出させ、算出された前記差分の色相を変化させ、色相を変化させた前記差分を前記第１の画像データに加算させて目標画像データを算出させる。
【００１１】
本発明の他の態様による撮像方法は、０発光量以上の第１の発光量で照明光を発光して第１の画像データを取得するステップと、前記第１の発光量よりも大きい第２の発光量で照明光を発光して第２の画像データを取得するステップと、前記第２の画像データと前記第１の画像データとの差分を算出するステップと、算出した前記差分の色相を変化させるステップと、色相を変化させた前記差分を前記第１の画像データに加算して目標画像データを算出するステップと、を有する。
【００１２】
本発明のさらに他の態様による撮像プログラムは、コンピュータに、０発光量以上の第１の発光量で照明光を発光して第１の画像データを取得するステップと、前記第１の発光量よりも大きい第２の発光量で照明光を発光して第２の画像データを取得するステップと、前記第２の画像データと前記第１の画像データとの差分を算出するステップと、算出した前記差分の色相を変化させるステップと、色相を変化させた前記差分を前記第１の画像データに加算して目標画像データを算出するステップと、を実行させるためのプログラムである。
【発明の効果】
【００１３】
本発明の撮像システム、撮像方法、撮像プログラムによれば、照明用カラーフィルタを実際に用いることなく、照明用カラーフィルタを介して照明光を照射し撮影したかのような画像を得ることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態１における撮像システムの構成を示すブロック図。
【図２】上記実施形態１における画像の状態の一変化例を示す図。
【図３】上記実施形態１における画像の状態の他の変化例を示す図。
【図４】上記実施形態１における撮像システムの処理を示すフローチャート。
【図５】上記実施形態１において、白色照明光の色成分毎の相対強度の例を示す線図。
【図６】上記実施形態１において、照明用カラーフィルタを介した照明光の色成分毎の相対強度の例を示す線図。
【図７】本発明の実施形態２における撮像システムの構成を示すブロック図。
【図８】上記実施形態２の撮像システムにおけるメイン処理の流れを示すフローチャート。
【図９】上記実施形態２の撮像システムにおける撮影処理の流れを示すフローチャート。
【図１０】上記実施形態２において、第１発光および第２発光の組み合わせの例を示す図表。
【図１１】上記実施形態２の撮像システムにおける画像処理の流れを示すフローチャート。
【図１２】上記実施形態２の撮像システムにおける基本画像処理の流れを示すフローチャート。
【図１３】上記実施形態２の撮像システムにおける特殊画像処理の流れを示すフローチャート。
【図１４】上記実施形態２において、赤色のカラー差分画像を生成するための特性曲線セットの例を示す図。
【図１５】上記実施形態２において、緑色のカラー差分画像を生成するための特性曲線セットの例を示す図。
【図１６】上記実施形態２において、青色のカラー差分画像を生成するための特性曲線セットの例を示す図。
【図１７】上記実施形態２の撮像システムにおける再生・編集処理の流れを示すフローチャート。
【図１８】本発明の実施形態３の撮像システムにおける特殊画像処理の流れを示すフローチャート。
【図１９】上記実施形態３において、輝度差Ｙｄに応じて求められる補正係数Ｋの変化を示す線図。
【図２０】本発明の実施形態４の撮像システムにおける特殊画像処理の流れを示すフローチャート。
【図２１】上記実施形態４において、第１カラー差分画像と第２カラー差分画像との画面における合成比率を示す図。
【図２２】本発明の実施形態５の撮像システムにおける特殊画像処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１６】
図１から図６は本発明の実施形態１を示したものであり、図１は撮像システム１の構成を示すブロック図、図２は画像の状態の一変化例を示す図、図３は画像の状態の他の変化例を示す図、図４は撮像システム１の処理を示すフローチャート、図５は白色照明光の色成分毎の相対強度の例を示す線図、図６は照明用カラーフィルタを介した照明光の色成分毎の相対強度の例を示す線図である。
【００１７】
図１に示すように、本実施形態の撮像システム１は、被写体へ向けて照明光を発光する発光部２と、被写体を撮影して画像データを取得する撮像部３と、画像データに画像処理を行う画像処理部４と、必要に応じて発光部２に発光を行わせながら撮像部３に撮影を行わせ、画像処理部４に画像データに対する画像処理を行わせる制御部５と、を備えている。ここに、撮像システム１の具体例は、後述する他の実施形態で説明するように、例えば（レンズ交換式あるいはレンズ一体型の）デジタルカメラ、あるいはカメラ機能を備えた電子機器（例えばスマートフォンなど）、等の撮像装置を含むシステムである。
【００１８】
発光部２は、カラー画像を撮影可能な照明光（例えば、一般的な白色照明光）を照射する発光装置として構成されている。この発光部２の例としては、短時間ではあるが明るい発光が可能であり静止画撮影時に使用するのに適した閃光発光装置（いわゆるフラッシュ等）、明るさは閃光発光装置よりも暗いが長時間の連続発光が可能であり動画撮影時に使用するのに適した半導体発光装置（いわゆるＬＥＤ等）などが挙げられるが、これらに限定されるものではない。
【００１９】
制御部５が行う制御について、図２および図４を参照してさらに説明する。
【００２０】
図４に示す処理を開始すると、制御部５は、発光部２に０発光量以上の第１発光量（従って、第１発光量は、発光を行わない０発光量を含む）で発光を行わせながら撮像部３に第１画像データを取得させる（ステップＳ１）。ここで取得された第１画像データは、図２のＪ１に示すように、環境光Ｎと第１発光量の照明光Ｆ１との下に撮影された（Ｎ＋Ｆ１）画像である。
【００２１】
次に、制御部５は、発光部２に第１発光量よりも大きい第２の発光量で発光を行わせながら撮像部３に第２の画像データを取得させる（ステップＳ２）。ここで取得された第２画像データは、図２のＪ２に示すように、環境光Ｎと第２発光量の照明光Ｆ２との下に撮影された（Ｎ＋Ｆ２）画像である。
【００２２】
なお、第１画像データと第２画像データの取得順序は逆であっても構わないが、強い照明光での発光が行われると撮影が終了したとユーザが勘違いしてカメラを移動させてしまうことも考えられるために、コンシューマ市場を考慮した場合には図４に示した順序が好ましい。
【００２３】
続いて、制御部５は、画像処理部４に、第２の画像データと第１画像データとの差分（差分画像）を算出させる（ステップＳ３）。第２発光量は第１発光量よりも大きいために、この差分画像の算出は、（Ｎ＋Ｆ２）画像から（Ｎ＋Ｆ１）画像を減算することにより行われる（なお、ここでは第１画像データと第２の画像データとの露光条件が同一であることを想定しているが、もし異なる場合には同一の露光条件の下で得られた画像となるように補正してから減算処理を行うことになる）。そして、この減算により、環境光Ｎによる画像成分（Ｎ画像）が消去されて、図２のＪ３に示すように、算出結果の差分画像は照明光のみに起因する（Ｆ２−Ｆ１）画像となる。
【００２４】
さらに、制御部５は、図２のＪ４に示すように、画像処理部４に、算出された差分画像（Ｆ２−Ｆ１）の色相を変化させる（ステップＳ４）。ここで行う色相変化処理（色相変換）は、処理対象の色部分が無彩色でない場合には少なくとも色相（必要に応じてさらに彩度）を変化させ、処理対象の色部分が無彩色である場合には色相および彩度を変化させる処理である。なお、輝度（あるいは明度）については変化する必要はないが、変化することを妨げるものでもない。また、この色相変化処理は、実効的に色相等が変化すれば足りるのであるから、特定の色空間で行うに限るものではなく、任意の色空間において行うことが可能である。
【００２５】
そして、制御部５は、画像処理部４に、色相変化処理を行った差分画像（「色相変化処理を行った差分画像」を以下では適宜「カラー差分画像」と呼ぶことにする）を第１画像データに加算させて目標画像データ（図２のＪ５参照）を算出させてから（ステップＳ５）、この処理を終了する。
【００２６】
次に、色相変化処理の具体例について、図５および図６を参照して説明する。
【００２７】
図５は、発光部２が照射する白色照明光の例えばＲＧＢ色空間における色成分毎の相対強度の例を示しており、白色照明光であるときの各色成分の相対強度を１としている。
【００２８】
一方、図６は、発光部２に、仮に照明用カラーフィルタ（この図６に示す例においては例えば赤色フィルタ）を装着して照明光を照射したと想定したときの、照明光の相対強度の例を示している。この例ではＲ成分はほぼ照明用カラーフィルタを透過され、Ｇ成分およびＢ成分は僅かな光量のみが照明用カラーフィルタを透過されている。
【００２９】
そこで色相変化処理の一例として、次のような方法が考えられる。
【００３０】
まず、任意の色空間（例えばＲＧＢ色空間、あるいは輝度色差空間（ＹＣｂＣｒ空間、ＹＵＶ空間、Ｌ＊ａ＊ｂ空間、ＹＰｂＰｒ空間等）など）におけるカラー画像を撮影可能な照明光の各成分（Ｃｘ０，Ｃｙ０，Ｃｚ０）と、想定する（目標とする）照明用カラーフィルタを介して照射した該照明光（「照明用カラーフィルタを介して照射した照明光」を以下では適宜「カラー照明光」と呼ぶことにする）の各成分（Ｃｘ１，Ｃｙ１，Ｃｚ１）と、の比Ｐを算出する。
（Ｐｘ，Ｐｙ，Ｐｚ）＝（Ｃｘ１／Ｃｘ０，Ｃｙ１／Ｃｙ０，Ｃｚ１／Ｃｚ０）
【００３１】
そして、差分画像（Ｆ２−Ｆ１）の各成分（［Ｆ２−Ｆ１］ｘ，［Ｆ２−Ｆ１］ｙ，［Ｆ２−Ｆ１］ｚ）に各成分毎の比Ｐを乗算して、
（［Ｆ２−Ｆ１］ｘ×Ｐｘ，［Ｆ２−Ｆ１］ｙ×Ｐｙ，［Ｆ２−Ｆ１］ｚ×Ｐｚ）
のようにカラー差分画像の算出を行うことが考えられる。
【００３２】
なお、一般的なカラーフィルタでは０≦Ｐｘ≦１，０≦Ｐｙ≦１，０≦Ｐｚ≦１であると考えられるために、この処理では輝度が減少すると考えられる。従って、色相変化処理の前後において輝度が維持されるような増幅処理をさらに行うようにしても良い。
【００３３】
この色相変化処理は、Ｃｘ＝Ｒ，Ｃｙ＝Ｇ，Ｃｚ＝Ｂとした具体例であるＲＧＢ色空間（図５および図６参照）において、カラー画像を撮影可能な照明光の具体例である白色照明光の各色成分（Ｒ０，Ｇ０，Ｂ０）と、目標とするカラー照明光の各色成分（Ｒ１，Ｇ１，Ｂ１）と、に基づき、
（Ｐｒ，Ｐｇ，Ｐｂ）＝（Ｒ１／Ｒ０，Ｇ１／Ｇ０，Ｂ１／Ｂ０）
のように算出した比Ｐを用いて、カラー差分画像を
（［Ｆ２−Ｆ１］ｒ×Ｐｒ，［Ｆ２−Ｆ１］ｇ×Ｐｇ，［Ｆ２−Ｆ１］ｂ×Ｐｂ）
のように算出した場合を考えると直感的に理解し易い。ここに、近年の撮像素子は原色系のＲＧＢカラーフィルタを搭載するものが比較的多いために、ＲＧＢ色空間における処理は、こうした撮像素子から得られたＲＡＷ画像に適用が容易である（そして、この処理は同時化処理を行う前の画像に対しても適用可能である）利点がある。ただし上述したように、各成分毎の比Ｐを差分画像の各成分に乗算してカラー差分画像を算出する技術は、ＲＧＢ色空間に限らず、その他の色空間（例えば、Ｃｘ＝Ｙ，Ｃｙ＝Ｃｂ，Ｃｚ＝Ｃｒとした色空間など）に適用しても構わない。
【００３４】
また、色相変化処理の他の例として、次のような方法が考えられる。
【００３５】
色相は、輝度色差空間（例えばＹＣｂＣｒ空間）において、輝度軸Ｙ周りの角度θにより表される。従って、差分画像（Ｆ２−Ｆ１）の各画素値を、輝度色差空間において、輝度軸Ｙ周りに所定角度Δθだけ回転させてカラー差分画像を得る方法が考えられる。なお、彩度は、輝度色差空間において輝度軸Ｙからの距離ｒにより表されるために、ここでは彩度は変更されないが、上述したように、さらに彩度を変更しても構わない。例えば彩度が０（無彩色）である画像データは、輝度軸Ｙ周りの回転だけでは色相を与えることができない。従って、この場合には、彩度を与えることをさらに行うと良い。これに限らず、より鮮やかな色彩とするために、彩度を増加させる（もしくは彩度として取り得る範囲における上限値を与える）等が考えられる。
【００３６】
あるいは、差分画像（Ｆ２−Ｆ１）の各画素値を、輝度色差空間において、特定の角度θｓに全て一致するように回転させてカラー差分画像を得る方法が考えられる。この場合には、全ての画素値が特定の色相に揃えられることになる。この場合にさらに、彩度を変更させても構わないのは上述と同様である。
【００３７】
これらのような色相変化処理の他の例は、上述したように輝度色差空間で行うのに適しているが、ほぼ同等の処理を他の色空間において行っても構わない。
【００３８】
ここで説明した色相変化処理の他の例は、輝度軸Ｙに垂直な色差平面内での変換処理であるために、画像処理部４は、差分画像の色相の変化を、任意の色空間において、差分画像の輝度を変化させることがないように行っていることになる。
【００３９】
こうして、カラー差分画像を第１画像に加算して得られる図２のＪ５に示す目標画像は、カラー照明光を照射して撮影したかのような画像（「カラー照明光を照射して撮影したかのような画像」を以下では適宜「擬カラー照明画像」と呼ぶことにする）となる。
【００４０】
なお、上述した処理を見れば分かるように、第１画像における第１発光量の照明光Ｆ１に起因する画像成分（Ｆ１画像）には色相変化処理が行われないために、処理結果として得られる目標画像は、カラー照明光に相当する画像成分だけでなく、白色照明光に相当する画像成分（Ｆ１画像）も含まれることになり、照明用カラーフィルタとしての効果が低くなってしまうことになる。
【００４１】
従って、第１発光量は発光を行わない０発光量であることがより好ましい。図３はこのような画像の状態の変化例を示している。
【００４２】
すなわち、Ｆ１＝０としているために、図３のＪ１’において得られるのは環境光Ｎによる画像成分のみのＮ画像である。また、Ｆ１が０であってＦ２と区別する必要がないために、図３のＪ２’においては、Ｆ２をＦと表記している。そして、Ｊ２’における（Ｎ＋Ｆ）画像からＪ１’におけるＮ画像を減算して得られるのは、図３のＪ３’に示すようにＦ画像である。
【００４３】
その後、結果として得られる目標画像は、照明光に起因する画像成分（Ｆ画像）の全てに色相変化処理が行われた画像となる。
【００４４】
なお、カラー差分画像の色相は、画像全体で同じにする必要はなく、空間位置に応じて異なるように変化させても構わない。その際には、カラー差分画像の色相を、部分的な空間位置毎に不連続に異ならせても良いし、空間位置に応じて連続的に異ならせグラデーションとなるようにしても構わない。
【００４５】
例えば、上述した色相変化処理の一例をＲＧＢ色空間において適用する場合には、第１の照明用カラーフィルタを想定した比Ｐ１＝（Ｐ１ｒ，Ｐ１ｇ，Ｐ１ｂ）と、第２の照明用カラーフィルタを想定した比Ｐ２＝（Ｐ２ｒ，Ｐ２ｇ，Ｐ２ｂ）とを、例えば数値ｑ（０≦ｑ≦１）を用いて、空間位置に応じた内分比（ｑ，１−ｑ）で混合し、
Ｐ＝（Ｐｒ，Ｐｇ，Ｐｂ）
＝（［ｑ×Ｐ１ｒ＋（１−ｑ）×Ｐ２ｒ］，
［ｑ×Ｐ１ｇ＋（１−ｑ）×Ｐ２ｇ］，
［ｑ×Ｐ１ｂ＋（１−ｑ）×Ｐ２ｂ］）
こうして算出した混合比Ｐの各色成分を、差分画像（Ｆ２−Ｆ１）の各色成分に上述したように各色毎に乗算して、カラー差分画像を算出すれば良い。
【００４６】
また例えば、色相変化処理の他の例を適用する場合には、第１の照明用カラーフィルタを想定した所定角度Δθ１と第２の照明用カラーフィルタを想定した所定角度Δθ２とを、空間位置に応じた内分比（ｑ，１−ｑ）で混合し、
Δθ＝ｑ×Δθ１＋（１−ｑ）×Δθ２
こうして算出した混合後の所定角度Δθだけ、差分画像の各画素値を輝度軸Ｙ周りに回転させてカラー差分画像を得れば良い。
【００４７】
あるいは、第１の照明用カラーフィルタを想定した第１の特定角度θｓ１と第２の照明用カラーフィルタを想定した第２の特定角度θｓ２とを、空間位置に応じた内分比（ｑ，１−ｑ）で混合し、
θｓ＝ｑ×θｓ１＋（１−ｑ）×θｓ２
こうして算出した混合後の特定角度θｓに一致するように差分画像の各画素値を回転させてカラー差分画像を得れば良い。
【００４８】
このような実施形態１によれば、第１の発光量の下に取得された第１の画像データと、第１の発光量よりも大きい第２の発光量の下に取得された第２の画像データと、の差分画像の色相を変化させ、色相を変化させたカラー差分画像を第１の画像データに加算して目標画像データを算出しているために、照明用カラーフィルタを実際に用いることなく、擬カラー照明画像を得ることができる。
【００４９】
また、発光部２が発光する照明光は、カラー画像を撮影可能な例えば一般的な白色照明光であるために、差分画像は白色照明光のみに起因する画像となり、白色を構成する各色成分（例えばＲＧＢ成分）が比較的バランス良く均等に含まれていることになる。従って、目標とする照明用カラーフィルタがどのような色のフィルタであっても擬カラー照明画像を生成することができると共に、ＲＡＷ画像等を保存しておけば撮影後に異なる色の擬カラー照明画像に所望に変更することも可能となる（逆にいえば、撮影後に異なる色の擬カラー照明画像に変更することができるようにするためには、照明光は、各色成分がバランス良く均等に含まれる白色照明光であることが好ましい）。
【００５０】
さらに、図３に示したように、第１の発光量を発光を行わない０発光量とした場合には、照明光に起因する画像成分の全てに色相変化処理が行われるために、より照明色効果の高い画像を得ることができる。
【００５１】
そして、カラー画像を撮影可能な照明光と目標とするカラー照明光との任意の色空間における各成分の比を差分に成分毎に乗算することにより差分の色相を変化させた場合には、実際に照明光を照射したかのような自然な擬カラー照明画像を得ることができる。
【００５２】
これに対して、輝度色差空間における輝度軸周りに差分を所定角度だけ回転させることにより差分の色相を変化させる場合には、色相を効率良く変更することができると共に、扱う画像データが輝度色差データである場合に他の色空間の信号への再変換が不要である利点がある。
【００５３】
また、差分の彩度を増加させる場合には、より鮮やかな色彩の擬カラー照明画像を得ることができる。
【００５４】
さらに、輝度色差空間における輝度軸周りの特定の角度に一致するように差分を回転させることにより差分の色相を変化させる場合には、特定の色相に揃ったカラー照明光に相当する鮮やかな擬カラー照明画像を得ることが可能となる。
【００５５】
そして、空間位置に応じて異なる色相となるようにカラー差分画像の色相を変化させた場合には、画像の部分毎に異なる色の照明用カラーフィルタを配置して撮影したかのような擬カラー照明画像を得ることが可能となる。このとき、カラー差分画像の色相が空間位置に応じて連続的に異なるグラデーションの色相となるように色相を変化させた場合には、滑らかな色変化の擬カラー照明画像を得ることができる。
【００５６】
また、差分画像の色相の変化を差分の輝度を変化させることがないように行った場合には、カラー照明光を過度に強調したりほとんど効果がないほど照度を低減した状態にしたりすることがなく、実際にカラー照明光を照射したかのような自然な擬カラー照明画像を得ることができる。
【００５７】
加えて、色相変化処理は、任意の色空間において行うことができるために、撮像部３から出力される画像データの色空間や、画像処理部４において取り扱う色空間の種類を問わない利便性を得ることができる。
［実施形態２］
【００５８】
図７から図１７は本発明の実施形態２を示したものであり、図７は撮像システム１の構成を示すブロック図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【００５９】
この撮像システム１は、交換式レンズ１１とカメラ本体１２とをインタフェース（Ｉ／Ｆ）１３を介して通信可能に接続して構成された撮像装置たるデジタルカメラと、このデジタルカメラからの信号に基づき被写体へ向けて照明光を発光する第２の発光部たる外部発光部２ｂと、を備えている。
【００６０】
まず、外部発光部２ｂは、カメラ本体１２にホットシュー等のアクセサリーシューを介して接続される外付けストロボであっても良いし、無線通信等を介して遠隔で発光されるワイヤレスストロボ等であっても構わない。
【００６１】
次に、交換式レンズ１１は、例えばレンズマウントを介してカメラ本体１２に対して着脱自在に装着されるようになっており、レンズマウントに形成した電気接点（交換式レンズ１１側に設けられた電気接点およびカメラ本体１２側に設けられた電気接点）等によりインタフェース１３が構成されている。こうして、交換式レンズ１１は、インタフェース１３を介してカメラ本体１２と通信可能となっている。
【００６２】
交換式レンズ１１は、レンズ１５と、絞り１６と、ドライバ１７と、マイクロコンピュータ１８と、フラッシュメモリ１９と、を備えている。
【００６３】
レンズ１５は、被写体の光学像をカメラ本体１２の後述する撮像素子２２上に結像するための撮影光学系である。
【００６４】
絞り１６は、レンズ１５を通過する光束の通過範囲を制御する光学絞りである。
【００６５】
ドライバ１７は、マイクロコンピュータ１８からの指令に基づき、レンズ１５を駆動してフォーカス位置の調整を行い、レンズ１５が電動ズームレンズ等である場合にはさらに焦点距離の変更も行う。加えて、ドライバ１７は、マイクロコンピュータ１８からの指令に基づき、絞り１６を駆動して開口径を変化させる。この絞り１６の駆動により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。
【００６６】
マイクロコンピュータ１８は、いわゆるレンズ側コンピュータであり、ドライバ１７、フラッシュメモリ１９、およびインタフェース１３と接続されている。そして、マイクロコンピュータ１８は、インタフェース１３を介して後述する本体側コンピュータであるマイクロコンピュータ５ａと通信し、マイクロコンピュータ５ａからの指令を受けて、フラッシュメモリ１９に記憶されている情報の読込／書込を行い、ドライバ１７を制御する。さらに、マイクロコンピュータ１８は、この交換式レンズ１１に関する各種の情報をマイクロコンピュータ５ａへ送信する。
【００６７】
フラッシュメモリ１９は、マイクロコンピュータ１８により実行される制御プログラムや、交換式レンズ１１に関する各種の情報を記憶する記憶媒体である。
【００６８】
インタフェース１３は、交換式レンズ１１のマイクロコンピュータ１８と、カメラ本体１２のマイクロコンピュータ５ａとを、双方向に通信可能に接続する。
【００６９】
続いて、カメラ本体１２は、内部発光部２ａと、シャッタ２１と、撮像部３と、ＲＡＷリサイズ部２５と、バス２６と、ＡＦ処理部２７と、ＡＥ処理部２８と、画像処理部４と、発光部通信部３１と、画像圧縮伸張部３２と、ＬＣＤドライバ３３と、ＬＣＤ３４と、メモリインタフェース（メモリＩ／Ｆ）３５と、記録媒体３６と、ＳＤＲＡＭ３７と、操作部３８と、フラッシュメモリ３９と、マイクロコンピュータ５ａと、を備えている。
【００７０】
内部発光部２ａは、マイクロコンピュータ５ａの制御に基づいて、被写体へ向けて照明光を発光する第１の発光部である。この内部発光部２ａは、空間的配置が異なる外部発光部２ｂと共に、上述した発光部２を構成している。
【００７１】
シャッタ２１は、レンズ１５からの光束が撮像素子２２へ到達する時間を制御するものであり、例えばシャッタ幕を走行させる構成のメカニカルシャッタとなっている。このシャッタ２１は、マイクロコンピュータ５ａの指令により駆動されて、光束の撮像素子２２への到達時間、つまり撮像素子２２による被写体の露光時間を制御する。
【００７２】
撮像部３は、被写体を撮影して画像データを取得するものであり、撮像素子２２と、アナログ処理部２３と、アナログ／デジタル変換部（Ａ／Ｄ変換部）２４と、を備えている。
【００７３】
撮像素子２２は、レンズ１５および絞り１６を介して結像された被写体の光学像を光電変換してアナログ画像信号を生成するものである。この撮像素子２２は、例えば、垂直方向および水平方向に配列された複数の画素の前面にベイヤー配列のカラーフィルタを配置した単板式の撮像素子として構成されている。なお、撮像素子２２は、単板式の撮像素子に限らないことは勿論であり、例えば基板厚み方向に色成分を分離するような積層式の撮像素子であっても良い。
【００７４】
アナログ処理部２３は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
【００７５】
Ａ／Ｄ変換部２４は、アナログ処理部２３から出力されたアナログ画像信号をデジタル画像信号（以後、画像データという）に変換する。このＡ／Ｄ変換部２４から出力される画像データは、いわゆるＲＡＷ画像データである。
【００７６】
ＲＡＷリサイズ部２５は、必要に応じてＲＡＷ画像データをリサイズするものであり、ＲＡＷ画像データを例えば間引いたり画素加算したり補間したりすることにより縮小されたＲＡＷ画像データを生成する。なお、ＲＡＷリサイズ部２５は、Ａ／Ｄ変換部２４から出力される画像データをリサイズしても良いが、ＳＤＲＡＭ３７に一旦記憶されたＲＡＷ画像データをリサイズしても構わない。
【００７７】
バス２６は、デジタルカメラ内のある場所で発生した各種のデータや制御信号を、デジタルカメラ内の他の場所へ転送するための転送路である。本実施形態におけるバス２６は、Ａ／Ｄ変換部２４と、ＲＡＷリサイズ部２５と、ＡＦ処理部２７と、ＡＥ処理部２８と、画像処理部４と、発光部通信部３１と、画像圧縮伸張部３２と、ＬＣＤドライバ３３と、メモリＩ／Ｆ３５と、ＳＤＲＡＭ３７と、マイクロコンピュータ５ａと、に接続されている。
【００７８】
Ａ／Ｄ変換部２４から出力されたＲＡＷ画像データ（あるいはさらにＲＡＷリサイズ部２５から出力された縮小ＲＡＷ画像データ）は、バス２６を介して転送され、ＳＤＲＡＭ３７に一旦記憶される。
【００７９】
ＡＦ処理部２７は、ＲＡＷ画像データ（あるいは縮小ＲＡＷ画像データ、以下同様）から高周波成分のデータを抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１５のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２２上のＡＦ用画素など）を用いて位相差ＡＦを行うようにしても構わない。
【００８０】
ＡＥ処理部２８は、ＲＡＷ画像データに基づき、被写体輝度を算出する。ここで算出された被写体輝度は、自動露出（ＡＥ）制御、すなわち、絞り１６の制御やシャッタ２１の制御、撮像素子２２の露光タイミング制御等に用いられる。なお、被写体輝度を算出するためのデータとして、ここではＲＡＷ画像データ等を利用したが、これに代えて、デジタルカメラに専用の測光センサを設けて得られたデータを利用するようにしても構わない。
【００８１】
画像処理部４は、ＲＡＷ画像データに対して種々の画像処理を行うものであり、基本画像処理部２９と、特殊画像処理部３０と、を備えている。
【００８２】
基本画像処理部２９は、ＲＡＷ画像データに対して基本的な画像処理を行うものである。この基本画像処理部２９が行う画像処理としては、例えば、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）処理、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズリダクション処理などが挙げられる。この基本画像処理部２９によって各処理が行われた後の画像データは、ＳＤＲＡＭ３７に再び記憶される。
【００８３】
また、特殊画像処理部３０は、上述した基本的な画像処理に該当しない画像処理、例えば画像の加工に関する処理を行うものである。本実施形態における特殊画像処理部３０は、具体的に、異なる発光量の、カラー画像を撮影可能な照明光（例えば白色照明光）の下で撮影された複数の画像に基づき、あたかもカラー照明光を照射して撮影したかのような擬カラー照明画像を生成する処理を含む処理を行うものとなっている。この特殊画像処理部３０によって処理された画像データは、ＳＤＲＡＭ３７に記憶される。
【００８４】
発光部通信部３１は、マイクロコンピュータ５ａの制御に基づいて発光制御信号を送信し、外部発光部２ｂを発光させるものである。なお、外部発光部２ｂが光のパターンで通信を行うタイプのものである場合には、内部発光部２ａが発光部通信部３１の機能を兼ねるようにしても構わない。
【００８５】
画像圧縮伸張部３２は、画像データを記録する際には、ＳＤＲＡＭ３７から画像データを読み出して、読み出した画像データを例えば静止画の場合にはＪＰＥＧ圧縮方式、動画の場合にはＪＰＥＧ圧縮方式またはＨ．２６４圧縮方式等の圧縮方式に従って圧縮し、圧縮した画像データをＳＤＲＡＭ３７に一旦記憶させる。こうしてＳＤＲＡＭ３７に記憶された圧縮された画像データは、マイクロコンピュータ５ａにより、ファイルを構成するために必要なヘッダが付加されて記録用のデータとして整えられる。そして、マイクロコンピュータ５ａの制御に基づき、整えられた記録用のデータが、メモリＩ／Ｆ３５を介して記録媒体３６に記録される。
【００８６】
また、画像圧縮伸張部３２は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、マイクロコンピュータ５ａの制御に基づき、例えばＪＰＥＧファイルがメモリＩ／Ｆ３５を介して記録媒体３６から読み出され、ＳＤＲＡＭ３７に一旦記憶される。画像圧縮伸張部３２は、ＳＤＲＡＭ３７に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データをＳＤＲＡＭ３７に記憶させる。
【００８７】
ＬＣＤドライバ３３は、ＳＤＲＡＭ３７に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＬＣＤ３４を駆動制御して映像信号に基づく画像をＬＣＤ３４に表示させる。このＬＣＤドライバ３３により行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、記録媒体３６に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示等における動画表示などが含まれる。なお、ライブビュー表示やレックビュー表示は、上述した縮小ＲＡＷ画像データを利用して行うと処理時間を短縮し処理負荷を軽減できて良い。
【００８８】
ＬＣＤ３４は、上述したようなＬＣＤドライバ３３の駆動制御により、画像を表示すると共に、このデジタルカメラに係る各種の情報を表示する。
【００８９】
メモリＩ／Ｆ３５は、上述したように、画像データ等の情報の記録媒体３６への書き込み、および記録媒体３６からの画像データ等の情報の読み出しを行う。
【００９０】
記録媒体３６は、画像データ等の情報を不揮発に記憶するものであり、例えばカメラ本体１２に着脱可能なメモリカード等により構成されている。ただし、記録媒体３６は、メモリカードに限定されるものではなく、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であっても良い。こうして記録媒体３６は、デジタルカメラに固有の構成である必要はない。
【００９１】
ＳＤＲＡＭ３７は、上述したＲＡＷ画像データ、あるいは画像処理部４、画像圧縮伸張部３２等において処理された画像データ等の各種データを一時的に記憶する記憶部である。
【００９２】
操作部３８は、このデジタルカメラに対する各種の操作入力を行うためのものであり、デジタルカメラの電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、デジタルカメラの設定等を行うためのメニューボタン、動画撮影を行うための動画ボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。この操作部３８に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ５ａへ出力される。
【００９３】
フラッシュメモリ３９は、マイクロコンピュータ５ａにより実行される処理プログラムや、このデジタルカメラに係る各種の情報を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ３９が記憶する情報としては、例えば、ホワイトバランスモードに応じたホワイトバランスゲイン等のデジタルカメラの動作に必要な各種パラメータ、擬カラー照明画像を生成するために必要な各種パラメータ（例えば、後述する図１４〜図１６に示すような特性曲線、あるいは他の実施形態で説明するパラメータなど）、およびデジタルカメラを特定するための製造番号などが幾つかの例として挙げられる。このフラッシュメモリ３９が記憶する情報は、マイクロコンピュータ５ａにより読み取られる。
【００９４】
マイクロコンピュータ５ａは、カメラ本体１２内の各部を制御すると共に、インタフェース１３を介してマイクロコンピュータ１８に指令を送信し交換式レンズ１１を制御するものであり、このデジタルカメラを統括的に制御する制御部である。マイクロコンピュータ５ａは、ユーザにより操作部３８から操作入力が行われると、フラッシュメモリ３９に記憶されている処理プログラムに従って、フラッシュメモリ３９から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。
【００９５】
次に、図８は撮像システム１におけるメイン処理の流れを示すフローチャートである。この図８に示す処理は、マイクロコンピュータ５ａの制御に基づき行われる。
【００９６】
操作部３８の電源ボタンがオン操作されてデジタルカメラの電源がオンになると、このメイン処理が開始され、まずデジタルカメラの初期化を行う（ステップＳ１１）。この初期化において、動画記録中であるか否かを示す記録中フラグもオフにリセットされる。
【００９７】
次に、マイクロコンピュータ５ａは、操作部３８の再生ボタンが操作されたか否かを判定する（ステップＳ１２）。
【００９８】
ここで再生ボタンが操作された場合には、再生・編集処理を行う（ステップＳ１３）。この再生・編集処理は、記録媒体３６に記録されているファイルの一覧を表示して、ユーザーからの選択操作を待ち、選択決定されたファイルを再生したり、選択されている画像を編集したりする処理であるが、詳細については後で図１７を参照して説明する。
【００９９】
ステップＳ１２において再生ボタンが操作されていないか、あるいはステップＳ１３の処理が行われた場合には、操作部３８のメニューボタンが操作されて、デジタルカメラに関するカメラ設定が選択されたか否かを判定する（ステップＳ１４）。
【０１００】
ここでカメラ設定が選択された場合には、カメラ設定を変更するメニューをＬＣＤ３４に表示して、カメラ設定を変更するユーザ操作が操作部３８からなされるのを待機する。ここに、カメラ設定の幾つかの例としては、
仕上がり：ナチュラル、ビビッド、フラット、モノトーン
エフェクト：カラーフィルタ効果
静止画記録モード：ＪＰＥＧ記録、ＴＩＦＦ記録、
ＪＰＥＧ＋ＲＡＷ記録、ＲＡＷ記録
動画記録モード：Ｍｏｔｉｏｎ  ＪＰＥＧ、Ｈ．２６４
画質：ファイン、ノーマル
などが挙げられるが、これらに限るものではない。
【０１０１】
そして、ユーザ操作がなされた場合には、操作内容に応じてカメラ設定を行う（ステップＳ１５）。このカメラ設定において、エフェクトとしてカラーフィルタ効果をオンに設定する場合には、さらに、どの色のカラーフィルタ効果を得るようにするかをユーザが所望に選択設定することができるようになっている。
【０１０２】
ステップＳ１４においてカメラ設定が選択されていないか、あるいはステップＳ１５の処理が行われた場合には、操作部３８の動画ボタンが操作されたか否かを判定する（ステップＳ１６）。
【０１０３】
ここで、動画ボタンが操作された場合には、まず、記録中フラグを反転（つまり、オンであればオフに、オフであればオンに）して（ステップＳ１７）、記録中フラグがオンであるかオフであるかに基づき、動画記録中であるか否かを判定する（ステップＳ１８）。
【０１０４】
ここで動画記録中である場合には記録開始されたことになるために動画像ファイルを生成し、画像データを記録できるように準備する（ステップＳ１９）。
【０１０５】
また、動画記録中でない場合には、記録終了することになるために、動画像ファイルのヘッダにフレーム数を記録する等を行って動画像ファイルとして再生可能な状態にし、ファイル書き込みを終了して動画像ファイルを閉じる（ステップＳ２０）。
【０１０６】
ステップＳ１６において動画ボタンが操作されていないか、あるいはステップＳ１９またはステップＳ２０の処理が行われた場合には、ステップＳ１８と同様に記録中フラグに基づき動画記録中であるか否かを判定する（ステップＳ２１）。
【０１０７】
ここで動画記録中でない場合には、レリーズボタンがオフから１段階目の押圧状態（いわゆる半押状態）である１ｓｔレリーズオンの状態へ遷移したか否かを判定する（ステップＳ２２）。
【０１０８】
ここで１ｓｔレリーズオンの状態へ遷移した場合には、この遷移したタイミングにおいて、静止画像を撮影するための自動露出（ＡＥ）制御をＡＥ処理部２８により行うと共に、自動焦点制御（ＡＦ）をＡＦ処理部２７により行う（ステップＳ２３）。これにより、１ｓｔレリーズボタンが押圧された以降は、いわゆるＡＥロックおよびＡＦロックが行われる。
【０１０９】
一方、ステップＳ２２において１ｓｔレリーズオンの状態へ遷移していない場合には、レリーズボタンが２段階目の押圧状態である２ｎｄレリーズオンの状態（いわゆる全押状態）となっているか否かを判定する（ステップＳ２４）。
【０１１０】
ここで２ｎｄレリーズオンの状態となっている場合には、絞り１６を駆動しシャッタ２１を開いて撮像素子２２により露光する一連の撮影処理を、後で図９を参照して説明するように実行する（ステップＳ２５）。
【０１１１】
続いて、撮影により得られた画像に対して、後で図１１を参照して説明するような画像処理を行う（ステップＳ２６）。
【０１１２】
その後、画像処理された静止画像は、例えばレックビューとしてＬＣＤ３４に表示されると共に、カメラ設定されている型式で静止画像ファイルとして記録媒体３６に記録される（ステップＳ２７）。具体例を挙げれば、静止画記録モードとしてＪＰＥＧ記録が設定されている場合には、ＹＣ４２２形式でＪＰＥＧ圧縮してＪＰＥＧファイルを作成し記録を行う。また、静止画記録モードとしてＴＩＦＦ記録が設定されている場合には、ＲＧＢデータに変換してＲＧＢ形式でＴＩＦＦファイルを作成し記録を行う。
また、ＲＡＷ記録を行うように設定されている場合には、ステップＳ２５で撮影して得た全てのＲＡＷ画像をＲＡＷファイルとして記録する。このときＲＡＷ画像が複数ある場合には、１つのファイルに全てのＲＡＷを記録しても良い。または、複数のＲＡＷファイルに分けて記録し、ファイル間の関連に関する情報をヘッダ等に記録することで、各ＲＡＷファイルから別のＲＡＷファイルへの対応を参照できるようにしても良い。
【０１１３】
また、ステップＳ２４において２ｎｄレリーズオンの状態となっていない場合には、シャッタ２１を開放状態にして、動画撮影またはライブビュー用の自動露出（ＡＥ）制御をＡＥ処理部２８により行い（ステップＳ２８）、電子シャッタによる１フレーム（あるいは１フィールド等）の画像撮影を行う（ステップＳ２９）。
【０１１４】
こうして撮影された画像に対して、後で図１１を参照して説明するような画像処理を行い（ステップＳ３０）、ＬＣＤ３４にライブビュー表示を行う（ステップＳ３１）。
【０１１５】
次に、動画記録中であるか否かを判定して（ステップＳ３２）、動画記録中である場合には撮影して得られたフレーム画像を画像圧縮伸張部３２で圧縮して記録媒体３６へ記録（追記）する（ステップＳ３３）。
【０１１６】
ステップＳ２３、ステップＳ２７、あるいはステップＳ３３の処理を行うか、またはステップＳ３２において動画記録中でない場合には、電源ボタンがオフ操作されたか否かを判定する（ステップＳ３４）。
【０１１７】
ここで、電源ボタンがオフ操作されていない場合には、ステップＳ１２へ戻って上述したような処理を繰り返して行い、電源ボタンがオフ操作された場合には、このメイン処理を終了する。
【０１１８】
図９は撮像システム１における撮影処理の流れを示すフローチャートである。
【０１１９】
この処理に入ると、カメラ設定におけるエフェクトとして、カラーフィルタ効果がオンに設定されているか否かを判定する（ステップＳ４１）。
【０１２０】
ここで、カラーフィルタ効果がオンに設定されていない場合には、特段のエフェクトをかけない一般撮影の処理を行う（ステップＳ４２）。
【０１２１】
また、ステップＳ４１においてカラーフィルタ効果がオンに設定されていると判定された場合には、発光部２（内部発光部２ａと外部発光部２ｂとの少なくとも一方）を用いて第１発光量で照明光を照射して撮影する第１発光撮影を行って第１画像を取得し（ステップＳ４３）、第２発光量で照明光を照射して撮影する第２発光撮影を行って第２画像を取得する（ステップＳ４４）。なお、第１発光撮影と第２発光撮影は、上述したように、同一の露光条件（同一の絞り値、同一の露光時間、かつ同一の増幅ゲイン等）で行うようにすると良い。
【０１２２】
ここで図１０は第１発光および第２発光の組み合わせの例を示す図表である。
【０１２３】
実施形態１において上述したように、一般的には、第１発光における第１発光量よりも第２発光における第２発光量の方が大きくなるように発光を行えば良いが、第１発光量を０発光量（発光なし）とするとより好ましい。
【０１２４】
第１発光を非０発光量とする一例としては、第１発光をプレ発光（被写体への照明光の到達度を測定して本発光の発光量を決定するための予備発光）、第２発光を本発光とするものが挙げられる。なお、プレ発光に代えて、本発光前の赤目軽減発光等を第１発光に利用しても構わない。また、第１発光を非０発光量とする他の例としては、第１発光をＬＥＤによる発光、第２発光をフラッシュによる発光とするものが挙げられる。
【０１２５】
一方、第１発光を０発光量とする場合における第２発光の例としては、内部発光部２ａのみによる発光、外部発光部２ｂのみによる発光、内部発光部２ａおよび外部発光部２ｂによる発光の何れでも良いし、内部発光部２ａや外部発光部２ｂの光源としてもＬＥＤやフラッシュ等の何れでも構わない。
【０１２６】
こうして、ステップＳ４２またはステップＳ４４の処理を行ったら、この処理からリターンする。
【０１２７】
続いて、図１１は、撮像システム１における画像処理の流れを示すフローチャートである。
【０１２８】
この処理に入ると、カラーフィルタ効果がオンに設定されているか否かを判定する（ステップＳ５１）。
【０１２９】
ここで、カラーフィルタ効果がオンに設定されていない場合には、基本画像処理部２９により、後で図１２を参照して説明する基本画像処理を行う（ステップＳ５２）。
【０１３０】
また、ステップＳ５１においてカラーフィルタ効果がオンに設定されていると判定された場合かつ、ステップＳ４３の処理により撮影された第１画像およびステップＳ４３の処理により撮影された第２画像が存在する場合には、撮影された画像が静止画像であるか否かを判定する（ステップＳ５３）。
【０１３１】
ここで静止画像でないと判定された場合には、動画像であることになるために、上述したステップＳ５２へ行って基本画像処理のみを行う。
【０１３２】
また、ステップＳ５３において静止画像であると判定された場合には、図９のステップＳ４３の処理により撮影された第１画像に基本画像処理を行い（ステップＳ５４）、続いて、図９のステップＳ４４の処理により撮影された第２画像に基本画像処理を行う（ステップＳ５５）。
【０１３３】
そして、基本画像処理後の第１画像および第２画像を用いて、特殊画像処理部３０により、後で図１３等を参照して説明するような、擬カラー照明画像を生成するための特殊画像処理を行う（ステップＳ５６）。
【０１３４】
なお、ここでは第１画像および第２画像に基本画像処理を行った後に特殊画像処理を行っているが、基本画像処理は、第１画像と第２画像とで異なったパラメータの処理（例えば、異なる階調変換曲線による階調変換など）が行われることも考えられる。これに対して特殊画像処理は、上述したように、露光条件や画像処理条件が同一である画像同士で行うことが好ましい（つまり、減算を行うだけで照明光のみに起因する画像成分（上述した（Ｆ２−Ｆ１）画像やＦ画像）を取り出すことができるような画像データであることが好ましい）。従って、特殊画像処理が、一般画像処理を行う前の（特に、非線形な変換を行う前の）画像（例えばＲＡＷ画像など）に対して適用可能な処理（例えば、上述した実施形態１において説明したような、ＲＧＢ色空間で差分画像の各色成分に各色毎の比Ｐを乗算するような色相変化処理など）である場合には、ステップＳ５４およびステップＳ５５の前段において特殊画像処理を行うようにすると良く、このときには特殊画像処理後の１枚の画像に対してのみ基本画像処理を行えば足りる。
【０１３５】
こうして、ステップＳ５２またはステップＳ５６の処理を行ったら、この処理からリターンする。
【０１３６】
次に図１２は、撮像システム１における基本画像処理の流れを示すフローチャートである。
【０１３７】
この処理に入ると、ＯＢ減算処理を行い、画像データからオプティカルブラック値を減算する（ステップＳ６１）。
【０１３８】
続いて、例えばベイヤー配列となっている画像データに対して、予めユーザーが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ３９から読み出して、読み出したＲゲインをＲ画素値に、ＢゲインをＢ画素値にそれぞれ乗算することによりホワイトバランス（ＷＢ）補正を行う（ステップＳ６２）。なお、ホワイトバランスモードとしてオートホワイトバランスが選択されている場合には、撮影した画像データを解析することによりＲゲインとＢゲインを算出し、算出したＲゲインとＢゲインを用いてホワイトバランス補正を行う。
【０１３９】
そして、１画素につきＲＧＢ成分の内の１色成分のみが存在するベイヤー配列の画像データから、着目画素に存在しない色成分を周辺画素から補間して求めることにより、全画素がＲＧＢの３色成分を全て備える画像データに変換する同時化処理を行う（ステップＳ６３）。
【０１４０】
さらに、設定されているホワイトバランスモードに応じたカラーマトリクス係数を本体のフラッシュメモリ３９から読み出して画像データに乗算すると共に、色相や彩度に応じて適切な色再現になるように色を補正することにより、色再現処理を行う（ステップＳ６４）。
【０１４１】
次に、ＲＧＢデータをそれぞれガンマ変換してから、ＹＣｂＣｒデータに色変換した後に、輝度データＹに対してさらにガンマ変換することにより、輝度変更処理を行う（ステップＳ６５）。
【０１４２】
続いて、バンドパスフィルタにより画像データからエッジ成分を抽出して、抽出したエッジ成分に、エッジ強調度に応じた係数を乗算して画像データに加算することにより、エッジ強調処理を行う（ステップＳ６６）。
【０１４３】
加えて、画像データを周波数分解して、周波数に応じてコアリング処理などを行うことにより、ノイズを低減するノイズリダクション処理を行う（ステップＳ６７）。
【０１４４】
このステップＳ６７の処理を行ったら、この処理からリターンする。
【０１４５】
続いて図１３は、撮像システム１における特殊画像処理の流れを示すフローチャートである。
【０１４６】
この処理に入ると、第１の画像データに係る第１の輝度画像データと、第２の画像データに係る第２の輝度画像データとを算出し、さらに第２の輝度画像データと第１の輝度画像データとの輝度差分を、第２の輝度画像データから第１の輝度画像データを減算することにより算出する（ステップＳ７１）。なお、この特殊画像処理を行う前に基本画像処理を行っている場合には、輝度成分を改めて算出することなく、既に算出済みの輝度成分を用いて減算を行うことも可能である。
【０１４７】
次に、算出した輝度差分に基づき、カラー差分画像を構成するＲ画像、Ｇ画像、およびＢ画像を生成する（ステップＳ７２）。このステップＳ７２の処理は、例えば図１４〜図１６に示すようなＲＧＢ各色成分毎に異なる階調変換特性の特性曲線のセットを用いて行われる。ここに、図１４は赤色のカラー差分画像（Ｒ差分画像データ）を生成するための特性曲線セットの例を示す図、図１５は緑色のカラー差分画像（Ｇ差分画像データ）を生成するための特性曲線セットの例を示す図、図１６は青色のカラー差分画像（Ｂ差分画像データ）を生成するための特性曲線セットの例を示す図である。
【０１４８】
例えば、赤色のカラー差分画像を生成しようとする際には、各画素の輝度差Ｙｄに対して、図１４に示すようなセットの各特性曲線ＦＲｒ，ＦＲｇ，Ｆｒｂを用いて、
Ｒ画像の画素値：Ｒ＝ＦＲｒ（Ｙｄ）
Ｇ画像の画素値：Ｇ＝ＦＲｇ（Ｙｄ）
Ｂ画像の画素値：Ｂ＝ＦＲｂ（Ｙｄ）
のように各画素の画素値を算出することにより、色相変化処理後のカラー差分画像の各色成分であるＲ画像、Ｇ画像、およびＢ画像を生成する。
【０１４９】
図１４に示す特性曲線は赤色成分を他の色成分よりも強調するセットとなっており、輝度差の上端および下端を除いては、Ｒ＞ＧかつＲ＞Ｂとなるカラー差分画像が得られる。
【０１５０】
また、図１５に示す特性曲線は輝度差の上下端を除いてＧ＞ＲかつＧ＞Ｂとなるような緑色成分を他の色成分よりも強調するセット、図１６に示す特性曲線は輝度差の上下端を除いてＢ＞ＧかつＢ＞Ｒとなるような青色成分を他の色成分よりも強調するセットとなっている。
【０１５１】
さらに、より一般に、任意の色のカラー差分画像を生成しようとする際には、例えばａ＋ｂ＋ｃ＝１かつａ≧０，ｂ≧０，ｃ≧０となるような係数ａ，ｂ，ｃ（これらの係数ａ，ｂ，ｃの具体値は、目標とする色に応じて決定することになる）を用いて、
Ｒ画像の画素値：Ｒ＝ａ×ＦＲｒ（Ｙｄ）＋ｂ×ＦＧｒ（Ｙｄ）＋ｃ×ＦＢｒ（Ｙｄ）
Ｇ画像の画素値：Ｇ＝ａ×ＦＲｇ（Ｙｄ）＋ｂ×ＦＧｇ（Ｙｄ）＋ｃ×ＦＢｇ（Ｙｄ）
Ｂ画像の画素値：Ｂ＝ａ×ＦＲｂ（Ｙｄ）＋ｂ×ＦＧｂ（Ｙｄ）＋ｃ×ＦＢｂ（Ｙｄ）
のような演算を行うことにより、カラー差分画像の各色成分であるＲ画像、Ｇ画像、およびＢ画像を生成すれば良い。
【０１５２】
こうして本実施形態においては、画像処理部４は、差分の色相の変化を、任意の色空間（ここではＲＧＢ色空間）において、差分の色相および彩度に依ることなく差分の輝度である輝度差Ｙｄのみに基づき行っている。
【０１５３】
その後、算出したカラー差分画像の各色成分を、適宜の色空間（例えばＲＧＢ色空間）において第１画像の各色成分にそれぞれ加算することにより画像補正を行って目標画像データを算出し（ステップＳ７３）、この処理からリターンする。
【０１５４】
なお、この図１３においては簡単のために、特殊画像処理として擬カラー照明画像を生成する処理のみを実施する例について説明しているが、勿論その他の特殊画像処理も加えて行うようにしても構わない。
【０１５５】
次に図１７は、撮像システム１における再生・編集処理の流れを示すフローチャートである。
【０１５６】
この処理に入るとまず、記録媒体３６に記録されている画像ファイルのサムネールを一覧表示する（ステップＳ８１）。
【０１５７】
次に、この一覧表示状態において操作部３８の再生ボタンが押されたか否かに基づき、再生を終了するか否かを判定する（ステップＳ８２）。
【０１５８】
ここでまだ再生を終了しない場合には、操作部３８における、十字キー等の項目を選択する操作ボタンと、ＯＫボタン等の選択されている項目を確定する操作ボタンと、の操作により、画像が選択されるのを待つ（ステップＳ８３）。
【０１５９】
そして、選択された画像が動画像であるか否かを判定して（ステップＳ８４）、動画像である場合には、動画像のフレーム数をまず読み込む（ステップＳ８５）。
【０１６０】
続いて、再生フレームを計数するためのカウンタｉを１に初期化して（ステップＳ８６）、動画像のｉフレーム目を再生してＬＣＤ３４に表示する（ステップＳ８７）。
【０１６１】
その後、カウンタｉをインクリメントして（ステップＳ８８）、カウンタｉの値がステップＳ８５において読み込んだフレーム数以下であるか否かを判定する（ステップＳ８９）。
【０１６２】
ここでカウンタｉの値がフレーム数以下である場合にはステップＳ８７へ戻って次のフレームの再生・表示を行い、カウンタｉの値がフレーム数よりも大きい場合にはステップＳ８１へ戻って上述したような処理を行う。
【０１６３】
また、ステップＳ８４において選択された画像が動画像でないと判定された場合には、選択された静止画像を記録媒体３６から読み込んで（ステップＳ９０）、画像処理部４により表示用の処理を行い、ＬＣＤ３４に表示する（ステップＳ９１）。
ステップＳ９０では、選択されたファイルがＲＡＷファイルの場合にはＲＡＷ画像を読み込む。このとき、複数のＲＡＷ画像が記録されている場合（ヘッダ等に関連付けされて記録されている場合、１つのファイルに記録されている場合など）、全てのＲＡＷ画像を読み込む。
【０１６４】
そして、メニューなどから編集が選択され、かつ選択された画像がＲＡＷ画像であるか否かを判定する（ステップＳ９２）。
【０１６５】
ここで編集操作がなされかつ画像がＲＡＷ画像である場合には、現在設定されている設定値に基づいた画像処理（図１１参照）をＲＡＷ画像に対して行う（ステップＳ９３）。
【０１６６】
そして、画像処理後の静止画像データをファイルとして記録媒体３６に記録する（ステップＳ９４）。
【０１６７】
このステップＳ９４の処理が終了するか、またはステップＳ９２において編集操作がなされていないかあるいはＲＡＷ画像でないと判定された場合には、静止画像が表示されている状態でメニューボタンが押されたか否かに基づき、表示を終了するか否かを判定する（ステップＳ９５）。
【０１６８】
ここで、メニューボタンが押されておらず、表示を終了しない場合には、ステップＳ９２へ戻って上述したような処理を繰り返して行う。
【０１６９】
一方、ステップＳ９５においてメニューボタンが押されており、表示を終了すると判定された場合には、ステップＳ８１へ戻って上述したような処理を行う。
【０１７０】
こうして、ステップＳ８２において再生ボタンが押されたと判定された場合には、この再生・編集処理からリターンする。
【０１７１】
なお、図１１〜図１３に示したような画像処理や図１７に示したような再生・編集処理は、撮像装置において行うに限るものではなく、コンピュータ上の画像処理ソフトなどとして実行するようにしても勿論構わない。
【０１７２】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、発光量の異なる照明光の下で取得された第１画像と第２画像との差分における輝度成分（輝度差）に基づきカラー差分画像の各色成分を生成するようにしたために、第１画像と第２画像との差分における輝度差以外のデータ成分を用いる必要がなく、処理を幾らか簡便化することができる。
【０１７３】
また、被写体の部分毎の色（被写体の部分毎のスペクトル分光反射率）に依ることなく目標とする色のカラー差分画像が生成される（つまり、被写体の色がどのような色であっても生成されるカラー差分画像の色は輝度差のみに応じた色となる）ために、実際に照明用カラーフィルタを用いたときよりも鮮やかな色彩効果をもった擬カラー照明画像を得ることができる。具体的に、例えば赤色の照明用カラーフィルタを実際に用いた場合には、赤色光をほとんど反射しない被写体の青色部分からは赤色照明光の効果を得ることができない。これに対して本実施形態の構成によれば、被写体の青色部分に関して照明光に起因する輝度成分が得られるために、この輝度成分から赤色のカラー差分画像が生成され、被写体の青色部分からも赤色照明光の効果を得ることが可能となる。
［実施形態３］
【０１７４】
図１８および図１９は本発明の実施形態３を示したものであり、図１８は撮像システム１における特殊画像処理の流れを示すフローチャート、図１９は輝度差Ｙｄに応じて求められる補正係数Ｋの変化を示す線図である。
【０１７５】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１７６】
本実施形態は、第１画像と第２画像との輝度差Ｙｄに応じて補正係数Ｋを決定し、決定した補正係数Ｋを用いて、第１画像の色相変化処理を行うようにしたものとなっている。
【０１７７】
すなわち、図１８に示す特殊画像処理を開始すると、まず、上述した図１３のステップＳ７１と同様に、第２画像の輝度成分から第１画像の輝度成分を減算することにより、輝度差Ｙｄを算出する。
【０１７８】
次に、算出した輝度差Ｙｄに基づき補正係数Ｋを例えば図１９に示すように算出する（ステップＳ１０１）。ここに、算出される補正係数Ｋは、輝度差Ｙｄの値に対する広義の単調増加関数、すなわち、例えば最大値に到達して飽和する場合などに微分値が０となることが考えられるために、微分値が０となることを許容する単調増加関数Ｋ（Ｙｄ）となっている。さらに補正係数Ｋは、必要に応じて、最大値が１となるように正規化されていても良い。なお、ここでは関数を用いて輝度差Ｙｄから補正係数Ｋを求めているが、この関数に代えて、例えば変換テーブル等を用いて補正係数Ｋを求めても構わないことは勿論である。従って、算出される補正係数Ｋは、輝度差画像における各画素の輝度差Ｙｄの値がどのような値であるかに応じて異なる値をとるために、各画素の空間位置に応じて値が異なる空間ローカルな係数である。
【０１７９】
そして、算出した補正係数Ｋを用いて、輝度色差空間において、第１画像の色相変化処理を行う（ステップＳ１０２）。
【０１８０】
具体例として、ＹＣｂＣｒ空間を用いる場合についてさらに説明する。
【０１８１】
まず、目標とする照明用カラーフィルタの色に応じて、色差Ｃｒに対する変化量ΔＣｒおよび色差Ｃｂに対する変化量ΔＣｂを予め設定しておく。例えば、ΔＣｂ＞０かつΔＣｒ＜０とすると青色の照明用カラーフィルタの効果が得られ、ΔＣｂ＜０かつΔＣｒ＞０とすると赤色の照明用カラーフィルタの効果が得られる、等である。なお、この変化量ΔＣｂ，ΔＣｒは、画像中の空間位置に依存することない空間グローバルな値をとる。
【０１８２】
色相変化処理前の第１画像を（Ｙ，Ｃｂ，Ｃｒ）とし、色相変化処理後の第１画像を（Ｙ’，Ｃｂ’，Ｃｒ’）とすると、カラー差分画像の色差成分を第１画像の色差成分に加算する次のような処理により色相変化処理を行う。
Ｙ’＝Ｙ
Ｃｂ’＝Ｃｂ＋Ｋ×ΔＣｂ
Ｃｒ’＝Ｃｒ＋Ｋ×ΔＣｒ
【０１８３】
従って、色相変化処理後のカラー差分画像は（０，Ｋ×ΔＣｂ，Ｋ×ΔＣｒ）であって、第１画像と第２画像との差分画像を構成する各成分の内の、輝度差ＹｄのみがＫ（Ｙｄ）のかたちで用いられていることになる。
【０１８４】
なお、ここでは輝度データＹについては補正を行っていないが、輝度データＹについても併せて補正するようにしても構わない。
【０１８５】
このような実施形態３によれば、輝度色差空間において、上述した実施形態１，２とほぼ同様の効果を奏することが可能となる。従って、扱う画像データが輝度色差データである場合に、他の色空間の画像データに再変換することなく処理することができる利点がある。
［実施形態４］
【０１８６】
図２０および図２１は本発明の実施形態４を示したものであり、図２０は撮像システム１における特殊画像処理の流れを示すフローチャート、図２１は第１カラー差分画像と第２カラー差分画像との画面における合成比率を示す図である。
【０１８７】
この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０１８８】
本実施形態においては、まず、例えば上述した図１４〜図１６に示したような複数の階調変換特性セットの内の、第１の階調変換特性セットを用いて輝度差分から第１の色の第１カラー差分画像（具体例としては第１のＲ，Ｇ，Ｂ差分画像データ）を生成すると共に、第２の階調変換特性セットを用いて輝度差分から第２の色の第２カラー差分画像（具体例としては第２のＲ，Ｇ，Ｂ差分画像データ）を生成する。そして本実施形態は、生成した第１カラー差分画像および第２カラー差分画像を、空間位置に応じて連続的に異なるそれぞれの重み付けを行ってから適宜の色空間において第１の画像データに加算することにより、差分の色相がグラデーションの色相となるような目標画像データを算出するもの（つまり、グラデーションがついた複数色のカラー照明光を照射して撮影したかのような擬カラー照明画像を得るようにしたもの）となっている。
【０１８９】
すなわち、図２０に示す特殊画像処理を開始すると、まず、上述した図１３のステップＳ７１と同様に、第２画像の輝度成分から第１画像の輝度成分を減算することにより、輝度差Ｙｄを算出する。
【０１９０】
次に、上述した図１３のステップＳ７２とほぼ同様に、算出した輝度差に基づき、例えば図１４〜図１６に示したような複数の特性曲線セットの内の何れか１つを用いて、第１のカラー差分画像を構成するＲ画像、Ｇ画像、およびＢ画像を生成する（ステップＳ７２ａ）。
【０１９１】
続いて、例えば図１４〜図１６に示したような複数の特性曲線セットの内の、ステップＳ７２ａで用いたのとは異なる他の１つを用いて、ステップＳ７１において算出した輝度差に基づき、第２のカラー差分画像を構成するＲ画像、Ｇ画像、およびＢ画像を生成する（ステップＳ７２ｂ）。
【０１９２】
そして、第１のカラー差分画像と第２のカラー差分画像とを各色成分毎に合成して、合成されたカラー差分画像を構成するＲ画像、Ｇ画像、およびＢ画像を生成する（ステップＳ１１１）。
【０１９３】
ここに、第１のカラー差分画像と第２のカラー差分画像との合成は、例えば図２１に示すような合成比率に基づいて、第１のカラー差分画像に第１のカラー差分画像用の合成比率を乗算し、第２のカラー差分画像に第２のカラー差分画像用の合成比率を乗算して、これらを加算することにより行われる。
【０１９４】
この図２１に示す合成比率の例は、第１の画像の比率を、画面の左上を０、画面の右下を１、画面の右上および左下を０．５とするような、画面の左上から右下へかけて比率が増加するグラデーションの合成比率となっている。ここに、第１のカラー差分画像と第２のカラー差分画像との合成比率は正規化されているものとする。この場合の第２の画像の比率は、画面の左上を１、画面の右下を０、画面の右上および左下を０．５とするような、画面の左上から右下へかけて比率が減少するグラデーションの合成比率となる。
【０１９５】
その後、上述した図１３のステップＳ７３と同様に、合成されたカラー差分画像の各色成分を、第１画像の各色成分にそれぞれ加算することにより画像補正を行って、この処理からリターンする。
【０１９６】
なお、図２０の処理ではステップＳ１１１において合成されたカラー差分画像を生成してから、合成されたカラー差分画像をステップＳ７３において第１画像に加算するようにしているが、これに代えて、ステップＳ７３において第１画像にカラー差分画像を加算する際に、第１のカラー差分画像に第１のカラー差分画像用の合成比率を乗算し、第２のカラー差分画像に第２のカラー差分画像用の合成比率を乗算して、比率乗算後の第１および第２のカラー差分画像を第１画像に同時に加算するようにしても勿論構わない。
【０１９７】
また、図２１に示した合成比率は勿論一例であり、その他の所望のパターンの合成比率を用いても構わないことはいうまでもない。そして、合成比率のパターンのテンプレートを予め複数種類用意してフラッシュメモリ３９等に記憶しておき、ユーザが所望に選択することができるようにすると良い。このときには、第１のカラー差分画像の色と、第２のカラー差分画像の色とをユーザが所望に選択可能とすることも勿論である。
【０１９８】
さらに、ここでは２つのカラー差分画像を合成したが、３つ以上のカラー差分画像を合成するようにしても構わない。また、合成比率も滑らかに連続的に変化する必要はなく、段差をもって不連続に変化しても構わない。
【０１９９】
次に、本実施形態の変形例について説明する。
【０２００】
上述では色相が空間的に変化するカラー差分画像をＲＧＢ色空間において生成したが、本変形例は、同様のカラー差分画像を輝度色差空間において生成するようにしたものであり、輝度色差空間としてＹＣｂＣｒ空間を具体例に挙げて説明する。
【０２０１】
まず、目標とする第１の色に応じた第１の変化量（ΔＣｂ１，ΔＣｒ１）と、目標とする第２の色に応じた第２の変化量（ΔＣｂ２，ΔＣｒ２）と、を予め設定しておく。なお、これらの変化量は、上述したように、画像中の空間位置に依存することない空間グローバルな値である。
【０２０２】
そして、上述した図１３のステップＳ７１と同様に輝度差Ｙｄを算出し、算出した輝度差Ｙｄに基づき、図１８のステップＳ１０１と同様に、補正係数Ｋを例えば図１９に示したような輝度差Ｙｄの広義の単調増加関数によって算出する。ここで画像における水平方向，垂直方向の画素位置を添え字ｉ，ｊによりそれぞれ表すとすると、輝度差Ｙｄは空間ローカルな量Ｙｄｉｊであるために、この輝度差ＹｄｉｊからＫｉｊ＝Ｋ（Ｙｄｉｊ）のように算出される補正係数Ｋｉｊも空間ローカルな係数となる。
【０２０３】
続いて、第１の変化量（ΔＣｂ１，ΔＣｒ１）に補正係数Ｋｉｊを乗算することにより第１のカラー差分画像Ｋｉｊ×（ΔＣｂ１，ΔＣｒ１）を生成し、第２の変化量（ΔＣｂ２，ΔＣｒ２）に補正係数Ｋｉｊを乗算することにより第２のカラー差分画像Ｋｉｊ×（ΔＣｂ２，ΔＣｒ２）を生成する。
【０２０４】
さらに、例えば図２１に示したような空間ローカルな合成比率を、
第１のカラー差分画像に対する合成比率：Ｑｉｊ
第２のカラー差分画像に対する合成比率：（１−Ｑｉｊ）
（ただし、０≦Ｑｉｊ≦１）により表すとすると、この合成比率を用いて第１のカラー差分画像と第２のカラー差分画像とを次のように合成し、
（ΔＣｂ’，ΔＣｒ’）＝Ｑｉｊ×Ｋｉｊ×（ΔＣｂ１，ΔＣｒ１）
＋（１−Ｑｉｊ）×Ｋｉｊ×（ΔＣｂ２，ΔＣｒ２）
合成後のカラー差分画像（ΔＣｂ’，ΔＣｒ’）を算出する。
【０２０５】
こうして算出した合成後のカラー差分画像（０，ΔＣｂ’，ΔＣｒ’）（ここに、輝度データＹに変化はないために０としている）が色相変化処理前の第１画像（Ｙ，Ｃｂ，Ｃｒ）に加算されて、色相変化処理後の第１画像（Ｙ’，Ｃｂ’，Ｃｒ’）が次のように算出されるのは上述した実施形態３とほぼ同様である。
Ｙ’＝Ｙ
Ｃｂ’＝Ｃｂ＋ΔＣｂ’
Ｃｒ’＝Ｃｒ＋ΔＣｒ’
【０２０６】
なお、第１および第２の変化量に対する補正係数Ｋの乗算と合成比率Ｑまたは（１−Ｑ）の乗算とは可換であるために、演算順序を逆にしても構わない。この場合には、第１の変化量（ΔＣｂ１，ΔＣｒ１）と第２の変化量（ΔＣｂ２，ΔＣｒ２）とをまず合成比率Ｑｉｊ：（１−Ｑｉｊ）に従って合成した後に、合成後の変化量を補正係数Ｋｉｊにより補正して合成後のカラー差分画像（ΔＣｂ’，ΔＣｒ’）を算出することになる。
【０２０７】
このような実施形態４および変形例によれば、上述した実施形態１〜３とほぼ同様の効果を奏することができる。
【０２０８】
さらに、実際の照明用カラーフィルタを用いて空間位置に応じて色相が変化するカラー照明画像を得ることは、フィルタ構成を特殊なものにする必要があると共に色の変化が被写体上に反映されるようなフィルタの配置を決定するのが困難であるために実現が難しいが、本実施形態の構成によれば、空間位置に応じて色相が変化する擬カラー照明画像を容易に得ることが可能となる。
［実施形態５］
【０２０９】
図２２は本発明の実施形態５を示したものであり、撮像システム１における特殊画像処理の流れを示すフローチャートである。
【０２１０】
この実施形態５において、上述の実施形態１〜４と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【０２１１】
本実施形態は、発光位置および発光量が互いに異なる３枚の画像データに基づき、異なる発光位置から異なる色のカラー照明光を照射して撮影したかのような擬カラー照明画像を得るようにしたものとなっている。
【０２１２】
すなわち、制御部であるマイクロコンピュータ５ａは、発光部２（内部発光部２ａおよび外部発光部２ｂ）に第１の発光量（好ましくは０発光量）で発光を行わせながら第１の画像データを取得させ、内部発光部２ａに第１の発光量よりも大きい第２−１の発光量で発光を行わせながら撮像部３に第２−１の画像データを取得させ、外部発光部２ｂに第１の発光量よりも大きい第２−２の発光量で発光を行わせながら撮像部３に第２−２の画像データを取得させ、画像処理部４に、第２−１の画像データと第１の画像データとの第１の差分と、第２−２の画像データと第１の画像データとの第２の差分とを算出させ、算出された第１の差分を第１色相に変化させ、算出された第２の差分を第２色相に変化させ、色相を変化させた第１の差分および第２の差分を第１の画像データに加算させて目標画像データを算出させるものとなっている。
【０２１３】
具体的に、内部発光部２ａによる発光を行う図９に示すような撮影処理と、外部発光部２ｂによる発光を行う図９に示すような撮影処理と、を適宜の順序で行うことにより４枚の画像データを取得する。ただし、２回繰り返される撮影処理の内の、ステップＳ４３における第１発光撮影を０発光量（発光なし）とする場合にはステップＳ４３の処理を２回繰り返す必要はないために、１回は省略することが可能である。
【０２１４】
ここでは例えば第１発光撮影を０発光量とした場合について考えると、発光なしのＮ画像（第１の画像データ）と、内部発光部２ａを発光して撮影された（Ｎ＋Ｆｉｎ）画像（第２−１の画像データ）と、外部発光部２ｂを発光して撮影された（Ｎ＋Ｆｏｕｔ）画像（第２−２の画像データ）と、が得られているものとする。
【０２１５】
この状態で図２２に示す特殊画像処理を実行する。
【０２１６】
この処理を開始すると、まず、図１３のステップＳ７１と同様に、（Ｎ＋Ｆｉｎ）画像の輝度成分からＮ画像の輝度成分を減算することにより、第１の輝度差Ｙｄｉｎを算出する（ステップＳ７１ａ）。
【０２１７】
続いて同様に、（Ｎ＋Ｆｏｕｔ）画像の輝度成分からＮ画像の輝度成分を減算することにより、第２の輝度差Ｙｄｏｕｔを算出する（ステップＳ７１ｂ）。
【０２１８】
そして、図１３のステップＳ７２と同様に、第１の輝度差Ｙｄｉｎに基づいて、例えば図１４〜図１６に示すような特性曲線セットの内の何れか１つを用いて、第１のカラー差分画像を構成するＲ画像、Ｇ画像、およびＢ画像を生成する（ステップＳ７２ａ’）。
【０２１９】
その後、図１３のステップＳ７３と同様に、算出した第１のカラー差分画像の各色成分を、Ｎ画像の各色成分にそれぞれ加算することにより画像補正を行う（ステップＳ７３ａ）。
【０２２０】
また、上述したステップＳ７２ａ’とほぼ同様に、第２の輝度差Ｙｄｏｕｔに基づいて、例えば図１４〜図１６に示すような特性曲線セットの内の、ステップＳ７２ａ’で用いたのとは異なる他の１つを用いて、第２のカラー差分画像を構成するＲ画像、Ｇ画像、およびＢ画像を生成する（ステップＳ７２ｂ’）。
【０２２１】
次に、上述したステップＳ７３ａにおいて補正された画像の各色成分に、ステップＳ７２ｂ’で算出した第２のカラー差分画像の各色成分をそれぞれ加算することにより、さらなる画像補正を行って（ステップＳ７３ｂ）、この処理からリターンする。
【０２２２】
なお、ステップＳ７３ａにおける第１のカラー差分画像の加算と、ステップＳ７３ｂにおける第２のカラー差分画像の加算とを、１つの画像補正処理において同時に行うようにしても勿論構わない。
【０２２３】
また、上述では特殊画像処理をＲＧＢ色空間において処理を行ったが、輝度色差空間等において行っても構わないことは上述した他の実施形態とほぼ同様である。
【０２２４】
このような実施形態５によれば、上述した実施形態１〜４とほぼ同様の効果を奏するとともに、複数の異なる位置から異なる色のカラー照明光を照射したかのような擬カラー照明画像を取得することが可能となる。
【０２２５】
また、上述した各実施形態においては、擬カラー照明画像を生成する元となる画像データとして通常の画像サイズのＲＡＷ画像データを用いることを前提として説明したが、これに代えて、ＲＡＷリサイズ部２５から得られる縮小ＲＡＷ画像データを適宜用いるようにしても構わない。例えば、記録用でないレックビュー用の画像などを生成する場合には、縮小ＲＡＷ画像データを用いると処理を高速化できて良い。また、記録用の画像を生成する場合であっても、カラー差分画像を生成するための第１画像および第２画像として縮小ＲＡＷ画像データを用い、生成したカラー差分画像を通常の画像サイズに拡大した後に、通常画像サイズのＲＡＷ画像データに係る第１画像に加算して画像補正を行うようにすれば、処理時間の短縮や処理負荷の軽減を効率的に図ることができて良い。
【０２２６】
そして、上述では主として撮像システムについて説明したが、撮像システムと同様の処理を行う撮像方法であっても良いし、撮像システムと同様の処理をコンピュータに行わせるための撮像プログラム、該撮像プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０２２７】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０２２８】
１…撮像システム
２…発光部
２ａ…内部発光部（第１の発光部）
２ｂ…外部発光部（第２の発光部）
３…撮像部
４…画像処理部
５…制御部
５ａ…マイクロコンピュータ（制御部）
１１…交換式レンズ
１２…カメラ本体
１３…インタフェース（Ｉ／Ｆ）
１５…レンズ
１６…絞り
１７…ドライバ
１８…マイクロコンピュータ
１９…フラッシュメモリ
２１…シャッタ
２２…撮像素子
２３…アナログ処理部
２４…Ａ／Ｄ変換部
２５…ＲＡＷリサイズ部
２６…バス
２７…ＡＦ処理部
２８…ＡＥ処理部
２９…基本画像処理部
３０…特殊画像処理部
３１…発光部通信部
３２…画像圧縮伸張部
３３…ＬＣＤドライバ
３４…ＬＣＤ
３５…メモリインタフェース（メモリＩ／Ｆ）
３６…記録媒体
３７…ＳＤＲＡＭ
３８…操作部
３９…フラッシュメモリ
【図１】
2015056805.tif 000003
【図２】
2015056805.tif 000004
【図３】
2015056805.tif 000005
【図４】
2015056805.tif 000006
【図５】
2015056805.tif 000007
【図６】
2015056805.tif 000008
【図７】
2015056805.tif 000009
【図８】
2015056805.tif 000010
【図９】
2015056805.tif 000011
【図１０】
2015056805.tif 000012
【図１１】
2015056805.tif 000013
【図１２】
2015056805.tif 000014
【図１３】
2015056805.tif 000015
【図１４】
2015056805.tif 000016
【図１５】
2015056805.tif 000017
【図１６】
2015056805.tif 000018
【図１７】
2015056805.tif 000019
【図１８】
2015056805.tif 000020
【図１９】
2015056805.tif 000021
【図２０】
2015056805.tif 000022
【図２２】
2015056805.tif 000023
【図２１】
2015056805.tif 000024