(57)【特許請求の範囲】
【請求項１】
光学的情報を撮像素子により電気信号に変換し、該撮像素子により変換された電気信号を処理して画像信号として出力する電子カメラにおいて、
標準光源を設定する標準光源設定手段と、
撮影された画像の色調を、色度座標が既知である色票に対する撮影時の光源下及び前記標準光源設定手段により設定した標準光源下の色調に基づいて、撮影時の光源下のものから前記標準光源下の色調に合わせるように、少なくとも３色に対する色バランスをそれぞれ調整することにより変換する色調変換手段と、
を備え、
前記色票は、色票に光を透過させたときに発色する透過型色票であり、色調の調整時のみ前記撮像素子の直前に配設し、該透過型色票からの透過光を該撮像素子に照射する共に、一般撮影時には該撮像素子の光路から退避させるように構成したことを特徴とする電子カメラ。
【請求項２】
光学的情報を撮像素子により電気信号に変換し、該撮像素子により変換された電気信号を処理して画像信号として出力する電子カメラにおいて、
標準光源を設定する標準光源設定手段と、
撮影された画像の色調を、色度座標が既知である色票に対する撮影時の光源下及び前記標準光源設定手段により設定した標準光源下の色調に基づいて、撮影時の光源下のものから前記標準光源下の色調に合わせるように、少なくとも３色に対する色バランスをそれぞれ調整することにより変換する色調変換手段と、
を備え、
前記色票は、色票に光を透過させたときに発色する透過型色票であり、該透過型色票からの透過光を前記撮像素子の特定部分だけに照射するように撮像素子の直前に固定するように構成したことを特徴とする電子カメラ。
【請求項３】
前記特定部分は前記撮像素子の上方部分であると共に、カメラ本体上部からカメラ内部に光を導く導光部を備え、前記導光部からの光を前記特定部分に向けて照射するようにした請求項２に記載の電子カメラ。
【請求項４】
前記色調変換手段は、単色光源下で撮影したときには設定光源下での色調に近い色調に変換し、完全には設定光源下の色調に変換しないようにした請求項１〜請求項３のいずれか１つに記載の電子カメラ。
【請求項５】
光学的情報を撮像素子により電気信号に変換し、該撮像素子により変換された電気信号を処理して画像信号として出力する電子カメラにおいて、
標準光源を設定する標準光源設定手段と、
撮影された画像の色調を、撮影時の光源下のものから前記標準光源設定手段により設定した標準光源下の色調に合わせるように、少なくとも３色に対する色バランスをそれぞれ調整することにより変換する色調変換手段と、
を備え、
前記色調変換手段は、単色光源下で撮影したときには設定光源下での色調に近い色調に変換し、完全には設定光源下の色調に変換しない構成としたことを特徴とする電子カメラ。
【請求項６】
前記色調変換手段は、色度座標が既知である色票に対する撮影時の光源下及び前記標準光源下の色調に基づいて変換するようにした請求項５に記載の電子カメラ。
【請求項７】
前記色票は、色票に光を透過させたときに発色する透過型色票である請求項６に記載の電子カメラ。
【請求項８】
前記色票は、色票からの反射光で色を表示する反射型色票である請求項６に記載の電子カメラ。
【請求項９】
前記色票は、肌色を含んで構成されている請求項１〜請求項４、請求項６〜請求項８のいずれか１つに記載の電子カメラ。
【請求項１０】
前記色調変換手段は、３行３列の変換マトリクスを用いて変換するものである請求項１〜請求項９のいずれか１つに記載の電子カメラ。
【請求項１１】
前記色調変換手段は、撮影した画像と色票の色度情報をインターフェースを介して電子カメラ外部に出力し、該電子カメラ外部で変換処理を行うようにした請求項１〜請求項１０のいずれか１つに記載の電子カメラ。
【請求項１２】
前記色調変換手段は、撮影時における見た目通りの色調で出力する直接的出力手段を備え、該直接的出力手段により出力する場合と、昼光光源下での色調で出力する場合とを選択可能なものとした請求項１〜請求項１１のいずれか１つに記載の電子カメラ。
【請求項１３】
光学的情報を撮像素子により電気信号に変換し、該撮像素子により変換された電気信号を処理して画像信号として出力する電子カメラにおいて、
標準光源として昼光光源を設定する標準光源設定手段と、
撮影された画像の色調を、撮影時の光源の色度に最も近い標準光源下から、前記標準光源設定手段により設定した昼光光源下の色調に合わせるように、少なくとも３色に対する色バランスをそれぞれ調整することにより変換する色調変換手段と、
複数の標準光源に対する色度情報を記録した色度情報記録部と、
該色度情報記録部に記録された標準光源の中から、撮影時の光源の色度に最も近い標準光源を、撮影時の光源の種類として選定する撮影時光源選定手段と、
撮影した画像の色調が、前記撮影時の光源の色度に最も近い標準光源による色調に合うように、これらの差をゲインコントロールにより微調整する色調微調整手段と、
を備え、
前記撮影時光源選定手段は、撮影時の光源の種類を操作者が指示することにより選定する手動選定方式と、白色物体を撮影して得られる色度座標に基づいて、撮影時の光源の種類を自動的に選定する自動選定方式と、を備え、操作者が前記手動設定方式と前記自動設定方式のどちらか一方を選択して光源の種類を選定できるようにし、
前記色調変換手段での変換後の色調に対し、前記色調微調整手段により微調整を行うように構成したことを特徴とする電子カメラ。
【請求項１４】
前記手動選定方式は、撮影時の光源の種類をスイッチ操作により操作者が選定するようにした請求項１３に記載の電子カメラ。
【請求項１５】
前記自動設定方式は、撮影時の光源の色度と最も近い色度をもつ標準光源を、前記色度情報記録部に記録された標準光源の中から選択し、該選択された標準光源を撮影時の光源として選定するようにした請求項１３に記載の電子カメラ。
【請求項１６】
画像の色調を人間の眼の順応特性に応じた色調に変換する順応化手段を備え、
該順応化手段による変換および前記色調変換手段による変換を施した結果を統合して出力するようにした請求項１〜請求項１５のいずれか１つに記載の電子カメラ。
【請求項１７】
前記撮像した画像を変換処理した結果を表示する表示手段と、
該表示手段の階調表示特性に応じて階調を変換する階調変換手段と、
を備えるようにした請求項１〜請求項１６のいずれか１つに記載の電子カメラ。
【請求項１８】
前記色調変換手段と、前記順応化手段と、前記階調変換手段に対する変換処理に対し、少なくとも２つの変換処理を予め１つの変換マトリクスに統合し、通常撮影時には該変換マトリクスを用いて一括して変換するようにした請求項１７に記載の電子カメラ。
【請求項１９】
前記標準光源設定手段は、予め用意された複数種の照明光源に対応した標準光源の中から所定の標準光源を選択して設定するようにした請求項１〜請求項１８のいずれか１つに記載の電子カメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は電子カメラ装置に係わり、特に異なる光源下での色調を調整する技術に関する。
【０００２】
【従来の技術】
従来の電子カメラに関し、本発明に関連する技術を以下に列挙して説明する。（１）撮影した画面一枚一枚のホワイトバランス情報を記憶しておき、画像再生時において、該記憶されたホワイトバランス情報に基づいて色調を変換するようにした技術が特開昭59−183590号公報に開示されている。
（２）レンズキャップの裏側に白色板を装着し、この白色板を用いてホワイトバランスの調整を行うようにした技術が実開昭58−161371号公報に開示されている。
（３）ホワイトバランス調整用の色フィルタを、同時に３色使用可能な構成とすることにより、短時間でホワイトバランスの調整を終了できるようにした技術が実開平２−140540号公報に開示されている。
（４）光ファイバーにより電子カメラ筐体外から光を色センサまで導入し、該光ファイバーからの光を用いてホワイトバランスを調整するようにした技術が特開平１−305789号公報に開示されている。
（５）蛍光灯の光源がフリッカーを有していることを利用して、光源からフリッカーが検出されたときに、該フリッカーに基づいて光源の種類を特定してホワイトバランスを調整するようにした技術が特開昭63−267091号公報に開示されている。
（６）蛍光灯光源の場合に、その光源の種類を色度座標に基づいて識別する技術が特開昭63−236931号公報に開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の従来技術においては、電子カメラは昼光光源下（Ｄ50やＤ65等）における撮影用に色調整されているため、例えば普通型の蛍光灯の下では、たとえホワイトバランスをとっても肌色や食肉の色等が比較的暗く映るようになり、十分な色調が得られない場合があった。また、タングステン光源下では、赤色成分が強くなり過ぎる等の問題を生じる場合があった。
【０００４】
また、ホワイトバランスは人間の順応に従って調整されておらず、この調整には、単にＣＣＤの出力のＲＧＢの各信号値の比を変化させたり、Ｒ−Ｙ，Ｂ−Ｙの色差の値を変更することにより行っていた。しかし、かかる方法によりホワイトバランスを調整しても、白色以外の色、特に肌色等の記憶色の視感的な印象が変化してしまい、不具合を生じることがあった。
【０００５】
さらに、色フィルタが劣化した場合には、色フィルタの分光分布特性が波長に対して正常な特性より分散化してしまい、色調整が正確に行われなくなってしまうことがある。ところが、この色フィルタの劣化に対する補正は電子カメラの組立時に１度行うのみで、製品の出荷後は補正することができなかった。そのため、経年変化によりカラーバランスが崩れてしまい、良好な色調が得られなくなることがある。
【０００６】
また、人間の眼の順応は、von Kries モデルとして知られているが、これを撮像系に利用しているものは見当たらない。
そこで本発明は、このような従来の問題点に鑑み、いかなる光源下で撮影する場合においても昼光光源で撮影されたかのような色調が得られると共に、フィルタの劣化に伴う色調特性の変化を補正し、視感的な印象と大きく相違することのない高精度なカラーバランス調整方法を有する電子カメラを提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明は、光学的情報を撮像素子により電気信号に変換し、該撮像素子により変換された電気信号を処理して画像信号として出力する電子カメラにおいて、標準光源を設定する標準光源設定手段と、撮影された画像の色調を、色度座標が既知である色票に対する撮影時の光源下及び前記標準光源設定手段により設定した標準光源下の色調に基づいて、撮影時の光源下のものから前記標準光源下の色調に合わせるように、少なくとも３色に対する色バランスをそれぞれ調整することにより変換する色調変換手段と、を備え、前記色票は、色票に光を透過させたときに発色する透過型色票であり、色調の調整時のみ前記撮像素子の直前に配設し、該透過型色票からの透過光を該撮像素子に照射する共に、一般撮影時には該撮像素子の光路から退避させるように構成した。
【０００８】
請求項２に記載の発明は、光学的情報を撮像素子により電気信号に変換し、該撮像素子により変換された電気信号を処理して画像信号として出力する電子カメラにおいて、標準光源を設定する標準光源設定手段と、撮影された画像の色調を、色度座標が既知である色票に対する撮影時の光源下及び前記標準光源設定手段により設定した標準光源下の色調に基づいて、撮影時の光源下のものから前記標準光源下の色調に合わせるように、少なくとも３色に対する色バランスをそれぞれ調整することにより変換する色調変換手段と、を備え、前記色票は、色票に光を透過させたときに発色する透過型色票であり、該透過型色票からの透過光を前記撮像素子の特定部分だけに照射するように撮像素子の直前に固定するように構成した。
請求項３に記載の発明は、前記特定部分は前記撮像素子の上方部分であると共に、カメラ本体上部からカメラ内部に光を導く導光部を備え、前記導光部からの光を前記特定部分に向けて照射するようにした。
請求項４に記載の発明は、前記色調変換手段は、単色光源下で撮影したときには設定光源下での色調に近い色調に変換し、完全には設定光源下の色調に変換しないようにした。
請求項５に記載の発明は、光学的情報を撮像素子により電気信号に変換し、該撮像素子により変換された電気信号を処理して画像信号として出力する電子カメラにおいて、標準光源を設定する標準光源設定手段と、撮影された画像の色調を、撮影時の光源下のものから前記標準光源設定手段により設定した標準光源下の色調に合わせるように、少なくとも３色に対する色バランスをそれぞれ調整することにより変換する色調変換手段と、を備え、前記色調変換手段は、単色光源下で撮影したときには設定光源下での色調に近い色調に変換し、完全には設定光源下の色調に変換しない構成とした。
【０００９】
請求項６に記載の発明は、前記色調変換手段は、色度座標が既知である色票に対する撮影時の光源下及び前記標準光源下の色調に基づいて変換するようにした。
請求項７に記載の発明は、前記色票は、色票に光を透過させたときに発色する透過型色票であるようにした。
【００１０】
請求項８に記載の発明は、前記色票は、色票からの反射光で色を表示する反射型色票であるようにした。
請求項９に記載の発明は、前記色票は、肌色を含んで構成されているようにした。
【００１１】
請求項１０に記載の発明は、前記色調変換手段は、３行３列の変換マトリクスを用いて変換するものである。
請求項１１に記載の発明は、前記色調変換手段は、撮影した画像と色票の色度情報をインターフェースを介して電子カメラ外部に出力し、該電子カメラ外部で変換処理を行うようにした。
【００１２】
請求項１２に記載の発明は、前記色調変換手段は、撮影時における見た目通りの色調で出力する直接的出力手段を備え、該直接的出力手段により出力する場合と、昼光光源下での色調で出力する場合とを選択可能なものとした。
請求項１３に記載の発明は、光学的情報を撮像素子により電気信号に変換し、該撮像素子により変換された電気信号を処理して画像信号として出力する電子カメラにおいて、標準光源として昼光光源を設定する標準光源設定手段と、撮影された画像の色調を、撮影時の光源の色度に最も近い標準光源下から、前記標準光源設定手段により設定した昼光光源下の色調に合わせるように、少なくとも３色に対する色バランスをそれぞれ調整することにより変換する色調変換手段と、複数の標準光源に対する色度情報を記録した色度情報記録部と、該色度情報記録部に記録された標準光源の中から、撮影時の光源の色度に最も近い標準光源を、撮影時の光源の種類として選定する撮影時光源選定手段と、撮影した画像の色調が、前記撮影時の光源の色度に最も近い標準光源による色調に合うように、これらの差をゲインコントロールにより微調整する色調微調整手段と、を備え、前記撮影時光源選定手段は、撮影時の光源の種類を操作者が指示することにより選定する手動選定方式と、白色物体を撮影して得られる色度座標に基づいて、撮影時の光源の種類を自動的に選定する自動選定方式と、を備え、操作者が前記手動設定方式と前記自動設定方式のどちらか一方を選択して光源の種類を選定できるようにし、前記色調変換手段での変換後の色調に対し、前記色調微調整手段により微調整を行うように構成した。
【００１３】
請求項１４に記載の発明は、前記手動選定方式は、撮影時の光源の種類をスイッチ操作により操作者が選定するようにした。
【００１４】
請求項１５に記載の発明は、前記自動設定方式は、撮影時の光源の色度と最も近い色度をもつ標準光源を、前記色度情報記録部に記録された標準光源の中から選択し、該選択された標準光源を撮影時の光源として選定するようにした。
請求項１６に記載の発明は、画像の色調を人間の眼の順応特性に応じた色調に変換する順応化手段を備え、該順応化手段による変換および前記色調変換手段による変換を施した結果を統合して出力するようにした。
【００１５】
請求項１７に記載の発明は、前記撮像した画像を変換処理した結果を表示する表示手段と、該表示手段の階調表示特性に応じて階調を変換する階調変換手段と、を備えるようにした。
請求項１８に記載の発明は、前記色調変換手段と、前記順応化手段と、前記階調変換手段に対する変換処理に対し、少なくとも２つの変換処理を予め１つの変換マトリクスに統合し、通常撮影時には該変換マトリクスを用いて一括して変換するようにした。
【００１６】
請求項１９に記載の発明は、前記標準光源設定手段は、予め用意された複数種の照明光源に対応した標準光源の中から所定の標準光源を選択して設定するようにした。
【００１８】
【発明の効果】
請求項１に記載の発明によれば、撮影時の光源下における色調から標準光源で照明したときの色調に、少なくとも３色の色バランスを調整して変換することにより、例えば標準光源以外の光源等の下で撮影した画像に対して、標準光源下で撮影したときの色調に精度良く変換することができ、撮影時の光源の種類に依存しない標準化された色調表現を行うことができる。ここで、色度座標が既知である色票を用いて標準光源下の色調に変換することにより、より精度を高めて色調を変換することができる。また、透過型色票を用いることにより、電子カメラ内部の撮像素子の直前に色票を配置することができ、色票の色劣化が極力防止され、電子カメラの出力色調特性の変化を低減することができると共に、色票を電子カメラ本体とは別個に保存する煩わしさをなくすことができる。さらに、透過型色票を色調の調整時のみ撮像素子の直前に配設することにより、通常撮影時における撮像視野を制限することなく色調を調整することができる。
請求項２に記載の発明によれば、撮影時の光源下における色調から標準光源で照明したときの色調に、少なくとも３色の色バランスを調整して変換することにより、例えば標準光源以外の光源等の下で撮影した画像に対して、標準光源下で撮影したときの色調に精度良く変換することができ、撮影時の光源の種類に依存しない標準化された色調表現を行うことができる。ここで、色度座標が既知である色票を用いて標準光源下の色調に変換することにより、より精度を高めて色調を変換することができる。また、透過型色票を用いることにより、電子カメラ内部の撮像素子の直前に色票を配置することができ、色票の色劣化が極力防止され、電子カメラの出力色調特性の変化を低減することができると共に、色票を電子カメラ本体とは別個に保存する煩わしさをなくすことができる。さらに、透過型色票からの透過光を撮像素子の特定部分のみに照射することにより、可動部分を無くすことができ、電子カメラ本体の故障を極力防止することができる。
【００１９】
請求項３に記載の発明によれば、電子カメラ本体の上部からの光を透過型色票に導入することにより、透過型色票の色が撮像素子の上方部分に照射されるようになり、色調の調整時に白色の被写体を映出させなくても簡便に色調を調整することができる。
請求項４に記載の発明によれば、単色光源下で撮影した画像に対して標準光源下の色調に完全には変換しないことにより、変換処理中に演算不能となることを防止でき、色調が変換不能となる事態を未然に防止することができる。
【００２０】
請求項５に記載の発明によれば、撮影時の光源下における色調から標準光源で照明したときの色調に、少なくとも３色の色バランスを調整して変換することにより、例えば標準光源以外の光源等の下で撮影した画像に対して、標準光源下で撮影したときの色調に精度良く変換することができ、撮影時の光源の種類に依存しない標準化された色調表現を行うことができる。ここで、単色光源下で撮影した画像に対して標準光源下の色調に完全には変換しないことにより、変換処理中に演算不能となることを防止でき、色調が変換不能となる事態を未然に防止することができる。
請求項６に記載の発明によれば、色度座標が既知である色票を用いて標準光源下の色調に変換することにより、より精度を高めて色調を変換することができる。
【００２１】
請求項７に記載の発明によれば、透過型色票を用いることにより、電子カメラ内部の撮像素子の直前に色票を配置することができ、色票の色劣化が極力防止され、電子カメラの出力色調特性の変化を低減することができると共に、色票を電子カメラ本体とは別個に保存する煩わしさをなくすことができる。
請求項８に記載の発明によれば、反射型色票を用いることにより、色票の色をより多彩に形成することができ、例えば、肌色の色票をより実際の肌色に近い色に形成することができ、色再現性をより高めることができる。
【００２２】
請求項９に記載の発明によれば、波長に対して比例的に感度が変化する特徴的な分光反射率特性を有し、画質評価に重要な色となる肌色の色票を用いることにより、肌色に対する色度をより正確に合わせることができると共に、他の色に対してもより高精度に色度を合わせることができる。
請求項１０に記載の発明によれば、３行３列の変換マトリクスを用いることにより、色調を変換する演算をより簡略化することができ、以て、高速化を図ることができる。
【００２３】
請求項１１に記載の発明によれば、変換処理に必要な情報を電子カメラ外部に出力することにより、例えばパーソナルコンピュータ等の演算装置を利用して変換処理を行うことができるため、より複雑な処理を高速に行えるようになると共に、電子カメラ本体で行う処理が軽減されるため、電子カメラの部品をより簡略化することができ、以て、電子カメラ本体の小型軽量化を図ることができる。
【００２４】
請求項１２に記載の発明によれば、見た目通りの色調か標準光源下での色調かを選択可能にすることにより、電子カメラの操作者の要求に応じて適切な色調の画像を出力することができる。
請求項１３に記載の発明によれば、撮影時の光源下における色調から標準光源で照明したときの色調に、少なくとも３色の色バランスを調整して変換することにより、例えば標準光源以外の光源等の下で撮影した画像に対して、標準光源下で撮影したときの色調に精度良く変換することができ、撮影時の光源の種類に依存しない標準化された色調表現を行うことができる。ここで、予め用意された複数の標準光源の中から撮影時の光源を選択し、該選択した標準光源下での色調を昼光光源下での色調に変換することにより、色度が明らかな色票を予め用意する必要はなく簡便に色調を変換することができ、電子カメラの操作性を向上できる。また、手動設定方式と自動設定方式とを自由に選択可能にすることにより、電子カメラの操作者の要求をより忠実に実現することができ、適切な方法を選択することにより、光源の種類をより正確に設定することができる。さらに、色調変換手段による色調の変換後、ゲインコントロールにより色調の微調整を行うことにより、予め用意した標準光源以外の光源に対しても昼光光源下の色調に合わせて出力することができる。
【００２５】
請求項１４に記載の発明によれば、光源の種類をスイッチにより切り換えることにより、簡便にして且つ確実に光源の設定を行うことができる。
請求項１５に記載の発明によれば、自動的に光源の種類を設定することにより、撮影時の光源が容易に特定できない場合においても、簡便に光源を設定することができる。
【００２６】
請求項１６に記載の発明によれば、順応化手段により人間の眼の順応特性に応じた色調に変換することにより、撮影時に人間が感じた通りの色調で出力することができ、人間の主観に一致した画像を得ることができる。
請求項１７に記載の発明によれば、色調を変換した結果を階調特性を考慮して表示することにより、より正確に変換後の画像を表示することができる。
【００２７】
請求項１８に記載の発明によれば、色調変換，順応化，階調特性変換処理を１つの変換マトリクスにまとめることにより、通常撮影時における変換処理の単純化と高速化を図ることができる。
請求項１９に記載の発明によれば、複数種の標準光源の中から標準光源を選択可能となる。
【００３０】
【発明の実施の形態】
以下に本発明の実施の形態を図１〜図７に基づいて説明する。
まず、色票を用いて光源毎に色調変換用マトリクスの係数を変更することにより画像の色調を変更するようにした第１の実施の形態について説明する。
図１に本実施の形態における電子カメラの信号変換経路の概略構成を示した。図１に示す電子カメラにおいて、被写体からの光11は、レンズ12を通過し、撮像装置であるＣＣＤ(Charge Coupled Device)13 上に積層して配置された各種のフィルタ14を介してＣＣＤ13に照射される。これにより、被写体の光11は電気信号に変換される。ここでは、ＲＧＢ３板式の場合を想定して説明するが、単板式のＲＧＢ（Red-Green-Blue) モザイクフィルタでもＣＭＹ(Cyan-Magenta-Yellow) モザイクフィルタであっても構わない。しかし、単板式の場合には、モザイクフィルタにより劣化された信号を補間する機能が必要となる。
【００３１】
上記フィルタ14としては、例えば、低周波成分のみ通過させる空間低周波フィルタ（水晶ガラスで構成されることが多い）14a ，赤外線をカットする赤外線カットフィルタ14b ，ＲＧＢまたはＣＭＹの色フィルタ14c を用いる。このときのＲＧＢの各色フィルタに対する分光感度特性の一例を図２に示した。
そして、ＣＣＤ13から出力された電気信号をＡ／Ｄ変換した後、画像メモリ15に一旦記憶する。記録された画像データは、画像処理部16において、まず標準化マトリクス16a により標準光源下で撮影したときの色調に近づくように変換し、該変換した画像データを三刺激値に変換16b した後、順応化マトリクス16c により人間の網膜の感度に近づくように変換する。ここにおいて、標準化マトリクス16a と順応化マトリクス16c の処理順序は逆に設定しても良く、また、三刺激値以外の評価パラメータに変換してもよい。
【００３２】
次に、ゲインコントロール16d により、白色の標準色票を撮影したときの画像が適切な白色点を呈するようにＲＧＢ（あるいは後述するＬＭＳ）の３つの値をそれぞれ係数倍することにより、色調を調整して適切なホワイトバランスに設定する。
そして、色度点変換マトリクス16e によりゲインコントロール16d 後の画像データを、ＣＲＴに適切に表示されるように色度点を変換する。さらに、ＣＲＴのガンマ特性に合致するように階調特性をガンマコントロール17により階調特性の調整を行う。さらに、画像圧縮部18においては、ガンマコントロール17後の画像データを必要に応じてＪＰＥＧ(Joint Photographic coding Experts Group) 等の画像圧縮処理を行い、記録部19においては、画像圧縮処理後の画像を、例えばメモリカードや光磁気ディスク等の記録媒体に記録する。尚、これら一連の処理はＣＰＵ20によって制御されるものとする。
【００３３】
次に、上記の電子カメラの各信号変換ステップの詳細を順次説明する。
まず、標準化マトリクス16の決定方法について説明する。撮影した画像を標準化するためには、予め色度が既知である色票を撮影し、該撮影により得られる画像データを前記色度に一致するように調整しておけばよい。予め撮影する色票としは、例えば図３に示すように、肌色，空色，白色が適当と考えられる。その理由としては、まず、色は肌色や空色等の記憶色により判断することが多くいためである。また、色票に白色を含めているのは、無彩色に対するホワイトバランスをより正確に合わせるためである。また、色票を３色に設定しているのは、計算負担を必要最小限に抑えるためである。
【００３４】
上記の３色の色度を合わせることにより、一層正確に色を再現することができるようになる。尚、図３に示す色票は、一般的によく知られたMacbeth Color Checker の、Light Skin, Blue Sky, White を用いたもので、詳細な分光・色彩情報が明らかになっている。
そこで、標準化マトリクスを求めるために、まず、電子カメラにより本来の被写体の光源下でこの色票を撮影し、その撮影して得られた画像データを電子カメラ内部の画像メモリ15に記憶する。一方、標準光源下でのデータを内部のメモリに記憶しておく。
【００３５】
ここで、色票の色を白色，肌色，空色とし、それぞれを読み込んだときのＣＣＤ13の出力値を、Ｘw,Ｘs,Ｘb （Ｘはｒ，ｇ，ｂのいずれか）とする。また、前記標準光源下での出力値をＹw,Ｙs,Ｙb （ＹはＲ，Ｇ，Ｂのいずれか）とし、実際の光源下での出力値を標準光源下の出力値に変換する標準化マトリクスをａijとすると、(1) 式が成立する。
【００３６】
【数１】
0003829363.tif 000002
【００３７】
これを標準化マトリクスａijについて解くと(2) 式となる。
【００３８】
【数２】
0003829363.tif 000003
【００３９】
(2)式により３×３の標準化マトリクスａijを求めることができる。この標準化マトリクスを用いて、撮影した画像データを標準光源下での画像データに変換することができ、異なる光源下でも標準光源で撮影したかのような色再現を得ることができる。また、３行３列の標準化マトリクスとして構成することにより、変換誤差を問題にならない程度に抑えつつ演算を極力簡単にすることができる。
【００４０】
一方、ナトリウムランプ等の単色光の下で撮影された場合は、完全な標準光源下の色調に変換することは不可能となる。これは、(2) 式の逆行列が計算できず、ａijが算出不能となるためである。そこで、(1) 式の右辺を変更して完全な補正がかからないようにすることにより、近似的ではあるが、標準光源下の色調に変換可能にすることができる。例えば、標準化マトリクスａijを、
【００４１】
【数３】
0003829363.tif 000004
【００４２】
とすることで、αが１のときは標準光源下での色調で再現され、αが０のときは撮影時の光源の色調で再現される式とする。そして、αが１のときで前記単色光下撮影時のように逆行列が計算できない場合には、αの値を例えば0.9 のように逆行列を求められる程度に減少設定すればよい。
これにより、特殊な光源下においても可能な限り、標準光源下での色調が適切に再現できる標準化マトリクスを得ることができ、色調が変換不能となる事態を未然に防止することができる。
【００４３】
上記のように、電子カメラに標準光源下への色調の変換機能を持たせ、色調の変換にホワイトバランスだけでなく、３色の色票を用いてそれぞれの色に対するカラーバランスを調整するようにしたことが本実施の形態における大きな特徴である。
前記色票として、例えば、図５に示す透過型フィルタ51を用いることができる。即ち、図５の透過型フィルタ51は、例えば透過ガラスで形成され、色調整時にのみレンズ52−ＣＣＤ53間の光路において、ＣＣＤ53全面が覆われるように配設する一方、通常撮影時は例えば90度回転させることにより該光路から待避させるようにする。これにより、前述の標準化マトリクスの設定を撮影視野を制限することなく、色調の調整をより簡単に行うことができると共に、色票を電子カメラ本体とは別個に保存する煩わしさをなくすことができる。尚、色調の調整時には、前述の３色の色票を映出する必要はなく、例えば白色の物体を映出させるだけで可能である。
【００４４】
また、この他にも図６に示すようにＣＣＤ61の上端部に固定的にフィルタを配置した構成とすることも可能である。即ち、ＣＣＤ61の上端左側から肌色用フィルタ62，空色用フィルタ63を配設することにより、画面の一部が隠されることになるが可動部分が存在しなくなるため、カメラ本体の故障を低減することができる。尚、白色用フィルタに対しては、フィルタ設置の簡単化等のため白色又は透明のフィルタをＣＣＤ61の上端右側64に配設してもよいが、特にフィルタを付けない構成としてもよい。
【００４５】
さらに、図７に示すように、ＣＣＤ71の上端部に固定されたフィルタ72に、カメラ73上部に配設された導光部74からカメラ外部からの光をフィルタ72に導いて照射することにより、白色の物体を映出させることなく色調を調整することができる。尚、この導光部74はカメラ73上部に配設されていることが望ましく、また、導光には光ファイバー74a やミラー74b 等を利用すればよい。特に光ファイバーを使用することにより、電子カメラの設計の自由度をより向上させることができる。
【００４６】
ところで、図６に示す透過型フィルタを用いる場合は、使用可能な分光分布特性の種類が限られてしまい、自在に分光分布特性を設定することが難しくなる。そこで、図３に示す撮影用の色票を反射型の色票にすると、透過型と比較して利用可能な塗料の種類が拡大するため、例えば、より肌色に近い色感の色票を容易に作製することができ、色再現の範囲が拡大すると共に色再現の精度を向上させることができる。尚、この反射型色票をカメラレンズの蓋の裏面に形成しておくことにより、簡便に色度を合わせることができる。
【００４７】
また、ＣＣＤから入力された画像データを電子カメラ内で処理せずに、画像データと、計算に必要となる色票を撮影したデータとを合わせて、カメラ側に設けられた外部インターフェース21（例えばUSB, IrDA, SCSI, RS-422 等）を介して電子カメラの外部に出力し、例えば外部のパーソナルコンピュータ等の演算装置を利用して処理する構成としてもよい。このような構成にすることにより、例えば画像圧縮等の、計算負担が大きい処理を電子カメラ側で行うことを回避でき、より複雑な演算でも迅速に行うことができるようになる。また、電子カメラの外部で画像データを処理することにより、電子カメラの部品の構成をより簡略化することができ、電子カメラ本体の小型軽量化やコストダウンを図ることができる。
【００４８】
Ｄ65光源による照明下での画像が正常な色で見えるように、画像データ（Ｒccd , Ｇccd ，Ｂccd ）を三刺激値（Ｘ，Ｙ，Ｚ）に変換するマトリクスを(4) 式に示した。
【００４９】
【数４】
0003829363.tif 000005
【００５０】
そして、撮影した画像データを三刺激値（Ｘ，Ｙ，Ｚ）に変換した結果に対して、人間の網膜感度に準じた分光感度である順応刺激値（Ｌ，Ｍ，Ｓ）を求める。一般に、三刺激値を人間の網膜感度に一致させる変換マトリクスはいくつか知られているが、ここでは(5) 式に示すマトリクスを一例として用いることにした。尚、(6) 式は(4) 式を(5) 式に代入した結果である。
【００５１】
【数５】
0003829363.tif 000006
【００５２】
かかる順応刺激値を求めることにより、撮影時に人間が感じた通りの色調を再現することができ、人間の主観と一致した画像を得ることができる。また、順応刺激値を求めずに、単に三刺激値に変換した結果を出力するようにしてもよい。
得られた順応刺激値に対し、ホワイトバランスを調整するためのゲインコントロールを必要に応じて行い、(7) 式により新たな順応刺激値（Ｌ',Ｍ',Ｓ' ）を求める。
【００５３】
【数６】
0003829363.tif 000007
【００５４】
ここで、α，β，γはゲインコントロールのための係数である。
次に、(7) 式により得られたゲインコントロール後の順応刺激値（Ｌ',Ｍ',Ｓ' ）に対し、色度点変換マトリクスを用いて、撮影した画像を映出するＣＲＴの色調表示特性に合わせる。具体的には、(5) 式の逆行列で求められる(8) 式を、ＣＲＴの蛍光体の特性から求められる順応刺激値（Ｒcrt ，Ｇcrt ，Ｂcrt ）と三刺激値（Ｘ，Ｙ，Ｚ）との関係を表す(9) 式に代入する。その結果得られる(10)式を色度点変換マトリクスとする。尚、(9) 式はＨＤＴＶ(High Definition Television)用の規格に基づいて設定したものである。
【００５５】
【数７】
0003829363.tif 000008
【００５６】
そして、上記説明した標準化マトリクス、三刺激値へ変換した順応化マトリクス、および色度点変換マトリクスを順次計算して出力用画像データ（Ｒcrt , Ｇcrt ，Ｂcrt ）を求める。
また、上記各マトリクスを予め統合しておき、１つのマトリクスにまとめてから演算するようにした方が望ましい。これにより処理の高速化を図ることができる。
【００５７】
ここで、１つにまとめたマトリクスの係数は、順応化マトリクスを(6) 式、色度点変換マトリクスを(9) 式とし、ゲインコントロールのための係数α，β，γを全て１とすると、(11)式に示すようになる。
【００５８】
【数８】
0003829363.tif 000009
【００５９】
そこで、(11)式に示す１つにまとめたマトリクスを、図１に示す画像処理部16にパラメータとして与えることにより、種々の光源下で撮影された画像データに対し、昼光光源下における色調に変換すると共に、人間の網膜感度に準じた順応刺激値である出力用画像データをＣＲＴの色調表示特性を考慮しつつ簡単な計算で出力することができる。(11)式ではゲインコントロールのための係数を１として計算しているが、該係数を適宜変更してマトリクスを設定することにより、他の異なる条件に対しても同様に出力用画像データを得ることができる。
【００６０】
そして、出力用画像データ（Ｒcrt , Ｇcrt ，Ｂcrt ）をＣＲＴのガンマ特性に応じてガンマコントロールすることにより、ＣＲＴの階調特性に合った表示用画像データ（Ｒcrt 0.45，Ｇcrt 0.45，Ｂcrt 0.45）を求め、該表示用画像データにより撮影した画像をＣＲＴ上に正確に表示させることができる。
さらに、このとき得られた画像を画像圧縮処理して記録することにより、記録容量を節約しつつ効率よく画像を保存できると共に、該記録された画像をより簡単に再現することができる。
【００６１】
以上説明したように、本実施の形態においては、昼光光源以外の標準光源や標準光源以外の光源の下で撮影した画像に対して、昼光光源の下で撮影したときの色調に精度良く変換することができ、撮影時の光源の種類に依存しない標準化された色調表現を行うことができると共に、人間の網膜感度に準じて変換するため、人間の主観に一致した画像を得ることができる。
【００６２】
また、本実施の形態における色調変換処理は、複数の異種光源により同時に照明されている場合においても適用することができる。例えば、ストロボ等の閃光装置の発光時は、予め発光させて色票の色度を検出し、該検出された色度と存在する光源による色度とを合算することにより調整することができる。
尚、本実施の形態では撮影した画像データを三刺激値に変換して各処理を行っているが、これに限定されることなく、例えばＣＣＤから出力されるＲ，Ｇ，Ｂの各信号値をそのまま用いて処理しても構わない。
【００６３】
次に、いくつかの標準光源の色度情報を予め電子カメラ内に記憶しておき、該記憶された標準光源の中から撮影時の光源に最も近い色度の標準光源を選択し、該選択した標準光源の色度情報に基づいて色再現を行うようにした第２の実施の形態について説明する。
本実施の形態における電子カメラは、メモリ22に予め記憶された幾つかの標準光源に対するマトリクス係数の中から、撮影時の光源に最も近い標準光源のマトリクス係数を選択し、該選択されたマトリクス係数に基づいて撮影した画像の色調を、例えばＤ50, Ｄ65光源等の昼光光源下の色調に変換するものである。
【００６４】
撮影時の光源の種類を判別するには、例えば電子カメラの操作者が光源の種類を認識し、電子カメラのスイッチの状態を変更する等の指示を出すことによる手動的な方法と、白色物体を撮影し、該撮像した画像データの色度座標から予め設定された標準光源との近似度を調べ、光源の種類を自動的に判別する方法が挙げられる。
【００６５】
まず、撮影者が撮影時の光源の種類を特定できる場合があり、このような場合には手動的な方法で行うことで、簡易にかつ正確に標準光源を設定することができる。例えば標準光源として、Ａ, Ｄ50, Ｄ55, Ｄ60, Ｄ65, Ｄ70, Ｄ75, Ｆ２, Ｆ８, Ｆ11に対するマトリクス係数を予め電子カメラ内のメモリ22に記憶しておき、撮影時において、これらの光源中から撮影者が適切な標準光源を、スイッチを切り換えることにより選択するようにする。これにより、簡便にして且つ確実に光源の種類を設定することができる。
【００６６】
一方、撮影者が撮影時の光源の種類を容易に特定できない場合は、自動的に判別する方法を用いて光源の種類を特定する。
ところで、同一の色度座標を有する光源であってもＤ50とＦ８のように種類が異なる標準光源が存在し、撮影時の光源を正確に判別することが困難な場合がある。このため、光源の色度座標の測定結果と合わせてフリッカーの有無を検出した結果からも判別するようにする。即ち、蛍光灯の標準光源であるＦ２, Ｆ８, Ｆ11光源は蛍光灯の電源周波数で点滅しているため、ＣＣＤの出力に対してフリッカー判定23を行い、フリッカーの有無を調べることにより、撮影時の光源が蛍光灯の光源か否かを判断することができる。これにより、単純に色度点だけで比較するよりも高精度に光源種類
の特定が可能となり、また、光源の種類の設定は自動的に行なわれるため、手動的な方法より簡便に光源を設定することができる。
【００６７】
尚、Ｆ２は普通型、Ｆ８は高演色型、Ｆ11は三波長域発光型の蛍光灯の光源の中からそれぞれ選択したものである。
このように、手動的な方法と自動的な方法とを電子カメラの操作者が適宜選択可能にすることにより、撮影の自由度が向上し、撮影者の要求をより忠実に実現することができる。
【００６８】
ここで、撮影時の光源に最も近い光源の特定には、撮影時の光源の色度座標と、予め記憶していた標準光源の色度座標との距離を計算し、該距離が最小であった標準光源を撮影時の光源と判断すればよい。
このためには、まず、前述の(4) 式によりＣＣＤからのＲＧＢの各信号値（またはＣＭＹの各信号値）を三刺激値ＸＹＺに変換した結果を、(12)式により色度座標値ｘ，ｙに変換する。
ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ），  ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）      (12)
得られた色度座標値ｘ，ｙを表１に示す各標準光源の色度座標ｘi , ｙi と比較し、(13)式のＤの値を最小にする色度点をもつ標準光源を選択する。
【００６９】
【表１】
0003829363.tif 000010
【００７０】
【数９】
0003829363.tif 000011
【００７１】
尚、前述同様にフリッカーを検出した場合は、蛍光灯の光源であるＦ２, Ｆ８, Ｆ11光源の中から選択するようにする。
ここにおいて、撮影時光源判別24には図１の三刺激値変換16d からの出力を用いて行っているため、仮に撮影するカメラを取り替えても撮影時の光源を判別するのためのパラメータを変化させる必要はなく、汎用的な構成とすることができる。
【００７２】
また、三刺激値変換16d からの出力以外にも、標準化マトリクス16a や順応化マトリクス16c からの出力等を適宜変換して撮影時の光源の種類を判定してもよい。
ところで、かかる電子カメラにより、予め用意された標準光源以外の光源下で撮影することがある。しかし、任意の光源で照明したときの色調を得るためには、光源が異なる場合の色度情報をすべて連続的に電子カメラに用意しておく必要があり、これは実際には不可能である。
【００７３】
そのため、マトリクス係数としては、ある代表的な標準光源、例えば、Ａ, Ｄ50, Ｄ55, Ｄ65, Ｄ70, Ｄ75, Ｆ２, Ｆ８, Ｆ11光源に対する色度座標及びマトリクス係数をそれぞれ記憶しておき、上述の方法でこれらの標準光源のうち、最も色度座標が近い標準光源を一つ選択する。さらにゲインコントロールにより目的とする光源に合うようにα，β，γの値を調整することによりホワイトバランスを微調整し、任意の光源下での色調を昼光光源下での色調に変換することができる。
【００７４】
(14)式はこの処理のためのマトリクスの一例で、Ｆ2 光源下での画像を昼光光源であるＤ65光源下で見たような色調に変換するマトリクスである。前述の(4) 式もこの処理のマトリクスの一例である。これらのマトリクス係数は、色票を標準光源下で撮影したときの色再現を最小二乗法により求めたものである。
即ち、(14)式のマトリクスは、Ｆ２光源下で撮影したときの色調をＤ65光源下で撮影したときの色調に変換する変換マトリクスであり、これは本来非線形の変換処理である。しかし、その変換処理を３行３列のマトリクスによる線形変換で行おうとするため、各色成分は理論値とは完全には一致せず、誤差を含むようになる。そこで、変換後の各色成分ができるだけ理論値に合うように、各マトリクス係数を最小二乗法を用いて決定したものである。
【００７５】
【数１０】
0003829363.tif 000012
【００７６】
つまり、任意の光源下での色調を昼光光源下での色調に変換するには、Ｆ２光源に近い他の光源下で撮影した画像の色調をＦ２光源から昼光光源であるＤ65光源への色調に(14)式の変換マトリクスを用いて変換し、さらに、Ｆ２光源と撮影時の光源との差をゲインコントロールにより微調整する。これにより、撮影時の光源下の色調をＤ65光源下の色調に変換することができる。
【００７７】
以上説明したように、本実施の形態においては、電子カメラに予め複数の標準光源の色度情報を記憶しておくことにより、異なる光源下での撮影画像に対しても昼光光源下での色調で出力することができ、電子カメラの色再現性が向上する。また、第１の実施の形態における順応化マトリクスと合わせて用いることにより、人間の網膜の感度特性によく合致した色調で出力することもできる。
【００７８】
次に、撮影時における見た目通りの色調で出力するようにした第３の実施の形態について説明する。
電子カメラの操作者は、電子カメラからの出力を撮影時の見た目通りの色調で出力したい場合がある。例えば、タングステン光源下における色調は赤色成分が強くなりカラーバランスが崩れているが、人間の眼が慣れてくると昼光光源下での色調に近づいて見えるようになる。このときの色調が見た目通りの色調であり、この見た目通りの色調を出力するようにする。
【００７９】
ここにおいて、電子カメラからの出力を、見た目通りの色調で行うか標準光源下の色調で行うかの判別は操作者の意志に依存するため、電子カメラ側で自動的に判断することはできない。そこで、どちらの色調で出力するかを操作者自身が切り替えできるように、例えば電子カメラに切換えスイッチを設け、操作者が適宜操作することにより目的の色調が得られるようにする。
【００８０】
この見た目通りの色調を得るには、具体的には、標準化マトリクスを単位行列として前述同様に処理し、撮影時の光源下の色調を操作者の眼が順応した後の色調に変換するように、ゲインコントロールにより微調整して出力する。例えば、タングステン光源の場合は赤色成分を半分程度に減衰させることにより、見た目通りの色調を得ることができる。
【００８１】
以上説明したように、本実施の形態においては、電子カメラの操作者が見た目通りの色調か標準光源下の色調かを適宜選択することができ、見た目通りの色調を選択したときには、簡単なゲインコントロールにより、ホワイトバランスをより適正化しつつ目的の色調を得ることができる。
尚、第１〜第３の各実施の形態において、一連の計算処理はハードウェア的に行ってもソフトウェア的に行ってもよい。また、カメラはスチルカメラでもムービーでもよく、一次元撮像素子を走査して用いるスキャナタイプであっても構わない。
【００８２】
さらに、色変換方法としては、上記のカラー線形マトリクス演算だけでなく、特開昭53−123201号公報に開示されているＬＵＴと補間演算の組合せ処理等を用いてもよい。
【図面の簡単な説明】
【図１】  電子カメラの信号変換経路の概略構成を示す図。
【図２】  ＲＧＢ各色フィルタに対する分光感度特性を示す図。
【図３】  ３色の色票を示す図。
【図４】  各色票の分光分布特性を示す図。
【図５】  色調調整時のみＣＣＤの前面に現れる透過型フィルタの構成を示す図。
【図６】  ＣＣＤの上端部に固定された透過型フィルタの構成を示す図。
【図７】  カメラ上部に配設された導光部を備えた電子カメラの構成を示す図。
【符号の説明】
11  被写体からの光
13,53,61,71 ＣＣＤ
14  フィルタ
16  画像処理部
16a 標準化マトリクス
16b 順応化マトリクス
16c ゲインコントロール
16d 色度点変換マトリクス
17  ガンマコントロール
21  外部インターフェース
23  フリッカー判別装置
51  透過型フィルタ
62  肌色用フィルタ
63  空色用フィルタ
64  白色用フィルタ
74  導光部
【図１】
0003829363.tif 000013
【図２】
0003829363.tif 000014
【図３】
0003829363.tif 000015
【図４】
0003829363.tif 000016
【図５】
0003829363.tif 000017
【図６】
0003829363.tif 000018
【図７】
0003829363.tif 000019