(57)【要約】【課題】ユーザが設定したＤレンジが誤っている可能性がある場合等に、それをユーザに知らせることができ、これにより適切なＤレンジの設定をアシスト可能にする。【解決手段】高感度画像と低感度画像とを合成して広ダイナミックレンジ画像を作成する際に、広Ｄレンジ画像のＤレンジ（第１のＤレンジ）をユーザが適宜設定できる（ステップＳ１０）。撮影シーンのＤレンジの広狭等に対応するように、そのシーンの広Ｄレンジ画像の作成に必要とするＤレンジ（第２のＤレンジ）を自動で推定する。そして、第１のＤレンジと第２のＤレンジとに基づいて第１のＤレンジが適切か否かを判別し（ステップＳ１２）、不適切と判別されると、警告を発生してＤレンジの再選択を促す（ステップＳ１４、Ｓ１６）。これにより、広Ｄレンジ画像を作成する際に適用される第１のＤレンジの設定をアシストすることができる。【選択図】  図８
2006295764.tif 000002
【特許請求の範囲】
【請求項１】
ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とを合成し、広ダイナミックレンジ画像を作成する画像信号処理方法において、
前記作成される広ダイナミックレンジ画像の第１のダイナミックレンジをユーザが設定する工程と、
前記高感度画像を示す高感度画像信号及び前記低感度画像を示す低感度画像信号のうちの少なくとも一方の画像信号に基づいて広ダイナミックレンジ画像の作成に必要とする第２のダイナミックレンジを自動で推定する工程と、
前記ユーザが設定した第１のダイナミックレンジと前記推定した第２のダイナミックレンジとに基づいて前記第１のダイナミックレンジの再設定を促すための報知を行う工程と、
を含むことを特徴とする画像信号処理方法。
【請求項２】
前記報知を行う工程は、前記ユーザが設定した第１のダイナミックレンジと前記推定した第２のダイナミックレンジとを比較し、その比較結果からユーザが設定した第１のダイナミックレンジが適切か否かを判定する工程と、ユーザが設定した第１のダイナミックレンジが不適切と判定されると、警告を発生する工程と、を含むことを特徴とする請求項１に記載の画像信号処理方法。
【請求項３】
前記ダイナミックレンジを推定する工程は、本撮影時に取得した高感度画像信号及び低感度画像信号のうちの少なくとも一方の画像信号に基づいて被写体のダイナミックレンジを推定することを特徴とする請求項１又は２に記載の画像信号処理方法。
【請求項４】
前記ダイナミックレンジを推定する工程は、本撮影前に取得した高感度画像信号及び低感度画像信号のうちの少なくとも一方の画像信号に基づいて被写体のダイナミックレンジを推定することを特徴とする請求項１又は２に記載の画像信号処理方法。
【請求項５】
前記報知後に適正な第１のダイナミックレンジが再設定されたとき、又は記録指示が入力されると、現在設定されている第１のダイナミックレンジになるように前記高感度画像信号と低感度画像信号との合成処理を行うことを特徴とする請求項３に記載の画像信号処理方法。
【請求項６】
撮影指示が入力されると、本撮影を行うとともに、現在設定されている第１のダイナミックレンジになるように本撮影時に取得した高感度画像信号と低感度画像信号との合成処理を行うことを特徴とする請求項４に記載の画像信号処理方法。
【請求項７】
ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とを合成し、広ダイナミックレンジ画像を作成する画像信号処理装置において、
前記作成される広ダイナミックレンジ画像の第１のダイナミックレンジを手動操作によって設定するためのダイナミックレンジ設定手段と、
前記高感度画像を示す高感度画像信号及び前記低感度画像を示す低感度画像信号のうちの少なくとも一方の画像信号に基づいて広ダイナミックレンジ画像の作成に必要とする第２のダイナミックレンジを推定するダイナミックレンジ推定手段と、
前記ダイナミックレンジ設定手段によって設定された第１のダイナミックレンジと前記ダイナミックレンジ推定手段によって推定された第２のダイナミックレンジとに基づいて前記第１のダイナミックレンジの再設定を促すための報知を行う報知手段と、
を備えたことを特徴とする画像信号処理装置。
【請求項８】
前記報知手段は、前記第１のダイナミックレンジと前記第２のダイナミックレンジとを比較し、前記第１のダイナミックレンジが適切か否かを判定する判定手段と、前記判定手段によって前記第１のダイナミックレンジが不適切と判定されると、警告を発生する警告発生手段とを有することを特徴とする請求項７に記載の画像信号処理装置。
【請求項９】
ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とを合成し、広ダイナミックレンジ画像を作成する画像信号処理プログラムにおいて、
前記高感度画像を示す高感度画像信号及び前記低感度画像を示す低感度画像信号をそれぞれ入力する機能と、
それぞれ異なる複数のダイナミックレンジの中から前記作成される広ダイナミックレンジ画像の第１のダイナミックレンジの設定を外部操作入力により受け付ける機能と、
前記高感度画像信号及び前記低感度画像信号のうちの少なくとも一方の画像信号に基づいて広ダイナミックレンジ画像の作成に必要とする第２のダイナミックレンジを推定する機能と、
前記外部操作入力により設定された第１のダイナミックレンジと前記推定された第２のダイナミックレンジとに基づいて前記第１のダイナミックレンジの再設定を促すための報知を行う機能と、
をコンピュータに実現させることを特徴とする画像信号処理プログラム。
【請求項１０】
前記報知を行う機能は、前記第１のダイナミックレンジと前記第２のダイナミックレンジとを比較し、前記第１のダイナミックレンジが適切か否かを判定する機能と、前記判定結果により前記第１のダイナミックレンジが不適切と判定されると、警告を発生させる機能とを含むことを特徴とする請求項９に記載の画像信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像信号処理方法及び装置並びにプログラムに係り、特に同時に撮像されたダイナミックレンジ（Ｄレンジ）の狭い高感度画像とＤレンジの広い低感度画像とを合成し、広Ｄレンジ画像を作成する技術に関する。
【背景技術】
【０００２】
従来、同一被写体を撮像して得られた高感度画像と低感度画像とを合成し、広Ｄレンジ画像を作成する画像データ合成装置が提案されている（特許文献１）。
【０００３】
この画像データ合成装置は、Ｄレンジ設定器を有し、ユーザによってＤレンジを設定できるようになっている。
【０００４】
一方、原稿を走査して画像信号を出力する画像読取装置において、二値モード、ディザモード、グレイスケールモード等の画像処理モードのうちのいずれかのモードを設定し、この設定されたモードで必要とされるＤレンジが得らるかどうかを判定し、得られることが判定されると、原稿の読み取りを開始するものがある（特許文献３）。
【０００５】
この特許文献３に記載の画像読取装置は、原稿を照明する蛍光灯などの照明を点灯した後、所望の光量が得られるまでの待機時間を短くする目的でなされたもので、例えば、二値モードが選択されている場合には、照明光の光量が十分でなく、必要とされるＤレンジが低くても原稿の読み取りを開始するようにしている。
【０００６】
そして、必要とされるＤレンジが得られない場合には、前記判定を繰り返し、規定時間を経過しても必要とされるＤレンジが得られない場合には、警告を発生して判定ループから抜け出るようにしている。また、必要とされるＤレンジの判定は、１ライン分のデータの平均値の大きさに基づいて行っている。
【特許文献１】特開２００４−２２１９２８号公報
【特許文献２】特許第３０５３４０６号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、特許文献１に記載の画像データ合成装置の場合、ユーザによって設定されたＤレンジが被写体のＤレンジよりも著しく異なると、良好な画像が得られないという問題がある。
【０００８】
また、特許文献２には、ユーザが二値モード等の画像処理モードを設定する記載があるが、Ｄレンジを選択する記載がない。尚、特許文献２に記載の発明は原稿読取装置であるため、原稿の読取環境はほぼ一定しており、したがった原稿読取時のＤレンジをユーザが選択することはない。
【０００９】
本発明はこのような事情に鑑みてなされたもので、ユーザが設定したＤレンジが誤っている可能性がある場合等に、それをユーザに知らせることができ、これにより適切なＤレンジの設定をアシストすることができる画像信号処理方法及び装置並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために請求項１に係る発明は、ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とを合成し、広ダイナミックレンジ画像を作成する画像信号処理方法において、前記作成される広ダイナミックレンジ画像の第１のダイナミックレンジをユーザが設定する工程と、前記高感度画像を示す高感度画像信号及び前記低感度画像を示す低感度画像信号のうちの少なくとも一方の画像信号に基づいて広ダイナミックレンジ画像の作成に必要とする第２のダイナミックレンジを自動で推定する工程と、前記ユーザが設定した第１のダイナミックレンジと前記推定した第２のダイナミックレンジとに基づいて前記第１のダイナミックレンジの再設定を促すための報知を行う工程と、を含むことを特徴としている。
【００１１】
即ち、高感度画像と低感度画像とを合成して広ダイナミックレンジ画像を作成する際に、前記広ダイナミックレンジ画像のダイナミックレンジ（第１のダイナミックレンジ）をユーザが適宜設定できるようになっている。前記第１のダイナミックレンジの設定は、予め準備されている複数のダイナミックレンジの中から選択することにより行うことができる。一方、撮影シーンのダイナミックレンジの広狭等に対応するように、そのシーンの広ダイナミックレンジ画像の作成に必要とするダイナミックレンジ（第２のダイナミックレンジ）を自動で推定する。そして、前記第１のダイナミックレンジと第２のダイナミックレンジとに基づいてユーザが設定した第１のダイナミックレンジが適切か否かを判断するための情報をユーザに提供し、第１のダイナミックレンジの再設定を促すことができるようにしている。これにより、広ダイナミックレンジ画像を作成する際に適用される第１のダイナミックレンジの設定をアシストすることができる。
【００１２】
請求項２に示すように請求項１に記載の画像信号処理方法において、前記報知を行う工程は、前記ユーザが設定した第１のダイナミックレンジと前記推定した第２のダイナミックレンジとを比較し、その比較結果からユーザが設定した第１のダイナミックレンジが適切か否かを判定する工程と、ユーザが設定した第１のダイナミックレンジが不適切と判定されると、警告を発生する工程と、を含むことを特徴としている。
【００１３】
例えば、前回の撮影時と被写体が異なっているにもかかわらず、第１のダイナミックレンジの再設定を行うのを忘れ、その結果、第１のダイナミックレンジと第２のダイナミックレンジとが大幅に異なる場合には警告を発生させることができ、これにより、第１のダイナミックレンジの誤設定を防止することができる。
【００１４】
請求項３に示すように請求項１又は２に記載の画像信号処理方法において、前記ダイナミックレンジを推定する工程は、本撮影時に取得した高感度画像信号及び低感度画像信号のうちの少なくとも一方の画像信号に基づいて被写体のダイナミックレンジを推定することを特徴としている。
【００１５】
請求項４に示すように請求項１又は２に記載の画像信号処理方法において、前記ダイナミックレンジを推定する工程は、本撮影前に取得した高感度画像信号及び低感度画像信号のうちの少なくとも一方の画像信号に基づいて被写体のダイナミックレンジを推定することを特徴としている。
【００１６】
前記請求項３又は４に示すように、自動でダイナミックレンジを推定する工程は、撮影ボタンの全押しによる本撮影時に取得した高感度画像信号及び低感度画像信号のうちの少なくとも一方の画像信号に基づいて行うようにしてもよいし、シャッターボタンの半押しによる自動露出制御や自動焦点調節のための撮影時（本撮影前の撮影時）に取得した高感度画像信号及び低感度画像信号のうちの少なくとも一方の画像信号に基づいて行うようにしてもよい。尚、前者の方がより精度の高いダイナミックレンジの推定を行うことができる。
【００１７】
請求項５に示すように請求項３に記載の画像信号処理方法において、前記報知後に適正な第１のダイナミックレンジが再設定されたとき、又は記録指示が入力されると、現在設定されている第１のダイナミックレンジになるように前記高感度画像信号と低感度画像信号との合成処理を行うことを特徴としている。
【００１８】
即ち、前記第１のダイナミックレンジと第２のダイナミックレンジとの違いによる警告発生後、第１のダイナミックレンジが適正なダイナミックレンジに再設定されたとき、又は第１のダイナミックレンジの再設定を行わずに記録指示が入力されると、現在設定されている第１のダイナミックレンジになるように高感度画像信号と低感度画像信号との合成処理が行われ、この合成後の広ダイナミックレンジ画像が記録媒体に記録される。
【００１９】
請求項６に示すように請求項４に記載の画像信号処理方法において、撮影指示が入力されると、本撮影を行うとともに、現在設定されている第１のダイナミックレンジになるように本撮影時に取得した高感度画像信号と低感度画像信号との合成処理を行うことを特徴としている。即ち、本撮影前に第１のダイナミックレンジが決定されているため、撮影指示が入力されると、本撮影を行うとともに現在設定されている第１のダイナミックレンジになるように本撮影時に取得した高感度画像信号と低感度画像信号との合成処理が行われる。
【００２０】
請求項７に係る発明は、ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とを合成し、広ダイナミックレンジ画像を作成する画像信号処理装置において、前記作成される広ダイナミックレンジ画像の第１のダイナミックレンジを手動操作によって設定するためのダイナミックレンジ設定手段と、前記高感度画像を示す高感度画像信号及び前記低感度画像を示す低感度画像信号のうちの少なくとも一方の画像信号に基づいて広ダイナミックレンジ画像の作成に必要とする第２のダイナミックレンジを推定するダイナミックレンジ推定手段と、前記ダイナミックレンジ設定手段によって設定された第１のダイナミックレンジと前記ダイナミックレンジ推定手段によって推定された第２のダイナミックレンジとに基づいて前記第１のダイナミックレンジの再設定を促すための報知を行う報知手段と、を備えたことを特徴としている。
【００２１】
請求項８に示すように請求項７に記載の画像信号処理装置において、前記報知手段は、前記第１のダイナミックレンジと前記第２のダイナミックレンジとを比較し、前記第１のダイナミックレンジが適切か否かを判定する判定手段と、前記判定手段によって前記第１のダイナミックレンジが不適切と判定されると、警告を発生する警告発生手段とを有することを特徴としている。
【００２２】
請求項９に係る発明は、ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とを合成し、広ダイナミックレンジ画像を作成する画像信号処理プログラムにおいて、前記高感度画像を示す高感度画像信号及び前記低感度画像を示す低感度画像信号をそれぞれ入力する機能と、それぞれ異なる複数のダイナミックレンジの中から前記作成される広ダイナミックレンジ画像の第１のダイナミックレンジの設定を外部操作入力により受け付ける機能と、前記高感度画像信号及び前記低感度画像信号のうちの少なくとも一方の画像信号に基づいて広ダイナミックレンジ画像の作成に必要とする第２のダイナミックレンジを推定する機能と、前記外部操作入力により設定された第１のダイナミックレンジと前記推定された第２のダイナミックレンジとに基づいて前記第１のダイナミックレンジの再設定を促すための報知を行う機能と、をコンピュータに実現させることを特徴としている。
【００２３】
請求項１０に示すように請求項９に記載の画像信号処理プログラムにおいて、前記報知を行う機能は、前記第１のダイナミックレンジと前記第２のダイナミックレンジとを比較し、前記第１のダイナミックレンジが適切か否かを判定する機能と、前記判定結果により前記第１のダイナミックレンジが不適切と判定されると、警告を発生させる機能とを含むことを特徴としている。
【発明の効果】
【００２４】
本発明によれば、高感度画像と低感度画像とを合成して広ダイナミックレンジ画像を作成する際に適用される、ユーザが設定したダイナミックレンジ（第１のダイナミックレンジ）と、撮影シーン等に応じて自動で推定されたダイナミックレンジ（第２のダイナミックレンジ）とに基づいて前記第１のダイナミックレンジの再設定を促すための報知を行うようにしたため、ユーザが設定した第１のダイナミックレンジが誤っている可能性がある場合には、それをユーザに知らせることができる。これにより、ユーザによるダイナミックレンジの誤設定等を防止することができ、良好な広ダイナミックレンジ画像を得ることができる。
【発明を実施するための最良の形態】
【００２５】
以下添付図面に従って本発明に係る画像信号処理方法及び装置並びにプログラムの好ましい実施の形態について詳説する。
【００２６】
〔撮像素子の構造〕
まず、ダイナミックレンジの狭い高感度画像を示す高感度画像信号と、ダイナミックレンジの広い低感度画像を示す低感度画像信号とを出力することができる撮像素子の構造について説明する。
【００２７】
図１は上記撮像素子（ＣＣＤ固体撮像素子（以下、「ＣＣＤ」という））の一例を示す平面模式図である。
【００２８】
同図に示すように、ＣＣＤ１０は、多数の受光セル２０が水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置された二次元撮像デバイス（イメージセンサ）である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光セル２０の幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。即ち、互いに隣接する受光セル２０の行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００２９】
各受光セル２０は、感度の異なる２つのフォトダイオード領域２１、２２を含む。第１のフォトダイオード領域２１は、相対的に広い面積を有し、感度の高い主たる感光部（以下、「主画素」という）を構成する。第２のフォトダイオード領域２２は、相対的に狭い面積を有し、感度の低い従たる感光部（以下、「副画素」という）を構成する。
【００３０】
各受光セル２０について、主画素２１と副画素２２には同色のカラーフィルタが配置されている。つまり、各受光セル２０に対応してそれぞれＲＧＢの何れか１色の原色カラーフィルタが割り当てられている。図１のように、水平方向についてＧＧＧＧ…の行の次段にＢＲＢＲ…の行が配置され、その次段にＧＧＧＧ…の行、更にその次の行にＲＢＲＢ…という具合に配列される。また、列方向についてみれば、ＧＧＧＧ…の列と、ＢＲＢＲ…の列と、ＧＧＧＧ…の列と、ＲＢＲＢ…の列とが循環式に繰り返される配列パターンとなっている。
【００３１】
受光セル２０の右側には垂直転送路（ＶＣＣＤ）３０が形成されている。垂直転送路３０は、受光セル２０の各列に近接して受光セル２０を避けながらジグザグ状に蛇行して垂直方向に伸びている。
【００３２】
垂直転送路３０上には４相駆動（φ1,φ2,φ3,φ4)に必要な転送電極３１、３２、３３、３４が配置される。転送電極３１〜３４は、受光セル２０の各行に近接して受光セル２０の開口を避けながら蛇行して図１の水平方向に伸びるように設けられている。例えば、２層ポリシリコンで転送電極を形成する場合、φ1 のパルス電圧が印加される第１の転送電極３１とφ3 のパルス電圧が印加される第３の転送電極３３は第１層ポリシリコン層で形成され、φ2 のパルス電圧が印加される第２の転送電極３２とφ4 のパルス電圧が印加される第４の転送電極３４は第２層ポリシリコン層で形成される。
【００３３】
図１において受光セル２０が並んだ撮像エリア４０の右側には、転送電極３１〜３４にパルス電圧を印加するＶＣＣＤ駆動回路４２が配置される。また、撮像エリア４０の下側（垂直転送路３０の下端側）には、垂直転送路３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４４が設けられている。
【００３４】
水平転送路４４は、２相駆動の転送ＣＣＤで構成されており、水平転送路４４の最終段（図１上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子４８に出力する。こうして、各受光セル２０で光電変換した信号が、点順次の信号列として出力される。
【００３５】
図２は主画素２１と副画素２２の光電変換特性を示すグラフである。横軸は相対的被写体輝度、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１４ビットデータを例示するが、ビット数はこれに限定されない。また、相対的被写体輝度とは、高感度画像データが飽和する時点のレベルを与える被写体輝度を１００％としたものである。
【００３６】
主画素２１の出力は、相対的被写体輝度に比例して次第に増加し、相対的被写体輝度が１００％（Ｄレンジ１００％）のときに出力が飽和値（ＱＬ値＝163834）に達する。以後、相対的被写体輝度が増加しても主画素２１の出力は一定となる。
【００３７】
一方、本例の副画素２２は、主画素２１に対して感度比１／１６、飽和比１／４となっており、相対的被写体輝度が４００％のときにＱＬ値＝4095で飽和する。
【００３８】
従って、上記主画素２１と副画素２２とを組み合わせることにより、主画素２１のみの構成よりも撮像素子のＤレンジを４倍に拡大することができる。
【００３９】
尚、本例のＣＣＤ１０は、受光セル２０が２つのフォトダイオード領域２１、２２を含み、これらのフォトダイオード領域が主画素２１、及び副画素２２を構成しているが、これに限らず、主画素と副画素とが等間隔に配列されて構成された撮像素子でもよい。
【００４０】
〔撮像装置の構成例〕
次に、上述した広Ｄレンジ撮像用のＣＣＤ１０を搭載した、本発明に係る画像信号処理装置を含む撮像装置について説明する。
【００４１】
図３は本発明に係る画像信号処理装置を含む撮像装置の実施の形態を示すブロック図である。この撮像装置１００の全体の動作は、中央処理装置（ＣＰＵ）５０によって統括される。
【００４２】
撮像装置１００には、操作部５２が含まれている。この操作部５２には、シャッターボタン、撮影モードと再生モードを切り替えるモード切替レバー、撮影モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モード）を選択するためのモードダイヤル、表示部５４にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するＢＡＣＫボタンなどが含まれる。操作部５２からの出力信号は、ＣＰＵ５０に入力される。
【００４３】
図４はＤレンジをマニュアル操作で選択させるためのメニュー画面を示している。即ち、操作部５２のメニューボタンや十字キーを操作することにより、図４に示すメニュー画面を表示部５４に表示させ、このメニュー画面上で十字キーを操作しながらＤレンジの広さ（１００％、１３０％、１７０％、２３０％、３００％、４００％）を選択する。そして、ＯＫボタンを押すと選択内容が確定し、後述する画像処理時に利用される。
【００４４】
図３に戻って、撮像装置１００には、被写体にストロボ光を照射するためのストロボ発光装置５６が含まれ、また、各種クロック・パルス等を生成するためのタイミング・ジェネレータ５８が含まれている。このタイミング・ジェネレータ５８から出力されるクロック・パルス等は、ＣＣＤ１０及びアナログ・フロント・エンド（ＡＦＥ）６０に加えられる。
【００４５】
ＣＣＤ１０からは、タイミング・ジェネレータ５８から出力されるクロック・パルスに基づいて主画素のフォトセンサに蓄積された信号（主画素フレームの信号）と、副画素のフォトセンサに蓄積された信号（副画素フレームの信号）とが順番に電圧信号として読み出される。これらの主画素フレームのＣＣＤ信号と、副画素フレームのＣＣＤ信号は、ＡＦＥ１８に加えられる。
【００４６】
ＡＦＥ１８は、ＣＤＳ回路やＡ／Ｄコンバータ等を有し、ＣＤＳ回路はタイミング・ジェネレータ５８から加えられるＣＤＳパルスに基づいて入力するＣＣＤ信号を相関二重サンプリング処理し、Ａ／Ｄコンバータは、ＣＤＳ回路によって処理された信号を画素ごとにデジタルの画像データ（高感度画像データ、低感度画像データ）に変換する。
【００４７】
主画素フレームの高感度画像データ及び副画素フレームの低感度画像データ（点順次のＲ，Ｇ，Ｂ信号）は、信号処理部６２を介してメモリ６４に一時的に記憶される。高感度画像データ及び低感度画像データは、メモリ６４から読み出され、信号処理部６２に入力され、ここで高感度画像データと低感度画像データとの合成処理を含む所要の画像処理が行われる。尚、信号処理部６２での画像処理の詳細については、後述する。
【００４８】
信号処理部６２で処理された画像データ（輝度信号Ｙ，色差信号Ｃr,Ｃｂ）は、再びメモリ６４に記憶される。メモリ６４に記録された輝度信号Ｙ，色差信号Ｃr,Ｃｂは、圧縮回路６６に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式) にしたがって圧縮される。圧縮された画像データは、記録装置６８を介してメモリカード７０に記録される。
【００４９】
尚、表示部５４には、撮像準備中に映像（スルームービー画）が表示され、また、再生モード時にメモリカード７０に記録された画像が表示される。
【００５０】
〔信号処理部６２の詳細構成例〕
図５は図３に示した信号処理部６２の詳細な回路構成を示すブロック図である。
【００５１】
前述したようにメモリ６４に一時記憶された高感度画像データ及び低感度画像データは、それぞれ信号処理部６２のオフセット処理回路１００及び１０２に加えられる。高感度画像データ及び低感度画像データは、それぞれオフセット処理回路１００及び１０２においてオフセット処理が行われる。オフセット処理回路１００及び１０２からそれぞれ出力された高感度ＲＡＷ画像データ及び低感度ＲＡＷ画像データは、リニアマトリクス回路１１０及び１１２に出力され、ここでＣＣＤ１０の分光特性を補正する色調補正処理が行われる。また、高感度ＲＡＷ画像データ及び低感度ＲＡＷ画像データをメモリカード７０に記録することもできる。
【００５２】
リニアマトリクス回路１１０及び１１２から出力された高感度画像データ及び低感度画像データは、ゲイン補正回路１２０及び１２２にそれぞれ出力される。ゲイン補正回路１２０及び１２２は、Ｒ，Ｇ，Ｂの画像データごとにそれぞれホワイトバランス調整用のゲインをかけることによりホワイトバランス調整を行う。ゲイン補正回路１２０及び１２２から出力された高感度画像データ及び低感度画像データは、それぞれ合成処理回路１３０に出力される。
【００５３】
この合成処理回路１３０は、主として高感度画像データ用の階調変換ＬＵＴ１３２と、低感度画像データ用の階調変換ＬＵＴ１３４と、加算器１３６とから構成されている。
【００５４】
階調変換ＬＵＴ１３２及び１３４は、それぞれ図４に示したように６つのＤレンジ（１００％、１３０％、１７０％、２３０％、３００％、４００％）に対応する６つの階調変換ＬＵＴからなり、ＣＰＵ５０から指令されるＤレンジ選択信号に基づいて６つの階調変換ＬＵＴの中から対応する階調変換ＬＵＴが選択される。尚、前記Ｄレンジ選択信号は、図４のメニュー画面で選択されたＤレンジに応じてＣＰＵ５０から出力される。
【００５５】
合成処理回路１３０に入力した高感度画像データ及び低感度画像データは、それぞれ階調変換ＬＵＴ１３２及び１３４の中から前記Ｄレンジ選択信号に基づいて選択された階調変換ＬＵＴにより階調変換され、加算器１３６に出力される。
【００５６】
加算器１３６は、階調変換ＬＵＴ１３２と１３４によって階調変換された高感度画像データと低感度画像データとを真数合成（加算）し、後段の階調変換ＬＵＴ１４０に出力する。
【００５７】
図６は前記合成処理回路１３０により各Ｄレンジに応じて合成された合成後の画像データの信号レベルを示している。
【００５８】
同図に示すように、各Ｄレンジに応じて合成された合成後の画像データの信号レベルの最大値はそれぞれ一致し、かつ輝度０から各Ｄレンジの最大輝度にわたって信号レベルは滑らかに変化するように合成される。即ち、前述の階調変換ＬＵＴ１３２及１３４は、図６に示す合成結果が得られるような階調変換を行っている。
【００５９】
尚、この実施の形態では、Ｄレンジ１００％のときには、高感度画像データと低感度画像データとを合成せずに高感度画像データのみを使用し、かつ高感度画像データの階調変換を行わないようにしている。従って、階調変換ＬＵＴ１３２及び１３４は、Ｄレンジ１００％以外の５つのＤレンジに対応する５つの階調変換ＬＵＴから構成される。
【００６０】
一方、階調変換ＬＵＴ１４０は、例えば３つの階調変換ＬＵＴから構成され、ＣＰＵ５０から指令されるトーン選択信号に基づいて３つの階調変換ＬＵＴの中から対応する階調変換ＬＵＴが選択される。前記トーン選択信号は、軟調、硬調、標準などの適宜選択されたトーンモードに応じてＣＰＵ５０から出力される。
【００６１】
合成処理回路１３０の加算器１３６から出力された合成後の画像データは、階調変換ＬＵＴ１４０に加えられ、ここで前記トーン選択信号に基づいて選択された階調変換ＬＵＴにより階調変換される。
【００６２】
図７は３つの階調変換ＬＵＴ１４０の中の或る階調変換ＬＵＴによって階調変換された後の画像データの信号レベルを示しており、６つのＤレンジの画像データに対する信号レベルを示している。
【００６３】
階調変換ＬＵＴ１４０によってトータルの階調が変更された広ＤレンジのＲ，Ｇ，Ｂの点順次の画像データは、同時化処理回路１５０に加えられる。同時化処理回路１５０は、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂ信号の空間的なズレを補間してＲ，Ｇ，Ｂ信号を同時式に変換する処理を行い、同時化したＲ，Ｇ，Ｂ信号をＲＧＢ／ＹＣ変換回路１６０に出力する。
【００６４】
ＲＧＢ／ＹＣ変換回路１６０は、Ｒ，Ｇ，Ｂ信号を輝度信号Ｙ，色差信号Ｃr,Ｃｂに変換し、輝度信号Ｙを輪郭補正回路１７０に出力し、色差信号Ｃr,Ｃｂを色差マトリクス回路１８０に出力する。輪郭補正回路１７０は、輝度信号Ｙの輪郭部（輝度変化の大きい部分）を強調する処理を行い、色差マトリクス回路１８０は、色差信号Ｃr,Ｃｂに対して所要のマトリクス変換を行って良好な色再現性を実現させる。
【００６５】
このようにして輪郭補正された輝度信号Ｙ、及び色差マトリクス変換された色差信号Ｃr,Ｃｂは、一旦メモリ６４に保存された後、圧縮回路６６によりJPEG方式に従って圧縮され、記録装置６８を介してメモリカード７０に記録される。
【００６６】
次に、本発明に係る画像信号処理方法について説明する。
【００６７】
〔第１の実施の形態〕
図８は本発明に係る画像信号処理方法の第１の実施の形態を示すフローチャートである。
【００６８】
同図に示すフローチャートは、本撮影によって高感度画像データ及び低感度画像データを取得してから、これらの画像データを合成して高Ｄレンジ画像データを作成・記録するまでの処理手順を示している。
【００６９】
図４で説明したマニュアル操作により、予めＤレンジが選択される（ステップＳ１０）。続いて、ステップＳ１０で選択されたＤレンジが適切か否かを判別する（ステップＳ１２）。
【００７０】
この判別は、以下のようにして行われる。
【００７１】
まず、撮影シーンに応じてそのシーンを良好に再現するために必要なＤレンジを自動で推定する。
【００７２】
例えば、１画面分の低感度画像データを８×８の領域に分割し、各分割領域ごとに平均値を算出し、６４の分割領域ごとに算出した平均値のうちの最大値を求める。
【００７３】
図２に示したように低感度画像データが４０９５のときに、Ｄレンジが４００％となるため、前記求めた最大値をＸとすると、必要なＤレンジ（Ｙ％）は、次式によって求めることができる。
【００７４】
［数１］
Ｙ＝（Ｘ／４０９５）×４００（％）    …（１）
上記式（１）によって求めたＤレンジ（Ｙ％）に基づいて、１００％、１３０％、１７０％、２３０％、３００％、及び４００％の６つのＤレンジのうちのいずれか１つのＤレンジを選択し、これを撮像装置１００側が自動で選択したＤレンジとする。尚、式（１）で求めたＤレンジ（Ｙ％）が２つのＤレンジの間にある場合には、２つのＤレンジのうちの大きい方を選択するか、いずれか近い方のＤレンジを選択する。
【００７５】
そして、マニュアル操作で選択されたＤレンジと、前記自動で選択されたＤレンジとを比較し、その比較結果に基づいてマニュアル選択されたＤレンジが適切か否かを判別する。例えば、マニュアル選択されたＤレンジと自動選択されたＤレンジとが、６つのＤレンジのうちの２段階以上ずれている場合には、マニュアル選択されたＤレンジは不適切であると判別する。
【００７６】
上記ステップＳ１２でマニュアル選択されたＤレンジが不適切であると判別されると、ＣＰＵ５０は、図３に示した警告部７２を介してユーザに対してＤレンジの再選択を促す警告を発生させる（ステップＳ１４）。警告部７２は、警告ランプ、ブザー音、音声等によってＤレンジが不適切であることを警告する。また、警告内容は、表示部５４に表示させるようにしてもよい。
【００７７】
この警告を受けたユーザがマニュアル操作でＤレンジを再選択する場合には、ステップＳ１０に戻り、ここでユーザによりＤレンジの再選択が行われ、一方、Ｄレンジを再選択しない場合には、記録指示待ちとなる（ステップＳ１６、Ｓ１８）。
【００７８】
そして、ステップＳ１２でマニュアル選択されたＤレンジが適切であると判別されると（再選択されたＤレンジが適切であると判別されたときを含む）、又はステップＳ１８で記録指示が入力されたことが判別されると、ステップＳ２０に進む。
【００７９】
ステップＳ２０において、ＣＰＵ５０は、現在、マニュアル選択されているＤレンジを示すＤレンジ選択信号を合成処理回路１３０に出力する。また、合成処理回路１３０は、図５で説明したように入力するＤレンジ選択信号によって階調変換ＬＵＴ１３２及び１３４の中から前記Ｄレンジ選択信号に対応する階調変換ＬＵＴを選択し、その選択した階調変換ＬＵＴに基づいて高感度画像データと低感度画像データとの合成処理を行う。
【００８０】
このようにして合成処理された高Ｄレンジ画像は、メモリカード７０に記録される（ステップＳ２２）。
【００８１】
即ち、ユーザが事前に選択したＤレンジが適切と判別された場合には、その選択されたＤレンジに基づいて直ちに高感度画像データと低感度画像データとの合成処理及び記録処理が行われる。
【００８２】
一方、ユーザが事前に選択したＤレンジが不適切と判別された場合には、警告を発生してＤレンジの再選択を促し、Ｄレンジの再選択によりその再選択したＤレンジが適切と判別されると、その後、再選択されたＤレンジに基づいて高感度画像データと低感度画像データとの合成処理及び記録処理が行われる。また、警告が発生していても記録指示がある場合には、現在選択されているＤレンジ（不適切と判別されているＤレンジ）に基づいて高感度画像データと低感度画像データとの合成処理及び記録処理が行われる。
【００８３】
〔第２の実施の形態〕
図９は本発明に係る画像信号処理方法の第２の実施の形態を示すフローチャートである。尚、図８に示した第１の実施の形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。
【００８４】
第１の実施の形態では、本撮影時に取得された低感度画像データに基づいて現在選択されているＤレンジが適切かどうかを判別しているが、第２の実施の形態では、本撮影前に取得される低感度画像信号に基づいて現在選択されているＤレンジが適切かどうかを判別している点で基本的に相違する。
【００８５】
図９に示すように、事前にマニュアル操作によってＤレンジが選択される（ステップＳ１０）。この実施の形態のシャッターボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する２段ストローク式のスイッチで構成されている。このシャッターボタンが半押し（Ｓ１スイッチがＯＮ）されたか否かを判別し（ステップＳ３２）、Ｓ１スイッチがＯＮされると、ＣＣＤ１０から高感度画像データ及び低感度画像データを取り込み、撮影準備動作を行う（ステップＳ３４）。この撮影準備動作では、ＣＣＤ１０から入力する高感度画像データ及び／又は低感度画像データに基づいて自動露出制御（ＡＥ制御）及び自動焦点制御（ＡＦ制御）が行われる。
【００８６】
続いて、第１の実施の形態と同様に、ステップＳ１０でユーザが選択したＤレンジと、低感度画像データに基づいて自動的に選択されたＤレンジとを比較し、その比較結果に基づいてマニュアル選択されたＤレンジが適切か否かを判別する（ステップＳ１２）。
【００８７】
上記ステップＳ１２でマニュアル選択されたＤレンジが不適切であると判別されると、ＣＰＵ５０は、Ｄレンジの再選択を促す警告を発生させる（ステップＳ１４）。この警告を受けたユーザがマニュアル操作でＤレンジを再選択する場合には、ステップＳ１０に戻り、ここでユーザによりＤレンジの再選択が行われ、一方、Ｄレンジを再選択しない場合には、シャッターボタンの全押し（Ｓ２スイッチのＯＮ）による撮影指示待ちとなる（ステップＳ１６、Ｓ３６）。
【００８８】
そして、ステップＳ３６でシャッターボタンの全押し（Ｓ２スイッチのＯＮ）が判別されると、本撮影動作を行ってＣＣＤ１０から広Ｄレンジ画像作成用の高感度画像データ及び低感度画像データを取り込み（ステップＳ４０）、続いて、現在、マニュアル選択されているＤレンジに基づいて前記取り込んだ高感度画像データと低感度画像データとの合成処理、及び合成処理された高Ｄレンジ画像の記録処理が行われる（ステップＳ２０、Ｓ２２）。
【００８９】
シャッターボタンが全押し（Ｓ２スイッチがＯＮ）されない場合には、引き続きシャッターボタンが半押し（Ｓ１スイッチがＯＮ）されているか否かを監視し（ステップＳ３８）、Ｓ１スイッチがＯＮされている場合には、ステップＳ１２に戻り、Ｓ１スイッチがＯＦＦされた場合には、ステップＳ３２に戻る。
【００９０】
即ち、ユーザが事前に選択したＤレンジが適切と判別された場合には、その後、シャッターボタンが全押しされると、本撮影を行って高感度画像データ及び低感度画像データを取り込み、前記選択されたＤレンジに基づいて高感度画像データと低感度画像データとの合成処理及び記録処理が行われる。
【００９１】
一方、ユーザが事前に選択したＤレンジが不適切と判別された場合には、警告を発生してＤレンジの再選択を促し、Ｄレンジの再選択によりその再選択したＤレンジが適切と判別されると、その後、再選択されたＤレンジに基づいて本撮影時に取り込んだ高感度画像データと低感度画像データとの合成処理及び記録処理が行われる。また、警告が発生していてもシャッターボタンが全押し（撮影指示）されると、本撮影を実行して高感度画像データ及び低感度画像データを取り込み、現在選択されているＤレンジ（不適切と判別されているＤレンジ）に基づいて高感度画像データと低感度画像データとの合成処理及び記録処理が行われる。
【００９２】
尚、第２の実施の形態では、シャッターボタンの半押し時に取り込んだ画像データに基づいて必要とされるＤレンジを求めるようにしているが、これに限らず、表示部５４に表示される映像（スルームービー画）用の画像データに基づいて必要とされるＤレンジを求めるようにしてもよい。
【００９３】
また、第１及び第２の実施の形態では、マニュアル選択されたＤレンジと、自動で求めたＤレンジとの比較結果からマニュアル選択されたＤレンジが適切か否かを判定し、不適切と判定されたときに警告を発生するようにしたが、これに限らず、マニュアル選択されたＤレンジと、自動で求めたＤレンジとの差に基づいて警告のレベル（例えば、注意、要注意）を変えるようにしてもよい。更に、マニュアル選択されたＤレンジの大きさと、自動で求めたＤレンジの大きさとを対比できるように表示部５４等にグラフィック表示したり、数値表示してもよい。
【００９４】
更に、自動でＤレンジを求める方法は、この実施の形態に限らず、例えば、高感度画像データ及び低感度画像データの分布を示すヒストグラムや、高感度画像データが飽和している割合などから求めるようにしてもよい。
【００９５】
更にまた、この実施の形態では、データ処理部をハードウエア回路により構成しているが、ソフトウエアにより実現するようにしてもよい。例えば、図５のオフセット処理回路１００及び１０２からそれぞれ出力された高感度ＲＡＷ画像データ及び低感度ＲＡＷ画像データをメモリカード７０を介してパーソナルコンピュータ（ＰＣ）に入力し、図５に示した画像処理と等価の処理をソフトウエアで行うようにしてもよい。
【図面の簡単な説明】
【００９６】
【図１】図１はＣＣＤの一例を示す平面模式図である。
【図２】図２は前記ＣＣＤの主画素と副画素の光電変換特性を示すグラフである。
【図３】図３は本発明に係る画像信号処理装置を含む撮像装置の実施の形態を示すブロック図である。
【図４】図４はＤレンジをマニュアルで選択するためのメニュー画面を示す図である。
【図５】図５は図３に示した信号処理部の詳細な回路構成を示すブロック図である。
【図６】図６は各Ｄレンジに応じて合成された合成後の画像データの信号レベルを示すグラフである。
【図７】図７は６つのＤレンジの画像データに対して更に階調変換した後の画像データの信号レベルを示すグラフである。
【図８】図８は本発明に係る画像信号処理方法の第１の実施の形態を示すフローチャートである。
【図９】図９は本発明に係る画像信号処理方法の第２の実施の形態を示すフローチャートである。
【符号の説明】
【００９７】
１０…ＣＣＤ、２０…受光セル、２１…主画素、２２…副画素、５０…中央処理装置（ＣＰＵ）、５２…操作部、５４…表示部、６０…アナログ・フロント・エンド（ＡＦＥ）、６２…信号処理部、６４…メモリ、６６…圧縮回路、６８…記録装置、７０…メモリカード、７２…警告部、１３０…合成処理回路、１３２、１３４、１４０…階調変換ＬＵＴ、１３６…加算器
【図１】
2006295764.tif 000003
【図２】
2006295764.tif 000004
【図３】
2006295764.tif 000005
【図４】
2006295764.tif 000006
【図５】
2006295764.tif 000007
【図６】
2006295764.tif 000008
【図７】
2006295764.tif 000009
【図８】
2006295764.tif 000010
【図９】
2006295764.tif 000011