(57)【要約】      （修正有）【課題】  撮像画像の画質を向上すること。【解決手段】  標準画像信号が閾値ＹHighより大きい画素に数値「１」を対応づけ、標準画像信号が閾値ＹHigh以下の画素に数値「０」を対応付け、その対応づけられた数値を対応画素の画像信号としてなる２値画像にクロージング処理を実行し、そのクロージング処理が実行された２値画像の画像信号として数値「１」が対応づけられた画素の標準画像信号を非標準画像信号で置き換えるようにした。そのため、標準画像信号に含まれるノイズにより、標準画像が実際よりも小さく検出され、飽和状態にある画素群内の一部の画素で標準画像信号が閾値ＹHighより小さいと判定された場合にも、前記一部の画素の標準画像信号を非標準画像信号に置き換えることができる。その結果、例えば、単に閾値ＹHighより大きい標準画像信号を非標準画像信号で置き換える方法と比べ、前記置き換えで得られる撮像画像の画質を向上することができる。【選択図】  図１０
2006148743.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を所定時間露光させることで生成された標準画像信号のうち所定閾値より大きい標準画像信号を、前記撮像素子を前記所定時間より短い時間露光させることで生成された非標準画像信号で置き換えることで、撮像画像の画像信号を生成する撮像装置であって、前記標準画像信号における各画素の信号値が前記所定閾値より大きいか否かを判定する第１判定手段と、処理対象の画素及び周囲の画素の前記第１判定手段による判定結果に基づいて、当該処理対象の画素の標準画像信号を置き換えるか否かを判定する第２判定手段と、その第２判定手段による判定結果に基づいて前記標準画像信号を前記非標準画像信号で置き換える置き換え手段を備えたことを特徴とする撮像装置。
【請求項２】
前記第２判定手段は、処理対象の画素及び周囲の画素の前記第１判定手段による判定結果に基づいて、当該処理対象の画素の標準画像信号を置き換える置き換え条件を満たすか否かを判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１判定手段は、前記標準画像信号が前記所定閾値より大きい画素に数値「１」を対応づけ、前記標準画像信号が前記所定閾値以下の画素に数値「０」を対応づけ、前記第２判定手段は、その対応づけられた数値を対応画素の画像信号としてなる２値画像にクロージング処理を実行し、前記置き換え手段は、そのクロージング処理が実行された２値画像の画像信号として数値「１」が対応づけられた画素の前記標準画像信号を前記非標準画像信号で置き換えることを特徴とする請求項１又は２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ダイナミックレンジの広い画像を得ることが可能な撮像装置に関する。
【背景技術】
【０００２】
従来、この種の撮像装置としては、例えば、１フレーム期間に２種類の露光時間（標準露光時間と当該標準露光時間より短い非標準露光時間と）で画像を撮像し、標準露光時間で撮像された画像の各画素の画像信号（標準画像信号）が、撮像素子が飽和状態であることを示す閾値以上であるか否かを判定し、閾値以上である画像信号を、非標準露光時間で撮像された画像の対応画素の画像信号（非標準画像信号）と置換することで、ダイナミックレンジの広い画像の画像信号を生成するものがある（例えば、特許文献１参照）。
【特許文献１】特開２００４―３２５８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の撮像装置にあっては、例えば、標準画像信号に含まれるノイズにより、標準画像信号が実際よりも小さく検出されると、飽和状態である画素の標準画像信号が非飽和状態であると誤検出されてしまう場合があった。そして、非飽和状態と誤検出されることで、前記飽和状態である画素に対応する標準画像信号が非標準画像信号に置き換えられず、その結果、生成される撮像画像の画質が低下してしまう恐れがあった。
【０００４】
本発明は、上記従来の撮像装置の未解決の課題を解決することを目的とするものであって、撮像画像の画質を向上することが可能な撮像装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の撮像装置は、  撮像素子を所定時間露光させることで生成された標準画像信号のうち所定閾値より大きい標準画像信号を、前記撮像素子を前記所定時間より短い時間露光させることで生成された非標準画像信号で置き換えることで、撮像画像の画像信号を生成する撮像装置であって、前記標準画像信号における各画素の信号値が前記所定閾値より大きいか否かを判定する第１判定手段と、処理対象の画素及び周囲の画素の前記第１判定手段による判定結果に基づいて、当該処理対象の画素の標準画像信号を置き換えるか否かを判定する第２判定手段と、その第２判定手段による判定結果に基づいて前記標準画像信号を前記非標準画像信号で置き換える置き換え手段を備えたことを特徴とする。
【０００６】
また、前記第２判定手段は、処理対象の画素及び周囲の画素の前記第１判定手段による判定結果に基づいて、当該処理対象の画素の標準画像信号を置き換える置き換え条件を満たすか否かを判定するようにしてもよい。
さらに、前記第１判定手段は、前記標準画像信号が前記所定閾値より大きい画素に数値「１」を対応づけ、前記標準画像信号が前記所定閾値以下の画素に数値「０」を対応づけ、前記第２判定手段は、その対応づけられた数値を対応画素の画像信号としてなる２値画像にクロージング処理を実行し、前記置き換え手段は、そのクロージング処理が実行された２値画像の画像信号として数値「１」が対応づけられた画素の前記標準画像信号を前記非標準画像信号で置き換えるようにしてもよい。
【０００７】
この構成によれば、標準画像信号に含まれるノイズにより、標準画像信号が実際よりも小さく検出され、飽和状態にある画素群内で一部の画素だけ標準画像信号が所定閾値より小さいと判定された場合にも、前記一部の画素を非標準画像で置き換えることができる。そのため、例えば、単に前記所定閾値より大きい標準画像信号を非標準画像信号で置き換える方法と比べ、前記置き換えで得られる画像信号による画質を向上することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明に係る撮像装置の一実施形態を、図面に基づいて説明する。
この撮像装置１は、１フレーム期間に２種類の露光時間（標準露光時間と標準露光時間より短い非標準露光時間と）で画像を撮像する撮像素子を備える。即ち、この撮像素子は、まず、センサセルアレイの画素列を平面視上側から平面視下側まで順次リセットし、そのリセットされた画素列のうち標準露光時間経過したものから順次電荷を読み出してリセットする。そして、その読み出しを終えた画素列のうち非標準露光時間経過したものから順次電荷を読み出すことで、各画素の輝度値を示す信号（以下、「画像信号」とも呼ぶ。）を画素列毎に生成する。そして、この撮像装置１は、標準露光時間で撮像された画像の各画素の画像信号（以下、「標準画像信号」とも呼ぶ。）に基づいて撮像素子が飽和状態であるか否かを画素毎に判定し、飽和状態である画素の画像信号を、非標準露光時間で撮像された画像の対応画素の画像信号（以下、「非標準画像信号」とも呼ぶ。）と置換することで、ダイナミックレンジの広い画像の画像信号を生成するようになっている。
【０００９】
＜撮像装置の構成＞
図１は、本発明の一実施形態の内部構成を示すブロック図である。図１に示すように、撮像装置１は、撮像部２、第１遅延部３、マスク画像生成部４、第２遅延部５及び合成部６を含んで構成される。
撮像部２は、被写体からの光を撮像素子（不図示）に集光し、その集光量に応じた電荷を撮像素子の各画素に蓄積させる。また、撮像部２は、各画素に蓄積されている電荷を画素列毎に読み出し、その読み出された電荷に基づいて各画素での集光量（輝度値）を示す画像信号を生成する。なお、本実施形態では、標準露光時間の露光で生成された画像信号を「標準画像信号」と呼び、また、非標準露光時間の露光で生成された画像信号を「非標準画像信号」と呼ぶ。
【００１０】
また、撮像部２は、その生成された標準画像信号を画素列毎に平面視左端側の画素から第１遅延部３とマスク画像生成部４とに出力する。また、撮像部２は、前記生成された非標準画像信号を画素列毎に平面視左端側の画素から合成部６に出力する。
また、第１遅延部３は、撮像部２から出力される標準画像信号を蓄積し、その蓄積された標準画像信号を撮像部２から出力される非標準画像信号と同期させて合成部６に出力する（同じ画素の標準画像信号と非標準画像信号とを合成部６に同時に出力する。）。
【００１１】
さらに、マスク画像生成部４は、図２に示すように、飽和領域検出部７及びノイズ除去フィルタ８を含んで構成される。
飽和領域検出部７は、撮像部２から出力される標準画像信号が閾値ＹHighより大きい画素に飽和領域検出フラグ「１」を対応づけ且つ閾値ＹHigh以下である画素に飽和領域検出フラグ「０」を対応づける。具体的には、飽和領域検出部７は、図３に示すように、比較器９を含んで構成される。比較器９は、撮像部２から出力される標準画像信号が閾値ＹHigh（撮像装置１の特性に応じて予め設定される閾値）より大きいか否かを画素毎に判定する。ここで、標準画像信号が閾値ＹHighより大きい画素がある場合には飽和領域検出フラグ信号として「１」を当該画素に対応づけ、閾値ＹHigh以下である画素がある場合には飽和領域検出フラグ信号として「０」を当該画素に対応づける。そして、比較器９は、その対応づけられた飽和領域検出フラグ信号をノイズ除去フィルタ８に出力する。
【００１２】
また、ノイズ除去フィルタ８は、飽和領域検出部７から入力される飽和領域検出フラグのうち隣接画素に対応づけられている飽和領域検出フラグに基づいて飽和状態であるか否かを画素毎に判定する。具体的には、ノイズ除去フィルタ８は、図４に示すように、直列に接続された４つの２値画像基本フィルタ１０1〜１０4（膨張処理のためのフィルタ１０1、１０2、収縮処理のためのフィルタ１０3、１０4）を含んで構成される。そして、ノイズ除去フィルタ８は、飽和領域検出フラグを対応画素の画像信号としてなる２値画像にクロージング処理（膨張処理を２回行った後に、収縮処理を２回行う処理）を実行し、そのクロージング処理が実行された２値画像の画像信号を対応画素のマスク画像信号（対応画素が飽和状態であると判定される場合には当該対応画素に「１」を対応づけ、また、飽和状態でないと判定される場合には「０」を対応づける信号）を第２遅延部５に出力する。
【００１３】
膨張処理のための２値画像基本フィルタ１０1、１０2は、図５に示すように、膨張処理を実行する。具体的には、まず、処理対象となる画素（以下、「処理対象画素」とも呼ぶ。）Ｄ22を選択する。次に、入力される飽和領域検出フラグ信号に基づき、前記選択された処理対象画素Ｄ22の隣接画素（平面視で上下左右斜めのいずれかにある画素）Ｄ11〜Ｄ21、Ｄ23〜Ｄ33内に飽和検出フラグ信号として「１」が対応づけられている画素があるか否かを判定する。ここで、図６（ａ）に示すように、隣接画素Ｄ11〜Ｄ21、Ｄ23〜Ｄ33に「１」が対応付けられている画素がある場合には処理対象画素Ｄ22に飽和検出フラグ信号として「１」を再び対応づけ、また、図６（ｂ）に示すように、「１」が対応付けられている画素がない場合には処理対象画素Ｄ22に飽和検出フラグ信号として「０」を再び対応づける。そして、膨張処理のための２値画像基本フィルタ１０1、１０2は、その再び対応づけられた飽和領域検出フラグ信号を次段の２値画像基本フィルタ１０2又は１０3に出力した後、新しい処理対象画素を選択して上記フローを繰り返し実行する。
【００１４】
また、収縮処理のための２値画像基本フィルタ１０3、１０4は、収縮処理を実行する。具体的には、まず、処理対象画素Ｄ22を選択する。次に、入力される飽和領域検出フラグ信号に基づき、前記選択された処理対象画素Ｄ22の隣接画素Ｄ11〜Ｄ21、Ｄ23〜Ｄ33内に飽和検出フラグ信号として「０」が対応づけられている画素があるか否かを判定する。ここで、図７（ａ）に示すように、隣接画素Ｄ11〜Ｄ21、Ｄ23〜Ｄ33に「０」が対応付けられている画素がある場合には処理対象画素Ｄ22に飽和検出フラグ信号として「０」を再び対応づけ、また、図７（ｂ）に示すように、隣接画素に「０」が対応付けられている画素がない場合には処理対象画素Ｄ22に飽和検出フラグ信号として「１」を再び対応づける。そして、収縮処理のための２値画像基本フィルタ１０3、１０4は、その再び対応づけられた飽和領域検出フラグ信号を次段の２値画像基本フィルタ１０4又は第２遅延部５に出力した後、新しい処理対象画素を選択して上記フローを繰り返し実行する。
【００１５】
また、第２遅延部５は、図１に示すように、マスク画像生成部４から出力されるマスク画像信号を蓄積し、その蓄積されたマスク画像信号を第１遅延部３から出力される標準画像信号と同期させて（同じ画素に対応する標準画像信号と同時に）合成部６に出力する。
さらに、合成部６は、マスク画像生成部４（２値画像フィルタ１０4）から出力されるマスク画像信号「１」が対応づけられた画素の標準画像信号を非標準画像信号に置き換える。具体的には、合成部６は、図８に示すように、乗算器１１及び切り替え部１２を含んで構成される。乗算器１１は、撮像部２から出力される非標準画像信号を係数Ｋ倍する。ここで、係数Ｋは、標準画像信号取得時の露光時間とアンプゲインとの乗算結果を、非標準画像信号取得時の露光時間とアンプゲインとの乗算結果で除算して得られる値である。そして、乗算器１１は、そのＫ倍された非標準画像信号を切り替え部１２に出力する。
【００１６】
また、切り替え部１２は、第２遅延部５から出力されるマスク画像信号が「０」であるか否かを判定する。ここで、マスク画像信号が「０」である場合には第１遅延部３から出力される標準画像信号を対象画素の合成画像信号として外部機器（不図示）に出力する。また、「１」である場合には乗算器１１から出力される非標準画像信号を合成画像信号として外部機器に出力する。そして、図９（ａ）に示すように、標準画像信号が飽和してしまう照度（以下、「飽和照度」とも呼ぶ。）で切り替えられ、非標準画像信号が出力されることで、図９（ｂ）に示すように、飽和照度以下の照度域でＳ／Ｎ比を向上でき、また、飽和照度より大きい照度域で広ダイナミックレンジの画像を生成することができる。
【００１７】
＜撮像装置の動作＞
本実施形態における撮像装置１の動作を具体的状況に基づいて詳細に説明する。
まず、標準露光時間での撮像によって中央部の画素群（座標（４，４）（４，８）（９，４）（９，８）で囲まれる６×５の画素群（なお、説明の簡単のために、撮像部２の撮像素子の画素配列が１２×１１画素であるとする。また、平面視左上隅の画素を原点とし、平面視下方向をｘ軸の正方向、平面視右方向をｙ軸の正方向とする。））が飽和状態となったとする。そして、図１に示すように、撮像部２によって、撮像素子の各画素で標準画像信号が生成され、その生成された標準画像信号が画素列毎に左端側の画素の画像信号から第１遅延部３とマスク画像生成部４（飽和領域検出部７）とに順次出力される。
【００１８】
次に、飽和領域検出部７（比較器９）によって、図２、図３及び図１０（ａ）に示すように、撮像部２から出力される標準画像信号が閾値ＹHigh以下である画素には飽和領域検出フラグ「０」が対応づけられる。また、標準画像信号が閾値ＹHighより大きい画素には、飽和領域検出フラグ「１」が対応づけられる。ここで、標準画像信号に含まれるノイズが増大し、飽和状態となっている画素群の中央部（座標（６，５）（６，７）（８，５）（８，７）で囲まれる３×３の画素群）の標準画素信号が閾値ＹHighより小さくなったとする。すると、その画素群の中央部に飽和領域検出フラグ「０」が設定される。
【００１９】
次に、ノイズ除去フィルタ８（１段目の２値画像基本フィルタ１０1）によって、比較器９で設定された飽和領域検出フラグを対応画素の画像信号としてなる２値画像（飽和領域検出フラグが「１」である画素を白色、「０」である画素を黒色とした画像）に膨張処理が実行される。そして、図１０（ｂ）に示すように、前記ノイズの増大によって中央に生じた飽和領域検出フラグ「０」（黒色の画素）群が中央の１画素（座標（７，６）の画素）を残して全て「１」とされ、また、座標（３，３）（３，９）（１０，３）（１０，９）を四隅とする四角形上にある画素群の飽和検出フラグ「０」群が「１」とされる。
【００２０】
次に、２段目の２値画像基本フィルタ１０2によって、１段目の２値画像基本フィルタ１０1で設定された飽和領域検出フラグを対応画素の画像信号としてなる２値画像に膨張処理が実行される。そして、図１０（ｃ）に示すように、前記中央に１画素だけ残された飽和領域検出フラグ「０」が「１」とされ、また、座標（２，２）（２，１０）（１１，２）（１１，１０）を四隅とする四角形上の画素群の飽和検出フラグ「０」群が「１」とされる。つまり、「１」の領域が膨張することで、前記ノイズの増大によって中央に生じた飽和領域検出フラグ「０」が全て取り除かれ、座標（２，２）（２，１０）（１１，２）（１１，１０）で囲まれる１０×９の画素群の飽和検出フラグが全て「１」とされる。
【００２１】
次に、３段目の２値画像基本フィルタ１０3によって、２段目の２値画像基本フィルタ１０2で設定された飽和領域検出フラグを対応画素の画像信号としてなる２値画像に収縮処理が実行される。そして、図１０（ｄ）に示すように、座標（２，２）（２，１０）（１１，２）（１１，１０）を四隅とする四角上の画素群の飽和検出フラグ「１」群が「０」とされ、前記飽和処理で取り除かれた外周部の飽和検出フラグ「０」群が復元される。
【００２２】
次に、４段目の２値画像基本フィルタ１０4によって、３段目の２値画像基本フィルタ１０3で設定された飽和領域検出フラグを対応画素の画像信号としてなる２値画像に収縮処理が実行される。そして、図１０（ｅ）に示すように、座標（３，３）（３，９）（１０，３）（１０，９）を四隅とする四角形上の画素群の飽和検出フラグ「１」群が「０」とされ、前記飽和処理で取り除かれた外周部の飽和検出フラグ「０」群が復元される。つまり、飽和検出フラグ「１」の領域が収縮することで、座標（４，４）（４，８）（９，４）（９，８）で囲まれる６×５の画素群の飽和検出フラグだけが全て「１」とされ、前記ノイズの増大によって中央に生じた飽和領域検出フラグ「０」が全て取り除かれる。
【００２３】
次に、第２遅延部５によって、図１に示すように、マスク画像生成部４（４段目の２値画像基本フィルタ１０4）で設定されたマスク画像信号（飽和領域検出フラグ）が蓄積され、その蓄積されたマスク画像信号が第１遅延部３から出力される標準画像信号と同期されて、同じ画素に対応する標準画像信号とマスク画像信号とが同時に合成部６（切り替え部１２、乗算器１１）に出力される。また、図８に示すように、乗算器１１によって、その出力された非標準画像信号が係数Ｋ倍され、その係数Ｋ倍された非標準画像信号が切り替え部１２に出力される。さらに、切り替え部１２によって、座標（４，４）（４，８）（９，４）（９，８）で囲まれる６×５の画素群については合成画像信号として撮像部２から出力される非標準画像信号が外部機器に出力され、また、その他の画素については合成画像信号として第１遅延部３から出力される標準画像信号が外部機器に出力される。
【００２４】
このように、本実施形態の撮像装置１によれば、標準画像信号が閾値ＹHighより大きい画素に数値「１」を対応づけ、標準画像信号が閾値ＹHigh以下の画素に数値「０」を対応付け、その対応づけられた数値を対応画素の画像信号としてなる２値画像にクロージング処理を実行し、そのクロージング処理が実行された２値画像の画像信号として数値「１」が対応づけられた画素の標準画像信号を非標準画像信号で置き換えるようにした。そのため、標準画像信号に含まれるノイズにより、標準画像が実際よりも小さく検出され、飽和状態にある画素群内の一部の画素で標準画像信号が閾値ＹHighより小さいと判定された場合にも、前記一部の画素の標準画像信号を非標準画像信号に置き換えることができる。その結果、例えば、単に閾値ＹHighより大きい標準画像信号を非標準画像信号で置き換える方法と比べ、前記置き換えで得られる撮像画像の画質を向上することができる。
【００２５】
また、ノイズ除去フィルタ８（２値画像基本フィルタ１０1〜１０4）は、２値画像（１ビット）処理を行うことで、マスク画像信号を生成するようになっている。そのため、構成要素であるラインメモリやフィルタ用ロジックが極めて小さくて済む。例えば、1ラインが６４０画素である場合には、２値画像処理を行う本方法では、１ラインあたり６４０ビットのデータ量となり、約１．２Kビットの記憶容量のラインメモリを設けることで、２ライン分のデータを保持することができる。ちなみに、多値画像(８ビット／画素(モノクロ))処理を行う方法では、１ラインあたり約５Ｋビットのデータ量となり、２ライン分のデータを保持するためには、約１０Ｋビットの記憶容量が必要となってしまう。
【００２６】
以上、図１及び図２のマスク画像生成部４、図２及び図３の飽和領域検出部７が特許請求の範囲に記載の第１判定手段を構成し、以下同様に、図１及び図２のマスク画像生成部４、図２及び図４のノイズ除去フィルタ８、図４及び図５の２値画像基本フィルタ１０1〜１０4が第２判定手段を構成し、図１及び図８の合成部６置き換え手段を構成する。
なお、本発明の撮像装置は、上記実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【００２７】
上記実施形態では、飽和領域検出フラグを対応画素の画像信号としてなる２値画像に膨張処理（飽和領域検出フラグが「１」である画素が周囲にある画素の新しい飽和領域検出フラグを「１」とする処理）や収縮処理（飽和領域検出フラグが「０」である画素が周囲にある画素の新しい飽和領域検出フラグを「０」とする処理）を実行する例を示したが、これに限られるものではない。例えば、周囲の画素の飽和領域検出フラグの組み合わせパターンの種類に応じて、新しい飽和領域検出フラグを設定するようにしてもよい。
【００２８】
また、本発明はどのような種類の画像にでも適用可能であり、例えば、白黒画像であってもよく、カラー画像であってもよい。特に、カラー画像に適用する場合には、ＲＧＢの各サブピクセルをまとめた１ピクセルを１画素として扱うようにしてもよい。また、Ｇのサブピクセルだけに適用して、その適用結果をＲとＢとにも用いるようにしてもよい。
【図面の簡単な説明】
【００２９】
【図１】本発明の撮像装置の一実施形態の内部構成を示すブロック図である。
【図２】図１のマスク画像生成部の内部構成を示すブロック図である。
【図３】図２の飽和領域検出部の内部構成を示すブロック図である。
【図４】図２のノイズ除去フィルタの内部構成を示すブロック図である。
【図５】図４の２値画像基本フィルタの内部構成を示すブロック図である。
【図６】図４の２値画像基本フィルタの動作を説明するための説明図である。
【図７】図４の２値画像基本フィルタの動作を説明するための説明図である。
【図８】図１の合成部の内部構成のブロック図である。
【図９】本発明の動作を説明するための説明図である。
【図１０】本発明の動作を説明するための説明図である。
【符号の説明】
【００３０】
１は撮像装置、２は撮像部、３は遅延部、４はマスク画像生成部、５は遅延部、６は合成部、７は飽和領域検出部、８はノイズ除去フィルタ、９は比較器、１０は飽和領域検出部、１１は乗算器、１２は切り替え部
【図１】
2006148743.tif 000003
【図２】
2006148743.tif 000004
【図３】
2006148743.tif 000005
【図４】
2006148743.tif 000006
【図５】
2006148743.tif 000007
【図６】
2006148743.tif 000008
【図７】
2006148743.tif 000009
【図８】
2006148743.tif 000010
【図９】
2006148743.tif 000011
【図１０】
2006148743.tif 000012