(57)【要約】      （修正有）【課題】撮像装置及び撮像装置の感度改善方法を提供する。【解決手段】入力映像データを所定のピクセルサイズでピクセルビニングするピクセルビニング部４１５と、入力映像データまたは入力映像データの輝度値に基づいてピクセルビニングゲインを決定するゲイン決定部４４５と、ピクセルビニングされた入力映像データ及びピクセルビニングゲインに基づいて出力映像データを計算する計算部４５０と、を備える撮像装置。これにより、入力映像データの解像度は保存しつつ低照度映像信号のダイナミックレンジを拡張させることができる。【選択図】図４
2009021999.tif 000002
【特許請求の範囲】
【請求項１】
入力映像データを所定のピクセルサイズでピクセルビニングするピクセルビニング部と、
前記入力映像データまたは前記入力映像データの輝度値に基づいてピクセルビニングゲインを決定するゲイン決定部と、
前記ピクセルビニングされた入力映像データ及び前記ピクセルビニングゲインに基づいて出力映像データを計算する計算部と、を備えることを特徴とする撮像装置。
【請求項２】
前記ピクセルビニング部は、前記入力映像データの解像度を保存させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ゲイン決定部は、
前記入力映像データの輝度値が所定の第１しきい値より低ければ、前記ピクセルビニングゲインを所定の最大ゲイン値に決定し、前記第１しきい値より高くなるほど前記ピクセルビニングゲインを前記最大ゲイン値から線形的に低くなる値に決定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記計算部は、前記ピクセルビニングされた入力映像データに前記ピクセルビニングゲインを乗算することによって前記出力映像データを計算することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記出力映像データの現在フレームデータ及び以前フレームデータに基づいて、前記出力映像データのダイナミックレンジを拡張する時間的拡張部をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記ゲイン決定部は、前記時間的拡張部のデータマージゲインを決定して前記時間的拡張部に提供することを特徴とする請求項５に記載の撮像装置。
【請求項７】
入力映像データを所定のピクセルサイズでピクセルビニングするピクセルビニング部と、
前記入力映像データの複数の方向に対する高周波数成分をフィルタリングする高域通過フィルタ部と、
前記高周波数成分に基づいて解像度保存因子を決定する解像度保存因子決定部と、
前記ピクセルビニングされた入力映像データ、前記高周波数成分、及び前記解像度保存因子に基づいて出力映像データを計算する計算部と、を備えることを特徴とする撮像装置。
【請求項８】
前記ピクセルビニング部は、前記入力映像データの解像度を保存させることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記高域通過フィルタ部は、
前記入力映像データの水平方向に対する第１高周波数成分をフィルタリングする水平高域通過フィルタ部と、
前記入力映像データの垂直方向に対する第２高周波数成分をフィルタリングする垂直高域通過フィルタ部と、を備えることを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記高域通過フィルタ部は、前記入力映像データの対角線方向に対する第３高周波数成分をフィルタリングする対角高域通過フィルタ部をさらに備えることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記解像度保存因子決定部は、
前記第１及び第２高周波数成分の差、前記第２及び第３高周波数成分の差、及び前記第１及び第３高周波数成分の差のそれぞれの絶対値のうち、最大絶対値を求め、
前記最大絶対値が所定の第２しきい値より小さいか、またはそれと同じであれば、前記解像度保存因子を所定の最小因子値に決定し、
前記最大絶対値が所定の第３しきい値より大きいか、またはそれと同じであれば、前記解像度保存因子を所定の最大因子値に決定し、
前記最大絶対値が前記第２しきい値と前記第３しきい値との間にあれば、前記解像度保存因子を、前記最小因子値と前記最大因子値との間で前記最大絶対値の増加と共に線形的に増加する値に決定することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記計算部は、前記高周波数成分の和に前記解像度保存因子を乗算し、前記ピクセルビニングされた入力映像データを加算することによって前記出力映像データを計算することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記出力映像データの現在フレームデータ及び以前フレームデータに基づいて、前記出力映像データのダイナミックレンジを拡張する時間的拡張部をさらに備えることを特徴とする請求項７に記載の撮像装置。
【請求項１４】
入力映像データを所定のピクセルサイズでピクセルビニングするステップと、
前記入力映像データまたは前記入力映像データの輝度値に基づいてピクセルビニングゲインを決定するステップと、
前記ピクセルビニングされた入力映像データ及び前記ピクセルビニングゲインに基づいて出力映像データを計算するステップと、を含むことを特徴とする撮像装置の感度改善方法。
【請求項１５】
前記ピクセルビニングは、前記入力映像データの解像度を保存させることを特徴とする請求項１４に記載の撮像装置の感度改善方法。
【請求項１６】
前記ピクセルビニングゲインは、前記入力映像データの輝度値が所定の第１しきい値より低ければ所定の最大ゲイン値に決定され、前記入力映像データの輝度値が前記第１しきい値より高くなるほど、前記最大ゲイン値から線形的に低くなる値に決定されることを特徴とする請求項１４に記載の撮像装置の感度改善方法。
【請求項１７】
前記出力映像データは、前記ピクセルビニングされた入力映像データに前記ピクセルビニングゲインを乗算することによって計算されることを特徴とする請求項１４に記載の撮像装置の感度改善方法。
【請求項１８】
前記出力映像データの現在フレームデータ及び以前フレームデータに基づいて、前記出力映像データのダイナミックレンジを拡張するステップをさらに含むことを特徴とする請求項１４に記載の撮像装置の感度改善方法。
【請求項１９】
入力映像データを所定のピクセルサイズでピクセルビニングするステップと、
前記入力映像データの複数の方向に対する高周波数成分をフィルタリングするステップと、
前記高周波数成分に基づいて解像度保存因子を決定するステップと、
前記ピクセルビニングされた入力映像データ、前記高周波数成分、及び前記解像度保存因子に基づいて出力映像データを計算するステップと、を含むことを特徴とする撮像装置の感度改善方法。
【請求項２０】
前記ピクセルビニングは、前記入力映像データの解像度を保存させることを特徴とする請求項１９に記載の撮像装置の感度改善方法。
【請求項２１】
前記高周波数成分をフィルタリングするステップは、
前記入力映像データの水平方向に対する第１高周波数成分をフィルタリングするステップと、
前記入力映像データの垂直方向に対する第２高周波数成分をフィルタリングするステップと、を含むことを特徴とする請求項１９に記載の撮像装置の感度改善方法。
【請求項２２】
前記高周波数成分をフィルタリングするステップは、前記入力映像データの対角線方向に対する第３高周波数成分をフィルタリングするステップをさらに含むことを特徴とする請求項２１に記載の撮像装置の感度改善方法。
【請求項２３】
前記解像度保存因子を決定するステップは、
前記第１及び第２高周波数成分の差、前記第２及び第３高周波数成分の差、及び前記第１及び第３高周波数成分の差のそれぞれの絶対値のうち、最大絶対値を求めるステップと、
前記最大絶対値が所定の第２しきい値より小さいか、またはそれと同じであれば、前記解像度保存因子を所定の最小因子値に決定するステップと、
前記最大絶対値が所定の第３しきい値より大きいか、またはそれと同じであれば、前記解像度保存因子を所定の最大因子値に決定するステップと、
前記最大絶対値が前記第２しきい値及び前記第３しきい値の間にあれば、前記解像度保存因子を前記最小因子値と前記最大因子値との間で前記最大絶対値の増加と共に線形的に増加する値に決定するステップと、を含むことを特徴とする請求項２２に記載の撮像装置の感度改善方法。
【請求項２４】
前記出力映像データは、前記高周波数成分の和に前記解像度保存因子を乗算し、前記ピクセルビニングされた入力映像データを加算することによって計算されることを特徴とする請求項２３に記載の撮像装置の感度改善方法。
【請求項２５】
前記出力映像データの現在フレームデータ及び以前フレームデータに基づいて、前記出力映像データのダイナミックレンジを拡張するステップをさらに含むことを特徴とする請求項１９に記載の撮像装置の感度改善方法。
【請求項２６】
入力映像データを所定のピクセルサイズでピクセルビニングするステップと、
前記入力映像データまたは前記入力映像データの輝度値に基づいてピクセルビニングゲインを決定するステップと、
前記ピクセルビニングされた入力映像データ及び前記ピクセルビニングゲインに基づいて出力映像データを計算するステップと、を含む撮像装置の感度改善方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体。
【請求項２７】
入力映像データを所定のピクセルサイズでピクセルビニングするステップと、
前記入力映像データの複数の方向に対する高周波数成分をフィルタリングするステップと、
前記高周波数成分に基づいて解像度保存因子を決定するステップと、
前記ピクセルビニングされた入力映像データ、前記高周波数成分、及び前記解像度保存因子に基づいて出力映像データを計算するステップと、を含む撮像装置の感度改善方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の感度改善方法に係り、さらに詳細には、低照度映像データの感度を改善させてノイズを抑制する撮像装置及び撮像装置の感度改善方法に関する。
【背景技術】
【０００２】
カメラまたはカムコーダのような撮像装置は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）のような撮像素子を利用して光を電気的信号であるイメージに変換する。
【０００３】
撮像素子は、理想的には入射される光の照度に比例する電気信号を発生させねばならないが、実際的には電気信号への変換過程で多様なノイズが付加される。かかるノイズには暗電流ノイズ、ｋＴＣノイズ、固定されたパターンノイズなどがある。
【０００４】
暗電流ノイズは、温度によって比例する特性を持つ熱的ノイズであり、低照度での画質劣化の主要要因である。ｋＴＣノイズは、ＣＭＯＳまたはＣＣＤカメラなどの駆動に使われる各種スイッチングパルスにより発生するノイズである。固定されたパターンノイズは、ＣＭＯＳまたはＣＣＤのような撮像素子が不良画素を含む場合に発生する。固定されたパターンノイズは、ＣＭＯＳまたはＣＣＤの製造過程で多様な要因により発生する不均一性に起因したものであり、白点ディフェクト（ｗｈｉｔｅ  ｓｐｏｔ  ｄｅｆｅｃｔ）、黒点ディフェクト（ｂｌａｃｋ  ｓｐｏｔ  ｄｅｆｅｃｔ）、ラインディフェクト（ｌｉｎｅ  ｄｅｆｅｃｔ）、縞模様ディフェクト（ｂａｎｄｅｄ  ｄｅｆｅｃｔ）、感度しみ（ｓｅｎｓｉｔｉｖｉｔｙ  ｓｐｅｃｋ）などの形態で現れる。かかるノイズは、撮像素子により光電変換されて蓄積された電荷と合算され、それにより画質を劣化させる。
【０００５】
撮像素子は光の多い時、すなわち、撮影環境が明るい時は、ＣＣＤ自体のノイズが光により光電変換されて蓄積された電荷に比べて非常に少ないため、画質劣化が少なく現れる。しかし、撮影環境が暗くなれば、固定されたパターンノイズ、暗電流ノイズ、ｋＴＣノイズが光により光電変換されて蓄積された電荷に比べて相対的に大きくなるという問題点がある。
【０００６】
また、撮影環境が暗い時、光電変換により蓄積された電荷をノイズに比べて相対的に大きくするために、ピクセルピッチの大きい撮像素子を利用するか、撮像素子の露出時間を長くすることができる。しかし、ピクセルピッチの大きい撮像素子は高コストであり、同じ解像度のためには撮像素子のサイズを大きくせねばならないという問題点がある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、前述した問題点に鑑みてなされたものであり、本発明の目的は、解像度は保存しつつ出力映像信号の電力を増大させることによって、低照度の映像信号のダイナミックレンジを拡張させる撮像装置及び撮像装置の感度改善方法を提供するところにある。
【０００８】
また、本発明の目的は、ノイズのブーストアップを抑制することによって撮像装置の感度を改善するための撮像装置及び撮像装置の感度改善方法を提供するところにある。
【課題を解決するための手段】
【０００９】
前述した目的を達成するために、本発明の一実施形態による撮像装置は、入力映像データを所定のピクセルサイズでピクセルビニングするピクセルビニング部と、前記入力映像データまたは前記入力映像データの輝度値に基づいてピクセルビニングゲインを決定するゲイン決定部と、前記ピクセルビニングされた入力映像データ及び前記ピクセルビニングゲインに基づいて出力映像データを計算する計算部と、を備えることを特徴とする。
【００１０】
前記ピクセルビニング部は、前記入力映像データの解像度を保存させることを特徴とする。
【００１１】
前記ゲイン決定部は、前記入力映像データの輝度値が所定の第１しきい値より低ければ、前記ピクセルビニングゲインを所定の最大ゲイン値に決定し、前記第１しきい値より高くなるほど前記ピクセルビニングゲインを前記最大ゲイン値から線形的に低くなる値に決定することを特徴とする。
【００１２】
前記計算部は、前記ピクセルビニングされた入力映像データに前記ピクセルビニングゲインを乗算することによって前記出力映像データを計算することを特徴とする。
【００１３】
前記出力映像データの現在フレームデータ及び以前フレームデータに基づいて、前記出力映像データのダイナミックレンジを拡張する時間的拡張部をさらに備えることを特徴とする。
【００１４】
前記ゲイン決定部は、前記時間的拡張部のデータマージゲインを決定して前記時間的拡張部に提供することを特徴とする。
【００１５】
また、前述した目的を達成するために、本発明の他の実施形態による撮像装置は、入力映像データを所定のピクセルサイズでピクセルビニングするピクセルビニング部と、前記入力映像データの複数の方向に対する高周波数成分をフィルタリングする高域通過フィルタ部と、前記高周波数成分に基づいて解像度保存因子を決定する解像度保存因子決定部と、前記ピクセルビニングされた入力映像データ、前記高周波数成分、及び前記解像度保存因子に基づいて出力映像データを計算する計算部と、を備えることを特徴とする。
【００１６】
前記高域通過フィルタ部は、前記入力映像データの水平方向に対する第１高周波数成分をフィルタリングする水平高域通過フィルタ部と、前記入力映像データの垂直方向に対する第２高周波数成分をフィルタリングする垂直高域通過フィルタ部と、を備えることを特徴とする。
【００１７】
前記高域通過フィルタ部は、前記入力映像データの対角線方向に対する第３高周波数成分をフィルタリングする対角高域通過フィルタ部をさらに備えることを特徴とする。
【００１８】
前記解像度保存因子決定部は、前記第１及び第２高周波数成分の差、前記第２及び第３高周波数成分の差、及び前記第１及び第３高周波数成分の差のそれぞれの絶対値のうち、最大絶対値を求め、前記最大絶対値が所定の第２しきい値より小さいか、またはそれと同じであれば、前記解像度保存因子を所定の最小因子値に決定し、前記最大絶対値が所定の第３しきい値より大きいか、またはそれと同じであれば、前記解像度保存因子を所定の最大因子値に決定し、前記最大絶対値が前記第２しきい値と前記第３しきい値との間にあれば、前記解像度保存因子を、前記最小因子値と前記最大因子値との間で前記最大絶対値の増加と共に線形的に増加する値に決定することを特徴とする。
【００１９】
前記計算部は、前記高周波数成分の和に前記解像度保存因子を乗算し、前記ピクセルビニングされた入力映像データを加算することによって前記出力映像データを計算することを特徴とする。
【００２０】
前記出力映像データの現在フレームデータ及び以前フレームデータに基づいて、前記出力映像データのダイナミックレンジを拡張する時間的拡張部をさらに備えることを特徴とする。
【００２１】
また、前述した目的を達成するために、本発明の一実施形態による撮像装置の感度改善方法は、入力映像データを所定のピクセルサイズでピクセルビニングするステップと、前記入力映像データまたは前記入力映像データの輝度値に基づいてピクセルビニングゲインを決定するステップと、前記ピクセルビニングされた入力映像データ及び前記ピクセルビニングゲインに基づいて出力映像データを計算するステップと、を含むことを特徴とする。
【００２２】
また、前述した目的を達成するために、本発明の他の実施形態による撮像装置の感度改善方法は、入力映像データを所定のピクセルサイズでピクセルビニングするステップと、前記入力映像データの複数の方向に対する高周波数成分をフィルタリングするステップと、前記高周波数成分に基づいて解像度保存因子を決定するステップと、前記ピクセルビニングされた入力映像データ、前記高周波数成分、及び前記解像度保存因子に基づいて出力映像データを計算するステップと、を含むことを特徴とする。
【００２３】
また、前述した目的を達成するために、本発明の一実施形態による撮像装置の感度改善方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体は、入力映像データを所定のピクセルサイズでピクセルビニングするステップと、前記入力映像データまたは前記入力映像データの輝度値に基づいてピクセルビニングゲインを決定するステップと、前記ピクセルビニングされた入力映像データ及び前記ピクセルビニングゲインに基づいて出力映像データを計算するステップと、を含む撮像装置の感度改善方法を実行することを特徴とする。
【００２４】
また、前述した目的を達成するために、本発明の他の実施形態による撮像装置の感度改善方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体は、入力映像データを所定のピクセルサイズでピクセルビニングするステップと、前記入力映像データの複数の方向に対する高周波数成分をフィルタリングするステップと、前記高周波数成分に基づいて解像度保存因子を決定するステップと、前記ピクセルビニングされた入力映像データ、前記高周波数成分、及び前記解像度保存因子に基づいて出力映像データを計算するステップと、を含む撮像装置の感度改善方法を実行することを特徴とする。
【発明の効果】
【００２５】
本発明の一実施形態による撮像装置及び撮像装置の感度改善方法によれば、入力映像データの解像度は保存しつつ低照度映像信号のダイナミックレンジを拡張させることができる。
【００２６】
また、本発明の一実施形態による撮像装置及び撮像装置の感度改善方法によれば、低照度でノイズに比べて出力映像信号の電力を高めることができる。
【発明を実施するための最良の形態】
【００２７】
以下、添付した図面を参照して本発明の望ましい実施形態を詳細に説明する。
【００２８】
図１は、本発明の第１実施例による撮像装置を示す図である。図１を参照するに、本発明の第１実施例による撮像装置は、ピクセルビニング部１２０、ゲイン決定部１３０及び計算部１４０を備える。
【００２９】
ピクセルビニング部１２０は、入力映像データ１１０を所定のピクセルサイズで（例えば、２×２または３×３のように）ピクセルビニングする。一つのピクセルに近接した複数のピクセルデータは一つのピクセルデータに統合される。ピクセルビニングは、一般的に数個のピクセルデータを一つのピクセルデータに統合することであるため、低照度で感度を向上させることはできるが、解像度を減少させるという短所がある。
【００３０】
しかし、本発明の一実施形態で、ピクセルビニング部１２０は、入力映像データ１１０の解像度を保存しつつ水平方向または垂直方向にピクセルビニングする。本発明の一実施形態によって入力映像データ１１０の解像度を保存するためのピクセルビニングは、図５Ａないし図５Ｅを参照して説明される。
【００３１】
図５Ａは、ピクセルビニング以前のそれぞれのピクセルを示す。それぞれのピクセルは‘ａ’、‘ｂ’、‘ｃ’…などで表記されている。
【００３２】
図５Ｂは、ピクセルデータが２×２でピクセルビニングされる時、ピクセル‘ａ’、‘ｃ’、‘ｉ’及び‘ｋ’に対してピクセルビニングされたデータを獲得するための例示的な方法を説明するためのものである。ピクセル‘ａ’に対するピクセルビニングされたデータは、ピクセル‘ａ’、‘ｂ’、‘ｅ’及び‘ｆ’に対する入力映像データを合わせることによって求めることができる。ピクセル‘ｃ’に対するピクセルビニングされたデータは、ピクセル‘ｃ’、‘ｄ’、‘ｇ’及び‘ｈ’に対する入力映像データを合わせることによって求めることができる。ピクセル‘ｉ’及び‘ｋ’に対するピクセルビニングされたデータも類似した方法で求めることができる。
【００３３】
同様に、図５Ｃは、ピクセルデータが２×２でピクセルビニングされる時、ピクセル‘ｂ’、‘ｄ’、‘ｊ’及び‘ｌ’に対してピクセルビニングされたデータを獲得するための例示的な方法を説明するためのものである。例えば、ピクセル‘ｂ’に対するピクセルビニングされたデータは、ピクセル‘ｂ’、‘ｃ’、‘ｆ’及び‘ｇ’に対する入力映像データを合わせることによって求めることができる。ピクセル‘ｄ’に対する入力映像データは、ピクセル‘ｄ、‘ａ’、‘ｈ’及び‘ｅ’に対する入力映像データを合わせることによって獲得できる。ピクセル‘ｉ’に対する入力映像データは、ピクセル‘ｌ’、‘ｉ’、‘ｐ’及び‘ｍ’に対する入力映像データを合わせることによって獲得できる。
【００３４】
図５Ｄでは、ピクセルデータが２×２でピクセルビニングされる時、ピクセル‘ｅ’、‘ｇ’、‘ｍ’及び‘ｏ’に対するピクセルビニングされたデータを獲得でき、図５Ｅでは、ピクセル‘ｆ’、‘ｈ’、‘ｎ’及び‘ｐ’に対するピクセルビニングされたデータを獲得できる。
【００３５】
このような方法によって、あらゆるピクセル‘ａ’、‘ｂ’、‘ｃ’、…、‘ｐ’に対する入力映像データを獲得できる。したがって、図５Ａないし図５Ｅのピクセルビニングは、入力映像データの解像度を保存しつつ低照度で感度を向上させることができる。但し、本発明の実施形態によって入力映像データ１１０の解像度を保存するだけではなく、解像度を減少させるピクセルビニングを行うこともできる。
【００３６】
再び図１を参照するに、ゲイン決定部１３０は、入力映像データ１１０または入力映像データ１１０の輝度値に基づいてピクセルビニングゲインを決定する。ピクセルビニングゲインは、ピクセルビニング部１２０から出力されるデータに対するゲイン値であり、例えば、出力映像データ１５０は、後述する計算部１４０により出力映像データ１５０＝ピクセルビニング部１２０の出力＊ピクセルビニングゲインのように計算できる。
【００３７】
入力映像データ１１０または入力映像データ１１０の輝度値に対するピクセルビニングゲインの例示は、図７に示されている。例えば、ゲイン決定部１３０は、入力映像データ１１０の輝度値が所定の第１しきい値より低ければ、ピクセルビニングゲインを所定の最大ゲイン値に決定し、第１しきい値より高くなれば、ピクセルビニングゲインを最大ゲイン値から線形的に低くなる値に決定できる。最大ゲイン値及びピクセルビニングゲインの減少比率（すなわち、勾配）は、実施形態によって多様な値で与えられうる。
【００３８】
計算部１４０は、ピクセルビニング部１２０から出力されたピクセルビニングされた映像データ、及びゲイン決定部１３０から出力されたピクセルビニングゲインに基づいて、出力映像データ１４０を計算する。前述したように、計算部１４０は、出力映像データ１５０＝ピクセルビニング部１２０の出力＊ピクセルビニングゲインを出力できるが、必ずしもこれに限定されるものではない。
【００３９】
前記の実施形態によれば、入力映像データ１１０の輝度が低い時、撮像装置の感度を向上させてダイナミックレンジを高めることができる。
【００４０】
図２は、本発明の第２実施例による撮像装置を示す図である。図２を参照するに、本発明の第２実施例による撮像装置は、ピクセルビニング部１２０、ゲイン決定部２３０、計算部１４０及び時間的拡張部２５０を備える。
【００４１】
本発明の第２実施例によるピクセルビニング部１２０及び計算部１４０は、図１で説明されたものと同一であるので、追加的な説明は省略する。
【００４２】
時間的拡張部２５０は、計算部１４０から出力される映像データの現在フレームデータ及び以前フレームデータに基づいて、出力映像データ２６０のダイナミックレンジを拡張する。
【００４３】
ゲイン決定部２３０は、ピクセルビニングゲインを決定するだけではなく、時間的拡張部２５０で現在フレームデータ及び以前フレームデータの合算比率であるデータマージゲインを決定して時間的拡張部２５０に提供する。現在フレームデータ及び以前フレームデータの合算比率は、フレーム間の動きによって相異な値に決定される。
【００４４】
ゲイン決定部２３０及び時間的拡張部２５０の例示的な構成は図８Ａ及び図８Ｂを参照して後述する。
【００４５】
図３は、本発明の第３実施例による撮像装置を示す図である。図３を参照するに、本発明の第３実施例による撮像装置は、ピクセルビニング部３２０、高域通過フィルタ部３３０、解像度保存因子決定部３４０及び計算部３５０を含む。
【００４６】
ピクセルビニング部３２０は、入力映像データ３１０を所定のピクセルサイズでピクセルビニングする。ピクセルビニング部３２０は、入力映像データ３１０の解像度を保存できる。
【００４７】
高域通過フィルタ部３３０は、入力映像データ３１０の複数の方向に対する高周波数成分をフィルタリングする。複数の方向に対する高周波数成分をフィルタリングするのは、どのピクセルの高周波成分がイメージによるものか、ノイズによるものかを判断するためのことである。一般的に、いずれかの一方向に対して大きい値の高周波数成分を持つのは、その方向に対するエッジの存在を推定可能にする。したがって、例えば、いずれか一つのピクセルに対して水平、垂直及び対角線方向にフィルタリングされた高周波数成分がいずれも大きい値を持つならば、その一つのピクセルはノイズであると推定できる。
【００４８】
解像度保存因子決定部３４０は、高周波数成分に基づいて解像度保存因子を決定する。まず、解像度保存因子決定部３４０は、どのピクセルの高周波数成分がイメージによるものか、ノイズによるものかを判断した後、イメージによるものであれば、前記高周波数成分を維持し、ノイズによるものであれば、前記高周波数成分を維持しないように因子値を決定する。その例示的な構成については図４を参照して後述する。
【００４９】
計算部３５０は、ピクセルビニングされた入力映像データ、高周波数成分及び解像度保存因子に基づいて出力映像データ３６０を計算する。
【００５０】
図４は、本発明の第４実施例による撮像装置を示す図である。図４を参照するに、本発明の第４実施例による撮像装置は、ピクセルビニング部４１５、高域通過フィルタ部４２０、解像度保存因子決定部４４０、ゲイン決定部４４５及び計算部４５０を備える。
【００５１】
ピクセルビニング部４１５は、入力映像データ４１０を所定のピクセルサイズでピクセルビニングする。ピクセルビニング部４１５は、入力映像データ４１０の解像度を保存する。
【００５２】
高域通過フィルタ部４２０は、水平高域通過フィルタ部４２５、垂直高域通過フィルタ部４３０及び対角高域通過フィルタ部４３５を備える。
【００５３】
水平高域通過フィルタ部４２５は、入力映像データ４１０の水平方向に対する第１高周波数成分‘Ｈ＿ｈｐｆ’をフィルタリングする。垂直高域通過フィルタ部４３０は、入力映像データ４１０の垂直方向に対する第２高周波数成分‘Ｖ＿ｈｐｆ’をフィルタリングする。また、対角高域通過フィルタ部４３５は、入力映像データ４１０の対角線方向に対する第３高周波数成分‘Ｄ＿ｈｐｆ’をフィルタリングする。
【００５４】
但し、変形された実施形態で、高域通過フィルタ部４２０は、水平高域通過フィルタ部４２５及び垂直高域通過フィルタ部４３０のように、２個のフィルタ部のみを備えるか、または４個以上のフィルタ部を備えることもできる。
【００５５】
解像度保存因子決定部４４０は、第１高周波数成分と第２高周波数成分との差の絶対値｜Ｈ＿ｈｐｆ−Ｖ＿ｈｐｆ｜、第２高周波数成分と第３高周波数成分との差の絶対値｜Ｖ＿ｈｐｆ−Ｄ＿ｈｐｆ｜、及び第１高周波数成分と第３高周波数成分との差の絶対値｜Ｈ＿ｈｐｆ−Ｄ＿ｈｐｆ｜を求める。次いで、解像度保存因子決定部４４０は、前記３個の絶対値のうち、最も大きい値である最大絶対値Ｄｉｆｆ＿Ｍａｘを求める。すなわち、Ｄｉｆｆ＿Ｍａｘ＝ｍａｘ（｜Ｈ＿ｈｐｆ−Ｖ＿ｈｐｆ｜，｜Ｖ＿ｈｐｆ−Ｄ＿ｈｐｆ｜，｜Ｈ＿ｈｐｆ−Ｄ＿ｈｐｆ｜）。
【００５６】
次いで、解像度保存因子決定部４４０は、前記で計算されたＤｉｆｆ＿Ｍａｘに基づいて解像度保存因子を決定する。
【００５７】
図６は、本発明の実施形態によって解像度保存因子を決定するための例示的なグラフである。図６を参照するに、Ｄｉｆｆ＿Ｍａｘが所定の第２しきい値より小さいか、またはそれと同じであれば、解像度保存因子は所定の最小因子値に決定される。もし、Ｄｉｆｆ＿Ｍａｘが所定の第３しきい値より大きいか、またはそれと同じであれば、解像度保存因子は所定の最大因子値に決定される。Ｄｉｆｆ＿Ｍａｘが第２しきい値と第３しきい値との間にあれば、解像度保存因子は、最小因子値と最大因子値との間で最大絶対値（すなわち、Ｄｉｆｆ＿Ｍａｘ）の増加によって線形的に増加する値に決定される。これは、ノイズ成分は一般的に小さな値のＤｉｆｆ＿Ｍａｘを持ち、イメージ成分は大きい値のＤｉｆｆ＿Ｍａｘを持つことに着目したことである。
【００５８】
再び図４を参照するに、ゲイン決定部４４５は、入力映像データ４１０または入力映像データ４１０の輝度値に基づいてピクセルビニングゲインを決定する。ピクセルビニングゲインは、ピクセルビニング部４１５から出力されるデータに対するゲイン値である。
【００５９】
入力映像データ４１０または入力映像データ４１０の輝度値に対するピクセルビニングゲインの例示が、図７に示されている。ゲイン決定部４４５は、入力映像データ４１０の輝度値が第１しきい値より低ければ、ピクセルビニングゲインを最大ゲイン値に決定する。入力映像データ４１０の輝度値が第１しきい値より大きくなれば、ゲイン決定部４４５は、ピクセルビニングゲインを最大ゲイン値から線形的に減少する値に決定する。最大ゲイン値及びピクセルビニングゲインの減少比率は多様な値に与えられうる。
【００６０】
また、ゲイン決定部２３０は、第１出力映像データ４７５から現在フレームデータ及び以前フレームデータの合算比率であるデータマージゲインを決定して時間的拡張部４８０に提供する。したがって、空間的領域及び時間的領域のゲインがそれぞれ調節される。
【００６１】
計算部４５０は、第１乗算部４５５、第２乗算部４６５、第１加算部４６０及び第２加算部４７０を備える。
【００６２】
第１乗算部４５５は、ピクセルビニング部４１５によりピクセルビニングされた入力映像データＤａｔａ＿ＢＩと、ゲイン決定部４４５により決定されたピクセルビニングゲインＥｘｐａｎｓｉｏｎ＿ｇａｉｎ＿Ｓとを乗算する。
【００６３】
第１加算部４６０は、高周波数成分の和（ＳＨＦ＝Ｈ＿ｈｐｆ＋Ｖ＿ｈｐｆ＋Ｄ＿ｈｐｆ）を計算する。
【００６４】
第２乗算部４６５は、高周波数成分の和（ＳＨＦ）と、解像度保存因子決定部４４０により決定された解像度保存因子ＲＰ＿ｆａｃｔｏｒとを乗算する。
【００６５】
第２加算部４７０は、第１乗算部４５５の出力と第２乗算部４６５の出力とを加算する。
【００６６】
すなわち、計算部４５０の出力である第１出力映像データＤａｔａ＿Ｏｕｔ＿Ｓ  ４７５は、次の通りである。Ｄａｔａ＿Ｏｕｔ＿Ｓ＝Ｄａｔａ＿ＢＩ＊Ｅｘｐａｎｓｉｏｎ＿ｇａｉｎ＿Ｓ＋ＲＰ＿ｆａｃｔｏｒ＊ＳＨＦ。
第１出力映像データ４７５は、再び時間的拡張部４８０に入力されてもよい。
【００６７】
図８Ａは、本発明の実施形態による時間的拡張部の例示を具体的に示す図である。
【００６８】
時間的拡張部８１０は、動き検出部８２０、データマージ部８３０、第３乗算部８４０及び第３加算部８５０を備える。
【００６９】
動き検出部８２０は、現在フレームデータ及び以前フレームデータ間の動きを検出する。
【００７０】
データマージ部８３０は、動き検出部８２０の検出結果に基づいて、第１出力映像データ４７５の現在フレームデータ及び以前フレームデータを所定の合算比率で合算する。
【００７１】
図８Ｂは、本発明の実施形態によって現在フレームデータ及び以前フレームデータの合算比率を決定するための例示的なグラフである。図８Ｂを参照するに、現在フレームデータＤａｔａ＿ｃｕｒｒと以前フレームデータＤａｔａ＿ｐｒｅｖの合算比率は、動き検出部８２０から検出した動き程度、例えば、ＳＡＤ（Ｓｕｍ  Ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）値に基づいて決定できる。
【００７２】
ＳＡＤ値は、現在フレームデータ（またはその輝度値）と以前フレームデータ（またはその輝度値）との差のブロック単位の和を意味するものであり、動きの程度を把握するのに使われうる。したがって、ＳＡＤ値が大きいほど動きの程度が大きく、ＳＡＤ値が小さいほど動きの程度が小さいと判断される。
【００７３】
ＳＡＤ値が第５しきい値より大きければ、現在フレームのゲインＣｕｒｒ＿ｇａｉｎは“１”に、以前フレームのゲインＰｒｅｖ＿ｇａｉｎは“０”に設定され、ＳＡＤ値が第４しきい値より小さければ、現在フレームのゲインは“０”に、以前フレームのゲインは“１”に設定される。換言すれば、ＳＡＤ値が大きければ、データマージ部８３０の出力は現在フレームデータを中心に決定され、ＳＡＤ値が小さければ、データマージ部８３０の出力は以前フレームデータを中心に決定される。
【００７４】
簡略に、データマージ部８３０の出力Ｄａｔａ＿ｍｅｒｇｅは次のように表現できる。すなわち、Ｄａｔａ＿ｍｅｒｇｅ＝Ｃｕｒｒ＿ｇａｉｎ＊Ｄａｔａ＿ｃｕｒｒ＋Ｐｒｅｖ＿ｇａｉｎ＊Ｄａｔａ＿ｐｒｅｖ。
【００７５】
再び図８Ａを参照するに、ゲイン決定部４４５は、データマージゲインＥｘｐａｎｓｉｏｎ＿ｇａｉｎ＿Ｔを決定して第３乗算部８４０に出力する。データマージゲインは、入力映像データ４１０または入力映像データ４１０の輝度値によって決定されるものであり、以下で説明される第２出力映像データ８６０の計算に使われる。データマージゲインは、図７を参照して説明されたピクセルビニングゲインと類似した方法で決定される。
【００７６】
第３乗算部８４０は、データマージゲインとデータマージ部８３０の出力とを乗算する。
【００７７】
第３加算部８５０は、第３乗算部８４０の出力と現在フレームデータＤａｔａ＿ｃｕｒｒとを加算する。
【００７８】
結果的に、第２出力映像データＤａｔａ＿Ｏｕｔ  ８６０は次のように表現できる。すなわち、Ｄａｔａ＿Ｏｕｔ＝Ｄａｔａ＿ｃｕｒｒ＋Ｅｘｐａｎｓｉｏｎ＿ｇａｉｎ＿Ｔ＊Ｄａｔａ＿ｍｅｒｇｅ。
図９は、本発明の第１実施例による撮像装置の感度改善方法のフローチャートである。
【００７９】
ステップ９１０では、入力映像データが所定のピクセルサイズでピクセルビニングされる。本発明でピクセルビニングは、入力映像データの解像度を保存できる。
【００８０】
ステップ９２０では、入力映像データまたは入力映像データの輝度値に基づいてピクセルビニングゲインが決定される。ピクセルビニングゲインは図７を参照して前述されたので、それ以上の説明は省略する。
【００８１】
ステップ９３０では、ピクセルビニングされた入力映像データ及びピクセルビニングゲインに基づいて出力映像データが計算される。
【００８２】
図１０は、本発明の第２実施例による撮像装置の感度改善方法のフローチャートである。
【００８３】
ステップ１０１０では、入力映像データが所定のピクセルサイズでピクセルビニングされる。
【００８４】
ステップ１０２０では、入力映像データの複数の方向に対する高周波数成分がフィルタリングされる。例えば、入力映像データの水平方向に対する第１高周波数成分、入力映像データの垂直方向に対する第２高周波数成分及び入力映像データの対角線方向に対する第３高周波数成分がフィルタリングされうる。
【００８５】
ステップ１０３０では、高周波数成分に基づいて解像度保存因子が決定される。解像度保存因子は図６を参照して前述されたので、これ以上の説明は省略する。
【００８６】
ステップ１０４０では、ピクセルビニングされた入力映像データ、高周波数成分、及び解像度保存因子に基づいて出力映像データが計算される。
【００８７】
図１１は、本発明の第３実施例による撮像装置の感度改善方法のフローチャートである。
【００８８】
ステップ１１１０では、入力映像データが所定のピクセルサイズでピクセルビニングされる。
【００８９】
ステップ１１２０では、入力映像データまたは入力映像データの輝度値に基づいてピクセルビニングゲインが決定される。
【００９０】
ステップ１１３０では、入力映像データの複数の方向に対する高周波数成分がフィルタリングされる。
【００９１】
ステップ１１４０では、高周波数成分に基づいて解像度保存因子が決定される。
【００９２】
ステップ１１５０では、ピクセルビニングされた入力映像データ、ピクセルビニングゲイン、高周波数成分及び解像度保存因子に基づいて出力映像データが計算される。
【００９３】
ステップ１１６０では、出力映像データの現在フレームデータ及び以前フレームデータに基づいて出力映像データのダイナミックレンジが拡張される。
【００９４】
また、本発明は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。
【００９５】
コンピュータで読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ貯蔵装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。
【００９６】
前述した内容は、本発明の技術的思想を逸脱しない範囲内で多様な実施形態を作り出すことができる。したがって、前記実施形態は本発明を限定するものと解釈されてはならず、特許請求の範囲に記載されている発明の特徴の範囲内で自在に変更できる。
【産業上の利用可能性】
【００９７】
本発明は、カメラまたはカムコーダのような撮像装置に好適に用いられる。
【図面の簡単な説明】
【００９８】
【図１】本発明の第１実施例による撮像装置を示す図である。
【図２】本発明の第２実施例による撮像装置を示す図である。
【図３】本発明の第３実施例による撮像装置を示す図である。
【図４】本発明の第４実施例による撮像装置を示す図である。
【図５Ａ】入力映像データの解像度を保存するためのピクセルビニングを説明するための例示的な図である。
【図５Ｂ】入力映像データの解像度を保存するためのピクセルビニングを説明するための例示的な図である。
【図５Ｃ】入力映像データの解像度を保存するためのピクセルビニングを説明するための例示的な図である。
【図５Ｄ】入力映像データの解像度を保存するためのピクセルビニングを説明するための例示的な図である。
【図５Ｅ】入力映像データの解像度を保存するためのピクセルビニングを説明するための例示的な図である。
【図６】本発明の実施形態によって解像度保存因子を決定するための例示的なグラフである。
【図７】本発明の実施形態によってピクセルビニングゲインを決定するための例示的なグラフである。
【図８Ａ】本発明の実施形態による時間的拡張部の例示を具体的に示す図である。
【図８Ｂ】本発明の実施形態によって現在フレームデータ及び以前フレームデータの合算比率を決定するための例示的なグラフである。
【図９】本発明の第１実施例による撮像装置の感度改善方法のフローチャートである。
【図１０】本発明の第２実施例による撮像装置の感度改善方法のフローチャートである。
【図１１】本発明の第３実施例による撮像装置の感度改善方法のフローチャートである。
【符号の説明】
【００９９】
４１０  入力映像データ
４１５  ピクセルビニング部
４２０  高域通過フィルタ部
４２５  水平高域通過フィルタ部
４３０  垂直高域通過フィルタ部
４３５  対角高域通過フィルタ部
４４０  解像度保存因子決定部
４４５  ゲイン決定部
４５０  計算部
４５５  第１乗算部
４６０  第１加算部
４６５  第２乗算部
４７０  第２加算部
４７５  第１出力映像データ
４８０  時間的拡張部
【図１】
2009021999.tif 000003
【図２】
2009021999.tif 000004
【図３】
2009021999.tif 000005
【図４】
2009021999.tif 000006
【図５Ａ】
2009021999.tif 000007
【図５Ｂ】
2009021999.tif 000008
【図５Ｃ】
2009021999.tif 000009
【図５Ｄ】
2009021999.tif 000010
【図５Ｅ】
2009021999.tif 000011
【図６】
2009021999.tif 000012
【図７】
2009021999.tif 000013
【図８Ａ】
2009021999.tif 000014
【図８Ｂ】
2009021999.tif 000015
【図９】
2009021999.tif 000016
【図１０】
2009021999.tif 000017
【図１１】
2009021999.tif 000018