(57)【要約】【課題】広域逆光補正（ＷＤＲ）技術を用いて互いに異なる露出時間を有する画像を合成する際、隣接領域間のノイズレベルを調節して、ＷＤＲ画像の画質劣化を低減できるイメージ処理装置を提供する。【解決手段】第１加重値を用いて長露出画像信号を処理し、長露出画像信号の処理結果によって第１画像信号を生成し、第２加重値を用いて短露出画像信号を処理し、短露出画像信号の処理結果によって第２画像信号を生成し、第１画像信号と第２画像信号とを合成して、第１広域逆光補正画像信号を生成する第１ＷＤＲ画像生成ブロックと、第２加重値と基準加重値との差を計算し、該計算結果によって制御信号を生成する制御信号生成器と、制御信号を用いて、第１ＷＤＲ画像信号のノイズレベルを調節し、該調節結果によって第２ＷＤＲ画像信号を生成する第２ＷＤＲ画像生成ブロックと、を含む。【選択図】図１
2016100895.tif 000002
【特許請求の範囲】
【請求項１】
第１加重値を用いて長露出画像信号を処理し、前記長露出画像信号の処理結果によって第１画像信号を生成し、第２加重値を用いて短露出画像信号を処理し、前記短露出画像信号の処理結果によって第２画像信号を生成し、前記第１画像信号と前記第２画像信号とを合成して、第１広域逆光補正画像信号を生成する第１ＷＤＲ画像生成ブロックと、
前記第２加重値と基準加重値との差を計算し、該計算結果によって制御信号を生成する制御信号生成器と、
前記制御信号を用いて、前記第１ＷＤＲ画像信号のノイズレベルを調節し、該調節結果によって第２ＷＤＲ画像信号を生成する第２ＷＤＲ画像生成ブロックと、を含み、
前記長露出画像信号は、第１露出時間を用いて生成され、
前記短露出画像信号は、前記第１露出時間よりも短い第２露出時間を用いて生成される、ことを特徴とするイメージ処理装置。
【請求項２】
前記第１ＷＤＲ画像生成ブロックは、前記短露出画像信号と前記長露出画像信号の各々を線形化し、該線形化された長露出画像信号に前記第１加重値を適用して、前記第１画像信号を生成し、線形化された短露出画像信号に前記第２加重値を適用して、前記第２画像信号を生成する、ことを特徴とする請求項１に記載のイメージ処理装置。
【請求項３】
前記第１ＷＤＲ画像生成ブロックは、前記線形化された長露出画像信号を補間して第１補間信号を生成し、前記第１補間信号に前記第１加重値を適用して、前記第１画像信号を生成し、前記線形化された短露出画像信号を補間して第２補間信号を生成し、前記第２補間信号に前記第２加重値を適用して、前記第２画像信号を生成する、ことを特徴とする請求項２に記載のイメージ処理装置。
【請求項４】
前記第１加重値と前記第２加重値との和は、１である、ことを特徴とする請求項１に記載のイメージ処理装置。
【請求項５】
前記第１加重値は、前記長露出画像信号の明るさ値、シャープネス値、又はカラーコントラスト値に基づいて決定され、前記第２加重値は、前記短露出画像信号の明るさ値、シャープネス値、又はカラーコントラスト値に基づいて決定される、ことを特徴とする請求項１に記載のイメージ処理装置。
【請求項６】
前記基準加重値は、前記短露出画像信号の明るさ値、シャープネス値、又はカラーコントラスト値に基づいて決定される、ことを特徴とする請求項１に記載のイメージ処理装置。
【請求項７】
前記基準加重値は、前記制御信号生成器に保存されたルックアップテーブルから抽出される、ことを特徴とする請求項１に記載のイメージ処理装置。
【請求項８】
前記制御信号は、ノイズ減衰強度制御信号とノイズ利得制御信号とを含む、ことを特徴とする請求項１に記載のイメージ処理装置。
【請求項９】
前記第２加重値が、前記基準加重値よりも大きい場合、前記第２加重値と前記基準加重値との前記差が増加するほど、前記制御信号生成器は、前記ノイズ減衰強度制御信号を増加させ、前記ノイズ利得制御信号を減少させる、ことを特徴とする請求項８に記載のイメージ処理装置。
【請求項１０】
前記第２加重値が、前記基準加重値よりも大きい場合、前記第２加重値と前記基準加重値との前記差が減少するほど、前記制御信号生成器は、前記ノイズ減衰強度制御信号を減少させ、前記ノイズ利得制御信号を増加させる、ことを特徴とする請求項８に記載のイメージ処理装置。
【請求項１１】
前記制御信号生成器は、
前記基準加重値を決定する基準加重値ブロックと、
前記第２加重値と前記基準加重値との差を計算し、前記差と前記第１ＷＤＲ画像信号とを用いて、前記ノイズ減衰強度制御信号を生成するノイズ減衰強度制御信号生成器と、
前記ノイズ減衰強度制御信号、前記第２加重値、及び前記第１ＷＤＲ画像信号を用いて、前記ノイズ利得制御信号を生成するノイズ利得制御信号生成器と、
を含む、ことを特徴とする請求項８に記載のイメージ処理装置。
【請求項１２】
前記第２ＷＤＲ画像生成ブロックは、
前記ノイズ減衰強度制御信号に応答して、前記第１ＷＤＲ画像信号からノイズフリー画像信号とノイズ画像信号とを抽出するノイズ減衰回路と、
前記ノイズ利得制御信号に応答して、前記第１ＷＤＲ画像信号に対するノイズ利得を生成するノイズ利得生成器と、
前記ノイズ画像信号に前記ノイズ利得を乗算して、最終ノイズ画像信号を生成し、前記最終ノイズ画像信号と前記ノイズフリー画像信号とを加算して、前記第２ＷＤＲ画像信号を生成する演算ブロックと、
を含む、ことを特徴とする請求項８に記載のイメージ処理装置。
【請求項１３】
長露出画像信号と短露出画像信号とを出力するイメージセンサと、
前記長露出画像信号と前記短露出画像信号とを処理し、第１ＷＤＲ画像信号のノイズレベルを調節し、該調節結果によって第２ＷＤＲ画像信号を生成するノイズレベル制御装置と、を含み、
前記ノイズレベル制御装置は、
第１加重値を用いて、前記長露出画像信号を処理し、前記長露出画像信号の処理結果によって第１画像信号を生成し、第２加重値を用いて、前記短露出画像信号を処理し、前記短露出画像信号の処理結果によって第２画像信号を生成し、前記第１画像信号と前記第２画像信号とを合成して、前記第１ＷＤＲ画像信号を生成する第１ＷＤＲ画像生成ブロックと、
前記第２加重値と基準加重値との差を計算し、該計算結果によって制御信号を生成する制御信号生成器と、
前記制御信号を用いて、前記第１ＷＤＲ画像信号のノイズレベルを調節し、該調節結果によって前記第２ＷＤＲ画像信号を生成する第２ＷＤＲ画像生成ブロックと、を含み、
前記長露出画像信号は、第１露出時間を用いて生成され、
前記短露出画像信号は、前記第１露出時間よりも短い第２露出時間を用いて生成される、ことを特徴とする画像処理システム。
【請求項１４】
前記ＷＤＲ画像のノイズレベル制御装置は、集積回路又はチップとして具現されることを特徴とする請求項１３に記載の画像処理システム。
【請求項１５】
前記ＷＤＲ画像のノイズレベル制御装置は、前記イメージセンサ内に含まれる、ことを特徴とする請求項１３に記載の画像処理システム。
【請求項１６】
前記ＷＤＲ画像のノイズレベル制御装置は、アプリケーションプロセッサ内に含まれる、ことを特徴とする請求項１３に記載の画像処理システム。
【請求項１７】
前記第１加重値は、前記長露出画像信号の明るさ値、シャープネス値、又はカラーコントラストに基づいて決定され、前記第２加重値は、前記短露出画像信号の明るさ値、シャープネス値、又はカラーコントラストに基づいて決定される、ことを特徴とする請求項１３に記載の画像処理システム。
【請求項１８】
前記基準加重値は、前記短露出画像信号の明るさ値、シャープネス値、又はカラーコントラスト値に基づいて決定される、ことを特徴とする請求項１３に記載の画像処理システム。
【請求項１９】
前記基準加重値は、前記制御信号生成器に保存されたルックアップテーブルから抽出される、ことを特徴とする請求項１３に記載の画像処理システム。
【請求項２０】
前記制御信号は、ノイズ減衰強度制御信号とノイズ利得制御信号とを含み、
前記第２ＷＤＲ画像生成ブロックは、
前記ノイズ減衰強度制御信号に応答して、前記第１ＷＤＲ画像信号からノイズフリー画像信号とノイズ画像信号とを抽出するノイズ減衰回路と、
前記ノイズ利得制御信号に応答して、前記第１ＷＤＲ画像信号に対するノイズ利得を生成するノイズ利得生成器と、
前記ノイズ画像信号に前記ノイズ利得を乗算して、最終ノイズ画像信号を生成し、前記最終ノイズ画像信号と前記ノイズフリー画像信号とを加算して、前記第２ＷＤＲ画像信号を生成する演算ブロックと、
を含む、ことを特徴とする請求項１３に記載の画像処理システム。
【請求項２１】
第１加重値を用いて長露出画像信号を処理し、前記長露出画像信号の処理結果によって第１画像信号を生成し、第２加重値を用いて短露出画像信号を処理し、前記短露出画像信号の処理結果によって第２画像信号を生成する段階と、
前記第１画像信号と前記第２画像信号とを合成して、第１ＷＤＲ信号を生成する段階と、
前記第２加重値と基準加重値との差を計算し、該計算結果によって制御信号を生成する段階と、
前記制御信号を用いて、前記第１ＷＤＲ画像信号のノイズレベルを調節し、該調節結果によって第２ＷＤＲ画像信号を生成する段階と、
を含む、ことを特徴とするイメージ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、広域逆光補正（Ｗｉｄｅ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ、ＷＤＲ）を有するイメージ処理装置、その動作方法、及びそれを含む画像処理システムに係り、特に、その中における、ＷＤＲ技術を用いて互いに異なる露出時間を有する画像を合成する際、隣接領域間のノイズレベルを調節することによって、ＷＤＲ画像の画質劣化を低減するＷＤＲ画像のノイズレベル（ｎｏｉｓｅ＿ｌｅｖｅｌ）制御装置と、その動作方法、及びそれを含む画像処理システムとに関する。
【背景技術】
【０００２】
画像処理装置は、光学信号を電気信号に変換するイメージセンサ、及び前記変換された電気信号を処理してディスプレイ装置に出力するイメージプロセッサから構成される。
【０００３】
画像処理装置において画像の暗い部分と明るい部分とを同時に鮮明に表現するために、広域逆光補正（ＷＤＲ）技術が利用される。この際、イメージセンサのピクセルアレイ（ｐｉｘｅｌ  ａｒｒａｙ）は、互いに異なる露出時間を有する２種のピクセルとして具現される。
【０００４】
ＷＤＲ技術は、暗い部分を単純に明るくすることによって、明るい部分の画像が飽和される従来の逆光補正技術の問題を解決したものであって、ＷＤＲ技術は、明るい所は最大限保持しながら、暗い所は明るく見えるように処理して、さらに鮮明な画像を具現することができる。即ち、ＷＤＲ技術は、照度差が大きくて、明部（普通、室外）と暗部（普通、室内）とが混在する画像を撮影する場合、一枚の画像のみを撮影して露出時間と絞りとを最適に調節しても、明部と暗部とが全部良く見える画像を獲得し難いために、明部が良く見えるように露出を調節した画像と暗部が良く見えるように露出を調節した画像とを合成して、明部と暗部とが何れも鮮明に良く見える画像を生成する技術である。
【０００５】
例えば、室内の窓際のような逆光が存在する場所で撮影する場合、夜景のように明部と暗部とが混在している場面を撮影する場合、又はスポーツ競技など日差しによる明部と日蔭による暗部とが混合する場面を撮影する場合に、画像処理装置は、ＷＤＲ機能を用いてより鮮明な画像を撮影できる。
【０００６】
但し、従来のＷＤＲ技術は、明部が良く見えるように露出を調節した画像と暗部が良く見えるように露出を調節した画像とを合成する際、画像の明るさを基準にノイズレベルを調節するので、画像の隣接領域間のノイズレベル差により画像の品質が低下するという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする技術的な課題は、広域逆光補正（ＷＤＲ）技術を用いて互いに異なる露出時間を有する画像を合成する際、隣接領域間のノイズレベルを調節することによって、ＷＤＲ画像の画質劣化を低減するイメージ処理装置、その動作方法、及びそれを含む画像処理システムを提供するところにある。
【課題を解決するための手段】
【０００８】
本発明の実施形態によるイメージ処理装置は、第１加重値を用いて長露出画像信号を処理し、前記長露出画像信号の処理結果によって第１画像信号を生成し、第２加重値を用いて短露出画像信号を処理し、前記短露出画像信号の処理結果によって第２画像信号を生成し、前記第１画像信号と前記第２画像信号とを合成して、第１広域逆光補正画像信号を生成する第１ＷＤＲ画像生成ブロックと、前記第２加重値と基準加重値との差を計算し、該計算結果によって制御信号を生成する制御信号生成器と、前記制御信号を用いて、前記第１ＷＤＲ画像信号のノイズレベルを調節し、該調節結果によって第２ＷＤＲ画像信号を生成する第２ＷＤＲ画像生成ブロックと、を含み、前記長露出画像信号は、第１露出時間を用いて生成され、前記短露出画像信号は、前記第１露出時間よりも短い第２露出時間を用いて生成される。
【０００９】
前記第１ＷＤＲ画像生成ブロックは、前記短露出画像信号と前記長露出画像信号の各々を線形化し、該線形化された長露出画像信号に前記第１加重値を適用して、前記第１画像信号を生成し、線形化された短露出画像信号に前記第２加重値を適用して、前記第２画像信号を生成する。
前記第１ＷＤＲ画像生成ブロックは、前記線形化された長露出画像信号を補間して第１補間信号を生成し、前記第１補間信号に前記第１加重値を適用して、前記第１画像信号を生成し、前記線形化された短露出画像信号を補間して第２補間信号を生成し、前記第２補間信号に前記第２加重値を適用して、前記第２画像信号を生成する。
前記第１加重値と前記第２加重値との和は、１である。
前記第１加重値は、前記長露出画像信号の明るさ値、シャープネス値、又はカラーコントラスト値に基づいて決定され、前記第２加重値は、前記短露出画像信号の明るさ値、シャープネス値、又はカラーコントラスト値に基づいて決定される。
前記基準加重値は、前記短露出画像信号の明るさ値、シャープネス値、又はカラーコントラスト値に基づいて決定される。前記基準加重値は、前記制御信号生成器に保存されたルックアップテーブルから抽出される。前記制御信号は、ノイズ減衰強度制御信号とノイズ利得制御信号とを含む。
前記第２加重値が、前記基準加重値よりも大きい場合、前記第２加重値と前記基準加重値との前記差が増加するほど、前記制御信号生成器は、前記ノイズ減衰強度制御信号を増加させ、前記ノイズ利得制御信号を減少させる。
前記第２加重値が、前記基準加重値よりも大きい場合、前記第２加重値と前記基準加重値との前記差が減少するほど、前記制御信号生成器は、前記ノイズ減衰強度制御信号を減少させ、前記ノイズ利得制御信号を増加させる。
前記制御信号生成器は、前記基準加重値を決定する基準加重値ブロックと、前記第２加重値と前記基準加重値との差を計算し、前記差と前記第１ＷＤＲ画像信号とを用いて、前記ノイズ減衰強度制御信号を生成するノイズ減衰強度制御信号生成器と、前記ノイズ減衰強度制御信号、前記第２加重値、及び前記第１ＷＤＲ画像信号を用いて、前記ノイズ利得制御信号を生成するノイズ利得制御信号生成器と、を含む。
前記第２ＷＤＲ画像生成ブロックは、前記ノイズ減衰強度制御信号に応答して、前記第１ＷＤＲ画像信号からノイズフリー画像信号とノイズ画像信号とを抽出するノイズ減衰回路と、前記ノイズ利得制御信号に応答して、前記第１ＷＤＲ画像信号に対するノイズ利得を生成するノイズ利得生成器と、前記ノイズ画像信号に前記ノイズ利得を乗算して、最終ノイズ画像信号を生成し、前記最終ノイズ画像信号と前記ノイズフリー画像信号とを加算して、前記第２ＷＤＲ画像信号を生成する演算ブロックと、を含む。
【００１０】
本発明の実施形態による画像処理システムは、長露出画像信号と短露出画像信号とを出力するイメージセンサと、前記長露出画像信号と前記短露出画像信号とを処理し、第１ＷＤＲ画像信号のノイズレベルを調節し、該調節結果によって第２ＷＤＲ画像信号を生成するノイズレベル制御装置と、を含む。
前記ノイズレベル制御装置は、第１加重値を用いて、前記長露出画像信号を処理し、前記長露出画像信号の処理結果によって第１画像信号を生成し、第２加重値を用いて、前記短露出画像信号を処理し、前記短露出画像信号の処理結果によって第２画像信号を生成し、前記第１画像信号と前記第２画像信号とを合成して、前記第１ＷＤＲ画像信号を生成する第１ＷＤＲ画像生成ブロックと、前記第２加重値と基準加重値との差を計算し、該計算結果によって制御信号を生成する制御信号生成器と、前記制御信号を用いて、前記第１ＷＤＲ画像信号のノイズレベルを調節し、該調節結果によって前記第２ＷＤＲ画像信号を生成する第２ＷＤＲ画像生成ブロックと、を含み、前記長露出画像信号は、第１露出時間を用いて生成され、前記短露出画像信号は、前記第１露出時間よりも短い第２露出時間を用いて生成される。
【００１１】
前記ＷＤＲ画像のノイズレベル制御装置は、集積回路又はチップとして具現される。
前記ＷＤＲ画像のノイズレベル制御装置は、前記イメージセンサ内に含まれる。
前記ＷＤＲ画像のノイズレベル制御装置は、アプリケーションプロセッサ内に含まれる。
前記第１加重値は、前記長露出画像信号の明るさ値、シャープネス値、又はカラーコントラストに基づいて決定され、前記第２加重値は、前記短露出画像信号の明るさ値、シャープネス値、又はカラーコントラストに基づいて決定される。前記基準加重値は、前記短露出画像信号の明るさ値、シャープネス値、又はカラーコントラスト値に基づいて決定される。
前記基準加重値は、前記制御信号生成器に保存されたルックアップテーブルから抽出される。
前記制御信号は、ノイズ減衰強度制御信号とノイズ利得制御信号とを含み、前記第２ＷＤＲ画像生成ブロックは、前記ノイズ減衰強度制御信号に応答して、前記第１ＷＤＲ画像信号からノイズフリー画像信号とノイズ画像信号とを抽出するノイズ減衰回路と、前記ノイズ利得制御信号に応答して、前記第１ＷＤＲ画像信号に対するノイズ利得を生成するノイズ利得生成器と、前記ノイズ画像信号に前記ノイズ利得を乗算して、最終ノイズ画像信号を生成し、前記最終ノイズ画像信号と前記ノイズフリー画像信号とを加算して、前記第２ＷＤＲ画像信号を生成する演算ブロックと、を含む。
【００１２】
本発明の実施形態によるイメージ処理方法は、第１加重値を用いて長露出画像信号を処理し、前記長露出画像信号の処理結果によって第１画像信号を生成し、第２加重値を用いて短露出画像信号を処理し、前記短露出画像信号の処理結果によって第２画像信号を生成する段階と、前記第１画像信号と前記第２画像信号とを合成して、第１ＷＤＲ信号を生成する段階と、前記第２加重値と基準加重値との差を計算し、該計算結果によって制御信号を生成する段階と、前記制御信号を用いて、前記第１ＷＤＲ画像信号のノイズレベルを調節し、該調節結果によって第２ＷＤＲ画像信号を生成する段階と、を含む。
【発明の効果】
【００１３】
本発明の実施形態による広域逆光補正（ＷＤＲ）画像のノイズレベル制御装置は、互いに異なる露出時間を有する画像を合成する際、隣接領域間のノイズレベルを調節するので、ＷＤＲ画像の画質劣化を低減できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による画像処理システムのブロック図を示す。
【図２】本発明の他の実施形態による画像処理システムのブロック図を示す。
【図３】本発明のさらに他の実施形態による画像処理システムのブロック図を示す。
【図４】本発明の一実施形態によるＷＤＲ画像のノイズレベル制御装置のブロック図を示す。
【図５】本発明の他の実施形態によるＷＤＲ画像のノイズレベル制御装置のブロック図を示す。
【図６】図４乃至図５に示された合成ブロックの細部ブロック図を示す。
【図７】図４乃至図５に示された合成ブロックが行う合成過程を説明する概念図である。
【図８】図７に示された合成ブロックが行う合成過程を説明する表である。
【図９】本発明の一実施形態による図４ないし図５に示された制御信号生成器の細部ブロック図を示す。
【図１０】本発明の他の実施形態による図４乃至図５に示された制御信号生成器の細部ブロック図を示す。
【図１１】本発明の一実施形態による基準加重値関数を示すグラフである。
【図１２】本発明の一実施形態によって基準加重値と第２加重値との差を計算する過程を説明するグラフである。
【図１３】本発明の実施形態によるＷＤＲ画像のノイズレベル制御装置の動作を説明するフローチャートである。
【図１４】図４乃至図５に示された第２ＷＤＲ画像生成ブロックの動作を説明するフローチャートである。
【図１５】本発明のさらに他の実施形態による画像処理システムのブロック図を示す。
【図１６】本発明のさらに他の実施形態による画像処理システムのブロック図を示す。
【発明を実施するための形態】
【００１５】
以下、添付した図面を参照して、本発明を詳しく説明する。
図１は、本発明の一実施形態による画像処理システムのブロック図を示す。図１を参照すれば、画像処理システム１０は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）又はモバイルコンピューティング装置として具現可能である。前記モバイルコンピューティング装置は、ラップトップ（ｌａｐｔｏｐ）コンピュータ、携帯電話、スマートフォン、タブレット（ｔａｂｌｅｔ）ＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、ＥＤＡ（Ｅｎｔｅｒｐｒｉｓｅ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、デジタルスチルカメラ（Ｄｉｇｉｔａｌ  Ｓｔｉｌｌ  Ｃａｍｅｒａ）、デジタルビデオカメラ、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、モバイルインタネット装置（Ｍｏｂｉｌｅ  Ｉｎｔｅｒｎｅｔ  Ｄｅｖｉｃｅ、ＭＩＤ）、ウェアラブルコンピュータ、モノのインタネット（Ｉｎｔｅｒｎｅｔ  ｏｆ  Ｔｈｉｎｇｓ、ＩｏＴ）装置、又は万物のインタネット（Ｉｎｔｅｒｎｅｔ  ｏｆ  Ｅｖｅｒｙｔｈｉｎｇ、ＩｏＥ）装置として具現可能である。
【００１６】
画像処理システム１０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ２００、ブリッジ回路３００、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｃｅｓｓｏｒ、ＡＰ）４００、及びディスプレイ５００を含みうる。
【００１７】
図１に示された実施形態において、ブリッジ回路３００は、広域逆光補正（ＷＤＲ）画像に含まれたノイズを調節するノイズレベル制御装置１００を含む。ブリッジ回路３００は、集積回路（ＩＣ）又はチップとして具現可能である。ノイズレベル制御装置１００は、イメージ処理装置を意味する。
【００１８】
ノイズレベル制御装置１００は、互いに異なる露出時間に撮影された複数の画像を合成して最終ＷＤＲ画像を生成することによって、照度差が大きい明るい部分（例えば、室外）と暗い部分（例えば、室内）とを含む画像のシャープネス（ｓｈａｒｐｎｅｓｓ）を増加できる。
【００１９】
ノイズレベル制御装置（ＮＬＣ）１００は、互いに異なる露出時間に撮影された  複数の画像を合成する際、互いに異なる加重値を前記複数の画像の各々に適用するピクセル単位で合成する方法を使う。
【００２０】
実施形態によって、ノイズレベル制御装置１００は、互いに異なる露出時間で撮影された複数の画像の各々のピクセルに対して加重値を異ならせて適用して、前記複数の画像を合成することによって、最終ＷＤＲ画像を生成する。ここで、ピクセルは、ピクセルデータを意味し、ＲＧＢデータフォーマット、ＹＵＶデータフォーマット、又はＹＣｂＣｒデータフォーマットに従うが、これに限定されない。
【００２１】
実施形態によって、ノイズレベル制御装置１００は、互いに異なる露出時間に撮影された複数の画像を合成する際、ブロック単位で合成する方法を使用できる。実施形態によって、ＷＤＲ画像のノイズレベル制御装置１００は、互いに異なる露出時間に撮影された複数の画像を合成する際、グラジエントドメイン（ｇｒａｄｉｅｎｔ  ｄｏｍａｉｎ）を用いてピクセル単位で合成する方法を使用できる。
【００２２】
図１に示したように、ノイズレベル制御装置１００は、ブリッジ回路３００の内部に具現されうる。ノイズレベル制御装置１００は、ＣＭＯＳイメージセンサ２００から出力されたイメージデータＩＤＡＴＡに対する最終ＷＤＲ画像を生成する。ノイズレベル制御装置１００の構成と動作は、図４乃至図１４を参照して以下に詳しく説明される。ＣＭＯＳイメージセンサ２００は、光学レンズを通じて入力された（又は、キャプチャーされた）被写体に対するイメージデータＩＤＡＴＡを生成する。
【００２３】
ブリッジ回路３００は、ＣＭＯＳイメージセンサ２００から出力されたイメージデータＩＤＡＴＡを受信し、イメージデータＩＤＡＴＡに相応するべイヤー（Ｂａｙｅｒ）パターンＢＡＹＥＲを生成し、べイヤーパターンＢＡＹＥＲをＡＰ（４００）に伝送する。即ち、ブリッジ回路３００は、ＣＭＯＳイメージセンサ２００から出力されたイメージデータＩＤＡＴＡをＡＰ（４００）で使用される信号に変換することによって、ＣＭＯＳイメージセンサ２００とＡＰ（４００）とを仲介する役割を行う。
【００２４】
ＡＰ（４００）は、センサコントローラ４１０、イメージ信号プロセッサ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）４２０、ＣＰＵ４３０、及びディスプレイコントローラ４４０を含む。ＡＰ（４００）は、プロセッサの一実施形態であって、集積回路、システム・オン・チップ（Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ、ＳｏＣ）、又はモバイルＡＰとして具現可能である。
【００２５】
センサコントローラ４１０は、ＣＰＵ（４３０）の制御によって、ＣＭＯＳイメージセンサ２００の動作を制御するための多様な制御信号を生成し、該生成された制御信号をＣＭＯＳイメージセンサ２００に伝送する。
【００２６】
ＩＳＰ（４２０）は、ブリッジ回路３００から伝送されたイメージデータＩＤＡＴＡに相応するべイヤーパターンＢＡＹＥＲを処理してＲＧＢイメージデータを生成する。例えば、ＩＳＰ（４２０）は、イメージデータＩＤＡＴＡがディスプレイ５００で表示されるようにべイヤーパターンＢＡＹＥＲを加工（又は、処理）し、該加工（又は、処理）されたイメージデータをディスプレイ５００に伝送する。
【００２７】
実施形態によって、ＩＳＰ（４２０）とＣＭＯＳイメージセンサ２００の各々は、チップとして具現され、１つのパッケージ、例えば、マルチチップパッケージ（Ｍｕｌｔｉ−Ｃｈｉｐ  Ｐａｃｋａｇｅ、ＭＣＰ）でパッケージングされる。他の実施形態によって、ＩＳＰ（４２０）とＣＭＯＳイメージセンサ２００は、１つのチップとしても具現される。
【００２８】
ＣＰＵ４３０は、センサコントローラ４１０、ＩＳＰ（４２０）、及びディスプレイコントローラ４４０を制御する。
【００２９】
ディスプレイコントローラ４４０は、ＣＰＵ（４３０）の制御によって、ディスプレイ５００を制御するための多様な制御信号を生成し、該生成された制御信号をディスプレイ５００に伝送する。ディスプレイコントローラ４４０は、ＭＩＰＩ（登録商標）ディスプレイシリアルインタフェース（Ｄｉｓｐｌａｙ  Ｓｅｒｉａｌ  Ｉｎｔｅｒｆａｃｅ、ＤＳＩ）又はｅＤＰ（ｅｍｂｅｄｄｅｄ  Ｄｉｓｐｌａｙ  Ｐｏｒｔ）を通じてイメージデータをディスプレイ５００に伝送する。
【００３０】
ディスプレイ５００は、ディスプレイコントローラ４４０から伝送された制御信号とイメージデータとを受信し、前記制御信号によってイメージデータを表示する。例えば、ディスプレイ５００は、ＴＦＴ−ＬＣＤ（Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ−Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ディスプレイ、ＯＬＥＤ（Ｏｒｇａｎｉｃ  ＬＥＤ）ディスプレイ、ＡＭＯＬＥＤ（Ａｃｔｉｖｅ−Ｍａｔｒｉｘ  ＯＬＥＤ）ディスプレイ、フレキシブルディスプレイ、又は透明ディスプレイとして具現可能である。
【００３１】
図２は、本発明の他の実施形態による画像処理システムのブロック図を示す。図２を参照すれば、画像処理システム１０Ａは、ＣＭＯＳイメージセンサ２００−１、ブリッジ回路３００−１、ＡＰ（４００）、及びディスプレイ５００を含む。
【００３２】
ノイズレベル制御装置１００がブリッジ回路３００−１の内部に具現されず、ＣＭＯＳイメージセンサ２００−１の内部に具現されたことを除けば、図２の画像処理システム１０Ａの構造及び動作は、図１の画像処理システム１０の構造及び動作と実質的に同一又は類似している。
【００３３】
ＣＭＯＳイメージセンサ２００−１の内部に具現されたノイズレベル制御装置１００は、ＣＭＯＳイメージセンサ２００−１によって生成されたイメージデータに対する最終ＷＤＲ画像を生成する。ＣＭＯＳイメージセンサ２００−１は、ノイズレベル制御装置１００によって処理されたイメージデータＩＤＡＴＡ’をブリッジ回路３００−１に伝送する。
【００３４】
図３は、本発明のさらに他の実施形態による画像処理システムのブロック図を示す。図３を参照すれば、画像処理システム１０Ｂは、ＣＭＯＳイメージセンサ２００、ブリッジ回路３００−１、ＡＰ（４００−１）、及びディスプレイ５００を含む。
【００３５】
ノイズレベル制御装置１００がブリッジ回路３００−１の内部に具現されず、ＡＰ（４００−１）の内部に具現されたことを除けば、図３の画像処理システム１０Ｂの構造及び動作は、図１の画像処理システム１０の構造及び動作と実質的に同一又は類似している。
【００３６】
ＩＳＰ（４２１）の内部に具現されたノイズレベル制御装置１００は、ＩＳＰ（４２１）がべイヤーパターンＢＡＹＥＲからＲＧＢイメージデータを処理（又は、生成）する間に、前記ＲＧＢイメージデータに相応する最終ＷＤＲ画像を生成する。
【００３７】
図４は、本発明の一実施形態によるＷＤＲ画像のノイズレベル制御装置（ＮＬＣ）１００のブロック図を示す。図４を参照すれば、ノイズレベル制御装置１００は、第１ＷＤＲ画像生成ブロック１１０、制御信号生成器１２０、及び第２ＷＤＲ画像生成ブロック１３０を含む。実施形態によって、ノイズレベル制御装置１００は、図１のブリッジ回路３００、図２のＣＭＯＳイメージセンサ２００−１、又は図３のイメージ信号プロセッサ（ＩＳＰ）４２１内に具現されうる。
【００３８】
第１ＷＤＲ画像生成ブロック１１０は、第１加重値（図６のＷＬ）を用いて相対的に長い露出時間を有する長露出画像信号ＬＥＩを処理し、該処理結果によって第１画像信号を生成し、第２加重値（図６のＷＳ）を用いて相対的に短い露出時間を有する短露出画像信号ＳＥＩを処理し、該処理結果によって第２画像信号を生成する。
【００３９】
更に、第１ＷＤＲ画像生成ブロック１１０は、前記第１画像信号と前記第２画像信号とを合成して、第１広域逆光補正（ＷＤＲ）画像信号ＷＤＲ１を生成する。第１ＷＤＲ画像生成ブロック１１０は、第１線形化ブロック１１１、第２線形化ブロック１１３、及び合成ブロック１１５を含む。
【００４０】
第１線形化ブロック１１１は、長露出画像信号ＬＥＩを線形化し、該線形化された長露出画像信号ＬＬＥＩを生成する。第２線形化ブロック１１３は、短露出画像信号ＳＥＩを線形化し、該線形化された短露出画像信号ＬＳＥＩを生成する。
【００４１】
ここで、線形化とは、長い露出画像に含まれたピクセル（これを仮に第１ピクセルと呼ぶ）値と短い露出画像に含まれたピクセル（これを仮に第２ピクセルと呼ぶ）値とが合成される形態になるように、前記第１ピクセル値及び／又は前記第２ピクセル値を調整することを意味する。
【００４２】
合成ブロック１１５は、第１線形化ブロック１１１から線形化された長露出画像信号ＬＬＥＩを受信し、第２線形化ブロック１１３から線形化された短露出画像信号ＬＳＥＩを受信し、線形化された長露出画像信号ＬＬＥＩと線形化された短露出画像信号ＬＳＥＩとを合成して、第１ＷＤＲ画像信号ＷＤＲ１を生成する。
【００４３】
合成ブロック１１５は、２つの信号ＬＬＥＩとＬＳＥＩを合成する際、線形化された長露出画像信号ＬＬＥＩに第１加重値（例えば、図６のＷＬ）を適用し、線形化された短露出画像信号ＬＳＥＩに第２加重値（例えば、図６のＷＳ）を適用する。この際、第１加重値（例えば、図６のＷＬ）と第２加重値（例えば、図６のＷＳ）との和は、‘１’であり得る。
【００４４】
合成ブロック１１５は、第１ＷＤＲ画像ＷＤＲ１を第２ＷＤＲ画像生成ブロック１３０に伝送し、第１ＷＤＲ画像信号ＷＤＲ１と第２加重値ＷＳとを制御信号生成器１２０に伝送する。
【００４５】
合成ブロック１１５の構成と動作は、図６乃至図８を参照して詳しく説明される。
制御信号生成器１２０は、第２加重値ＷＳと基準加重値（例えば、図９のＷＳ＿Ｒ）との差を計算し、該計算結果によって制御信号「ＮＲ＿ｓｔｒｅｎｇｔｈ  ＆  ＮＧＣ」を生成する。この際、制御信号「ＮＲ＿ｓｔｒｅｎｇｔｈ  ＆  ＮＧＣ」は、ノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈとノイズ利得制御信号ＮＧＣとを含む。
【００４６】
ノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈは、第２ＷＤＲ画像生成ブロック１３０に伝送され、ノイズ減衰回路１３１が第１ＷＤＲ画像信号ＷＤＲ１からノイズ画像信号ＮＳを抽出する程度を制御する。
【００４７】
ノイズ利得制御信号ＮＧＣは、第２ＷＤＲ画像生成ブロック１３０に伝送され、ノイズ利得生成器１３３がノイズ利得ＮＧを生成する過程で利用される。
【００４８】
実施形態によって、制御信号生成器１２０は、第２加重値ＷＳが基準加重値（例えば、図９のＷＳ＿Ｒ）よりも大きい場合、第２加重値ＷＳと基準加重値（例えば、図９のＷＳ＿Ｒ）との差が大きいほど、さらに大きいノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈとさらに小さいノイズ利得制御信号ＮＧＣとを生成する。
【００４９】
他の実施形態によって、制御信号生成器１２０は、第２加重値ＷＳが基準加重値（例えば、図９のＷＳ＿Ｒ）よりも大きい場合、第２加重値ＷＳと基準加重値（例えば、図９のＷＳ＿Ｒ）との差が小さいほど、さらに小さいノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈとさらに大きいノイズ利得制御信号ＮＧＣとを生成する。制御信号生成器１２０の構成と動作は、図９乃至図１２を参照して詳しく説明される。
【００５０】
第２ＷＤＲ画像生成ブロック１３０は、制御信号「ＮＲ＿ｓｔｒｅｎｇｔｈ  ＆  ＮＧＣ」を用いて第１ＷＤＲ画像信号ＷＤＲ１のノイズレベルを調節し、該調節されたノイズレベルを有する第２ＷＤＲ画像信号ＷＤＲ２を生成する。第２ＷＤＲ画像生成ブロック１３０は、ノイズ減衰回路１３１、ノイズ利得生成器１３３、及び演算ブロックを含む。
【００５１】
ノイズ減衰回路１３１は、ノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈに応答して、第１ＷＤＲ画像信号ＷＤＲ１からノイズフリー（ｎｏｉｓｅ−ｆｒｅｅ）画像信号ＮＦＳとノイズ画像信号ＮＳとを抽出する。例えば、ノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈが増加すれば、ノイズ減衰回路１３１は、第１ＷＤＲ画像信号ＷＤＲ１のノイズ減衰程度を増加させる。
【００５２】
ノイズ利得生成器１３３は、ノイズ利得制御信号ＮＧＣに応答して、第１ＷＤＲ画像信号ＷＤＲ１に対するノイズ利得ＮＧを生成する。例えば、ノイズ利得制御信号ＮＧＣが増加すれば、ノイズ利得生成器１３３は、第１ＷＤＲ画像信号ＷＤＲ１に対するノイズ利得ＮＧを増加させる。
【００５３】
前記演算ブロックは、乗算器１３５と加算器１３７とを含む。乗算器１３５は、ノイズ画像信号ＮＳにノイズ利得ＮＧを乗算して、最終ノイズ画像信号を生成する。加算器１３７は、前記最終ノイズ画像信号とノイズフリー画像ＮＦＳとを加算して、第２ＷＤＲ画像信号ＷＤＲ２を生成する。
【００５４】
図５は、本発明の他の実施形態によるＷＤＲ画像のノイズレベル制御装置のブロック図を示す。図５を参照すれば、ノイズレベル制御装置１００Ａは、第１ＷＤＲ画像生成ブロック１１０−１、制御信号生成器１２０、及び第２ＷＤＲ画像生成ブロック１３０を含む。実施形態によって、ノイズレベル制御装置１００Ａは、図１のブリッジ回路３００、図２のＣＭＯＳイメージセンサ２００−１、又は図３のＩＳＰ４２１内に具現されうる。
【００５５】
第１ＷＤＲ画像生成ブロック１１０−１が補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）ブロック１１２及び１１４をさらに含むことを除けば、図５のノイズレベル制御装置１００Ａの構造及び動作は、図４のノイズレベル制御装置１００の構造及び動作と実質的に同一又は類似している。
【００５６】
第１ＷＤＲ画像生成ブロック１１０−１は、第１線形化ブロック１１１、第１補間ブロック１１２、第２線形化ブロック１１３、第２補間ブロック１１４、及び合成ブロック１１５−１を含みうる。
【００５７】
第１線形化ブロック１１１は、長露出画像信号ＬＥＩを線形化して、該線形化された長露出画像信号ＬＬＥＩを生成し、第１補間ブロック１１２は、線形化された長露出画像信号ＬＬＥＩを補間して、第１補間信号ＩＬＥＩを生成する。
【００５８】
第２線形化ブロック１１３は、短露出画像信号ＳＥＩを線形化して、該線形化された短露出画像信号ＬＳＥＩを生成し、第２補間ブロック１１４は、線形化された短露出画像信号ＬＳＥＩを補間して、第２補間信号ＩＳＥＩを生成する。実施形態によって、第１補間信号ＩＬＥＩと第２補間信号ＩＳＥＩは、全解像度（ｆｕｌｌ−ｒｅｓｏｌｕｔｉｏｎ）を有する画像信号であり得る。
【００５９】
合成ブロック１１５−１は、第１補間ブロック１１２から第１補間信号ＩＬＥＩを受信し、第２補間ブロック１１４から第２補間信号ＩＳＥＩを受信し、第１補間信号ＩＬＥＩと第２補間信号ＩＳＥＩとを合成して、第１ＷＤＲ画像信号ＷＤＲ１を生成する。合成ブロック１１５−１は、補間信号ＩＬＥＩとＩＳＥＩを合成する際、第１補間信号ＩＬＥＩに第１加重値（図６のＷＬ）を適用し、第２補間信号ＩＳＥＩに第２加重値（図６のＷＳ）を適用する。この際、第１加重値（図６のＷＬ）と第２加重値（図６のＷＳ）との和は、‘１’である。
【００６０】
合成ブロック１１５−１は、第１ＷＤＲ画像ＷＤＲ１を第２ＷＤＲ画像生成ブロック１３０に伝送し、第１ＷＤＲ画像信号ＷＤＲ１と第２加重値ＷＳとを制御信号生成器１２０に伝送する。
【００６１】
図６は、図４乃至図５に示された合成ブロックの細部ブロック図を示し、図７は、図４乃至図５に示された合成ブロックが行う合成過程を説明する概念図であり、図８は、図７に示された合成ブロックが行う合成過程を説明する表である。
【００６２】
図６を参照すれば、合成ブロック１１５又は１１５−１は、第１合成加重値生成器１１６−１、第２合成加重値生成器１１６−２、第１加重値適用ブロック１１７−１、第２加重値適用ブロック１１７−２、及びＷＤＲ画像生成器１１８を含む。
【００６３】
実施形態によって、第１合成加重値生成器１１６−１は、第１線形化ブロック１１１から線形化された長露出画像信号ＬＬＥＩを受信し、線形化された長露出画像信号ＬＬＥＩの明るさ値、シャープネス値（以下、「鮮明度値」ともいう）、及びカラーコントラスト（ｃｏｎｔｒａｓｔ）値のうちの少なくとも１つに基づいて第１加重値ＷＬを生成する。
【００６４】
他の実施形態によって、第１合成加重値生成器１１６−１は、第１補間ブロック１１２から第１補間信号ＩＬＥＩを受信し、第１補間信号ＩＬＥＩの明るさ値、鮮明度値、及びカラーコントラスト値のうちの少なくとも１つに基づいて第１加重値ＷＬを生成する。即ち、第１加重値ＷＬは、長露出画像信号ＬＥＩの明るさ値、鮮明度値、及びカラーコントラスト値のうちの少なくとも１つに基づいて決定される。
【００６５】
第１加重値適用ブロック１１７−１は、線形化された長露出画像信号ＬＬＥＩ又は第１補間信号ＩＬＥＩに第１合成加重値生成器１１６−１から生成された第１加重値ＷＬを適用して、第１画像信号ＷＬＥＩを生成する。
【００６６】
実施形態によって、第２合成加重値生成器１１６−２は、第２線形化ブロック１１３から線形化された短露出画像信号ＬＳＥＩを受信し、線形化された短露出画像信号ＬＳＥＩの明るさ値、鮮明度値、及びカラーコントラスト値のうちの少なくとも１つに基づいて第２加重値ＷＳを生成する。
【００６７】
他の実施形態によって、第２合成加重値生成器１１６−２は、第２補間ブロック１１４から第２補間信号ＩＳＥＩを受信し、第２補間信号ＩＳＥＩの明るさ値、鮮明度値、及びカラーコントラスト値のうちの少なくとも１つに基づいて第２加重値ＷＳを生成する。即ち、第２加重値ＷＳは、短露出画像信号ＳＥＩの明るさ値、鮮明度値、及びカラーコントラスト値のうち少なくとも１つに基づいて決定される。
【００６８】
第２加重値適用ブロック１１７−２は、線形化された短露出画像信号ＬＳＥＩ又は第２補間信号ＩＳＥＩに第２合成加重値生成器１１６−２から生成された第２加重値ＷＳを適用して、第２画像信号ＷＳＥＩを生成する。
【００６９】
ＷＤＲ画像生成器１１８は、第１加重値適用ブロック１１７−１から第１画像信号ＷＬＥＩを受信し、第２加重値適用ブロック１１７−２から第２画像信号ＷＳＥＩを受信し、第１画像信号ＷＬＥＩと第２画像信号ＷＳＥＩとを合成して、第１ＷＤＲ画像信号ＷＤＲ１を生成する。
【００７０】
図４乃至図７を参照すれば、説明の便宜上、線形化された長露出画像信号ＬＬＥＩ（場合によっては、第１補間信号ＩＬＥＩ）と線形化された短露出画像信号ＬＳＥＩ（場合によっては、第２補間信号ＩＳＥＩ）の各々の１フレームが、１６個のピクセルを含むものと仮定する。
【００７１】
線形化された長露出画像信号ＬＬＥＩ（又は、第１補間信号ＩＬＥＩ）の１フレームに含まれた１６個のピクセルは各々、明るさ値ＩＬ１〜ＩＬ１６を有し、線形化された長露出画像信号ＬＬＥＩ（又は、第１補間信号ＩＬＥＩ）に第１加重値ＷＬが適用されれば、第１画像信号ＷＬＥＩの１フレームに含まれた１６個のピクセルは各々、補正された明るさ値ＩＬ１’〜ＩＬ１６’を有する。
【００７２】
線形化された短露出画像信号ＬＳＥＩ（又は、第２補間信号ＩＳＥＩ）の１フレームに含まれた１６個のピクセルは各々、明るさ値ＩＳ１〜ＩＳ１６を有し、線形化された短露出画像信号ＬＳＥＩ（又は、第２補間信号ＩＳＥＩ）に第２加重値ＷＳが適用されれば、第２画像信号ＷＳＥＩの１フレームに含まれた１６個のピクセルは各々、補正された明るさ値ＩＳ１’〜ＩＳ１６’を有する。
【００７３】
第１ＷＤＲ画像信号ＷＤＲ１は、第１画像信号ＷＬＥＩと第２画像信号ＷＳＥＩとの合成によって生成され、第１ＷＤＲ画像信号ＷＤＲ１の１フレームに含まれた１６個のピクセルは各々、合成された明るさ値ＳＹ１〜ＳＹ１６を有する。
【００７４】
図７乃至図８を参照すれば、１フレームの１６個のピクセルの内の、例えば第２番目のピクセルに着目すると、線形化された短露出画像信号ＬＳＥＩ（又は、第２補間信号ＩＳＥＩ）に含まれた第２番目のピクセル（これを仮に第１ピクセルと呼ぶ）の明るさ値が、‘ＩＳ２’であり、線形化された長露出画像信号ＬＬＥＩ（又は、第１補間信号ＩＬＥＩ）に含まれ、前記第１ピクセルと合成される第２番目のピクセル（これを仮に第２ピクセルと呼ぶ）の明るさ値が‘ＩＬ２’である場合、第１ＷＤＲ画像信号ＷＤＲ１に含まれ、前記第１ピクセルと前記第２ピクセルとが合成されて生成される第２番目のピクセル（これを仮に第３ピクセルと呼ぶ）の明るさ値‘ＳＹ２’は、  ＳＹ２＝ＷＳ２×ＩＳ２＋ＷＬ２×ＩＬ２  である。
【００７５】
図９は、本発明の一実施形態による図４乃至図５に示された制御信号生成器の細部ブロック図を示し、図１０は、本発明の他の実施形態による図４乃至図５に示された制御信号生成器の細部ブロック図を示す。
【００７６】
図４乃至図９を参照すれば、制御信号生成器１２０は、基準加重値生成器１２１、ノイズ減衰強度制御信号生成器１２３、及びノイズ利得制御信号生成器１２５を含む。
【００７７】
基準加重値生成器１２１は、短露出画像信号ＳＥＩの明るさ値、鮮明度値、及びカラーコントラスト値のうち少なくとも１つに基づいて基準加重値ＷＳ＿Ｒを生成する。
【００７８】
ノイズ減衰強度制御信号生成器１２３は、基準加重値生成器１２１から基準加重値ＷＳ＿Ｒを受信し、合成ブロック１１５又は１１５−１から第１ＷＤＲ画像信号ＷＤＲ１と第２加重値ＷＳとを受信する。
【００７９】
ノイズ減衰強度制御信号生成器１２３は、第２加重値ＷＳと基準加重値ＷＳ＿Ｒとの差を計算し、前記差と第１ＷＤＲ画像信号ＷＤＲ１とを用いてノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈを生成する。
【００８０】
ノイズ減衰強度制御信号生成器１２３は、生成されたノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈをノイズ利得制御信号生成器１２５と第２ＷＤＲ画像生成ブロック１３０の各々に伝送する。
【００８１】
ノイズ利得制御信号生成器１２５は、ノイズ減衰強度制御信号生成器１２３からノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈを受信し、合成ブロック１１５又は１１５−１から第１ＷＤＲ画像信号ＷＤＲ１と第２加重値ＷＳとを受信する。
【００８２】
ノイズ利得制御信号生成器１２５は、ノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈ、第２加重値ＷＳ、及び第１ＷＤＲ画像信号ＷＤＲ１を用いて、ノイズ利得制御信号ＮＧＣを生成する。ノイズ利得制御信号生成器１２５は、生成されたノイズ利得制御信号ＮＧＣを第２ＷＤＲ画像生成ブロック１３０に伝送する。
【００８３】
図４乃至図１０を参照すれば、制御信号生成器１２０−１は、基準加重値抽出器１２２、ノイズ減衰強度制御信号生成器１２３、及びノイズ利得制御信号生成器１２５を含みうる。
【００８４】
図１０に示された制御信号生成器１２０−１の構造及び動作は、基準加重値生成器１２１が基準加重値抽出器１２２に置き換えられたことを除けば、図９に示された制御信号生成器１２０の構造及び動作と実質的に同一又は類似している。
【００８５】
基準加重値抽出器１２２は、基準加重値抽出器１２２に保存されたルックアップテーブル（ＬＵＴ）１２２−１を用いて、短露出画像信号ＳＥＩに相応する基準加重値ＷＳ＿Ｒを抽出する。
【００８６】
図１１は、本発明の一実施形態による基準加重値関数ＷＳ＿Ｒ（Ｉ）及びＷＬ＿Ｒ（Ｉ）を示すグラフである。図１１に示されたグラフＷＳ＿Ｒ（Ｉ）又はＷＳ＿Ｌ（Ｉ）の横軸は、画像信号の明るさ（Ｉ）を意味し、グラフＷＳ＿Ｒ（Ｉ）又はＷＳ＿Ｌ（Ｉ）の縦軸は、合成加重値（ｓｙｎｔｈｅｓｉｓ  ｗｅｉｇｈｔ  ｖａｌｕｅ）を意味する。図４から図１１を参照すれば、基準加重値生成器１２１は、短露出画像信号ＳＥＩの明るさに基づいて、基準加重値関数ＷＳ＿Ｒ（Ｉ）を生成する。この際、基準加重値ＷＳ＿Ｒは、基準加重値関数ＷＳ＿Ｒ（Ｉ）の値の１つであって、短露出画像信号ＳＥＩの明るさ（Ｉ）によって決定される。実施形態によって、基準加重値生成器１２１は、長露出画像信号ＬＥＩの明るさ（Ｉ）に基づいて基準加重値関数ＷＬ＿Ｒ（Ｉ）を生成する。
【００８７】
実施形態によって、基準加重値抽出器１２２は、短露出画像信号ＳＥＩの明るさ（Ｉ）に基づいて、ルックアップテーブル１２２−１から抽出された値から基準加重値関数ＷＳ＿Ｒ（Ｉ）を生成する。他の実施形態によって、基準加重値抽出器１２２は、ルックアップテーブル１２２−１から抽出された値のうちから短露出画像信号ＳＥＩの明るさ（Ｉ）に相応する基準加重値ＷＳ＿Ｒを直接決定することができる。
［数１］
ＷＳ＿Ｒ（Ｉ）＝  ０，                          ｉｆ  Ｉ＜Ｉ１，
ＷＳ＿Ｒ（Ｉ）＝（Ｉ−Ｉ１）／（Ｉ２−Ｉ１），  ｉｆ  Ｉ１≦Ｉ＜Ｉ２，
ＷＳ＿Ｒ（Ｉ）＝  １，                          ｉｆ  Ｉ２≦Ｉ
【００８８】
図１１と図１１のＷＳ＿Ｒ（Ｉ）を表わす数式１とを参照すれば、短露出画像信号ＳＥＩの明るさ（Ｉ）が‘０’から第１明るさ値（Ｉ１）まで、基準加重値関数ＷＳ＿Ｒ（Ｉ）は、基準加重値ＷＳ＿Ｒとして‘０’の値を有する。短露出画像信号ＳＥＩの明るさ（Ｉ）が第１明るさ値（Ｉ１）から第２明るさ値（Ｉ２）まで、基準加重値関数ＷＳ＿Ｒ（Ｉ）は、線形的に増加する基準加重値ＷＳ＿Ｒの値を有する。短露出画像信号ＳＥＩの明るさ（Ｉ）が第２明るさ値（Ｉ２）以上である場合、基準加重値関数ＷＳ＿Ｒ（Ｉ）は、基準加重値ＷＳ＿Ｒとして‘１’の値を有する。
【００８９】
例えば、暗い領域（例えば、室内）で短露出画像信号ＳＥＩの基準加重値ＷＳ＿Ｒは、‘０’に近い値を有し、明るい領域（例えば、室外）で短露出画像信号ＳＥＩの基準加重値ＷＳ＿Ｒは、‘１’に近い値を有する。
［数２］
ＷＳ＿Ｒ（Ｉ）＋ＷＬ＿Ｒ（Ｉ）＝１
【００９０】
図１１、数式１、及び数式２を参照すれば、短露出画像信号ＳＥＩの明るさに基づいて生成された基準加重値関数ＷＳ＿Ｒ（Ｉ）と、長露出画像信号ＬＥＩの明るさに基づいて生成された基準加重値関数ＷＬ＿Ｒ（Ｉ）との和は、‘１’である。
【００９１】
従って、画像信号が一定の明るさ（Ｉ）である場合、短露出画像信号ＳＥＩと長露出画像信号ＬＥＩの各々に加重値ＷＳ及びＷＬを適用して、２つの画像信号ＳＥＩ及びＬＥＩを合成することによって、ＷＤＲ画像のノイズレベル制御装置１００又は１００Ａは、明るい領域と暗い領域とが何れも鮮明に見える画像を生成することができる。
【００９２】
図１２は、本発明の一実施形態によって基準加重値と第２加重値との差を計算する過程を説明するグラフである。図１２に示されたグラフＷＳ＿Ｒ（Ｉ）の横軸は、画像信号の明るさ（Ｉ）を意味し、グラフＷＳ＿Ｒ（Ｉ）の縦軸は、合成加重値を意味する。
【００９３】
図４乃至図１２を参照すれば、ノイズ減衰強度制御信号生成器１２３は、第２加重値ＷＳと基準加重値ＷＳ＿Ｒとの差に基づいて、ノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈを生成する。ノイズ利得制御信号生成器１２５は、ノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈを用いて、ノイズ利得制御信号ＮＧＣを生成することができる。
［数３］
Ｄ（Ｉ）＝ＷＳ（Ｉ）−ＷＳ＿Ｒ（Ｉ），ｉｆ  ＷＳ（Ｉ）≧ＷＳ＿Ｒ（Ｉ），
Ｄ（Ｉ）＝０，                        ｉｆ  ＷＳ（Ｉ）＜ＷＳ＿Ｒ（Ｉ）
【００９４】
数式３を参照すれば、‘Ｄ（Ｉ）’は、短露出画像信号ＳＥＩの明るさによる第２加重値関数ＷＳ（Ｉ）と短露出画像信号ＳＥＩの明るさによる基準加重値関数ＷＳ＿Ｒ（Ｉ）との差を示す差関数Ｄ（Ｉ）である。
【００９５】
第２加重値関数ＷＳ（Ｉ）の値が、基準加重値関数ＷＳ＿Ｒ（Ｉ）の値よりも大きい場合、差関数Ｄ（Ｉ）は、‘ＷＳ（Ｉ）−ＷＳ＿Ｒ（Ｉ）’の値を有する。
【００９６】
第２加重値関数ＷＳ（Ｉ）の値が、基準加重値関数ＷＳ＿Ｒ（Ｉ）の値よりも小さい場合、差関数Ｄ（Ｉ）は、‘０’の値を有し、この場合には、ノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈの生成に際して、加重値ＷＳと基準加重値ＷＳ＿Ｒとの差を考慮しない。
【００９７】
例えば、図１２を参照すれば、短露出画像信号ＳＥＩの明るさが‘Ｉ３’である場合、差関数Ｄ（Ｉ）は、‘ＷＳ−ＷＳ＿Ｒ’の値を有する。
［数４］
Ｓ（Ｉ）＝ＳＬ（Ｉ）×（１＋（ｗｄ・Ｄ（Ｉ））・（ｗｉ・（ＭａｘＣｏｄｅ−Ｉ）））
【００９８】
数式４を参照すれば、‘Ｓ（Ｉ）’は、短露出画像信号ＳＥＩの明るさによるノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈの値を示す。‘ＳＬ（Ｉ）’は、画像信号の明るさのみを考慮した従来のノイズ減衰強度制御信号値であり、‘ｗｄ’は、数式３に示されたＤ（Ｉ）を考慮した加重値ファクター（ｗｅｉｇｈｔ  ｆａｃｔｏｒ）であり、‘ｗｉ’は、短露出画像信号ＳＥＩの明るさを考慮した加重値ファクターであり、‘ＭａｘＣｏｄｅ’は、短露出画像信号ＳＥＩの最大ビット値（例えば、短露出画像信号ＳＥＩが１０ｂｉｔである場合、最大ビット値は、‘１０２３’）であり得る。
［数５］
Ｇ（Ｉ）＝ｗｇ・（ＧＬ（Ｉ）／Ｓ（Ｉ））
【００９９】
数式５を参照すれば、‘Ｇ（Ｉ）’は、短露出画像信号ＳＥＩの明るさによるノイズ利得制御信号ＮＧＣの値である。‘Ｓ（Ｉ）’は、数式４に説明されたノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈの値であり、‘ｗｇ’は、数式４に示されたＳ（Ｉ）を考慮した加重値ファクターであり、‘ＧＬ（Ｉ）’は、画像信号の明るさのみを考慮した従来のノイズ制御信号の値である。
【０１００】
図４乃至図１２、及び数式３乃至数式５を参照すれば、制御信号生成器１２０は、第２加重値ＷＳが基準加重値ＷＳ＿Ｒよりも大きい場合、第２加重値ＷＳと基準加重値ＷＳ＿Ｒとの差が大きいほど、さらに大きなノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈとさらに小さなノイズ利得制御信号ＮＧＣとを生成する。
【０１０１】
制御信号生成器１２０は、第２加重値ＷＳが基準加重値ＷＳ＿Ｒよりも大きい場合、第２加重値ＷＳと基準加重値ＷＳ＿Ｒとの前記差が小さいほど、さらに小さなノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈとさらに大きなノイズ利得制御信号ＮＧＣとを生成する。
【０１０２】
図１３は、本発明の実施形態によるＷＤＲ画像のノイズレベル制御装置の動作を説明するフローチャートである。図４乃至図１３を参照すれば、ノイズレベル制御装置１００又は１００Ａは、長露出画像信号ＬＥＩの明るさ値、鮮明度値、及びカラーコントラスト値のうち少なくとも１つに基づいて第１加重値ＷＬを決定し、短露出画像信号ＳＥＩの明るさ値、鮮明度値、及びカラーコントラスト値のうち少なくとも１つに基づいて第２加重値ＷＳを決定する（ステップＳ１００）。
【０１０３】
ノイズレベル制御装置１００又は１００Ａは、第１加重値ＷＬと長露出画像信号ＬＥＩとを用いて第１画像信号ＷＬＥＩを生成し、第２加重値ＷＳと短露出画像信号ＳＥＩとを用いて第２画像信号ＷＳＥＩを生成する（ステップＳ１１０）。
【０１０４】
ノイズレベル制御装置１００又は１００Ａは、第１画像信号ＷＬＥＩと第２画像信号ＷＳＥＩとを合成して、第１ＷＤＲ画像信号ＷＤＲ１を生成する（ステップＳ１２０）。
【０１０５】
ノイズレベル制御装置１００又は１００Ａは、第２加重値ＷＳと基準加重値ＷＳ＿Ｒとの差を計算し、該計算結果によって制御信号ＮＲ＿ｓｔｒｅｎｇｔｈ及びＮＧＣを生成する（ステップＳ１３０）。
【０１０６】
ノイズレベル制御装置１００又は１００Ａは、制御信号ＮＲ＿ｓｔｒｅｎｇｔｈ及びＮＧＣを用いて第１ＷＤＲ画像信号ＷＤＲ１のノイズレベルを調節し、該調節結果によって第２ＷＤＲ画像信号ＷＤＲ２を生成する（ステップＳ１４０）。
【０１０７】
図１４は、図４乃至図５に示された第２ＷＤＲ画像生成ブロックの動作を説明するフローチャートである。図４乃至図１４を参照すれば、第２ＷＤＲ画像生成ブロック１３０は、第２加重値ＷＳと基準加重値ＷＳ＿Ｒとの差値に基づいて生成されたノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈに応答して、第１ＷＤＲ画像信号ＷＤＲ１からノイズフリー画像信号ＮＦＳとノイズ画像信号ＮＳとを抽出する（ステップＳ２００）。
【０１０８】
第２ＷＤＲ画像生成ブロック１３０は、ノイズ減衰強度制御信号ＮＲ＿ｓｔｒｅｎｇｔｈに基づいて生成されたノイズ利得制御信号ＮＧＣに応答して、第１ＷＤＲ画像信号ＷＤＲ１に対するノイズ利得ＮＧを生成する（ステップＳ２１０）。
【０１０９】
第２ＷＤＲ画像生成ブロック１３０は、ノイズ画像信号ＮＳにノイズ利得ＮＧを乗算して、最終ノイズ画像信号を生成し、前記最終ノイズ画像信号とノイズ利得ＮＧとを加算して、第２ＷＤＲ画像信号ＷＤＲ２を生成する（ステップＳ２２０）。
【０１１０】
図１５は、本発明のさらに他の実施形態による画像処理システムのブロック図を示す。図１乃至図１５を参照すれば、イメージ処理システム２０は、ＭＩＰＩ（登録商標）（Ｍｏｂｉｌｅ  Ｉｎｄｕｓｔｒｙ  Ｐｒｏｃｅｓｓｏｒ  Ｉｎｔｅｒｆａｃｅ）を使用（又は、支援）することができるイメージ処理システムとして具現可能である。イメージ処理システム２０は、モバイルコンピューティング装置として具現可能である。
【０１１１】
イメージ処理システム２０は  ＣＭＯＳイメージセンサ２００、ＡＰ４００、及びディスプレイ５００を含みうる。
【０１１２】
図１乃至図１４を参照して説明したＷＤＲ画像のノイズレベル制御装置１００又は１００Ａは、ＣＭＯＳイメージセンサ２００の内部又はＡＰ４００の内部に具現されうる。
【０１１３】
ＡＰ４００に具現されたカメラシリアルインターフェース（Ｃａｍｅｒａ  Ｓｅｒｉａｌ  Ｉｎｔｅｒｆａｃｅ、ＣＳＩ）ホスト４１２は、ＣＳＩを通じてＣＭＯＳイメージセンサ２００のＣＳＩ装置２１０とシリアル通信することができる。実施形態によって、ＣＳＩホスト４１２は、デシリアライザＤＥＳを含み、ＣＳＩ装置２１０は、シリアライザＳＥＲを含む。
【０１１４】
ＡＰ４００に具現されたディスプレイシリアルインターフェース（ＤＳＩ）ホスト４１１は、ＤＳＩを通じてディスプレイ５００のＤＳＩ装置５１０とシリアル通信する。実施形態によって、ＤＳＩホスト４１１は、シリアライザＳＥＲを含み、ＤＳＩ装置５１０は、デシリアライザＤＥＳを含む。例えば、ＣＭＯＳイメージセンサ２００から出力されたイメージデータ（例えば、図１のＩＤＡＴＡ）は、ＣＳＩを通じてＡＰ４００に伝送する。ＡＰ４００は、イメージデータ（例えば、図１のＩＤＡＴＡ）を処理し、該処理されたイメージデータをＤＳＩを通じてディスプレイ５００に伝送する。
【０１１５】
イメージ処理システム２０は、ＡＰ４００と通信することができるＲＦチップ４４０をさらに含む。イメージ処理システム２０の物理層（ｐｈｙｓｉｃａｌ  ｌａｙｅｒ、ＰＨＹ）４１３とＲＦチップ４４０の物理層（ＰＨＹ）４４１は、ＭＩＰＩ  ＤｉｇＲＦによってデータを送受信する。
【０１１６】
ＣＰＵ４１４は、ＤＳＩホスト４１１、ＣＳＩホスト４１２、及びＰＨＹ４１３の各々の動作を制御し、１つ又はそれ以上のコアを含む。
【０１１７】
ＡＰ４００は、集積回路、システム・オン・チップ（ＳｏＣ）として具現され、ＣＭＯＳイメージセンサ２００の動作を制御するプロセッサ又はホストを意味する。
【０１１８】
イメージ処理システム２０は、ＧＰＳ受信器４５０、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの揮発性メモリ４５２、フラッシュベースメモリなどの不揮発性メモリとして具現されたデータ保存装置４５４、マイクロホン４５６、及び／又はスピーカー４５８を含む。データ保存装置４５４は、ＡＰ４００に着脱可能な外付けメモリとして具現可能である。また、データ保存装置４５４は、ＵＦＳ（Ｕｎｉｖｅｒｓａｌ  Ｆｌａｓｈ  Ｓｔｏｒａｇｅ）、ＭＭＣ（ＭｕｌｔｉＭｅｄｉａ  Ｃａｒｄ）、エンベデッドＭＭＣ（ｅｍｂｅｄｄｅｄ  ＭＭＣ、ｅＭＭＣ）、ＵＳＢフラッシュドライブ、メモリカードとして具現可能である。また、イメージ処理システム２０は、少なくとも１つの通信プロトコル（又は、通信標準）、例えば、ＵＷＢ（Ｕｌｔｒａ−Ｗｉｄｅｂａｎｄ）４６０、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）４６２、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ  ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）４６４、又はＬＴＥＴＭ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ、図示せず）などを用いて外部装置と通信する。実施形態によって、イメージ処理システム２０は、ＮＦＣモジュール、Ｗｉ−Ｆｉモジュール、又はブルートゥースモジュールのうちの少なくとも１つをさらに含む。
【０１１９】
図１６は、本発明のさらに他の実施形態による画像処理システムのブロック図を示す。図１乃至図１０を参照すれば、イメージ処理システム３０は、ＣＭＯＳイメージセンサ２００、プロセッサ６１０、メモリ６２０、ディスプレイ５００、及びインターフェース６４０を含む。
【０１２０】
図１乃至図１４を参照して説明したＷＤＲ画像のノイズレベル制御装置１００又は１００Ａは、プロセッサ６１０又はＣＭＯＳイメージセンサ２００の内部に具現されうる。
【０１２１】
プロセッサ６１０は、ＣＭＯＳイメージセンサ２００の動作を制御する。例えば、プロセッサ６１０は、ＣＭＯＳイメージセンサ２００から出力されるピクセル信号を処理してイメージデータを生成する。
【０１２２】
メモリ６２０は、ＣＭＯＳイメージセンサ２００の動作を制御するためのプログラムとプロセッサ６１０によって生成されたイメージデータとを保存する。プロセッサ６１０は、メモリ６２０に保存されたプログラムを実行する。例えば、メモリ６２０は、揮発性メモリ又は不揮発性メモリとして具現可能である。ディスプレイ５００は、プロセッサ６１０又はメモリ６２０から出力される前記イメージデータを表示する。
【０１２３】
インタフェース６４０は、イメージデータを入出力するためのインタフェースとして具現可能である。実施形態によって、インタフェース６４０は、有線インタフェース又は無線インタフェースとして具現可能である。
【産業上の利用可能性】
【０１２４】
本発明は、イメージ処理装置、その動作方法、及びそれを含む画像処理システムに利用されうる。
【符号の説明】
【０１２５】
１０、１０Ａ、１０Ｂ、２０、３０      画像処理システム
１００、１００Ａ      （ＷＤＲ画像の）ノイズレベル制御装置（ＮＬＣ）
１１０、１１０−１      第１ＷＤＲ画像生成ブロック
１１１      第１線形化ブロック
１１２      第１補間ブロック
１１３      第２線形化ブロック
１１４      第２補間ブロック
１１５、１１５−１      合成ブロック
１１６−１      第１合成加重値生成器
１１６−２      第２合成加重値生成器
１１７−１      第１加重値適用ブロック
１１７−２      第２加重値適用ブロック
１１８      ＷＤＲ画像生成器
１２０、１２０−１      制御信号生成器
１２１      基準加重値生成器
１２２      基準加重値抽出器
１２２−１      ルックアップテーブル（ＬＵＴ）
１２３      ノイズ減衰強度制御信号生成器
１２５      ノイズ利得制御信号生成器
１３０      第２ＷＤＲ画像生成ブロック
１３１      ノイズ減衰回路
１３３      ノイズ利得生成器
１３５      乗算器
１３７      加算器
２００、２００−１      ＣＭＯＳイメージセンサ
３００、３００−１      ブリッジ回路
４００      アプリケーションプロセッサ（ＡＰ）
４１０      センサコントローラ
４２０、４２１      イメージ信号プロセッサ（ＩＳＰ）
４３０      ＣＰＵ
４４０      ディスプレイコントローラ
５００      ディスプレイ
【図１】
2016100895.tif 000003
【図２】
2016100895.tif 000004
【図３】
2016100895.tif 000005
【図４】
2016100895.tif 000006
【図５】
2016100895.tif 000007
【図６】
2016100895.tif 000008
【図７】
2016100895.tif 000009
【図８】
2016100895.tif 000010
【図９】
2016100895.tif 000011
【図１０】
2016100895.tif 000012
【図１１】
2016100895.tif 000013
【図１２】
2016100895.tif 000014
【図１３】
2016100895.tif 000015
【図１４】
2016100895.tif 000016
【図１５】
2016100895.tif 000017
【図１６】
2016100895.tif 000018