(57)【要約】【課題】レンズ歪曲補正装置及びこれを含むアプリケーションプロセッサを提供する。【解決手段】本発明の一実施形態によるレンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）は、歪曲されたイメージ（ｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）に補正する歪曲補正部（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｕｎｉｔ）及び歪曲されたイメージの高周波成分を用いて非歪曲されたイメージを向上させるイメージ向上部（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｎｉｔ）を含む。【選択図】      図１
2016001453.tif 000002
【特許請求の範囲】
【請求項１】
歪曲されたイメージ（ｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）に補正する歪曲補正部（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｕｎｉｔ）と、
前記歪曲されたイメージの高周波成分を用いて前記非歪曲されたイメージを向上させるイメージ向上部（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｎｉｔ）と、を含むことを特徴とするレンズ歪曲補正装置。
【請求項２】
前記歪曲補正部は、前記歪曲されたイメージ内の中心からの距離と前記非歪曲されたイメージ内の中心からの距離との間の歪曲の割合に基づいて歪曲の程度を判断することを特徴とする請求項１に記載のレンズ歪曲補正装置。
【請求項３】
前記歪曲補正部は、ガウシアンインターポレーションカーネル（ｇａｕｓｓｉａｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｋｅｒｎｅｌ）を用いて前記歪曲されたイメージを前記非歪曲されたイメージに補正し、前記歪曲の程度によって前記ガウシアンインターポレーションカーネルのサイズを調節することを特徴とする請求項２に記載のレンズ歪曲補正装置。
【請求項４】
前記歪曲補正部は、
前記歪曲の割合が１より大きい場合、前記ガウシアンインターポレーションカーネルのサイズを増加させ、そして
前記歪曲の割合が１より小さい場合、前記ガウシアンインターポレーションカーネルのサイズを減少させることを特徴とする請求項３に記載のレンズ歪曲補正装置。
【請求項５】
前記歪曲されたイメージ及び非歪曲されたイメージ内の複数のパッチのそれぞれは低周波成分（ｌｏｗ−ｆｒｅｑｕｅｎｃｙ  ｃｏｍｐｏｎｅｎｔ）及び高周波成分（ｈｉｇｈ−ｆｒｅｑｕｅｎｃｙ  ｃｏｍｐｏｎｅｎｔ）を含むことを特徴とする請求項１に記載のレンズ歪曲補正装置。
【請求項６】
前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの明るさ値と最も近い明るさ値を有するパッチを前記歪曲されたイメージ内のローカルライズド領域から検索し、前記検索されたパッチの高周波成分を用いて前記非歪曲されたイメージを向上させることを特徴とする請求項５に記載のレンズ歪曲補正装置。
【請求項７】
前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの低周波成分と前記検索されたパッチの高周波成分とを結合して前記非歪曲されたイメージからブラーリングアーティファクト（ｂｌｕｒｒｉｎｇ  ａｒｔｉｆａｃｔ）を除去することを特徴とする請求項６に記載のレンズ歪曲補正装置。
【請求項８】
前記レンズ歪曲補正装置は超解像度（ｓｕｐｅｒ  ｒｅｓｏｌｕｔｉｏｎ）に適用されることを特徴とする請求項１に記載のレンズ歪曲補正装置。
【請求項９】
イメージセンサ（ｉｍａｇｅ  ｓｅｎｓｏｒ）から映像信号を受信するレンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）を含み、
前記レンズ歪曲補正装置は、
歪曲されたイメージ（ｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）に補正する歪曲補正部（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｕｎｉｔ）と、
前記歪曲されたイメージの高周波成分を用いて前記非歪曲されたイメージを向上させるイメージ向上部（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｎｉｔ）と、を含むことを特徴とするアプリケーションプロセッサ。
【請求項１０】
前記歪曲補正部は、前記歪曲されたイメージ内の中心からの距離と前記非歪曲されたイメージ内の中心からの距離との間の歪曲の割合に基づいて歪曲の程度を判断することを特徴とする請求項９に記載のアプリケーションプロセッサ。
【請求項１１】
前記歪曲補正部は、
ガウシアンインターポレーションカーネルを用いて前記歪曲されたイメージを前記非歪曲されたイメージに補正し、
前記歪曲の程度によって前記ガウシアンインターポレーションカーネルのサイズを調節し、
前記歪曲の割合が１より大きい場合、前記ガウシアンインターポレーションカーネルのサイズを増加させ、そして
前記歪曲の割合が１より小さい場合、前記ガウシアンインターポレーションカーネルのサイズを減少させることを特徴とする請求項１０に記載のアプリケーションプロセッサ。
【請求項１２】
前記歪曲されたイメージ及び非歪曲されたイメージ内の複数のパッチのそれぞれは低周波成分及び高周波成分を含むことを特徴とする請求項９に記載のアプリケーションプロセッサ。
【請求項１３】
前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの明るさ値と最も近い明るさ値を有するパッチを前記歪曲されたイメージ内のローカルライズド領域から検索し、前記検索されたパッチの高周波成分を用いて前記非歪曲されたイメージを向上させることを特徴とする請求項１２に記載のアプリケーションプロセッサ。
【請求項１４】
前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの低周波成分と前記検索されたパッチの高周波成分とを結合して前記非歪曲されたイメージからブラーリングアーティファクトを除去することを特徴とする請求項１３に記載のアプリケーションプロセッサ。
【請求項１５】
広角レンズ（ｗｉｄｅ−ａｎｇｌｅ  ｌｅｎｓ）を介して映像を受信するイメージセンサ（ｉｍａｇｅ  ｓｅｎｓｏｒ）と、
前記イメージセンサから映像信号を受信し、前記受信された映像信号を映像処理するアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｃｅｓｓｏｒ）と、を含み、
前記アプリケーションプロセッサは、
歪曲されたイメージ（ｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）に補正する歪曲補正部（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｕｎｉｔ）と、
前記歪曲されたイメージの高周波成分を用いて前記非歪曲されたイメージを向上させるイメージ向上部（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｎｉｔ）を有するレンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）と、を含むことを特徴とするモバイル装置。
【請求項１６】
前記歪曲補正部は、前記歪曲されたイメージ内の中心からの距離と前記非歪曲されたイメージ内の中心からの距離との間の歪曲の割合に基づいて歪曲の程度を判断することを特徴とする請求項１５に記載のモバイル装置。
【請求項１７】
前記歪曲補正部は、
ガウシアンインターポレーションカーネルを用いて前記歪曲されたイメージを前記非歪曲されたイメージに補正し、
前記歪曲の程度によって前記ガウシアンインターポレーションカーネルのサイズを調節し、
前記歪曲の割合が１より大きい場合、前記ガウシアンインターポレーションカーネルのサイズを増加させ、そして
前記歪曲の割合が１より小さい場合、前記ガウシアンインターポレーションカーネルのサイズを減少させることを特徴とする請求項１６に記載のモバイル装置。
【請求項１８】
前記歪曲されたイメージ及び非歪曲されたイメージ内の複数のパッチのそれぞれは低周波成分及び高周波成分を含むことを特徴とする請求項１５に記載のモバイル装置。
【請求項１９】
前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの明るさ値と最も近い明るさ値を有するパッチを前記歪曲されたイメージ内のローカルライズド領域から検索し、前記検索されたパッチの高周波成分を用いて前記非歪曲されたイメージを向上させることを特徴とする請求項１８に記載のモバイル装置。
【請求項２０】
前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの低周波成分と前記検索されたパッチの高周波成分とを結合して前記非歪曲されたイメージからブラーリングアーティファクトを除去することを特徴とする請求項１９に記載のモバイル装置。
【請求項２１】
広角レンズ（ｗｉｄｅ−ａｎｇｌｅ  ｌｅｎｓ）を介して映像を受信するイメージセンサ（ｉｍａｇｅ  ｓｅｎｓｏｒ）と、
前記イメージセンサから歪曲されたイメージ（ｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を受信するレンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）と、を含み、
前記レンズ歪曲補正装置は、
前記歪曲されたイメージを非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）に補正する歪曲補正部（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｕｎｉｔ）と、
前記歪曲されたイメージの高周波成分を用いて前記非歪曲されたイメージを向上させるイメージ向上部（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｎｉｔ）と、を含むことを特徴とするイメージセンサモジュール。
【請求項２２】
前記歪曲補正部は、前記歪曲されたイメージ内の中心からの距離と前記非歪曲されたイメージ内の中心からの距離との間の歪曲の割合に基づいて歪曲の程度を判断することを特徴とする請求項２１に記載のイメージセンサモジュール。
【請求項２３】
前記歪曲補正部は、
ガウシアンインターポレーションカーネルを用いて前記歪曲されたイメージを前記非歪曲されたイメージに補正し、前記歪曲の程度によって前記ガウシアンインターポレーションカーネルのサイズを調節し、
前記歪曲の割合が１より大きい場合、前記ガウシアンインターポレーションカーネルのサイズを増加させ、そして前記歪曲の割合が１より小さい場合、前記ガウシアンインターポレーションカーネルのサイズを減少させることを特徴とする請求項２２に記載のイメージセンサモジュール。
【請求項２４】
前記歪曲されたイメージ及び非歪曲されたイメージ内の複数のパッチのそれぞれは低周波成分及び高周波成分を含み、
前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの明るさ値と最も近い明るさ値を有するパッチを前記歪曲されたイメージ内のローカルライズド領域から検索し、前記検索されたパッチの高周波成分を用いて前記非歪曲されたイメージを向上させることを特徴とする請求項２１に記載のイメージセンサモジュール。
【請求項２５】
前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの低周波成分と前記検索されたパッチの高周波成分とを結合して前記非歪曲されたイメージからブラーリングアーティファクトを除去することを特徴とする請求項２４に記載のイメージセンサモジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）に係り、特にガウシアンインターポレーションカーネル（ｇａｕｓｓｉａｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｋｅｒｎｅｌ）を用いて歪曲されたイメージを非歪曲されたイメージに補正し、ＬＳＳ（Ｌｏｃａｌ  Ｓｅｌｆ−Ｓｉｍｉｌａｒｉｔｙ）に基いてこの非歪曲されたイメージを向上させるレンズ歪曲補正装置及びこれを含むアプリケーションプロセッサ（ＬＥＮＳ  ＤＩＳＴＯＲＴＩＯＮ  ＣＯＲＲＥＣＴＩＯＮ  ＤＥＶＩＣＥ  ＡＮＤ  ＡＰＰＬＩＣＡＴＩＯＮ  ＰＲＯＣＥＳＳＯＲ  ＨＡＶＩＮＧ  ＴＨＥ  ＳＡＭＥ）に関する。
【背景技術】
【０００２】
最近、広角レンズ（ｗｉｄｅ−ａｎｇｌｅ  ｌｅｎｓ）は、写真を撮る（ｐｈｏｔｏｇｒａｐｈｙ）だけでなく、多様なデジタルイメージ装置（ｄｉｇｉｔａｌ  ｉｍａｇｉｎｇ  ｄｅｖｉｃｅｓ）、例えば、保安システム（ｓｕｒｖｅｉｌｌａｎｃｅ  ｓｙｓｔｅｍｓ）、車輌後方カメラ（ｖｅｈｉｃｌｅ  ｒｅａｒｖｉｅｗ  ｃａｍｅｒａｓ）、そして内視鏡（ｅｎｄｏｓｃｏｐｅｓ）に活用されている。
【０００３】
長所（ａｄｖａｎｔａｇｅｓ）を多く有するにもかかわらず、シングルカメラ（ｓｉｎｇｌｅ  ｃａｍｅｒａ）で得られた広角ビューイメージ（ｗｉｄｅ−ａｎｇｌｅ  ｖｉｅｗ  ｉｍａｇｅｓ）は、周辺領域（ｐｅｒｉｐｈｅｒａｌ  ｒｅｇｉｏｎ）内において、そのイメージ品質（ｔｈｅ  ｉｍａｇｅ  ｑｕａｌｉｔｙ）の著しい低下（ｓｉｇｎｉｆｉｃａｎｔ  ｄｅｇｒａｄａｔｉｏｎ）を惹き起こす放射状の歪曲（ｒａｄｉａｌ  ｄｉｓｔｏｒｔｉｏｎ）を避けることができない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０４９７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、空間可変的なガウスのインターポレーションカーネル（Ｓｐａｃｅ−Ｖａｒｙｉｎｇ  Ｇａｕｓｓｉａｎ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ  Ｋｅｒｎｅｌ）を用いて歪曲されたイメージを非歪曲されたイメージに補正し、ＬＳＳ（Ｌｏｃａｌ  Ｓｅｌｆ−Ｓｉｍｉｌａｒｉｔｙ）に基いてこの非歪曲されたイメージを向上させるレンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）を提供することにある。
【０００６】
本発明の他の目的は、上記レンズ歪曲補正装置を含むアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｃｅｓｓｏｒ）を提供することにある。
【０００７】
本発明のさらに他の目的は、上記アプリケーションプロセッサを含むモバイル装置（ｍｏｂｉｌｅ  ｄｅｖｉｃｅ）を提供することにある。
【０００８】
本発明のさらに他の目的は、上記レンズ歪曲補正装置を含むイメージセンサモジュール（ｉｍａｇｅ  ｓｅｎｓｏｒ  ｍｏｄｕｌｅ）を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の一実施形態によるレンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）は、歪曲されたイメージ（ｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）に補正する歪曲補正部（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｕｎｉｔ）及び上記歪曲されたイメージの高周波成分を用いて上記非歪曲されたイメージを向上させるイメージ向上部（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｎｉｔ）を含む。
【００１０】
一実施形態において、前記歪曲補正部は、前記歪曲されたイメージ内の中心からの距離と前記非歪曲されたイメージ内の中心からの距離との間の割合に基づいて歪曲の程度を判断する。
【００１１】
一実施形態において、前記歪曲補正部は、ガウシアンインターポレーションカーネル（ｇａｕｓｓｉａｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｋｅｒｎｅｌ）を用いて前記歪曲されたイメージを前記非歪曲されたイメージに補正し、前記歪曲の程度によって前記ガウシアンインターポレーションカーネルのサイズを調節する。
【００１２】
一実施形態において、前記歪曲補正部は、前記の割合が１より大きい場合、前記ガウシアンインターポレーションカーネルのサイズを増加させ、また前記の割合が１より小さい場合、前記ガウシアンインターポレーションカーネルのサイズを減少させる。
【００１３】
一実施形態において、前記歪曲されたイメージ及び非歪曲されたイメージ内の複数のパッチのそれぞれは、低周波成分（ｌｏｗ−ｆｒｅｑｕｅｎｃｙ  ｃｏｍｐｏｎｅｎｔ）及び高周波成分（ｈｉｇｈ−ｆｒｅｑｕｅｎｃｙ  ｃｏｍｐｏｎｅｎｔ）を含む。
【００１４】
一実施形態において、前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの明るさ値と最も近い明るさ値を有するパッチを前記歪曲されたイメージ内のローカルライズド領域から検索し、前記検索されたパッチの高周波成分を用いて前記非歪曲されたイメージを向上させる。
【００１５】
一実施形態において、前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの低周波成分と前記検索されたパッチの高周波成分とを結合して前記非歪曲されたイメージからブラーリングアーティファクト（ｂｌｕｒｒｉｎｇ  ａｒｔｉｆａｃｔ）を除去する。
【００１６】
一実施形態において、前記レンズ歪曲補正装置は、超解像度（ｓｕｐｅｒ  ｒｅｓｏｌｕｔｉｏｎ）に適用される。
【００１７】
本発明の他の一実施形態によるアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｃｅｓｓｏｒ）は、イメージセンサ（ｉｍａｇｅ  ｓｅｎｓｏｒ）から映像信号を受信するレンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）を含み、前記レンズ歪曲補正装置は歪曲されたイメージ（ｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）に補正する歪曲補正部（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｕｎｉｔ）及び前記歪曲されたイメージの高周波成分を用いて前記非歪曲されたイメージを向上させるイメージ向上部（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｎｉｔ）を含む。
【００１８】
一実施形態において、前記歪曲補正部は、前記歪曲されたイメージ内の中心からの距離と前記非歪曲されたイメージ内の中心からの距離との間の割合に基づいて歪曲の程度を判断する。
【００１９】
一実施形態において、前記歪曲補正部は、ガウシアンインターポレーションカーネルを用いて前記歪曲されたイメージを前記非歪曲されたイメージに補正し、前記歪曲の程度によって前記ガウシアンインターポレーションカーネルのサイズを調節し、前記の割合が１より大きい場合、前記ガウシアンインターポレーションカーネルのサイズを増加させ、そして前記の割合が１より小さい場合、前記ガウシアンインターポレーションカーネルのサイズを減少させる。
【００２０】
一実施形態において、前記歪曲されたイメージ及び非歪曲されたイメージ内の複数のパッチのそれぞれは低周波成分及び高周波成分を含む。
【００２１】
一実施形態において、前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの明るさ値と最も近い明るさ値を有するパッチを前記歪曲されたイメージ内のローカルライズド領域から検索し、前記検索されたパッチの高周波成分を用いて前記非歪曲されたイメージを向上させる。
【００２２】
一実施形態において、前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの低周波成分と前記検索されたパッチの高周波成分とを結合して前記非歪曲されたイメージからブラーリングアーティファクトを除去する。
【００２３】
本発明のさらに他の一実施形態によるモバイル装置（ｍｏｂｉｌｅ  ｄｅｖｉｃｅ）は、広角レンズ（ｗｉｄｅ−ａｎｇｌｅ  ｌｅｎｓ）を介して映像を受信するイメージセンサ（ｉｍａｇｅ  ｓｅｎｓｏｒ）及び前記イメージセンサから映像信号を受信し、前記受信された映像信号を映像処理するアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｃｅｓｓｏｒ）を含み、前記アプリケーションプロセッサは歪曲されたイメージ（ｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）に補正する歪曲補正部（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｕｎｉｔ）及び前記歪曲されたイメージの高周波成分を用いて前記非歪曲されたイメージを向上させるイメージ向上部（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｎｉｔ）を有するレンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）を含む。
【００２４】
一実施形態において、前記歪曲補正部は、前記歪曲されたイメージ内の中心からの距離と前記非歪曲されたイメージ内の中心からの距離との間の割合に基づいて歪曲の程度を判断する。
【００２５】
一実施形態において、前記歪曲補正部は、ガウシアンインターポレーションカーネルを用いて前記歪曲されたイメージを前記非歪曲されたイメージに補正し、前記歪曲の程度によって前記ガウシアンインターポレーションカーネルのサイズを調節し、前記の割合が１より大きい場合、前記ガウシアンインターポレーションカーネルのサイズを増加させ、そして前記の割合が１より小さい場合、前記ガウシアンインターポレーションカーネルのサイズを減少させる。
【００２６】
一実施形態において、前記歪曲されたイメージ及び非歪曲されたイメージ内の複数のパッチのそれぞれは低周波成分及び高周波成分を含む。
【００２７】
一実施形態において、前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの明るさ値と最も近い明るさ値を有するパッチを前記歪曲されたイメージ内のローカルライズド領域から検索し、前記検索されたパッチの高周波成分を用いて前記非歪曲されたイメージを向上させる。
【００２８】
一実施形態において、前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの低周波成分と前記検索されたパッチの高周波成分とを結合して前記非歪曲されたイメージからブラーリングアーティファクトを除去する。
【００２９】
本発明のさらに他の一実施形態によるイメージセンサモジュール（ｉｍａｇｅ  ｓｅｎｓｏｒ  ｍｏｄｕｌｅ）は、広角レンズ（ｗｉｄｅ−ａｎｇｌｅ  ｌｅｎｓ）を介して映像を受信するイメージセンサ（ｉｍａｇｅ  ｓｅｎｓｏｒ）及び前記イメージセンサから歪曲されたイメージ（ｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を受信するレンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）を含み、前記レンズ歪曲補正装置は前記歪曲されたイメージを非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）に補正する歪曲補正部（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｕｎｉｔ）及び前記歪曲されたイメージの高周波成分を用いて前記非歪曲されたイメージを向上させるイメージ向上部（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｎｉｔ）を含む。
【００３０】
一実施形態において、前記歪曲補正部は、前記歪曲されたイメージ内の中心からの距離と前記非歪曲されたイメージ内の中心からの距離との間の割合に基づいて歪曲の程度を判断する。
【００３１】
一実施形態において、前記歪曲補正部は、ガウシアンインターポレーションカーネルを用いて前記歪曲されたイメージを前記非歪曲されたイメージに補正し、前記歪曲の程度によって前記ガウシアンインターポレーションカーネルのサイズを調節し、前記の割合が１より大きい場合、前記ガウシアンインターポレーションカーネルのサイズを増加させ、そして前記の割合が１より小さい場合、前記ガウシアンインターポレーションカーネルのサイズを減少させる。
【００３２】
一実施形態において、前記歪曲されたイメージ及び非歪曲されたイメージ内の複数のパッチのそれぞれは低周波成分及び高周波成分を含み、前記イメージ向上部は前記非歪曲されたイメージ内のパッチの明るさ値と最も近い明るさ値を有するパッチを前記歪曲されたイメージ内のローカルライズド領域から検索し、前記検索されたパッチの高周波成分を用いて前記非歪曲されたイメージを向上させる。
【００３３】
一実施形態において、前記イメージ向上部は、前記非歪曲されたイメージ内のパッチの低周波成分と前記検索されたパッチの高周波成分とを結合して前記非歪曲されたイメージからブラーリングアーティファクトを除去する。
【発明の効果】
【００３４】
本発明の実施形態によるレンズ歪曲補正装置は、広角レンズで撮影した映像の歪曲を補正し、補正されたイメージを向上させることができる。
【００３５】
また、前記レンズ歪曲補正装置は、前記補正された映像にあるブラーリングアーティファクト（ｂｌｕｒｒｉｎｇ  ａｒｔｉｆａｃｔ）を除去することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態によるレンズ歪曲補正装置（ｗｉｄｅ−ａｎｇｌｅ  ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）を含むモバイル装置（ｍｏｂｉｌｅ  ｄｅｖｉｃｅ）を示すブロック図。
【図２】図１に示すレンズ歪曲補正装置によって歪曲されたイメージを補正する動作を説明するための概念図。
【図３Ａ】非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を示す図。
【図３Ｂ】図３Ａに示す非歪曲されたイメージの中心からの距離による歪曲の割合であるαを示すグラフ。
【図４】ガウシアンインターポレーションカーネル関数（ｇａｕｓｓｉａｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｋｅｒｎｅｌ）を示す図。
【図５】図１に示すレンズ歪曲補正装置によって非歪曲されたイメージを向上させる動作を説明するための概念図。
【図６】図５に示す歪曲されたイメージ内のパッチと非歪曲されたイメージ内のパッチを示す図。
【図７Ａ】第１歪曲されたイメージを示す図。
【図７Ｂ】図７Ａに示す映像に対して従来技術であるｂｉｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎを適用して補正された映像を示す図。
【図７Ｃ】図７Ａに示す映像に対して従来技術であるｈｉｇｈ−ｏｒｄｅｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎを適用して補正された映像を示す図。
【図８】本発明の他の実施形態によるレンズ歪曲補正装置を含むイメージセンサモジュール（ｉｍａｇｅ  ｓｅｎｓｏｒ  ｍｏｄｕｌｅ）を示すブロック図。
【図９】図１に示すレンズ歪曲補正装置を含むモバイル装置２１０の一実施形態を示すブロック図。
【図１０】図１に示すレンズ歪曲補正装置を含むモバイル装置２２０の他の実施形態を示すブロック図。
【図１１】本発明の一実施形態によるカメラシステムを示すブロック図。
【図１２】図８に示すレンズ歪曲補正装置を含むディスプレイ装置４００を示す図。
【発明を実施するための形態】
【００３７】
本明細書に開示されている本発明の実施形態について、特定の構造的かつ機能的説明は単に本発明の実施形態を説明するための目的として例示したものであって、本発明の実施形態は多様な形態に実施することができ、本明細書に説明した実施形態に限定されるものとして解釈してはいけない。
【００３８】
本発明は、多様な変更を加えることができ、多様な形態を有することができるので、特定の実施形態を図面に例示して本明細書に詳細に説明する。しかしながら、これは本発明を特定の開示形態について限定しようとするものでなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものとして理解すべきである。
【００３９】
第１、第２などの用語は、多様な構成要素を説明するのに用いられるが、上記構成要素は上記用語によって限定されてはいけない。上記用語は一構成要素を他の構成要素から区別する目的だけで用いられる。例えば、本発明の権利範囲から離脱されない範囲で第１構成要素は第２構成要素と命名することができ、同様に第２構成要素も第１構成要素と命名することができる。
【００４０】
ある構成要素が異なる構成要素に「連結されて」あるとか「接続されて」あると言及された場合には、その他の構成要素に直接的に連結されるか、または接続されるとのことであるが、中間に他の構成要素が存在することもありうると理解すべきである。一方、ある構成要素が異なる構成要素に「直接連結されて」あるとか「直接接続されて」あると言及された場合には、中間に他の構成要素が存在しないものとして理解しなければならない。構成要素との関係を説明する他の表現、すなわち「〜間に」と「すぐ〜間に」または「〜に隣接する」と「〜に直接隣接する」なども同様に解釈すべきである。
【００４１】
本願に使用する用語は、単に特定の実施形態を説明するために用いられたものであって、本発明を限定しようとする意図ではない。単数表現は文脈上に明白に異ならない限り、複数表現も含む。本願において、「含む」または「有する」などの用語は、開示された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものであって、１つまたはその以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性をあらかじめ排除しないものとして理解すべきである。
【００４２】
他に定義しない限り、技術的や科学的な用語を含み、ここで使用されるすべての用語は本発明が属する技術分野で通常の知識を有する者により一般的に理解されるものと同一意味を有する。一般に用いる辞典に定義されている用語は関連技術の文脈上に有する意味と同一意味を有するものとして解釈すべきで、本願で明白に定義しない限り、理想的や過度に形式的な意味に解釈しない。
【００４３】
一方、ある実施形態が他に実現可能な場合に特定ブロック内に明記された機能または動作がフローチャートに明記された手順と異なる場合がある。例えば、連続する２つのブロックが実際には実質的に同時に実行することができ、かかる機能または動作によっては、前記ブロックが逆に実行される場合もある。
【００４４】
以下、添付された図面を参照して本発明の好適な実施形態を説明する。
【００４５】
図１は、本発明の実施形態によるレンズ歪曲補正装置（ｗｉｄｅ−ａｎｇｌｅ  ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）を含むモバイル装置（ｍｏｂｉｌｅ  ｄｅｖｉｃｅ）を示すブロック図である。
【００４６】
図１を参照すると、モバイル装置１００は、広角レンズ（ｗｉｄｅ−ａｎｇｌｅ  ｌｅｎｓ）１０、イメージセンサ（ｉｍａｇｅ  ｓｅｎｓｏｒ）２０、そしてイメージプロセッサ（ｉｍａｇｅ  ｐｒｏｃｅｓｓｏｒ）３０を含むことができる。一実施形態として、モバイル装置１００は、デジタルカメラ装置（ｄｉｇｉｔａｌ  ｃａｍｅｒａ  ｄｅｖｉｃｅ）、スマートフォン（ｓｍａｒｔ−ｐｈｏｎｅ）、そしてタブレット（ｔａｂｌｅｔ）を含むことができる。
【００４７】
広角レンズ１０の焦点長さ（ｆｏｃａｌ  ｌｅｎｇｔｈ）は標準レンズ（ｓｔａｎｄａｒｄ  ｌｅｎｓ）の焦点長さよりも短い。広角レンズ１０は写真内に含まれるより多い場面を許容することができ、建築（ａｒｃｈｉｔｅｃｔｕｒａｌ）、インテリア（ｉｎｔｅｒｉｏｒ）、及び風景写真（ｌａｎｄｓｃａｐｅ  ｐｈｏｔｏｇｒａｐｈｙ）に有用である。一実施形態において、広角レンズ１０は魚眼レンズ（ｆｉｓｈ−ｅｙｅ  ｌｅｎｓ）を含むことができる。
【００４８】
イメージセンサ２０は広角レンズ１０を介して被写体（ｓｕｂｊｅｃｔ）に対するイメージを獲得（ａｃｑｕｉｒｅ）することができる。広角レンズ１０によりこのイメージは歪曲されることがある。イメージセンサ２０は歪曲されたイメージ（ｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ；ＤＩ）をイメージプロセッサ３０に伝送する。一実施形態において、イメージセンサ２０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサを含むことができる。
【００４９】
イメージプロセッサ３０は、広角レンズ１０により歪曲されたイメージＤＩを補正するためのレンズ歪曲補正装置（ｗｉｄｅ−ａｎｇｌｅ  ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ；４０）を含むことができる。一実施形態において、イメージプロセッサ３０は１つの独立されたチップに製造されることができる。また、イメージプロセッサ３０は、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｃｅｓｓｏｒ）内の１つの機能ブロック（ｆｕｎｃｔｉｏｎａｌｂｌｏｃｋ）として実現することができる。また、イメージセンサ２０はイメージプロセッサ３０を含むことができる。
【００５０】
本発明の実施形態によるレンズ歪曲補正装置４０は、スケラーブルガウシアンインターポレーションカーネル（ｓｃａｌａｂｌｅ  Ｇａｕｓｓｉａｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｋｅｒｎｅｌ）を用いて歪曲（ｄｉｓｔｏｒｔｉｏｎ）を補正し、ＬＳＳ（Ｌｏｃａｌ  Ｓｅｌｆ−Ｓｉｍｉｌａｒｉｔｙ）に基づいたセルフ−例題（ｓｅｌｆ−ｅｘａｍｐｌｅ）を用いてエッジ（ｅｄｇｅ）を向上させることができる。そのために、レンズ歪曲補正装置４０は歪曲補正部（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｕｎｉｔ）４１とイメージ向上部（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｎｉｔ）４２とを含む。
【００５１】
具体的に、歪曲補正部４１は、歪曲されたイメージＤＩに対して空間可変的ガウシアンインターポレーションカーネル（ｓｐａｃｅ−ｖａｒｙｉｎｇ  Ｇａｕｓｓｉａｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｋｅｒｎｅｌｓ）を適用して非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ；ＵＩ）を生成することができる。一実施形態において、レンズ歪曲補正装置４０は、超解像度（ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ）に適用されることができる。本発明の実施形態による歪曲補正部４１は、図２とともに説明することができる。
【００５２】
そして、イメージ向上部４２は、ＬＳＳ（Ｌｏｃａｌ  Ｓｅｌｆ−Ｓｉｍｉｌａｒｉｔｙ）に基づいたセルフ−例題（ｓｅｌｆ−ｅｘａｍｐｌｅ）を用いてバウンダリーライン（ｂｏｕｎｄａｒｙ  ｌｉｎｅ）を向上させることができる。本発明の実施形態によるイメージ向上部４２は図５及び図６とともに説明することができる。
【００５３】
図２は、図１に示すレンズ歪曲補正装置により歪曲されたイメージを補正する動作を説明するための概念図である。
【００５４】
図１及び図２を参照すると、歪曲されたイメージＤＩの中心部Ａは非常に大きく拡大され、歪曲されたイメージＤＩの周辺部Ｂは縮小されている。よって、歪曲補正部４１は、相対的に大きい歪曲を有する歪曲されたイメージＤＩの中心部Ａに対してガウシアンインターポレーションカーネル（ＧＩＫ）のサイズを増加させる。また、歪曲補正部４１は、相対的に小さい歪曲を有する歪曲されたイメージＤＩの周辺部Ｂに対してガウシアンインターポレーションカーネル（ＧＩＫ）のサイズを減少させる。
【００５５】
歪曲補正部４１は、非歪曲されたイメージＵＩ内のピクセルを歪曲されたイメージＤＩ内のピクセルにマッピングする。歪曲されたイメージＤＩ内のピクセルにマッピングされる非歪曲されたイメージＵＩ内のピクセルは非歪曲されたイメージＵＩを生成するためのピクセルとして用いられる。
【００５６】
しかし、非歪曲されたイメージＵＩ内のオフ−グリッドピクセル（ｏｆｆ−ｇｒｉｄ  ｐｉｘｅｌｓ）（すなわち、歪曲されたイメージＤＩ内のピクセルとマッピングされないピクセル）はガウシアンインターポレーションカーネル（ＧＩＫ）を用いて計算される。例えば、オフ−グリッドピクセルにはＡとＢピクセルがある。
【００５７】
例えば、非歪曲されたイメージＵＩの中心部Ａ内のピクセルが歪曲されたイメージＤＩ内のピクセルのうちのいずれか１つと対応しない場合、歪曲補正部４１は中心部Ａ周辺のピクセルに対してガウシアンインターポレーションカーネル（ＧＩＫ）を適用してマッピングされないピクセルの明るさ値（ｉｎｔｅｇｒａｔｉｏｎ  ｖａｌｕｅ）を計算することができる。
【００５８】
この場合、ガウシアンインターポレーションカーネル（ＧＩＫ）は、中心部Ａの周辺に位置したピクセルに対する加重値とすることができる。歪曲補正部４１は、中心部Ａの周辺に位置したピクセルのそれぞれに対して加重された平均（ｗｅｉｇｈｔｅｄ  ａｖｅｒａｇｅ）を計算することができる。この加重された平均を用いて歪曲補正部４１はマッピングされないピクセルの明るさ値を計算することができる。
【００５９】
図３Ａは非歪曲されたイメージ（ｕｎｄｉｓｔｏｒｔｅｄ  ｉｍａｇｅ）を示す図である。
【００６０】
図１及び図３Ａを参照すると、歪曲補正部４１は広角レンズ１０から歪曲されたイメージＤＩを受信する。そして、歪曲補正部４１は歪曲されたイメージＤＩを補正して非歪曲されたイメージＵＩを生成する。
【００６１】
Ａ点は非歪曲されたイメージＵＩ内の中心（ｃｅｎｔｅｒ）に位置する。Ｂ点は非歪曲されたイメージＵＩ内の垂直面の中心（ｃｅｎｔｅｒ  ｏｆ  ａ  ｖｅｒｔｉｃａｌｓｉｄｅ）に位置する。そして、Ｃ点は非歪曲されたイメージＵＩ内のコーナー（ｃｏｒｎｅｒ）に位置する。
【００６２】
図３Ｂは、図３Ａに示す非歪曲されたイメージの中心からの距離による歪曲の割合であるαを示すグラフである。
【００６３】
図１ないし図３Ｂを参照すると、横軸（ｔｈｅ  ａｂｓｃｉｓｓａ）は非歪曲されたイメージＵＩで中心からの距離ｒＵを示す。そして、縦軸（ｔｈｅ  ｏｒｄｉｎａｔｅ）は非歪曲されたイメージＵＩで中心からの距離ｒＵと歪曲されたイメージＤＩで中心からの距離ｒＤとの間の割合αで示す。すなわち、αはｒＤ／ｒＵとして定義することができる。
【００６４】
非歪曲されたイメージＵＩの中心からの距離ｒＵが増加するにつれてαは減少する。また、αが増加するほど映像の歪曲は増加する。そして、αが減少するほど、映像の歪曲は減少する。例えば、映像の歪曲が大きい地点（例えば、映像の中心部と周辺部）でαは増加し、映像の歪曲が小さい地点でαは減少する。
【００６５】
理論的に、広角レンズの歪曲は放射的な方法（ｒａｄｉａｌ  ｍｅｔｈｏｄ）で発生する。言い換えれば、歪曲はイメージの中心を通過する光軸（ｏｐｔｉｃａｌ  ａｘｉｓ）と対称となる。結果的に、歪曲の量はイメージ中心からの距離に依存する。
【００６６】
数式１は、歪曲された座標と非歪曲された座標との間の関係として定義することができる。
【００６７】
【数１】
2016001453.tif 000003
【００６８】
（ｘＵ、ｙＵ）は非歪曲されたイメージＵＩで２次元座標（Ｃａｒｔｅｓｉａｎ  ｃｏｏｒｄｉｎａｔｅｓ）を示す。（ｘＤ、ｙＤ）は歪曲されたイメージＤＩで２次元座標を示す。ｒＵは非歪曲されたイメージＵＩで映像の中心から（ｘＵ、ｙＵ）までの距離を示す。ｒＤは歪曲されたイメージＤＩで映像の中心から（ｘＤ、ｙＤ）までの距離を示す。α（ｒＵ）はｒＤ／ｒＵと定義することができる。この関数は、高次多項式（ｈｉｇｈ  ｏｒｄｅｒ  ｐｏｌｙｎｏｍｉａｌ）またはログ（ｌｏｇａｒｉｔｈｍ）でモデリングすることができる。
【００６９】
歪曲されたイメージＤＩの補正は、加重された平均フィルタ（ｗｅｉｇｈｔｅｄ  ｍｅａｎ  ｆｉｌｔｅｒ）のようなインターポレーションカーネル（ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｋｅｒｎｅｌ）を使用してオフ−グリッドピクセルの明るさ値（ｉｎｔｅｎｓｉｔｙ  ｖａｌｕｅｓ）を捜さなければならない幾何学的変換によって実行することができる。図３Ｂに示すように、ガウシアンインターポレーションカーネル（ＧＩＫ）のサイズは歪曲されたイメージＤＩの中心からの距離が増加するにつれて減少する。
【００７０】
したがって、本発明の実施形態による歪曲補正部４１は、αによってガウシアンインターポレーションカーネル（ＧＩＫ）のサイズを決定することができる。一実施形態において、歪曲補正部４１は、αが１より大きい場合、ガウシアンインターポレーションカーネル（ＧＩＫ）のサイズを増加させ、そしてαが１より小さい場合、ガウシアンインターポレーションカーネル（ＧＩＫ）のサイズを減少させる。
【００７１】
非歪曲されたイメージＵＩ内のピクセルは歪曲されたイメージＤＩ内の対応するピクセルに対してガウシアンインターポレーションカーネル（ＧＩＫ）を適用して生成することができる。具体的に、非歪曲されたイメージＵＩでいずれか一ピクセルの明るさ値は、歪曲されたイメージＤＩ内の対応するピクセルのそれぞれの位置に、ガウシアンインターポレーションカーネル（ＧＩＫ）を適用して生成された結果（すなわち、加重値）、そして歪曲されたイメージＤＩ内の対応するピクセルのそれぞれの明るさ値を用いて計算することができる。
【００７２】
例えば、非歪曲されたイメージＵＩ内のピクセルが中心部にあるとしたら、αが増加される。よって、ガウシアンインターポレーションカーネル（ＧＩＫ）のサイズが増加される。また、非歪曲されたイメージＵＩ内のピクセルが周辺部にあるとしたら、αが減少するので、ガウシアンインターポレーションカーネル（ＧＩＫ）のサイズが減少される。
数式２は、非歪曲されたイメージＵＩ内の
【００７３】
【数２】
2016001453.tif 000004
ピクセルの明るさ値を計算する公式である。
【００７４】
【数３】
2016001453.tif 000005
【００７５】
数式３は、ガウシアンインターポレーションカーネル（ＧＩＫ）を示す。
【００７６】
【数４】
2016001453.tif 000006
【００７７】
σは、数式４に示すα（ｒＵ）によって変化される。
【００７８】
【数５】
2016001453.tif 000007
【００７９】
Ｋは、アンティエイリアシング（ａｎｔｉ−ａｌｉａｓｉｎｇ）の量とエッジ（ｅｄｇｅ）の不鮮明さ（ｆｕｚｚｉｎｅｓｓ）との間のトレードオフ（ｔｒａｄｅ−ｏｆｆ）を制御する定数（ｃｏｎｓｔａｎｔ）である。一実施形態において、Ｋは２とすることができる。
【００８０】
本発明の実施形態によるレンズ歪曲補正装置４０は、αによってガウシアンインターポレーションカーネル（ＧＩＫ）のサイズを調節することができる。例えば、非歪曲されたイメージＵＩの中心部内のピクセルはガウシアンインターポレーションカーネル（ＧＩＫ）のサイズを増加させて生成することができる。また、非歪曲されたイメージＵＩの周辺部内のピクセルはガウシアンインターポレーションカーネル（ＧＩＫ）のサイズを減少させて生成することができる。
【００８１】
図４は、ガウシアンインターポレーションカーネル関数（ｇａｕｓｓｉａｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｋｅｒｎｅｌ）を示す図である。
【００８２】
図１ないし図４を参照すると、ガウシアンインターポレーションカーネル（ＧＩＫ）関数が示される。
【００８３】
歪曲補正部４１は、ガウシアンインターポレーションカーネル（ＧＩＫ）関数を用いて非歪曲されたイメージＵＩ内のマッピングされないピクセルの明るさ値を計算することができる。
【００８４】
歪曲されたイメージＤＩの補正は、加重された平均フィルタ（ｗｅｉｇｈｔｅｄ  ｍｅａｎ  ｆｉｌｔｅｒ）のようなインターポレーションカーネル（ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｋｅｒｎｅｌ）を用いてオフ−グリッドピクセルの明るさ値（ｉｎｔｅｎｓｉｔｙ  ｖａｌｕｅｓ）を捜さなければならない幾何学的変換によって実行することができる。図３Ｂに示すように、ガウシアンインターポレーションカーネル（ＧＩＫ）のサイズは、歪曲されたイメージの中心からの距離が増加するにつれて減少する。
【００８５】
図５は、図１に示すレンズ歪曲補正装置により非歪曲されたイメージを向上させる動作を説明するための概念図である。図６は、図５に示す歪曲されたイメージ内のパッチと非歪曲されたイメージ内のパッチとを示す図である。
【００８６】
歪曲されたイメージを補正するための幾何学的変換過程内においてイメージリサンプリング（ｉｍａｇｅ  ｒｅｓａｍｐｌｉｎｇ）は、ブラーリングアーティファクト（ｂｕｒｒｉｎｇ  ａｒｔｉｆａｃｔ）を惹き起こすことができる。より詳しくは、補正されたイメージ内においてジャギングとブラーリングアーティファクトのいずれもない最適のインターポールレーション方法を捜すことは不可能である。この問題を解決するための実用的な方法は、ジャギングアーティファクトを最小化するための空間可変的ガウシアンインターポレーションカーネルを用い、それから、さらにブラーリングアーティファクトを減少させるためのイメージ向上アルゴリズムを使用することである。
【００８７】
ＬＳＳ（Ｌｏｃａｌ  Ｓｅｌｆ−Ｓｉｍｉｌａｒｉｔｙ）の元概念はイメージ超解像度（ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ）のためにＳｕｅｔａｋｅとＦｒｅｅｄｍａｎによって提案された。ＬＳＳの基本的な仮定はイメージ内のすべてのパッチ（ｐａｔｃｈ）、類似のパッチは同一の関連座標周辺のローカルライズされた地域（ｌｏｃａｌｉｚｅｄ  ｒｅｇｉｏｎ）内でダウンスケールド（ｄｏｗｎ−ｓｃａｌｅｄ）またはスムーズな（ｓｍｏｏｔｈｅｄ）バージョン内で捜すことである。このような仮定は、十分に小さなパッチに対する幾何学的に補正されたイメージを向上させてくれる。
【００８８】
図１ないし図５を参照すると、本発明の実施形態によるイメージ向上部４２は、ＬＳＳに基づいて非歪曲されたイメージＵＩを向上させることができる。歪曲されたイメージＤＩ及び非歪曲されたイメージＵＩのそれぞれは複数のパッチ（ｐａｔｃｈｅｓ）を含む。歪曲されたイメージＤＩ及び非歪曲されたイメージＵＩ内の複数のパッチのそれぞれは低周波成分（ｌｏｗ−ｆｒｅｑｕｅｎｃｙ  ｃｏｍｐｏｎｅｎｔ）及び高周波成分（ｈｉｇｈ−ｆｒｅｑｕｅｎｃｙ  ｃｏｍｐｏｎｅｎｔ）を含む。
【００８９】
低周波成分は、主要イメージまたはイメージの背景を含む。そして高周波成分はイメージの境界ラインを含む。
【００９０】
イメージ向上部４２は、非歪曲されたイメージＵＩ内のパッチの明るさ値と最も近い明るさ値を有するパッチを歪曲されたイメージＤＩ内のローカルライズド領域（ｌｏｃａｌｉｚｅｄ  ｒｅｇｉｏｎ）から検索することができ、検索されたパッチの高周波成分を用いて非歪曲されたイメージＵＩを向上させることができる。
【００９１】
イメージ向上部４２は、非歪曲されたイメージＵＩ内のパッチの低周波成分と検索されたパッチの高周波成分とを結合して非歪曲されたイメージＵＩからブラーリングアーティファクトを除去することができる。
【００９２】
イメージ向上部４２は、ＬＳＳに基いて非歪曲されたイメージＵＩ内のパッチの明るさ値と最も近い明るさ値を有するパッチを歪曲されたイメージＤＩ内のローカルライズド地域（ｌｏｃａｌｉｚｅｄ  ｒｅｇｉｏｎ）から検索するためにブロックマッチング（ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ）を行う。
数式５は、非歪曲されたイメージＵＩ内のパッチ
【００９３】
【数６】
2016001453.tif 000008
の明るさ値と最も近い明るさ値を有する歪曲されたイメージＤＩ内のパッチ
【００９４】
【数７】
2016001453.tif 000009
を示す。
【００９５】
【数８】
2016001453.tif 000010
このとき、
【００９６】
【数９】
2016001453.tif 000011
は、（ｘＵ、ｙＵ）を中心とする非歪曲されたイメージＵＩ内のパッチである。
【００９７】
【数１０】
2016001453.tif 000012
は、（ｘＤ＋ｉ、ｙＤ＋ｊ）を中心とする歪曲されたイメージＤＩのパッチである。
【００９８】
ＢＨ×ＢＨは、パッチサイズ（ｐａｔｃｈ  ｓｉｚｅ）である。（ｉ、ｊ）はパッチ単位の変位ベクタ（ｄｉｓｐｌａｃｅｍｅｎｔ  ｖｅｃｔｏｒ）を示す。
【００９９】
数式６は、最適の変位ベクタ（ｉｍ、ｊｍ）を計算するための公式である。最適の変位ベクタは、ｓｕｍ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ（ＳＡＤ）を最小化して計算することができる。すなわち、非歪曲されたイメージＵＩ内のパッチ
【０１００】
【数１１】
2016001453.tif 000013
の明るさ値と歪曲されたイメージＤＩ内のパッチ
【０１０１】
【数１２】
2016001453.tif 000014
の明るさ値との間の差を最小化する変位ベクタは数式６を用いて求めることができる。
【０１０２】
【数１３】
2016001453.tif 000015
【０１０３】
図１、図５及び図６を参照すると、イメージ向上部４２は、歪曲されたイメージＤＩ内のパッチＰＤと非歪曲されたイメージＵＩ内のパッチＰＵとをデコンポジション（ｄｅｃｏｍｐｏｓｉｔｉｏｎ）することができる。デコンポジションを介して、歪曲イメージＤＩ内のパッチＰＤは、低周波成分ＰＤＬと高周波成分ＰＤＨとに分けられる。また、デコンポジションを介して、非歪曲されたイメージＵＩ内のパッチＰＵは、低周波成分ＰＵＬと高周波成分ＰＵＨとに分けられる。
【０１０４】
非歪曲イメージＵＩのパッチＰＵに対する低周波成分ＰＵＬは、非歪曲イメージＵＩのパッチＰＵに対して１／α（ｒＵ）分散を有するガウシアンフィルタ（Ｇａｕｓｓｉａｎ  ｆｉｌｔｅｒ）を適用して生成することができる。同様に、歪曲イメージＤＩのパッチＰＤに対する低周波成分ＰＤＬは、歪曲イメージＤＩのパッチＰＤに対して１／α（ｒＵ）の分散を有するガウシアンフィルタを適用して生成することができる。
【０１０５】
非歪曲イメージＵＩのパッチＰＵに対する高周波成分ＰＵＨは、非歪曲イメージＵＩのパッチＰＵから非歪曲イメージＵＩのパッチＰＵに対する低周波成分ＰＵＬを差分して計算することができる。同様に、歪曲イメージＤＩのパッチＰＤに対する高周波成分ＰＤＨは、歪曲イメージＤＩのパッチＰＤから歪曲イメージＤＩのパッチＰＤに対する低周波成分ＰＤＬを差分して計算することができる。
最終的に、
【０１０６】
【数１４】
2016001453.tif 000016
はあらゆる（ｘＵ、ｙＵ）に対して下記のように計算される。
【０１０７】
歪曲補正過程（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｐｒｏｃｅｓｓ）によって、非歪曲されたイメージＵＩ内のパッチＰＵの高周波成分ＰＵＨには、ブラーリングアーティファクトが増加される。よって、イメージ向上部４２は、非歪曲されたイメージＵＩ内のパッチＰＵの高周波成分ＰＵＨの代りに歪曲イメージＤＩ内のパッチＰＤの高周波成分ＰＤＨを使用する。すなわち、イメージ向上部４２は、非歪曲されたイメージＵＩ内のパッチＰＵの低周波成分ＰＵＬと歪曲イメージパッチＰＤの高周波成分ＰＤＨとをコンポジション（ｃｏｍｐｏｓｉｔｉｏｎ）することができる。
数式７は、最終的に生成されたパッチ
【０１０８】
【数１５】
2016001453.tif 000017
を示す。
【０１０９】
【数１６】
2016001453.tif 000018
このとき、
【０１１０】
【数１７】
2016001453.tif 000019
【０１１１】
は、歪曲されたイメージＤＩ内の選択されたパッチＰＤに対する高周波成分である。１／ＢＨ２は重なる領域を減殺させる定数である。
【０１１２】
非歪曲されたイメージＵＩは、ブラーリングアートファクトを含む。よって、本発明の実施形態によるレンズ歪曲補正装置４０は、イメージ向上方法を用いて非歪曲されたイメージＵＩからブラーリングアーティファクトを除去することができる。
【０１１３】
図７Ａないし図８Ｃは、従来技術による結果イメージを示す図である。
図７Ａは、第１歪曲されたイメージを示す図である。図７Ｂは、図７Ａに示す映像に対して従来技術であるｂｉｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎを適用して補正された映像を示す図である。そして、図７Ｃは、図７Ａに示す映像に対して従来技術であるｈｉｇｈ−ｏｒｄｅｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎを適用して補正された映像を示す図である。
【０１１４】
従来の方法（例えば、ｂｉｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ、またはｈｉｇｈ−ｏｒｄｅｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いて広角レンズ映像の幾何学的歪曲（ｇｅｏｍｅｔｒｉｃ  ｄｉｓｔｏｒｔｉｏｎ）を補正する過程において、境界ラインが不連続的に現れる現象であるエイリアシング（ａｌｉａｓｉｎｇ）アーティファクト（ａｒｔｉｆａｃｔ）、対象がぼける現象であるブラーリングアーティファクト、そして階段化現象（ｓｔａｉｒｃａｓｅ  ｐｈｅｎｏｍｅｎｏｎ）であるジャギング（ｊａｇｇｉｎｇ）アーティファクトが発生することができる。
【０１１５】
図７Ａに示す第１歪曲されたイメージと図７Ｂ及び図７Ｃに示す映像とを比較すると、図７Ｂ及び図７Ｃに示すイメージにはエイリアシングアーティファクト（ａｌｉａｓｉｎｇ  ａｒｔｉｆａｃｔ）が現れる。
【０１１６】
図８は、本発明の他の実施形態によるレンズ歪曲補正装置を含むイメージセンサモジュール（ｉｍａｇｅ  ｓｅｎｓｏｒ  ｍｏｄｕｌｅ）を示すブロック図である。
図８を参照すると、イメージセンサモジュール２００はイメージセンサ（ｉｍａｇｅ  ｓｅｎｓｏｒ；２０１）、そしてレンズ歪曲補正装置（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｄｅｖｉｃｅ）２０２を含むことができる。一実施形態において、イメージセンサモジュール２００は、デジタルカメラ装置（ｄｉｇｉｔａｌ  ｃａｍｅｒａ  ｄｅｖｉｃｅ）、スマートフォン（ｓｍａｒｔ−ｐｈｏｎｅ）、そしてタブレット（ｔａｂｌｅｔ）に装着することができる。
【０１１７】
イメージセンサ２０１は広角レンズ１０を介して対象（ｏｂｊｅｃｔ）に対するイメージデータを獲得（ａｃｑｕｉｒｅ）することができる。イメージセンサ２０１はイメージデータをレンズ歪曲補正装置２０２に伝送する。一実施形態において、イメージセンサ２０１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサを含むことができる。
【０１１８】
レンズ歪曲補正装置２０２は、スケラーブルガウシアンインターポレーションカーネルドル（ｓｃａｌａｂｌｅ  Ｇａｕｓｓｉａｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｋｅｒｎｅｌｓ）を用いて歪曲（ｄｉｓｔｏｒｔｉｏｎ）を補正し、ＬＳＳ（Ｌｏｃａｌ  Ｓｅｌｆ−Ｓｉｍｉｌａｒｉｔｙ）に基づいたセルフ−例題（ｓｅｌｆ−ｅｘａｍｐｌｅ）を用いてバウンダリーライン（ｂｏｕｎｄａｒｙ  ｌｉｎｅ）を向上させることができる。一実施形態において、レンズ歪曲補正装置２０２は、図１に示すレンズ歪曲補正装置４０を含むことができる。
【０１１９】
図９は、図１に示すレンズ歪曲補正装置を含むモバイル装置２１０の一実施形態を示す。
図９を参照すると、モバイル装置２１０は、スマートフォン（ｓｍａｒｔ−ｐｈｏｎｅ）、タブレット（ｔａｂｌｅｔ）ＰＣ、ＵＭＰＣ（Ｕｌｔｒａ  Ｍｏｂｉｌｅ  Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ  ｍｕｌｔｉｍｅｄｉａ  ｐｌａｙｅｒ）、ＭＰ３プレーヤ、またはＭＰ４プレーヤとして実現することができる。
【０１２０】
モバイル装置２１０は、メモリ装置２１１、メモリ装置２１１を制御するメモリコントローラを含むアプリケーションプロセッサ２１２、モデム２１３、アンテナ２１４、及びディスプレイ装置２１５を含むことができる。
【０１２１】
モデム２１３は、アンテナ２１４を介して無線信号を伝送するか受けることができる。例えば、モデム２１３は、アンテナ２１４を介して受信した無線信号をアプリケーションプロセッサ２１２で処理することができる信号に変更することができる。一実施形態において、モデム２１３は、ＬＴＥ（ｌｏｎｇ  ｔｅｒｍ  ｅｖｏｌｕｔｉｏｎ）送受信機、ＨＳＤＰＡ／ＷＣＤＭＡ（登録商標）（ｈｉｇｈ  ｓｐｅｅｄ  ｄｏｗｎｌｉｎｋ  ｐａｃｋｅｔ  ａｃｃｅｓｓ／ｗｉｄｅｂａｎｄ  ｃｏｄｅ  ｄｉｖｉｓｉｏｎ  ｍｕｌｔｉｐｌｅ  ａｃｃｅｓｓ）送受信機、またはＧＳＭ（登録商標）（ｇｌｏｂａｌ  ｓｙｓｔｅｍ  ｆｏｒ  ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）送受信機とすることができる。
【０１２２】
したがって、アプリケーションプロセッサ２１２は、モデム２１３から出力された信号を処理し、処理された信号をディスプレイ装置２１５に伝送することができる。また、モデム２１３は、アプリケーションプロセッサ２１２から出力された信号を無線信号に変更し、変更された無線信号を、アンテナ２１４を介して外部装置に出力することができる。
【０１２３】
また、アプリケーションプロセッサ２１２は、レンズ歪曲補正装置４０を含む。レンズ歪曲補正装置４０は、広角レンズにより発生した歪曲されたイメージを補正することができ、補正されたイメージを向上させることができる。一実施形態において、レンズ歪曲補正装置４０は図１に示すレンズ歪曲補正装置４０を含むことができる。
【０１２４】
図１０は、図１に示すレンズ歪曲補正装置を含むモバイル装置２２０の他の実施例を示す。
図１０を参照すると、モバイル装置２２０は、イメージ処理装置（Ｉｍａｇｅ  Ｐｒｏｃｅｓｓ  Ｄｅｖｉｃｅ）、例えばデジタルカメラまたはデジタルカメラが付着した移動電話機、またはタブレット（ｔａｂｌｅｔ）として実現することができる。
【０１２５】
モバイル装置２２０は、メモリ装置２２１とメモリ装置２２１のデータ処理動作を制御することができるメモリコントローラを含むアプリケーションプロセッサ２２２、入力装置２２３、及びディスプレイ装置２２４を含む。
【０１２６】
入力装置２２３は、アプリケーションプロセッサ２２２の動作を制御するための制御信号またはアプリケーションプロセッサ２２２によって処理されるデータを入力することができる装置であって、タッチパッド（ｔｏｕｃｈ  ｐａｄ）とコンピュータマウス（ｃｏｍｐｕｔｅｒ  ｍｏｕｓｅ）のようなポインティング装置（ｐｏｉｎｔｉｎｇ  ｄｅｖｉｃｅ）、キーパッド（ｋｅｙ  ｐａｄ）、またはキーボードとして実現することができる。
【０１２７】
アプリケーションプロセッサ２２２は、メモリ装置２２１に保存されたデータを、ディスプレイ装置２２４を介してディスプレイすることができる。アプリケーションプロセッサ２２２は、モバイル装置２２０の全般的な動作を制御することができる。
【０１２８】
また、アプリケーションプロセッサ２２２は、レンズ歪曲補正装置４０を含む。レンズ歪曲補正装置４０は、広角レンズにより発生した歪曲されたイメージを補正し、補正されたイメージを向上させることができる。一実施形態において、レンズ歪曲補正装置４０は、図１に示すレンズ歪曲補正装置４０を含むことができる。
【０１２９】
図１１は、本発明の一実施形態によるカメラシステムを示すブロック図である。一実施形態において、カメラシステムは、デジタルカメラ装置を含むことができる。
【０１３０】
図１及び図１１を参照すると、カメラシステム３００は、広角レンズ３１０、イメージセンサ３２０、モータ部３３０、エンジン部３４０、及びホスト／アプリケーション部３５０を含むことができる。このとき、イメージセンサ３２０は、図１に示すイメージセンサ２０及びイメージプロセッサ３０を含むことができる。
【０１３１】
レンズ３１０は、イメージセンサ３２０の受光領域（ｉｎｔｅｇｒａｔｉｏｎ  ｒｅｇｉｏｎ）（例えば、フォトダイオード）に入射光を集光させる。
イメージセンサ３２０は、レンズ３１０を介して入射光に基づいてイメージデータを生成する。イメージセンサ３２０は、クロック信号（ＣＬＫ）に基づいてイメージデータを提供することができる。一実施形態において、イメージセンサ３２０は、ＭＩＰＩ（Ｍｏｂｉｌｅ  Ｉｎｄｕｓｔｒｙ  Ｐｒｏｃｅｓｓｏｒ  Ｉｎｔｅｒｆａｃｅ）及び／またはＣＳＩ（Ｃａｍｅｒａ  Ｓｅｒｉａｌ  Ｉｎｔｅｒｆａｃｅ）を介してエンジン部３４０とインタペーシングすることができる。
【０１３２】
モータ部３３０は、エンジン部３４０から受信された制御信号（ＣＴＲＬ）に応答してレンズ３１０のフォーカス（Ｆｏｃｕｓ）を調節するか、またはショートリング（Ｓｈｕｔｔｅｒｉｎｇ）を実行することができる。
【０１３３】
エンジン部３４０は、イメージセンサ３２０及びモータ部３３０を制御する。また、エンジン部３４０は、イメージセンサ３２０から受信された距離及び／またはイメージデータに基づいて被写体（ｓｕｂｊｅｃｔ）からの距離、輝度成分（ｌｕｍｉｎａｎｃｅ  ｃｏｍｐｏｎｅｎｔ）、前記輝度成分と青色成分の差、及び輝度成分と赤色成分との差を含むＹＵＶデータ（ＹＵＶ）を生成することができるか、または圧縮データ、例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｙ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）データを生成することができる。
【０１３４】
エンジン部３４０は、ホスト／アプリケーション部３５０に接続することができる。そしてエンジン部３４０は、マスタクロック（ＭＣＬＫ）に基づいてＹＵＶデータ（ＹＵＶ）またはＪＰＥＧデータをホスト／アプリケーション部３５０に提供することができる。また、エンジン部３４０は、ＳＰＩ（Ｓｅｒｉａｌ  Ｐｅｒｉｐｈｅｒａｌ  Ｉｎｔｅｒｆａｃｅ）及び／またはＩ２Ｃ（Ｉｎｔｅｒ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）を介してホスト／アプリケーション部３５０とインタペーシングすることができる。
【０１３５】
一実施形態において、エンジン部３４０は、イメージセンサ３２０から歪曲された映像を補正することができ、補正された映像を向上させることができる。そして、エンジン部３４０は、図１に示すレンズ歪曲補正装置４０を含むことができる。
【０１３６】
図１２は、図８に示すレンズ歪曲補正装置を含むディスプレイ装置４００を示す。
図１２を参照すると、ディスプレイ装置４００は、スマートＴＶ、モニタ（ｍｏｎｉｔｏｒ）または各種モバイル装置に装着されたディスプレイ装置（ｄｉｓｐｌａｙ  ｄｅｖｉｃｅ）として実現することができる。
【０１３７】
ディスプレイ装置４００は、カメラ装置４１０を含むことができる。ディスプレイ装置４００がスマートＴＶとした場合、ディスプレイ装置４００には多様なアプリケーションが設置される。
【０１３８】
例えば、使用者（ｕｓｅｒ）は、ディスプレイ装置４００に装着されたカメラ装置４１０を用いて映像通話アプリケーション（ｖｉｄｅｏ  ｃａｌｌ  ａｐｐｌｉｃａｔｉｏｎ）を行うことができる。一実施形態において、カメラ装置４１０は、図8に示すイメージセンサモジュール（ｉｍａｇｅ  ｓｅｎｓｏｒｍｏｄｕｌｅ；２００）を含むことができる。
【０１３９】
本発明は、図面に示す一実施形態を参照として説明したが、これは例示的なものに過ぎず、本発明の技術分野の通常の知識を有する者であれば今後多様な変形及び均等な他の実施例が可能である点を理解することができる。よって、本発明の真正な技術的保護範囲は添付の特許請求の範囲の技術的思想によって決定されるべきである。
【産業上の利用可能性】
【０１４０】
本発明は、レンズ歪曲補正装置及びこれを含むアプリケーションプロセッサとモバイル装置に適用可能である。
前記では本発明の好適な実施形態を参照して説明したが、該当技術分野の熟練された当業者は下記の特許請求の範囲に記載した本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更することができることを理解することができる。
【符号の説明】
【０１４１】
１０    広角レンズ
２０    イメージセンサ
３０    イメージプロセッサ
４０    レンズ歪曲補正装置
４１    歪曲補正部
４２    イメージ向上部
２００    イメージセンサモジュール
２０１    イメージセンサ
２０２    レンズ歪曲補正装置
２１０    モバイル装置の第１実施例
２２０    モバイル装置の第２実施例
３００    デジタルカメラ装置
４００    ディスプレイ装置
４１０    カメラ装置
【図１】
2016001453.tif 000020
【図２】
2016001453.tif 000021
【図３Ａ】
2016001453.tif 000022
【図３Ｂ】
2016001453.tif 000023
【図４】
2016001453.tif 000024
【図５】
2016001453.tif 000025
【図６】
2016001453.tif 000026
【図７Ａ】
2016001453.tif 000027
【図７Ｂ】
2016001453.tif 000028
【図７Ｃ】
2016001453.tif 000029
【図８】
2016001453.tif 000030
【図９】
2016001453.tif 000031
【図１０】
2016001453.tif 000032
【図１１】
2016001453.tif 000033
【図１２】
2016001453.tif 000034