(57)【要約】  実施例のカメラモジュールは、空間位相差を有する複数のイメージフレームを獲得する映像獲得部と、複数のイメージフレームのそれぞれの解像度より高い解像度を有する映像データを複数のイメージフレームを用いて生成する映像生成部と、映像データを用いて被写体についての深さ情報を抽出する深さ情報抽出部とを含む。【選択図】図２
2021515455.tif 000002
【特許請求の範囲】
【請求項１】
空間位相差を有する複数のイメージフレームを獲得する映像獲得部と、
前記複数のイメージフレームのそれぞれの解像度より高い解像度を有する映像データを前記複数のイメージフレームを用いて生成する映像生成部と、
前記映像データを用いて被写体についての深さ情報を抽出する深さ情報抽出部と、を含む、カメラモジュール。
【請求項２】
前記映像獲得部は、
被写体に対する光が進行する経路を変換する光学部と、
互いに異なる経路を通して入射した光をセンシングするイメージセンサーと、
前記光学部及び前記イメージセンサーを制御する制御部と、を含み、
前記複数のイメージフレームは、前記イメージセンサーで順次センシングされた結果に相当する、請求項１に記載のカメラモジュール。
【請求項３】
前記映像獲得部は、
被写体に対する光が進行する互いに異なる経路を有する複数の光学部と、
前記複数の光学部を介して入射した光をセンシングする複数のイメージセンサーと、を含み、
前記複数のイメージフレームは、前記複数のイメージセンサーでセンシングされた結果に相当する、請求項１に記載のカメラモジュール。
【請求項４】
前記映像生成部は、下記のような強度を有する前記映像データを生成する、請求項２又は３に記載のカメラモジュール。
【数１】
2021515455.tif 000017
（ここで、ｘφは、前記映像データの強度を示し、１≦ｋ≦ｐであり、ｐは、前記映像データを生成するために使用された前記イメージフレームの個数を示し、φは、位相遅延程度を示し、Ｄ-1は、Ｄの逆行列を示し、Ｄは、前記イメージセンサーのピクセルの大きさを示し、ＢK-1は、ＢKの逆行列を示し、ＢKは、前記深さ情報に対する光学特性を示し、ｎKは、前記複数のイメージフレームが有する雑音成分を示し、ＡKは、ｐ個の前記イメージフレームの中でｋ番目のイメージフレームの強度を示し、次の通りである。
【数２】
2021515455.tif 000018
）
【請求項５】
前記深さ情報抽出部は、下記のように前記深さ情報を算出する、請求項４に記載のカメラモジュール。
【数３】
2021515455.tif 000019
（ここで、ｘは、深さ情報を示し、ｃは、光束を示し、ｆは、周波数を示す。）
【請求項６】
（ａ）空間位相差を有する複数のイメージフレームを獲得する段階と、
（ｂ）前記複数のイメージフレームのそれぞれの解像度より高い解像度を有する映像データを前記複数のイメージフレームを用いて生成する段階と、
（ｃ）前記映像データを用いて被写体についての深さ情報を抽出する段階と、を含む、カメラモジュールの超解像度映像処理方法。
【請求項７】
前記（ａ）段階は、
被写体に対する光が進行する経路を変換する段階と、
互いに異なる経路を通して入射した光を順次センシングして前記複数のイメージフレームを獲得する段階と、を含む、請求項６に記載のカメラモジュールの超解像度映像処理方法。
【請求項８】
前記（ａ）段階は、被写体に対する光を互いに異なる経路で同時にセンシングして前記複数のイメージフレームを獲得する段階を含む、請求項６に記載のカメラモジュールの超解像度映像処理方法。
【請求項９】
前記（ｂ）段階は、下記のような強度を有する前記映像データを求める、請求項６に記載のカメラモジュールの超解像度映像処理方法。
【数４】
2021515455.tif 000020
（ここで、ｘφは、前記映像データの強度を示し、１≦ｋ≦ｐであり、ｐは、前記映像データを生成するために使用された前記イメージフレームの個数を示し、φは、位相遅延程度を示し、Ｄ-1は、Ｄの逆行列を示し、Ｄは、前記イメージセンサーのピクセルの大きさを示し、ＢK-1は、ＢKの逆行列を示し、ＢKは、前記深さ情報に対する光学特性を示し、ｎKは、前記複数のイメージフレームが有する雑音成分を示し、ＡKは、ｐ個の前記イメージフレームの中でｋ番目のイメージフレームの強度を示し、次の通りである。
【数５】
2021515455.tif 000021
）
【請求項１０】
前記（ｃ）段階は、下記のように前記深さ情報を求める、請求項９に記載のカメラモジュールの超解像度映像処理方法。
【数６】
2021515455.tif 000022
（ここで、ｘは、深さ情報を示し、ｃは、光束を示し、ｆは、周波数を示す。）
【発明の詳細な説明】
【技術分野】
【０００１】
実施例はカメラモジュール及びその超解像度映像処理方法に関するものである。
【背景技術】
【０００２】
携帯用装置の使用者は、高解像度を有し、大きさが小さくて多様な撮影機能［光学ズーム機能（ｚｏｏｍ−ｉｎ／ｚｏｏｍ−ｏｕｔ）、オートフォーカシング（Ａｕｔｏ−Ｆｏｃｕｓｉｎｇ、ＡＦ）機能、手ぶれ補正又は光学手ぶれ補正（Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ、ＯＩＳ）機能など］を有する光学機器を望んでいる。このような撮影機能は多数のレンズを組み合わせて直接レンズを動かす方法で具現化することができるが、レンズの数を増加させる場合、光学機器のサイズが大きくなることができる。
【０００３】
オートフォーカス及び手ぶれ補正の機能は、レンズホルダーに固定されて光軸が整列された多数のレンズモジュールが光軸又は光軸の垂直方向に移動するかティルティング（Ｔｉｌｔｉｎｇ）することによってなされ、レンズモジュールを駆動させるために別途のレンズ駆動装置が使われる。しかし、レンズ駆動装置は電力消費が多く、これを保護するために、カメラモジュールとは別にカバーガラスを付け加えなければならないが、全体の厚さが大きくなる。
【０００４】
また、高品質イメージに対する需要者の要求が高くなるのに従い、超解像度イメージを提供することができるカメラモジュールが要求されている。しかし、超解像度イメージを生成するためには、イメージセンサーに含まれるピクセルの数が増加するしかないが、これはイメージセンサーの大きさを増加させることになり、消費電力を浪費する結果をもたらすことができる。ここで、超解像度（ＳＲ：Ｓｕｐｅｒ  Ｒｅｓｏｌｕｔｉｏｎ）とは、与えられた低解像度（ＬＲ：Ｌｏｗ  Ｒｅｓｏｌｕｔｉｏｎ）を有する映像情報を高解像度（ＨＲ：Ｈｉｇｈ  Ｒｅｓｏｌｕｔｉｏｎ）を有する映像情報に変換することを意味する。
【０００５】
映像に含まれる被写体に対応するピクセルの深さを抽出するために、被写体に光を照射する能動型深さ抽出方法の一つとしてＴｏＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式がある。ＴｏＦ方式は、被写体に光を照射し、その光が帰って来る時間を測定する方式である。イメージデータに対する点広がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）は最適化して非常に簡単であるが、深さ情報を抽出するためのＰＳＦは新しく定義されて最適化する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本実施例は、高解像度を有する映像を提供しながらピクセルの深さ情報を高速で簡単に抽出することができるカメラモジュール及びその超解像度映像処理方法を提供するためのものである。
【０００７】
本発明で解決しようとする技術的課題は以上で言及した技術的課題に制限されず、言及しなかった他の技術的課題は下記の記載から本発明が属する技術分野で通常の知識を有する者に明らかに理解可能であろう。
【課題を解決するための手段】
【０００８】
実施例によるカメラモジュールは、空間位相差を有する複数のイメージフレームを獲得する映像獲得部と、前記複数のイメージフレームのそれぞれの解像度より高い解像度を有する映像データを前記複数のイメージフレームを用いて生成する映像生成部と、前記映像データを用いて被写体についての深さ情報を抽出する深さ情報抽出部とを含むことができる。
【０００９】
例えば、前記映像獲得部は、被写体に対する光が進行する経路を変換する光学部と、互いに異なる経路を通して入射した光をセンシングするイメージセンサーと、前記光学部及び前記イメージセンサーを制御する制御部とを含み、前記複数のイメージフレームは前記イメージセンサーで順次センシングされた結果に相当することができる。
【００１０】
例えば、前記映像獲得部は、被写体に対する光が進行する互いに異なる経路を有する複数の光学部と、前記複数の光学部を介して入射した光をセンシングする複数のイメージセンサーとを含み、前記複数のイメージフレームは前記複数のイメージセンサーでセンシングされた結果に相当することができる。
【００１１】
例えば、前記映像生成部は下記のような強度を有する前記映像データを生成することができる。
【００１２】
2021515455.tif 000003
【００１３】
ここで、ｘφは前記映像データの強度を示し、１≦ｋ≦ｐであり、ｐは前記映像データを生成するために使用された前記イメージフレームの個数を示し、φは位相遅延程度を示し、Ｄ-1はＤの逆行列を示し、Ｄは前記イメージセンサーのピクセルの大きさを示し、ＢK-1はＢKの逆行列を示し、ＢKは前記深さ情報に対する光学特性を示し、ｎKは前記複数のイメージフレームが有する雑音成分を示し、ＡKはｐ個の前記イメージフレームの中でｋ番目のイメージフレームの強度を示し次の通りである。
【００１４】
2021515455.tif 000004
【００１５】
例えば、前記深さ情報抽出部は下記のように前記深さ情報を算出することができる。
【００１６】
2021515455.tif 000005
【００１７】
ここで、ｘは深さ情報を示し、ｃは光束を示し、ｆは周波数を示す。
【００１８】
他の実施例によるカメラモジュールの超解像度映像処理方法は、空間位相差を有する複数のイメージフレームを獲得する（ａ）段階と、前記複数のイメージフレームのそれぞれの解像度より高い解像度を有する映像データを前記複数のイメージフレームを用いて生成する（ｂ）段階と、前記映像データを用いて被写体についての深さ情報を抽出する（ｃ）段階とを含むことができる。
【００１９】
例えば、前記（ａ）段階は、被写体に対する光が進行する経路を変換する段階と、互いに異なる経路を通して入射した光を順次センシングして前記複数のイメージフレームを獲得する段階とを含むことができる。
【００２０】
例えば、前記（ａ）段階は、被写体に対する光を互いに異なる経路で同時にセンシングして前記複数のイメージフレームを獲得する段階を含むことができる。
【００２１】
例えば、前記（ｂ）段階は、下記のような強度を有する前記映像データを求めることができる。
【００２２】
2021515455.tif 000006
【００２３】
ここで、ｘφは前記映像データの強度を示し、１≦ｋ≦ｐであり、ｐは前記映像データを生成するために使用された前記イメージフレームの個数を示し、φは位相遅延程度を示し、Ｄ-1はＤの逆行列を示し、Ｄは前記イメージセンサーのピクセルの大きさを示し、ＢK-1はＢKの逆行列を示し、ＢKは前記深さ情報に対する光学特性を示し、ｎKは前記複数のイメージフレームが有する雑音成分を示し、ＡKはｐ個の前記イメージフレームの中でｋ番目のイメージフレームの強度を示し次の通りである。
【００２４】
2021515455.tif 000007
【００２５】
例えば、前記（ｃ）段階は下記のように前記深さ情報を求めることができる。
【００２６】
2021515455.tif 000008
【００２７】
ここで、ｘは深さ情報を示し、ｃは光束を示し、ｆは周波数を示す。
【００２８】
例えば、前記カメラモジュールの超解像度映像処理方法は、前記深さ情報をキャリブレーションする段階をさらに含むことができる。
【００２９】
前記本発明の様態は本発明の好適な実施例による一部に過ぎなく、本発明の技術的特徴が反映された多様な実施例が当該技術分野の通常的な知識を有する者によって以下で詳述する本発明の詳細な説明から導出されて理解可能である。
【発明の効果】
【００３０】
本発明の一実施例によるカメラモジュール及びその超解像度映像処理方法によれば、超解像度を有する映像を提供しながらも少ない演算で深さ情報を簡単に高速で抽出することができる。
【００３１】
本発明で得られる効果は以上で言及した効果に制限されず、言及しなかった他の効果は下記の記載から本発明が属する分野で通常の知識を有する者に明らかに理解可能であろう。
【図面の簡単な説明】
【００３２】
【図１】一実施例によるカメラモジュールの超解像度映像処理方法を説明するためのフローチャートである。
【図２】図１に示した超解像度映像処理方法を行う実施例によるカメラモジュールの概略的なブロック図である。
【図３】図２に示した映像獲得部の一実施例によるブロック図である。
【図４】図３に示した映像獲得部を含むカメラモジュールの実施例による断面図である。
【図５】図２に示した映像獲得部の他の実施例のブロック図である。
【図６】映像獲得部の一実施例による動作方法を説明するための図である。
【図７】図６で説明する映像獲得部の動作方法をより詳細に説明するための図である。
【図８】一実施例によるカメラモジュールの動作方法のタイミング図である。
【図９】実施例による超解像度映像処理方法のキャリブレーション段階の一実施例を説明するためのフローチャートである。
【図１０（ａ）】図９に示したキャリブレーション段階の理解を助けるための波形図である。
【図１０（ｂ）】図９に示したキャリブレーション段階の理解を助けるための波形図である。
【図１１（ａ）】ローデータを示す図である。
【図１１（ｂ）】イメージセンサーでセンシングされて出力される電荷の強度を示す図である。
【図１２（ａ）】比較例による超解像度映像処理方法を説明するための図である。
【図１２（ｂ）】比較例による超解像度映像処理方法を説明するための図である。
【図１２（ｃ）】比較例による超解像度映像処理方法を説明するための図である。
【図１３（ａ）】実施例による超解像度映像処理方法を説明するための図である。
【図１３（ｂ）】実施例による超解像度映像処理方法を説明するための図である。
【図１３（ｃ）】実施例による超解像度映像処理方法を説明するための図である。
【発明を実施するための形態】
【００３３】
以下、添付図面に基づいて実施例を詳細に説明する。実施例は多様な変更を加えることができ、さまざまな形態を有することができるが、特定の実施例を図面に例示し本文に詳細に説明しようとする。しかし、これは実施例を特定の開示形態に限定しようとするものではなく、実施例の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものに理解されなければならない。
【００３４】
“第１”、“第２”などの用語は多様な構成要素を説明するのに使えるが、前記構成要素は前記用語によって限定されてはいけない。前記用語は一構成要素を他の構成要素と区別する目的のみで使われる。また、実施例の構成及び作用を考慮して特別に定義された用語は実施例を説明するためのものであるだけ、実施例の範囲を限定するものではない。
【００３５】
実施例の説明において、各要素（ｅｌｅｍｅｎｔ）の“上又は下（ｏｎ  ｏｒ  ｕｎｄｅｒ）”に形成されるものとして記載される場合、上又は下（ｏｎ  ｏｒ  ｕｎｄｅｒ）は二つの要素（ｅｌｅｍｅｎｔ）が互いに直接（ｄｉｒｅｃｔｌｙ）接触するかあるいは一つ以上の他の要素（ｅｌｅｍｅｎｔ）が前記二つの要素（ｅｌｅｍｅｎｔ）の間に配置されて（ｉｎｄｉｒｅｃｔｌｙ）形成されるものを全て含む。また“上又は下（ｏｎ  ｏｒ  ｕｎｄｅｒ）”と表現される場合、１個の要素（ｅｌｅｍｅｎｔ）を基準に上方だけでなく下方の意味も含むことができる。
【００３６】
また、以下で使われる“上／上部／上の”及び“下／下部／下の”などの関係的用語は、そのような実体又は要素間のある物理的又は論理的関係又は手順を必ず要求するか内包しなく、ある一つの実体又は要素を他の実体又は要素と区別するために用いることもできる。
【００３７】
以下、一実施例によるカメラモジュールの超解像度映像処理方法を添付図面に基づいて説明する。
【００３８】
図１は一実施例によるカメラモジュールの超解像度映像処理方法を説明するためのフローチャート、図２は図１に示した超解像度映像処理方法を遂行する実施例によるカメラモジュールの概略的なブロック図である。
【００３９】
図１に示した超解像度映像処理方法を図２に示したカメラモジュールで遂行するものとして説明するが、実施例はこれに限られない。すなわち、図１に示した超解像度映像処理方法は図２に示したカメラモジュールとは違う構成を有するカメラモジュールで遂行することもでき、図２に示したカメラモジュールは図１に示したものとは違う超解像度映像処理方法を遂行することができる。
【００４０】
図２に示したカメラモジュールは、映像獲得部１００、映像生成部２００及び深さ情報抽出部３００を含むことができる。
【００４１】
図２に示した映像獲得部１００は、互いにサブピクセル間隔で空間位相差を有する複数のイメージフレームを獲得し、獲得された複数のイメージを映像生成部２００に出力する（第１０段階）。仮に、ピクセル間の距離（例えば、ピクセル中心間の距離）を１ＰＤ（ピクセル距離）とするとき、その半分は０．５ＰＤに相当する。前述したサブピクセル間隔は０．５ＰＤであり得るが、実施例はこれに限られない。
【００４２】
図３は図２に示した映像獲得部１００の一実施例１００Ａのブロック図である。
【００４３】
図３に示した映像獲得部１００Ａは、光学部１１０、イメージセンサー１２０及び制御部１３０を含むことができる。
【００４４】
光学部１１０は、制御部１３０の制御の下で、被写体に対する光が進行する経路を変換することができる。
【００４５】
イメージセンサー１２０は、制御部１３０の制御の下で、互いに異なる経路を通して入射した光をセンシングし、センシングされた結果をイメージフレームとして出力端子ＯＵＴ１を介して映像生成部２００に出力することができる。イメージセンサー１２０は、互いに異なる経路を通して入射した光を順次センシングする。よって、イメージセンサー１２０で順次センシングされた結果が空間位相差を有する複数のイメージフレームに相当することができる。
【００４６】
制御部３００は、光学部１１０とイメージセンサー１２０を制御することができる。特に、制御部３００は、光学部１１０から光が進行する経路を変換させることにより、イメージセンサー１２０で順次センシングされて出力される複数のイメージフレームが互いにサブピクセル間隔で空間位相差を有するようにすることができる。
【００４７】
以下、図３に示した映像獲得部１００Ａを含むカメラモジュールの実施例をデカルト座標系に基づいて説明するが、他の座標系に基づいても説明することができる。デカルト座標系によれば、ｘ軸、ｙ軸、ｚ軸は互いに直交するが、実施例はこれに限られない。すなわち、ｘ軸、ｙ軸、ｚ軸は互いに交差することもできる。
【００４８】
図４は図３に示した映像獲得部１００Ａを含むカメラモジュールの実施例による断面図である。
【００４９】
図４を参照すると、カメラモジュールは、レンズアセンブリー、イメージセンサー１２０及びメイン基板１３２を含むことができる。ここで、レンズアセンブリーは図３に示した光学部１１０の実施例に相当し、レンズバレル１１２、ホルダー１１４、第１レンズＬ１及び第２レンズＬ２を含むことができ、これらの中で少なくとも一つの構成は省略するか互いに上下配置関係を変更することもできる。
【００５０】
レンズアセンブリーは、カメラモジュールの外部から入射する光を通過させてイメージセンサー１２０に光信号を伝達することができる。レンズアセンブリーは、少なくとも一つのレンズを含むことができる。レンズアセンブリーに含まれたレンズは一つの光学系をなし、イメージセンサー１２０の光軸を中心に整列されることができる。
【００５１】
レンズバレル１１２はホルダー１１４と結合され、内部に第１レンズＬ１及び第２レンズＬ２を収容することができる空間を備えることができる。レンズバレル１１２は第１レンズＬ１及び第２レンズＬ２と回転結合することができるが、これは例示的なものであり、接着剤を用いた方式などの他の方式で結合することができる。
【００５２】
第１レンズＬ１は第２レンズＬ２の前方に配置されることができる。第１レンズＬ１は少なくとも一つのレンズから構成されることができ、あるいは２個以上の複数のレンズが中心軸を基準に整列して光学系をなすこともできる。ここで、中心軸はカメラモジュールの光学系の光軸（Ｏｐｔｉｃａｌ  ａｘｉｓ）と同一であり得る。第１レンズＬ１は、図４に示したように、１個のレンズからなることができるが、必ずしもこれに限定されない。
【００５３】
第２レンズＬ２は第１レンズＬ１の後方に配置されることができる。カメラモジュールの外部から第１レンズＬ１に入射する光は第１レンズＬ１を通過して第２レンズＬ２に入射することができる。第２レンズＬ２は少なくとも一つのレンズから構成されることができ、あるいは２個以上の複数のレンズが中心軸を基準に整列して光学系をなすこともできる。ここで、中心軸はカメラモジュールの光学系の光軸と同一であり得る。第２レンズＬ２は、図４に示したように、１個のレンズからなることができるが、必ずしもこれに限定されない。
【００５４】
第１レンズＬ１及び第２レンズＬ２を、液体レンズと区別するために‘第１固体レンズ’及び‘第２固体レンズ’とそれぞれ言うこともできる。
【００５５】
図４でレンズアセンブリーは２個のレンズＬ１、Ｌ２を含むものとして示されているが、実施例はこれに限られない。他の実施例によれば、レンズアセンブリーは１個のレンズのみ含むこともでき、３個以上のレンズを含むこともできる。
【００５６】
ホルダー１１４は少なくとも一つのレンズを収容して支持する役割をする。ホルダー１１４はレンズバレル１１２と結合してレンズバレル１１２を支持し、イメージセンサー１２０が付着されたメイン基板１３２に結合されることができる。
【００５７】
ホルダー１１４は螺旋形構造を含み、同様に螺旋形構造を含むレンズバレル１１２と回転結合することができる。しかし、これは例示的なものであり、ホルダー１１４とレンズバレル１１２３は接着剤（例えば、エポキシ（ｅｐｏｘｙ）などの接着用樹脂）を介して結合されるか、あるいはホルダー１１４とレンズバレル１１２が一体型に形成されることもできる。
【００５８】
イメージセンサー１２０は図３に示したイメージセンサー１２０に相当する。イメージセンサー１２０はメイン基板１３２に装着され、レンズアセンブリーを通過した光信号を受信し、光信号に対応する電気信号に変換するピクセルアレイ、ピクセルアレイに含まれた複数のピクセルを駆動する駆動回路及び各ピクセルのアナログピクセル信号をリード（ｒｅａｄ）するリードアウト回路を含むことができる。リードアウト回路は、アナログピクセル信号を基準信号と比較してアナログ−デジタル変換を介してデジタルピクセル信号（又は映像信号）を生成することができる。ここで、ピクセルアレイに含まれた各ピクセルのデジタルピクセル信号は映像信号を構成し、映像信号はフレーム単位で伝送されることによってイメージフレームに定義されることができる。すなわち、イメージセンサーは複数のイメージフレームを出力することができる。
【００５９】
メイン基板１３２はホルダー１１４の下部に配置され、制御部１３０とともに各構成間の電気信号の伝達のための配線を含むことができる。また、メイン基板１３２には、カメラモジュールの外部の電源又はその他の装置（例えば、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｃｅｓｓｏｒ））と電気的に連結するためのコネクタ（図示せず）が連結されることができる。
【００６０】
メイン基板１３２はＲＦＰＣＢ（Ｒｉｇｉｄ  Ｆｌｅｘｉｂｌｅ  Ｐｒｉｎｔｅｄ  Ｃｉｒｃｕｉｔ  Ｂｏａｒｄ）から構成され、カメラモジュールが装着される空間によってベンディング（ｂｅｎｄｉｎｇ）されることができるが、実施例はこれに限定されない。
【００６１】
また、カメラモジュールは、ＩＲ（赤外線）を透過させるか遮断させるフィルター１１６をさらに含むことができる。このために、フィルター１１６はガラスから具現化されることができる。フィルター１１６は、第２レンズ部Ｌ２を通過した光において特定の波長範囲に相当する光をフィルタリングすることができる。フィルター１１６はホルダー１１４の内部溝に装着及び固定されることができる。このために、ホルダー１１４はレンズバレル１１２の下部にフィルター１１６が付着されることができる空間を備えることができる。
【００６２】
前述した図３及び図４に示したカメラモジュールは多様な方法で光経路を変換させることができる。
【００６３】
一実施例によれば、レンズアセンブリーに含まれる少なくとも一つのレンズは可変レンズを含むことができる。可変レンズは、制御部１３０の制御によってレンズアセンブリーの光経路を変更させることができる。可変レンズは、イメージセンサー１２０に入射する光経路を変更させることができ、例えば光信号の焦点距離とＦＯＶ（Ｆｉｅｌｄ  ｏｆ  Ｖｉｅｗ）角度又はＦＯＶ方向などを変更させることができる。例えば、可変レンズは液体レンズ（ｌｉｑｕｉｄ  ｌｅｎｓ）又は可変プリズムから構成されることができる。可変レンズは、少なくとも一つのレンズ及び少なくとも一つのレンズと結合されたアクチュエーターから構成されることができる。ここで、少なくとも一つのレンズは液体レンズであってもよく、固体レンズであってもよい。アクチュエーター制御部１３０の制御によって、結合された少なくとも一つのレンズの物理的変位を制御することができる。すなわち、アクチュエーターは少なくとも一つのレンズとイメージセンサー１２０との間の距離を調節するか、少なくとも一つのレンズとイメージセンサー１２０との間の角度を調節することができる。もしくは、アクチュエーターは、少なくとも一つのレンズを、イメージセンサー１２０のピクセルアレイが成す平面のｘ軸及びｙ軸の方向に移動（ｓｈｉｆｔ）させることができる。また、アクチュエーターは、イメージセンサー１２０のピクセルアレイに入射する光の経路を変更させる役割をすることができる。例えば、可変レンズに含まれる少なくとも一つのレンズに液体レンズが含まれない場合、すなわち、可変レンズに含まれる少なくとも一つのレンズがいずれも固体レンズの場合、アクチュエーターは少なくとも一つのレンズを制御部１３０から出力される第１制御信号Ｃ１によって垂直方向又は水平方向の少なくとも一方向に移動させることができる。
【００６４】
可変レンズは第１位置Ｐ１〜第４位置Ｐ４のいずれか一つに配置されることができる。しかし、これは例示的なものであり、第１レンズ部Ｌ１、第２レンズ部Ｌ２、フィルター１１６の有無及び相対的な位置によって、可変レンズは他の位置に位置することもできる。ただ、可変レンズはレンズアセンブリーに入射する光が通過する領域である光経路上に位置して焦点距離又はＦＯＶ角度を変更させることができる。第１位置Ｐ１はレンズバレル１１２の外部に相当する位置であり、第２位置Ｐ２はレンズバレル１１２の内部において第１レンズ部Ｌ１の上部に相当する位置である。第３位置Ｐ３はレンズバレル１１２の内部において第１レンズ部Ｌ１と第２レンズ部Ｌ２との間に相当する位置であり、第４位置Ｐ４はレンズバレル１１２の内部において第２レンズ部Ｌ２の下部に相当する位置である。
【００６５】
もしくは、他の実施例によれば、制御部１３０の制御の下で、レンズバレル１１２、ホルダー１１４又はフィルター１１６を上下左右にアクチュエーター（図示せず）で移動させることにより、イメージセンサー１２０に入射する光経路を変更させることができ、例えば光信号の焦点距離とＦＯＶ（Ｆｉｅｌｄ  ｏｆ  Ｖｉｅｗ）角度又はＦＯＶ方向などを変更させることができる。
【００６６】
以下、図４に基づいて光学部１１０のＦＯＶ角度を変更させる動作を説明する。
【００６７】
図４を参照すると、レンズアセンブリーは、特定のＦＯＶ（Ｆｉｅｌｄ  ｏｆ  Ｖｉｅｗ）を有することができる。ＦＯＶはイメージセンサー１２０がレンズアセンブリーを通してキャプチャーすることができる入射光の範囲を意味し、ＦＯＶ角度に定義されることができる。通常的なレンズアセンブリーのＦＯＶ角度は６０°〜１４０°の範囲を有することができる。レンズアセンブリーを上から（すなわち、光軸に垂直な方向に）見るときのｘ軸とｙ軸を仮定すれば、ＦＯＶ角度は、第１ＦＯＶ角度（Ｆｘ）及び第２ＦＯＶ角度（Ｆｙ）を含むことができる。第１ＦＯＶ角度（Ｆｘ）はｘ軸に沿って決定されるＦＯＶの角度を意味し、第２ＦＯＶ角度（Ｆｙ）はｙ軸に沿って決定されるＦＯＶの角度を意味する。
【００６８】
イメージセンサー１２０のピクセルアレイに含まれた複数のピクセルはＮ×Ｍ（ここで、Ｎ、Ｍはそれぞれ１以上の整数）のマトリックス状に配列されることができる。すなわち、Ｎ個のピクセルがｘ軸に沿って配置され、Ｍ個のピクセルがｙ軸に沿って配置されることができる。第１ＦＯＶ角度（Ｆｘ）及び第２ＦＯＶ角度（Ｆｙ）に相当するＦＯＶを通して入射する光信号はＮ×Ｍのピクセルアレイに入射する。
【００６９】
レンズアセンブリーを通過する光経路又はレンズアセンブリーのＦＯＶは制御信号Ｃ１によって変更されることができる。制御信号Ｃ１は第１ＦＯＶ角度（Ｆｘ）及び第２ＦＯＶ角度（Ｆｙ）をそれぞれ変更させることができ、制御信号Ｃ１による第１ＦＯＶ角度（Ｆｘ）及び第２ＦＯＶ角度（Ｆｙ）の変化は第１角度変化量（θＩ＿ｘ）及び第２角度変化量（θＩ＿ｙ）によって決定される。
【００７０】
第１角度変化量（θＩ＿ｘ）及び第２角度変化量（θＩ＿ｙ）はそれぞれ次の数学式１及び数学式２によって定義されることができる。
【００７１】
【数１】
2021515455.tif 000009
【００７２】
【数２】
2021515455.tif 000010
【００７３】
ここで、ａは０．１より大きくて０．５より小さく、ｂは１より大きくて２より小さい値を有することができるが、実施例の範囲はこれに限定されない。
【００７４】
ここで、θＩ＿ｘとθＩ＿ｙは光学部１１０が光経路を変更することによって引き起こされる、イメージセンサー１２０が生成するイメージに対する変換角度であり、実際に光学部１１０が光経路を変更する角度はこれより大きいか小さいことができる。
【００７５】
しかし、実施例によるカメラモジュール及びその超解像度映像処理方法は、光学部１１０で光の経路を変更する特定の構成又は方法に限られない。
【００７６】
図５は図２に示した映像獲得部１００の他の実施例１００Ｂのブロック図である。
【００７７】
図５に示した映像獲得部１００Ｂは、被写体に対する光を互いに異なる経路で同時にセンシングして複数のイメージフレームを獲得することができる。このために、映像獲得部１００Ｂは、第１〜第Ｈ光学部１１０−１〜１１０−Ｈ及び第１〜第Ｈイメージセンサー１２０−１〜１２０−Ｈを含むことができる。ここで、Ｈは２以上の正の整数である。
【００７８】
第１〜第Ｈ光学部１１０−１〜１１０−Ｈのそれぞれは被写体に対する光が進行する経路を形成する。ここで、第１〜第Ｈ光学部１１０−１〜１１０−Ｈにおいて光が進行する経路は互いに違う。
【００７９】
第１〜第Ｈイメージセンサー１２０−１〜１２０−Ｈは、第１〜第Ｈ光学部１１０−１〜１１０−Ｈを介して入射した光をそれぞれセンシングし、センシングされた結果を出力端子ＯＵＴ２を介して映像生成部２００に出力する。出力端子ＯＵＴ２を介して映像生成部２００に同時に出力されるセンシングされた結果は互いにサブピクセル間隔で空間位相差を有する複数のイメージフレームに相当することができる。
【００８０】
第１０段階の後、映像生成部２００は、映像獲得部１００で獲得された複数のイメージフレームのそれぞれの解像度より高い解像度を有する映像データを映像獲得部１００で獲得された複数のイメージフレームを用いて生成し、生成された結果を深さ情報抽出部３００に出力することができる（第２０段階）。
【００８１】
以下、第２０段階及び映像獲得部１００の実施例を説明する。
【００８２】
図６は映像獲得部１００の一実施例による動作方法を説明するための図である。図７は図６で説明する映像獲得部１００の動作方法をより詳細に説明するための図である。
【００８３】
図６を参照すると、空間位相差を有する複数のイメージフレームを用いて超解像度（ｓｕｐｅｒ  ｒｅｓｏｌｕｔｉｏｎ）イメージを得ることができる方法の模式図が示されている。
【００８４】
イメージセンサー１２０、１２０−１〜１２０−ＨのピクセルアレイはＮ×Ｍのマトリックス状に配置された複数のピクセルを含むことができる。以下の説明では、説明の便宜上、図６のようにピクセルアレイが２×２のマトリックス状に配置された複数のピクセルＡ１〜Ａ４を含むと仮定する。
【００８５】
各ピクセルＡ１〜Ａ４は、レンズアセンブリーを介して伝達される光信号によって各ピクセル場面ＰＳ１〜ＰＳ４についてのイメージ情報（すなわち、光信号に対応するアナログピクセル信号）を生成することができる。
【００８６】
ｘ軸方向（又はｙ軸方向）に隣接したピクセル間の距離（例えば、ピクセル中心間の距離）を１ＰＤ（ピクセル距離）とするとき、その半分は０．５ＰＤに相当する。ここで、第１〜第４ピクセル移動Ａ〜Ｄを定義する。
【００８７】
第１ピクセル移動Ａは各ピクセルＡ１〜Ａ４を＋ｘ軸方向に沿って右側に０．５ＰＤだけ移動させることを意味し、第１ピクセル移動Ａが完了した後のピクセルはＢ１〜Ｂ４である。
【００８８】
第２ピクセル移動Ｂは各ピクセルＢ１〜Ｂ４を＋ｙ軸方向に沿って下側に０．５ＰＤだけ移動させることを意味し、第２ピクセル移動Ｂが完了した後のピクセルはＣ１〜Ｃ４である。
【００８９】
第３ピクセル移動Ｃは各ピクセルＣ１〜Ｃ４を−ｘ軸方向に沿って左側に０．５ＰＤだけ移動させることを意味し、第３ピクセル移動Ｃが完了した後のピクセルはＤ１〜Ｄ４である。
【００９０】
第４ピクセル移動Ｄは各ピクセルＤ１〜Ｄ４を−ｙ軸方向に沿って上側に０．５ＰＤだけ移動させることを意味し、第４ピクセル移動Ｄが完了した後のピクセルはＡ１〜Ａ４である。
【００９１】
ここで、ピクセル移動はピクセルアレイのピクセルの物理的位置を移動させるものではなく、二つのピクセル（例えば、Ａ１とＡ２）間の仮想のピクセル（例えば、Ｂ１）がピクセル場面を獲得することができるように、図３のように光の進行経路を変更するか、図５のように互いに異なる光経路を有する複数の光学部１１０−１〜１１０−Ｈを介して光が進行する動作を意味することができる。
【００９２】
図７を参照すると、各ピクセルＡ１〜Ａ４はピクセル場面Ｓ１を獲得し、イメージセンサー１２０、１２０−１〜１２０−Ｈは各ピクセルＡ１〜Ａ４のピクセル信号から第１イメージフレームＦ１を生成することができる。
【００９３】
第１ピクセル移動Ａのために、図３に示した光学部１１０は、光経路又はＦＯＶを第１角度変化量（θＩ＿ｘ）だけ右側に変更させるようにする制御信号Ｃ１に応じて、図４に示したレンズアセンブリーの光経路又はＦＯＶを第１角度変化量（θＩ＿ｘ）だけ右側に変更させることにより、第１ピクセル移動Ａを遂行することができる。もしくは、第１ピクセル移動Ａのために、図４に示した第１及び第２光学部１１０−１、１１０−２の光経路又はＦＯＶが第１角度変化量（θＩ＿ｘ）だけの差を有することができる。その後、各ピクセルＢ１〜Ｂ４はピクセル場面Ｓ２を獲得し、イメージセンサー１２０、１２０−１〜１２０−Ｈは各ピクセルＢ１〜Ｂ４のピクセル信号から第２フレームＦ２を生成することができる。
【００９４】
第２ピクセル移動Ｂのために、図３に示した光学部１１０は、光経路又はＦＯＶを第２角度変化量（θＩ＿ｙ）だけ下側に変更させるようにする制御信号Ｃ１に応じて、図４に示したレンズアセンブリーの光経路又はＦＯＶを第２角度変化量（θＩ＿ｙ）だけ下側に変更させることにより、第２ピクセル移動Ｂを遂行することができる。もしくは、第２ピクセル移動Ｂのために、図４に示した第２及び第３光学部１１０−２、１１０−３の光経路又はＦＯＶが第２角度変化量（θＩ＿ｙ）だけの差を有することができる。その後、各ピクセルＣ１〜Ｃ４はピクセル場面Ｓ３を獲得し、イメージセンサー１２０、１２０−１〜１２０−Ｈは各ピクセルＣ１〜Ｃ４のピクセル信号から第３フレームＦ３を生成することができる。
【００９５】
第３ピクセル移動Ｃのために、図３に示した光学部１１０は、光経路又はＦＯＶを第１角度変化量（θＩ＿ｘ）だけ左側に変更させるようにする制御信号Ｃ１に応じて、図４に示したレンズアセンブリーの光経路又はＦＯＶを第１角度変化量（θＩ＿ｘ）だけ左側に変更させることにより、第３ピクセル移動Ｃを遂行することができる。もしくは、第３ピクセル移動Ｃのために、図４に示した第３及び第４光学部１１０−３、１１０−４の光経路又はＦＯＶが第２角度変化量（θＩ＿ｘ）だけの差を有することができる。その後、各ピクセルＤ１〜Ｄ４はピクセル場面Ｓ４を獲得し、イメージセンサー１２０、１２０−１〜１２０−Ｈは各ピクセルＤ１〜Ｄ４のピクセル信号から第４フレームＦ４を生成することができる。
【００９６】
第４ピクセル移動Ｄのために、図３に示した光学部１１０は、光経路又はＦＯＶを第２角度変化量（θＩ＿ｙ）だけ上側に変更させるようにする制御信号Ｃ１に応じて、図４に示したレンズアセンブリーの光経路又はＦＯＶを第２角度変化量（θＩ＿ｙ）だけ上側に変更させることにより、第４ピクセル移動Ｄを遂行することができる。もしくは、第４ピクセル移動Ｄのために、図４に示した第４及び第１光学部１１０−４、１１０−１の光経路又はＦＯＶが第２角度変化量（θＩ＿ｙ）だけの差を有することができる。その後、各ピクセルＡ１〜Ａ４はピクセル場面Ｓ１を獲得し、イメージセンサー１２０、１２０−１〜１２０−Ｈは各ピクセルＡ１〜Ａ４のピクセル信号から第５フレームＦ５を生成することができる。その後にもピクセル移動及び移動されたピクセルによるフレーム生成動作を繰り返し遂行することができる。
【００９７】
ここで、第１角度変化量（θＩ＿ｘ）と第２角度変化量（θＩ＿ｙ）のそれぞれは０．５ＰＤだけピクセル移動できるように光経路変更程度に対応する情報が保存されることがあり、（例えば、イメージセンサー１２０又は制御部１３０によって）第１ＦＯＶ角度（Ｆｘ）及び第２ＦＯＶ角度（Ｆｙ）に基づいて予め計算されて保存されることができる。
【００９８】
図３に示したイメージセンサー１２０は第１領域と第２領域を含み、制御部１３０は、外部から入射してレンズアセンブリーを通過する光の経路がイメージセンサー１２０の第１領域から第２領域に変更されるように、光学部１１０を制御する制御信号Ｃ１を出力することができる。また、イメージセンサー１２０は第３領域と第４領域をさらに含み、制御部１３０は、イメージセンサー１２０の第２領域から第３領域に光の経路が変更されるように光学部１１０を制御する制御信号Ｃ１を出力し、第３領域から第４領域に光の経路が変更されるように光学部１１０を制御する制御信号Ｃ１を出力することができる。制御信号Ｃ１は、レンズアセンブリーの画角（ＦＯＶ）を第１方向に変更させる信号、レンズアセンブリーの画角を第２方向に変更させる信号、レンズアセンブリーの画角を第３方向に変更させる信号、及びレンズアセンブリーの画角を第４方向に変更させる信号を含むことができる。
【００９９】
映像生成部２００は、第１〜第４フレームを合成することにより、Ｎ×Ｍのピクセルアレイではない２Ｎ×２Ｍのピクセルアレイが獲得したイメージを生成することができる。映像生成部２００が第１〜第４フレームを合成する方法は、第１〜第４フレームを各ピクセルの位置によって単純併合（例えば、第１行の場合、Ａ１のピクセル信号、Ｂ１のピクセル信号、Ａ２のピクセル信号、Ｂ２のピクセル信号を配列して単一フレームを生成）する方法、あるいは隣接したピクセルの場合、ピクセル場面がオーバーラップすることを用いていずれか一つのピクセル（例えば、Ｃ１）のピクセル信号を隣接したピクセル（例えば、Ａ１、Ｂ１、Ａ２、Ｄ１、Ｄ２、Ａ３、Ｂ３、Ａ４）のピクセル信号で補正する方法などを用いることができるが、実施例の範囲はこれに限定されず、多様な超解像度イメージ生成方法を用いることができる。
【０１００】
映像生成部２００は後処理器と言える。後処理器は、イメージセンサー１２０、１２０−１〜１２０−Ｈから伝達された複数のイメージフレームの一部を用いて第１超解像度イメージフレームを合成し、ついでイメージセンサー１２０、１２０−１〜１２０−Ｈから出力される複数のイメージフレームの他部を用いて第２超解像度イメージフレームを合成することができる。
【０１０１】
図６及び図７によれば、ピクセル移動によって獲得した複数のイメージフレームを合成することにより、４倍の解像度を有するイメージを生成することができる。
【０１０２】
図８は一実施例によるカメラモジュールの動作方法のタイミング図である。
【０１０３】
図８を参照すると、制御部１３０は、制御信号Ｃ１によって光学部１１０で第４ピクセル移動Ｄが完了したことを示すフィードバック信号を制御信号Ｃ２としてイメージセンサー１２０に伝達することができる。ここで、制御部１３０は、第４ピクセル移動Ｄが完了したことをレンズアセンブリーからの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー１２０の各ピクセルＡ１〜Ａ４はピクセル場面Ｓ１を獲得し、イメージセンサー１２０は各ピクセルＡ１〜Ａ４のピクセル信号から第１イメージフレームＦ１を生成することができる。同じ方法で第２〜第５フレームＦ２〜Ｆ５を生成することができる。その後にも、ピクセル移動及び移動されたピクセルによるフレーム生成動作を繰り返し遂行することができる。
【０１０４】
特に、制御部１３０の制御信号Ｃ１の伝送は、イメージセンサー１２０によるイメージフレームの生成が完了して制御信号Ｃ１を光学部１１０に伝送することを指示する同期信号を制御信号Ｃ２としてイメージセンサー１２０が伝送する場合に遂行することができる。すなわち、ピクセル移動、フレーム生成、以後のピクセル移動の順次動作は制御信号Ｃ１、Ｃ２の送受信によって同期化することによって進行することができる。
【０１０５】
実施例によれば、映像生成部２００は、前述したように獲得された複数のイメージフレームを用いて次の数学式３のような強度を有する高解像度を有する超解像度映像データを生成することができる。
【０１０６】
【数３】
2021515455.tif 000011
【０１０７】
ここで、ｘφは映像生成部２００で生成された映像データの強度を示し、１≦ｋ≦ｐであり、ｐは映像データを生成するために使用された空間位相差を有する複数のイメージフレームの個数で、２以上の正の整数であり、φは位相遅延程度を示す。Ｐ個のイメージフレームのそれぞれがＩ個のサブフレームを含み、Ｉ＝９、ｐ＝４のとき、φは次の数学式４のように表現することができる。
【０１０８】
【数４】
2021515455.tif 000012
【０１０９】
ここで、Ｑはサブフレームの強度を示す。
【０１１０】
また、前述した数学式３で、Ｄ-1はＤの逆行列を示し、Ｄはイメージセンサー１２０又は１２０−１〜１２０−Ｈのピクセルの大きさを示し、ＢK-1はＢKの逆行列を示し、ＢKは深さ情報に対する光学特性を示し、ｎKは複数のイメージフレームが有する雑音成分を示し、ＡKはＰ個のイメージフレームの中でｋ番目のイメージフレームの強度を示す。ＡKは次の数学式５のように表現することができる。
【０１１１】
【数５】
2021515455.tif 000013
【０１１２】
第２０段階の後、深さ情報抽出部３００は、映像生成部２００で生成された超解像度映像データを用いて被写体についての深さ情報を抽出する（第３０段階）。
【０１１３】
実施例によれば、Ｉ＝９、ｐ＝４のとき、深さ情報抽出部３００は、次の数学式６のように深さ情報を算出することができる。
【０１１４】
【数６】
2021515455.tif 000014
【０１１５】
ここで、ｘは深さ情報を示し、ｃは光束を示し、ｆは周波数を示す。
【０１１６】
前述した実施例による高解像度映像処理方法は、前述した数学式５のＡkを用いて数学式３のように高解像度を有する映像データを求める。その後、数学式３のように高解像度を有する映像データを用いて、前述した数学式６のように深さ情報（ｘ）を求める。
【０１１７】
一方、実施例による超解像度映像処理方法は、深さ情報をキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）する段階（以下、‘キャリブレーション段階’と言う）をさらに含むことができる。このようなキャリブレーション段階は前述した第３０段階で遂行することができるが、実施例はこれに限られない。
【０１１８】
以下、実施例によるキャリブレーション段階を添付図面の図９及び図１０に基づいて説明する。説明の便宜上、Ｐ＝４、Ｉ＝９であると仮定する。ここで、１≦ｉ≦Ｉである。
【０１１９】
図９は実施例による超解像度映像処理方法のキャリブレーション段階の一実施例を説明するためのフローチャート、図１０（ａ）及び（ｂ）は図９に示したキャリブレーション段階の理解を助けるための波形図である。図１０（ａ）は被写体に向けて放出した光信号の波形図を示し、図１０（ｂ）はイメージセンサー１２０、１２０−１〜１２０−Ｈで受光した光信号の波形図を示す。
【０１２０】
まず、第１ロー（ｒａｗ）データに対してレンズキャリブレーションを遂行する（第４１０段階）。ここで、第１ローデータとは、単位イメージフレームの図１０（ａ）及び（ｂ）に示した第１周波数ｆ１でのＩ個のサブフレームの中で左側４個のサブフレームに対するデータを意味する。すなわち、ｉ＝１からｉ＝４までのサブフレームが第１ローデータに相当する。レンズキャリブレーションとは、光学部１１０、１１０−１〜１１０−Ｈに含まれたレンズに対する正確な座標をキャリブレーションする動作を意味する。
【０１２１】
第４１０段階を遂行した後、第１ローデータに対してピクセルキャリブレーションを遂行する（第４２０段階）。ピクセルキャリブレーションとは、イメージセンサー１２０、１２０−１〜１２０−Ｈの各ピクセル別に発生する偏差をキャリブレーションする動作を意味する。
【０１２２】
第４２０段階を遂行した後、第１ローデータに対してタイミングキャリブレーションを遂行する（第４３０段階）。タイミングキャリブレーションとは、イメージセンサー１２０、１２０−１〜１２０−Ｈの各ピクセル別に信号を受信したタイミングに対する偏差をキャリブレーションする動作を意味する。
【０１２３】
第４３０段階を遂行した後、第１ローデータに対して位相キャリブレーションを遂行する（第４４０段階）。位相キャリブレーションとは、イメージセンサー１２０、１２０−１〜１２０−Ｈの各ピクセル別に異なる数学式４の位相遅延程度（φ）間の偏差をキャリブレーションする動作を意味する。
【０１２４】
第４４０段階を遂行した後、第１ローデータに対してキャリブレーションされた結果を保存する（第４５０段階）。
【０１２５】
第４５０段階を遂行した後、第２ローデータに対しても前述したレンズ、ピクセル、タイミング及び位相キャリブレーションを遂行する（第４６０段階〜第４９０段階）。ここで、第２ローデータとは、図１０（ａ）及び（ｂ）を参照すると、第２周波数ｆ２でのＩ個のサブフレームの中で左側から５番目から８番目までのサブフレームに対するデータを意味する。すなわち、ｉ＝５からｉ＝８までのサブフレームが第２ローデータに相当する。第１周波数ｆ１と第２周波数ｆ２は互いに違う。例えば、第１周波数ｆ１は８０ＭＨｚ、第２周波数ｆ２は６０ＭＨｚであり得るが、実施例はこれに限られない。
【０１２６】
第４５０段階を遂行した後、第２ローデータに対してレンズキャリブレーションを遂行する（第４６０段階）。第４６０段階を遂行した後、第２ローデータに対してピクセルキャリブレーションを遂行する（第４７０段階）。第４７０段階を遂行した後、第２ローデータに対してタイミングキャリブレーションを遂行する（第４８０段階）。第４８０段階を遂行した後、第２ローデータに対して位相キャリブレーションを遂行する（第４９０段階）。第４９０段階を遂行した後、第２ローデータに対してキャリブレーションされた結果を保存する（第５００段階）。
【０１２７】
第５００段階を遂行した後、第３ローデータに対しても前述したレンズ及びピクセルキャリブレーションを遂行する（第５１０段階及び第５２０段階）。ここで、第３ローデータとは、図１０（ａ）及び（ｂ）を参照すると、Ｉ個のサブフレームの中で最右側のサブフレームに対するデータを意味する。すなわち、ｉ＝９のサブフレームが第３ローデータに相当する。
【０１２８】
第５００段階を遂行した後、第３ローデータに対してレンズキャリブレーションを遂行する（第５１０段階）。第５１０段階を遂行した後、第３ローデータに対してピクセルキャリブレーションを遂行する（第５２０段階）。第５２０段階を遂行した後、第３ローデータに対して雑音を除去するキャリブレーションを遂行する（第５３０段階）。
【０１２９】
第５３０段階の後、第１、第２及び第３ローデータのそれぞれに対してキャリブレーションを遂行した結果を合成する（第５４０段階）。第５４０段階を遂行した後、深さ情報に対してキャリブレーションを遂行する（第５５０段階）。
【０１３０】
前述した第１、第２及び第３ローデータは基本的な映像信号処理（ＩＳＰ：ＩｍａｇｅＳｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）を進行した後のデータを意味することができる。
【０１３１】
他の実施例によれば、第１〜第３ローデータのそれぞれに対するキャリブレーションは同時に遂行することもできる。すなわち、第４１０〜第４４０段階を遂行するうち、第４６０〜第４９０段階を遂行するとともに第５１０〜第５３０段階を遂行することもできる。
【０１３２】
以下、比較例及び実施例による超解像度映像処理方法を添付図面に基づいて説明する。説明の便宜上、Ｐ＝４、Ｉ＝９であると仮定する。
【０１３３】
図１１（ａ）はローデータを示し、図１１（ｂ）はイメージセンサー１２０、１２０−１〜１２０−Ｈでセンシングされて出力される電荷の強度を示す。
【０１３４】
図１１（ａ）に示したローデータは空間位相差を有する複数のイメージフレームの中でｋ番目のイメージフレームに対するものであり、ｋ番目のイメージフレームは９個（Ｉ＝９）のサブフレームを有する。よって、Ａkiとは、ｋ番目のイメージフレームに含まれたサブフレームの中でｉ番目のサブフレームの強度を示す。
【０１３５】
図１１（ａ）及び（ｂ）を参照すると、Ａk2、Ａk3、Ａk4、Ａk5（ｉ＝２〜５）は第１周波数ｆ１で第１、第２、第３及び第４角度だけゲートされた（ｇａｔｅｄ）位相で獲得された強度ローデータ行列（すなわち、サブフレームの強度行列）を意味する。Ａk6、Ａk7、Ａk8、Ａk9は第２周波数ｆ２で第１、第２、第３及び第４角度だけゲートされた位相で獲得された強度ローデータ行列を意味する。例えば、第１、第２、第３及び第４角度は０°、９０°、１８０°及び２７０°のそれぞれであり得るが、実施例はこれに限られない。
【０１３６】
図１１（ｂ）で、縦軸はイメージセンサー１２０、１２０−１〜１２０−Ｈでセンシングされて出力される電荷の個数（Ｐ）を９個のサブフレーム別に示す。
【０１３７】
比較例による超解像度映像処理方法によれば、互いにサブピクセル間隔で空間位相差を有する複数のイメージフレームの前述した数学式５のように表現されるフレームの強度（Ａk）を用いて次の数学式７のように表現される深さ情報を生成する。
【０１３８】
【数７】
2021515455.tif 000015
【０１３９】
ここで、ｙkは深さ情報を示す。
【０１４０】
その後、数学式７のｙkを用いて次の数学式８のように表現される超解像度を有する映像データを生成する。
【０１４１】
【数８】
2021515455.tif 000016
【０１４２】
ここで、ｘは超解像度映像データに相当し、１≦ｋ≦ｐであり、ｐは超解像度を有する映像データを生成するために用いられたイメージフレームの個数を示し、Ｍk’-1はＭk’の逆行列を示し、Ｍk’は深さ点広がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を示し、ブラー（ｂｌｕｒ）を含むことができ、Ｄ’-1はＤ’の逆行列を示し、Ｄ’はイメージセンサーのピクセルの大きさを示し、Ｂk’-1はＢk’の逆行列を示し、Ｂk’は深さ情報に対する光学特性を示し、ｎkは複数のイメージフレームが有する雑音成分を示し、Ａkは前述した数学式５のように表現することができる。
【０１４３】
図１２（ａ）〜（ｃ）は比較例による超解像度映像処理方法を説明するための図であり、図１２（ａ）は図１１に示したローデータと電荷の強度を示す。
【０１４４】
すなわち、比較例の場合、図９（ａ）に示した一番目（ｋ＝１）のイメージフレームに対して数学式７のような第１深さ情報（ｙ1）を図９（ｂ）に示したように求めた後、図９（ａ）に示した二番目（ｋ＝２）のイメージフレームに対して数学式７のような第２深さ情報（ｙ2）を図９（ｂ）に示したように求めた後、図９（ａ）に示した三番目（ｋ＝３）のイメージフレームに対して数学式７のような第３深さ情報（ｙ3）を図９（ｂ）に示したように求めた後、図９（ａ）に示した四番目（ｋ＝４）のイメージフレームに対して数学式７のような第４深さ情報（ｙ4）を図９（ｂ）に示したように求める。
【０１４５】
その後、第１〜第４深さ情報（ｙ1〜ｙ4）を数学式８に代入することにより、超解像度を有する図１２（ｃ）に示した映像を得ることができる。
【０１４６】
前述した比較例による超解像度映像処理方法は映像情報を深さ情報に変換する数学式７の演算過程をｐ回遂行するので、演算量が大きくなる問題点を有する。また、深さ情報を抽出した後にも、数学式８のようにＭk’に対する追加的なモデリングを遂行しなければならない。また、深さ情報に対する光学的特性（例えば、Ｂk’）もイメージＰＳＦより複雑な特性を有する。
【０１４７】
一方、実施例による超解像度映像処理方法による場合、Ｉ−ＴｏＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式によってイメージフレームから距離情報（ｘ）を抽出する過程中に、数学式５のような映像データを用いて前述した数学式３のような超解像度を有する映像データ（ｘφ）を生成する。
【０１４８】
その後、超解像度を有する映像データ（ｘφ）を用いて深さ情報を抽出する。よって、実施例による超解像度映像処理方法はＩ−ＴｏＦの解像力問題を解決することができる。
【０１４９】
結局、比較例のように深さ情報を抽出した後に高解像度を有する映像データを求める場合、演算量が増加することになる。なぜならば、深さ情報を抽出した結果は基本的に高解像度映像データの他にも付加データを有することによってロジックが大きいからである。一方、実施例の場合、深さ情報を抽出する前に高解像度を有するロジックが小さい映像データを先に求めるので、演算量が減少することができる。
【０１５０】
図１３（ａ）〜（ｃ）は実施例による超解像度映像処理方法を説明するための図である。図１３（ａ）は４個（Ｐ＝４）のイメージフレームを示し、４個のイメージフレームのそれぞれは図１１に示したローデータの電荷の強度と同一の強度を有する。
【０１５１】
実施例による超解像度映像処理方法は、図１３（ａ）に示したように、一番目（ｋ＝１）のイメージフレームから四番目のイメージフレーム（ｋ＝４）までの４個のイメージフレームを数学式３に代入して図１０（ｂ）に示した超解像度を有する映像データ（ｘφ）を生成する。
【０１５２】
その後、超解像度を有する映像データ（ｘφ）を数学式６に代入して深さ情報（ｘ）を抽出するので、比較例のように複雑な深さデータのＰＳＦである数学式８のようなＭk’をモデリングする必要がない。また、実施例による超解像度映像処理方法は、深さ情報抽出のための光学的ＰＳＦの複雑性を除去することができる。また、比較例の場合、数学式７のような演算（ｔａｎ-1）を繰り返し遂行する反面、実施例の場合、前述した数学式６のような（ｔａｎ-1）を１回のみ遂行する。よって、実施例による超解像度映像処理方法による場合、映像処理のための演算時間が減少し、同じ構成で映像処理を高速で遂行することができる。
【０１５３】
実施例に関連して、前述したようにいくつかのみ記述したが、その他にも多様な形態の実施が可能である。前述した実施例の技術的内容は互いに両立することができない技術ではない限り、多様な形態に組み合わせられることができ、これによって新しい実施形態に具現化されることもできる。
【０１５４】
例えば、前述したカメラモジュールを含む光学機器（Ｏｐｔｉｃａｌ  Ｄｅｖｉｃｅ、Ｏｐｔｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ）を具現化することができる。ここで、光学機器は、光信号を加工するか分析することができる装置を含むことができる。光学機器の例としては、カメラ／ビデオ装置、望遠鏡装置、顕微鏡装置、干渉計装置、光度計装置、偏光計装置、分光計装置、反射計装置、オートコリメーター装置、レンズメーター装置などがあり、個体レンズ又は液体レンズの少なくとも一つを含むことができる光学機器に本実施例を適用することができる。また、光学機器は、スマートフォン、ノートブック型コンピュータ、タブレット型コンピュータなどの携帯用装置に具現化されることができる。このような光学機器は、カメラモジュール、映像を出力するディスプレイ部、及びカメラモジュールとディスプレイ部を実装する本体ハウジングを含むことができる。光学機器は、本体ハウジングに他の機器と通信することができる通信モジュールが実装されることができ、データを記憶することができるメモリ部をさらに含むことができる。
【０１５５】
本発明は本発明の精神及び必須の特徴から逸脱しない範囲で他の特定の形態に具体化することができることは当業者に明らかである。したがって、前記詳細な説明は全ての面で制限的に解釈されてはいけなくて例示的なものとして考慮されなければならない。本発明の範囲は添付の請求項の合理的解釈によって決定されなければならなく、本発明の等価的範囲内の全ての変更は本発明の範囲に含まれる。
【０１５６】
［発明の実施のための形態］
発明の実施のための形態は前述した“発明の実施のための最善の形態”で充分に説明された。
【産業上の利用可能性】
【０１５７】
実施例によるカメラモジュール及びその超解像度映像処理方法は、カメラ／ビデオ装置、望遠鏡装置、顕微鏡装置、干渉計装置、光度計装置、偏光計装置、分光計装置、反射計装置、オートコリメーター装置、レンズメーター装置、スマートフォン、ノートブック型コンピュータ、タブレット型コンピュータなどに用いられることができる。
【図１】
2021515455.tif 000023
【図２】
2021515455.tif 000024
【図３】
2021515455.tif 000025
【図４】
2021515455.tif 000026
【図５】
2021515455.tif 000027
【図６】
2021515455.tif 000028
【図７】
2021515455.tif 000029
【図８】
2021515455.tif 000030
【図９】
2021515455.tif 000031
【図１０（ａ）】
2021515455.tif 000032
【図１０（ｂ）】
2021515455.tif 000033
【図１１】
2021515455.tif 000034
【図１２】
2021515455.tif 000035
【図１３】
2021515455.tif 000036
【手続補正書】
【提出日】令和2年10月22日(2020.10.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図２に示した映像獲得部１００は、互いにピクセル間隔より小さい間隔で空間位相差を有する複数のイメージフレームを獲得し、獲得された複数のイメージフレームを映像生成部２００に出力する（第１０段階）。仮に、ピクセル間の距離（例えば、ピクセル中心間の距離）を１ＰＤ（ピクセル距離）とするとき、その半分は０．５ＰＤに相当する。前述したピクセル間隔より小さい間隔は０．５ＰＤであり得るが、実施例はこれに限られない。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
制御部１３０は、光学部１１０とイメージセンサー１２０を制御することができる。特に、制御部１３０は、光学部１１０から光が進行する経路を変換させることにより、イメージセンサー１２０で順次センシングされて出力される複数のイメージフレームが互いにピクセル間隔より小さい間隔で空間位相差を有するようにすることができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
ホルダー１１４は螺旋形構造を含み、同様に螺旋形構造を含むレンズバレル１１２と回転結合することができる。しかし、これは例示的なものであり、ホルダー１１４とレンズバレル１１２は接着剤（例えば、エポキシ（ｅｐｏｘｙ）などの接着用樹脂）を介して結合されるか、あるいはホルダー１１４とレンズバレル１１２が一体型に形成されることもできる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
また、カメラモジュールは、ＩＲ（赤外線）を透過させるか遮断させるフィルター１１６をさらに含むことができる。このために、フィルター１１６はガラスから具現化されることができる。フィルター１１６は、第２レンズＬ２を通過した光において特定の波長範囲に相当する光をフィルタリングすることができる。フィルター１１６はホルダー１１４の内部溝に装着及び固定されることができる。このために、ホルダー１１４はレンズバレル１１２の下部にフィルター１１６が付着されることができる空間を備えることができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
可変レンズは第１位置Ｐ１〜第４位置Ｐ４のいずれか一つに配置されることができる。しかし、これは例示的なものであり、第１レンズＬ１、第２レンズＬ２、フィルター１１６の有無及び相対的な位置によって、可変レンズは他の位置に位置することもできる。ただ、可変レンズはレンズアセンブリーに入射する光が通過する領域である光経路上に位置して焦点距離又はＦＯＶ角度を変更させることができる。第１位置Ｐ１はレンズバレル１１２の外部に相当する位置であり、第２位置Ｐ２はレンズバレル１１２の内部において第１レンズＬ１の上部に相当する位置である。第３位置Ｐ３はレンズバレル１１２の内部において第１レンズＬ１と第２レンズＬ２との間に相当する位置であり、第４位置Ｐ４はレンズバレル１１２の内部において第２レンズＬ２の下部に相当する位置である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
レンズアセンブリーを通過する光の経路又はレンズアセンブリーのＦＯＶは制御信号Ｃ１によって変更されることができる。制御信号Ｃ１は第１ＦＯＶ角度（Ｆｘ）及び第２ＦＯＶ角度（Ｆｙ）をそれぞれ変更させることができ、制御信号Ｃ１による第１ＦＯＶ角度（Ｆｘ）及び第２ＦＯＶ角度（Ｆｙ）の変化は第１角度変化量（θＩ＿ｘ）及び第２角度変化量（θＩ＿ｙ）によって決定される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
第１〜第Ｈイメージセンサー１２０−１〜１２０−Ｈは、第１〜第Ｈ光学部１１０−１〜１１０−Ｈを介して入射した光をそれぞれセンシングし、センシングされた結果を出力端子ＯＵＴ２を介して映像生成部２００に出力する。出力端子ＯＵＴ２を介して映像生成部２００に同時に出力されるセンシングされた結果は互いにピクセル間隔より小さい間隔で空間位相差を有する複数のイメージフレームに相当することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
第１ピクセル移動Ａのために、図３に示した光学部１１０は、光経路又はＦＯＶを第１角度変化量（θＩ＿ｘ）だけ右側に変更させるようにする制御信号Ｃ１に応じて、図４に示したレンズアセンブリーの光経路又はＦＯＶを第１角度変化量（θＩ＿ｘ）だけ右側に変更させることにより、第１ピクセル移動Ａを遂行することができる。もしくは、第１ピクセル移動Ａのために、図５に示した第１及び第２光学部１１０−１、１１０−２の光経路又はＦＯＶが第１角度変化量（θＩ＿ｘ）だけの差を有することができる。その後、各ピクセルＢ１〜Ｂ４はピクセル場面Ｓ２を獲得し、イメージセンサー１２０、１２０−１〜１２０−Ｈは各ピクセルＢ１〜Ｂ４のピクセル信号から第２イメージフレームＦ２を生成することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
第２ピクセル移動Ｂのために、図３に示した光学部１１０は、光経路又はＦＯＶを第２角度変化量（θＩ＿ｙ）だけ下側に変更させるようにする制御信号Ｃ１に応じて、図４に示したレンズアセンブリーの光経路又はＦＯＶを第２角度変化量（θＩ＿ｙ）だけ下側に変更させることにより、第２ピクセル移動Ｂを遂行することができる。もしくは、第２ピクセル移動Ｂのために、図５に示した第２及び第３光学部１１０−２、１１０−３の光経路又はＦＯＶが第２角度変化量（θＩ＿ｙ）だけの差を有することができる。その後、各ピクセルＣ１〜Ｃ４はピクセル場面Ｓ３を獲得し、イメージセンサー１２０、１２０−１〜１２０−Ｈは各ピクセルＣ１〜Ｃ４のピクセル信号から第３イメージフレームＦ３を生成することができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
第３ピクセル移動Ｃのために、図３に示した光学部１１０は、光経路又はＦＯＶを第１角度変化量（θＩ＿ｘ）だけ左側に変更させるようにする制御信号Ｃ１に応じて、図４に示したレンズアセンブリーの光経路又はＦＯＶを第１角度変化量（θＩ＿ｘ）だけ左側に変更させることにより、第３ピクセル移動Ｃを遂行することができる。もしくは、第３ピクセル移動Ｃのために、図５に示した第３及び第４光学部１１０−３、１１０−４の光経路又はＦＯＶが第２角度変化量（θＩ＿ｘ）だけの差を有することができる。その後、各ピクセルＤ１〜Ｄ４はピクセル場面Ｓ４を獲得し、イメージセンサー１２０、１２０−１〜１２０−Ｈは各ピクセルＤ１〜Ｄ４のピクセル信号から第４イメージフレームＦ４を生成することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
第４ピクセル移動Ｄのために、図３に示した光学部１１０は、光経路又はＦＯＶを第２角度変化量（θＩ＿ｙ）だけ上側に変更させるようにする制御信号Ｃ１に応じて、図４に示したレンズアセンブリーの光経路又はＦＯＶを第２角度変化量（θＩ＿ｙ）だけ上側に変更させることにより、第４ピクセル移動Ｄを遂行することができる。もしくは、第４ピクセル移動Ｄのために、図５に示した第４及び第１光学部１１０−４、１１０−１の光経路又はＦＯＶが第２角度変化量（θＩ＿ｙ）だけの差を有することができる。その後、各ピクセルＡ１〜Ａ４はピクセル場面Ｓ１を獲得し、イメージセンサー１２０、１２０−１〜１２０−Ｈは各ピクセルＡ１〜Ａ４のピクセル信号から第５イメージフレームＦ５を生成することができる。その後にもピクセル移動及び移動されたピクセルによるフレーム生成動作を繰り返し遂行することができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
映像生成部２００は、第１〜第４イメージフレームを合成することにより、Ｎ×Ｍのピクセルアレイではない２Ｎ×２Ｍのピクセルアレイが獲得したイメージを生成することができる。映像生成部２００が第１〜第４イメージフレームを合成する方法は、第１〜第４イメージフレームを各ピクセルの位置によって単純併合（例えば、第１行の場合、Ａ１のピクセル信号、Ｂ１のピクセル信号、Ａ２のピクセル信号、Ｂ２のピクセル信号を配列して単一フレームを生成）する方法、あるいは隣接したピクセルの場合、ピクセル場面がオーバーラップすることを用いていずれか一つのピクセル（例えば、Ｃ１）のピクセル信号を隣接したピクセル（例えば、Ａ１、Ｂ１、Ａ２、Ｄ１、Ｄ２、Ａ３、Ｂ３、Ａ４）のピクセル信号で補正する方法などを用いることができるが、実施例の範囲はこれに限定されず、多様な超解像度イメージ生成方法を用いることができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
図８を参照すると、制御部１３０は、制御信号Ｃ１によって光学部１１０で第４ピクセル移動Ｄが完了したことを示すフィードバック信号を制御信号Ｃ２としてイメージセンサー１２０に伝達することができる。ここで、制御部１３０は、第４ピクセル移動Ｄが完了したことをレンズアセンブリーからの応答信号又は別途のタイマーによって判断することができる。フィードバック信号を受信したイメージセンサー１２０の各ピクセルＡ１〜Ａ４はピクセル場面Ｓ１を獲得し、イメージセンサー１２０は各ピクセルＡ１〜Ａ４のピクセル信号から第１イメージフレームＦ１を生成することができる。同じ方法で第２〜第５イメージフレームＦ２〜Ｆ５を生成することができる。その後にも、ピクセル移動及び移動されたピクセルによるフレーム生成動作を繰り返し遂行することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
ここで、ｘφは映像生成部２００で生成された映像データの強度を示し、１≦ｋ≦ｐであり、ｐは映像データを生成するために使用された空間位相差を有する複数のイメージフレームの個数で、２以上の正の整数であり、φは位相遅延程度を示す。ｐ個のイメージフレームのそれぞれがＩ個のサブフレームを含み、Ｉ＝９、ｐ＝４のとき、φは次の数学式４のように表現することができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
前述した実施例による高解像度映像処理方法は、前述した数学式５のＡkを用いて数学式３のように高解像度を有する映像データを生成する。その後、数学式３のように高解像度を有する映像データを用いて、前述した数学式６のように深さ情報（ｘ）を求める。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
以下、実施例によるキャリブレーション段階を添付図面の図９及び図１０に基づいて説明する。説明の便宜上、ｐ＝４、Ｉ＝９であると仮定する。ここで、１≦ｉ≦Ｉである。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【０１３２】
以下、比較例及び実施例による超解像度映像処理方法を添付図面に基づいて説明する。説明の便宜上、ｐ＝４、Ｉ＝９であると仮定する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１３６
【補正方法】変更
【補正の内容】
【０１３６】
図１１（ｂ）で、縦軸はイメージセンサー１２０、１２０−１〜１２０−Ｈでセンシングされて出力される電荷の個数（ｐ）を９個のサブフレーム別に示す。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
比較例による超解像度映像処理方法によれば、互いにピクセル間隔より小さい間隔で空間位相差を有する複数のイメージフレームの前述した数学式５のように表現されるフレームの強度（Ａk）を用いて次の数学式７のように表現される深さ情報を生成する。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１４４
【補正方法】変更
【補正の内容】
【０１４４】
すなわち、比較例の場合、図１２（ａ）に示した一番目（ｋ＝１）のイメージフレームに対して数学式７のような第１深さ情報（ｙ1）を図１２（ｂ）に示したように求めた後、図１２（ａ）に示した二番目（ｋ＝２）のイメージフレームに対して数学式７のような第２深さ情報（ｙ2）を図１２（ｂ）に示したように求めた後、図１２（ａ）に示した三番目（ｋ＝３）のイメージフレームに対して数学式７のような第３深さ情報（ｙ3）を図１２（ｂ）に示したように求めた後、図１２（ａ）に示した四番目（ｋ＝４）のイメージフレームに対して数学式７のような第４深さ情報（ｙ4）を図１２（ｂ）に示したように求める。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１５１
【補正方法】変更
【補正の内容】
【０１５１】
実施例による超解像度映像処理方法は、図１３（ａ）に示したように、一番目（ｋ＝１）のイメージフレームから四番目のイメージフレーム（ｋ＝４）までの４個のイメージフレームを数学式３に代入して図１３（ｃ）に示した超解像度を有する映像データ（ｘφ）を生成する。
【手続補正２２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
空間位相差を有する複数のイメージフレームを獲得する映像獲得部と、
前記複数のイメージフレームのそれぞれの解像度より高い解像度を有する映像データを前記複数のイメージフレームを用いて生成する映像生成部と、
前記映像データを用いて被写体についての深さ情報を抽出する深さ情報抽出部と、を含む、カメラモジュール。
【請求項２】
前記映像獲得部は、
前記被写体に対する光が進行する経路を変換する光学部と、
互いに異なる経路を通して入射した光をセンシングするイメージセンサーと、
前記光学部及び前記イメージセンサーを制御する制御部と、を含み、
前記複数のイメージフレームは、前記イメージセンサーで順次センシングされた結果に相当する、請求項１に記載のカメラモジュール。
【請求項３】
前記複数のイメージフレームは、互いにピクセル間隔より小さい間隔で空間位相差を有する、請求項２に記載のカメラモジュール。
【請求項４】
前記制御部は、前記光学部で前記光が進行する経路を変換させ、前記イメージセンサーで順次センシングされて出力される前記複数のイメージフレームが互いにピクセル間隔より小さい間隔で前記空間位相差を有するようにする、請求項３に記載のカメラモジュール。
【請求項５】
前記映像獲得部は、
前記被写体に対する光が進行する互いに異なる経路を有する複数の光学部と、
前記複数の光学部を介して入射した光をセンシングする複数のイメージセンサーと、を含み、
前記複数のイメージフレームは、前記複数のイメージセンサーでセンシングされた結果に相当する、請求項１に記載のカメラモジュール。
【請求項６】
前記映像生成部は、下記のような強度を有する前記映像データを生成する、請求項２〜５のいずれか一項に記載のカメラモジュール。
【数１】
2021515455.tif 000037
（ここで、ｘφは、前記映像データの強度を示し、１≦ｋ≦ｐであり、ｐは、前記映像データを生成するために使用された前記イメージフレームの個数を示し、φは、位相遅延程度を示し、Ｄ-1は、Ｄの逆行列を示し、Ｄは、前記イメージセンサーのピクセルの大きさを示し、ＢK-1は、ＢKの逆行列を示し、ＢKは、前記深さ情報に対する光学特性を示し、ｎKは、前記複数のイメージフレームが有する雑音成分を示し、ＡKは、ｐ個の前記イメージフレームの中でｋ番目のイメージフレームの強度を示し、次の通りである。
【数２】
2021515455.tif 000038
）
【請求項７】
前記深さ情報抽出部は、下記のように前記深さ情報を算出する、請求項６に記載のカメラモジュール。
【数３】
2021515455.tif 000039
（ここで、ｘは、深さ情報を示し、ｃは、光束を示し、ｆは、周波数を示す。）
【請求項８】
前記映像生成部は、
前記複数のイメージフレームの一部を用いて第１超解像度イメージフレームを合成し、
前記複数のイメージフレームの他部を用いて第２超解像度イメージフレームを合成する、請求項１〜７のいずれか一項に記載のカメラモジュール。
【請求項９】
前記映像生成部は、
前記複数のイメージフレームの一部を各ピクセルの位置によって単純に併合して前記第１超解像度イメージフレームを生成し、
前記複数のイメージフレームの他部を各ピクセルの位置によって単純に併合して前記第２超解像度イメージフレームを生成する、請求項８に記載のカメラモジュール。
【請求項１０】
（ａ）空間位相差を有する複数のイメージフレームを獲得する段階と、
（ｂ）前記複数のイメージフレームのそれぞれの解像度より高い解像度を有する映像データを前記複数のイメージフレームを用いて生成する段階と、
（ｃ）前記映像データを用いて被写体についての深さ情報を抽出する段階と、を含む、カメラモジュールの超解像度映像処理方法。
【請求項１１】
前記（ａ）段階は、
被写体に対する光が進行する経路を変換する段階と、
互いに異なる経路を通して入射した光を順次センシングして前記複数のイメージフレームを獲得する段階と、を含む、請求項１０に記載のカメラモジュールの超解像度映像処理方法。
【請求項１２】
前記複数のイメージフレームは、互いにピクセル間隔より小さい間隔で空間位相差を有する、請求項１１に記載のカメラモジュールの超解像度映像処理方法。
【請求項１３】
前記複数のイメージフレームが互いにピクセル間隔より小さい間隔で空間位相差を有するように前記光が進行する経路を変換させる、請求項１２に記載のカメラモジュールの超解像度映像処理方法。
【請求項１４】
前記（ａ）段階は、前記被写体に対する光を互いに異なる経路で同時にセンシングして前記複数のイメージフレームを獲得する段階を含む、請求項１０に記載のカメラモジュールの超解像度映像処理方法。
【請求項１５】
前記（ｂ）段階は、下記のような強度を有する前記映像データを求める、請求項１１〜１４のいずれか一項に記載のカメラモジュールの超解像度映像処理方法。
【数４】
2021515455.tif 000040
（ここで、ｘφは、前記映像データの強度を示し、１≦ｋ≦ｐであり、ｐは、前記映像データを生成するために使用された前記イメージフレームの個数を示し、φは、位相遅延程度を示し、Ｄ-1は、Ｄの逆行列を示し、Ｄは、前記イメージセンサーのピクセルの大きさを示し、ＢK-1は、ＢKの逆行列を示し、ＢKは、前記深さ情報に対する光学特性を示し、ｎKは、前記複数のイメージフレームが有する雑音成分を示し、ＡKは、ｐ個の前記イメージフレームの中でｋ番目のイメージフレームの強度を示し、次の通りである。
【数５】
2021515455.tif 000041
）
【請求項１６】
前記（ｃ）段階は、下記のように前記深さ情報を求める、請求項１５に記載のカメラモジュールの超解像度映像処理方法。
【数６】
2021515455.tif 000042
（ここで、ｘは、深さ情報を示し、ｃは、光束を示し、ｆは、周波数を示す。）
【請求項１７】
前記（ｂ）段階は、
前記複数のイメージフレームの一部を用いて第１超解像度イメージフレームを合成し、
前記複数のイメージフレームの他部を用いて第２超解像度イメージフレームを合成する、請求項１０〜１６のいずれか一項に記載のカメラモジュールの超解像度映像処理方法。
【請求項１８】
前記（ｂ）段階で、
前記複数のイメージフレームの一部を各ピクセルの位置によって単純に併合して前記第１超解像度イメージフレームを生成し、
前記複数のイメージフレームの他部を各ピクセルの位置によって単純に併合して前記第２超解像度イメージフレームを生成する、請求項１７に記載のカメラモジュールの超解像度映像処理方法。
【請求項１９】
前記深さ情報をキャリブレーションする段階をさらに含む、請求項１０〜１８のいずれか一項に記載のカメラモジュールの超解像度映像処理方法。
【請求項２０】
前記キャリブレーションは、レンズキャリブレーション、ピクセルキャリブレーション、タイミングキャリブレーション及び位相キャリブレーションを含む、請求項１９に記載のカメラモジュールの超解像度映像処理方法。
【国際調査報告】
2021515455.tif 000043
2021515455.tif 000044
2021515455.tif 000045
2021515455.tif 000046