(57)【要約】【課題】ＴＯＦ方式を利用して深さ情報を抽出するカメラモジュールおよびその深さ情報抽出方法を提供する。【解決手段】本発明の実施例に係るカメラモジュールは、客体に照射される出力光信号を出力する照明部、ＩＲ（ＩｎｆｒａＲｅｄ）フィルタ、そして、前記ＩＲフィルタ上に配置される少なくとも１枚のレンズを含み、前記客体から反射した入力光信号を集光するレンズ部、前記ＩＲフィルタの傾きを制御して前記入力光信号の光経路をシフトさせるチルティング部、前記レンズ部によって集光され、前記チルティング部によってシフトされた前記入力光信号から電気信号を生成するイメージセンサ部、前記出力光信号および前記イメージセンサ部に受信された前記入力光信号間の位相差を利用して前記客体の深さ情報を抽出する映像制御部、および前記ＩＲフィルタの傾き情報を検出して前記ＩＲフィルタの傾き情報を前記映像制御部に提供する検出部を含む。【選択図】図１２
2021527236.tif 000002
【特許請求の範囲】
【請求項１】
客体に照射される出力光信号を出力する照明部と、
ＩＲ（ＩｎｆｒａＲｅｄ）フィルタ、そして、前記ＩＲフィルタ上に配置される少なくとも１枚のレンズを含み、前記客体から反射した入力光信号を集光するレンズ部と、
前記ＩＲフィルタの傾きを制御して前記入力光信号の光経路をシフトさせるチルティング部と、
前記レンズ部によって集光され、前記チルティング部によってシフトされた前記入力光信号から電気信号を生成するイメージセンサ部と、
前記出力光信号および前記イメージセンサ部に受信された前記入力光信号間の位相差を利用して前記客体の深さ情報を抽出する映像制御部と、
前記ＩＲフィルタの傾き情報を検出して前記ＩＲフィルタの傾き情報を前記映像制御部に提供する検出部と、を含む、カメラモジュール。
【請求項２】
前記検出部は前記ＩＲフィルタと一体で動くマグネットの位置を検出する第１ホールセンサと第２ホールセンサを含み、
前記第１ホールセンサと前記第２ホールセンサは、前記ＩＲフィルタの中心を基準として互いに９０°以上であり１８０°未満である角度をなすように配置される、請求項１に記載のカメラモジュール。
【請求項３】
前記第１ホールセンサおよび前記第２ホールセンサは、それぞれ前記ＩＲフィルタの外側面と対応する位置で前記マグネットおよび前記ＩＲフィルタと離隔して配置される、請求項２に記載のカメラモジュール。
【請求項４】
前記第１ホールセンサおよび前記第２ホールセンサのうち一つは、前記ＩＲフィルタの側面で前記マグネットと所定の間隔離隔するように配置され、他の一つは前記ＩＲフィルタの下で前記マグネットと所定の間隔離隔するように配置される、請求項２に記載のカメラモジュール。
【請求項５】
前記映像制御部は、
前記ＩＲフィルタの傾き情報を利用して前記入力光信号のシフト値を算出するシフト算出ユニットと、
前記シフト算出ユニットによって算出された前記入力光信号のシフト値をあらかじめ保存されたシフト値と比較する比較ユニットと、
前記入力光信号のシフト値と前記あらかじめ保存されたシフト値間の差を利用して前記客体の深さ情報を補正する補正ユニットと、を含み、
前記ＩＲフィルタの傾き情報は前記第１ホールセンサおよび前記第２ホールセンサによって獲得される、請求項２に記載のカメラモジュール。
【請求項６】
前記シフト算出ユニットは、前記第１ホールセンサおよび前記第２ホールセンサによって検出された前記マグネットの位置情報を利用して前記ＩＲフィルタのＸ軸方向のチルティング値、Ｙ軸方向のチルティング値およびＺ軸方向のチルティング値を算出し、前記ＩＲフィルタのＸ軸方向のチルティング値、前記Ｙ軸方向のチルティング値および前記Ｚ軸方向のチルティング値を利用して前記入力光信号のシフト値を算出する、請求項５に記載のカメラモジュール。
【請求項７】
前記チルティング部はＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）、ＶＣＭ（Ｖｏｉｃｅ  Ｃｏｉｌ  Ｍｏｔｏｒ）および圧電素子のうち少なくとも一つを含む、請求項２に記載のカメラモジュール。
【請求項８】
カメラモジュールの深さ情報抽出方法において、
照明部が客体に照射される出力光信号を出力する段階と、
レンズ部が前記客体から反射した入力光信号を集光する段階と、
チルティング部が前記レンズ部に含まれた前記ＩＲフィルタの傾きを制御して前記入力光信号の光経路をシフトさせる段階と、
検出部が前記ＩＲフィルタの傾き情報を検出する段階と、
イメージセンサ部が集光され、シフトされた前記入力光信号から電気信号を生成する段階と、
映像制御部が前記出力光信号と前記イメージセンサ部に受信された前記入力光信号間の位相差および前記検出部によって検出された前記ＩＲフィルタの傾き情報を利用して前記客体の深さ情報を抽出する段階と、を含む、深さ情報抽出方法。
【請求項９】
前記検出する段階は、
前記ＩＲフィルタの中心を基準として互いに９０°以上であり１８０°未満である角度をなすように配置された第１ホールセンサおよび第２ホールセンサが前記ＩＲフィルタと一体で動くマグネットの位置情報を検出する段階を含む、請求項８に記載の深さ情報抽出方法。
【請求項１０】
前記客体の深さ情報を抽出する段階は、
前記マグネットの位置情報によって検出された前記ＩＲフィルタの傾き情報を利用して前記入力光信号のシフト値を算出する段階と、
前記算出する段階で算出された値をあらかじめ保存された値と比較する段階と、
前記算出された値と前記あらかじめ保存された値の差を利用して前記客体の深さ情報を補正する段階と、を含む、請求項９に記載の深さ情報抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラモジュールおよびその深さ情報抽出方法に関する。
【背景技術】
【０００２】
３次元コンテンツはゲーム、文化だけでなく、教育、製造、自律走行などの多くの分野で適用されており、３次元コンテンツを獲得するために深さ情報（Ｄｅｐｔｈ  Ｍａｐ）が必要である。深さ情報は空間上の距離を表す情報であり、２次元映像の一地点に対して他の地点の遠近情報を表す。
【０００３】
深さ情報を獲得する方法の一つは、ＩＲ（Ｉｎｆｒａｒｅｄ）構造光を客体に投射し、客体から反射した光を解釈して深さ情報を抽出する方式である。ＩＲ構造光方式によると、動く客体に対して望む水準の深さ分解能（Ｄｅｐｔｈ  ｒｅｓｏｌｕｔｉｏｎ）を得難い問題がある。
【０００４】
一方、ＩＲ構造光方式を代替する技術として、ＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式が注目されている。
【０００５】
ＴＯＦ方式によると、飛行時間、すなわち光を発して反射してくる時間を測定することによって物体との距離を計算する。ＴｏＦ方式の最も大きな長所は３次元空間に対する距離情報をリアルタイムに迅速に提供するという点にある。また、使用者が別途のアルゴリズムの適用やハードウェア的な補正がなくても正確な距離情報を得ることができる。また、非常に近い被写体を測定したり動く被写体を測定しても正確な深さ情報を獲得することができる。
【０００６】
しかし、現在のＴｏＦ方式の場合、一フレーム当たりに得られる情報、すなわち解像度が非常に低いという問題点がある。
【０００７】
解像度を高めるための方法としてイメージセンサの画素数を高くする方法がある。しかし、この場合、カメラモジュールの体積および製造費用が大きく増加するという問題が発生する。
【０００８】
したがって、カメラモジュールの体積および製造費用を大きく増加させることなく、かつ解像度を高めることができる深さ情報獲得方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明が達成しようとする技術的課題は、ＴＯＦ方式を利用して深さ情報を抽出するカメラモジュールおよびその深さ情報抽出方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の実施例に係るカメラモジュールは、客体に照射される出力光信号を出力する照明部、ＩＲ（ＩｎｆｒａＲｅｄ）フィルタ、そして、前記ＩＲフィルタ上に配置される少なくとも１枚のレンズを含み、前記客体から反射した入力光信号を集光するレンズ部、前記ＩＲフィルタの傾きを制御して前記入力光信号の光経路をシフトさせるチルティング部、前記レンズ部によって集光され、前記チルティング部によってシフトされた前記入力光信号から電気信号を生成するイメージセンサ部、前記出力光信号および前記イメージセンサ部に受信された前記入力光信号間の位相差を利用して前記客体の深さ情報を抽出する映像制御部、および前記ＩＲフィルタの傾き情報を検出し、前記ＩＲフィルタの傾き情報を前記映像制御部に提供する検出部を含む。
【００１１】
前記検出部は前記ＩＲフィルタと一体で動くマグネットの位置を検出する第１ホールセンサと第２ホールセンサを含み、前記第１ホールセンサと前記第２ホールセンサは前記ＩＲフィルタの中心を基準として互いに９０°以上であり１８０°未満である角度をなすように配置され得る。
【００１２】
前記第１ホールセンサおよび前記第２ホールセンサは、それぞれ前記ＩＲフィルタの外側と対応する位置で前記マグネットおよび前記ＩＲフィルタと離隔して配置され得る。
【００１３】
前記第１ホールセンサおよび前記第２ホールセンサのうち一つは、前記ＩＲフィルタの側面で前記マグネットと所定の間隔離隔するように配置され、他の一つは前記ＩＲフィルタの下で前記マグネットと所定の間隔離隔するように配置され得る。
【００１４】
前記映像制御部は、前記ＩＲフィルタの傾き情報を利用して前記入力光信号のシフト値を算出するシフト算出ユニット、前記シフト算出ユニットによって算出された前記入力光信号のシフト値をあらかじめ保存されたシフト値と比較する比較ユニット、および前記入力光信号のシフト値と前記あらかじめ保存されたシフト値間の差を利用して前記客体の深さ情報を補正する補正ユニットを含み、前記ＩＲフィルタの傾き情報は前記第１ホールセンサおよび前記第２ホールセンサによって獲得され得る。
【００１５】
前記シフト算出ユニットは、前記第１ホールセンサおよび前記第２ホールセンサによって検出された前記マグネットの位置情報を利用して前記ＩＲフィルタのＸ軸方向のチルティング値、Ｙ軸方向のチルティング値およびＺ軸方向のチルティング値を算出し、前記ＩＲフィルタのＸ軸方向のチルティング値、前記Ｙ軸方向のチルティング値および前記Ｚ軸方向のチルティング値を利用して前記入力光信号のシフト値を算出することができる。
【００１６】
前記チルティング部はＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）、ＶＣＭ（Ｖｏｉｃｅ  Ｃｏｉｌ  Ｍｏｔｏｒ）および圧電素子のうち少なくとも一つを含むことができる。
【００１７】
カメラモジュールの深さ情報抽出方法は、照明部が客体に照射される出力光信号を出力する段階、レンズ部が前記客体から反射した入力光信号を集光する段階、チルティング部が前記レンズ部に含まれた前記ＩＲフィルタの傾きを制御して前記入力光信号の光経路をシフトさせる段階、検出部が前記ＩＲフィルタの傾き情報を検出する段階、イメージセンサ部が集光され、シフトされた前記入力光信号から電気信号を生成する段階、および映像制御部が前記出力光信号と前記イメージセンサ部に受信された前記入力光信号間の位相差および前記検出部によって検出された前記ＩＲフィルタの傾き情報を利用して前記客体の深さ情報を抽出する段階を含むことができる。
【００１８】
前記検出する段階は、前記ＩＲフィルタの中心を基準として互いに９０°以上であり１８０°未満である角度をなすように配置された第１ホールセンサおよび第２ホールセンサが、前記ＩＲフィルタと一体で動くマグネットの位置情報を検出する段階を含むことができる。
【００１９】
前記客体の深さ情報を抽出する段階は、前記マグネットの位置情報によって検出された前記ＩＲフィルタの傾き情報を利用して前記入力光信号のシフト値を算出する段階、前記算出する段階で算出された値をあらかじめ保存された値と比較する段階、および前記算出された値と前記あらかじめ保存された値の差を利用して前記客体の深さ情報を補正する段階を含むことができる。
【００２０】
前記算出する段階では、検出された前記マグネットの位置を利用して前記ＩＲフィルタのＸ軸方向のチルティング値、Ｙ軸方向のチルティング値およびＺ軸方向のチルティング値を算出し、前記ＩＲフィルタの前記Ｘ軸方向のチルティング値、前記Ｙ軸方向のチルティング値および前記Ｚ軸方向のチルティング値を利用して前記チルティング部のシフト値を算出することができる。
【発明の効果】
【００２１】
本発明の一実施例に係るカメラモジュールを利用すると、イメージセンサの画素数を大きく増加させずとも高い解像度で深さ情報を獲得することができる。
【００２２】
また、本発明の一実施例によると、簡単な構造を利用してサブピクセルシフト効果を得ることができる。
【００２３】
また、本発明の一実施例によると、サブピクセルシフトの程度を微細に検出できるため、超解像度の深さ情報を獲得することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施例に係るＴｏＦカメラモジュールのブロック図である。
【図２】入射光信号の周波数を説明するための図面である。
【図３】カメラモジュールの断面図の一例である。
【図４】本発明の実施例に係る電気信号生成過程を説明するための図面である。
【図５】本発明の実施例に係るイメージセンサ１３０を説明するための図面である。
【図６】チルティング部１４０による反射光信号の光経路の変更を説明するための図面である。
【図７】本発明の実施例に係るＳＲ技法を説明するための図面である。
【図８】本発明の実施例に係るＳＲ技法を説明するための図面である。
【図９】本発明の実施例に係るピクセル値配置過程を説明するための図面である。
【図１０】ＩＲフィルタの傾きの制御によりイメージセンサ上に入力される映像フレームがシフトされる効果を説明するための図面である。
【図１１】ＩＲフィルタの傾きの制御によりイメージセンサ上に入力される映像フレームがシフトされる効果を説明するための図面である。
【図１２】本発明の一実施例に係るＴｏＦカメラモジュールのブロック図である。
【図１３】本発明の一実施例に係るＴｏＦカメラモジュールの断面図である。
【図１４】本発明の一実施例に係るＴｏＦカメラモジュールに含まれるＩＲフィルタの傾きと検出部間の関係を説明する図面である。
【図１５】本発明の一実施例に係るＴｏＦカメラモジュールに含まれるＩＲフィルタの傾きと検出部間の関係を説明する図面である。
【図１６】本発明の一実施例に係るＴｏＦカメラモジュールに含まれるＩＲフィルタと検出部の配置関係に関する多様な例示である。
【図１７】本発明の一実施例に係るＴｏＦカメラモジュールに含まれるＩＲフィルタと検出部の配置関係に関する多様な例示である。
【図１８】本発明の一実施例に係るＴｏＦカメラモジュールに含まれるＩＲフィルタと検出部の配置関係に関する多様な例示である。
【図１９】本発明の一実施例に係るＶＣＭおよびＩＲフィルタの斜視図である。
【図２０】本発明の一実施例に係るＶＣＭに含まれるマグネットアセンブリとＩＲフィルタの結合過程を示す図面である。
【図２１】本発明の一実施例に係るＶＣＭに含まれるコイルアセンブリの結合過程を示す図面である。
【図２２】本発明の一実施例に係るマグネットアセンブリ、ＩＲフィルタおよびコイルアセンブリの結合過程を示す図面である。
【図２３】ＶＣＭとホールセンサの具体的な例示を示す。
【図２４】ＶＣＭとホールセンサの具体的な例示を示す。
【発明を実施するための形態】
【００２５】
本発明は多様な変更を加えることができ、多様な実施例を有することができるところ、特定の実施例を図面に例示して説明する。しかし、これは本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物乃至代替物を含むものと理解されるべきである。
【００２６】
第２、第１等のように序数を含む用語は多様な構成要素の説明に使われ得るが、前記構成要素は前記用語によって限定されはしない。前記用語は一つの構成要素を他の構成要素から区別する目的でのみ使われる。例えば、本発明の権利範囲を逸脱することなく第２構成要素は第１構成要素と命名され得、同様に第１構成要素も第２構成要素と命名され得る。および／またはという用語は複数の関連した記載された項目の組み合わせまたは複数の関連した記載された項目のいずれかの項目を含む。
【００２７】
ある構成要素が他の構成要素に「連結されて」いるとか「接続されて」いると言及された時には、その他の構成要素に直接的に連結されていたりまたは接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。反面、ある構成要素が他の構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された時には、中間に他の構成要素が存在しないものと理解されるべきである。
【００２８】
本出願で使った用語は単に特定の実施例を説明するために使われたものであって、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なって意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
【００２９】
異なって定義されない限り、技術的または科学的な用語を含んでここで使われるすべての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有している。一般的に使われる辞書に定義されているような用語は関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味で解釈されない。
【００３０】
以下、添付された図面を参照して実施例を詳細に説明するものの、図面符号にかかわらず同一または対応する構成要素は同じ参照番号を付与し、これに対する重複する説明は省略することにする。
【００３１】
図１は、本発明の一実施例に係るＴｏＦカメラモジュールのブロック図である。
【００３２】
図１を参照すると、ＴｏＦカメラモジュール１００は照明部１１０、レンズ部１２０、イメージセンサ部１３０、チルティング部１４０および映像制御部１５０を含む。
【００３３】
照明部１１０は出力光信号を生成した後客体に照射する。この時、照明部１１０はパルス波（ｐｕｌｓｅ  ｗａｖｅ）の形態や持続波（ｃｏｎｔｉｎｕｏｕｓ  ｗａｖｅ）の形態で出力光信号を生成して出力することができる。持続波はサイン波（ｓｉｎｕｓｏｉｄ  ｗａｖｅ）や四角波（ｓｑｕａｒｅｄ  ｗａｖｅ）の形態であり得る。出力光信号をパルス波や持続波の形態で生成することによって、ＴｏＦカメラモジュール１００は照明部１１０から出力された出力光信号と客体から反射した後にＴｏＦカメラモジュール１００に入力された入力光信号の間の位相差を検出することができる。本明細書で、出力光は照明部１１０から出力されて客体に入射する光を意味し、入力光は照明部１１０から出力されて客体に到達して客体から反射した後にＴｏＦカメラモジュール１００に入力する光を意味し得る。客体の立場では、出力光は入射光となり得、入力光は反射光となり得る。
【００３４】
照明部１１０は生成された出力光信号を所定の露出周期（ｉｎｔｅｇｒａｔｉｏｎ  ｔｉｍｅ）の間客体に照射する。ここで、露出周期とは、１個のフレーム周期を意味する。複数のフレームを生成する場合、設定された露出周期が繰り返される。例えば、ＴｏＦカメラモジュール１００が２０ＦＰＳで客体を撮影する場合、露出周期は１／２０［ｓｅｃ］となる。そして、１００個のフレームを生成する場合、露出周期は１００回繰り返され得る。
【００３５】
照明部１１０は互いに異なる周波数を有する複数の出力光信号を生成することができる。照明部１１０は互いに異なる周波数を有する複数の出力光信号を順次繰り返して生成することができる。または照明部１１０は互いに異なる周波数を有する複数の出力光信号を同時に生成してもよい。
【００３６】
図２は、出力光信号の周波数を説明するための図面である。本発明の実施例によると、照明部１１０は図２でのように露出周期の最初の半分は周波数ｆ１である出力光信号が生成されるように制御し、残りの半分の露出周期は周波数ｆ２である出力光信号が生成されるように制御することができる。
【００３７】
他の実施例によると、照明部１１０は複数の発光ダイオードのうち、一部の発光ダイオードは周波数ｆ１である出力光信号が生成されるように制御し、残りの発光ダイオードは周波数ｆ２である出力光信号が生成されるように制御してもよい。
【００３８】
このために、照明部１１０は光を生成する光源１１２と光を変調する光変調部１１４を含むことができる。
【００３９】
まず、光源１１２は光を生成する。光源１１２が生成する光は波長が７７０〜３０００ｎｍである赤外線であり得、波長が３８０〜７７０ｎｍである可視光線でもよい。光源１１２は発光ダイオード（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ、ＬＥＤ）を利用することができ、複数の発光ダイオードが一定のパターンにより配列された形態を有することができる。それだけでなく、光源１１２は有機発光ダイオード（Ｏｒｇａｎｉｃ  ｌｉｇｈｔ  ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ、ＯＬＥＤ）やレーザーダイオード（Ｌａｓｅｒ  ｄｉｏｄｅ、ＬＤ）を含んでもよい。
【００４０】
光源１１２は一定時間の間隔で点滅（ｏｎ／ｏｆｆ）を繰り返してパルス波の形態や持続波の形態の出力光信号を生成する。一定時間の間隔は出力光信号の周波数であり得る。光源の点滅は光変調部１１４により制御され得る。
【００４１】
光変調部１１４は光源１１２の点滅を制御して光源１１２が持続波やパルス波の形態の出力光信号を生成するように制御する。光変調部１１４は周波数変調（ｆｒｅｑｕｅｎｃｙ  ｍｏｄｕｌａｔｉｏｎ）やパルス変調（ｐｕｌｓｅ  ｍｏｄｕｌａｔｉｏｎ）等を通して光源１１２が持続波やパルス波の形態の出力光信号を生成するように制御することができる。
【００４２】
一方、レンズ部１２０は客体から反射した入力光信号を集光してイメージセンサ部１３０に伝達する。
【００４３】
図３は、カメラモジュールの断面図の一例である。
【００４４】
図３を参照すると、カメラモジュール３００はレンズアセンブリ３１０、イメージセンサ３２０および印刷回路基板３３０を含む。ここで、レンズアセンブリ３１０は図１のレンズ部１２０に対応し、イメージセンサ３２０は図１のイメージセンサ部１３０に対応し得る。そして、図１の映像制御部１５０等は印刷回路基板３３０内で具現され得る。図示してはいないが、図１の照明部１１０は印刷回路基板３３０上でイメージセンサ３２０の側面に配置されたり、カメラモジュール３００の外部に配置されてもよい。
【００４５】
レンズアセンブリ３１０はレンズ３１２、レンズバレル３１４、レンズホルダー３１６およびＩＲフィルタ３１８を含むことができる。
【００４６】
レンズ３１２は複数枚で構成され得、１枚で構成されてもよい。レンズ３１２が複数枚で構成される場合、各レンズは中心軸を基準として整列して光学系を形成することができる。ここで、中心軸は光学系の光軸（Ｏｐｔｉｃａｌ  ａｘｉｓ）と同じであり得る。
【００４７】
レンズバレル３１４はレンズホルダー３１６と結合され、内部にレンズを収容できる空間が設けられ得る。レンズバレル３１４は一つまたは複数のレンズと回転結合され得るが、これは例示的なものであり、接着剤（例えば、エポキシ（ｅｐｏｘｙ）等の接着用樹脂）を利用した方式などの他の方式で結合され得る。
【００４８】
レンズホルダー３１６はレンズバレル３１４と結合されてレンズバレル３１４を支持し、イメージセンサ３２０が搭載された印刷回路基板３３０に結合され得る。レンズホルダー３１６によってレンズバレル３１４の下部にＩＲフィルタ３１８が付着され得る空間が形成され得る。レンズホルダー３１６の内周面には螺旋状のパターンが形成され得、これと同様に外周面に螺旋状のパターンが形成されたレンズバレル３１４と回転結合することができる。しかし、これは例示的なものであり、レンズホルダー３１６とレンズバレル３１４は接着剤を通じて結合されるか、レンズホルダー３１６とレンズバレル３１４が一体型に形成されてもよい。
【００４９】
レンズホルダー３１６はレンズバレル３１４と結合される上部ホルダー３１６−１およびイメージセンサ３２０が搭載された印刷回路基板３３０と結合される下部ホルダー３１６−２に区分され得、上部ホルダー３１６−１および下部ホルダー３１６−２は一体型に形成されたり、互いに分離された構造で形成された後に締結または結合されたり、互いに分離されて離隔した構造を有してもよい。この時、上部ホルダー３１６−１の直径は下部ホルダー３１６−２の直径より小さく形成され得る。
【００５０】
前記の例示は一実施例に過ぎず、レンズ部１２０はＴｏＦカメラモジュール１００に入射する入力光信号を集光してイメージセンサ部１３０に伝達できる他の構造で構成されてもよい。
【００５１】
再び図１を参照すると、イメージセンサ部１３０はレンズ部１２０を通じて集光された入力光信号を利用して電気信号を生成する。
【００５２】
イメージセンサ部１３０は照明部１１０の点滅周期と同期化されて入力光信号を吸収することができる。具体的には、イメージセンサ部１３０は照明部１１０から出力された出力光信号と同相（ｉｎ  ｐｈａｓｅ）および異相（ｏｕｔ  ｐｈａｓｅ）でそれぞれ光を吸収することができる。すなわち、イメージセンサ部１３０は光源がオンになっている時間に入射光信号を吸収する段階と光源がオフになっている時間に入射光信号を吸収する段階を繰り返し遂行できる。
【００５３】
次に、イメージセンサ１３０部は互いに異なる位相差を有する複数の参照信号（ｒｅｆｅｒｅｎｃｅ  ｓｉｇｎａｌ）を利用して各参照信号に対応する電気信号を生成することができる。参照信号の周波数は照明部１１０から出力された出力光信号の周波数と同一に設定され得る。したがって、照明部１１０が複数の周波数で出力光信号を生成する場合、イメージセンサ部１３０は各周波数に対応する複数の参照信号を利用して電気信号を生成する。電気信号は各参照信号に対応する電荷量や電圧に関する情報を含むことができる。
【００５４】
図４は、本発明の実施例に係る電気信号生成過程を説明するための図面である。
【００５５】
図４に示された通り、本発明の実施例に係る参照信号は４個（Ｃ１〜Ｃ４）であり得る。各参照信号（Ｃ１〜Ｃ４）は出力光信号と同一の周波数を有するものの、互いに９０度の位相差を有することができる。４個の参照信号のうち一つ（Ｃ１）は出力光信号と同一の位相を有することができる。入力光信号は出力光信号が客体に入射した後に反射して帰ってくる距離だけ位相が遅延される。イメージセンサ部１３０は入力光信号と各参照信号をそれぞれミキシング（ｍｉｘｉｎｇ）する。そうすると、イメージセンサ部１３０は図４の陰影部分に対応する電気信号を各参照信号別に生成することができる。
【００５６】
他の実施例として、露出時間の間複数の周波数で出力光信号が生成された場合、イメージセンサ部１３０は複数の周波数による入力光信号を吸収する。例えば、周波数ｆ１とｆ２で出力光信号が生成され、複数の参照信号は９０度の位相差を有すると仮定する。そうすると、入射光信号お周波数ｆ１とｆ２を有するため、周波数がｆ１である入力光信号とこれに対応する４個の参照信号を通じて４個の電気信号が生成され得る。そして、周波数がｆ２である入力光信号とこれに対応する４個の参照信号を通じて４個の電気信号が生成され得る。したがって、電気信号は合計８個か生成され得る。
【００５７】
イメージセンサ部１３０は複数のピクセルがグリッドの形態で配列された構造で構成され得る。イメージセンサ部１３０はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサであり得、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサでもよい。また、イメージセンサ部１３０は被写体に反射される赤外線光を受け入れて時間または位相差を利用して距離を測定するＴｏＦセンサを含むことができる。
【００５８】
図５は、本発明の実施例に係るイメージセンサ１３０を説明するための図面である。例えば、図５でのように３２０ｘ２４０解像度のイメージセンサ１３０の場合、７６，８００個のピクセルがグリッドの形態で配列される。この時、複数のピクセルの間には図５の陰影部分のように一定の間隔が形成され得る。本発明の実施例ではピクセルに隣接した一定の間隔を含めて１ピクセルとして説明することにする。
【００５９】
本発明の実施例によると、各ピクセル１３２は第１フォトダイオードおよび第１トランジスタを含む第１受光部１３２−１と第２フォトダイオードおよび第２トランジスタを含む第２受光部１３２−２を含むことができる。
【００６０】
第１受光部１３２−１は出力光の波形と同一の位相で入力光信号を受信する。すなわち、光源がオンになった時間に、第１フォトダイオードはターンオン（ｔｕｒｎ−ｏｎ）されて入力光信号を吸収する。そして、光源がオフになった時間に、第１フォトダイオードはターンオフ（ｔｕｒｎ−ｏｆｆ）されて入力光の吸収を中断する。第１フォトダイオードは吸収した入力光信号を電流に変換して第１トランジスタに伝達する。第１トランジスタは伝達された電流を電気信号に変換して出力する。
【００６１】
第２受光部１３２−２は出力光の波形と反対の位相で入力光信号を受信する。すなわち、光源がオンになった時間に、第２フォトダイオードはターンオフされて入力光信号を吸収する。そして、光源がオフになった時間に、第２フォトダイオードはターンオンされて入力光の吸収を中断する。第２フォトダイオードは吸収した入力光信号を電流に変換して第２トランジスタに伝達する。第２トランジスタは伝達された電流を電気信号に変換する。
【００６２】
これに伴い、第１受光部１３２−１はＩｎ  Ｐｈａｓｅ受信ユニットと言え、第２受光部１３２−２はＯｕｔ  Ｐｈａｓｅ受信ユニットと言える。このように、第１受光部１３２−１および第２受光部１３２−２が時間差を置いて活性化すると、客体との距離により受信される光量に差が発生することになる。例えば、客体がＴＯＦカメラモジュール１００の直ぐ前にある場合（すなわち、距離＝０である場合）には、照明部１１０から光が出力されてから客体で反射してくるまでかかる時間が０であるため、光源の点滅周期はそのまま光の受信周期となる。これに伴い、第１受光部１３２−１のみが光を受信することになり、第２受光部１３２−２は光を受信できなくなる。他の例として、客体がＴｏＦカメラモジュール１００と所定距離離れて位置する場合、照明部１１０から光が出力されてから客体で反射してくるまで時間がかかるため、光源の点滅周期は光の受信周期と差が発生することになる。これに伴い、第１受光部１３２−１と第２受光部１３２−２が受信する光の量に差が発生することになる。すなわち、第１受光部１３２−１と第２受光部１３２−２に入力された光量の差を利用して客体の距離が演算され得る。再び図１を参照すると、映像制御部１５０はイメージセンサ部１３０から受信した電気信号を利用して出力光と入力光の間の位相差を計算し、位相差を利用して客体とＴｏＦカメラモジュール１００の間の距離を計算する。
【００６３】
具体的には、映像制御部１５０は電気信号の電荷量情報を利用して出力光と入力光の間の位相差を計算することができる。
【００６４】
前記で詳察した通り、出力光信号の周波数ごとに電気信号は４個か生成され得る。したがって、映像制御部１５０は下記の数学式１を利用して出力光信号と入力光信号の間の位相差（ｔｄ）を計算することができる。
【００６５】
【数１】
2021527236.tif 000003
【００６６】
ここで、Ｑ１〜Ｑ４は４個の電気信号それぞれの電荷充電量である。Ｑ１は出力光信号と同一の位相の基準信号に対応する電気信号の電荷量である。Ｑ２は出力光信号より位相が１８０度遅い基準信号に対応する電気信号の電荷量である。Ｑ３は出力光信号より位相が９０度遅い基準信号に対応する電気信号の電荷量である。Ｑ４は出力光信号より位相が２７０度遅い基準信号に対応する電気信号の電荷量である。
【００６７】
そうすると、映像制御部１５０は出力光信号と入力光信号の位相差を利用して客体とＴｏＦカメラモジュール１００の間の距離を計算することができる。この時、映像制御部１５０は下記の数学式２を利用して客体とＴｏＦカメラモジュール１００の間の距離（ｄ）を計算することができる。
【００６８】
【数２】
2021527236.tif 000004
【００６９】
ここで、ｃは光の速度であり、ｆは出力光の周波数である。
【００７０】
一方、本発明の実施例では深さ情報の解像度を高めるために、スーパーレゾリューション（Ｓｕｐｅｒ  Ｒｅｓｏｌｕｔｉｏｎ、ＳＲ）技法を利用する。ＳＲ技法は複数の低解像映像から高解像映像を得る技法であって、ＳＲ技法の数学的モデルは数学式３のように示すことができる。
【００７１】
【数３】
2021527236.tif 000005
【００７２】
ここで、１≦ｋ≦ｐであり、ｐは低解像映像の個数であり、ｙｋは低解像映像（＝［ｙｋ，１、ｙｋ，２、．．．、ｙｋ，Ｍ］Ｔ、ここで、Ｍ＝Ｎ１＊Ｎ２）Ｄｋはダウンサンプリング（ｄｏｗｎ  ｓａｍｐｌｉｎｇ）マトリクス、Ｂｋは光学ブラー（ｂｌｕｒ）マトリクス、Ｍｋは映像歪み（ｗａｒｐｉｎｇ）マトリクス、ｘは高解像映像（＝［ｘ１、ｘ２、．．．、ｘＮ］Ｔ、ここで、Ｎ＝Ｌ１Ｎ１＊Ｌ２Ｎ２）、ｎｋはノイズを表す。すなわち、ＳＲ技法によると、ｙｋに推定された解像度劣化要素の逆関数を適用してｘを推定する技術を意味する。ＳＲ技法は大きく統計的方式とマルチフレーム方式に分かれ得、マルチフレーム方式は大きく空間分割方式と時間分割方式に分かれ得る。深さ情報獲得のためにＳＲ技法を利用する場合、数学式１のＭｋの逆関数が存在しないため、統計的方式が試みられ得る。ただし、統計的方式の場合、繰り返し演算過程が必要であるため、効率が低い問題がある。
【００７３】
深さ情報の抽出にＳＲ技法を適用するために、映像制御部１５０はイメージセンサ部１３０から受信した電気信号を利用して複数の低解像サブフレームを生成した後、複数の低解像サブフレームを利用して複数の低解像深さ情報を抽出することができる。そして、複数の低解像深さ情報のピクセル値を再配列して高解像深さ情報を抽出することができる。
【００７４】
ここで、高解像とは低解像より高い解像度を示す相対的な意味である。
【００７５】
ここで、サブフレームとは、いずれか一つの露出周期および参照信号に対応した電気信号から生成されるイメージデータを意味し得る。例えば、第１露出周期、すなわち一つの映像フレームで８個の参照信号を通じて電気信号が生成される場合、８個のサブフレームが生成され得、開始フレーム（ｓｔａｒｔ  ｏｆ  ｆｒａｍｅ）が１個さらに生成され得る。本明細書で、サブフレームはイメージデータ、サブフレームイメージデータなどと混用され得る。
【００７６】
または深さ情報の抽出に本発明の実施例に係るＳＲ技法を適用するために、映像制御部１５０はイメージセンサ部１３０から受信した電気信号を利用して複数の低解像サブフレームを生成した後、複数の低解像サブフレームのピクセル値を再配列して複数の高解像サブフレームを生成することができる。そして、高解像サブフレームを利用して高解像深さ情報を抽出することができる。
【００７７】
このために、ピクセルシフト（ｐｉｘｅｌ  ｓｈｉｆｔ）技術を利用することができる。すなわち、ピクセルシフト技術を利用してサブフレーム別にサブピクセルだけシフトされた複数枚のイメージデータを獲得した後、サブフレーム別にＳＲ技法を適用して複数の高解像サブフレームイメージデータを獲得し、これらを利用して高解像の深さ情報を抽出することができる。ピクセルシフトのために、本発明の一実施例に係るＴｏＦカメラモジュール１００はチルティング部１４０を含む。
【００７８】
再び図１を参照すると、チルティング部１４０は出力光信号または入力光信号のうち少なくとも一つの光経路をイメージセンサ部１３０のサブピクセル単位に変更する。
【００７９】
チルティング部１４０は映像フレーム別に出力光信号または入力光信号のうち少なくとも一つの光経路を変更する。前述した通り、一つの露出周期ごとに１個の映像フレームが生成され得る。したがって、チルティング部１４０は一つの露出周期が終了すると出力光信号または入力光信号のうち少なくとも一つの光経路を変更する。
【００８０】
チルティング部１４０はイメージセンサ部１３０を基準としてサブピクセル単位だけ出力光信号または入力光信号のうち少なくとも一つの光経路を変更する。この時、チルティング部１４０は現在の光経路を基準として出力光信号または入力光信号のうち少なくとも一つの光経路を上、下、左、右のうちいずれか一つの方向に変更する。
【００８１】
図６は、チルティング部１４０による入力光信号の光経路変更を説明するための図面である。
【００８２】
図６の（ａ）で実線で表示された部分は入力光信号の現在の光経路を示し、点線で示された部分は変更された光経路を示す。現在の光経路に対応する露出周期が終了すると、チルティング部１４０は入力光信号の光経路を点線のように変更することができる。そうすると、入力光信号の経路は現在の光経路からサブピクセルだけ移動する。例えば、図６の（ａ）でのように、チルティング部１４０が現在の光経路を０．１７３度右側に移動させると、イメージセンサ部１３０に入射される入力光信号は右側に０．５ピクセル（サブピクセル）だけ移動することができる。
【００８３】
本発明の実施例によると、チルティング部１４０は基準位置から時計回り方向に入力光信号の光経路を変更することができる。例えば、図６の（ｂ）に示された通り、チルティング部１４０は第１露出周期が終了した後、第２露出周期に入力光信号の光経路をイメージセンサ部１３０基準０．５ピクセルだけ右側に移動させる。そして、チルティング部１４０は第３露出周期に入力光信号の光経路をイメージセンサ部１３０基準０．５ピクセルだけ下側に移動させる。そして、チルティング部１４０は第４露出周期に入力光信号の光経路をイメージセンサ部１３０基準０．５ピクセルだけ左側に移動させる。そして、チルティング部１４０は第５露出周期に入力光信号の光経路をイメージセンサ部１３０基準０．５ピクセルだけ上側に移動させる。すなわち、４個の露出周期でチルティング部１４０は入力光信号の光経路を元の位置に移動させることができる。これは出力光信号の光経路を移動させる時も同一に適用され得るところ、詳細な説明は省略することにする。また、光経路の変更パターンが時計回り方向であることは一例に過ぎず、反時計回り方向でもよい。
【００８４】
一方、サブピクセルは０ピクセルより大きく１ピクセルより小さくてもよい。例えば、サブピクセルは０．５ピクセルの大きさを有することができ、１／３ピクセルの大きさを有してもよい。サブピクセルの大きさは当業者によって設計変更が可能である。
【００８５】
図７および図８は、本発明の実施例に係るＳＲ技法を説明するための図面である。
【００８６】
図７を参照すると、映像制御部１５０は同一の露出周期、すなわち同一のフレームで生成された複数の低解像サブフレームを利用して複数の低解像深さ情報を抽出することができる。そして、映像制御部１５０は複数の低解像深さ情報のピクセル値を再配置して高解像深さ情報を抽出することができる。ここで複数の低解像深さ情報に対応する出力光信号または入力光信号の光経路は互いに異なり得る。
【００８７】
例えば、映像制御部１５０は複数の電気信号を利用して１−１〜４−８の低解像サブフレームを生成することができる。低解像サブフレーム１−１〜１−８は第１露出周期で生成された低解像サブフレームである。低解像サブフレーム２−１〜２−８は第２露出周期で生成された低解像サブフレームである。低解像サブフレーム３−１〜３−８は第３露出周期で生成された低解像サブフレームである。低解像サブフレーム４−１〜４−８は第４露出周期で生成された低解像サブフレームである。そうすると、映像制御部１５０は各露出周期で生成された複数の低解像サブフレームに深さ情報抽出技法を適用して低解像深さ情報ＬＲＤ−１〜ＬＲＤ−４を抽出する。低解像深さ情報ＬＲＤ−１はサブフレーム１−１〜１−８を利用して抽出された低解像深さ情報である。低解像深さ情報ＬＲＤ−２はサブフレーム２−１〜２−８を利用して抽出された低解像深さ情報である。低解像深さ情報ＬＲＤ−３はサブフレーム３−１〜３−８を利用して抽出された低解像深さ情報である。低解像深さ情報ＬＲＤ−４はサブフレーム４−１〜４−８を利用して抽出された低解像深さ情報である。そして、映像制御部１５０は低解像深さ情報ＬＲＤ−１〜ＬＲＤ−４のピクセル値を再配置して高解像深さ情報ＨＲＤを抽出する。
【００８８】
または前述した通り、映像制御部１５０は同一の参照信号に対応する複数のサブフレームのピクセル値を再配置して高解像サブフレームを生成することができる。この時、複数のサブフレームは対応する出力光信号または入力光信号の光経路が異なる。そして、映像制御部１５０は複数の高解像サブフレームを利用して高解像深さ情報を抽出することができる。
【００８９】
例えば、図８で、映像制御部１５０は複数の電気信号を利用して１−１〜４−８の低解像サブフレームを生成する。低解像サブフレーム１−１〜１−８は第１露出周期で生成された低解像サブフレームである。低解像サブフレーム２−１〜２−８は第２露出周期で生成された低解像サブフレームである。低解像サブフレーム３−１〜３−８は第３露出周期で生成された低解像サブフレームである。低解像サブフレーム４−１〜４−８は第４露出周期で生成された低解像サブフレームである。ここで、低解像サブフレーム１−１、２−１、３−１、４−１は同一の参照信号Ｃ１に対応するものの、互いに異なる光経路に対応する。そうすると、映像制御部１５０は低解像サブフレーム１−１、２−１、３−１、４−１のピクセル値を再配置して高解像サブフレームＨ−１を生成することができる。ピクセル値の再配置を通じて、高解像サブフレームＨ−１〜Ｈ−８が生成されると、映像制御部は高解像サブフレームＨ−１〜Ｈ−８に深さ情報抽出技法を適用して高解像深さ情報ＨＲＤを抽出することができる。
【００９０】
図９は、本発明の実施例に係るピクセル値配置過程を説明するための図面である。
【００９１】
ここで、４個の４ｘ４大きさの低解像映像を利用して１個の８ｘ８大きさの高解像映像を生成することを仮定する。この時、高解像ピクセルグリッドは８ｘ８のピクセルを有し、これは高解像映像のピクセルと同じである。ここで低解像映像は低解像サブフレームおよび低解像深さ情報を含む意味であり得、高解像映像は高解像サブフレームおよび高解像深さ情報を含む意味であり得る。
【００９２】
図９で第１〜４低解像映像は０．５ピクセルの大きさのサブピクセル単位で光経路が移動されて撮影された映像である。映像制御部１５０は光経路が移動されていない第１低解像映像を基準として光経路が移動した方向に沿って第２〜４低解像映像のピクセル値を高解像映像に合うように配置する。
【００９３】
具体的には、第２低解像映像は第１低解像映像からサブピクセルだけ右側に移動した映像である。したがって、第１低解像映像の各ピクセル（Ａ）の右側に位置したピクセルには第２低解像映像のピクセル（Ｂ）が配置される。
【００９４】
第３低解像映像は第２低解像映像からサブピクセルだけ下側に移動した映像である。したがって、第２低解像映像の各ピクセル（Ｂ）の下に位置したピクセルには第３低解像映像のピクセル（Ｃ）が配置される。
【００９５】
第４低解像映像は第３低解像映像からサブピクセルだけ左側に移動した映像である。したがって、第３低解像映像のピクセル（Ｃ）の左側に位置したピクセルには第４低解像映像のピクセル（Ｄ）が配置される。
【００９６】
高解像ピクセルグリッドに第１〜第４低解像映像のピクセル値が全て再配置されると、低解像映像より解像度が４倍増加した高解像映像フレームが生成される。
【００９７】
一方、映像制御部１５０は配置されるピクセル値に加重値を適用することができる。この時、加重値はサブピクセルの大きさや光経路の移動方向により異なって設定され得、各低解像映像別に異なって設定され得る。
【００９８】
このために、チルティング部１４０はソフトウェア的にまたはハードウェア的に光経路を変更することができる。チルティング部１４０がソフトウェア的に光経路を変更しようとする場合、ＴｏＦカメラモジュール１００の演算量が増加する問題があり、ハードウェア的に光経路を変更しようとする場合ＴｏＦカメラモジュール１００の構造が複雑になったり、体積が増加する問題がある。
【００９９】
本発明の実施例によると、チルティング部１４０はレンズアセンブリ、例えばレンズアセンブリに含まれたＩＲフィルタ（図２の３１８）の傾きを制御する方法で入力光信号をシフトさせ、これに伴い、サブピクセルだけシフトされたデータを得ようとする。
【０１００】
図１０〜図１１は、ＩＲフィルタの傾きの制御によりイメージセンサ上に入力される映像フレームがシフトされる効果を説明するための図面である。図１１はＩＲフィルタの厚さが０．２１ｍｍであり、ＩＲの屈折率が１．５である条件でチルティング角度に対するシフト距離をシミュレーションした結果である。
【０１０１】
図１０および下記の数学式４を参照すると、ＩＲフィルタ３１８の傾き（θ１）とシフト距離は次の関係を有することができる。
【０１０２】
【数４】
2021527236.tif 000006
【０１０３】
ここで、θ２は数学式５のように示すことができる。
【０１０４】
【数５】
2021527236.tif 000007
【０１０５】
そして、θ１はＩＲフィルタ３１８の傾き、すなわちチルティング角度であり、ｎｇはＩＲフィルタ３１８の屈折率であり、ｄはＩＲフィルタ３１８の厚さである。例えば、数学式４〜５を参照すると、イメージセンサ上に入力される映像フレームを７μｍだけシフトさせるために約５〜６°だけチルティングされ得る。この時、ＩＲフィルタ３１８の垂直変位は約１７５〜２１０μｍになり得る。
【０１０６】
このように、ＩＲフィルタ３１８の傾きを制御すると、イメージセンサ３２０自体をチルティングせずともシフトされたイメージデータを得ることが可能である。
【０１０７】
本発明の実施例によると、ＩＲフィルタの傾きを制御するためのチルティング部はＩＲフィルタと直接または間接に連結されるアクチュエータ（ａｃｔｕａｔｏｒ）を含むことができ、アクチュエータはＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）、ＶＣＭ（Ｖｏｉｃｅ  Ｃｏｉｌ  Ｍｏｔｏｒ）および圧電素子のうち少なくとも一つを含むことができる。
【０１０８】
この時、前述した通り、サブピクセルの大きさは０ピクセルより大きく１ピクセルより小さく、このような範囲内でサブピクセルをシフトさせるためには非常に精密な制御が必要である。アクチュエータを利用してＩＲピルトをチルティングさせる場合、アクチュエータの精度によってチルティングされたＩＲフィルタの傾きおよび入力光信号のサブピクセルシフト値があらかじめ設定された値と変わり得る。特に、アクチュエータの作動中にエラーまたは故障が発生したり、アクチュエータの使用年数が古くなって部品間の整列がずれる場合、ＩＲフィルタの傾きおよび入力光信号のサブピクセルシフト値の誤差が非常に大きくなり得る。
【０１０９】
本発明の実施例によると、チルティング部を利用してＩＲフィルタの傾きを制御するものの、検出部を利用してＩＲフィルタの傾き情報を検出し、検出した傾き情報を映像制御部に提供して客体の深さ情報抽出にさらに利用しようとする。
【０１１０】
図１２は本発明の一実施例に係るＴｏＦカメラモジュールのブロック図であり、図１３は本発明の一実施例に係るＴｏＦカメラモジュールの断面図であり、図１４〜図１５は本発明の一実施例に係るＴｏＦカメラモジュールに含まれるＩＲフィルタの傾きと検出部間の関係を説明する図面であり、図１６〜図１８は本発明の一実施例に係るＴｏＦカメラモジュールに含まれるＩＲフィルタと検出部の配置関係に関する多様な例示である。
【０１１１】
図１２を参照すると、ＴｏＦカメラモジュール１００は照明部１１０、レンズ部１２０、イメージセンサ部１３０、チルティング部１４０および映像制御部１５０を含む。以下、図１で説明した内容と同じ内容については重複した説明を省略する。
【０１１２】
本発明の実施例によると、ＴｏＦカメラモジュール１００はＩＲフィルタの傾き情報を検出する検出部１６０をさらに含み、検出部１６０は検出したＩＲフィルタの傾き情報を映像制御部１５０に提供し、映像制御部１５０は検出部１６０によって検出されたＩＲフィルタの傾き情報をさらに利用して客体の深さ情報を抽出する。
【０１１３】
このために、映像制御部１５０はシフト算出ユニット１５２、比較ユニット１５４および補正ユニット１５６を含むことができる。シフト算出ユニット１５２は検出部１６０によって検出されたＩＲフィルタの傾き情報を利用して入力光信号の実際のシフト値を算出することができる。比較ユニット１５４はシフト算出ユニット１５２によって算出された入力光信号のシフト値をあらかじめ設定されて保存されたシフト値と比較することができる。そして、補正ユニット１５６は比較ユニット１５４の比較結果、例えばシフト算出ユニット１５２によって算出された入力光信号の実際のシフト値とあらかじめ設定されて保存されたシフト値間の差を利用して客体の深さ情報を補正することができる。
【０１１４】
例えば、シフト算出ユニット１５２によって算出された値は０．６ピクセルであり、入力光信号のサブピクセルシフト値とあらかじめ設定されて保存された値は０．５ピクセルである場合、映像制御部１５０の補正ユニット１５６は算出された入力光信号のシフト値とあらかじめ設定されて保存されたシフト値間の差である０．１ピクセルを反映して客体の深さ情報を補正することができる。
【０１１５】
このために、図１３を参照すると、レンズ３１２、ＩＲフィルタ３１８、チルティング部１４０および検出部１６０は参照番号１０００内に配置され得る。以下、図３で説明した内容と同じ内容に対しては重複した説明を省略する。
【０１１６】
さらに具体的には、図１４〜図１５を参照すると、検出部１６０はホール（Ｈａｌｌ）センサ４００を含み、ＩＲフィルタの傾き情報はホールセンサ４００によって獲得され得る。すなわち、ホールセンサ４００はＩＲフィルタの外側面と対応する位置でマグネット４１０およびＩＲフィルタと離隔して配置され、これに伴いＩＲフィルタ３１８と一体で動くマグネット４１０の位置を検出することができ、ＩＲフィルタの傾き情報はマグネット４１０の位置によって検出され得る。本明細書で、ＩＲフィルタ３１８の傾き情報はＩＲフィルタ３１８と一体で動くマグネット４１０の位置情報またはＩＲフィルタ３１８と一体で動くマグネット４１０とホールセンサ４００間の距離情報を含んでもよい。ここで、マグネット４１０はＩＲフィルタ３１８に別途に設けられたマグネットや、チルティング部１４０に含まれたマグネットであり得る。
【０１１７】
図１４のように、ホールセンサ４００がＩＲフィルタ３１８の側面に配置される場合、ＩＲフィルタ３１８の傾きによってＩＲフィルタ３１８と一体で動くマグネット４１０とホールセンサ４００間の距離（ａ、ｂ、ｃ）が変わり得る。例えば、ＩＲフィルタ３１８の傾きが大きくなるほどＩＲフィルタ３１８と一体で動くマグネット４１０とホールセンサ４００間の距離は遠くなり得る。
【０１１８】
これと同様に、図１５のように、ホールセンサ４００がＩＲフィルタ３１８の下面に配置される場合、ＩＲフィルタ３１８の傾きによってＩＲフィルタ３１８と一体で動くマグネット４１０とホールセンサ４００間の距離（ａ、ｂ、ｃ）が変わり得る。例えば、ＩＲフィルタ３１８の傾きが大きくなるほどＩＲフィルタ３１８と一体で動くマグネット４１０とホールセンサ４００間の距離は遠くなり得る。
【０１１９】
ホールセンサ４００は磁場に比例して起電力が発生する物理的現象であるホール効果を利用する素子であって、磁場の強度により電圧が変わる素子である。ホールセンサ４００はマグネットがホールセンサに対して前後方向に動く時、マグネットの動きにより変化する電圧を利用してホールセンサとマグネット間の距離変化を感知するヘッドオン（Ｈｅａｄ  ｏｎ）類型およびマグネットがホールセンサに対して横方向に動く時、マグネットの動きにより変化する電圧を利用してマグネットの回転数や回転速度を感知するサイドウェイ検出（ｓｉｄｅｗａｙ  ｄｅｔｅｃｔｉｏｎ）類型がある。
【０１２０】
本発明の実施例によると、ホールセンサ４００によって検出される値によりマグネット４１０とホールセンサ４００間の距離が算出され得、マグネット４１０とホールセンサ４００間の距離によりＩＲフィルタ３１８の傾き、すなわちＩＲフィルタ３１８がチルティングされる程度および入力光信号のシフト値が算出され得る。
【０１２１】
さらに具体的には、図１６を参照すると、ホールセンサ４００は第１ホールセンサ４０２および第２ホールセンサ４０４を含み、マグネット４１０はＩＲフィルタ３１８と一体で動くことができる。
【０１２２】
このために、図１６（ａ）で図示した通り、マグネット４１０はＩＲフィルタ３１８の一側面に連結されたり、図１６（ｂ）で図示した通り、マグネット４１０はＩＲフィルタ３１８の両側面に連結され得る。図示してはいないが、マグネット４１０はＩＲフィルタ３１８の４側面に連結されてもよく、マグネット４１０の位置、形状、大きさおよび個数は多様に変形され得る。図１６（ｃ）で図示した通り、マグネット４１０はＩＲフィルタ３１８の側面のうち少なくとも一つに沿って配置されてもよい。この時、マグネット４１０はＩＲフィルタ３１８の側面のうち少なくとも一つに沿ってコーティングされた磁性体であり得る。
【０１２３】
ここで、マグネット４１０はＩＲフィルタ３１８と直接連結されるものとして図示されているが、これに制限されるものではなく、連結部材によって間接的に連結されてもよい。ここで、連結部材はＩＲフィルタ３１８とチルティング部１４０の間を連結する連結部材であり得、マグネット４１０もこのような連結部材を通じてＩＲフィルタ３１８と一体で動くようにＩＲフィルタ３１８に連結され得る。ここで、連結部材はＩＲフィルタ３１８の一部の構成またはチルティング部１４０の一部の構成であり得る。
【０１２４】
この時、第１ホールセンサ４０２および第２ホールセンサ４０４はそれぞれＩＲフィルタ３１８の側面でマグネット４１０と所定の間隔で離隔するように配置され、第１ホールセンサ４０２および第２ホールセンサ４０４はＩＲフィルタ３１８の中心（Ｃ）を基準として互いに９０°以上であり１８０°未満である角度をなすように配置され得る。本発明の実施例によると、ＩＲフィルタ３１８はＸ軸、Ｙ軸およびＺ軸方向にチルティングされ得る。第１ホールセンサ４０２および第２ホールセンサ４０４はＩＲフィルタ３１８の中心（Ｃ）を基準として互いに９０°以上であり１８０°未満である角度をなすように配置されると、ＩＲフィルタ３１８がＸ軸方向のチルティング値、Ｙ軸方向のチルティング値およびＺ軸方向のチルティング値をすべて算出することができ、Ｘ軸方向のチルティング値、Ｙ軸方向のチルティング値およびＺ軸方向のチルティング値を利用して入力光信号のシフト値を精密に算出することが可能である。ここで、ＩＲフィルタ３１８の傾き情報はＸ軸方向のチルティング値、Ｙ軸方向のチルティング値およびＺ軸方向のチルティング値で表され得る。
【０１２５】
または図１７を参照すると、第１ホールセンサ４０２はＩＲフィルタ３１８の側面でマグネット４１０と所定の間隔離隔するように配置され、第２ホールセンサ４０４はＩＲフィルタ３１８の下でマグネット４１０と所定の間隔離隔するように配置され、第１ホールセンサ４０２および第２ホールセンサ４０４はＩＲフィルタ３１８の中心（Ｃ）を基準として互いに９０°以上であり１８０°未満である角度をなすように配置され得る。
【０１２６】
または図１８を参照すると、第１ホールセンサ４０２および第２ホールセンサ４０４はＩＲフィルタ３１８の下でマグネット４１０と所定の間隔離隔するように配置され、第１ホールセンサ４０２および第２ホールセンサ４０４はＩＲフィルタ３１８の中心（Ｃ）を基準として互いに９０°以上であり１８０°未満である角度をなすように配置され得る。
【０１２７】
図１７〜図１８において、説明した内容以外の内容は図１６で説明した内容と同じであるため、同じ内容は重複した説明を省略する。
【０１２８】
ここで、第１ホールセンサ４０２および第２ホールセンサ４０４がＩＲフィルタ３１８の側部または下部に配置される場合のみを例にして説明しているが、これに制限されるものではなく、ＩＲフィルタ３１８の上部に配置されてもよく、ＩＲフィルタ３１８の側部に配置されるもののＩＲフィルタ３１８より高い位置または低い位置に配置されてもよい。
【０１２９】
以下、本発明の実施例に係るＴｏＦカメラモジュールに含まれるチルティング部がＶＣＭを含む場合を例に挙げて説明する。
【０１３０】
図１９は本発明の一実施例に係るＶＣＭおよびＩＲフィルタの斜視図であり、図２０は本発明の一実施例に係るＶＣＭに含まれるマグネットアセンブリとＩＲフィルタの結合過程を示す図面であり、図２１は本発明の一実施例に係るＶＣＭに含まれるコイルアセンブリの結合過程を示す図面であり、図２２は本発明の一実施例に係るマグネットアセンブリ、ＩＲフィルタおよびコイルアセンブリの結合過程を示す図面である。図２３〜図２４はＶＣＭとホールセンサの具体的な例示を示す。
【０１３１】
図１９〜図２２を参照すると、チルティング部１４０はＶＣＭ１０００を含み、ＶＣＭ１０００はマグネットアセンブリ１１００およびコイルアセンブリ１２００を含み、ＩＲフィルタ３１８と結合されたり、接触したり、連結され得る。
【０１３２】
ＶＣＭ１０００はレンズバレル３１４およびレンズホルダー３１８によって囲まれ得、レンズ３１２はレンズバレル３１４によって囲まれたり、ＶＣＭ１０００内の空間に収容され得る。またはレンズバレル３１４はＶＣＭ１０００の一部の構成でもよい。
【０１３３】
本発明の実施例によると、マグネットアセンブリ１１００はマグネットホルダー１１１０および複数のマグネット１１２０を含み、複数のマグネット１１２０はマグネットホルダー１１１０上に所定の間隔で離隔して配置され得る。例えば、マグネットホルダー１１１０は中空の円形のリング状または角形のリング状であり得、複数のマグネット１１２０を収容するための複数のマグネットガイド１１１２が形成され得る。ここで、マグネットホルダー１１１０は磁性物質または軟磁性物質を含むことができ、例えばＦｅを含むことができる。
【０１３４】
次に、コイルアセンブリ１２００はコイルホルダー１２１０、複数のコイル１２２０およびコイルターミナル１２３０を含むことができ、複数のコイル１２２０はコイルホルダー１２１０上で複数のマグネット１１２０と対をなすように所定の間隔で離隔して配置され得る。例えば、コイルホルダー１２１０は中空の円形のリング状または角形のリング状であり得、複数のコイル１２２０を収容するための複数のコイルガイド１２１２が形成され得る。コイルホルダー１２１０はレンズバレル３１４でもよい。コイルターミナル１２３０は複数のコイル１２２０に連結され、複数のコイル１２２０に電源を印加することができる。
【０１３５】
ＩＲフィルタ３１８はガラス層ホルダー３１８２およびガラス層ホルダー３１８２によって支持されるガラス層３１８４を含む。ガラス層ホルダー３１８２はガラス層３１８４の下部に配置される第１ガラス層ホルダー３１８２−１およびガラス層３１８４の上部縁に配置される第２ガラス層ホルダー３１８２−２を含むことができる。第２ガラス層ホルダー３１８２−２は中空の円形のリング状または角形のリング状であり得、マグネットホルダー１１１０によって囲まれるようにマグネットホルダー１１１０の中空内に配置され得る。この時、第２ガラス層ホルダー３１８２−２はマグネットホルダー１１１０の複数のマグネットガイド１１１２に対応するように突出した複数の突出部Ｐ１、Ｐ２、Ｐ３、Ｐ４を含むことができる。複数の突出部Ｐ１、Ｐ２、Ｐ３、Ｐ４は、複数のマグネットガイド１１１２と接触したり複数のマグネットガイド１１１２から離隔するように動くことができる。第２ガラス層ホルダー３１８２−２は磁性物質または軟磁性物質を含むことができる。これに伴い、マグネットホルダー１１１０はＩＲフィルタ３１８とチルト部を連結する連結部材であり得る。
【０１３６】
コイルターミナル１２３０を通じて複数のコイル１２２０に電源が印加されると、複数のコイル１２２０を通じて電流が流れ、これに伴い、複数のコイル１２２０と複数のマグネット１１２０の間に磁場が発生し得る。
【０１３７】
これに伴い、複数のマグネットガイド１１１２と第２ガラス層ホルダー３１８２−２の複数の突出部Ｐ１、Ｐ２、Ｐ３、Ｐ４の間には電気駆動力が発生し得、第２ガラス層ホルダー３１８２−２によって支持されるガラス層３１８４は所定の角度にチルティングされ得る。
【０１３８】
例えば、複数のマグネットガイド１１１２と複数の突出部Ｐ１、Ｐ２、Ｐ３、Ｐ４の間に加えられる力により、突出部Ｐ１と突出部Ｐ３の間に形成される傾きまたは突出部Ｐ２と突出部Ｐ４の間に形成される傾きが変わり得る。そして、突出部Ｐ１と突出部Ｐ３の間に形成される傾きまたは突出部Ｐ２と突出部Ｐ４の間に形成される傾きによってガラス層３１８４の傾きも変わり得る。ここで、第２ガラス層ホルダー３１８２−２の複数の突出部Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置によって、ＩＲフィルタ３１８、さらに具体的にはガラス層３１８４の傾きが変わるため、本明細書で第２ガラス層ホルダー３１８２−２はシェーパー（ｓｈａｐｅｒ）と指称されてもよい。
【０１３９】
この時、ガラス層３１８４のチルティングの自由度のためにマグネットホルダー１１１０と第１ガラス層ホルダー３１８２−１の間にはスペーサー１１３０がさらに配置されてもよい。
【０１４０】
ここで、ガラス層３１８４はＩＲパスガラス層であり得る。
【０１４１】
一方、本発明の実施例によると、マグネットアセンブリ１１１０はマグネットホルダー１１４０をさらに含んでもよい。マグネットホルダー１１４０は複数のマグネット１１２０の上部を支持することができ、これに伴い、複数のマグネット１１２０はさらに安定的かつ信頼性を有して動くことができる。
【０１４２】
このように、本発明の実施例によると、ＩＲフィルタ３１８の傾きはＶＣＭ１０００の駆動により制御される。このために、ＩＲフィルタ３１８はＶＣＭ１０００と共に配置されるべきであり、これに伴いＩＲフィルタ３１８はイメージセンサ３２０と離隔して配置される必要がある。
【０１４３】
図２３を参照すると、複数のマグネット１１２０はＩＲフィルタの上下の両側面および左右の両側面に配置されたり、図２４を参照すると、複数のマグネット１１２０はＩＲフィルタの対角線の方向に配置され得る。この時、複数のマグネット１１２０のうち少なくとも一つはＩＲフィルタ３１８と一体で動くマグネット４１０であり得、第１ホールセンサ４０２および第２ホールセンサ４０４はマグネット４１０と所定の間隔離隔し、ＩＲフィルタ３１８の中心を基準として９０°以上１８０°未満に配置され得る。このように配置された第１ホールセンサ４０２および第２ホールセンサ４０４によって検出された電圧値を利用すると、ＩＲフィルタ３１８のＸ軸方向のチルティング値、Ｙ軸方向のチルティング値およびＺ軸方向のチルティング値をすべて算出することができ、これに伴い、入力光信号の実際のシフト値を精密に算出することができ、超解像度の深さ情報を抽出することができる。
【０１４４】
以上、実施例を中心に説明したがこれは単に例示に過ぎず、本発明を限定するものではなく、本発明が属する分野の通常の知識を有する者であれば、本実施例の本質的な特性を逸脱しない範囲で以上で例示されていない多様な変形と応用が可能であることが分かるであろう。例えば、実施例に具体的に示された各構成要素は変形して実施できるものである。そして、このような変形と応用に関係した差異点は添付された特許請求の範囲で規定する本発明の範囲に含まれるものと解釈されるべきである。
【符号の説明】
【０１４５】
１００：ＴｏＦカメラモジュール
１１０：照明部
１２０：レンズ部
１３０：イメージセンサ部
１４０：チルティング部
１５０：映像制御部
１６０：検出部
【図１】
2021527236.tif 000008
【図２】
2021527236.tif 000009
【図３】
2021527236.tif 000010
【図４】
2021527236.tif 000011
【図５】
2021527236.tif 000012
【図６（ａ）】
2021527236.tif 000013
【図６（ｂ）】
2021527236.tif 000014
【図７】
2021527236.tif 000015
【図８】
2021527236.tif 000016
【図９】
2021527236.tif 000017
【図１０】
2021527236.tif 000018
【図１１】
2021527236.tif 000019
【図１２】
2021527236.tif 000020
【図１３】
2021527236.tif 000021
【図１４】
2021527236.tif 000022
【図１５】
2021527236.tif 000023
【図１６】
2021527236.tif 000024
【図１７】
2021527236.tif 000025
【図１８】
2021527236.tif 000026
【図１９】
2021527236.tif 000027
【図２０】
2021527236.tif 000028
【図２１】
2021527236.tif 000029
【図２２】
2021527236.tif 000030
【図２３】
2021527236.tif 000031
【図２４】
2021527236.tif 000032
【手続補正書】
【提出日】令和3年2月9日(2021.2.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
客体に照射される出力光信号を出力する照明部と、
ＩＲ（ＩｎｆｒａＲｅｄ）フィルタ及び前記ＩＲフィルタ上に配置される少なくとも１枚のレンズを含み、前記客体から反射した入力光信号を集光するレンズ部と、
前記ＩＲフィルタの傾きを制御して、前記入力光信号の光経路をシフトさせるチルティング部と、
前記レンズ部により集光され、前記チルティング部によりシフトされた前記入力光信号から電気信号を生成するイメージセンサ部と、
前記出力光信号及び前記イメージセンサ部により受信された前記入力光信号の間の位相差を利用して前記客体の深さ情報を抽出する映像制御部と、
前記ＩＲフィルタの傾き情報を検出して、前記ＩＲフィルタの傾き情報を前記映像制御部に提供する検出部と、を含む、カメラモジュール。
【請求項２】
前記検出部は前記ＩＲフィルタと一体で動くマグネットの位置を検出するための第１ホールセンサと第２ホールセンサを含み、
前記第１ホールセンサと前記第２ホールセンサは、前記ＩＲフィルタの中心を基準として互いに９０°以上であり１８０°未満である角度をなすように配置される、請求項１に記載のカメラモジュール。
【請求項３】
前記第１ホールセンサと前記第２ホールセンサは、それぞれ前記ＩＲフィルタの外側面と対応する位置で前記マグネット及び前記ＩＲフィルタと離隔して配置される、請求項２に記載のカメラモジュール。
【請求項４】
前記第１ホールセンサと前記第２ホールセンサのうち一つは、前記ＩＲフィルタの側面で前記マグネットと所定の間隔で離隔して配置され、他の一つは、前記ＩＲフィルタの下で前記マグネットと所定の間隔で離隔して配置される、請求項２に記載のカメラモジュール。
【請求項５】
前記映像制御部は、
前記ＩＲフィルタの傾き情報を利用して前記入力光信号のシフト値を算出するシフト算出ユニットと、
前記シフト算出ユニットにより算出された前記入力光信号のシフト値をあらかじめ保存されたシフト値と比較する比較ユニットと、
前記入力光信号のシフト値と前記あらかじめ保存されたシフト値との間の差を利用して、前記客体の深さ情報を補正する補正ユニットと、を含み、
前記ＩＲフィルタの傾き情報は、前記第１ホールセンサ及び前記第２ホールセンサにより獲得される、請求項２に記載のカメラモジュール。
【請求項６】
前記シフト算出ユニットは、前記第１ホールセンサ及び前記第２ホールセンサにより検出された前記マグネットの位置に関する情報を利用して、前記ＩＲフィルタのＸ軸方向のチルティング値、Ｙ軸方向のチルティング値及びＺ軸方向のチルティング値を算出し、前記ＩＲフィルタの前記Ｘ軸方向のチルティング値、前記Ｙ軸方向のチルティング値及び前記Ｚ軸方向のチルティング値を利用して前記入力光信号のシフト値を算出する、請求項５に記載のカメラモジュール。
【請求項７】
前記チルティング部は、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）、ＶＣＭ（Ｖｏｉｃｅ  Ｃｏｉｌ  Ｍｏｔｏｒ）及び圧電素子の少なくとも一つを含む、請求項２に記載のカメラモジュール。
【請求項８】
前記チルティング部は、前記イメージセンサ部のサブピクセルの単位で、前記入力光信号の前記光経路をシフトさせ、前記サブピクセルは、０ピクセルより大きく、１ピクセルより小さい、請求項１に記載のカメラモジュール。
【請求項９】
前記ＩＲフィルタの傾き情報は、前記ＩＲフィルタと一体で動く前記マグネット及び前記第１ホールセンサと前記第２ホールセンサの少なくとも一つの間の距離情報を含む、請求項２に記載のカメラモジュール。
【請求項１０】
前記ＩＲフィルタの傾きが増加するに従い、前記ＩＲフィルタと一体で動く前記マグネット及び前記第１ホールセンサと前記第２ホールセンサの少なくとも一つの間の距離が増加する、請求項９に記載のカメラモジュール。
【請求項１１】
前記マグネットは、前記ＩＲフィルタの側面に配置される、請求項２に記載のカメラモジュール。
【請求項１２】
前記マグネットは、前記ＩＲフィルタの側面に塗布される磁性体である、請求項２に記載のカメラモジュール。
【請求項１３】
カメラモジュールによる深さ情報を抽出する方法において、
照明部が、客体に照射される出力光信号を出力する段階と、
レンズ部が、前記客体から反射した入力光信号を集光する段階と、
チルティング部が、前記レンズ部に含まれたＩＲフィルタの傾きを制御して前記入力光信号の光経路をシフトさせる段階と、
検出部が、前記ＩＲフィルタの傾き情報を検出する段階と、
イメージセンサ部が、集光されて、シフトされた前記入力光信号から電気信号を生成する段階と、
映像制御部が、前記出力光信号と前記イメージセンサ部により受信された前記入力光信号との間の位相差及び前記検出部により検出された前記ＩＲフィルタの傾き情報を利用して前記客体の深さ情報を抽出する段階と、を含む、深さ情報抽出方法。
【請求項１４】
前記ＩＲフィルタの傾き情報を検出する段階は、
前記ＩＲフィルタの中心を基準として互いに９０°以上であり１８０°未満である角度をなすように配置された第１ホールセンサ及び第２ホールセンサにより前記ＩＲフィルタと一体で動くマグネットの位置情報を検出する段階を含む、請求項１３に記載の深さ情報抽出方法。
【請求項１５】
前記客体の深さ情報を抽出する段階は、
前記マグネットの位置情報を用いて検出された前記ＩＲフィルタの傾き情報を利用して前記入力光信号のシフト値を算出する段階と、
前記入力光信号のシフト値を算出する段階で算出された前記シフト値をあらかじめ保存された値と比較する段階と、
前記算出されたシフト値と前記あらかじめ保存された値との間の差を利用して前記客体の深さ情報を補正する段階と、を含む、請求項１４に記載の深さ情報抽出方法。
【請求項１６】
前記入力光信号のシフト値を算出する段階は、検出された前記マグネットの位置に関する情報を利用して、前記ＩＲフィルタのＸ軸方向のチルティング値、Ｙ軸方向のチルティング値及びＺ軸方向のチルティング値を算出し、前記ＩＲフィルタの前記Ｘ軸方向のチルティング値、前記Ｙ軸方向のチルティング値及び前記Ｚ軸方向のチルティング値を利用して前記チルティング部のシフト値を算出する段階を含む、請求項１５に記載の深さ情報抽出方法。
【請求項１７】
前記チルティング部は、前記イメージセンサ部のサブピクセルの単位で、前記入力光信号の前記光経路をシフトさせ、前記サブピクセルは、０ピクセルより大きく、１ピクセルより小さい、請求項１３に記載の深さ情報抽出方法。
【請求項１８】
前記チルティング部は、マグネットアセンブリとコイルアセンブリを含み、前記マグネットアセンブリは、マグネットホルダー及び前記マグネットホルダー上に互いに所定の間隔で離隔して配置される複数のマグネットを含み、前記コイルアセンブリは、コイルホルダー及び前記複数のマグネットと対になるように前記コイルホルダー上に互いに所定の間隔で離隔して配置される複数のコイルを含む、請求項１に記載のカメラモジュール。
【請求項１９】
前記ＩＲフィルタは、ガラス層ホルダー及び前記ガラス層ホルダーにより支持されるガラス層を含み、前記ガラス層ホルダーは、前記マグネットホルダーの中空部に配置される、請求項１８に記載のカメラモジュール。
【請求項２０】
前記複数のマグネットは、前記ＩＲフィルタと一体で動く、請求項１８に記載のカメラモジュール。
【国際調査報告】
2021527236.tif 000033
2021527236.tif 000034
2021527236.tif 000035
2021527236.tif 000036