(57)【要約】  本発明は、写真画像及びビデオ画像を生成する分野に関する。デバイスであって、デバイスの筐体上に、筐体に相対するカメラモジュールの位置が変更され得るように設置されるカメラモジュールを有するデバイスが提供される。位置の１つである露出位置は、光を感光素子に投射して、画像を１つ又は複数のセンサで生成することができるように向けられる光学素子を含み、第２の位置は、折り畳みによりモバイルデバイスの筐体に接触し、且つモバイルデバイスの筐体に可能な限り近いことを含む。カメラモジュールの総厚さは、最も厚い光学要素又は感光素子の厚さにより構造的に制限される。デバイスは、感光素子から得られる画像のデジタル表現を処理する構造的要素を含む。カメラモジュールは、薄いレンズ及び／又はミラーの組の形態の光学要素と、１つ又は複数の感光素子、すなわち、感光ピクセルからなるセンサとを含む。カメラモジュールが複数のセンサ及び複数のレンズ群から構成される場合、別個の光フローが対応するセンサに向けられ、画像のデジタル表現を処理する手段は、センサから得られる画像を結合して、高められた品質の１つの画像を生成する。そのようなカメラモジュールを有するモバイルデバイスの使用により、小型のデバイス寸法を維持しながら、特に低光状況で高品質画像を生成することが可能になる。【選択図】図２
2017535807.tif 000002
【特許請求の範囲】
【請求項１】
１つ又は幾つかの感光素子（感光ピクセルからなるセンサ）と、前記感光素子から得られる画像をデジタル処理する手段とを含む、カメラモジュール内に配置される光学要素を有するモバイルデバイスにおいて、前記光学要素は、薄いレンズ、ミラー、又は両方の組として作られ、及び前記カメラモジュールは、前記モバイルデバイスのケース上に、前記ケースに相対するその位置が２つの位置に調整され得るように設置され、前記２つの位置のうちの一方は、光学要素が、光を感光素子に投射することができるように向けられ、それにより、１つ又は幾つかのセンサで画像を得ることができる露出位置であり、及び前記２つの位置のうちの第２の位置は、折り畳まれることにより前記ケースに可能な限り近く、且つ前記第２の位置では、前記カメラモジュールの総厚さは、前記光学要素又は感光素子のうちの最も厚いものの厚さにより構造的に制限されることを特徴とする、モバイルデバイス。
【請求項２】
請求項１に記載のモバイルデバイスにおいて、前記センサ及びレンズ群は、不透明区画により隔てられて、個々のセンサに向かう別個のレンズ群とは別個の光束を形成し、デジタル画像処理のための機構は、前記センサから得られる画像を結合して、１つの高品質画像を生成することを特徴とする、モバイルデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真撮影及びビデオ撮影の分野に関する。
【０００２】
現代のモバイルデバイスは広範囲の機能を有する。最も普及している機能の１つは、写真材料及びビデオ材料の記録である。モバイルデバイスを用いて写真を撮影し、ビデオを記録するために、カメラモジュールと呼ばれるユニットが使用される。カメラモジュールは、感光センサ、光学系レンズ、及び幾つかの場合ではフォーカス系の構成要素を組み込んでいる。
【０００３】
近年、近代のモバイルデバイス内のカメラモジュールの技術的特徴は明らかに改善した。光学品質（光学解像度は回折限界により制約される）及びセンサ性能（光子の電荷への変換は、１００％に近いレベルに達しつつある）に関しては、事実上、理論的な限界に達している。また、更なる限界  −  センサ内の個々の感光素子（ピクセル）の最小寸法  −  がある。近代のセンサでは、ピクセルのサイズは１μｍまで低減されており、これは、検出されている光の波長に相当する。回折限界に近いことにより、ピクセルサイズを更に低減しても画像解像度の増大には繋がらない。空間使用の限界にも達している。カメラモジュールの長さ及び幅は感光センサの寸法により制限され、カメラモジュールの高さはレンズ系（カメラレンズ）により制限される。高品質でクリアな画像を生成するには、多数の別個の要素を備える複雑なカメラレンズが必要とされる。
【０００４】
記録画像の品質の更なる改善は、感光素子（センサ）への光の透過を増大させることなく可能ではない。センサに達する光の最大量は、光学系の入射アパーチャの直径により制限される。入射アパーチャを増大させるには、カメラモジュールの幾何学的寸法を全体的に増大させる必要がある。したがって、幾何学的寸法は可動性要件により制限される。最大の制限は高さ（カメラモジュールの高さは、ベースデバイスの全体厚さを明らかに超えてはならない）に関連する。しかし、カメラモジュールの高さは、レンズ系内のレンズの全体厚さ及びレンズ間に必要なギャップに依存する。
【０００５】
以下は、モバイルデバイスのカメラモジュールに入る光量の低減から生じる基本的な問題の一覧である。
−  生成される画像での高レベルのノイズが全体の視覚的品質を下げる。
−  低照明では、長い露出時間を使用することが必要になり、それにより、ぶれが生じる。通常、カメラは手で持たれるため、写真ぶれは被写体の動きの結果のみならず、カメラ自体が動くことにもよる。
−  更に、小型のカメラモジュールは、それに比例してセンサで小さいピクセルを必要とする。その結果、ピクセルは、ドレーン前にわずかな電荷のみを保持することができ、これは、カメラが、大半のシーンに存在する高いダイナミックレンジを有する画像を欠点なく捕捉し得ないことを意味する。
【０００６】
以下の技術的解決策が、モバイルデバイスのカメラモジュールを用いて生成される画像の品質を改善するために利用可能である。
【０００７】
１．アレイカメラ。１つのデバイスに一緒にグループ化された幾つかのカメラモジュールを使用することにより、全てのセンサからの電荷を結合することで、入射光量を増大させることが可能である［米国特許出願公開第２０１１００８０４８７号明細書、Ｃａｐｔｕｒｉｎｇ  ａｎｄ  ｐｒｏｃｅｓｓｉｎｇ  ｏｆ  ｉｍａｇｅｓ  ｕｓｉｎｇ  ｍｏｎｏｌｉｔｈｉｃ  ｃａｍｅｒａ  ａｒｒａｙ  ｗｉｔｈ  ｈｅｔｅｒｏｇｅｎｅｏｕｓ  ｉｍａｇｅｒｓ，Ｋａｒｔｉｋ  Ｖｅｎｋａｔａｒａｍａｎ，Ａｍａｎｄｅｅｐ  Ｓ．Ｊａｂｂｉ，Ｒｏｂｅｒｔ  Ｈ．Ｍｕｌｌｉｓ，Ｊａｃｑｕｅｓ  Ｄｕｐａｒｒｅ，Ｓｈａｎｅ  Ｃｈｉｎｇ−Ｆｅｎｇ  Ｈｕ］。
【０００８】
この技法の１つの欠点は、カメラモジュールの全体コストがモジュール数に比例して増大することである。カメラモジュールが占めるスペース量も増大する。
【０００９】
２．効果的なノイズ低減アルゴリズム。最近、ノイズの多い画像でノイズから画像を分離することにおいて大きい進歩が達成された［米国特許第７８３５５８６号明細書、Ｍｅｔｈｏｄ  ｆｏｒ  ｆｉｌｔｅｒｉｎｇ  ｉｍａｇｅｓ  ｗｉｔｈ  ｂｉｌａｔｅｒａｌ  ｆｉｌｔｅｒｓ，Ｆａｔｉｈ  Ｍ．Ｐｏｒｉｋｌｉ］。
【００１０】
しかし、この方法は、信号対雑音比の制限によって厳しく制限される。コントラストの低い細部は、ノイズから分離ことが不可能である  −  すなわち、コントラストの低い細部はノイズ低減中に失われる。
【００１１】
３．マルチフレーム露出。幾つかの写真を高速で連続して撮影し、それらを結合することにより、画像ノイズを低減することができ、ダイナミックレンジを拡張することができ、解像度を潜在的に上げることができる［米国特許第８６９９８１４号明細書、Ｍｅｔｈｏｄ  ｆｏｒ  ｉｍｐｒｏｖｉｎｇ  ｉｍａｇｅｓ，Ｄｍｉｔｒｙ  Ｖａｌｅｒｉｅｖｉｃｈ  Ｓｈｍｕｎｋ，Ｅｕｇｅｎｅ  Ａｌｅｘａｎｄｒｏｖｉｃｈ  Ｐａｎｉｃｈ、米国特許出願公開第２０１３０１５６３４５号明細書、Ｍｅｔｈｏｄ  ｆｏｒ  ｐｒｏｄｕｃｉｎｇ  ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ  ｉｍａｇｅｓ  ａｎｄ  ｎｏｎｌｉｎｅａｒ  ｄｉｇｉｔａｌ  ｆｉｌｔｅｒ  ｆｏｒ  ｉｍｐｌｅｍｅｎｔｉｎｇ  ｓａｍｅ，Ｄｍｉｔｒｙ  Ｖａｌｅｒｉｅｖｉｃｈ  Ｓｈｍｕｎｋ］。
【００１２】
しかし、幾つかのフレームの結合は、合計露出時間を増大させ、移動被写体がぶれて見える等の全体に回避することができない問題を生じさせる。
【００１３】
折り畳み設計を使用することにより、カメラの全体サイズを低減する方法が長い間にわたり知られている［米国特許第１４３５６４６号明細書、Ｆｏｌｄｉｎｇ  ｃａｍｅｒａ，Ｒｏｂｅｒｔ  Ｋｒｏｅｄｅｌ］。
【００１４】
この設計の１つの欠点は、その簡素性により、アパーチャの小さい光学系（使用されるアパーチャはｆ／８〜ｆ／１１である）の使用を伴うことである。近代の高アパーチャ（ｆ／４〜ｆ／２）のシステム及び高解像度カメラを有する折り畳み構造を使用しようとするいかなる試みも、その輝度及びこのシステムに追加のスペースを割り振る必要性が欠点となる極度に複雑な設計に繋がる。複数の構成要素レンズからなる近代のカメラレンズは、レンズ及び感光素子の互いに対する精密な配置（位置合わせ、距離等）に関してきわめて要求が高い。複雑な折り畳み構造の追加は、それらの配置の精密さの有意な低減を必然的にもたらす。加えて、近代のデバイスでの折り畳み構造の使用は、多くの場合、典型的にモノリシック構造であり、且つ光学系の折り畳みが可能ではないフォーカス系によって光学系が囲まれているため、不可能である。
【００１５】
特に整形されたミラーの対が従来の光学系のレンズの組を置換するカメラモジュールが既知である［Ｅｒｉｃ  Ｊ．Ｔｒｅｍｂｌａｙ，Ｒｏｎａｌｄ  Ａ．Ｓｔａｃｋ，Ｒｉｃｋ  Ｌ．Ｍｏｒｒｉｓｏｎ，Ｊｏｓｅｐｈ  Ｅ．Ｆｏｒｄ，「Ｕｌｔｒａｔｈｉｎ  Ｃａｍｅｒａｓ  Ｕｓｉｎｇ  Ａｎｎｕｌａｒ  Ｆｏｌｄｅｄ  Ｏｐｔｉｃｓ」，Ａｐｐｌｉｅｄ  Ｏｐｔｉｃｓ，ｖｏｌ．４６，ｎｏ．４，１  Ｆｅｂｒｕａｒｙ  ２００７］。ミラーは互いに対向して配置される。系内のミラー間の複数の反射により、光路は、ミラー間の距離よりもはるかに長い。この方法は、感光素子に達する光量を増大させながら、カメラモジュールの厚さを有意に低減することができる。この解決策の更なる利点は、反射要素のみを使用するため、色収差がないことである。
【００１６】
この解決策の欠点は、被写界深度が低いことである。これは、光がミラーの周辺の狭い周縁を通って光学系に入るためである。別の欠点は、この解決策により捕捉される視野角が低いことである。最も需要が高い広角カメラモジュールを生成することは可能でない。
【００１７】
１つのレンズからなり、カメラモジュールの重量を大幅に低減することができる、提案される（プロトタイプ）に最も近い技術的解決策は、［Ｆｅｌｉｘ  Ｈｅｉｄｅ，Ｍｕｓｈｆｉｑｕｒ  Ｒｏｕｆ，Ｍａｔｔｈｉａｓ  Ｂ．Ｈｕｌｌｉｎ，Ｂｊｏｒｎ  Ｌａｂｉｔｚｋｅ，Ｗｏｌｆｇａｎｇ  Ｈｅｉｄｒｉｃｈ，Ａｎｄｒｅａｓ  Ｋｏｌｂ，「Ｈｉｇｈ−Ｑｕａｌｉｔｙ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｍａｇｉｎｇ  Ｔｈｒｏｕｇｈ  Ｓｉｍｐｌｅ  Ｌｅｎｓｅｓ」，ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ，ｖｏｌ．３２，ｎｏ．５，２０１３，１０  ｐａｇｅｓ，ＩＳＳＮ：０７３０−０３０１，ＥＩＳＳＮ：１５５７−７３６８，ＤＯＩ：１０．１１４５／２５１６９７１．２５１６９７４］に記載されている。１つの光学要素を使用することの結果として必然的に生じる収差は、生成される画像の後続のデジタル処理により相殺される。
【００１８】
この解決策の欠点は、幾つかの光学要素を１つの要素で置換することではカメラレンズのサイズが低減されないため、モバイルシステムで使用することができないことである。その結果、カメラモジュールの全体サイズは変わらない。写真撮影に使用される既知の折り畳み設計を追加することにより、この光学系のコンパクト性を強化することが可能であるが、これは、この解決策で必要とされるレンズ速度を達成するために、レンズをかなり厚くする必要があるため、必要とされる結果をもたらさない。
【発明の概要】
【００１９】
提案される解決策の目的は、デバイスの小型寸法を維持しながら、−  特に低光状況で  −  高品質画像が生成されることを可能にするカメラモジュールを使用するモバイルデバイスをもたらすことである。
【００２０】
提案される解決策の本質は以下の通りである：光学要素と、１つ又は幾つかの感光素子（感光ピクセルからなるセンサ）と、感光素子から得られる画像のデジタル表現を処理する手段とを組み込んだカメラモジュールを有するモバイルデバイスにおいて、光学要素は、薄いレンズ、ミラー、又は両方の組として作られ、及びカメラモジュールは、モバイルデバイスのケースに相対するモバイルデバイスの要素の位置が２つの位置に調整され得るように設置され、２つの位置のうちの一方は、光学要素が、光を感光素子に投射することができるように向けられ、それにより、１つ又は幾つかのセンサで画像を得ることができる露出位置であり、及び２つの位置のうちの第２の位置は、折り畳まれることによりケースに可能な限り近く、且つ第２の位置では、カメラモジュールの総厚さは、光学要素又は感光素子のうちの最も厚いものの厚さにより構造的に制限される。提案される解決策では、複雑な光学系が薄い光学要素の簡素な組で置換されており、画像における歪み（収差）（光学系の簡素化の回避不可能な結果である）は、デジタル画像処理ユニット内で補正される。少数の薄いレンズの使用により、システムを折り畳み可能にする可能性が生じる。レンズ及びセンサの位置合わせの精度要件は、不正確性を補償することが可能なデジタル画像処理技術を使用することにより有意に低減される。歪みを補正するために、例えば、［Ｆｅｌｉｘ  Ｈｅｉｄｅ，Ｍｕｓｈｆｉｑｕｒ  Ｒｏｕｆ，Ｍａｔｔｈｉａｓ  Ｂ．Ｈｕｌｌｉｎ，Ｂｊｏｒｎ  Ｌａｂｉｔｚｋｅ，Ｗｏｌｆｇａｎｇ  Ｈｅｉｄｒｉｃｈ，Ａｎｄｒｅａｓ  Ｋｏｌｂ，「Ｈｉｇｈ−Ｑｕａｌｉｔｙ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｍａｇｉｎｇ  Ｔｈｒｏｕｇｈ  Ｓｉｍｐｌｅ  Ｌｅｎｓｅｓ」，ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ，ｖｏｌ．３２，ｎｏ．５，２０１３，１０  ｐａｇｅｓ，ＩＳＳＮ：０７３０−０３０１，ＥＩＳＳＮ：１５５７−７３６８，ＤＯＩ：１０．１１４５／２５１６９７１．２５１６９７４］に記載されるデジタル画像処理アルゴリズムを使用することが可能である。カメラモジュールは、折りたたまれる場合、薄く、より大きい直径のレンズ及び感光素子の使用が可能になり、それにより、取り入れられる光が有意に増大する（レンズ直径の二乗に比例して）。
【図面の簡単な説明】
【００２１】
【図１】図１は、モバイルデバイス、（１０１）センサ、（１０２）光学要素、（１０３）光軸を示す補助線、及び（１０４）センサ面を示す。２つのレンズ群からそれぞれなる７つの光学系が画像を７つのセンサに投射するのに使用される。各系のレンズの特性は、全範囲の焦点距離を捕捉するように異なる。
【図２】図２は、７つの光学系のうちの１つを通る光線、（２０１）センサ、（２０２）光学要素、及び（２０３）系を通る光線を示す補助線を示す。
【図３】図３は、露出位置でのカメラモジュールがどのようにモバイルデバイスに配置されるかの例、（３０１）露出位置にあるカメラモジュール、（３０２）モバイルデバイスのケース、及び（３０３）デジタル画像処理ユニットがどのように配置されるかの例である。
【図４】図４は、モバイルデバイスで折り畳まれたカメラモジュールの例、（４０１）折り畳み位置でのカメラモジュール、（４０２）モバイルデバイスのケース、及び（４０３）デジタル画像処理ユニットがどのように配置されるかの例である。
【図５】図５は、デジタル画像処理が適用される前の画像の様々な部分での点広がり関数（ＰＳＦ）を示す。
【図６】図６は、デジタル画像処理が適用された後の画像の様々な部分のＰＳＦを示す。
【発明を実施するための形態】
【００２２】
提案されるデバイスを用いた写真記録及びビデオ記録は、以下のように行われる：カメラモジュールが、モバイルデバイスのケースに相対して露出位置に拡張する。この位置において、光学要素は、光を感光素子に投射するように向けられる。感光素子の露出は、必要とされる時間にわたり行われる。感光素子から得られる情報は、デジタル形態に変換され、デジタル画像処理ユニットにより処理される。デジタル画像処理ユニットは、露出中、カメラモジュールの光学系により生じる歪み、単色収差（球面収差、コマ収差、非点収差、及び像面湾曲）、色（横及び接線）収差、及びより高次の収差を補正する。デジタル画像処理ユニットは画質（鮮鋭度、コントラスト、色飽和等）も改善する。幾つかのフレームが捕捉される場合、又はビデオが記録される場合、各フレームに対してプロセスを繰り返す。
【００２３】
モバイルデバイスの運搬を容易にするために、カメラモジュールは折り畳まれ、これにより、光学要素及びセンサはモバイルデバイスのケースに可能な限り近く引き付けられる。このようにして、モバイルデバイスの寸法はあまり増大しない。
【００２４】
追加のフォーカス手段の必要性をなくすために、必要な数のセンサと対になった幾つかの光学要素群が使用される。各光学要素群及びそのセンサは、わずかに異なる焦点距離に構成される。各光学要素群は、単純な折り畳み機構を使用することができるように十分な距離だけ離間されて配置される少数の薄いレンズからなる。例えば、図２は、使用されている２つのレンズ群を示す。したがって、別個のセンサは、異なる距離で結像する画像を取得する。デジタル処理機構を使用して、利用可能な焦点距離から必要な焦点距離を選択するか、又は幾つかのセンサからの画像を使用することにより、中間距離でフォーカス画像が得られる。その結果、様々な距離での結像が必要とされる場合、レンズ位置を変更する追加の機構を使用する必要がない。光学系は有意に簡素化され、像面湾曲を補正する必要がなくなり、したがって、通常、色の歪みを補正する必要がなくなる。デジタル処理機構を用いて、各センサで最もフォーカスされたエリアを選択し、それらを結合して、鮮鋭で高品質な画像を得ることが可能である。
【００２５】
カメラモジュールの別の実施形態では、光学系は２つの要素  −  単純な主レンズ、及び主レンズによって生じる歪みを補正する、感光素子の近傍に配置されるマイクロレンズの組  −  を使用する。マイクロレンズは、所与のマイクロレンズでカバーされる画像の部分で生じる歪みを精密に補正するように設計される。しかし、画質は、マイクロレンズの縁部近傍に配置されるピクセルで低下する（これは、付近のマイクロレンズからの画像との交点及び他の要因によって生じる）。したがって、マイクロレンズの配置を変更したこれらの群の幾つかを使用し、続けてデジタル方法を使用することにより、様々なセンサからの画像部分を結合する必要がある。
【００２６】
以下の一般原理を使用するカメラモジュールの他の実施形態が可能であることを理解されたい：十分に大きい直径（モバイルデバイスのケース外に配置されるシステムにより可能になる）の薄いレンズからなる簡易化された光学系が高い光レベルを提供し、これが、感光素子から導出される画像のデジタル処理と組み合わされて、小型サイズのデバイスが高品質画像を生成することを可能にする。
【００２７】
本発明をもたらすために、薄いレンズ、ｆ／３．１アパーチャ、４０度視野、１３．２×８．８ｍｍセンサ、及び２．５μｍピクセルを有するＣｏｏｋｅトリプレットを使用したカメラモジュールをモデリングした。点広がり関数が、様々な波長で画像野全体にわたり得られた。図５は、デジタル処理前の点広がり関数をマッピングし、一方、図６は、デジタル処理後の点広がり関数をマッピングする。
【００２８】
感光素子の高さで旋回可能に取り付けられる４つの垂直支持体からなる単純な機構を使用して、カメラモジュールを退避させる。レンズは、光軸に垂直に延びる平面において支持体に旋回可能に固定される。折り畳まれると、支持体は水平位置に揺動する（図４に示されるように）。このようにして、レンズは感光素子と同じ平面上にコンパクト化され、構造全体の総厚さは、最も厚いレンズ以下のサイズに低減される。
【００２９】
モバイルデバイスで高品質画像を生成する提案される解決策の利点は、以下の通りである。
Ｉ．提案されるカメラモジュールの高さ（厚さ）は、モバイルデバイス内の市販のモジュールと同等であるが、カメラの感光素子に達する光量を劇的に増大させる（最大で２桁）。これにより、カメラは以下のことが可能になる。
１．露出時間を低減し、それにより画像ぶれに伴う問題を解決する。
２．生成される画像でのノイズ量を低減する（画質を改善し、ノイズ中で低コントラストの細部が失われることを回避する）。
３．重量を低減する（少数の薄いレンズからなる光学系は、カメラの総重量を有意に低減する）。
４．システムの全体厚さに影響しない状態で大きい感光素子（センサ）を使用する。
５．光学系の簡素性によるレンズ表面からの反射に起因した画像での光損失及びコントラスト損失を低減する。
６．ビデオ（マルチフレーム露出が使用される場合、実際的に不可能又はシステムをはるかに高価にする）を記録する。
ＩＩ．幾つかの感光素子が使用される場合、
−  フォーカスで時間が浪費されず（焦点距離は、最終画像を形成するセンサからの画像部分を選択するのに使用される方法を変更し、次にデジタル方法を通して画像部分を結合することにより調整され、これにより、撮影後、焦点距離及び被写界深度を選ぶことができる）、及び
−  深度マップを作成することができる。
【図１】
2017535807.tif 000003
【図２】
2017535807.tif 000004
【図３】
2017535807.tif 000005
【図４】
2017535807.tif 000006
【図５】
2017535807.tif 000007
【図６】
2017535807.tif 000008
【国際調査報告】
2017535807.tif 000009
2017535807.tif 000010