(57)【要約】  本発明は、少なくとも３つのカメラモジュール（２１、２２、２３、２４、２５）であって、各カメラモジュールが、解像度が１３メガピクセル以上のセンサ（３０）と、５ｍｍから７ｍｍであるセンサの感光面の対角線と、少なくとも１つの焦点距離値に対する最低開口がｆ／２．０である対物レンズ（４０）とを備えるカメラモジュールを備える写真撮影装置であって、それ自体の電源手段（１２）も有し、画面（５１）を備える携帯電話またはタブレットタイプの装置（５０）に剛性コネクタ（１５）を介して接続されることも可能で、画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置（５０）と通信するための手段も備え、以下の基準：写真撮影装置（１０）が携帯電話またはタブレットタイプの装置（５０）に接続されていないとき、最小の長方形の平行六面体であって、内部で装置（１０）が内接できる平行六面体の高さの最大値、幅の最大値および奥行きの最大値は、６５ｍｍ未満であり、これらの高さ、幅および奥行きの最小値は、２５ｍｍ未満であり、前記装置（１０）の体積は５８０００ｍｍ3未満であるという基準を満たす寸法も有し、前記センサの１つが撮影した少なくとも１つの画像内のノイズを低減するとともにテクスチャを維持するためのデジタル処理手段も備える、写真撮影装置（１０）に関する。【選択図】図１０
2016534610.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも３つのカメラモジュール（２１、２２、２３、２４、２５）であって、各カメラモジュールが、解像度が１３メガピクセル以上のセンサ（３０）と、
５ｍｍから７ｍｍである前記センサの感光面の対角線と、
少なくとも１つの焦点距離値に対する最低開口がｆ／２．０である対物レンズ（４０）と
を備えるカメラモジュールを備える写真撮影装置であって、
それ自体の電源手段（１２）も有し、画面（５１）を備える携帯電話またはタブレットタイプの装置（５０）に剛性コネクタ（１５）を介して接続することも可能で、
画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置（５０）と通信するための手段（１３）も備え、以下の基準：前記写真撮影装置（１０）が携帯電話またはタブレットタイプの装置（５０）に接続されていないとき、最小の長方形の平行六面体であって、内部で前記装置（１０）が内接できる前記平行六面体の高さの最大値、幅の最大値および奥行きの最大値は、６５ｍｍ未満であり、前記高さ、前記幅および前記奥行きの最小値は、２５ｍｍ未満であり、前記装置（１０）の体積は６５０００ｍｍ3未満であるという基準を満たす寸法も有し、
前記センサの１つが撮影した少なくとも１つの画像内のノイズを低減するためのデジタル処理手段も備える、
写真撮影装置（１０）。
【請求項２】
前記センサを用いて撮影したＰ×Ｎ個の画像の空間的合体および時間的合体によって、解像度が前記センサの解像度と同一である画像を生成できる計算手段を備えるデジタル処理手段を備え、この場合のＰおよびＮはゼロ以外の自然数であり、Ｎはカメラモジュールの数を表し、３以上である、請求項１に記載の写真撮影装置（１０）。
【請求項３】
自律的に実装され、かつ／または前記携帯電話または前記タブレットに内蔵された手段と組み合わされた手段であって、少なくとも１３メガピクセルの可視画像を生成するように構成された手段を備え、前記可視画像は、撮影されるシーンでの反射率が１８％である要素を有するように構成された露出を有し、前記要素は前記可視画像でダイナミックレンジの中間に達し、ダイナミックレンジの中間でのＳＮＲ（信号ノイズ比）が３５．５ｄＢ以上であり、ＳＦＲエッジとＳＦＲテクスチャとの値は、１０ルクス以下の照明レベルで照明されたシーンの１／３０秒以下の露出時間で画像撮影したものを元に、１０％未満の差があり、ナイキスト周波数の４分の１で１２０％以下であり、ナイキスト周波数の半分で５０％以上である、請求項１または２に記載の写真撮影装置（１０）。
【請求項４】
前記合体は、まず空間平面で実施され、その後、時間平面で実施される、請求項２に記載の写真撮影装置（１０）。
【請求項５】
前記カメラモジュールは一直線に配置され、その数Ｎは３である、請求項１〜４のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項６】
前記カメラモジュールは十字に配置され、その数Ｎは５である、請求項１〜４のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項７】
いくつかの前記カメラモジュールは、カラーセンサを使用するが、残りの前記カメラモジュールは、モノクロセンサを使用する、請求項１〜６のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項８】
画像のプレビューまたはポストビューができる画面がない、請求項１〜７のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項９】
画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置（５０）と通信するための前記手段（１３）は、前記写真撮影装置（１０）で取得した画像を携帯電話またはタブレットタイプの前記装置（５０）の前記画面上でプレビューするのを可能にする、請求項１〜８のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項１０】
画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置（５０）と通信するための前記手段（１３）は、携帯電話またはタブレットタイプの前記装置（５０）の前記画面を用いて前記写真撮影装置（１０）を制御するのを可能にする、請求項１〜９のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項１１】
画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置（５０）と通信するための前記手段（１３）は、携帯電話またはタブレットタイプの前記装置（５０）の前記画面を用いて前記写真撮影装置（１０）のパラメータを設定するのを可能にする、請求項１〜１０のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項１２】
前記合体を考慮に入れるノイズ低減手段を備える、請求項２に記載の写真撮影装置（１０）。
【請求項１３】
前記合体に用いられる前記計算手段は、携帯電話またはタブレットタイプの前記装置（５０）に遠隔から収容される、請求項２に記載の写真撮影装置（１０）。
【請求項１４】
デジタル処理動作が実施された後の前記可視画像の記録に加えて、またはその代わりに、生画像を記録する手段をさらに備える、請求項１〜１３のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項１５】
前記写真撮影装置（１０）の前記剛性コネクタ（１５）は、前記装置に対する向きを変えられるヒンジ内に設置される、請求項１〜１４のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項１６】
デジタル画像の安定化を可能にする画像処理手段を備える、請求項１〜１５のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項１７】
写真撮影および／または映像撮影される対象物の鮮鋭度を最大にするためのオートフォーカス機能を用いる、請求項１〜１６のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項１８】
前記オートフォーカス機能は、対象の前記物体を恒久的にフォーカスしたままになるように連続的に動作する、請求項１７に記載の写真撮影装置（１０）。
【請求項１９】
前記カメラモジュール（２１、２２、２３、２４、２５）から取得された前記画像の前記空間的合体のパラメータを修正することによって、前記画像の被写界深度を小さくし、撮像後の最初の被写界深度範囲内でフォーカスを調整することを可能にする手段を備える、請求項２に記載の写真撮影装置（１０）。
【請求項２０】
別々の露出で撮像するようにいくつかの前記カメラモジュール（２１、２２、２３、２４、２５）を別々に露出するための手段を備える、請求項１〜１９のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項２１】
前記記録を開始するためのボタン（１６）を備える、請求項１〜２０のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項２２】
前記記録を開始するための前記ボタン（１６）は、半押しと全押しとの２つの動作モードを有する、請求項２１に記載の写真撮影装置（１０）。
【請求項２３】
プログラム可能なプロセッサ（６０）を備える、請求項１〜２２のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項２４】
少なくとも１つの生画像を携帯電話またはタブレットタイプの前記装置（５０）に少なくとも１つの動作モードで伝送するための手段を備える、請求項１〜２３のうち少なくとも一項に記載の写真撮影装置（１０）。
【請求項２５】
請求項１〜２４のうち少なくとも一項に記載の写真撮影装置（１０）を使用する写真撮影方法であって、１／３０秒以下で１０ルクス以下の照明を含むシーンを撮影するステップと、１３メガピクセルよりも高い質の可視画像を生成するステップとを含み、前記画像は、撮影されるシーンでの反射率が１８％である要素を有するように構成された露出を有し、前記要素はダイナミックレンジの中間に達し、ダイナミックレンジの中間での信号ノイズ比（ＳＮＲ）が３５．５ｄＢ以上であり、ＳＦＲエッジとＳＦＲテクスチャとの値は、１０％未満の差があり、ナイキスト周波数の４分の１で１２０％以下であり、ナイキスト周波数の半分で５０％以上である、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器および写真撮影の分野に関する。
【０００２】
本発明は、さらに詳細には、複数のカメラモジュールを備え、携帯電話またはデジタルタブレットに接続できる写真撮影装置に関する。
【０００３】
以下の文書では、「タブレット」という用語は、プロセッサおよびタッチスクリーンを備えるデジタルタブレットを意味するために使用される。このようなタブレットの一例が、Ａｐｐｌｅ社が販売するｉＰａｄ（登録商標）、あるいはまた、Ｓａｍｓｕｎｇ社が販売するＧａｌａｘｙ  Ｔａｂ  ２（登録商標）である。
【０００４】
本発明による装置は、特に低照明または極めて低照明の状況で、レフタイプまたはＤＳＬＲ（Ｄｉｇｉｔａｌ  Ｓｉｎｇｌｅ  Ｌｅｎｓ  Ｒｅｆｌｅｘ、デジタル一眼レフ）タイプのカメラの品質と等しい写真撮影の品質を有する。本発明による装置は、極めて小型（常時使用できるように衣服のポケットに入る）で軽量である。本発明による装置は、電話またはタブレットと本発明による装置とを組み合わせたものを保持するために片手または両手を用いて同装置の画面を使用するために、剛性のコネクタを介して携帯電話またはタブレットに装着できるものである。本装置は、例えば被写界深度が大きいなどの新たな特徴も提供する。
【背景技術】
【０００５】
よく露出された画像（シーンの反射率が１８％であり、撮影された可視画像でダイナミックレンジの中間に達する要素）を極めて低照明の状況で撮影することは、シーンの環境を変更するフラッシュタイプの追加の光源を使用するか、感度の高いセンサおよび開口の広い対物レンズを備えた写真機器を使用して最大量の光を捕らえることが理論上必要であるが、このような機器は非常にかさばるので衣服のポケットには入らない。
【０００６】
いずれの場合でも、これによって、十分短い露出時間を使用して、画像内で動きぶれを制限できると思われる。３５ｍｍ判換算焦点距離値ｆに応じて使用できる最大露出時間Ｔを定義するのに一般的に許容される公式は、Ｔ＝１／ｆである（非特許文献１）。
【０００７】
現時点で固定合焦機器の基準と考えられている３５ｍｍ判換算焦点距離値は、２８ｍｍから３５ｍｍである。したがって、使用可能な最大露出時間は、１／２８秒から１／３５秒である。
【０００８】
追加の光源を使用することは、通常望ましくはない。なぜなら、それはシーンの低照明の雰囲気を変えてしまい、それによって写真を撮る個人が体験したシーンを再現できなくなるからである。
【０００９】
高感度のセンサおよび開口の広い対物レンズを備えた写真撮影機器は、一般に、交換可能な対物レンズを備えたレフカメラを指す。
【００１０】
この種の機器は、ノイズが少なく（信号ノイズ比（ＳＮＲ）が高い）、鮮鋭度およびテクスチャのレベルが高く（ＳＦＲエッジおよびＳＦＲテクスチャ値が高い）、ダイナミックレンジが極めて広いという極めて高質の画像を得ることを可能にする。
【００１１】
ＳＮＲを計算する際に使用されるようなノイズは、非特許文献２に記載されている「ビジュアルノイズ」から測定したような特徴とすることができる。このノイズの評価により、画像内の輝度およびクロミナンスの変化を同時に考慮することができる。
【００１２】
ＳＦＲエッジおよびＳＦＲテクスチャは、鮮鋭度とテクスチャとの２つの測定結果である。この２つの測定結果は、それぞれ「Ｅｄｇｅ  ａｃｕｔａｎｃｅ」および「Ｔｅｘｔｕｒｅ  ｂｌｕｒ」という見出しで同文献に記載されている。
【００１３】
しかしながら、この種の機器は重く扱いにくく、つまり、どのような状況でも常に自分の身の回りに持っておくことはできないということである。
【００１４】
さらに、極めて広い開口の使用と、大きいサイズのセンサの使用とを組み合わせると、被写界深度が小さくなり、フォーカスがさらに困難になる一方で、画像内の鮮鋭要素の数が減るということになる。
【００１５】
レフカメラまたはＤＳＬＲカメラタイプの写真撮影機器は先行技術で知られている。この種の機器は、かさばって重いという欠点がある。ＤＳＬＲカメラは、優良な質の画像（ＳＮＲが極めて良好で、テクスチャレベルが極めて良好）を得ることを可能にする。なぜなら、そのセンサのサイズが大きく（対角線が２２ｍｍ以上）、開口がｆ／２．０以上の対物レンズを装備できるからである。しかしながら、かさばって重いため、常に身に付けて持ち運ぶことはできない。その上、ほとんどの人にとってその費用は手が出ないものである。
【００１６】
携帯電話またはタブレットに内蔵された写真撮影機器も先行技術で知られている。現時点で販売されているほとんどの携帯電話またはタブレットは、画像およびビデオの撮影システムを内蔵している。それらを使用するため、携帯電話またはタブレットはそれほどかさばらない。つまり、衣服や鞄のポケットに入れてどこにでも持ち運べるということである。しかしながら、それが小型である故に、内蔵型カメラも小サイズである必要がある。したがって、センサは小サイズであり、センサの対角線は一般に７ｍｍ未満であり、光学系も小さく、その開口は最大でｆ／２．０である。センサが小サイズであることは、感度は低いが被写界深度は大きくなるということであり、これはすべてレフカメラまたはＤＳＬＲカメラと比較してのことである。光学系は小サイズである必要があるため、その開口は小さくなる。したがって、電話またはタブレットに組み込まれたカメラは、極めて低照明のシーンを満足に記録できる可能性が低くなる。この機器で見られる露出時間は、これらの条件下で約１／１５秒である。これは、上記で定義した最大時間よりも長く、これによって写真を動きぶれなしで撮ることができる。したがって、デフォルトで、低照明の状況では、電話またはタブレットは、動きぶれなしで撮像するためにフラッシュを使用する傾向がある。高解像度のビデオ録画の場合（ＨＤ１０８０ｐ以上のビデオフォーマット）、この１／１５秒の露出時間は、少なくとも毎秒２４画像のリフレッシュレートとは相容れない。
【００１７】
クリップオンカメラタイプの装置も先行技術から知られている。携帯電話にほとんど計画的にカメラが装備される以前は、メーカーによっては、電話に接続する外付けカメラモジュールを提供するところがあった。これらのモジュールは、光学ビューファインダ、ＶＧＡカメラおよびフラッシュを内蔵していた。これらによって電話にカメラ機能を追加できたが、写真を低照明状態で高解像度で撮ることはできなかった。
【００１８】
アクションカメラタイプの装置、例えばＧｏＰｒｏ（登録商標）が販売する装置なども先行技術から知られている。これらの装置は、電話またはタブレットに強固に接続されるようになってはいないが、どこにでも持ち運べるようにはなっていない。アクションカメラタイプの装置は、主にいわゆるスポーツ環境でビデオを撮ることを想定した装置である。これらの装置は、ケースとともに使用するように設計されている。低照明状態で高解像度の静止画像を撮像するように最適化されてはいない。その制御画面から遠隔操作するように設計されている。
【００１９】
無線装置を介して電話またはタブレットに接続された監視カメラタイプの装置も先行技術で知られている。これらの装置は、固定箇所に設置したままにしておくように想定され、電話またはタブレットは、遠隔から監視するためだけに使用される。同装置は、電話またはタブレットに物理的に装着されてはいないため、手に持って使用することはできない。
【００２０】
マトリクスカメラを使用する写真撮影システムも先行技術で知られている。例として、以下の会社が販売するシステムを挙げることができる：Ｌｙｔｒｏ、Ｐｅｌｉｃａｎ、ＲａｙｔｒｉｘおよびＴｏｓｈｉｂａ（登録商標）。これらのシステムは、重大な欠点がある。例えば、Ｌｙｔｒｏのシステムは、低解像度の出力（１ＭＰまたはメガピクセル）であり、最終画像を得るために撮像後の処理を必要とする。Ｐｅｌｉｃａｎのシステムは、複数（１６）の低解像度モノクロセンサを有する。Ｒａｙｔｒｉｘのシステムは、極めてかさばり、コンピュータに接続する必要がある。これらは中位の解像度（３メガピクセル）で、極めて高コストで、大衆に広く利用できるものではない。最後に、Ｔｏｓｈｉｂａのシステムは、主に距離を検出する（３Ｄの推定）ように設計され、高解像度の画像を出力するようには設計されていない。
【先行技術文献】
【非特許文献】
【００２１】
【非特許文献１】Ｘｉａｏ，Ｆ．Ｐｉｎｃｅｎｔｉ Ｊ．，Ｊｏｈｎ  Ｇ．ａｎｄ  Ｊｏｈｎｓｏｎ  Ｋ．，“Ｃａｍｅｒａ  ｍｏｔｉｏｎ  ａｎｄ  ｍｏｂｉｌｅ  ｉｍａｇｉｎｇ”，Ｐｒｏｃｅｅｄｉｎｇ  ｏｆ  Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｉｎｇ（２００７）
【非特許文献２】Ｄ．Ｂａｘｔｅｒ，Ｆ．Ｃａｏ，Ｈ．Ｅｌｉａｓｓｏｎ，Ｊ．Ｐｈｉｌｌｉｐｓ．Ｄｅｖｅｌｏｐｍｅｎｔ  ｏｆ  Ｉ３Ａ  ＣＰＩＱ  ｓｐａｔｉａｌ  ｍｅｔｒｉｃｓ．ＳＰＩＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｉｎｇ  ２０１２
【非特許文献３】Ｒｏｂｅｒｔ  Ｄ．Ｆｉｅｔｅ，“Ｍｏｄｅｌｉｎｇ  ｔｈｅ  Ｉｍａｇｉｎｇ  Ｃｈａｉｎ  ｏｆ  Ｄｉｇｉｔａｌ  Ｃａｍｅｒａｓ”，ＳＰＩＥ  Ｔｕｔｏｒｉａｌ  Ｔｅｘｔ  Ｖｏｌ．ＴＴ９２
【非特許文献４】Ａ．Ｂｕａｄｅｓ，Ｂ．Ｃｏｌｌ  ａｎｄ  Ｊ．Ｍｏｒｅｌ（２００５ｂ），‘Ａ  ｒｅｖｉｅｗ  ｏｆ  ｉｍａｇｅ  ｄｅｎｏｉｓｉｎｇ  ａｌｇｏｒｉｔｈｍｓ，ｗｉｔｈ  ａ  ｎｅｗ  ｏｎｅ’，Ｍｕｌｔｉｓｃａｌｅ  Ｍｏｄｅｌ．Ｓｉｍｕｌ．４，４９０−５３０
【非特許文献５】Ａ．Ｂｕａｄｅｓ，Ｂ．Ｃｏｌｌ  ａｎｄ  Ｊ．Ｍｏｒｅｌ（２００８ｂ），‘Ｎｏｎｌｏｃａｌ  ｉｍａｇｅ  ａｎｄ  ｍｏｖｉｅ  ｄｅｎｏｉｓｉｎｇ’，Ｉｎｔｅｒｎａｔ．Ｊ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ７６，１２３−１３９
【非特許文献６】Ｋ．Ｄａｂｏｖ，Ａ．Ｆｏｉ，Ｖ．Ｋａｔｋｏｖｎｉｋ  ａｎｄ  Ｋ．Ｅｇｉａｚａｒｉａｎ（２００７），‘Ｉｍａｇｅ  ｄｅｎｏｉｓｉｎｇ  ｂｙ  ｓｐａｒｓｅ  ３Ｄ  ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ  ｃｏｌｌａｂｏｒａｔｉｖｅ  ｆｉｌｔｅｒｉｎｇ’，ＩＥＥＥ  Ｔｒａｎｓ．Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  １６，２０８０−２０９５
【非特許文献７】Ｋ．Ｄａｂｏｖ，Ａ．Ｆｏｉ，Ｖ．Ｋａｔｋｏｖｎｉｋ  ａｎｄ  Ｋ．Ｅｇｉａｚａｒｉａｎ（２００９），ＢＭ３Ｄ  ｉｍａｇｅ  ｄｅｎｏｉｓｉｎｇ  ｗｉｔｈ  ｓｈａｐｅ−ａｄａｐｔｉｖｅ  ｐｒｉｎｃｉｐａｌ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ．Ｉｎ  Ｐｒｏｃ．Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｗｉｔｈ  Ａｄａｐｔｉｖｅ  Ｓｐａｒｓｅ  Ｓｔｒｕｃｔｕｒｅｄ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ：ＳＰＡＲＳ  ０９，ｖｏｌｕｍｅ  ４９
【非特許文献８】Ｌｉ  Ｚｈａｎｇ，Ｓｕｎｄｅｅｐ  Ｖａｄｄａｄｉ，Ｈａｉｌｉｎ  Ｊｉｎ，ａｎｄ  Ｓｈｒｅｅ  Ｎａｙａｒ，Ｍｕｌｔｉｐｌｅ  Ｖｉｅｗ  Ｉｍａｇｅ  Ｄｅｎｏｉｓｉｎｇ，Ｉｎ  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ｊｕｎｅ  ２００９
【非特許文献９】Ａ．Ｂｕａｄｅｓ，Ｙ．Ｌｏｕ，Ｊ．Ｍ  Ｍｏｒｅｌ，Ｚ．Ｔａｎｇ，Ａ  ｎｏｔｅ  ｏｎ  ｍｕｌｔｉ−ｉｍａｇｅ  ｄｅｎｏｉｓｉｎｇ，Ｌｏｃａｌ  ａｎｄ  Ｎｏｎ−Ｌｏｃａｌ  Ａｐｐｒｏｘｉｍａｔｉｏｎ  ｉｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ＬＮＬＡ  ２００９，ｐｐ：１−１５，２００９
【非特許文献１０】Ｊｅｏｎｇ−Ａ  Ｉｍ，Ｄａｅ−Ｗｏｏｎｇ  Ｋｉｍ＊，ａｎｄ  Ｋｉ−Ｓａｎｇ  Ｈｏｎｇ，Ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｓｔａｂｉｌｉｚａｔｉｏｎ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ＣＭＯＳ  ｉｍａｇｅ  ｓｅｎｓｏｒ  ｉｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，２００６  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ
【非特許文献１１】Ｇｒｅｅｎｌｅａｆ，Ａｌｌｅｎ  Ｒ．，Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｏｐｔｉｃｓ，Ｔｈｅ  ＭａｃＭｉｌｌａｎ  Ｃｏｍｐａｎｙ，Ｎｅｗ  Ｙｏｒｋ，１９５０，ｐｐ．２５−２７
【非特許文献１２】Ｌｅｖｏｙ，Ｍ．（２００６）．Ｌｉｇｈｔ  ｆｉｅｌｄｓ  ａｎｄ  ｃｏｍｐｕｔａｔｉｏｎａｌ  ｉｍａｇｉｎｇ．Ｃｏｍｐｕｔｅｒ，３９（８），４６−５５
【発明の概要】
【発明が解決しようとする課題】
【００２２】
したがって、本発明が対処する問題は、極めて低照明状態で、高解像度（１３Ｍｐｉｘ以上）の可視画像と、交換可能な対物レンズレフ（ＤＳＬＲ）カメラを使用して得られるものと同様またはそれ以上の画質とを提供すると同時に、かさばらずに軽量で、例えば（衣服や鞄の）ポケットに入れられる写真撮影装置を作製することである。
【課題を解決するための手段】
【００２３】
本発明の意味の範囲内では、低照明の環境とは、１０ルクスを下回るシーンの照明であると理解する。
【００２４】
本発明の意味の範囲内では、生画像とは、デモザイキング動作の前、かつカラーマトリクスおよびトーンカーブを適用する前にセンサから得られた画像に付けた名前である。生画像は、様々な色のピクセルで構成され、Ｂａｙｅｒフォーマット（例えば、偶数列に緑と赤のピクセルが交互に並び、奇数列に青と緑のピクセルが交互に並んでいる）または何らかの他のフォーマット（例えば白および／または緑および／または赤および／または青のピクセルからなる他の組み合わせ）であってよい。１つの別の形態では、生画像は、複数の、とりわけ４つの連続して撮影された生画像、または一連の生画像で構成されたビデオシーケンスで構成される。
【００２５】
本発明の意味の範囲内では、可視画像とは、カラー画像（ＹＵＶ、ＲＧＢまたはその他の符号化規格を用いたもので、圧縮されていてもされていなくてもよい）に付けた名前である。可視画像は、生画像のデジタル処理によって得られ、デモザイキングの動作ならびにカラーマトリクスおよびトーンカーブの適用を最小限含む。
【００２６】
可視画像を得るための生画像のデジタル処理は、一般に、以下のステップの全部または一部を必要とする。
−  黒化
−  欠陥ピクセルの補正
−  統計の計算、および露出、ホワイトバランスおよびオートフォーカスの推定
−  口径食およびカラー口径食の補正
−  ホワイトバランスの補正
−  生画像を空間的にフィルタリングすることによるノイズの低減
−  生画像を時間的にフィルタリングすることによるノイズの低減
−  デモザイキング
−  カラーマトリクス
−  トーンカーブ
−  ＹＵＶマトリクス
−  鮮鋭度フィルタ
−  カラーフリンジ低減フィルタ
−  可視画像を空間的にフィルタリングすることによるノイズの低減
−  可視画像を時間的にフィルタリングすることによるノイズの低減
−  別々に露出された画像を組み合わせることによるダイナミックレンジの増大
−  局所コントラストアルゴリズム（ローカルトーンマッピング）によるコントラストの増大。
【００２７】
これらのステップは、当業者には公知であり、とりわけ非特許文献３に記載されている。
【００２８】
以下のパラメータは、本発明による装置を設計する際に考慮されたものである。
・  Ｌ：シーンを照明するのに必要な光の量
・  Ｄ：寸法；および
・  Ｃ：コスト
【００２９】
本発明で望ましいのは、パラメータＬを最大にし、パラメータＤおよびＣを最小にすることである。
【００３０】
このようにするために、最も広義に許容される意味では、本発明は、少なくとも３つのカメラモジュールであって、各カメラモジュールが、解像度が１３メガピクセル以上のセンサと、５ｍｍから７ｍｍであるセンサの感光面の対角線と、少なくとも１つの焦点距離値に対する最低開口がｆ／２．０である対物レンズとを備えるカメラモジュールを備える写真撮影装置であって、それ自体の電源手段も有し、画面を備える携帯電話またはタブレットタイプの装置に剛性コネクタを介して接続することも可能で、画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置と通信するための手段も備え、以下の基準：写真撮影装置が携帯電話またはタブレットタイプの装置に接続されていないとき、最小の長方形の平行六面体であって、内部で装置が内接できる平行六面体の高さの最大値、幅の最大値および奥行きの最大値は、６５ｍｍ未満であり、これらの高さ、幅および奥行きの最小値は、２５ｍｍ未満であり、前記装置の体積は６５０００ｍｍ3未満であるという基準を満たす寸法も有し、前記センサの１つが撮影した少なくとも１つの画像内のノイズを低減するとともにテクスチャを維持するためのデジタル処理手段も備える、写真撮影装置に関する。
【００３１】
そのため、本発明による写真撮影装置は、低照明状態で高画質を有する。つまり、被写体に対して、最終のダイナミックレンジでの露出が平均的で、細部およびテクスチャが維持されてノイズレベルが低い。
【００３２】
装置の対物レンズの開口がより大きく、装置が有する複数のセンサの感度が、携帯電話またはタブレットタイプの前記装置の対物レンズおよびセンサと同等またはそれ以上であるため、かつ、オンボードでの画像処理により、写真撮影装置は、携帯電話またはタブレットタイプの前記装置よりも高い光感度を有する。
【００３３】
１つの実施形態によれば、前記装置は、センサを用いて撮影したＰ×Ｎ個の画像の空間的合体および時間的合体によって、解像度が前記センサの解像度と同一である画像を生成できる計算手段を備えるデジタル処理手段を備え、この場合のＰおよびＮはゼロ以外の自然数であり、Ｎはカメラモジュールの数を表し、３以上である。
【００３４】
有利には、前記装置は、少なくとも１３メガピクセルの可視画像を生成するために、自律的に実装され、かつ／または前記携帯電話もしくは前記タブレットに内蔵された手段と組み合わされた手段であって、可視画像は、撮影されるシーンでの反射率が１８％である要素を有するように露出され、その要素は可視画像でダイナミックレンジの中間に達し、ダイナミックレンジの中間でのＳＮＲ（信号ノイズ比）が３５．５ｄＢ以上であり、ＳＦＲエッジとＳＦＲテクスチャとの値は、１０ルクス以下の照明レベルで照明されたシーンの１／３０秒以下の露出時間で画像撮影したものを元に、１０％未満の差があり、ナイキスト周波数の４分の１で１２０％以下であり、ナイキスト周波数の半分で５０％以上である、手段を備える。
【００３５】
これらの手段により、本発明による装置は、１０ルクス以下で照明されたシーンに対してリフレッシュレートが毎秒３０画像以上の高解像度のビデオ（ビデオフォーマットがＨＤ１０８０ｐまたはそれ以上）を録画することができ、ビデオの各フレームは、録画されるシーンでの反射率が１８％である要素を有するように露出され、その要素はビデオ録画でダイナミックレンジの半分に達し、ダイナミックレンジの中間でのＳＮＲが３５．５ｄＢ以上であり、ＳＦＲエッジとＳＦＲテクスチャとの値は、１０％未満の差があり、ナイキスト周波数の４分の１で１２０％以下であり、ナイキスト周波数の半分で５０％以上である。
【００３６】
有利には、前記合体は、まず空間平面で実施され、その後、時間平面で実施される。
【００３７】
１つの実施形態によれば、前記カメラモジュールは一直線に配置され、その数Ｎは３である。
【００３８】
もう１つの実施形態によれば、前記カメラモジュールは十字に配置され、その数Ｎは５である。
【００３９】
好ましくは、いくつかの前記カメラモジュールは、カラーセンサを使用するが、残りのカメラモジュールは、モノクロセンサを使用する。
【００４０】
これによってより多くの光を捕らえることができる。
【００４１】
好ましくは、写真撮影装置は、画像のプレビューまたはポストビューができる画面がない。
【００４２】
画面がないことは、装置のサイズおよびコストを抑えられるということである。
【００４３】
１つの実施形態によれば、画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置と通信するための前記手段は、前記写真撮影装置で取得した画像を携帯電話またはタブレットタイプの前記装置の画面上でプレビューするのを可能にする。
【００４４】
有利には、画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置と通信するための前記手段は、携帯電話またはタブレットタイプの前記装置の画面を用いて前記写真撮影装置を制御するのを可能にする。
【００４５】
好ましくは、画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置と通信するための前記手段は、携帯電話またはタブレットタイプの前記装置の画面を用いて前記写真撮影装置のパラメータを設定するのを可能にする。
【００４６】
有利には、前記装置は、前記合体を考慮に入れるノイズ低減手段を備える。
【００４７】
１つの実施形態によれば、合体に用いられる前記計算手段は、携帯電話またはタブレットタイプの装置に遠隔から収容される。
【００４８】
１つの別の形態によれば、前記装置はさらに、デジタル処理動作が実施された後の可視画像の記録に加えて、またはその代わりに、生画像を記録する手段を備える。
【００４９】
１つの実施形態によれば、前記写真撮影装置の前記剛性コネクタは、前記装置に対する向きを変えられるヒンジ内に設置される。
【００５０】
好ましくは、前記写真撮影装置は、デジタル画像の安定化を可能にする画像処理手段を備える。
【００５１】
１つの別の形態によれば、前記写真撮影装置は、写真撮影および／または映像撮影される対象物の鮮鋭度を最大にするためのオートフォーカス機能を用いる。
【００５２】
１つの実施形態によれば、オートフォーカス機能は、対象の物体を恒久的にフォーカスしたままになるように連続的に動作する。
【００５３】
これにより、写真を撮る間の待ち時間を短縮することが可能になる。
【００５４】
１つの実施形態によれば、前記装置は、カメラモジュールから取得された画像の空間的合体のパラメータを修正することによって、画像の被写界深度を小さくし、撮像後の最初の被写界深度範囲内でフォーカスを調整することを可能にする手段を備える。
【００５５】
１つの実施形態によれば、前記装置は、別々の露出で撮像するようにいくつかの前記カメラモジュールを別々に露出するための手段を備える。そのため、空間的合体は、露出不足のカメラモジュールで撮影された画像からの高光度のデータを維持する一方で、露出過度のカメラモジュールで撮影された画像からの低光度のデータを維持するように設定される。この情報はその後、高ダイナミックレンジ（ＨＤＲ）の画像を作成するために組み入れられる。
【００５６】
１つの実施形態によれば、前記装置は、記録を開始するためのボタンを備える。
【００５７】
このボタンは、写真の撮影を開始するため、またはビデオ録画の開始を始めるために使用される。
【００５８】
１つの実施形態によれば、前記記録を開始するためのボタンは、半押しと全押しとの２つの動作モードを有する。
【００５９】
好ましくは、前記装置は、プログラム可能なプロセッサを備える。
【００６０】
１つの実施形態によれば、前記装置は、少なくとも１つの生画像を携帯電話またはタブレットタイプの前記装置に少なくとも１つの動作モードで伝送するための手段を備える。
【００６１】
本発明は、上記の写真撮影装置を使用する写真撮影方法であって、１／３０秒以下で１０ルクス以下の照明を含むシーンを撮影するステップと、１３メガピクセルよりも高い質の可視画像を生成するステップとを含み、前記画像は、撮影されるシーンでの反射率が１８％である要素を有するように露出され、その要素はダイナミックレンジの中間に達し、ダイナミックレンジの中間でのＳＮＲが３５．５ｄＢ以上であり、ＳＦＲエッジとＳＦＲテクスチャとの値は、１０％未満の差があり、ナイキスト周波数の４分の１で１２０％以下であり、ナイキスト周波数の半分で５０％以上である、方法にも関する。
【００６２】
本発明は、純粋に説明として以下に挙げた本発明の１つの実施形態についての説明を、図面を参照して読むことでよりよく理解されるであろう。
【図面の簡単な説明】
【００６３】
【図１】５つのカメラモジュールを十字に配置した本発明による写真撮影装置を示す図である。
【図２】カメラモジュールを３つ一直線に配置した本発明による写真撮影装置を示す図である。
【図３】本発明の１つの実施形態による写真撮影装置および最新の携帯電話に対して、照明に応じたダイナミックレンジの中間での信号ノイズ比を示す図である。
【図４Ａ】携帯電話タイプの装置に接続された本発明による装置を示す図である。
【図４Ｂ】デジタルタブレットタイプの装置に接続された本発明による装置を示す図である。
【図４Ｃ】携帯電話タイプの装置に接続された本発明による装置の背面図である。
【図４Ｄ】デジタルタブレットタイプの装置に接続された本発明による装置の背面図である。
【図５】センサおよび光学ユニットを備えるカメラモジュールを示す図である。
【図６】電話／タブレットタイプの装置に接続された本発明による写真撮影装置が人に保持されている図である。
【図７】電話／タブレットタイプの装置に接続された本発明による写真撮影装置が手で保持され、電話／タブレットタイプの装置の画面にプレビューがある図である。
【図８】カラーセンサの分光感度を示す図である。
【図９】ブラックセンサおよびホワイトセンサの分光感度を示す図である。
【図１０】電話／タブレットタイプの装置に接続された写真撮影装置の図であり、寸法が１０×１０×１０ｍｍである５つのカメラモジュールであって、各カメラモジュールが対物レンズおよびセンサを備えるカメラモジュールと、デジタル処理を含むプリント回路と、バッテリと、コネクタとを備える本発明による写真撮影装置の１つの実施形態の分解図である。
【図１１】丸石の形態である一実施形態における本発明による写真撮影装置の図である。
【図１２】「ｌｉｇｈｔｎｉｎｇ」タイプのコネクタを介してｉＰｈｏｎｅタイプ（Ａｐｐｌｅ社の登録商標）の装置に接続された一実施形態における本発明による写真撮影装置の図である。
【図１３】マイクロＵＳＢタイプのコネクタを介して携帯電話に接続された一実施形態における本発明による写真撮影装置の図である。
【図１４Ａ】ヒンジシステムにある本発明による写真撮影装置のコネクタの図である。
【図１４Ｂ】ヒンジ内で回転したコネクタの図である。
【図１５】丸石が閉じた形状の一実施形態における本発明による写真撮影装置の図である。
【図１６】丸石が開いた形状の一実施形態における本発明による写真撮影装置の図である。
【図１７】本装置がコネクタを保護するための取り外し可能なキャップを備えている一実施形態を示す図である。
【図１８Ａ】剛性コネクタが本発明による写真撮影装置内のヒンジに設置されている一実施形態を示す図である。
【図１８Ｂ】剛性コネクタが本発明による写真撮影装置内のヒンジに設置されている一実施形態を示す図である。
【発明を実施するための形態】
【００６４】
本発明は、複数のカメラモジュール２１、２２、２３、２４、２５を備える写真撮影装置であって、各カメラモジュールが、解像度が１３メガピクセル以上であるセンサ３０と、寸法が５ｍｍから７ｍｍであるセンサの感光面の対角線と、少なくとも１つの焦点距離値に対して最低でｆ／２．０まで開口する対物レンズ４０とを備えている写真撮影装置１０に関する。写真撮影装置１０は、剛性コネクタ１５を介して、画面を備える携帯電話またはタブレットタイプの装置５０に接続可能である。本発明による写真撮影装置はさらに、それ自体の電源手段１２を有し、画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置に通信するための手段を備える。さらに、本装置は、前記センサの１つが撮影した少なくとも１つの画像内のノイズを低減するとともにテクスチャを維持するためのデジタル処理手段１４を有する。
【００６５】
本発明による写真撮影装置１０は、ノイズを低減するとともにテクスチャを維持するためのデジタル処理手段を備える。図１０は、電話／タブレットタイプの装置に接続された写真撮影装置を示し、寸法が１０×１０×１０ｍｍである５つのカメラモジュールであって、各カメラモジュールが対物レンズ４０およびセンサ３０を備えるカメラモジュールと、デジタル処理手段１４を含むプリント回路と、バッテリ１２とコネクタ１５とを備える本発明による写真撮影装置の１つの実施形態の分解図である。
【００６６】
ノイズを低減するとともにテクスチャを維持するためのこれらのデジタル処理手段１４は、非特許文献４もしくは非特許文献５に記載されているようなローカル以外で平均値を計算するタイプのもの、または「ブロックマッチング３Ｄ」の計算タイプのもので、非特許文献６もしくは非特許文献７に記載されているようなものであってよい。
【００６７】
前記デジタル処理手段は、センサを用いて撮影したＰ×Ｎ個の画像の空間的合体および時間的合体によって、解像度が前記センサの解像度と同一である画像を生成できる計算手段を備え、この場合のＰおよびＮはゼロ以外の自然数であり、Ｎはカメラモジュールの数を表し、３以上である。
【００６８】
前記装置１０は、前記合体を考慮するノイズ低減手段を備えていることが好ましい。
【００６９】
１つの実施形態では、前記合体は、まず空間平面で実施されてから、時間平面で実施される。
【００７０】
装置の全カメラモジュールによって同時に撮影されたＮ個の画像の空間的合体は、非特許文献８に記載されているようなものであってよい。
【００７１】
空間的合体の出力として連続的に得られたＰ個の画像の時間的合体は、非特許文献９に記載されているようなものであってよい。
【００７２】
Ｍ＝Ｐ×Ｎ個の画像の合体により、絞りのゲイン
【００７３】
【数１】
2016534610.tif 000003
【００７４】
が可能になる。絞りが得られるたびにＳＮＲでは３ｄＢが得られる。そのため、カメラモジュールの感知面の対角線の寸法が６ｍｍである５つのセンサであって、各センサの体積が１ｃｍ3であるセンサを用いる一実施形態によれば、Ｎ＝５の画像の空間的合体およびＰ＝４の画像の時間的合体で７．５ｄＢのゲインが得られ、本発明による装置のサイズを縮小することが可能になる。実際、その際に得られる感度は、対角線の測定値が約３２ｍｍである単一のセンサの感度と同等（すなわち、センサおよび対物レンズは、ｘおよびｙの寸法が本発明のカメラモジュールの５倍）であり、これは、同じ被写界（すなわちｚ方向の大きさが４倍）を得るために焦点距離の長さが４倍である対物レンズを必要とする。低照明の状態で同じ性能を得るためには、光学モジュール（センサ＋対物レンズ）は、同じ感度に対して約１３倍かさばることになり（５ｃｍ3ではなくおよそ６４ｃｍ3）、装置をポケットに入れることはできなくなる。
【００７５】
有利には、時間的合体は、「ゴースト防止」機構として知られているものを使用し、この機構は、異なる画像要素どうしを区別することを可能にし、このようにしてこれらの画像要素が合体するのを避ける。時間的合体は、デモザイキングの前またはデモザイキングの後に画像上で実施されてよい。
【００７６】
有利には、１つのカメラモジュールの中心と、その最も近くにある隣のカメラモジュールの中心との間の隔たりは１１ｍｍ未満である。カメラモジュールの対物レンズの３５ｍｍ判換算焦点距離が２８ｍｍのとき、このことは、装置から１５ｃｍを超えて位置している物体の場合、各々のカメラモジュールで撮影された画像どうしの相違は、各センサで撮影された画像の幅の１０％未満の値に限定できるということを意味する。その結果、これによってこれらの画像のよりよい空間的合体が可能になる。
【００７７】
図１は、本発明による写真撮影装置１０を示し、前記カメラモジュール２１、２２、２３、２４、２５が十字に配置され、同カメラモジュールの数Ｎが５である一実施形態を示している。
【００７８】
図２は、本発明による写真撮影装置１０を示し、前記カメラモジュール２１、２２、２３が一直線に配置され、同カメラモジュールの数Ｎが３である一実施形態を示している。
【００７９】
１つの実施形態によれば、ノイズを低減するとともにテクスチャを維持するための前記デジタル処理手段は、少なくとも部分的に携帯電話またはタブレットタイプの装置に遠隔から収容される。この実施形態では、ビデオ録画用のビデオのデジタル処理のプレビュー（写真撮影前のビデオ表示で、視野を定めるためのもの）およびデジタル処理は、装置内で実施される。この実施形態では、静止画像処理は以下のように実施される。好ましくは、１つ以上の連続する生画像は携帯電話またはタブレットに伝送され、携帯電話またはタブレットは生画像を可視画像に変換し、これにはノイズ低減処理、例えば複数の画像の空間的合体および／または時間的合体、ならびに／またはテクスチャを維持した空間ノイズの低減が伴う。
【００８０】
代替案として、例えば様々なセンサによって撮影された生画像の空間的合体や、生画像を少なくとも２つの画像の可視画像に変換することなどの処理動作が装置内で実施され、例えば複数の画像の時間的合体および／またはテクスチャを維持した空間的なノイズ除去などのノイズを低減する後処理動作は、電話またはタブレットで実施される。
【００８１】
代替案として、１つ以上の連続する生画像または可視画像は、パーソナルコンピュータまたはサーバに伝送され、パーソナルコンピュータまたはサーバは、ノイズ低減処理動作を実行し、必要に応じて生画像を可視画像に変換する。
【００８２】
ノイズ低減処理は、センサのゲインに応じて事前に設定されるか、あるいはユーザの設定（ノイズ除去レベル、ホワイトバランス、コントラストなど）を計算に入れるパラメータを用いて自動的に実行されてよい。
【００８３】
電話またはタブレット内での処理は、主要プロセッサ上のソフトウェアによって、かつ／またはグラフィックプロセッサ上のソフトウェアによって、かつ／または画像処理に適した有線の計算手段もしくはプログラム可能な計算手段を備える構成要素を用いて実行されてよい。
【００８４】
代替形態では、前記装置により、デジタル処理を受けた可視画像の記録に加えて、またはその代わりに、生画像を記録することが可能になる。その際、装置のユーザは、自身が選択したデジタル処理を記録済みの生画像に適用できるようになる。ユーザは、例えば空間的合体および時間的合体を適用することができるようになり、装置に適用された画像よりも画像が多くまたは少なくなる。
【００８５】
図８は、カラーセンサの分光感度を示し、図９は、ブラックセンサおよびホワイトセンサの分光感度を示している。
【００８６】
有利には、前記カメラモジュールのいくつかはカラーセンサを使用し、それ以外はモノクロセンサを使用する。モノクロセンサは、感度がカラーセンサの少なくとも３倍である。なぜなら、モノクロセンサの各々のピクセルは可視光線のスペクトル帯域（３９０〜７００ｎｍ）全体にわたって光子を収集するのに対し、カラーセンサの場合、各ピクセルは、センサが記録する色に対応するスペクトル帯域の光子のみを収集するからである。これを図８および図９に示している。カラーフィルタの存在は、この同じスペクトル帯域での吸収低減にもつながる。したがって、モノクロセンサの各ピクセルは、カラーセンサのピクセルよりも多くの光を捕らえる。
【００８７】
図は、１つの実施形態では、本発明による写真撮影装置１０が記録を開始するためのボタン１７を備えていることも示している。
【００８８】
本発明による写真撮影装置１０は、以下の基準を満たす寸法を有する。最小の長方形の平行六面体であって、内部で前記装置１０が内接できる平行六面体の高さの最大値、幅の最大値および奥行きの最大値は、６５ｍｍ未満でなければならず、これらの高さ、幅および奥行きの最小値は、２５ｍｍ未満でなければならず、装置の体積は、６５０００ｍｍ3未満でなければならない。そのため、装置は鞄のポケットまたは衣服のポケットに容易に入る。これによってユーザは、極めて低照明状態で写真を撮ることができる高質のデジタルレフカメラである写真撮影装置を常に自分の手元に有することができ、これは特に、室内での写真撮影またはとりわけ子どもが動いているシーン向けに使用できるものである。この体積およびこれらの寸法内には、例えば図１０に示したように、５つのカメラモジュールであって、各カメラモジュールの寸法が約１ｃｍ3で、各カメラモジュールが、感知面の対角線が６ｍｍで、対物レンズの開口がｆ／２．０で、３５ｍｍ判換算焦点距離が２８ｍｍであるセンサを備える、カメラモジュールと、本発明によるノイズを低減するとともにテクスチャを維持するデジタル処理手段および通信手段を備える電子機器（電子機器はおよそ１０ｃｍ3）と、バッテリ（リチウムポリマー技術を用いる５Ｗｈの場合はおよそ１５ｃｍ3）と、剛性コネクタ（ヒンジ装置を含めておよそ１ｃｍ3）と、および機械構造（およそ１０ｃｍ3）とを収容することが可能である。
【００８９】
図４Ａは、１つの実施形態における携帯電話タイプの装置５０に接続された本発明による写真撮影装置１０を示している。図４Ｂは、１つの実施形態におけるデジタルタブレットタイプの装置５０に接続された本発明による写真撮影装置１０を示している。この携帯電話またはタブレットタイプの装置５０は、画面５１を備える。本発明による写真撮影装置１０は、携帯電話またはタブレットタイプの前記装置５０に強固に接続される。これは、可撓性ケーブルを使用する接続ではなく、むしろＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−ＦｉまたはＮＦＣタイプの無線接続である。
【００９０】
図４Ｃおよび図４Ｄは、携帯電話タイプの装置およびデジタルタブレットタイプの装置にそれぞれ接続された本発明による装置の背面図である。
【００９１】
強固な接続は、多くの形態を採用してよい。
・  本発明による装置に固定され、電話またはタブレットに付属の対応するコネクタに差し込まれる固定コネクタ、および／または
・  本発明による装置に固定され、ユーザが調節可能な方向でカメラの焦点を合わせられるように回転でき、電話またはタブレットに付属の対応するコネクタに差し込まれる固定コネクタ、および／または
・  例えばクリップを用いた機械的装着具。
・  コネクタは、ＵＳＢ、マイクロＵＳＢ、ｌｉｇｈｔｎｉｎｇまたは何らかの他の形態のコネクタとすることができる。
・  コネクタは、プレビュー段階（写真撮影前のビデオ表示で、視野を定められるもの）、および／またはビデオ記録過程および／または静止画像が撮影された後に、電話またはタブレットに画像を送ることができ、かつ／または電話からまたはタブレットから本発明による装置へコマンドを送ることができる。
【００９２】
強固な接続１５は、写真撮影装置１０と携帯電話またはタブレットタイプの装置５０とのアセンブリを片手で保持して、携帯電話またはタブレットタイプの装置５０を保持することを可能にする。強固な接続は、写真撮影装置１０および携帯電話またはタブレットタイプの装置５０を両手で保持し、片手で携帯電話またはタブレットタイプの装置５０を保持し、片手で写真撮影装置１０の写真撮影ボタン１７を押すことを可能にする。この強固な接続がなければ、片手に持ったカメラおよびもう片方の手で持った電話またはタブレットを用いて視野を定め、写真撮影することは極めて困難になる。
【００９３】
図５は、センサおよび光学ユニットを備えるカメラモジュールを示している。
【００９４】
図６は、この実施形態で本発明による写真撮影装置が人の手で保持されている図である。
【００９５】
強固な接続により、本発明による装置および電話またはタブレットを機械的に一つに固定でき、以下のために要求される電気信号を通すこともできる。
−  本発明による装置から電話またはタブレットへ画像を伝送して電話の画面またはタブレットの画面上で画像をプレビューするためであり、これらの画像をプログラム実行中に圧縮・復元して、電話またはタブレットと互換性のある、例えばＨ２６４またはＨ２６５／ＣＨＶＣなどのフォーマット向けにビットレートを低減することが可能であり、かつ／または
−  電話またはタブレットから本発明による装置へ、コマンドおよび／または制御、とりわけ、
・  写真を撮るためのコマンド：静止画像の撮影、ビデオ録画の開始／停止、
・  解像度の選択、
・  露出の選択：開口、露出時間、センサの感度、モード（開口を優先、露出時間を優先、感度を優先、手動、自動など）
・  ホワイトバランスの設定、
・  オートフォーカス設定（無効化、対象領域の選択など）、
・  画像安定性の設定、
・  シーンの種類の選択：自動、景色、肖像など、
・  その他のカメラ設定、
を伝送するためであり、かつ／または
−  本発明による装置から電話またはタブレットへ、コマンドおよび／または制御、とりわけ、
・  写真を撮影するためのコマンド、または本発明による装置にあり、携帯電話またはタブレットのアプリケーションに作用できるその他のコマンド、
・  シーンに関するデータであって、本発明による装置によって携帯電話またはタブレットに提供される画像に関する統計を元に、本発明による装置によって、かつ／または携帯電話によって、またはタブレットによって計算されたデータ、例えばホワイトバランスによって判定された光源、露出（露出時間、感度、ゲイン）、露出不足の警告、動きの警告、顔の存在および位置、シーンの種類など
を伝送するため。
【００９６】
１つの実施形態によれば、画像および／またはコマンドを携帯電話またはタブレットタイプの前記装置５０に通信する手段１３により、前記写真撮影装置１０によって撮影された画像を携帯電話またはタブレットタイプの前記装置５０の画面５１上でプレビューすることができる。そのため、ユーザは、本発明による装置が大画面のない小サイズでポケットに入れられるとしても、大画面の利点を享受できる。
【００９７】
図７は、携帯電話タイプの装置の画面上でのシーンのプレビューを示している。
【００９８】
１つの実施形態では、これらの手段１３により、前記写真撮影装置１０を携帯電話またはタブレットタイプの前記装置５０の画面５１を介して制御できる。そのため、ユーザは、本発明による装置がボタン数の少ない小サイズでポケットに入れられるとしても、多数のコマンドおよび設定の利点を享受する可能性がある。
【００９９】
１つの実施形態では、これらの手段１３により、携帯電話またはタブレットタイプの前記装置５０の画面５１を用いて前記写真撮影装置１０のパラメータを設定できる。そのため、ユーザは、本発明による装置がボタン数の少ない小サイズでポケットに入れられるとしても、複数のコマンドおよび設定の利点を享受できる。
【０１００】
１つの実施形態では、携帯電話またはタブレットタイプの装置５０は、次の３つのオペレーティングシステムのうちの１つを有する：Ａｎｄｒｏｉｄ、ｉＯＳまたはＷｉｎｄｏｗｓ  Ｐｈｏｎｅ（登録商標）。携帯電話またはタブレットタイプの前記装置５０の画面５１を用いるための本発明による前記写真撮影装置１０の手段１３は、携帯電話またはタブレットの上記３つのオペレーティングシステムで動作する能力がある。
【０１０１】
１つの実施形態では、前記装置１０は、プログラム可能なプロセッサ６０を備えている。
【０１０２】
図３は、本発明の１つの実施形態による写真撮影装置および露出時間１／３０秒の場合の現在の携帯電話またはタブレットに対する光に応じた信号ノイズ比を示すグラフである。
【０１０３】
本発明による写真撮影装置１０は、低照明状態で高画質であり、とりわけ、ダイナミックレンジの中間点に達する撮影シーンで反射率が１８％である要素を有するように露出された可視画像で測定した場合に、ノイズレベルが低減され、
・  １００ルクスのシーンでは、ダイナミックレンジの中間での信号ノイズ比（ＳＮＲ）は、本発明による写真撮影装置１０の場合は約４５．５ｄＢであり、現在の電話またはタブレットの場合は約２９ｄＢであり、
・  ２５ルクスのシーンでは、信号ノイズ比は、本発明による写真撮影装置１０の場合は約３９．５ｄＢであり、現在の電話またはタブレットの場合は約２３ｄＢであり、
・  １０ルクスのシーンでは、信号ノイズ比は、本発明による写真撮影装置１０の場合は約３５．５ｄＢであり、現在の電話またはタブレットの場合は約１９ｄＢである。
【０１０４】
本装置と現在の電話またはタブレットとの間にある１６．５ｄＢのゲインは、以下のように分解できる。
・  センサの感度がより高い：現在の電話またはタブレットはＲＧＢセンサを使用しており、このセンサの感光面の対角線の測定値は７ｍｍ未満である；写真撮影装置１０はＲＧＢセンサとモノクロセンサとの両方を使用しており、モノクロセンサの感度の方が３倍高い。センサ全体でピクセル数が同じ場合、ゲインは約３ｄＢになる。
・  ２０枚の画像の空間的合体および時間的合体：ゲインは絞り４．５、すなわち１３．５ｄＢである。
【０１０５】
図１１は、丸石の形態である一実施形態における本発明による写真撮影装置を示している。この形状でポケットに滑り込ませやすくなる。
【０１０６】
図１２は、ｌｉｇｈｔｎｉｎｇタイプのコネクタを介してｉＰｈｏｎｅ（Ａｐｐｌｅ社の登録商標）装置に接続された一実施形態における本発明による写真撮影装置を示している。このように、ｌｉｇｈｔｎｉｎｇタイプのコネクタは、その剛性コネクタとしての通常の通信機能に加えて使用され、これによって、電話またはタブレットおよび本発明による装置を機械的に一つに固定して、前述したように保持しやすく、写真撮影しやすくする。
【０１０７】
図１３は、マイクロＵＳＢタイプのコネクタを介してＡｎｄｒｏｉｄオペレーティングシステムで動作している電話またはタブレットに接続された一実施形態における本発明による写真撮影装置を示している。このように、マイクロＵＳＢコネクタは、その剛性コネクタとしての通常の通信機能に加えて使用され、これによって、電話またはタブレットおよび本発明による装置を機械的に一つに固定して、前述したように保持しやすく、写真撮影しやすくする。
【０１０８】
図１４Ａは、ヒンジシステムにある本発明による写真撮影装置のコネクタを示している。このように、ユーザは、本発明による装置のサイズが小さくポケットに入れられるとしても、方向変換可能な画面の利点を享受でき、これによって例えば自身の顔の高さよりも上で自身の腕を用いて水平に焦点を合わせて写真を撮ることが可能になる。
【０１０９】
図１４Ｂは、ヒンジ内で回転したコネクタを示している。
【０１１０】
図１８Ａおよび図１８Ｂは、剛性コネクタが装置１０内部のヒンジに設置されている一実施形態を示している。このヒンジにより、装置１０をコネクタ周りに回動させ、装置１０の向きを携帯電話またはタブレットタイプの装置５０に対して変更することができる。そのため、ユーザは、本発明による装置のサイズが小さくポケットに入れられるとしても、方向変換可能な画面の利点を享受でき、これによって例えば自身の顔の高さよりも上で自身の腕を用いて水平に焦点を合わせて写真を撮ることが可能になる。
【０１１１】
図１５は、丸石が閉じた形状である一実施形態における本発明による写真撮影装置を示している。この形状で、コネクタを保護した状態でポケットに滑り込ませやすくなる。
【０１１２】
図１６は、丸石が開いた形状の一実施形態における本発明による写真撮影装置を示している。この形状により、携帯電話またはタブレットタイプの装置５０にコネクタを挿入するためにコネクタにアクセスできる。
【０１１３】
図１０は、寸法が１０×１０×１０ｍｍである５つのカメラモジュールであって、各カメラモジュールが対物レンズおよびセンサを備えるカメラモジュールと、デジタル処理を含むプリント回路と、バッテリと、コネクタとを備える本発明による写真撮影装置の１つの実施形態の分解図である。
【０１１４】
図１６は、１つの実施形態によれば、記録を開始するためのボタン１６が押されるときに沿う軸が、剛性コネクタ１５の軸および装置を保持するのに使用される装置１０の点を含む平面内に位置していることを示している。したがって本装置は、手で保持しやすく、本発明による装置と携帯電話またはタブレットとによって形成されたアセンブリをしっかりと保持して写真を撮って、動きぶれを軽減できる。
【０１１５】
１つの実施形態では、本発明による前記写真撮影装置は、記録を開始するためのボタン１６を備えている。
【０１１６】
この記録を開始するためのボタン１６は、図１６に示されている。
【０１１７】
ボタンは、写真の撮影を開始するため、またはビデオ録画の開始を始めるために使用される。
【０１１８】
１つの実施形態では、記録を開始するための前記ボタンは、半押しと全押しとの２つの動作モードを有する。
【０１１９】
半押しモードは、例えば露出および／またはホワイトバランスおよび／または焦点を合わせるパラメータを現在値にロックすることを可能にする。１つのカメラモジュールのみがアンダーサンプリングした画像を取り込む低消費力プレビューモードから、カメラモジュールをすべて使用するフル解像度の画像取得モードに切り替えて、ノイズを低減するデジタル処理を実行できると同時に、Ｐ×Ｎ個の画像の空間的合体および／または時間的合体を用いてテクスチャを維持することも可能であり、Ｎは３以上の自然数であり、Ｐは１以上の自然数である。
【０１２０】
図１７は、本装置がコネクタ１５を保護するための取り外し可能なキャップを備えている１つの実施形態を示している。
【０１２１】
１つの実施形態では、本発明による装置１０は、撮影シーンでの反射率が１８％である要素を有するように露出された少なくとも１３メガピクセルの可視画像を生成するための手段を備え、その要素は可視画像でダイナミックレンジの中間に達し、ダイナミックレンジの中間でのＳＮＲが３５．５ｄＢ以上であり、ＳＦＲエッジとＳＦＲテクスチャとの値は、１０ルクス未満で照明されたシーンを１／３０秒以下で画像撮影したものを元に、１０％未満の差があり、ナイキスト周波数の４分の１で１２０％以下であり、ナイキスト周波数の半分で５０％以上である。この実施形態では、前記装置１０は、５つのカメラモジュールを備え、各カメラモジュールは、半分のナイキスト周波数でＭＴＦが５０％を上回る開口ｆ／２．０の対物レンズと、感光面の対角線の測定値が６ｍｍであるセンサ、例えばＳｏｎｙ  ＩＭＸ１３５センサとを備える。前記装置は、フラッシュがなく、装置に給電するためのバッテリを有し、例えば、外部コネクタを用いて、かつ／または誘導によって、かつ／または装置から取り除くことによって、かつ／または電話またはタブレットを介して、実施形態に応じてバッテリを再充電することが可能である。ノイズを低減するとともにテクスチャを維持するデジタル処理手段は、非特許文献７に記載のノイズ除去アルゴリズムと、非特許文献８に記載の空間的合体と、非特許文献９に記載されている、センサによって連続的に記録された４枚の画像に対して実施される時間的合体とで構成される。そのため、本発明による装置は、低照明状態で写真を取ることを可能にすると同時に、小サイズでポケットに入る。
【０１２２】
有利には、この実施形態では、装置１０は、高解像度（ビデオフォーマットがＨＤ１０８０ｐまたはそれ以上）のビデオを録画するためにこれらの手段を使用し、そのビデオは、１０ルクス以下で照明されたシーンに対するリフレッシュレートが毎秒３０画像以上で、そのビデオの各フレームは、録画されるシーンでの反射率が１８％である要素を有するように露出され、その要素はビデオ録画でダイナミックレンジの中間点に達し、ダイナミックレンジの中間でのＳＮＲが３５．５ｄＢ以上であり、ＳＦＲエッジとＳＦＲテクスチャとの値は、１０％未満の差があり、ナイキスト周波数の４分の１で１２０％以下であり、ナイキスト周波数の半分で５０％以上である。
【０１２３】
１つの実施形態では、前記写真撮影装置１０は、画像をプレビューまたはポストビューするための画面がない。これによって装置のサイズを縮小することが可能である。
【０１２４】
１つの実施形態では、前記写真撮影装置１０は、デジタル画像の安定化を可能にする画像処理手段を備える。これにより、かさばる光学安定化装置の必要性をなくすと同時に低照明状態での写真撮影の性能を向上させ、よりよい時間的合体を可能にし、それによってテクスチャを維持する性能を上げるとともにノイズを低減することを可能にすることによって、装置のサイズを縮小することが可能になる。
デジタル画像の安定化を可能にする画像処理手段は、非特許文献１０に記載されているようなものであってよい。
【０１２５】
非特許文献１１は、所与の光学系に関して鮮鋭度の最初の平面に対する距離Ｄｐおよび鮮鋭度の最後の平面に対する距離Ｄｄと、焦点を合わせる最適な距離とを計算する以下の式を提供している。
【０１２６】
【数２】
2016534610.tif 000004
【０１２７】
式中、
【０１２８】
【数３】
2016534610.tif 000005
【０１２９】
である。
ｆは対物レンズの焦点距離である。
ｓは光学系が焦点を合わせた距離である。
Ｎは光学系の開口である。
ｃは錯乱円の直径である。
被写界深度Ｐｃは、鮮鋭度の最初の平面と鮮鋭度の最後の平面との間の距離である。
【０１３０】
【数４】
2016534610.tif 000006
【０１３１】
本発明の文脈では、各カメラモジュールに対して、焦点距離は３．６５ｍｍよりも大きくなり、開口はｆ／２．０以上になり、ｃは２．２μｍ以下になる。
ｓの値が１ｍである場合、Ｄｐは０．７５ｍであり、Ｄｄは１．４９ｍであり、Ｐｃは０．７４ｍである。全カメラモジュールが同じ距離に焦点を合わせ、この焦点が合体過程で使用される全画像に対して変化しない場合、合体から生じる画像は、デフォルトで個々のカメラモジュールの被写界深度を有する。
本発明と同じくらい多くの光を取り入れるためのより大きい単一のセンサおよび／または開口のより大きい対物レンズを使用する系は、被写界深度が短くなる。したがって、本発明により、その被写界深度がより大きいために、焦点をより容易に合わせることが可能である。
【０１３２】
１つの実施形態によれば、前記装置は、カメラモジュールから取得された画像の空間的合体のパラメータを修正することによって、画像の被写界深度を小さくし、撮像後の最初の被写界深度範囲内でフォーカスを調整することを可能にし、これは、非特許文献１２に記載の通りである。
【０１３３】
１つの実施形態によれば、前記装置は、いくつかのカメラモジュールを別々に露出して別々の露出で撮像する。したがって、空間的合体は、露出不足のカメラモジュールで撮影された画像からの高光度のデータを維持する一方で、露出過度のカメラモジュールで撮影された画像からの低光度のデータを維持するように設定される。このデータはその後、高ダイナミックレンジ（ＨＤＲ）画像を作成するために組み入れられる。
【０１３４】
本発明は、例として上記に記載されている。当業者は、特許の範囲を逸脱しない限り、本発明を様々な異なる方法で実現できることを理解しなければならない。
【図１】
2016534610.tif 000007
【図２】
2016534610.tif 000008
【図３】
2016534610.tif 000009
【図４Ａ】
2016534610.tif 000010
【図４Ｂ】
2016534610.tif 000011
【図４Ｃ】
2016534610.tif 000012
【図４Ｄ】
2016534610.tif 000013
【図５】
2016534610.tif 000014
【図６】
2016534610.tif 000015
【図７】
2016534610.tif 000016
【図８】
2016534610.tif 000017
【図９】
2016534610.tif 000018
【図１０】
2016534610.tif 000019
【図１１】
2016534610.tif 000020
【図１２】
2016534610.tif 000021
【図１３】
2016534610.tif 000022
【図１４Ａ】
2016534610.tif 000023
【図１４Ｂ】
2016534610.tif 000024
【図１５】
2016534610.tif 000025
【図１６】
2016534610.tif 000026
【図１７】
2016534610.tif 000027
【図１８Ａ】
2016534610.tif 000028
【図１８Ｂ】
2016534610.tif 000029
【国際調査報告】
2016534610.tif 000030
2016534610.tif 000031
2016534610.tif 000032
2016534610.tif 000033
2016534610.tif 000034
2016534610.tif 000035