(57)【要約】  光路屈曲素子（optical path folding element，ＯＰＦＥ）が、物体または景色からの第１の光路を、屈曲式カメラのレンズの光軸と実質的に平行な第２の光路に屈曲させ、レンズ光軸の周りで回転可能な屈曲式デジタルカメラを含むパノラマ走査範囲を有するカメラ、およびそのようなカメラを組み込むシステム。
2020512581.tif 000002
【特許請求の範囲】
【請求項１】
ａ）画像センサ領域を有する画像センサを含む屈曲式デジタルカメラと、
ｂ）レンズ光軸を有するレンズと、
ｃ）物体または景色からの第１の光路を第２の光路に屈曲させる光路屈曲素子（optical path folding element，ＯＰＦＥ）と、を備え、
前記第２の光路は、前記レンズ光軸と実質的に平行であり、
前記ＯＰＦＥは画像センサに対して前記レンズ光軸の周りで回転可能であるカメラ。
【請求項２】
前記ＯＰＦＥは、１８０度までの角度で回転可能である請求項１に記載のカメラ。
【請求項３】
前記ＯＰＦＥは、３６０度までの角度で回転可能である請求項１に記載のカメラ。
【請求項４】
前記レンズ光軸の周りで回転可能である前記ＯＰＦＥは、複数の異なる画像を提供する、請求項１に記載のカメラ。
【請求項５】
前記複数の異なる画像は、パノラマビューの少なくとも一部を表す、請求項４に記載のカメラ。
【請求項６】
前記レンズは、前記画像センサ領域によって境界付けられたレンズ画像円を有する、請求項１に記載のカメラ。
【請求項７】
前記ＯＰＦＥは複数の位置に回転可能であり、
前記カメラは、各ＯＰＦＥ位置について前記レンズ画像円によって境界付けられた視野（field of view，ＦＯＶ）を有する、請求項６に記載のカメラ。
【請求項８】
変化するまたは適応する視野を有するビデオストリームを記録するように動作する、請求項１に記載のカメラ。
【請求項９】
前記レンズ光軸の周りで前記ＯＰＦＥを回転させるためのアクチュエータをさらに備える、請求項１に記載のカメラ。
【請求項１０】
前記アクチュエータは、ステップモータまたはボイスコイルモータを含む、請求項９に記載のカメラ。
【請求項１１】
前記ＯＰＦＥがプリズムである、請求項１に記載のカメラ。
【請求項１２】
前記レンズは、屈曲式レンズである、請求項１〜１１のいずれか１項に記載のカメラ。
【請求項１３】
前記レンズは、前記ＯＰＦＥに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記ＯＰＦＥと共に回転可能である、請求項１〜１１のいずれか１項に記載のカメラ。
【請求項１４】
前記屈曲式レンズは、前記ＯＰＦＥに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記ＯＰＦＥと共に回転可能である、請求項１２に記載のカメラ。
【請求項１５】
第１の視野（field of view，ＦＯＶ）を有する第１の屈曲式デジタルカメラを備え、
前記第１の屈曲式デジタルカメラは、
第１のレンズ光軸を有する第１のレンズと、
第１の画像センサと、
物体または景色からの第１の光路を第２の光路に畳む第１の光路屈曲素子（optical path folding element，ＯＰＦＥ）と、を含み、
前記第２の光路は、前記レンズ光軸と実質的に平行であり、
前記第１のＯＰＦＥは、前記第１の画像センサに対して前記第１のレンズ光軸の周りで回転可能であるプラットフォーム。
【請求項１６】
前記第１のＦＯＶよりも大きい第２のＦＯＶを有する第２の屈曲式デジタルカメラをさらに備える、請求項１５に記載のプラットフォーム。
【請求項１７】
第２のレンズ光軸を有する第２のレンズと、物体または景色からの前記第１の光路を前記第２の光路に屈曲させる第２のＯＰＦＥとを含む第２の屈曲式デジタルカメラをさらに備え、
前記第２のＯＰＦＥは、第２のレンズ光軸の周りで回転可能である、請求項１５に記載のプラットフォーム。
【請求項１８】
前記第１のレンズ光軸および前記第２のレンズ光軸は平行である、請求項１７に記載のプラットフォーム。
【請求項１９】
前記プラットフォームがモバイル機器である、請求項１５に記載のプラットフォーム。
【請求項２０】
前記第１の屈曲式デジタルカメラは、モバイル機器エッジに近い側に配置され、
前記第１の屈曲式カメラは、約１８０度のパノラマビューを取得するように動作可能である、請求項１９に記載のプラットフォーム。
【請求項２１】
前記第１の屈曲式カメラは、前記モバイル機器の正面カメラとして動作可能である、請求項２０に記載のプラットフォーム。
【請求項２２】
前記第１の屈曲式カメラは、前記モバイル機器の背面カメラとして動作可能である、請求項２０に記載のプラットフォーム。
【請求項２３】
前記プラットフォームはモバイル機器であり、
前記第１の屈曲式デジタルカメラおよび前記第２の屈曲式デジタルカメラは、モバイル機器のエッジにそれぞれ近い反対側に配置され、
前記第１の屈曲式カメラおよび前記第２の屈曲式カメラのそれぞれは、約１８０度のパノラマビューを取得するように動作可能である、請求項１７に記載のプラットフォーム。
【請求項２４】
前記第１の屈曲式カメラおよび前記第２の屈曲式カメラの各々は、前記モバイル機器の正面カメラまたは背面カメラとして動作可能である、請求項２３に記載のプラットフォーム。
【請求項２５】
前記第１の屈曲式カメラおよび前記第２の屈曲式カメラの各々は、前記モバイル機器の背面カメラとして動作可能である、請求項２３に記載のプラットフォーム。
【請求項２６】
前記レンズは、前記ＯＰＦＥに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記ＯＰＦＥと共に回転可能である、請求項１５〜２５のいずれか１項に記載のプラットフォーム。
【請求項２７】
前記レンズは、屈曲式レンズである、請求項１５〜２５のいずれか１項に記載のプラットフォーム。
【請求項２８】
前記モバイル機器は、スマートフォンまたはタブレットである、請求項１９〜２５のいずれか１項に記載のプラットフォーム。
【請求項２９】
前記モバイル機器は、スマートフォンまたはタブレットである、請求項２６に記載のプラットフォーム。
【請求項３０】
前記モバイル機器は、スマートフォンまたはタブレットである、請求項２７に記載のプラットフォーム。
【請求項３１】
前記プラットフォームは、飛行ドローンである、請求項１５〜１８のいずれか１項に記載のプラットフォーム。
【請求項３２】
少なくとも１つのＯＰＦＥは、少なくとも１８０度回転するように動作可能である、請求項３１に記載のプラットフォーム。
【請求項３３】
前記プラットフォームは、テレビセットである、請求項１５〜１８のいずれか１項に記載のプラットフォーム。
【請求項３４】
前記プラットフォームは、個人用電子機器である、請求項１５〜１８のいずれか１項に記載のプラットフォーム。
【請求項３５】
前記プラットフォームは、車両システムである、請求項１５〜１８のいずれか１項に記載のプラットフォーム。
【請求項３６】
前記第１のカメラは、前記第１のＦＯＶを自律的に変更するように動作可能である、請求項１５、２０または２１のいずれか１項に記載のプラットフォーム。
【請求項３７】
ａ）画像センサと、レンズ光軸を有するレンズと、物体または景色からの第１の光路を第２の光路に屈曲させる光路屈曲素子（optical path folding element，ＯＰＦＥ）とを含む屈曲式デジタルカメラであって、前記第２の光路が前記レンズ光軸と実質的に平行であり、前記屈曲式デジタルカメラが本来の向きを有する、屈曲式デジタルカメラを提供するステップと、
ｂ）前記第１の光路を所望の第１の方向に設定するために、前記画像センサに対して、第１の回転方向に前記レンズ光軸の周りで前記ＯＰＦＥを回転させるステップと、
ｃ）画像を撮影するステップと、
を含む方法。
【請求項３８】
画像を撮影する前記ステップで撮影された撮影画像を、前記本来の向きに戻すようにデジタル的に回転させるステップをさらに含む、請求項３７に記載の方法。
【請求項３９】
前記第１の光路を所望の第１の方向に設定するために第１の回転方向に前記レンズ光軸の周りで前記ＯＰＦＥを回転させる前記ステップは、前記第１の光路を１８０度までの第１の範囲内の複数の所望の第１の方向に設定するために、前記ＯＰＦＥを回転させるステップを含み、
画像を撮影する前記ステップは、前記複数の所望の第１の方向のそれぞれの方向で画像を撮影し、それによって、調和する（matching）第１の複数の撮影画像を取得するステップを含む、請求項３７に記載の方法。
【請求項４０】
前記第１の複数の撮影画像から第１のパノラマ画像を構成するステップをさらに含む、請求項３９に記載の方法。
【請求項４１】
前記第１の光路を前記第１の範囲とは反対の１８０度までの第２の範囲内の複数の所望の第２の方向に設定するために、前記第１の回転方向とは反対の第２の回転方向に前記レンズ光軸の周りに前記ＯＰＦＥを回転させるステップをさらに含み、
画像を取得する前記ステップは、前記複数の所望の第２の方向のそれぞれの方向で画像を撮影し、それによって、調和する第２の複数の撮影画像を取得するステップを含む、請求項３９に記載の方法。
【請求項４２】
前記第１の複数の撮影画像から第２のパノラマ画像を構成するステップをさらに含む、請求項４１に記載の方法。
【請求項４３】
前記第１のパノラマ画像および前記第２のパノラマ画像を結合パノラマ画像に結合することをさらに含む、請求項４２に記載の方法。
【請求項４４】
前記レンズは前記ＯＰＦＥに固定して取り付けられ、
前記画像センサに対して、前記第１の回転方向に前記レンズ光軸の周りで前記ＯＰＦＥを回転させる前記ステップは、前記ＯＰＦＥと共に前記レンズを回転させるステップを含む、請求項３７〜４３のいずれか１項に記載の方法。
【請求項４５】
前記レンズは、屈曲式レンズである請求項３７〜４３のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願の参照〕
本出願は、２０１７年３月１５日に出願された米国仮特許出願第６２／４７１，６６２号および２０１７年９月２０日に出願された米国仮特許出願第６２／５６０，６８４号の利益を主張し、これらの両方は、その全体が参照により本明細書に組み込まれる。
【０００２】
〔分野〕
本明細書に開示される実施形態は、一般に、カメラに関し、特に、屈曲式光学系を有するデジタルカメラに基づくカメラに関する。
【背景技術】
【０００３】
〔背景〕
「屈曲式カメラ（folded camera）」または「屈曲式カメラモジュール（folded camera module）」とも呼ばれる屈曲式光学系を有するコンパクトデジタルカメラが知られている（出願人の共同所有の国際特許出願ＰＣＴ／ＩＢ２０１６／０５２１７９参照）。このような屈曲式カメラは、レンズと、光路屈曲素子（optical path folding element，ＯＰＦＥ）（通常はプリズムまたはミラー）と、画像センサとを含む。ＯＰＦＥは、物体または景色からＯＰＦＥまでの第１の軸に沿った第１の光路を、第１の軸に実質的に直交する第２の軸に沿った第２の光路に屈曲させる。第２の軸は、レンズおよび屈曲式カメラの光軸でもある。いくつかのＯＰＦＥは、第１の軸の周り、または第１および第２の軸の両方に直交する第３の軸の周りに傾斜または回転するように設計される。ＯＰＦＥがレンズの光軸の周りを回転することが知られている屈曲式カメラは知られていない。また、１８０度以上のパノラマ走査が可能な、屈曲式デジタルカメラに基づくカメラも知られていない。
【発明の概要】
【０００４】
〔概要〕
様々な例示的な実施形態で、パノラマ走査範囲を有する屈曲式デジタルカメラに基づくカメラが提示される。いくつかの実施形態で、以下でより詳細に説明するようなパノラマ走査範囲を有する１つ以上のカメラを、プラットフォームに組み込むことができる。本明細書で用いられる「プラットフォーム」という用語は、１個の製造物を示す（「システム」としても示される）。プラットフォームは、スマートフォンまたはタブレットコンピュータ（または、単に「タブレット」）、飛行ドローン、テレビ（ＴＶ）セットまたはディスプレイ、個人用電子機器（personal electronic device，ＰＥＤ）、車両システム（車両）などのモバイル機器であってもよい。パノラマ走査範囲を有するカメラの各々は、１８０度まで又は３６０度までのパノラマビューを提供することができる。スマートフォンまたはタブレットに組み込まれる場合、パノラマ走査範囲を有する屈曲式カメラは、スマートフォンまたはタブレットのエッジに配置されてもよく、スマートフォンまたはタブレットの正面カメラまたは背面カメラのいずれかとして使用され得る。
【０００５】
いくつかの実施形態では、上記のようなパノラマ走査範囲を有するカメラがデュアル開口（デュアルカメラ）構成で非屈曲式カメラと一緒に組み込まれてもよい。デュアル開口構成は、スマートフォンまたはタブレット、飛行ドローン、テレビセット、他のＰＥＤなどのモバイル機器、および／または車両システムなどの他のデバイス／システムに含まれ得る。
【０００６】
例示的な実施形態では、画像センサ領域を有する画像センサと、レンズ光軸を有するレンズと、物体または景色からの第１の光路を第２の光路に屈曲させるＯＰＦＥとを含む屈曲式デジタルカメラを備え、前記第２の光路は前記レンズ光軸と実質的に平行であり、前記ＯＰＦＥは画像センサに対して前記レンズ光軸の周りで回転可能であるカメラが実現される。いくつかの実施形態では、ＯＰＦＥはプリズムであってもよい。他の実施形態では、ＯＰＦＥはミラーであってもよい。
【０００７】
例示的な実施形態では、前記ＯＰＦＥが１８０度までの角度で回転可能である。
【０００８】
例示的な実施形態では、前記ＯＰＦＥが３６０度までの角度で回転可能である。
【０００９】
例示的な実施形態では、前記レンズ光軸の周りの前記ＯＰＦＥの回転が、複数の異なる画像を提供する。
【００１０】
例示的な実施形態では、前記複数の異なる画像が、パノラマビューの少なくとも一部を表す。
【００１１】
例示的な実施形態では、前記レンズが前記画像センサ領域によって境界付けられたレンズ画像円を有する。
【００１２】
例示的な実施形態では、前記ＯＰＦＥが複数の位置を有し、前記カメラが各ＯＰＦＥ位置について前記レンズ画像円によって境界付けられた視野（field of view，ＦＯＶ）を有する。
【００１３】
例示的な実施形態では、カメラが、変化するまたは適応する視野を有するビデオストリームを記録するように動作可能である。
【００１４】
いくつかの例示的な実施形態では、カメラが、前記レンズ光軸の周りで前記ＯＰＦＥを回転させるためのアクチュエータをさらに備える。前記アクチュエータは、ステップモータまたはボイスコイルモータであってもよい。
【００１５】
いくつかの例示的な実施形態では、前記レンズが屈曲式レンズ（folded lens）である。
【００１６】
いくつかの例示的な実施形態では、前記レンズが前記ＯＰＦＥに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記ＯＰＦＥと共に回転可能である。
【００１７】
いくつかの例示的な実施形態では、前記屈曲式レンズがＯＰＦＥに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記ＯＰＦＥと共に回転可能である。
【００１８】
例示的な実施形態では、第１の視野（field of view，ＦＯＶ）を有する第１の屈曲式デジタルカメラを備え、前記第１の屈曲式デジタルカメラは、第１のレンズ光軸を有する第１のレンズと、第１の画像センサと、物体または景色からの第１の光路を第２の光路に屈曲させる第１のＯＰＦＥとを含み、前記第２の光路は前記レンズ光軸と実質的に平行であり、前記第１のＯＰＦＥは第１の画像センサに対して前記第１のレンズ光軸の周りで回転可能であるプラットフォームが提供される。
【００１９】
いくつかの例示的な実施形態では、プラットフォームが、前記第１のＦＯＶよりも大きい第２のＦＯＶを有する第２の屈曲式デジタルカメラをさらに備える。いくつかの例示的な実施形態では、前記第１の屈曲式デジタルカメラが前記第１のＦＯＶを自律的に変更するように動作可能である。
【００２０】
いくつかの例示的な実施形態では、プラットフォームが、第２のレンズ光軸を有する第２のレンズと、物体または景色からの第１の光路を第２の光路に屈曲させる第２のＯＰＦＥとを含む第２の屈曲式デジタルカメラをさらに備え、前記第２のＯＰＦＥは第２のレンズ光軸の周りで回転可能である。このようなプラットフォームの例示的な実施形態では、前記第１のレンズ光軸および前記第２のレンズ光軸は平行である。
【００２１】
いくつかの例示的な実施形態では、前記プラットフォームはモバイル機器である。いくつかのそのような実施形態では、前記第１の屈曲式デジタルカメラがモバイル機器エッジに近い側に配置され、前記第１の屈曲式カメラは約１８０度のパノラマビューを取得するように動作可能である。いくつかのそのような実施形態では、前記第１の屈曲式カメラが前記モバイル機器の正面カメラとして動作可能である。いくつかのそのような実施形態では、前記第１の屈曲式カメラが前記モバイル機器の背面カメラとして動作可能である。いくつかの例示的な実施形態では、前記モバイル機器がスマートフォンまたはタブレットである。
【００２２】
いくつかの例示的な実施形態では、前記プラットフォームがモバイル機器であり、第１の屈曲式デジタルカメラおよび前記第２の屈曲式デジタルカメラが、モバイル機器のエッジにそれぞれ近い反対側に配置され、第１の屈曲式カメラおよび前記第２の屈曲式カメラのそれぞれが、約１８０度のパノラマビューを取得するように動作可能である。いくつかのそのような実施形態では、前記第１の屈曲式カメラおよび前記第２の屈曲式カメラの各々が、前記モバイル機器の正面カメラまたは背面カメラとして動作可能である。いくつかのそのような実施形態では、前記第１の屈曲式カメラおよび前記第２の屈曲式カメラの各々が、前記モバイル機器の背面カメラとして動作可能である。
【００２３】
いくつかの例示的な実施形態では、前記レンズが前記ＯＰＦＥに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記ＯＰＦＥと共に回転可能である。いくつかの例示的な実施形態では、前記レンズが屈曲式レンズである。
【００２４】
いくつかの例示的な実施形態では、前記プラットフォームが飛行ドローンである。いくつかの飛行ドローンの実施形態では、少なくとも１つのＯＰＦＥが少なくとも１８０度回転するように動作可能である。
【００２５】
いくつかの例示的な実施形態では、前記プラットフォームはテレビセットである。
【００２６】
いくつかの例示的な実施形態では、前記プラットフォームは個人用電子機器である。
【００２７】
いくつかの例示的な実施形態では、前記プラットフォームは車両システムである。
【００２８】
いくつかの例示的な実施形態では、画像センサと、レンズ光軸を有するレンズと、物体または景色からの第１の光路を第２の光路に屈曲させるＯＰＦＥとを含む屈曲式デジタルカメラであって、前記第２の光路が前記レンズ光軸と実質的に平行であり、前記カメラが本来の向きを有する屈曲式デジタルカメラを提供するステップと、前記第１の光路を所望の第１の方向に設定するために、画像センサに対して、第１の回転方向に前記レンズ光軸の周りで前記ＯＰＦＥを回転させるステップと、画像を撮影するステップとを含む、方法が提供される。
【００２９】
例示的な方法の実施形態では、方法が、画像を撮影する前記ステップで撮影された撮影画像を、本来の向きに戻すようにデジタル的に回転させるステップをさらに含む。
【００３０】
いくつかの例示的な方法の実施形態では、前記第１の光路を所望の第１の方向に設定するために第１の回転方向に前記レンズ光軸の周りで前記ＯＰＦＥを回転させる前記ステップは、前記第１の光路を１８０度までの第１の範囲内の複数の所望の第１の方向に設定するために、前記ＯＰＦＥを回転させることを含み、画像を撮影する前記ステップは、前記複数の所望の第１の方向のそれぞれの方向で画像を撮影し、それによって、調和する第１の複数の撮影画像を取得するステップを含む。そのような方法の一実施形態では、前記方法が前記第１の複数の撮影画像から第１のパノラマ画像を構築するステップをさらに含む。
【００３１】
いくつかの例示的な方法の実施形態では、方法が、前記第１の光路を前記第１の範囲とは反対の１８０度までの第２の範囲内の複数の所望の第２の方向に設定するために、前記第１の回転方向とは反対の第２の回転方向に前記レンズ光軸の周りで前記ＯＰＦＥを回転させるステップをさらに含み、画像を撮影する前記ステップが、前記複数の所望の第２の方向のそれぞれの方向で画像を撮影し、それによって、調和する第２の複数の撮影画像を取得するステップを含む。いくつかのそのような方法の実施形態では、前記方法が第１の複数の撮影画像から第２のパノラマ画像を構築するステップをさらに含む。１つのそのような方法の実施形態では、前記方法が第１のパノラマ画像および前記第２のパノラマ画像を結合パノラマ画像に結合するステップをさらに含む。
【００３２】
いくつかの方法の実施形態では、前記レンズが前記ＯＰＦＥに固定して取り付けられ、前記第１の光路を所望の第１の方向に設定するために、前記センサに対して、第１の回転方向に前記レンズ光軸の周りで前記ＯＰＦＥを回転させる前記ステップが、前記ＯＰＦＥと共に前記レンズを回転させるステップを含む。
【００３３】
いくつかの方法の実施形態では、レンズは屈曲式レンズである。
【図面の簡単な説明】
【００３４】
本明細書に開示される実施形態の非限定的な例は、この段落の後に列挙される、本明細書に添付される図面を参照して以下に記載される。２つ以上の図に現れる同一の構造、要素、または部分は、それらが現れるすべての図において、一般に同じ数字でラベル付けされる。図面および説明は、本明細書に開示された実施形態を解明し明確にすることを意図しており、決して限定するものとみなされるべきではない。
【００３５】
【図１Ａ】本開示の主題に係る、等角図における屈曲式カメラを含むパノラマ走査範囲を有するカメラの例示的実施形態を概略的に示す。
【図１Ｂ】「ゼロ」プリズム位置にある図１Ａの屈曲式カメラを示す。
【図１Ｃ】図１Ａの屈曲式カメラを示し、そのプリズムは、屈曲式カメラの光軸の周りで、ゼロ位置から３０度回転されている。
【図１Ｄ】１８０度回転した後のＯＰＦＥを示す。
【図１Ｅ】本開示の主題に係る、レンズがプリズムに固定的に取り付けられた屈曲式カメラを含むパノラマ走査範囲を有するカメラの別の例示的な実施形態を概略的に示す。
【図１Ｆ】本開示の主題に係る、屈曲式レンズを有する屈曲式カメラを含むパノラマ走査範囲を有するカメラのさらに別の例示的実施形態を概略的に示す。
【図２Ａ】画像円よりも小さく、画像円によって境界付けられた矩形画像センサを概略的に示す。
【図２Ｂ】画像円よりも大きく、画像円の境界付けられた正方形の画像センサを概略的に示す。
【図３Ａ】本開示の主題に係る、パノラマビューを走査および取得するためのパノラマ走査範囲を有するカメラの使用を示す。
【図３Ｂ】図３Ａのパノラマビューの１６個の別個の画像セクションを示し、各画像セクションは、それぞれの画像円と、９：１６の矩形によって画定されるそれぞれの切り取られた領域とを有する。
【図３Ｃ】パノラマ画像にステッチされた図３Ｂの画像セクションを示す。
【図４Ａ】本開示の主題に係る、パノラマ走査範囲を有するカメラを含むスマートフォンの例示的な実施形態を異性体図で示す。
【図４Ｂ】図４Ａのスマートフォンのセクションの拡大切り取りを示す。
【図４Ｃ】本開示の主題に係る、直立カメラを有するデュアル開口カメラと、パノラマ走査範囲を有する屈曲式カメラ有するカメラとを含むスマートフォンの例示的な実施形態を異性体背面図で示す。
【図４Ｄ】図４Ｃのスマートフォンのセクションの拡大切り取りを示す。
【図５Ａ】本開示の主題に係る、２つの屈曲式カメラを有するパノラマ走査範囲を有するカメラを含むスマートフォンの例示的な実施形態を異性体図で示す。
【図５Ｂ】図５Ａのスマートフォンの背面図を示す。
【図６Ａ】図１Ａのような屈曲式カメラを含むパノラマ走査範囲を有するカメラを搭載する飛行ドローンを頂部から等角図で示す。
【図６Ｂ】図６Ａのドローンを底側から等角図で示す。
【図６Ｃ】図６Ｂに示された部分の拡大を示す。
【図６Ｄ】図６Ａの切断Ａ−Ｂに沿った図６Ａのドローンの側面図を示す。
【図７Ａ】パノラマ走査範囲を有する２つのカメラを搭載する飛行ドローンを底側から見た等角図であり、各カメラは、図１Ａのような屈曲式カメラを備える。
【図７Ｂ】側面図から図７Ａのドローンを示す。
【図８Ａ】本開示の主題に係る、直立カメラと共に図１Ａのような屈曲式カメラを備えるパノラマ走査範囲を有するカメラを含むＴＶセットの正面図を示す。
【図８Ｂ】正面図で図８ＡのＴＶセットの隅部拡大図を示す。
【図８Ｃ】異性体図で図８ＡのＴＶセットの隅部拡大図を示す。
【図９Ａ】ＦＯＶＷ上の第１ＦＯＶＴ位置について、自律的ＦＯＶＴ追跡中にＴＶに含まれるデュアルカメラ構成におけるＦＯＶＴおよびＦＯＶＷの（ａ）第１のユーザによって見られる画面、および（ｂ）第２のユーザによって見られる画面を示す。；
【図９Ｂ】図９Ａと同じ画面を示すが、ただし、ＦＯＶＷ上の第２の位置のＦＯＶＴについて。
【図９Ｃ】図９Ａと同じ画面を示すが、ただし、ＦＯＶＷ上の第３の位置のＦＯＶＴについて。
【発明を実施するための形態】
【００３６】
以下の詳細な説明では、完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、本開示の主題は、これらの特定の詳細なしに実施されてもよいことが当業者によって理解されるのであろう。他の例では、本開示の主題を曖昧にしないように、周知の方法は詳細に説明されていない。
【００３７】
明確にするために、別個の実施形態の文脈で説明される、本開示の主題の特定の特徴は、単一の実施形態において組み合わせて提供されてもよいことが理解される。反対に、簡略化のために単一の実施形態の文脈で説明されている、本開示の主題の様々な特徴は別個に、または任意の適切な組み合わせで提供されてもよい。
【００３８】
本明細書で開示される「処理ユニット」という用語は、データ処理回路を有する任意の種類の電子機器を含むように広く解釈されるべきである。これには、例えば、様々なデータ処理動作を実行することができるコンピュータメモリ（例えば、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など）に動作可能に接続されたコンピュータ処理機器を含む。
【００３９】
さらに、明確にするために「実質的に」という用語は、本明細書では許容範囲内の値の変動の可能性を暗示するために使用される。一例によれば、本明細書で使用される「実質的に」という用語は、任意の指定された値を上回るまたは下回る１０％までの可能な変動を暗示すると解釈されるべきである。別の一例によれば、本明細書で使用される「実質的に」という用語は、任意の指定された値を上回るまたは下回る５％までの可能な変動を暗示すると解釈されるべきである。さらなる一例によれば、本明細書で使用される用語「実質的に」は、任意の指定された値を上回るまたは下回る２．５％までの可能な変動を暗示すると解釈されるべきである。
【００４０】
以下の本文において、「デジタル回転」は光学素子の物理的回転を記述するために使用される単なる「回転」から区別するために、ソフトウェアによる画像回転を記述するために使用される。
【００４１】
図１Ａは、１００と番号付けされた屈曲式カメラ（「屈曲式カメラモジュール」とも呼ばれる）の例示的な実施形態を等角図で概略的に示す。図示の直交Ｘ‐Ｙ‐Ｚ座標（「軸」）系は、以下のすべての図面にも適用される。この座標系は例示的なものである。カメラ１００は、レンズアセンブリ（または単に「レンズ」）１０２と、光路屈曲素子（optical path folding element，ＯＰＦＥ）１０４と、画像センサ１０６とを含む。ＯＰＦＥ１０４は、（例示的な座標系における）Ｘ軸に実質的に平行な軸１０８に沿った第１の光路を（例示的な座標系における）Ｚ軸に実質的に平行な軸１１０に沿った第２の光路に屈曲させる。第１の光路は、物体、景色、またはパノラマビューセクション１１４からＯＰＦＥまでである。軸１１０はレンズ１０２の光軸である。画像センサ１０６は、軸１１０と（平行に）整列した平面法線を有する。すなわち、画像センサ１０６は、第１の光路に実質的に直交する平面内に概ね位置する平面物体内に位置する。画像センサ１０６は、出力画像を出力する。出力画像はデモザイク処理、ホワイトバランス処理、レンズシェーディング補正処理、不良ピクセル補正処理、およびＩＳＰ設計の技術分野で知られている他の処理のために、画像信号プロセッサ（ＩＳＰ‐図示せず）によって処理することができる。いくつかの実施形態では、ＩＳＰが画像センサ１０６の一部であってもよい。光軸１１０は、本明細書では「屈曲式カメラ光軸」とも呼ばれる。
【００４２】
いくつかの実施形態では、カメラ１００は、フォーカス機構またはオートフォーカス（ＡＦ）機構（図示せず）をさらに含むことができ、これにより、レンズ１０２を軸１１０に沿って移動（または「シフト」または「作動」）させることができるので、様々な距離にある物体からの画像を画像センサ１０６上に焦点を合わせることができる。簡単のために、ＡＦのみを参照して説明を続けるが、通常の（手動の）フォーカスもカバーすることを理解されたい。ＡＦ作動機構は、典型的にはボイスコイルモータ（ＶＣＭ）タイプ、すなわち「ＶＣＭアクチュエータ」である。このような作動機構は、当技術分野で知られており、例えば出願人の共同所有の国際特許出願ＰＣＴ／ＩＢ２０１５／０５６００４および国際特許出願ＰＣＴ／ＩＢ２０１６／０５５３０８に開示されている。しかし、これは非限定的な例であり、ＡＦ機構は、ステッピングモータ、形状記憶合金（ＳＭＡ）アクチュエータ、または当技術分野で知られている他のタイプなど他のタイプであってもよい。いくつかの実施形態では、カメラ１００は、ＡＦ起動機構に加えてまたは代わりに、光学画像安定化（ＯＩＳ）作動機構（図示せず）を含んでもよい。ＯＩＳは例えば、Ｘ‐Ｙ平面内の２つの方向にレンズをシフトさせ、Ｚ方向及びＸ方向の周りのカメラ１００の傾斜を補償することによって達成されてもよい。自由度（ＤＯＦ）３のＯＩＳ＋フォーカス作動機構（ＯＩＳについて２運動およびＡＦについて１が行われる）は典型的には、ＶＣＭタイプのものであり当技術分野で知られており、例えば国際特許出願ＰＣＴ／ＵＳ２０１３／０７６７５３および米国特許出願２０１４／０３２７９６５に開示されている。コンパクトな屈曲式カメラにおけるオートフォーカスおよびＯＩＳに関するさらなる情報は、本出願人の共同所有の国際特許出願ＰＣＴ／ＩＢ２０１６／０５２１４３、ＰＣＴ／ＩＢ２０１６／０５２１７９およびＰＣＴ／ＩＢ２０１６／０５３３３５に見出すことができる。
【００４３】
既知の屈曲式カメラモジュール（例えば、ＰＣＴ／ＩＢ２０１６／０５２１７９を参照）とは対照的に、カメラ１００は画像センサに対して軸１１０（Ｚ軸）の周りにＯＰＦＥ１０４を回転させるように、すなわち、示される座標系におけるＸ‐Ｙ平面において、矢印１１２によって示される回転を行うように設計される。ＯＰＦＥ１０４は、光学的要件（下記参照）によって必要とされる角度範囲で、場合によっては１８０度まで、場合によっては３６０度まで回転することができる。本来の「ゼロ回転」位置（図１Ｂに示す）から、図１Ｃは３０度回転した後のＯＰＦＥ１０４を示し、図１Ｄは１８０度回転した後のＯＰＦＥ１０４を示す。３０度および１８０度の回転位置は、多くの回転位置の範囲の一例である。軸１１０の周りのＯＰＦＥの回転は例えば、ステッピングモータまたはＶＣＭアクチュエータ１１６によって駆動され得る。本明細書に開示されるＯＰＴＥを回転するために使用できるステッピングモータは例えば、Ｄｒ．  Ｆｒｉｎｔｚ  Ｆａｕｌｈａｂａｒ  Ｇｍｂｈ  ａｎｄ  Ｃｏ．製造のステッピングモータモデルＦＤＭ０６２０である。一緒に、カメラ１００とアクチュエータ１１６は、パノラマスキャン範囲を有するカメラ１３０（図１Ａ）を形成する。回転ＶＣＭモータの一例は、例えば、共同所有の国際特許出願ＰＣＴ／ＩＢ２０１７／０５２３８３およびＰＣＴ／ＩＢ２０１７／０５７７０６に提示される。
【００４４】
いくつかの実施形態では、レンズ１０２が光学的に軸対称であってもよい。したがって、軸１０２の周りのレンズ１０２のいかなる回転も、システム、特に画像のいかなる光学特性も変化させない。そのような実施形態では、レンズ１０２がＯＰＦＥ１０４と一緒に回転することができる。特に、図１Ｅの例示的な実施形態に示すように、カメラ１５０では、レンズ１０２がＯＰＦＥ１０４に固定的に取り付けられて（例えば、接着されて）、レンズ‐ＯＰＦＥアセンブリ１５２を形成してもよい。図１Ｆに例示的な実施形態で示されるような幾つかの実施形態において、カメラ１６０では、レンズおよびＯＰＦＥを組み合わせて「屈曲式レンズ（folded lens）」１６２（例えば、Ａｓｕｓ  Ｚｅｎｏｎｅ  Ｚｏｏｍを参照）を形成することができ、この場合、いくつかのレンズ要素（例えば、図１Ｆに示される単一のレンズ要素１６４など）は、結像される物体からの軸１０８に沿った光路内のＯＰＦＥの前に配置され、他のレンズ要素は、画像センサに向かう光路内のＯＰＦＥの後に（すなわち、レンズアセンブリ１０２の要素として）配置される。そのような実施形態では、レンズ‐ＯＰＦＥアセンブリ（図１Ｅ）および／または屈曲式レンズ（図１Ｆ）の全体が画像センサに対して回転する。以下および上記のすべての説明において、カメラ１５０および／または１６０は、用途および／または分析および／または動作方法においてカメラ１００に取って代わることができる。
【００４５】
「α」度だけ画像センサに対する軸１１０の周りにＯＰＦＥ１０４を回転することにより、軸１０８（これは、回転前の本来の状態で、示される座標系においてＸ軸に垂直に位置付けられる）はＸ‐Ｙ平面において回転され、画像センサ上の画像にａ）α度だけの中心視野（field-of-view，ＦＯＶ）の回転、およびｂ）α度だけの画像センサ上の画像の回転（当技術分野で「ロール」効果として知られる）の２つの変化がもたらされる。
【００４６】
上述のようにＯＰＦＥを回転させ、その結果、第１の光路を回転させることにより、パノラマビューを撮影することができる。カメラ１００は、パノラマ走査範囲を有する。パノラマビュー（および走査範囲）は、３６０度までであってもよい。以下で「サブビュー」、「画像セクション」または「ビューセクション」とも呼ばれる複数の写真であって、各サブビューが特定のＯＰＦＥ回転位置を反映するかまたは関連する複数の写真を、取得し、「パノラマ出力画像」に「縫い合わせる」ことができる。
【００４７】
レンズ１０２の「画像円」（図２Ａおよび図２Ｂも参照）は、点１５０（軸１１０が画像センサ平面と出会う点）でセンサ平面に到達する光の量に対して十分な量の光が到達する、画像センサのセンサ平面上の円として定義される。画像円内のセンサ画素のみを出力画像に使用することができる。画像円の外側のセンサ画素は、撮影される物体／景色から十分な光を受け取らず、高品質画像にはノイズが多すぎる。画像円は、画像センサよりも大きくても小さくてもよい。
【００４８】
図２Ａは、（例えば）矩形（３：４のエッジ長比を有する）画像センサ１０６が画像円１２０よりも小さく、したがって画像円が画像センサを「境界付ける」一実施形態を示す。ここで、矩形のエッジは画像円の直径よりも小さく、全てのセンサ画素は画像円の内側にある。図２Ｂは、（例えば）正方形の画像センサ１０６が画像円１２０よりも大きく、したがって画像センサが画像円を「境界付ける」別の一実施形態を示す。ここで、正方形のエッジは、画像円の直径よりも大きい。画像センサ上で得られる画像は、典型的には長方形であり、典型的には長辺寸法と短辺寸法との比率が３：４又は９：１６である。カメラ１００において、画像センサ１０６は画像円よりも大きく、すなわち、図２Ｂのように大きい。図２Ｂの画像センサ１０６の最小寸法は、必要な最小センサ寸法の例である。したがって、カメラ１００で最大の可能な画像は、画像円１２０上にエッジを有する任意の境界矩形である。この矩形は以下に説明するように、異なる動作下で画像センサ１０６のエッジに対してある角度だけ回転させることができる。
【００４９】
図２Ｂはまた、センサ１０６から取得された矩形（３：４のエッジ長比を有する）出力画像方位の３つの例、すなわち、「横」向きの画像２０２（矩形の長辺が水平である）、横長向きに対して３０度回転された画像２０４、および「縦」向きの画像２０６（矩形の長辺が垂直である）を示す。カメラ１００は、任意の単一のフレームを縦向きまたは横向きに出力するために使用されてもよい。向きの選択は、取り付けられた処理ユニット（図示せず）を使用してデジタル的に行うことができる。
【００５０】
図３Ａ、３Ｂ、および３Ｃはパノラマビューをスキャンし、取得するためのカメラ１００の使用（使用）の方法の実施形態を示す。図３Ａは、３６０度（横軸）×５６度（縦軸）の視野（field of view，ＦＯＶ）を有するパノラマビューを示す。パノラマビューは平坦化された画像で示され、平坦化された画像は３６０度の円形ビューを表すことが理解される。図３Ｂは、ＯＰＦＥ１０４が横軸に沿ったサブビュー間で２２．５度のジャンプサイズで０度から３６０度まで回転されるときに、画像センサ１０６上で取り込まれた、パノラマビューの１６個の別個のビューセクション（サブビュー）「ａ」から「ｏ」を示す。別の場合には、サブビュー間で別のジャンプサイズを使用してもよい。図３Ｂはさらに、各サブビューについて、それぞれの画像円１２０と、９：１６の長方形によって画定されるそれぞれの切り取り領域１３２とを示す。簡単にするために、画像円１２０はサブビュー「ａ」のみにマークされ、切り取り領域１３２はサブビュー「ｅ」のみにマークされる。切り取り領域は、切り取られた画像を提供する。切り取られた画像は、本来の向き（サブビュー「ｉ」）にデジタル的に回転されてもよい。カメラ１００は、サブビュー「ａ」〜「ｏ」（または任意の回転角度での任意のサブビュー）のいずれかを、適切な回転後に単一のフレームとして出力してもよい。図３Ｃは、パノラマ画像への図３Ｂのサブビューに切り取られた画像の再構成（「縫い合わせ」）を示す。一般に、各々が所与のＦＯＶを有する２つの隣接する画像のステッチングは、（ａ）２つの画像間の傾斜、回転、シフトおよび他の偏差を検出する動作、（ｂ）少なくとも一方の画像を補正画像にデジタル変換して、偏差を補正する動作、および（ｃ）２つの隣接する補正画像を、２つの本来の所与のＦＯＶよりも大きい連続ＦＯＶを有する単一画像にデジタル結合することの動作を必要とする。当技術分野で知られているように、デジタル回転動作および縫い合わせ動作は、ソフトウェアを使用して行われてもよい。ソフトウェアは、処理ユニット（図示せず）上で実行されてよく、処理ユニットは、カメラ１００を備えたカメラ１３０を搭載する機器またはシステムのチップセットの一部であってもよく、またはカメラ１００を遠隔操作してもよい。なお、任意の２つの隣接する画像は、小領域で、例えば１つの画像のＦＯＶの１０％〜３０％で重畳する。重畳領域は、（ａ）および（ｃ）の動作に必要である。別の場合には、カメラ１００が、異なるＦＯＶ、例えば、横軸において３６０度未満、および／または例えば、縦軸において５６度超または未満でパノラマビューをスキャンするために使用されてもよい。
【００５１】
別の実施形態ではカメラ１００が、ビデオを撮影するために、または操作機器画面（以下の操作機器の例を参照されたい）上でビデオをプレビューするために使用されてもよい。走査能力は、ビデオ視野の選択を可能にする。以下の例（図８〜９）は、ＦＯＶ走査能力を有するビデオ記録およびストリームを示す。ＯＰＦＥ１０４が回転すると、カメラのＦＯＶが変化し、回転画像がセンサ１０６上に得られる。カメラ１００および付属の処理ユニット（図示せず）は、（図３および図９に示すように）フレームおよびビデオストリームをデジタル的に反回転して、本来の向きに整列したビデオを示すことができる。最終出力は、３６０度までの走査範囲を有するビデオムービーを示すことができる。
【００５２】
カメラ１００を備えたカメラ１２０のようなシステムを搭載または含むプラットフォームのいくつかの非限定的な例（例えば、スマートフォンおよ飛行ドローン）が、図４〜図７に示されている。
【００５３】
図４Ａは、例示的な一実施形態を異性体図で示し、図４Ｂは、拡大切り取りセクションで示し、この実施形態において、プラットフォームは、４００と番号付けされたスマートフォンなどのモバイル機器である。スマートフォン４００は、カメラ１００のような屈曲式カメラ１００´と、アクチュエータ１１６のようなステッピングモータまたはＶＣＭとを備えるパノラマ走査範囲を有するカメラ４３０を含む。カメラ１００´は、スマートフォン４００のエッジ４０２に近い側に配置される。図４Ｂの拡大図に示された切り取り４０４は、カメラ１００´の主要構成要素（レンズ１０２、プリズム１０４およびセンサ１０６）およびステッピングモータまたはＶＣＭアクチュエータ１１６の主要構成要素を示す。プリズム１０４は、例えばガラス又はプラスチックから作られた保護パノラマ透明スクリーン４０６の背後に配置される。スマートフォン４００で、カメラ１００´の１つの使用法は、１８０度のパノラマ写真を撮ることであってよく、この動作は点線の半円の矢印４０８によって示されている。例示的な使用実施形態でスマートフォン４００内のカメラ１００´は、スマートフォンの「正面カメラ」および「背面カメラ」の両方として使用されることができる「正面カメラ」および「背面カメラ」は当技術分野で周知の意味を有する。
【００５４】
いくつかの実施形態では、本明細書で開示されるパノラマ走査範囲を有する屈曲式カメラが、デュアル開口（または「デュアルカメラ」）カメラ構成において、非屈曲式（「直立」）非走査カメラと共に配置されてもよい。非屈曲式カメラが有するＦＯＶは、屈曲式カメラのＦＯＶよりも小さくても、等しくても、または大きくてもよい。屈曲式カメラおよび非屈曲式カメラを含むデュアル開口カメラは例えば、ＰＣＴ／ＩＢ２０１５／０５６００４に記載されている。デュアルカメラは、スマートフォンまたは他の個人用電子機器に配置されてもよい。直立カメラは、スマートフォンの正面カメラでも背面カメラでもよい。
【００５５】
図４Ｃは、４００´と番号付けされたスマートフォンの例示的な一実施形態を異性体背面図で示し、図４Ｄは、拡大切り取りセクションで示し、このスマートフォン４００´は、直立カメラ４１２と、パノラマ走査範囲１００´を有する屈曲式カメラを有するカメラ４３０とを有するデュアル開口カメラ４５０を含む。図示された他のすべての構成要素は、図４Ａおよび４Ｂの構成要素と同様である。カメラ４１２はスマートフォン４００´の背面カメラとして示されているが、他の実施形態（上述のように）では正面カメラであってもよい。
【００５６】
図５Ａは、プラットフォームが５００と番号付けされたスマートフォンである例示的な実施形態を異性体図で示し、図５Ｂは、背面図で示す。スマートフォン５００は、カメラ１００のような２つの屈曲式カメラと、結び付けられたステッピングモータまたはＶＣＭアクチュエータ（図示せず）とを備えるパノラマ走査範囲を有するカメラ５３０を含む。１００´ａおよび１００´ｂとマークされた２つのカメラは例えば、スマートフォン５００のそれぞれのエッジ５０２ａおよび５０２ｂに近い２つの対向する側に配置される。図５Ｂはまた、各カメラの主要構成要素（レンズ１０２、プリズム１０４およびセンサ１０６）を示す。各ステッピングモータまたはＶＣＭアクチュエータは、図面を簡略化するために図示されていない。各プリズム１０４は、例えばガラス又はプラスチックで作られたそれぞれの保護パノラマ透明スクリーン５０６の背後に配置される。スマートフォン５００で、各カメラ１００´ａおよび１００´ｂの１つの使用法は、撮影後に３６０度のパノラマ写真に縫い合わせることができる２つのそれぞれの１８０度パノラマ写真を撮ることであってもよい。
【００５７】
図６Ａ〜Ｄは、カメラ１００を搭載する別の例示的なプラットフォームを示す。図６Ａ〜Ｄで、プラットフォームは、カメラ１００のような屈曲式カメラ１００´と、アクチュエータ１１６のようなステッピングモータまたはＶＣＭアクチュエータとを備えるパノラマ走査範囲を有するカメラ６３０を搭載する飛行ドローン６００である。ドローン６００は、飛行して上空から写真を撮るために使用される。図６Ａはドローンを上から等角図で示し、図６Ｂはドローンを下から等角図で示し、図６Ｃは、図６Ｂに印を付けたセクションの拡大である。図６Ｄは、図６Ａの切断Ａ‐Ｂに沿ったドローン６００の切断側面図である。システム６００では、カメラを使用して撮影角度（図６Ｄにマークされる）を、＋９０度（上を見る、６５１）〜０度（前を見る、６５２）〜−９０度（下を見る、６５３）および−１２０度（下のわずかに後ろを見る、６５４）の間、すなわち合計２１０度の間で変更する。他の例では、走査範囲は変化してもよい。ドローン６００のカメラ１００は、図８および図９を参照して後述するように、共同所有の国際特許出願ＰＣＴ／ＩＢ２０１６／０５７３６６と同様に、物体を自動的に追跡してもよい。
【００５８】
図７Ａ〜Ｂは、パノラマ走査範囲を有する２つのカメラ７３０ａおよびカメラ７３０ｂを搭載するさらに別の飛行ドローン７００を示し、各カメラは、カメラ１００のような屈曲式カメラと、アクチュエータ１１６のようなステッピングモータまたはＶＣＭアクチュエータ（図示せず）とを備える。この構成では、２つのカメラが３６０度の走査範囲で写真を撮ることができる。矢印で示す撮影角度は、図６（ｄ）と同様である。
【００５９】
図８Ａ〜Ｃは、カメラ１００を搭載するさらに別の例示的プラットフォームを示す。図８Ａ‐Ｃにおいて、プラットフォームはテレビ（ＴＶ）セット８００である。ＴＶセット８００は、カメラ１００のような屈曲式カメラと、アクチュエータ１１６のようなステッピングモータまたはＶＣＭアクチュエータとを備えるパノラマ走査範囲を有するカメラ８３０を含む。ＴＶセット８００は、直立カメラ８１２およびＴＶ画面８０２をさらに含む。直立カメラ８１２は、レンズ８１４および画像センサ８１６を含む。ＴＶセット８００は、１つ以上のスピーカおよび１つ以上のマイクロフォン、ならびに他の周知の構成要素（図示せず）をさらに含むことができる。
【００６０】
図８Ａは、ＴＶセット８００を正面図で示す。図８Ｂは、ＴＶセット８００の隅部の拡大を示し、カメラ８１２および８３０を正面図で示す。図８Ｃは、図８Ｂに示される角部の等角図、およびカメラ８３０におけるプリズム１０４の可能な回転を示す。カメラ８１２は、広い（大きな）ＦＯＶ、例えば水平面上で１２０〜１８０度のＦＯＶを有することができ、ワイドカメラ８１２とも呼ばれる。カメラ８１２のＦＯＶは、広いＦＯＶ（Wide FOV，ＦＯＶＷ）と呼ばれる。ＴＶセット８００では、カメラ８３０が遠方（狭い）ＦＯＶ、例えば（非限定的に）、水平面上で３０〜８０度のＦＯＶを有することができる。したがって、ＴＶセット８００では、カメラ８３０は「テレカメラ」８３０とも呼ばれ、カメラ８３０のＦＯＶは遠方視野（Tele FOV，ＦＯＶＴ）と呼ばれる。
【００６１】
ＴＶセット８００では、カメラ８１２およびカメラ８３０がＴＶセット８００の左上隅に配置される。他の例示的な実施形態では、カメラ８１２およびカメラ８３０が、上部中央、左側または右側、底側、または後述する画面８０２の向こう側など、他の位置に配置されてもよい。別の例示的な一実施形態では、カメラ８１２およびカメラ８３０がケーブルを介して、またはコードレス接続を介して接続された、ＴＶセットの外側の別個のモジュール（ボックス）内に配置されてもよい。
【００６２】
例示的な使用の一実施形態では、ＴＶセット８００は、第１の場所に居る第１のユーザ（人）が、第２の場所に居る第２のユーザ（人）と通信するためにＴＶセット８００を使用できるように、ビデオ会議のために使用されてもよい。第２のユーザは、例えばＴＶ、スマートフォン、パーソナルコンピュータ、ノートブックまたはラップトップコンピュータなどの画面を備える任意の電子機器を使用することができる。例示的な一実施形態で、カメラ８３０およびカメラ８１２は、第１のユーザをビデオ記録するために使用されることができ、一方、第２のユーザが自分の画面上でカメラ８３０およびカメラ８１２の両方からの記録を見ることができる。
【００６３】
ＴＶセット８００は、例えば被写体を自律的に追跡するためのＦＯＶＴの自動的な動きまたは「自動調節」のために使用されてもよい。関心のある物体または被写体を追跡するために自動遠方視野移動を実行するカメラモードは、本明細書では「自律遠隔視野追跡」と呼ばれる。本明細書で適用可能な例示的な自律追跡システムおよび方法は、スマートフォンシステムに関するＰＣＴ／ＩＢ２０１６／０５７３６６に記載されている。自律ＦＯＶＴ移動は、関心のある物体または被写体の認識（例えば、カメラ８１２を介して）に応じており、遠方画像は、関心のある物体または被写体に焦点を合わせて表示する。物体認識は、当技術分野で知られている任意の方法を使用して実行され得る。
【００６４】
ＴＶセット８００を用いた自律視野Ｔ追跡シナリオの例が組９Ａ〜組９Ｃに示されている。例示的な一実施形態では、カメラ８１２は、第１の位置の広視野画像を撮影することができる。次いで、カメラ８３０は、ビデオ会議中にカメラ８１２のＦＯＶＷ内を動き回る第１のユーザ９０２を追跡することができる。第２のユーザは、（１）広いＦＯＶ、（２）追跡後の遠方ＦＯＶ、または（３）広いＦＯＶと遠方ＦＯＶの両方を、自分の画面上で見ることができる。カメラは、プリズムを傾斜させて興味の物体を追跡することによって、そのＦＯＶを変更することができるとする。理想的には、カメラは、調節可能な遠方ＦＯＶの中心にできるだけ近くなるように物体を追跡する。
【００６５】
図９Ａは、ＦＯＶＷ上の第１のＦＯＶＴ位置を有する、自律ＦＯＶＴ追跡中のテレカメラ８３０およびワイドカメラ８１２のＦＯＶを示す。図９Ｂは、ＦＯＶＷ上の第２のＦＯＶＴ位置を有する図９ＡのＦＯＶを示す。図９Ｃは、ＦＯＶＷ上の第３のＦＯＶＴ位置を有する図９ＡのＦＯＶを示す。これらの図の各々において、興味の対象は第１のユーザ９０２である。
【００６６】
具体例に示すように、両カメラからのビデオストリームを並べて一覧する。ここで、（ａ）欄は、第１のユーザが見るＦＯＶＷおよびＦＯＶＴを有する画面９００ａを示し、一方、（ｂ）欄は、右側に、ＦＯＶＷおよびＦＯＶＴを有する第２のユーザの画面９００ｂを示し、左側に、第１のユーザの顔および体の一部並びに背景の一部の拡大遠方ビュー（画像）を示す。一般的に、（ａ）のＦＯＶＴは、（図示のように）第１のユーザ、第２のユーザ、または場面からの別のフィーチャを示すことができる。したがって、第１のユーザを示す（ａ）のＦＯＶＴは、限定するものと見なされるべきではない。一般的に、第２のユーザ（図示せず）は、カメラ８１２またはカメラ８３０のいずれか、あるいはカメラ８１２およびカメラ８３０の両方からのビデオストリームを同時に（例えば、並べて）自分の画面上で見ることができる。第２のユーザがビデオの１つのストリームのみを見る場合、ストリーム間の切り替えは、例えば、共同所有の米国特許第９１８５２９１号に記載されているように、スムーズな遷移技術を使用して行われてもよい。
【００６７】
第１のユーザを追跡する決定は第１のユーザ、第２のユーザ（例えば、遠隔制御装置の使用によって）、または自動的に（例えば、顔検出を使用して）行うことができる。上述のように、テレカメラは、プリズムを回転させて興味の対象を追跡することによって、そのＦＯＶを変更することができると仮定する。理想的にはカメラは、各図の（ｂ）の左側に見られるように、調節可能なＦＯＶＴの中心にできるだけ近くなるように対象を追跡する。
【００６８】
カメラ８１２および／またはカメラ８３０からのビデオストリームは、後の使用のために記録されてもよく、後の使用は、画像処理、ビデオストリームブレンディング（video stream blending）などの追加の処理を含んでもよい。
【００６９】
本開示は特定の実施形態および一般的に関連する方法に関して説明されてきたが、実施形態および方法の変更および置換は当業者には明らかであろう。例えば、カメラおよびパノラマ走査範囲を有する屈曲式カメラは、スマートフォン、飛行ドローン、およびテレビセットに組み込まれた例で説明されたが、このようなカメラおよび屈曲式カメラは、車両などの他のプラットフォームに組み込まれてもよく、またはスマートフォン以外のプラットフォームに組み込まれてもよく、例えば、タブレット、ラップトップコンピュータ、ファブレット、デスクトップコンピュータ、スマートスピーカ、スマートウォッチ、電子書籍リーダ、スマートガラス、スマートヘルメット、ベビーモニタ、拡張現実システム、仮想現実システム、先進運転支援システム（ＡＤＡＳ）などに組み込まれてもよい。本開示は、本明細書に記載された特定の実施形態によって限定されるものではなく、添付の特許請求の範囲によってのみ限定されるものとして理解されるべきである。
【００７０】
特に明記しない限り、選択のためのオプションのリストの最後の２つのメンバー間の表現「および／または」の使用は、リストされたオプションのうちの１つ以上の選択が適切であり、行われ得ることを示す。
【００７１】
特許請求の範囲または明細書が「ａ」または「ａｎ」要素に言及する場合、そのような言及は、その要素のうちの１つのみが存在すると解釈されるべきではないことを理解されたい。
【００７２】
本明細書で言及される全ての参照は、それぞれの個々の参照が参照により本明細書に組み込まれるように具体的かつ個別に示されたのと同じ程度まで、参照によりその全体が本明細書に組み込まれる。さらに、本出願における任意の参考文献の引用または識別は、そのような参考文献が本発明の先行技術として利用可能であることを容認するものとして解釈されるべきではない。
【図１Ａ】
2020512581.tif 000003
【図１Ｂ】
2020512581.tif 000004
【図１Ｃ】
2020512581.tif 000005
【図１Ｄ】
2020512581.tif 000006
【図１Ｅ】
2020512581.tif 000007
【図１Ｆ】
2020512581.tif 000008
【図２Ａ】
2020512581.tif 000009
【図２Ｂ】
2020512581.tif 000010
【図３Ａ】
2020512581.tif 000011
【図３Ｂ】
2020512581.tif 000012
【図３Ｃ】
2020512581.tif 000013
【図４Ａ−４Ｂ】
2020512581.tif 000014
【図４Ｃ−４Ｄ】
2020512581.tif 000015
【図５Ａ−５Ｂ】
2020512581.tif 000016
【図６Ａ】
2020512581.tif 000017
【図６Ｂ−６Ｃ】
2020512581.tif 000018
【図６Ｄ】
2020512581.tif 000019
【図７Ａ】
2020512581.tif 000020
【図７Ｂ】
2020512581.tif 000021
【図８Ａ−８Ｂ】
2020512581.tif 000022
【図８Ｃ】
2020512581.tif 000023
【図９Ａ−９Ｃ】
2020512581.tif 000024
【手続補正書】
【提出日】令和1年11月11日(2019.11.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の視野（field of view，ＦＯＶ）を有する第１の屈曲式デジタルカメラを備え、
前記第１の屈曲式デジタルカメラは、
第１のレンズ光軸を有する第１のレンズと、
第１の画像センサと、
物体または景色からの第１の光路を第２の光路に畳む第１の光路屈曲素子（optical path folding element，ＯＰＦＥ）と、を含み、
前記第２の光路は、前記レンズ光軸と実質的に平行であり、
前記第１のＯＰＦＥは、前記第１の画像センサに対して前記第１のレンズ光軸の周りで回転可能であり、
当該プラットフォームは、テレビセットである、プラットフォーム。
【請求項２】
前記第１のＦＯＶよりも大きい第２のＦＯＶを有する第２の屈曲式デジタルカメラをさらに備える、請求項１に記載のプラットフォーム。
【請求項３】
第２のレンズ光軸を有する第２のレンズと、物体または景色からの前記第１の光路を前記第２の光路に屈曲させる第２のＯＰＦＥとを含む第２の屈曲式デジタルカメラをさらに備え、
前記第２のＯＰＦＥは、第２のレンズ光軸の周りで回転可能である、請求項１に記載のプラットフォーム。
【請求項４】
前記第１のレンズ光軸および前記第２のレンズ光軸は平行である、請求項３に記載のプラットフォーム。
【請求項５】
前記レンズは、前記ＯＰＦＥに固定して取り付けられ、前記画像センサに対して前記レンズ光軸の周りで前記ＯＰＦＥと共に回転可能である、請求項１〜４のいずれか１項に記載のプラットフォーム。
【請求項６】
前記第１のカメラは、前記第１のＦＯＶを自律的に変更するように動作可能である、請求項１〜４のいずれか１項に記載のプラットフォーム。
【請求項７】
ａ）画像センサと、レンズ光軸を有するレンズと、物体または景色からの第１の光路を第２の光路に屈曲させる光路屈曲素子（optical path folding element，ＯＰＦＥ）とを含む屈曲式デジタルカメラであって、前記第２の光路が前記レンズ光軸と実質的に平行であり、前記屈曲式デジタルカメラが本来の向きを有する、屈曲式デジタルカメラを提供するステップと、
ｂ）前記第１の光路を所望の第１の方向に設定するために、前記画像センサに対して、第１の回転方向に前記レンズ光軸の周りで前記ＯＰＦＥを回転させるステップと、
ｃ）画像を撮影するステップと、
ｄ）画像を撮影する前記ステップで撮影された撮影画像を、前記本来の向きに戻すようにデジタル的に回転させるステップと、
を含む方法。
【請求項８】
前記第１の光路を所望の第１の方向に設定するために第１の回転方向に前記レンズ光軸の周りで前記ＯＰＦＥを回転させる前記ステップは、前記第１の光路を１８０度までの第１の範囲内の複数の所望の第１の方向に設定するために、前記ＯＰＦＥを回転させるステップを含み、
画像を撮影する前記ステップは、前記複数の所望の第１の方向のそれぞれの方向で画像を撮影し、それによって、調和する（matching）第１の複数の撮影画像を取得するステップを含む、請求項７に記載の方法。
【請求項９】
前記第１の複数の撮影画像から第１のパノラマ画像を構成するステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記第１の光路を前記第１の範囲とは反対の１８０度までの第２の範囲内の複数の所望の第２の方向に設定するために、前記第１の回転方向とは反対の第２の回転方向に前記レンズ光軸の周りに前記ＯＰＦＥを回転させるステップをさらに含み、
画像を取得する前記ステップは、前記複数の所望の第２の方向のそれぞれの方向で画像を撮影し、それによって、調和する第２の複数の撮影画像を取得するステップを含む、請求項９に記載の方法。
【請求項１１】
前記第２の複数の撮影画像から第２のパノラマ画像を構成するステップをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記第１のパノラマ画像および前記第２のパノラマ画像を結合パノラマ画像に結合することをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記レンズは前記ＯＰＦＥに固定して取り付けられ、
前記画像センサに対して、前記第１の回転方向に前記レンズ光軸の周りで前記ＯＰＦＥを回転させる前記ステップは、前記ＯＰＦＥと共に前記レンズを回転させるステップを含む、請求項８〜１２のいずれか１項に記載の方法。
【請求項１４】
前記レンズは、屈曲式レンズである請求項８〜１２のいずれか１項に記載の方法。
【国際調査報告】
2020512581.tif 000025
2020512581.tif 000026