(57)【要約】  いくつかの態様は、位相検出オートフォーカスに対してノイズ低減を実行するための撮像画素（すなわち、非位相検出画素）を使用するためのシステムおよび技法に関する。有利には、これは、より正確な位相検出オートフォーカスをもたらし、また、位相検出を実行するためのプロセッサ使用率を最適化することができる。位相差検出画素が、画像の合焦のずれの方向（非合焦方向）およびずれの量（非合焦量）を示す位相差検出信号を取得するために設けられ、撮像画素値の分析が、焦点が合っている関心領域の合焦のレベルを推定し、それに従って特定された位相差を制限するために使用され得る。
2018535442.tif 000002
【特許請求の範囲】
【請求項１】
複数のダイオードであって、
ターゲットシーンを表す画像情報であって、前記画像情報が前記複数のダイオードの第１のサブセットから受け取られる、画像情報と、
位相検出情報であって、前記複数のダイオードの第２のサブセットから受け取られる、位相検出情報と
のうちの１つを捕捉するように各々構成される、複数のダイオードと、
前記画像情報を分析し、
前記画像情報の別の領域よりも焦点が合っている前記画像情報の領域を特定し、
前記領域の合焦値を決定し、
前記合焦値に対応する境界位相差値を特定し、
前記位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成し、
前記第１の画像と前記第２の画像との間の位相差を決定し、
前記決定された位相差に少なくとも一部基づいて、および前記境界位相差値により定義される範囲に少なくとも一部基づいて、オートフォーカス調整量を計算する
ための命令を用いて構成されるプロセッサとを備える、撮像装置。
【請求項２】
前記プロセッサが、前記画像情報によって表される最も鮮明なエッジを特定することによって前記合焦値を決定するように構成される、請求項１に記載の撮像装置。
【請求項３】
前記プロセッサが、前記最も鮮明なエッジのシャープネス値に少なくとも一部基づいて前記合焦値を決定するように構成される、請求項２に記載の撮像装置。
【請求項４】
前記複数のダイオードの前記第２のサブセットの各々のみが前記ターゲットシーンから特定の方向に伝播する光を収集するように、前記ターゲットシーンから伝播する前記光の一部分を遮断するための、前記複数のダイオードの前記第２のサブセットの各々の上に配置されたマスキング要素をさらに備える、請求項１に記載の撮像装置。
【請求項５】
前記複数のダイオードの前記第２のサブセットの少なくとも２つの隣り合うダイオードの上に配置されたマイクロレンズをさらに備え、前記マイクロレンズが、前記少なくとも２つの隣り合うダイオードのうちの第１へと前記ターゲットシーンから伝播する光の第１の部分および前記少なくとも２つの隣り合うダイオードの第２へと前記ターゲットシーンから伝播する光の第２の部分を通すように形成され、前記第１の部分が第１の方向に伝播し、前記第２の部分が第２の方向に伝播する、請求項１に記載の撮像装置。
【請求項６】
前記複数のダイオードが、前記複数のダイオードの二次元行列を有する半導体基板を備える、請求項１に記載の撮像装置。
【請求項７】
前記複数のダイオードの前記第２のサブセットの第１の半分と関連付けられる光学素子が、前記複数のダイオードの前記第２のサブセットの前記第１の半分の各ダイオードのみが第１の方向へと前記ターゲットシーンから伝播する光を収集して前記位相検出情報の第１の半分を生成するように構成される、請求項１に記載の撮像装置。
【請求項８】
前記複数のダイオードの前記第２のサブセットの第２の半分と関連付けられる光学素子が、前記複数のダイオードの前記第２のサブセットの前記第２の半分の各ダイオードのみが第２の方向へと前記ターゲットシーンから伝播する光を収集して前記位相検出情報の第２の半分を生成するように構成される、請求項７に記載の撮像装置。
【請求項９】
位相検出オートフォーカスのためのプロセスを実行するための命令を用いて構成されるプロセッサであって、前記プロセスが、
第１の複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、
前記画像情報を分析して少なくとも１つの領域の合焦値を評価するステップと、
前記合焦値に対応する境界位相差値を特定するステップと、
第２の複数の撮像ダイオードから入手される位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するステップと、
前記第１の画像と前記第２の画像との間の位相差を決定するステップと、
前記決定された位相差に少なくとも一部基づいて、および前記境界位相差値により定義される範囲に少なくとも一部基づいて、オートフォーカス調整量を計算するステップとを備える、プロセッサ。
【請求項１０】
前記境界位相差値を特定するステップが、
前記決定された位相差値が前記境界位相差値により定義される範囲内に入るかどうかを決定するステップと、
前記決定された位相差値が前記範囲を超えると決定したことに応答して、前記境界位相差値を前記第１の画像と前記第２の画像との間の位相差として出力するステップとを備える、請求項９に記載のプロセッサ。
【請求項１１】
前記境界位相差値を位相差として出力するステップがさらに、位相検出オートフォーカスのための前記プロセスが監視状態にあると決定したことに応答して実行される、請求項１０に記載のプロセッサ。
【請求項１２】
前記監視状態が、位相検出オートフォーカスのための前記プロセスが合焦状態を特定して、前記合焦状態に対応する合焦場所へと前記複数の撮像検知素子と関連付けられるレンズアセンブリおよび前記少なくとも１つの位相検出検知素子を動かした後に発生する、請求項１１に記載のプロセッサ。
【請求項１３】
前記位相差を特定するステップが、前記境界位相差値により定義される範囲内の前記位相差情報を分析するステップを備える、請求項９に記載のプロセッサ。
【請求項１４】
位相検出オートフォーカスのための前記プロセスが、前記画像情報を複数の領域へと区分するステップと、前記複数の領域を分析して前記複数の領域のうちの１つに各々対応する複数の合焦値を評価するステップとをさらに備える、請求項９に記載のプロセッサ。
【請求項１５】
位相検出オートフォーカスのための前記プロセスが、前記複数の合焦値のうちの１つに各々基づいて、複数の境界位相差値を特定するステップをさらに備える、請求項１４に記載のプロセッサ。
【請求項１６】
位相検出オートフォーカスのための前記プロセスが、前記複数の境界位相差値を合成して、前記オートフォーカス調整量を計算するために使用される前記境界位相差値を生み出すステップをさらに備える、請求項１５に記載のプロセッサ。
【請求項１７】
位相検出オートフォーカスのための前記プロセスが、前記オートフォーカス調整量を計算するために使用される前記境界位相差値として出力するために、前記複数の領域のうちの少なくともいくつかの前記複数の境界位相差値のうちの１つを選択するステップをさらに備える、請求項１５に記載のプロセッサ。
【請求項１８】
位相検出オートフォーカスのためのプロセスであって、
複数の撮像ダイオードから画像情報を入手するステップであって、前記画像情報がターゲットシーンを表す、ステップと、
複数の位相検出ダイオードから受け取られる位相検出情報を入手するステップと、
前記画像情報に基づいて、前記ターゲットシーンにおける少なくとも１つの深度の不連続部分を表す情報を決定するステップと、
前記少なくとも１つの深度の不連続部分を挟んで反対側に位置する前記複数の位相検出ダイオードのペアを特定するステップと、
前記ペアを除く前記複数の位相検出ダイオードのサブセットから受け取られる位相検出情報に基づいてオートフォーカス調整量を計算するステップとを備える、プロセス。
【請求項１９】
前記ターゲットシーンにおける前記少なくとも１つの深度の不連続部分を表す前記情報を決定するステップが、
前記画像情報から、前記ペアの中の第１の位相検出ダイオードの位置における第１の中心画素値と、前記ペアの中の第２の位相検出ダイオードの位置における第２の中心画素値とを補間するステップと、
前記第１の中心画素値と前記第１の位相検出ダイオードから受け取られる値との間の第１の相違値を計算するステップと、
前記第２の中心画素値と前記第２の位相検出ダイオードから受け取られる値との間の第２の相違値を計算するステップと、
前記第１の相違と前記第２の相違との差を閾値と比較するステップとを備える、請求項１８に記載のプロセス。
【請求項２０】
前記差が前記閾値より大きいと決定したことに応答して、前記複数の位相検出ダイオードの前記サブセットから前記ペアを除外するステップをさらに備える、請求項１９に記載のプロセス。
【請求項２１】
前記第１の中心画素値を補間するステップが、前記第１の位相検出ダイオードの位置の周りの前記複数の撮像ダイオードの５×５の近隣から受け取られる画像情報を入手するステップを備える、請求項１９に記載のプロセス。
【請求項２２】
前記第１の相違と前記第２の相違との前記差を計算するステップをさらに備える、請求項１９に記載のプロセス。
【請求項２３】
前記ターゲットシーンにおける前記少なくとも１つの深度の不連続部分を表す前記情報を決定するステップが、前記画像情報に対してエッジ検出を実行するステップを備える、請求項１８に記載のプロセス。
【請求項２４】
オートフォーカス調整量を計算するステップが、
前記複数の位相検出ダイオードの前記サブセットから受け取られる位相検出情報を使用して半画像のペアを生成するステップと、
前記半画像間の位相差を決定するステップと、
前記位相差に基づいて前記オートフォーカス調整量を計算するステップとを備える、請求項１８に記載のプロセス。
【請求項２５】
ターゲットシーンを表す画像情報を捕捉するための手段と、
位相検出情報を捕捉するための複数の手段と、
前記画像情報の別の領域よりも焦点が合っている前記画像情報の領域を特定し、前記領域の合焦値を決定するための手段と、
前記合焦値に対応する境界位相差値を特定するための手段と、
前記位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するための手段と、
前記第１の画像と前記第２の画像との間の位相差を決定するための手段と、
前記決定された位相差に少なくとも一部基づいて、および前記境界位相差値により定義される範囲に少なくとも一部基づいて、オートフォーカス調整量を計算するための手段とを備える、撮像装置。
【請求項２６】
前記画像情報を複数の領域へと区分するための手段をさらに備え、前記境界位相差値を特定するための前記手段が、前記複数の領域のうちの１つに各々対応する複数の境界位相差値を特定するように構成される、請求項２５に記載の撮像装置。
【請求項２７】
前記複数の領域のうちの少なくともいくつかの前記複数の境界位相差値を合成して、前記オートフォーカス調整量を計算するために使用される前記境界位相差値を生み出すための手段をさらに備える、請求項２６に記載の撮像装置。
【請求項２８】
前記オートフォーカス調整量を計算するために使用される前記境界位相差値として出力するために、前記複数の領域のうちの少なくともいくつかの前記複数の境界位相差値のうちの１つを選択するための手段をさらに備える、請求項２６に記載の撮像装置。
【請求項２９】
前記位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するための前記手段が、論理回路を含むイメージセンサを備える、請求項２５に記載の撮像装置。
【請求項３０】
前記位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するための前記手段が、画像信号プロセッサを備える、請求項２５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書において開示されるシステムおよび方法は位相検出オートフォーカスを対象とし、より具体的には、位相検出オートフォーカスプロセスにおいてノイズを低減するために撮像画素を分析することに関する。
【背景技術】
【０００２】
一部の画像捕捉デバイスは、位相差検出センサ（「画素」とも呼ばれ得る）を使用してオートフォーカスを実行する。オンセンサの位相差検出は、通常は左側画素および右側画素の繰り返すまばらなパターンとして並べられる撮像画素の間に位相差検出画素を散在させることによって動作する。システムは、異なる位相差検出画素によって生成される信号の間の、たとえば左側画素データから生成される画像と右側画素データから生成される画像との間の位相差を検出する。検出された位相差はオートフォーカスを実行するために使用され得る。
【０００３】
位相検出オートフォーカスは、コントラストベースのオートフォーカスより高速に動作する。多くの現在の実装形態は、イメージセンサの上部に金属マスクを置いて左側および右側の位相検出画素を作り出し、マスクされた画素に達する光がより少なくなる。位相検出画素の出力は通常の画像捕捉画素の出力より明るさが低いので、位相差検出画素は、補正を必要とするような知覚可能なアーティファクトを捕捉された画像の中に作り出す。撮像画素に取り囲まれるように個々に位相検出画素を置くことによって、システムは位相検出画素に対する値を補間することができる。
【０００４】
マスクされた画素はペアで使用される。シーンの焦点が合っていないとき、位相検出画素のマスクは入ってくる光をわずかに位相シフトする。位相検出画素の間の距離は、それらの相対的なシフトとともに、シーンの焦点が合うように光学アセンブリがレンズを大まかにどれだけ動かす必要があるかの決定を与えるために畳み込まれ得る。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
信号処理において、ノイズとは、捕捉、記憶、送信、処理、または変換の間に信号が受け得る、望まれない、かつ場合によっては未知の改変または誤差を指す。より具体的には、オートフォーカスの文脈では、ノイズは合焦状態の不正確な決定を指し得る。たとえばまばらに配置された位相検出画素を伴う（たとえば、ペアの位相検出画素間に位置する５個以上の撮像画素を有する）いくつかの位相検出オートフォーカスシステムでは、高周波のパターンを伴うターゲットシーンは、オートフォーカスシステムに、そのターゲットシーンが実際には焦点が合っているのに誤って非合焦状態を特定させることがある。信号処理においては、高周波の信号が低周波でサンプリングされるときに発生するこの現象は、エイリアシングまたはエイリアシングノイズとも呼ばれる。
【課題を解決するための手段】
【０００６】
とりわけ、前述の問題は、いくつかの実施形態では、撮像画素から受け取られた値を使用してオートフォーカスプロセスのノイズを低減する、本明細書において説明される位相検出オートフォーカスのシステムおよび技法によって対処される。たとえば、撮像画素からの値は、ターゲットシーンにおける高周波の詳細についての情報を提供し、ターゲットシーンの画像データの中の最も鮮明なエッジを特定するために、分析され得る。位相検出プロセスは、最も鮮明なエッジのシャープネスの尺度に基づく、あり得る非合焦状態の特定の範囲に限定され得る。結果として、オートフォーカスを実行するための処理時間およびリソースが最適化され得る。さらに、いずれの特定される非合焦状態も、最も鮮明なエッジを生み出すために可能な最大の非合焦を超えないことがある。
【０００７】
１つの革新は、ターゲットシーンを表す画像情報または位相検出情報のうちの１つを捕捉するように各々構成される複数のダイオードであって、画像情報が複数のダイオードの第１のサブセットから受け取られ、位相検出情報が複数のダイオードの第２のサブセットから受け取られる、複数のダイオードと、画像情報を分析して画像情報の別の領域よりも焦点が合っている画像情報の領域を特定し、その領域の合焦値を決定し、その合焦値に対応する境界位相差値を特定し、位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成し、第１の画像と第２の画像との位相差を決定し、決定された位相差に少なくとも一部、および境界位相差値により定義される範囲に少なくとも一部基づいて、オートフォーカス調整量を計算するための命令を用いて構成されるプロセッサとを含む、撮像装置を含む。
【０００８】
以下は、そのような撮像装置のいくつかの特徴および実施形態の限定しない例である。たとえば、プロセッサは、画像情報によって表される最も鮮明なエッジを特定することによって合焦値を決定するように構成され得る。プロセッサは、最も鮮明なエッジのシャープネス値に少なくとも一部基づいて合焦値を決定するように構成され得る。撮像装置はさらに、複数のダイオードの第２のサブセットの各々のみがターゲットシーンから特定の方向に伝播する光を収集するように、ターゲットシーンから伝播する光の一部分を遮断するための、複数のダイオードの第２のサブセットの各々の上に配置されたマスキング要素を含み得る。撮像装置はさらに、複数のダイオードの第２のサブセットの少なくとも２つの隣り合うダイオードの上に配置されたマイクロレンズを含むことがあり、マイクロレンズは、少なくとも２つの隣り合うダイオードのうちの第１へとターゲットシーンから伝播する光の第１の部分および少なくとも２つの隣り合うダイオードの第２へとターゲットシーンから伝播する光の第２の部分を通すように形成され、第１の部分は第１の方向に伝播し、第２の部分は第２の方向に伝播する。複数のダイオードは、複数のダイオードの二次元行列を有する半導体基板であり得る。複数のダイオードの第２のサブセットの第１の半分と関連付けられる光学素子は、複数のダイオードの第２のサブセットの第１の半分の各ダイオードのみが第１の方向へとターゲットシーンから伝播する光を収集して位相検出情報の第１の半分を生成するように、構成され得る。複数のダイオードの第２のサブセットの第２の半分と関連付けられる光学素子は、複数のダイオードの第２のサブセットの第２の半分の各ダイオードのみが第２の方向へとターゲットシーンから伝播する光を収集して位相検出情報の第２の半分を生成するように、構成され得る。
【０００９】
別の革新は、位相検出オートフォーカスのためのプロセスを実行するための命令を用いて構成されたプロセッサを含み、このプロセスは、第１の複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、画像情報を分析して少なくとも１つの領域の合焦値を評価するステップと、その合焦値に対応する境界位相差値を特定するステップと、第２の複数の撮像ダイオードから入手された位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するステップと、第１の画像と第２の画像との間の位相差を決定するステップと、決定された位相差に少なくとも一部、および境界位相差値により定義される範囲に少なくとも一部基づいて、オートフォーカス調整量を計算するステップとを含む。
【００１０】
以下は、そのようなプロセッサのいくつかの特徴および実施形態の非限定的な例である。たとえば、境界位相差値を特定するステップは、境界位相差値によって定義される範囲内に決定された位相差値が入るかどうかを決定するステップと、決定された位相差値がその範囲を超えると決定したことに応答して、境界位相差値を第１の画像と第２の画像との間の位相差として出力するステップとを含み得る。境界位相差値を位相差として出力するステップはさらに、位相検出オートフォーカスのためのプロセスが監視状態にあると決定したことに応答して実行され得る。監視状態は、位相検出オートフォーカスのためのプロセスが合焦状態を特定して、合焦状態に対応する合焦場所へと複数の撮像検知素子と関連付けられるレンズアセンブリおよび少なくとも１つの位相検出検知素子を動かした後に、発生し得る。位相差を特定するステップは、境界位相差値によって定義される範囲内の位相差情報を分析するステップを含み得る。プロセスはさらに、画像情報を複数の領域へと区分するステップと、複数の領域を分析して複数の領域のうちの１つに各々対応する複数の合焦値を評価するステップとを含み得る。プロセスはさらに、複数の合焦値のうちの１つに各々基づいて、複数の境界位相差値を特定するステップを含み得る。プロセスはさらに、複数の境界位相差値を合成して、オートフォーカス調整量を計算するために使用される境界位相差値を生み出すステップを含み得る。プロセスはさらに、オートフォーカス調整量を計算するために使用される境界位相差値として出力するために、複数の領域のうちの少なくともいくつかの複数の境界位相差値のうちの１つを選択するステップを含み得る。
【００１１】
別の革新は、複数の撮像ダイオードから画像情報を入手するステップであって、画像情報がターゲットシーンを表す、ステップと、複数の位相検出ダイオードから受け取られる位相検出情報を入手するステップと、画像情報に基づいて、ターゲットシーンにおける少なくとも１つの深度の不連続部分を表す情報を決定するステップと、少なくとも１つの深度の不連続部分の反対側に位置する複数の位相検出ダイオードのペアを特定するステップと、そのペアを除く複数の位相検出ダイオードのサブセットから受け取られる位相検出情報に基づいてオートフォーカス調整量を計算するステップとを含む、位相検出オートフォーカスのためのプロセスを含む。
【００１２】
以下は、そのようなプロセスのいくつかの特徴および実施形態の非限定的な例である。たとえば、ターゲットシーンにおける少なくとも１つの深度の不連続部分を表す情報を決定するステップは、画像情報から、ペアの中の第１の位相検出ダイオードの位置における第１の中心画素値およびペアの中の第２の位相検出ダイオードの位置における第２の中心画素値を補間するステップと、第１の中心画素値と第１の位相検出ダイオードから受け取られる値との間の第１の相違値を計算するステップと、第２の中心画素値と第２の位相検出ダイオードから受け取られる値との間の第２の相違値を計算するステップと、第１の相違と第２の相違との差を閾値と比較するステップとを含み得る。プロセスはさらに、差が閾値より大きいと決定したことに応答して、複数の位相検出ダイオードのサブセットからペアを除外するステップを含み得る。第１の中心画素値を補間するステップはさらに、第１の位相検出ダイオードの位置の周りの複数の撮像ダイオードの５×５の近隣から受け取られる画像情報を入手するステップを含み得る。プロセスはさらに、第１の相違と第２の相違との差を計算するステップを含み得る。ターゲットシーンにおける少なくとも１つの深度の不連続部分を表す情報を決定するステップは、画像情報に対してエッジ検出を実行するステップを含み得る。オートフォーカス調整量を計算するステップは、複数の位相検出ダイオードのサブセットから受け取られる位相検出情報を使用して半画像のペアを生成するステップと、それらの半画像の間の位相差を決定するステップと、位相差に基づいてオートフォーカス調整量を計算するステップとを含み得る。
【００１３】
別の革新は、ターゲットシーンを表す画像情報を捕捉するための手段と、位相検出情報を捕捉するための複数の手段と、画像情報の別の領域より焦点が合っている画像情報の領域を特定し、その領域の合焦値を決定するための手段と、その合焦値に対応する境界位相差値を特定するための手段と、位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するための手段と、第１の画像と第２の画像との間の位相差を決定するための手段と、決定された位相差に少なくとも一部、および境界位相差値により定義される範囲に少なくとも一部基づいて、オートフォーカス調整量を計算するための手段とを含む、撮像装置を含む。
【００１４】
以下は、そのような撮像装置のいくつかの特徴および実施形態の限定しない例である。たとえば、撮像装置はさらに、画像情報を複数の領域へと区分するための手段を含むことがあり、境界位相差値を特定するための手段は、複数の領域のうちの１つに各々対応する複数の境界位相差値を特定するように構成され得る。撮像装置はさらに、複数の領域のうちの少なくともいくつかの複数の境界位相差値を合成して、オートフォーカス調整量を計算するために使用される境界位相差値を生み出すための手段を含み得る。撮像装置はさらに、オートフォーカス調整量を計算するために使用される境界位相差値として出力するために、複数の領域のうちの少なくともいくつかの複数の境界位相差値のうちの１つを選択するための手段を含み得る。位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するための手段は、論理回路を含むイメージセンサを含み得る。位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するための手段は、画像信号プロセッサを含み得る。
【００１５】
開示される態様は、開示される態様を限定するのではなく例示するために提供される、添付の図面および付録とともに以下で説明され、同様の符号は同様の要素を表す。
【図面の簡単な説明】
【００１６】
【図１Ａ】位相検出オートフォーカス情報を取得するための例示的なマルチダイオードマイクロレンズの概略図である。
【図１Ｂ】位相検出オートフォーカス情報を取得するための例示的なマスクされたダイオードの概略図である。
【図１Ｃ】位相検出オートフォーカス情報を取得するための例示的なマスクされたダイオードの概略図である。
【図２Ａ】位相検出ダイオードのペアに入る例示的な光線の軌跡を示す図である。
【図２Ｂ】位相検出ダイオードのペアに入る例示的な光線の軌跡を示す図である。
【図２Ｃ】位相検出ダイオードのペアに入る例示的な光線の軌跡を示す図である。
【図２Ｄ】マスクされた位相検出ダイオードのペアに入る例示的な光線の軌跡を示す図である。
【図３Ａ】中心画素値を計算するための例示的な方法のグラフィカルな表現である。
【図３Ｂ】中心画素値を計算するための例示的な方法のグラフィカルな表現である。
【図３Ｃ】仮想画素値を計算するための例示的な方法のグラフィカルな表現である。
【図３Ｄ】様々な位相検出画像のオフセットのグラフィカルな表現である。
【図４Ａ】本明細書において説明されるようなノイズが低減された位相検出オートフォーカスプロセスを実行するためのプロセスの一実施形態のフローチャートである。
【図４Ｂ】本明細書において説明されるようなノイズが低減された位相検出オートフォーカスプロセスを実行するためのプロセスの別の実施形態のフローチャートである。
【図５】マルチダイオードマイクロレンズを有するセンサを使用する例示的な位相検出オートフォーカスプロセスの高水準の概略図である。
【図６】位相検出オートフォーカスデバイスおよび技法を装備した撮像システムの例を示す概略ブロック図である。
【発明を実施するための形態】
【００１７】
序論
本開示の実施形態は、位相検出オートフォーカスに対してノイズ低減を実行するための撮像画素（すなわち、非位相検出画素）を使用するためのシステムおよび技法に関する。有利には、これは、より正確な位相検出オートフォーカスをもたらし、また、位相検出を実行するためのプロセッサ使用率を最適化することができる。位相差検出画素が、画像の合焦のずれの方向（非合焦方向）およびずれの量（非合焦量）を示す位相差検出信号を取得するために設けられ、撮像画素値の分析が、焦点が合っている関心領域の合焦のレベルを推定し、それに従って特定された位相差を制限するために使用され得る。
【００１８】
撮像画素から受け取られた画像データは、たとえば、画像データの分析から最大の許容可能な位相差値を計算したことに基づいて、不正確な位相差の計算結果を除外するために使用され得る。たとえばコントラスト分析に基づいて、特定の位相検出画素の周りの近隣の画素の領域が強いまたは鮮明なエッジを示す場合、これは、画像が焦点に近いことを示し得る。したがって、ノイズ低減方法は、位相検出画素によって特定され得る最大の可能な位相差値を拘束し得る。この最大値は、誤った位相検出の計算結果、たとえば計算された最大値を超える位相差を取り除くために使用され得る。この最大値はまた、完全な位相検出探索を実行する必要がないように、位相検出アルゴリズムを最適化するために使用され得る。一例では、位相検出探索の範囲は、最大の可能な位相差に基づいて限定され得る。別の例では、オートフォーカスシステムは、（たとえば、０に等しいＰＤ位相を報告することによって）画像の焦点が合っていることを直接報告することができる。
【００１９】
まばらな位相検出ダイオードのパターンは、位相検出ペアの中のダイオードが鮮明なエッジの反対側に位置する可能性があるので、エイリアシングによる問題があり得る。位相検出オートフォーカスは、ターゲットシーンが高周波のパターンを含む状況においては、エイリアシングによるエラーの影響を特に受けやすいことがある。さらに、エイリアシングはオートフォーカスプロセスの監視状態においてはより問題であり得る。すなわち、監視状態において、撮像システムはすでに合焦場所に収束しており、撮像システムを新しい合焦（収束）場所へ再配置することを必要とし得る変化について、ターゲットシーンが監視される。これは、ターゲットシーンがすでに合焦しているとき、または合焦点に近いときにのみ高周波が現れるという事実によるものである。したがって、閾値のレベルのシャープネスを有する高周波のパターンおよび／またはエッジを特定するための撮像画素から受け取られたデータの分析が、さもなければエイリアシングにより位相検出プロセスにもたらされ得るエラーを除去または補償するために使用され得る。
【００２０】
本位相検出オートフォーカス技法は、右側位相検出画素として図１において下で示される単一の位相検出画素の近隣にある撮像画素を使用して、位相検出プロセスに対してノイズ低減を実行することができる。他の例は左側画素を使用することができる。たとえば３×３、５×５、７×７などの様々なサイズの領域の中の近隣の画素からの画素値は、オートフォーカスの目的で、特定の位相検出画素の有用性に関する価値のある情報を提供することができる。
【００２１】
いくつかの例は、ノイズ低減の計算を実行するためのペアの中の各位相検出画素の位置において、中心画素値を補間することができる。中心画素値は、４つの隣り合う緑の画素から、または、たとえば５×５、７×７などの様々なサイズの領域の中の近隣の画素から補間され得る。いくつかの実施形態では、中心補間プロセスは、たとえば欠陥画素の補正と同様に、最終的な画像において位相検出画素の位置での値を埋め合わせるためのプロセスの一部であり得る。様々な実装形態は、中心補間プロセスを実行するために、中心補間のためのオンセンサ論理回路を含むことがあり、または外部のＩＳＰに依存することがある。オートフォーカスシステムは、ペアの中の位相検出画素の各々に対して、補間された中心画素値と位相検出画像値との間の相違値を計算することができる。これらの相違値の間の差が閾値より大きい場合、これは、ペアの中の位相検出画素がエッジを挟んで反対側に位置する可能性が高いことを示すことができ、位相検出画素のそのペアはオートフォーカスの計算から除外され得る。
【００２２】
別の実施形態では、オートフォーカスシステムは、エッジ検出を実行するために、撮像画素、たとえば位相検出画素のペアの周りの所定の近隣にあるすべての撮像画素または撮像画素のサブセットから受け取られたデータを使用することができる。オートフォーカスシステムは次いで、エッジの位置を位相検出画素の既知の位置と比較して、ペアの中の位相検出画素がエッジを挟んで反対側に位置する可能性が高いかどうかを決定することができ、位相検出画素のそのペアはオートフォーカスの計算から除外され得る。ペアの中の位相検出画素が深度の不連続部分を挟んで反対側にあるかどうかを決定するための他の適切な技法、たとえば画素データにおける強度の変動の分析も、位相検出画素のそのようなペアから受け取られるデータをオートフォーカス調整量の計算から除外するために使用され得る。エッジを挟んで反対側に位置する位相検出画素のペアからデータを除外することは、位相差検出に使用可能な半画像のペアを生成するときに、特定されたペアを含まない位相検出画素のサブセットから受け取られるデータを使用することを含み得る。
【００２３】
主にマスクされた位相検出画素の文脈で本明細書において論じられるが、本明細書において説明されるノイズ低減技法は、マスクレス位相検出画素、たとえば、マイクロレンズの形成が原因で位相情報を受け取ることにも適用可能であり得る。
【００２４】
例示を目的として、図面とともに様々な実施形態が下で説明される。開示されている概念の多くの他の実装形態が可能であり、開示されている実装形態によって様々な利点が達成され得ることを理解されたい。参照のため、および様々なセクションを見つけるのを助けるために、本明細書には見出しが含まれる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図されたものではない。そのような概念は、本明細書全体にわたって適用可能であり得る。
【００２５】
例示的な位相検出マイクロレンズおよびカラーフィルタ配置の概要
図１Ａは、位相データを生成するためのマルチダイオードマイクロレンズ１１０を含む例示的なセンサ部分１００の概略図を示す。センサ部分１００は、シングルダイオードマイクロレンズ１０５、マルチダイオードマイクロレンズ１１０、複数のカラーフィルタ１１５を含むフィルタアレイ１０８、およびセンサアレイ１０７の中に並べられたフォトダイオード（「ダイオード」）１２０Ａ〜１２０Ｄを含む。マルチダイオードマイクロレンズ１１０は、ターゲットシーンからの光がセンサアレイ１０７のダイオード１２０Ｂ、１２０Ｃに入射する前にマルチダイオードマイクロレンズ１１０を通って伝播するようにサイズ決定および配置が行われ、ダイオード１２０Ｂ、１２０Ｃは、光がパするようにマルチダイオードマイクロレンズ１１０によって覆われる。
【００２６】
ダイオードは、たとえば、半導体基板の中、たとえば相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサの中に形成されるフォトダイオードであり得る。本明細書では、ダイオードは、入射光を電流に変換する任意の材料、半導体、センサ素子、または他のデバイスの単一の単位を指す。本明細書において使用される「画素」という用語は、カラーフィルタまたはマイクロレンズなどの隣り合う光学素子が原因の検知機能の文脈においては単一のダイオードを指し得る。したがって、「画素」は一般にディスプレイのピクチャ素子を指し得るが、本明細書において使用される「画素」は、光を受け取り、ディスプレイ上でレンダリングされるとセンサ（および複数の他のセンサ）により捕捉される画像の中の点として表示され得る信号を生成する、センサ（たとえば、フォトダイオード）を指し得る。たとえばＣＭＯＳまたは電荷結合（ＣＣＤ）デバイスの中のセンサのアレイの個々の単位または検知素子は、センセルとも呼ばれ得る。
【００２７】
カラーフィルタ１１５は、波長選択性の通過フィルタとして働き、入来する可視の域の光を赤、緑、および青の域へと分割（またはフィルタリング）する。入来する光は、たとえばターゲットシーンに由来する。光は、ある選択された波長のみがカラーフィルタ１１５を通過できるようにすることによって「分割」され、光のフィルタリングはカラーフィルタ１１５の構成に基づく。様々なタイプのカラーフィルタ１１５が使用され得る。図１Ａに示されるように、分割された光は、専用の赤、緑、または青のダイオード１２０Ａ〜１２０Ｄによって受け取られる。赤、青、および緑のカラーフィルタが一般に使用されるが、他の実施形態では、カラーフィルタは、たとえば紫外線、赤外線、または近赤外線通過フィルタを含めて、捕捉された画像データのカラーチャネル要件に従い変化することができる。
【００２８】
各シングルダイオードマイクロレンズ１０５は、単一のカラーフィルタ１１５および単一のダイオード１２０Ａ、１２０Ｄを覆って配置される。したがって、ダイオード１２０Ａ、１２０Ｄは撮像画素情報を提供する。マイクロレンズアレイ１０６の中のシングルダイオードマイクロレンズの下にあるカラーフィルタは、いくつかの実施形態では、ベイヤーパターンに従って配置され得る。マルチダイオードマイクロレンズ１１０は、２つの隣り合うカラーフィルタ１１５Ｂ、１１５Ｃおよび２つの対応する隣り合うダイオード１２０Ｂ、１２０Ｃを覆って配置される。したがって、ダイオード１２０Ｂ、１２０Ｃは、ダイオード１２０Ｂが第１の方向のマルチダイオードマイクロレンズ１１０に入る光を受け取り、ダイオード１２０Ｃが第２の方向のマルチダイオードマイクロレンズ１１０に入る光を受け取ることによって、位相検出画素情報を提供する。マイクロレンズアレイ１０６の中のマルチダイオードマイクロレンズの下にあるカラーフィルタは、いくつかの実施形態では、同じ波長の光を通すように選択され得る。
【００２９】
本明細書では、「覆って」および「の上に」は、ターゲットシーンから入射する光がある構造（たとえば、カラーフィルタまたはレンズ）を通って伝播してから別の構造に到達する（または入射する）ような、構造の配置を指す。例示すると、マイクロレンズアレイ１０６はカラーフィルタアレイの上に配置され、カラーフィルタアレイはダイオード１２０Ａ〜１２０Ｄの上に配置される。したがって、ターゲットシーンからの光は、最初にマイクロレンズアレイを、次いでカラーフィルタアレイを通過し、最終的にダイオード１１５Ａ〜１１５Ｄに入射する。
【００３０】
図１Ａは、物理的な構造ではなくマルチダイオードマイクロレンズ１１０により提供される位相検出能力を説明するために図示されているものと理解されるべき、（破）線１３０を図示する。線１３０は、マルチダイオードマイクロレンズ１１０の光学的な中心を通過し、カラーフィルタ１１５Ａ〜１１５Ｄのカラーフィルタアレイによって形成される平面に直交する。マルチダイオードマイクロレンズ１１０が２×１のマイクロレンズである場合、マルチダイオードマイクロレンズ１１０は、第１の方向に入射する、すなわち線１３０の一方の側からマルチダイオードマイクロレンズ１１０に入る光Ｌ（ｘ）が、第１のダイオード１２０Ｂにおいて収集されるように形成される。第２の方向に入射する、すなわち線１３０の他方の側からマルチダイオードマイクロレンズ１１０に入る光は、第２のダイオード１２０Ｃにおいて収集される。したがって、ダイオード１２０Ｂ、１２０Ｃから受け取られるデータは位相検出のために使用されることが可能である。マルチダイオードマイクロレンズが２×２のマイクロレンズである場合、マルチダイオードマイクロレンズ１１０は、４つの方向に入射する光Ｌ（ｘ）が４つのダイオードに入射するように形成され、このとき、１つの方向の光はマルチダイオードマイクロレンズ１１０の４分の１を通過する光と見なされる。
【００３１】
図１Ｂおよび図１Ｃは、位相検出オートフォーカス情報を取得するための例示的なマスクされたダイオードの概略図を示す。図１Ｂはカラーフィルタ１１５の下に配置されたマスク１２５Ａ、１２５Ｂを有する例示的な配置１００Ｂを示し、一方で図１Ｃはカラーフィルタ１１５の上に配置されたマスク１２５Ａ、１２５Ｂを有する例示的な配置１００Ｃを示す。ターゲットシーンからの光は、マスク１２５Ａ、１２５Ｂ、マイクロレンズ１１５、およびカラーフィルタを通過する前に主集束レンズアセンブリ（図示されず）を通過し、次いで、位相検出ダイオード１２０Ｅ、１２０Ｆのペアに入射する。イメージセンサの設計検討事項に応じて、位相検出ダイオード１２０Ｅ、１２０Ｆは、互いに隣り合っていることがあり、または、１つまたは複数のダイオードによって離隔されていることがあり、同じ行もしくは列にあることがあり、または異なる行もしくは列にあることがある。
【００３２】
マスク１２５Ａ、１２５Ｂは、特定の方向に（図示されるように、シングルダイオードマイクロレンズ１０５の光学的な中心を通って破線１３０の一方の側から）入射する光のみが、ダイオード１２０Ｅ、１２０Ｆにおいて選択的に収集されることを可能にする。たとえば、位相差を生成するために、光遮断マスク１２５Ａ、１２５Ｂは、ペアを生み出すために反対方向にある２つのダイオード１２０Ｅ、１２０Ｆを覆って配置され、数万のペアが、位相差オートフォーカスのためのデータを取得するために、イメージセンサの２次元行列に並べられ得る。ダイオード１２０Ｅ、１２０Ｆに入射する光の量は、シングルダイオードマイクロレンズ１０５の光学軸に関してマスク１２５Ａ、１２５Ｂにより作り出される半画像によって、撮像ダイオードと比べて５０％低減される。
【００３３】
図２Ａ〜図２Ｃは、位相検出ダイオード１２０Ｂ、１２０Ｃのペアに入射する前に、主レンズ２５０を通り、次いでマルチダイオードマイクロレンズ１１０を通って進行する例示的な光線の軌跡を図示する。主レンズ２５０およびマルチダイオードマイクロレンズ１１０の寸法は一定の縮尺で示されていないことが理解されるだろう。マルチダイオードマイクロレンズ１１０の直径は、イメージセンサの２つの隣り合うダイオードにわたる距離に概ね等しいことがあり、一方で、主レンズ２５０の直径は、イメージセンサの幅（ダイオードの行または列に沿った距離）以上であることがある。
【００３４】
具体的には、図２Ａは合焦状態の例示的な光線の軌跡を図示し、図２Ｂは前ピン状態の例示的な光線の軌跡を図示し、図２Ｃは後ピン状態の例示的な光線の軌跡を図示する。光は、ターゲットシーンの中の点２６０から進行し、ターゲットシーンを合焦するためのレンズ２５０を通り位相検出ダイオード１２０Ｂ、１２０Ｃを含むイメージセンサへと進み、位相検出ダイオード１２０Ｂ、１２０Ｃに入射する前にマルチダイオードマイクロレンズ１１０を通過する。示されるように、ダイオード１２０Ｂは主レンズ２５０の左方向からの光Ｌ（ｘ）を受け取り、ダイオード１２０Ｃは主レンズ２５０の右方向からの光Ｒ（ｘ）を受け取る。いくつかの実施形態では、左方向からの光Ｌ（ｘ）は、主レンズ２５０の左半分（図２Ａ〜図１Ｃの図解においては下半分として示されている）からの光であることがあり、右方向からの光Ｒ（ｘ）は、主レンズ２５０の右半分（図２Ａ〜図１Ｃの図示においては上半分として示されている）からの光であることがある。したがって、イメージセンサ全体にわたって撮像ダイオードと交互配置される多数の位相検出ダイオードが、撮像ダイオードにより捕捉される中心画像からオフセットしている左側画像および右側画像を抽出するために使用され得る。右側および左側ではなく、他の実施形態は、オートフォーカス調整量を計算するために、上側画像および下側画像、対角線上の画像、または左側／右側、上側／下側、および対角線上の画像の組合せを使用することができる。
【００３５】
画像の焦点が合っているとき、左側光線Ｌ（ｘ）および右側光線Ｒ（ｘ）は位相検出ダイオード１１５Ｂ、１１５Ｃの平面において集束する。図１Ｃおよび図２Ｃに示されるように、前方および後方の非合焦場所において、光線はそれぞれ、ダイオードの平面の前および後に集束する。上で説明されたように、位相検出ダイオードからの信号は、前方または後方の非合焦場所において中心画像からオフセットしている左側画像および右側画像を生成するために使用されることが可能であり、オフセットの量が、主レンズ２５０に対するオートフォーカス調整量を決定するために使用されることが可能である。主レンズ２５０は、焦点が対象物の前方にある（イメージセンサにより近い）か、または対象物の後方にある（イメージセンサからより離れている）かに応じて、前方（イメージセンサに向かって）または後方（イメージセンサから離れて）に移動され得る。オートフォーカスプロセスは主レンズ２５０の動きの方向と量の両方を計算できるので、位相差オートフォーカスは非常に高速に焦点を合わせることができる。
【００３６】
図２Ｄは、位相検出ダイオード１２０Ｆ、１２０Ｅのペアに入射する前に、主レンズ（図示されず）を通り、次いで位相検出マスク１２５Ａ、１２５Ｂにより形成される開口を通って進行する、例示的な光線の軌跡を図示する。図２Ｄは後ピン状態を図示し、それは、主レンズの左側からの光線Ｌ（ｘ）および右側からの光線Ｒ（ｘ）がイメージセンサの平面の後方で集束するからである。示されるように、主レンズの右側からの光Ｒ（ｘ）はダイオード１２０Ｆに入射するが、主レンズの左側からの光Ｌ（ｘ）は、位相検出マスク１２５Ａ、１２５Ｂにより作り出される半開口によりダイオード１２０Ｅに入射する。
【００３７】
例示的な複数画像位相検出オートフォーカスの概要
図３Ａは、マスクされた位相検出ダイオードに対する中心画素値を計算するための例示的な方法のグラフィカルな表現を図示する。本明細書では、「中心画素値」は、１つまたは複数の近くの撮像ダイオードから受け取られる信号を使用して位相検出ダイオードの位置において補間される色および／または明るさの値を指す。図３Ａの例はマスクされた位相検出ダイオードを図示するが、他の実装形態は、上で説明されたマルチダイオードマイクロレンズを使用して位相データを生み出し得る。
【００３８】
図３Ａの図解において示されるように、一実施形態では、中心画素値は、４つの対角方向に隣り合う緑の画素値に基づいて、位相検出ダイオードの位置３０５において補間され得る。この手法は、位相検出ダイオードを覆って位置３０５に緑のカラーフィルタを有するいくつかの実装形態において使用され得る。他の例では、中心値は、たとえば５×５、７×７などの様々なサイズの領域の中の、任意の色の近隣の画素から計算され得る。
【００３９】
いくつかの実施形態では、位相検出ダイオードは、ダイオードを覆って配設される透明なカラーフィルタを有することがあり、またはカラーフィルタを有しないことがある。別のフィルタ、たとえば赤外線カットオフフィルタがダイオードを覆って配設されることもあるが、透明なカラーフィルタの下にある、または下にカラーフィルタがない位相検出ダイオードは、カラーフィルタリングされていない可視光を受け取る。したがって、ダイオードに入射する光の明るさを、波長選択性の通過フィルタを有するダイオードと比べて上げることができ、これは、半開口によりダイオードに入射する光が減少することによる弱光の状況において位相データを提供するのに有益であり得る。そのような実施形態では、中心画素値は、すべての色の近隣の画素値、たとえば位相検出ダイオードの位置を囲む３×３の近隣の中のすべての８個のダイオードから受け取られる値に基づいて補間され得る。一例では、線形な加重関数が、３×３の近隣の中の８個のダイオードから中心画素値を決定するために使用され得る。
【００４０】
中心画素は、イメージセンサ全体にわたる多数の位置からの中心画素値から構築され得る。半画像は、イメージセンサ全体にわたる多数の位置における位相検出ダイオードから受け取られる値から構築され得る。
【００４１】
図３Ｂは、マルチダイオードマイクロレンズ１１０の下にある位相検出ダイオードのペアに対する中心画素値を計算するための例示的な方法のグラフィカルな表現を図示する。示される例では、マルチダイオードマイクロレンズ１１０の下にある両方のダイオードが、緑のカラーフィルタの下にある。したがって、マルチダイオードマイクロレンズ１１０を囲む３×４の近隣の中の５個の緑の画素値が、中心画素値を計算するために使用される。他の実施形態では、異なる近隣からの緑の画素値、たとえば、マルチダイオードマイクロレンズの行に沿った５×１の近隣からの２つの緑の値、５×６の近隣からの緑の値などが使用され得る。
【００４２】
別の実施形態では、マルチダイオードマイクロレンズ１１０の下にある両方のダイオードが、透明なカラーフィルタの下にあり得る。そのような実施形態では、中心画素値は、すべての色の近隣の画素値、たとえばマルチダイオードマイクロレンズ１１０の位置を囲む３×４の近隣の中のすべての１０個のダイオードから受け取られる値に基づいて決定され得る。一例では、線形加重関数が、３×４の近隣の中の１０個のダイオードから中心画素値を決定するために使用され得る。
【００４３】
マルチダイオードマイクロレンズ１１０の下にある両方のダイオードに対して、同じ中心画素値が使用されることがあり、すなわち、マルチダイオードマイクロレンズ１１０の下にある両方のダイオードから受け取られる値に一部基づいて生成される半画像は、中心画素値に部分的に基づいて生成される中心画像と比較されることがある。
【００４４】
図３Ｃは、仮想画素値を計算するための例示的な方法のグラフィカルな表現を図示する。示される例では、右側位相検出センセル（集束レンズアセンブリの右側からの光Ｒ（ｘ）を受け取る上で説明されたダイオード１２０Ｃ、１２０Ｅなどのダイオード）から受け取られた値は、補間された中心画素値から差し引かれて、左側仮想位相検出画素値Ｌｖとして図示される、仮想位相検出画素値を生み出す。右側位相検出画素値Ｒおよび左側仮想位相検出画素値Ｌｖは、いくつかの他の右側位相検出画素値および左側仮想位相検出画素値とともに半画像を生成するためにいくつかの実施形態では使用され得る、対向する位相検出画素のペアを形成する。これらの半画像は、オートフォーカス調整量を決定するために使用可能な位相差を決定するために、互いに比較され得る。
【００４５】
同様の技法が、ペアの対向する位相検出画素の位置において右側、上側、下側、および対角線上の仮想位相検出画素値を生成するために使用され得る。
【００４６】
図３Ｄは、画像を捕捉するために使用される撮像システムが非合焦状態であるときの、中心画素値Ｃに対してオフセットされた様々な位相検出画素値Ｌ、Ｌｖ、Ｒ、およびＲｖを図示する、オフセット連続体３００のグラフィカルな表現を示す。オフセットは、焦点と比較した非合焦の量および非合焦の方向を示す。理解されるように、合焦状態では、オフセットはほとんどまたはまったくなく、画素値Ｃ、Ｌ、Ｌｖ、Ｒ、およびＲｖは、オフセット連続体３００上の同じ点に位置する。
【００４７】
非合焦状態および、画素値Ｃ、Ｌ、Ｌｖ、Ｒ、およびＲｖに対する非合焦状態の影響が、オフセット連続体３００の上の錯乱円の図３０１〜３０５により示されている。ぼけスポットとも呼ばれる錯乱円は、点源を撮像するときにイメージセンサの平面にある焦点へ光錐が来ないことにより引き起こされる光学的なスポットであり、たとえば、図２Ｂおよび図２Ｃに示される合焦状態において発生する。中心画素値に対応するぼけスポット３０１の全体が示されており、これはマスクされていない開口を通ってセンセルに入射する光を表す。ぼけスポット３０１の形状と対比して示される、三日月形のぼけスポット３０２は、センセルの上の開口の右半分（またはほぼ半分）を遮断するマスクの下にあるセンセルに入射し、これにより、左側位相検出画素値Ｌを生み出す。同様に、ぼけスポット３０１の形状と対比して示される、三日月形のぼけスポット３０３は、センセルの上の開口の左半分（またはほぼ半分）を遮断するマスクの下にあるセンセルに入射し、これにより、右側位相検出画素値Ｒを生み出す。画素値Ｃのぼけスポット３０１全体から右側位相検出画素の三日月型のぼけスポット３０３を差し引いたものとして計算されている、仮想左側画素値Ｌｖのぼけスポット３０４は、ほぼマーキーズ形またはレンズ形である。同様に、画素値Ｃのぼけスポット３０１全体から左側位相検出画素の三日月形のぼけスポット３０２を差し引いたものとして計算されている、仮想右側画素値Ｒｖのぼけスポット３０５は、ほぼマーキーズ形またはレンズ形である。
【００４８】
上で説明されたように、中心画素値Ｃは、中心画素を生成するために、いくつかの他の計算された中心画素値とともに使用され得る。位相検出画素値Ｌ、Ｌｖ、Ｒ、およびＲｖは、位相差を検出するのに使用可能な半画像を生成するために、それぞれいくつかの他の左側、仮想左側、右側、および仮想右側位相検出画素値とともに使用され得る。
【００４９】
中心画像Ｃは、オフセットを有しない（オフセット連続体３００に沿った０の点に位置する）ものとして示されている。左側画素値Ｌおよび右側画素値Ｒはそれぞれ、三日月形のぼけスポット３０２、３０３のうちの対応する１つの重心に基づいて、中心画素値Ｃから正または負のオフセットを有するものとして示されている。典型的な位相検出オートフォーカスプロセスは、オートフォーカス調整量を計算するために、左側画素値Ｌと右側画素値Ｒとの相違を使用する。しかしながら、本明細書において説明される位相検出オートフォーカスプロセスでは、オートフォーカス調整量は、いくつかの左側画素値Ｌから生成される画像と中心画素値Ｃから生成される画像との相違に基づいて、右側画素値Ｒから生成される画像と中心画素値Ｃから生成される画像との相違に基づいて、または両方の相違に基づいて計算され得る。
【００５０】
中心画像と、同じセンセル位置に対応する値に基づいて生成された左側画像または右側画像との間の、位相検出を実行することは、異なるセンセル位置（たとえば、いくつかの撮像センセルがそれらの間に配置された左側位相検出センセルおよび右側位相検出センセルのペア）から受け取られた値に基づいて生成される左側画像および右側画像を使用してオートフォーカスを実行することと比較すると、エイリアシングの影響の低減により、よりノイズの少ない位相検出オートフォーカスプロセスをもたらし得る。さらに、いくつかの実施形態では、位相検出プロセスの分解能は、中心画像と左側画像との相違と、中心画像と右側画像との相違との両方を使用することによって、２倍にできる。他の実施形態では、センサ上の位相検出センセルの数を減らすことができ、これにより、捕捉される画像データにおいて生成されるアーティファクトがより少なくなる。
【００５１】
さらに、仮想左側画素値Ｌｖおよび仮想右側画素値Ｒｖが、それぞれ、中心画像Ｃから負および正のオフセットを有するものとして示されている。中心のぼけスポット３０１の重心と、実際の左側位相検出画素および右側位相検出画素に対応する三日月形のぼけスポット３０２、３０３の重心との間の距離は、中心のぼけスポット３０１の重心と、仮想左側画素値Ｌｖおよび仮想右側画素値Ｒｖに対応するレンズ形のぼけスポット２０４、３０５の重心との間の距離より長い。したがって、中心画素値Ｃからの仮想左側画素値Ｌｖおよび仮想右側画素値Ｒｖのオフセットは、中心画素値Ｃからの対応する左側画素値Ｌおよび右側画素値Ｒのオフセットより小さいことがある。たとえば、左側画素値Ｌおよび右側画素値Ｒを生み出すために使用されるマスクされたセンセルは、たとえば、実効的な低減された開口がマイクロレンズの光学軸と厳密に揃わないようにサイズ決定または配置されることで、マスクされたセンセルの上のマイクロレンズの光学軸に完全に中心がある開口を作り出さないマスクを有することがある。別の例として、左側画素値Ｌにより生成されるぼけの重心は、対応する仮想右側画素値Ｒｖにより生成されるぼけの重心よりも多く、または少なく、中心画素値Ｃの重心からオフセットされ得る。
【００５２】
いくつかの実装形態では、位相検出の相関付けが、以下の画像の組合せのいずれかまたはすべてを使用して実行され得る。
（１）右側画像または仮想右側画像および仮想左側画像
（２）左側画像または仮想左側画像および仮想右側画像
（３）中心画像および他の４つの画像のうちのいずれか
【００５３】
いくつかの実装形態は、右側仮想位相検出画素値および実際の右側位相検出画素値に基づいて合成された右側画像を作り出し、また、左側仮想位相検出画素値および実際の左側位相検出画素値に基づいて合成された左側画像を作り出すことができ、そのような実装形態が次いで、合成された画像に対して左側画像と右側画像との相関付けを実行し、これにより、仮想位相検出情報を伴わずに実行される典型的な左側と右側の相関付けと比較して、位相検出情報の量を２倍にすることができる。ロバストな位相検出アルゴリズムの一例では、図３Ｄにおいて示される５つの画像のすべての可能な組合せにわたって、相関が探索され得る。
【００５４】
一実施形態では、位相検出のための中心画像および半画像の生成は、オンセンサで実行され得る。他の実装形態では、中心画像および半画像は、位相検出ダイオードおよび近くの撮像ダイオードから受け取られる値に基づいて、画像信号プロセッサによって生成され得る。
【００５５】
例示的な位相検出ノイズ低減技法の概要
まばらな位相検出ダイオードのパターンは、位相検出ペアの中のダイオードがエッジを挟んで反対側に位置する可能性があるので、エイリアシングによる問題があり得る。位相検出オートフォーカスは、ターゲットシーンが高周波のパターンを含む状況においては、エイリアシングによるエラーの影響を特に受けやすいことがある。さらに、エイリアシングはオートフォーカスプロセスの監視状態においてはより問題であり得る。すなわち、監視状態において、撮像システムはすでに合焦場所に収束しており、撮像システムを新しい合焦（収束）場所へ再配置することを必要とし得る変化について、ターゲットシーンが監視される。これは、ターゲットシーンがすでに合焦しているとき、または合焦点に近いときにのみ高周波が現れるという事実によるものである。したがって、閾値のレベルのシャープネスを有する高周波のパターンおよび／またはエッジを特定するための撮像画素から受け取られたデータの分析が、さもなければエイリアシングにより位相検出プロセスにもたらされ得るエラーを除去または補償するために使用され得る。
【００５６】
図４Ａは、本明細書において説明されるようなノイズが低減された位相検出オートフォーカスプロセス４００Ａを実行するためのプロセスの一実施形態のフローチャートを示す。位相検出オートフォーカスプロセス４００Ａは、撮像画素データの分析に基づいて可能な相違値を制限することによって位相検出の探索範囲を最適化するために使用され得る。位相検出オートフォーカスプロセス４００Ａのいくつかの実施形態はオンセンサで実行されることがあり、他の実施形態は画像信号プロセッサを使用して実行されることがある。
【００５７】
ブロック４０５において、プロセス４００Ａは通常の画素を分析することができる。これは、たとえば、位相検出に専用ではないイメージセンサのダイオードにおいて集められた光の値を表すデータを受け取ることを含み得る。ブロック４１０において、プロセス４００Ａは最大のぼけを評価することができる。本明細書では、「最大のぼけ」とは、オートフォーカスのための位相検出を制限するために使用され得る、画像データの中のぼけのレベルを指す。最大のぼけは、画像の最も焦点が合っている部分、たとえば関心がある合焦領域内の最も焦点が合っている領域のぼけのレベルであり得る。
【００５８】
いくつかの実施形態では、最大のぼけは、コントラスト焦点統計ブロックを使用して推定され得る。たとえば、コントラストベースのオートフォーカス技法では、分析の一部が、ある関心領域（ＲＯＩ）における合焦値を出力するためにＨＷブロックにおいて実施され得る。そのような技法は、たとえば画像の一部もしくは全体にマッピングされる格子として、異なる位置に対する複数の合焦値を得ることができ、または、複数のウィンドウに対して構成される別々の合焦値を得ることができる。
【００５９】
一実装形態では、最大のぼけは、撮像画素からのデータにおいて特定される最も鮮明なエッジのぼけの量を表す値であり得る。したがって、撮像画素からの画像データを分析し、最大のぼけを評価するブロック４０５、４１０は、画像データに対してエッジ検出を実行することと、最も鮮明なエッジを特定することと、最も鮮明なエッジのぼけのレベルを決定することとを伴い得る。
【００６０】
一実装形態では、ブロック４０５および４１０は、以下のステップを伴い得る。撮像画素からの画像データに対して、水平方向のフーリエ変換または高速フーリエ変換が実行され得る。次に、プロセス４００Ａは、所定の閾値を超えるエネルギーを有する、得られたデータの中で最高の周波数を探索することができる。プロセス４００Ａは、２つの線形フィルタ、たとえば有限インパルス応答フィルタまたは無限インパルス応答フィルタを適用することができる。２つのフィルタの各々が、異なる帯域通過を有するように構成され得る。２つのフィルタのうちの第１のフィルタは、高周波の帯域通過（たとえば、０．５〜０．２周期／画素）を用いて構成されることがあり、２つのフィルタのうちの第２のフィルタは、低周波の帯域通過（たとえば、０．２〜０．１周期／画素）を用いて構成されることがある。
【００６１】
一実装形態では、高周波の帯域通過から得られるデータの中のエネルギーが所定の閾値を超える場合、プロセス４００Ａは、最大のぼけが５個の画素であると推定することができ、そうではなく、低周波の帯域通過から得られるデータの中のエネルギーが所定の閾値を超える場合、プロセス４００Ａは、最大のぼけが１０個の画素であると推定することができ、それら以外の場合、プロセス４００Ａは最大のぼけにより位相検出を制限することができない。
【００６２】
ブロック４１５において、プロセス４００Ａは、評価される最大のぼけに対応する位相差値ＰＤ＿ＭＡＸを評価することができる。この値は境界位相差値を表し、有効な位相差値は、境界位相差値の正の値と負の値との間の範囲に入ることが予想され得る。したがって、位相差は、撮像ダイオードから受け取られたデータの分析によって決定されるような、画像の関心のある合焦領域の非合焦の推定されるレベルを超えないように制限され得る。
【００６３】
ブロック４２０において、プロセス４００Ａは、［−ＰＤ＿ＭＡＸ，  ＋ＰＤ＿ＭＡＸ］として図示される、関心のある合焦領域のぼけに対応する位相差値によって定義される範囲にわたって、位相差検出を実行することができる。図５に関して下で論じられるように、位相差検出は次のステップを含み得る。左側チャネルおよび右側チャネル（本明細書では左側半画像および右側半画像または左側画像および右側画像とも呼ばれる）は、左側位相検出ダイオードおよび右側位相検出ダイオードから受け取られるデータから抽出されることが可能であり、左側チャネルおよび右側チャネルは、たとえば、レンズのシェーディングの補正と同様のゲインマップを使用して、均一性のために補正され得る。プロセス４００Ａは次いで、左側チャネルと右側チャネルとの間の水平方向の相関を発見することができる。これは、たとえば−３画素から＋３画素までの、正および負の画素シフトの範囲内での探索を伴うことがあり、この探索範囲は、上で論じられたような最大のぼけに従って調整され得る。各画素シフトに対して、プロセス４００Ａは、絶対値差分和（ＳＡＤ）を測定してＳＡＤベクトルを得ることができ、ＳＡＤベクトルを補間してチャネル間の最適な相関点を見つけることができる。相関により決定される位相検出オフセットは次いで、たとえば線形マッピング、多項式関数、マルチセグメント線形関数、参照テーブル、または任意の他の適切な関数を使用して、非合焦レンズ場所変化ｎへと変換される。決定された位相差は、たとえば、合焦場所に合焦レンズを配置するための合焦レンズの動きの方向および量を決定するために使用されることにより、オートフォーカス調整を計算するために使用され得る。
【００６４】
図４Ｂは、本明細書において説明されるようなノイズが低減された位相検出オートフォーカスプロセスを実行するためのプロセス４００Ｂの別の実施形態のフローチャートを示す。位相検出オートフォーカスプロセス４００Ｂは、撮像画素データの分析に基づいて決定される最大値を超える相違値を無視することによって、オートフォーカスの合焦監視段階において発生し得るエイリアシングエラーを補償するために使用され得る。位相検出オートフォーカスプロセス４００Ｂのいくつかの実施形態はオンセンサで実行されることがあり、他の実施形態は画像信号プロセッサを使用して実行されることがある。
【００６５】
ブロック４２０において、プロセス４００Ｂは、位相検出ダイオードから受け取られた利用可能な差の最大の範囲にわたって、位相差検出を実行する。図４Ａに関して上で説明されたブロック４０５、４１０、および４１５は、同時に、または順番に、撮像画素から受け取られたデータの関心のある合焦領域の中のぼけのレベルに対応する位相差範囲を特定するために実行される。
【００６６】
ブロック４２５において、ブロック４２０において実行された位相差検出に対する範囲の確認を実行するために、ブロック４０５、４１０、および４１５から導出された位相差範囲が使用される。範囲の確認は、特定された位相差（ブロック４２０においてＰＤと図示される）が［−ＰＤ＿ＭＡＸ，  ＋ＰＤ＿ＭＡＸ］の範囲に入るかどうかを特定する。
【００６７】
特定された位相差が決定された位相差範囲内に入る場合、プロセス４００Ｂはブロック４３０に移り、特定された位相差を使用してオートフォーカス調整量を計算する。撮像システムのレンズおよび／またはセンサが、決定されたオートフォーカス調整量に対応する合焦場所に移動された後で、プロセス４００Ｂは、オートフォーカスの監視状態への遷移を示す。いくつかの実施形態では、これは、図４Ａのプロセス４００Ａの周期的な繰返しを伴い得る。他の実施形態では、これは、プロセス４００Ｂのブロック４２０および４０５を再初期化することを伴い得る。
【００６８】
特定された位相差が決定された位相差範囲内にない場合、プロセス４００Ｂはブロック４３５に移り、エイリアシングエラーが疑われることを示す。上で説明されたように、エイリアシングにより、特定された位相差値が、画像の合焦部分のぼけの実際のレベルを超えることがある。
【００６９】
ブロック４４０において、プロセス４００Ｂは、オートフォーカスプロセスが監視状態にあるかどうかを特定する。たとえば、プロセス４００Ｂは、撮像システムが合焦場所にすでに移動されている（またはすでに合焦場所にあると決定された）かどうかを決定することができる。オートフォーカスプロセスが監視状態にない場合、４００Ｂはブロック４４５に移り、特定された位相差を無視する。この時点で、ブロック４２０および４０５が再初期化され得る。
【００７０】
オートフォーカスプロセスが監視状態にある場合、４００Ｂはブロック４５０に移り、特定された位相差をＰＤ＿ＭＡＸに縮め、位相差は関心のある合焦領域におけるぼけのレベルに相当するように決定される。プロセス４００Ｂは次いで、ブロック４２０または４０５を再初期化することができ、またはいくつかの実施形態では、図４Ａの合焦監視プロセス４００Ａに切り替えることができる。
【００７１】
一部の撮像装置は、プロセス４００Ａおよび／または４００Ｂを実施して、画像情報の複数の領域に対して別々に境界位相差値を決定することができる。たとえば、画像情報は、視野全体で格子（たとえば、５×５の格子）へと区分され得る。別の例では、撮像装置は、画像データの各線上で境界位相差値を別々に決定し、次いで、境界位相差値を合成し、またはオートフォーカス計算のための有効な位相差範囲を決定するのに使用するために境界位相差値のうちの１つを選択することができる。撮像装置はまた、各領域に対してノイズ（範囲外の相違値を有する位相検出センセルのペア）を別々に除去し、かつ／または、特定の線／領域に対して境界の外にある位相シフト検出センセル値を失格にすることができる。
【００７２】
ノイズ低減位相検出技法の別の実施形態では、撮像装置は、ノイズ低減の計算を実行するためのペアの中の各位相検出画素の位置において、中心画素値を補間することができる。中心画素値は、４つの隣り合う緑の画素から、または、たとえば５×５、７×７などの様々なサイズの領域の中の近隣の画素から補間され得る。いくつかの実施形態では、中心補間プロセスは、たとえば欠陥画素の補正と同様に、最終的な画像において位相検出画素の位置での値を埋め合わせるためのプロセスの一部であり得る。様々な実装形態は、中心補間プロセスを実行するために、中心補間のためのオンセンサ論理回路を含むことがあり、または外部のＩＳＰに依存することがある。撮像装置は、ペアの中の位相検出画素の各々に対して、補間された中心画素値と位相検出画像値との間の相違値を計算することができる。これらの相違値の間の差が閾値より大きい場合、これは、ペアの中の位相検出画素がエッジを挟んで反対側に位置する可能性が高いことを示すことができ、位相検出画素のそのペアはオートフォーカスの計算から除外され得る。
【００７３】
別の実施形態では、撮像装置は、エッジ検出を実行するために、撮像画素、たとえば位相検出画素のペアの周りの所定の近隣にあるすべての撮像画素または撮像画素のサブセットから受け取られたデータを使用することができる。撮像装置は次いで、エッジの位置を位相検出画素の既知の位置と比較して、ペアの中の位相検出画素がエッジを挟んで反対側に位置する可能性が高いかどうかを決定することができ、位相検出画素のペアはオートフォーカスの計算から除外され得る。ペアの中の位相検出画素が深度の不連続部分を挟んで反対側にあるかどうかを決定するための他の適切な技法、たとえば画素データにおける強度の変動の分析も、位相検出画素のそのようなペアから受け取られるデータをオートフォーカス調整量の計算から除外するために使用され得る。エッジを挟んで反対側に位置する位相検出画素のペアからデータを除外することは、位相差検出に使用可能な半画像のペアを生成するときに、特定されたペアを含まない位相検出画素のサブセットから受け取られるデータを使用することを含み得る。
【００７４】
例示的な位相検出オートフォーカスプロセスの概要
図５は、本明細書において説明される複数画像位相検出およびノイズ低減プロセスを実施できる、例示的な位相検出オートフォーカスプロセス５００の高水準の概要を図示する。一実施形態では、プロセス５００はオンセンサで実行され得る。他の実装形態では、プロセス５００は、１つまたは複数のプロセッサ、たとえば図６の画像信号プロセッサ６２０を伴い得る。ターゲットシーン５０５を表す光は、レンズアセンブリ５１０を通され、イメージセンサによって受け取られ、イメージセンサにおいて、半画像サンプル５１５が上で説明されたように生み出される。半画像サンプルは、右側画像、仮想右側画像、左側画像、仮想左側画像、および中心画像を含み得る。
【００７５】
レンズアセンブリ５１０は、対称的なインパルス応答を伴う線形ローパスフィルタとしてモデル化されることが可能であり、レンズアセンブリ５１０のインパルス応答（点拡がり関数とも呼ばれる）は、センサと画像平面との間の距離に比例する幅パラメータを伴う、長方形の形状である。シーンは、センサが画像平面の中にあるとき、すなわち、そのシーンにおけるある単一の点からのすべての光線が単一の点へと集束するような平面にあるとき、「焦点が合っている」。図２に示されるように、半画像サンプルは、位相検出画素からの情報だけを含む２つの画像を保存することができる。半画像は、レンズアセンブリ５１０の左側および右側の（または他の例では、上側および下側の）インパルス応答とのターゲットシーンの畳み込みと見なされ得る。図３Ａ〜図３Ｄの技法を使用するセンサの実施形態では、より部分的な画像が保存され得る。
【００７６】
焦点関数計算器５２０は、相互相関関数を部分的な画像に適用して相違を決定する。上で説明されたように、相互相関は、右側画像、仮想右側画像、左側画像、仮想左側画像、および中心画像から選択される画像の１つまたは複数のペアにわたって探索され得る。さらに、相互相関は、データの関心のある合焦領域の合焦のレベルを推定するために撮像ダイオードから受け取られるデータを分析することによって決定される範囲に限定され得る。
【００７７】
レンズアセンブリ５１０の左側および右側のインパルス応答の相互相関関数は、概ね対称かつ単峰であり得るが、ターゲットシーン５０５の性質により、左側および右側の捕捉された画像に適用されるような相互相関関数は、１つまたは複数の誤った極大値を有し得る。相互相関関数の真の最大値を特定するために、様々な手法が使用され得る。相互相関関数の結果は、オートフォーカス制御器５２５にフィードバックとして提供され、これは、主集束レンズアセンブリ５１０を所望の合焦場所へ動かすようにレンズアクチュエータを駆動するために使用され得る。他の実施形態は、固定式の主集束レンズアセンブリを使用して、イメージセンサを所望の合焦場所に動かすことができる。したがって、位相検出オートフォーカスプロセス５００において、焦点を合わせることは、相互相関関数の最大値を探索することと等価である。これは、典型的なフレームレート、たとえば毎秒３０フレームで各フレームに対する合焦の調整を行うのに十分速く行われ得る、したがって、ビデオ捕捉のための滑らかなオートフォーカスを行うために使用され得る、高速なプロセスである。いくつかの実装形態は、たとえば精度を上げるために、位相検出オートフォーカスをコントラストベースのオートフォーカス技法と組み合わせる。
【００７８】
主集束レンズアセンブリおよび／またはイメージセンサが所望の合焦場所にあるとき、イメージセンサは、焦点が合っている撮像画素情報および位相検出画素情報を捕捉し、上で説明されたように、位相検出画素のための色値を計算および補間することができる。撮像画素値および決定された位相検出画素値は、デモザイクのために、かつ任意選択で、ターゲットシーンの最終的な画像を生成するための他の画像処理技法のために出力されることが可能である。
【００７９】
例示的な位相検出オートフォーカスプロセスの概要
図６は、マルチスペクトル虹彩認証能力を有する画像捕捉デバイス６００のある実施形態の高水準の概略ブロック図を示し、画像捕捉デバイス６００は、位相検出オートフォーカスカメラ６１５にリンクされた画像信号プロセッサ６２０を含む構成要素のセットを有する。画像信号プロセッサ６２０はまた、ワーキングメモリ６０５、メモリ６３０、およびデバイスプロセッサ６５０と通信しており、デバイスプロセッサ６５０は、記憶モジュール６１０および任意選択の電子ディスプレイ６２５と通信している。
【００８０】
画像捕捉デバイス６００は、携帯電話、デジタルカメラ、タブレットコンピュータ、携帯情報端末などの、ポータブル個人用コンピューティングデバイスであり得る。本明細書において説明されているような、位相検出オートフォーカス技法を使用することが利点を提供することになる多くのポータブルコンピューティングデバイスがある。画像捕捉デバイス６００はまた、マルチスペクトル虹彩認証技法が有利である固定式のコンピューティングデバイスまたは任意のデバイスであり得る。複数の適用例が画像捕捉デバイス６００上でユーザに利用可能であり得る。これらの適用例は、従来の写真およびビデオへの適用例、ならびにデータ記憶への適用例およびネットワークへの適用例を含み得る。
【００８１】
画像捕捉デバイス６００は、外部画像を捕捉するための位相検出オートフォーカスカメラ６１５を含む。位相検出オートフォーカスカメラ６１５は、上で説明された実施形態に従って並べられた、マルチダイオードマイクロレンズおよびカラーフィルタを有するイメージセンサ、または、マスクされた位相検出画素を含み得る。位相検出オートフォーカスカメラ６１５はまた、ターゲットシーンの合焦画像を生み出すために、画像信号プロセッサ６２０から受け取られたデータに少なくとも一部基づいて配置可能な、主合焦機構を有し得る。いくつかの実施形態では、主合焦機構は、ターゲットシーンからセンサに光を通すように配置される可動のレンズアセンブリであり得る。いくつかの実施形態では、主要な合焦機構はセンサを動かすための機構であり得る。
【００８２】
異なる実装形態では、位相検出オートフォーカスカメラ６１５のセンサは異なる処理機能を有し得る。一実装形態では、センサはいずれのデータも処理しないことがあり、画像信号プロセッサ６２０がすべての必要なデータ処理を実行することがある。別の実装形態では、センサは、位相検出画素を、たとえば別々のＭｏｂｉｌｅ  Ｉｎｄｕｓｔｒｙ  Ｐｒｏｃｅｓｓｏｒ  Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）チャネルへと抽出することが可能であり得る。さらに、センサは加えて、たとえばＲＡＷチャネルにおいて、中心画素値を補間することが可能であり得る。いくつかの実装形態では、センサは加えて、たとえばノーマルチャネルにおいて中心画素値を補間することが可能であることがあり、位相検出計算を内部的に（オンセンサで）処理することが可能であることがある。たとえば、センサは、ダイオードから受け取られた値の加算、減算、および／または比較を実行するためのアナログ回路を含み得る。本明細書において説明される撮像装置は、すべての位相検出計算を実行することが可能なイメージセンサ、あるいは、画像信号プロセッサ６２０および／またはデバイスプロセッサ６５０とともに一部の処理を実行することが可能な、もしくは処理を実行することが可能ではないイメージセンサを含み得る。
【００８３】
画像信号プロセッサ６２０は、位相検出オートフォーカスおよび画像処理技法を実行するために、受け取られた画像データに対して様々な処理動作を実行するように構成され得る。画像信号プロセッサ６２０は、汎用処理ユニットであっても、または撮像用途に特別に設計されたプロセッサであってもよい。画像処理演算の例は、デモザイク、ホワイトバランス、クロストーク低減、クロッピング、スケーリング（たとえば、異なる解像度への）、画像スティッチング、画像フォーマット変換、色補間、色処理、画像フィルタリング（たとえば、空間画像フィルタリング）、レンズアーティファクトまたは欠陥補正などを含む。画像信号プロセッサ６２０はまた、オートフォーカスおよび自動露出などの、画像捕捉パラメータを制御することができる。いくつかの実施形態では、画像信号プロセッサ６２０は複数のプロセッサを備え得る。画像信号プロセッサ６２０は、１つまたは複数の専用画像信号プロセッサ（ＩＳＰ）またはプロセッサのソフトウェア実装形態であり得る。いくつかの実施形態では、画像信号プロセッサ６２０は、位相検出動作に対しては任意選択であることがあり、それは、位相検出動作の一部またはすべてがイメージセンサ上で実行され得るからである。
【００８４】
示されるように、画像信号プロセッサ６２０は、メモリ６３０およびワーキングメモリ６０５に接続される。図示される実施形態では、メモリ６３０は、捕捉制御モジュール６３５、位相検出オートフォーカスモジュール６４０、およびオペレーティングシステム６４５を記憶する。メモリ６３０のモジュールは、様々な画像処理およびデバイス管理のタスクを実行するようにデバイスプロセッサ６５０の画像信号プロセッサ６２０を構成する命令を含む。ワーキングメモリ６０５は、メモリのモジュールに含まれるプロセッサ命令のワーキングセットを記憶するために画像信号プロセッサ６２０によって使用され得る。代替的に、ワーキングメモリ６０５はまた、画像捕捉デバイス６００の動作の間に作成された動的なデータを記憶するために画像信号プロセッサ６２０によって使用され得る。
【００８５】
上述のように、画像信号プロセッサ６２０は、メモリに記憶されたいくつかのモジュールによって構成される。捕捉制御モジュール６３５は、たとえば位相検出オートフォーカス技法の間に生成された命令に応答して、位相検出オートフォーカスカメラ６１５の合焦場所を調整するように画像信号プロセッサ６２０を構成する、命令を含み得る。捕捉制御モジュール６３５はさらに、画像捕捉デバイス６００の全体的な画像捕捉機能を制御する命令を含み得る。たとえば、捕捉制御モジュール６３５は、位相検出オートフォーカスカメラ６１５を使用してターゲットシーンの１つまたは複数のフレームを含むマルチスペクトル画像データを捕捉するように画像信号プロセッサ６２０を構成するためのサブルーチンを呼び出す、命令を含み得る。一実施形態では、捕捉制御モジュール６３５は、所望のオートフォーカス場所を達成するために必要なレンズまたはセンサの動きを計算し、撮像プロセッサ２２０に必要な動きを出力するために、位相検出オートフォーカスモジュール２４０を呼び出し得る。捕捉制御モジュール６３５は、複数画素マイクロレンズの下に配置された画素に対する色値を補間するために、位相検出オートフォーカスモジュール２４０を呼び出し得る。
【００８６】
したがって、位相検出オートフォーカスモジュール６４０は、たとえば図４Ａ、図４Ｂ、および図５に関して上で説明されたプロセス４００Ａ、４００Ｂ、および５００に従って、位相検出オートフォーカスを実行するための命令を記憶することができる。位相検出オートフォーカスモジュール６４０はまた、図３Ａ〜図３Ｃに関して上で説明されたような中心画素値および仮想位相検出画素値を計算するための命令を記憶することができる。
【００８７】
オペレーティングシステムモジュール６４５は、画像捕捉デバイス６００のワーキングメモリ６０５および処理リソースを管理するように画像信号プロセッサ６２０を構成する。たとえば、オペレーティングシステムモジュール６４５は、位相検出オートフォーカスカメラ６１５などのハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態では、上で説明された画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接相互作用せず、代わりに、オペレーティングシステム構成要素６５０の中に位置する標準サブルーチンまたはＡＰＩを通じて相互作用することがある。オペレーティングシステム６４５内の命令は次いで、これらのハードウェア構成要素と直接対話し得る。オペレーティングシステムモジュール６４５はさらに、デバイスプロセッサ６５０と情報を共有するように画像信号プロセッサ６２０を構成し得る。
【００８８】
デバイスプロセッサ６５０は、捕捉された画像、または捕捉された画像のプレビューをユーザに表示するようにディスプレイ６２５を制御するように構成され得る。ディスプレイ６２５は、撮像デバイス２００の外部にあってよく、または撮像デバイス２００の一部分であってもよい。ディスプレイ６２５はまた、画像を捕捉する前に使用するための、たとえばユーザの目と画像センサの視野をユーザが揃えるのを支援するために、プレビュー画像を表示するビューファインダを提供するように構成されることがあり、または、メモリに記憶されるかもしくはユーザによって最近捕捉された、捕捉された画像を表示するように構成されることがある。ディスプレイ６２５は、ＬＣＤ、ＬＥＤ、またはＯＬＥＤスクリーンを備えることがあり、タッチ検知技術を実装することがある。
【００８９】
デバイスプロセッサ６５０は、データ、たとえば、撮像された画像を表すデータならびに位相検出および／または画素値計算の間に生成されたデータを、記憶モジュール６１０に書き込むことができる。記憶モジュール６１０は従来のディスクデバイスとして概略的に表されているが、記憶モジュール６１０は任意の記憶媒体デバイスとして構成され得る。たとえば、記憶モジュール６１０は、光ディスクドライブもしくは光磁気ディスクドライブなどのディスクドライブ、またはフラッシュメモリ、ＲＡＭ、ＲＯＭ、および／もしくはＥＥＰＲＯＭなどのソリッドステートメモリを含み得る。記憶モジュール６１０はまた、複数のメモリユニットを含むことがあり、メモリユニットのうちの任意の１つは、画像捕捉デバイス６００内にあるように構成されることがあり、または画像捕捉デバイス６００の外部にあることがある。たとえば、記憶モジュール６１０は、画像捕捉デバイス６００内に記憶されたシステムプログラム命令を含むＲＯＭメモリを含み得る。記憶モジュール６１０はまた、カメラから取外し可能であり得る、捕捉された画像を記憶するように構成されたメモリカードまたは高速メモリを含み得る。記憶モジュール６１０はまた、画像捕捉デバイス６００の外部にあることがあり、一例では、画像捕捉デバイス６００は、データを記憶モジュール６１０に、たとえば、ネットワーク接続を通じてワイヤレス送信することがある。そのような実施形態では、記憶モジュール６１０はサーバまたは他のリモートコンピューティングデバイスであり得る。
【００９０】
図６は、プロセッサ、撮像センサ、およびメモリを含むように別個の構成要素を有する画像捕捉デバイス６００を示すが、これらの別個の構成要素が、特定の設計目的を達成するように様々な方法で組み合わされ得ることを当業者は認識するであろう。たとえば、代替的な実施形態では、メモリ構成要素は、たとえば、コストを節約し、かつ／または性能を改善するために、プロセッサ構成要素と組み合わされ得る。
【００９１】
加えて、図６は、いくつかのモジュールを備えるメモリ６３０、およびワーキングメモリ６０５を備える別個のメモリ構成要素を含む２つのメモリ構成要素を示すが、異なるメモリアーキテクチャを利用するいくつかの実施形態を当業者は認識するであろう。たとえば、ある設計は、メモリ６３０に含まれるモジュールを実装するプロセッサ命令の記憶のためにＲＯＭまたはスタティックＲＡＭメモリを利用することがある。プロセッサ命令は、画像信号プロセッサ６２０による実行を容易にするために、ＲＡＭ内にロードされ得る。たとえば、ワーキングメモリ６０５は、ＲＡＭメモリを備えることがあり、命令は、画像信号プロセッサ６２０による実行の前にワーキングメモリ６０５にロードされる。
【００９２】
システムの実装および用語
本明細書において開示される実装形態は、位相検出オートフォーカスプロセスのノイズを低減するために撮像検知素子から受け取られた値を使用するための、システム、方法、および装置を提供する。これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得ることを、当業者は認識するであろう。
【００９３】
いくつかの実施形態では、上で説明された回路、プロセス、およびシステムは、ワイヤレス通信デバイスにおいて利用され得る。ワイヤレス通信デバイスは、他の電子デバイスとワイヤレス通信するために使用される電子デバイスの一種であり得る。ワイヤレス通信デバイスの例は、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ）、電子リーダー、ゲーミングシステム、音楽プレーヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどを含む。
【００９４】
ワイヤレス通信デバイスは、１つまたは複数のイメージセンサ、２つ以上の画像信号プロセッサ、命令を含むメモリ、または、上で論じられたプロセスを実行するためのモジュールを含み得る。デバイスはまた、データと、メモリから命令および／またはデータをロードするプロセッサと、１つまたは複数の通信インターフェースと、１つまたは複数の入力デバイスと、ディスプレイデバイスなどの１つまたは複数の出力デバイスと、電源／インターフェースとを有し得る。ワイヤレス通信デバイスはさらに、送信機および受信機を含み得る。送信機および受信機は、併せてトランシーバと呼ばれることがある。トランシーバは、ワイヤレス信号を送信および／または受信するための１つまたは複数のアンテナに結合され得る。
【００９５】
ワイヤレス通信デバイスは、別の電子デバイス（たとえば、基地局）にワイヤレスに接続され得る。ワイヤレス通信デバイスは、代替的に、モバイルデバイス、移動局、加入者局、ユーザ機器（ＵＥ）、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれることがある。ワイヤレス通信デバイスの例は、ラップトップコンピュータ、デスクトップコンピュータ、携帯電話、スマートフォン、ワイヤレスモデム、電子リーダー、タブレットデバイス、ゲームシステムなどを含む。ワイヤレス通信デバイスは、第３世代パートナーシッププロジェクト（３ＧＰＰ）などの１つまたは複数の業界規格に従って動作することができる。したがって、「ワイヤレス通信デバイス」という全般的な用語は、業界規格に従って変化する用語体系を用いて説明されるワイヤレス通信デバイスを含み得る（たとえば、アクセス端末、ユーザ機器（ＵＥ）、リモート端末など）。
【００９６】
本明細書において説明される機能は、プロセッサ可読媒体またはコンピュータ可読媒体に１つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく、例として、そのような媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージデバイスもしくは他の磁気ストレージデバイス、または、所望のプログラムコードを命令もしくはデータ構造の形態で記憶するために使用されかつコンピュータによってアクセスされ得る任意の他の媒体を備え得る。本明細書において使用されるディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ｄｉｓｃ）（ＣＤ）、レーザディスク（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピーディスク（ｄｉｓｋ）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（ｄｉｓｃ）を含み、ディスク（ｄｉｓｋ）は、通常はデータを磁気的に再生し、ディスク（ｄｉｓｃ）は、レーザを用いてデータを光学的に再生する。コンピュータ可読媒体は、有形かつ非一時的であり得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行され、処理され、または計算され得るコードまたは命令（たとえば、「プログラム」）と組み合わされたコンピューティングデバイスまたはプロセッサを指す。本明細書では、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能であるソフトウェア、命令、コード、またはデータを指し得る。
【００９７】
本明細書において開示される方法は、説明された方法を実現するための１つまたは複数のステップまたはアクションを備える。方法ステップおよび／または方法アクションは、特許請求の範囲から逸脱することなく互いに入れ替えられ得る。言い換えれば、説明されている方法の適切な動作のためにステップまたはアクションの特定の順序が必要とされない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく修正され得る。
【００９８】
「結合する」、「結合すること」、「結合される」という用語、または本明細書において使用される結合という語の他の変形は、間接的な接続または直接的な接続のいずれかを示し得ることに留意されたい。たとえば、第１の構成要素が第２の構成要素に「結合される」場合、第１の構成要素は、第２の構成要素に間接的に接続されるか、または第２の構成要素に直接的に接続されるかの、いずれかであり得る。本明細書において使用される「複数の」という用語は２つ以上を示す。たとえば、複数の構成要素は２つ以上の構成要素を示す。
【００９９】
「決定すること」という用語は、様々な行為を包含し、したがって、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、探索すること（たとえば、テーブル、データベースまたは別のデータ構造の中で探索すること）、確認することなどを含み得る。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ内のデータにアクセスすること）などを含み得る。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立することなどを含み得る。
【０１００】
「〜に基づいて」という句は、別段に明記されていない限り、「〜のみに基づいて」を意味しない。言い換えれば、「に基づいて」という句は、「のみに基づいて」と「に少なくとも基づいて」の両方を表す。
【０１０１】
前述の説明では、例の完全な理解をもたらすように具体的な詳細が与えられている。しかしながら、例がこれらの具体的な詳細なしに実践され得ることを、当業者は理解されよう。たとえば、不必要な詳細で例を不明瞭にしないために、電気的な構成要素／デバイスがブロック図で示されることがある。他の事例では、例をさらに説明するために、そのような構成要素、他の構造および技法が詳細に示されることがある。
【０１０２】
開示された実装形態の前の説明は、任意の当業者が本発明を作成または使用することを可能にするために提供される。これらの実装形態への様々な修正が当業者には容易に明らかになり、本明細書において定義される一般的な原理は、本発明の趣旨または範囲を逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書において示される実装形態に限定されることを意図するものではなく、本明細書において開示される原理および新規の特徴と一致する最も広い範囲を与えられるべきである。
【符号の説明】
【０１０３】
１００  センサ部分
１０５  シングルダイオードマイクロレンズ
１０６  マイクロレンズアレイ
１０７  センサアレイ
１０８  フィルタアレイ
１１０  マルチダイオードマイクロレンズ
１１５  カラーフィルタ
１２０  フォトダイオード
１２５  マスク
１３０  線
２５０  主レンズ
２６０  点
３００  オフセット連続体
３０１  ぼけスポット
３０２  ぼけスポット
３０３  ぼけスポット
３０４  ぼけスポット
３０５  ぼけスポット
４００  位相検出オートフォーカスプロセス
５００  位相検出オートフォーカスプロセス
５０５  ターゲットシーン
５１０  レンズアセンブリ
５１５  半画像サンプル
５２０  焦点関数計算器
５２５  オートフォーカス制御器
６００  画像捕捉デバイス
６０５  ワーキングメモリ
６１０  記憶モジュール
６１５  位相検出オートフォーカスカメラ
６２０  画像信号プロセッサ
６２５  ディスプレイ
６３０  メモリ
６３５  捕捉制御モジュール
６４０  位相検出オートフォーカスモジュール
６４５  オペレーティングシステム
６５０  デバイスプロセッサ
【図１Ａ】
2018535442.tif 000003
【図１Ｂ】
2018535442.tif 000004
【図１Ｃ】
2018535442.tif 000005
【図２Ａ】
2018535442.tif 000006
【図２Ｂ】
2018535442.tif 000007
【図２Ｃ】
2018535442.tif 000008
【図２Ｄ】
2018535442.tif 000009
【図３Ａ】
2018535442.tif 000010
【図３Ｂ】
2018535442.tif 000011
【図３Ｃ】
2018535442.tif 000012
【図３Ｄ】
2018535442.tif 000013
【図４Ａ】
2018535442.tif 000014
【図４Ｂ】
2018535442.tif 000015
【図５】
2018535442.tif 000016
【図６】
2018535442.tif 000017
【手続補正書】
【提出日】平成30年3月27日(2018.3.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のダイオードであって、
ターゲットシーンを表す画像情報を捕捉するように構成されるダイオードの第１のサブセットと、
前記ターゲットシーンを表す位相検出情報を捕捉するように構成されるダイオードの第２のサブセットと
を備える、複数のダイオードと、
前記画像情報の別の領域よりも焦点が合っている前記画像情報の領域を特定し、
前記より焦点が合っている領域の合焦値を決定し、
前記合焦値に対応する境界位相差値を特定し、
前記位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成し、
前記第１の画像と前記第２の画像との間の位相差を決定し、
前記決定された位相差に少なくとも一部基づいて、および前記境界位相差値により定義される範囲に少なくとも一部基づいて、オートフォーカス調整量を計算する
ための命令を用いて構成されるプロセッサとを備える、撮像装置。
【請求項２】
前記プロセッサが、前記画像情報によって表される最も鮮明なエッジを特定することによって前記合焦値を決定するように構成される、請求項１に記載の撮像装置。
【請求項３】
前記プロセッサが、前記最も鮮明なエッジのシャープネス値に少なくとも一部基づいて前記合焦値を決定するように構成される、請求項２に記載の撮像装置。
【請求項４】
前記複数のダイオードの前記第２のサブセットの各々のみが前記ターゲットシーンから特定の方向に伝播する光を収集するように、前記ターゲットシーンから伝播する前記光の一部分を遮断するための、前記複数のダイオードの前記第２のサブセットの各々の上に配置されたマスキング要素をさらに備える、請求項１に記載の撮像装置。
【請求項５】
前記複数のダイオードの前記第２のサブセットの少なくとも２つの隣り合うダイオードの上に配置されたマイクロレンズをさらに備え、前記マイクロレンズが、前記少なくとも２つの隣り合うダイオードのうちの第１へと前記ターゲットシーンから伝播する光の第１の部分および前記少なくとも２つの隣り合うダイオードの第２へと前記ターゲットシーンから伝播する光の第２の部分を通すように形成され、前記第１の部分が第１の方向に伝播し、前記第２の部分が第２の方向に伝播する、請求項１に記載の撮像装置。
【請求項６】
前記複数のダイオードが、前記複数のダイオードの二次元行列を有する半導体基板を備える、請求項１に記載の撮像装置。
【請求項７】
前記複数のダイオードの前記第２のサブセットの第１の半分と関連付けられる光学素子が、前記複数のダイオードの前記第２のサブセットの前記第１の半分の各ダイオードのみが第１の方向へと前記ターゲットシーンから伝播する光を収集して前記位相検出情報の第１の半分を生成するように構成される、請求項１に記載の撮像装置。
【請求項８】
前記複数のダイオードの前記第２のサブセットの第２の半分と関連付けられる光学素子が、前記複数のダイオードの前記第２のサブセットの前記第２の半分の各ダイオードのみが第２の方向へと前記ターゲットシーンから伝播する光を収集して前記位相検出情報の第２の半分を生成するように構成される、請求項７に記載の撮像装置。
【請求項９】
位相検出オートフォーカスのためのプロセスを実行するための命令を用いて構成されるプロセッサであって、前記プロセスが、
第１の複数の撮像ダイオードからターゲットシーンを表す画像情報を入手するステップと、
前記画像情報を分析して前記画像情報の少なくとも１つの焦点が合っている領域の合焦値を決定するステップと、
前記合焦値に対応する境界位相差値を特定するステップと、
第２の複数の撮像ダイオードから入手される位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するステップと、
前記第１の画像と前記第２の画像との間の位相差を決定するステップと、
前記決定された位相差に少なくとも一部基づいて、および前記境界位相差値により定義される範囲に少なくとも一部基づいて、オートフォーカス調整量を計算するステップとを備える、プロセッサ。
【請求項１０】
前記境界位相差値を特定するステップが、
前記決定された位相差値が前記境界位相差値により定義される範囲内に入るかどうかを決定するステップと、
前記決定された位相差値が前記範囲を超えると決定したことに応答して、前記境界位相差値を前記第１の画像と前記第２の画像との間の位相差として出力するステップとを備える、請求項９に記載のプロセッサ。
【請求項１１】
前記境界位相差値を位相差として出力するステップがさらに、位相検出オートフォーカスのための前記プロセスが監視状態にあると決定したことに応答して実行される、請求項１０に記載のプロセッサ。
【請求項１２】
前記監視状態が、位相検出オートフォーカスのための前記プロセスが合焦状態を特定して、前記合焦状態に対応する合焦場所へと前記複数の撮像検知素子と関連付けられるレンズアセンブリおよび前記少なくとも１つの位相検出検知素子を動かした後に発生する、請求項１１に記載のプロセッサ。
【請求項１３】
前記位相差を特定するステップが、前記境界位相差値により定義される範囲内の前記位相差情報を分析するステップを備える、請求項９に記載のプロセッサ。
【請求項１４】
位相検出オートフォーカスのための前記プロセスが、前記画像情報を複数の領域へと区分するステップと、前記複数の領域を分析して前記複数の領域のうちの１つに各々対応する複数の合焦値を評価するステップとをさらに備える、請求項９に記載のプロセッサ。
【請求項１５】
位相検出オートフォーカスのための前記プロセスが、前記複数の合焦値のうちの１つに各々基づいて、複数の境界位相差値を特定するステップをさらに備える、請求項１４に記載のプロセッサ。
【請求項１６】
位相検出オートフォーカスのための前記プロセスが、前記複数の境界位相差値を合成して、前記オートフォーカス調整量を計算するために使用される前記境界位相差値を生み出すステップをさらに備える、請求項１５に記載のプロセッサ。
【請求項１７】
位相検出オートフォーカスのための前記プロセスが、前記オートフォーカス調整量を計算するために使用される前記境界位相差値として出力するために、前記複数の領域のうちの少なくともいくつかの前記複数の境界位相差値のうちの１つを選択するステップをさらに備える、請求項１５に記載のプロセッサ。
【請求項１８】
位相検出オートフォーカスのためのプロセスであって、
複数の撮像ダイオードから画像情報を入手するステップであって、前記画像情報がターゲットシーンを表す、ステップと、
複数の位相検出ダイオードから受け取られる位相検出情報を入手するステップと、
前記画像情報およびオートフォーカス動作に基づいて、前記ターゲットシーンにおける少なくとも１つの深度の不連続部分を表す情報を決定するステップと、
前記少なくとも１つの深度の不連続部分を挟んで反対側に位置する前記複数の位相検出ダイオードのペアを特定するステップと、
前記ペアを除く前記複数の位相検出ダイオードのサブセットから受け取られる位相検出情報に基づいてオートフォーカス調整量を計算するステップとを備える、プロセス。
【請求項１９】
前記ターゲットシーンにおける前記少なくとも１つの深度の不連続部分を表す前記情報を決定するステップが、
前記画像情報から、前記ペアの中の第１の位相検出ダイオードの位置における第１の中心画素値と、前記ペアの中の第２の位相検出ダイオードの位置における第２の中心画素値とを補間するステップと、
前記第１の中心画素値と前記第１の位相検出ダイオードから受け取られる値との間の第１の相違値を計算するステップと、
前記第２の中心画素値と前記第２の位相検出ダイオードから受け取られる値との間の第２の相違値を計算するステップと、
前記第１の相違と前記第２の相違との差を閾値と比較するステップとを備える、請求項１８に記載のプロセス。
【請求項２０】
前記差が前記閾値より大きいと決定したことに応答して、前記複数の位相検出ダイオードの前記サブセットから前記ペアを除外するステップをさらに備える、請求項１９に記載のプロセス。
【請求項２１】
前記第１の中心画素値を補間するステップが、前記第１の位相検出ダイオードの位置の周りの前記複数の撮像ダイオードの５×５の近隣から受け取られる画像情報を入手するステップを備える、請求項１９に記載のプロセス。
【請求項２２】
前記第１の相違と前記第２の相違との前記差を計算するステップをさらに備える、請求項１９に記載のプロセス。
【請求項２３】
前記ターゲットシーンにおける前記少なくとも１つの深度の不連続部分を表す前記情報を決定するステップが、前記画像情報に対してエッジ検出を実行するステップを備える、請求項１８に記載のプロセス。
【請求項２４】
オートフォーカス調整量を計算するステップが、
前記複数の位相検出ダイオードの前記サブセットから受け取られる位相検出情報を使用して半画像のペアを生成するステップと、
前記半画像間の位相差を決定するステップと、
前記位相差に基づいて前記オートフォーカス調整量を計算するステップとを備える、請求項１８に記載のプロセス。
【請求項２５】
ターゲットシーンを表す画像情報を捕捉するための手段と、
位相検出情報を捕捉するための複数の手段と、
前記画像情報の別の領域よりも焦点が合っている前記画像情報の領域を特定し、前記より焦点が合っている領域の合焦値を決定するための手段と、
前記合焦値に対応する境界位相差値を特定するための手段であって、有効な位相差値が前記境界位相差値の周りの範囲内にあることが予想される、手段と、
前記位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するための手段と、
前記第１の画像と前記第２の画像との間の位相差を決定するための手段と、
前記決定された位相差に少なくとも一部基づいて、および前記境界位相差値により定義される前記範囲に少なくとも一部基づいて、オートフォーカス調整量を計算するための手段とを備える、撮像装置。
【請求項２６】
前記画像情報を複数の領域へと区分するための手段をさらに備え、前記境界位相差値を特定するための前記手段が、前記複数の領域のうちの１つに各々対応する複数の境界位相差値を特定するように構成される、請求項２５に記載の撮像装置。
【請求項２７】
前記複数の領域のうちの少なくともいくつかの前記複数の境界位相差値を合成して、前記オートフォーカス調整量を計算するために使用される前記境界位相差値を生み出すための手段をさらに備える、請求項２６に記載の撮像装置。
【請求項２８】
前記オートフォーカス調整量を計算するために使用される前記境界位相差値として出力するために、前記複数の領域のうちの少なくともいくつかの前記複数の境界位相差値のうちの１つを選択するための手段をさらに備える、請求項２６に記載の撮像装置。
【請求項２９】
前記位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するための前記手段が、論理回路を含むイメージセンサを備える、請求項２５に記載の撮像装置。
【請求項３０】
前記位相検出情報に基づいて少なくとも第１の画像および第２の画像を生成するための前記手段が、画像信号プロセッサを備える、請求項２５に記載の撮像装置。
【国際調査報告】
2018535442.tif 000018
2018535442.tif 000019
2018535442.tif 000020