(57)【要約】【課題】  ３次元空間シーンの２つのピクチャから深度マップを生成すること。【解決手段】  ３次元空間シーンの２つのピクチャから深度マップを生成する画像取得システムが説明される。本発明の一態様によれば、システムは、２つのピクチャ間の相対的ぼけと、システムに由来する絶対的ぼけとに基づいて深度マップを生成する。本発明の別の態様によれば、システムは、２つのピクチャ間の相対的ぼけから直接、深度マップを演算する。【選択図】  図４
2009505104.tif 000002
【特許請求の範囲】
【請求項１】
３次元空間シーンの２つのピクチャ間の相対的ぼけを、当該２つのピクチャの２次元尺度空間表現を用いて演算し、
前記相対的ぼけに基づいて、ぼけマップにおけるエントリに対応するエントリを有するピクチャ深度マップを演算する
演算方法。
【請求項２】
請求項１に記載の演算方法であって、
前記２つのピクチャ間の前記相対的ぼけを演算するステップは、
前記２つのピクチャのそれぞれから２次元尺度空間表現を生成するステップと、
前記２つのピクチャのうちの第１のピクチャの各ブロックを、前記２つのピクチャのうちの第２のピクチャに相当する前記２次元尺度空間表現の中で最も対応するブロックとマッチングさせるステップと、
前記最も対応するブロックと、前記第１のピクチャの前記ブロックとの間の相対的ぼけ値を求めるステップと
を含む演算方法。
【請求項３】
請求項２に記載の演算方法であって、
前記第１のピクチャの前記ブロックは、前記第２のピクチャの対応するブロックよりもぼけの大きいブロックからなるピクチャ群から選択され、前記第２のピクチャの対応するブロックよりもピクチャブロックの分散が小さい
演算方法。
【請求項４】
請求項２に記載の演算方法であって、
前記２次元尺度空間表現を生成するステップは、前記２つのピクチャのそれぞれにパラメトリック畳み込みガウスカーネル族を適用するステップを含む
演算方法。
【請求項５】
請求項１に記載の演算方法であって、さらに、
前記深度マップに対してクラスタリングアルゴリズムを適用する
演算方法。
【請求項６】
請求項１に記載の演算方法であって、
前記ピクチャ深度マップを演算するステップは、
前記相対的ぼけと、画像取得ユニットに由来する絶対的ぼけとに基づいて前記ピクチャ深度マップを演算するステップをさらに含む
演算方法。
【請求項７】
請求項６に記載の演算方法であって、
前記ピクチャ深度マップを演算するステップは、
前記２つのピクチャのそれぞれから２次元尺度空間表現を生成するステップと、
前記２つのピクチャと前記２次元尺度空間表現の組とから前記ぼけマップを生成するステップと、
前記ぼけマップのエントリから、以下の式を用いて前記ピクチャ深度マップのエントリを演算するステップと
をさらに含む
【数１】
2009505104.tif 000016
（ただし、式中、ｆはカメラのレンズの焦点距離であり、Ｄは前記カメラの内部の像平面と前記レンズとの距離であり、ｒは前記像平面上の像のぼけ半径であり、ｆｎｕｍｂｅｒは前記カメラのレンズのＦナンバーである）
演算方法。
【請求項８】
請求項１に記載の演算方法であって、
前記ぼけマップを生成するステップは、
前記相対的ぼけ値と前記絶対的ぼけとからぼけ値を演算するステップと、
最も対応するブロックと関連付けられた前記ぼけ値を、前記相対的ぼけのマップの対応するエントリにコピーするステップと
を含む
演算方法。
【請求項９】
請求項１に記載の演算方法であって、
前記２つのピクチャは、同一のぼけ方向で取得される
演算方法。
【請求項１０】
請求項１に記載の演算方法であって、
前記ピクチャ深度マップを演算するステップにおいて、以下の式が用いられる
【数２】
2009505104.tif 000017
（ただし、式中、ｆはカメラの焦点距離であり、Ｄ３は第１のピクチャの場合の前記カメラの内部の像平面とレンズとの距離であり、ｆｎｕｍｂｅｒ１は前記第１のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、Ｄ４は第２のピクチャの場合の前記カメラの内部の前記像平面と前記レンズとの距離であり、ｆｎｕｍｂｅｒ２は前記第２のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、ｋ（ｒ１−ｒ２）は前記相対的ぼけである）
演算方法。
【請求項１１】
請求項１に記載の演算方法であって、
前記２つのピクチャは、逆のぼけ方向で取得される
演算方法。
【請求項１２】
機械読み取り可能な媒体であって、
３次元空間シーンの２つのピクチャ間の相対的ぼけを、当該２つのピクチャの２次元尺度空間表現を用いて演算するステップと、
前記相対的ぼけに基づいて、ぼけマップにおけるエントリに対応するエントリを有するピクチャ深度マップを演算するステップと
をプロセッサに実行させるための実行可能なプログラムを記憶した
機械読み取り可能な媒体。
【請求項１３】
請求項１２に記載の機械読み取り可能な媒体であって、
前記２つのピクチャ間の前記相対的ぼけを演算するステップは、
前記２つのピクチャのそれぞれから２次元尺度空間表現を生成するステップと、
前記２つのピクチャのうちの第１のピクチャの各ブロックを、前記２つのピクチャのうちの第２のピクチャに相当する前記２次元尺度空間表現の中で最も対応するブロックとマッチングさせるステップと、
前記最も対応するブロックと、前記第１のピクチャの前記ブロックとの間の相対的ぼけ値を求めるステップと
を含む
機械読み取り可能な媒体。
【請求項１４】
請求項１３に記載の機械読み取り可能な媒体であって、
前記第１のピクチャの前記ブロックは、前記第２のピクチャの対応するブロックよりもぼけの大きいブロックからなるピクチャ群から選択され、前記第２のピクチャの対応するブロックよりもピクチャブロックの分散が小さい
機械読み取り可能な媒体。
【請求項１５】
請求項１３に記載の機械読み取り可能な媒体であって、
前記２次元尺度空間表現を生成するステップは、
前記２つのピクチャのそれぞれにパラメトリック畳み込みガウスカーネル族を適用するステップを含む
機械読み取り可能な媒体。
【請求項１６】
請求項１２に記載の機械読み取り可能な媒体であって、さらに、
前記深度マップに対してクラスタリングアルゴリズムを適用する
機械読み取り可能な媒体。
【請求項１７】
請求項１２に記載の機械読み取り可能な媒体であって、
前記ピクチャ深度マップを演算するステップは、
前記相対的ぼけと、画像取得ユニットに由来する絶対的ぼけとに基づいて前記ピクチャ深度マップを演算するステップをさらに含む
機械読み取り可能な媒体。
【請求項１８】
請求項１７に記載の機械読み取り可能な媒体であって、
前記ピクチャ深度マップを演算するステップは、
前記２つのピクチャのそれぞれから２次元尺度空間表現を生成するステップと、
前記２つのピクチャと、前記２次元尺度空間表現の組とから前記ぼけマップを生成するステップと、
前記ぼけマップのエントリから、以下の式を用いて前記ピクチャ深度マップのエントリを演算するステップと
をさらに含む
【数３】
2009505104.tif 000018
（ただし、式中、ｆはカメラのレンズの焦点距離であり、Ｄは前記カメラの内部の像平面と前記レンズとの距離であり、ｒは前記像平面上の像のぼけ半径であり、ｆｎｕｍｂｅｒは前記カメラのレンズのＦナンバーである）
機械読み取り可能な媒体。
【請求項１９】
請求項１８に記載の機械読み取り可能な媒体であって、
前記相対的ぼけマップを生成するステップは、
前記相対的ぼけ値と前記絶対的ぼけとからぼけ値を演算するステップと、
最も対応するブロックと関連付けられた前記ぼけ値を、前記相対的ぼけのマップの対応するエントリにコピーするステップと
を含む
機械読み取り可能な媒体。
【請求項２０】
請求項１２に記載の機械読み取り可能な媒体であって、
前記２つのピクチャは同一のぼけ方向で取得される
機械読み取り可能な媒体。
【請求項２１】
請求項１２に記載の機械読み取り可能な媒体であって、
前記ピクチャ深度マップを演算するステップにおいて、以下の式が用いられる
【数４】
2009505104.tif 000019
（ただし、式中、ｆはカメラの焦点距離であり、Ｄ３は第１のピクチャの場合の前記カメラの内部の像平面とレンズとの距離であり、ｆｎｕｍｂｅｒ１は前記第１のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、Ｄ４は第２のピクチャの場合の前記カメラの内部の前記像平面と前記レンズとの距離であり、ｆｎｕｍｂｅｒ２は前記第２のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、ｋ（ｒ１−ｒ２）は前記相対的ぼけである）
機械読み取り可能な媒体。
【請求項２２】
請求項１２に記載の機械読み取り可能な媒体であって、
前記２つのピクチャは逆のぼけ方向で取得される
機械読み取り可能な媒体。
【請求項２３】
３次元空間シーンの２つのピクチャ間の相対的ぼけを、当該２つのピクチャの２次元尺度空間表現を用いて演算する手段と、
前記相対的ぼけに基づいて、ぼけマップにおけるエントリに対応するエントリを有するピクチャ深度マップを演算する手段と
を具備する演算装置。
【請求項２４】
請求項２３に記載の演算装置であって、
前記２つのピクチャ間の前記相対的ぼけを演算する手段は、
前記２つのピクチャのそれぞれから２次元尺度空間表現を生成する手段と、
前記２つのピクチャのうちの第１のピクチャの各ブロックを、前記２つのピクチャのうちの第２のピクチャに相当する２次元尺度空間表現の中で最も対応するブロックとマッチングさせる手段と、
前記最も対応するブロックと、前記第１のピクチャの前記ブロックとの間の相対的ぼけ値を求める手段とを有する
演算装置。
【請求項２５】
請求項２３に記載の演算装置であって、
前記深度マップに対してクラスタリングアルゴリズムを適用する手段
をさらに具備する演算装置。
【請求項２６】
請求項２３に記載の演算装置であって、
前記ピクチャ深度マップを演算する手段は、
前記相対的ぼけと、画像取得ユニットに由来する絶対的ぼけとに基づいて前記ピクチャ深度マップを演算する手段をさらに有する
演算装置。
【請求項２７】
請求項２６に記載の演算装置であって、
前記ピクチャ深度マップを演算する手段は、
前記２つのピクチャのそれぞれから２次元尺度空間表現を生成する手段と、
前記２つのピクチャと前記２次元尺度空間表現の組とから前記ぼけマップを生成する手段と、
前記ぼけマップのエントリから、以下の式を用いて前記ピクチャ深度マップのエントリを演算する手段と
をさらに有する
【数５】
2009505104.tif 000020
（ただし、式中、ｆはカメラのレンズの焦点距離であり、Ｄは前記カメラの内部の像平面と前記レンズとの距離であり、ｒは前記像平面上の像のぼけ半径であり、ｆｎｕｍｂｅｒは前記カメラの前記レンズのＦナンバーである）
演算装置。
【請求項２８】
請求項２３に記載の演算装置であって、
前記ぼけマップを生成する手段は、
前記相対的ぼけ値と前記絶対的ぼけとからぼけ値を演算する手段と、
最も対応するブロックと関連付けられた前記ぼけ値を、前記相対的ぼけのマップの対応するエントリにコピーする手段と
を有する
演算装置。
【請求項２９】
請求項２３に記載の演算装置であって、
前記ピクチャ深度マップを演算する手段は、以下の式を用いる
【数６】
2009505104.tif 000021
（ただし、式中、ｆはカメラの焦点距離であり、Ｄ３は第１のピクチャの場合の前記カメラの内部の像平面とレンズとの距離であり、ｆｎｕｍｂｅｒ１は前記第１のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、Ｄ４は第２のピクチャの場合の前記カメラの内部の前記像平面と前記レンズとの距離であり、ｆｎｕｍｂｅｒ２は前記第２のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、ｋ（ｒ１−ｒ２）は前記相対的ぼけである）
演算装置。
【請求項３０】
プロセッサと、
バスを介して前記プロセッサに接続されたメモリと
を具備する演算システムであって、
前記プロセッサは、前記メモリ上で、
ぼけ２つのピクチャの２次元尺度空間表現を用いた、３次元空間シーンの２つのピクチャ間の相対的ぼけの演算と、
前記相対的ぼけに基づく、ぼけマップにおけるエントリに対応するエントリを有するピクチャ深度マップの演算と
を実行する
演算システム。
【請求項３１】
請求項３０に記載の演算システムであって、
前記２つのピクチャ間の前記相対的ぼけの演算は、
前記２つのピクチャのそれぞれから２次元尺度空間表現を生成することと、
前記２つのピクチャのうちの第１のピクチャの各ブロックを、前記２つのピクチャのうちの第２のピクチャに相当する前記２次元尺度空間表現の中で最も対応するブロックとマッチングさせることと、
前記最も対応するブロックと、前記第１のピクチャの前記ブロックとの間の相対的ぼけ値を求めることと
を含む
演算システム。
【請求項３２】
請求項３１に記載の演算システムであって、
前記第１のピクチャの前記ブロックは、前記第２のピクチャの対応するブロックよりもぼけの大きいブロックからなるピクチャ群から選択され、前記第２のピクチャの対応するブロックよりもピクチャブロックの分散が小さい
演算システム。
【請求項３３】
請求項３１に記載の演算システムであって、
前記２次元尺度空間表現を生成することは、前記２つのピクチャのそれぞれにパラメトリック畳み込みガウスカーネル族を適用することを含む
演算システム。
【請求項３４】
請求項３０に記載の演算システムであって、
前記プロセッサはさらに、前記深度マップに対してクラスタリングアルゴリズムを適用する
演算システム。
【請求項３５】
請求項３０に記載の演算システムであって、
前記ピクチャ深度マップを演算することは、
前記相対的ぼけと、画像取得ユニットに由来する絶対的ぼけとに基づいて前記ピクチャ深度マップを演算することをさらに含む
演算システム。
【請求項３６】
請求項３５に記載の演算システムであって、
前記ピクチャ深度マップの演算は、
前記２つのピクチャのそれぞれから２次元尺度空間表現を生成することと、
前記２つのピクチャと前記２次元尺度空間表現の組とから前記ぼけマップを生成することと、
前記ぼけマップのエントリから、以下の式を用いて前記ピクチャ深度マップのエントリを演算することと
をさらに含む
【数７】
2009505104.tif 000022
（ただし、式中、ｆはカメラのレンズの焦点距離であり、Ｄは前記カメラの内部の像平面と前記レンズとの距離であり、ｒは前記像平面上の像のぼけ半径であり、ｆｎｕｍｂｅｒは前記カメラのレンズのＦナンバーである）
演算システム。
【請求項３７】
請求項３５に記載の演算システムであって、
前記ぼけマップを生成することは、
前記相対的ぼけ値と前記絶対的ぼけとからぼけ値を演算することと、
最も対応するブロックと関連付けられた前記ぼけ値を、前記相対的ぼけのマップの対応するエントリにコピーすることと
を含む
演算システム。
【請求項３８】
請求項３０に記載の演算システムであって、
前記２つのピクチャは同一のぼけ方向で取得される
演算システム。
【請求項３９】
請求項３０に記載の演算システムであって、
前記ピクチャ深度マップの演算において、以下の式が用いられる
【数８】
2009505104.tif 000023
（ただし、式中、ｆはカメラの焦点距離であり、Ｄ３は第１のピクチャの場合の前記カメラの内部の像平面とレンズとの距離であり、ｆｎｕｍｂｅｒ１は前記第１のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、Ｄ４は第２のピクチャの場合の前記カメラの内部の前記像平面と前記レンズとの距離であり、ｆｎｕｍｂｅｒ２は前記第２のピクチャの場合の前記カメラの前記レンズのＦナンバーであり、ｋ（ｒ１−ｒ２）は前記相対的ぼけである）
演算システム。
【請求項４０】
請求項３０に記載の演算システムであって、
前記２つのピクチャは、逆のぼけ方向で取得される
演算システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはイメージングに関し、より具体的には、複数の画像から深度マップを生成することに関する。
【０００２】
［関連出願］
本特許出願は、「全焦点ピクチャと２次元尺度空間とのマッチングを用いてオートフォーカス用の深度マップを作成する新規方法」と題する同時係属中の米国特許出願に関連する。
【０００３】
［著作権表示／許可］
本特許文書の開示の一部は、著作権保護の対象となるものを含む。著作権者は、本特許文書又は本特許の開示が特許商標庁の書類又は記録に記載されている限り、いかなる者によるそれらの複製にも異存はないが、その他の場合には、一切の著作権を留保する。以下の表示は、後述され、添付の図面において説明されるソフトウェア及びデータに適用される。著作権（ｃ）２００４、全ての著作権はソニーエレクトロニクスインク社に帰属する（Copyright(c)2004, Sony Electronics, Incorporated, All Rights Reserved）。
【背景技術】
【０００４】
深度マップは、３次元空間シーンに含まれた物体から、その空間シーンの画像を取得するカメラのレンズまでの距離のマップである。３次元空間シーン内の物体間の距離を求めることは、限定はしないが、デジタルカメラ及びビデオカメラにおけるオートフォーカス、コンピュータ／ロボットにおけるビジョン及び監視において重要な問題である。
【０００５】
通常、深度マップを求めるためには２種類の方法、すなわち能動的方法及び受動的方法がある。能動システムは対象物の照度を制御し、一方、受動システムは周辺照度に依存する。受動システムは通常、（ｉ）形状分析、（ｉｉ）複数視野（例えば、ステレオ）分析、又は（ｉｉｉ）被写界深度／光学分析のいずれかを使用する。被写界深度分析カメラは、焦点勾配から深度情報が得られることに依存する。カメラレンズのそれぞれの焦点設定において、その空間シーンのいくつかの物体には焦点が合っており、いくつかの物体には合っていない。焦点設定を変更することにより、いくつかの物体に焦点が合うようになり、他の物体は焦点が合わなくなる。複数の異なる焦点により、シーン内の物体に対する焦点が変化することが焦点勾配である。ほとんどのカメラシステムに内在する限られた被写界深度によってこの焦点勾配が生じる。
【０００６】
一つの形態においては、この焦点勾配を測定して深度マップを演算することにより、シーン内の或る点からカメラレンズまでの深度が以下のように求められる。
【０００７】
【数９】
2009505104.tif 000003
（１）
【０００８】
式中、ｆはカメラのレンズの焦点距離であり、Ｄはカメラの内部の像平面とレンズとの距離であり、ｒは像平面上の像のぼけ半径であり、ｋはスケール係数であり、ｆｎｕｍｂｅｒｆはカメラのレンズのＦナンバーである。Ｆナンバーはカメラレンズの焦点距離をレンズの口径で割った数に等しい。ぼけ半径を除き、式（１）の右辺のすべてのパラメータは画像が取得される時点で分かっている。よって、シーン内の点からカメラレンズまでの距離は、その画像における点のぼけ半径を測定することによって演算される。
【０００９】
同じシーンの２つの画像を、各画像に対して異なる口径を使用して取得することが、ぼけ半径の変化を演算する方法である。２つの画像間で口径を変えることにより、焦点勾配が生じる。シーン内の或る点のぼけ半径は、画像のマッチングされた部分のフーリエ変換を演算すること、及び取得された画像のうちの１つの画像のぼけ半径をゼロと仮定することによって演算される。
【００１０】
【特許文献１】米国特許第６，２２９，９１３号
【特許文献２】米国特許第６，６７７，９４８号
【特許文献３】米国特許公開第２００４／０１２５２２８号
【特許文献４】米国特許第５，７９３，９００号
【発明の開示】
【発明が解決しようとする課題】
【００１１】
３次元空間シーンの２つのピクチャから深度マップを生成する画像取得システムが説明される。
【課題を解決するための手段】
【００１２】
［発明の概要］
３次元空間シーンの２つのピクチャから深度マップを生成する画像取得システムが説明される。本発明の一態様によれば、システムは、２つのピクチャ間の相対的ぼけと、システムに由来する絶対的ぼけとに基づいて深度マップを生成する。本発明の別の態様によれば、システムは、２つのピクチャ間の相対的ぼけから直接、深度マップを演算する。
【００１３】
本発明は、様々な範囲のシステム、クライアント、サーバ、方法、及び機械読み取り可能な媒体に関して説明される。当該発明の概要に記載される本発明の態様に加えて、図面を参照し、以下の詳細な説明を読むことによって本発明のさらなる態様が明らかになるであろう。
【００１４】
本発明は例示によって説明され、添付の図面に限定されない。図面において、同様の参照符号は同様の要素を示す。
【発明を実施するための最良の形態】
【００１５】
［詳細な説明］
以下の本発明の実施形態の詳細な説明において、添付の図面が参照され、図面において、同様の参照符号は同様の要素を示し、本発明を実施し得る具体的な実施形態が例示として示される。これらの実施形態は、当業者が本発明を実施できるように十分に詳細に説明される。なお、他の実施形態を使用してもよく、本発明の範囲から逸脱することなく、論理的変更、機械的変更、電気的変更、機能的変更及び他の変更を行ってもよいことが理解されるべきである。したがって、以下の詳細な説明は、限定の意味で解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲によってのみ規定される。
【００１６】
図１は、３次元空間シーン１１０の画像を取得する撮像システム１００の一実施形態を示す。「画像」又は「ピクチャ」とは、撮像システム１００によって取得された３次元シーンの画像のことを指す。撮像システム１００は、画像取得部１０２と、制御部１０４と、画像記憶部１０６と、レンズ１０８とを有する。撮像システム１００は、デジタルスチルカメラ又はフィルムスチルカメラ、ビデオカメラ、監視カメラ、ロボットビジョンセンサ、イメージセンサ等であってもよいが、これらに限定されない。画像取得部１０２は、レンズ１０８を通してシーン１１０の画像を取得する。画像取得部１０２は、デジタルスチルカメラ若しくはフィルムスチルカメラ等によって静止画像を取得することができ、又はビデオカメラ若しくは監視カメラ等によって連続した画像を取得することができる。制御部１０４は通常、画像取得部１０２を自動的に且つ／又はオペレータの入力によって管理する。制御部１０４は、画像取得部１０２及びレンズ１０８の動作パラメータを設定する。動作パラメータはレンズの焦点距離ｆ、レンズの口径Ａ、レンズの焦点、及び（スチルカメラにおける）レンズのシャッタースピード等であるが、これらに限定されない。また、制御部１０４は、シーンの深度マップを生成する深度マップ部１２０（波線で示す）を組み込んでもよい。画像取得部１０２によって取得された画像（複数可）は、画像記憶部１０６に記憶される。
【００１７】
図１において、撮像システム１００はシーン１１０の画像を記録する。一実施形態では、シーン１１０は４つの物体、すなわち車１１２、家１１４、背景の山１１６、及び太陽１１８から成るが、他の実施形態のシーン１１０は、非常に繊細な特徴を有する数百の物体から成ってもよい。撮像システム１００のレンズによって記録されたほとんどの３次元シーンにおいて典型的なことであるが、シーン１１０内の物体１１２〜１１８は、レンズ１０８に対して種々の異なる距離にある。例えば、シーン１１０では、車１１２がレンズ１０８に最も近く、その次に家１１４、背景の山１１６、及び太陽１１８が続く。画像取得部１０２に固有の限られた被写界深度のために、レンズ１０８の焦点設定は、典型的には、シーン１１０のいくつかの物体に焦点が合っており、他の物体には合っていないであろう。画像中の物体について言及したが、画像の部分又は画像ブロックは必ずしも画像の特定の同区画を反映するわけではなく、これらの概念はすべて或る種の画像の区画を指す。
【００１８】
図２は、レンズ２０２を表すのに使用される撮像光学モデル２００の一態様を示す。光学モデル２００は、点２１８に焦点が合っているレンズ２０２を表し、これにより像平面上に像２１０が表示される。レンズ２０２は口径Ａを有する。その開口半径（レンズ半径としても知られる）は、符号２０４にＡ／２として示される。レンズ２０２の焦点を点２１８に合わせることにより、像２１０は、同様に点として像平面２０６上に表示される。一方、レンズ２０２の焦点が点２１８に適切に合っていない場合、像２１０は、ぼけ半径ｒを有するぼけのある像２０８として像平面２０６上に表示される。距離ｄｉ２１６は像２１０とレンズ２０２との距離であり、距離ｄｏ２１４は点２１８とレンズ２０２との距離である。最後に、Ｄ２１２は、レンズ２０２と像平面２０６との距離である。
【００１９】
図３は、前方ぼけ及び後方ぼけを呈する撮像光学モデル３００の一態様を示す。図３において、光学モデル３００は、点３０２に焦点が合っているレンズ３０４を表し、これにより焦点の合った像３０８が得られる。レンズ３０４の焦点が点３０２に適切に合っていない場合、得られる像３０８は焦点が合っていない。レンズ３０４の焦点が、点３０２に対してマイナス方向にｘだけ近過ぎる場合、得られる像は、ぼけ直径Ａ’を有するぼけのある像３０６である。ぼけ直径Ａ’は、対応するぼけ半径ｒの２倍の大きさである。一方、レンズの焦点が点３０２からプラス方向にｘだけ遠過ぎる場合、得られる画像は、ぼけ直径Ａ’を有するぼけのある像３１０である。像３０６及び像３１０の上面図が像３１２である。したがって、レンズ３０４の焦点が等距離だけ近過ぎるか又は遠過ぎる場合は、同じぼけのある像３１２が得られる。前方ぼけか後方ぼけか曖昧であるために、像３１２を見る者は、レンズ３０４の焦点が近過ぎるのか遠過ぎるのかを判別することができない。
【００２０】
図４は、異なる焦点位置で２つのピクチャを取得することによって深度マップを推定するために使用される、２つの撮像光学設定の一実施形態を示す。図４において、画像取得部１０２は、光学設定４０２を使用して、レンズ４０８を通して無限遠の焦点位置（すなわち、レンズ４０８の焦点が、可能な限り最も遠い物体に合っている位置）で、点４１６の第１のピクチャを取得する。図４において、例示として、点４１６はレンズ４０８から４メートル離れている。像平面４１２上に得られる像４１８は、ぼけ直径ａを有する。像４１８の上面図が像４２２で示される。光学設定４０２では、点４１６の適切に焦点の合った像４３０が像平面４１２の右に（すなわち、後方に）ある。
【００２１】
画像取得部１０２は、光学設定４０４で第２のピクチャを取得する。光学設定４０４は、レンズ４０８の焦点が無限遠ではなく１メートルである点で、光学設定４０２と異なる。その結果得られる点４１６の像は、像平面４１２上のぼけ直径ａ’を有するぼけのある像４２０である。レンズ４０８の焦点を１メートルに合わせることにより、点４１６の適切に焦点の合った像が、像平面４１２の左に（すなわち、前方に）ある。適切な像の焦点が像平面４１２の後から前に移ったため、ぼけ直径ａ及びａ’を用いる方式は、前方ぼけ／後方ぼけの特徴を利用することができる。相対的ぼけの差分、及び前方ぼけ／後方ぼけを用いて、以下の図５でさらに示すように、ピクチャの深度マップが演算される。
【００２２】
さらに、図４は、光学設定４０２及び４０４を使用して、無限遠の焦点位置及び１メートルの焦点位置でテスト点４０６のピクチャを取得することを示す。光学設定４０２では、得られる）テスト点４０６の像４１０は、ぼけ直径のない（すなわち、ｂ＝０）点である。これは、レンズ４０８の焦点がテスト点４０６に適切に合わせられているからである。像４１０の上面図が、像４２４として示されている。対照的に、光学設定４０４では、レンズ４０８の焦点が１メートルでテスト点４０６に合わせられ、これによりぼけ直径ｂ’を有するぼけのある像４１４が像平面４１２上に得られる。像４１０にはぼけ直径がないため、ぼけ直径ｂ’は画像取得部１０２に固有の絶対的ぼけである。絶対的ぼけの確定について以下の図６でさらに説明される。
【００２３】
図５は、２つのピクチャ間の絶対的ぼけ及び相対的ぼけの差分を演算することによりピクチャ深度マップを生成する方法５００の一実施形態のフローチャートである。図５では、ブロック５０２において、方法５００は画像取得部１０２に、図４で示した光学設定を用いて２つのピクチャを取得させる。再び図４を参照すると、画像取得部１０２は、光学設定４０２を用いて、無限遠の焦点設定で第１のピクチャｆ１を取得する。第２のピクチャｆ２は、画像取得部１０２によって、光学設定４０４を用いて１メートルの焦点位置で取得される。図５に戻ると、ブロック５０４において、方法５００は、一方のピクチャの鮮明な部分を他方のピクチャのぼけのある部分に畳み込むことにより、２つの取得されたピクチャ間の相対的ぼけを推定する。相対的ぼけの推定は、以下の図６においてさらに説明される。
【００２４】
図５に戻ると、ブロック５０６において、方法５００は、画像取得部１０２に由来する絶対的ぼけを演算する。各レンズは固有のぼけをもたらす。方法５００は、異なる光学設定においてテストパターンの２つのピクチャを取得することにより、その固有のぼけを測定する。レンズの絶対的ぼけの測定は以下の図１０においてさらに説明される。代替的に、レンズの絶対的ぼけは式（８）を使用して演算することができる。
【００２５】
図５に戻ると、ブロック５０８において、方法５００は、２つのピクチャを取得するのに用いられるカメラ設定の絶対的ぼけを調べ、記憶する。ブロック５０８において、方法５００は、分析ブロックのサイズを選択する。一実施形態では、分析ブロックのサイズはｋ×ｋピクセルの正方形ブロックである。一実施形態では、１６×１６又は３２×３２ピクセルのブロックサイズが使用され、代替の実施形態では、より小さい又はより大きいブロックサイズを使用してもよい。ブロックサイズの選択は、取得されたピクチャ内の種々の異なる物体を十分区別できる程度に小さくすべきである。しかしながら、適切なピクチャの細部を取得して演算の精度を保証することができる程度にブロックは大きくすべきである。或いは、他の形状及びサイズを分析ブロックのサイズに使用することができる（例えば、矩形のブロック、画像のエッジによって輪郭付けられたオブジェクト内のブロック等）。
【００２６】
方法５００はさらに、処理ループ（ブロック５１０〜５２０）を実行して、絶対的ぼけ及び相対的ぼけからぼけマップを構築する。ブロック５１２において、方法５００は、或るピクチャブロックについての絶対的ぼけの差分を記憶する。ブロック５１４において、方法５００は、或るピクチャブロックについての相対的ぼけの差分を記憶する。ブロック５１６において、方法５００は、以下の２つの二元方程式を解くことによりそのピクチャブロックについてのぼけを求める。
【００２７】
Ｂｌｕｒabsolute＝ａ−ａ’                                        （２）
Ｂｌｕｒrelative＝｜ａ｜−｜ａ’｜                                （３）
式中、Ｂｌｕｒabsoluteは、レンズ撮像構成に固有の絶対的ぼけであり（上記図４に示すｂ’）、Ｂｌｕｒrelativeは、ブロック５０４において求められる相対的ぼけである。一実施形態では、ａはｆ１のぼけ直径であり且つ正であり、ａ’はｆ２のぼけ直径であり且つ負である。２つのぼけ直径ａ及びａ’は逆の符号を有する。なぜなら、ｆ１及びｆ２を取得するのに使用された光学設定４０２及び４０４からの適切に焦点合わせされた像は、それぞれ像平面の後方及び前方にあるからである。一実施形態では、方法５００は、式２及び式３をａについて解くことによって、ピクチャブロックのぼけ直径ａを求める。或いは、方法５００は、式２及び式３をａ’について解くことによって、ぼけ直径ａ’を求める。ａ’は負であるので、方法５００はａ’の絶対値を使用する。ブロック５１６において、方法５００はａ（又はａ’）からぼけ半径ｒを求め、そのぼけ半径ｒをブロック５１８においてぼけマップの適当な位置に記憶する。これにより、方法５００はｆ１又はｆ２について等しくぼけマップを構築することができる。
【００２８】
図５に戻ると、ブロック５２２において、方法５００は、幾何光学モデルを用いてぼけマップからピクチャ深度マップを生成する。上記で説明したように、幾何光学モデルは、ピクチャ内の物体の距離と、その物体のぼけとを関連付ける。方法５００は、式１を用いて、ぼけマップ内に含まれる関連付けられたぼけ半径の値から距離を演算する。レンズの焦点距離ｆ、カメラのレンズ２０２と像平面２０６との距離Ｄ、及びｆnumberは、限られた被写界深度のピクチャを取得するときに一定であるため、方法５００は、ぼけマップを用いて、関連付けられたぼけ半径から深度マップの距離値を演算する。方法５００は、ぼけマップに記憶された値と整合する式（１）の定数を用いる。
【００２９】
ブロック５２４において、方法は深度マップに対してクラスタリングアルゴリズムを適用する。クラスタリングアルゴリズムは、同様の深度を含む複数の領域を抽出し、外れ値及び特異値に対応する領域を分離するために用いられる。クラスタリングアルゴリズムは当該技術分野において周知である。例えば、一実施形態では、方法５００は、ピクチャ深度マップに最近傍クラスタリングを適用する。
【００３０】
図６は、２つの取得されたピクチャ間の相対的ぼけの差分を演算する方法のフローチャートを示す。図６では、ブロック６０２において、方法６００は取得されたピクチャｆ１及びｆ２を受け取り、取得されたピクチャのそれぞれを１組の離散ガウスカーネルで畳み込み演算して、一連のピクチャｇ１及びｇ２を形成する。１組の離散ガウスカーネルは、取得されたピクチャに種々の量のぼけを適用する。各ガウスカーネルは、得られるピクチャの各部分が同等のぼけとなるように、シーン１１０内の各物体に一様な量のぼけを適用する。これにより、得られる一連のピクチャｇ１及びｇ２は、一連の一様なぼけのピクチャとなり、その一連のピクチャの中の後続のピクチャはそれぞれ、元の取得されたピクチャよりも次第にぼけの大きい表現となる。
【００３１】
図７は、方法６００によってブロック６０２で実施されたように、畳み込みカーネルの族を用いてピクチャｆ１及びｆ２の２Ｄ尺度空間表現を生成する一実施形態を示す。具体的には、図７は、畳み込みガウスカーネル（ｈ（ｘ，ｙ，ｒｉ），ｉ＝１，２，…ｎ）７０４Ａ〜Ｎのパラメータ族を２つのピクチャのうちの１つｆｊ（ｘ，ｙ）７０２に以下のように適用する方法７００を示す。
【００３２】
ｇｊ（ｘ，ｙ，ｒｉ）＝ｆｊ（ｘ，ｙ）×ｈ（ｘ，ｙ，ｒｉ）              （４）
式中、ｊは１，２であり、ｒｉはｆｊ（ｘ，ｙ）に対する明確なぼけである。
【００３３】
得られる一連のピクチャｇ（ｘ，ｙ，ｒｉ）７０６Ａ〜Ｎは、取得されたピクチャｆｊ（ｘ，ｙ）の漸進的なぼけを表す。ｉが増加するほど、畳み込みカーネルは、より強いぼけを取得されたピクチャに適用して、よりぼけの大きいピクチャにする。一連のぼけのあるピクチャ７０６Ａ〜Ｎは、ｆｊ（ｘ，ｙ）の２Ｄ尺度空間表現である。ガウスカーネルの半群特性により、ぼけの差分が容易に測定できるため、例示的な実施形態はガウスカーネルを使用する。或いは、当該技術分野において周知の、半群特性を有する任意の他の畳み込みカーネルが、取得されたピクチャの２Ｄ尺度空間表現を生成するのに適している。ピルボックスカーネル等の半群特性を持たないカーネルは、方法６００を用いて正確な解を提供することができない。
【００３４】
図６に戻ると、ブロック６０４において、方法６００は、分析ブロックのサイズを選択する。一実施形態では、分析ブロックのサイズはｋ×ｋピクセルの正方形ブロックである。一方、一実施形態では、１６×１６又は３２×３２ピクセルのブロックサイズが使用され、代替の実施形態では、より小さい又はより大きいブロックサイズを使用してもよい。ブロックサイズの選択は、取得されたピクチャ内の異なるピクチャの物体を十分区別できる程度に小さくすべきである。しかしながら、演算精度のために適切なピクチャの細部を取得することができる程度にブロックは大きくすべきである。或いは、他の形状及びサイズを分析ブロックのサイズに使用することができる（例えば、矩形のブロック、像のエッジによって輪郭付けられたオブジェクト内のブロック等）。一実施形態では、方法６００は、方法５００がブロック５０８において使用したものと同じブロックサイズを使用する。代替の実施形態では、方法６００は別のブロックサイズを使用する。
【００３５】
方法６００はさらに、処理ループ（６０６〜６２０）を実行して、２つの取得されたピクチャからの各組のピクチャブロック間の相対的ぼけを求める。ブロック６０８において、方法６００は、ピクチャブロックの組中の各ピクチャブロック毎に画像の輝度分散を演算する。所与のピクチャ又はシーンについて、鮮明なピクチャは、ぼけのあるピクチャよりもピクセル輝度の分散が大きい。なぜなら、鮮明なピクチャは輝度のコントラストが強く、これによりピクセル輝度の分散が大きくなるからである。一方、ぼけのあるピクチャは、弱いコントラストで相殺された輝度を有し、これによりピクセル輝度の分散が低くなる。代替の実施形態では、データの２次元ＦＦＴを演算すること、パワースペクトルにおいて周波数エネルギーが最も高いブロックを選択すること、Tenengrad尺度を適用すること、合計係数の差分が最も大きいブロックを見つけること等を含むがこれらに限定されない種々の鮮明度の測定法を用いる。
【００３６】
図８は、方法６００によって使用される、対応するピクチャブロックの組の一実施形態を示す。図８では、ピクチャブロック８０４Ａ、８０４Ｂはそれぞれ、輝度分散Ｖ１８０６Ａ及びＶ２８０６Ｂを有する。さらに、ピクチャブロック８０４Ａ、８０４Ｂは、取得されたピクチャｆ１及びｆ２の一部である。方法６００は、輝度分散Ｖ１８０６Ａ及びＶ２８０６Ｂを分散の比較のために用いる。
【００３７】
図６に戻ると、ブロック６１０において、方法６００は、ピクチャｆ１におけるピクチャブロックの輝度分散が、ピクチャｆ２における対応するピクチャブロックの輝度分散よりも大きいかどうかを判定する。そうである場合、ブロック６１２において、方法６００は、一連のピクチャｇ１の中で、ｆ２からのピクチャブロックに最も一致する、対応するピクチャブロックを決定する。方法６００は、より鮮明なピクチャブロックをよりぼけの大きいピクチャブロックに畳み込むことによって、２つのピクチャブロック間のぼけの差分を求める。ｆ１のピクチャブロックの分散はｆ２のピクチャブロックよりも大きいので、ｆ１のピクチャブロックはｆ２のピクチャブロックよりも鮮明である。この場合、ｆ１のピクチャブロックはｆ２のピクチャブロックよりも鮮明なので、方法６００は、ｇ１の一連のピクチャを用いる。これは、より鮮明なｆ１のピクチャブロックをよりぼけの大きいｆ２のピクチャブロックに畳み込むことを示す。より鮮明なピクチャブロックをぼけのあるピクチャブロックに畳み込むことにより、方法６００は、ｆ１及びｆ２の２つのピクチャブロック間のぼけの差分を推定する。
【００３８】
図９は、尺度空間表現を使用して相対的なぼけマップのためのブロックを見つける一実施形態を示す。具体的には、図９は、方法６００が、ｇ１の一連のピクチャ９０４Ａ〜Ｎの対応するピクチャブロック９０８Ａ〜Ｎのうち、ピクチャｆ２９０２のブロック９０６と最も一致するピクチャブロックを決定するために用いるプロセスを示す。上述のように、ｇ１の一連のピクチャ９０４Ａ〜Ｎは、ｆ１から徐々にぼけが大きくなる一連のピクチャである。方法６００は、ブロック９０６とブロック９０８Ａ〜Ｎのそれぞれとの間の誤差９１０Ａ〜Ｎを最小化することにより、最も一致するピクチャブロックを選択する。ピクチャブロックの対間の誤差は以下のように推定される：
【００３９】
【数１０】
2009505104.tif 000004
（５）
【００４０】
式中、ｆ２（ｉ，ｊ）及びｇ１（ｉ，ｊ，ｒｌ）は、ピクチャｆ２及びｇ１のピクセル輝度であり、ピクセルｉ，ｊ及びｌ＝１，２，…，Ｎ（Ｎは一連のピクチャ内のピクチャの番号）である。ｒｌは、増大するぼけのカーネルのパラメータ族を意味する。一実施形態では、ｒｌは、増大するぼけのガウスカーネルのパラメータ族を意味する。誤差は、ｆ２のピクチャブロックと、一連のピクチャｇ１中の１つのピクチャの同様の位置にあるピクチャブロックとの差分を測定する。或いは、誤差測定法として、画像の当該技術分野において周知の、差分を測定する他の測定法を用いることができる（例えば、上記の１ノルムの代わりに、２ノルム（二乗誤差ノルム）又はより一般的には、ｐノルム（ここで、ｐ≧１）等を用いることができる）。図９に示す例では、誤差２９１０Ｂが誤差値の組９１０Ａ〜Ｎの中で最も小さい誤差であるため、ブロック２９０８Ｂがブロック９０６に最も一致する。
【００４１】
図６に戻ると、ｆ２のピクチャブロックのほうが鮮明である場合、方法６００はブロック６１４において、一連のピクチャｇ２の中で、ｆ１からのピクチャブロックに最も一致する、対応するピクチャブロックを決定する。ブロック６１２と同様に、方法６００は、最も誤差が小さいピクチャブロックを決定することにより、最も一致するピクチャブロックを決定する。ブロック６１４において、方法６００はそれぞれの誤差値を以下のように求める：
【００４２】
【数１１】
2009505104.tif 000005
（６）
【００４３】
ブロック６１６において、方法６００は、対応するピクチャブロックからのぼけの差分の値を相対的ぼけマップに記憶する。図９に示される例を参照すると、方法６００は、ブロック２９０８Ｂに対応付けられたぼけの差分の値を、相対的ぼけマップ９１２中のエントリ９１４にコピーする。
【００４４】
図１０は、図１に示すようなレンズ１０８に由来する絶対的ぼけを測定及び記録する方法１０００の一実施形態のフローチャートである。方法１０００は、口径と焦点距離との各組み合わせ毎の絶対的ぼけ値をルックアップテーブルに記憶するために、プロセス処理（ブロック１００２〜１００６）を実行する。ブロック１００４において、方法１０００は、口径と焦点距離との一意の組み合わせ設定で、レンズ１０８の焦点を、無限遠に位置する固定されたテストパターンに合わせる。図４を参照すると、方法１０００は、光学設定４０２を使用する。図１０に戻ると、ブロック１００６において、方法１０００は、同じ口径と焦点距離との組み合わせを用いて、レンズの焦点を変更して１メートルに合わせる。焦点を無限遠から１メートルに変更することにより、固定されたテストパターンの像のぼけが生じる。ブロック１００６において、方法１０００はぼけ値をピクセルで記録する。図４を参照すると、方法１０００は光学設定４０４を用いてぼけ直径ｂ’を測定する。或いは、ブロック１００６において、方法１０００は、式１及び図２に示す撮像光学モデルに基づいて、絶対的ぼけを（ピクセルではなく）物理的寸法で分析的に演算する。式（１）に示すようにｄ０について解くかわりに、方法１０００は、式１の書き換えである式（７）及び式（８）を使用する。式（７）及び式（８）は絶対的ぼけｋｒについて解く：
【００４５】
【数１２】
2009505104.tif 000006
（７）
【００４６】
ここで、ｄ０＝∞の場合、式（７）は以下のように単純化される：
【００４７】
【数１３】
2009505104.tif 000007
（８）
【００４８】
無限遠に焦点を合わせるために、Ｄをカメラによって許容される最大値に設定することにより、方法１０００は、物理的な寸法、つまりマイクロメートル等の物理的な単位でｋｒを演算する。ピクセルと物理的寸法との間の変換はピクセルサイズに基づいており、簡単である。例えば説明のために、（ピクセルでの）ぼけ半径が３ピクセルと演算され、ピクセルサイズが５μｍ×５μｍである場合、物理的寸法でのぼけ半径は１５μｍである。絶対的ぼけの差分を求めるために用いられる実施形態に関わらず、ブロック１００６において、方法１０００は、絶対的ぼけの差分をピクセルでルックアップテーブルに記憶する。
【００４９】
図１１は、ぼけマップから深度マップを演算する一実施形態を示す。具体的には、図１１は、演算１１０８によりぼけマップ１１００を深度マップ１１０２に変換するために方法５００が用いるプロセスを示す。演算１１０８は式１に等しい。ぼけマップ１１００は、Ｎ×Ｎのぼけ半径値を含む。方法６００は、上記図６に示すように、各分析ブロック毎にぼけ半径値を導出する。さらに、深度マップ１１０２はＮ×Ｎの深度値を含み、各深度値は対応するぼけ半径値から演算される。例えば、ぼけマップエントリ１１０４はぼけ半径ｒｉを有し、これは深度マップエントリ１１０６の深度値ｄ０に対応する。
【００５０】
図１２は、口径及び焦点位置の異なる２つのピクチャを取得するために用いられる、画像取得部１０２が用いる２つの撮像光学設定の一実施形態を示す。図１２では、画像取得部１０２は、光学設定１２０２を使用して、レンズ１２０６から距離ｄ０にある点１２０４の第１のピクチャｆ１を取得する。画像取得部１０２はレンズ１２０６に焦点Ｄ３  １２１６、口径Ａ１  １２０８及び焦点距離ｆ（図示せず）を使用させる。焦点距離は、２つの光学設定１２０２及び１２２２の場合に一定である。さらに、光学設定１２０２の場合、ｄ０はｄｉｌよりもはるかに大きいと仮定される。ここでｄｉｌはレンズ１２０６と適切に焦点が合った点の像１２１４との間の距離１２１８である。これらの設定で、画像取得部１０２は、ぼけ半径ｒ１を有する、像平面１２１０上の点１２０４のぼけのある像１２１２を取得する。レンズ１２０６の焦点が適切に点１２０４に合っている場合、取得される像は点の像１２１４である。
【００５１】
さらに、画像取得部１０２は光学設定１２２２を使用して第２のピクチャｆ２を取得する。第２のピクチャの場合、画像取得部１０２はレンズ１２０６をわずかに像平面１２１０の近く（すなわち、Ｄ４＜Ｄ３）、したがって点１２０４の遠くに動かす。レンズ１２０６が点１２０４の近くに動かされたとしても、ｄ０はｄｉｌ及びｄｉ２よりもはるかに大きいので、レンズ１２０６と点１２０４との間の距離は両方の光学設定で同じである（すなわち、ｄ０）と仮定される。さらに、画像取得部１０２は、レンズ１２０６のために、焦点Ｄ４  １２３６、口径Ａ２  １２２８及び焦点距離ｆから成る光学設定１２２２を使用する。光学設定１２２２と１２０２とを比較すると、光学設定１２２２のほうが口径が大きく、焦点位置が近い。その結果、光学設定１２２２でレンズ１２０６を通して取得される点１２０４の第２のピクチャは、像平面１２１０上に表示される、ぼけ半径ｒ２を有する像１２３２をもたらす。さらに、光学設定１２２２の場合、ｄ０はｄｉ２よりもはるかに大きいと仮定される。ここでｄｉ２は、レンズ１２０６と適切に焦点があった点の像１２１４との間の距離１２３８である。
【００５２】
図１２に示すように、光学設定１２２２は、光学設定１２０２を用いた像１２１２の場合のぼけ半径ｒ１と比べて大きいぼけ半径ｒ２を有する像１２３２を像平面１２１０上にもたらす。しかし、光学設定１２０２及び１２２２は単に一空間シーンの設定における一変化（例えば、光学設定１２２２におけるレンズ１２０６の位置は光学設定１２０２におけるレンズ１２０６の位置の右側である）による相対的ぼけの説明にすぎない。或いは、光学設定１２２２におけるレンズ１２０６の位置が、光学設定１２０２におけるレンズ１２０６の位置の左側であることによって、ぼけの変化が得られる。この実施形態では、ぼけ半径ｒ２は、ぼけ半径ｒ１よりも小さい。この大小関係に関わらず、ぼけの変化に関する情報が得られさえすればよい。したがって、ぼけの変化は、第２のレンズ位置が第１のレンズ位置の右側であろうと左側であろうと起こる。上記の実施形態は、レンズ位置の変化に基づくぼけの変化の測定を説明しているが、種々の光学設定を変更する代替の実施形態（口径の設定を変更する等）及び／又はそれらの組み合わせも同様にぼけの変化をもたらす。
【００５３】
一例示的な実施形態では、ｒ１とｒ２との差分は、測定できる程度に大きくされるべきであるが、２つのぼけ半径のぼけ方向が異なるほどに大きくするべきではない。ぼけ方向が異なるぼけ（すなわち、前方ぼけ／後方ぼけ）ぼけ半径は、物体が、シーンにおいていくらかの物理的距離範囲に位置している場合に起こり得る。前方ぼけ／後方ぼけは光学設定および撮像設定に固有の特性であるので、これを回避することは難しい。しかしながら、Ｄ３  １２１６とＤ４  １２３６との差分の絶対値を最小化することにより、この前方ぼけ／後方ぼけが生じるシーンにおける距離の範囲を最小化することができる。Ｄ３  １２１６とＤ４  １２３６との差分の絶対値が最大である極端な場合では、そのシーンにおけるすべての物体（焦点が最も遠い物体、すなわち無限遠にある物体と、焦点が最も近い物体、すなわち撮像システムが焦点を合わせることができる最も近い物体とは除く）が、前方ぼけ／後方ぼけを呈するであろう。
【００５４】
図１３は、図１２に示すような異なる焦点位置及び口径で取得された２つのピクチャから深度マップを演算する方法１３００のフローチャートである。ブロック１３０２において、方法１３００は画像取得部１０２に、図１２の２つの異なる光学設定１２０２及び１２２２をそれぞれ用いて空間シーン１１０の２つの異なるピクチャを取得させる。異なる光学設定は、測定できる程度に大きいが、適切に焦点が合った点の像１２１４の対向する両側に像１２１２及び１２３２が位置するほど大きくはないぼけ半径の差分をもたらすべきである。方法１３００は、口径Ａ１、焦点Ｄ３及び焦点距離ｆを有する第１のピクチャｆ１を取得させる。同様に、方法１３００は、口径Ａ２、焦点Ｄ４及び焦点距離ｆを有する第２のピクチャｆ２を取得させる。ブロック１３０４において、方法１３００は、上記方法７００を用いて２つのピクチャ間のぼけの差分行列を演算する。
【００５５】
ブロック１３０６において、方法１３００は、ぼけの差分行列を用いた直接演算によって深度マップを生成する。図１２から、ピクチャｆ１の場合の物体からレンズまでの距離は以下の通りである。
【００５６】
【数１４】
2009505104.tif 000008
（９）
【００５７】
同様に、ピクチャｆ２の場合の物体からレンズまでの距離は
【００５８】
【数１５】
2009505104.tif 000009
（１０）
である。式（９）及び式（１０）をｒ１及びｒ２に関して書き換えると以下のようになる。
【００５９】
【数１６】
2009505104.tif 000010
（１１）
【００６０】
【数１７】
2009505104.tif 000011
（１２）
【００６１】
式１１及び式１２から、ぼけの差分ｋ（ｒ１−ｒ２）は
【００６２】
【数１８】
2009505104.tif 000012
（１３）
である。
【００６３】
式（１３）は、ｒ１はｒ２よりも大きいと仮定している。ｆ１の分散のほうが大きい場合、ｒ２はｒ１よりも小さいと仮定されているため、ｆ１におけるぼけ半径はｒ２に対応する。また、ｆ１の分散のほうが小さい場合、ｒ１はｒ２よりも大きいと仮定されているため、ｆ１におけるぼけ半径はｒ１に対応する。Ｆナンバー（ｆnumber＝ｆnumber１＝ｆnumber２）がピクチャｆ１及びｆ２について同じである場合、式１３は以下のように通分される。
【００６４】
【数１９】
2009505104.tif 000013
（１４）
【００６５】
式（１３）及び式（１４）は、ぼけの差分をぼけ半径の関数として表す。相対的ぼけの差分のマップは値ｋ（ｒ１−ｒ２）を含む。式（１３）及び式（１４）は距離ｄ０について解くと以下のように書き換えられる。
【００６６】
【数２０】
2009505104.tif 000014
（１５）
【００６７】
【数２１】
2009505104.tif 000015
（１６）
【００６８】
ピクチャを取得する時点で、ｆnumber１、ｆnumber２、ｆ、Ｄ３及びＤ４（すなわち、ｆnumber、ｆ、Ｄ３及びＤ４）は既知であり、ｋ（ｒ１−ｒ２）はぼけの差分行列に記憶されているため、方法１３００は式（１５）及び式（１６）を用いてぼけの差分行列から深度マップ行列を直接演算する。
【００６９】
ブロック１３０８において、方法１３００は、クラスタリングアルゴリズムを深度マップに適用する。クラスタリングアルゴリズムは、同様の深度を含む複数の領域を抽出し、外れ値及び特異値に対応する領域を分離するために使用される。クラスタリングアルゴリズムは、当該技術分野において周知である。例えば、一実施形態では、方法１３００はピクチャ深度マップに最近傍クラスタリングを適用する。
【００７０】
図１４は、深度マップを演算する画像デバイス制御部の一実施形態を示すブロック図である。一実施形態では、画像制御部１０４は深度マップ部１２０を含む。或いは、画像制御部１０４は深度マップ部１２０を含むのではなく、深度マップ部１２０に結合されている。深度マップ部１２０は、ピクチャ取得モジュール１４０２、２Ｄ尺度空間モジュール１４０４、相対的ぼけモジュール１４０６、ピクチャ深度マップモジュール１４０８、クラスタリングモジュール１４１０、絶対的ぼけモジュール１４１２、及びぼけモジュール１４１４を有する。ピクチャ取得モジュール１４０２は、図５のブロック５０２及び図１３のブロック１３０２に示すように、画像取得部１０２に２つのピクチャを取得させる。２Ｄ尺度空間モジュール１４０４は、図６に示すように、取得したピクチャの２Ｄ尺度空間表現を作成する。相対的ぼけモジュール１４０６は、図６のブロック６０２〜６１８及び図７に示すように、取得したピクチャから相対的なずれを導出する。さらに、ピクチャ深度マップモジュール１４０８は、ぼけモジュール１４１４から深度マップを演算する。一実施形態では、ａ（又はａ’の絶対値）が演算されて格納される場合、ぼけモジュール１４１４は、幾何光学モデル及び式（１）を用いて深度を演算する。別の実施形態では、ｋ（ｒ１−ｒ２）が格納される場合、ぼけモジュール１４１４は式（１５）及び式（１６）を用いて深度を演算する。クラスタリングモジュール１４１０は、図５のブロック５２４及び図１３のブロック１３０８に示すように、深度マップに対してクラスタリングアルゴリズムを適用して、同様の深度を含む複数の領域を抽出し、外れ値及び特異値に対応する深度マップ領域を分離する。絶対的ぼけモジュール１４１２は、図１０に示すように、また式（８）で説明するように、画像取得部１０２に固有の絶対的ぼけを演算する。ぼけモジュール１４１４は、式（２）及び式（３）を使用してぼけの量ａ（又はａ’）又はぼけの量の変化を演算する（図１３のブロック１３０４）。後者が演算される場合、このモジュールにおけるデータは、相対的ぼけモジュール１４０６において見出されるものと同じである。
【００７１】
本明細書に記載される方法は、実際には、機械により実行可能な命令から成る１つ又は複数のプログラムを構成してもよい。図５、図６、図１０及び図１３のフローチャートを参照して方法を説明することにより、当業者は、論理ブロックによって表わされる動作（作用）を実行するための命令を含むこのようなプログラムを、適切に構成された機械（機械読み取り可能な媒体からの命令を実行する機械のプロセッサ）において開発可能である。機械により実行可能な命令は、コンピュータプログラム言語で書かれてもよく、又はファームウェアロジック若しくはハードウェア回路で具現化されてもよい。広く認識されている基準に準拠するプログラム言語で書かれた場合、こうした命令は種々のハードウェアプラットフォームで、また種々のオペレーティングシステムのインタフェースのために実行することができる。さらに、本発明はいかなる特定のプログラム言語も参照して記載されていない。本明細書に記載する本実施形態の内容を実施するために、種々のプログラム言語を使用してもよいことが理解されるであろう。さらに、どのような形にせよ（例えば、プログラム、プロシジャ、プロセス、アプリケーション、モジュール、ロジック等の）ソフトウェアが動作を起こす、又はソフトウェアが結果をもたらすという言い方は、当該技術分野において一般的である。こうした表現は単に、機械によるソフトウェアの実行によってその機械のプロセッサが動作を実行するか又は結果をもたらすということを省略した言い方である。フロー図で示された方法には、本発明の範囲から逸脱することなく、より多くの又はより少ないプロセスが組み込まれてもよく、また、本明細書に示され説明されたブロックの配置はいかなる特定の順序も示唆しないことがさらに理解されるであろう。
【００７２】
図１５は、インターネット等のネットワーク１５０２を介して接続されたいくつかのコンピュータシステム１５００を示す。「インターネット」という用語は、本明細書において用いられる場合、ＴＣＰ／ＩＰプロトコル等、及びワールドワイドウェブ（ｗｅｂ）を構成可能なハイパーテキストマークアップ言語（ＨＴＭＬ）文書用のハイパーテキスト転送プロトコル（ＨＴＴＰ）等の他のプロトコル等のいくつかのプロトコルを用いる複数のネットワークの中の１つのネットワークを指す。インターネットの物理的な接続並びにインターネットのプロトコル及び通信手順は当業者にとって周知である。インターネット１５０２へのアクセスは通常、インターネットサービスプロバイダ（ＩＳＰ）１５０４及び１５０６等のＩＳＰによって提供される。クライアントコンピュータシステム１５１２、１５１６、１５２４及び１５２６等のクライアントシステムのユーザは、ＩＳＰ１５０４及び１５０６等のインターネットサービスプロバイダを介してインターネットへのアクセスを取得する。インターネットへのアクセスにより、クライアントコンピュータシステムのユーザは、情報交換、電子メールの送受信、及びＨＴＭＬ形式で作成された文書等の文書の閲覧が可能になる。これらの文書は、インターネット「上」に存在すると見なされるウェブサーバ１５０８等のウェブサーバによって提供されることが多い。これらのウェブサーバはＩＳＰ１５０４等のＩＳＰによって提供されることが多いが、当該技術分野において周知のように、コンピュータシステムは、ＩＳＰを兼ねるシステムによらなくても、セットアップされインターネットに接続することができる。
【００７３】
ウェブサーバ１５０８は、典型的には、サーバコンピュータシステムとして動作する少なくとも１つのコンピュータシステムであり、ワールドワイドウェブのプロトコルで動作するように構成されており、インターネットに接続される。オプションとして、ウェブサーバ１５０８はクライアントシステムに対してインターネットへのアクセスを提供するＩＳＰの一部であり得る。ウェブサーバ１５０８は、サーバコンピュータシステム１５１０に接続されて示される。サーバコンピュータシステム１５１０自体はウェブコンテンツ１５１５に接続されている。ウェブコンテンツはメディアデータベースの一形態と見なすことができる。図１５には２つのコンピュータシステム１５０８及び１５１０が示されるが、ウェブサーバシステム１５０８及びサーバコンピュータシステム１５１０は、以下でさらに説明されるウェブサーバ機能と、サーバコンピュータシステム１５１０によって提供されるサーバ機能とを提供する、異なるソフトウェアコンポーネントを有する１つのコンピュータであってもよいことが理解されるであろう。
【００７４】
クライアントコンピュータシステム１５１２、１５１６、１５２４、及び１５２６はそれぞれ、適切なウェブブラウザで、ウェブサーバ１５０８によって提供されたＨＴＭＬページを閲覧することができる。ＩＳＰ１５０４は、クライアントコンピュータシステム１５１２の一部と見なすことができるモデムインタフェース１５１４を介してクライアントコンピュータシステム１５１２にインターネット接続を提供する。クライアントコンピュータシステムは、パーソナルコンピュータシステム、ネットワークコンピュータ、ウェブＴＶシステム、携帯端末、又は他のこのようなコンピュータシステムであり得る。同様に、ＩＳＰ１５０６は、クライアントシステム１５１６、１５２４、及び１５２６のためにインターネット接続を提供するが、図１５に示すように、接続形態はこれらの３つのコンピュータシステムについて同じではない。クライアントコンピュータシステム１５１６はモデムインタフェース１５１８を介して接続され、一方、クライアントコンピュータシステム１５２４及び１５２６はＬＡＮの一部である。図１５では、インタフェース１５１４及び１５１８は総称的に「モデム」として示されているが、これらインタフェースのそれぞれはアナログモデム、ＩＳＤＮモデム、ケーブルモデム、衛星伝送インタフェース又はコンピュータシステムを他のコンピュータシステムに接続するための他のインタフェースであり得ることが理解されるであろう。クライアントコンピュータシステム１５２４及び１５２６はネットワークインタフェース１５３０及び１５３２を介してＬＡＮ１５２２に接続される。これらのネットワークインタフェースはイーサネット(登録商標)ネットワーク又は他のネットワークインタフェースであり得る。ＬＡＮ１５２２はまた、ファイアウォール及びローカルエリアネットワーク用の他のインターネット関連サービスを提供可能なゲートウェイコンピュータシステム１５２０に接続される。このゲートウェイコンピュータシステム１５２０は、ＩＳＰ１５０６に接続されて、クライアントコンピュータシステム１５２４及び１５２６にインターネット接続を提供する。ゲートウェイコンピュータシステム１５２０は、従来のサーバコンピュータシステムであり得る。また、ウェブサーバシステム１５０８も、従来のサーバコンピュータシステムであり得る。
【００７５】
或いは、周知のように、サーバコンピュータシステム１５２８は、ゲートウェイシステム１５２０を介してインターネットに接続される必要なしに、ネットワークインタフェース１５３４を介してＬＡＮ１５２２に直接接続されて、ファイル１５３６及び他のサービスをクライアント１５２４、１５２６に提供することができる。さらに、ＬＡＮ１５２２、インターネット１５０２又は通信媒体としての組み合わせを用いて、クライアントシステム１５１２、１５１６、１５２４、１５２６の任意の組み合わせがピアツーピアネットワークで互いに接続されてもよい。概して、ピアツーピアネットワークは、中央サーバ（複数可）を用いることなく、複数の機械のネットワークにわたって、記憶及び検索のためにデータを分配する。したがって、各ピアネットワークノードは、上述したクライアント及びサーバの両方の機能を組み込んでもよい。
【００７６】
以下の図１６の説明は、上述した本実施形態の方法を実行するのに適したコンピュータハードウェア及び他のオペレーティングコンポーネントの概観を提供することを意図している。しかし、この図１６の説明は、適用可能な環境を限定することは意図していない。本発明の実施形態は、セットトップボックス、携帯端末、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ等を含む他のコンピュータシステム構成でも実施し得ることを当業者は即座に理解するであろう。本発明の実施形態は、ピアツーピアネットワークのインフラストラクチャ等、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散コンピューティング環境でも実施し得る。
【００７７】
図１６は、エンコーダ又はデコーダとして用いることができる従来と同様のコンピュータシステムの一例を示す。コンピュータシステム１６００は、モデム又はネットワークインタフェース１６０２を介して外部システムと接続する。モデム又はネットワークインタフェース１６０２は、コンピュータシステム１６００の一部と見なすことができることは理解されるであろう。このインタフェース１６０２は、アナログモデム、ＩＳＤＮモデム、ケーブルモデム、トークンリングインタフェース、衛星伝送インタフェース、又はコンピュータシステムを他のコンピュータシステムに接続するための他のインタフェースであり得る。コンピュータシステム１６０２は処理部１６０４を有する。処理部１６０４は、Intel（登録商標）  Pentium（登録商標）マイクロプロセッサ又はMotorola（登録商標）  Ｐｏｗｅｒ  ＰＣマイクロプロセッサ等の従来のマイクロプロセッサであり得る。メモリ１６０８はバス１６０６によってプロセッサ１６０４に接続される。メモリ１６０８はダイナミックランダムアクセスメモリ（ＤＲＡＭ）であってもよく、スタティックＲＡＭ（ＳＲＡＭ）を有してもよい。バス１６０６はプロセッサ１６０４をメモリ１６０８に接続し、不揮発性記憶装置１６１４、ディスプレイコントローラ１６１０、及び入出力（Ｉ／Ｏ）コントローラ１６１６にも接続する。ディスプレイコントローラ１６１０は、従来と同様の方法でディスプレイデバイス１６１２上の表示を制御する。ディスプレイデバイス１６１２は陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）であり得る。入出力デバイス１６１８は、キーボード、ディスクドライブ、プリンタ、スキャナ、及びマウス又は他のポインティングデバイスを含む他の入力及び出力デバイスを有することができる。ディスプレイコントローラ１６１０及びＩ／Ｏコントローラ１６１６は、従来の周知技術で実行され得る。デジタル画像入力デバイス１６２０は、デジタルカメラであり得る。デジタル画像入力デバイス１６２０は、デジタルカメラからの画像をコンピュータシステム１６００に入力可能にするためにＩ／Ｏコントローラ１６１６に接続される。不揮発性記憶装置１６１４は磁気ハードディスク、光ディスク、又は他の形態の大量データ用の記憶装置であることが多い。これらのデータのうちのいくらかは、コンピュータシステム１６００内のソフトウェアの実行中に、ダイレクトメモリアクセスプロセスによってメモリ１６０８に書き込まれることが多い。「コンピュータ読み取り可能な媒体」及び「機械読み取り可能な媒体」という用語は、プロセッサ１６０４によってアクセス可能な任意の種類の記憶装置を含み、また、データ信号を符号化する搬送波も包含することを当業者は即座に認識するであろう。
【００７８】
本発明の実施形態で使用することができる別のタイプのコンピュータシステムは、ネットワークコンピュータである。ネットワークコンピュータは通常、ハードディスク又は他の大容量記憶装置を有さず、プロセッサ１６０４が実行するための実行可能なプログラムがネットワーク接続からメモリ１６０８にロードされる。当該技術分野において周知のウェブＴＶシステムも、本発明の実施形態によるコンピュータシステムと見なされるが、ウェブＴＶシステムは、いくつかの入力又は出力デバイス等、図１６に示される特徴のうちのいくつかを有さなくてもよい。典型的なコンピュータシステムは通常、少なくともプロセッサ、メモリ、及びメモリをプロセッサに接続するバスを有する。
【００７９】
コンピュータシステム１６００は、種々の異なる構造を有する多くの可能なコンピュータシステムの一例であることは理解されるであろう。例えば、Intel（登録商標）マイクロプロセッサに基づくパーソナルコンピュータは、複数のバスを有することが多く、そのうちの１つは周辺機器のための入出力（Ｉ／Ｏ）バスであってもよく、１つはプロセッサ１６０４とメモリ１６０８を直接接続するバス（メモリバスと呼ばれることが多い）であってもよい。バスは、バスプロトコルの違いにより必要とされる任意の変換を実行するブリッジコンポーネントを介して互いに接続される。
【００８０】
また、コンピュータシステム１６００は、オペレーティングシステムソフトウェアによって制御されることが理解されるであろう。このオペレーティングシステムソフトウェアは、ディスクオペレーティングシステム等のファイル管理システムを有し、このファイル管理システムはオペレーティングシステムソフトウェアの一部である。オペレーティングシステムソフトウェア及びそれに対応するファイル管理システムソフトウェアの一例は、ワシントン州Redmond所在のMicrosoft（登録商標）社製の、Windows（登録商標）として知られている一群のオペレーティングシステム及びそれらに対応するファイル管理システムである。ファイル管理システムは、典型的には、不揮発性記憶装置１６１４に記憶されており、データを入力及び出力するため、並びに不揮発性記憶装置１６１４へのファイルの記憶を含む、記憶装置へのデータの記憶を行うために、オペレーティングシステムが要求する種々の動作をプロセッサ１６０４に実行させる。
【００８１】
上記明細書において、特定の例示的な実施形態を参照しながら本発明が説明された。添付の特許請求の範囲において記載する本発明の広範な精神及び範囲から逸脱することなく、本発明に種々の変形がなされてもよいことは確かである。したがって、明細書及び図面は、限定的な意味ではなく、説明的な意味で捉えられるべきである。
【図面の簡単な説明】
【００８２】
【図１】撮像システムの一実施形態を示す図である。
【図２】撮像光学モデルの一実施形態を示す図である。
【図３】前方ぼけ及び後方ぼけを呈する撮像光学モデルの一実施形態を示す図である。
【図４】異なる焦点で２つのピクチャを取得することによって深度マップを推定するために使用される、撮像光学モデルの一実施形態を示す図である。
【図５】２つのピクチャ間の絶対的ぼけ及び相対的ぼけの差分を演算することによってピクチャ深度マップを生成する方法の一実施形態のフローチャートである。
【図６】２つのピクチャ間の相対的ぼけの差分を演算する方法の一実施形態のフローチャートである。
【図７】畳み込みガウスカーネルの族を用いて、取得されたピクチャの２次元（２Ｄ）尺度空間表現を生成する一実施形態を示す図である。
【図８】２つの異なるピクチャにおける１組の対応するピクチャブロックの分散を求める一実施形態を示す図である。
【図９】尺度空間表現を用いて相対的ぼけマップのためのブロックを見つける一実施形態を示す図である。
【図１０】レンズ１０８に由来する絶対的ぼけを測定及び記録するための方法の一実施形態のフローチャートである。
【図１１】ぼけマップから深度マップを演算する一実施形態を示す図である。
【図１２】２つのピクチャを異なる焦点位置及び口径で取得するために用いられる、画像取得部１０２が用いる２つの撮像光学設定の一実施形態を示す図である。
【図１３】異なる焦点及び口径で取得された２つのピクチャから深度マップを演算する方法のフローチャートである。
【図１４】深度マップを演算する画像デバイス制御部の一実施形態を示すブロック図である。
【図１５】本発明を実施するのに適した動作環境の一実施形態の図である。
【図１６】図６及び図１２の動作環境において使用するのに適したコンピュータシステムの一実施形態の図である。
【図１】
2009505104.tif 000024
【図２】
2009505104.tif 000025
【図３】
2009505104.tif 000026
【図４】
2009505104.tif 000027
【図５】
2009505104.tif 000028
【図６】
2009505104.tif 000029
【図７】
2009505104.tif 000030
【図８】
2009505104.tif 000031
【図９】
2009505104.tif 000032
【図１０】
2009505104.tif 000033
【図１１】
2009505104.tif 000034
【図１２】
2009505104.tif 000035
【図１３】
2009505104.tif 000036
【図１４】
2009505104.tif 000037
【図１５】
2009505104.tif 000038
【図１６】
2009505104.tif 000039
【国際調査報告】
2009505104.tif 000040