(57)【要約】エッジ検出を使用して奥行きデータを生成するシステム及び方法が開示される。特定の実施態様において、第１の距離で第１の焦点位置で画像キャプチャー装置によって記録されるシーンに対応する第１の画像データが受信される。第１の距離より大きい第２の距離で第２の焦点位置に対応する第２の画像データが受信される。エッジ検出は、該第１の画像データの少なくとも第１の部分に対応する第１のエッジ・データを生成し、該第２の画像データの少なくとも第２の部分に対応する第２のエッジ・データを生成する。エッジ検出は、各々の検出されたエッジをハード・エッジ又はソフト・エッジとして識別するために、該第１の部分及び該第２の部分の各々の位置におけるエッジの存在又は不存在を検出する。奥行きデータは、該第１及び第２の焦点位置のために生成される該エッジ・データに基づいて生成される。
2011530880.tif 000002
【特許請求の範囲】
【請求項１】
画像キャプチャー装置からの第１の距離に関連する第１の焦点位置で、該画像キャプチャー装置により記憶されるシーンに対応する第１の画像データを受信することと、
前記画像キャプチャー装置からの第２の距離（該第２の距離は前記第１の距離より長い）に関連する第２の焦点位置で前記シーンに対応する第２の画像データを受信することと、
前記第１の画像データの少なくとも第１の部分に対応する第１のエッジ・データを生成する及び前記第２の画像データの少なくとも第２の部分に対応する第２のエッジ・データを生成するエッジ検出プロセス（該エッジ検出プロセスは、該第１の画像データの該第１の部分及び該第２の画像データの該第２の部分の各々の位置におけるエッジの存在又は不存在を検出し、各々の検出されたエッジは、ハード・エッジ又はソフト・エッジとして識別される）を実行することと、
前記第１のエッジ・データ及び前記第２のエッジ・データに基づいて、奥行きデータを生成することを含む方法。
【請求項２】
前記第１の画像データは、より遠くの物体に比べて、より近くの物体のよりシャープな焦点を含み、
前記第２の画像データは、前記より近くの物体に比べて、前記より遠くの物体のよりシャープな焦点を含む請求項１の方法。
【請求項３】
前記第１の画像データ及び前記第２の画像データは、複数の輝度値を含む請求項１の方法。
【請求項４】
前記第１又は第２の画像データの選択されたポイントの周囲のポイントの範囲にわたる緩やかな輝度変化は、ソフト・エッジ状態を示し、該ポイントの範囲にわたるシャープな輝度変化は、ハード・エッジ状態を示す請求項３のの方法。
【請求項５】
前記奥行きデータは、前記第１のエッジ・データにおいて存在しなかったハード・エッジ状態が存在する前記第２の画像データにおける少なくとも一つの位置を識別し、また、前記奥行きデータは、前記第２の焦点位置を、前記第２の画像データにおける前記位置で関連付ける請求項４の方法。
【請求項６】
前記奥行きデータは、奥行きマップを含む請求項５の方法。
【請求項７】
前記第１の焦点位置は、マクロ・フォーカス距離を含む請求項１の方法。
【請求項８】
前記第２の焦点位置は、無限焦点距離を含む請求項７の方法。
【請求項９】
前記マクロ・フォーカス距離と前記無限焦点距離との間の中間の焦点距離においてキャプチャーされる少なくとも一つの更なる画像データ・セットを更に含む請求項８の方法。
【請求項１０】
画像データをキャプチャーするための制御信号を受信する入力と、
前記制御信号に応答して、複数の焦点位置においてキャプチャーされる複数の画像データ・セットを生成する画像キャプチャー装置と、
出力画像を提供し、該出力画像における少なくとも一つのポイントのための奥行きデータを、該少なくとも一つのポイントが該出力画像において検出できるエッジを有すると判定される焦点位置に基づいて、提供する出力とを含む画像処理システム。
【請求項１１】
前記出力画像における選択されたポイントが、輝度値の変化に基づいて前記検出できるエッジの存在を示すかどうか判定するように構成されたエッジ検出器を更に含む請求項１０のシステム。
【請求項１２】
前記検出できるエッジは、ハード・エッジとソフト・エッジとのうちの一つを含む請求項１１のシステム。
【請求項１３】
前記制御信号は、前記画像キャプチャー装置に、マクロ・フォーカス位置及び無限焦点位置を含む複数の焦点位置における画像データ・セットを生成させるように構成された請求項１１のシステム。
【請求項１４】
前記画像キャプチャー装置は、電荷結合素子（ＣＣＤ）画像キャプチャー装置を含む請求項１０のシステム。
【請求項１５】
第１の画像データ及び第２の画像データ（該第１の画像データ及び該第２の画像データは単一の画像キャプチャー装置の異なる焦点位置に対応する）を受信する画像データ入力と、
前記第１の画像データ及び前記第２の画像データに関してエッジ検出を実行し、前記第１の画像データにおけるエッジの第１のシャープさ及び前記第２の画像データにおける該エッジの第２のシャープさとの間の相違に基づいて、奥行きデータを生成する奥行きモジュールとを含むシステム。
【請求項１６】
前記第１の画像データ及び前記第２の画像データは、静止画像入力データを含む請求項１５のシステム。
【請求項１７】
前記第１の画像データ及び前記第２の画像データは、ビデオ・カメラから受信される請求項１６のシステム。
【請求項１８】
制御信号（該制御信号は、該画像キャプチャー装置に、第１の焦点位置を使用して前記第１の画像データをキャプチャーさせ、第２の焦点状態を使用して前記第２の画像データをキャプチャーさせる）を画像キャプチャー装置に提供するための画像制御出力を更に含む請求項１５のシステム。
【請求項１９】
前記第２の焦点状態は、選択された物体に焦点が合っている位置に基づいて、第２の焦点位置を選択する請求項１８のシステム。
【請求項２０】
画像キャプチャー装置からビデオ画像データ（該ビデオ画像データは、第１の焦点位置に関連する第１の画像データ及び第２の焦点位置に関連する第２の画像データを含む）を受信するように構成された入力と、
エッジ検出フィルタの単一のパスを、第１の画像データ及び第２の画像データに適用することによって、前記ビデオ画像データの背景部分を判定し、前記第１の画像データの前景部分及び背景部分を識別するための奥行きデータを生成するように構成されたプロセッサと、
ビデオ・データ（該ビデオ・データは、前記背景部分に比べて前記前景部分についてより高い解像度を含む）を提供するように構成された出力とを含むシステム。
【請求項２１】
前記画像キャプチャー装置に、少なくとも３つの異なる焦点距離を使用して画像キャプチャー・オペレーションを実行させるための制御信号を生成することを更に含む請求項２０のシステム。
【請求項２２】
前記奥行きデータが、生成され、
前記出力は、強化された前景解像度を有するリアルタイム無線ビデオ電話通信を提供する画像キャプチャー装置のビデオ画像キャプチャー時間間隔内で前記ビデオ画像データを提供するために無線送信機に接続される請求項２０のシステム。
【請求項２３】
前記奥行きデータは、ハード・エッジ及びソフト・エッジを使用して判定される請求項２０のシステム。
【請求項２４】
前記出力は、近いビューにおける前記前景部分を表示し且つ前記背景部分の遠いビューにおいて前記前景部分を取り除く前記ビデオ画像データのフライスルー・ビューを提供する請求項２０のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般にキャプチャー画像に基づくエッジ検出及び奥行きデータ生成に関係する。
【背景技術】
【０００２】
デジタル画像技術（Digital imaging technology）は、コンパクトなデバイスが、画像データをキャプチャーすることも、画像データを強調して、送信することも、可能にする。例えば、多くの携帯情報端末（personal digital assistants）（ＰＤＡ）及び無線電話装置（wireless telephone devices i）は、有線又は無線コネクションを介して他のデバイスに送信可能な静止画像又は動画ビデオのキャプチャーを可能にする組み込み型画像処理システムを含む。
【０００３】
デジタル画像技術を利用して、画像キャプチャー装置までの様々な（varying）距離における物体を区別し、それゆえ、キャプチャーされ、記憶され又は送信されるシーンの態様を制御することは、望ましい場合がある。例えば、ビデオ電話（video telephony）の場合、明りょう性（clarity）、プライバシー又は他の理由で、前景（foreground）において発信者（caller）を示し、一方、背景（background）において他の人又は周囲の環境（settings）をキャプチャーしないことは、望ましい場合がある。さらにそのような技術を利用して、車両に取り付けられ又は視力に障害のある人によって運ばれるデジタル画像装置（digital imaging device）は、物体が一定の閾値距離の範囲内にあるとき、接近警報を提供することができるであろう。
【０００４】
しかし、一般的に、距離を判定する多くの従来のシステムは、２以上の画像センサを必要とする立体視を使用する。サイズ及び電力消費上の問題のため、例えばＰＤＡ又は無線電話のようなポータブル電子デバイス中に複数の画像センサを含むことは、望ましくない場合がある。
【発明の概要】
【０００５】
特定の実施態様において、第１の距離で第１の焦点位置で画像キャプチャー装置によって記録されるシーンに対応する第１の画像データが受信される方法が開示される。第１の距離より大きい第２の距離で第２の焦点位置に対応する第２の画像データが受信される。エッジ検出は、該第１の画像データの少なくとも第１の部分に対応する第１のエッジ・データを生成し、該第２の画像データの少なくとも第２の部分に対する第２のエッジ・データを生成する。エッジ検出は、該第１の部分及び該第２の部分の各々の位置におけるエッジの存在又は不存在を検出し、各々の検出されたエッジをハード・エッジ又はソフト・エッジとして識別する。奥行きデータは、該第１及び第２の焦点位置のために生成される該エッジ・データに基づいて生成される。
【０００６】
他の特定の実施態様において、システムが開示され、該システムは、画像データをキャプチャーするための制御信号を受信する入力を含む。画像キャプチャー装置は、前記制御信号に応答して、複数の焦点位置においてキャプチャーされる複数の画像データ・セットを生成する。出力は、少なくとも一つの画像データ・セットを提供し、該少なくとも一つの画像データ・セットにおける少なくとも一つのポイントのための奥行きデータを提供する。奥行きデータは、該少なくとも一つのポイントが検出できるエッジを有すると判定される焦点位置に基づく。
【０００７】
他の特定の実施態様において、画像キャプチャー装置からビデオ画像データを受信するように構成された入力を含むシステムが開示される。該ビデオ画像データは、第１の焦点位置に関連する第１の画像データ及び第２の焦点位置に関連する第２の画像データを含む。プロセッサは、前記第１の画像データ及び前記第２の画像データを受信する。プロセッサは、エッジ検出フィルタの単一のパスを適用することによって、前記ビデオ画像データの背景部分を判定し、前記深さデータを使用して前記第１の画像データの前景部分及び前記背景部分を識別するための奥行きデータを生成するように構成される。出力は、前記背景部分のための前記画像データとは異なって前記前景部分のための前記画像データを選択的に提示するビデオ・データを提供するように構成される。
【０００８】
開示された実施態様の少なくとも一つにより提供される一つの特定の利点は、画像キャプチャー装置によって記録されるシーンにおける物体の奥行きに基づいて、画像データが選択的に提示されることができるように、単一の画像キャプチャー装置を使用して、画像キャプチャー装置に対する相対的な物体の奥行きを判定する能力である。
【０００９】
本開示の他の態様、利点及び特徴は、以下のセクション（図面の簡単な説明、詳細な説明及び特許請求の範囲）を含む出願全体のレビューの後に明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】図１は、エッジ検出及び奥行きマップ生成モジュール有する画像処理システムを含むシステムの特定の具体例（illustrative embodiment）のブロック図である。
【図２】図２は、信号中に潜在的に含まれるエッジ特性を拡大するために強化される信号の特定の具体例を示す一対のグラフである。
【図３】図３は、３ポイントでサンプリングされるソフト・エッジ及びハード・エッジを表す信号の特定の具体例を示す一対のグラフである。
【図４】図４は、信号がサンプリングされるポイント間の線の微分の解析を示す図３の一組のグラフである。
【図５】図５は、エッジ分類のための閾値ポイントが重畳される３ポイントでサンプリングされる信号の特定の具体例のグラフである。
【図６】図６は、画像キャプチャー装置からの様々な焦点距離の複数の物体を含むシーンの斜視図（perspective view）である。
【図７】図７は、画像の各々に焦点を合わせた図６のシーン中の物体の画像データ・セットの二次元ビューある。
【図８】図８は、図７の画像データ・セットからの選択されたポイントについてサンプリングされたポイントの範囲の特定の具体例である。
【図９】図９は、各々の画像データ・セット中の焦点が合っている又は焦点がはずれている複数の物体を示す異なる焦点距離でキャプチャーされた一連の画像データ・セットの特定の具体例の図である。
【図１０】図１０は、図９の画像データ・セットから導かれる一連のエッジ検出表示（edge detection representations）の特定の具体例の図である。
【図１１】図１１は、図９の一連の画像データ・セットから生成される奥行きマップの特定の具体例の図である。
【図１２】図１２は、ハード・エッジ若しくはソフト・エッジを有する又は検出できるエッジを有しないとして物体が分類される複数の物体の一連の画像データ・セットの特定の具体例の斜視図である。
【図１３】図１３は、画像データを提示するための一対のフライスルー・ビューの特定の具体例の斜視図である。
【図１４】図１４は、奥行きデータを生成するためにエッジ検出を使用するプロセスの特定の具体例のフローチャートである。
【図１５】図15は、奥行きデータに基づいて画像データを選択的に提示するために一連の画像データ・セット及びエッジ検出を使用する特定の具体例のフローチャートである。
【図１６】図１６は、エッジ検出器／奥行きデータ発生器を含むシステムの特定の具体例のブロック図である。
【図１７】図１７は、エッジ検出器／奥行きデータ発生器を含むシステムの特定の具体例のブロック図である。
【詳細な説明】
【００１１】
図１は、画像キャプチャー装置１１０、画像処理システム１４０及び画像記憶装置１７０を含む１００で一般的に示されるシステムの特定の具体例のブロック図である。単一の画像キャプチャー装置１１０は、画像キャプチャー装置１１０に対して画像データ１３０を収集するように指示する制御入力信号１２０を受信する。画像キャプチャー装置１１０は、画像データ１３０を受信及び処理する画像処理システム１４０に接続される。画像処理システム１４０は、処理された画像データ１６０を生成する。画像処理システム１４０は、処理された画像データ１６０を受信する及び記憶する画像記憶装置１７０に接続される。処理された画像データ１６０は、少なくとも一つの画像及び画像データ１３０から抽出された奥行きデータ（depth data）を含む。処理された画像データ１６０、該処理された画像データ１６０から生成された奥行きデータ又はそれらの任意の組み合わせは、出力１８０で提示される。一般に、システム１００は、比較的制限された処理資源を使用してリアルタイム画像処理を実行するように構成されたポータブル電子デバイスにおいて実装されても良い。
【００１２】
特定の実施態様において、画像キャプチャー装置１１０は、例えばビデオ・カメラ又はスチルカメラのようなカメラである。画像キャプチャー装置１１０は、焦点モジュール１１４及び露出モジュール１１６応答するレンズ１１２を含む。焦点モジュール１１４は、レンズ１１２／焦点モジュール１１４構成に基づいて、焦点モジュール１１４に知られているレンズからの特定の距離で焦点を合わせるように、レンズ１１２を操作（manipulates）する。焦点モジュール１１４はまた、シーンの仮定された被写体（assumed subject）（例えば写野（field of view）の中心部を占めている物体）上にレンズ１１２を、自動的に焦点を合わさせるように、適切に構成される。焦点モジュール１１４は、その最も近い焦点（それはシーンのマクロ・フォーカス位置と呼ばれる）からその最も遠い焦点（それは無限焦点位置と呼ばれる）までレンズ１１２の焦点を合わせるように構成される。更に下で説明されるように、奥行きマップを生成するとき、焦点モジュール１１４は、複数の異なる焦点距離でシーンの画像データをキャプチャーするためにレンズ１１２を操作するように構成されても良い。
【００１３】
画像キャプチャー装置はまた、レンズ１１２を介して光を受信し、レンズ１１２を介して受信された画像に応答して画像データ１２０を生成するために接続された、センサ１１８（例えば電荷結合素子（ＣＣＤ）アレイ又は他の画像検出装置）を含む。センサ１１８に接続された露出モジュール１１６は、画像の露出を制御するために、センサ１１８及び／又はレンズ１１２に応答しても良い。
【００１４】
制御信号入力１２０は、スイッチを動かす（activating）ユーザにより又は画像処理システム１４０により生成されても良い。制御信号入力１２０は、画像キャプチャー装置１１０に対して画像データをキャプチャーするように指示するものであり、そして、画像キャプチャー装置１１０により生成される画像データ１３０が、複数の焦点距離の各々に対する複数の画像データ・セットを含むように、画像キャプチャー装置１１０に対して複数の焦点距離でシーンの複数の画像をキャプチャーするように指示するものであっても良い。焦点距離は、マクロ・フォーカス位置、無限焦点位置、マクロ・フォーカス位置と無限焦点位置との間の１又は複数の他の焦点位置、又は、それらの任意の組み合せを含んでも良い。
【００１５】
画像キャプチャー装置１１０により生成される画像データ１３０は、画像データ入力１４２において画像処理システム１４０により受信される。画像処理システム１３０は、欠陥として識別されたが画素又は画素グループを補正するために、画像データ１３０に対して調整を行うように構成された欠陥画素補正モジュール（defective pixel correction module）１４４を含んでも良い。画像処理システム１４０はまた、好ましくないと判定された色値（color values）を調整するように構成された色補正モジュール１４６を含んでも良い。欠陥画素補正モジュール１４４及び色補正モジュール１４６は、画像データ１３０の処理に選択的に従事しても良い。それゆえ、本開示の実施態様において、下で更に説明されるように、補正モジュール１４４及び１４６は、すべての画像データ１３０に適用されても良いし、又は、奥行きマップを生成する際に使用される画像データ・セットの処理においてスキップされても良い。
【００１６】
エッジ検出及び奥行きデータ生成モジュール１４８は、画像データ・セット中のエッジを識別するように及びハード・エッジ又はソフト・エッジとして検出できる（detectable）エッジを識別するように構成される。更に下で説明されるように、エッジ検出及び奥行きデータ生成モジュール１４８は、単一のシーンの画像キャプチャー装置１１０により収集される複数の画像データ・セット中のハード・エッジ及びソフト・エッジを識別する。複数の画像データ・セットは、複数のそれぞれの距離（例えば、最も近い焦点距離、シーンの仮定された物体に対して自動焦点システムにより選択される距離、無限などのうちの２以上の距離）で複数の焦点位置で焦点を合わせるようにセットされた画像キャプチャー装置１１０で収集される。一旦、エッジ検出及び奥行きデータ生成モジュール１４８が、異なる焦点距離で収集された複数の画像データ・セット中のエッジを識別すると、エッジ検出及び奥行きデータ生成モジュール１４８は、シーン中のいずれの物体のいずれのエッジがハード・エッジを示すかを、それゆえ、異なる焦点距離で焦点が合っている又は焦点が合っている状態に近いかを、識別する。それゆえ、エッジ検出及び奥行きデータ生成モジュール１４８は、画像キャプチャー装置１１０により収集される二次元画像データを使用して、画像データ・セット中の物体の、画像キャプチャー装置１１０に対する相対的な奥行きを識別する。
【００１７】
画像データ、奥行きデータ及びそれらの任意の組み合せは、画像記憶装置１７０に提示される処理された画像データ１６０を生成する圧縮及び記憶モジュール１５０に渡される。画像記憶装置１７０は、例えば１又は複数の表示バッファ、レジスタ、キャッシュ、フラッシュメモリエレメント、ハードディスク、他の任意の記憶装置又はそれらの任意の組み合せのような、任意のタイプの記憶媒体を含んでも良い。システム１００の出力１８０は、処理された画像データ１６０に含まれる奥行きデータを含む処理された画像データ１６０を提供する。出力１８０は、図１で示されるように画像記憶装置１７０から提供されても良いし、又は、画像処理システム１４０から提供されても良い。
【００１８】
特定の実施態様において、エッジ検出及び奥行きデータ生成モジュール１４８は、ハード又はソフトとしてエッジを識別するために、画像データ・ポイント間の微分及び微分の比を評価するために、カーネル・フィルタ又はカーネルを画像データに適用する。本明細書で使用される用語“微分（differential）”は、一組の画像データ中の２つの画像データ・ポイント間の値の１又は複数の差分（differences）を示すために使用される。言い換えると、更に下で説明されるように、微分は、２つの画像データ・ポイントを結ぶ線（lines）又は曲線（curve）の傾き（slope）として考えられることができる。カーネルは、選択されたポイントの周囲のポイントの範囲について測定された値に対して適用される係数又は重みの行列を含む。具体例において、行列は、３×３又は５×５の行列であり、それゆえ、それが適用される画像データの実際のセットに比べて非常に小さい。画像データをフィルタリングするために、カーネルは、画像データ中の全てのポイント又は選択されたポイントの近隣に連続して適用される。例えば、５×５のカーネルが使用されるとき、カーネルは、検討中の（under study）各々のポイントがハード・エッジであるかソフト・エッジであるか又はいかなるエッジでもないかの一部であることを示すかどうか判定する際の支援のためにデータ値を拡大するために、選択的に係数又は重みを適用するために、検討中の各々のポイントの周囲に集中する５×５の範囲のポイントに適用される。
【００１９】
特定の実施態様において、出力１８０は、リアルタイムのビデオ・データ伝送を提供するために、無線送信機（図示せず）に接続される。リアルタイムのビデオ・データ伝送は、リアルタイム無線電話を可能にしても良い。奥行きデータを使用して、リアルタイム・ビデオ電話通信は、向上された前景解像度（enhanced foreground resolution）、背景抑制（background suppression）又は画像の部分の奥行きに基づくシーンの部分の他の画質向上（enhancement）又は抑制の何らかの他の組み合せを含んでも良い。
【００２０】
図２は、画像データ・セットの軸に沿った一連のポイントにわたる画像データ中にソフト・エッジ及びハード・エッジがそれぞれどのようにして出現し得るかの例を表す一対の曲線２００及び２５０を表すグラフを示す。ハード・エッジ及びソフト・エッジを識別しようとする際に、エッジ検出モジュール又はシステム（例えば図１のエッジ検出及び奥行き生成モジュール１３６）は、隣接するポイント間の差分を拡大（magnify）又は誇張（exaggerate）するために、カーネル・フィルタ又はカーネルを画像データ中のポイントに適用しても良い。例えば、カーネルをポイントＰ２１０に適用することは、修正された曲線２２０を与えるためにポイントＰの値と周囲のデータ・ポイントと間の微分を誇張するために、重み付けされた係数を、周囲のデータ・ポイントに適用する。例示のために、第１の曲線２００はソフト・エッジに沿ったポイントのサンプリングを表し、第２の曲線２５０はハード・エッジに沿ったポイントのサンプリングを表すと仮定される。カーネルの重み付けされた値を第１の曲線２００に適用することは、第１の修正された曲線２２０を与える。第１の修正された曲線２２０の誇張された輪郭は、エッジが存在することを明確にし得るが、第１の修正された曲線２２０の誇張された形と同等で、第１の修正された曲線２２０がソフト・エッジとして識別され得る。対照的に、カーネルを点Ｐ’２６０に適用することは、エッジがハード・エッジであることを明確にし得る第２の修正された曲線２７０を与える。第２の修正された曲線２７０の部分の微分、微分の比又はそれらの組み合わせを調べることは、エッジがハード・エッジとして分類されるのを可能にする。下で更に説明されるように、修正された曲線がハード・エッジ又はソフト・エッジを表すかどうか識別するために、修正された曲線２２０及び２７０は、修正された曲線２２０及び２７０の微分、修正された曲線２２０及び２７０の部分の微分の比又はそれらの任意の組み合わせを判定するために調べられる。例示的なカーネル及びカーネル値だけでなく、カーネルの適用が、下で更に説明される。
【００２１】
図３は、２セットの３データ・ポイントに対する２つの仮説修正曲線（hypothetical modified curves）３００及び３５０のグラフ表現である。曲線３００及び３５０は、微分とそれらの比が画像データ中のソフト・エッジ及びハード・エッジを識別するためにどのように使用されるかについて説明するために示される。図３のグラフ表現の垂直軸で表されるデータ・ポイントの値は、修正された曲線３００及び３５０の両方において、同一の量で増加する。しかし、データ・ポイントの値が増加するレートは、２つの変更された曲線３００及び３５０間で異なる。そして、それは、第１の修正された曲線３００におけるソフト・エッジの存在と第２の修正された曲線３５０におけるハード・エッジの存在とを示す。
【００２２】
ポイントＡ３１０,Ｂ３２０及びＣ３３０を含む第１のデータ・ポイント・セット３００は、ポイントＡ３１０,Ｂ３２０及びＣ３３０の画像輝度（image intensity）がポイントＡ３１０の低い値からポイントＢ３２０のより高い値とそれからポイントＣ３３０の次のより高い値まで緩やかに（gradually）シフトするソフト・エッジを表す。第１の修正された曲線に沿ったポイントＡ３１０からポイントＢ３２０そしてポイントＣ３３０への輝度値の比較的緩やかな増加は、ソフト・エッジの存在を示す。対照的に、第２の修正された曲線３５０は、ポイントＤ３６０,Ｅ３７０及びＦ３８０を含み、ハード・エッジを表す。第２の修正された曲線３５０は、ポイントＤ３６０及びＥ３７０の輝度値とポイントＦ３８０の輝度値との間で比較的シャープにシフトする画像輝度を表す。ポイントＤ３６０とポイントＦ３８０との間の画像輝度のシフトと比較すると、ポイントＥ３７０とポイントＦ３８０との間の画像輝度の比較的シャープな増加は、ハード・エッジの存在を示す。
【００２３】
第１の修正された曲線３００と第２の変更された曲線３５０は、輝度値を増加させることによって識別され得るソフト・エッジ及びハード・エッジを表すが（“ライジング・エッジ（rising edges）”）、ソフト・エッジ及びハード・エッジはまた、輝度値を減少させることによって識別されても良い（“フォーリング・エッジ（falling edges）”）。例えば、ポイントＡの輝度値が２００であり、ポイントＢの輝度値が１００であり、ポイントＣの輝度値が０である他の実施態様において、ポイントＡからポイントＢそしてポイントＣへの輝度値における比較的緩やかな減少は、ソフト・フォーリング・エッジを示しても良い。したがって、ポイント間の輝度の差分の大きさ又は絶対値が、ソフト・エッジとハード・エッジ（ライジング及びフォーリングの両方）の検出及び識別に対応するために比較されても良い。例えば、ポイントＡからポイントＣへの輝度変化の大きさと、ポイントＢからポイントＣへの輝度変化の大きさとの間の比較は、ライジング・ハード・エッジ又はフォーリング・ハード・エッジだけでなく、ライジング・ソフト・エッジ又はフォーリング・ソフト・エッジを識別するために使用されても良い。
【００２４】
曲線３００及び３５０により表されるポイント・セットは、画像データ中のソフト・エッジ及びハード・エッジをそれぞれ示す画像内の異なるポイントを表しても良い。あるいは、表されるポイント・セットは、同一のシーンの２セットの画像データ中の同一の３ポイントを示しても良い。物体が、シーンにおいて、該シーンが焦点を合わされたポイントとは異なる奥行きにあったことから、第１の修正された曲線３００は、焦点が合っていない物体のエッジに起因する該物体のソフト・エッジを表しても良い。第２の修正された曲線３５０は、焦点が合っていて、それゆえ、シャープに定義されている物体から生じる該物体のハード・エッジを表しても良い。この場合において、本開示の実施形態に従って、エッジが、第１の既知の焦点距離又は焦点位置でソフトに定義されたか、第２、第３又は他の既知の焦点距離でシャープに定義されたかを、又は、その反対であるか、判定することによって、シーン中の物体の相対的な奥行きが判定されてもい良い。シーン中の１又は複数の物体についてにハード／ソフト・エッジの判定を連続して行うことによって、奥行きマップが、シーン中の物体の各々に関連する奥行きデータをもつシーンのために作成されることができる。
【００２５】
本開示の実施態様は、画像の一つの軸に沿った二次元の信号のサンプルに対して３ポイント（例えば、ポイントＡ３１０,Ｂ３２０及びＣ３３０、又は、ポイントＤ３６０,Ｅ３７０及びＦ３８０）でカーネルを適用することによって、シングルパス・プロセスにおいてハード・エッジ及びソフト・エッジを識別しても良い。本開示の実施態様は、それから、図４中にグラフィカルに表されるように、リーディング・ポイント（例えばポイントＢ３２０及びＣ３３０）の第１の微分係数（derivative）の、第１のポイント〜第３のポイントへのラギング・ポイント（例えばポイントＡ３１０及びＣ３３０)の第２の微分係数に対する比を使用する。
【００２６】
図４は、これらのポイントの微分を、ポイントを結ぶ線の傾きとして、グラフィカルに示す。図４において、ソフト・エッジに関連する第１の修正された曲線３００を考慮すると、リーディング・ポイントＢ３２０及びＣ３３０間の線の微分又は傾きは、ｄＢＣ４１０として表され、そして、ラギング・ポイントＡ３１０及びＣ３３０間の線の微分は、ｄＡＣ４２０として表される。図４の外観検査（Visual inspection）は、微分ｄＢＣ４１０及びｄＡＣ４２０の微分間の差分が比較的わずかであることを示す。対照的に、ハード・エッジに関連する第２の修正された曲線３５０を考慮すると、リーディング・ポイントＥ３７０及びＦ３８０間の線の微分は、ｄＥＦ４６０として表され、ラギング・ポイントＤ３６０及びＦ３８０間の線の微分は、ｄＤＦ４７０として表される。図４中に表されるように、微分ｄＥＦ４６０及びｄＤＦ４７０間の差分は、少なくとも、微分ｄＢＣ４１０及びｄＡＣ４２０間の差分に比べてより大きい。それゆえ、エッジがハードであるかソフトであるかを知らない場合に、エッジをハード又はソフトとして分類するために、微分の比が使用されることができる。
【００２７】
図５は、微分及び微分の比を、ハード・エッジ又はソフト・エッジを示すものとして分類するために使用され得る、仮説微分閾値（hypothetical differential thresholds）を示す。図５において、リーディング・ポイントのセット間の微分は、ポイントＡ３１０,Ｂ３２０及びＣ３３０に対する実際の値から、ポイント１（５１０）、ポイント２（５２０）、ポイント３（５３０）及びポイント４（５４０）における経験的に選択された値まで、点線によって示される。ラギング・ポイントのセット間の微分は、それぞれのポイント間で破線によって示される。
【００２８】
エッジの存在を示して表される値の大きさの増加に加えて、ポイント間の微分及びこれらの微分の比は、エッジがソフト・エッジであるかハード・エッジであるかどうかを示しても良い。リーディング微分及びラギング微分間のより大きな比は、ハード・エッジを示す（例えば図４の微分ｄＥＦ４６０及びｄＤＦ４７０の比によって説明される）。それゆえ、例えば、比がポイントＢ３２０及びポイント１（５１０）間のリーディング微分と、ポイントＡ３１０及びポイント１（４１０）との間のラギング微分の比であるならば、その比は、ハード・エッジを示すであろう。他方、ポイントＢ３２０及びポイント３（５３０）間のリーディング微分と、ポイントＡ３１０及びポイント３（５３０）間のラギング微分の比が１に近ければ、ポイントＢ３２０及びポイント３（５３０）間のリーディング微分と、ポイントＡ３１０及びポイント３（５３０）間のラギング微分を表す線は、通常、同一直線上（co-linear）のことを示しており、その比はソフト・エッジを示すであろう。それゆえ、微分の比を判定し、それらを選択された閾値と比較することによって、エッジがハードであるかソフトであるかどうかに関して、効果的な判定がなされることができる。
【００２９】
カーネルにおいて使用される係数は、ハード・エッジ、ソフト・エッジ、又は、ハード・エッジとソフト・エッジの両方を検出する際に、カーネルの効果を制御する。例えば、以下のカーネル（１）の第１のオーダーのカーネルは、ハード・エッジの識別において効果的である。
【数１】
2011530880.tif 000003
【００３０】
しかし、カーネル（１）は、ソフト・エッジを識別しない。いわゆる第１のオーダー及び第２のオーダーカーネルにおける“オーダー（order）”は、大きさの逐次的なオーダー（sequential orders）を指し示すものではなく、ここでは、１は第１のオーダーの大きさ、１０は第２のオーダーの大きさ、１００は第３のオーダーの大きさなどである点に留意されるべきである。その代わりに、大きさのオーダーは、例えば１桁の値のような、第１のオーダーの大きさを、第１のオーダーの大きさとして指し示し、どのようなものであっても次のオーダーの大きさ（例えば１０００など）を、第２のオーダーの大きさとして指し示す。
【００３１】
更なる例について、以下のカーネル（２）の第２のオーダーのカーネルは、ソフト・エッジの識別において、カーネル（１）に比べて、より効果的である。
【数２】
2011530880.tif 000004
【００３２】
しかし、カーネル（２）は、ソフト・エッジに比べて、ハード・エッジに対して、さらによりセンシティブであり、また、ノイズ及びテクスチャーに対してセンシティブであり得る。
【００３３】
本開示の実施態様は、ハード・エッジ及びソフト・エッジの両方を識別するために選択されるカーネルを適用する。例えば、本開示の実施態様は、５×５の第２のオーダーのカーネルを現在検討中の選択されたポイントの周囲に集中する（centered about）８ビット・データ値の５×５ポイント近隣に適用しても良い。ハード・エッジ及びソフト・エッジの両方を識別するために使用可能な（operable）カーネルの例は、カーネル（３）により与えられる。
【数３】
2011530880.tif 000005
【００３４】
カーネル（３）は、０値のみ含む２つの行（第１と、最後すなわち第５の行）を含む。カーネル（３）はまた、非０値を含む３つの行を含む。すなわち、：該カーネル（３）の第２の列は、値−１、０、−１０００、０及び１００１を含み、該カーネルの第３の行は、値−２、０、−２０００、０及び２００２を含み、該カーネルの第４の行は、値−１、０、−１０００、０及び１００１を含む。それゆえ、３つの非ゼロの行の各々は、負の第１のオーダーの大きさの値−１又は−２、負の第２のオーダーの大きさの値−１０００又は−２０００、及び、第１のオーダーの大きさの成分（例えば、値１００１に含まれる値−１の１）を有する正の第１のオーダーの大きさの値を有する。更に下で説明されるように、第１及び第２のオーダーの大きさでカーネル値を選択することは、エッジ検出モジュール１３６が、単一のパスにおいて、選択されたデータ・ポイントの２つ以上の微分を識別するのを可能にする。
【００３５】
カーネルの非ゼロ値に関する大きさのオーダーは、解析されている信号のタイプに基づいて選択されても良い。カーネル（３）は、それにおいて各々の画素値の輝度が０と２５５の間のベーステン値をもたらす８ビット値を使用して表される８ビット・デジタル画像信号のために特に適切であっても良い。列の第１のオーダーの非ゼロ成分により乗算されるときに、画素値の合計が第２のオーダーの大きさへオーバーフローするであろう可能性がほどんと無いか又は無いように、非ゼロ値のために選択される第２のオーダーの大きさが、選択される。例として８ビット画像を使用して、カーネル（３）の第１のオーダーの大きさの値（−１、−２及び−１）により乗算された、最大画素値２５５の合計は、１＊２５５＋（２＊２５５）＋１＊２５５又は１０２０に等しい。そして、それは、カーネル（３）の第２のオーダーの大きさの値の−１０００、−２０００、１００１及び２００２へオーバーフローする。それゆえ、カーネル（３）の第２のオーダーの大きさの値へのオーバーフローは、２５０以上の画素値について有り得る。
【００３６】
それぞれの位置における画素の各々が、２５０以上の８ビット値を示し、それゆえ、カーネル（３）の第２のオーダーの大きさへオーバーフローするであろうことは、ありそうもないかもしれない。カーネル（３）の第２のオーダーの大きさへのオーバーフローを引き起こす状態のありそうもないことにもかかわらず、より大きな第２のオーダーの大きさ（例えば１０，０００）を選択することは、オーバーフローの可能性を解消する。より大きい又はより少ない数のビットで表される信号について、より大きい又はより少ないオーダーの大きさによる非ゼロ値が使用されても良い。１６ビット画像について、例えば、より大きなオーダーの大きさ（例えば１，０００，０００）による非ゼロ値が使用されても良い。他方、２ビットの信号について、より少ないオーダーの大きさ（例えば１００）による非ゼロ値が使用されても良い。それゆえ、エッジをハード・エッジ又はソフト・エッジとして分類しようとする際にデータ値を適切に拡大するために、カーネルの第２のオーダーの大きさの非ゼロ値は、信号の最大の有り得る値の関数として、選択されても良い。
【００３７】
カーネル（３）を適用して、画像中のエッジを識別するための微分を導くために、エッジ検出モジュール（例えば図１のエッジ検出及び奥行きデータ生成モジュール１３６）は、カーネルを、画像データのセットにおけるポイントの各々に適用する。エッジ検出モジュール１３６は、選択されたポイント識別して、選択されたポイント及び近隣のポイントに関するデータ値を読み込む。５×５ポイント近傍及び５×５カーネルの解析を選択する際に、選択されたポイントの上下左右の少なくとも２ポイントについて値が利用できることを確実とするために、画像の解析は、画像の第３行第３列のポイントから始まる。エッジ検出モジュール１３６は、それから、画素値により乗算されるカーネルの合計を計算するために、カーネル及び選択されたポイントの周囲のデータ値に関するコンボリューションを計算することによって、カーネル（３）を適用する。重み付けされたポイント値を得るために、ポイントの各々に関連する輝度を識別するータ値の各々が、カーネル内の対応する位置の値により乗算される。重み付けされたポイント値は、それから、合計される。それについて、データの範囲が、選択されたポイントの上下左右のポイントを含まない場合がある、画像のエッジ上の選択されたポイントについては、これらポイントは、スキップされても良い。あるいは、これらのポイントに関する値は、選択されたポイントの近隣で利用できるポイントから外挿又は内挿されても良いし、又は、任意の他の適切な処理から値を供給されても良い。
【００３８】
説明のために、以下では、カーネル（３）は、行列（４）によって表されるデータ値の範囲に適用される。行列（４）のデータ値をなだらかに（smoothly）変化させるが着実に増加させることから、データ値の中心の選択されたポイントは、ソフト・エッジの上にあると推測されることができる。
【数４】
2011530880.tif 000006
【００３９】
カーネル（３）及び行列（４）のコンボリューションは、式（１）によって与えられる合計値を返す。  
−４０−１２０，０００＋２００，２００＝８０，１６０          （１）  
１０００による除算又は“ｄｉｖ １０００”オペレーション及びモジュロ１０００又は“ｍｏｄ １０００”オペレーションを適用することは、８０の信号のリーディング・エッジ（leading edge）の微分及び１６０の信号のラギング・エッジ（lagging edge）の微分を与える。２つの値を、５画素にわたる傾き計測に正規化するために、リーディング・エッジの結果は、２による乗算をもたらし、そして、１６０の微分及び１６０を与える。リーディング・エッジの微分とラギング・エッジ微分との比は、それゆえ、１であり、ソフト・エッジを示す緩やかな微分を示す。
【００４０】
更なる説明のために、カーネル（３）は、行列（５）によって表される信号に適用される。そこにおいて、輝度値は、なだらかに増加せず、それによって、ハード・エッジが存在する可能性があることを示唆している。
【数５】
2011530880.tif 000007
【００４１】
カーネル（３）及び行列（５）のコンボリューションは、式（２）によって与えられる合計値を返す。  
−４０−４０，０００＋２００，２００＝１６０，１６０          （２）  
１０００による除算又は“ｄｉｖ １０００”オペレーション及びモジュロ１０００又は“ｍｏｄ １０００”オペレーションを適用することは、１６０の信号のリーディング・エッジの微分及び１６０のラギング・エッジの微分を与える。  ２つの結果を、５画素にわたる微分計測に正規化するために、リーディング・エッジの結果は、２による乗算をもたらし、そして、３２０の微分及び１６０を与える。リーディング傾き及びラギング傾きの比は、それゆえ、２である。行列（４）によって表される前の信号の場合のように、これは、エッジが均一に立ち上がっていないことを示す。エッジが均一に立ち上がっていないので、エッジは、ハード・エッジとして分類できる。
【００４２】
リーディング・エッジの微分、ラギング・エッジの微分、及び、データ値の行列（４）及び（５）へのカーネル（３）の適用から得られるリーディング・エッジの微分のラギング・エッジ微分に対する比を使用して、データ値の中心の選択されたポイントがハード・エッジ又はソフト・エッジを示すかどうかが、該微分及びそれらの比と予め定められた閾値とのＩＦタイプ・ステートメント、検索テーブル又は他のプログラミング若しくは回路構造を用いた比較によって、判定されても良い。
【００４３】
選択されたポイントの周囲のデータ値をハード・エッジ又はソフト・エッジを示すとして分類するデータの処理の一つの実施態様において、リーディング・エッジの微分は、ラギング・エッジの微分より大きな距離にわたるので、リーディング・エッジの微分は、広いエッジ又は“ｗエッジ”と呼ばれて示され、ラギング・エッジの微分は、狭いエッジ又は“ｎエッジ”と表される。ｎエッジ、ｗエッジ、及びｎエッジとｗエッジの比は、実際に、データ値が少しでもエッジの存在を示すかどうか判定するために使用される。微分がエッジの存在を示すならば、微分の比はエッジがソフトかハード・エッジであるかどうか判定するために考慮される。  
if  (wエッシ゛ > 120 && // ワイト゛スローフ゜, ラキ゛ンク゛エッシ゛  
(5画素にわたる)がエッシ゛を示すのに十分大きくなければならない  
wエッシ゛ < 300 && // ただし、ワイト゛スローフ゜が大きすぎるならば, ソフトエッシ゛でないであろう  
nエッシ゛ > 25 && // ナロースローフ゜, リーテ゛ィンク゛エッシ゛(2画素にわたる)が  
エッシ゛を示すのに十分大きくなければならない  
nエッシ゛ < 300 && // ただし、ワイト゛スローフ゜が狭すぎるならば, ソフトエッシ゛ではないであろう  
比 < 1.6 && // リーテ゛ィンク゛スローフ゜/ラキ゛ンク゛スローフ゜の比が近くなければならない、あるいは、エッジがナローエッシ゛でないであろう
比 > 0.4
)  
（    if    (w-edge > 120 && // slope of wide, lagging edge                  
(across 5 pixels) has to be large enough to indicate an edge   
w-edge < 300 && // but if slope of wide edge is too large, it will not be a soft edge  
n-edge > 25 && // slope of narrow, leading edge (across 2 pixels) has to  
be large enough to indicate an edge  
n-edge < 300 && // but if slope of narrow edge is too large, it will not  
be a soft edge  
ratio < 1.6 && // ratio of leading/lagging slopes has to be close or the  
edge will not be a narrow edge  
ratio > 0.4  
)                                                                        ）
カーネルを画像データ中のポイントに適用する際の同一のコンピュータ解析に基づいて、微分及びそれらの比が、ハード・エッジが存在するかどうかを判定するために評価されても良い。前述のように、データ値がソフト・エッジの存在を示すかどうか判定する際に、エッジがソフト・エッジであるかどうかと同様に、データがどのようなタイプのエッジが存在するかを示すかどうか判定された。データ値が、エッジの存在を示すが、エッジはソフト・エッジでないと判定されたならば、エッジがハード・エッジとして分類されるべきかどうか判定するプロセスは、比較的短くても良い。  
if  ((nエッシ゛> 300 && // ナロースローフ゜, リーテ゛ィンク゛エッシ゛は、ハート゛エッシ゛を示す  
ために大きくなければならない  
(比 > 1.5 || 比 < 0.9)) // ラキ゛ンク゛エッシ゛のスローフ゜に対するリーテ゛ィンク゛エッシ゛の  
スローフ゜の比が、ハート゛エッシ゛を示すためにかなり変化しなければならない  
（  if  ((n-edge > 300 && // slope of narrow, leading edge must be large to  
indicate a hard edge  
(ratio > 1.5 || ratio < 0.9)) // ratio of slope of leading edge to slope of 
lagging edge must vary appreciably to indicate a hard edge    ）
カーネルを画像データ中のデータ・ポイントの行列に適用するプロセスは、計算プロセスを削減するために、実質的に最適化又は修正されても良い。本開示の一つの実施態様において、５×５カーネル（例えば前に説明された５×５カーネル（３））は、行列の０値を除くことによって、３×３行列に削減されることができた（３×３カーネル（７）を与えるカーネル（６）において提示されるように）。
【数６】
2011530880.tif 000008
【００４４】
３×３行列のデータ値に適用される０値を除く３×３カーネル（７）を使用することは、あたかも５×５カーネルが５×５行列のデータ値に適用されるように、データ値を処理する。それゆえ、３×３カーネルを３×３行列のポイントに適用する結果は、５×５カーネルを５×５行列のポイントに適用することと実質的に同様に正確であるが、カーネルをデータ行列に適用することにおいてより少ない計算を必要とする。
【００４５】
さらに、データ・ポイントの２つのスパンの高さを与えるために、ｄｉｖ １０００オペレーション及びｍｏｄ １０００オペレーションを適用する代わりに、ｄｉｖオペレーション及びｍｏｄオペレーションは、１０２４を使用して実行されても良い。そして、それは、２の倍数であり、それゆえ、バイナリ処理システムの高速シフト演算子の使用を可能にする。ｄｉｖ １０２４オペレーション及びｍｏｄ１０２４オペレーションに対応するためにカーネル（７）中で１０２４を代入し、カーネル（７）は、修正された３×３カーネル（８）を与えるために、修正される。
【数７】
2011530880.tif 000009
【００４６】
シーンのために収集される一連の画像データ・セットに対して、前述のように、エッジ検出プロセスを実行して、奥行きマップ又は奥行きデータの他のコレクションが、該シーンのために生成されることができる。本開示の特定の実施態様に従って、画像データの複数のセットが、複数の異なる焦点距離で単一ビューについてキャプチャーされる。それから、その焦点距離において画像データ・セットの各々がキャプチャーされ、その焦点距離においてシーン中の物体のエッジがハード又はソフトになる、焦点距離をモニタリングすることによって、奥行きデータは、該物体に関連されることができる。
【００４７】
図６は、画像キャプチャー装置６０２を使用して画像データがキャプチャーされる、６００で一般に示されるシーンを示す。画像キャプチャーデバイス６０２からの距離６０４を増加する軸は、シーン６００の前景又は前景部分６０６から、シーン６００の背景又は背景部分６０８までおよぶ。該シーンは、正方形６１２、円形６１４及び三角形６１６の３つの物体を含む。図７に示されるように、物体６１２,６１４及び６１６の各々が、物体の各々に焦点が合っている画像データ・セットにおいてキャプチャーされるならば、画像データ・セットは、例えば画像７１０のようなビジュアル表現を与えるであろう。画像７１０において、正方形７１２は、円形７１４の表示に部分的にオーバーラップし、次に、円形７１４は、三角形７１６の表示に部分的にオーバーラップする。単純にするために、図面に含まれる以降の画像において、物体の名称は、物体のビュー又は表示を示すために使用される。それゆえ、例えば、正方形７１２のビュー又は表示は、正方形７１２と呼ばれる。
【００４８】
図８は、エッジ検出及び奥行きデータ判定を実行するためにサンプリングされる図７の画像７１０からの画像データの部分の特定の具体例である。画像データ８００の部分は、選択されたポイント８２０の周囲でサンプリングされるポイント８１０の範囲を示すために拡大される。前述のように、３×３カーネルを使用して処理されるポイントの３×３の範囲は、ポイント８１０の範囲の中の輝度値に基づいて、信頼できるエッジ検出を実行するために使用されても良い。それゆえ、選択されたポイント８２０について、適切な範囲は、選択されたポイント８２０の下の行８３０、選択されたポイント８３０の行８４０、選択されたポイント８２０の上の行８５０、選択されたポイント８２０の左の列８６０、選択されたポイント８２０を含む列８７０、及び、選択されたポイント８２０の右の列８８０から収集されたポイントからなる。あるいは、より大きな範囲のポイント（例えば５×５の範囲のポイント）が、使用されることができ、また、５×５カーネルを使用して処理されることができる。
【００４９】
ポイントの範囲のためのデータは、それゆえ、画像データの部分（例えば画像データの第１の部分８９０及び画像データの第２の部分８９２）について収集される。第１の部分８９０は、画像データの一部の前景を含んでも良く、第２の部分８９２は、画像データの背景又はシーン中の任意の他のポイントにおける画像データの部分を含んでも良い。前述のように、画像データの部分８９０及び８９２を処理することによって（例えば画像データの部分８９０及び８９２の各々に対してカーネル８９４を適用することによって）、画像データの部分８９０及び８９２は、エッジの不存在又はエッジの存在を示すとして分類されるであろう。例えば、正方形のエッジを含む画像データの第１の部分８９０について、エッジの存在が検出されても良い。他方、シーン中にいかなる物体も含まない画像データの第２の部分８９２についてに、いかなるエッジも検出されないであろう。エッジが検出される画像データの部分について、エッジは、それから、ハード・エッジ又はソフト・エッジと分類されても良い。
【００５０】
図９は、複数の物体を含む単一のシーンについて一般に９００で示される一連の異なる画像データ・セットを示す。一連の画像データ・セット９００は、本開示の実施態様が奥行きデータを生成するために画像データ中のハード・エッジ及びソフト・エッジの検出をどうように使用するかを示す例として使用される。一連の画像データ・セット９００は、画像キャプチャー装置６０２により様々な焦点距離でキャプチャーされる図６のシーン６００に対応する。
【００５１】
第１の画像９１０は、第１の近い焦点距離（例えばマクロ・フォーカス距離）で物体に焦点が合っている画像キャプチャー装置で記録される画像である。第１の画像９１０において、第１の画像の前景中の正方形９１２は、視覚的に、正方形９１２が第１の焦点距離で焦点が合っていることをビジュアルに示すためにソリッド・アウトラインを有するものとして示される。正方形９１２の後ろには、前景中の正方形９１２により部分的にブロックされた円形９１４がある。円形９１４は、該円形９１４が第１の焦点距離で焦点が合っていないことをビジュアルに示すためにシングルドット・アウトラインで示される。円形の後ろには、三角形９１６があり、該三角形９１６の前に現れている円形９１４により部分的にブロックされている。三角形９１６は、該三角形９１６が第１の焦点距離で円形９１４に比べて更に焦点がずれていることをビジュアルに示すためにダブルドット・アウトラインで示される。
【００５２】
第２の画像９２０は、第１の焦点距離に比べてより大きい第２の焦点距離で記録される画像である。第２の画像９２０は、円形９２４が位置する画像の中心に焦点が合っている。円形９２４は、該円形９２４が第２の焦点距離で焦点が合っていることを示すためにソリッド・アウトラインを有するものとして示される。前景において、正方形９２２は、該正方形９２２が第２の焦点距離で焦点が合っていないことをビジュアルに示すためにダッシュ・アウトラインで示される。三角形９２６はまた、該三角形９２６が第２の焦点距離で再度焦点がずれているが、第１の画像９１０よりはそうでないことを示すためにダッシュ・アウトラインで示される。
【００５３】
第３の画像９３０は、画像が無限で又は無限に向って焦点が合っている第３の焦点距離で記録される画像であり、焦点に三角形９３６を持ってくる。三角形９３６は、該三角形９３６が第３の焦点距離で第３の画像９３０中で焦点が合っていることを示すためにソリッド・アウトラインを有するものとして示される。前景において、正方形９３２は、該正方形９３２が第２の焦点距離でより遠く焦点がずれていることをビジュアルに示すためにダブルドット・アウトラインで示される。円形９３４は、該円形９３４がさらに第３の焦点距離で焦点がずれているが、正方形９３２に比べてより焦点が合っていることを示すためにシングルドット・アウトラインで示される。
【００５４】
図１０は、図９の画像データ・セット９００に対応する一般に１０００で示される一連のエッジ表示を表す。エッジ表示１０００において、ハード・エッジは、ソリッド・アウトラインで示され、ソフト・エッジは、ダッシュ・アウトラインで表され、、識別できるエッジが検出されないところでは、いかなるアウトラインも示されない。
【００５５】
図９の第１の画像９１０の第１のエッジ表示１０１０において、ソリッド・アウトラインによる正方形１０１２は、第１の画像の正方形９１２の焦点が合っているエッジがハード・エッジとして識別されることを示す第１のエッジ代表の前景１０１０中に示される。円形１０１４は、図９の第１の画像９１０の円形９１４は焦点がずれているが、そのエッジは第１の焦点距離でソフト・エッジを示すものとしてさらに識別できることを示すダッシュ・アウトラインで示される。図９の第１の画像９１０の三角形９１６の表示は、第１のエッジ代表１０１０に含まれない。それは、その画像が検出されるエッジのためには十分に焦点が合っていなかったからである。
【００５６】
第２の焦点距離の第２のエッジ代表１０２０において、ダッシュ・アウトラインによる正方形１０２２は、第２の焦点距離でソフト・エッジを有する図９の第２の画像９２０中の焦点がずれた正方形９２２の分類を示すために示される。円形１０２４は、図９の第２の画像９２０の焦点が合っている円形９２４のエッジが第２の焦点距離でハード・エッジとして分類されることを示すためにソリッド・アウトラインで示される。三角形１０２４は、図９の第２の画像９２０の焦点がずれた三角形９２４のエッジが第２の焦点距離でソフト・エッジとして分類されることを示すためにダッシュ・アウトラインで示される。
【００５７】
第３の焦点距離の第３のエッジ代表１０３０において、図９の第１の画像９１０及び第２の画像９２０の正方形９１２及び９２２の表示はそれぞれ含まれない。それは、正方形は、そのエッジが第３の画像９３０中のソフト・エッジとしてさえ分類されるにはあまりに焦点がずれていたからである。円形１０３４は、図９の第３の画像９３０中の円形９３４の焦点がずれたエッジがソフト・エッジと分類されたことを示すために、ダッシュ・エッジで示される。最後に、三角形１０３６は、図９の第３の画像９３０の三角形９３６のエッジが第３のエッジ表示１０３０の焦点距離のハード・エッジと分類されることを示すために、ソリッド・アウトラインを有する。
【００５８】
図９の画像データ・セット９００から得られる図１０のエッジ表示１０００を使用して、奥行きデータ（例えば奥行きマップ）は、画像データ・セット９００中に表されるシーン中の物体について生成されても良い。本開示の一つの実施態様では、奥行きマップの生成は、最も近い焦点位置で撮られる画像のエッジ解析から開始し、そして、そのエッジ分類を判定するために、画像中の各々のポイントをチェックする。各々のポイントに関する分類は、記憶される。プロセスは、それから、ポイントのエッジ分類が変更したかどうか判定するために、次の最も近い焦点位置で、次の画像中の各々のポイントを評価する。より詳しくは、ポイントの各々について、該ポイントが焦点位置のいずれかでハード・エッジとして分類される場合を判定する。ポイントの各々がハード・エッジに関連する焦点位置は、奥行きデータ中のポイントに適切に割り当てられるポイントの奥行きとして識別される。
【００５９】
例えば、本開示の一つの実施態様において、奥行きマップを生成するために以下のアルゴリズムが使用される。  
出力画像中のあらゆる画素について{  
（レンス゛がマクロモート゛にあるときに撮られた（ここで、レンス゛に近い物体に焦点が合わされるであろう））第１の画像中の画素位置はソフトかハート゛か非エッシ゛か見る。これをprev_stateとして記憶する。  
すべての残りの画素ｉ（１からｎ−１まで）について, (マクロから無限への順序で), do {  
画素がハート゛エッシ゛かソフトエッシ゛かいずれでもないか見る。これをcurr_stateとして記憶する。
【００６０】
prev_stateはハート゛であったが、curr_stateはソフトかいずれでもないかどうか見る。
【００６１】
そうであれば、フレーム番号を指す値（例えば距離）とともに出力画素をマークする  
そうでなければ, prev_state をステートにセットし、次の画像について繰り返す  
}  
}  
（  For every pixel in output image {  
See if that pixel location in the first image (taken when lens is in macro mode, where objects closes to lens would be in focus) is on soft, hard, or non-edge. Store this as prev_state.  
For all remaining pictures i from 1 to n-1, (in order of macro to infinity), do {  
see if pixel is on a hard edge, soft edge, or neither. Store this is as curr_state
see if prev_state was hard, but curr_state is either soft or neither.  
if so, then mark output pixel with value indicative for frame number, i.e. distance  
if not, set prev_state to state and repeat for next image.  
}  
}                                                                   ）
図１１は、図９の画像データ・セット９００及び図１０のエッジ表示１０００から得られる奥行きデータの論理表現１１００を使用して作成される奥行きマップ１１５０の特定の実施態様を表す。奥行きデータ１１００の論理表現は、ハード・エッジとして識別されている物体のエッジにより示されるように、物体の各々に焦点が合っていた焦点距離を示す。各々の物体が焦点に入った焦点位置は、その奥行きとして各々の物体に関連する。具体的には、正方形１１１２のエッジは、奥行き又は焦点距離１（１１２２）でハード・エッジと分類された。同様に、円形１１１４のエッジは、奥行き又は焦点距離２（１１２４）でハード・エッジと分類され、三角形１１１６のエッジは、奥行き又は焦点距離３（１１２６）でハード・エッジと分類された。
【００６２】
このように、奥行きマップ１１５０において、ハード・エッジが識別されたポイントは、ハード・エッジが識別された焦点距離と等しい奥行きを割り当てられる。正方形１１５２のエッジのポイントは、それゆえ、“１”の奥行きを割り当てられる。円形１１５４のエッジのポイントは、“２”の奥行きを割り当てられる。三角形１１５６のエッジのポイントは、それゆえ、“３”の奥行きを割り当てられる。例えばポイント１１５８のようなハード・エッジが識別されなかったポイントは、０又は何らかの他の無効な（null）奥行き値の奥行きを割り当てられる。このように、奥行きマップ１１５０は、図６のシーン６００の図９の画像９１０,９２０及び９３０に対応する画像データに、該シーン６００の物体６１２,６１４及び６１６の各々の相対的な距離の数値表示（numerical indication）で関連付けられる。数値表示は、画像キャプチャー装置６０２からの物体６１２,６１４及び６１６の各々の相対的な距離を示す。奥行きマップ１１５０はまた、エッジが検出されなかった画像データの部分に、無効な奥行き値を関連付ける。あるいは、奥行きマップ１１５０において、各々の物体は、その物体が見失われる（すなわち、ハード・エッジからソフト・エッジまで、又は、ソフト・エッジからエッジがなくなるまで、移行した）焦点距離に対応する奥行きを割り当てられても良い。
【００６３】
図１２は、最も遠い焦点位置１２０４を通して図６の画像キャプチャー装置６０２の近い焦点位置の斜視図（perspective）を表す近いポイント１２０２からのエッジ移行を表すために、分類された図６のシーン６００中の物体６１２，６２４及び６１６のエッジを表す図１０のエッジ表示１０１０，１０２０及び１０３０の斜視図である。分類テーブル１２０８は、第１のフレーム１２１０、第２のフレーム１２２０及び第３のフレーム１２３０を含む複数のフレームの各々において、正方形６１２、円形６１４及び三角形６１６を含むシーン６００中の物体の各々に、エッジ分類を関連付ける。更に下で説明されるように、エッジ分類及びエッジ分類間の移行は、物体６１２，６１４及び６１６のうちのいずれが、図６のシーン６００のフライスルー・ビューに示されるかについて判定するために使用されても良い。
【００６４】
エッジ分類テーブル１２０８において、第１のフレーム１２１０の正方形１２１２のエッジは、ハード・エッジとして識別され（１２１３）、円形１２１４のエッジは、ソフト・エッジとして識別され（１２１５）、トライアングル１２１６のエッジは、検出されず、それゆえ、エッジを示さないと分類される（１２１７）。第２のフレーム１２２０については、正方形１２２２のエッジは、ソフト・エッジとして識別され（１２２３）、円形１２２４のエッジは、ハード・エッジとして識別され（１２２５）、三角形１２２６のエッジは、ソフト・エッジと分類される（１２２７）。第３のフレーム１２３０については、正方形は現れず、それゆえ、正方形はエッジを示さなものとして識別され（１２３３）、円形１２３４のエッジは、ソフト・エッジとして識別され（１２３５）、トライアングル１２３６のエッジは、ハード・エッジと分類される（１２３７）。
【００６５】
本開示の一つの実施態様において、ソフト・エッジとしてか又はハード・エッジとしてかどうかにかかわらず、物体のエッジが最初に現れるとき、物体がフライスルー・ビューのフレーム中に示されるであろう。次のフレームへの移動に応じて、現在のフレームから次のより遠い焦点位置を表すフレームへの移動か又は現在のフレームから次のより近い焦点位置を表すフレームへの移動かどうかにかかわらず、同じエッジ分類を有する物体又はソフト・エッジ分類からハード・エッジ分類への移行が、再度、示されるであろう。他方、特定の焦点位置についてエッジが検出されない、又は、エッジ分類がハード・エッジからソフト・エッジへ移行する物体は、示されない。それゆえ、現在の焦点位置のフレームから次のより遠い焦点位置へ移動するフライスルー・ビューにおいて、物体のエッジがハード・エッジからソフト・エッジへ移行するとき、物体は、ビューアーがシーンに“飛び込んで（flies into）”、物体がビューアーの後に通過するであろうと仮定される。それに応じて、現在の焦点位置のフレームから次のより近い焦点位置へ移動するフライスルー・ビューにおいて、物体のエッジがハード・エッジからソフト・エッジへ移行するとき、ビューアーがシーンから“飛び出して（flies out）”、物体が背景の中へ通過し、物体がもはやインタレスト（of interest）ではなくなると仮定される。
【００６６】
図１３は、画像キャプチャー装置の参照のポイント１３０２に最も近い、近い又は前景焦点位置を表す第１のフレーム１３１０から、光学無限（optical）１３０４へ向かう、遠い又は背景焦点位置を表す第３のフレーム１３３０へ移動する、図６のシーン６００の第１のフライスルー・ビュー１３００を示す。図１３はまた、光学無限１３５４へ向かう、遠い又は背景焦点位置を表す第３のフレーム１３８０から、最も近い又は前景焦点位置１３５２を表す第３のフレーム１３６０へ移動する第２のフライスルー・ビュー１３５０を表す。ユーザが図６のシーン６００に“飛び込んでいる（flying into）”第１のフライスルー・ビュー１３００において、第１のフレーム１３２０は、正方形１３１２及び円形１３１４のビューを示す。図１２を参照して前に述べたように、最初に、正方形１２１２及び円形１２１４両方のエッジが第１のフレーム１２１０中に現れ、それゆえ、正方形１３１２及び円形１３１４が両方とも第１のフレーム１３２０中に現れる。三角形は図１２中の第１のフレーム１２１０について検出されたエッジ１２１７を有しないので、三角形の画像は第１のフレーム１３１０中に現れない。
【００６７】
第２のフレーム１３３０に移動して、円形１３２４及び三角形１３２６のビューが提示される。図１２を参照して、円形１２２４のエッジ分類は、第１の焦点位置と第２の焦点位置との間で、ソフト１２１５からハード１２２５へ変化し、円形１２２４は、より焦点が合っており、それゆえ、第２のフレーム１２２０の第２の焦点位置において、より近いことを示している。それゆえ、円形１３２４は、第２のビュー１３２０に含まれる。図１２のエッジ分類表を参照して、最初に、三角形１２２６のエッジが第２のフレーム１２２０により表される第２の焦点位置で検出されるので、三角形１３２６はまた、第２のビュー１３２０中に現れる。図１２のエッジ分類表１２０８で示されるように、正方形のエッジ分類がハード１２１３からソフト１２２３へ変化し、正方形は、焦点がはずれており、それゆえ、第２のフレーム１３２０のフライスルー・ビューにおけるビューアーの後ろに移動するので、正方形の画像は、第２のフレーム１３２０中のように現れない。しかし、例えば、正方形がさらに第２のフレーム１２２０中でハード・エッジを有するものとして分類され、それゆえ、正方形はさらに焦点が合っており、それゆえ、第２のフレーム１２２０のビューアーの後に移動しないことを示すならば、正方形は、再度、示されるであろう。
【００６８】
第３のフレーム１３４０に移動して、三角形１３３６のビューのみが示される。図１２を参照して、円形１２３６のエッジ分類は、第２の焦点位置での第２のフレーム１２２０と第３の焦点位置での第３のフレーム１２３０との間で、ソフト１２２７からハード１２３７へ変化し、三角形１２３６は、第３のビュー１２３０中に表される第３の焦点位置において、より近く、且つ、より焦点が合っていることを示す。それゆえ、三角形１３３６は、第３のビュー１３３０に含まれる。対照的に、図１２のエッジ分類表１２０８は、円形１２２４のエッジ分類は、第２のフレーム１３２０と第３のフレーム１３３０との間で、ハード１２２５からソフト１２３５へ変化することを示し、円形が第３のフレーム１３３０のフライスルー・ビューにおいて、ビューアーから離れて、ビューアーの後に移動していることを示す。
【００６９】
ビューアーが図６のシーン６００に“飛び込む（flies into）”ものとして、ビュー１３１０，１３２０及び１３３０をビューアーに提示する際に、物体を含むビューが、検出されるべきそれらのエッジに実質的に焦点が合っている状態で、現れるときに、又は、それらのエッジがよりシャープになり且つハード・エッジとして分類されるときに、ビューアーは、物体を含むビューを提示されるであろう。最も遠い又は背景焦点位置１３０４の方へ移動する連続したビューが、ビューアーに提示されるについて、物体が焦点からはずれるように、それゆえ、さらにビューアーから、移動していることを示唆するエッジ分類を有する物体は、ビューから取り除かれる。それゆえ、ビューアーは、まず最初に、焦点が合っている又は少なくとも識別できるエッジを有する物体のビューが提示され、それから、フライスルーが進むにつれて、ちょうどあたかも、選択的に包含的なビューにより提示されるシーンをビューアーが“フライスルー（flying through）”しているように、焦点からはずれるように移動する物体は、ビューから取り除かれ、そして、焦点又はよりシャープな焦点の中に入ってくる物体は、提示される。
【００７０】
図１３のフライスルー・ビュー１３５０は、最も遠い又は背景焦点位置１３５４から最も近い又は前景焦点位置１３５２へ変化する斜視図（perspective）を示す。同一の規則は、フライスルー・ビュー１３５０において適用される：物体のエッジが最初に検出され又はソフト・エッジ分類からハード・エッジ分類への移行であるとき、物体のビューは提示される。第３のビュー１３８０において、三角形１３８６及び円形１３８４は、提示される。最も遠い焦点位置を表す第３のビュー１３８０から開始して、図１２のエッジ分類表１２０８で示されるように、三角形１３８６及び円１３８４の両方は、それぞれ、ハード・エッジ又はソフト・エッジとして最初に分類される。図１２の第３のフレーム１２３０において正方形に関するエッジ１２３３は検出できないと判定されたので、正方形の画像は現れない。
【００７１】
次のより近い焦点位置を表す第２のフレーム１３７０に移動して、円形１３７４及び正方形１３７２の画像が現れる。図１２のエッジ分類表１２０８に従って、円形のエッジは、第３のビュー１２３０においてソフト・エッジ１２３５として分類されることから、第２のビュー１２２０においてハード・エッジ１２２５として分類されるへ移行したので、円形１３７４は、示される。正方形が第２のビュー１２２０においてエッジ１２２３を有するものとして分類されるので、正方形１３７２は現れる。三角形のエッジは、ハード・エッジ１２３７として分類されることから、ソフト・エッジ１２２７へと移行するので、三角形の画像は、第２のビュー１２２０において現れない。前述のように、物体のエッジがハード・エッジからソフト・エッジへ移行するにつれて、物体は、焦点からはずれるように移動していると考えられ、ビューから取り除かれることができる。
【００７２】
第１のフレーム１３６０では、正方形１３６２のみが現れる。図１２のエッジ分類表１２０８により示されるように、正方形のエッジは、ソフト・エッジ１２２３として分類されることからハード・エッジ１２１３として分類されることへ移行し、正方形１２１２が第１のビュー１２１０の焦点距離におけるよりシャープな焦点に入っていることを示す。他方、図１２のエッジ分類表１２０８において、円形は第２のフレーム１２２０でハード・エッジ１２２５を示すことから第１のフレーム１２１０でソフト・エッジ１２１５を示すことへ移行すると分類されたので、円形の画像は、第１のフレーム１３６０中に現れない。
【００７３】
ビューアーが図６のシーン６００に“飛び込む（flies into）”ものとして、ビュー１３８０，１３７０及び１３６０をビューアーに提示する際に、物体を含むビューが、検出されるべきそれらのエッジに実質的に焦点が合っている状態で、現れるときに、又は、それらのエッジがよりシャープになり且つハード・エッジとして分類されるときに、ビューアーは、物体を含むビューを提示されるであろう。最も近い又は前景焦点位置１３５２の方へ移動する連続したビューが、ビューアーに提示されるについて、物体が焦点からはずれるように、それゆえ、さらにビューアーから、移動していることをそのエッジ分類が示唆する物体は、ビューから取り除かれる。それゆえ、ビューアーは、まず最初に、遠い焦点位置において焦点が合っている又は少なくとも識別できるエッジを有する物体のビューが提示される。れから、フライスルーが進むにつれて、ちょうどあたかも、選択的に包含的なビューにより提示されるシーンをビューアーが“フライバックスルー（flying backward through）”しているように、焦点からはずれるように移動する物体は、ビューから取り除かれ、そして、焦点又はよりシャープな焦点の中に入ってくる物体は、提示される。
【００７４】
フライスルー・ビューを可能にするためにこのプロセスを使用することに加えて、中間の距離における物体の画像だけでなく、前景画像又は背景画像の選択的なキャプチャーを可能にするために、同一のプロセスが使用されることができる。例えば、モバイル電話のユーザがビデオ電話コールをすることを望んだが、プライバシー又は選好のために背景を含むことを望まないならば、より遠くの画像セットにおいて焦点に入るだけである物体のポイントは抑制されることができる。あるいは、人が前景物体をキャプチャーすることなく風景の眺望（vista of a landscape）をキャプチャーしたいならば、近い画像セットにおいて焦点が合っている
ポイントは抑制されることができる。
【００７５】
図１４は、本開示の実施態様に従ってエッジ検出を使用して画像データを受信及び処理するための方法のフローチャート１４００である。１４０２において、第１の距離に対応する第１の焦点位置でキャプチャーされるシーンについてキャプチャーされた第１の画像データが受信される。例えば、第１の距離は、画像キャプチャー装置の最も近い焦点距離（例えばマクロ・フォーカス距離）を表しても良い。１４０４において、第２の距離に対応する第２の焦点位置でキャプチャーされるシーンについてキャプチャーされた第２の画像データが受信される。第２の距離は、第１の距離より大きい。第２の距離は、画像キャプチャー装置の遠い焦点（例えば、光学無限、又は、該画像キャプチャー装置の最も近い焦点距離を越えた何らかの他の距離）を含んでも良い。
【００７６】
１４０６において、エッジ検出プロセスは、エッジの存在又は不存在を検出するために、第１の画像データの第１の部分について第１のエッジ・データを生成するために実行される。１４０８において、エッジ検出プロセスは、第２の画像データの第２の部分に対応するポイントについてエッジ・データを生成するために実行される。１４１０において、エッジの存在又は不存在が検出されたかどうかが判定される。エッジが検出されたならば、１４１２において、エッジはハード・エッジ又はソフト・エッジとして識別され、そして、プロセスは１４１４へ進む。他方、いかなるエッジも検出されなかったことが判定されるならば、プロセスは１４１４へ進む。１４１４において、エッジの存在又は不存在に基づいて、奥行きデータが生成され、各々のエッジは、ハード・エッジ又はソフト・エッジとして識別される。奥行きデータは、第１の画像データ及び第２の画像データについて生成される。生成された奥行きデータは、図１１を参照して説明された奥行きマップを含んでも良いし、又は、例えば、前景部、背景部又は画像データの他の態様の選択的な提示が、画像データの部分の抑制を許すこと、フライスルー・モードをサポートすること、又は、他のアプリケーションをサポートすることを可能にし得る奥行きデータの任意の他の表示（manifestation）を含んでも良い。
【００７７】
図１５は、シーンの複数の画像データ・セットに関連する奥行きデータを使用して画像データを選択的に提示するためプロセスのフローチャート１５００である。１５０２において、該シーンの複数の画像データ・セットに関連する奥行きデータが受信される。１５０４において、画像データ・セットからの画像データは、キャプチャー・ポイントからの指定された範囲内の画像データの部分を識別する奥行きデータに基づいて、選択的に提示される。その結果、例えば、シーンの前景にあると判定される画像データが強調されても良いし、画像の背景にあると判定される画像データが抑制されても良いし、又は、それらのその組み合せが行われても良い。同様に、シーンの前景、背景又は他の部分にあると判定される画像データは、該シーンがキャプチャー・ポイントから離れるように変化するのをユーザがビューできるようにするフライスルー・モードにおいて、シーケンシャルに又は選択的に表示されることができる。
【００７８】
図１６は、エッジ検出器及び奥行きデータ生成器１６６４を含むシステム１６００の特定の実施態様のブロック図である。システム１６００は、ポータブル電子デバイスにおいて実装されても良く、また、メモリ１６３２に接続される信号プロセッサ１６１０（例えばデジタルシグナルプロセッサ（ＤＳＰ））を含む。エッジ検出器及び奥行きデータ生成器１６６４は、信号プロセッサ１６１０に含まれる。説明のための例において、エッジ検出器及び奥行きデータ生成器１６６４は、図１〜１３に従って、図１４及び１５に従って又はそれらの任意の組み合わせに従って、説明されるように、オペレートする。
【００７９】
カメラ・インタフェース１６６８は、信号プロセッサ１６１０に接続され、その上、カメラ（例えばビデオ・カメラ１６７０）に接続される。カメラ・インタフェース１３６８は、単一の画像キャプチャー命令（例えば、ユーザがシャッター制御を“クリックすること（clicking）”又は他の画像キャプチャー入力）に応答して、自動的に又はＤＳＰ１６１０により生成される信号に応答して、シーンの複数の画像を撮るように構成されても良い。ディスプレイ・コントローラ１６２６は、信号プロセッサ１６１０に接続され、また、表示装置１６２８に接続される。コーダ／デコーダ（ＣＯＤＥＣ）１６３４はまた、信号プロセッサ１６１０に接続されることができる。スピーカ１６３６及びマイク１６３８は、ＣＯＤＥＣ１６３４に接続されることができる。無線インタフェース１６４０は、信号プロセッサ１６１０に接続されることができ、また、無線アンテナ１６４２に接続されることができる。
【００８０】
信号プロセッサ１６１０は、前述のように、近隣のデータ・ポイント間の輝度値の変化に基づいて、画像データにおいてエッジがを検出するように構成される。信号プロセッサ１６１０は、前述のように、画像データ・セットにより得られた奥行きデータ１６４６（例えば奥行きマップ又は他の形の奥行きデータ）を生成するように構成される。説明のための非制限的な例として、画像データは、ビデオ・カメラ１６７０からのビデオ・データ、アンテナ１６４２を介した無線伝送からの、又は、例えばユニバーサルシステムバス（ＵＳＢ）インタフェース（図示せず）を介して接続される外部デバイスのような他のソースからの画像データを含んでも良い。
【００８１】
ディスプレイ・コントローラ１６２６は、処理された画像データを受信し、該処理された画像データを表示装置１６２８に提供するように構成される。さらに、メモリ１６３２は、該処理された画像データを受信し、記憶するように構成されても良く、また、無線インタフェース１６４０は、アンテナ１６４２を介した伝送のための該処理された画像データを受信するように構成されても良い。
【００８２】
特定の実施態様において、信号プロセッサ１６１０、ディスプレイ・コントローラ１６２６、メモリ１６３２、ＣＯＤＥＣ１６３４、無線インタフェース１６４０及びカメラ・インタフェース１６６８は、システム・イン・パッケージ又はシステム・オン・チップでデバイス１６２２に含まれる。特定の実施態様において、入力デバイス１６３０及びパワーサプライ１６４４は、該システムオンチップ・デバイス１６２２に接続される。さらに、特定の実施態様において、図１６中に示されるように、表示装置１６２８、入力デバイス１６３０、スピーカ１６３６、マイク１６３８、無線アンテナ１６４２、ビデオ・カメラ１６７０及びパワーサプライ１６４４は、該システムオンチップ・デバイス１６２２の外部に存在する。しかし、表示装置１６２８、入力デバイス１６３０、スピーカ１６３６、マイク１６３８、無線アンテナ１６４２、ビデオ・カメラ１６７０及びパワーサプライ１６４４の各々は、該システムオンチップ・デバイス１６２２のコンポーネント（例えばインタフェース又はコントローラ）に接続されることができる。
【００８３】
図１７は、エッジ検出器及び奥行きデータ発生器１７６４を含むシステム１７００の特定の実施態様のブロック図である。システム１７００は、レンズ１７６８に接続され、そのうえ、ポータブル・マルチメディア・デバイスのアプリケーション・プロセッサ・チップセット１７７０に接続されたた画像センサ装置１７２２を含む。一つの実施態様において、画像センサ装置１７２２は、システム１７００を使用してキャプチャーされる各々のシーンについて変化する焦点距離で複数の画像データ・セットをキャプチャーするために、アプリケーション・プロセッサ・チップセット１７７０から、入力信号を受信する。アプリケーション・プロセッサ・チップセット１７７０に含まれるエッジ検出器及び奥行きデータ生成器１７６４は、複数の画像データ・セットを受信し、前述のように、エッジ検出及び奥行きデータ生成を実行する。あるいは、エッジ検出器及び奥行きデータ発生器１７６４は、画像データをキャプチャーする命令が画像センサ装置により受信されるときに、複数の画像データ・セットのキャプチャー及びエッジ検出／奥行きデータ生成が画像センサ装置１７２２により実行され得るように、画像センサ装置１７２２に含まれ得る又は画像センサ装置１７２２とは独立して配置されたプロセッサ１７１０内に組み込まれることができる。さらにあるいは、さもなければ、エッジ検出器及び奥行きデータ発生器１７６４は、アプリケーション・プロセッサ・チップセット１７７０、画像センサ装置１７２２又はそれらの組合せと通信するシステム１７００内にさもなければ組み込まれても良い。
【００８４】
アプリケーション・プロセッサ・チップセット１７７０とエッジ検出器及び奥行きデータ発生器１７６４は、画像センサ装置１７２２から画像データを受信する。画像センサ装置１７２２は、レンズ１７６８からビジュアル画像を受信すること及び画像アレイ１７６６においてデータを受信することによって、画像データをキャプチャーする。画像アレイ１７６６における受信データは、該受信データを、例えば画像アレイ１７６６の出力を受信するように接続されたアナログ・デジタル変換器１７２６を通して、パスすることによって、デジタル画像データを作成するように処理される。もし含まれるならば、画像センサ装置１７２２のプロセッサ１７１０は、更に、該画像データを、例えば不良のクラスター、最適でない色又は照明の状態、又は他の要因について修正するために、画像データを処理する。その結果として生じる画像データは、システム１７００によってキャプチャーされる画像データから奥行きデータ（例えば奥行きマップ）を生成するために、エッジ検出器及び奥行きデータ生成器１７６４により受信される。
【００８５】
本明細書で開示された実施形態に関連して説明される様々な実例となる論理ブロック、構成（configurations）、モジュール、回路及びアルゴリズム・ステップが、電子ハードウェア、コンピュータ・ソフトウェア又は両方の組み合せとして実装されても良いことは、当業者は更に認識するであろう。このハードウェア及びソフトウェアの互換性をめいりょうに説明するために、各種の説明的なコンポーネント、ブロック、モジュール、構成、回路、及びステップが、一般に、それらの機能性の観点で、前述された。当該の機能性は、システム全体に課される特定のアプリケーション及びデザインの制約に応じて、ハードウェア又はソフトウェアとして実装される。当業者は、説明された機能性を、各々のアプリケーションのためのさまざまな方法で実装しても良いが、当該の実施形態の決定は、本開示の範囲からの逸脱をもたらすものとして説明されるべきではない。
【００８６】
本明細書で開示された実施形態に関連して説明された方法又はアルゴリズムのステップは、ハードウェアに直接具体化されても良いし、プロセッサにより実行されるソフトウェア・モジュールに具体化されても良いし、又は、それら二つの組み合わせに具体化されても良い。ソフトウェア・モジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）又は当該技術において知られているその他の形の記憶媒体に存在しても良い。例示的な記憶媒体は、プロセッサがその記憶媒体から情報を読み込み、また、それへ情報を書き込むことができるように、そのプロセッサに接続される。代わりに、記憶媒体は、プロセッサに一体化されていても良い。プロセッサ及び記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）において存在してもよい。ＡＳＩＣは、コンピュータ・デバイス又はユーザ端末に存在しても良い。代わりに、プロセッサ及び記憶媒体は、コンピュータ・デバイス又はユーザ端末の個別のコンポーネントとして存在しても良い。
【００８７】
開示された実施形態の前の説明は、当業者が本開示された実施形態を製造又は使用できるようにするために提供される。これら実施形態への種々の変形は、当業者には容易に明白になるであろう。また、本明細書で定義された原理は、本開示の範囲から逸脱することなく、他の実施形態に適用されても良い。それゆえ、本開示は、本明細書で示された実施形態に限定されることが意図されているのではなく、以下の特許請求の範囲により定義される原理及び新規な特徴に合致する最も広い可能な範囲を与えられることが意図されている。
【図１】
2011530880.tif 000010
【図２】
2011530880.tif 000011
【図３】
2011530880.tif 000012
【図４】
2011530880.tif 000013
【図５】
2011530880.tif 000014
【図６】
2011530880.tif 000015
【図７】
2011530880.tif 000016
【図８】
2011530880.tif 000017
【図９】
2011530880.tif 000018
【図１０】
2011530880.tif 000019
【図１１】
2011530880.tif 000020
【図１２】
2011530880.tif 000021
【図１３】
2011530880.tif 000022
【図１４】
2011530880.tif 000023
【図１５】
2011530880.tif 000024
【図１６】
2011530880.tif 000025
【図１７】
2011530880.tif 000026
【手続補正書】
【提出日】平成23年4月27日(2011.4.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像キャプチャー装置からの第１の距離に関連する第１の焦点位置で、該画像キャプチャー装置により記憶されるシーンに対応する第１の画像データを受信することと、
前記画像キャプチャー装置からの第２の距離（該第２の距離は前記第１の距離より長い）に関連する第２の焦点位置で前記シーンに対応する第２の画像データ（該第１の画像データ及び該第２の画像データは、複数の輝度値を含む）を受信することと、
エッジ検出フィルタの単一のパスを適用することによって、前記第１の画像データの少なくとも第１の部分に対応する第１のエッジ・データを生成する及び前記第２の画像データの少なくとも第２の部分に対応する第２のエッジ・データを生成するエッジ検出プロセス（該エッジ検出プロセスは、該第１の画像データの該第１の部分及び該第２の画像データの該第２の部分の各々の位置におけるエッジの存在又は不存在を検出し、各々の検出されたエッジは、二つのエッジ状態（ハード・エッジ及びソフト・エッジ）のうちの一つとして識別される）を実行することと、
前記第１のエッジ・データ及び前記第２のエッジ・データに基づいて、奥行きデータを生成することを含む方法。
【請求項２】
前記第１の画像データは、より遠くの物体に比べて、より近くの物体のよりシャープな焦点を含み、
前記第２の画像データは、前記より近くの物体に比べて、前記より遠くの物体のよりシャープな焦点を含む請求項１の方法。
【請求項３】
前記第１又は第２の画像データの選択されたポイントの周囲のポイントの範囲にわたる緩やかな輝度変化は、ソフト・エッジ状態を示し、該ポイントの範囲にわたるシャープな輝度変化は、ハード・エッジ状態を示す請求項１の方法。
【請求項４】
前記奥行きデータは、前記第１のエッジ・データにおいて存在しなかったハード・エッジ状態が存在する前記第２の画像データにおける少なくとも一つの位置を識別し、また、前記奥行きデータは、前記第２の焦点位置を、前記第２の画像データにおける前記位置で関連付ける請求項３の方法。
【請求項５】
前記奥行きデータは、奥行きマップを含む請求項４の方法。
【請求項６】
前記第１の焦点位置は、マクロ・フォーカス距離を含む請求項１の方法。
【請求項７】
前記第２の焦点位置は、無限焦点距離を含む請求項６の方法。
【請求項８】
前記マクロ・フォーカス距離と前記無限焦点距離との間の中間の焦点距離においてキャプチャーされる少なくとも一つの更なる画像データ・セットを更に含む請求項７の方法。
【請求項９】
画像データをキャプチャーするための制御信号を受信する入力と、
前記制御信号に応答して、複数の焦点位置においてキャプチャーされる複数の画像データ・セットを生成する画像キャプチャー装置と、
出力画像を提供し、該出力画像における少なくとも一つのポイントのための奥行きデータを、該少なくとも一つのポイントが該出力画像において検出できるエッジを有すると判定される複数の焦点位置のうちの一つに基づいて、提供する出力と、
エッジ検出フィルタの単一のパスを適用することによって、前記出力画像における選択されたポイントが、輝度値の変化に基づいて前記検出できるエッジの存在を示すかどうか判定するように構成されたエッジ検出器とを含む画像処理システム。
【請求項１０】
前記検出できるエッジは、二つのエッジ状態（ハード・エッジ及びソフト・エッジ）のうちの一つを含む請求項９のシステム。
【請求項１１】
前記制御信号は、前記画像キャプチャー装置に、マクロ・フォーカス位置及び無限焦点位置を含む複数の焦点位置における画像データ・セットを生成させるように構成された請求項９のシステム。
【請求項１２】
前記画像キャプチャー装置は、電荷結合素子（ＣＣＤ）画像キャプチャー装置を含む請求項９のシステム。
【請求項１３】
第１の画像データ及び第２の画像データ（該第１の画像データ及び該第２の画像データは単一の画像キャプチャー装置の異なる焦点位置に対応する）を受信する画像データ入力と、
エッジ検出フィルタの単一のパスを適用することによって、前記第１の画像データ及び前記第２の画像データに関してエッジ検出を実行し、前記第１の画像データにおける第１のエッジ状態から前記第２の画像データにおける第２のエッジ状態への変化に基づいて、奥行きデータを生成する奥行きモジュールとを含むシステム。
【請求項１４】
前記第１の画像データ及び前記第２の画像データは、静止画像入力データを含む請求項１３のシステム。
【請求項１５】
前記第１の画像データ及び前記第２の画像データは、ビデオ・カメラから受信される請求項１４のシステム。
【請求項１６】
制御信号（該制御信号は、該画像キャプチャー装置に、第１の焦点位置を使用して前記第１の画像データをキャプチャーさせ、第２の焦点状態を使用して前記第２の画像データをキャプチャーさせる）を画像キャプチャー装置に提供するための画像制御出力を更に含む請求項１３のシステム。
【請求項１７】
前記第２の焦点状態は、選択された物体に焦点が合っている位置に基づいて、第２の焦点位置を選択する請求項１６のシステム。
【請求項１８】
画像キャプチャー装置からビデオ画像データ（該ビデオ画像データは、第１の焦点位置に関連する第１の画像データ及び第２の焦点位置に関連する第２の画像データを含む）を受信するように構成された入力と、
エッジ検出フィルタの単一のパスを、第１の画像データ及び第２の画像データに適用することによって、前記ビデオ画像データの背景部分を判定し、前記第１の画像データの前景部分及び背景部分を識別するための奥行きデータを生成するように構成されたプロセッサと、
ビデオ・データ（該ビデオ・データは、前記第１の画像データの前記背景部分に比べて前記第１の画像データの前記前景部分についてより高い解像度を含む）を提供するように構成された出力とを含むシステム。
【請求項１９】
前記画像キャプチャー装置に、少なくとも３つの異なる焦点距離を使用して画像キャプチャー・オペレーションを実行させるための制御信号を生成することを更に含む請求項１８のシステム。
【請求項２０】
前記奥行きデータが、生成され、
前記出力は、強化された前景解像度を有するリアルタイム無線ビデオ電話通信を提供する画像キャプチャー装置のビデオ画像キャプチャー時間間隔内で前記ビデオ画像データを提供するために無線送信機に接続される請求項１８のシステム。
【請求項２１】
前記奥行きデータは、ハード・エッジ及びソフト・エッジを使用して判定される請求項１８のシステム。
【請求項２２】
前記出力は、近いビューにおける前記前景部分を表示し且つ前記背景部分の遠いビューにおいて前記前景部分を取り除く前記ビデオ画像データのフライスルー・ビューを提供する請求項１８のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
開示された実施形態の前の説明は、当業者が本開示された実施形態を製造又は使用できるようにするために提供される。これら実施形態への種々の変形は、当業者には容易に明白になるであろう。また、本明細書で定義された原理は、本開示の範囲から逸脱することなく、他の実施形態に適用されても良い。それゆえ、本開示は、本明細書で示された実施形態に限定されることが意図されているのではなく、以下の特許請求の範囲により定義される原理及び新規な特徴に合致する最も広い可能な範囲を与えられることが意図されている。 
以下に、本願出願の当初の特許請求の範囲に記載された各請求項に対応する発明を付記する。 
［１］画像キャプチャー装置からの第１の距離に関連する第１の焦点位置で、該画像キャプチャー装置により記憶されるシーンに対応する第１の画像データを受信することと、前記画像キャプチャー装置からの第２の距離（該第２の距離は前記第１の距離より長い）に関連する第２の焦点位置で前記シーンに対応する第２の画像データを受信することと、前記第１の画像データの少なくとも第１の部分に対応する第１のエッジ・データを生成する及び前記第２の画像データの少なくとも第２の部分に対応する第２のエッジ・データを生成するエッジ検出プロセス（該エッジ検出プロセスは、該第１の画像データの該第１の部分及び該第２の画像データの該第２の部分の各々の位置におけるエッジの存在又は不存在を検出し、各々の検出されたエッジは、ハード・エッジ又はソフト・エッジとして識別される）を実行することと、前記第１のエッジ・データ及び前記第２のエッジ・データに基づいて、奥行きデータを生成することを含む方法。 
［２］前記第１の画像データは、より遠くの物体に比べて、より近くの物体のよりシャープな焦点を含み、前記第２の画像データは、前記より近くの物体に比べて、前記より遠くの物体のよりシャープな焦点を含む［１］の方法。 
［３］前記第１の画像データ及び前記第２の画像データは、複数の輝度値を含む［１］の方法。 
［４］前記第１又は第２の画像データの選択されたポイントの周囲のポイントの範囲にわたる緩やかな輝度変化は、ソフト・エッジ状態を示し、該ポイントの範囲にわたるシャープな輝度変化は、ハード・エッジ状態を示す［３］の方法。 
［５］前記奥行きデータは、前記第１のエッジ・データにおいて存在しなかったハード・エッジ状態が存在する前記第２の画像データにおける少なくとも一つの位置を識別し、また、前記奥行きデータは、前記第２の焦点位置を、前記第２の画像データにおける前記位置で関連付ける［４］の方法。 
［６］前記奥行きデータは、奥行きマップを含む［５］の方法。 
［７］前記第１の焦点位置は、マクロ・フォーカス距離を含む［１］の方法。 
［８］前記第２の焦点位置は、無限焦点距離を含む［７］の方法。 
［９］前記マクロ・フォーカス距離と前記無限焦点距離との間の中間の焦点距離においてキャプチャーされる少なくとも一つの更なる画像データ・セットを更に含む［８］の方法。 
［１０］画像データをキャプチャーするための制御信号を受信する入力と、前記制御信号に応答して、複数の焦点位置においてキャプチャーされる複数の画像データ・セットを生成する画像キャプチャー装置と、出力画像を提供し、該出力画像における少なくとも一つのポイントのための奥行きデータを、該少なくとも一つのポイントが該出力画像において検出できるエッジを有すると判定される焦点位置に基づいて、提供する出力とを含む画像処理システム。 
［１１］前記出力画像における選択されたポイントが、輝度値の変化に基づいて前記検出できるエッジの存在を示すかどうか判定するように構成されたエッジ検出器を更に含む［１０］のシステム。 
［１２］前記検出できるエッジは、ハード・エッジとソフト・エッジとのうちの一つを含む［１１］のシステム。 
［１３］前記制御信号は、前記画像キャプチャー装置に、マクロ・フォーカス位置及び無限焦点位置を含む複数の焦点位置における画像データ・セットを生成させるように構成された［１１］のシステム。 
［１４］前記画像キャプチャー装置は、電荷結合素子（ＣＣＤ）画像キャプチャー装置を含む［１０］のシステム。 
［１５］第１の画像データ及び第２の画像データ（該第１の画像データ及び該第２の画像データは単一の画像キャプチャー装置の異なる焦点位置に対応する）を受信する画像データ入力と、前記第１の画像データ及び前記第２の画像データに関してエッジ検出を実行し、前記第１の画像データにおけるエッジの第１のシャープさ及び前記第２の画像データにおける該エッジの第２のシャープさとの間の相違に基づいて、奥行きデータを生成する奥行きモジュールとを含むシステム。 
［１６］前記第１の画像データ及び前記第２の画像データは、静止画像入力データを含む［１５］のシステム。 
［１７］前記第１の画像データ及び前記第２の画像データは、ビデオ・カメラから受信される［１６］のシステム。 
［１８］制御信号（該制御信号は、該画像キャプチャー装置に、第１の焦点位置を使用して前記第１の画像データをキャプチャーさせ、第２の焦点状態を使用して前記第２の画像データをキャプチャーさせる）を画像キャプチャー装置に提供するための画像制御出力を更に含む［１５］のシステム。 
［１９］前記第２の焦点状態は、選択された物体に焦点が合っている位置に基づいて、第２の焦点位置を選択する［１８］のシステム。 
［２０］画像キャプチャー装置からビデオ画像データ（該ビデオ画像データは、第１の焦点位置に関連する第１の画像データ及び第２の焦点位置に関連する第２の画像データを含む）を受信するように構成された入力と、エッジ検出フィルタの単一のパスを、第１の画像データ及び第２の画像データに適用することによって、前記ビデオ画像データの背景部分を判定し、前記第１の画像データの前景部分及び背景部分を識別するための奥行きデータを生成するように構成されたプロセッサと、ビデオ・データ（該ビデオ・データは、前記背景部分に比べて前記前景部分についてより高い解像度を含む）を提供するように構成された出力とを含むシステム。 
［２１］前記画像キャプチャー装置に、少なくとも３つの異なる焦点距離を使用して画像キャプチャー・オペレーションを実行させるための制御信号を生成することを更に含む［２０］のシステム。 
［２２］前記奥行きデータが、生成され、前記出力は、強化された前景解像度を有するリアルタイム無線ビデオ電話通信を提供する画像キャプチャー装置のビデオ画像キャプチャー時間間隔内で前記ビデオ画像データを提供するために無線送信機に接続される［２０］のシステム。 
［２３］前記奥行きデータは、ハード・エッジ及びソフト・エッジを使用して判定される［２０］のシステム。 
［２４］前記出力は、近いビューにおける前記前景部分を表示し且つ前記背景部分の遠いビューにおいて前記前景部分を取り除く前記ビデオ画像データのフライスルー・ビューを提供する［２０］のシステム。
【国際調査報告】
2011530880.tif 000027
2011530880.tif 000028
2011530880.tif 000029
2011530880.tif 000030
2011530880.tif 000031
2011530880.tif 000032