(57)【要約】  シーン内の正確な被写体距離又は相対的な被写体距離を判断するのに、２写真整合曲線情報を使用することができる。この曲線情報に加えて異なるぼけ情報を有する２つの画像を取得することにより、デバイスは、シーン内の被写体の距離情報を判断することが可能になる。距離情報は、後で多くの画像処理アプリケーションに使用することができる奥行きマップを生成する段階を含む画像処理において使用することが可能である。【選択図】図９
2013512626.tif 000002
【特許請求の範囲】
【請求項１】
デバイス上に実施される方法であって、
ａ．シーンの第１の画像を取得する段階と、
ｂ．前記シーンの第２の画像を取得する段階と、
ｃ．前記シーン内の被写体のデバイス対被写体距離を判断するために曲線情報を利用する段階と、
を含むことを特徴とする方法。
【請求項２】
前記曲線情報は、事前計算されることを特徴とする請求項１に記載の方法。
【請求項３】
前記曲線情報を利用する段階は、
ａ．前記第１の画像及び前記第２の画像の一方を該第１の画像及び該第２の画像の他方の不鮮明度までぼかすのに使用される畳み込みの回数を判断する段階と、
ｂ．前記畳み込み回数を用いて前記曲線情報に基づいて被写体対焦点位置距離を判断する段階と、
ｃ．デバイス対焦点位置距離を計算する段階と、
ｄ．前記被写体対焦点位置距離と前記デバイス対焦点位置距離とを加算して、前記デバイス対被写体距離を判断する段階と、
を含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記曲線情報は、複数の曲線を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記曲線情報を生成する段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記曲線情報を生成する段階は、異なるぼけ量で複数の画像を取得する段階を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記第１の画像と前記第２の画像は、異なるぼけ量を有することを特徴とする請求項１に記載の方法。
【請求項８】
前記異なるぼけ量は、前記第１の画像を取得する段階と前記第２の画像を取得する段階の間で前記焦点位置を変更することによって達成されることを特徴とする請求項７に記載の方法。
【請求項９】
奥行きマップを生成する段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記奥行きマップを格納する段階を更に含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記奥行きマップを利用してアプリケーションを実行する段階を更に含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記アプリケーションは、自動焦点、自動露出、ズーム設定、絞り設定、フラッシュ設定、シャッター速度、ホワイトバランス、ノイズ低減、ガンマ補正、動き推定、画像／映像圧縮、ぼけ生成、品質改善、３Ｄ画像生成、影除去、及び被写体分割から構成される群から選択されることを特徴とする請求項１１に記載の方法。
【請求項１３】
前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート電化製品、ゲーム専用機、デジタルカメラ、デジタルカムコーダ、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライター／プレーヤ、テレビジョン、及びホームエンタテインメントシステムから構成される群から選択されることを特徴とする請求項１に記載の方法。
【請求項１４】
画像内の被写体の距離を判断するように構成されたデバイス上に実施されるシステムであって、
ａ．第１の画像及び第２の画像を取得するように構成された画像取得モジュールと、
ｂ．前記画像取得モジュールと作動的に結合され、曲線情報を生成するように構成された曲線生成モジュールと、
ｃ．前記曲線生成モジュールと作動的に結合され、前記画像内の被写体のデバイス対被写体距離を計算するように構成された距離計算モジュールと、
を含むことを特徴とするシステム。
【請求項１５】
前記距離計算モジュールは、
ａ．前記第１の画像及び前記第２の画像の一方を該第１の画像及び該第２の画像の他方の不鮮明度までぼかすのに使用される畳み込みの回数を判断し、
ｂ．前記畳み込み回数を用いて前記曲線情報に基づいて被写体対焦点位置距離を判断し、
ｃ．デバイス対焦点位置距離を計算し、かつ
ｄ．前記被写体対焦点位置距離と前記デバイス対焦点位置距離とを加算して前記デバイス対被写体距離を判断する、
ことによって前記曲線情報を利用する、
ことを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記曲線情報は、異なるぼけ量で複数の画像のターゲットデータを取得することによって判断されることを特徴とする請求項１４に記載のシステム。
【請求項１７】
前記曲線情報は、複数の曲線を含むことを特徴とする請求項１４に記載のシステム。
【請求項１８】
前記第１の画像と前記第２の画像は、異なるぼけ量を有することを特徴とする請求項１４に記載のシステム。
【請求項１９】
前記異なるぼけ量は、前記第１の画像を取得する段階と前記第２の画像を取得する段階の間で前記焦点位置を変更することによって達成されることを特徴とする請求項１８に記載のシステム。
【請求項２０】
前記距離計算モジュールと作動的に結合され、奥行きマップを生成するように構成された奥行きマップ生成モジュールを更に含むことを特徴とする請求項１４に記載のシステム。
【請求項２１】
前記奥行きマップは、格納されることを特徴とする請求項２１に記載のシステム。
【請求項２２】
前記奥行きマップは、アプリケーションを実行するのに利用されることを特徴とする請求項２２に記載のシステム。
【請求項２３】
前記アプリケーションは、自動焦点、自動露出、ズーム設定、絞り設定、フラッシュ設定、シャッター速度、ホワイトバランス、ノイズ低減、ガンマ補正、動き推定、画像／映像圧縮、ぼけ生成、品質改善、３Ｄ画像生成、影除去、及び被写体分割から構成される群から選択されることを特徴とする請求項２３に記載のシステム。
【請求項２４】
前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート電化製品、ゲーム専用機、デジタルカメラ、デジタルカムコーダ、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライター／プレーヤ、テレビジョン、及びホームエンタテインメントシステムから構成される群から選択されることを特徴とする請求項１４に記載のシステム。
【請求項２５】
ａ．ｉ．シーンの第１の画像を取得し、
ｉｉ．前記シーンの第２の画像を取得し、かつ
ｉｉｉ．前記シーン内の１つ又はそれよりも多くの被写体の距離を判断するために曲線情報を利用する、
ように構成されたアプリケーションを格納するためのメモリと、
ｂ．前記アプリケーションを処理するように構成され、前記メモリに結合された処理構成要素と、
を含むことを特徴とするデバイス。
【請求項２６】
前記曲線情報を利用することは、
ａ．前記第１の画像及び前記第２の画像の一方を該第１の画像及び該第２の画像の他方の不鮮明度までぼかすのに使用される畳み込みの回数を判断すること、
ｂ．前記畳み込み回数を用いて前記曲線情報に基づいて被写体対焦点位置距離を判断すること、
ｃ．デバイス対焦点位置距離を計算すること、及び
ｄ．前記被写体対焦点位置距離と前記デバイス対焦点位置距離とを加算して、前記デバイス対被写体距離を判断すること、
を含む、
ことを特徴とする請求項２５に記載のデバイス。
【請求項２７】
前記曲線情報は、予め判断されることを特徴とする請求項２５に記載のデバイス。
【請求項２８】
前記曲線情報は、複数の曲線を含むことを特徴とする請求項２５に記載のデバイス。
【請求項２９】
前記アプリケーションは、更に、前記曲線情報を生成するように構成されることを特徴とする請求項２５に記載のデバイス。
【請求項３０】
前記曲線情報を生成することは、異なるぼけ量で複数の画像を取得することを含むことを特徴とする請求項２９に記載のデバイス。
【請求項３１】
前記第１の画像と前記第２の画像は、異なるぼけ量を有することを特徴とする請求項２５に記載のデバイス。
【請求項３２】
前記異なるぼけ量は、前記第１の画像の取得と前記第２の画像の取得の間で前記焦点位置を変更することによって達成されることを特徴とする請求項３１に記載のデバイス。
【請求項３３】
前記アプリケーションは、更に、奥行きマップを生成するように構成されることを特徴とする請求項２５に記載のデバイス。
【請求項３４】
前記奥行きマップは、格納されることを特徴とする請求項３４に記載のデバイス。
【請求項３５】
前記アプリケーションは、更に、前記奥行きマップを利用して画像処理アプリケーションを実行するように構成されることを特徴とする請求項３５に記載のデバイス。
【請求項３６】
前記画像処理アプリケーションは、自動焦点、自動露出、ズーム設定、絞り設定、フラッシュ設定、シャッター速度、ホワイトバランス、ノイズ低減、ガンマ補正、動き推定、画像／映像圧縮、ぼけ生成、品質改善、３Ｄ画像生成、影除去、及び被写体分割から構成される群から選択されることを特徴とする請求項３６に記載のデバイス。
【請求項３７】
パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート電化製品、ゲーム専用機、デジタルカメラ、デジタルカムコーダ、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライター／プレーヤ、テレビジョン、及びホームエンタテインメントシステムから構成される群から選択されることを特徴とする請求項２５に記載のデバイス。
【請求項３８】
デバイス上で曲線情報を生成する方法であって、
ａ．シーン内の試験被写体の第１の画像と焦点位置が変更された第２の画像とを取得する段階と、
ｂ．前記第１の画像と前記第２の画像の間のぼけの変化を計算する段階と、
ｃ．複数の異なる焦点位置に対してａ及びｂを繰り返して前記曲線情報を生成する段階と、
を含むことを特徴とする方法。
【請求項３９】
前記シーン内の前記試験被写体を識別する段階を更に含むことを特徴とする請求項３８に記載の方法。
【請求項４０】
前記試験被写体の前記画像は、固定のズーム及び絞りに対して取得されることを特徴とする請求項３８に記載の方法。
【請求項４１】
前記曲線情報を生成する段階は、前記デバイスを較正する間に行われることを特徴とする請求項３８に記載の方法。
【請求項４２】
前記曲線情報は、前記デバイス上に格納されることを特徴とする請求項３８に記載の方法。
【請求項４３】
前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート電化製品、ゲーム専用機、デジタルカメラ、デジタルカムコーダ、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライター／プレーヤ、テレビジョン、及びホームエンタテインメントシステムから構成される群から選択されることを特徴とする請求項３８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関する。より具体的には、本発明は、シーン内の被写体距離を判断することに関する。
【背景技術】
【０００２】
「奥行きマップ（ＤＭ）」は、カメラセンサから全ての単一ピクセルに対するシーン内の対応する点までの距離を示すマップである。ＤＭ生成の従来の方法は、音響波を用いるか、レーザパターンを投影するか、又は何らかの他の手段でシーンを走査してカメラからの距離を測定する距離センサと、２つ又はそれよりも多くのカメラ／レンズを用いてシーンの複数の画像を取得し、次に、シーン内の点を三角測位するためにこれらの画像を整合させる立体視システムとを含む。両方の場合に、単レンズカメラは、ＤＭを生成するのに付加的なハードウエアを必要とする。
【発明の概要】
【課題を解決するための手段】
【０００３】
２写真整合曲線情報は、シーン内の正確な被写体距離又は相対被写体距離を判断するのに使用することができる。曲線情報に加えて異なるぼけ情報を有する２つの画像の取得は、デバイスがシーン内の被写体の距離情報を判断することを可能にする。距離情報は、後で多くの画像処理用途に使用することができる奥行きマップを生成する段階を含む画像処理に使用することができる。
【０００４】
一態様において、デバイス上に実施される方法は、シーンの第１の画像を取得する段階と、シーンの第２の画像を取得する段階と、曲線情報を利用してシーン内の被写体のデバイス対被写体距離を判断する段階とを含む。曲線情報は、事前計算される。曲線情報を利用する段階は、第１の画像及び第２の画像の一方を第１の画像及び第２の画像の他方の不鮮明度までぼかすのに使用される畳み込みの回数を判断する段階と、畳み込み回数を用いて曲線情報に基づいて被写体対焦点位置距離を判断する段階と、デバイス対焦点位置距離を計算する段階と、被写体対焦点位置距離とデバイス対焦点位置距離とを加算してデバイス対被写体距離を判断する段階とを含む。曲線情報は、複数の曲線を含む。本方法は、更に、曲線情報を生成する段階を含む。曲線情報を生成する段階は、異なるぼけ量で複数の画像を取得する段階を含む。第１の画像と第２の画像は、異なるぼけ量を有する。異なるぼけ量は、第１の画像を取得する段階と第２の画像を取得する段階の間で焦点位置を変更することによって達成される。本方法は、更に、奥行きマップを生成する段階を含む。本方法は、更に、奥行きマップを格納する段階を含む。本方法は、更に、奥行きマップを利用してアプリケーションを実行する段階を含む。アプリケーションは、自動焦点、自動露出、ズーム設定、絞り設定、フラッシュ設定、シャッター速度、ホワイトバランス、ノイズ低減、ガンマ補正、動き推定、画像／映像圧縮、ぼけ生成、品質改善、３Ｄ画像生成、影除去、及び被写体分割から構成される群から選択される。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート電化製品、ゲーム専用機、デジタルカメラ、デジタルカムコーダ、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライター／プレーヤ、テレビジョン、及びホームエンタテインメントシステムから構成される群から選択される。
【０００５】
別の実施形態では、画像内の被写体の距離を判断するように構成されたデバイス上に実施されるシステムは、第１の画像及び第２の画像を取得するように構成された画像取得モジュールと、画像取得モジュールと作動的に結合されて曲線情報を生成するように構成された曲線生成モジュールと、曲線生成モジュールと作動的に結合されて画像内の被写体のデバイス対被写体距離を計算するように構成された距離計算モジュールとを含む。距離計算モジュールは、第１の画像及び第２の画像の一方を第１の画像及び第２の画像の他方の不鮮明度までぼかすのに使用される畳み込みの回数を判断し、畳み込み回数を用いて曲線情報に基づいて被写体対焦点位置距離を判断し、デバイス対焦点位置距離を計算し、かつ被写体対焦点位置距離とデバイス対焦点位置距離とを加算してデバイス対被写体距離を判断することにより、曲線情報を利用する。曲線情報は、異なるぼけ量で複数の画像のターゲットデータを取得することによって判断される。曲線情報は、複数の曲線を含む。第１の画像と第２の画像は、異なるぼけ量を有する。異なるぼけ量は、第１の画像を取得する段階と第２の画像を取得する段階の間で焦点位置を変更することによって達成される。システムは、更に、距離計算モジュールと作動的に結合されて奥行きマップを生成するように構成された奥行きマップ生成モジュールを含む。奥行きマップは、格納される。アプリケーションを実行するのに奥行きマップが利用される。アプリケーションは、自動焦点、自動露出、ズーム設定、絞り設定、フラッシュ設定、シャッター速度、ホワイトバランス、ノイズ低減、ガンマ補正、動き推定、画像／映像圧縮、ぼけ生成、品質改善、３Ｄ画像生成、影除去、及び被写体分割から構成される群から選択される。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート電化製品、ゲーム専用機、デジタルカメラ、デジタルカムコーダ、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライター／プレーヤ、テレビジョン、及びホームエンタテインメントシステムから構成される群から選択される。
【０００６】
別の態様において、デバイスは、シーンの第１の画像を取得し、シーンの第２の画像を取得し、かつ曲線情報を利用してシーン内の１つ又はそれよりも多くの被写体の距離を判断するように構成されたアプリケーションを格納するためのメモリと、メモリに結合され、アプリケーションを処理するように構成された処理構成要素とを含む。曲線情報を利用する段階は、第１の画像及び第２の画像の一方を第１の画像及び第２の画像の他方の不鮮明度までぼかすのに使用される畳み込みの回数を判断する段階と、畳み込み回数を用いて曲線情報に基づいて被写体対焦点位置距離を判断する段階と、デバイス対焦点位置距離を計算する段階と、被写体対焦点位置距離とデバイス対焦点位置距離とを加算してデバイス対被写体距離を判断する段階とを含む。曲線情報は、予め判断される。曲線情報は、複数の曲線を含む。更に、アプリケーションは、曲線情報を生成するように構成される。曲線情報を生成する段階は、異なるぼけ量で複数の画像を取得する段階を含む。第１の画像と第２の画像は、異なるぼけ量を有する。異なるぼけ量は、第１の画像を取得する段階と第２の画像を取得する段階の間で焦点位置を変更することによって達成される。更に、アプリケーションは、奥行きマップを生成するように構成される。奥行きマップは、格納される。更に、アプリケーションは、奥行きマップを利用して画像処理アプリケーションを実行するように構成される。画像処理アプリケーションは、自動焦点、自動露出、ズーム設定、絞り設定、フラッシュ設定、シャッター速度、ホワイトバランス、ノイズ低減、ガンマ補正、動き推定、画像／映像圧縮、ぼけ生成、品質改善、３Ｄ画像生成、影除去、及び被写体分割から構成される群から選択される。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート電化製品、ゲーム専用機、デジタルカメラ、デジタルカムコーダ、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライター／プレーヤ、テレビジョン、及びホームエンタテインメントシステムから構成される群から選択される。
【０００７】
別の態様において、デバイス上で曲線情報を生成する方法は、シーン内の試験被写体の第１の画像と焦点位置が変更された第２の画像とを取得する段階と、第１の画像と第２の画像の間のぼけ変化を計算する段階と、複数の異なる焦点位置に対してａ及びｂを繰り返して曲線情報を生成する段階とを含む。本方法は、更に、シーン内の試験被写体を識別する段階を含む。試験被写体の画像は、固定のズーム及び絞りに対して得られる。曲線情報を生成する段階は、デバイスを較正する間に行われる。曲線情報は、デバイス上に格納される。デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート電化製品、ゲーム専用機、デジタルカメラ、デジタルカムコーダ、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライター／プレーヤ、テレビジョン、及びホームエンタテインメントシステムから構成される群から選択される。
【図面の簡単な説明】
【０００８】
【図１】一部の実施形態による曲線のグラフである。
【図２Ａ】一部の実施形態により写真を取得するカメラの図である。
【図２Ｂ】一部の実施形態により写真を取得するカメラの図である。
【図３Ａ】一部の実施形態により畳み込みを用いて写真の焦点に影響を及ぼす段階の図である。
【図３Ｂ】一部の実施形態により畳み込みを用いて写真の焦点に影響を及ぼす段階の図である。
【図４】一部の実施形態による畳み込みと距離の図である。
【図５】一部の実施形態による曲線の図である。
【図６】一部の実施形態による例示的な画像及びその画像をぼかすための１組の畳み込みの図である。
【図７】一部の実施形態により画像内で距離を判断するための図である。
【図８】一部の実施形態による一連の曲線の図である。
【図９】一部の実施形態によりデバイスを利用して被写体距離を判断する方法の流れ図である。
【図１０】一部の実施形態により被写体距離を判断するように構成された例示的なコンピュータデバイスのブロック図である。
【発明を実施するための形態】
【０００９】
簡単なレンズモデルに基づく数式を用いてシーン内の被写体距離を計算することに関しては以前に説明されている。この数式への入力は、焦点距離、絞りサイズ、及び他の情報のようなカメラ固有のパラメータ、並びに２写真整合曲線情報である。
【００１０】
シーン内の正確な被写体距離又は相対被写体距離を判断するのに、以前の説明された数式を使用する代わりに、２写真整合曲線情報を使用することができる。
【００１１】
２写真整合曲線は、「電荷結合デバイス（ＣＣＤ）」センサ又は「相補的金属酸化物半導体（ＣＭＯＳ）」センサを使用するいずれかの画像処理デバイスによって取り込まれたデータから計算される物理量である。２写真整合曲線上の特定の点は、以下の方式で生成される。固定のカメラズーム及び絞りに対して、試験ターゲット又は被写体の写真が、特定のカメラ焦点位置で取り込まれる。次に、カメラ焦点位置は、何らかの小さい量だけ変更され、第２の写真が取り込まれる。次に、試験ターゲット又は被写体に対してぼけ変化が計算される。その後に、この処理は、異なるカメラ焦点位置において繰り返され、それによって２写真整合曲線が生成される。隣接するカメラ焦点位置が、被写界深度Ｍ個分（Ｍは非ゼロ有理量）に対応する何らかの固定量だけ繰り返し変更される場合には、計算される２写真整合曲線は、ガウス畳み込みカーネルが適用される時に理論的に線形である。そうでなければ、曲線は、単調に増加／減少する。カメラレンズの不完全性に起因して、カメラ焦点位置が、その以前のカメラ焦点位置に対して各新しいカメラ焦点位置に関して固定の被写界深度Ｍ個分だけ変更される場合であっても、線形性は、固定の範囲に対してのみ存在する。
【００１２】
取り込まれた２写真整合曲線の例を図１に示している。水平軸は、写真番号として定義され、それに対して垂直軸は、繰り返し回数（＝畳み込み）として定義される。写真番号は、取り込まれた写真（異なるカメラ焦点位置に関連付けられた）を参照する。
【００１３】
自然のシーンでは、繰り返しが計算され、シーン内の非重ね合わせ領域に関連付けられる。次に、この回数は、シーン内の被写体の相対順序（例えば、どの被写体がカメラの近くにあり、どの被写体が遠いか）を識別するか又はシーン内の被写体の実際の距離を近似するのに使用することができる。繰り返し情報を収容する行列は、繰り返しマップとして定義される。
【００１４】
相対被写体距離の判断：
例えば、着目しているシーンは、以下の初歩的な３×３の繰り返しマップを有する。
2013512626.tif 000003
行列の左上コーナがエントリ（１，１）として定義され、行列の右下コーナがエントリ（３，３）として定義される場合には、エントリ（２，２）に位置する被写体は、繰り返しマップ数８に対応する。この被写体は、カメラに最も近い。同様に、繰り返しマップ数−７に対応するエントリ（３，２）に位置する被写体はカメラから最も遠い。同様に、繰り返しマップ数１に対応するエントリ（１，３）に位置する被写体は、カメラの現在のカメラ焦点位置に最も近い。
【００１５】
繰り返しマップの次元はｎ×ｍである。更に、多くの場合に、繰り返しマップは、境界領域に対応する２つの明瞭に異なる奥行きを含む非重ね合わせ領域（前景被写体と後景被写体等）を含む。これらの場所では、繰り返しマップ情報は、不正確である。一般的に、非境界の場所における繰り返しマップ推定を改善するために、初歩的なフィルタリング又はクラスター化方式を使用することができる。次に、繰り返しマップ内の情報は、相対的及び正確な被写体距離を判断するのに使用することができる。しかし、簡単なクラスター化アルゴリズムを使用することにより、着目している被写体が、繰り返しマップ内でいくつかの非重ね合わせ領域／複数の隣接エントリを含むと仮定すると、相対被写体距離を判断することができる。
【００１６】
正確な被写体距離の判断：
各近いカメラ位置が被写界深度Ｍ個分の移動に対応する場合には、被写体距離を計算するのに繰り返し回数を使用することができる。これを図１に例示している。
【００１７】
図１では、現在の焦点位置における着目している被写体に関する繰り返し回数はＫである。図１には、例示目的で現在の焦点位置に関連付けられた２写真整合曲線を示している。この曲線を使用すると、Ｋは、現在のカメラ焦点位置から［（Ｎ＋８）−Ｎ］＝８だけ離れた写真番号に対応する。次に、被写体距離を８＊被写界深度Ｍ個分として判断することができる。
【００１８】
各連続する写真番号の場所は、数式から計算される。１つの可能性は、各連続する写真番号の場所を何らかの基準写真番号１［又はＮｍａｘ］又は１とＮｍａｘの間の何らかの他の写真番号からの前方［又は後方］被写界深度の場所として計算することである。現在のカメラ焦点位置を用いて被写体の場所を計算するのに、以下に示すコード（ｓｉｇｎ（ｄｅｐｔｈ_ｏｆ_ｆｉｅｌｄｓ）＝＝１である）を適用することができる。各新しいカメラ焦点位置は、新しく計算された前方被写界深度の場所を代入することによって計算される。以下に提供している例では、カメラ焦点距離、ｆ数、及び開始焦点距離（写真番号Ｎ＝１に対応する）は、それぞれ６３ｍｍ、５．２、及び１ｃｍである。被写体距離を判断するために、この処理は８回繰り返される。
flength_check = 63/1000;  % メートル単位
fnumber = 5.2
%coc of camera - 0.18 % ミリメートル単位
distance_focus = 1; % センチメートル単位
depth_of_fields = 8;
H = ((flength * 100)^2) / (fnumber * 0.0018); % この時点で、全ての単位はセンチメートル
Dno = (H*distance_focus) / H+distance_focus);
Dfo = (H*distance_focus)  / H-distance_focus);
if sign(depth of fields) == 1
Dnew1 = Dfo;
s_new = distance_focus; % Dfo;
for loop_dof = 1:abs(depth_of_fields),
Dnew1 = (H * s_new) / (H - s_new);
s_new = Dnew1;
distance1(loop_dof) = s_new;
end
elseif sign (depth_of_fields) == -1
%Dnew1 = Dno;
s_new = distance_focus;
for loop_dof = 1:abs (depth_of_fields)
Dnew1 = (H * s_new) / (H + s_new);
s_new = Dnew1;
distance2(loop_dof) = s_new;
end
else
aa = 11111111111111111111111
end
【００１９】
同様に、後方被写界深度の場所を計算して使用することができる。この場合、ｄｉｓｔａｎｃｅ_ｆｏｃｕｓ＝Ｈ／２［Ｎ＝Ｎｍａｘに対応する］であり、ｓｉｇｎ（ｄｅｐｔｈ_ｏｆ_ｆｉｅｌｄｓ）オプションは、＝−１として選択される。
【００２０】
同様に、「典型的」被写界深度定義に基づいて前方方向に新しい写真番号の場所を計算することができる。この場合、ｄｉｓｔａｎｃｅ_ｆｏｃｕｓ＝１であり、Ｄｎｏ１とＤｆｏ１の両方が上式を用いて計算される。次の写真番号の場所に対応する次の焦点位置を計算するために、次に、次式が解かれる。
Dno2 = Dfo1;
distance_focus2 = (Dno2 * H) / (H-Dno2);
この処理が繰り返され、全てのその後の距離の焦点位置が生成される。
Dfo2 = (H*distance_focus2) / (H - distance_focus2);
Dno3 = Dfo2;
【００２１】
同様に、「典型的な」被写界深度定義に基づいて新しい写真番号の場所が逆方向に計算される。この場合、ｄｉｓｔａｎｃｅ_ｆｏｃｕｓ＝Ｈ／２であり、Ｄｎｏ１とＤｆｏ１の両方が上式を用いて計算される。次の写真番号の場所に対応する次の焦点位置を計算するために、次に、次式が解かれる。
Dfo2 = Dno1;
distance_focus2 = (Dfo2 * H) / (H+Dfo2);
【００２２】
この処理が繰り返され、全てのその後の距離の焦点位置が生成される。
Dno2 = (H * distance_focus2) / (H + distance_focus2);
Dfo3 = Dno2;
計算式及び定義の他の変形を使用することができる。
【００２３】
写真番号の場所は、所定の数式を用いて計算される。次に、この数式を繰り返すことにより、特定の繰り返し回数に関連付けられた被写体の奥行きを判断することができる。
【００２４】
図２Ａは、一部の実施形態による写真を取得するカメラの図を示している。シーンを捉えるカメラは、ズーム（ｚ１）及び絞りサイズ（ａ１）のような指定された設定を有する。更に、カメラは、焦点位置（ｆ１）を有する。これらの情報から、距離（Ｄ１）を計算することができる。図２Ａには、人物に焦点が合わされ、太陽がぼけた画像を示している。カメラから、カメラが焦点を合わせる場所までの距離は、人物の位置であるＤ１である。
【００２５】
図２Ｂは、一部の実施形態による写真を取得するカメラの図を示している。ズーム及び絞りサイズは同じに保たれるが、焦点位置（ｆ２）は変更される。次に、これらの情報から、距離（Ｄ２）を計算することができる。一般的に距離＝関数（ｚＬ，ａＬ，ｆＬ）である。図２Ａとは対照的に、図２Ｂでは、画像は、太陽により近く焦点が合わされ、人物はぼけている。カメラから、カメラが焦点を合わせる場所までの距離は、人物を超えた位置であるＤ２である。従って、図２Ａで得られた画像と図２Ｂで得られた画像とを比較すると、一方は焦点が合わされた人物とぼけた太陽とを有し、他方はぼけた人物とぼけが少ない太陽とを有する。これらの画像は、人物のような画像内の全ての被写体の距離を判断するのに使用することができる。
【００２６】
図３Ａは、一部の実施形態により畳み込みを用いて写真の焦点に影響を及ぼす段階の図を示している。２つの写真が撮影され、例えば、第１の写真は、最初に人物に焦点が合わされて太陽はぼけており、第２の写真は、より太陽の近くに焦点が合わされて人物はぼけている。第１の写真における人物を第２の写真内の人物と同様にぼかす目的で、数学的畳み込み演算を適用することができる。畳み込みは繰り返され、各繰り返しの後に第１の写真と第２の写真の近似性が検査される。この場合、各繰り返しは、人物をより強くぼかす。最終的に、ぼけは整合することになり、それを超えたぼかしは、第１の写真が第２の写真よりも強くぼける結果をもたらす。Ｍ回の畳み込みのように畳み込み回数を記録することができる。
【００２７】
図３Ｂは、一部の実施形態により畳み込みを用いて写真の焦点に影響を及ぼす段階の図を示している。図３Ａにおける人物をぼかすための畳み込みと同様に、整合するぼけを得るためにＮ回の畳み込みにおいて太陽をぼかすことができる。
【００２８】
図４は、一部の実施形態による畳み込みと距離の図を示している。写真対が焦点（例えば、試験ターゲットの焦点位置）を超えて撮影された時には、畳み込み演算子の符号は正であり、写真対が焦点の前にある時には符号は負である。言い換えれば、写真対が焦点を超えた場合には、第２の写真は、第１の写真よりも強くぼけ、従って、畳み込み演算子は正になる。しかし、写真対が焦点の前にある時には、第１の写真は、第２の写真よりも強くぼけ、従って、畳み込み演算子は負である。符号は方向を示している。それによって写真対が撮影された場所に依存する番号シーケンスを得ることができる。図１で上述したように、曲線は、生成することが可能である。次に、写真対、写真対に関連する畳み込み、及び生成された曲線を用いて、図５に示しているように距離を判断することができる。
【００２９】
図６は、例示的な画像及び一部の実施形態によりその画像をぼかすための１組の畳み込みを示している。図７は、一部の実施形態により画像内で距離を判断するための図を示している。図６の鮮明な自動車を鮮明度の低い自動車にぼかすための畳み込み回数は、Ｌ回の畳み込みである。次に、この曲線を用いて、自動車に関する距離ｄ_ｃａｒがもたらされる。焦点位置は既知であり、従って、焦点位置から自動車までの距離を判断することができる。自動車からカメラまでの距離は、ｄ_ｃａｒ＋ｄ_ｃａｍｅｒａである。
【００３０】
曲線は、各カメラに対して生成される。一部の実施形態では、曲線は、カメラが較正される時に生成されてカメラ上に格納される。一部の実施形態では、性能を改善するために複数の曲線が生成される。曲線の傾きは、カメラが何処に焦点が合わされているかのようないくつかのファクタに依存して場合によって若干異なり、従って、１つの曲線が別の曲線よりも使用するのに適切である可能性がある。一部の実施形態では、曲線は、カメラが何処に焦点が合わされているかに基づいて曲線の組から選択される。一部の実施形態では、曲線は、別のファクタに基づいて選択される。
【００３１】
写真対を取得する段階は、被写界深度の数分の１の分離を有する２つの写真を取り込む段階を伴っている。一部の実施形態では、被写界深度分離は有理数である。例えば、分離は、被写界深度１つ分、被写界深度２つ分、被写界深度の半分、又はその他である。１つ又はそれよりも多くの曲線は、カメラのようなデバイスに格納される。図８は、一部の実施形態による一連の曲線の図を示している。次に、２つの写真の焦点位置を用いてどの曲線が適切であるかが判断され、曲線に基づいて距離がどれ程であるかが判断される。カメラパラメータが変更された場合には、曲線を修正することができる。曲線及び上述の情報を用いて、写真内の被写体距離及び奥行きマップを判断することができる。奥行きマップは、シーン内の多くの被写体に対して距離を確立し、次に、それらをマップに示し、それによって奥行きマップを生成することによって判断することができる。曲線は、ルックアップテーブルのようないずれかのデータ構造に格納することができる。
【００３２】
図９は、一部の実施形態により被写体距離を判断するデバイスを利用する方法の流れ図を示している。段階９００では、第１の画像が得られる。段階９０２では、第２の画像が得られる。第１の画像と第２の画像は、異なるぼけ量を有する。段階９０４では、判断された曲線を利用して、得られた画像内の１つ又はそれよりも多くの被写体の距離が判断される。距離は、鮮明な画像（例えば、第１の画像）をそれ程鮮明ではない画像（例えば、第２の画像）にぼかすのに使用される畳み込みの回数を判断し、次に、この畳み込み回数を用いて曲線（図５を参照されたい）に基づいて被写体から焦点位置までの距離（例えば、被写体対焦点位置距離）を判断することによって計算される。焦点位置は既知であるから、カメラから焦点位置までの距離（例えば、デバイス対焦点位置距離）を計算することができる。次に、カメラから焦点位置までの距離を焦点位置から被写体までの距離と加算することでカメラからの被写体の合計距離になる。カメラまでの被写体の距離を計算するのに加えて、相対被写体距離を計算することができる。例えば、２つの別々の被写体に対して焦点位置対被写体距離が計算される場合には、これらの距離を相対被写体距離を判断するのに使用することができる。曲線は、上述のように異なるぼけ量を有するターゲットの画像を取得することによって判断される。一部の実施形態では、段階９０６において、判断された距離に基づいて奥行きマップが生成される。一部の実施形態では、判断される曲線は、第１の画像が得られる前に判断されて格納される。段階９０８では、奥行きマップが格納される。一部の実施形態では、奥行きマップは格納されず、段階９０８を省くことができる。段階９１０では、奥行きマップを利用して以下に説明するもののようなアプリケーションが実行される。
【００３３】
図１０は、一部の実施形態により画像内の被写体の距離を判断するように構成された例示的なコンピュータデバイスのブロック図を示している。コンピュータデバイス１０００は、画像及び映像のような情報を取得、記憶、計算、通信、及び／又は表示するのに使用することができる。例えば、コンピュータデバイス１０００は、写真を取得及び格納し、更に、取得した写真からの情報を用いて計算を実行する。一般的に、コンピュータデバイス１０００を実施するのに適するハードウエア構造は、ネットワークインタフェース１００２、メモリ１００４、プロセッサ１００６、Ｉ／Ｏデバイス１００８、バス１０１０、及び記憶デバイス１０１２を含む。プロセッサの選択は、十分な速度を有する適切なプロセッサが選択される限り、重要ではない。メモリ１００４は、当業技術で公知のいずれかの従来のコンピュータメモリとすることができる。記憶デバイス１０１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、フラッシュメモリカード、又はいずれかの他の記憶デバイスを含むことができる。コンピュータデバイス１０００は、１つ又はそれよりも多くのネットワークインタフェース１００２を含むことができる。ネットワークインタフェースの例は、「イーサネット」又は他の種類のＬＡＮに接続したネットワークカードを含む。Ｉ／Ｏデバイス１００８は、キーボード、マウス、モニタ、ディスプレイ、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、及び他のデバイスを含むことができる。距離方法を実施するのに使用される距離アプリケーション１０３０は、記憶デバイス１０１２及びメモリ１００４に格納される場合が多く、アプリケーションが一般的に処理されるように処理される。図１０に示しているものよりも多いか又は少ない構成要素をコンピュータデバイス１０００内に含めることができる。一部の実施形態では、距離処理ハードウエア１０２０が含まれる。図１０のコンピュータデバイス１０００は、アプリケーション１０３０及び距離アプリケーションのためのハードウエア１０２０を含むが、距離アプリケーションは、コンピュータデバイス上にハードウエア、ファームウエア、ソフトウエア、又はこれらのいずれかの組合せに実施することができる。
【００３４】
一部の実施形態では、距離アプリケーション１０３０は、いくつかのアプリケーション及び／又はモジュールを含む。一部の実施形態では、距離アプリケーション１０３０は、複数の画像／写真／映像（例えば、第１の画像／写真／映像、及び第２の画像／写真／映像）を取得するように構成された画像／写真／映像取得モジュール１０３２、曲線を生成するように構成された曲線生成モジュール１０３４、画像／写真／映像内の被写体の距離を判断／計算するように構成された距離計算モジュール１０３６、及び奥行きマップを生成するように構成された奥行きマップ生成モジュール１０３８を含む。
【００３５】
適切なコンピュータデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー／モバイル電話、スマート電化製品、ゲーム専用機、デジタルカメラ、デジタルカムコーダ、カメラ電話、ｉＰｏｄ（登録商標）、ビデオプレーヤ、ＤＶＤライター／プレーヤ、テレビジョン、ホームエンタテインメントシステム、又はいずれかの他の適切なコンピュータデバイスを含む。
【００３６】
判断された距離及び奥行きマップを利用するために、アプリケーションの一部の態様は、画像処理工程の異なる局面で適用可能である。距離及び／又は奥行きマップを利用するアプリケーションは、画像／映像が得られる前に自動焦点、自動露出、ズーム設定、絞り設定、フラッシュ設定、及びシャッター速度を含むがこれらに限定されないパラメータを設定することができる。これらのアプリケーションは、自動的に実施されるか又はユーザが手動で実施することができる。次に、ユーザは、ターゲットを指してボタンを押下する等でいずれかの画像／映像を取得したい時に画像／映像を取得することができる。画像／映像が得られる間に、追加のアプリケーションは、ホワイトバランス、ノイズ低減、ガンマ補正、動き推定、及び画像／映像圧縮を含むがこれらに限定されない影響を画像に与えることができる。画像／映像が格納された後に後処理を行うことができる。例えば、画像は、カメラ／カムコーダ又はコンピュータのような別のデバイス上に格納される。入力機構を用いて、ユーザは、画像／映像に対して後処理操作を実施することができる。一部の実施形態では、後処理は、ユーザ入力なしに自動的に発生する。画像後処理の例は、ぼけ生成、品質改善、３Ｄ画像生成、影除去、及び被写体分割を含むが、これらに限定されない。これらの段階の全ては、距離情報及び奥行きマップから恩典を受けることができる。
【００３７】
作動時に、曲線情報及び２つ又はそれよりも多くの画像を用いて距離情報及び／又は奥行きマップを判断することにより、画像／映像処理をいくつかの方法で改善することができる。曲線は、得られた画像情報を用いて生成される。次に、異なるぼけを有する２つ又はそれよりも多くの画像を取得することにより、鮮明な画像をよりぼけた画像にぼかすための畳み込みの回数を記録し、次に、距離（被写体対焦点位置距離等）を判断するのにその曲線と共に使用することができる。焦点位置からカメラまでの距離を計算することができる。これらの２つの距離は、合わせて被写体からカメラ又は他のデバイスまでの距離である。画像取得は、画像／映像が得られる前にカメラ設定を適切に構成することによって改善することができる。得られた画像の画像処理は、改善することが可能である。距離情報を使用することにより、画像の後処理を同じく改善することができる。改善は、より効率的な処理、より良好な品質の画像／映像、付加的な特徴、及び他の改善を含む。
【００３８】
本発明は、本発明の構成及び作動の原理の理解を容易にするために詳細内容を組み込む特定的な実施形態に基づいて説明した。本明細書における特定的な実施形態及びその詳細内容へのそのような参照は、本明細書に添付した特許請求の範囲を限定するように意図したものではない。特許請求の範囲によって定める本発明の精神及び範囲から逸脱することなく、例示目的で選択した実施形態に他の様々な修正を加えることができることは、当業者には直ちに明らかであろう。
【符号の説明】
【００３９】
９００  第１の画像を取得する段階
９０２  第２の画像を取得する段階
９０４  曲線を利用して１つ又はそれよりも多くの被写体の距離を判断する段階
９０６  奥行きマップを生成する段階
９０８  奥行きマップを格納する段階
９１０  奥行きマップを使用してアプリケーションを実行する段階
【図１】
2013512626.tif 000004
【図２Ａ】
2013512626.tif 000005
【図２Ｂ】
2013512626.tif 000006
【図３Ａ】
2013512626.tif 000007
【図３Ｂ】
2013512626.tif 000008
【図４】
2013512626.tif 000009
【図５】
2013512626.tif 000010
【図６】
2013512626.tif 000011
【図７】
2013512626.tif 000012
【図８】
2013512626.tif 000013
【図９】
2013512626.tif 000014
【図１０】
2013512626.tif 000015
【国際調査報告】
2013512626.tif 000016
2013512626.tif 000017