(57)【要約】【課題】異なる焦点位置で取り込んだ画像間で計算したブレ差に基づく写真照合に応じてカメラの奥行き推定を行う。【解決手段】焦点距離、絞り、被写体距離、及びレンズの焦点位置に依存してブレ差が変化する一連の照合曲線によるカメラの特性解析に基づいて、ブレ差モデルをカメラに記憶する。被写体距離の推定において使用するために、４次元多項式モデルを作成して照合曲線に適合させる。動作中、被写体距離の推定において使用するための画像を取り込む。動き補償を適用してブレ差を特定する。ブレ差を多項式モデル内で利用して被写体距離を推定する。被写体距離の推定値を出力することができ、又はオートフォーカスプロセス内で利用して正確な焦点調整を行うことができる。【選択図】なし【特許請求の範囲】
【請求項１】
画像を電子的に取り込むための装置であって、
画像取り込み装置上に配置された撮像要素と、
前記撮像要素に結合された焦点制御要素と、
前記撮像要素及び前記焦点制御要素に結合されたコンピュータプロセッサと、
前記コンピュータプロセッサに結合され、前記撮像要素から取り込んだ画像を保持するとともに前記コンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、
異なる焦点距離の範囲にわたって取り込んだ画像照合曲線からのブレ差に適合する多次元多項式としてメモリ内に保持される多次元焦点照合モデルと、
前記コンピュータプロセッサ上で、
（ｉ）少なくとも第１及び第２の画像を含む複数の物体画像を取り込んで、該物体画像の焦点距離及び絞りを登録し、
（ｉｉ）前記複数の物体画像間の動きを補償し、
（ｉｉｉ）前記複数の物体画像間のブレ差を特定し、
（ｉｖ）前記多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定する、
ように実行可能なプログラムと、
を備えることを特徴とする装置。
【請求項２】
前記複数の物体画像が、同じ絞り設定及び焦点距離を使用して異なる焦点位置で取り込んだ少なくとも２つの画像を含む、
ことを特徴とする請求項１に記載の装置。
【請求項３】
前記コンピュータプロセッサ上で、前記被写体距離の推定に応じて前記装置の焦点を自動で調整するように実行可能なプログラムをさらに備える、
ことを特徴とする請求項１に記載の装置。
【請求項４】
前記動きの補償中に、前記第１の画像からの少なくとも１つのブロックが、前記第２の画像に適合するものとして位置付けられる、
ことを特徴とする請求項１に記載の装置。
【請求項５】
前記動きの補償が、ブレカーネルによる１又はそれ以上の畳み込みに応じて行われてブレ差を特定するように構成される、
ことを特徴とする請求項１に記載の装置。
【請求項６】
前記動きの補償が、２つの画像ｆi及びｆjを順番に取り込み、ｉ＜ｊとして該順番において画像ｉを画像ｊよりも先に撮影したことを示し、‖・‖を、照合誤差の値を求めるノルム演算子とし、焦点領域ｆiをｆjから得られる同じサイズのシフト領域と比較し、シフト量（ｘV，ｙV）が、水平方向及び垂直方向に所定のピクセル数を最大値とする場合、
2011221535.tif 000042
に基づいて行われ、これにより、全てのシフト位置について、最小照合誤差を生じる１つの
2011221535.tif 000043
が求められる、
ことを特徴とする請求項１に記載の装置。
【請求項７】
ブレ差が、画像ｆi又はｆjのいずれが鮮明であるかに応じて、並びにＩ1及びＩ2を第１及び第２のブレ差値とし、ｆi及びｆjを取り込んだ２つの画像とし、
2011221535.tif 000044
を動き補償に応じて取り込んだ画像とし、Ｋをブレカーネルとする
2011221535.tif 000045
及び
2011221535.tif 000046
に応じて特定され、
Ｉ2よりもＩ1の方が大きい場合にはｆjよりもｆiの方が鮮明であり、前記ブレ差がＩ1によって与えられ、逆にＩ1よりもＩ2の方が大きい場合にはＩ2の方が鮮明であり、前記ブレ差が−Ｉ2によって与えられ、
ブレ差値の符号は、いずれの画像の方が鮮明であるかを示す、
ことを特徴とする請求項６に記載の装置。
【請求項８】
前記ブレ差ＩA_Bが、Ｋを畳み込み演算とし、（ｘ，ｙ）をピクセル位置のシフト量とし、（ｘV，ｙV）を所与の検索範囲ｖ内のピクセル位置のシフト量とし、ｆAを第１の写真、ｆBを第２の写真とする
2011221535.tif 000047
として計算される、
ことを特徴とする請求項１に記載の装置。
【請求項９】
前記ブレ差ＩA_Bが、Ｋを畳み込み演算とし、（ｘ，ｙ）をピクセル位置のシフト量とし、（ｘV，ｙV）が所与の検索範囲ｖ内のピクセル位置のシフト量とし、ｆAを第１の写真、ｆBを第２の写真とし、
2011221535.tif 000048
を、動き補償に対応する前記第２の写真とした場合、
2011221535.tif 000049
とすることに応じて近似され、
2011221535.tif 000050
の関係によりブレ差を特定する、
ことを特徴とする請求項１に記載の装置。
【請求項１０】
被写体距離を推定するために前記第１及び第２の画像を一時的に取り込んで、ユーザが選択した画像が取り込まれて前記メモリに保持されるようにする、
ことを特徴とする請求項１に記載の装置。
【請求項１１】
前記画像照合曲線が、反復回数とレンズ焦点位置との関係を表現する、
ことを特徴とする請求項１に記載の装置。
【請求項１２】
前記焦点照合モデルが、被写体の奥行き、焦点位置、焦点距離、及び絞りに関するブレ差の４次元多項式関数を含む、
ことを特徴とする請求項１に記載の装置。
【請求項１３】
前記焦点照合モデルが、
前記ブレ差照合曲線に適合させるための前記多次元多項式の係数を求めるステップと、
適合誤差を特定して異常値を破棄するステップと、
多項式適合が前記ブレ差照合曲線との望ましい精度に収束するまで上記ステップを繰り返すステップと、
に応じて特定される多次元多項式関数を含む、
ことを特徴とする請求項１に記載の装置。
【請求項１４】
前記撮像装置が、静止画像カメラ、又は静止画像取り込みモードを有するビデオカメラを含む、
ことを特徴とする請求項１に記載の装置。
【請求項１５】
前記焦点照合モデルが、
カメラの焦点設定範囲にわたって焦点距離、絞り、被写体の奥行き、及びズーム設定に関して撮影した一連の較正対象画像の中の較正対象画像を取得するステップと、
前記画像の各々の間のブレ差照合曲線を特定するステップと、
前記一連の較正目標画像の前記ブレ差を照合するステップに基づいて前記多次元モデルを生成するステップと、
を含む特性解析を行うことにより生成される、
ことを特徴とする請求項１に記載の装置。
【請求項１６】
画像を電子的に取り込むための装置であって、
カメラ装置内に配置された撮像要素と、
前記撮像要素に結合された焦点制御要素と、
前記撮像要素及び前記焦点制御要素に結合されたコンピュータプロセッサと、
前記コンピュータプロセッサに結合され、前記撮像要素から取り込んだ画像を保持するとともに前記コンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、
異なる焦点距離の範囲にわたって取り込んだ、反復回数とレンズ焦点位置との関係を表現する画像照合曲線からのブレ差に適合する多次元多項式としてメモリ内に保持される多次元焦点照合モデルと、
前記コンピュータプロセッサ上で、
（ｉ）第１の画像と第２の画像という少なくとも２つの画像を、同じ絞り設定及び焦点距離を使用して異なる焦点位置において取り込み、
（ｉｉ）前記２つの画像間の動きを補償し、
（ｉｉｉ）前記２つの画像間のブレ差を特定し、
（ｉｖ）前記多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定し、
（ｖ）前記被写体距離の推定に応じて前記焦点制御要素に焦点制御変化を伝えることにより前記カメラ焦点を自動的に調整する、
ように実行可能なプログラムと、
を備えることを特徴とする装置。
【請求項１７】
前記動きの補償中に、前記第１の画像からの少なくとも１つのブロックが、前記第２の画像に適合するものとして位置付けられる、
ことを特徴とする請求項１６に記載の装置。
【請求項１８】
前記動きの補償が、ブレカーネルによる１又はそれ以上の畳み込みに応じて行われてブレ差を特定するように構成される、
ことを特徴とする請求項１６に記載の装置。
【請求項１９】
前記多次元多項式関数が、被写体の奥行き、焦点位置、焦点距離、及び絞りに関するブレ差の４次元多項式モデルを含む、
ことを特徴とする請求項１６に記載の装置。
【請求項２０】
画像を電子的に取り込むためのカメラ装置内で被写体の奥行きを推定する方法であって、
前記カメラ装置内で保持するための多次元焦点照合モデルを、異なる焦点距離の範囲にわたって取り込んだ画像照合曲線からのブレ差に適合する多次元多項式として生成するステップと、
少なくとも第１及び第２の画像を含む複数の物体画像を取り込んで焦点距離及び絞りを登録するステップと、
前記複数の物体画像間の動きを補償するステップと、
前記複数の物体画像間のブレ差を特定するステップと、
前記多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定するステップと、
を含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照〕
該当なし
【０００２】
〔連邦政府が支援する研究又は開発に関する記述〕
該当なし
【０００３】
〔コンパクトディスクで提出された資料の引用による組み入れ〕
該当なし
【０００４】
〔著作権保護を受ける資料の通知〕
本特許文献中の資料の一部は、アメリカ合衆国及びその他の国の著作権法に従って著作権保護を受ける。著作権の権利所有者は、合衆国特許商標庁の一般公開ファイル又は記録内に表されるとおりに特許文献又は特許開示を第三者が複製することには異議を唱えないが、それ以外は全ての著作権を留保する。著作権所有者は、米国特許法施行規則§１．１４に従う権利を無制限に含み、この特許文献を秘密裏に保持しておく諸権利のいずれも放棄するものではない。
【０００５】
本発明は、一般にカメラの奥行き推定（depth estimation）に関し、より具体的には写真照合を使用した奥行き推定に関する。
【背景技術】
【０００６】
最も望ましい結果を得るためには、画像の取り込み時にカメラの焦点を正しく合わせなければならない。正しいカメラの焦点を推定し、及び／又は実現するための数多くのシステムが開発されてきた。以下、典型的なカメラレンズシステム内の要素及びこれらに関連する特性について簡単に説明する。
【０００７】
おそらく、写真レンズの主な光学パラメータは、レンズの最大絞り及び焦点距離であると考えることができる。焦点距離は、被写体までの一定の距離（被写体距離）に関する画角、及び物体（被写体）のサイズに対する画像のサイズを決定する。最大絞り（Ｆナンバー又はＦストップ）は、所与の設定（焦点距離／有効絞り）の画像の明度及び使用可能な最速シャッター速度を制限し、数が小さいほど、一般に単純なデジタルカメラの画像センサ面と考えることができる焦点面により多くの光が供給されることを示す。カメラの焦点距離は、単焦点であってもよく、或いはいわゆる「ズーム」制御の調整に対応するような可変であってもよい。
【０００８】
技術的には単一要素のレンズであるが一般的にはより広く使用されている単純なレンズの１つの形は焦点距離が１つであり、「プライムレンズ」とも呼ばれる。単焦点レンズを使用してカメラの焦点を合わせる場合、レンズと焦点面の間の距離が変化して、この焦点面上で写真被写体の焦点が変化することとなる。従って、単焦点レンズでは光学関係及び焦点距離が固定されるが、カメラでは、この単焦点レンズを、ある範囲の焦点距離にわたって被写体に焦点を合わせるために使用する。従って、レンズの（単複の）焦点距離を、そのレンズを使用するカメラで取得できる焦点の範囲と混同すべきではない。なお、焦点面に対するレンズの距離を調整することにより焦点距離が変更される。
【０００９】
単焦点レンズを使用するには、絞りを調整して望ましいシャッター速度に対する光量を選択し、次に被写体距離に基づいて（単複の）焦点を調整し、その後シャッターを「解放」して画像を取り込む。デジタルカメラでは、画像を取り込むプロセスの大部分が電子的に行われるが、本明細書では画像取り込みのきっかけを「シャッター解放」と呼ぶことが理解できよう。多くの場合、単焦点距離であるはずのレンズにも、接近写真を撮るために焦点距離の選択が異なるマクロ設定が設けられている。望遠レンズは、遠距離にある物体からの画像でフレームを満たすために高倍率の非常に狭い画角を実現する。
【００１０】
多焦点レンズは、画像倍率を望むとおりに「ズーム」又は「アンズーム」して高倍率又は低倍率を得ることができるので、通常「ズーム」レンズと呼ばれる。ズームレンズを使用すれば、ユーザは、被写体の倍率の量、すなわち換言すれば、被写体をズームしてフレームを満たす程度を選択できるようになる。これらのレンズ、すなわちカメラレンズシステムのズーム機能は、焦点制御及び絞り制御の両方とは概念的に別物であるということを理解することが重要である。
【００１１】
単焦点レンズ又は多焦点レンズのいずれを利用するかに関わらず、所与の被写体距離に対してレンズの焦点を正しく合わせることが必要である。所与の焦点設定に対して許容できる焦点の範囲を「被写界の奥行き」と呼び、これは、物体空間すなわち被写体空間において許容できる鮮明度の奥行きの測定値である。例えば、被写体距離が１５フィートの場合、高解像度カメラの許容できる焦点の範囲は数インチ程度と考えられるが、最適な焦点調節には、より一層の精度が必要となり得る。焦点が中間距離から、当然ながら被写界の奥行きが無限になる「無限大」に向けて遠くへ移動する（例えば遠くの山並み、雲などの画像を取り込む）につれ、被写界の奥行きは増加するということを理解できよう。
【００１２】
所定の絞りに設定した単焦点レンズでは、所与のカメラの被写体距離（被写体距離と呼ぶ）に対して１つの最適な焦点設定が存在する。カメラの焦点距離よりも近い又は遠い被写体部分は、取り込んだ画像ではある程度ブレて写り、この度合いは被写界の奥行きに影響を与える多くの要因に左右される。しかしながら、多焦点レンズでは、レンズによって得られるレンズ倍率（レンズ焦点距離）ごとに最適な焦点が存在する。実用性を高めるために、レンズメーカーは、ズーム設定に応じて焦点を合わせ直す必要性を大きく低減させたが、焦点を合わせ直す必要性は、使用中の特定のカメラレンズシステムに依存する。しかも、異なるズーム倍率のレベルに応じて絞り設定を変更する必要もあり得る。
【００１３】
そもそも、カメラの焦点は、操作者の認識及びマニュアルによる焦点調整に応じて決定及び補正することしかできなかった。しかしながら、結果に焦点を合わせるという決定的な特質により、すぐに焦点調節補助機能が採用された。最近になり、多くの場合、撮像装置には、今日では一般的に「オートフォーカス」と呼ばれる機能である、被写体に自動で焦点を合わせるための能力が備わっている。多くの場合、カメラには、絞り優先モード及びシャッター優先モードの使用などの、オート制御とマニュアル制御の組み合わせも備わっている。多くの既存のオートフォーカス機構の各々には欠点及び妥協点が存在するので、焦点調節は依然として激しい技術開発ポイントである。
【００１４】
一般的なオートフォーカス（ＡＦ）には、アクティブオートフォーカス及びパッシブオートフォーカスという２つの種類がある。アクティブオートフォーカスでは、１又はそれ以上の画像センサを利用して焦点までの距離を特定し、或いは画像取り込みレンズシステムの外部で別様に焦点を検出する。アクティブＡＦシステムは、音波及び赤外光がガラス及びその他の表面により反射されるので、一般にガラス窓越し又はその他の特定の用途では焦点が合わないが、素早い焦点調節を行うことができる。パッシブオートフォーカスシステムでは、見える画像の特性を使用して焦点を検出し設定する。
【００１５】
現在では、ハイエンドＳＬＲカメラのほとんどが、例えば露出計として利用することもできるスルーザレンズ光学ＡＦセンサを使用している。多くの場合、これらの最新のＡＦシステムの焦点調節能力は、通常のファインダーを通してマニュアルで行われる焦点調節よりも精度が高い。
【００１６】
アクティブＡＦの１つの形では、ビームスプリッタを通じて入射光を画像対に分割して、これらをＡＦセンサ上で比較することなどによる位相検出を利用する。２つの光学プリズムが、レンズの反対側から到来する光線を取り込み、これをＡＦセンサへそらし、底辺がレンズの直径に等しい単純なレンジファインダーを作り出す。物体が焦点の前にあると考えられるか、或いは正しい焦点位置の後ろにあると考えられるかを判定するように計算された同様の光強度パターン及び位相差を調べることに応じて焦点が決定される。
【００１７】
別の種類のアクティブＡＦシステムでは、レンズを通じてセンサ視野内でコントラスト測定が行われる。システムが焦点を調整して、一般的に正しい画像焦点を示す隣接するピクセル間の強度差を最大化する。このようにして、最大レベルのコントラストが得られるまで焦点調節が行われる。この形の焦点調節は、特に薄暗い光の下で動作する場合にはアクティブＡＦよりも遅いが、ローエンドの撮像装置で利用されている共通の方法である。多くの場合、パッシブシステムは、低コントラスト又は低光量の条件における焦点判定が弱い。
【００１８】
しかも、多くの焦点調節システムは、例えば、遊んでいる子供、スポーツ、野生動物などの「移動撮影」などに関して被写体が動いている場合に苦戦する。
【発明の概要】
【発明が解決しようとする課題】
【００１９】
従って、高速かつ正確な被写体距離の推定、及び／又は幅広い条件及び被写体の動きの下での焦点制御を実現する改善された奥行き推定及び／又はオートフォーカス技術に対するニーズが存在する。本発明は、これらの及びその他のニーズを満たすとともに、これまでのカメラの焦点調節技術の欠点を克服するものである。
【課題を解決するための手段】
【００２０】
２写真照合及びブレ差に基づくカメラの奥行き推定を提起する。奥行き推定は、（マニュアル又はセミオートフォーカス設定下などにおいて）ユーザに焦点情報を表示するために、及び／又は（オートフォーカス設定下などにおいて）カメラの焦点を自動で調整するプロセスにおいて利用することができる。本発明の方法は、異なる焦点位置における一時的に記憶した２つの取り込み画像間のブレ差を計算する。これらの画像間に動き補償技術を適用して、動きに関係なく正しい焦点を得る。本発明では、焦点距離、絞り、被写体距離、及びレンズの焦点位置によって変化するブレ差を特定し、これを多次元多項式モデル、好ましくは４次元多項式モデルにより近似させることができる。あまり好ましくはないが、単焦点レンズの使用などに対応して、３次元多項式モデルによって本発明を実施することもできる。なお、カメラ焦点がその他のカメラ変数により影響を受ける用途では、４次元を超える多項式モデルを使用して本発明を実現することもできる。
【００２１】
このモデルは、被写体の奥行きを計算するために使用することができ、一連のステップエッジ画像を取り込むことなどにより、焦点距離の範囲にわたって較正されることが好ましい。本出願は、動きに起因する２つの写真間の位置ずれ、及び可変カメラ設定（ズーム及び絞り）の扱いに対する実用的な解決策を提案することにより、２写真照合による奥行き推定の適用性を拡張する。
【００２２】
なお、本発明により被写体距離を推定するために取り込まれる画像は、使用のためにユーザが選択した画像を取り込む方法と同じ方法で取り込まれないことが好ましい。一例として、ユーザは、撮影するための被写体を選択する場合、この被写体をファインダー内に収め、通常は「シャッター解放」ボタンを部分的に押し下げて焦点制御を作動させる。本発明の少なくとも１つの実施形態によれば、この間にカメラが少なくとも２つの画像を異なる焦点設定で「取り込む」。本発明による被写体距離を計算するための発明方法を実施する際には、これらの画像はカメラ装置により内部的にしか使用されず、通常はユーザが、カメラの「画像レビュー」モードに入ることなどにより、取り込んだ画像セット内でアクセスすることができない。本発明による焦点制御などにより、及び「シャッター解放」ボタンが十分に押し下げられたことの検出に応答して正しい焦点が定まると、ユーザが選択した被写体画像が従来の意味で取り込まれ、後のレビュー、アップロード、プリント、及びユーザが望むすべてのことのためにカメラ内に記憶される。ユーザが選択した被写体画像が取り込まれると、被写体距離を推定するために一時的に「取り込まれた」画像はもはや不要となり、従ってメモリを節約するために破棄されることが好ましい。
【００２３】
本発明は、限定するわけではないが、以下の説明を含む数多くの方法で具体化することができる。
【００２４】
本発明の１つの実施形態は、静止画像カメラ、又は静止画像取り込みモードを備えたビデオカメラなどの画像を電子的に取り込むための装置であって、（ａ）画像取り込み装置上に配置された撮像要素と、（ｂ）撮像要素に結合された焦点制御要素と、（ｃ）撮像要素及び焦点制御要素に結合されたコンピュータプロセッサと、（ｄ）コンピュータプロセッサに結合され、撮像要素から取り込んだ画像を保持するとともにコンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、（ｅ）異なる焦点距離の範囲にわたって取り込んだ画像照合曲線からのブレ差に適合する多次元多項式としてメモリ内に保持された多次元焦点照合モデルと、（ｆ）コンピュータプロセッサ上で、（ｆ）（ｉ）少なくとも第１及び第２の画像を含む（推定プロセスで一時的に使用するための）複数の物体画像を取り込んで、この物体画像の焦点距離及び絞りを登録し、（ｆ）（ｉｉ）複数の物体画像間の動きを補償し、（ｆ）（ｉｉｉ）複数の物体画像間のブレ差を特定し、（ｆ）（ｉｖ）多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定するように実行可能なプログラムと、を備える装置である。複数の物体画像は、同じ絞り設定及び焦点距離を使用して異なる焦点位置で取り込んだ少なくとも２つの画像を含む。被写体の奥行き推定は、カメラ内で被写体距離情報を表示するために利用することができ、或いはコンピュータプロセッサが被写体距離の推定に応じてカメラ装置の焦点を自動的に調整するオートフォーカス制御プログラム内で利用することができる。或いは、被写体の奥行き推定を、セミオートフォーカス調整を行うモード内などのマニュアル−オート組み合わせモードにおいて利用することもできる。
【００２５】
画像照合曲線は、カメラ及びそのレンズの特性解析プロセスから特定されるような、反復回数とレンズの焦点位置との関係を表現する。本発明によれば、焦点照合モデルが、所与のカメラ設定の焦点距離に関するブレ寄与を表すように構築される。少なくとも１つの好ましい実施構成では、多次元ブレ差モデルが、被写体の奥行き、焦点位置、焦点距離、及び絞りに関するブレ差の４次元多項式関数を含む。
【００２６】
少なくとも１つの実施構成では、画像間で動き補償が行われ、第１の画像の少なくとも焦点領域が第２の画像に適合するものとして位置付けられ、或いは第２の画像の一部が第１の画像の焦点領域に適合するものとして位置付けられる。補償後には第１の画像の一部と第２の画像の一部との間の静的画像の内容が比較されてブレがより正確に示されるので、これに伴うブレ差の計算が、動き補償に応じてより正確なものになる。少なくとも１つの実施構成では、ブレカーネルによる１又はそれ以上の畳み込みに応答して動き補償を行ってブレ差を特定する。少なくとも１つの実施構成では、動き補償が、２つの画像ｆi及びｆjを順番に取り込み、ｉ＜ｊであり、これはこの順番内で画像ｉを画像ｊよりも先に撮影したことを示し、‖・‖を、照合誤差の値を求めるノルム演算子とする次の関係
2011221535.tif 000002
に基づいて行われる。ｆiの焦点領域は、ｆjから得られる同じサイズのシフトした領域と比較される。シフト量
2011221535.tif 000003
は、水平方向及び垂直方向に例えば±５ピクセルを最大値とする。全てのシフト位置について、照合誤差が最小となる１つの
2011221535.tif 000004
が求められる。シフトした画像
2011221535.tif 000005
は、ｆiの焦点領域に最もよくマッチする領域を含むシフトしたｆjを表す。
【００２７】
少なくとも１つの実施構成では、ブレ差ＩA_Bが、Ｋを畳み込み演算とし、（ｘ，ｙ）をピクセル位置のシフト量とし、（ｘV，ｙV）を、所与の検索範囲ｖ内におけるピクセル位置のシフト量とし、ｆAを第１の写真、ｆBを第２の写真とする
2011221535.tif 000006
として計算される。
【００２８】
少なくとも１つの実施構成では、ブレ差ＩA_Bが、
2011221535.tif 000007
とすることに応じて近似され、Ｋを畳み込み演算とし、（ｘ，ｙ）をピクセル位置のシフト量とし、（ｘV，ｙV）を、所与の検索範囲ｖ内におけるピクセル位置のシフト量とし、ｆAを第１の写真、ｆBを第２の写真とし、
2011221535.tif 000008
を、動き補償に対応する第２の写真とする
2011221535.tif 000009
の関係によりブレ差を特定する。
【００２９】
少なくとも１つの実施構成では、ブレ差が、画像ｆi又はｆjのいずれが鮮明であるかに応じて特定され、Ｉ1及びＩ2を第１及び第２のブレ差値とし、ｆi及びｆjを取り込んだ２つの画像とし、
2011221535.tif 000010
を動き補償に応じて取り込んだ画像とし、Ｋをブレカーネルとする（ａ）
2011221535.tif 000011
及び（ｂ）
2011221535.tif 000012
に応じて特定することができ、Ｉ2よりもＩ1の方が大きい場合にはｆjよりもｆiの方が鮮明であり、ブレ差はＩ1によって与えられ、逆にＩ1よりもＩ2の方が大きい場合にはＩ2の方が鮮明であり、ブレ差は−Ｉ2によって与えられる。ブレ差値の符号は、いずれの画像の方が鮮明であるかを示す。
【００３０】
少なくとも１つの実施構成では、焦点照合モデルが、（ａ）ブレ差照合曲線に適合させるための多次元多項式の係数を求めるステップと、（ｂ）適合誤差を特定して異常値を破棄するステップと、（ｃ）多項式適合がブレ差照合曲線との望ましい精度に収束するまで上記ステップを繰り返すステップとに応じて決定される多次元多項式関数を含む。
【００３１】
少なくとも１つの実施構成では、焦点照合モデルが、（ａ）カメラの焦点設定範囲にわたって焦点距離、絞り、被写体の奥行き、及びズーム設定に関して撮影した一連の較正対象画像の中の較正対象画像を取得するステップと、（ｂ）これらの画像の各々の間のブレ差照合曲線を特定するステップと、（ｃ）一連の較正目標画像のブレ差を照合するステップに基づいて前記多次元モデルを生成するステップとを含む特性解析を行うことにより生成される。
【００３２】
本発明の１つの実施形態は、画像を電子的に取り込むための装置であって、（ａ）カメラ装置内に配置された撮像要素と、（ｂ）撮像要素に結合された焦点制御要素と、（ｃ）撮像要素及び焦点制御要素に結合されたコンピュータプロセッサと、（ｄ）コンピュータプロセッサに結合され、撮像要素から取り込んだ画像を保持するとともにコンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、（ｅ）異なる焦点距離の範囲にわたって取り込んだ、反復回数とレンズ焦点位置との関係を表現する画像照合曲線からのブレ差に適合する多次元多項式としてメモリ内に保持される多次元焦点照合モデルと、（ｆ）コンピュータプロセッサ上で、（ｆ）（ｉ）第１の画像及び第２の画像という少なくとも２つの画像を、同じ絞り設定及び焦点距離を使用して異なる焦点位置において取り込み、（ｆ）（ｉｉ）２つの画像間の動きを補償し、（ｆ）（ｉｉｉ）２つの画像間のブレ差を特定し、（ｆ）（ｉｖ）多次元焦点照合モデルにブレ差を適用したことに応答して被写体距離を自動的に推定し、（ｆ）（ｖ）被写体距離の推定に応じて焦点制御要素に焦点制御変化を伝えることによりカメラ焦点を自動的に調整するように実行可能なプログラムと、を備える装置である。
【００３３】
本発明の１つの実施形態は、画像を電子的に取り込むためのカメラ装置内で被写体の奥行きを推定する方法であって、（ａ）カメラ装置内で保持するための多次元焦点照合モデルを、異なる焦点距離の範囲にわたって取り込んだ画像照合曲線から生じるブレ差情報に適合する多次元多項式として生成するステップと、（ｂ）少なくとも第１及び第２の画像を含む複数の物体画像を取り込んで焦点距離及び絞りを登録するステップと、（ｃ）複数の物体画像間の動きを補償するステップと、（ｄ）複数の物体画像間のブレ差を特定するステップと、（ｅ）多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定するステップとを含む方法である。
【００３４】
本発明は、本教示から逸脱することなく別個に又はいずれかの望ましい組み合わせで実現できるいくつかの有益な属性を提供する。
【００３５】
本発明の要素は、焦点設定の異なる２つの画像の取り込みに応じて被写体距離を正確に推定する（２写真照合などの）ための装置及び方法である。
【００３６】
本発明の別の要素は、比較する画像間に動きが生じたことに影響されない、被写体距離の正確な推定である。
【００３７】
本発明の別の要素は、ブレ差モデルを作成する元となる特性解析プロセスにおいて得られる、カメラの照合曲線の組を利用する被写体距離推定装置及び方法である。
【００３８】
本発明の別の要素は、焦点変化に対するブレ差を表すための多次元多項式モデル、好ましくは４次元多項式モデルを生成する被写体距離推定装置及び方法である。
【００３９】
本発明の別の要素は、照合曲線の平均二乗誤差、線形最小二乗誤差、又は同様のものに基づいて望ましい収束レベル点に適合することに基づいて選択された係数を有する多次元多項式モデルを生成する被写体距離推定装置及び方法である。
【００４０】
本発明の別の要素は、異なる（Ｆストップなどの）絞り設定及び（ズームなどの）焦点距離設定の被写体距離を正しく推定することができる被写体距離推定装置及び方法である。
【００４１】
本発明の別の要素は、本発明の教示から逸脱することなく固定又は着脱式レンズカメラ装置上で実現できる被写体距離推定装置及び方法である。
【００４２】
本発明のさらに別の要素は、本発明を、追加のカメラハードウェアを必要とせずに様々な既存のカメラ装置で容易に実現できる点である。
【００４３】
明細書の以下の部分において本発明のさらなる要素が明らかになるが、この詳細な説明は、本発明の好ましい実施形態を完全に開示するためのものであり、本発明を限定するためのものではない。
【００４４】
例示のみを目的とした以下の図面を参照することにより、本発明をより完全に理解するであろう。
【図面の簡単な説明】
【００４５】
【図１】本発明の要素による、複数の焦点における複数の画像を取り込む概略図である。
【図２Ａ】本発明の要素による、（ステップエッジなどの）較正対象画像の比較である。
【図２Ｂ】本発明の要素による、（ステップエッジなどの）較正対象画像の比較である。
【図３】本発明の要素による、３回の反復でブレ差を計算する概略図である。
【図４Ａ】本発明の要素による、利用する動き推定及び補償の概略図である。
【図４Ｂ】本発明の要素による、利用する動き推定及び補償の概略図である。
【図５】本発明の要素による、収集した照合曲線の、異常値及びノイズを含むことを示すグラフである。
【図６】本発明の要素による、カメラ装置のズーム設定に応じたレンズ焦点位置のグラフである。
【図７】本発明の要素による、照合曲線の多項式適合のグラフである。
【図８】本発明の要素による、カメラ特性解析のフロー図である。
【図９】本発明の要素による、ブレ差モデルを作成するフロー図である。
【図１０】本発明の要素による、奥行き推定を行うフロー図である。
【図１１】本発明の要素による、奥行き推定値を生成するカメラシステムのブロック図である。
【発明を実施するための形態】
【００４６】
図面をより詳細に参照すると、本発明は、例示として図１〜図１１に大まかに示す装置及び方法の形で具体化される。本明細書で開示するような基本概念から逸脱することなく、装置は構成及び各部分の詳細が異なっていてもよく、方法はステップ及び順序が異なっていてもよい。
【００４７】
１．ブレ差
被写体に正しく焦点が合っているときには、取り込んだ画像が最も鮮明に見える。レンズが焦点位置から遠ざかるにつれ、取り込み画像は次第に（大きく）ブレてくる。一般に、２つの写真を２つの異なる焦点距離で取り込んだ（撮影した）場合、被写体の近くで取り込んだ画像の方が、離れたところから取り込んだものよりも鮮明である。
【００４８】
本発明では、実際の被写体距離又は被写体の奥行きを推定するために、写真を取り込んだ焦点距離、及びこれらの写真間のそれぞれのブレ差の量を利用する。この技術により、被写体の動きを補償する正確な奥行き推定が実現される。被写体距離を正確に推定することにより、この距離推定に基づいてカメラ焦点を正しく調整できるようになる。
【００４９】
ｆA、及びｆAよりも不鮮明なｆBの２つの写真を位置Ａ及びＢにおいて取り込む場合について考える。位置ＡからＢへの点広がり関数Ｐにより、ブレ変化を次式のようにモデル化することができ、
2011221535.tif 000013
この場合、＊は２次元畳み込み（two dimensional convolution）を表す。
【００５０】
「点広がり関数」（ＰＳＦ）という用語は、カメラ特性解析中に画像を取り込む対象のステップエッジにわたって見られるような点光源又は点物体に対する撮像系の応答を表し、多くの場合インパルス応答とも呼ばれると認識されたい。これに関連して、点物体の拡散（ブレ）の程度は、撮像系の焦点特性の尺度である。
【００５１】
本出願で使用する「畳み込み」という用語は、２つの関数に数学的演算を行って、典型的には元々の関数の一方の修正版と考えられる第３の関数を生成することを表す。多くの場合、所与のデータセットをより正しくモデル化するために、第２の関数が反転されて第１の関数の一部に重なる。
【００５２】
図１は、以降単純にカメラと呼ぶ所与のカメラレンズシステムの特性を解析するための照合曲線の組を作成するプロセスにおいて画像を取り込む実施形態１０を示している。所与の撮像装置（例えば、同じ／同様の光学撮像要素を使用するカメラ、又は一群のカメラの特定の実施形態、構成、又はモデル）のデータセットを収集する場合には、異なる焦点位置（被写体距離）にある較正対象（又は較正被写体）の複数の画像を取り込む。データセットを収集するステップは、（固定焦点距離〜「ズーム」設定のレンズなどの）所与の倍率設定のカメラレンズシステムの特性解析プロセスを含む。最小焦点距離１４から連続して遠くへ無限大１６まで焦点調節できる撮像装置（カメラ）１２を示している。最小焦点距離１４（この場合は３５ｃｍ）及び無限大１６における焦点を示している。本発明によれば、焦点は、焦点経路２４に沿って、例えばステップエッジ画像、スレート、グラティキュール、又は既知の光学特性を有する同様の対象などの較正対象２２上の第１の焦点位置１８に収束し、その後第２の焦点位置２０に収束する。
【００５３】
本明細書では、限定ではなく一例としてＳｏｎｙ製カメラを使用して本発明の方法を示すが、当業者であれば、本方法をその他のデジタルスチールカメラ及び／又はビデオカメラで利用できることを理解できよう。このカメラの焦点距離は、最小焦点距離（３５ｃｍなど）から無限大までの範囲に及ぶ。
【００５４】
図２Ａは、被写体３２に焦点が合っており、ステップエッジの「エッジプロファイル」とも呼ばれる鮮明なコントラスト曲線３４で表すように取り込み画像が最も鮮明な状態３０を示している。較正対象すなわち被写体は、コントラストに基づいて焦点の鮮明度を単純に特定する機構を提供することが好ましい。例えばステップエッジ対象では、少なくとも２つの色、陰影、輝度間で明らかなステップエッジ描写が行われ、コントラストプロファイルの鮮明度から焦点の鮮明度を容易に特定することができる。当業者であれば、ビデオ取り込み及び出力の異なる要素をテストする際に異なるクロマキー及びカラーバーパターンを使用する方法と同様の方法で、いくつかの異なる方法のいずれかで対象を構成できることを理解するであろう。
【００５５】
図２Ｂは、レンズが「焦点が合った」位置から遠ざかるにつれて、物体３８の画像が次第にブレる画像検出状態３６を、結果として生じる図示の傾斜したコントラスト曲線４０とともに示している。写真を撮影する焦点距離、及びこれらの２つの写真間のブレ差の量を利用して、実際の被写体の距離すなわち奥行きを推定することができる。
【００５６】
ブレカーネルＫによる一連の畳み込みを使用することにより、点広がり関数Ｐを近似させることができる。
2011221535.tif 000014
（１）
【００５７】
本明細書で説明する実施形態例では、カーネルＫを次式のようになるように選択した。
2011221535.tif 000015
（２）
【００５８】
次に、式１における畳み込みの回数によりｆAとｆBの間のブレ差の量を測定することができる。このブレカーネルは均一なブレ量を表し、本発明の教示から逸脱することなく、多くの異なる方法で構成することができ、様々な値を表すことが理解できよう。実際の実施構成では、ブレ差は、‖・‖をｆAとｆBの間のブレ照合誤差を評価するノルム演算子としたときに、
2011221535.tif 000016
（３）
により与えられる反復プロセスによって得られる。
【００５９】
図３は、本明細書では写真ｆA（左）と写真ｆB（右）との間で実施される３回の反復で例示する反復プロセスを示している。
【００６０】
２．動き補償
本発明は、例えば、被写体が動いているか、又はカメラが動いているか、或いは両方が動いている場合のような、被写体とカメラとが相対的に動いている条件下で奥行き推定画像を取り込んだ場合に動き補償を行う。動き補償技術は、ブレ差の計算がブレ差に応じて行われ、第１の奥行き推定画像の取り込みと第２の奥行き推定画像の取り込みとの間の相対的な動きから得られるものでないことを確実にする。
【００６１】
図４Ａ〜図４Ｂは、本発明の要素による、利用する動き補償の例として、第１の画像からのいずれかの望ましいサイズ（本明細書では５４×４４ピクセルとして示す）の焦点領域を図４Ａに示しており、このための動き推定及び／又は補償は、図４Ｂに示す第２の画像に関して行われる。［−５，５］×［−５，５］の領域に関して合計平均二乗誤差（ＭＳＥ）を計算する。動き補償中は、第１の画像からの焦点領域が第２の画像に適合するものとして位置付けられる。この選択は、反復が収束するときの最小絶対畳み込み回数を有するものの選択に基づく。これを踏まえて、図４Ｂの画像２の動き量を垂直方向及び水平方向に最大±５ピクセルと仮定する。次に、この［−５，５］×［−５，５］の範囲内で、画像２の個々の考えられるシフトを調べる。シフトごとに、画像１の焦点領域と画像２からシフトした同じサイズの領域との間でブレ差を計算し、反復回数を得る。［−５，５］×［−５，５］の範囲内の全てのシフトから得られる全ての反復回数から最小絶対値を有するものを選択する。この最小絶対値の反復回数を与える対応するシフトが、図４Ｂの画像２の動き推定である。図４Ａに示す焦点領域の全てのピクセルが、図４Ｂに示す画像の関心領域内に同じ変位量を有し、このために動きベクトルが生じ、特定されると仮定する。
【００６２】
（ｘV，ｙV）が、ｆBにおけるピクセル位置のシフト量（ｘ，ｙ）を表すものとすると、動きの量を推定することができる。１つの実用的な実施構成では、（ｘV，ｙV）を、［−５，５］ｘ［−５，５］などの指定された検索範囲内にあるものと考える。ｆAの方がｆBよりも鮮明であると仮定する。ブレ差は次式のように計算される。
2011221535.tif 000017
（４）
【００６３】
計算を効率的にするために、ブレ差を計算する前に動き補償を行うことにより上記のプロセスを近似させることができる。
2011221535.tif 000018
（５）
【００６４】
2011221535.tif 000019
とする。この場合、ブレ差は次式の関係により与えられる。
2011221535.tif 000020
（６）
【００６５】
また、本発明の要素により、次式のように、例えばＭ回などの何回かの畳み込みにわたって動き補償を行って精度を向上させることができるようになる。
2011221535.tif 000021
（７）
この場合、ブレ差は、次式のように計算することができる。
2011221535.tif 000022
（８）
【００６６】
上記を要約すると、式４からは最も高い精度が得られるが最も遅く、一方で式６から得られる精度は最も低いが計算は最も速い。式８の性能は、式４の性能と式６の性能との間のいずれかに位置する。実際の用途の大部分では、ほとんどの場合、式６によって十分な精度が得られるはずであるが、Ｍ＝１又は２では式８を利用することにより優れた結果がもたらされる。
【００６７】
３．照合曲線
照合曲線は、反復回数とレンズ焦点位置との関係である。照合曲線を得るために、レンズの焦点範囲にわたる一連の写真を取り込んで、２枚ごとの写真間でブレ差を特定する。限定ではなく一例として、実施形態例では、（１０ｃｍなどの）固定した被写体距離に位置するステップエッジ画像の使用について説明する。このプロセスは、本発明の教示から逸脱することなく、カメラレンズシステムの特性解析の形、較正手順、又は照合曲線を生成するプロセス、或いは同様の語句などの多くの方法で参照することができる。
【００６８】
図５は、固定距離に位置するステップエッジ画像に関して得られる照合曲線を示している。照合曲線を作成する際には、シーケンスの第１の写真を無限大の焦点距離で取り込み、その後レンズが最小焦点距離に到達するまで、レンズが一被写界の奥行き近くに焦点が合うように調整される度に１つの写真を取り込む。この一連の写真を、Ｎをシーケンスの長さとしてｆ0，ｆ1，…，ｆN-1で表す。実際には、このシーケンスが全体の焦点範囲を含むことを確実にするために、ｆ0は、「無限大」の焦点設定よりも若干遠くの距離で取り込むことが好ましく、ｆN-1は、指定された最小焦点距離よりも若干近い焦点設定で取り込むことが好ましい。
【００６９】
以下の説明では、一例として式６を使用して照合曲線の生成を示す。本発明の教示から逸脱することなく、同様の方法で式３、式４、及び式８などのブレ差を特定するための他の式を適用することもできると理解されたい。
【００７０】
ブレ差を計算する前に、いずれの写真の方が鮮明であるか、例えばシーケンス内でｉ＜ｊである場合、一連の２つの写真ｆiとｆjのいずれの方が鮮明であるかを特定することが好ましい。鮮明度は、画像が伝えることができる細部の量を決定し、所与のカメラ構成では、焦点精度が最高のとき、すなわち焦点位置（距離）が被写体位置（距離）に正確に一致するときに最大になることを認識できよう。
【００７１】
まず次の関係などに基づいて動き補償を行う。
2011221535.tif 000023
（９）
【００７２】
2011221535.tif 000024
とする。以下の２つの式により、画像ｆi又はｆjのいずれの方が鮮明な画像であるかを特定できるようになる。
2011221535.tif 000025
（１０）
2011221535.tif 000026
（１１）
【００７３】
Ｉ2よりもＩ1の方が大きい場合、ｆjよりもｆiの方が鮮明であり、ブレ差はＩ1により与えられる。逆に、Ｉ1よりもＩ2の方が大きい場合にはＩ2の方が鮮明であり、ブレ差は−Ｉ2により与えられる。なお、ブレ差値の符号は、いずれの画像の方が鮮明であるかを表す便利な手段として使用している。
【００７４】
Ｉ１とＩ２が等しい場合には、誤差が比較される。
2011221535.tif 000027
（１２）
2011221535.tif 000028
（１３）
【００７５】
図５には、１０ｃｍの奥行きの場合の反復回数と焦点位置の関係を示している。シーケンス例は、４０ｍｍの焦点距離及びｆ／３．５の絞り設定を有するＳｏｎｙ製ＤＳＣ−ＨＸ１カメラによって取り込んだものである。この例では、ｆiとｆi+4のブレ差が、ｉ＝０，…，Ｎ−５に関して特定されている。「写真番号」軸は、反復回数を計算する画像対を示している。例えば、写真番号０は、ｆ0とｆ4の間で反復回数を計算することを意味する。これらの例では、レンズ焦点位置が被写体距離から離れるにつれて反復回数が増加することが分かる。被写体に焦点が合ったときにゼロ交差点が発生する。
【００７６】
図６は、上記カメラシステムのズーム設定とレンズ焦点位置との相互関係を特性解析する例を示している。グラフは、カメラのズーム設定に応じたレンズ焦点の設定の変化を示している。データは、無限大に焦点を合わせた９つの画像シーケンスを使用して取り込んだものであり、中間位置を３次スプライン補間に対応してグラフにしている。本発明は、奥行き推定プロセスにおいてレンズの焦点距離を考慮するので、単純なレンズを利用するか、或いはズームレンズを利用するかに関わらず、正確な焦点設定を特定するために利用することができる。また、いずれかの望ましいズーム変化の精度のために照合曲線を生成することもでき、ズーム特性解析が、中間値を補間するための手段を提供することも理解されたい。
【００７７】
４．４次元多項式モデル
ブレ差Ｉは、被写体の奥行きＤ（カメラレンズから被写体までの距離）、焦点距離Ｌ（焦点設定）、絞りＡ（Ｆナンバー）、及び焦点距離Ｚ（ズーム設定）の関数として書くことができる。
2011221535.tif 000029
（１４）
【００７８】
奥行きＤ及び焦点距離Ｌは両方とも、無限大に合わせた焦点から、又は写真０が定義される場所から測定された被写界の奥行きの数を物理的に意味する写真番号により測定される。奥行き推定は、Ｉ、Ｌ、Ａ、及びＺを所与としてＤを特定するプロセスである。
【００７９】
なお、固定された絞り又はズームに対応するようないくつかの用途では、３次元多項式モデルを使用して本発明を実現することもできる。或いは、絞りとズームの両方が固定されている場合には、２次元多項式表現を選択することもできる。これらの低次の関数は拡張することができないので、あまり一般的には適用されない。
【００８０】
本発明の１つの要素では、４次元多項式を利用して、照合曲線により提供されるカメラレンズシステムの特性解析をモデル化する。
2011221535.tif 000030
（１５）
【００８１】
照合曲線のモデル化に適用される「多項式」という用語は、以下の一般的な形のような多項式関数であり、
2011221535.tif 000031
この式は、ｎを、多項式の次数を定義する非負整数とする１次元多項式の例である。ちなみに、４の次数を有する多項式が４次式であり、次数３の多項式が３次式であり、次数２の多項式が２次式であり、次数１の多項式が線形式であり、次数０の多項式が定数である。多項式方程式を使用して、様々な経験的に特定される関係をモデル化することができる。
【００８２】
ゼロ交差点は焦点位置に対応するので、Ｌ＝Ｄの時にＩ＝０という境界状態が生じる。
【００８３】
４次元多項式の係数は、照合曲線の組に線形最小二乗多項式適合、又はその他の望ましい数学的適合技術を適用することにより決定される。上述したように、この実施形態では、異なる被写体距離にステップエッジ画像を配置し、異なる焦点距離及び絞り設定を使用することにより照合曲線を生成した。Ｓｏｎｙ製ＤＳＣ−ＨＸ１カメラを使用した実施形態例では、約３００個の照合曲線を利用して４次元多項式モデルを特定した。多項式の次数ｍ、ｎ、ｐ、及びｑは、特定のレンズの使用及び用途に応じて選択される。実施形態例をテストする際に利用したＤＳＣ−ＨＸ１カメラでは、ｍ＝ｎ＝ｐ＝ｑ＝２という値が十分良好に機能した。
【００８４】
なお、異なる焦点距離及び絞りから得た照合曲線は、開始焦点位置と終了焦点位置が異なることがある。これらの曲線は、多項式モデルを作成するために共通の原点を利用する。この例では、無限大における焦点を原点と考え、例えば本明細書では、無限焦点距離で撮影した写真を必ず写真番号０と定義する。
【００８５】
最適な係数Ｃ（Ｉ，ｊ，ｋ，ｌ）を求めるための手順を、以下のように要約することができる。
【００８６】
１．線形最小二乗又は次式に従う同様の多項式適合を使用して、式１５を照合曲線データに適合させる４次元多項式を求める。
2011221535.tif 000032
（１６）
【００８７】
２．照合曲線データ点ごとの適合誤差を計算する。異常値を除去する目的で、適合誤差が過度に大きな（例えば、全ての適合誤差の標準偏差の２倍よりも大きな）あらゆるデータ点を破棄する。
【００８８】
なお、「異常値」という用語は、経験的データセット内の１又はそれ以上の観測値が、データセットのうちの残りの部分とは数値的に明らかに異なる又は隔たっていることを示す統計用語である。異常値の点は、系統的な欠点、欠陥データなどを示す可能性があるが、あらゆる大きなサンプルセット内にはわずかな異常値があることが予測される。「異常値」を含むデータセットをモデル化しようと試みると、誤解を招くモデルが導かれる恐れがあり、通常、これらの異常値は、基本的な関数の特性を正しく表していないことが確認されると破棄される。
【００８９】
３．多項式適合が望ましいレベルの精度に収束するまで上記ステップ１及び２を繰り返す。
【００９０】
図７は、照合曲線上に多項式曲線を適合させた結果を、経験的に特定される照合曲線データの太線に囲まれた細線で示している。
【００９１】
５．奥行き推定
本発明によれば、式１５に示すモデルを利用して、奥行き推定を正確かつ直接的な方法で行うことができる。自動焦点調節（オートフォーカス（ＡＦ））プロセスなどにおける被写体距離推定中は、焦点距離及び絞り設定が分かっており固定されている。被写体距離を特定するために、異なる焦点位置における少なくとも２つの画像を取り込む。
【００９２】
上述したように、取り込みフレーム間のあらゆる動きがブレ差の特定に負の影響を与えないように、動き推定及び補償は、画像間のブレ差を特定する前に行うことが好ましい。
【００９３】
次に、２つの写真間のブレ差を計算する。これに応じて、式１５が単変数多項式方程式になる。この式を、物体の推定奥行きであるＤについて解く。なお、Ｄは、整数、固定小数点数、又は浮動小数点数などのあらゆる望ましいフォーマットで表すことができる。オートフォーカスの用途では、距離Ｄに焦点を合わせるようにレンズを動かすことができ、その後同じ方法で新しい奥行きを推定する。反復回数が０又は何らかの指定した閾値未満に収束するまでこの手順を繰り返して、正確な焦点が得られたことを確実にする。
【００９４】
６．奥行き推定を実行するためのプログラム
本発明による奥行き推定法の一部は、コンピュータ処理装置、好ましくは奥行き推定を実施する対象のカメラ装置内に組み込まれた１又はそれ以上のマイクロプロセッサ又はマイクロコントローラ上で実行可能なプログラムにより実施される。
【００９５】
図８は、自動焦点調節を制御するためのプログラム内などの、本発明による奥行き推定を行うための準備においてカメラ装置の特性解析を行うためのプログラムの実施形態例を示している。ステップ５０によって示すように、カメラの焦点設定の範囲にわたり、及び焦点距離に関し、並びに絞り、被写体の奥行き及びズーム設定に関して画像を取り込む。特性解析から得られるデータを照合曲線の組に処理し、ステップ５２のように、これらの照合曲線から２つの焦点設定間の（絞り、ズーム設定、被写体までの距離などの）所与の構成に関するブレ差モデルを生成する。Ｓｏｎｙ製ＤＳＣ−ＨＸ１カメラの実施構成例では、説明した４次元多項式モデルを特定する際に約３００個の照合曲線を利用したことを上述した。ステップ５４に説明するように、ブレ差モデルを、カメラ動作中に使用できるようにカメラ装置に記憶する。なお、上記ステップは所与のカメラモデルに関して行われることが好ましく、このブレ差モデルは、カメラ製造中にカメラ内に記憶されることが好ましい。
【００９６】
図９は、照合曲線の組をブレ差モデル（Ｉ＝Ｆ（Ｄ，Ｌ，Ａ，Ｚ）など）に変換する、より具体的には４次元多項式ブレ差モデルに変換するステップを限定ではなく一例として示している。ステップ６０において、カメラの照合曲線をモデル化するために使用する４次元多項式の係数を求める。ステップ６２に示すように、適合誤差を特定して異常値を除去する。その後、ステップ６４に示すように、多項式モデルが収束して照合曲線のデータと一致するまでこのプロセスを繰り返し、ステップ６０により、改善した適合を求めるように多項式係数を修正し、ステップ６２において再び適合誤差を調べる。
【００９７】
図１０は、本発明の実施形態による奥行き推定を利用するステップを示しており、ここではブレ差モデルがカメラ装置からアクセスを受けることができ、好ましくは４次元多項式ブレ差モデルを記述するデータセットとしてカメラ内に記憶される。ステップ７０に示すように、カメラ動作中に異なる焦点位置において画像を取り込む。レンズの焦点距離は分かっており、一方で画像を取り込んだときの絞り及びズーム設定はカメラ装置が把握して記憶しており、従ってプログラムがこれらの設定を登録することが理解されよう。また、ブレ差モデルとともに使用するための少なくとも２つの異なる画像を取り込むために使用した焦点設定も記憶される。
【００９８】
任意のステップ７２（任意のステップを「＊」で示す）に示すように、取り込み画像間で動き補償を行うことが好ましい。なお、限定ではなく一例として、本発明の実施構成は、（風景画設定又は静止画設定などの）カメラモード、又は取り込み画像間の静的状態の検出に応じて、動き補償を迂回することができる。しかしながら、動き補償を行うと処理オーバーヘッドが必要となるものの、その適用は、静的な（変化のない）画像に対する場合でも、誤差又はノイズを取り込まず、或いは被写体の奥行き推定の精度に別様に負の影響を与えることもない。従って、これらの取り込みフレーム間には容易に動きが生じる恐れがあるので、本発明により距離を推定する際には必ず動き補償を行うほうが好ましいと思われる。
【００９９】
次に、ステップ７４により、動き補償済みの画像間のブレ差を特定する。その後、ステップ７６に示すように、記憶したブレ差モデルでブレ差を使用して被写体距離を求める。
【０１００】
本発明の少なくとも１つの実施形態では、任意の（任意の機能を「＊」で表す）ブロック７８で説明するように、オートフォーカスルーチンなどの焦点制御プログラム内で推定した被写体距離を利用してカメラ焦点を調整する。
【０１０１】
図１１は、本発明による被写体の奥行き推定レンダリングを使用するように構成されたカメラの実施形態例９０を示している。なお、本発明の要素は、本発明の教示から逸脱することなく様々なカメラ及び画像処理装置上で実現することができ、以下、限定ではなく一例として説明する。
【０１０２】
レンズシステム９２及びその関連する光学系とともに構成された画像取り込み装置（カメラ）９０を示しており、一方で焦点制御体９４は、レンズシステムに対して本発明による焦点調整を行うように構成される。焦点制御体９４は、任意に、通常設定とマクロ設定との間の切り替え、又はユーザが画像倍率を選択できるようにするズーム制御の提供などの、変化する焦点距離をカメラシステム上で実現するように構成することができる。イメージャ９６は、焦点及び任意にズームが画像をデジタルで取り込むようにマニュアルで設定される、又はカメラ装置プログラムにより制御されるレンズシステム９２を通じて、被写体から反射された光を受光するように構成される。
【０１０３】
カメラ９０の動作は、１又はそれ以上のコンピュータプロセッサ（中央処理装置−ＣＰＵ）９８及び（ＣＰＵ内部又は１又はそれ以上の別個の集積回路内などの）関連メモリ１００により制御される。一例として、取り込み画像及びその他のデータを記憶できるメモリカードなどの補助メモリ１０２も示している。ブレ差モデルは、被写体距離を推定する際の焦点調節などを行うときに素早くアクセスできるようにカメラ装置上のメモリに記憶されることが好ましい。なお、カメラ装置９０が行う処理は、カメラ制御機能を実行するための単一のプロセッサ、及び本発明に基づいて説明した画像処理要素によって行うことができ、或いはこの処理は、カメラ制御機能のためのプロセッサ、及び画像処理機能を実行するための１又はそれ以上のプロセッサなどの複数のプロセッサを利用することができる。当業者であれば、複数のプロセッサにわたる様々な方法でプログラムを実行できることを理解するであろう。
【０１０４】
コンピュータプロセッサ９８は、カメラ９０で取り込んだ画像に対し、本発明による被写界の奥行きレンダリングを行う。一例として、任意の画像ディスプレイ１０４及びタッチスクリーン１０６を示しているが、本発明による方法は、イメージャ及び関連するレンズ及び焦点制御要素を使用して構成された様々な画像取り込み装置上で実現することができる。また、カメラの制御にあらゆる所望の形のユーザインターフェイスを利用できることを示すために、任意の非タッチスクリーンインターフェイス１０８も示している。なお、本発明による被写体距離推定及び／又はオートフォーカス制御では被写体距離情報を表示することができ、及び／又はユーザ入力／出力１０４、１０６、及び／又は１０８を利用する様々な機構に応じて動作特性を修正させることができる。
【０１０５】
本発明による被写体の奥行き推定は、メモリ１００及び／又は補助メモリ１０２と組み合わせてコンピュータプロセッサ９８上で実行可能なプログラムにより実施される。このプログラムは、製造時にカメラ内にロードすることができ、製造後にカメラ内にダウンロードすることができ、或いはカメラ内に別様にロードすることもできる。カメラの制御ファームウェアは、例えば新しいプログラムを含むソフトウェアを実行してカメラ装置に新しいファームウェアをダウンロードできるパーソナルコンピュータにカメラの通信ポートを結合することにより修正することができる。
【０１０６】
なお、本発明は、固定（着脱不能）レンズシステム９２を有するカメラでの使用に限定されるものではない。本発明は、交換可能レンズ９２に対応する一方で、個々のレンズに一意に合わせられる正しい被写体距離の推定を行うことができる。一例として、メーカーが一群のレンズを販売しているカメラを考えてみる。レンズシステム９２とＣＰＵ９８の間にインターフェイスを設けて、どのレンズシステムがカメラに結合されるかをプロセッサが検出できるようにするが、当業ではレンズを検出するためのこのような機構は周知である。多くの場合、レンズ「系」が光学要素以外のものを含み（従って「系」という）、レンズをカメラ本体と一体化するためのその他の光学機器、機構、及び電子機器を含むことができることは十分に認識されている。交換可能レンズを有するカメラにおける１つの実施構成では、カメラの製造により、一群のレンズの中のレンズの各々を含むカメラを特性解析して、関連するブレ差モデルを作成する。これらのレンズの各々のブレ差モデルを、製造時に事前にカメラに取り込んでおくことができ、或いはメーカーが、購入された個々のレンズによる新しいブレ差モデルのダウンロードを提供することができる。或いは、個々のレンズシステムが、ブレのモデル化情報を記憶したメモリを含むこともできる。また、レンズ交換に応じ、カメラの特性解析を実施済みのレンズと比較した新しいレンズの異なる特性に基づいてブレ差モデルを修正することもできる。従って、本発明の教示から逸脱することなく、固定及び着脱可能レンズ撮像装置上で本発明を実現できることが理解できよう。
【０１０７】
本発明の教示は、デジタルスチールカメラ、ビデオカメラなどを含む、強化された被写体距離の推定又はオートフォーカス能力から恩恵を受けることができる様々なカメラ装置及び用途において適用することができる。本発明は、スチールカメラにおける使用に特に適しているが、多くのビデオカメラは、単一フレームの取り込みによるスチールカメラ機能を提供している。また、限定ではないが、異なる焦点位置でフレームを取得し、正しい焦点位置を求めて一連の取り込みフレーム内で正しい焦点を取り戻す焦点損失の補正などに対応するようなビデオ取り込み中に発生するいくつかの条件に本明細書で説明した技術を適用することができる。
【０１０８】
本発明の実施形態による方法及びシステムのフロー図を参照しながら本発明の実施形態について説明した。これらの方法及びシステムをコンピュータプログラム製品として実現することもできる。この点に関して、ハードウェア、ファームウェア、及び／又はコンピュータ可読プログラムコードロジックの形で具体化された１又はそれ以上のコンピュータプログラム命令を含むソフトウェアなどの様々な手段により、フロー図の個々のブロック又はステップ、及びフロー図内のブロック（及び／又はステップ）の組み合わせを実施することができる。理解されるように、このようなあらゆるコンピュータプログラム命令を画像取り込み装置に結合されたコンピュータ上にロードして、コンピュータ又はその他のプログラマブル処理装置上で実行されるコンピュータプログラム命令が、（単複の）フロー図の（単複の）ブロック内に特定した機能を実施するための手段を含むようにすることができる。
【０１０９】
従って、フロー図のブロックは、特定の機能を実行するための手段の組み合わせ、特定の機能を実行するためのステップの組み合わせ、及びコンピュータ可読プログラムコードロジック手段の形で具体化されるような、特定の機能を実行するためのコンピュータプログラム命令をサポートする。また、指定した機能又はステップを単独で、又はより好ましくはコンピュータ実行手段との組み合わせで実施する専用ハードウェアにより、フロー図の個々のブロック及びフロー図内のブロックの組み合わせを望むように実施することもできる。
【０１１０】
さらに、コンピュータ可読プログラムコードロジックの形で具体化されるようなこれらのコンピュータプログラム命令を、コンピュータ又はその他のプログラマブル処理装置に特定の方法で機能するように指示することができるコンピュータ可読メモリに記憶して、これらのコンピュータ可読メモリに記憶された命令が、（単複の）フロー図の（単複の）ブロック内に特定した機能を実施する命令手段を含む製造の物品を作り出すようにすることもできる。コンピュータプログラム命令をコンピュータ又はその他のプログラマブル処理装置上にロードし、コンピュータ又はその他のプログラマブル処理装置上で一連の動作ステップが実行されるようにしてコンピュータで実施される処理を生成し、コンピュータ又はその他のプログラマブル処理装置上で実行される命令が、（単複の）フロー図の（単複の）ブロック内に特定した機能を実施するためのステップを提供するようにすることができる。
【０１１１】
上述の内容から、本発明が、カメラのオートフォーカスプロセス中に被写界の奥行きを推定し、及び／又は奥行き調整を制御するための方法及び装置を提供することが理解されよう。本発明の教示は、スチールカメラ、ビデオカメラ、可変の奥行きにある被写体を対象とする様々な撮像装置などを含む様々な装置及び用途において適用することができる。
従って、以上のように、本発明はとりわけ以下の独創的な実施形態を含む。
【０１１２】
１．画像を電子的に取り込むための装置であって、画像取り込み装置上に配置された撮像要素と、前記撮像要素に結合された焦点制御要素と、前記撮像要素及び前記焦点制御要素に結合されたコンピュータプロセッサと、前記コンピュータプロセッサに結合され、前記撮像要素から取り込んだ画像を保持するとともに前記コンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、異なる焦点距離の範囲にわたって取り込んだ画像照合曲線からのブレ差に適合する多次元多項式としてメモリ内に保持される多次元焦点照合モデルと、前記コンピュータプロセッサ上で、（ｉ）少なくとも第１及び第２の画像を含む複数の物体画像を取り込んで、該物体画像の焦点距離及び絞りを登録し、（ｉｉ）前記複数の物体画像間の動きを補償し、（ｉｉｉ）前記複数の物体画像間のブレ差を特定し、（ｉｖ）前記多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定するように実行可能なプログラムとを備えることを特徴とする装置。
【０１１３】
２．前記複数の物体画像が、同じ絞り設定及び焦点距離を使用して異なる焦点位置で取り込んだ少なくとも２つの画像を含むことを特徴とする実施形態１に記載の装置。
【０１１４】
３．前記コンピュータプロセッサ上で、前記被写体距離の推定に応じて前記装置の焦点を自動で調整するように実行可能なプログラムをさらに備えることを特徴とする実施形態１に記載の装置。
【０１１５】
４．前記動きの補償中に、第１の画像からの少なくとも１つのブロックが、第２の画像に適合するものとして位置付けられることを特徴とする実施形態１に記載の装置。
【０１１６】
５．前記動きの補償が、ブレカーネルによる１又はそれ以上の畳み込みに応じて行われてブレ差を特定するように構成されることを特徴とする実施形態１に記載の装置。
【０１１７】
６．前記動きの補償が、２つの画像ｆi及びｆjを順番に取り込み、ｉ＜ｊとして該順番において画像ｉを画像ｊよりも先に撮影したことを示し、‖・‖を、照合誤差の値を求めるノルム演算子とし、焦点領域ｆiをｆjから得られる同じサイズのシフト領域と比較し、シフト量（ｘV，ｙV）が、水平方向及び垂直方向に所定のピクセル数を最大値とする場合、
2011221535.tif 000033
に基づいて行われ、これにより、全てのシフト位置について、最小照合誤差を生じる１つの
2011221535.tif 000034
が求められることを特徴とする実施形態１に記載の装置。
【０１１８】
７．ブレ差が、画像ｆi又はｆjのいずれが鮮明であるかに応じて、並びにＩ1及びＩ2を第１及び第２のブレ差値とし、ｆi及びｆjを取り込んだ２つの画像とし、
2011221535.tif 000035
を動き補償に応じて取り込んだ画像とし、Ｋをブレカーネルとする
2011221535.tif 000036
及び
2011221535.tif 000037
に応じて特定され、Ｉ2よりもＩ1の方が大きい場合にはｆjよりもｆiの方が鮮明であり、ブレ差がＩ1によって与えられ、逆にＩ1よりもＩ2の方が大きい場合にはＩ2の方が鮮明であり、ブレ差が−Ｉ2によって与えられ、ブレ差値の符号は、いずれの画像の方が鮮明であるかを示すことを特徴とする実施形態６に記載の装置。
【０１１９】
８．前記ブレ差ＩA_Bが、Ｋを畳み込み演算とし、（ｘ，ｙ）をピクセル位置のシフト量とし、（ｘV，ｙV）を所与の検索範囲ｖ内のピクセル位置のシフト量とし、ｆAを第１の写真、ｆBを第２の写真とする
2011221535.tif 000038
として計算されることを特徴とする実施形態１に記載の装置。
【０１２０】
９．前記ブレ差ＩA_Bが、Ｋを畳み込み演算とし、（ｘ，ｙ）をピクセル位置のシフト量とし、（ｘV，ｙV）が所与の検索範囲ｖ内のピクセル位置のシフト量とし、ｆAを第１の写真、ｆBを第２の写真とし、
2011221535.tif 000039
を、動き補償に対応する第２の写真とした場合、
2011221535.tif 000040
とすることに応じて近似され、
2011221535.tif 000041
の関係によりブレ差を特定することを特徴とする実施形態１に記載の装置。
【０１２１】
１０．被写体距離を推定するために前記第１及び第２の画像を一時的に取り込んで、ユーザが選択した画像が取り込まれて前記メモリに保持されるようにすることを特徴とする実施形態１に記載の装置。
【０１２２】
１１．前記画像照合曲線が、反復回数とレンズ焦点位置との関係を表現することを特徴とする実施形態１に記載の装置。
【０１２３】
１２．前記焦点照合モデルが、被写体の奥行き、焦点位置、焦点距離、及び絞りに関するブレ差の４次元多項式関数を含むことを特徴とする実施形態１に記載の装置。
【０１２４】
１３．前記焦点照合モデルが、ブレ差照合曲線に適合させるための多次元多項式の係数を求めるステップと、適合誤差を特定して異常値を破棄するステップと、多項式適合がブレ差照合曲線との望ましい精度に収束するまで上記ステップを繰り返すステップとに応じて特定される多次元多項式関数を含むことを特徴とする実施形態１に記載の装置。
【０１２５】
１４．撮像装置が、静止画像カメラ、又は静止画像取り込みモードを有するビデオカメラを含むことを特徴とする実施形態１に記載の装置。
【０１２６】
１５．焦点照合モデルが、カメラの焦点設定範囲にわたって焦点距離、絞り、被写体の奥行き、及びズーム設定に関して撮影した一連の較正対象画像の中の較正対象画像を取得するステップと、前記画像の各々の間のブレ差照合曲線を特定するステップと、一連の較正目標画像のブレ差を照合するステップに基づいて前記多次元モデルを生成するステップとを含む特性解析を行うことにより生成されることを特徴とする実施形態１に記載の装置。
【０１２７】
１６．画像を電子的に取り込むための装置であって、カメラ装置内に配置された撮像要素と、前記撮像要素に結合された焦点制御要素と、前記撮像要素及び前記焦点制御要素に結合されたコンピュータプロセッサと、前記コンピュータプロセッサに結合され、前記撮像要素から取り込んだ画像を保持するとともに前記コンピュータプロセッサにより実行可能なプログラムを保持するように構成されたメモリと、異なる焦点距離の範囲にわたって取り込んだ、反復回数とレンズ焦点位置との関係を表現する画像照合曲線からのブレ差に適合する多次元多項式としてメモリ内に保持される多次元焦点照合モデルと、前記コンピュータプロセッサ上で、（ｉ）第１の画像と第２の画像という少なくとも２つの画像を、同じ絞り設定及び焦点距離を使用して異なる焦点位置において取り込み、（ｉｉ）前記２つの画像間の動きを補償し、（ｉｉｉ）前記２つの画像間のブレ差を特定し、（ｉｖ）前記多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定し、（ｖ）前記被写体距離の推定に応じて前記焦点制御要素に焦点制御変化を伝えることにより前記カメラ焦点を自動的に調整するように実行可能なプログラムとを備えることを特徴とする装置。
【０１２８】
１７．前記動きの補償中に、前記第１の画像からの少なくとも１つのブロックが、第２の画像に適合するものとして位置付けられることを特徴とする実施形態１６に記載の装置。
【０１２９】
１８．前記動きの補償が、ブレカーネルによる１又はそれ以上の畳み込みに応じて行われてブレ差を特定するように構成されることを特徴とする実施形態１６に記載の装置。
【０１３０】
１９．前記多次元多項式関数が、被写体の奥行き、焦点位置、焦点距離、及び絞りに関するブレ差の４次元多項式モデルを含むことを特徴とする実施形態１６に記載の装置。
【０１３１】
２０．画像を電子的に取り込むためのカメラ装置内で被写体の奥行きを推定する方法であって、カメラ装置内で保持するための多次元焦点照合モデルを、異なる焦点距離の範囲にわたって取り込んだ画像照合曲線からのブレ差に適合する多次元多項式として生成するステップと、少なくとも第１及び第２の画像を含む複数の物体画像を取り込んで焦点距離及び絞りを登録するステップと、前記複数の物体画像間の動きを補償するステップと、前記複数の物体画像間のブレ差を特定するステップと、前記多次元焦点照合モデルにブレ差を適用したことに応じて被写体距離を自動的に推定するステップとを含むことを特徴とする方法。
【０１３２】
上記の説明は多くの詳細を含んでいるが、これらは本発明の範囲を限定するものではなく、現在のところ本発明の好ましい実施形態の一部を例示するためのものにすぎないと解釈すべきである。従って、本発明の範囲は、当業者にとって明らかになると考えられる他の実施形態も完全に含み、従って本発明の範囲は、添付の特許請求の範囲以外のいかなるものによっても限定すべきものではなく、特許請求の範囲では、単数形による要素への言及は、明述しない限り「唯一」を意味するものではなく、「１又はそれ以上」を意味することが意図されると理解できるであろう。当業者に周知の上述の好ましい実施形態の要素の構造上及び機能上の同等物は、引用により本明細書に明確に組み入れられ、本特許請求の範囲に含まれることが意図されている。さらに、本発明が解決しようとする個々の及び全ての問題は本特許請求の範囲に含まれるため、装置及び方法がこれらの問題に対応する必要はない。さらに、本開示の要素、構成要素又は方法ステップは、これらが特許請求の範囲に明示されているかどうかにかかわらず、一般に公開されることを意図するものではない。本明細書に記載される請求項の要素は、この要素が「〜のための手段」という表現を使用して明確に示されない限り、米国特許法１１２条第６項の規定により解釈すべきではない。
【図１】
2011221535.tif 000051
【図２Ａ】
2011221535.tif 000052
【図２Ｂ】
2011221535.tif 000053
【図３】
2011221535.tif 000054
【図４Ａ】
2011221535.tif 000055
【図４Ｂ】
2011221535.tif 000056
【図５】
2011221535.tif 000057
【図６】
2011221535.tif 000058
【図７】
2011221535.tif 000059
【図８】
2011221535.tif 000060
【図９】
2011221535.tif 000061
【図１０】
2011221535.tif 000062
【図１１】
2011221535.tif 000063