(57)【要約】【課題】運動検知付き撮像装置のための制約された画像ボケ補正。【解決手段】点像強度分布に対する修正を制約するために、運動センサ等のセンサ入力から導き出された物理的制約を組み入れることにより、ブラインドのノンパラメトリック・デコンボリューションに代わりパラメトリック・デコンボリューションを用いてキャプチャ画像をボケ補正するシステム及び方法が開示される。ある実施例において、キャプチャ画像は、キャプチャ画像から取られた複数の画像ブロック間の情報の交差検定から得られた点像強度分布を用いてボケ補正され、これらの画像ブロックは点像強度分布に対する修正を制約するためにパラメトリック・デコンボリューションを用いてデコンボリューションされる。【選択図】図２
2007020167.tif 000002
【特許請求の範囲】
【請求項１】
露光時間中に画像をキャプチャするイメージセンサアレーと少なくとも一つの運動センサを備える撮像装置により撮られたキャプチャ画像をボケ補正する方法であって、
［ａ］前記キャプチャ画像を得るステップと、
［ｂ］露光時間中の前記イメージセンサアレーの運動に関連する、前記運動センサからの運動パラメータ集合を得るステップであって、前記運動パラメータ集合内の少なくとも一つの運動パラメータが関連する間隔値を保有し、それにより前記運動パラメータ集合及び関連する間隔値により運動経路群が定められるようなステップと、
［ｃ］前記撮像装置の光学的点像強度分布と、前記運動パラメータ集合及び関連する間隔値により定められる運動経路群から選択された運動経路とのコンボリューションから成る推定点像強度分布を得るステップと、
［ｄ］推定ボケ補正画像を選択するステップと、
［ｅ］前記キャプチャ画像、前記推定ボケ補正画像、及び前記推定点像強度分布に基づいて新しい推定点像強度分布を計算するステップと、
［ｆ］前記運動パラメータ集合及び関連する間隔値の中で、前記新しい推定点像強度分布に最もよく合う最適化された点像強度分布を生じる最適化されたパラメータ値集合を求めるために前記運動パラメータ集合及び関連する間隔値に対して最適化を実行するステップと、
［ｇ］前記最適化された点像強度分布を用いて新しい推定ボケ補正画像を計算するステップと
を含む方法。
【請求項２】
［ｈ］前記新しい推定ボケ補正画像内の画素値を調節して前記画素値を指定された値の範囲内に維持するステップ
を更に含む請求項１に記載の方法。
【請求項３】
前記推定点像強度分布として前記最適化された点像強度分布を選択するステップと、
前記推定ボケ補正画像として前記新しい推定ボケ補正画像を選択するステップと、
ステップ［ｅ］乃至［ｈ］を反復するステップと
を更に含む請求項２に記載の方法。
【請求項４】
前記諸ステップが設定回数反復されることを特徴とする請求項３に記載の方法。
【請求項５】
前記運動パラメータ集合及び関連する間隔値の中で、前記新しい推定点像強度分布に最もよく合う最適化された点像強度分布を生じる最適化されたパラメータ値集合を求めるために前記運動パラメータ集合及び関連する間隔値に対して最適化を実行する前記ステップ［ｆ］が
［ｆ‘］前記運動パラメータ集合及びその関連する間隔値からの運動パラメータを非制約変数に写像して、最適化から得られたその最適化されたパラメータ値が前記運動パラメータの関連する間隔値内に入る値を生じることを保証するステップ
を更に含む
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記キャプチャ画像が大きいキャプチャ画像の一部であることを特徴とする請求項１に記載の方法。
【請求項７】
前記大きいキャプチャ画像の一部である複数のキャプチャ画像から複数の最適化されたパラメータ値集合を得るステップと、
前記複数の最適化されたパラメータ集合から最善の最適化されたパラメータ集合を得るステップと、
前記最善の最適化されたパラメータ集合を用いて前記大きいキャプチャ画像をボケ補正するステップと
を更に含む請求項６に記載の方法。
【請求項８】
前記関連する間隔値が測定感度値を表すことを特徴とする請求項１に記載の方法。
【請求項９】
請求項１の方法を実行する命令集合を含むコンピュータ読取り可能な媒体。
【請求項１０】
撮像装置であって、
露光時間中に画像をキャプチャするイメージセンサアレーと、
前記露光時間中の前記イメージセンサアレーの運動に関連する運動パラメータ集合を測定する運動センサと、
前記イメージセンサアレーに通信可能に連結されかつ
［ａ］前記キャプチャ画像を得るステップと、
［ｂ］露光時間中の前記イメージセンサアレーの運動に関連する運動パラメータ集合を前記運動センサから得るステップであって、前記運動パラメータ集合内の運動パラメータの少なくとも一つが関連する間隔値を保有し、それにより運動経路群が前記運動パラメータ集合及び関連する間隔値により定められるようなステップと、
［ｃ］前記撮像装置の光学的点像強度分布と、前記運動パラメータ集合及び関連する間隔値により定められる運動経路群から選択された運動経路とのコンボリューションから成る推定点像強度分布を得るステップと、
［ｄ］推定ボケ補正画像を得るステップと、
［ｅ］前記キャプチャ画像、前記推定ボケ補正画像、及び前記推定点像強度分布に基づいて新しい推定点像強度分布を計算するステップと、
［ｆ］前記運動パラメータ集合及び関連する間隔値の中で、前記新しい推定点像強度分布に最もよく合う最適化された点像強度分布を生じる最適化されたパラメータ値集合を求めるために前記運動パラメータ集合及び関連する間隔値に対して最適化を実行するステップと、
［ｇ］前記最適化された点像強度分布を用いて新しい推定ボケ補正画像を計算するステップと
を含むステップを実行するように出来ている処理装置と
を備える撮像装置。
【請求項１１】
前記処理装置が更に、
［ｈ］前記新しい推定ボケ補正画像内の画素値を調節して前記画素値を指定された値の範囲内に維持するステップ
を含むステップを実行するように出来ている
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記処理装置が更に、
前記推定点像強度分布として前記最適化された点像強度分布を選択するステップと、
前記推定ボケ補正画像として前記新しい推定ボケ補正画像を選択するステップと、
ステップ［ｅ］乃至［ｈ］を反復するステップと
を含むステップを実行するように出来ている
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記諸ステップが設定回数反復されることを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記運動パラメータ集合及び関連する間隔値の中で、前記新しい推定点像強度分布に最もよく合う最適化された点像強度分布を生じる最適化されたパラメータ値集合を求めるために前記運動パラメータ集合及び関連する間隔値に対して最適化を実行する前記ステップ［ｆ］が
［ｆ‘］前記運動パラメータ集合及びその関連する間隔値からの運動パラメータを非制約変数に写像して、最適化から得られたその最適化されたパラメータ値が前記運動パラメータの関連する間隔値内に入る値を生じることを保証するステップ
を更に含む
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１５】
前記キャプチャ画像が大きいキャプチャ画像の一部であることを特徴とする請求項１０に記載の撮像装置。
【請求項１６】
前記処理装置が更に、
前記大きいキャプチャ画像の一部である複数のキャプチャ画像から複数の最適化されたパラメータ値集合を得るステップと、
前記複数の最適化されたパラメータ集合から最善の最適化されたパラメータ集合を得るステップと、
前記最善の最適化されたパラメータ集合を用いて前記大きいキャプチャ画像をボケ補正するステップと
を含むステップを実行するように出来ている
ことを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
画像をボケ補正する方法であって、
［ａ］少なくとも一つの運動センサを有する撮像装置から得られたキャプチャ画像から複数の画像ブロックを選択するステップと、
［ｂ］前記複数の画像ブロックのそれぞれの中で、前記キャプチャ画像がキャプチャされる間に前記運動センサにより取られた運動パラメータ値集合と矛盾しないようなそれぞれの点像強度分布を推定するステップと、
［ｃ］前記複数の画像ブロックのそれぞれをボケ補正するためにデコンボリューション・アルゴリズムを採用するステップであって、前記複数の画像ブロックの前記点像強度分布の何れに対する修正も前記キャプチャ画像がキャプチャされる間に前記運動センサにより取られた運動パラメータ値集合と矛盾しないようなステップと、
［ｄ］前記複数の画像ブロックの前記点像強度分布から最善の点像強度分布を選択するステップと、
［ｅ］前記最善の点像強度分布を用いて前記キャプチャ画像をボケ補正するステップと
を含む方法。
【請求項１８】
前記運動パラメータ値集合内の値の少なくとも一つが測定感度値を含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記複数の画像ブロックの前記点像強度分布から最善の点像強度分布を選択する前記ステップ［ｄ］が交差検定手順を使用するステップを含むことを特徴とする請求項１７に記載の方法。
【請求項２０】
請求項１７の方法を実行する命令集合を含むコンピュータ読取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概ね画像処理の分野に関し、より詳細には画像をキャプチャしている間の撮像装置の運動によりキャプチャされた画像に導入されるボケを補正するシステム及び方法に関する。
【背景技術】
【０００２】
デジタルカメラは露光時間と呼ばれる期間にわたり半導体デバイスにフォーカスされるエネルギーを集積することにより画像をキャプチャする。カメラが露光時間中に移動すれば、キャプチャされた画像はぼける可能性がある。いくつかの要因がカメラの運動に寄与し得る。人間の最善の努力にもかかわらず、写真を取っている間のわずかな無意識の移動がボケ画像を生じ得る。カメラの大きさがカメラを安定し難くする可能性がある。カメラのシャッタボタンを押すことによりジッタも生じ得る。
【０００３】
ボケはまた長時間露光で写真を撮るときにも起こり易い。例えば、暗い環境での写真撮影は典型的に、良好な品質の画像を得るために長い露光を必要とする。露光時間量が増すにつれ、カメラが長期間静止状態を維持しなければならないので、ボケの危険性も増加する。
【０００４】
ある場合にはカメラの運動は減少でき、あるいは除去さえできる。カメラを三脚又はスタンドの上に置くことによりそれを安定させることができる。暗い環境でのフラッシュの使用は露光時間の減少に役立つ。センサからの信号に応答する複雑な適応型光学系をカメラに組み込むことによりカメラ運動問題を補償しようとする高価な装置もある。
【０００５】
これらの種々の救済策はボケを減少又は除去するのに役立つけれども、それらには限界がある。三脚やスタンドを使用することは常に妥当であるとも実用的であるとも限らない。フェリー、車、又は列車のような移動するデッキから写真を撮るようないくつかの状況においては、三脚やスタンドを使用しても問題を十分には改善できない。フラッシュはカメラと撮影すべき被写体の距離が比較的小さいときしか役立たない。適応型光学系に必要な複雑で高価な部品は全てのデジタルカメラ、特に低価格カメラに使用するには費用がかかりすぎる。
【０００６】
カメラの運動とその結果生じる画像ボケは常に除去できるとは限らないので、キャプチャされた画像からボケを除去しようとする他の解決策に焦点が当てられてきた。画像をボケ補正する撮像後処理技術にはシャープニング及びデコンボリューション（逆畳み込み、ｄｅｃｏｎｖｏｌｕｔｉｏｎ）のアルゴリズムを使用するこが含まれてきた。これらのアルゴリズムはある程度はうまく行っているが、欠陥もある。
【０００７】
例えば、ブラインド・デコンボリューション・アルゴリズム（ｂｌｉｎｄ  ｄｅｃｏｎｖｏｌｕｔｉｏｎ  ａｌｇｏｒｉｔｈｍ）を考えよう。ブラインド・デコンボリューションはボケ画像から真の、ボケのない画像を抽出しようとする。その最も単純な形式では、ボケ画像は、真の画像と、典型的には点像強度分布（ｐｏｉｎｔ  ｓｐｒｅａｄ  ｆｕｎｃｔｉｏｎ「ｐｓｆ」）と呼ばれるボケ関数とのコンボリューションとしてモデル化することができる。ボケ関数は少なくとも部分的には露光時間中のカメラ運動を表す。ブラインド・デコンボリューションは、真の画像に関する知識も、点像強度分布に関する知識もないために「ブラインド」である。真の画像とボケ関数は推量され、次いで共にコンボリューション（畳み込み、ｃｏｎｖｏｌｕｔｉｏｎ）される。次いで、得られた画像が実際のボケ画像と比較される。その比較に基づいて補正値が計算され、この補正値が真の画像、ボケ関数、又はその両方の新しい推定値を生成するために使用される。処理は真の画像が現れることを期待して反復される。二つの変数である真の画像とボケ関数が最初に推定され、反復的に変更されるので、ブラインド・コンボリューション法が解に収束しなかったり、真の画像を生じない解に収束したりするかも知れない。
【０００８】
【特許文献１】米国特許第5,309,190号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従って、必要なことは、ぼけたキャプチャ画像が与えられたら、真のボケのない画像の、より良い画像を作り出すシステム及び方法である。
【課題を解決するための手段】
【００１０】
本発明の態様によれば、キャプチャ画像をボケ補正するシステム及び方法が開示される。ある実施例において、少なくとも一つの運動センサを含む撮像装置で撮られたぼけたキャプチャ画像は、露光時間中のイメージセンサアレーの運動に関連する、運動センサからの運動パラメータを含む、パラメータ集合を得ることによりボケ補正することができる。パラメータの少なくとも一つは、露光時間中に取り得る運動経路を表す運動経路群を定義できるように、例えば測定許容誤差のような関連する間隔値を含んでもよい。撮像装置の光学的点像強度分布と運動経路群から選択された運動経路のコンボリューションを表す推定点像強度分布が得られる。推定ボケ補正画像が選択されたら、キャプチャ画像、推定ボケ補正画像、及び推定点像強度分布に基づいて新しい推定点像強度分布を計算できる。運動パラメータ集合及び関連する間隔値に対する最適化は、その運動パラメータ集合及び関連する間隔値内で、その新しい推定点像強度分布に最もよく合う最適化された点像強度分布を生じる最適化されたパラメータ値集合を求めるために実行される。運動パラメータ集合及び関連する間隔値に対して最適化することにより、点像強度分布は取り得る運動経路群内に入るように制約される。次いで、最適化された点像強度分布は新しい推定ボケ補正画像を計算するために使用できる。この処理は設定回数だけ、あるいは画像が収束するまで繰り返してもよい。
【００１１】
本発明のもう一つの態様によれば、キャプチャ画像は大きいキャプチャ画像の部分又は画像ブロックを表してもよい。一つの実施例において、キャプチャ画像はキャプチャ画像から二つ以上の画像ブロックを選択することによりボケ補正してもよい。各画像ブロック内で、キャプチャ画像がキャプチャされる間に運動センサにより取られた運動パラメータ値集合と矛盾しないような各点像強度分布が推定される。デコンボリューション・アルゴリズムが各画像ブロックをボケ補正するために採用され、そこでは、画像ブロックの点像強度分布の何れに対する修正も露光時間中に運動センサにより取られた運動パラメータ値集合と矛盾しない。一つの実施例において、各画像ブロックの点像強度分布から最善の点像強度分布を選択するために複数の画像ブロック間の情報の交差検定を使用してもよく、キャプチャ画像はこの点像強度分布を用いてボケ補正される。
【００１２】
発明の特徴及び利点がこの要約の節では一般的に、以下の詳細な説明の節では実施例に沿って述べられるが、発明の範囲がこれらの特定の実施例に限定すべきでないことは言うまでもない。本願の図面、明細書、及び特許請求の範囲に照らせば多くの更なる特徴及び利点が当業者には明らかとなるであろう。
【発明を実施するための最良の形態】
【００１３】
以下の記述において、説明を目的として、個々の詳細が発明の理解を与えるために記載される。しかしながら、発明がこれらの詳細を用いずに実施できることは当業者には明らかであろう。以下に述べる本発明の実施例が種々のやり方で、またさまざまな手段を用いて実行できることは当業者には分かるであろう。また発明が効用をもたらす更なる分野がそうであるように、更なる変形、用途及び実施例がその範囲内にあることも当業者には分かるであろう。従って、以下に述べる実施例は発明の個々の実施例の説明であり、発明を曖昧にすることを避けることを意図したものである。
【００１４】
明細書中の「一つの実施例」又は「ある実施例」と呼んでいるのは実施例に関連して述べられる特定の特徴、構造、特性、又は機能が本発明の少なくとも一つに含まれることを意味する。更に、明細書の種々の個所に「一つの実施例において」、「ある実施例において」等の言い回しがあるのは、必ずしも全て同じ実施例のことを指しているのではない。
【００１５】
図１は本発明のある実施例によるデジタル撮像装置１００を示す。撮像装置１００はイメージセンサアレー１０２に像を結ぶレンズ１０１を備える。イメージセンサアレー１０２は電荷結合デバイス（ＣＣＤ）センサアレー又は相補型金属酸化膜半導体（ＣＭＯＳ）センサアレーのような半導体デバイスでもよい。イメージセンサアレー１０２はイメージセンサアレー１０２によりキャプチャされた画像を処理する処理装置又は特定用途向け集積回路に通信可能に連結される。ある実施例において、撮像装置１００はデータを一時的又は恒久的に、あるいはその両方で記憶するために処理装置１０３により使用するための恒久又はリムーバブルメモリ１０４を備えていてもよい。
【００１６】
処理装置１０３には運動センサ１０５も通信可能に連結される。運動センサ１０５は処理装置１０３に露光時間中の運動情報を提供する。以下により詳細に議論するように、運動センサ１０５からの運動情報はボケ補正処理中の点像強度分布推定値を制約するために使用される。
【００１７】
運動センサ１０５はジャイロスコープ、加速度計、磁気センサ、及びその他の運動センサのような一つ以上の運動検知装置を備えてもよい。ある実施例において、運動センサ１０５は一または複数の運動検知装置を備える。代わりの実施例において、運動センサ１０５の運動検知装置は撮像装置１００内又はその上の異なる位置に配置してもよい。正確で、コンパクトで、安価な運動センサ及びジャイロスコープの出現により現在では撮像装置内に（低価格デジタルカメラでさえ）そのような装置を組み込むことが可能になっている。
【００１８】
撮像装置１００が本発明を説明するために提示される。その理由により、本発明の実施には特にどの撮像装置又は撮像装置構成が重要であるということはないことは言うまでもない。実際に、キャプチャ画像がデジタル化され、運動センサが備わった何れのデジタル撮像装置も、あるいは非デジタル撮像装置も本発明を実行できることが当業者には分かるであろう。更に、本発明はデジタルカメラ、ビデオカメラ、携帯電話、パーソナルデータアシスタンツ（ＰＤＡ）、ウェブカメラ、コンピュータ等を含む（これらには限らないが）デジタル撮像装置を組み込んだ如何なる装置にも利用できる。
【００１９】
2007020167.tif 000003
【数１】
2007020167.tif 000004
【００２０】
ただし、ｈ（ｘ，ｙ）は撮像装置の運動と撮像装置の光学系を組合せた効果を表す点像強度分布を表し、「＊」はコンボリューション演算子を表し、ｎ（ｘ，ｙ）は加法性ノイズ（ａｄｄｉｔｉｖｅ  ｎｏｉｓｅ）である。
【００２１】
ある実施例において、撮像装置１００のイメージセンサアレー１０２はキャプチャすべき画像のウィンドーをサンプリングし、画像装置１００が動くとこのウィンドーが動く。運動センサ１０５から得られた全ての運動情報はシャッタが開いていたときのこのウィンドーの位置と向きに対するものであると見なされる。画像の被写体はカメラの焦点距離の多数倍の距離にあると見なされるので、運動は画像センサアレー１０２面内の並進（ｔｒａｎｓｌａｔｉｏｎ）と、未知の回転中心の周りの一連の運動測定間の小さい回転（ｓｍａｌｌ  ｒｏｔａｔｉｏｎ）との合成であると見なされ、これらはどのように撮像装置１００が使用者に保持されているかに依存する。
【００２２】
図２は本発明の実施例によるぼけたキャプチャ画像からボケ補正された画像を得る方法を描く。描かれた実施例において、この方法はキャプチャ画像内に画像ブロックを確定する（２１０）ことで始まる。ある実施例において、画像ブロックはキャプチャ画像全体であってもよい。代わりの実施例において、同じキャプチャ画像から複数の画像ブロックが選択されてもよい。画像ブロックは高いコントラスト及び画像変動を有する画像領域、あるいは例えば晴れた夜に遠くから撮られた街灯の画像のような高いコントラスト及び「点状」特徴を有する画像領域を含むように選択されてもよい。ボケ画像の内部にある画像ブロックの使用は画像全体から点像強度分布を推定することに関連する境界問題のいくつかを回避する。各画像ブロック内で、運動センサ１０５により提供されるパラメータと撮像装置光学系に基づいて点像強度分布が推定される（２２０）。このステップは物理的制約の組み入れが点像強度分布推定値をよりうまく制約できるように、ブラインドのノンパラメトリック・アプローチに代わり、パラメータとして運動センサ１０５からの測定値を用いるパラメトリック最適化を用いる。各画像ブロックからの点像強度分布が、運動推定値の精度を高めるために組み合わされる（２３０）。ある実施例において、各画像ブロックからの点像強度分布は回転中心の推定値の精度を高めるためにも組み合わされる。
【００２３】
各画像ブロック内の回転による運動の寄与が、ブロック間では異なるけれどもブロック内の各画素に対しては同じである並進として効率的にモデル化できるので、画像全体ではなく小さい画像ブロックに対して点像強度を推定することが更なる簡略化をもたらすことは言うまでもない。この簡略化は、例えばカメラ、携帯電話等におけるように、一般的に回転中心が運動センサから遠く離れている典型的な手持ち装置において妥当である。また回転角も小さいと見なしてもよい。
【００２４】
図２に戻れば、点像強度分布を推定し、それらを画像ブロック間で比較する処理が、ボケ補正画像が収束し（２５０）、あるいは処理が設定回数反復される（２５０）まで、繰り返される（２４０）。図２の以上の各ステップを以下により詳細に説明する。
【００２５】
１．パラメータ
ある実施例において、点像強度分布を規定又は制約するのを補助するために本発明において使用されるパラメータは以下のタプル（ｔｕｐｌｅ）で表すことができる。
【００２６】
【数２】
2007020167.tif 000005
【００２７】
ただし、ｔiはシャッタの開放からの時間を表し、ｓx（ｔi）及びｓy（ｔi）は運動センサ１０５からの並進入力であり、ｓθ（ｔi）は運動センサ１０５からの回転入力であり、ｒ（ｔi）は画像の位置（例えば、画像の左下隅）に対する未知の回転中心であり、αは運動測定値を画素空間に写像する未知の定数である。イメージセンサアレー画素が正方形でないなら、二つのパラメータαx及びαyが単一のαパラメータに代わり使用できる。ある実施例において、ｒ（ｔi）とαの値は装置寸法と事前の較正に基づいて既知である。代わりの実施例において、ｒ（ｔi）とαの値は計算の過程で推定される。これらの値は推定すべきパラメータ集合における未知数としてそれらに加算することにより推定できる。以下により詳細に説明する各最適化ステップにおいて、測定値と矛盾しない最善の推定値を選択するためにこれらの変数に対する探索が行われてもよい。典型的には、ｒ（ｔｉ）及びαの取り得る範囲に対する利用可能なうまい制約がある。この方法は「期待値最大化」アルゴリズムの一例であることが当業者なら分かるであろう。
【００２８】
ある実施例において、パラメータタプル内の変数が十分頻繁にサンプリングされ、測定値の滑らかな内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ）がこれらの変数の連続的な展開を表せるほど運動が十分滑らかであると見なされる。一つの実施例において、パラメータは運動の最大周波数の少なくとも２倍でサンプリングされる。
【００２９】
ある実施例において、カルマンフィルタ（Ｋａｌｍａｎ  ｆｉｌｔｅｒｉｎｇ）のような周知の手順を用いてパラメータを推定するためにノイズを含む測定値を使用してもよい。代わりの実施例において、各測定に対して許容誤差を指定してもよく、これらの許容誤差を、以下により詳細に提示するように、反復的点像強度分布推定を行いながら測定値の精度を高めるために使用される制約条件として定式化してもよい。
【００３０】
ある実施例において、撮像装置１００の光学系に関連する光学的点像強度分布は一定と見なされ、照明されたピンホール等の点光源のいくつかの画像を記録及び平均化することにより推定してもよい。
【００３１】
２．運動と光学的点像強度分布の組合せの作成
図３は本発明のある実施例による組合せ点像強度分布を作成する方法を描く。運動と光学的ボケの両方を表す点像強度分布は上の式（２）のタプルに指定された運動パラメータに従って移動する像面上の点の経路を作成する（３１０）ことにより作成できる。位置（ｘ（０），ｙ（０））で始まる像点が辿る経路（ｘ（ｔ），ｙ（ｔ））は以下により与えられる。即ち、
【数３】
2007020167.tif 000006
【００３２】
ただし、Ｒθは回転行列を表し、
【数４】
2007020167.tif 000007
【００３３】
回転中心がセンサ１０５に対して移動しないと仮定すれば、ｒ（ｔ）はｒ（０）の回転形と同じである。即ち、
【数５】
2007020167.tif 000008
【００３４】
ある実施例において、曲線ｓx（ｔ）、ｓy（ｔ）、及ｓθ（ｔ）は運動センサ１０５から得られた測定データからのスプライン内挿（ｓｐｌｉｎｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）により生成できる。曲線群は運動センサ１０５の測定の許容誤差及び感度に基づいて得ることができる。以下により詳細に説明するように、最適化の間、この曲線群はボケ補正処理を改善するために勾配探索法及び線探索法（ｇｒａｄｉｅｎｔ  ａｎｄ  ｌｉｎｅ−ｂａｓｅｄ  ｓｅａｒｃｈｅｓ）を用いて探索することができる。
【００３５】
図４は運動センサ１０５から受け取ったパラメータから作成された像面内の例示的運動経路４００を描く。運動経路４００は線分要素（ｓｅｇｍｅｎｔ  ｅｌｅｍｅｎｔｓ）４１０Ａ〜ｎの配列から成っている。ある実施例において、各線分要素４１０は等しい時間間隔Δｔを表す。従って、いくつかの要素４１０は与えられた時間間隔における速度により他の要素より大きい距離移動し得る。光エネルギーがある時間間隔にわたりイメージセンサアレー１０２の画素素子により積分されたときに像が作り出される。露光時間に対するセンサ素子の線形応答を仮定すれば、経路における各画素の強度は画素内の点により費やされる時間に比例する。
【００３６】
図３に戻れば、式（２）のタプルに指定された運動パラメータに従って移動する像面上の点の経路から作成された運動経路は撮像装置１００の光学的点像強度分布とコンボリューションされる（３２０）。ある実施例において、光学的点像強度分布は照明されたピンホールのような点光源のいくつかの像を記録及び平均することにより得ることができる。そのようなモデル化の測定を行うために種々の方法が存在し、それらが本発明の範囲内にあることが当業者には分かるであろう。コンボリューション結果である、運動と光学的点像強度分布の組合せは、アレーの各素子が０以上であり、アレー内の全ての素子の和が１となるように正規化される（３３０）。
【００３７】
こうして運動と光学的点像強度分布の合成ｈ（ｘ，ｙ）は以下により与えられる。即ち、
【数６】
2007020167.tif 000009
また、
【数７】
2007020167.tif 000010
【００３８】
ただし、０（ｘ，ｙ）は光学的点像強度分布であり、Ｔは露光時間、ｘ（ｔ）、ｙ（ｔ）は画像特徴経路を辿り、δ（．）はディラックのデルタ関数（Ｄｉｒａｃ  ｄｅｌｔａ  ｄｉｓｔｒｉｂｕｔｉｏｎ）である。
【００３９】
純粋な並進運動が全ての位置（ｘ，ｙ）に対して同じｈ（ｘ，ｙ）をもたらすことは言うまでもない。しかしながら、回転によりｈ（ｘ，ｙ）は（ｘ，ｙ）に依存する。今の展開に関して、回転は小さく、小さい画像ブロック（回転半径と比較して）にわたっては、回転方向に沿った並進により近似できると見なしてもよい。
【００４０】
図５は運動と光学的点像強度分布の組合せ又は合同の生成を図解する。運動経路の点像強度分布５００は運動センサ１０５から得られる運動パラメータに従って移動する像面上の点の経路を作成する（３１０）ことにより導き出される。光学的点像強度分布５１０は撮像装置１００の性能に関連し、事前の測定から得ることができる。運動経路点像強度分布５００は光学的点像強度分布５１０とコンボリューションされて（５２０）組合せ点像強度分布５３０を得る。
【００４１】
３．画像ブロック
処理を減らし、小さい領域内では一定であるが領域間では変化する小さい並進として回転を扱うという簡略化を考慮するために、キャプチャ画像にわたり二つ以上の画像ブロックを定めてもよい。画像ブロックを選択するために、サポート領域の寸法が確定される。ある実施例において、サポート領域は組合せ点像強度分布ｈ（ｘ，ｙ）と境界を接するぎりぎりの矩形（即ち、｛（ｘ，ｙ）：ｈ（ｘ，ｙ）＞０｝）である。即ち、サポート領域は運動及び光学的ボケの両方を既述する点像強度分布を含む程度の大きさである。ある実施例において、組合せ点像強度分布に対するｈ（ｘ，ｙ）サポート領域と境界を接するぎりぎりの矩形がＷｘＨの寸法を持つとすると、画像ブロックは寸法（２Ｊ＋１）Ｗｘ（２Ｋ＋１）Ｈ（ただし、Ｊ及びＫは自然数）をもつ矩形ブロックとして定めてもよい。ある実施例において、Ｊ及びＫは５以上でもよい。そのような定められた画像ブロック内の中央のＷｘＨの矩形は画像ブロックのサポート領域と呼ばれる。
【００４２】
例示的画像ブロックがそれらの個々のサポート領域と共に図６に描かれる。多数の画像ブロック６２０Ａ〜６２０ｎがキャプチャ画像６１０内に確定される。ある実施例において、画像ブロックは高いコントラスト及び画像変動を有する画像領域を含むように選択される。ボケ画像の内部にあるブロックの使用は画像全体から点像強度分布を推定することに関連する境界問題のいくつかを回避する。各画像ブロック６２０Ａ〜６２０ｎは対応するサポート領域６３０Ａ〜６３０ｎを処理し、これは組合せ点像強度分布を含む程度の大きさである。ある実施例において、各画像ブロックは対応するサポート領域が重ならない限り重なってもよい。例えば、画像ブロック６２０Ａと６２０Ｂは重なるが、それらの対応するサポート領域６３０Ａと６３０Ｂは重ならない。
【００４３】
４．パラメトリック・セミブラインド・デコンボリューション
2007020167.tif 000011
【００４４】
2007020167.tif 000012
【００４５】
2007020167.tif 000013
【数８】
2007020167.tif 000014
【００４６】
ただし、ＦＦＴ（）は高速フーリエ変換を表す。次に、変換された組合せ点像強度分布が計算される。即ち、
【数９】
2007020167.tif 000015
【００４７】
2007020167.tif 000016
【００４８】
2007020167.tif 000017
【数１０】
2007020167.tif 000018
【００４９】
2007020167.tif 000019
【００５０】
前記のように、測定されたパラメータは何らかの測定許容誤差又は誤差をもち得る。従って、式（２）の各パラメータはセンサ特性、測定値の信頼性、及び撮像装置１００部品についての事前情報により決定される値の範囲内にあると見なすことができる。ある実施例において、タプル式（２）における何れかの測定パラメータｐに関し、真のパラメータ値は範囲（ｐmeasured−Δｐ，ｐmeasured＋Δｐ）内にある可能性がある。測定パラメータが対称に設けられた間隔をもたず、むしろ非対称な間隔値を持ち得ることが当業者には分かるであろう。図８Ａは運動経路８００を描く。許容誤差のために、実際の運動経路８００は測定の許容誤差又は感度内に入る運動経路群８０５の何れの経路でもあり得る。組合せ点像強度分布の新しい推定値の計算中に、部分８１５Ａ、８１５Ｂが取り得る運動経路群８０５の外側に来る運動経路８１０Ａを生成することが起こり得る。そのような運動経路８１０Ａは、測定誤差を考慮しても測定パラメータを超えるので実際の運動経路のよい推定値ではない。ある実施例において、図８Ｃに描かれるように、推定運動経路は測定範囲内に入るように部分８１５Ａ、８１５Ｂを切り取ることにより補正してもよい。ある実施例において、切り取られた運動経路８１０Ｂはローパスフィルタにより平滑化してもよい。補正された運動経路８１０Ｂは運動経路のより現実的な推定値を提供し、延いてはよりよいボケ補正画像の生成に役立つはずである。
【００５１】
ある実施例において、運動経路を切り取る代わりに、間隔制約条件を滑らかな非制約変数に写像することにより間隔制約条件が課されてもよい。ある実施例において、間隔制約条件は以下の変換を用いて滑らかな制約変数に写像してもよい。即ち、
【数１１】
2007020167.tif 000020
【００５２】
ただし、ｐunconstrainedは制約されない実数であり、γはスケールファクターである。制約パラメータを非制約変数に写像することにより、如何に無作為に値を非制約変数に割り当てても、常に対応する制約パラメータを矛盾なく割当てる結果となって間隔制約条件内に入ることを保証する。
【００５３】
名目上指定されたパラメータαx、αy、及びｒ（０）は事前情報に基づいて非制約変数に写像することができる。ある実施例において、αx、αyに関する事前情報は画素幅と画素高さに対する値の範囲を含み、ｒ（０）に対する事前情報は回転中心に対する取り得る距離の範囲を含む。ある実施例において、範囲の最小及び最大値は、この範囲外の値を取る得る確率変数の確率が小さくなるように決定される。ｒ（ｔ）が上の式（５）に従って展開すると見なすこともできる。
【００５４】
2007020167.tif 000021
【００５５】
2007020167.tif 000022
【数１２】
2007020167.tif 000023
【００５６】
次に、変換されたボケ補正画像は以下の式に従って計算される。即ち、
【数１３】
2007020167.tif 000024
【００５７】
2007020167.tif 000025
【数１４】
2007020167.tif 000026
【００５８】
2007020167.tif 000027
【００５９】
処理はボケ補正画像に収束するように反復される。ある実施例において、ボケ補正アルゴリズムはボケ補正画像が収束する（７４５）まで反復される。ある実施例において、カウンタｋが各通過において１だけ増やされ、処理が一定反復数繰り返され（７４５）てもよい。
【００６０】
５．画像ブロック間の情報の統合
2007020167.tif 000028
【００６１】
ある実施例において、各ブロックのデコンボリューションサイクルの終わりに配布すべき最善のパラメータは一般化された交差検定法を用いて決定することができる。先ず検定誤差が各画像ブロックに対して計算される。この検定誤差は以下のように定義される。即ち、
【数１５】
2007020167.tif 000029
【００６２】
2007020167.tif 000030
【００６３】
次いで、Ｎ−１個の画像ブロックの中の最小のＥ(n)に相関付ける最善のパラメータ集合が残りの画像ブロックのボケ補正に使用され、検定誤差がこの画像ブロックに対して計算される。この処理はＮ個の検定誤差の集合を計算するためにＮ回繰り返される。最小の検定誤差をもつパラメータ集合が全ての画像ブロックに配布される。パラメータのこの選択による全ての画像ブロックの平均検定誤差が解の品質の尺度として記録される。
【００６４】
本発明がウェブカメラ、デジタルカメラ、カメラ機能付き携帯電話、カメラ機能付きパーソナルデータアシステンツ（ＰＤＡ）等を含む（これらには限らないが）如何なる数の装置にも利用し得ることが当業者には分かるであろう。また本発明がソフトウェア、ハードウェア、ファームウェア、又はその組合せの形式の命令のプログラムにより実行できることも言うまでもない。ソフトウェアの形式では、命令のプログラムはコンピュータ読取り可能な媒体で具現化でき、それらは電磁搬送波を含むそのような命令を保持する如何なる適当な媒体（例えば装置メモリ）でもよい。
【００６５】
本発明は種々の変形及び代替形に影響を受けるが、その具体的な例が図面に示されたし、本願に詳細に述べられている。しかしながら、本発明は開示されたこの特定の形式に限定されず、それどころか、本発明は添付の特許請求の範囲の精神と範囲に入る全ての変形、均等物、及び代替を包含することは言うまでもない。
【図面の簡単な説明】
【００６６】
【図１】本発明のある実施例による撮像装置を示す。
【図２】本発明のある実施例によるぼけたキャプチャ画像をボケ補正する方法を示す。
【図３】撮像装置の運動と撮像装置の光学的ボケの両方により生じるボケを表す点像強度分布を作成する、本発明のある実施例による方法を図解する。
【図４】本発明のある実施例による例示的運動経路を図解する。
【図５】本発明のある実施例による特徴運動経路と光学的点像強度分布から合成点像強度分布を図式的に示す。
【図６】本発明のある実施例による画像ブロックを図式的に示したもので、それらの対応するサポート領域がキャプチャ画像内にある。
【図７】本発明のある実施例によるぼけたキャプチャ画像をボケ補正する方法を図解する。
【図８】Ａは本発明のある実施例による測定された運動パラメータに基づく特徴運動経路集合又は群を図解する、Ｂは本発明のある実施例による、推定特徴運動経路のいくつかの部分が、測定された運動パラメータに基づく特徴運動経路群の外側に来るような、デコンボリューションから生じ得る例示的推定特徴運動経路を図解する、Ｃは測定された運動パラメータに基づいた特徴運動経路群内に推定運動経路を維持するために本発明のある実施例に従って修正して来た例示的推定特徴運動経路を図解する。
【符号の説明】
【００６７】
１００  撮像装置
１０１  レンズ
１０２  イメージセンサアレー
１０３  処理装置
１０４  メモリ
１０５  運動センサ
４００  運動経路
５００  運動経路点像強度分布
５１０  光学的点像強度分布
５２０  コンボリューション
５３０  組合せ点像強度分布
６１０  キャプチャ画像
６２０Ａ〜６２０ｎ  画像ブロック
８００  運動経路
８０５  運動経路群
８１０  運動経路
８１５  運動経路
【図１】
2007020167.tif 000031
【図２】
2007020167.tif 000032
【図３】
2007020167.tif 000033
【図４】
2007020167.tif 000034
【図７】
2007020167.tif 000035
【図５】
2007020167.tif 000036
【図６】
2007020167.tif 000037
【図８】
2007020167.tif 000038