(57)【要約】  鏡面ハイライトを含む画像（７５）のぼけ劣化を推定する方法及び装置（７０）が提供される。まず、画像内の鏡面ハイライトが、例えばユーザの援助を用いて識別される（７７）。次に、識別された鏡面ハイライトを前景として画像（７５）から抽出する（７８Ａ）ことおよび抽出された前景をブラーカーネル（７８Ｃ）として使用することによって、ブラーカーネルが導出される。次に、画像（７５）は、導出されたブラーカーネルを用いて、デコンボリューション（７９）によって、ぼけ除去され得る。【選択図】図７
2012515970.tif 000002
【特許請求の範囲】
【請求項１】
鏡面ハイライト（２１）を含む画像（２０）のぼけ劣化を推定する方法であって、データ処理装置（７０）が、
前記画像（２０）内の鏡面ハイライト（２１）を識別すること（７７）と、
前記識別された鏡面ハイライト（２１）を前景として前記画像（２０）から抽出すること（７８）および前記抽出された前景（３１）をブラーカーネルとして使用することによって、ブラーカーネル（２４）を導出することと
を含む方法。
【請求項２】
前記抽出された前景（３１）は、前記ブラーカーネル（２４）として使用するために正規化される
請求項１に記載の方法。
【請求項３】
鏡面ハイライト（２１）は、アルファマッティングアルゴリズムを使用して、前景（３１）として前記画像から抽出される（７８）
請求項１に記載の方法。
【請求項４】
前記画像（２０）内の鏡面ハイライト（２１）の識別（７７）は、鏡面ハイライト（２１）の前記画像（２０）内の位置を示すユーザ入力に基づいて、前記処理装置（７０）によって実行される
請求項１に記載の方法。
【請求項５】
前記ユーザ入力は、前記画像（２０）内の背景位置も示す
請求項４に記載の方法。
【請求項６】
前記画像（２０）内の鏡面ハイライト（２１）を識別すること（７７）は、
可能な鏡面ハイライト（２１）として候補画像特徴物を選択し、
前記画像（２０）の前記選択された候補特徴物（２１）をユーザに提示し、
どの候補特徴物がさらなる処理において鏡面ハイライト（２１）として使用されるかに関して、ユーザ入力を受け取る
ことによって、前記データ処理装置（７０）によって実行される
請求項１に記載の方法。
【請求項７】
前記画像（２０）内の鏡面ハイライト（２１）を識別すること（７７）は、ユーザ入力なしに前記データ処理装置（７０）によって自動的に実行される
請求項１に記載の方法。
【請求項８】
鏡面ハイライト（２１）を含む画像（２０）をぼけ除去する方法であって、
請求項１に記載の方法を使用してブラーカーネルを導出することと、
前記導出されたブラーカーネル（２４）を使用して、デコンボリューションによって前記画像（２０）をぼけ除去する（７９）ことと
を含む方法。
【請求項９】
デコンボリューションは、ルーシー・リチャードソンプロセスを使用して実行される
請求項８に記載の方法。
【請求項１０】
鏡面ハイライト（２１）を含む画像（２０）のぼけ劣化を推定するデータ処理装置（７０）であって、
前記画像（２０）内の鏡面ハイライト（２１）を識別し、
前記識別された鏡面ハイライト（２１）を前景として前記画像（２０）から抽出こと（７８）および前記抽出された前景（３１）をブラーカーネルとして使用することによって、ブラーカーネル（２４）を導出する
ようにアレンジされた処理アレンジメント（７１）
を有する装置（７０）。
【請求項１１】
前記処理アレンジメント（７１）は、前記抽出された前景（３１）を、前記ブラーカーネル（２４）として使用するために正規化するようにさらにアレンジされる
請求項１０に記載の装置。
【請求項１２】
前記処理アレンジメント（７１）は、アルファマッティングアルゴリズムを使用して、前記鏡面ハイライト（２１）を前景（３１）として前記画像（２０）から抽出するようにアレンジされる
請求項１０に記載の装置。
【請求項１３】
前記装置（７０）は、
ユーザインタフェース（７４）
をさらに有し、
前記処理アレンジメント（７１）は、前記ユーザインタフェース（７４）を介して受け取られたユーザ入力に基づいて、前記画像（２０）内の鏡面ハイライト（２１）の識別するようにアレンジされ、
前記ユーザ入力は、鏡面ハイライト（２１）の前記画像（２０）内の位置を示す
請求項１０に記載の装置。
【請求項１４】
前記ユーザ入力は、前記画像（２０）内の背景位置をさらに示す
請求項１３に記載の装置。
【請求項１５】
前記装置は、
ユーザインタフェース（７４）
をさらに有し、
前記処理アレンジメント（７１）は、
前記画像（２０）内の鏡面ハイライト（２１）を識別すること（７７）は、
可能な鏡面ハイライト（２１）として候補画像特徴物を選択し、
前記ユーザインタフェース（７４）を介して、前記画像（２０）の前記選択された候補特徴物（２１）をユーザに提示し、
前記ユーザインタフェース（７４）を介して、どの候補特徴物がさらなる処理において鏡面ハイライト（２１）として使用されるかに関して、ユーザ入力を受け取る
ことによって、前記画像（２０）の鏡面ハイライト（２１）を識別するようにアレンジされる
請求項１０に記載の装置。
【請求項１６】
前記画像（２０）内の鏡面ハイライト（２１）を識別することは、ユーザ入力なしに前記データ処理装置（７０）によって自動的に実行される
請求項１０に記載の装置。
【請求項１７】
前記処理アレンジメント（７１）は、前記導出されたブラーカーネル（２４）を使用して、デコンボリューションによって前記画像（２０）をぼけ除去する（７９）ようにさらにアレンジされる
請求項１０に記載の装置。
【請求項１８】
デコンボリューションは、ルーシー・リチャードソンプロセスを使用して実行される
請求項１７に記載の装置。
【請求項１９】
少なくとも１つの鏡面ハイライト（２１）を含む画像（２０）をぼけ除去するデータ処理装置（７０）であって、
前記データ処理装置（７０）は、
プログラムによって制御される処理アレンジメント（７１）と
プログラムコードを記憶するメモリ（７２）と
を有し、
前記プログラムコードは、前記処理アレンジメント（７１）によって実行されたときに、前記装置（７０）が、
前記画像（２０）内の鏡面ハイライト（２１）を識別し、
前記識別された鏡面ハイライト（２１）を前景として前記画像から抽出することおよび前記抽出された前景（３１）をブラーカーネルとして使用することによって、ブラーカーネル（２４）を導出し、
前記導出されたブラーカーネル（２４）を使用して、デコンボリューションによって前記画像（２０）をぼけ除去する
ように機能する
装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鏡面ハイライト（specular highlight）を含む画像のぼけ劣化（blur degradation）を推定する（estimate）方法および装置に関する。
【背景技術】
【０００２】
画像の復元は、例えばぼけ又は追加ノイズなどの劣化を受けた破損された画像から画像を推定するプロセスである。
任意の種類の画像の復元を行うために、劣化プロセスの知識が必要とされる。
所与の劣化された画像をキャプチャするために使用されたイメージングシステムについての情報がない場合、劣化は、劣化された画像自体から、直接、推定されなければならない。このタイプの推定は、ブラインド推定（blind estimation）として知られている。
【０００３】
画像のぼけ劣化は、典型的には、ブラーカーネル（blur kernel）と呼ばれるぼけ関数（blurring function）を用いて、劣化されていない画像の相互作用としてモデル化される（modelled）。この相互作用の形式は、例えば、劣化されていない画像の画素を伴うブラーカーネルの、空間に存在する領域の畳み込み（convolution：コンボリューション）として表現される。
【０００４】
ぼけ劣化のブラインド推定に対する以前の取り組みは、典型的には、ブラーカーネルシェイプについて、画像上の周波数領域抑制又は簡易化したパラメータ形式を前提とする。
しかしながら、現実世界のぼけは、しばしば、はるかに複雑であり、高い周波数のコンポーネントを含むことが多く、まれにしか、少数のパラメータを含む関数によって調整され得ない。
例えば、カメラ振動によって誘発されたブラーカーネルは、複雑であり、畳み込まれた（convoluted）パスを含み得るが、動きは、しばしば、線形であると推定される（つまり、ブラーカーネルは、単に角度及びサイズで特徴付けられる）。
同様に、焦点ぼけは、しばしば、単純な円盤又は低周波数フーリエコンポーネント（例えば規格化したガウス関数）としてモデル化されるが、実際には、ブラーカーネルシェイプは、はるかに複雑（elaborate）であり、鋭いエッジ（sharp edge）を含む。
【０００５】
いくつかのぼけ推定方法は、劣化された理想ステップエッジからのぼけ関数（blur function）の推定に基づいている文献において提案されている（例えば、O. Shacham、O. HaikおよびY. Yitzakyの論文「Blind Restoration of Atmospherically Degraded Images by Automatic Best Step-Edge Detection」を参照）。
通常、理想ステップエッジは、ノイズが広い領域にわたって平均化されるように充分に長いハイコントラストのストレートエッジである。ここで、ハイコントラストのエッジ及びストレートのエッジが、ノイズ比により良い信号を与えるため、及び、ハイコントラストのエッジ及びストレートのエッジが分析において一般的であり比較的に信頼性があるため、ハイコントラストのエッジ及びストレートのエッジが探求される。
このような劣化された理想ステップエッジのそれぞれから、考慮された（considered）エッジの方向におけるブラーカーネルの投影（projection）を推定することができる。
あいにく、たとえいくつかの異なる方向に進んでいるエッジが考慮されたとしても、ブラーカーネルを正確に導出することは、非常に困難である。
【発明の概要】
【０００６】
本発明の１つの特徴によれば、鏡面ハイライトを含む画像のぼけ劣化を推定する方法が提供され、本方法は、データ処理装置が、前記画像内の鏡面ハイライトを識別することと、前記識別された鏡面ハイライトを前景として前記画像から抽出することおよび前記抽出された前景をブラーカーネルとして使用することによって、ブラーカーネルを導出することとを含む。
【０００７】
本発明は、鏡面ハイライトを含む画像のぼけ劣化を推定するための装置を処理する対応するデータも提供する。
【図面の簡単な説明】
【０００８】
以下、本発明の実施形態が、限定を目的としない例示として、添付の本発明の実施形態の図表を参照して、説明される。
【０００９】
【図１Ａ】鏡面ハイライトを示す、ぼけていない画像を例示する図である。
【図１Ｂ】図１Ａに示された画像のぼけたバージョンを示す図である。
【図２】鏡面ハイライトを含むぼけ画像が、ブラーカーネルを介して、対応するシャープ画像にどのように関係しているかを例示する図である。
【図３】図２のぼけ画像の、ぼけ背景シーンとぼけ鏡面ハイライトとの分解を例示する図である。
【図４】図２のシャープ画像の、シャープ背景シーンとインパルスとの分解を例示する図である。
【図５】図２のぼけ画像が、ブラーカーネルを介して、対応するシャープ背景シーン及びインパルスとどのように関係しているかを例示する図である。
【図６】図３のぼけ鏡面ハイライトとインパルスとブラーカーネルとの関係を例示する図である。
【図７】本発明を具現化する装置であって、本装置の支援により実施される主な処理ステップを重ね合わせた図である。
【図８Ａ】図７の装置によって受け取られたぼけ鏡面ハイライトを示す例示のぼけ入力画像を示す図である。
【図８Ｂ】図８Ａのぼけ鏡面ハイライトの拡大図を示す。
【図８Ｃ】図７の装置による処理の後の図８Ａの画像のぼけ除去がなされたバージョンを示す。
【発明を実施するための形態】
【００１０】
発明を実施するための最良の形態
原則として、現実のシーンにおける表面からの光の反射は、２つの主要なカテゴリである拡散反射（diffuse）と鏡面反射（specular）に分類される。
拡散反射は、表面を貫通し、複数の反射を受け、そして再び現れる光線に起因する。
一方、鏡面反射は、表面における現象である。つまり、表面に入射した光線は、反射角が入射角と等しいように反射される。
鏡面反射に起因する光エネルギーは、通常、強いハイライト（明るい領域）を画像に出現させるコンパクトローブ（compact lobe）に集中される。
これらの鏡面ハイライトは、当然、（例えば、水、金属、ガラス等の）光沢のある物体からの反射に出現し得る。
例示の目的で、図１Ａは、オリジナルの、ぼやけていないシーン１０を示す。シーン１０は、鏡面ハイライト（ハイライトを中心とした破線の円によって示される）を含む。
【００１１】
シーンの画像が（あらゆるプロセスによって）生成されたとき、ぼけ劣化が頻繁に引き起こされ、また、例示の目的で、図１Ｂは図１Ａのシーンのぼけ画像（blurred image）１２を示す。
図１Ｂから分かるように、図１Ａの鏡面ハイライトは、明るい円形の特徴物（feature）（ハイライトを中心とした破線の円によって示される）としてぼけ画像１２に現れている。
【００１２】
以下に述べる発明の実施形態によれば、ぼけ画像に現れる鏡面ハイライトは、オリジナルのシーンのぼけ劣化の高い精度のブラインド推定を提供するために使用される。
特に、ブラーカーネル推定は、鏡面ハイライトをぼけ画像から前景（foreground：フォアグラウンド）として抽出することによって、導出される。そして、このブラーカーネルは、ぼけ画像を用いたデコンボリューション（deconvolution：逆畳み込み）によってぼけていない画像（un-blurred image）を復元するために使用される。
【００１３】
ブラーカーネルがどのように推定されるかを説明するために、単純な例を考慮することが有益であろう。
図２を参照すると、ぼけ画像を示す信号２０（この信号は以下「ぼけ（blurry）」信号と呼ばれる）は、ぼけ画像内の鏡面ハイライトに対応するピーク２１を含む。
少なくとも理論上は、ぼけ信号２０は、オリジナルのシーンのぼけていない画像を示す信号２２とブラーカーネル２４とを畳み込む（convolve）ことの結果として考慮され得る（信号２２は以下「シャープ」信号と呼ばれ、鏡面ハイライトに対応するピーク２３を含む）。
図２において、及び本明細書の他の場所で、畳み込み演算は、シンボル
【００１４】
【数１】
2012515970.tif 000003
【００１５】
によって示される。
【００１６】
図３に示すように、ぼけ信号２０は、ぼけ画像内の鏡面ハイライトを示す信号３１（「ぼけ鏡面ハイライト」信号）と、ぼけ画像の背景シーンを示す信号３０（「ぼけ背景」信号）との合成（combination）として考慮され得る。
【００１７】
シャープ信号２２は、単純に、ぼけていない画像の背景シーンを示す信号（「シャープ背景」信号）とぼけていない鏡面ハイライトを示す信号とに分解され得る。
ここで、シャープ画像内の鏡面ハイライトの光エネルギーはコンパクトローブに集中されると仮定され得るので、鏡面ハイライトは、インパルス（ディラック（dirac）関数）に近似するものとして考慮され得る。
したがって、図４に示すように、シャープ信号は、ぼけていない鏡面ハイライトを示すインパルス４１と、ぼけていない画像の背景シーン（つまり、鏡面ハイライトがない）を示す「シャープ背景」信号４０との合成として扱われ得る。
【００１８】
すでに図２に示したように、ぼけ信号２０は、シャープ信号２０とブラーカーネル２４との畳み込みに対応し、ぼけ信号２０は、ブラーカーネル２４と、シャープ背景シーン４０及びインパルスの合計との畳み込みによって近似され得る（図５参照）。
【００１９】
これによって、ぼけ鏡面ハイライト３１はインパルス４１とブラーカーネル２４との間の畳み込みであると判断され得る。したがって、ぼけ鏡面ハイライト３１は、劣化プロセスのインパルス応答である（図６参照）。
言い換えれば、ぼけ関数が画像のいたるところの位置不変（position invariant）である場合、ぼけ鏡面ハイライト３１は、正に、画像ブラーカーネル２４であろう。
【００２０】
上述した分析は、ぼけ鏡面ハイライトを画像の残余（rest）から効果的に分離することが可能であるときに、画像ブラーカーネルの正確な推定が達成し得ることを示す。
このような分離は、実際には、既知のイメージマッティング（matting）の概念を使用してなされ得る。
形式的には、イメージマッティング方法は、前景画像Ｆと背景画像Ｂの結合であると仮定された画像Ｉの入力をする。
ｉ番目の画素の色は、対応する前景及び背景の色の一次結合（linear combination）
Ｉｉ＝αｉ・Ｆｉ＋（１−αｉ）・Ｂｉ
であると仮定される。
ここで、αｉは、画素の前景の不透過率（opacity）である。
【００２１】
ぼけ画像からぼけ鏡面ハイライトを抽出することによってブラーカーネルを導出することを目下の目的として、ぼけ鏡面ハイライトは、マッティングアルゴリズムを使用して抽出される前景画像として受け取られる。
【００２２】
図７は、画像データ７５として受け取られたぼけ入力画像のぼけを除去する（deblur）ためのデータ処理装置７０を示す。
この装置は、メモリ７２から読み取られたぼけ除去プログラムを実行するようにアレンジされたプロセッサ７１を有する。メモリ７２はまた、受け取られた画像データ７５を保持し、ぼけが除去された画像データがプロセッサ７１によって生成された後は、そのぼけが除去された画像データを保持する。
ぼけ除去プログラムは、例えば、適切な読み書きデバイス（図示せず）を介して光ディスク７３等のストレージ媒体からメモリ７２に読み込まれる。
装置７０は、さらに、画像データ７５によって示されるぼけ入力画像をユーザに提示するためのディスプレイと、表示された画像内の任意の位置をユーザに選択させるためのポインティングデバイス（マウス等）とを含むユーザインタフェース７４を有する。
【００２３】
図７は、プロセッサによって実行されるぼけ除去プログラムによって実行される画像ぼけ除去方法の主なステップ７７、７８及び７９も示す。
これらのステップを、以下に示す。
【００２４】
ステップ７７  鏡面ハイライトの識別
このステップでは、受け取られたぼけ画像７５内の鏡面ハイライトが識別され、この場合、ユーザ入力の援助を伴う。
さらに特別には、受け取られた画像データは、ユーザインタフェース７４を介してユーザに提示される。
そして、ユーザは、インタフェース７４のポインティングデバイスを使用して、鏡面ハイライトに対応する画像の特定の位置を指定し、それによって、装置に対し、画像内において鏡面ハイライトがどこに位置するかを指示する。ユーザはまた、指示された鏡面ハイライトによって構成される前景に関連する背景として考慮される、１つ又は複数の画像の位置を指定し得る。
ステップ７７において受け取られたユーザ入力によって、装置７０は、鏡面ハイライトを識別し、その境界（bounds）を決定することが可能となる（もっとも、これは、実質的には、次のステップについて実行されるプロセスで一体的にもたらされ得る）。
【００２５】
ステップ７８  マッティングアルゴリズムを使用したブラーカーネルの抽出
鏡面ハイライトが受け取られた画像データ内で識別されると、この情報はアルファマッティングアルゴリズム（alpha matting algorithm）に伝送される。このアルファマッティングアルゴリズムは、識別された鏡面ハイライトに対応する前景を、画像の残余（つまり画像背景）から抽出する。
そして、抽出された前景は、全てのグレイレベル（gray level）の合計が１となるように正規化（normalize）される。
そして、正規化された前景は、ブラーカーネルとして取り扱われる。
適切なアルファマッティング手順は、論文「"A Closed Form Solution to Natural Image Matting," A. Levin D. Lischinski and Y. Weiss, IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), p.61-68, June 17-22, 2006, New York」に記載されている。
【００２６】
ステップ７９  デコンボリューションによる画像のぼけ除去
最後のステップは、ステップ７８で導出されたブラーカーネルを使用して、ルーシー・リチャードソン（Lucy-Richardson）法などのデコンボリューション方法によって受け取られた画像のぼけ除去を行う（"An iterative techniques for the rectification of observed distributions," L. B. Lucy, Astronomical Journal, vol. 79, no. 6, pp. 745-754, 1974」を参照）。
実装の例は、Matlab関数「deconvlucy」がある（"DECONVLUCY Image restoration using Lucy-Richardson algorithm," The MathWorks, Inc. Revision: 1.6 available at <http://ecco2.jpl.nasa.gov/data1/matlab/images/images/deconvlucy.m>」を参照）。
ぼけ除去がなされた画像データメモリ７２に記憶され、好ましくはインタフェース７４を介してユーザに提示される。
【００２７】
図８Ａは、図７の装置によって受け取られたぼけ鏡面ハイライト８０を示す例示のぼけ入力画像を示す。
図８Ｂは、図８Ａのぼけ鏡面ハイライト８０の拡大図８１及び８２を示す。
図８Ｃは、図７の装置による処理の後の図８Ａの画像のぼけ除去がなされたバージョンを示す。
【００２８】
上述したブラーカーネル推定の方法は、正確でロバストな結果をもたらすが、アート画像デコンボリューション技法（例えばルーシー・リチャードソン法）の状態（state）を適用する場合に、逆畳み込みされた（deconvolved）画像は、いくつかの目に見えるアーティファクト（visual artifact）を含む。
したがって、ルーシー・リチャードソン・デコンボリューション法を使用する場合、ぼけ除去がなされた画像は、リンギング（ringing）アーティファクトをよく含み得る。しかしながら、これらのリンギングアーティファクトは、正確でないブラーカーネル推定に起因しないで使用されたデコンボリューションアルゴリズムの結果である。
実際には、最近の研究は、これらのアーティファクトの原因は復元アルゴリズムに先行して使用された周波数領域であることを示す。
論文「"The Spatial Domain Approach for Image Restoration" HPL-2007-99, 20070823by Ron Banner, Michal Aharon and Carl Staelin, (<http://library.hp.com/techpubs/2007/HPL-2007-99.pdf>で利用可能)」は、伝統的なデコンボリューションスキームにとっては典型的なリンギングアーティファクトをかなり減少させるが、ブラーカーネルが計算された場合に効率よく画像のぼけを除去するアルゴリズムを示唆する。
【００２９】
変形例
多くの変形例が上述した本発明の実施形態にとって可能であることが、理解されよう。
したがって、例えば、任意の適切なマッティングアルゴリズムがステップ７８に利用され得、任意の適切なデコンボリューションアルゴリズムがステップ７９に利用され得る。
【００３０】
ステップ７７（鏡面ハイライトの識別）について、ユーザ入力に完全に依存しないで、データ処理装置７０を、受け取られた画像データを解析して、鏡面ハイライトの候補である１つ又は複数の画像特徴物を識別し、これらの特徴物を、ユーザインタフェース７４を介してユーザに提示された画像に示すようにアレンジすることが可能である。そして、ユーザは、どの提示された候補特徴物がステップ７８で対象となる鏡面ハイライトとして扱われるかを指示さえすればよい。
つまり、ユーザ入力段階を完全に省略して、データ処理装置自身に、ステップ７８の処理について対象となる候補鏡面ハイライトとして扱われる画像特徴物を選択させることも可能である。
鏡面ハイライトの識別についてのいくつかの方法が、文献で提示されている（例えば、論文「"Reducing Specular Reflection Components of Metallic Surfaces Using Photometric Linearization" Zhong Zhang, Ren Shiqing, M. Tetsuo, H. Fujiwara, and T. Imamura, Innovative Computing, Information and Control, 2006, IEEE ICICIC '06」を参照）。
【図１Ａ】
2012515970.tif 000004
【図１Ｂ】
2012515970.tif 000005
【図２】
2012515970.tif 000006
【図３】
2012515970.tif 000007
【図４】
2012515970.tif 000008
【図５】
2012515970.tif 000009
【図６】
2012515970.tif 000010
【図７】
2012515970.tif 000011
【図８Ａ】
2012515970.tif 000012
【図８Ｂ】
2012515970.tif 000013
【図８Ｃ】
2012515970.tif 000014
【国際調査報告】
2012515970.tif 000015
2012515970.tif 000016