(57)【要約】      （修正有）【課題】画像内の欠陥オブジェクトを扱うための方法及び装置を提供する。【解決手段】画像内の欠陥オブジェクトを扱うための方法及び装置が説明される。明視野情報取り出しユニットは、上記画像の明視野キャプチャを取り出す（２０）。視野生成部は、上記明視野キャプチャから中心視野（ＣＶ）及び２つ以上の側視野（ＳＶn）を生成する（２１）。次に、欠陥決定ユニットは、上記中心視野（ＣＶ）と上記２つ以上の側視野（ＳＶn）との比較を通して上記画像内の欠陥オブジェクトを決定する（２２）。【選択図】図９
2016130721.tif 000002
【特許請求の範囲】
【請求項１】
画像内の欠陥オブジェクトを扱うための方法であって、前記方法は、
前記画像内の明視野キャプチャを取り出すステップ（２０）と、
前記明視野キャプチャから中心視野（ＣＶ）及び２つ以上の側視野（ＳＶn）を生成するステップ（２１）と、
前記中心視野（ＣＶ）と前記２つ以上の側視野（ＳＶn）との比較を通して前記画像内の欠陥オブジェクトを決定するステップ（２２）と、
を含む、前記方法。
【請求項２】
前記画像の前記明視野キャプチャは、カメラ（３１）から、又はストレージユニット（３３）から取り出される（２０）、請求項１に記載の方法。
【請求項３】
前記中心視野（ＣＶ）と前記２つ以上の側視野（ＳＶn）との前記比較に関して、前記２つ以上の側視野（ＳＶn）は、較正手順中に決定されたホモグラフィック変換を用いて前記中心視野（ＣＶ）に投影される、請求項１又は２に記載の方法。
【請求項４】
前記投影された２つ以上の側視野（ＳＶn）を結合することによって中心画像を推定するステップと、適切な距離メトリックを計算することによって前記推定された中心画像を前記中心視野（ＣＶ）と比較するステップと、をさらに含む、請求項３に記載の方法。
【請求項５】
前記距離メトリックは、絶対値差分の和、自乗差の和、ピーク信号対ノイズ比のうちの１つである、請求項４に記載の方法。
【請求項６】
前記投影された２つ以上の側視野（ＳＶn）は、画素に関する中央値を用いて結合される、請求項４又は５に記載の方法。
【請求項７】
前記推定された中心画像の画素で前記決定された欠陥オブジェクトの画素を置き換えることによって訂正された中心視野（ＣＶ）を生成するステップをさらに含む、請求項４から６のいずれかに記載の方法。
【請求項８】
前記中心視野（ＣＶ）と前記２つ以上の側視野（ＳＶn）との前記比較は、前記明視野キャプチャの異なるカラーチャネルに関して個別に実行される、請求項１から７のいずれかに記載の方法。
【請求項９】
欠陥マットにおける前記欠陥オブジェクトを識別するステップをさらに含む、請求項１から８のいずれかに記載の方法。
【請求項１０】
画像内の欠陥オブジェクトを扱うことを可能にする命令を格納したコンピュータ可読記録媒体であって、コンピュータによって実行されるとき、前記命令は、前記コンピュータに、
前記画像内の明視野キャプチャを取り出すステップ（２０）と、
前記明視野キャプチャから中心視野（ＣＶ）及び２つ以上の側視野（ＳＶn）を生成するステップ（２１）と、
前記中心視野（ＣＶ）と前記２つ以上の側視野（ＳＶn）との比較を通して前記画像内の欠陥オブジェクトを決定するステップ（２２）と、
を実行させる、前記コンピュータ可読記録媒体。
【請求項１１】
画像内の欠陥オブジェクトを扱うように構成された装置（３０）であって、前記装置（３０）は、
前記画像内の明視野キャプチャを取り出す（２０）ように構成された明視野情報取り出しユニットと、
前記明視野キャプチャから中心視野（ＣＶ）及び２つ以上の側視野（ＳＶn）を生成する（２１）ように構成された視野生成部（３５）と、
前記中心視野（ＣＶ）と前記２つ以上の側視野（ＳＶn）との比較を通して前記画像内の欠陥オブジェクトを決定する（２２）ように構成された欠陥決定ユニット（３６）と、  を備えた、前記装置（３０）。
【請求項１２】
画像内の欠陥オブジェクトを扱うように構成された装置（４０）であって、前記装置（４０）は、処理デバイス（４１）と、命令を格納したメモリデバイス（４２）とを備え、前記処理デバイス（４１）によって実行されるとき、前記命令は、前記装置（４０）に、
前記画像内の明視野キャプチャを取り出すステップ（２０）と、
前記明視野キャプチャから中心視野（ＣＶ）及び２つ以上の側視野（ＳＶn）を生成するステップ（２１）と、
前記中心視野（ＣＶ）と前記２つ以上の側視野（ＳＶn）との比較を通して前記画像内の欠陥オブジェクトを決定するステップ（２２）と、
を実行させる、前記装置（４０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の欠陥オブジェクトを扱うための方法及び装置に関する。より詳細には、スキャンしたフィルムにおける引っかき傷及びちりオブジェクトを扱うための方法及び装置に関する。
【背景技術】
【０００２】
フィルムでの動画配給は減少しているが、デジタル領域に変換される必要があるアナログフィルムの大量のアーカイブが未だにある。さらに、価値のある資産の長期間の保管は、未だにフィルムでなされている。今後、フィルム上にデジタルデータを保存するために技術はなお存続する。
【０００３】
今日、アナログからデジタル領域に画像情報を移行するための技術的な解決手段は、プロフェッショナルな動画フィルム産業だけでなく、セミプロフェッショナル及びアマチュア市場にも利用可能である。これらの解決手段は、典型的にはフィルムスキャニングに基づく。
【０００４】
アナログフィルムをスキャンするとき、引っかき傷及びごみが存在するなど、画像品質に影響を与える多くの問題がある。引っかき傷及びちり（dirt）の影響を弱めるための１つの解決手段は、赤外線クリーニングである。それは、フィルムの追加のＩＲスキャンを要求し、大抵のカラーフィルムは赤外光に透過的である一方で、ごみ及び引っかき傷はそうでないという事実を利用する。メタリックシルバーブラック及びホワイトフィルム又はシアン層を有するカラーフィルムなど、フィルムが赤外光に対して不透明である場合、暗視野照明を、引っかき傷及びちりを検出するために使用することができる。両アプローチは、第２の光源及び非常に長い露光時間を有する追加のスキャンを必要とする。ＩＲ又は暗視野スキャンから、デジタル復元を必要とする画像領域を描写する欠陥マット（defect matte）が生成される。
【０００５】
代替として、ウェットゲートスキャニングは、本質的にちりを除去し、フィルムのそれに近い屈折率を有する化学洗浄液を利用して引っかき傷を補修する。しかしながら、主な欠点は、本プロセスに含まれる有毒化学物質を扱うコストである。
【発明の概要】
【０００６】
本発明の目的は、追加の光源又は余分な露出なく画像内の欠陥オブジェクトを扱うための解決方法を提案することである。
【０００７】
本発明によると、画像内の欠陥オブジェクトを扱うための方法であって、上記方法は、
上記画像内の明視野キャプチャを取り出すステップと、
上記明視野キャプチャから中心視野及び２つ以上の側視野を生成するステップと、
上記中心視野と上記２つ以上の側視野との比較を通して上記画像内の欠陥オブジェクトを決定するステップと、
を含む。
【０００８】
従って、コンピュータ可読記録媒体は、画像内の欠陥オブジェクトを扱うことを可能にする命令を格納し、コンピュータによって実行されるとき、上記命令は、上記コンピュータに、
上記画像内の明視野キャプチャを取り出すステップと、
上記明視野キャプチャから中心視野及び２つ以上の側視野を生成するステップと、
上記中心視野と上記２つ以上の側視野との比較を通して上記画像内の欠陥オブジェクトを決定するステップと、
を実行させる。
【０００９】
また、ある実施形態において、画像内の欠陥オブジェクトを扱うように構成された装置であって、上記装置は、
上記画像内の明視野キャプチャを取り出すように構成された明視野情報取り出しユニットと、
上記明視野キャプチャから中心視野及び２つ以上の側視野を生成するように構成された視野生成部と、
上記中心視野と上記２つ以上の側視野との比較を通して上記画像内の欠陥オブジェクトを決定するように構成された欠陥決定ユニットと、
を備える。
【００１０】
他の実施形態において、画像内の欠陥オブジェクトを扱うように構成された装置であって、上記装置は、処理デバイスと、命令を格納したメモリデバイスとを備え、上記処理デバイスによって実行されるとき、上記命令は、上記装置に、
上記画像内の明視野キャプチャを取り出すステップと、
上記明視野キャプチャから中心視野及び２つ以上の側視野を生成するステップと、
上記中心視野と上記２つ以上の側視野との比較を通して上記画像内の欠陥オブジェクトを決定するステップと、
を実行させる。
【００１１】
本発明のアイデアは、アナログ動画又は静止画フィルムをスキャンするための従来の２Ｄカメラに変えて４Ｄプレノプティックカメラを使用することである。そのようなカメラは異なる方向から到達する光線間を区別することができるため、異なる視野を用いて小さな引っかき傷及びちりオブジェクトを検出するのに適している。上述した周知の方法とは対照的に、追加の照射又は余分な露出が必要とされない。画像の明視野キャプチャは、カメラから直接的に取り出されるか、又はストレージユニットから取り出される既に利用可能な明視野キャプチャである。
【００１２】
ある実施形態において、中心視野及び２以上の側視野の比較に関して、２以上の側視野が較正手順中に決定されたホモグラフィック（homographic）変換を用いて中心視野上に投影される。異なる視野間の配置的関係（geometric relation）は各画素に関して固定される。レンズシステムのプロパティ及びフィルムとセンサとの間の距離は既知であるため、配置（geometric）は較正を通して取り出され得る。較正は、参照画像面上に異なる視野を投影するための変換を計算することを可能にする。中心画像は次に、投影された２以上の側視野を結合することによって推定され、推定された中心画像は適切な距離メトリックを計算することにより中心視野と比較される。
【００１３】
ある実施形態において、距離メトリックは、絶対値差分の和、自乗差の和、ピーク信号対ノイズ比のうちの１つである。これらの距離メトリックは、各画素に関して容易に決定され得る。対応する差分の絶対値がある閾値より上である場合、画素は欠陥オブジェクトに属するとしてマークされる。
【００１４】
ある実施形態において、投影された２以上の側視野は、画素に関する中央値を用いて結合される。これは異なる位置での引っかき傷及びちりオブジェクトを効率的に除去するが、画像コンテンツを保存する。もちろん、中央値の代わりにロバストな外れ値除去のための任意の他の方法が使用され得る。
【００１５】
ある実施形態において、中心視野及び２以上の側視野の比較は、明視野キャプチャ（light field capture）の異なるカラーチャネルに関して個別に実行される。欠陥オブジェクトのタイプ及びプロパティに依存して、全てのカラーチャネルが欠陥オブジェクによって同様に影響されるわけではない。異なるカラーチャネルを分析することは、従って、欠陥オブジェクトについての更なる情報を個別に決定することを可能にする。
【００１６】
有利には、欠陥オブジェクトは欠陥マットにおいて識別される。このような方法で、欠陥情報は更なる処理段階に利用可能にされ得る。
【００１７】
ある実施形態において、訂正された中心視野は、決定された欠陥オブジェクトの画素を推定された中心画像の画素で置き換えることによって生成される。明視野キャプチャで搬送される画像情報は、異なる視野からの欠落情報を再構築することによって情報の損失なしでフィルムスキャンから引っかき傷及びちりオブジェクトを除去することを可能にする。
【図面の簡単な説明】
【００１８】
【図１】フィルムスキャニングデバイスの原理的なレイアウトを示す図である。
【図２】スタンダードなカメラを用いて焦点面内のオブジェクトのセンサ面へのイメージングを例示する図である。
【図３】焦点面の前に小さなオブジェクトを有する、図２の状況を描く図である。
【図４】中心視野及び８つの側視野におけるちりオブジェクト及び引っかき傷の位置を示す図である。
【図５】図４の中心視野に関する例示的な欠陥マットを描く図である。
【図６】側視野から導出された推定を用いて訂正した後の図４の中心視野を示す図である。
【図７】ごみ粒子がスキャンされたフィルムのカラーチャネルにどのように影響するかを例示する図である。
【図８】引っかき傷がスキャンされたフィルムのカラーチャネルにどのように影響するかを例示する図である。
【図９】画像内の欠陥オブジェクトを扱うための本発明の実施形態に係る方法を概略的に例示する図である。
【図１０】本発明に係る方法を実行するように構成された装置の第１の実施形態を概略的に描く図である。
【図１１】本発明に係る方法を実行するように構成された装置の第２の実施形態を概略的に例示する図である。
【発明を実施するための形態】
【００１９】
よりよい理解のため、本発明は、図面を参照して以下の詳細な説明においてより詳細に説明されることとなる。本発明は、これらの例示的な実施形態に限定されず、特定された特徴はまた、添付の特許請求の範囲において定められるような本発明の範囲を逸脱することなく都合よく組み合わせられ、及び／又は変更され得ることが理解される。
【００２０】
以下において、フィルムスキャニングに対する本発明の適用が参照される。しかしながら、本発明は同様に、例えば、プレノプティック顕微鏡検査、マイクロフィッシュのためのオブジェクト検出、及びプレノプティック静止画イメージングの分野におけるオブジェクト検出問題など、他の分野に適用可能である。
【００２１】
図１は、アナログ画像をデジタル領域に移行するためのフィルムスキャニングデバイス１の原理的なレイアウトを示す。デバイス１は、３つの主要な部分、すなわち、単色又は白色の光源２と、スキャンされるオブジェクト３、すなわちフィルムと、光捕捉デバイス４、すなわちレンズ及びグレー又はカラーのデジタルセンサを有するカメラとに分割され得る。芸術映画のスキャナの状態は、フィルムの表面上に焦点を合わせる従来の２Ｄカメラを使用する。この状況を図２に示す。焦点面５での光強度は、各方向にレンズ７に当たる、ある位置からの全ての光ビームを結合することによりセンサ面６上の対応感光素子にマッピングされる。
【００２２】
図３からわかるように、引っかき傷又はちり粒子など、フィルムの表面上の小さなオブジェクト８は、多くの光線がレンズ７に当たることを妨げる。しかしながら、オブジェクト８の下から情報を運ぶある角度の光線は、レンズ７上で未だ影響する。それ故、小さなオブジェクト８は、画像上で１００％ぼやけて現れるわけではない。
【００２３】
スタンダードなカメラとは対照的に、４Ｄプレノプティック又はライトフィールドカメラは、ある位置で光の強度を見るだけでなく、光線の方向も見る。これは、一回の撮影において多視点から単一のレンズを通してオブジェクトを観察することによって達成される。その結果、レンズに入射する光線のサブセットのみが各視野内に捕捉される。
【００２４】
プレノプティックカメラの最先端の実装は、ガリレオ又はケプラー式望遠鏡のいずれかのアレイとしてそれらを振舞わせる、メインレンズと光線を分離するためのセンサとの間のマイクロレンズのアレイを使用する。代替的には、個々のカメラレンズシステムのアレイがマイクロレンズのアレイの代わりに使用され得る。
【００２５】
プレノプティックカメラは直線及び角度のある（angular）光線の間を区別することができるため、フィルムをスキャンするときに小さな引っかき傷及びちりオブジェクトを検出するのに適している。以下において、明視野センサ画像は、単一の中心視野（center views）及び異なる角度からの複数の側視野（side views）に分離されたと仮定する。焦点面におけるオブジェクトは各視野上でレンダリングするが、小さな引っかき傷及びちりオブジェクトは側視野と比較して中心視野において異なって現れる。ちりオブジェクトがフィルム基板上に位置付けられるように、視野の各々において異なる位置で現れる。また、小さな引っかき傷はいずれも異なる位置で現れ、又はそれらの回折パターンは、各視野において異なる。図４は、中心視野ＣＶ及び８つの側視野ＳＶnにおけるちりオブジェクト８及び引っかき傷９の位置を示す。
【００２６】
上述の状況は、スキャンされたフィルム上の欠陥を検出するために開発される。プレノプティックカメラは、フィルムの画像をスキャンするために用いられる。結果として生じた４Ｄ明視野情報は、引っかき傷及びちりオブジェクトを検出するために利用される。レンズシステムのプロパティ及びフィルムとセンサとの間の距離は既知であるため、本アプローチは異なる視野中の配置的関係が各画素に関して固定されるという事実に依存する。それ故、配置は、異なる視野を参照画像面上に投影するための変換を計算することを可能にする、較正を通して取り出される。
【００２７】
例えば、以下の較正手順が用いられる。第１に、既知のターゲット画像、例えば黒白のチェッカーボード又は他の適切なカメラ較正パターンがスキャンされる。次に、カメラパラメータが較正パターンスキャンから分離された視野の各々に関して決定される。これは、例えば、共通の多視野カメラ及びレンズ較正ツールを用いてなされることができる。最後に、中心視野は参照画像面として定められ、側視野の各々に関する中心視野へのホモグラフィック変換はカメラパラメータから決定される。
【００２８】
欠陥マットは、各スキャンされるフレームに関して引っかき傷又はちりを識別するために共通に用いられる。図４の中心視野ＣＶに関する例示的欠陥マット１０は、図５に描かれる。ちりオブジェクト８及び引っかき傷９の両方は、欠陥としてマークされている。ひとたび、４Ｄ明視野情報並びに分離された中心視野及び多数の側視野が利用可能となると、欠陥マットが例えば以下のように計算される。第１に、側視野が、較正中に決定されたホモグラフィック変換を用いて中心視野上に投影される。次に、各画素に関して側視野画像を適切に結合することによって中心画像が推定される。ある実施形態において、全ての側視野の画素に関する中央値は、この目的のために使用される。これは異なる位置で引っかき傷及びちりオブジェクトを効率的に除去するが、それでも画像コンテンツを保存する。中央値の代わりに、ロバストな外れ値除去のための任意の他の方法が用いられ得る。フィルムにおけるカラー層が互いに積み重ねられるように、各カラーチャネルに関して別々及び個別にこの動作を実行することは有益である。側視野の集合から取得される推定は次に、適切な距離メトリックを計算することによって中心視野と比較される。典型的には、これは２つの間の画素に関する差分を集約することによってなされる。例は、絶対値差分の和、自乗差の和、ピーク信号対ノイズ比等である。また、異なるカラー空間は距離を決定するために採用され得る。対応する差分の絶対値がある閾値より上である場合、画素は欠陥マットにおいてマークされる。
【００２９】
小さな欠陥は、側視野情報を用いることによって除去することができる。この目的のために、欠陥マットにおいてマークされた中心視野の各画素が側視野から導出された推定に置き換えられる。訂正後の図４の中心視野ＣＶは、図６に描かれる。大きなオブジェクトは、側視野情報を欠くことによりこのやり方において訂正されることができない。
【００３０】
前述したように、図７に示されるように、ちり又はごみはフィルム表面に位置付けられ、単一のフレームのみに現れる。オブジェクトのサイズに依存して、上述したような検出は、各カラーチャネル上で独立に実行することができる。より小さい粒子が青チャネルＢ上で検出されそうな一方で、より大きい粒子が緑チャネルＧ又は赤チャネルＲ上により現れそうである。側視野から導出された推定を用いたそのような欠陥の除去は、全てのチャネル上で同時に実行されることが好ましい。
【００３１】
縦の引っかき傷は、プロジェクタ又はスキャナにおけるフィルム移送（transportation）中のフィルムの表面を継続的に傷付ける小さな粒子から生じる。それらは通常、多数のフレームにわたって現れ、それらの位置はフレームからフレームへのビットをさまよう傾向がある。図８は、カラーフィルム表面上の引っかき傷の形状（profile）を示す。光は、中心から発散するように回折される。引っかき傷形状の深さに依存して、異なるカラー層が傷付けられ、青で開始し、次に青と緑、最後に青と緑と赤で終わる。それ故、赤チャネルのみを用いて欠陥マットを計算することを開始するのが有利である。その後、検出が明確であった場合、緑及びチャネルが処理される。側視野から導出された推定を用いたそのような欠陥の除去は、明確な検出でこれらのチャネルにのみ適用されることが好ましい。
【００３２】
図９は、画像内の欠陥オブジェクトを扱うための方法のある実施形態を概略的に例示する。第１のステップにおいて、例えば、プレノプティックカメラで明視野画像を捕捉することにより、又はストレージ部における利用可能な明視野画像にアクセスすることによって、画像の明視野キャプチャが取り出される（２０）。次に、中心視野ＣＶ及び２つ以上の側視野ＳＶnは、明視野キャプチャから生成される（２１）。最後に、画像内の欠陥オブジェクトが中心視野ＣＶ及び２つ以上の側視野ＳＶnの比較を通して決定される（２２）。
【００３３】
本発明に係る方法を実行するように構成された装置３０のある実施形態は、図１０に概略的に描かれる。装置３０は、例えば、入力部３２を介してプレノプティックカメラ３１から直接的に画像の明視野キャプチャを取り出す（２０）ための明視野情報取り出しユニット３４を有する。代替的に、すでに利用可能な明視野キャプチャは、入力部３２を介してローカルストレージから又はネットワークから取り出される。視野生成部３５は、明視野キャプチャから中心視野ＣＶ及び２つ以上の側視野ＳＶnを生成する（２１）。次に、欠陥決定ユニット３６は、中心視野ＣＶ及び２つ以上の側視野ＳＶnの比較を通して画像内の欠陥オブジェクトを決定する（２２）。結果として生じた欠陥マット又は訂正された画像は、出力部３７を解して利用可能にされることが好ましい。出力部３７は、入力部３２と組み合わされて単一の双方向インターフェースになることもできる。もちろん、異なるユニット３４、３５、３６は同様に、単一のユニットに十分に若しくは部分的に結合され又はプロセッサ上で実行するソフトウェアとして実装されてもよい。
【００３４】
本発明に係る方法を実行するように構成された装置４０の他の実施形態は、図１１に概略的に描かれる。装置４０は、処理デバイス４１と、実行されるとき、説明された方法のうちの１つに係るステップを装置に実行させる命令を格納したメモリデバイス４２とを備える。
【００３５】
例えば、処理デバイス４１は、説明された方法のうちの１つに係る方法を実行するように適合されたプロセッサとすることができる。実施形態において、適合は、プロセッサが説明された方法のうちの１つに係るステップを実行するように構成、例えばプログラムされることを含む。
【図１】
2016130721.tif 000003
【図２】
2016130721.tif 000004
【図３】
2016130721.tif 000005
【図４】
2016130721.tif 000006
【図５】
2016130721.tif 000007
【図６】
2016130721.tif 000008
【図７】
2016130721.tif 000009
【図８】
2016130721.tif 000010
【図９】
2016130721.tif 000011
【図１０】
2016130721.tif 000012
【図１１】
2016130721.tif 000013
【外国語明細書】
2016130721000001.pdf