(57)【要約】  画像から欠陥を検出し、取り除く方法及び装置が開示されている。オリジナルの画像シーケンス中の欠陥は、良く知られている技術を用いて検出され、随意に修復される。自動欠陥検出及び修復段階からの中間結果を含む非画像データが生成される。前記非画像データは、動き推定、粒度及び欠陥の大きさ／位置の情報を含み得る。本発明は、オペレータが、より効率的なように任意の自動修復を受け入れる、拒否する又は更に変更するために対話形セッションにおいて前記オリジナルの画像シーケンス及び修復画像シーケンス並びに随意に前記非画像データを見直すことを可能にする。
2005510894.tif 000002
【特許請求の範囲】
【請求項１】
画像中の欠陥を検出する方法であって、
−  前記画像中の欠陥を検出するステップと、
−  前記画像の特性を示す非画像データを生成するステップと、
−  前記画像を修復する対話形セッションに前記非画像データを供給するステップとを有する方法。
【請求項２】
画像中の欠陥を修復する方法であって、
−  前記欠陥のユーザによる識別を受け取るステップと、
−  前記欠陥を修復するのに利用され得る前記画像の特性を示す該画像と関連する非画像データを評価するステップと、
−  前記画像の示された前記特性を用いて前記欠陥を修復するステップとを有する方法。
【請求項３】
前記欠陥を修復するための適切な方法を決定するために前記非画像データを分析するステップを更に有することを特徴とする請求項２に記載の方法。
【請求項４】
画像中の欠陥を検出するシステムであり、
−  コンピュータ読取り可能なコードを記憶するメモリと、
−  前記メモリに動作的に結合されるプロセッサとを有するシステムであって、前記プロセッサが、前記コンピュータ読取り可能なコードを実施するように構成され、前記コンピュータ読取り可能なコードが、
−  前記画像中の欠陥を検出し、
−  前記画像の特性を示す非画像データを生成し、
−  前記画像を修復する対話形セッションに前記非画像データを供給するように構成されるシステム。
【請求項５】
前記プロセッサが、更に、前記欠陥を修復するように構成されることを特徴とする請求項４に記載のシステム。
【請求項６】
前記プロセッサが、更に、対話形セッションにおいて前記欠陥を修復するために前記非画像データを用いるように構成されることを特徴とする請求項４に記載のシステム。
【請求項７】
前記非画像データが、画像のシーケンスの動き推定の情報を含むことを特徴とする請求項４に記載のシステム。
【請求項８】
前記非画像データが、画像粒度の情報を含むことを特徴とする請求項４に記載のシステム。
【請求項９】
前記非画像データが、前記欠陥の位置及び大きさの表示を含むことを特徴とする請求項４に記載のシステム。
【請求項１０】
画像中の欠陥を修復するシステムであり、
−  コンピュータ読取り可能なコードを記憶するメモリと、
−  前記メモリに動作的に結合されるプロセッサとを有するシステムであって、前記プロセッサが、前記コンピュータ読取り可能なコードを実施するように構成され、前記コンピュータ読取り可能なコードが、
−  前記欠陥のユーザによる識別を受け取り、
−  前記画像と関連する非画像データであって、前記欠陥を修復するのに利用され得る該画像の特性を示す非画像データを評価し、
−  前記画像の示された前記特性を用いて前記欠陥を修復するように構成されるシステム。
【請求項１１】
画像中の欠陥を検出する製品であり、
−  コンピュータ読取り可能媒体上に設けられるコンピュータ読取り可能コード手段を持つコンピュータ読取り可能媒体を有する製品であって、前記コンピュータ読取り可能プログラムコード手段が、
−  前記画像中の欠陥を検出するステップと、
−  前記画像の特性を示す非画像データを生成するステップと、
−  前記欠陥を修復する対話形セッションに前記非画像データを供給するステップとを有する製品。
【請求項１２】
画像中の欠陥を修復する製品であり、
−  コンピュータ読取り可能媒体上に設けられるコンピュータ読取り可能コード手段を持つコンピュータ読取り可能媒体を有する製品であって、前記コンピュータ読取り可能プログラムコード手段が、
−  前記欠陥のユーザによる識別を受け取るステップと、
−  前記画像と関連する非画像データであって、前記欠陥を修復するのに利用され得る該画像の特性を示す非画像データを供給するステップと、
−  前記画像の示された前記特性を用いて前記欠陥を修復するステップとを有する製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像復元技術(digital image restoration technique)に関し、より特定的には、画像から欠陥(defect)を取り除く方法及び装置に関する。
【背景技術】
【０００２】
デジタル動画復元は、かなりの量の計算を必要とし、たとえ高性能なコンピュータでも相対的に長い時間がかかる様々な画像処理動作を含む。多くの計算を要する画像処理技術の例は動き推定であり、動き推定は忠実度の高い修復のために必要とされる。一般に、動き推定は、画像の欠陥のある領域が前又は後の画像フレームからの対応する画像領域に置き換えられることを可能にする。
【０００３】
計算がユーザの対話なしに自動的に行なわれる場合にはより長い処理時間が許容可能である。自動画像シーケンス復元のために非常に多くの複雑なアルゴリズムが開発されている。このような画像復元技術の詳細な記載については、例えばAnil Kokaram, “Motion Picture Restoration”, (Springer, 1998)参照。しかしながら、現在利用可能な画像復元技術は完全な解決策を提供しない。一般に、現在利用可能な画像復元技術は、画像アーチファクトをもたらす不完全な修復若しくは誤った検出(又は両方)を欠点として持つ。斯くして、結局、画像復元を完全なものにし、高品質のアーチファクトのない復元を得るためには人間の介入が必要とされる。
【０００４】
図１は、オペレータ１１０が、修復画像シーケンス１４０を作成するために未処理のオリジナルの画像シーケンス１２０を処理する従来のワンステップ画像復元プロセス１００を図示している。図１に示されている画像復元プロセスは、例えばロードアイランド州プロヴィデンスのMathematical Technologies, Inc.によって提供される画像復元のソフトウェア及びサービス用に提案されている。一般に、対話形セッション１３０の間に行なわれる動作はオペレータ１１０の監視下で行なわれ、オペレータ１１０はオリジナルの画像シーケンス１２０の中の欠陥を手作業で識別する。斯くして、画像復元プロセス１００は、高価なオペレータの時間を効率的に活用しない。このようにしてオペレータによって欠陥が識別されたら、典型的には、修復画像シーケンス１４０を生成するために、対話形セッション１３０の間に、良く知られている復元アルゴリズムが適用される。
【０００５】
図２は、部分的に自動化された画像復元プロセス２００を図示している。図２に示されているように、最初に、オペレータ２１０が、自動修復段階２３０の間のオリジナルの画像シーケンス２２０の中の欠陥の自動検出及び修復を制御するパラメータ２１５を指定する。オペレータ２１０は、修復画像シーケンス２６０を作成するために、対話形セッション２５０の間に、オリジナルの画像シーケンス２２０と共に自動修復段階２３０によって生成された修復画像シーケンス２４０を見直すことができ、任意の自動修復を受け入れる、拒否する又は変更することが出来る。図２に示されている部分的に自動化された画像復元プロセス２００の例は、フロリダ州フォートローダーデールのda Vinci Systems, Inc.から市販されているRevival（登録商標）ソフトウェアパッケージである。
【０００６】
部分的に自動化された画像復元プロセス２００は、図１のワンステップ画像復元プロセス１００より効率的なように、人間の対話なしに自動的に画像を検出し、修復する一方で、オペレータ２１０は、自動修復２３０の間に自動的に検出されない付加的な欠陥に印をつけ、修復するのに依然として非常に限られた能力しか持たない。斯くして、オペレータ２１０が対話形セッション２５０の間に高品質の画像復元を達成するのは困難である。なぜなら、動き推定及び粒度(granularity)の情報などの自動修復処理２３０からの中間結果が利用可能ではないからである。それ故、オペレータの時間を効率的に活用しながら、画像修復の品質を改善する画像からの欠陥の除去のための方法及び装置の必要性がある。
【発明の開示】
【課題を解決するための手段】
【０００７】
概して、改善された修復品質を備える修復画像をより効率的に生成するよう画像から欠陥を検出し、取り除く方法及び装置が開示されている。最初に、オリジナルの画像シーケンスが、欠陥を自動的に検出し、随意に修復するために従来技術を用いて処理される。本発明は、欠陥の自動検出及び修復からの中間結果を含む非画像データを生成することにより従来の画像処理技術を拡張する。このようにして、前記非画像データが、その後の対話形セッションにおいて、ユーザによって識別される欠陥をより効率的に修復するために用いられ得る。
【０００８】
非画像データは、例えば、最初にどんな欠陥も識別するために従来技術によって利用された動き推定、粒度及び欠陥の大きさ／位置の情報を含む。本発明は、オペレータが、より効率的なように任意の自動修復を受け入れる、拒否する又は更に変更するために対話形セッションにおいてオリジナルの画像シーケンス及び修復画像シーケンス並びに随意に前記非画像データを見直すことを可能にする。対話形セッションの間にユーザによって欠陥が識別されたら、識別された欠陥のある領域に対する置き換えの副画像(replacement sub-image)をより効率的に識別するために前記非画像データが用いられ得る。
【０００９】
以下の詳細な説明及び図面を参照することにより、本発明の他の特徴及び利点並びに本発明のより完全な理解が得られるであろう。
【発明を実施するための最良の形態】
【００１０】
図３は、本発明による画像復元プロセス３００を図示している。図３に示されているように、オペレータ３１０は、図２に示されている部分的に自動化された画像復元プロセスと同様に、オリジナルの画像シーケンス３２０の中の欠陥の自動検出及び修復を制御するパラメータ３１５を随意に指定することが出来る。パラメータ３１５は、ユーザによって指定されても良く、又はデフォルト値が用いられても良い。パラメータ３１５は、例えば、しきい値、平滑度(smoothness)及び精度の変数を含み得る。オリジナルの画像シーケンス３２０は、図５Ａ及び５Ｂに関連して以下に記載される分析段階５００の間に処理され、分析段階５００は、自動修復画像シーケンス３４０を生成するために良く知られている方法で欠陥を自動的に識別し、修復する。
【００１１】
本発明の特徴によれば、分析段階５００はまた、ステップ５００の間に欠陥の自動検出及び修復からの中間結果を含む非画像データ３５０も生成する。非画像データ３５０は、例えば、あらゆる欠陥を修復するために利用される動き推定及び粒度の情報を含む。このようにして、オペレータ３１０は、任意の自動修復を受け入れる、拒否する又は変更するために、図６に関連して以下に記載される対話形セッション６００において、オリジナルの画像シーケンス３２０と共に修復画像シーケンス３４０及び非画像データ３５０を見直すことが出来る。以下によりよく記載されているように、非画像データ３５０は、オペレータ３１０が、修復画像シーケンス３６０を作成するためにより効率的なように対話形セッション６００を制御すること可能にする。
【００１２】
図４は、本発明による画像欠陥除去システム４００を図示している。図４に示されているように、画像欠陥除去システム４００は、読み出し専用メモリ及び／又はランダムアクセスメモリ（ＲＡＭ）などのデータ記憶装置４２０並びにプロセッサ４１０などの或る標準的なハードウェア構成要素を含む。
【００１３】
データ記憶装置４２０は、各々図５及び６に関連して以下に更に記載されている中間画像分析プロセス５００及び対話形画像修復プロセス６００を含む。一般に、中間画像分析プロセス５００は、自動修復画像シーケンス３４０と、中間結果を含む非画像データ３５０とを生成するために、欠陥を識別し、随意に修復する。対話形画像修復プロセス６００は、オペレータが修復画像シーケンス３４０及びオリジナルの画像シーケンス３２０並びに中間画像分析プロセス５００によって作成された非画像データ３５０を見直すことを可能にする。オペレータは、本発明に基づいて、欠陥のある領域として画像の或る領域に印をつけ、非画像データ３５０を用いる他の修復を要求することが出来る。
【００１４】
本明細書に記載されている方法及び装置は、それ自体が当該コンピュータ読取り可能媒体上に設けられるコンピュータ読取り可能コード手段を持つコンピュータ読取り可能媒体を有する製品として流通され得る。コンピュータ読取り可能プログラムコード手段は、コンピュータシステムに関連して、本明細書に記載されている装置を作成する又は方法を行なうためのステップの全て又は幾つかを実行するよう実施可能である。コンピュータ読取り可能媒体は、記録可能媒体（例えば、フロッピー（R）ディスク、ハードディスク、コンパクトディスク又はメモリカード）であっても良く、又は伝送媒体（例えば、光ファイバ、ワールドワイドウェブ、ケーブル、又は時分割多重アクセス、符号分割多重アクセス若しくは他の無線周波数チャネルを用いるワイヤレスチャネルを有するネットワーク）であっても良い。コンピュータシステムでの使用に適した情報を記憶することが出来る、知られている又は開発されているあらゆる媒体が用いられ得る。コンピュータ読取り可能コード手段は、磁気媒体上の磁気変動又はコンパクトディスクの表面上の高さ変動などの、コンピュータが命令及びデータを読み取ることを可能にする任意の機構である。
【００１５】
データ記憶装置４２０は、本明細書に開示されている方法、ステップ及び機能を実施するようにプロセッサ４１０を構成するだろう。データ記憶装置４２０は、分散され得る又はローカルであり得る。プロセッサ４１０は、分散され得る又は単一のものであり得る。データ記憶装置４２０は、電気的な、磁気的な若しくは光学的なメモリ、又はこれら若しくは他のタイプの記憶装置の任意の組み合わせとして実施され得る。データ記憶装置４２０は画像欠陥除去システム４００の他の素子と切り離して示されているが、全てのアプリケーションに対して必ずしもそうであるとは限らないことに注意されたい。更に、「メモリ」又は「データ記憶装置」という用語は、プロセッサ４１０によってアクセスされるアドレス指定可能な空間中のアドレスから読み取られること、又は該アドレスに書き込まれることが可能なあらゆる情報を含むものと十分に広く解釈されるべきである。この定義では、ネットワーク上の情報は、依然として画像欠陥除去システム４００のデータ記憶装置４２０内にある。なぜなら、プロセッサ４１０はネットワークから情報を検索することが出来るからである。他の変形例においては、画像欠陥除去システム４００は、例えば、ワークステーション又は他の画像処理装置に組み込まれ得る特定用途向け集積回路（ASIC）として実施され得る。
【００１６】
図５A及び５Bは、合わせて、本発明の原理を実施する例示的な中間画像分析プロセス５００を表わすフローチャートである。上記のように、中間画像分析プロセス５００は、自動修復画像シーケンス３４０を生成するために欠陥を識別し、随意に修復し、中間結果を含む非画像データ３５０の生成もする。図５に示されているように、中間画像分析プロセス５００は、最初に、ステップ５１０の間に、オリジナルの画像シーケンス３２０を得る。その後、中間画像分析プロセス５００は、ステップ５２０の間に、各画像フレームを所与のシーンと関連づける。ステップ５３０の間には、画像粒度が算出される。
【００１７】
ステップ５４０の間には、縦傷(vertical scratches)などの画像のシーケンス中の定常的な欠陥(steady defect)が識別される。定常的な欠陥は、動き推定の情報の助けなしに識別される欠陥である。適当な欠陥検出技術の詳細な記載については、例えば、参照により本明細書に盛り込まれるAnil Kokaram, “Motion Picture Restoration”, (Springer, 1998)参照。その後、動き推定変位ベクトル(motion estimation displacement vector)が、ステップ５４５の間に、各ピクセル（又はピクセルのグループ）について前及び後のフレームに対して算出される。算出動き推定変位ベクトルは、ステップ５５０の間に、非画像データファイル３５０中に記憶され、ステップ５３０からの画像粒度のデータは、ステップ５５５の間に、非画像データファイル３５０中に記憶される。
【００１８】
動きベクトルでは説明がつかないあらゆる時間的な不連続性は、ステップ５６０(図５B)の間に、潜在的な欠陥(potential defect)として識別される。形態処理技術(morphological processing techniques)が、ステップ５６５の間に、潜在的な欠陥をマージ(merge)するために用いられる。ステップ５７０の間には、バイナリファイルが、各潜在的な欠陥の位置及び形状を示す非画像データ３５０の一部として作成される。
【００１９】
各残りの潜在的な欠陥は、ステップ５７５の間に、該欠陥が実際の欠陥(real defect)であるかどうかを決定するために、例えば、単純な内挿法(simple interpolation)に関して、コントラストレベルのずれ(contrast level deviation)について分析される。ステップ５７５の間に識別される各実際の欠陥については、この欠陥は、ステップ５８５の間に、動き推定の情報を用いて前又は後の画像の対応する領域と置き換えられる。適当な欠陥修復技術の詳細な記載については、例えば、参照により本明細書に盛り込まれるAnil Kokaram, “Motion Picture Restoration”, (Springer, 1998)参照。その後、プログラム制御は終了する。
【００２０】
図６は、本発明の原理を実施する例示的な対話形画像修復プロセス６００を表わすフローチャートである。上記のように、対話形画像修復プロセス６００は、本発明に基づいて、オペレータが欠陥のある領域として画像の或る領域に印をつけ、非画像データ３５０を用いる他の修復又は変更を要求することを可能にする。図６に示されているように、対話形画像修復プロセス６００は、最初に、ステップ６１０の間に、他の変更のための画像の領域及び一般的な修復(general repair)などの行なわれるべき変更のタイプの指示のユーザによる選択(user selection)を受け取る。
【００２１】
その後、対話形画像修復プロセス６００は、ステップ６２０の間に、例えば、非画像データ３５０からの粒度若しくは動き推定の情報（又は両方）を用いて、ユーザにより選択された欠陥領域に対する置き換え画像を識別する。ユーザにより選択された欠陥領域は、プログラム制御が終了する（又は別のユーザ入力を待つためにステップ６１０に戻る）前に、ステップ６３０の間に、自動的に識別された置き換え副画像と置き換えられる。
【００２２】
本明細書に示され、記載されている実施例及び変形例は、単に本発明の原理を例示するだけのものであり、本発明の範囲及び精神からはずれることなしに当業者によって様々な修正例が実施され得ることを理解されたい。
【図面の簡単な説明】
【００２３】
【図１】従来のワンステップ画像復元プロセスを表わすフローチャートである。
【図２】従来の部分的に自動化された画像復元プロセスを表わすフローチャートである。
【図３】本発明による画像復元プロセスを表わすフローチャートである。
【図４】本発明による画像欠陥除去システムを図示する。
【図５Ａ】図５Ｂとあわせて、本発明の原理を実施する例示的な中間画像分析プロセスを表わすフローチャートの一部である。
【図５Ｂ】図５Ａとあわせて、本発明の原理を実施する例示的な中間画像分析プロセスを表わすフローチャートの一部である。
【図６】本発明の原理を実施する例示的な中間画像修復プロセスを表わすフローチャートである。
【図１】
2005510894.tif 000003
【図２】
2005510894.tif 000004
【図３】
2005510894.tif 000005
【図４】
2005510894.tif 000006
【図５Ａ】
2005510894.tif 000007
【図５Ｂ】
2005510894.tif 000008
【図６】
2005510894.tif 000009
【国際調査報告】
2005510894.tif 000010
2005510894.tif 000011