(57)【要約】【課題】映像フィルムの修復作業を各段に効率化することができる。【解決手段】スプライス直線検出部２は、動画を構成する一連の画像Ｐ１〜ＰＮのうち、スプライス直線が含まれる画像Ｐｎを検出する。類似度算出部３は、スプライス直線検出部２で検出された検出画像Ｐｎと、検出画像Ｐｎの前後の画像Ｐｎ−１、Ｐｎ＋１との類似度をそれぞれ算出する。画像修復部４は、前後の画像Ｐｎ−１、Ｐｎ＋１のうち、検出画像Ｐｎと類似度が高い方の画像から、スプライス直線が出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する検出画像Ｐｎの部分画像と置換して、検出画像Ｐｎに含まれるスプライス直線を消去する。動画生成部７は、画像修復部４でスプライス直線が消去された一連の画像Ｐ１〜ＰＮをつなげて動画を生成する。【選択図】図１
2018093426.tif 000002
【特許請求の範囲】
【請求項１】
動画を修復する映像修復システムであって、
前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出部と、
前記スプライス直線検出部で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記検出画像の部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復部と、
前記画像修復部でスプライス直線が消去された一連の画像をつなげて動画を生成する動画生成部と、
を備える映像修復システム。
【請求項２】
前記スプライス直線検出部は、
前記一連の画像から、シーンの切り変わり時点に対応する画像を特定し、
特定された画像の中から、スプライス直線が含まれる画像を検出する、
請求項１に記載の映像修復システム。
【請求項３】
前記スプライス直線検出部は、
ハフ変換により、スプライス直線が含まれる画像を検出する、
請求項２に記載の映像修復システム。
【請求項４】
前記画像修復部は、
前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出し、
画像から抽出された部分画像を、水平方向に検出したずれ量だけずらして、対応する前記検出画像の対応する部分画像と置換する、
ことを特徴とする請求項１から３のいずれか一項に記載の映像修復システム。
【請求項５】
前記画像修復部は、
置換後の画像に、空白がある場合に、その空白に隣接する部分画像を、前記空白に埋め込んで、画像を修復する、
請求項４に記載の映像修復システム。
【請求項６】
前記画像修復部は、
位相限定相関法を用いて前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出する、
請求項４又は５に記載の映像修復システム。
【請求項７】
前記画像修復部で修復された部分画像周辺の平滑化を行う画像平滑化部を備える、
請求項１から６のいずれか一項に記載の映像修復システム。
【請求項８】
前記映像を構成する一連の画像に含まれる縦キズが含まれる画像を検出する縦キズ検出部を備え、
前記画像平滑化部は、
前記縦キズ検出部で検出された縦キズの周辺部分の画像の平滑化を行う、
請求項７に記載の映像修復システム。
【請求項９】
動画を修復する映像修復方法であって、
コンピュータが、前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出工程と、
コンピュータが、前記スプライス直線検出工程で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出工程と、
コンピュータが、前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記検出画像の部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復工程と、
コンピュータが、前記画像修復工程でスプライス直線が消去された一連の画像をつなげて動画を生成する動画生成工程と、
を含む映像修復方法。
【請求項１０】
動画を修復するコンピュータを、
前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出部、
前記スプライス直線検出部で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記検出画像の部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復部、
前記画像修復部でスプライス直線が消去された一連の画像をつなげて動画を生成する動画生成部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像修復システム、映像修復方法及びプログラムに関する。
【背景技術】
【０００２】
多チャンネル時代をむかえ、古い映像コンテンツを大画面で精細なディスプレイで見ることが多くなっている。そこで、古い映像コンテンツなどのデジタル映像化が行われている。古い映画コンテンツでは、経年劣化したフィルムの色の修復技術や、パラ消しと言われるノイズ除去など、映像を修復する技術等が一部自動化されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１３８０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
古い映像コンテンツを大画面で精細なディスプレイで表示した場合に、特に際立ってくるのが、画像内に一瞬表示されるスプライス直線や縦キズなどのキズである。しかしながら、現状では、映像フィルムに残されたキズ等の検出及び修復は、依然として目視及び手作業で行われているのが一般的である。
【０００５】
本発明は、上記実情に鑑みてなされたものであり、映像フィルムの修復作業を各段に効率化することができる映像修復システム、映像修復方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の第１の観点に係る映像修復システムは、
動画を修復する映像修復システムであって、
前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出部と、
前記スプライス直線検出部で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出部と、
前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記検出画像の部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復部と、
前記画像修復部でスプライス直線が消去された一連の画像をつなげて動画を生成する動画生成部と、
を備える。
【０００７】
この場合、前記スプライス直線検出部は、
前記一連の画像から、シーンの切り変わり時点に対応する画像を特定し、
特定された画像の中から、スプライス直線が含まれる画像を検出する、
こととしてもよい。
【０００８】
また、前記スプライス直線検出部は、
ハフ変換により、スプライス直線が含まれる画像を検出する、
こととしてもよい。
【０００９】
前記画像修復部は、
前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出し、
画像から抽出された部分画像を、水平方向に検出したずれ量だけずらして、対応する前記検出画像の対応する部分画像と置換する、
こととしてもよい。
【００１０】
前記画像修復部は、
置換後の画像に、空白がある場合に、その空白に隣接する部分画像を、前記空白に埋め込んで、画像を修復する、
こととしてもよい。
【００１１】
前記画像修復部は、
位相限定相関法を用いて前記検出画像と前記類似度が高い方の画像との水平方向のずれ量を検出する、
こととしてもよい。
【００１２】
前記画像修復部で修復された部分画像周辺の平滑化を行う画像平滑化部を備える、
こととしてもよい。
【００１３】
前記映像を構成する一連の画像に含まれる縦キズが含まれる画像を検出する縦キズ検出部を備え、
前記画像平滑化部は、
前記縦キズ検出部で検出された縦キズの周辺領域の画像の平滑化を行う、
こととしてもよい。
【００１４】
本発明の第２の観点に係る映像修復方法は、
動画を修復する映像修復方法であって、
コンピュータが、前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出工程と、
コンピュータが、前記スプライス直線検出工程で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出工程と、
コンピュータが、前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記検出画像の部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復工程と、
コンピュータが、前記画像修復工程でスプライス直線が消去された一連の画像をつなげて動画を生成する動画生成工程と、
を含む。
【００１５】
本発明の第３の観点に係るプログラムは、
動画を修復するコンピュータを、
前記動画を構成する一連の画像のうち、スプライス直線が含まれる画像を検出するスプライス直線検出部、
前記スプライス直線検出部で検出された検出画像と、前記検出画像の前後の画像との類似度をそれぞれ算出する類似度算出部、
前記前後の画像のうち、前記検出画像と類似度が高い方の画像から、前記スプライス直線が出現した部分に対応する部分画像を抽出し、抽出された部分画像を、対応する前記検出画像の部分画像と置換して、前記検出画像に含まれるスプライス直線を消去する画像修復部、
前記画像修復部でスプライス直線が消去された一連の画像をつなげて動画を生成する動画生成部、
として機能させる。
【発明の効果】
【００１６】
本発明によれば、映像フィルムに残るスプライス直線と縦キズとを自動的に検出し、検出したスプライス直線と縦キズとを消去して自動的に修復することができる。これにより、映像フィルムの修復作業を各段に効率化することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る映像修復システムの構成を示すブロック図である。
【図２】スプライス直線の一例を示す図である。
【図３】縦キズの一例を示す図である。
【図４】シーンの切り替わりの一例を示す図である。
【図５】図５（Ａ）及び図５（Ｂ）は、Ｈｏｕｇｈ変換を用いてスプライス直線を検出する流れの一例を示す図である。
【図６】図６（Ａ）、図６（Ｂ）及び図６（Ｃ）は、画像間の類似度を算出するために用いられる画像の輝度値のヒストグラムである。
【図７】図７（Ａ）及び図７（Ｂ）は、画像修復の流れを示す模式図である。
【図８】画像間のずれ量を算出する流れを示す模式図である。
【図９】図９（Ａ）及び図９（Ｂ）は、画像を修復する流れを示す模式図である。
【図１０】図１０（Ａ）、図１０（Ｂ）及び図１０（Ｃ）は、縦キズの検出の流れを示す模式図である。
【図１１】図１の映像修復システムのハードウエア構成を示すブロック図である。
【図１２】本発明の実施の形態に係る映像修復システムの動作のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。本実施の形態に係る映像修復システムは、古い映像フィルムを再生したときに画面に現れるキズを修復する画像処理システムである。
【００１９】
図１に示すように、データ記憶部１０には、古い映像フィルムをデジタル化して得られた動画データを構成する一連の画像Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、…、Ｐｎ（ｎは自然数）が記憶されている。本実施の形態では、この一連の画像Ｐ１〜Ｐｎが修復対象となる。以下では、各画像Ｐ１〜ＰｎをショットＰ１〜Ｐｎとも呼ぶ。本実施の形態では、修復されるキズは、主として、スプライス直線及び縦キズである。
【００２０】
スプライス直線は、水平方向に延びるように画面に現れる直線である。スプライス直線は、主として、映像の編集の際にフィルムがカットされ、つなぎ合わせた部分に発生する。図２では、画像Ｐｎにスプライス直線Ｓが含まれている。図２に示すように、スプライス直線Ｓは、主として映像コンテンツのシーン（場面）の切り替わりにおいて発生し、その発生場所は、画像Ｐｎの上部又は下部となる。
【００２１】
縦キズは、画面の垂直方向に延びるキズであり、各画像Ｐｎ内の任意の場所に出現する。図３では、縦キズＩの一例が示されている。縦キズＩは、映像コンテンツのシーンの切り替わり等に関係なく、ランダムに出現する。
【００２２】
図１に戻り、映像修復システム１は、スプライス直線検出部２と、類似度算出部３と、画像修復部４と、縦キズ検出部５と、画像平滑化部６と、動画生成部７と、を備える。
【００２３】
スプライス直線検出部２は、動画を構成する一連の画像Ｐ１〜ＰＮのうち、スプライス直線Ｓが含まれる画像Ｐｎ（ｎ＝１〜Ｎ）を検出する。
【００２４】
より具体的には、スプライス直線検出部２は、まず、図４に示すように、一連の画像Ｐ１〜ＰＮから、映像コンテンツのシーンの切り変わり時点Ｃｋ（ｋは自然数）に対応する画像Ｐｎを特定する。スプライス直線Ｓは、主として映像コンテンツのシーンの切り替わりにおいて良く出現するため、本実施の形態では、スプライス直線検出部２は、予めシーンの切り替わり時点Ｃｋを検出し、その時点Ｃｋ近傍の画像Ｐｎに絞って、スプライス直線Ｓの検出を行う。スプライス直線検出部２は、特定された画像Ｐ１〜ＰＮ、すなわちシーンの切り替わり時点Ｃｋ前後の画像Ｐｎの中から、スプライス直線Ｓが含まれる画像Ｐｎを検出する。
【００２５】
スプライス直線Ｓの検出には、例えばハフ（Ｈｏｕｇｈ）変換を用いることができる。Ｈｏｕｇｈ変換は、デジタル画像処理で用いられる特徴抽出法の１つであり、画像から直線、円、楕円等の図形を検出する技法である。例えば、図５（Ａ）に示すように、画像Ｐｎの各画素の位置座標を（ｘ，ｙ）とする。また、画像Ｐｎ内におけるスプライス直線Ｓがある場合に、スプライス直線Ｓの関係式をｙ＝ａｘ＋ｂとする。Ｈｏｕｇｈ変換を行うことにより、スプライス直線Ｓの関係式の係数ａ，ｂを求めることができる。
【００２６】
まず、スプライス直線検出部２は、画像Ｐｎにおいて輝度変化の大きな画素点をスプライス直線Ｓ上の候補点として検出する。図５（Ａ）では、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・が候補点として検出されている様子が示されている。
【００２７】
候補点（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・をそれぞれ通過する直線は無数に存在する。スプライス直線検出部２は、抽出された候補点が最も多く通過する直線をスプライス直線Ｓとして検出する。
【００２８】
ここで、図５（Ｂ）に、スプライス直線Ｓの関係式の係数ａ，ｂを座標軸とする平面を示す。スプライス直線検出部２は、図５（Ｂ）に示すように、この平面上で、それぞれ候補点（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）、・・・を通過する可能性のある点（ａ，ｂ）について投票を行っていく。この投票で最も点数の多かった座標（ａ１，ｂ１）を、スプライス直線Ｓの直線式の係数ａ，ｂとして決定する。
【００２９】
図１に戻り、類似度算出部３は、スプライス直線検出部２で検出された検出画像Ｐｎと、検出画像Ｐｎの前後の画像Ｐｎ−１、Ｐｎ＋１との類似度をそれぞれ算出する。ここでは、検出画像Ｐｎとその前後の画像Ｐｎ−１、Ｐｎ＋１について、検出画像Ｐｎとその前の画像Ｐｎ−１との類似度と、検出画像Ｐｎとその後の画像Ｐｎ＋１との類似度がそれぞれ算出される。
【００３０】
各画像Ｐｎの類似度は、各画像Ｐｎの輝度値のヒストグラムの相関度に基づいて算出される。例えば、図６（Ａ）、図６（Ｂ）及び図６（Ｃ）に示すように、類似度算出部３は、画像Ｐｎ、Ｐｎ−１、Ｐｎ＋１の輝度値のヒストグラムを得る。さらに、類似度算出部３は、画像Ｐｎの輝度値ヒストグラムと画像Ｐｎ−１の輝度値のヒストグラムとの相関度を求め、画像Ｐｎの輝度値ヒストグラムと画像Ｐｎ＋１の輝度値ヒストグラムとの相関度を求める。輝度値ヒストグラムの相関度が高い画像Ｐｎ＋１、Ｐｎ−１のいずれかが、類似度が高い画像となる。
【００３１】
図１に戻り、画像修復部４は、図７（Ａ）に示すように、前後の画像Ｐｎ−１、Ｐｎ＋１のうち、類似度が高い方の画像Ｐ’を選択する。さらに、画像修復部４は、図７（Ｂ）に示すように、類似度が高い方の画像Ｐ’から、スプライス直線Ｓが出現した部分に対応する部分画像ＰＩ’を抽出する。さらに、画像修復部４は、抽出された部分画像ＰＩ’を、対応する検出画像Ｐｎの部分画像ＰＩと置換して、検出画像Ｐｎに含まれるスプライス直線Ｓを消去する。
【００３２】
なお、スプライス直線Ｓは、各画像Ｐｎの上端近傍の領域又は下端近傍の領域に現れ、その発生領域は、上端又は下端から一定の範囲に現れるのが一般的である。従って、部分画像ＰＩ、ＰＩ’を、各画像Ｐｎの上端又は下端における固定大の画像領域とすることができる。このため、スプライス直線Ｓの位置は、画像の上側に出現しているか、下側に出現しているかを検出するだけでもよい。
【００３３】
さらに、画像修復部４は、図８に示すように、検出画像Ｐｎと類似度が高い方の画像Ｐ’との水平方向のずれ量を検出する。そして、画像修復部４は、画像Ｐ’から抽出された部分画像ＰＩ’を、水平方向に検出したずれ量だけずらして、対応する検出画像Ｐｎの部分画像ＰＩと置換する。ずれ量の検出には、本実施の形態では、位相限定相関法（ＰＯＣ;Phase  Only  Correlation  Method）を用いる。位相限定相関法は、２つの画像の間がどれぐらいずれているか、すなわち画像のシフト量を、各画像の位相画像を用いて推定する方法である。この方法は、２つの画像の位相に注目しそれらの位相の相関を取り、画像の間の「類似度」を測る。
【００３４】
位相限定相関法において、画像修復部４は、まず、図８に示すように、画像Ｐｎ、画像Ｐ’をそれぞれフーリエ変換して、それぞれのスペクトル成分Ｆａ，Ｆｂを得る。そして、画像修復部４は、スペクトル成分Ｆａ、Ｆｂを振幅スペクトルで割ることで正規化し、逆フーリエ変換することで位相限定画像Ｆａｂを得る。位相限定画像Ｆａｂでは、位置座標（Δｘ，Δｙ）に点が形成されている。この点の位置座標（Δｘ，Δｙ）が、画像Ｐｎと画像Ｐ’とのｘ軸方向、ｙ軸方向のずれ量を示している。
【００３５】
画像修復部４は、部分画像ＰＩ’をｘ軸方向にΔｘだけシフトさせて、画像Ｐｎに埋め込む。この場合、図９（Ａ）に示すように、空白部分Ｑが発生する。置換後の画像Ｐｎ’に空白部分Ｑがある場合、画像修復部４は、図９（Ｂ）に示すように、画像Ｐ’の空白部分Ｑに隣接する部分画像ＲＩを、空白部分Ｑに埋め込んで、画像を修復する。なお、図９（Ａ）は、Δｘが正の場合であるが、Δｘが負で、部分画像ＰＩ’を左方向にシフトするようにしてもよい。
【００３６】
図１に戻り、縦キズ検出部５は、一連の画像Ｐ１〜ＰＮに含まれる縦キズＩを検出する。具体的には、縦キズ検出部５は、図１０（Ａ）に示すように、各画像Ｐｎにおいて、水平方向の画素の輝度変化を検出して、輝度が急激に変化するエッジ部分を検出し、エッジ部分が垂直方向に繋がっている部分を、縦キズＩとして検出する。
【００３７】
図１に戻り、画像平滑化部６は、画像修復部４で修復された画像Ｐｎの部分画像ＰＩの周辺領域の平滑化又は縦キズ検出部５で検出された画像Ｐｎの縦キズＩ周辺の領域の平滑化を行う。この画像の平滑化には、メディアンフィルタが用いられる。メディアンフィルタは、周辺輝度値の大きさを順に並べ、メディアン（中央値）を注目画素に置き換えていくフィルタ処理を行う。
【００３８】
このメディアンフィルタを用いることで、画像平滑化部６は、画像Ｐｎ内に含まれるノイズを除去することができる。例えば、図１０（Ｂ）に示すように、画素値が１００である注目画素について周辺の画素の輝度値が、１０、１５、４１、３０、３４、６０、１８０、１３０であったとする。この９つの画素の輝度値などを順番に並べ換えると、１０、１５、３０、３４、４１、６０、１００、１３０、１８０となる。この場合、画像平滑化部６は、中央の注目画素の値を中間値の４１とする。これがメディアンフィルタによる平滑化処理である。
【００３９】
画像平滑化部６は、図１０（Ｃ）に示すように、縦キズＩ周辺の領域ＩＡに対してメディアンフィルタを適用する。これにより、縦キズＩが消去される。また、画像平滑化部６は、図９（Ｂ）に示す画像Ｐｎの部分画像ＰＩ’との境界周辺に対してメディアンフィルタを適用する。
【００４０】
図１に戻り、動画生成部７は、スプライス直線Ｓ及び縦キズＩが消去された一連の画像Ｐ１〜ＰＮをつなげて動画を生成する。
【００４１】
図１１は、図１の映像修復システム１のハードウエア構成を示す。図１１に示すように、映像修復システム１は、制御部３１、主記憶部３２、外部記憶部３３、操作部３４及び表示部３５を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５はいずれも内部バス３０を介して制御部３１に接続されている。
【００４２】
制御部３１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部３３に記憶されているプログラム３９を実行することにより、図１に示す映像修復システム１の各構成要素が実現される。
【００４３】
主記憶部３２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部３２には、外部記憶部３３に記憶されているプログラム３９がロードされる。この他、主記憶部３２は、制御部３１の作業領域（データの一時記憶領域）として用いられる。
【００４４】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部３３には、制御部３１に実行させるためのプログラム３９があらかじめ記憶されている。また、外部記憶部３３は、制御部３１の指示に従って、このプログラム３９の実行の際に用いられるデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。
【００４５】
操作部３４は、キーボード及びマウスなどのポインティングデバイス等と、キーボード及びポインティングデバイス等を内部バス３０に接続するインターフェイス装置から構成されている。操作部３４を介して、操作者が操作した内容に関する情報が制御部３１に入力される。
【００４６】
表示部３５は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（ElectroLuminescence）などから構成される。操作者が操作情報を入力する場合は、表示部３５には、操作用の画面が表示される。
【００４７】
なお、制御部３１のプログラム３９の実行により、図１に示す映像修復システム１の構成において、スプライス直線検出部２、類似度算出部３、画像修復部４、縦キズ検出部５、画像平滑化部６及び動画生成部７は、制御部３１及び主記憶部３２に対応し、データ記憶部１０は、外部記憶部３３に対応する。
【００４８】
次に、映像修復システム１の動作について説明する。
【００４９】
まず、スプライス直線Ｓの修復に係る処理について説明する。図１２に示すように、まず、スプライス直線検出部２は、映像コンテンツのシーンの切り替わり時点Ｃｋを検出する（ステップＳ１）。これにより、図４に示すように、映像コンテンツのシーンの切り替わり時点Ｃｋが検出される。
【００５０】
続いて、スプライス直線検出部２は、映像コンテンツのシーンの切り替わり時点Ｃｋの画像Ｐｎに含まれるスプライス直線Ｓを、図５（Ａ）及び図５（Ｂ）に示すように、Ｈｏｕｇｈ変換を行って検出する（ステップＳ２；スプライス直線検出工程）。
【００５１】
続いて、スプライス直線検出部２は、スプライス直線Ｓが有るか否かを判定する（ステップＳ３）。スプライス直線Ｓがない場合（ステップＳ３；Ｎｏ）、映像修復システム１は、スプライス直線Ｓに係る処理を終了する。一方、スプライス直線Ｓがあった場合（ステップＳ３；Ｙｅｓ）、類似度算出部３が、図６（Ａ）、図６（Ｂ）及び図６（Ｃ）に示すように、画像Ｐｎと前後の画像Ｐｎ−１、Ｐｎ＋１の類似性を比較し、類似性の高い画像を選択する（ステップＳ４；類似度算出工程）。
【００５２】
続いて、類似度算出部３は、類似性の高い画像とのずれがあるか否かを判定する（ステップＳ５）。類似性の高い画像とのずれがない場合（ステップＳ５；Ｎｏ）、画像修復部４は、図７（Ａ）、図７（Ｂ）及び図７（Ｃ）に示すように、画像Ｐｎにおけるスプライス直線Ｓが存在する部分画像ＰＩを、類似性の高い画像Ｐ’の対応する部分画像ＰＩ’と置換することで、画像修復を行う（ステップＳ６；画像修復工程）。
【００５３】
一方、類似性の高い画像Ｐ’とのずれがあった場合（ステップＳ５；Ｙｅｓ）、画像修復部４は、図８に示すように、位相限界推定法を用いて、シフト量Δｘを算出する（ステップＳ７）。続いて、画像修復部４は、図９（Ａ）に示すように、シフト量Δｘだけシフトして画像Ｐ’の部分画像ＰＩ’を画像Ｐｎの部分画像ＰＩと置換する（ステップＳ８）。続いて、画像修復部４は、図９（Ｂ）に示すように、画像Ｐ’の隣接部分画像ＲＩを、画像Ｐｎの空白部分Ｑに埋め込んで、画像の埋め合わせを行う（ステップＳ９）。隣接する部分画像ＲＩが空白部分Ｑとして最も近似するためである。
【００５４】
続いて、画像平滑化部６は、修復した画像に対してメディアンフィルタを用いて平滑化を行う（ステップＳ１０）。続いて、動画生成部７は、これまでに修復された画像を含む動画を生成する（ステップＳ１４；動画生成工程）。
【００５５】
次に、縦キズの修復に係る処理について説明する。まず、縦キズ検出部５は、縦キズを検出する（ステップＳ１２）。続いて、縦キズ検出部５は、図１０（Ａ）に示すように、縦キズＩがあるか否かを判定する（ステップＳ１３）。縦キズＩがなかった場合（ステップＳ１３；Ｎｏ）、動画生成部７は、動画を生成し（ステップＳ１４；動画生成工程）、処理を終了する。一方、縦キズＩがあった場合（ステップＳ１３；Ｙｅｓ）、画像平滑化部６は、縦キズがある部分の平滑化を行う（ステップＳ１０）。その後、動画生成部７が、縦キズが除去された画像で、動画を生成する（ステップＳ１４；動画生成工程）。
【００５６】
以上詳細に説明したように、本実施の形態によれば、映像フィルムの動画に残るスプライス直線Ｓと縦キズＩとを自動的に検出し、自動的に修復することができる。これにより、映像フィルムの修復作業を各段に効率化することができる。
【００５７】
なお、上記実施の形態では、映像コンテンツのシーンの切り替わり時点Ｃｋを検出し、その時点Ｃｋの画像を対象としてスプライス直線Ｓを検出した。このようにすれば、スプライス直線Ｓを検出する画像Ｐｎを絞りこむことができるので、検出に要する時間を短縮することができる。しかしながら、本発明はこれには限られない。すべての画像Ｐｎについてスプライス直線Ｓを検出するようにしてもよい。
【００５８】
また、上記実施の形態では、動画における物体の動きに基づく前後の画像Ｐｎの水平方向のずれ量を検出し、そのずれ量Δｘに応じて部分画像ＰＩ’をずらして置換する。これにより、ずれのない画像修復が可能となる。
【００５９】
そして、部分画像ＰＩ’をずらして置換したことにより発生する空白部分Ｑには、図９（Ａ）及び図９（Ｂ）に示すように、その部分に隣接する部分画像ＲＩを埋め込む。これにより、違和感のない自然な画像修復が可能となる。
【００６０】
また、上記実施の形態によれば、上述のような部分画像ＰＩ’の置換部分周辺の平滑化を行っているので、画像Ｐｎの一部を置換しつつ、違和感のない画像修復が可能となる。
【００６１】
また、上記実施の形態によれば、古い映像フィルムに再生した時に画面に生じる縦キズＩを検出し、その縦キズＩを自動的に修正する。これにより、映像フィルムの修復作業を各段に効率化することができる。
【００６２】
また、上記実施の形態では、スプライス直線Ｓの検出にＨｏｕｇｈ変換を用い、部分画像の動き検出（ずれ量検出）に位相限定相関法を用い、画像の平滑化にメディアンフィルタ等を用いたが、本発明はこれには限られない。これらの方法とは他の方法で、スプライス直線Ｓの検出、部分画像の動き検出（ずれ量検出）、画像の平滑化を可能であれば、その方法を適用することができる。
【００６３】
その他、映像修復システム１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
【００６４】
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び内部バス３０などから構成される映像修復システム１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する映像修復システム１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで映像修復システム１を構成してもよい。
【００６５】
映像修復システム１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００６６】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００６７】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【００６８】
本発明は、フィルム動画の修復に適用することができる。
【符号の説明】
【００６９】
１  映像修復システム、２  スプライス直線検出部、３  類似度算出部、４  画像修復部、５  縦キズ検出部、６  画像平滑化部、７  動画生成部、１０  データ記憶部、３０  内部バス、３１  制御部、３２  主記憶部、３３  外部記憶部、３４  操作部、３５  表示部、３９  プログラム
【図１】
2018093426.tif 000003
【図２】
2018093426.tif 000004
【図３】
2018093426.tif 000005
【図４】
2018093426.tif 000006
【図５】
2018093426.tif 000007
【図６】
2018093426.tif 000008
【図７】
2018093426.tif 000009
【図８】
2018093426.tif 000010
【図９】
2018093426.tif 000011
【図１０】
2018093426.tif 000012
【図１１】
2018093426.tif 000013
【図１２】
2018093426.tif 000014