(57)【要約】【課題】入力画像を与えるだけで、途中人手を介すること無く全自動でブロッチノイズを除去することができる映像修復システム、映像修復方法及びプログラムを提供する。【解決手段】映像修復システム１は、フィルムコンテンツである動画を修復する。映像修復システム１は、学習部１０と、修復部２０と、を備える。修復部２０は、元動画２を構成するフレーム画像の少なくとも一部のブロッチノイズＢが含まれる画像からブロッチノイズＢが取り除かれた画像を生成する。生成された画像は再構成されて修復動画３となる。学習部１０は、修復部２０に深層学習を行わせる。【選択図】図１
2020174320.tif 000002
【特許請求の範囲】
【請求項１】
フィルムコンテンツである動画を修復する映像修復システムであって、
前記動画を構成するフレーム画像の少なくとも一部のブロッチノイズが含まれる画像から前記ブロッチノイズが取り除かれた画像を生成する修復部と、
前記修復部に深層学習を行わせる学習部と、
を備える映像修復システム。
【請求項２】
前記修復部は、
入力された画像に基づいて画像を生成する生成器と、入力された画像が前記生成器で生成された生成画像であるのか実画像であるのかを識別する識別器とを備える敵対的生成ネットワークを有しており、
前記学習部は、
前記動画を構成するフレーム画像の少なくとも一部の画像であり、ブロッチノイズが含まれる第１の画像を前記生成器に入力し、前記第１の画像からブロッチノイズが取り除かれた第２の画像を前記実画像として前記識別器に入力することにより、前記敵対的生成ネットワークに深層学習を行わせ、
前記修復部は、
前記学習部で深層学習が行われた前記敵対的生成ネットワークの前記生成器に、前記動画を構成する各フレーム画像の少なくとも一部である第３の画像を入力したときに、前記生成器から出力される第４の画像で再構成されるフレーム画像から成る動画を、ブロッチノイズが除去された修復動画として出力する、
請求項１に記載の映像修復システム。
【請求項３】
前記学習部は、
前記動画を構成する前後のフレーム画像の差分を抽出し、当該差分の大きさがしきい値を超えたか否かにより、前記ブロッチノイズが含まれるフレーム画像を検出するブロッチノイズ検出部と、
前記ブロッチノイズ検出部で検出されたブロッチノイズが含まれるフレーム画像を複数のブロック画像に分割し、分割されたブロック画像を前記第１の画像として生成する学習用画像生成部と、
を備える、
請求項２に記載の映像修復システム。
【請求項４】
前記学習用画像生成部は、
前記第１の画像の向きを変えることにより、又は反転することにより、新たな画像を前記第１の画像として生成する、
請求項３に記載の映像修復システム。
【請求項５】
前記修復部は、
前記動画を構成する各フレーム画像を複数のブロック画像に分割し、分割されたブロック画像を前記第３の画像として生成する画像分割部と、
前記生成器から出力された前記第４の画像を再構成して、前記動画の各フレーム画像を生成する画像再構成部と、
を備える、
請求項２に記載の映像修復システム。
【請求項６】
前記敵対的生成ネットワークは、
コンディショナルＧＡＮ又はＰｉｘ２Ｐｉｘである、
請求項２から５のいずれか一項に記載の映像修復システム。
【請求項７】
フィルムコンテンツである動画を修復する映像修復方法であって、
前記動画を構成するフレーム画像の少なくとも一部のブロッチノイズが含まれる画像から前記ブロッチノイズが取り除かれた画像を生成するように深層学習を行う学習ステップと、
前記学習ステップで行われた深層学習の学習結果に従って、前記動画を構成するフレーム画像の少なくとも一部のブロッチノイズが含まれる画像から前記ブロッチノイズが取り除かれた画像を生成する修復ステップと、
を含む映像修復方法。
【請求項８】
フィルムコンテンツである動画を修復するコンピュータを、
前記動画を構成するフレーム画像の少なくとも一部のブロッチノイズが含まれる画像から前記ブロッチノイズが取り除かれた画像を生成する修復部、
前記修復部に深層学習を行わせる学習部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像修復システム、映像修復方法及びプログラムに関する。
【背景技術】
【０００２】
フィルムで撮影された映像において、フィルム表面に付着した埃や汚れなどにより、斑点状のノイズが生じる。このようなノイズは、ブロッチノイズと呼ばれている（特許文献１参照）。
【０００３】
ブロッチノイズの検出に関する研究は数多く行われている。例えば、現在のフレーム入力に対して動きが補償された前後フレームを参照画像とし、現在フレームの各画素について参照画像の対応する画素との絶対値差分をしきい値処理することによってブロッチ位置を検出するものが開示されている（非特許文献１参照）。また、映像の各ショットについてフリッカとブロッチを含まない背景画像を推定することにより、背景画像を参照画像とするブロッチ検出法も開示されている（非特許文献２参照）。さらに、映像修復に関連するものとして、ゴマ塩ノイズの除去手法（非特許文献３参照）や拡張型多重濃度共起行列フラクタル法を用いて画像欠損部を補完する方法（非特許文献４参照）なども開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５１５３４７号公報
【非特許文献】
【０００５】
【非特許文献１】Kokaram, A. C., Morris, R. D., Fitzgerald, W. J., Rayner, P. J.,"Detection of missing data in image sequences", IEEE Transactions on Image Processing, vol.4, no.11, pp.1496-1508, (1995).
【非特許文献２】庄子弘毅, 阿部正英, 川又政征, “フィルム映像におけるフリッカとブロッチの影響を考慮した背景画像差分法によるブロッチ検出”, 回路とシステム軽井沢ワークショップ論文集, no.20, pp.221-226, (2007).
【非特許文献３】Chan, R. H., Ho, C. W., Nikolova, M., "Salt-and-pepper noise removal by median-type noise detectors and detail-preserving regularization", IEEE Transactions on image processing, vol.14, no.10, pp.1479-1485, (2005).
【非特許文献４】丸和広, 松木靖明, 徳永幸生, 杉山精, “シームレステクスチャ生成法を用いた映画フィルムのスクラッチ補完と動画像評価”, 第11回情報科学技術フォーラム講演論文集(FIT2012), pp.259-260, (2012).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
アナログからデジタルへ移行するにあたり、劣化した映像をデジタル技術で修復するデジタルリマスターといった作業が行われている。また、４Ｋディスプレイが普及し、より高画質な映像に触れる機会が多くなっている。古い映像コンテンツを高画質なテレビで写すと、その映像に含まれるキズやノイズが目立ってしまうという問題がある。現在、このような古い映像コンテンツの修復は、その多くが自動化されているわけではなく、人手により行われている部分も多い。そのため、古い映像コンテンツの修復には、多くの労力と時間を費やしているのが現状である。
【０００７】
本発明は、上記実情の下になされたものであり、入力画像を与えるだけで、途中人手を介すること無く全自動でブロッチノイズを除去することができる映像修復システム、映像修復方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の第１の観点に係る映像修復システムは、
フィルムコンテンツである動画を修復する映像修復システムであって、
前記動画を構成するフレーム画像の少なくとも一部のブロッチノイズが含まれる画像から前記ブロッチノイズが取り除かれた画像を生成する修復部と、
前記修復部に深層学習を行わせる学習部と、
を備える。
【０００９】
この場合、前記修復部は、
入力された画像に基づいて画像を生成する生成器と、入力された画像が前記生成器で生成された生成画像であるのか実画像であるのかを識別する識別器とを備える敵対的生成ネットワークを有しており、
前記学習部は、
前記動画を構成するフレーム画像の少なくとも一部の画像であり、ブロッチノイズが含まれる第１の画像を前記生成器に入力し、前記第１の画像からブロッチノイズが取り除かれた第２の画像を前記実画像として前記識別器に入力することにより、前記敵対的生成ネットワークに深層学習を行わせ、
前記修復部は、
前記学習部で深層学習が行われた前記敵対的生成ネットワークの前記生成器に、前記動画を構成する各フレーム画像の少なくとも一部である第３の画像を入力したときに、前記生成器から出力される第４の画像で再構成されるフレーム画像から成る動画を、ブロッチノイズが除去された修復動画として出力する、
こととしてもよい。
【００１０】
また、前記学習部は、
前記動画を構成する前後のフレーム画像の差分を抽出し、当該差分の大きさがしきい値を超えたか否かにより、前記ブロッチノイズが含まれるフレーム画像を検出するブロッチノイズ検出部と、
前記ブロッチノイズ検出部で検出されたブロッチノイズが含まれるフレーム画像を複数のブロック画像に分割し、分割されたブロック画像を前記第１の画像として生成する学習用画像生成部と、
を備える、
こととしてもよい。
【００１１】
前記学習用画像生成部は、
前記第１の画像の向きを変えることにより、又は反転することにより、新たな画像を前記第１の画像として生成する、
こととしてもよい。
【００１２】
前記修復部は、
前記動画を構成する各フレーム画像を複数のブロック画像に分割し、分割されたブロック画像を前記第３の画像として生成する画像分割部と、
前記生成器から出力された前記第４の画像を再構成して、前記動画の各フレーム画像を生成する画像再構成部と、
を備える、
こととしてもよい。
【００１３】
前記敵対的生成ネットワークは、
コンディショナルＧＡＮ又はＰｉｘ２Ｐｉｘである、
こととしてもよい。
【００１４】
本発明の第２の観点に係る映像修復方法は、
フィルムコンテンツである動画を修復する映像修復方法であって、
前記動画を構成するフレーム画像の少なくとも一部のブロッチノイズが含まれる画像から前記ブロッチノイズが取り除かれた画像を生成するように深層学習を行う学習ステップと、
前記学習ステップで行われた深層学習の学習結果に従って、前記動画を構成するフレーム画像の少なくとも一部のブロッチノイズが含まれる画像から前記ブロッチノイズが取り除かれた画像を生成する修復ステップと、
を含む。
【００１５】
本発明の第３の観点に係るプログラムは、
フィルムコンテンツである動画を修復するコンピュータを、
前記動画を構成するフレーム画像の少なくとも一部のブロッチノイズが含まれる画像から前記ブロッチノイズが取り除かれた画像を生成する修復部、
前記修復部に深層学習を行わせる学習部、
として機能させる。
【発明の効果】
【００１６】
本発明によれば、深層学習によりブロッチノイズを除去する。これにより、ブロッチノイズの大きさ、形状及び色に関わらず、ブロッチノイズを、精度良く除去することができる。したがって、本発明によれば、入力画像を与えるだけで、途中人手を介すること無く全自動でブロッチノイズを除去することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る映像修復システムの構成を示すブロック図である。
【図２】学習部の機能構成を示すブロック図である。
【図３】修復部の機能構成を示すブロック図である。
【図４】映像修復システムのハードウエア構成を示すブロック図である。
【図５】学習処理のフローチャートである。
【図６】修復処理のフローチャートである。
【図７】（Ａ）及び（Ｂ）は、修復部の入出力パターンを示す模式図である。
【図８】Ｃｏｎｄｉｔｉｏｎａｌ  ＧＡＮの構成を示すブロック図である。
【図９】Ｐｉｘ２Ｐｉｘの構成を示すブロック図である。
【図１０】（Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、ブロッチノイズの一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して詳細に説明する。各図面においては、同一又は同等の部分に同一の符号を付す。
【００１９】
図１に示すように、映像修復システム１は、ブロッチが含まれる動画を修復する。具体的には、映像修復システム１は、フィルムコンテンツである元動画２を入力して、元動画２を構成する各フレーム画像からブロッチノイズを除去し、ブロッチノイズが除去された各フレーム画像で構成される修復動画３を出力する。
【００２０】
ブロッチノイズは、フィルム間のホコリ又は汚れが原因で起こる画像のノイズである。ブロッチノイズは、点状、線状のものから特殊な形状のものまで様々な形状のものがあり、大きさも様々である。また、ブロッチノイズは、その色も、白、黒又は他の色で構成されるなど、まちまちである。映像修復システム１は、形状、大きさ及び色などにかかわらず、ブロッチノイズを自動的に修復する。
【００２１】
映像修復システム１は、学習部１０と、修復部２０と、を備える。映像修復システム１は、学習部１０により学習され、修復部２０に実装される敵対的生成ネットワーク（Generative Adversarial Networks；ＧＡＮ）を用いて映像の修復を行う。
【００２２】
学習部１０は、ＧＡＮを学習させる。学習の際には、スイッチ５，６は、学習部１０側に切り替えられる。修復部２０には、ＧＡＮが実装され、元動画２からブロッチノイズＢを除去し動画を修復する。修復の際には、スイッチ５，６は、修復部２０側に切り替えられる。以下、学習部１０及び修復部２０の詳細な構成について説明する。
【００２３】
まず、学習部１０の構成について説明する。図２に示すように、学習部１０は、ブロッチノイズ検出部１１と、学習用画像生成部１２と、調整部１３と、を備える。ここでは、元動画２を構成するフレーム画像をＰｍ（ｍ＝１，２，・・・Ｍ）とする。
【００２４】
ブロッチノイズ検出部１１は、元動画２を構成するフレーム画像Ｐｍ（ｍ＝１，２，・・・，Ｍ）のうち、各フレーム画像Ｐｉ（ｉ＝１，２，・・・，Ｍのいずれか）と、当該フレーム画像Ｐｉの後のフレーム画像Ｐｉ＋１との差分をとり、差分画像Ｄｉを生成する。そして、ブロッチノイズ検出部１１は、差分画像Ｄｉにおける差分の大きさがしきい値を超えたか否かを判定する。この判定により、ブロッチノイズ検出部１１は、ブロッチノイズＢが含まれるフレーム画像Ｐｉを検出する。各フレーム画像ＰｉにブロッチノイズＢが含まれていれば、上記差分の大きさがしきい値を超え、ブロッチノイズＢが含まれるフレーム画像Ｐｉを検出することができる。
【００２５】
学習用画像生成部１２は、ブロッチノイズ検出部１１で検出されたブロッチノイズＢが含まれるフレーム画像Ｐｉを複数のブロック画像ＤＢｉ，ｎ（ｎ＝１，２，・・・，Ｎ）に分割する。分割されたブロック画像ＤＢｉ，ｎを第１の画像とする。さらに、学習用画像生成部１２は、編集操作により、ブロッチノイズＢが含まれるブロック画像ＤＢｉ，ｎからブロッチノイズＢが除去されて、ブロック画像ＤＢ’ｉ，ｎを第２の画像として生成する。
【００２６】
さらに、学習用画像生成部１２は、ブロック画像ＤＢｉ，ｎ及びブロック画像ＤＢ’ｉ，ｎの向きを例えば９０度、１８０度、２７０度回転させて（ブロック画像ＤＢｉ，ｎ及びブロック画像ＤＢ’ｉ，ｎの向きを変更することにより）、新たなブロック画像ＤＢｉ，ｎ及びブロック画像ＤＢ’ｉ，ｎを生成する。最初のブロック画像ＤＢｉ，ｎ及びブロック画像ＤＢ’ｉ，ｎを含め、新たに生成されるブロック画像ＤＢｉ，ｎ及びブロック画像ＤＢ’ｉ，ｎも学習用画像となる。これにより、学習用画像の数が水増しされる。
【００２７】
さらに、学習用画像生成部１２は、ブロック画像ＤＢｉ，ｎ及びブロック画像ＤＢ’ｉ，ｎを横軸及び／又は縦軸に反転させて、新たなブロック画像ＤＢｉ，ｎ及びブロック画像ＤＢ’ｉ，ｎを生成するようにしてもよい。このようにすれば、学習用画像の数をさらに水増しすることができる。
【００２８】
修復部２０内のＧＡＮ３０は、入力画像（ノイズベクトル）に基づいて画像を生成する生成器（ジェネレータ：生成モデル）３１と、入力された画像が生成器３１で生成された画像であるのか実画像であるのかを識別する識別器（ディスクリミネータ：識別モデル）３２とを備える。生成器３１及び識別器３２は、それぞれ独立したネットワークを構成する。
【００２９】
学習部１０は、元動画２を構成するフレーム画像Ｐｍのうち、ブロッチノイズＢが含まれるフレーム画像Ｐｉの分割画像であるブロック画像ＤＢｉ，ｎを入力画像として生成器３１に入力する。さらに、学習部１０は、ブロッチノイズＢが含まれないブロック画像ＤＢ’ｉ，ｎを実画像として識別器３２に入力する。これにより、生成器３１及び識別器３２に深層学習を行わせる。
【００３０】
調整部１３は、生成器３１と識別器３２を交互に学習させる。まず、これら２つのネットワークのパラメータを乱数で初期化する。そして、調整部１３は、ブロック画像ＤＢｉ，ｎを入力し、生成器３１に画像を生成させる。生成された画像を生成画像ＧＢｉ，ｎという。調整部１３は、実画像であるブロック画像ＤＢ’ｉ，ｎか、生成器３１で生成された生成画像のいずれかを識別器３２に入力して識別を行う。
【００３１】
学習の初期段階では、逆誤差伝播法を用いて、識別器３２の学習が行われ、識別器３２のパラメータが調整される。誤差逆伝搬法は、入力層、中間層、出力層からなるネットワークに対し、出力層から入力層にかけて誤差の勾配を逆伝搬させることで各層の重みフィルタとバイアスといったパラメータを更新する教師付き学習アルゴリズムである。
【００３２】
識別器３２の識別誤差が小さくなると、学習部１０は、同じように逆誤差伝播法を用いて、生成器３１の学習を行う。学習部１０は、識別器３２の学習と生成器３１の学習とを繰り返し行うことで、識別器３２の識別力を向上させつつ、生成器３１の生成画像ＧＢｉ，ｎの生成能力も向上させる。このように、生成器３１の入力画像を、ブロッチノイズＢが含まれる画像とし、識別器３２へ入力される実画像をブロッチノイズＢが含まれない画像ＤＢ’ｉ，ｎとして、この交互の学習を繰り返すと、生成器３１から出力される生成画像ＧＢｉ，ｎは、学習により、ブロッチノイズＢが含まれない、実画像であるブロック画像ＤＢ’ｉ，ｎと識別が困難な画像となっていく。
【００３３】
図３に示すように、修復部２０は、画像分割部２１と、ＧＡＮ３０と、画像再構成部２２と、を備える。ここでも、元動画２を構成するフレーム画像をＰｍ（ｍ＝１，２，・・・Ｍ）とする。
【００３４】
画像分割部２１は、元動画２を構成する各フレーム画像Ｐｊ（ｊ＝１，２，・・・，Ｍ）を複数のブロックに分割し、分割されたブロック画像ＤＢ１ｊ，ｋを第３の画像とする。ＧＡＮ３０の生成器３１は、ブロック画像ＤＢ１ｊ，ｋを入力して、ブロック画像ＤＢ２ｊ，ｋを第４の画像として生成する。画像再構成部２２は、生成器３１から出力されたブロック画像ＤＢ２ｊ，ｋを再構成して、修復動画３の各フレーム画像Ｐ’ｊを生成する。
【００３５】
このように、修復部２０は、学習部１０で深層学習が行われたＧＡＮ３０を用いて、元動画２を構成する各フレーム画像Ｐｊのブロック画像ＤＢ１ｊ，ｋを入力画像（ノイズベクトル）として生成器３１に入力し、生成器３１から出力されるブロック画像ＤＢ２ｊ，ｋで構成されるフレーム画像Ｐ’ｊで再構成される動画を、ブロッチノイズＢが修復された修復動画３として出力する。
【００３６】
図４は、図１の映像修復システム１のハードウエア構成を示す。図４に示すように、映像修復システム１は、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５及び入出力部４６を備える。主記憶部４２、外部記憶部４３、操作部４４、表示部４５及び入出力部４６はいずれも内部バス４０を介して制御部４１に接続されている。
【００３７】
制御部４１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部４３に記憶されているプログラム４９Ａ，４９Ｂを実行することにより、図１〜図３に示す映像修復システム１の各構成要素が実現される。なお、プログラム４９Ａは、学習部１０の機能を実現する学習処理のプログラムであり、プログラム４９Ｂは、修復部２０の機能を実現する修復処理のプログラムである。
【００３８】
主記憶部４２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部４２には、外部記憶部４３に記憶されているプログラム４９Ａ，４９Ｂがロードされる。この他、主記憶部４２は、制御部４１の作業領域（データの一時記憶領域）として用いられる。
【００３９】
外部記憶部４３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部４３には、制御部４１に実行させるためのプログラム４９Ａ，４９Ｂがあらかじめ記憶されている。また、外部記憶部４３は、制御部４１の指示に従って、このプログラム４９Ａ，４９Ｂの実行の際に用いられるデータを制御部４１に供給し、制御部４１から供給されたデータを記憶する。
【００４０】
操作部４４は、キーボード及びマウスなどのポインティングデバイス等と、キーボード及びポインティングデバイス等を内部バス４０に接続するインターフェイス装置から構成されている。操作部４４を介して、操作者が操作した内容に関する情報が制御部４１に入力される。例えば、プログラム４９Ａ（学習処理；学習ステップ），４９Ｂ（修復処理：修復ステップ）は、操作部４４の操作入力により実行が開始される。
【００４１】
表示部４５は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（ElectroLuminescence）などから構成される。この表示部４５により、例えば修復動画３における映像の修復状態を、例えば元動画２と修復動画３とを比較表示することによって、確認することができる。
【００４２】
入出力部４６は、元動画２の入力及び修復動画３の出力を行う入出力インターフェイスである。入出力部４６を介して入力された元動画２は、外部記憶部４３に記憶される。また、外部記憶部４３に記憶された修復動画３は、入出力部４６を介して外部に出力される。
【００４３】
なお、図１に示す映像修復システム１の構成において、学習部１０及び修復部２０は、制御部４１、主記憶部４２及び外部記憶部４３の協調動作によってその機能が実現される。また、元動画２は、入出力部４６を介して、外部記憶部４３に記憶される。
【００４４】
さらに、操作部４４の操作入力により、学習部１０のプログラム４９Ａが主記憶部４２に読み込まれて制御部４１によって実行される。これにより、外部記憶部４３に記憶された元動画２を用いて、学習部１０における深層学習が行われる。
【００４５】
深層学習が終了すると、修復部２０のプログラム４９Ｂが主記憶部４２に読み込まれて制御部４１によって実行され、外部記憶部４３に記憶された元動画２を用いて、修復部２０による映像の修復が行われる。
【００４６】
次に、本発明の実施の形態に係る映像修復システム１の動作について説明する。この動作は、図５に示す学習処理と、図６に示す修復処理とに分けられる。
【００４７】
まず、学習処理について説明する。図５に示すように、まず、学習部１０は、ブロッチノイズＢの検出を行う（ステップＳ１）。具体的には、図２に示すように、ブロッチノイズ検出部１１は、元動画２を構成するフレーム画像Ｐｍのうち、各フレーム画像Ｐｉと、当該フレーム画像Ｐｉの後のフレーム画像Ｐｉ＋１との差分をとって差分画像Ｄｉを生成し、差分画像Ｄｉにおける差分の大きさがしきい値を超えたか否かにより、ブロッチノイズＢが含まれるフレーム画像Ｐｉを検出する。
【００４８】
続いて、学習部１０は、ブロック画像ＤＢｉ，ｎを切り出す（ステップＳ２）。具体的には、図２に示すように、学習用画像生成部１２が、ブロッチノイズ検出部１１で検出されたブロッチノイズＢが含まれるフレーム画像Ｐｉを複数のブロック画像ＤＢｉ，ｎ（ｎ＝１，２，・・・，Ｎ）に分割し、分割されたブロック画像ＤＢｉ，ｎを第１の画像として生成する。さらに、学習用画像生成部１２が、編集操作により、ブロッチノイズＢが含まれないブロック画像ＤＢ’ｉ，ｎを第２の画像として生成する。
【００４９】
そして、学習部１０は、学習用画像の水増しを行う（ステップＳ３）。具体的には、図２に示すように、学習用画像生成部１２は、ブロック画像ＤＢｉ，ｎ及びブロック画像ＤＢ’ｉ，ｎの向きを変更することにより、新たなブロック画像ＤＢｉ，ｎ及びブロック画像ＤＢ’ｉ，ｎとして生成し、学習用画像とする。これにより、学習用画像の数が、水増しされる。
【００５０】
さらに、学習部１０は、これまでに得られた学習用画像、すなわちブロック画像ＤＢｉ，ｎ，ＤＢ’ｉ，ｎを用いてＧＡＮ３０の学習を行う（ステップＳ４）。具体的には、調整部１３は、逆誤差伝播法を用いて、識別器３２及び生成器３１を交互に繰り返してパラメータ調整を行い、生成器３１で生成される画像が、ブロッチノイズＢのない実画像（ブロック画像ＤＢ’ｉ，ｎ）とほぼ同一となるような学習を行う。ステップＳ４終了後、学習部１０は、処理を終了する。
【００５１】
続いて、修復処理について説明する。修復処理は、上述の学習処理の後に行われる。図６に示すように、修復部２０は、ブロック画像を切り出す（ステップＳ１１）。具体的には、図３に示すように、画像分割部２１は、元動画２を構成する各フレーム画像Ｐｊ（ｊ＝１，２，・・・，Ｍ）を複数のブロックに分割し、分割されたブロック画像ＤＢ１ｊ，ｋを第３の画像として生成する。
【００５２】
続いて、修復部２０は、ＧＡＮ３０にブロック画像ＤＢ１ｊ，ｋを入力する（ステップＳ１２）。具体的には、図３に示すように、修復部２０は、ブロック画像ＤＢ１ｊ，ｋをＧＡＮ３０の生成器３１に入力する。
【００５３】
さらに、修復部２０は、ブロック画像ＤＢ１ｊ，ｋの修復を行う（ステップＳ１３）。具体的には、図３に示すように、ＧＡＮ３０の生成器３１は、入力したブロック画像ＤＢ１ｊ，ｋにブロッチノイズＢが含まれている場合には、そのブロッチノイズＢが除去されたブロック画像ＤＢ２ｊ，ｋを生成する。また、生成器３１は、入力したブロック画像ＤＢ１ｊ，ｋにブロッチノイズＢが含まれていない場合には、ブロック画像ＤＢ１ｊ，ｋと同じブロック画像ＤＢ２ｊ，ｋを生成する。
【００５４】
すなわち、図７（Ａ）に示すように、学習済の修復部２０にブロッチ無しのブロック画像ＤＢ１ｊ，ｋが入力された場合には、ブロッチ無しのブロック画像ＤＢ２ｊ，ｋがそのまま出力される。さらに、図７（Ｂ）に示すように、学習済の修復部２０に、ブロッチ有りのブロック画像ＤＢ１ｊ，ｋが入力された場合には、そのブロッチノイズＢが除去されたブロック画像ＤＢ２ｊ，ｋが出力される。したがって、元動画２から得られる全てのブロック画像ＤＢ１ｊ，ｋを修復部２０に入力し、修復部２０から出力されたブロック画像ＤＢ２ｊ，ｋを再構成すれば、ブロッチノイズＢのないフレーム画像Ｐ’ｊから成る動画（修復動画３）を自動的に得ることができる。
【００５５】
続いて、修復部２０は、画像の再構成を行う（ステップＳ１４）。具体的には、図３に示すように、画像再構成部２２は、生成器３１から出力された画像を再構成して、修復動画３の各フレーム画像Ｐ’ｊを生成する。
【００５６】
なお、敵対的生成ネットワーク（ＧＡＮ）３０としては、様々な構成のものを適用することができる。例えば、図８に示すＣｏｎｄｉｔｉｏｎａｌ  ＧＡＮを用いることが可能である。Ｃｏｎｄｉｔｉｏｎａｌ  ＧＡＮ（ＣＧＡＮ）は、生成器３１及び識別器３２に対して教師データ（ブロック画像ＤＢｉ，ｎ，ＤＢ’ｉ，ｎ）にラベルＬを与える方法である。このラベルＬの存在により、学習部１０における学習速度を各段に早くすることができる。
【００５７】
ＣＧＡＮと、一般的なＧＡＮ３０との相違点は、生成器３１にノイズベクトル（入力画像）だけでなく、ラベル（条件ベクトル）Ｌを与えている点である。ＣＧＡＮの目的関数は、ＧＡＮの目的関数に条件ベクトルを付与した形になる条件ベクトルのような補足情報を与えることで、特定の条件を有する高品質な画像を生成することができるようになる。
【００５８】
ＣＧＡＮの他に、ＧＡＮ３０として、図９に示すＰｉｘ２Ｐｉｘを用いることができる。このＰｉｘ２Ｐｉｘのアルゴリズムの特徴は、以下の３つである。
（１）入力画像を条件としている。
（２）生成器３１にＵ−Ｎｅｔ構造を導入している。
（３）識別器３２に、ＰａｔｃｈＧＡＮ／Ｌ１正規化を適用している。
（１）〜（３）の詳細を以下に示す。
【００５９】
（１）条件について
上述のＣＧＡＮは、画像とラベル（条件）Ｌをペアにして、その関係を学習した。Ｐｉｘ２Ｐｉｘは、そのラベルＬを条件ベクトルではなく、画像にしたものである。すなわち、Ｐｉｘ２Ｐｉｘは、実画像ペア（ＤＢｉ＋１，ｎ，ＤＢ’ｉ，ｎ）と実画像と生成画像（ＧＢｉ，ｎ，ＤＢ’ｉ，ｎ）のペアが本物と見間違うような画像を生成するように画像間の関係が学習される。識別器３２の入力は、画像ペアとし、識別器３２は、その画像ペアが実画像同士のぺア（ＤＢ’ｉ，ｎ，ＤＢ’ｉ，ｎ）が実画像と生成画像（ＧＢｉ，ｎ，ＤＢ’ｉ，ｎ）のペアかを識別する。
【００６０】
（２）生成器の構造について
Ｐｉｘ２Ｐｉｘのネットワーク構成は、ＣＧＡＮと同じである。条件となる画像ＤＢ’ｉ，ｎは、生成器３１と識別器３２との両方に与えられる。Ｐｉｘ２Ｐｉｘでは、生成器３１がＵ−Ｎｅｔで構成されている。Ｕ−Ｎｅｔは、エンコーダ・デコーダ構造にスキップ接続を加えたネットワークである。スキップ接続とは、エンコーダ時の特徴マップをデコーダ時にも利用するテクニックである。Ｕ−Ｎｅｔを採用することにより、画像の詳細な情報をスキップ接続により伝播させることができ、より高品質な画像を生成することができる。
【００６１】
（３）識別器の構造について
Ｐｉｘ２Ｐｉｘでは、目的関数として、Ｌ１正規化を行い、過学習を防止している。また、Ｐｉｘ２Ｐｉｘでは、ＰａｔｃｈＧＡＮが識別器３２の目的関数に取り入れられている。ＰａｔｃｈＧＡＮでは、ＣＧＡＮの誤差関数にＬ１誤差関数が組み込まれたものであり、大雑把な画像をＬ１誤差関数で捉え、ＣＧＡＮがその詳細を捉えられるようになっている。誤差関数が、Ｌ１誤差関数だけであると、生成画像の細部はぼやける。また、誤差関数が、ＣＧＡＮのものだけであると、識別器３２をだますための違和感が生成画像ＧＢｉ，ｎに生じる。ＰａｔｃｈＧＡＮを採用し、Ｌ１誤差関数と、ＣＧＡＮの誤差関数とを組み合わせることで短所を補完し合うようにすれば、精度を向上することができる。
【００６２】
図１０（Ａ）〜図１０（Ｄ）に示すように、ブロッチノイズＢは、大きさ、形状及び色は様々である。本実施の形態に係る映像修復システム１では、学習部１０による深層学習により、このような様々なブロッチノイズＢを除去するように、生成器３１を学習させることができる。
【００６３】
以上詳細に説明したように、上記実施の形態に係る映像修復システム１によれば、深層学習によりブロッチノイズＢを除去する。これにより、ブロッチノイズＢの大きさ、形状及び色に関わらず、ブロッチノイズＢを、精度良く除去することができる。したがって、本発明によれば、入力画像を与えるだけで、途中人手を介すること無く全自動でブロッチノイズＢを除去することができる。
【００６４】
また、上記実施の形態に係る映像修復システム１によれば、入力画像（元動画２から得られるブロック画像）に基づいて生成画像ＧＢｉ，ｎを生成する生成器３１と、入力された画像が生成器３１で生成された生成画像ＧＢｉ，ｎであるのか実画像であるブロック画像ＤＢ’ｉ，ｎであるのかを識別する識別器３２とを備える敵対的生成ネットワーク（ＧＡＮ）３０を用いて、元動画２に含まれるブロッチノイズＢを除去して、元動画２を修復し、修復動画３を生成する。
【００６５】
このＧＡＮ３０は、生成器３１と、識別器３２とが、互いに競合しながら深層学習を行っていくので、生成器３１において実画像であるブロック画像ＤＢ’ｉ，ｎに極めて近い（学習された識別器３２において識別できない）ブロッチノイズＢのない生成画像ＧＢｉ，ｎを生成することができる。したがって、本実施の形態に係る映像修復システム１によれば、ノイズ修復が必要な入力画像を与えるだけで、途中人手を介すること無く全自動でブロッチノイズＢを除去することができる。
【００６６】
また、本実施の形態では、ブロッチノイズＢが含まれるフレーム画像Ｐｉのブロック画像ＤＢｉ，ｎと編集操作によりブロッチノイズＢが除去されたブロック画像ＤＢ’ｉ，ｎとを用いて学習を行った。しかしながら、本発明はこれには限られない。ブロック画像ＤＢｉ，ｎのフレーム画像Ｐｉの前又は後のフレーム画像Ｐi−1，Ｐｉ＋１においてブロック画像ＤＢｉ，ｎに対応するブロック画像ＤＢｉ−１，ｎ，ＤＢｉ＋１，ｎを学習用画像（第２の画像）として用いてもよい。
【００６７】
本実施の形態では、敵対的生成ネットワーク（ＧＡＮ）３０として、コンディショナルＧＡＮ又はＰｉｘ２Ｐｉｘを採用した。しかしながら、本発明はこれには限られない。Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ＧＡＮ（ＤＣＧＡＮ）、Ｃｙｃｌｅ  ＧＡＮ、Ｐｒｏｇｒｅｓｓｉｖｅ  Ｇｒｏｗｉｎｇ  ＧＡＮ（ＰＧ  ＧＡＮ）、Ｓｕｐｅｒ  Ｒｅｓｏｌｕｔｉｏｎ  ＧＡＮ（ＳＲＧＡＮ）など、あらゆる種類の敵対的生成ネットワークを用いることが可能である。
【００６８】
また、上記実施の形態では、フレーム画像Ｐｉをブロックに分割し、ブロック画像ＤＢｉを用いて学習及び修復を行った。しかしながら、本発明はこれには限られない。フレーム画像Ｐｉで学習及び修復を行ってもよい。すなわち、フレーム画像Ｐｉの少なくとも一部を用いてＧＡＮ３０により学習及び修復が行われるようにすればよい。
【００６９】
なお、本実施の形態に係る映像修復システム１において、除去可能なノイズはブロッチノイズＢには限られない。例えば、フィルムのつなぎ合わせが原因で起こるスプライス、縦キズ、１フレームごとの輝度値がランダムに変化し、チラつきが起こるノイズであるフリッカについても修復ができる可能性がある。
【００７０】
また、学習に用いられる元動画２と、修復される元動画２とは同じ動画でなくてもよい。複数の元動画２を用いて学習を行い、その学習結果を用いて動画の修復を行えばよい。
【００７１】
また、上記実施の形態では、敵対的生成ネットワーク（ＧＡＮ）を用いたが、本発明はこれには限られない。オートエンコーダなど、画像を生成する畳込みニューラルネットワークであれば、あらゆるものを用いることが可能である。
【００７２】
その他、映像修復システム１のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
【００７３】
制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５、入出力部４６及び内部バス４０などから構成される映像修復システム１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する映像修復システム１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで映像修復システム１を構成してもよい。
【００７４】
映像修復システム１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００７５】
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００７６】
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【００７７】
本発明は、ブロッチノイズを除去して映像を修復するのに適用することができる。
【符号の説明】
【００７８】
１  映像修復システム、２  元動画、３  修復動画、５，６  スイッチ、１０  学習部、１１  ブロッチノイズ検出部、１２  学習用画像生成部、１３  調整部、２０  修復部、２１  画像分割部、２２  画像再構成部、３０  敵対的生成ネットワーク（ＧＡＮ）、３１  生成器（ジェネレータ）、３２  識別器（ディスクリミネータ）、４０  内部バス、４１  制御部、４２  主記憶部、４３  外部記憶部、４４  操作部、４５  表示部、４６  入出力部、４９Ａ，４９Ｂ  プログラム、Ｂ  ブロッチノイズ、Ｌ  ラベル
【図１】
2020174320.tif 000003
【図２】
2020174320.tif 000004
【図３】
2020174320.tif 000005
【図４】
2020174320.tif 000006
【図５】
2020174320.tif 000007
【図６】
2020174320.tif 000008
【図７】
2020174320.tif 000009
【図８】
2020174320.tif 000010
【図９】
2020174320.tif 000011
【図１０】
2020174320.tif 000012