(57)【要約】【課題】低解像度動画像から高解像度動画像を生成する動画像超解像処理に適用でき、且つ、大きな記憶媒体と大きな計算量を必要としない動画像超解像処理を実現した画像処理装置を提供する。【解決手段】入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置であって、加算画像と重み画像の第１更新処理部と、画像再構成処理部とを備え、加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として、画像再構成処理部へ出力し、画像再構成処理部は、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成する。【選択図】図１
2010134582.tif 000002
【特許請求の範囲】
【請求項１】
入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置であって、
加算画像と重み画像の第１更新処理部と、画像再構成処理部とを備え、
前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として、前記画像再構成処理部へ出力し、
前記画像再構成処理部は、前記加算画像と重み画像の第１更新処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理装置。
【請求項２】
入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置であって、
加算画像と重み画像の第１更新処理部と、画像補間による加算画像と重み画像生成処理部と、加算画像と重み画像の減衰処理部と、加算画像と重み画像の加算処理部と、画像再構成処理部とを備え、
前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、前記加算画像と重み画像の加算処理部へ出力し、
前記画像補間による加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、画像補間により生成された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部へ出力し、
前記加算画像と重み画像の減衰処理部は、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、前記加算画像と重み画像の加算処理部へ出力し、
前記加算画像と重み画像の加算処理部は、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、前記画像再構成処理部へ出力し、
前記画像再構成処理部は、前記加算画像と重み画像の加算処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理装置。
【請求項３】
前記加算画像と重み画像の第１更新処理部は、位置合わせ処理部と、位置合わせ情報の解像度変換処理部と、加算画像と重み画像の変形処理部と、画素選択処理部と、画素選択マスクの解像度変換処理部と、画素選択マスク処理部と、加算画像と重み画像の減衰処理部と、一枚からの加算画像と重み画像生成処理部と、加算画像と重み画像の加算処理部とを備え、
前記位置合わせ処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、得られた位置合わせ情報を、前記位置合わせ情報の解像度変換処理部及び前記画素選択処理部へ出力し、
前記位置合わせ情報の解像度変換処理部は、位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、得られた解像度変換された位置合わせ情報を前記加算画像と重み画像の変形処理部へ出力し、
前記加算画像と重み画像の変形処理部は、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、得られた変形された時刻ｔ−１の加算画像と重み画像を、前記画素選択マスク処理部に出力し、
前記画素選択処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、得られた画素選択マスクを、前記画素選択マスクの解像度変換処理部に出力し、
前記画素選択マスクの解像度変換処理部は、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、得られた解像度変換された画素選択マスクを、前記画素選択マスク処理部に出力し、
前記画素選択マスク処理部は、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部に出力し、
前記加算画像と重み画像の減衰処理部は、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、
前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、生成した一枚から生成された加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、
前記加算画像と重み画像の加算処理部は、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像として出力する請求項１又は請求項２に記載の画像処理装置。
【請求項４】
入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置であって、
加算画像と重み画像の第２更新処理部と、画像再構成処理部とを備え、
前記加算画像と重み画像の第２更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として、前記画像再構成処理部へ出力し、
前記画像再構成処理部は、前記加算画像と重み画像の第２更新処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理装置。
【請求項５】
入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置であって、
加算画像と重み画像の第２更新処理部と、画像補間による加算画像と重み画像生成処理部と、加算画像と重み画像の減衰処理部と、加算画像と重み画像の加算処理部と、画像再構成処理部とを備え、
前記加算画像と重み画像の第２更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、前記加算画像と重み画像の加算処理部へ出力し、
前記画像補間による加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、画像補間により生成された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部へ出力し、
前記加算画像と重み画像の減衰処理部は、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、前記加算画像と重み画像の加算処理部へ出力し、
前記加算画像と重み画像の加算処理部は、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、前記画像再構成処理部へ出力し、
前記画像再構成処理部は、前記加算画像と重み画像の加算処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理装置。
【請求項６】
前記加算画像と重み画像の第２更新処理部は、シーンチェンジ検出処理部と、加算画像と重み画像の第１更新処理部と、一枚からの加算画像と重み画像生成処理部とを備え、
前記シーンチェンジ検出処理部は、時刻ｔの入力画像と時刻ｔ−１の入力画像に基づき、シーンチェンジ検出処理を行い、シーンチェンジがあるか否かを判断し、
前記シーンチェンジ検出処理部により、シーンチェンジが無いと判断された場合に、前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像として出力し、
一方、前記シーンチェンジ検出処理部により、シーンチェンジがあると判断された場合に、前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、更新された加算画像と重み画像として出力する請求項４又は請求項５に記載の画像処理装置。
【請求項７】
前記加算画像と重み画像の第１更新処理部は、位置合わせ処理部と、位置合わせ情報の解像度変換処理部と、加算画像と重み画像の変形処理部と、画素選択処理部と、画素選択マスクの解像度変換処理部と、画素選択マスク処理部と、加算画像と重み画像の減衰処理部と、一枚からの加算画像と重み画像生成処理部と、加算画像と重み画像の加算処理部とを備え、
前記位置合わせ処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、得られた位置合わせ情報を、前記位置合わせ情報の解像度変換処理部及び前記画素選択処理部へ出力し、
前記位置合わせ情報の解像度変換処理部は、位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、得られた解像度変換された位置合わせ情報を前記加算画像と重み画像の変形処理部へ出力し、
前記加算画像と重み画像の変形処理部は、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、得られた変形された時刻ｔ−１の加算画像と重み画像を、前記画素選択マスク処理部に出力し、
前記画素選択処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、得られた画素選択マスクを、前記画素選択マスクの解像度変換処理部に出力し、
前記画素選択マスクの解像度変換処理部は、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、得られた解像度変換された画素選択マスクを、前記画素選択マスク処理部に出力し、
前記画素選択マスク処理部は、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部に出力し、
前記加算画像と重み画像の減衰処理部は、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、
前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、
前記加算画像と重み画像の加算処理部は、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像として出力する請求項６に記載の画像処理装置。
【請求項８】
入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理方法であって、
加算画像と重み画像の第１更新処理ステップと、画像再構成処理ステップとを有し、
前記加算画像と重み画像の第１更新処理ステップは、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像とし、
前記画像再構成処理ステップは、前記加算画像と重み画像の第１更新処理ステップで生成された時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理方法。
【請求項９】
入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理方法であって、
加算画像と重み画像の第１更新処理ステップと、画像補間による加算画像と重み画像生成処理ステップと、加算画像と重み画像の減衰処理ステップと、加算画像と重み画像の加算処理ステップと、画像再構成処理ステップとを有し、
前記加算画像と重み画像の第１更新処理ステップは、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像とし、
前記画像補間による加算画像と重み画像生成処理ステップは、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、
前記加算画像と重み画像の減衰処理ステップは、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像とし、
前記加算画像と重み画像の加算処理ステップは、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、
前記画像再構成処理ステップは、前記加算画像と重み画像の加算処理ステップで生成された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理方法。
【請求項１０】
前記加算画像と重み画像の第１更新処理ステップは、位置合わせ処理ステップと、位置合わせ情報の解像度変換処理ステップと、加算画像と重み画像の変形処理ステップと、画素選択処理ステップと、画素選択マスクの解像度変換処理ステップと、画素選択マスク処理ステップと、加算画像と重み画像の減衰処理ステップと、一枚からの加算画像と重み画像生成処理ステップと、加算画像と重み画像の加算処理ステップとを有し、
前記位置合わせ処理ステップは、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、位置合わせ情報を生成し、
前記位置合わせ情報の解像度変換処理ステップは、前記位置合わせ処理ステップで生成された位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、解像度変換された位置合わせ情報を生成し、
前記加算画像と重み画像の変形処理ステップは、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、変形された時刻ｔ−１の加算画像と重み画像を生成し、
前記画素選択処理ステップは、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、画素選択マスクを生成し、
前記画素選択マスクの解像度変換処理ステップは、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、解像度変換された画素選択マスクを生成し、
前記画素選択マスク処理ステップは、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を生成し、
前記加算画像と重み画像の減衰処理ステップは、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を生成し、
前記一枚からの加算画像と重み画像生成処理ステップは、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、
前記加算画像と重み画像の加算処理ステップは、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像とする請求項８又は請求項９に記載の画像処理方法。
【請求項１１】
入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理方法であって、
加算画像と重み画像の第２更新処理ステップと、画像再構成処理部ステップを有し、
前記加算画像と重み画像の第２更新処理ステップは、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像とし、
前記画像再構成処理ステップは、前記加算画像と重み画像の第２更新処理ステップで生成された時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理方法。
【請求項１２】
入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理方法であって、
加算画像と重み画像の第２更新処理ステップと、画像補間による加算画像と重み画像生成処理ステップと、加算画像と重み画像の減衰処理ステップと、加算画像と重み画像の加算処理ステップと、画像再構成処理部ステップを有し、
前記加算画像と重み画像の第２更新処理ステップは、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像とし、
前記画像補間による加算画像と重み画像生成処理ステップは、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、
前記加算画像と重み画像の減衰処理ステップは、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像とし、
前記加算画像と重み画像の加算処理ステップは、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、
前記画像再構成処理ステップは、前記加算画像と重み画像の加算処理ステップで生成された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することを特徴とする画像処理方法。
【請求項１３】
前記加算画像と重み画像の第２更新処理ステップは、シーンチェンジ検出処理ステップと、加算画像と重み画像の第１更新処理ステップと、一枚からの加算画像と重み画像生成処理ステップとを有し、
前記シーンチェンジ検出処理ステップは、時刻ｔの入力画像と時刻ｔ−１の入力画像に基づき、シーンチェンジ検出処理を行い、シーンチェンジがあるか否かを判断し、
前記シーンチェンジ検出処理ステップにより、シーンチェンジが無いと判断された場合に、前記加算画像と重み画像の第１更新処理ステップは、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新処理後の時刻ｔ−１の加算画像と重み画像を更新された加算画像と重み画像とし、
一方、前記シーンチェンジ検出処理ステップにより、シーンチェンジがあると判断された場合に、前記一枚からの加算画像と重み画像生成処理ステップは、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、更新された加算画像と重み画像とする請求項１１又は請求項１２に記載の画像処理方法。
【請求項１４】
前記加算画像と重み画像の第１更新処理ステップは、位置合わせ処理ステップと、位置合わせ情報の解像度変換処理ステップと、加算画像と重み画像の変形処理ステップと、画素選択処理ステップと、画素選択マスクの解像度変換処理ステップと、画素選択マスク処理ステップと、加算画像と重み画像の減衰処理ステップと、一枚からの加算画像と重み画像生成処理ステップと、加算画像と重み画像の加算処理ステップとを有し、
前記位置合わせ処理ステップは、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、位置合わせ情報を生成し、
前記位置合わせ情報の解像度変換処理ステップは、前記位置合わせ処理ステップで生成された位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、解像度変換された位置合わせ情報を生成し、
前記加算画像と重み画像の変形処理ステップは、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、変形された時刻ｔ−１の加算画像と重み画像を生成し、
前記画素選択処理ステップは、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、画素選択マスクを生成し、
前記画素選択マスクの解像度変換処理ステップは、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、解像度変換された画素選択マスクを生成し、
前記画素選択マスク処理ステップは、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を生成し、
前記加算画像と重み画像の減衰処理ステップは、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を生成し、
前記一枚からの加算画像と重み画像生成処理ステップは、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、
前記加算画像と重み画像の加算処理ステップは、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像とする請求項１３に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理技術に関し、特に、低解像度動画像から高解像度動画像を生成する動画像超解像処理に係る画像処理技術に関する。
【背景技術】
【０００２】
従来、画像処理技術において、位置ずれのある複数枚の低解像度画像（観測画像）から一枚の高解像度画像を生成する超解像処理がある。超解像処理では、位置ずれのある複数の観測画像を位置合わせする「位置合わせ処理」と、位置合わせ処理後の複数の観測画像に基づき、高解像度画像を再構成する「画像再構成処理」が必要である。
【０００３】
ここで、複数枚の低解像度画像から一枚の高解像度画像を生成する超解像処理を、「静止画像の超解像処理」と呼ぶことにする。
【０００４】
一方、低解像度動画像から高解像度動画像を生成する「動画像超解像処理」を行う従来技術は、大きく分けて次の２つの方法がある。
動画像超解像処理従来技術その１：
動画像超解像処理従来技術その１とは、入力された低解像度動画像（以下、単に「低解像度入力動画像」または「入力動画像」とも言う。）に対し、静止画像の超解像処理を繰り返すことにより、高解像度動画像を生成する方法である。
【０００５】
以下、動画像超解像処理従来技術その１を簡単に説明する。
【０００６】
まず、入力動画像の時刻ｔ−９から時刻ｔまでの１０枚の低解像度入力画像を利用して、時刻ｔにおける高解像度画像（時刻ｔの高解像度画像）を静止画像の超解像処理により生成する。
【０００７】
次に、入力動画像の時刻ｔ−８から時刻ｔ＋１までの１０枚の低解像度入力画像を利用して、時刻ｔ＋１における高解像度画像（時刻ｔ＋１の高解像度画像）を静止画像の超解像処理により生成する。
【０００８】
このように、入力動画像に対し、静止画像の超解像処理を繰り返すことにより、高解像度動画像が逐次的に生成される。
【０００９】
なお、上述した例では、入力動画像における１０枚の低解像度入力画像を利用することにより、ある時刻の高解像度画像を生成するようにしているが、動画像超解像処理従来技術その１は、低解像度入力画像の枚数に限定されることはなく、言うまでも無く、１０枚以外の任意の枚数の低解像度入力画像を利用することにより、ある時刻の高解像度画像を生成することが可能である。
動画像超解像処理従来技術その２：
動画像超解像処理従来技術その２とは、非特許文献１に開示されたファスイらにより提案された方法である。
【００１０】
以下、動画像超解像処理従来技術その２を簡単に説明する。
【００１１】
ファスイらにより提案された方法では、下記数１及び数２で表すモデルに基づき、動画像超解像処理を提案している。
【００１２】
【数１】
2010134582.tif 000003
【００１３】
【数２】
2010134582.tif 000004
ここで、
2010134582.tif 000005
は時刻ｔの高解像度画像を表す。
2010134582.tif 000006
は時刻ｔ−１の高解像度画像を表す。また、
2010134582.tif 000007
は時刻ｔの低解像度入力画像（以下、単に「時刻ｔの入力画像」とも言う。）を表す。
2010134582.tif 000008
は時刻ｔ−１の入力画像から時刻ｔの入力画像への変形を表す。
2010134582.tif 000009
は点広がり関数（ＰＳＦ：Point  Spread  Function）によるぼけを表す行列を表す。
2010134582.tif 000010
は時刻ｔにおけるダウンサンプリングを表す行列を表す。更に、
2010134582.tif 000011
は時刻ｔにおける観測ノイズを表す。
2010134582.tif 000012
は時刻ｔにおけるシステムノイズを表す。
【００１４】
ファスイらにより提案された方法では、時刻ｔ−１の入力画像から時刻ｔの入力画像への変形
2010134582.tif 000013
は既知であることを前提としており、カルマンフィルタにより、時刻ｔの高解像度画像
2010134582.tif 000014
を生成している。
【００１５】
なお、ファスイらにより提案された方法において、オクルージョン（隠れ）などは、システムノイズ
2010134582.tif 000015
として考慮されているものの、システムノイズに対して正規分布を仮定している。
【特許文献１】国際公開第２００８／１０２８９８号パンフレット
【特許文献２】特許第４１２６３７８号
【特許文献３】特願２００８−３０３８９１
【非特許文献１】エス.  ファスイ（S.  Farsiu）、エム.  エラッド（M.  Elad）、ピー.  ミランファー（P.  Milanfar）共著,「ビデオ・トゥー・ビデオ  ダイナミック  スーパー・レゾルーション  フォー  グレースケール  アンド  カラー  シーケンス（Video-to-Video  Dynamic  Super-Resolution  for  Grayscale  and  Color  Sequence）」,ＥＵＲＡＳＩＰ  ジャーナル  オン  アプライド  シグナル  プロセシング（EURASIP  Journal  on  Applied  Signal  Processing）,第2006巻,アーテクル  ＩＤ（Article  ID）61859,p.1-15,2006年
【非特許文献２】エス.  ベイカ（S.  Baker）、アイ.  マシューズ（I.  Matthews）共著,「ルーカス−カナデ  ２０  イヤーズ  オン：  ア  ユニファイング  フレームワーク（Lucas-Kanade  20  years  on:  A  unifying  framework）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  Journal  of  Computer  Vision）,第56巻,第3号,p.221-255,2004年)
【非特許文献３】エム.  シミズ（M.  Shimizu）、エム.  オクトミ（M.  Okutomi）共著,「サブピクセル  エスティメイション  エラー  キャンセレイション  オン  エリアベーセド  マッチング（Sub-pixel  Estimation  Error  Cancellation  on  Area-Based  Matching）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  Journal  of  Computer  Vision）,第63巻,第3号,p.207-224,2005年
【非特許文献４】小林・飯倉・川田・伊原共著,「分散分析によるデジタル・ビデオのリアルタイム・シーン切り替わり検出法」,情報処理学会論文誌,第42巻,第6号,p.1636-1642,2001年
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、動画像超解像処理従来技術その１（静止画像の超解像処理を繰り返す方法）では、ある時刻における高解像度画像を生成するために、利用する低解像度入力画像の枚数と同じ回数（厳密に言うと、（低解像度入力画像の枚数−１）回）の位置合わせ処理を行う必要がある。
【００１７】
このため、（低解像度入力画像の枚数−１）回の位置合わせ処理を行うのに、非常に大きな計算量が必要になるという問題がある。
【００１８】
そして、動画像超解像処理従来技術その１（静止画像の超解像処理を繰り返す方法）では、ある時刻における高解像度画像を生成するのに、過去の複数枚の低解像度入力画像を保持する必要があるため、大きな記憶媒体（例えば、メモリ）が必要である。例えば、動画像超解像処理従来技術その１による動画像超解像処理を、ハードウェアにより実装する場合に、記憶媒体（メモリ）の大きさは特に大きな障害となるとの問題もある。
【００１９】
一方、動画像超解像処理従来技術その２（ファスイらにより提案された方法）では、動画像超解像処理従来技術その１（静止画像の超解像処理を繰り返す方法）と異なり、ある時刻における高解像度画像を生成するために、必要な位置合わせ処理の回数は一回である。
【００２０】
しかし、一般的に、ファスイらにより提案された方法に係る上記数１及び数２で表すモデルのシステムノイズは、正規分布では表現できないため、上記数１及び数２で表すモデルは、モデルとして十分でなく、その結果として、上記数１及び数２で表すモデルに基づいて生成された高解像度画像の画質が十分高いことは、予想できない。
【００２１】
また、ファスイらにより提案された方法では、カルマンフィルタにより高解像度画像を生成するようにしており、カルマンフィルタでは、高解像度画像の画素数の次元のベクトルを取り扱う必要があり、高解像度画像の画素数の次元×高解像度画像の画素数の次元の逆行列演算など、非常に大きな計算量が要求されるという問題がある。
【００２２】
つまり、従来の動画像超解像処理では、計算量（計算コスト）や記憶媒体（メモリ）が大きいので、大きな記憶媒体（メモリ）や大きな計算量を必要としない動画像超解像処理の実現が大きな課題となっている。
【００２３】
本発明は、上述のような事情から成されたものであり、本発明の目的は、低解像度動画像から高解像度動画像を生成する動画像超解像処理に適用でき、且つ、大きな記憶媒体と大きな計算量を必要としない動画像超解像処理を実現した、画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００２４】
本発明は、入力された低解像度動画像から高解像度動画像を生成する動画像超解像処理に利用可能な画像処理装置に関し、本発明の上記目的は、加算画像と重み画像の第１更新処理部と、画像再構成処理部とを備え、前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として、前記画像再構成処理部へ出力し、前記画像再構成処理部は、前記加算画像と重み画像の第１更新処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することによって効果的に達成される。
【００２５】
また、本発明の上記目的は、加算画像と重み画像の第１更新処理部と、画像補間による加算画像と重み画像生成処理部と、加算画像と重み画像の減衰処理部と、加算画像と重み画像の加算処理部と、画像再構成処理部とを備え、前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、前記加算画像と重み画像の加算処理部へ出力し、前記画像補間による加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、画像補間により生成された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部へ出力し、前記加算画像と重み画像の減衰処理部は、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、前記加算画像と重み画像の加算処理部へ出力し、前記加算画像と重み画像の加算処理部は、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、前記画像再構成処理部へ出力し、前記画像再構成処理部は、前記加算画像と重み画像の加算処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することによってより効果的に達成される。
【００２６】
また、本発明の上記目的は、前記加算画像と重み画像の第１更新処理部は、位置合わせ処理部と、位置合わせ情報の解像度変換処理部と、加算画像と重み画像の変形処理部と、画素選択処理部と、画素選択マスクの解像度変換処理部と、画素選択マスク処理部と、加算画像と重み画像の減衰処理部と、一枚からの加算画像と重み画像生成処理部と、加算画像と重み画像の加算処理部とを備え、前記位置合わせ処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い、得られた位置合わせ情報を、前記位置合わせ情報の解像度変換処理部及び前記画素選択処理部へ出力し、前記位置合わせ情報の解像度変換処理部は、位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い、得られた解像度変換された位置合わせ情報を前記加算画像と重み画像の変形処理部へ出力し、前記加算画像と重み画像の変形処理部は、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い、得られた変形された時刻ｔ−１の加算画像と重み画像を、前記画素選択マスク処理部に出力し、前記画素選択処理部は、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する画素選択処理を行い、得られた画素選択マスクを、前記画素選択マスクの解像度変換処理部に出力し、前記画素選択マスクの解像度変換処理部は、画素選択マスクに対し、画素選択マスクの解像度変換処理を行い、得られた解像度変換された画素選択マスクを、前記画素選択マスク処理部に出力し、前記画素選択マスク処理部は、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い、マスク処理された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部に出力し、前記加算画像と重み画像の減衰処理部は、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行い、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、前記加算画像と重み画像の加算処理部へ出力し、前記加算画像と重み画像の加算処理部は、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像として出力することによってより効果的に達成される。
【００２７】
また、本発明の上記目的は、加算画像と重み画像の第２更新処理部と、画像再構成処理部とを備え、前記加算画像と重み画像の第２更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として、前記画像再構成処理部へ出力し、前記画像再構成処理部は、前記加算画像と重み画像の第２更新処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することによってより効果的に達成される。
【００２８】
また、本発明の上記目的は、加算画像と重み画像の第２更新処理部と、画像補間による加算画像と重み画像生成処理部と、加算画像と重み画像の減衰処理部と、加算画像と重み画像の加算処理部と、画像再構成処理部とを備え、前記加算画像と重み画像の第２更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、前記加算画像と重み画像の加算処理部へ出力し、前記画像補間による加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成し、画像補間により生成された加算画像と重み画像を、前記加算画像と重み画像の減衰処理部へ出力し、前記加算画像と重み画像の減衰処理部は、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、前記加算画像と重み画像の加算処理部へ出力し、前記加算画像と重み画像の加算処理部は、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、前記画像再構成処理部へ出力し、前記画像再構成処理部は、前記加算画像と重み画像の加算処理部から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することによってより効果的に達成される。
【００２９】
また、本発明の上記目的は、前記加算画像と重み画像の第２更新処理部は、シーンチェンジ検出処理部と、加算画像と重み画像の第１更新処理部と、一枚からの加算画像と重み画像生成処理部とを備え、前記シーンチェンジ検出処理部は、時刻ｔの入力画像と時刻ｔ−１の入力画像に基づき、シーンチェンジ検出処理を行い、シーンチェンジがあるか否かを判断し、前記シーンチェンジ検出処理部により、シーンチェンジが無いと判断された場合に、前記加算画像と重み画像の第１更新処理部は、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像として出力し、一方、前記シーンチェンジ検出処理部により、シーンチェンジがあると判断された場合に、前記一枚からの加算画像と重み画像生成処理部は、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、一枚から生成された加算画像と重み画像を、更新された加算画像と重み画像として出力することによってより効果的に達成される。
【発明の効果】
【００３０】
本発明によれば、一枚の高解像度画像を生成するために必要な位置合わせ処理は一回のみであるため、本発明による動画像超解像処理に必要な計算コストを大幅に削減できるとという顕著な効果を奏する。
【００３１】
また、本発明では、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの高解像度画像を生成するようにしているので、本発明によれば、少ないメモリで高解像度動画像を生成できるという優れた効果を奏する。
【００３２】
つまり、本発明によれば、大きな記憶媒体と大きな計算量を必要としない動画像超解像処理を実現することができる。
【発明を実施するための最良の形態】
【００３３】
本発明は、デジタル画像処理技術に関し、特に、低解像度動画像から高解像度動画像を生成する動画像超解像処理に適用でき、且つ、大きな記憶媒体と大きな計算量を必要としない動画像超解像処理を実現した、画像処理技術に関する。
【００３４】
ここで、まず、本発明の主たる技術的特徴について述べる。
【００３５】
本発明では、低解像度動画像における時刻ｔの画像（以下、単に「時刻ｔの入力画像」とも言う。）と、低解像度動画像における時刻ｔ−１の画像（以下、単に「時刻ｔ−１の入力画像」とも言う。）との位置合わせ処理結果を利用して、少ない計算量で時刻ｔの高解像度画像を生成することが１つ目の技術的特徴である。
【００３６】
つまり、本発明では、一枚の高解像度画像を生成するために、必要な位置合わせ処理は一回のみである。
【００３７】
ところで、本発明の発明者らは、静止画像の超解像処理技術について鋭意研究しており、その成果の一つとして、特許文献２に開示された「超解像処理の高速化方法」との特許が挙げられる。
【００３８】
特許文献２には、まず、「平均観測画像」と「重み画像」を生成し、次に、生成した「平均観測画像」と「重み画像」を利用して、高解像度画像を再構成する「画像再構成処理」を行う方法が開示されている。特許文献２に開示された方法によれば、少ない計算コストで高解像度画像を生成することができる。ちなみに、「平均観測画像」と「重み画像」は、その画素間隔（画素数）が高解像度画像と等しい。換言すれば、「平均観測画像」と「重み画像」の解像度は、高解像度画像の解像度と同じである。
【００３９】
本発明では、上記「平均観測画像」と「重み画像」の画素毎の積を、「加算画像」と呼ぶことにする。
【００４０】
本発明では、時刻ｔの「加算画像」と「重み画像」に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成することが２つ目の技術的特徴である。
【００４１】
そして、本発明では、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの「加算画像」と「重み画像」を生成することが３つ目の技術的特徴である。この３つ目の技術的特徴は、本発明の一番大きな特徴とも言える。
【００４２】
なお、言うまでも無く、本発明における加算画像と重み画像の解像度は、高解像度画像の解像度と同じである。
【００４３】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に述べる実施形態によって限定されるものではない。
【００４４】
図１は本発明の第１実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置１０」、又は「画像処理装置１０」とも言う。）を示すブロック構成図である。
【００４５】
図１に示すように、本発明に係る画像処理装置１０は、加算画像と重み画像の第１更新処理部１００と、画像再構成処理部５００とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの高解像度画像を生成するものである。
【００４６】
また、図示されていないが、画像処理装置１０は、データを記憶する記憶部を備えており、記憶部として、例えば、半導体メモリなどの記憶媒体を用いることができる。なお、言うまでも無く、記憶部に格納されたデータは、必要に応じて、画像処理装置１０の各構成ブロック（各構成部分）に利用されることができ、また、画像処理装置１０の各構成ブロックは、所定の処理を行うことによって生成されたデータを、必要に応じて記憶部に格納することができる。
【００４７】
ここで、画像処理装置１０の処理流れについて説明する。
【００４８】
図１に示すように、画像処理装置１０において、まず、加算画像と重み画像の第１更新処理部１００が、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として画像再構成処理部５００へ出力する。
【００４９】
次に、画像処理装置１０において、画像再構成処理部５００が、加算画像と重み画像の第１更新処理部１００から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成する。なお、画像再構成処理部５００で生成された時刻ｔの高解像度画像は、必要に応じて、外部に出力するようにしても良く、また、記憶部に格納するようにしても良い。
【００５０】
本発明において、画像再構成処理とは、ある時刻の加算画像と重み画像に基づき、ある時刻の高解像度画像を再構成（生成）する処理である。
【００５１】
また、本発明において、本発明の発明者らに提案された特許文献２の方法、つまり、平均観測画像と重み画像を利用して、高解像度画像を再構成する画像再構成処理方法を用いて、画像再構成処理を行うことが好ましい。
【００５２】
ここで、平均観測画像は、加算画像を重み画像で画素毎に割り算することにより、生成される。つまり、本発明の画像再構成処理部５００では、まず、時刻ｔの加算画像と重み画像に基づき、時刻ｔの平均観測画像を生成し、そして、生成された時刻ｔの平均観測画像と、時刻ｔの重み画像を利用して、特許文献２に開示された方法により、時刻ｔの高解像度画像を生成する。
【００５３】
勿論、本発明では、画像再構成処理に特許文献２に開示された方法を用いることに限定されることはなく、例えば、加算画像と重み画像に基づき、特許文献３に開示された画像処理方法やその他の方法によっても、高解像度画像を生成することが可能である。
【００５４】
その一例として、例えば、まず、加算画像を画素毎に重み画像で割り算した結果を平均画像と呼ぶことにする。ただし、重み画像の画素値が０に対応する画素を、平均画像の欠損画素と定義する。欠損画素の画素値を、既存の画像補間技術により推定することができる。よって、画像再構成処理を行うことができる。
【００５５】
つまり、まず、ある時刻の加算画像と重み画像から、欠損画素を含むある時刻の平均画像を生成し、そして、生成されたある時刻の平均画像の欠損画素の画素値を、既存の画像補間技術で推定することで、ある時刻の高解像度画像を再構成する画像再構成処理を本発明に適用できることは言うまでも無い。
図２は本発明の第２実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置２０」、又は「画像処理装置２０」とも言う。）を示すブロック構成図である。
【００５６】
図２に示すように、本発明に係る画像処理装置２０は、加算画像と重み画像の第１更新処理部１００と、画像補間による加算画像と重み画像生成処理部２００と、加算画像と重み画像の減衰処理部３００と、加算画像と重み画像の加算処理部４００と、画像再構成処理部５００とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの高解像度画像を生成するものである。
【００５７】
また、図示されていないが、画像処理装置２０は、データを記憶する記憶部を備えており、記憶部として、例えば、半導体メモリなどの記憶媒体を用いることができる。なお、言うまでも無く、記憶部に格納されたデータは、必要に応じて、画像処理装置２０の各構成ブロック（各構成部分）に利用されることができ、また、画像処理装置２０の各構成ブロックは、所定の処理を行うことによって生成されたデータを、必要に応じて記憶部に格納することができる。
【００５８】
ここで、画像処理装置２０の処理流れについて説明する。
【００５９】
図２に示すように、画像処理装置２０において、まず、加算画像と重み画像の第１更新処理部１００が、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、加算画像と重み画像の加算処理部４００へ出力する。
【００６０】
次に、画像処理装置２０において、画像補間による加算画像と重み画像生成処理部２００が、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、加算画像と重み画像を生成し、生成した加算画像と重み画像を、加算画像と重み画像の減衰処理部３００へ出力する。以下、画像補間による加算画像と重み画像生成処理により生成された加算画像と重み画像を、「画像補間により生成された加算画像と重み画像」と呼ぶ。
【００６１】
次に、画像処理装置２０において、加算画像と重み画像の減衰処理部３００が、画像補間による加算画像と重み画像生成処理部２００から出力された、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、加算画像と重み画像の加算処理部４００へ出力する。
【００６２】
次に、画像処理装置２０において、加算画像と重み画像の加算処理部４００が、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、画像再構成処理部５００へ出力する。
【００６３】
次に、画像処理装置２０において、画像再構成処理部５００が、加算画像と重み画像の加算処理部４００から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成する。なお、画像再構成処理部５００で生成された時刻ｔの高解像度画像は、必要に応じて、外部に出力するようにしても良く、また、記憶部に格納するようにしても良い。
ここで、図３の模式図を参照しながら、画像補間による加算画像と重み画像生成処理部２００にて行われる、画像補間による加算画像と重み画像生成処理について説明する。
【００６４】
時刻ｔの入力画像は低解像度画像であり、図３では模式的説明のため、時刻ｔの入力画像は３×３の解像度を有する。また、画像再構成処理部５００で生成された時刻ｔの高解像度画像の解像度は５×５とする。画像補間により生成された加算画像は、高解像度画像と同じ解像度を有するため、５×５の解像度を有する。
【００６５】
図３に示すように、時刻ｔの入力画像の画素値Iijは、画像補間により生成された加算画像の画素値Iijとして利用されており、画像補間により生成された加算画像の画素値I’ijは、画像補間により周辺画素から求められるものである。
【００６６】
また、画像補間により生成された重み画像は、高解像度画像と同じ解像度を有するため、図３の例では、５×５の解像度を有し、画像補間により生成された重み画像の画素値は全て１である。換言すれば、画像補間により生成された重み画像は、全ての画素の画素値が１である画像である。
ここで、本発明における加算画像と重み画像の第１更新処理部について説明する。図４は本発明における加算画像と重み画像の第１更新処理部を示すブロック構成図である。また、図５は、本発明における加算画像と重み画像の第１更新処理部の処理流れを示すフロー図である。
【００６７】
図４に示すように、本発明の加算画像と重み画像の第１更新処理部（加算画像と重み画像の第１更新処理部１００）は、位置合わせ処理部１１０と、位置合わせ情報の解像度変換処理部１２０と、加算画像と重み画像の変形処理部１３０と、画素選択処理部１４０と、画素選択マスクの解像度変換処理部１５０と、画素選択マスク処理部１６０と、加算画像と重み画像の減衰処理部１７０と、一枚からの加算画像と重み画像生成処理部１８０と、加算画像と重み画像の加算処理部１９０とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新するものである。
【００６８】
ここで、加算画像と重み画像の第１更新処理部１００の処理流れについて説明する。
【００６９】
図４に示すように、加算画像と重み画像の第１更新処理部１００において、まず、位置合わせ処理部１１０が、時刻ｔの入力画像と、時刻ｔ−１の入力画像に対し、画像間の位置合わせ処理を行い（図５のステップＳ１０を参照）、画像間の位置合わせ処理により得られた位置合わせ情報を、位置合わせ情報の解像度変換処理部１２０及び画素選択処理部１４０へ出力する。
【００７０】
なお、位置合わせ処理部１１０にて行われる、画像間の位置合わせ処理は、位置合わせ処理に関する既存手法を利用する。位置合わせ処理に関する既存手法として、例えば、非特許文献２や非特許文献３に記載された方法が挙げられる。
【００７１】
次に、位置合わせ情報の解像度変換処理部１２０が、位置合わせ処理部１１０から出力された位置合わせ情報に対し、位置合わせ情報の解像度変換処理を行い（図５のステップＳ２０を参照）、位置合わせ情報の解像度変換処理により得られた、解像度変換された位置合わせ情報を加算画像と重み画像の変形処理部１３０へ出力する。
【００７２】
ここで、位置合わせ情報の解像度変換処理を行う必要性について説明する。
【００７３】
位置合わせ処理部１１０にて行われる画像間の位置合わせ処理は、低解像度画像間で行われる。本発明では、高解像度画像空間で、位置合わせ情報を利用する。このため、画像間の位置合わせ処理により低解像度画像空間で得られた位置合わせ情報を、高解像度画像空間に変換する必要がある。
【００７４】
なお、具体的な位置合わせ情報の解像度変換処理は、位置合わせ情報の表現方法に依存するが、スケール変換処理や補間処理などを組み合わせることにより、容易に実現可能である。
【００７５】
次に、加算画像と重み画像の変形処理部１３０が、解像度変換された位置合わせ情報に基づき、時刻ｔ−１の加算画像と重み画像を変形する、加算画像と重み画像の変形処理を行い（図５のステップＳ３０を参照）、この加算画像と重み画像の変形処理により、変形された時刻ｔ−１の加算画像と重み画像を画素選択マスク処理部１６０に出力する。
【００７６】
次に、画素選択処理部１４０が、時刻ｔの入力画像と、時刻ｔ−１の入力画像と、位置合わせ処理部１１０から出力された位置合わせ情報に基づき、超解像処理に利用可能な画素を選択する、画素選択処理を行い（図５のステップＳ４０を参照）、この画素選択処理により得られた、超解像処理に利用可能な領域のマスク（以下、単に「画素選択マスク」と言う。）を画素選択マスクの解像度変換処理部１５０に出力する。
【００７７】
なお、画素選択処理部１４０にて行われる画素選択処理は、画素選択処理に関する既存手法を利用する。画素選択処理に関する既存手法としては、例えば、特許文献１に開示された方法が挙げられる。また、画素選択処理により得られた画素選択マスクは２値マスクだけでなく、多値マスクでも良いことは言うまでも無い。
【００７８】
次に、画素選択マスクの解像度変換処理部１５０が、画素選択処理部１４０から出力された画素選択マスクに対し、画素選択マスクの解像度変換処理を行い（図５のステップＳ５０を参照）、画素選択マスクの解像度変換処理により得られた、解像度変換された画素選択マスクを、画素選択マスク処理部１６０に出力する。
【００７９】
ここで、画素選択マスクの解像度変換処理を行う必要性について説明する。
【００８０】
画素選択処理部１４０にて行われる画素選択処理は、低解像度画像空間で行われており、換言すれば、画素選択マスクは、低解像度画像空間での画素選択処理により得られている。本発明では、高解像度画像空間で、画素選択マスクを利用する。このため、画素選択処理により低解像度画像空間で得られた画素選択マスクを、高解像度画像空間に変換する必要がある。
【００８１】
なお、画素選択マスクの解像度変換処理は、通常の画像の解像度変換処理と同様に、例えば、バイリニア補間やニアレストネイバー補間などの補間処理により、容易に実現可能である。
【００８２】
次に、画素選択マスク処理部１６０が、変形された時刻ｔ−１の加算画像と重み画像に対し、解像度変換された画素選択マスクに基づき、画素選択マスク処理を行い（図５のステップＳ６０を参照）、画素選択マスク処理により得られた加算画像と重み画像（以下、単に「マスク処理された加算画像と重み画像」と言う。）を、加算画像と重み画像の減衰処理部１７０に出力する。
【００８３】
画素選択マスク処理部１６０にて行われる画素選択マスク処理は、下記数３及び数４によって表される。
【００８４】
【数３】
2010134582.tif 000016
【００８５】
【数４】
2010134582.tif 000017
ただし、
2010134582.tif 000018
は変形された時刻ｔ−１の加算画像のベクトル表現を表す。
2010134582.tif 000019
は変形された時刻ｔ−１の重み画像のベクトル表現を表す。
2010134582.tif 000020
は解像度変換された画素選択マスクを表す。また、
2010134582.tif 000021
はマスク処理された加算画像のベクトル表現を表す。
2010134582.tif 000022
はマスク処理された重み画像のベクトル表現を表す。
2010134582.tif 000023
は要素毎の乗算を表す。
【００８６】
次に、加算画像と重み画像の減衰処理部１７０が、画像選択マスク処理部１６０から出力された、マスク処理された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い（図５のステップＳ７０を参照）、減衰処理後の加算画像と重み画像を、加算画像と重み画像の加算処理部１９０へ出力する。
【００８７】
本発明において、加算画像と重み画像の減衰処理とは、加算画像と重み画像の各画素の画素値を定数倍する処理である。
【００８８】
よって、加算画像と重み画像の減衰処理部１７０にて行われる加算画像と重み画像の減衰処理は、マスク処理された加算画像と重み画像の各画素の画素値を定数倍する処理となり、下記数５及び数６によって表される。
【００８９】
【数５】
2010134582.tif 000024
【００９０】
【数６】
2010134582.tif 000025
ただし、
2010134582.tif 000026
はマスク処理された加算画像のベクトル表現を表し、即ち、減衰処理前の加算画像のベクトル表現を表す。
2010134582.tif 000027
はマスク処理された重み画像のベクトル表現を表し、即ち、減衰処理前の重み画像のベクトル表現を表す。また、αは減衰の程度を表す定数を表し、以下、減衰係数とも言う。
2010134582.tif 000028
は減衰処理後の加算画像のベクトル表現を表す。
2010134582.tif 000029
は減衰処理後の重み画像のベクトル表現を表す。
【００９１】
なお、画像処理装置２０における加算画像と重み画像の減衰処理部３００にて行われる加算画像と重み画像の減衰処理とは、画像補間により生成された加算画像と重み画像の各画素の画素値を定数倍する処理である。
【００９２】
次に、一枚からの加算画像と重み画像生成処理部１８０が、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより（図５のステップＳ８０を参照）、加算画像と重み画像を生成し、生成した加算画像と重み画像を、加算画像と重み画像の加算処理部１９０へ出力する。以下、一枚からの加算画像と重み画像生成処理により生成された加算画像と重み画像を、「一枚から生成された加算画像と重み画像」と呼ぶ。
【００９３】
ここで、図６の模式図を参照しながら、一枚からの加算画像と重み画像生成処理部１８０にて行われる、一枚からの加算画像と重み画像生成処理について説明する。
【００９４】
図６に示すように、本発明において、一枚からの加算画像と重み画像生成処理とは、一枚からの加算画像と重み画像生成処理前の入力画像（時刻ｔの入力画像）に対して、画素と画素の間に、画素値が０である画素を挿入することにより、一枚から生成された加算画像を生成するとともに、一枚からの加算画像と重み画像生成処理前の入力画像（時刻ｔの入力画像）の画素位置に対応する画素値を１、それ以外の画素位置の画素値が０となるように、一枚から生成された重み画像を生成する処理である。なお、一枚から生成された加算画像と重み画像は、高解像度画像と同じ解像度を有する。
【００９５】
時刻ｔの入力画像は低解像度画像であり、図６では模式的説明のため、時刻ｔの入力画像は３×３の解像度を有し、Iijは時刻ｔの入力画像の画素値を表す。また、画像再構成処理部５００で生成された時刻ｔの高解像度画像の解像度は５×５とする。一枚から生成された加算画像と重み画像は、高解像度画像と同じ解像度を有するため、５×５の解像度を有する。
【００９６】
次に、加算画像と重み画像の加算処理部１９０が、一枚から生成された加算画像と重み画像と、減衰処理後の加算画像と重み画像に対し、加算画像と重み画像の加算処理を行い（図５のステップＳ９０を参照）、加算処理後の加算画像と重み画像を、更新された加算画像と重み画像として出力する。
【００９７】
本発明において、加算画像と重み画像の加算処理とは、２つの加算画像と２つの重み画像を、それぞれ画素毎に加算することにより、加算処理後の加算画像と重み画像を生成する処理である。
【００９８】
ここで、２つの加算画像のベクトル表現を
2010134582.tif 000030
とする。また、２つの重み画像のベクトル表現を
2010134582.tif 000031
とする。よって、加算画像と重み画像の加算処理により生成される加算処理後の加算画像のベクトル表現
2010134582.tif 000032
は、下記数７によって表される。
【００９９】
【数７】
2010134582.tif 000033
また、加算画像と重み画像の加算処理により生成される加算処理後の重み画像のベクトル表現
2010134582.tif 000034
は、下記数８によって表される。
【０１００】
【数８】
2010134582.tif 000035
よって、加算画像と重み画像の加算処理部１９０にて行われる加算画像と重み画像の加算処理とは、一枚から生成された加算画像と減衰処理後の加算画像を画素毎に加算することにより、加算処理後の加算画像を生成するとともに、一枚から生成された重み画像と減衰処理後の重み画像を画素毎に加算することにより、加算処理後の重み画像を生成する処理である。
【０１０１】
なお、画像処理装置２０における加算画像と重み画像の加算処理部４００にて行われる加算画像と重み画像の加算処理とは、時刻ｔの第１加算画像と時刻ｔの第２加算画像を画素毎に加算することにより、加算処理後の加算画像（時刻ｔの加算画像）を生成するとともに、時刻ｔの第１重み画像と時刻ｔの第２重み画像を画素毎に加算することにより、加算処理後の重み画像（時刻ｔの重み画像）を生成する処理である。
図７は本発明の第３実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置３０」、又は「画像処理装置３０」とも言う。）を示すブロック構成図である。
【０１０２】
図７に示すように、本発明に係る画像処理装置３０は、加算画像と重み画像の第２更新処理部１０１と、画像再構成処理部５００とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの高解像度画像を生成するものである。
【０１０３】
また、図示されていないが、画像処理装置３０は、データを記憶する記憶部を備えており、記憶部として、例えば、半導体メモリなどの記憶媒体を用いることができる。なお、言うまでも無く、記憶部に格納されたデータは、必要に応じて、画像処理装置３０の各構成ブロック（各構成部分）に利用されることができ、また、画像処理装置３０の各構成ブロックは、所定の処理を行うことによって生成されたデータを、必要に応じて記憶部に格納することができる。
【０１０４】
ここで、画像処理装置３０の処理流れについて説明する。
【０１０５】
図７に示すように、画像処理装置３０において、まず、加算画像と重み画像の第２更新処理部１０１が、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻ｔの加算画像と重み画像として画像再構成処理部５００へ出力する。
【０１０６】
次に、画像処理装置３０において、画像再構成処理部５００が、加算画像と重み画像の第２更新処理部１０１から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成する。なお、画像再構成処理部５００で生成された時刻ｔの高解像度画像は、必要に応じて、外部に出力するようにしても良く、また、記憶部に格納するようにしても良い。
図８は本発明の第４実施形態に係る画像処理装置（以下、単に「本発明に係る画像処理装置４０」、又は「画像処理装置４０」とも言う。）を示すブロック構成図である。
【０１０７】
図８に示すように、本発明に係る画像処理装置４０は、加算画像と重み画像の第２更新処理部１０１と、画像補間による加算画像と重み画像生成処理部２００と、加算画像と重み画像の減衰処理部３００と、加算画像と重み画像の加算処理部４００と、画像再構成処理部５００とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、時刻ｔの高解像度画像を生成するものである。
【０１０８】
また、図示されていないが、画像処理装置４０は、データを記憶する記憶部を備えており、記憶部として、例えば、半導体メモリなどの記憶媒体を用いることができる。なお、言うまでも無く、記憶部に格納されたデータは、必要に応じて、画像処理装置４０の各構成ブロック（各構成部分）に利用されることができ、また、画像処理装置４０の各構成ブロックは、所定の処理を行うことによって生成されたデータを、必要に応じて記憶部に格納することができる。
【０１０９】
ここで、画像処理装置４０の処理流れについて説明する。
【０１１０】
図８に示すように、画像処理装置４０において、まず、加算画像と重み画像の第２更新処理部１０１が、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像を、時刻ｔの第１加算画像と第１重み画像として、加算画像と重み画像の加算処理部４００へ出力する。
【０１１１】
次に、画像処理装置４０において、画像補間による加算画像と重み画像生成処理部２００が、時刻ｔの入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、「画像補間により生成された加算画像と重み画像」を生成し、生成した「画像補間により生成された加算画像と重み画像」を加算画像と重み画像の減衰処理部３００へ出力する。
【０１１２】
次に、画像処理装置４０において、加算画像と重み画像の減衰処理部３００が、画像補間による加算画像と重み画像生成処理部２００から出力された、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻ｔの第２加算画像と第２重み画像として、加算画像と重み画像の加算処理部４００へ出力する。
【０１１３】
次に、画像処理装置４０において、加算画像と重み画像の加算処理部４００が、時刻ｔの第１加算画像と第１重み画像と、時刻ｔの第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻ｔの加算画像と重み画像を生成し、生成した時刻ｔの加算画像と重み画像を、画像再構成処理部５００へ出力する。
【０１１４】
次に、画像処理装置４０において、画像再構成処理部５００が、加算画像と重み画像の加算処理部４００から出力された、時刻ｔの加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻ｔの高解像度画像を生成する。なお、画像再構成処理部５００で生成された時刻ｔの高解像度画像は、必要に応じて、外部に出力するようにしても良く、また、記憶部に格納するようにしても良い。
ここで、本発明における加算画像と重み画像の第２更新処理部について説明する。図９は本発明における加算画像と重み画像の第２更新処理部を示すブロック構成図である。また、図１０は、本発明における加算画像と重み画像の第２更新処理部の処理流れを示すフロー図である。
【０１１５】
図９に示すように、本発明の加算画像と重み画像の第２更新処理部（加算画像と重み画像の第２更新処理部１０１）は、加算画像と重み画像の第１更新処理部１００と、シーンチェンジ検出処理部１０２と、一枚からの加算画像と重み画像生成処理部１８０とから構成され、入力された時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第２更新処理を行うことにより、時刻ｔ−１の加算画像と重み画像を更新するものである。
【０１１６】
ここで、加算画像と重み画像の第２更新処理部１０１の処理流れについて説明する。
【０１１７】
図１０に示すように、加算画像と重み画像の第２更新処理部１０１において、まず、シーンチェンジ検出処理部１０２が、時刻ｔの入力画像と時刻ｔ−１の入力画像に基づき、シーンチェンジ検出処理を行い（図１０のステップＳ１００を参照）、シーンチェンジがあるか否かを判断する（図１０のステップＳ１１０を参照）。
【０１１８】
なお、シーンチェンジ検出処理は、シーンチェンジ検出処理に関する既存方法を利用する。シーンチェンジ検出処理に関する既存方法として、例えば、非特許文献４に開示された方法が挙げられる。
【０１１９】
シーンチェンジ検出処理部１０２により、シーンチェンジが無いと判断された場合に、加算画像と重み画像の第１更新処理部１００が、時刻ｔの入力画像、時刻ｔ−１の入力画像、時刻ｔ−１の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより（図１０のステップＳ１２０を参照）、時刻ｔ−１の加算画像と重み画像を更新し、更新された加算画像と重み画像として出力する。
【０１２０】
一方、シーンチェンジ検出処理部１０２により、シーンチェンジがあると判断された場合に、一枚からの加算画像と重み画像生成処理部１８０が、時刻ｔの入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより（図１０のステップＳ１３０を参照）、一枚から生成された加算画像と重み画像を生成し、生成した「一枚から生成された加算画像と重み画像」を、更新された加算画像と重み画像として出力する。
以上のように、本発明の第１実施形態〜第４実施形態に係る画像処理装置の動作（処理流れ）について、詳細に説明したが、本発明に係る画像処理装置を用いて動画像超解像処理を行う場合に、最初に必要となる時刻０の加算画像と重み画像は、一枚からの加算画像と重み画像生成処理を行うことにより生成される。
【０１２１】
つまり、本発明に係る画像処理装置による動画像超解像処理を行う場合に、まず、時刻０の加算画像と重み画像を生成するための加算画像と重み画像の初期化処理を行う必要がある。具体的に、時刻０の入力画像に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、生成された一枚から生成された加算画像と重み画像を時刻０の加算画像と重み画像とする。
【０１２２】
換言すれば、加算画像と重み画像の初期化処理とは、時刻０の入力画像に対して行われる一枚からの加算画像と重み画像生成処理である。
前述したように、本発明に係る画像処理装置は、低解像度動画像から高解像度動画像を生成する動画像超解像処理に適用でき、且つ、大きな記憶媒体と大きな計算量を必要としない動画像超解像処理を実現することができる。
【０１２３】
以下、本発明に係る画像処理装置による動画像超解像処理の処理流れについて説明する。
【０１２４】
図１１は、本発明の第１実施形態に係る画像処理装置（画像処理装置１０）による動画像超解像処理の処理流れを示すフロー図である。また、図１２は本発明の第１実施形態に係る画像処理装置（画像処理装置１０）による動画像超解像処理を説明するための模式図である。なお、低解像度動画像は、例えば、デジタル・ビデオ・カメラなどの撮像装置により取得される。
【０１２５】
図１１及び図１２に示すように、まず、時刻０の低解像度画像が取得された時点で、この時刻０の低解像度画像（時刻０の入力画像）に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、生成された一枚から生成された加算画像と重み画像を時刻０の加算画像と重み画像とする。次に、時刻０の加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻０の高解像度画像を生成する。
【０１２６】
次いで、時刻１の低解像度画像（時刻１の入力画像）が取得された時点で、加算画像と重み画像の第１更新処理部１００が、時刻０の入力画像、時刻１の入力画像、及び時刻０の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻０の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻１の加算画像と重み画像として画像再構成処理部５００へ出力する。
【０１２７】
次に、画像再構成処理部５００が、加算画像と重み画像の第１更新処理部１００から出力された、時刻１の加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻１の高解像度画像を生成する。
【０１２８】
次に、時刻２の低解像度画像（時刻２の入力画像）が取得された時点では、時刻１の入力画像が取得された時点と同様に、加算画像と重み画像の第１更新処理と画像再構成処理を繰り返すことにより、時刻２の高解像度画像を生成する。
【０１２９】
また、時刻３以降も同様に、加算画像と重み画像の第１更新処理と画像再構成処理を繰り返すことにより、その時刻の高解像度画像を生成する。
【０１３０】
このように、本発明によれば、低解像度動画像の逐次的な取得に伴い、高解像度動画像も逐次的に生成される。
図１３は、本発明の第２実施形態に係る画像処理装置（画像処理装置２０）による動画像超解像処理の処理流れを示すフロー図である。なお、低解像度動画像は、例えば、デジタル・ビデオ・カメラなどの撮像装置により取得される。
【０１３１】
図１３に示すように、まず、時刻０の低解像度画像が取得された時点で、この時刻０の低解像度画像（時刻０の入力画像）に基づき、一枚からの加算画像と重み画像生成処理を行うことにより、一枚から生成された加算画像と重み画像を生成し、生成された一枚から生成された加算画像と重み画像を、時刻０の第１加算画像と第１重み画像とする。
【０１３２】
また、時刻０の入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成する。次に、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻０の第２加算画像と第２重み画像とする。
【０１３３】
時刻０の第１加算画像と第１重み画像と、時刻０の第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻０の加算画像と重み画像を生成する。次に、時刻０の加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻０の高解像度画像を生成する。
【０１３４】
次いで、時刻１の低解像度画像（時刻１の入力画像）が取得された時点で、加算画像と重み画像の第１更新処理部１００が、時刻０の入力画像、時刻１の入力画像、及び時刻０の加算画像と重み画像に基づき、加算画像と重み画像の第１更新処理を行うことにより、時刻０の加算画像と重み画像を更新し、更新された加算画像と重み画像を時刻１の第１加算画像と第１重み画像とする。
【０１３５】
また、画像補間による加算画像と重み画像生成処理部２００が、時刻１の入力画像に基づき、画像補間による加算画像と重み画像生成処理を行うことにより、画像補間により生成された加算画像と重み画像を生成する。次に、加算画像と重み画像の減衰処理部３００が、画像補間により生成された加算画像と重み画像に対し、加算画像と重み画像の減衰処理を行い、減衰処理後の加算画像と重み画像を、時刻１の第２加算画像と第２重み画像とする。
【０１３６】
次に、加算画像と重み画像の加算処理部４００が、時刻０の第１加算画像と第１重み画像と、時刻０の第２加算画像と第２重み画像に対し、加算画像と重み画像の加算処理を行うことにより、時刻１の加算画像と重み画像を生成する。次に、画像再構成処理部５００が、時刻１の加算画像と重み画像に基づき、画像再構成処理を行うことにより、時刻１の高解像度画像を生成する。
【０１３７】
また、時刻２以降も同様に、加算画像と重み画像の第１更新処理、画像補間による加算画像と重み画像生成処理、加算画像と重み画像の減衰処理、及び画像再構成処理を繰り返すことにより、その時刻の高解像度画像を生成する。
【０１３８】
このように、本発明によれば、低解像度動画像の逐次的な取得に伴い、高解像度動画像も逐次的に生成される。
なお、本発明に係る画像処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＧＰＵ（Graphics  Processing  Unit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアにより実装されることも勿論できる。
以下では、具体的な実施例を通して本発明の有効性を実証する。
【０１３９】
本実施例では、本発明の第１実施形態に係る画像処理装置（画像処理装置１０）を用いて動画像超解像処理を行う。即ち、図１１及び図１２に示す処理の流れで、入力された低解像度動画像に対し、動画像超解像処理を行った。拡大倍率を２×２に設定した。
【０１４０】
位置合わせ処理に、非特許文献２に記載された方法を利用し、位置合わせに関するモーションモデルには平行移動、回転、スケール変化を仮定した。また、入力画像を分割し、分割した領域それぞれに対して、位置合わせ処理を行った。
【０１４１】
位置合わせに関するモーションモデルでは、座標の同時表現を利用することにより、位置合わせ情報は、３×３の行列として表現できる。このとき、位置合わせ情報の解像度変換処理は、下記数９に基づいて行われる。
【０１４２】
【数９】
2010134582.tif 000036
ここで、ｚは解像度の改善率を表す定数であり、拡大倍率に合わせて、ｚ＝２としている。また、
2010134582.tif 000037
は位置合わせ情報を表す。
2010134582.tif 000038
は解像度変換された位置合わせ情報を表す。
【０１４３】
画素選択処理では、位置合わせ情報に基づき変形された時刻ｔ−１の入力画像と、時刻ｔの入力画像を、１０×１０の領域毎に類似度と、位置合わせ誤差を再推定し、画素選択処理を行った。類似度には領域間の画素値のＲＭＳＥを利用し、位置合わせ誤差の再推定には、非特許文献２に開示された方法で平行移動成分のみを再推定した。また、画素選択処理では、ＲＭＳＥが所定の閾値(3.16)以下、かつ位置合わせ誤差の推定値が所定の閾値(0.5)以下の場合１、それ以外の場合０とする２値マスクを生成した。減衰係数αは0.93とした。画像再構成処理では、特許文献３に開示された方法を利用した。
【０１４４】
図１４は上述した実施例による動画像超解像処理において、入力された低解像度動画像と、生成された高解像度動画像の一例を示す図である。
【０１４５】
図１４から、低解像度入力動画像に対し、本発明による動画像超解像処理により生成された高解像度動画像の解像度が向上していることが確認された。
【図面の簡単な説明】
【０１４６】
【図１】本発明の第１実施形態に係る画像処理装置を示すブロック構成図である。
【図２】本発明の第２実施形態に係る画像処理装置を示すブロック構成図である。
【図３】本発明における画像補間による加算画像と重み画像生成処理を説明するための模式図である。
【図４】本発明における加算画像と重み画像の第１更新処理部を示すブロック構成図である。
【図５】本発明における加算画像と重み画像の第１更新処理部の処理流れを示すフロー図である。
【図６】本発明における一枚からの加算画像と重み画像生成処理を説明するための模式図である。
【図７】本発明の第３実施形態に係る画像処理装置を示すブロック構成図である。
【図８】本発明の第４実施形態に係る画像処理装置を示すブロック構成図である。
【図９】本発明における加算画像と重み画像の第２更新処理部を示すブロック構成図である。
【図１０】本発明における加算画像と重み画像の第２更新処理部の処理流れを示すフロー図である。
【図１１】本発明の第１実施形態に係る画像処理装置による動画像超解像処理の処理流れを示すフロー図である。
【図１２】本発明の第１実施形態に係る画像処理装置による動画像超解像処理を説明するための模式図である。
【図１３】本発明の第２実施形態に係る画像処理装置による動画像超解像処理の処理流れを示すフロー図である。
【図１４】本発明に係る画像処理装置による動画像超解像処理において、入力された低解像度動画像と、生成された高解像度動画像の一例を示す図である。
【符号の説明】
【０１４７】
１０,２０,３０,４０    画像処理装置
１００    加算画像と重み画像の第１更新処理部
１０１    加算画像と重み画像の第２更新処理部
１０２    シーンチェンジ検出処理部
１１０    位置合わせ処理部
１２０    位置合わせ情報の解像度変換処理部
１３０    加算画像と重み画像の変形処理部
１４０    画素選択処理部
１５０    画素選択マスクの解像度変換処理部
１６０    画素選択マスク処理部
１７０    加算画像と重み画像の減衰処理部
１８０    一枚からの加算画像と重み画像生成処理部
１９０    加算画像と重み画像の加算処理部
２００    画像補間による加算画像と重み画像生成処理部
３００    加算画像と重み画像の減衰処理部
４００    加算画像と重み画像の加算処理部
５００    画像再構成処理部
【図１】
2010134582.tif 000039
【図２】
2010134582.tif 000040
【図３】
2010134582.tif 000041
【図４】
2010134582.tif 000042
【図５】
2010134582.tif 000043
【図６】
2010134582.tif 000044
【図７】
2010134582.tif 000045
【図８】
2010134582.tif 000046
【図９】
2010134582.tif 000047
【図１０】
2010134582.tif 000048
【図１１】
2010134582.tif 000049
【図１２】
2010134582.tif 000050
【図１３】
2010134582.tif 000051
【図１４】
2010134582.tif 000052