(57)【要約】【課題】オペレーターの負担を軽減できる画質改善システム、画質改善方法及びプログラムを提供する。【解決手段】実施形態の画質改善システムは、パラメータ決定部と、記憶部と、高画質化処理部とを持つ。パラメータ決定部は、同種の映像の２以上のフレームを用いた学習処理によって高画質化パラメータを決定する。記憶部は、決定された高画質化パラメータを記憶する。高画質化処理部は、記憶部が記憶する高画質化パラメータを用いて上記映像に対する高画質化処理を行う。【選択図】図１
2015201819.tif 000002
【特許請求の範囲】
【請求項１】
同種の映像の２以上のフレームを用いた学習処理によって高画質化パラメータを決定するパラメータ決定部と、
前記高画質化パラメータを用いて前記同種の映像に対する高画質化処理を行う高画質化処理部と
を備える画質改善システム。
【請求項２】
前記学習処理は、同じシーンの時間的に異なる２以上のフレームを用いる
請求項１に記載の画質改善システム。
【請求項３】
前記映像は、記録媒体に録画されたアナログ映像であり、
前記学習処理は、複数回再生された同じシーンの２以上のフレームを用いる
請求項１に記載の画質改善システム。
【請求項４】
前記映像は、輝度信号と色差信号とからなり、
前記学習処理は、分離した輝度と色差又は色差同士の２以上のフレームを用いる
請求項１に記載の画質改善システム。
【請求項５】
前記映像は、３原色の色信号からなり、
前記の学習処理は、分離した色信号の２以上のフレームを用いる
請求項１に記載の画質改善システム。
【請求項６】
前記学習処理は、コントラストに関する前記高画質化パラメータに対して行い、
レベル飽和していないフレームを選択して前記学習処理における教師画像とする
請求項１から５のいずれか１項に記載の画質改善システム。
【請求項７】
前記学習処理は、ノイズに関する前記高画質化パラメータに対して行い、
複数フレームを平均化させたノイズ除去画像を前記学習処理における教師画像とする
請求項１から５のいずれか１項に記載の画質改善システム。
【請求項８】
前記学習処理は、ノイズに関する前記高画質化パラメータに対して行い、
パルス状ノイズ、ライン状ノイズ、スクラッチノイズ又はダストノイズが少ないフレームを選択して前記学習処理における教師画像とする
請求項１から５のいずれか１項に記載の画質改善システム。
【請求項９】
前記学習処理は、ぼけに関する前記高画質化パラメータに対して行い、
ピントがより合っており又は動きぼけの少ないフレームを選択して前記学習処理における教師画像とする
請求項１から５のいずれか１項に記載の画質改善システム。
【請求項１０】
前記学習処理は、色味変化に関する前記高画質化パラメータに対して行い、
色味の変化の少ないフレームを選択して前記学習処理における教師画像とする
請求項１から５のいずれか１項に記載の画質改善システム。
【請求項１１】
前記色味変化の少ないフレームの選択は、記録媒体への記録からの経過年数を基に判断する
請求項１０に記載の画質改善システム。
【請求項１２】
同種の映像の２以上のフレームを用いた学習処理によって高画質化パラメータを決定するパラメータ決定過程と、
前記高画質化パラメータを用いて前記同種の映像に対する高画質化処理を行う高画質化処理過程と
を有する画質改善方法。
【請求項１３】
同種の映像の２以上のフレームを用いた学習処理によって高画質化パラメータを決定するパラメータ決定過程と、
前記高画質化パラメータを用いて前記同種の映像に対する高画質化処理を行う高画質化処理過程と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画質改善システム、画質改善方法及びプログラムに関する。
【背景技術】
【０００２】
アナログ記録媒体（ビデオテープ、フィルム等）に記録された劣化した映像の高画質化については、種々の高画質化手法が検討されてきた。映像品質の劣化状況はさまざまであり、高画質化手法はソース映像の状況に合わせて選択することが望ましい。劣化の種類は様々である。様々な劣化に対応した高画質化手法が個別に開発されてきた。ぼけには鮮鋭化処理を施すことが有効である。ぼけとは、ぼやけのことである。ランダムノイズとグレインノイズにはノイズ除去フィルタを用いることが有効である。手ぶれには手ぶれ補正処理を施すことが有効である。カラーバランス異常と退色にはカラーバランス補正処理を施すことが有効である。そして、パルス状ノイズ、ライン状ノイズ、スクラッチノイズ、ダストノイズにはそれぞれに特化したノイズ検出とノイズ隠蔽処理が有効である。
【０００３】
また、複合的に発生した劣化には、これらの高画質化処理を複数組み合わせて処理することで対応する。例えば、オペレーターが劣化の状況を確認し必要な高画質化処理を選択して、処理順序を決めて、複数ある高画質化のパラメータの調整を行う。高画質化のパラメータの調整では、相関のある複数の処理間で、相関のある複数のパラメータを最適化することが望ましい。複数のパラメータの調整は、経験を積んだオペレーターであっても困難な作業であった。また、高画質化の効果は、オペレーターの画質判断の能力、調整の能力に依存する場合があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１２４８０３号公報
【特許文献２】特開２０１２−１９１６４１号公報
【特許文献３】特開２００２−２２２４１６号公報
【特許文献４】特開２００９−１５３００３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、オペレーターの負担を軽減できる画質改善システム、画質改善方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の画質改善システムは、パラメータ決定部と、高画質化処理部とを持つ。パラメータ決定部は、同種の映像の２以上のフレームを用いた学習処理によって高画質化パラメータを決定する。高画質化処理部は、パラメータ決定部が決定した高画質化パラメータを用いて上記同種の映像に対する高画質化処理を行う。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態の画質改善システムを説明するための説明図。
【図２】図１に示したパラメータ決定部１００の構成例を示すブロック図。
【図３】図２に示したパラメータ決定部１００の動作例を示すフローチャート。
【図４】図１に示した高画質化処理部２００の構成例を示すブロック図。
【図５】図４に示した高画質化処理部２００の動作例を示すフローチャート。
【図６】第２の実施形態のパラメータ決定部１００ａを示すブロック図。
【図７】第３の実施形態のパラメータ決定部１００ｂを示すブロック図。
【図８】第３の実施形態のパラメータテーブルの一例を示す説明図。
【発明を実施するための形態】
【０００８】
以下、実施形態の画質改善システムを、図面を参照して説明する。
【０００９】
（第１の実施形態）
図１は、第１の実施形態の画質改善システム１を説明するための説明図である。図１（Ａ）は、第１の実施形態の画質改善システム１の構成例を示したブロック図である。図１（Ｂ）及び（Ｃ）は、第１の実施形態の画質改善システム１の動作例を説明するための模式図である。図１（Ａ）に示した画質改善システム１は、パラメータ決定部１００と、データベース１１０と、高画質化処理部２００とを備える。画質改善システム１は、例えば、プロセッサと、メモリと、入出力装置と、そのプロセッサが実行するプログラムとを用いて構成できる。上記プロセッサは、画像処理用のＤＳＰ（Digital Signal Processor）、汎用のＣＰＵ（Central Processing Unit）等である。
【００１０】
パラメータ決定部１００は、複数フレームからなる映像を表す映像データ１０を入力する。映像データ１０は、複数フレームの画像データを含む。映像データ１０は、例えば、所定形式の画像ファイルとして構成されている。画像ファイルは、動画ファイルと静止画とを含む。画像ファイルの形式は、例えば、色をＲＧＢの３原色等で表現する形式であってもよいし、輝度と色差とを用いて表現する形式であってもよい。ここで、輝度とは、明るさを表す成分である。輝度は、３原色の各成分を用いて算出される。また、色差は、赤色と輝度との差を表す成分と、青色と輝度との差を表す成分とを含む。また、画像ファイルは、例えば撮影時に所定の記録媒体にデジタルデータとして記録される。また、画像ファイルは、所定のプログラムを用いて作成又は編集された場合に、所定の記録媒体にデジタルデータとして記録される。あるいは、画像ファイルは、アナログ信号としてビデオテープ等の記録媒体に記録されたものを、デジタルデータに変換することで作成できる。あるいは、画像ファイルは、フィルムに撮影された画像を、フィルムスキャナで読み取って、デジタル化したものでもよい。画像ファイルは、フィルムから印画紙に焼き付けられた画像を、画像スキャナで読み取って、デジタル化したものでもよい。ここで、フィルムは、映画用フィルムと写真フィルムとを含む。
【００１１】
パラメータ決定部１００は、入力した映像データ１０に含まれる同種の映像の２以上のフレームを用いた学習処理によって高画質化パラメータを決定する。例えば、パラメータ決定部１００は、入力した映像データ１０に含まれる同種の映像の２フレーム以上の画像を用いて教師画像と劣化画像とを設定する。そして、パラメータ決定部１００は、設定した教師画像と劣化画像とを用いた学習処理によって高画質化パラメータを決定する。ここで、高画質化パラメータとは、高画質化処理で用いられる情報である。高画質化パラメータを変化させることで、高画質化処理の動作を変化させることができる。高画質化パラメータは、例えば、高画質化処理の動作の内容、種類又は程度、動作で用いられる数値、しきい値、割合、範囲、色変換テーブル等を表す情報である。
【００１２】
学習処理は、高画質化パラメータを変化させながら、高画質化処理が複数回試行され、試行結果に基づいて高画質化パラメータを選択する処理である。高画質化処理は、劣化画像に対して実行される。また、試行結果に対する判断は、教師画像を基準として行うことができる。例えば、学習処理では、所定の高画質化処理を実行した後の劣化画像の画質が教師画像の画質に近づくように、高画質化処理の試行を行う。すなわち、学習処理では、高画質化パラメータを変化させながら劣化画像に対して所定の高画質化処理を複数回実行する。そして、複数回の実行結果に基づいて、当該同種の映像に対して適用する高画質化パラメータが、１又は複数決定される。例えば、教師画像は、当該高画質化処理が画質を改善しようとする特性（ぼけ、手ぶれ、コントラスト、各種ノイズ等）が比較的良好なものが用いられる。あるいは、教師画像は、同種の映像の複数フレームの画像を平均化することによって設定できる。一方、劣化画像は、高画質化処理が画質を改善しようとする特性比較的不良な画像である。
【００１３】
複数フレームからなる映像とは、連続的に撮影された複数の画像からなる動画像のほか、撮影が時間的あるいは空間的に密着する複数の静止画像からなる画像群を含む。また、「同種の映像」とは、各フレームの画像の性質、特徴、形態等の種類が共通の映像である。「同種の映像」は、例えば撮影シーンが同一の映像である。入力した映像データ１０は、全体として１つの同種の映像から構成されている場合と、複数種類の同種の映像を含む場合とがある。同種の映像の２以上のフレームとは、例えば、画像の性質、特徴、形態等が共通の一連の画像群に含まれる２枚以上の画像を意味する。
【００１４】
「同種の映像」の分類には、例えば次のようなものがある。すなわち、同種の映像とする画像の分類は、遠景画像、近景画像、風景画像、人物画像、屋内画像、屋外画像を含む。また、同種の映像とする画像の分類は、被写体の動きが大きい画像、被写体の動きが小さい画像、順光画像、逆光画像等も含む。ただし、これらの分類は一例である。あるいは複数の分類を組み合わせることにより、新たな画像の分類を生成しても良い。例えば、人物画像と判断され、かつ、屋内画像と判断された各フレームは、同種の映像に含まれていると判断できる。この場合、高画質化パラメータの学習処理では、人物画像と判断され、かつ、屋内画像と判断された各フレームに対して共通の高画質化パラメータを決定できる。また、高画質化処理では、人物画像と判断され、かつ、屋内画像と判断された各フレームに対して、共通の高画質化パラメータを用いた高画質化処理を実行できる。
【００１５】
データベース１１０は、パラメータ決定部１００が決定した高画質化パラメータ２０を記憶する。データベース１１０は、映像の種類に対応付けて高画質化パラメータ２０を記憶する。
【００１６】
高画質化処理部２００は、データベース１１０から、処理対象の映像と同種の映像に対応付けて記憶されている高画質化パラメータ３４を取得する。そして、高画質化処理部２００は、取得した高画質化パラメータ３４を用いて、映像データ１０に対する高画質化処理を行う。高画質化処理部２００は、高画質化処理を実行した結果である映像データ３３を出力する。
【００１７】
図１（Ｂ）及び（Ｃ）を参照して、映像データ１０の構成例と教師画像及び劣化画像の設定例について説明する。図１（Ｂ）は、映像データ１０の構成例を模式的に示した図である。映像データ１０は、同種の映像１０−１と、異なる種類の同種の映像１０−２とを含む。パラメータ決定部１００が行う学習処理では、例えば、映像１０−１に含まれる各１フレームの画像が、教師画像１４−１及び劣化画像１３−１として設定される。ただし、教師画像と劣化画像の枚数はそれぞれ複数でもよい。また、パラメータ決定部１００が行う学習処理では、例えば、映像１０−２に含まれる各１フレームの画像が、教師画像１４−２及び劣化画像１３−２として設定される。そして、パラメータ決定部１００は、教師画像１４−１及び劣化画像１３−１を用いたが学習処理を行って、映像１０−１用の高画質化パラメータを決定する。同様に、パラメータ決定部１００は、教師画像１４−２及び劣化画像１３−２を用いたが学習処理を行って、映像１０−２用の高画質化パラメータを決定する。そして、パラメータ決定部１００は、映像１０−１用の高画質化パラメータと、映像１０−２用の高画質化パラメータとをデータベース１１０に格納する。この場合、パラメータ決定部１００は、例えば同じシーン等の同種の映像の中で時間的に異なる２以上のフレームのうちのいずれかを教師画像又は劣化画像に設定する。
【００１８】
高画質化処理部２００は、映像データ１０を入力するととともに、データベース１１０から映像１０−１用の高画質化パラメータ及び映像１０−２用の高画質化パラメータを取得する。次に、高画質化処理部２００は、映像１０−１の各フレームに対して、映像１０−１用の高画質化パラメータを用いた高画質化処理を実行する。さらに、高画質化処理部２００は、映像１０−２の各フレームに対して、映像１０−２用の高画質化パラメータを用いた高画質化処理を実行する。そして、高画質化処理部２００は、高画質化処理を行った映像を映像データ３３として出力する。ただし、高画質化処理部２００は、映像データ１０の全フレームに対して高画質化処理を実行しなくてもよい。所定の画質判定処理を実行し、例えば、高画質ではないと判定されたフレームに対してのみ高画質化処理を行ってもよい。
【００１９】
図１（Ｃ）は、映像データ１０の他の構成例である映像データ１０ａ及び映像データ１０ｂを模式的に示した図である。映像データ１０ａ及び映像データ１０ｂは、例えば同一の記録媒体に録画された同一のアナログ映像を複数回再生することによってデジタル化した複数のファイルである。また、映像データ１０ａは、同種の映像１０ａ−１及び映像１０ａ−２から構成されている。また、映像データ１０ｂは、同種の映像１０ｂ−１及び映像１０ｂ−２から構成されている。
【００２０】
上述したように、映像データ１０ａ及び映像データ１０ｂは、同一内容の映像を表すものであるが、デジタル化の際の再生時点が異なる。一般に、記録媒体に録画されたアナログ映像は、記録媒体を磁気ヘッド等の読み取り部に接触し、記録媒体を移動させることで電気信号に変換される。記録媒体に記録されている磁気信号が不変であったとしても、磁気ヘッド等との接触状態、記録媒体上のカビ等の汚染物質の位置等の状態は、再生毎に変化する。つまり、アナログ映像を表すアナログ信号は、ノイズの発生状況を再生毎に変化させてデジタルデータに変換される。なお、映像を表すアナログ信号は、例えば、アナログのＲＧＢ信号、アナログの輝度及び色差信号等である。この場合、パラメータ決定部１００は、映像データ１０ａと映像データ１０ｂとを入力する。以下、映像データ１０ａ及び１０ｂを総称する場合、「映像データ１０」という。そして、パラメータ決定部１００は、映像データ１０ａ又は映像データ１０ｂにおいて比較的大きなノイズを含むフレームを劣化画像として設定する。また、パラメータ決定部１００は、劣化画像と異なる映像データ１０ａ又は１０ｂの同一フレーム番号のフレームを教師画像として設定する。同一のフレーム番号であることは、フレーム位置が同一であることを意味する。図１（Ｂ）に示した例では、映像１０ａ−１に含まれる１フレームの画像が劣化画像１３ａ−１として設定されている。図１（Ｂ）に示した例では、映像１０ｂ−１に含まれる同一フレーム番号の１フレームの画像が、教師画像１４ｂ−１として設定されている。また、図１（Ｂ）に示した例では、映像１０ｂ−２に含まれる１フレームの画像が、劣化画像１３ｂ−２として設定される。図１（Ｂ）に示した例では、映像１０ａ−２に含まれる同一フレーム番号の１フレームの画像が、教師画像１４ａ−２として設定される。
【００２１】
パラメータ決定部１００は、教師画像１４ｂ−１及び劣化画像１３ａ−１を用いた学習処理を行って、例えば映像１０ａ−１用の高画質化パラメータを決定する。同様に、パラメータ決定部１００は、教師画像１４ａ−２及び劣化画像１３ｂ−２を用いた学習処理を行って、例えば映像１０ａ−２用の高画質化パラメータを決定する。そして、パラメータ決定部１００は、映像１０ａ−１用の高画質化パラメータと、映像１０ａ−２用の高画質化パラメータとをデータベース１１０に格納する。学習処理における再生回数は２回に限られない。パラメータ決定部１００は、映像データ１０が、記録媒体に録画されたアナログ映像である場合に以下の処理を行う。パラメータ決定部１００は、複数回再生された同じシーン等の同種の映像中において、時間的に同一の２以上のフレームのうちのいずれかを教師画像又は劣化画像に設定する。
【００２２】
高画質化処理部２００は、映像データ１０ａを入力する。また、高画質化処理部２００は、データベース１１０から映像１０ａ−１用の高画質化パラメータ及び映像１０ａ−２用の高画質化パラメータを取得する。次に、高画質化処理部２００は、映像１０ａ−１の各フレームに対して、映像１０ａ−１用の高画質化パラメータを用いた高画質化処理を実行する。さらに、高画質化処理部２００は、映像１０ａ−２の各フレームに対して、映像１０ａ−２用の高画質化パラメータを用いた高画質化処理を実行する。そして、高画質化処理部２００は、高画質化処理を行った映像を映像データ３３として出力する。
【００２３】
なお、所定の高画質化処理は、上述した鮮鋭化処理、ノイズ除去フィルタを適用する処理、手ぶれ補正処理、カラーバランス補正処理、ノイズ検出とノイズ隠蔽処理を含む。また、所定の高画質化処理は、コントラストの補正処理等を含む。また、所定の高画質化処理は、上述した各処理を組み合わせることもできる。
【００２４】
第１の実施形態の画質改善システム１は、画質の改善を行う同種の映像に含まれる複数フレームのいずれかを教師画像及び劣化画像とする。第１の実施形態の画質改善システム１は、上記教師画像及び劣化画像を用いた学習処理によって高画質化パラメータが決定される。したがって、高画質化処理に用いる高画質化パラメータの調整を容易に自動化あるいは半自動化できる。よって、オペレーターの負担を軽減できる。また、オペレーターの能力に依存せず高画質化処理を行うことができる。また、学習用の映像を作成する必要はなく、また、同種の映像毎に学習処理を行うので、不適切な学習用の映像が作成されてしまうこともない。
【００２５】
次に、図２を参照して、図１（Ａ）に示したパラメータ決定部１００の構成例について説明する。なお、図２に示したパラメータ決定部１００へは、図１（Ｂ）を参照して説明した映像データ１０が入力されるものとする。パラメータ決定部１００は、劣化画像選択部１０１、画質判定部１０２、教師画像選択部１０３、劣化画像メモリ１０４、教師画像メモリ１０５、シーン判定部１１１、学習制御部１１２、及び学習ブロック１１３を備える。学習ブロック１１３は、高画質化部１０６、画質判定・比較部１０７、パラメータ選択部１０８及びパラメータ判定部１０９を有する。
【００２６】
画質判定部１０２は、映像データ１０を入力し、各フレームが、教師画像に該当するか、劣化画像に該当するか、又はどちらにも該当しないかを判定する。画質判定部１０２は、当該フレームが、劣化画像に該当すると判定した場合、その旨を示す情報１１を劣化画像選択部１０１へ出力する。また、画質判定部１０２は、当該フレームが、教師画像に該当すると判定した場合、その旨を示す情報１２を教師画像選択部１０３へ出力する。
【００２７】
劣化画像選択部１０１は、映像データ１０を入力し、情報１１に応じて選択したフレームを、劣化画像１３として劣化画像メモリ１０４に格納する。教師画像選択部１０３は、映像データ１０を入力し、情報１２に応じて選択したフレームを、教師画像１４として教師画像メモリ１０５に格納する。
【００２８】
シーン判定部１１１は、映像データ１０を入力する。そして、シーン判定部１１１は、１又は複数フレーム単位で画像認識処理を行い、各フレームが予め設定されている所定のシーンのどれに該当するのかを判定する。シーン判定部１１１による判定結果２１は、学習制御部１１２へ出力される。
【００２９】
学習ブロック１１３では、パラメータ選択部１０８が、高画質化部１０６に対して所定の高画質化パラメータ１８を所定の初期値から変化させながら複数回出力する。高画質化部１０６は、劣化画像メモリ１０４から劣化画像１３を読み出す。そして、パラメータ選択部１０８から入力した高画質化パラメータ１８を用いて、読み出した劣化画像１３に対して所定の高画質化処理を繰り返し実行する。高画質化部１０６は、実行毎に、所定の高画質化処理を行った結果の画像１６を出力する。
【００３０】
画質判定・比較部１０７は、高画質化部１０６が出力した画像１６を入力するとともに、教師画像メモリ１０５から教師画像１４を読み出す。そして、画質判定・比較部１０７は、教師画像１４を比較基準として、画像１６を解析し、画質の判定結果を示す情報１９を出力する。パラメータ判定部１０９は、情報１９に基づき、複数（あるいは複数の組）の高画質化パラメータ１８のうちで最も画質改善効果が得られたものを抽出する。パラメータ判定部１０９は、抽出された高画質化パラメータ１８を、高画質化パラメータ２０としてデータベース１１０へ記録する。その際、パラメータ判定部１０９は、高画質化パラメータ２０を、画質の判定結果を示す情報１９と、シーン判定結果を示す情報２１とを組でデータベース１１０へ記録できる。
【００３１】
学習制御部１１２は、所定の制御情報２２を出力し、学習ブロック１１３内の各部の動作をシーン毎に初期化する。学習制御部１１２は、また、シーン判定部１１１が出力したシーン判定結果を示す情報２１をそのままデータベース１１０に対して出力する。ただし、シーン判定結果を示す情報２１は、例えば学習制御部１１２からパラメータ判定部１０９へ出力されてもよい。
【００３２】
次に、図３を参照して図２に示したパラメータ決定部１００の動作例について説明する。図３は、図２に示したパラメータ決定部１００の処理例を示したフローチャートである。図３に示した処理は、シーン判定部１１１が新たなシーンを検知した場合に開始される。
【００３３】
映像データ１０は、画質判定部１０２によって画質が調べられる（ステップＳ１１）。映像データ１０が含む高画質のフレームは、教師画像選択部１０３によって教師画像１４として選択される。そして、映像データ１０が含む高画質のフレームは、教師画像メモリ１０５に格納される（ステップＳ１１で「高」からステップＳ１３）。一方、映像データ１０が含む劣化が含まれるフレームは、劣化画像選択部１０１によって劣化画像１３として選択される。そして、映像データ１０が含む劣化が含まれるフレームは、劣化画像メモリ１０４に格納される（ステップＳ１１で「低」からステップＳ１２）。全てのフレームをどちらかに分類する必要はないので、中間的な画質のフレームに対しては何もしない（ステップＳ１１で「中」からステップＳ１４）。
【００３４】
各画像の選択とメモリへの格納はシーン判定部１１１の判定結果に基づきシーンごとに行われる。シーンの全ての画質判定と各メモリへの格納が完了したら（ステップＳ１４で「Ｙｅｓ」）、パラメータ選択部１０８は、高画質化部１０６に対して高画質化パラメータを変化させながら出力する（ステップＳ１５の繰り返し）。また、高画質化部１０６は繰り返し高画質化処理を実行する（ステップＳ１６の繰り返し）。その結果の画像１６が画質判定・比較部１０７によって解析され、教師画像１４と比較される（ステップＳ１７の繰り返し）。また、パラメータ判定部１０９が、画質判定・比較部１０７が出力した比較の結果を表す情報１９に基づき、十分な高画質化が達成できたかどうかを判断する（ステップＳ１７）。十分な高画質化が達成できなかった場合（ステップＳ１７で「低ｏｒ中」）、ステップＳ１５及びステップＳ１６の処理が再度実行される。
【００３５】
パラメータ判定部１０９の判定で、例えば最も良い結果であった時の高画質化パラメータが選択される（ステップＳ１７で「高」からステップＳ１８）。選択された高画質化パラメータは、画質判定・比較部１０７が出力した画質判定結果（情報）１９と、シーン判定部１１１が出力したシーン判定結果２１とを組でデータベース１１０に記録される（ステップＳ１９）。データベース１１０の情報は画質判定結果が離散的であるために、パラメータも離散的な値となることが予想される。離散的なパラメータを補間処理することによって、高画質化パラメータの近似曲線を求めて中間値への対応できる。
【００３６】
次に、図４を参照して、図１（Ａ）に示した高画質化処理部２００の構成例について説明する。なお、図４に示した高画質化処理部２００へは、図１（Ｂ）を参照して説明した映像データ１０が入力されるものとする。高画質化処理部２００は、画質判定部２０１、シーン判定部２０２、パラメータ決定部２０３、及び高画質化部２０４を備える。画質判定部２０１は、映像データ１０を入力し、各フレームが、所定の画質に関して高画質なのか、あるいは、中又は低画質なのかを判定する。画質判定部２０１は、判定結果を示す評価データ３１をパラメータ決定部２０３へ出力する。シーン判定部２０２は、映像データ１０を入力する。そして、シーン判定部２０２は、シーン判定部１０１と同様にして、１又は複数フレーム単位で画像認識処理を行い、各フレームが予め設定されている所定のシーンのどれに該当するのかを判定する。シーン判定部２０２による判定結果を表す情報３５は、パラメータ決定部２０３へ出力される。パラメータ決定部２０３は、評価データ３１と、シーン判定部２０２が出力したシーンの判定結果を表す情報３５とを入力する。パラメータ決定部２０３は、高画質化部２０４が行う所定の高画質化処理と、シーンの判定結果３５とに対応する高画質化パラメータ３４をデータベース１１０から取得する。パラメータ決定部２０３は、同じシーンの高画質化パラメータがデータベース１１０に存在しない場合は、評価データ３１に近いシーンの高画質化パラメータを取得する。パラメータ決定部２０３は、画質判定部２０１により当該フレームの画質が中又は低画質と判定された場合に、高画質化部２０４に対して高画質化パラメータ３２を出力する。高画質化パラメータ３２は、データベース１１０から取得された高画質化パラメータ３４と同一であっても良い。また、高画質化パラメータ３２は、高画質化パラメータ３４に基づき補間処理により計算されたものであっても良い。高画質化部２０４は、パラメータ決定部２０３が高画質化パラメータ３２を出力した場合に、映像データ１０の複数のフレームに対して、所定の高画質化処理を実行する。高画質化部２０４は、高画質化パラメータ３２を用いて所定の高画質化処理を実行する。高画質化部２０４は、処理した結果を映像データ３３として出力する。
【００３７】
次に、図５を参照して図４に示した高画質化処理部２００の動作例について説明する。図５は、図４に示した高画質化処理部２００の処理例を示したフローチャートである。図５に示した処理は、シーン判定部２０２が新たなシーンを検知した場合に開始される。
【００３８】
まず、画質判定部２０１が、映像データ１０の各フレームの画質を判定する（ステップＳ２１）。画質判定部２０１の判定結果を示す評価データ３１はパラメータ決定部２０３に送られる。
【００３９】
パラメータ決定部２０３は、評価データ３１が当該フレームの画質が中又は低画質であることを示している場合（ステップＳ２１で「低ｏｒ中」）、次の処理を行う。すなわち、パラメータ決定部２０３は、シーン判定結果３５に基づき、データベース１１０から学習された高画質化パラメータ３４を読み出す。パラメータ決定部２０３は、高画質化パラメータ３４をそのまま或いは所定の処理を行い、高画質化パラメータ３２として高画質化部２０４に出力する（ステップＳ２２）。
【００４０】
評価データ３１が当該フレームの画質が中又は低画質であることを示している場合（ステップＳ２１で「低ｏｒ中」）、高画質化部２０４は、以下の処理を行う。すなわち、高画質化部２０４は、高画質化パラメータ３２を用いて映像データ１０の複数のフレームを高画質化して、映像データ３３を出力する（ステップＳ２３の繰り返し）。
【００４１】
映像データ１０のシーンが継続している場合、画質判定部２０１、パラメータ決定部２０３及び高画質化部２０４は、以下の処理を行う。画質判定部２０１、パラメータ決定部２０３及び高画質化部２０４は、ステップＳ２１からＳ２３の処理を繰り返し実行する（ステップＳ２４で「Ｎｏ」からステップＳ２１）。他方、画質判定部２０１、パラメータ決定部２０３及び高画質化部２０４は、映像データ１０のシーンが終了した場合、処理を終了する（ステップＳ２４で「Ｙｅｓ」）。
【００４２】
なお、パラメータ決定部１００及び高画質化処理部２００の構成及び動作は次のようなものとできる。
【００４３】
すなわち、パラメータ決定部１００は、高画質化パラメータを決定する際に、同じシーンの時間的に異なる２以上のフレームを用いることができる。すなわち、パラメータ決定部１００は、高画質化パラメータを求める学習処理を同種の映像の２以上のフレームを用いて行う。
【００４４】
映像データ１０が、記録媒体に録画されたアナログ映像に基づく場合、学習処理は、複数回再生された同じシーンの２以上のフレームを用いることができる。この構成は、録画されたアナログ映像に基づく映像データ１０の入力を前提として、再生ごとにノイズの発生状況が変わる性質を利用する。教師画像選択部１０３はノイズの少ない画像を教師画像として選択し、劣化画像選択部１０１はノイズの多い画像を劣化画像として選択する。またこの場合は、同じフレーム番号の画像を比較して学習できる。
【００４５】
例えば、アナログ信号に基づく映像データ１０が、輝度信号（１種類）と色差信号（２種類）から構成された場合、学習処理は以下のように行う。すなわち、学習処理は、分離した輝度と色差との双方を含む２以上のフレームを用いることができる。学習処理は、分離した色差同士の双方を含む２以上のフレームを用いることができる。輝度信号と２種類の色差信号との取り込みの仕方や変換の仕方によっては信号毎にノイズの発生状況が変化する場合がある。この構成では、信号ごとにノイズの発生状況が変わる性質と、輝度と色差間又は２つの色差間に一定の相関関係があることを利用して、ノイズの少ない信号を教師画像（グレイスケール画像）として選択できる。一方、ノイズの多い信号を劣化画像（グレイスケール画像）として選択できる。
【００４６】
アナログ信号に基づく映像データ１０が、３原色信号（３種類）から構成された場合、学習処理は、分離した色信号のいずれかの２信号を含む２以上のフレームを用いることができる。３原色信号の取り込みの仕方や変換の仕方によっては信号毎にノイズの発生状況が変化する場合がある。この構成では、信号ごとにノイズの発生状況が変わる性質と、各色信号間に一定の相関関係があることを利用して、ノイズの少ない信号を教師画像（グレイスケール画像）として選択できる。一方、ノイズの多い信号を劣化画像（グレイスケール画像）として選択できる。
【００４７】
学習処理は、コントラストに関する高画質化パラメータ１８に対して行い、レベル飽和していないフレームを選択して学習処理の教師画像１４にしてもよい。レベル飽和している、とは、明るさが中間の部分が損なわれていること、又は、明るい部分と暗い部分とがぼやけていることを意味する。この場合は、学習時に画質判定部１０２がコントラストを判定する。コントラストが低すぎたり、高すぎたりする画像はガンマ補正によって高画質化できる。画質判定部１０２は、輝度のヒストグラムを計算し極度に偏っている場合に、そのフレームを劣化画像１３として判断する。そして、画質判定部１０２は、輝度のヒストグラムが適度に分散している場合に、そのフレームを教師画像１４として判断する。パラメータ選択部１０８は高画質化パラメータ１８としてガンマ値を変更しながら出力する。高画質化部１０６は、パラメータ選択部１０８が高画質化パラメータ１８として出力したガンマ値を用いて、劣化画像１３に対して高画質化処理としてガンマ補正を行う。学習ブロック１１３では、適切なコントラストにするための高画質化パラメータを学習する。
【００４８】
高画質化処理部２００による高画質化時に、画質判定部２０１は、輝度のヒストグラムを計算する。そして、画質判定部２０１は、その映像を適切にコントラスト補正するガンマ値をパラメータ決定部２０３がデータベース１１０から取得する。そのガンマ値を用いて、高画質化部２０４が映像データ１０を高画質化して、出力映像データ３３を生成する。
【００４９】
学習処理は、ノイズに関する高画質化パラメータ１８に対して行い、複数フレームを平均化させたノイズ除去画像を学習処理における教師画像１４にしてもよい。この場合は、学習時に画質判定部１０２がランダムノイズを判定する。ランダムノイズのレベルは、例えばテクスチャのない平坦部分の輝度レベルの分散値を計算して推定できる。一般的なノイズフィルタを適用すると鮮鋭度が失われてしまう。ある程度、鮮鋭度を保つフィルタには、バイラテラルフィルタや、Ｎｏｎ  Ｌｏｃａｌ  Ｍｅａｎｓフィルタがある。しかしながら、これらのフィルタ強度を上げるとノイズが減る一方、ぼけた画像となってしまう。ノイズと同時に鮮鋭度が失われてしまわないように、画質判定部１０２は鮮鋭度の判定も行う。判定は、空間周波数成分の高域レベルや、画像認識によって特定の物体を認識して輪郭部分の輝度変化を基に実行できる。ランダムノイズは、常時発生していることが一般的で、フレーム間で変動が少ないために教師画像の選択が困難である。選択の仕方の例には、暗部を映したときに目立つノイズ（カメラのゲインアップのため発生する）を抑える目的で、明部での画像を教師画像として選択可能なケースがある。それ以外は、時間方向にスムージングする事で、ノイズを低減させることができるため、数フレーム分スムージングした画像を教師画像にできるケースがある。高画質化部１０６は、ノイズ除去と鮮鋭化を行う。ノイズ除去には、バイラテラルフィルタやＮｏｎ  Ｌｏｃａｌ  Ｍｅａｎｓフィルタを使うことができる。鮮鋭化にはアンシャープマスク、デコンボリューションフィルタ、超解像を使うことができる。各方式を切り替えて施行できるが、処理時間がかかるので、どれを選択するかは、実行環境とシステム要求事項から決めればよい。パラメータ選択部１０８が、各処理の切り替えとフィルタパラメータを変更しながら高画質化処理を行い、教師画像１４との比較から、劣化画像１３毎に最適なパラメータを判定する。
【００５０】
学習処理は、ノイズに関する高画質化パラメータ１８に対して行う。パルス状ノイズ、ライン状ノイズ、スクラッチノイズ又はダストノイズが少ないフレームを選択して学習処理における教師画像にしてもよい。この場合には、各部の構成を次のようにしてもよい。すなわち、画質判定部１０２がパルス状ノイズ（ビデオ）、ライン状ノイズ（ビデオ）、スクラッチノイズ（フィルム）、ダストノイズ（フィルム）を判定する。これらの、比較的広い範囲にわたるノイズで、一瞬だけ現れるパルス状ノイズとダストノイズはフレーム間差分によって見つけることができる。ラインノイズとスクラッチノイズは一定フレーム期間連続するため、線分検出によって見つけることができる。教師画像１４は、ノイズの発生する前後のフレームとする。高画質化部１０８は、周辺画素や前後フレームの画素を用いてノイズ画素を隠蔽する処理を行う。パラメータ選択部１０８は、隠蔽に用いる周辺や前後フレームの画素の範囲や、ブレンドの比率などを変更する。
【００５１】
学習処理は、ぼけに関する高画質化パラメータに対して行い、ピントがより合っており又は動きぼけの少ないフレームを選択して学習処理の教師画像１４にしてもよい。動きぼけとは、動きがぼやけることである。この場合は、画質判定部１０２がぼけを判定する。ただし、映像データ１０には、ぼけが少ないフレームが含まれているものとする。ぼけ映像の大半は、一時的なフォーカスずれか、動きぼけ（被写体やカメラが動くことによるぼけ）であり、一部のフレームのみがぼけていることが多い。その場合、フォーカスが合っているフレームを教師画像１４として、合っていないフレームを劣化画像１３にしてもよい。
【００５２】
学習処理は、色味変化に関する高画質化パラメータ１８に対して行い、色味の変化の少ないフレームを選択して学習処理における教師画像１４にしてもよい。この場合は、画質判定部１０２が色味変化を判定する。色味変化とは映像の色調あるいは色合いの変化のことである。色味の変化が少ない、とは、映像の元の色味からの色味の違いが小さいことを意味する。主な色味変化は、フィルムの経年変化による退色である。シーンの一部のみ極端に退色している場合は、本実施形態によって適切に色味を復元できる。退色の程度の低いフレームを教師画像１４とし、極端に退色しているフレームを劣化画像１３とする。被写体が変わると色の分布が比較でき難くなるため、同じ被写体が写っているフレームをペアで選ぶことが望ましい。退色の度合いは、劣化しやすい色域の彩度を比較することでわかる。また、例えば顔が写っている領域の色相を比較することでもわかる。パラメータ選択部１０８は、色変換テーブルを高画質化パラメータ１８として出力する。
【００５３】
なお、色味変化の少ないフレームの選択は、記録媒体への記録からの経過年数を基に判断できる。このように撮影してからの保管期間によって色変換テーブルの範囲を限定できる。また、フィルムの種類（ネガ、リバーサル）や製品モデルによって限定できる。また、ビデオテープであっても保管期間、種類、製品モデルによる色変化テーブルの範囲を限定することは有効である。高画質化部１０６は、色変換テーブルに従って、劣化画像１３の色補正を行う。色補正された画像１６は教師画像１４と比較され、もっとも近い色となった色変換テーブルが高画質化パラメータ２０としてデータベース１１０へ出力される。
【００５４】
上述した学習処理の２以上の組み合わせから高画質化パラメータを決定できる。
【００５５】
上述したように、図１から図５を参照して説明した第１の実施形態の画質改善システム１によれば、次のようにして高画質化パラメータが決定される。また、第１の実施形態の画質改善システム１の変形例又は具体例によっても、同様に、高画質化パラメータが決定される。すなわち、画質を改善しようとする同種の映像に含まれる２以上のフレームを用いた学習処理によって高画質化パラメータが決定される。したがって、高画質化処理に用いる高画質化パラメータの調整を容易に自動化あるいは半自動化できる。よって、オペレーターの負担を軽減できる。また、オペレーターの能力に依存せず高画質化処理を行うことができる。また、学習用の映像を作成する必要はなく、また、同種の映像毎に学習処理を行うので、不適切な学習用の映像が作成されてしまうこともない。
【００５６】
（第２の実施形態）
図６は、図１（Ａ）に示した画質改善システム１が備えるパラメータ決定部１００の第２の実施形態の構成例を示したブロック図である。図６において図２に示した構成と同一あるいは対応する構成には同一の符号を付けて、説明を適宜省略する。図２に示したパラメータ決定部１００が１系統の高画質化部１０６を備えていた。しかしながら、図６に示した第２の実施形態におけるパラメータ決定部１００ａは、高画質化部１０６と高画質化部１２４との２系統を備えている。図６に示したパラメータ決定部１００ａは、図２に示したパラメータ決定部１００と比較して、新たに次の構成を備えている。すなわち、図６に示したパラメータ決定部１００ａは、劣化画像選択部１２１と、画質判定部１２２と、教師画像選択部１２３と、教師画像メモリ１２５と、高画質化部１２４と、画質判定・比較部１２７とを新たに備えている。
【００５７】
高画質化部１０６と高画質化部１２４とは、例えば異なる種類の高画質化処理を行う。高画質化部１２４は、高画質化部１０６が出力した画像１６に対して、パラメータ選択部１０８が出力した高画質化パラメータ１８を用いた高画質化処理を行う。
【００５８】
劣化画像選択部１２１、画質判定部１２２及び教師画像選択部１２３は、それぞれ、劣化画像選択部１０１、画質判定部１０２及び教師画像選択部１０３と同等の構成である。ただし、画質判定部１０２が高画質化部１０６に対応する画質判定を行うのに対して、画質判定部１２２が高画質化部１２４に対応する画質判定を行う点が異なっている。
【００５９】
劣化画像選択部１２１が選択した劣化画像２３は、劣化画像選択部１０１が選択した劣化画像１３とともに、劣化画像メモリ１０４に記憶される。一方、教師画像選択部１２３が選択した教師画像２４は、教師画像選択部１０３が選択した教師画像１４とは別に、教師画像メモリ１２５に記憶される。
【００６０】
画質判定・比較部１０７は、教師画像メモリ１０５に記憶されている教師画像１４を比較基準としている。また、画質判定・比較部１０７は、高画質化部１２４が出力した画像２５に対して、高画質化部１０６に対応した画質判定を行う。これに対して、画質判定・比較部１２７は、次の処理を行う。すなわち、画質判定・比較部１２７は、教師画像メモリ１２５に記憶されている教師画像２４を比較基準とする。そして、画質判定・比較部１２７は、高画質化部１２４が出力した画像２５に対して、高画質化部１２４に対応した画質判定を行う。
【００６１】
パラメータ判定部１０９は、画質判定・比較部１０７による判定結果（情報）１９と、画質判定・比較部１２７による判定結果２６とに基づき、高画質化パラメータ２０を決定する。そして、パラメータ判定部１０９は、決定した高画質化パラメータ２０をデータベース１１０に書き込んで記憶させる。
【００６２】
第２の実施形態のパラメータ決定部１００ａによれば、複数種類の高画質化処理を組み合わせることで、複数種類の画質劣化を改善するための高画質化パラメータを決定できる。
【００６３】
（第３の実施形態）
図７は、図１（Ａ）に示した画質改善システム１が備えるパラメータ決定部１００の第３の実施形態の構成例を示したブロック図である。図７において図２及び図６に示した構成と同一あるいは対応する構成には同一の符号を付けている。図７に示した第３の実施形態のパラメータ決定部１００ｂは、図６に示した第２の実施形態のパラメータ決定部１００ａと基本構成は同一である。図７に示した第３の実施形態のパラメータ決定部１００ｂでは、各ブロックが実行する処理の内容をブロック内に具体的に示した点が図６のブロック図と異なっている。すなわち、第３の実施形態のパラメータ決定部１００ｂでは、図６の高画質化部１０６及び高画質化部１２４が、鮮鋭化部１０６及びノイズ除去部１２４と変更されている。また、図６の画質判定・比較部１０７及び画質判定・比較部１２７が、鮮鋭度判定・比較部１０７及びノイズ判定・比較部１２７と変更されている。また、図６の劣化画像選択部１０１、画質判定部１０２及び教師画像選択部１０３が、ぼけ画像選択部１０１、鮮鋭度判定部１０２及び鮮鋭画像選択部１０３に変更されている。さらに、図６の劣化画像選択部１２１は、ノイズあり画像選択部１２１に変更されている。図６の画質判定部１２２は、ノイズ判定部１２２に変更されている。また、図６の教師画像選択部１２３は、ノイズなし画像選択部１２３に変更されている。
【００６４】
図７において、ぼけ画像選択部１０１、鮮鋭度判定部１０２及び鮮鋭画像選択部１０３は、鮮鋭度を判定して劣化画像であるぼけ画像を劣化画像メモリ１０４へ格納する。ぼけ画像選択部１０１、鮮鋭度判定部１０２及び鮮鋭画像選択部１０３は、鮮鋭度を判定して教師画像である鮮鋭画像を、教師画像メモリ１０５へ格納する。ノイズあり画像選択部１２１、ノイズ判定部１２２及びノイズなし画像選択部１２３は、ノイズを判定して劣化画像であるノイズが多い画像（以下、「ノイズあり画像」という。）を劣化画像メモリ１０４へ格納する。ノイズあり画像選択部１２１、ノイズ判定部１２２及びノイズなし画像選択部１２３は、ノイズを判定して教師画像であるノイズが少ない画像（以下、「ノイズなし画像」という。）を教師画像メモリ１２５へ格納する。劣化画像メモリ１０４内での画像管理は、ぼけ画像またはノイズあり画像のタグ付けをするか、領域を分けるかして画質劣化タイプがわかるようにする。
【００６５】
学習ブロック１１３内の各部は、高画質化の試行を行いながらパラメータを学習する。鮮鋭化部０６とノイズ除去部１２４の順序は逆であってもよいし、正逆両方の順序で試行して画質が良い方の順序を選択してもよい。両方の順序で行った場合は、処理順序も学習される高画質化パラメータの１つとなる。
【００６６】
学習ブロック１１３では、劣化画像に対して、鮮鋭化とノイズ除去を行い、鮮鋭度判定とノイズ判定を行う。比較の組み合わせは、鮮鋭度判定は教師画像１４と、ノイズ判定はノイズなし画像（教師画像）２４と行う。
【００６７】
ノイズ除去処理及び鮮鋭化処理で用いる高画質化パラメータの選択は、図８に示したようなパラメータテーブルの組み合わせを順番に出力してもよいし、鮮鋭度判定、ノイズ判定の結果のフィードバックを受けて山登り法により画質の極大値を求めてもよい。
【００６８】
図８に示したパラメータテーブルの、空間スムージング量は、画像内でスムージング処理を行うことでノイズを削減するパラメータである。時間スムージング量は、複数の画像をスムージング処理を行うことでノイズを削減するパラメータである。ぼけ除去量は、鮮鋭化処理がアンシャープマスクならばフィルタの強さを調整する量が考えられる。他にも半径、しきい値をパラメータとして変更してもよい。また、鮮鋭化処理には、超解像も使用できる。
【００６９】
パラメータ判定部１０９は、鮮鋭度とノイズ量から１つの画質評価指標を計算してそれが最大となる高画質化パラメータの組み合わせをデータベース１１０に記録する。画質評価指標の計算式は、鮮鋭度とノイズ量の重要度に応じた重みづけを、事前にユーザにより設定した値で行うことができる。
【００７０】
第３の実施形態のパラメータ決定部１００ｂによれば、鮮鋭化とノイズ除去とを組み合わせることで、ぼけとノイズによる画質劣化を改善するための高画質化パラメータを決定できる。
【００７１】
以上説明した少なくともひとつの実施形態によれば、同種の映像の２以上のフレームを用いた学習処理によって高画質化パラメータを決定するパラメータ決定部を持つことにより、オペレーターの負担を軽減できる。
【００７２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００７３】
１…画質改善システム、１００、１００ａ、１００ｂ…パラメータ決定部、１１０…データベース、２００…高画質化処理部、１０４…劣化画像メモリ、１０５…教師画像メモリ、１１１、２０２…シーン判定部
【図１】
2015201819.tif 000003
【図２】
2015201819.tif 000004
【図３】
2015201819.tif 000005
【図４】
2015201819.tif 000006
【図５】
2015201819.tif 000007
【図６】
2015201819.tif 000008
【図７】
2015201819.tif 000009
【図８】
2015201819.tif 000010