(57)【要約】【課題】各受信機が異なる映像処理手段を具備しても、受信機がより良い映像を生成する。【解決手段】入力画像に対して画像変換を施す画像変換手段２０と、画像変換手段２０が画像変換を施した後の画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施す複数の画像改善手段２３−１〜２３−３と、画像改善手段２３−１〜２３−３それぞれが画像改善処理を施すことにより生成された複数の改善後画像それぞれと入力画像を比較し、比較して得られた比較結果を、該比較結果に基づいて画像の改善を行う画像改善装置５−１〜５−Ｎへ送信する画質比較手段２４と、を備える。【選択図】図２
2014011719.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して画像変換を施す画像変換部と、
前記画像変換部が画像変換を施した後の画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施す複数の画像改善部と、
前記画像改善部それぞれが画像改善処理を施して得られた複数の改善後画像それぞれと前記入力画像とを比較し、比較して得られた比較結果を送信する画質比較部と、
を備えることを特徴とする画像処理比較装置。
【請求項２】
伝送された画像情報を復号して得られた復号画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施すことが可能な複数の画像改善部と、
入力画像に画像改善処理を施すことで得られた複数の改善後画像それぞれと前記入力画像とを比較して生成された比較結果を受信して、該比較結果に基づいて、前記複数の画像改善部から一の画像改善部を選択する選択部と、
前記選択部が選択した画像改善部が前記復号画像に対して前記画像改善処理を施して得られた画像を復元画像とする切替部と、
を備えることを特徴とする画像改善装置。
【請求項３】
コンピュータに、
入力画像に対して画像変換を施す画像変換ステップと、
前記画像変換ステップにより画像変換を施された後の画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施す複数の画像改善ステップと、
それぞれの前記画像改善ステップにより画像改善処理が施されることで得られた複数の改善後画像それぞれと前記入力画像を比較し、比較して得られた比較結果を送信する画質比較ステップと、
を実行させるための画像処理比較プログラム。
【請求項４】
コンピュータに、
伝送された画像情報を復号して得られた復号画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施すことが可能な複数の画像改善ステップと、
入力画像に画像改善処理を施すことで得られた複数の改善後画像それぞれと前記入力画像とを比較して生成された比較結果を受信して、該比較結果に基づいて、前記複数の画像改善ステップから一の画像改善ステップを選択する選択ステップと、
前記選択ステップにより選択された画像改善ステップが前記復号画像に対して前記画像改善処理を施して得られた画像を復元画像とする切替ステップと、
を実行させるための画像改善プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理比較装置、画像改善装置、画像処理比較プログラム及び画像改善プログラムに関する。
【背景技術】
【０００２】
映像符号化において、送信側における符号化の前と、受信側における復号の後とにそれぞれ映像処理手段を設けることによって、当該映像処理を有しないシステムよりも高画質な映像伝送を実現する映像符号化システムがある。例えば、特許文献１及び特許文献２には、画像変形装置を符号化の前に、画像復元装置を復号の後に有するシステムが開示されている。
また、動画像符号化において、符号化側で最適化されたフィルタ処理を復号側で実行することにより画質改善を行うループ内フィルタ技術がある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−８１４７６号公報
【特許文献２】特開２０１１−８１４７７号公報
【特許文献３】特許第４７０９３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１、特許文献２及び特許文献３の技術においては、送信側と受信側の各映像処理手段は対をなしている。そのため、例えば同じ送信機から送信したデータを複数の受信機で受信する場合には、各受信機には同一の映像処理手段を具備しなければならないという制約があった。そのような制約があるため、各受信機が異なる映像処理手段を具備することができないという問題があった。
【０００５】
そこで本発明は、上記問題に鑑みてなされたものであり、各受信機が異なる映像処理手段を具備しても、受信機がより良い映像を生成することを可能とする画像処理比較装置、画像改善装置、画像処理比較プログラム及び画像改善プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
（１）本発明は前記事情に鑑みなされたもので、本発明の一態様は、入力画像に対して画像変換を施す画像変換部と、前記画像変換部が画像変換を施した後の画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施す複数の画像改善部と、前記画像改善部それぞれが画像改善処理を施して得られた複数の改善後画像それぞれと前記入力画像とを比較し、比較して得られた比較結果を送信する画質比較部と、を備えることを特徴とする画像処理比較装置である。
【０００７】
（２）本発明の一態様は、伝送された画像情報を復号して得られた復号画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施すことが可能な複数の画像改善部と、入力画像に画像改善処理を施すことで得られた複数の改善後画像それぞれと前記入力画像とを比較して生成された比較結果を受信して、該比較結果に基づいて、前記複数の画像改善部から一の画像改善部を選択する選択部と、前記選択部が選択した画像改善部が前記復号画像に対して前記画像改善処理を施して得られた画像を復元画像とする切替部と、を備えることを特徴とする画像改善装置である。
【０００８】
（３）本発明の一態様は、コンピュータに、入力画像に対して画像変換を施す画像変換ステップと、前記画像変換ステップにより画像変換を施された後の画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施す複数の画像改善ステップと、それぞれの前記画像改善ステップにより画像改善処理が施されることで得られた複数の改善後画像それぞれと前記入力画像を比較し、比較して得られた比較結果を送信する画質比較ステップと、を実行させるための画像処理比較プログラムである。
【０００９】
（４）本発明の一態様は、コンピュータに、伝送された画像情報を復号して得られた復号画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施すことが可能な複数の画像改善ステップと、入力画像に画像改善処理を施すことで得られた複数の改善後画像それぞれと前記入力画像とを比較して生成された比較結果を受信して、該比較結果に基づいて、前記複数の画像改善ステップから一の画像改善ステップを選択する選択ステップと、前記選択ステップにより選択された画像改善ステップが前記復号画像に対して前記画像改善処理を施して得られた画像を復元画像とする切替ステップと、を実行させるための画像改善プログラムである。
【発明の効果】
【００１０】
本発明によれば、各受信機が異なる映像処理手段を具備しても、受信機がより良い映像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態における画像伝送システムの構成を示す概略ブロック図である。
【図２】本実施形態における画像処理比較装置の構成を示す概略ブロック図である。
【図３】本実施形態における画像改善装置の構成を示す概略ブロック図である。
【図４】本実施形態における画像処理比較装置の処理の流れの一例を示すフローチャートである。
【図５】本実施形態における画像改善装置の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本実施形態における画像伝送システム１の構成を示す概略ブロック図である。画像伝送システム１は、画像処理比較装置２と、符号化装置３と、復号装置４−１、４−２、４−３、…、４−Ｎ（Ｎは正の整数）までのＮ個の復号装置４−ｉ（インデックスｉは１からＮまでの整数）と、画像改善装置５−１、５−２、５−３、…、５−ＮまでのＮ個の画像改善装置５−ｉとを備える。ここで、画像処理比較装置２と符号化装置３は、送信側である。一方、Ｎ個の復号装置４−ｉとＮ個の画像改善装置５−ｉは、受信側である。以降、復号装置４−ｉを復号装置４ともいい、画像改善装置５−ｉを画像改善装置５ともいう。
【００１３】
画像処理比較装置２は、入力画像信号を取得し、取得した入力画像信号に基づいて、比較結果および出力画像信号を生成する。ここで比較結果は、画像処理比較装置２が備える画像改善手段それぞれが画像を改善する画像改善処理を施すことにより生成された複数の画像それぞれと入力画像信号が示す入力画像とを比較した結果である。画像処理比較装置２は、生成した比較結果を画像改善装置５−ｉそれぞれに出力する。また、画像処理比較装置２は、生成した出力画像信号を符号化装置３へ出力する。
【００１４】
符号化装置３は、出力画像信号を符号化し、符号化後の画像信号（以下、符号化後画像信号という）を復号装置４−ｉそれぞれへ送信する。これにより、符号化後画像信号が復号装置４−ｉそれぞれへ伝送される。
復号装置４−ｉそれぞれは、符号化装置３が送信した符号化後画像信号を受信する。そして、復号装置４−ｉそれぞれは、受信した符号化後画像信号を復号し、復号により得られた復号信号をインデックスｉが同じ画像改善装置５−ｉへ出力する。
【００１５】
画像改善装置５−ｉそれぞれは、画像処理比較装置２から入力された比較結果に応じて、インデックスｉが同じ復号装置４−ｉから入力された復号信号に対して、画像を改善する画像改善処理を施す。そして、画像改善装置５−ｉそれぞれは、画像改善処理を施すことにより得られた復元画像信号を自装置の外部へ出力する。
なお、本実施形態において、画像処理比較装置２は、比較結果を出力画像信号とは別の伝送路で送信したが、これに限らず、比較結果を出力画像と同じ伝送路で送ってもよい。例えば、画像処理比較装置２は、比較結果を符号化装置３と復号装置４を経由して、画像改善装置５−ｉそれぞれへ送信するようにしてもよい。
【００１６】
図２は、本実施形態における画像処理比較装置２の構成を示す概略ブロック図である。画像処理比較装置２は、画像変換手段２０と、第一画像改善手段２３−１と、第二画像改善手段２３−２と、第三画像改善手段２３−３と、画質比較手段２４とを備える。なお、本実施形態では、一例として、三つの画像改善手段を備えることとしたが、これに限らず、画像改善手段の数は複数であればよい。以下、第一画像改善手段２３−１と、第二画像改善手段２３−２と、第三画像改善手段２３−３のいずれかを画像改善手段２３という。
【００１７】
画像変換手段２０は、入力画像信号が示す入力画像に対して画像変換を施し、該入力画像に基づく出力画像信号を符号化装置３へ出力する。ここで、画像変換手段２０は、一例として画像処理手段２１と符号化劣化模擬手段２２とを備える。
なお、画像変換手段２０は、画像処理手段２１と符号化劣化模擬手段２２のうち少なくともいずれか一つを含む構成であればよい。例えば、入力画像の解像度と出力画像の解像度が同じ場合、画像処理手段２１が入力画像の解像度を変更する必要がないので、画像変換手段２０は画像処理手段２１を備えていなくてもよい。また、例えば、符号化装置３による符号化劣化が無視できるほど小さい場合、画像変換手段２０は符号化劣化模擬手段２２を備えていなくてもよい。
【００１８】
画像処理手段２１は、入力画像信号が示す入力画像に対して、予め決められた画像処理を施す。その画像処理は、任意である。例えば、画像処理手段２１の行う画像処理には画像強調、解像度変換、畳み込み演算、画素値の量子化、画素値の変更（例えば、ガンマ値の変更）、雑音除去、または標本点位置の動的な変更（例えば、インタレース）のうち少なくとも一つが含まれる。画像処理手段２１の行う処理は、好ましくは、その処理後の画像がコンテンツとしての観視に耐える程度に入力画像の絵柄を保持しているものとする。例えば、画像処理手段２１は、入力画像の解像度を変換する。具体的には、例えば、入力画像が１９２０×１０８０の解像度の画像である場合に、画像処理手段２１は入力画像の画素を間引き、入力画像の解像度を１４４０×１０８０の解像度に変更する。そして、画像処理手段２１は、画像処理を施した後の画像処理後信号を符号化劣化模擬手段２２へ出力する。また、画像処理手段２１は、この画像処理後信号を出力画像信号として符号化装置３へ出力する。
【００１９】
符号化劣化模擬手段２２は、画像処理手段２１から画像処理後信号を取得し、取得した画像処理後信号に対して符号化装置３および復号装置４によって生じる画像劣化を模擬した処理を施す。例えば、符号化劣化模擬手段２２は、符号化装置３および復号装置４と同一の機能を有する符号化装置および復号装置の組によって実現されている。符号化劣化模擬手段２２は、処理を施すことにより生成された模擬劣化信号を第一画像改善手段２３−１と、第二画像改善手段２３−２と、第三画像改善手段２３−３とへ出力する。
【００２０】
なお、符号化劣化模擬手段２２は、符号化装置３および復号装置４との組で生じる画像劣化を、符号化装置３および復号装置４とは処理内容が異なる手段によって近似的に模擬しても構わない。例えば、符号化装置３および復号装置４がフレーム間の相関を用いないイントラ符号化とフレーム間の相関を用いるインター符号化との組み合わせによって符号化を行う動画像符号化方式を用いる場合、符号化劣化模擬手段２２の処理をイントラ符号化のみによる動画像符号化方式に従う処理で近似してもよい。
【００２１】
あるいは、符号化劣化模擬手段２２において符号化方式を用いず、例えば動き予測を行い、予測残差を離散コサイン変換などによって空間周波数領域に変換し、空間周波数成分の一部または全部に劣化を施す（例えば量子化及び逆量子化を行う）ことで符号化劣化を近似的に模擬してもよい。
【００２２】
画像改善手段２３は、符号化劣化模擬手段２２から模擬劣化信号を取得し、取得した模擬劣化信号に対して、画像を改善する画像改善処理を施す。これにより、画像改善手段２３は、画像処理手段２１による画像変化や符号化装置３および復号装置４によって生じる画像劣化を打ち消して、入力画像を近似する画像に復元する。画像改善処理は、例えば、高域強調、雑音除去、雑音付加、画像拡大、または増階調の処理である。また、画像改善手段２３のうちの一つ画像改善手段が実施する処理は無処理（すなわち、入力画像をそのまま出力画像とする処理）であってもよい。
【００２３】
画像改善手段２３の処理としては、例えば、補間内挿による画像拡大や、超解像による画像拡大を用いることができる。その一例として、第一画像改善手段２３−１の処理は補間内挿による画像拡大処理で、第二画像改善手段２３−２の処理は一枚超解像による画像拡大処理で、第三の画像改善手段２３−３は複数枚超解像による画像拡大処理である。ここで、一枚超解像による画像拡大処理は、一枚のフレームを参照してそのフレームに含まれる情報から高周波成分または細かいテクスチャーを推定する処理である。複数枚超解像による画像拡大処理は、複数のフレームを参照して真の高周波成分を推定する処理である。
【００２４】
上記のほか、画像改善手段２３の処理は、高域強調（例えば、ラプラシアン値を画素ごとに減算する処理）や、雑音除去（例えば、中央値フィルタによる処理）、雑音付加（例えば、ガウス雑音の加算処理）であってもよい。
第一画像改善手段２３−１は、画像改善後の画像信号である改善後画像信号を画質比較手段２４の後述する画質評価手段２５−１へ出力する。また、第二画像改善手段２３−２は、画像改善後の画像信号である改善後画像信号を画質比較手段２４の後述する画質評価手段２５−２へ出力する。また、第三画像改善手段２３−３は、画像改善後の画像信号である改善後画像信号を画質比較手段２４の後述する画質評価手段２５−３へ出力する。
【００２５】
なお、第一画像改善手段２３−１と、第二画像改善手段２３−２と、第三画像改善手段２３−３とは、処理態様が互いに異なっていればよい。ここで、処理態様が互いに異なるとは、画像処理の強度、画像処理の方式または画像処理の種類のうち少なくとも一つが互いに異なることを意味する。すなわち、画像処理比較装置２は、画像変換手段２０が画像変換を施した後の画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施す複数の画像改善手段２３を備えるものとする。
【００２６】
一例として、第一画像改善手段２３−１の画像処理は、ある方式で強度が小さい高域強調で、第二画像改善手段２３−２の画像処理は、第一画像改善手段２３−１と同じ方式で強度が第一画像改善手段２３−１より大きい高域強調である。これにより、画像処理の強度が異なるが、画像処理の方式が同じで、画像処理の種類は高域強調で同一である。また、この例において、第三画像改善手段２３−２の画像処理が雑音除去である場合、第一画像改善手段２３−１の画像処理と第三画像改善手段２３−２の画像処理とは、画像処理の種類がそれぞれ高域強調と雑音除去で異なるので、画像処理の強度も画像処理の方式も画像処理の種類も異なる。
【００２７】
なお、画像改善手段２３をソフトウェアやハードウェアのモジュールとして提供し、モジュールを必要に応じてダウンロードや装着することで画像改善手段２３の種類を更新できるよう構成しても構わない。
【００２８】
画質比較手段２４は、画像改善手段２３それぞれが画像改善処理を施すことにより生成された複数の改善後画像それぞれと入力画像を比較し、比較することにより得られた比較結果を画像改善装置５へ出力する。例えば、画質比較手段２４は、複数の画像改善手段２３から取得した改善後画像信号が示す改善後画像を、画質の良い順（または悪い順）に整順し、該整順された複数の画像改善手段２３の識別子を「比較結果」とする。
【００２９】
なお、画質比較手段２４が上述した整順された識別子を出力する場合、画質比較手段２４は、例えば、画質の良い方から所定個数までの識別子までで打ち切ったものを「比較結果」としてもよいし、ある閾値以上の画質を得た識別子を整順したものを「比較結果」としてもよいし、これらの双方によって識別子の個数を制限してもよい。
また、比較結果は、例えば、複数の画像改善手段２３が生成する改善後画像のうち最も画質の良い画像を生成した画像改善手段２３の識別子（画像改善手段２３の処理を特定するための数値や文字列）であってもよい。
【００３０】
ここで、画質比較手段２４は、画質評価手段２５−１と、画質評価手段２５−２と、画質評価手段２５−３と、比較手段２７とを備える。それぞれの画質評価手段２５−ｊ（インデックスｊは１から３までの整数）は、インデックスｊが同じ解像度変換手段２６−ｊを備える。以降、画質評価手段２５−１〜２５−３のいずれかを画質評価手段２５ともいう。また、解像度変換手段２６−１〜２６−３のいずれかを解像度変換手段２６ともいう。
【００３１】
まず、画質比較手段２４の構成の概要について説明する。画質評価手段２５それぞれは、例えば、対応する画像改善手段２３から取得した改善後画像信号に対して、入力画像信号との類似性の評価を行う。そして、比較手段２７は、画質評価手段２５が評価することにより得られた複数の評価結果を大小比較し、比較することにより得られた比較結果を画質改善装置５へ出力する。以下、画質評価手段２５及び比較手段２７の処理の詳細について説明する。
【００３２】
各画質評価手段２５−ｊは、入力画像信号を取得し、同じインデックスｊの画像改善手段２３−ｊから改善後画像信号を取得する。各画質評価手段２５−ｊは、改善後画像信号の画質を評価する前に、対応する画像改善手段から取得した改善後画像信号と入力画像信号とで画像の解像度が異なるか否か判定する。各画質評価手段２５−ｊが改善後画像信号と入力画像信号とで画像の解像度が異なると判定した場合、当該画質評価手段２５−ｊが備える解像度変換手段２６−ｊは、改善後画像と入力画像の解像度を同じにするよう調整する。具体的には、例えば、改善後画像の解像度が入力画像の解像度よりも低い場合、各解像度変換手段２６−ｊは、ナイキストの定義に従ったフィルタ（例えば、ｓｉｎｃフィルタ）に従って、改善後画像信号をアップサンプリングする。
【００３３】
一方、各画質評価手段２５−ｊは、改善後画像信号と入力画像信号とで画像の解像度が同じ場合、画質の評価処理に移行する。
画質の評価処理において、各画質評価手段２５−ｊは、入力画像信号と改善後画像信号に基づいて、画質を評価する。ここで、画質は、一例として、入力画像信号が示す入力画像に類似した画像ほど画質が良いものとして定義する。各画質評価手段２５−ｊは、例えば、画像同士の類似性の尺度であるＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）を用いて、入力画像と改善後画像の間のＰＳＮＲ値を算出し、そのＰＳＮＲ値を評価結果とする。画質評価手段２５それぞれは、画質を評価することによって得られた評価結果を比較手段２７へ出力する。
【００３４】
なお、画質評価手段２５は、画像同士の類似性の尺度であるＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ  Ｓｉｍｉｌａｒｉｔｙ）を用いて、入力画像と改善後画像の間のＳＳＩＭ値を算出し、そのＳＳＩＭ値を評価結果としてもよい。
【００３５】
なお、本実施形態では、画像処理比較装置２は、画像改善手段２３と同数の画質評価手段２５を備えることとしたが、これに限ったものではない。例えば、画像処理比較装置２は、より少ないまたは一つの画質評価手段２５を時分割的に切り替えて流用することで、ハードウェア資源を節約してもよい。
【００３６】
比較手段２７は、各画質評価手段２５−ｊから評価結果を取得し、評価結果を比較して比較結果を生成する。具体的には、例えば、比較手段２７は、画像改善手段２３の識別子をＳＳＩＭ値が大きい順、すなわち改善後画像の画質が良い順に整順し、該整順された複数の画像改善手段２３の識別子を「比較結果」とする。そして、比較手段２７は、比較することにより得られた比較結果を各画像改善装置５−ｉへ出力する。
【００３７】
図３は、本実施形態における画像改善装置５の構成を示す概略ブロック図である。画像改善装置５は、選択手段５１と、切替手段５２と、第二画像改善手段５３−２と、第三画像改善手段５３−３と、第四画像改善手段５３−４とを備える。第二画像改善手段５３−２、第三画像改善手段５３−３、または第四画像改善手段５３−４のいずれかを画像改善手段５３ともいう。本実施形態では、三つの画像改善手段５３を備えるようにしたが、これに限らず、伝送された画像情報が復号されることにより生成された復号画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施すことが可能な複数の画像改善手段５３を備えればよい。
【００３８】
選択手段５１は、画像処理比較装置２が送信した比較結果を受信し、受信した比較結果に基づいて、複数の画像改善手段５３から一の画像改善手段５３を選択する。例えば、「比較結果」が画質順に整順された複数の画像改善手段２３の識別子により表現される場合、選択手段５１は、その比較結果を参照して画像改善装置５が備える画像改善手段５３のうちで最も画質を改善する画像改善手段２３を選択する。具体的には、例えば、比較結果として複数の画像改善手段２３の識別子が画質の良い順に整順されている場合、選択手段５１は、画像改善装置５が備える画像改善手段５３を識別する識別子のうち、比較結果中で最も上位に位置する識別子を抽出する。そして、選択手段５１は、例えば、抽出した識別子に相当する画像改善手段５３を選択する。そして、選択手段５１は、例えば、選択した画像改善手段５３が復号信号から復元画像信号を生成するよう切替手段５２を制御する。
【００３９】
もし、「比較結果」の識別子集合の中に、画像改善装置５が備える画像改善手段５３に相当する識別子が一つも存在しなかった場合、選択手段５１は、デフォルトの画像改善手段５３を選択する。そして、選択手段５１は、選択した画像改善手段５３が復号信号から復元画像信号を生成するよう切替手段５２を制御する。ここで、例えば、画像改善手段５３の一つに無処理か実装されている場合、デフォルトの画像改善手段５３として当該無処理が実装されている画像改善手段５３が割り当てられていてもよい。
【００４０】
なお、例えば、「最も画質の良かった画像改善手段２３の識別子」が比較結果として入力される場合、画像改善装置５が該識別子に対応する画像改善手段５３を備えていれば、選択手段５１は、当該画像改善手段５３を選択する。
一方、画像改善装置５が「比較結果」たる画質最良の識別子に対応する画像改善手段５３を備えていない場合には、選択手段５１は、デフォルトの画像改善手段５３を選択する。ここで、例えば、画像改善手段５３の一つに無処理か実装されている場合、デフォルトの画像改善手段５３として当該無処理が実装されている画像改善手段５３が割り当てられていてもよい。
【００４１】
切替手段５２は、復号信号を取得し、選択手段５１が選択した画像改善手段５３が復号画像に対して画像改善処理を施して得られた画像を復元画像とする。より詳細には、切替手段５２は、選択手段５１が選択した画像改善手段５３によって復号信号に対して画像改善処理を施させ、選択手段５１が選択した画像改善手段５３の出力画像信号を復元画像信号として出力できるように、信号の切り替えを行う。ここで、切替手段５２は、各画像改善手段５３の前段に第１の切替手段５２−１、各画像改善手段５３の後段に第２の切替手段５２−２を備える。
【００４２】
第１の切替手段５２−１は、例えば、選択手段５１から入力された識別子に相当する画像改善手段５３に復号信号を供給するよう、第１の切替手段５２−１が有するスイッチを切り替える。
第２の切替手段５２−２は、例えば、選択手段５１から入力された識別子に相当する画像改善手段５３から出力画像信号を取得できるよう、第２の切替手段５２−２が有するスイッチを切り替える。そして、第２の切替手段５２−２は、例えば、取得した出力画像信号を復元画像信号として自装置の外部へ出力する。
【００４３】
なお、切替手段５２は、図３のようなスイッチとして実装するのではなく、複数の画像改善手段５３のうち一つの動作を許可（Ｅｎａｂｌｅ）するような構成としてもよい。
【００４４】
各画像改善手段５３は、画像改善手段２３と同様の機能を有し、画像改善処理の強度、方式または種類のうち少なくとも一つが互いに異なる。画像改善手段５３それぞれは、第１の切替手段５２−１から復号信号が入力された場合、その復号信号に対して画像改善処理を施す。そして、画像改善手段５３それぞれは、画像改善処理を施した後の出力画像信号第２の切替手段５２−２へ供給する。
【００４５】
本実施形態では、一例として、画像処理比較装置２の第二画像改善手段２３−２と、画像改善装置５の第三画像改善手段５３−２が、共通の入出力関係を有する。また、一例として、画像処理比較装置２の第三画像改善手段２３−３と画像改善装置５の第三画像改善手段５３−３が、共通の入出力関係を有する。これにより、選択手段５１は、比較結果に基づいて、第二画像改善手段５３−２または第三画像改善手段５３−３のうち画質をより改善することができる画像改善手段５３を選択することができる。
【００４６】
画像改善装置５が備える画像改善手段５３の集合と、画像処理比較装置２が備える画像改善手段２３の集合とは、完全に一致してもよいし、一致していなくてもよい。両集合には二つ以上重複があることが好ましい。
【００４７】
両集合に二つ以上重複がある場合にその好ましい理由は、以下の通りである。両集合の積集合に含まれる画像改善手段が複数存在するときには、画像改善装置５において、選択手段５１は、その積集合に含まれる複数の画像改善手段のうちから、より画質向上効果が得られる画像改善手段２３を選択することができる。これにより、画像改善装置５は、自装置が生成できる画像のうち、最も画質が良い画像を復元画像として生成することができる。
【００４８】
一方、両集合が背反、または両集合に一つしか重複が含まれない場合であっても、画像伝送システム１の処理に破綻が生じない。両集合に一つ重複がある場合に破綻が生じない理由は、以下の通りである。両集合に一つ重複がある場合には、選択手段５１は、その重複した画像改善手段５３を重複画像改善手段として選択する。この場合、画像処理比較装置２において、選択される画像改善手段５３と同じ処理を行う画像改善手段２３が画質改善処理を施した後の改善後画像に対して画質を既に評価している。その評価の際に、画像処理比較装置２は、例えば、この改善後画像の画質が予め決められた許容範囲に入っている場合、この画像改善手段２３の識別子を比較結果とする。一方、画像処理比較装置２は、例えば、この改善後画像の画質が予め決められた許容範囲に入っていない場合、比較結果をブランクにする。これによって、比較結果がブランクでない場合、選択手段５１は、上記の重複画像改善手段を選択する。それゆえ、この重複画像改善手段によって生成される復元画像の画質がある画質範囲に収まることが保証されるから、両集合に一つ重複がある場合にも画像伝送システム１の処理に破綻が生じない。
【００４９】
両集合が背反の場合に破綻が生じない理由は、以下の通りである。両集合が背反の場合には、選択手段５１は、例えば、無処理が実装されているデフォルトの画像改善手段５３を選択する。これにより、そのデフォルトの画像改善手段は、復号信号に対して処理を施さず、復号信号をそのまま復元画像信号として出力する。それゆえ、復元画像として復号信号が示す復号画像が得られることが保証されるから、両集合が背反の場合にも画像伝送システム１の処理に破綻が生じない。
【００５０】
図４は、本実施形態における画像処理比較装置２の処理の流れの一例を示すフローチャートである。まず、画像処理手段２１は、入力画像信号に対して画像処理を施して画像処理後信号を生成する（ステップＳ１０１）。次に、符号化劣化模擬手段２２は、画像処理後信号に対して符号化劣化を模擬した処理を施して模擬劣化信号を生成する（ステップＳ１０２）。次に、画像処理比較装置２は、ステップＳ１０３及びＳ１０４の処理、ステップＳ１０５及びＳ１０６の処理、ステップＳ１０７及びＳ１０８の処理を並行して行う。
【００５１】
ステップＳ１０３において、第一画像改善手段２３−１は、模擬劣化信号に対して、画像改善処理を施して第１の改善後信号を生成する。
ステップＳ１０４において、画質評価手段１５−１は、入力画像信号と第１の改善後信号とに基づいて、第１の改善後信号の画質を評価し、評価結果を生成する。
【００５２】
ステップＳ１０５において、第二画像改善手段２３−２は、模擬劣化信号に対して、画像改善処理を施して第２の改善後信号を生成する。
ステップＳ１０６において、画質評価手段１５−２は、入力画像信号と第２の改善後信号とに基づいて、第２の改善後信号の画質を評価し、評価結果を生成する。
【００５３】
ステップＳ１０７において、第三画像改善手段２３−３は、模擬劣化信号に対して、画像改善処理を施して第３の改善後信号を生成する。
ステップＳ１０８において、画質評価手段１５−３は、入力画像信号と第３の改善後信号とに基づいて、第３の改善後信号の画質を評価し、評価結果を生成する。
【００５４】
ステップＳ１０３〜１０８の処理が終了した後に、ステップＳ１０９において、比較手段２７は、評価結果を比較することで比較結果を生成し、生成した比較結果を各画像改善装置５−ｉへ送信する。以上で、本フローチャートの処理を終了する。
【００５５】
図５は、本実施形態における画像改善装置５の処理の流れの一例を示すフローチャートである。まず、選択手段５１は、画像処理比較装置２から取得した比較結果に基づいて、一の画像改善手段を選択する（ステップＳ２０１）。次に、切替手段５２は、選択手段５１による選択結果に応じてスイッチを切り替える（ステップＳ２０２）。次に、選択された一の画像改善手段５３が復号信号に対して画像改善処理を施し、復元画像信号を生成し、復元画像信号を自装置の外部へ出力する（ステップＳ２０３）。以上で、本フローチャートの処理を終了する。
【００５６】
＜効果＞
本実施形態における画像処理比較装置２において、画像変換手段２０は、入力画像に対して画像変換を施し、該入力画像に基づく出力画像情報を符号化装置３へ出力する。そして、各画像改善手段２３−ｉは、画像変換手段２０が画像変換を施した後の画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施す。そして、画質比較手段２４は、画像改善手段２３が改善した後の画像と入力画像の画質を比較し、比較することにより得られた比較結果を、画像改善装置５へ送信する。
【００５７】
係る構成によれば、画像処理比較装置２は、比較結果として、各画像改善手段２３−ｉの順位づけを各画像改善装置５へ出力することができる。これにより、各画像改善装置５は、その比較結果に基づいて、当該画像改善装置５が備える複数の画像改善手段のうち最も画像改善の得られる手段を選択し、選択した画像改善手段が復号画像に対して画像改善処理を行うことで、復元画像の画質を向上させることができる。
【００５８】
また、本実施形態における画像改善装置５は、伝送された画像情報が復号されることにより生成された復号画像に対して、互いに異なる処理態様によって画像を改善する画像改善処理を施すことが可能な複数の画像改善手段を備える。そして、画像改善装置５の選択手段５１は、画像処理比較装置２から入力された比較結果に基づいて、複数の画像改善手段から一の画像改善手段を選択する。そして、切替手段５２は、選択手段５１が選択した画像改善手段５３に、復号画像に対する画像改善処理を施させる。
係る構成によれば、画像改善装置５は、複数の画像改善手段のうち最も画像改善の得られる手段を選択し、選択した画像改善手段が復号画像に対して画像改善処理を行うことで、復元画像の画質を向上させることができる。
【００５９】
以上の各構成要素の動作により、画像処理比較装置２で検証した結果、画像改善があると判定された画像改善手段２３と同じ動作（入出力関係）の画像改善手段５３が画像改善装置５に存在する場合、該画像改善手段５３が復号信号に対して画像改善処理を施して復元画像を生成することで、復元画像の画像を改善させることができる。
【００６０】
また、画像処理比較装置２が備える画像改善手段２３の集合と画像改善装置５が備えるが画像改善手段５３の集合は必ずしも一致している必要がない。そのため、例えば、送信側の画像処理比較装置２と受信側の画像改善装置５とを異なる時期または異なる製造会社が製作した場合でも、受信側の画像改善装置５が実行できる画像改善処理の中で最善の画像改善処理を実行できる。そのため、各画像改善装置５が異なる画像改善処理手段を具備しても、各画像改善装置５では、その画像改善装置５にとってより良い映像を生成することができる。
【００６１】
なお、複数の装置を備えるシステムが、本実施形態の画像処理比較装置２または画像改善装置５の各処理を、それらの複数の装置で分散して処理してもよい。
また、本実施形態の画像処理比較装置２または画像改善装置５の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理比較装置２または画像改善装置５に係る上述した種々の処理を行ってもよい。
【００６２】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６４】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６５】
１  画像伝送システム
２  画像処理比較装置
３  符号化装置
４−１、４−２、４−３、…、４−Ｎ  復号装置
５−１、５−２、５−３、…、５−Ｎ  画像改善装置
２０  画像変換手段
２１  画像処理手段
２２  符号化劣化模擬手段
２３  画像改善手段
２３−１  第一画像改善手段
２３−２  第二画像改善手段
２３−３  第三画像改善手段
２４  画質比較手段
２５、２５−１、２５−２、２５−３  画質評価手段
２６、２６−１、２６−２、２６−３  解像度変換手段
２７  比較手段
５１  選択手段
５２  切替手段
５２−１  第１の切替手段
５２−２  第２の切替手段
５３  画像改善手段
【図１】
2014011719.tif 000003
【図２】
2014011719.tif 000004
【図３】
2014011719.tif 000005
【図４】
2014011719.tif 000006
【図５】
2014011719.tif 000007