(57)【要約】【課題】配信画像が伝送路の帯域を上回るデータ量を有している場合であっても、それが適切に表示されるように配信する。【解決手段】表示装置で、タップ係数を用いた演算による画像変換処理を伝送画像に対して施すことにより得られた変換画像Ｄ２１’−１から、タップ構造によって生じる画質劣化領域を排除し残った高画質領域の変換画像Ｄ２１’’−１が配信画像上の位置に対応する位置に合成されて表示画像が生成され、配信装置で、表示装置において変換画像Ｄ２１’’同士が隣接して合成されるようになる画像が、伝送画像Ｄ２１として、配信画像から抽出されて表示装置に伝送される。本発明は、画像を配信するサーバに適用できる。【選択図】図２３
2007288761.tif 000002
【特許請求の範囲】
【請求項１】
配信画像を構成する伝送画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信装置、および前記配信装置から前記ネットワークを介して伝送されてきた前記伝送画像から前記配信画像に対応する表示画像を生成する画像処理装置からなる画像配信システムにおいて、
前記画像処理装置は、
前記配信装置から伝送されてきた前記伝送画像を受信する受信手段と、
前記受信手段により受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段と、
前記変換手段による前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する生成手段と
を備え、
前記配信装置は、
前記配信画像を入力する入力手段と、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像処理装置の前記変換手段による前記画像変換処理が施されることにより、前記生成手段により前記高画質領域が隣接して合成されるようになる画像を、前記伝送画像として、前記配信画像から抽出する抽出手段と、
前記抽出手段により抽出された前記伝送画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送手段と
を備える画像配信システム。
【請求項２】
前記画像処理装置の前記変換手段は、前記伝送画像から、その伝送画像により構成される前記配信画像全体の特徴量を抽出し、抽出したその全体特徴量を利用して、前記画像変換処理を実行する
請求項１に記載の画像配信システム。
【請求項３】
配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信手段と、
前記受信手段により受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段と、
前記変換手段による前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成手段と
を備える画像処理装置。
【請求項４】
前記変換手段は、前記伝送画像から、その伝送画像により構成される前記配信画像全体の特徴量を抽出し、抽出したその全体特徴量を利用して、前記画像変換処理を実行する
請求項３に記載の画像処理装置。
【請求項５】
配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信ステップと、
前記受信ステップの処理で受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換ステップと、
前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成ステップと
を含む画像処理方法。
【請求項６】
表示画像を生成する表示画像生成処理を、コンピュータに実行させるプログラムにおいて、
配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信ステップと、
前記受信ステップの処理で受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換ステップと、
前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成ステップと
を含む表示画像生成処理を、コンピュータに実行させるプログラム。
【請求項７】
配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信装置において、
前記配信画像を入力する入力手段と、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出手段と、
前記抽出手段により抽出された前記画像を、前記ネットワークを介して前記画像処理装
置に伝送する伝送手段と
を備える配信装置。
【請求項８】
配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信方法において、
前記配信画像を入力する入力ステップと、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送ステップと
を含む配信方法。
【請求項９】
配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信処理をコンピュータに実行させるプログラムにおいて、
前記配信画像を入力する入力ステップと、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送ステップと
を含む配信処理を、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラムに関し、特に、ネットワークを介して伝送される配信画像が、ネットワークの伝送帯域を上回るデータ量を有している場合に好適な画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
図１は、従来の画像配信システムの構成例を示している（特許文献１参照）。この画像配信システムでは、表示装置２が表示可能で、ネットワーク３の伝送帯域を越えるデータ量の配信画像Ｄ１が、ネットワーク３の伝送帯域で伝送可能な伝送画像Ｄ２に分割されて、配信装置１から表示装置２にネットワーク３を介して伝送される。
【０００３】
配信装置１には、例えば、図示せぬカメラまたはハードディスクレコーダから供給された画像信号が配信画像Ｄ１の画像信号として入力される。
【０００４】
ここで、この配信画像Ｄ１は、図２に示すような、3840×2160画素の画サイズを有する、HD（High Definition）画像よりも高画質のSHD（Super High Definition）画像とする。
【０００５】
配信装置１は、入力された画像信号に対応する配信画像Ｄ１の各フレームを、ネットワーク３で伝送可能なデータ量の画像に分割する。
【０００６】
具体的には、この例の場合ネットワーク３は、HD画像を伝送できる伝送帯域を有しているので、配信画像としてのSHD画像Ｄ１の各フレームが、図３に示すように、HD画像（1920×1080画素）に相当する伝送画像Ｄ２−１乃至Ｄ２−４（以下、個々に区別する必要がない場合、単に、画像Ｄ２と称する。他の場合においても同様である）に４等分に分割される。
【０００７】
配信装置１は、配信画像Ｄ１を分割した結果得られた画像を、伝送画像Ｄ２としてMPEG2規格に準拠して符号化するとともに、パケット化し、ネットワーク３を介して、表示装置２に伝送する。
【０００８】
図３の例では、１枚のフレームから分割された４個の伝送画像Ｄ２−１乃至Ｄ２−４毎に、符号化等されて表示装置２に伝送される。
【０００９】
表示装置２は、ネットワーク３を介して配信装置１から伝送された各伝送画像Ｄ２（図４Ａ）に対して、予め行われた学習により得られたタップ係数を用いた演算による画像変換処理を行い、図４Ｂに示すような、同じ画サイズの高画質の画像（以下、変換画像と称する）Ｄ２’に変換する。
【００１０】
図５は、表示装置２の、この、伝送画像Ｄ２を変換画像Ｄ２’に変換する画像変換処理を行う画像変換部の構成例を示している。
【００１１】
タップ抽出部１１には、表示装置２により受信された伝送画像Ｄ２（いまの例の場合、SHD画像Ｄ１の1/4のHD画像である伝送画像Ｄ２）を変換して得ようとするより高画質なHD画像（この高画質な画像は、これから求めようとする画像であり、現段階では存在しないため、仮想的に想定される）を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、伝送画像Ｄ２から抽出し、予測部１５に供給する。
【００１２】
具体的には、タップ抽出部１１は、注目画素に対応する、伝送画像Ｄ２上の画素（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている伝送画像Ｄ２上の画素）に対して、例えば図６に示すような空間的な位置関係にある複数の画素の画素値を予測タップとして抽出する。
【００１３】
図６の例では、注目画素Ｗに対応する伝送画像Ｄ２上の画素の画素値と、その画素から上下方向にＭ個の画素だけ離れた位置にある画素と、左右方向にＮ個の画素だけ離れた位置にある画素の画素値が、予測タップとして抽出される。
【００１４】
タップ抽出部１２は、注目画素に対応する、伝送画像Ｄ２上の画素（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている伝送画像Ｄ２上の画素）に対して、図６に示すような空間的な位置関係にある複数の画素の画素値をクラスタップとして抽出し、クラス分類部１３に供給する。
【００１５】
なお、ここでは説明を簡単にするために、予測タップとクラスタップとしては、タップ構造が同一の複数の画素の画素値、すなわち、注目画素に対応する位置に対応する位置関係が同一の複数の画素の画素値を採用することとする。ただし、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【００１６】
クラス分類部１３は、タップ抽出部１２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られたクラスに対応するクラスコードを係数メモリ１４に供給する。
【００１７】
ここでクラス分類を行う方法としては、例えばADRC（Adaptive Dynamic Range Coding）を採用することができる。ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードに従って、注目画素のクラスが決定される。
【００１８】
係数メモリ１４は、高画質な画像とそれに対応する低画質な画像間の学習によって予め求められているクラスごとのタップ係数を記憶している。すなわち、係数メモリ１４は、クラス分類部１３で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数を記憶している。
【００１９】
係数メモリ１４は、クラスごとのタップ係数のうちの、クラス分類部１３から供給されたクラスコードを表すクラス、つまり、注目画素のクラスのタップ係数を予測部１５に供給する。
【００２０】
予測部１５は、タップ抽出部１１から供給される予測タップと、係数メモリ１４から供給されたタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより予測部１５は、注目画素の画素値（の予測値）、すなわち、より高画質なHD画像（変換画像Ｄ２’）の画素の画素値を求める。
【００２１】
このような画像変換部により伝送画像Ｄ２が高画質の変換画像Ｄ２’に変換される。
【００２２】
図１に戻り表示装置２は、伝送画像Ｄ２に対する上述した画像変換処理の結果得られた高画質な変換画像Ｄ２'を、対応する伝送画像Ｄ２の配信画像Ｄ１上の位置に対応する位置に合成して表示画像を生成し、それを、例えば4096×2160画素の表示画面（すなわち4K2K用の画面）に表示させる。
【００２３】
この例の場合、図７に示すように、配信画像としてのSHD画像Ｄ１の１フレームから分割された４個の伝送画像Ｄ２−１乃至Ｄ２−４（図３）の変換画像Ｄ２’−１乃至Ｄ２’−４が、対応する伝送画像Ｄ２のSHD画像Ｄ１上の位置に対応する位置に合成されて表示画像が生成され、それが、表示画面に表示される。
【００２４】
【特許文献１】特開２００２−１６２９５３号公報
【発明の開示】
【発明が解決しようとする課題】
【００２５】
ところで表示装置２における画像変換処理は、上述したように、所定の空間的なタップ構造の予測タップおよびクラスタップが用いられて行われるが、この場合、注目画素の位置によっては、必要な予測タップまたはクラスタップが得られず、注目画素の画素値を適切に予測できないときがある。
【００２６】
図６に示すタップ構造の予測タップおよびクラスタップで、例えば図３に示す伝送画像Ｄ２−１を変換するとき、注目画素Ｗに対応する伝送画像Ｄ２−１上の画素が、図８に示すように、伝送画像Ｄ２−１上の右端からＮ個画素分離れていない場合、図中黒色の丸印に対応する伝送画像Ｄ２−１上の位置には画素が存在しないので、必要な予測タップおよびクラスタップが得られないまま注目画素の画素値が生成されるため、画面の中央付近にある画像合成の繋ぎ目部分が定性的に目につくことがあった。
【００２７】
すなわち図６に示すタップ構造の予測タップおよびクラスタップを用いる場合、注目画素に対応する伝送画像Ｄ２上の画素が、伝送画像Ｄ２の左右両端からＮ個画素分離れていない画素、または上下両端からＭ個画素分離れていない画素であるとき、得られなかったクラスタップを何らかの方法で補完するなどの特別な処理を施さない場合には、注目画素の画素値に十分なクラスタップが得られず、変換画像Ｄ２’の図４Ｂ中斜線が付されている領域の画質が劣化する。
【００２８】
その結果、表示装置２で表示される表示画像には、画質が劣化した領域（図７中斜線が付されている領域）が含まれることになる。
【００２９】
画質が劣化した領域を削除して表示されないようにすることもできるが、図９に示すように、画質が劣化した領域のうち、画枠付近のものを削除して表示されないようにしても、表示画像の中心を上下左右方向に通る部分が残ってしまう。また図１０に示すように、その領域をさらに削除して表示されないようにすると、配信画像Ｄ１のその部分の画像が途切れた表示画像となってしまい、不自然な画像となってしまう。
【００３０】
本発明はこのような状況に鑑みてなされたものであり、配信画像が伝送帯域を上回るデータ量を有している場合であっても、それが適切に表示されるように配信することができるようにするものである。
【課題を解決するための手段】
【００３１】
本発明の第１の側面の画像配信システムは、配信画像を構成する伝送画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信装置、および前記配信装置から前記ネットワークを介して伝送されてきた前記伝送画像から前記配信画像に対応する表示画像を生成する画像処理装置からなる画像配信システムにおいて、前記画像処理装置は、前記配信装置から伝送されてきた前記伝送画像を受信する受信手段と、前記受信手段により受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段と、前記変換手段による前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する生成手段とを備え、前記配信装置は、前記配信画像を入力する入力手段と、前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像処理装置の前記変換手段による前記画像変換処理が施されることにより、前記生成手段により前記高画質領域が隣接して合成されるようになる画像を、前記伝送画像として、前記配信画像から抽出する抽出手段と、前記抽出手段により抽出された前記伝送画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送手段とを備える。
【００３２】
本発明の第１の側面の画像配信システムにおいては、前記画像処理装置で、前記配信装置から伝送されてきた前記伝送画像が受信され、受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換され、前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域が排除され、残った高画質領域が、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成されて前記表示画像が生成され、前記配信装置で、前記配信画像が入力され、前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像処理装置の前記画像変換処理が施されることにより、前記高画質領域が隣接して合成されるようになる画像が、前記伝送画像として、前記配信画像から抽出され、抽出された前記伝送画像が、前記ネットワークを介して前記画像処理装置に伝送される。
【００３３】
前記画像処理装置の前記変換手段は、前記伝送画像から、その伝送画像により構成される前記配信画像全体の特徴量を抽出し、抽出したその全体特徴量を利用して、前記画像変換処理を実行することができる。
【００３４】
本発明の第２の側面の画像処理装置は、配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信手段と、前記受信手段により受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段と、前記変換手段による前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成手段とを備える。
【００３５】
前記変換手段は、前記伝送画像から、その伝送画像により構成される前記配信画像全体の特徴量を抽出し、抽出したその全体特徴量を利用して、前記画像変換処理を実行することができる。
【００３６】
本発明の第２の側面の画像処理方法またはプログラムは、配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信ステップと、前記受信ステップの処理で受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換ステップと、前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成ステップとを含む。
【００３７】
本発明の第２の側面の画像処理装置、画像処理方法またはプログラムにおいては、配信装置から伝送されてきた配信画像を構成する伝送画像が受信され、受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換され、前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域が排除され、残った高画質領域が、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成されて表示画像が生成される。
【００３８】
本発明の第３の配信装置は、配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信装置において、前記配信画像を入力する入力手段と、前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出手段と、前記抽出手段により抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送手段とを備える。
【００３９】
本発明の第３の配信方法またはプログラムは、配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信方法または前記配信処理をコンピュータに実行させるプログラムにおいて、前記配信画像を入力する入力ステップと、前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出ステップと、前記抽出ステップの処理で抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送ステップとを含む。
【００４０】
本発明の第３の配信装置、配信方法またはプログラムにおいては、配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像が、ネットワークを介して伝送することによって前記配信画像が配信され、前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像が、前記配信画像を構成する画像として、前記配信画像から抽出され、抽出された前記画像が、前記ネットワークを介して前記画像処理装置に伝送される。
【発明の効果】
【００４１】
本発明の第１乃至第３の側面によれば、配信画像が伝送帯域を上回るデータ量を有している場合であっても、それが適切に表示されるように配信することができる。
【発明を実施するための最良の形態】
【００４２】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４３】
本発明の第１の側面の画像配信システムは、
配信画像（例えば、図１１の配信画像Ｄ１）を構成する伝送画像（例えば、図１１の伝送画像Ｄ２１）を、ネットワーク（例えば、図１１のネットワーク３）を介して伝送することによって前記配信画像を配信する配信装置（例えば、図１１の配信装置５１）、および前記配信装置から前記ネットワークを介して伝送されてきた前記伝送画像から前記配信画像に対応する表示画像を生成する画像処理装置（例えば、図１１の表示装置５２）からなる画像配信システムにおいて、
前記画像処理装置は、
前記配信装置から伝送されてきた前記伝送画像を受信する受信手段（例えば、図１８の受信部７１）と、
前記受信手段により受信された前記伝送画像（例えば、図１９Ａ）に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段（例えば、図１８の高画質生成部７３）と、
前記変換手段による前記画像変換処理の結果得られた画像（例えば、図２２Ａ）から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域（例えば、図２２Ａ中斜線が付されている領域）を排除し、残った高画質領域（例えば、図２２Ｂ）を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像（例えば、図２４）を生成する生成手段（例えば、図１８の表示制御部７４）と
を備え、
前記配信装置は、
前記配信画像を入力する入力手段（例えば、図１２の入力部６１）と、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像処理装置の前記変換手段による前記画像変換処理が施されることにより、前記生成手段により前記高画質領域が隣接して合成されるようになる画像（例えば、図１７の伝送画像Ｄ２１）を、前記伝送画像として、前記配信画像から抽出する抽出手段（例えば、図１２の生成部６２）と、
前記抽出手段により抽出された前記伝送画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送手段(例えば、図１２の通信部６４)と
を備える。
【００４４】
前記画像処理装置の前記変換手段は、前記伝送画像から、その伝送画像により構成される前記配信画像全体の特徴量を抽出し（例えば、図２０の全体特徴量抽出部８１）、抽出したその全体特徴量を利用して、前記画像変換処理を実行することができる（例えば、図２０の画像変換部８２）。
【００４５】
本発明の第２の画像処理装置は、
配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信手段（例えば、図１８の受信部７１）と、
前記受信手段により受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段（例えば、図１８の高画質変換部７３）と、
前記変換手段による前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成手段（例えば、図１８の表示制御部７４）と
を備える。
【００４６】
本発明の第２の側面の画像処理方法、またはプログラムは、
配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信ステップ（例えば、図１８の受信部７１の処理）と、
前記受信ステップの処理で受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換ステップ（例えば、図１８の高画質生成部７３の処理）と、
前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成ステップ（例えば、図１８の表示制御部７４の処理）と
を含む。
【００４７】
本発明の第３の配信装置は、
配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信装置において、
前記配信画像を入力する入力手段（例えば、図１２の入力部６１）と、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出手段（例えば、図１２の生成部６２）と、
前記抽出手段により抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送手段（例えば、図１２の通信部６４）と
を備える。
【００４８】
本発明の第３の配信方法またはプログラムは、
配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信方法または前記配信画像を配信する配信処理をコンピュータに実行させるプログラムにおいて、
前記配信画像を入力する入力ステップ（例えば、図１２の入力部６１の処理）と、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出ステップ（例えば、図１２の生成部６２の処理）と、
前記抽出ステップの処理で抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送ステップ（例えば、図１２の通信部６４の処理）と
を含む。
【００４９】
図１１は、本発明を適用した画像配信システムの構成例を示している。この画像配信システムでは、配信先の表示装置５２が表示可能で、ネットワーク３の伝送帯域を越えるデータ量の配信画像Ｄ１から、後述するように生成された、ネットワーク３で伝送可能な伝送画像Ｄ２１が、配信装置５１から表示装置５２にネットワーク３を介して伝送される。
【００５０】
配信装置５１には、例えば、図示せぬカメラまたはハードディスクレコードから供給された画像信号が配信画像Ｄ１の画像信号として入力される。
【００５１】
ここで、この配信画像Ｄ１は、図２に示したような、3840×2160画素の画サイズを有する、HD画像よりも高画質のSHD画像とする。尚、ここでの高画質とは、例えば高解像度や低ノイズなどを意味する。
【００５２】
配信装置５１は、入力された画像信号に対応する配信画像Ｄ１の各フレームから、後述するように、ネットワーク３で伝送可能なデータ量の画像を抽出するとともに、抽出した画像を、伝送画像Ｄ２１としてネットワーク３を介して表示装置５２に伝送する。
【００５３】
表示装置５２は、ネットワーク３を介して配信装置５１から伝送された各伝送画像Ｄ２１に対して、予め行われた学習により得られたタップ係数を用いた演算による画像変換処理を行い、各伝送画像Ｄ２１をより高画質な画像に変換する。
【００５４】
表示装置５２は、伝送画像Ｄ２１をより高画質に変換した画像を、対応する伝送画像Ｄ２１の配信画像Ｄ１上の位置に対応する位置に合成して表示画像を生成し、それを、例えば4096×2160画素のディスプレイ（すなわち4K2K用の画面）に表示させる。
【００５５】
図１２は、配信装置５１の構成例を示している。
【００５６】
入力部６１は、カメラ等から供給された配信画像（この例の場合、SHD画像）Ｄ１の画像信号を入力し、生成部６２に供給する。
【００５７】
生成部６２は、入力部６１から供給された画像信号に対応するSHD画像Ｄ１の各フレームから、ネットワーク３を介して伝送可能なデータ量で、かつ、表示装置５２における画像変換処理でのタップ構造に応じた領域の画像を抽出する。ここで抽出された画像が、伝送画像Ｄ２１となる。
【００５８】
具体的には、表示装置５２において図６に示すタップ構造による予測タップおよびクラスタップで画像変換が行われる場合、SHD画像Ｄ１の各フレームから、図１３に示す、フレームの左上の角を(0,0)とした場合の、（N,M）、(1920+N，M）、（1920+N，1080+M）、および(N，1080+M)の画素を四隅とする1920×1080画素の領域の画像Ｄ２１−１、図１４に示す、（1920-N,M）、（3840-N，M）、（3840-N，1080+M）、および(1920-N，1080+M)の画素を四隅とする1920×1080画素の領域の画像Ｄ２１−２、図１５に示す、（1920-N,1080-M）、（3840-N，1080-M）、(3840-N，2160-M)、および（1920-N，2160-M）の画素を四隅とする1920×1080画素の領域の画像Ｄ２１−３、並びに図１６に示す、（N,1080-M）、（1920+N，1080-M）、(1920+N，2160-M)、および(N，2160-M）の画素を四隅とする1920×1080画素の領域の画像Ｄ２１−４が、それぞれ抽出され、それらが伝送画像Ｄ２１となる。
【００５９】
すなわち配信装置５１では、SHD画像Ｄ１が４分割された各領域と同じ大きさで、SHD画像Ｄ１上の位置が、タップ構造に応じた画素数だけ中央方向に平行移動した領域の伝送画像Ｄ２１−１乃至Ｄ２１−４が抽出される。
【００６０】
図１３乃至図１６に示した伝送画像Ｄ２１−１乃至Ｄ２１−４をまとめて示すと図１７に示すようになる。なお図１７では、伝送画像Ｄ２１−１乃至Ｄ２１−４がそれぞれ異なる斜線が付されて示されている。
【００６１】
図１２に戻り生成部６２は、以上のように抽出した伝送画像Ｄ２１をデータ処理部６３に供給する。
【００６２】
データ処理部６３は、生成部６２から供給された伝送画像Ｄ２１に対して、MPEG2規格に準じた画像圧縮符号化処理を施し、その結果得られた伝送画像Ｄ２１の画像データを、通信部６４に供給する。
【００６３】
通信部６４は、データ処理部６３から供給された伝送画像Ｄ２１の画像データを、対応するSHD画像Ｄ１のフレーム毎に、ネットワーク３を介して表示装置５２に伝送する。
【００６４】
図１８は、表示装置５２の構成例を示している。
【００６５】
受信部７１は、ネットワーク３を介して配信装置５１から伝送されてきた伝送画像Ｄ２１を受信し、データ処理部７２に供給する。
【００６６】
データ処理部７２は、受信部７１から供給された各伝送画像Ｄ２１に対して、MPEG2規格に準拠した画像伸張復号処理を施し、元の伝送画像Ｄ２１を復元し、高画質生成部７３に供給する。
【００６７】
高画質生成部７３は、データ処理部７２から供給された伝送画像Ｄ２１（図１９Ａ）に対して、予め行われた学習により得られたタップ係数を用いた演算による画像変換処理により、図１９Ｂに示すような、同じ画サイズの高画質な画像（以下、変換画像と称する）Ｄ２１’を生成し、表示制御部７４に供給する。
【００６８】
図２０は、高画質生成部７３の構成例を示している。
【００６９】
全体特徴量抽出部８１には、データ処理部７２で復元された伝送画像Ｄ２１の画像データが、対応するSHD画像Ｄ１のフレーム毎に供給される。全体特徴量抽出部８１は、供給された、この例の場合１組の４個の伝送画像Ｄ２１の画像データから、SHD画像Ｄ１のフレーム全体の特徴としての特徴量を抽出する。
【００７０】
具体的には、例えば、１組の４個の伝送画像Ｄ２１−１乃至Ｄ２１−４（図１７）のそれぞれの平均輝度値が算出され、そしてその平均輝度値の平均値が全体特徴量とされる。
【００７１】
全体特徴量抽出部８１は、抽出した全体特徴量を画像変換部８２−１乃至８２−４に供給するとともに、１組の４個の伝送画像Ｄ２１の画像データのそれぞれを、対応する画像変換部８２−１乃至８２−４に供給する。
【００７２】
例えば、伝送画像Ｄ２１−１の画像データが、画像変換部８２−１に、伝送画像Ｄ２１−２の画像データが、画像変換部８２−２に、伝送画像Ｄ２１−３の画像データが、画像変換部８２−３に、そして伝送画像Ｄ２１−４の画像データが、画像変換部８２−４に、それぞれ供給される。
【００７３】
画像変換部８２は、全体特徴量を利用して、入力された伝送画像Ｄ２１（図１９Ａ）の画像データに対し、予め学習により得られたタップ係数を用いた演算を行い、高画質な変換画像Ｄ２１’ （図１９Ｂ）を生成する。
【００７４】
図２１は、画像変換部８２の構成例を示している。
【００７５】
タップ抽出部１０１は、伝送画像Ｄ２１（HD画像）を変換して得ようとするより高画質なHD画像（この高画質な画像は、これから求めようとする画像であり、現段階では存在しないため、仮想的に想定される）を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、伝送画像Ｄ２１から抽出し、予測部１０５に供給する。
【００７６】
具体的には、タップ抽出部１０１は、注目画素に対応する、伝送画像Ｄ２１上の画素（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている伝送画像Ｄ２１上の画素）に対して、例えば図６に示すような空間的な位置関係にある複数の画素の画素値を予測タップとして抽出する。
【００７７】
タップ抽出部１０２は、注目画素に対応する、伝送画像Ｄ２１上の画素（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている伝送画像Ｄ２１上の画素）に対して、図６に示すような空間的な位置関係にある複数の画素の画素値をクラスタップとして抽出し、クラス分類部１０３に供給する。
【００７８】
なお、ここでは説明を簡単にするために、予測タップとクラスタップとしては、タップが構造が同一の複数の画素の画素値、すなわち、注目画素に対応する位置に対応する位置関係が同一の複数の画素の画素値を採用することとする。ただし、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【００７９】
クラス分類部１０３は、タップ抽出部１０２からのクラスタップおよび全体特徴量抽出部８１から供給された全体特徴量に基づき、注目画素をクラス分類し、その結果得られたクラスに対応するクラスコードを係数メモリ１０４に供給する。
【００８０】
ここでクラス分類を行う方法としては、例えばADRCを採用することができる。
【００８１】
係数メモリ１０４は、学習によって予め求められているクラスごとのタップ係数を記憶している。すなわち、係数メモリ１０４は、クラス分類部１０３で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数を記憶している。
【００８２】
係数メモリ１０４は、クラスごとのタップ係数のうちの、クラス分類部１０３から供給されたクラスコードを表すクラス、つまり、注目画素のクラスのタップ係数を予測部１０５に供給する。
【００８３】
予測部１０５は、タップ抽出部１０１から供給された予測タップと、係数メモリ１０４から供給されたタップ係数とを用いて式（１）を演算して、注目画素の真値の予測値を求める。これにより注目画素の画素値（の予測値）、すなわち、より高画質なHD画像の画素の画素値が求められる。
【００８４】
【数１】
2007288761.tif 000003
【００８５】
なお式（１）中、ｙは予測値を表し、ｘnは、予測タップを構成する、ｎ番目の画素の画素値を表し、ｗnは、ｎ番目の画素値と乗算されるｎ番目のタップ係数を表す。
【００８６】
すなわち画像変換部８２は、図５に示した従来の画像変換部と同様に、画像変換処理において図６に示したタップ構造の予測タップおよびクラスタップを利用するので、注目画素に対応する伝送画像Ｄ２１上の画素が、伝送画像Ｄ２１の左右両端からＮ個画素分離れていない画素、または上下両端からＭ個画素分離れていない画素である場合、得られなかったクラスタップまたは予測タップを補完する特別な処理を行わないとき、その注目画素の画素値は適切に予測されず、変換画像Ｄ２１’の図１９Ｂ中斜線が付された領域の画質が劣化する。
【００８７】
図１８に戻り表示制御部７４は、高画質生成部７３から供給された、伝送画像Ｄ２１が高画質に変換された変換画像Ｄ２１’を合成して表示画像を生成するが、その際、変換画像Ｄ２１’から、画質が劣化している領域（図２２Ａ中斜線が付されている領域）を削除し、その結果得られた図２２Ｂに示す変換画像Ｄ２１’’を、変換画像Ｄ２１’’が対応する伝送画像Ｄ２１上の領域の配信画像Ｄ１上の位置に対応する位置に合成して表示画像を生成し、ディスプレイ７５に表示させる。
【００８８】
図１３に示す伝送画像Ｄ２１−１は、図１３中の破線が示すSHD画像Ｄ１を４等分した左上の領域に対して、伝送画像Ｄ２１−２（図１４）と隣接する方向（右方向）のＮ個の画素分の領域と、伝送画像Ｄ２１−４（図１６）と隣接する方向（下方向）のＭ個の画素分の領域を糊しろ領域として含み、またその領域が画像変換処理により画質が劣化する領域とされるので、図２３および図２４に示すように、図１３に示す伝送画像Ｄ２１−１が画像変換された結果得られた変換画像Ｄ２１’−１（図２３中破線で示されている）から画質が劣化した領域が削除された画像Ｄ２１’’−１は、変換画像Ｄ２１’’−１に対応する伝送画像Ｄ２１−１上の領域のSHD画像Ｄ１上の位置、すなわち図１３中の破線が示すSHD画像Ｄ１を４等分した左上の領域の位置に対応する位置に合成される。
【００８９】
図１４に示す伝送画像Ｄ２１−２は、図１４中の破線が示すSHD画像Ｄ１を４等分した右上の領域に対して、伝送画像Ｄ２１−１（図１３）と隣接する方向（左方向）のＮ個の画素分の領域と、伝送画像Ｄ２１−３（図１５）と隣接する方向（下方向）のＭ個の画素分の領域を糊しろ領域として含み、またその領域が画像変換処理により画質が劣化する領域とされるので、図２４に示すように、図１４に示す伝送画像Ｄ２１−２が画像変換された結果得られた変換画像Ｄ２１’−１から画質が劣化した領域が削除された画像Ｄ２１’’−２は、変換画像Ｄ２１’’−２に対応する伝送画像Ｄ２１−２上の領域のSHD画像Ｄ１上の位置、すなわち図１４中の破線が示すSHD画像Ｄ１を４等分した右上の領域の位置に対応する位置に合成される。
【００９０】
図１５に示す伝送画像Ｄ２１−３は、図１５中の破線が示すSHD画像Ｄ１を４等分した右下の領域に対して、伝送画像Ｄ２１−４（図１６）と隣接する方向（左方向）のＮ個の画素分の領域と、伝送画像Ｄ２１−２（図１４）と隣接する方向（上方向）のＭ個の画素分の領域を糊しろ領域として含み、またその領域が画像変換処理により画質が劣化する領域とされるので、図２４に示すように、図１５に示す伝送画像Ｄ２１−３が画像変換された結果得られた変換画像Ｄ２１’−３から画質が劣化した領域が削除された画像Ｄ２１’’−３は、変換画像Ｄ２１’’−３に対応する伝送画像Ｄ２１−３上の領域のSHD画像Ｄ１上の位置、すなわち図１５中の破線が示すSHD画像Ｄ１を４等分した右下の領域の位置に対応する位置に合成される。
【００９１】
図１６に示す伝送画像Ｄ２１−４は、図１６中の破線が示すSHD画像Ｄ１を４等分した左下の領域に対して、伝送画像Ｄ２１−３（図１５）と隣接する方向（右方向）のＮ個の画素分の領域と、伝送画像Ｄ２１−１（図１３）と隣接する方向（上方向）のＭ個の画素分の領域を糊しろ領域として含み、またその領域が画像変換処理により画質が劣化する領域とされるので、図２４に示すように、図１６に示す伝送画像Ｄ２１−４が画像変換された結果得られた変換画像Ｄ２１’−４から画質が劣化した領域が削除された画像Ｄ２１’’−４は、変換画像Ｄ２１’’−４に対応する伝送画像Ｄ２１−４上の領域のSHD画像Ｄ１上の位置、すなわち図１６中の破線が示すSHD画像Ｄ１を４等分した右下の領域の位置に対応する位置に合成される。
【００９２】
すなわち図１１の画像配信システムでは、配信装置５１で、ネットワーク３で伝送可能な画像が、伝送画像Ｄ２１として配信画像Ｄ１から抽出され、その伝送画像Ｄ２１がネットワーク３を介して伝送されることによって配信画像Ｄ１が表示装置５２に配信される。
【００９３】
また、表示装置５２で、タップ係数を用いた演算による画像変換処理を伝送画像Ｄ２１に対して施すことにより得られた変換画像Ｄ２１’（図２２Ａ）から、タップ構造によって生じる画質劣化領域（図２２Ａの斜線が付された領域）を排除し残った高画質領域の変換画像Ｄ２１’’（図２２Ｂ）が配信画像Ｄ１上の位置に対応する位置に合成されて表示画像が生成され（図２３、図２４）、配信装置５１で、表示装置５２において変換画像Ｄ２１’’同士が隣接して合成（図２４）されるようになる画像、すなわち、画像変換処理により、配信画像Ｄ１を４等分する領域（図１３乃至図１６中の破線で示されている領域）の画素の画素値を適切に予測することができる糊しろをもった伝送画像Ｄ２１が、配信画像Ｄ１から抽出されて表示装置５２に伝送される。
【００９４】
以上のように配信画像Ｄ１から抽出された配信画像Ｄ１を構成する伝送画像Ｄ２１を、ネットワーク３を介して伝送することによって配信画像Ｄ１を配信するようにしたので、配信画像Ｄ１がネットワーク３の伝送帯域を越える画像であっても、ネットワーク３を介して配信画像Ｄ１を配信することができ、かつ、配信画像Ｄ１に対応する適切な表示画像Ｄ２１’’（繋ぎ目の連続性が保たれた画像）を生成することができる。
【００９５】
また表示装置５２での伝送画像Ｄ２１に対する画像変換処理において、伝送画像Ｄ２１から配信画像Ｄ１全体の特徴量を利用するようにしたので、定性的な不連続領域が発生しないようにすることができる。
【００９６】
図２５は、画像変換処理で用いられるタップ係数の学習を行う学習装置の構成例を示している。
【００９７】
学習データ記憶部１５１は、タップ係数の学習に用いられる学習データとして、この例の場合、SHD画像信号（SHD画像）を記憶している。
【００９８】
つぎに、ＲＯＭテーブル１５８に格納される予測係数を作成（学習）するための学習装置について図２５を用いて説明する。上記学習装置は、生成すべき高画質（高解像度であり低ノイズ）な画像データを用いることによって、ＲＯＭテーブル１５８に予測係数を記憶させるものである。
【００９９】
上記学習装置は、図２５に示すように、生成すべき高画質な画像データ（学習対の教師画像）が記憶される学習データ記憶部１５１と、高画質の画像データの帯域を制限して学習対の生徒画像を生成する帯域制限部１５２と、帯域制限された画像データ全体の特徴量を抽出する全体特徴量抽出部１５３と、クラスコード生成に用いるための画素データ（クラスタップ）を、帯域制限された画像データから抽出するタップ抽出部１５４と、抽出された画像データ全体の特徴量とクラスタップの波形パターンに基づいてクラス分類に用いるクラスコードを発生させるクラスコード発生部１５５と、学習処理に用いるための画素データ（予測タップ）を、帯域制限された画像データから抽出するタップ抽出部１５６と、クラスコード毎に正規方程式をたて、上記クラスコード毎に予測係数を決定する学習部１５７と、決定された予測係数を記憶するＲＯＭテーブル１５８とを備える。
【０１００】
予測係数を学習によって得るためには、まず、既に知られている高画質の画像データから帯域制限された画像データを生成する必要がある。帯域制限の手法として、例えば、MPEGエンコード／デコードなどの高能率符号化等がある。
【０１０１】
全体特徴量抽出部１５３には、帯域制限部１５２で帯域制限された画像データが供給される。特徴量抽出部１５３は、画像データ全体の特徴量、例えば平均輝度を示す情報などを出力する。
【０１０２】
タップ抽出部１５４は、帯域制限部１５２からの画像データを所定の領域毎に切り出し、切り出した画像データであるクラスタップをＡＤＲＣ処理などすることで、クラスタップの波形パターンを取得する。
【０１０３】
タップ抽出部１５６は、タップ抽出部１５４と同様の構成となっていて、所定の領域から切り出した画像データを学習部１５７に供給する。
【０１０４】
クラスコード発生部１５５は、全体特徴量抽出部１５３からの特徴量及びＡＤＲＣ処理されて得られた波形パターンに基づいて、クラスコードを決定する。これにより、クラスコード発生部１５５は、そのブロックの属するクラスコードを発生して、そのクラスを示すクラスコードを学習部１５７に供給する。
【０１０５】
学習部１５７は、クラスコード発生部１５５から供給された各クラスコードclass 、各クラスコードclass 毎にタップ抽出部１５６より供給された画像データｘ1 ，ｘ2 ，‥‥，ｘn 、および学習データ記憶部１５１より供給された高画質の画像データｙを用いて、正規方程式を立てる。
【０１０６】
ここで、正規方程式の説明のために、複数個の高画質の画像データから通常の画像データへの変換式の学習とその予測式を用いた信号変換について述べる。
【０１０７】
以下に、説明のために学習をより一般化してｎサンプルによる予測を行う場合について説明する。画像データのレベルをそれぞれｘ1 ，ｘ2 ，‥‥，ｘnとして、それぞれにｐビットのＡＤＲＣ処理を行った結果の量子化データをｑ1、‥‥、ｑn とする。
【０１０８】
このとき、上述のように画像データのレベルをそれぞれ、ｘ1 ，ｘ2 ，‥‥，ｘn とし、高画質の画像データのレベルをｙとしたとき、クラス毎に予測係数ｗ1 ，ｗ2 ，‥‥，ｗn によるｎタップの線形推定式を設定する。これを式（２）に示す。学習前は、ｗnが未定係数である。
【０１０９】
【数２】
2007288761.tif 000004
【０１１０】
学習は、クラス毎に複数の画像データに対して行う。データサンプル数がｍの場合、式（２）にしたがって、以下に示す式（３）が設定される。
【０１１１】
【数３】
2007288761.tif 000005
【０１１２】
ｍ＞ｎの場合、予測係数ｗ1，・・・，ｗnは、一意的に決まらないので、誤差ベクトルｅの要素を以下の式（４）で定義して、式（５）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【０１１３】
【数４】
2007288761.tif 000006
【０１１４】
【数５】
2007288761.tif 000007
【０１１５】
ここで、式（５）のｗnによる偏微分係数を求める。それは以下の式（６）を”０”にするように、各ｗnを求めればよい。
【０１１６】
【数６】
2007288761.tif 000008
【０１１７】
以下、式（７）、式（８）のようにＸij、Ｙiを定義すると、式（６）は、行列を用いて式（９）へ書き換えられる。この方程式は、一般に正規方程式と呼ばれている。
【０１１８】
【数７】
2007288761.tif 000009
【０１１９】
【数８】
2007288761.tif 000010
【０１２０】
【数９】
2007288761.tif 000011
【０１２１】
全ての学習用のデータの入力が終了した後、学習部１５７は、各クラスコードclass に、式（９）に示す正規方程式を立てる。
【０１２２】
正規方程式を掃き出し法等の一般的な行列解法を用いて、各ｗnについて解き、各クラス毎に予測係数を算出する。換言すると、上記式（９）を式（１０）のように書き換え、掃き出し法等の行列解法により式（１１）が求められ、クラスコード毎に予測係数の行列式Ｗが算出される。そして、学習部１５７は、算出された予測係数をＲＯＭテーブル１５８に書き込む。
Ｘ・Ｗ＝Ｙ ・・・・・・・・・・（１０）
Ｗ＝Ｘ-1 ・Ｙ ・・・・・・・・・（１１）
【０１２３】
このような学習を行った結果、ＲＯＭテーブル１５８には、クラス毎に、高画質の画像データｙを推定するための統計的に最も真値に近い推定ができる予測係数が格納される。このＲＯＭテーブル１５８に格納されたテーブルが、上述のように、本発明を適用した表示装置５２の高画質生成部７３において使用される係数メモリ１０４である。かかる処理により、線形推定式により、通常の画像データから高画質の画像データを作成するための予測係数の学習が終了する。
【０１２４】
以上のように、上記学習装置は、配信装置５１でデータ処理部６３による帯域制限が起こることを考慮して、予め帯域制限された画像データとを用いて学習することにより、帯域制限されていない高画質な画像データを再現するための予測係数を生成することができる。
【０１２５】
なお、本実施の形態の説明では、圧縮データパターンを生成するパターン生成手段として、ＡＤＲＣ処理を採用することにしたが、これはほんの一例であり、信号波形のパターンを少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いても良いのは勿論である。
【０１２６】
また、本実施の形態では、タップ抽出回路１５４及びタップ抽出回路１５６によって領域分割を行っていたが、本発明はこれに限定されることなく、例えばこれらの領域分割を１つの回路によって行ってもよいのは勿論である。
【０１２７】
また式（１）乃至式（８）中のｎ，ｍと、図４中のＮ，Ｍとは、各説明においてそれぞれ独立して用いられる数を示している。
【０１２８】
なお以上においては、配信画像Ｄ１がSHD画像で、伝送画像Ｄ２１がHD画像である場合を例として説明したが、配信画像Ｄ１がネットワーク３の伝送帯域を越えるデータ量の画像であり、伝送画像Ｄ２１が高画質な画像に変換されて表示画像が生成されるものであれば、動画または静止画に係らず他の画像を配信画像Ｄ１または伝送画像Ｄ２１とすることができる。
【０１２９】
図２６は、本発明を適用した他の画像配信システムの構成例を示している。この画像配信システムには、図１１の画像配信システムの配信装置５１の前段に画像変換装置２０１がさらに設けられている。
【０１３０】
上述した図１１の例では、配信先の表示装置５２が表示可能な画サイズの配信画像Ｄ１（この例の場合、SHD画像）が配信装置５１に供給され、配信装置５１で、そのSHD画像から、ネットワーク３の伝送帯域で伝送でき、かつ、表示装置５２で連続性を維持して合成され得る伝送画像Ｄ２１（図１３乃至図１６）が生成されたが、配信側に、表示装置５２で表示可能なSHD画像とは異なる画サイズの画像、例えば、HD画像が供給される場合もあり得る。
【０１３１】
図２６の例では、配信側に、表示装置５２が表示可能なSHD画像とは異なる画サイズのHD画像が配信画像Ｄ０として供給されている。
【０１３２】
画像変換装置２０１は、配信画像Ｄ０として入力されるHD画像から、配信先の表示装置５２で表示可能な画サイズのSHD画像（配信画像Ｄ１）を生成し、配信装置５１に供給する。
【０１３３】
配信装置５１は、画像変換装置２０１から供給されたSHD画像Ｄ１のフレーム毎に、図１３乃至図１６を参照して上述したように、ネットワーク３の伝送帯域で伝送でき、かつ、表示装置５２で、連続性を維持して合成され得る伝送画像Ｄ２１を生成し、生成した伝送画像Ｄ２１を、ネットワーク３を介して表示装置５２に伝送する。
【０１３４】
表示装置５２は、ネットワーク３を介して配信装置５１から伝送された各伝送画像Ｄ２１に対して、上述したように、予め行われた学習により得られたタップ係数を用いた演算による画像変換処理を行い、各伝送画像Ｄ２１をより高画質な画像（例えば、伝送時に付加されたノイズ等が排除された画像）に変換する。
【０１３５】
表示装置５２は、伝送画像Ｄ２１をより高画質に変換した画像を、対応する伝送画像Ｄ２１の配信画像Ｄ１上の位置に対応する位置に合成して表示画像を生成し、それを、例えば4096×2160画素のディスプレイ（すなわち4K2K用の画面）に表示させる。
【０１３６】
図２７は、画像変換装置２０１の構成例を示している。
【０１３７】
タップ抽出部２１１は、そこに供給されるHD画像のフレーム毎に、所定の注目画素に対して、図２８に示すような空間的な位置関係にある複数の画素の画素値を予測タップとして抽出する。
【０１３８】
図２８の例では、注目画素Ｗの画素値と、その画素から上下方向にａ個の画素だけ離れた位置にある画素と、左右方向にｂ個の画素だけ離れた位置にある画素の画素値が、予測タップとして抽出される。
【０１３９】
タップ抽出部２１２は、そこに供給されるHD画像のフレーム毎に、注目画素に対して、図２８に示すような空間的な位置関係にある複数の画素の画素値をクラスタップとして抽出し、それをクラス分類部２１３に出力する。
【０１４０】
なお、ここでは説明を簡単にするために、予測タップとクラスタップとしては、タップ構造が同一の複数の画素の画素値、すなわち、注目画素に対応する位置に対応する位置関係が同一の複数の画素の画素値を採用することとする。ただし、予測タップとクラスタップとは、異なるタップ構造とすることも可能である。
【０１４１】
クラス分類部２１３は、タップ抽出部２１２から供給されたクラスタップを用いてクラス分類を行い、その結果得られたクラスを表すクラスコードを、係数メモリ２１４に供給する。
【０１４２】
係数メモリ２１４は、高画質な画像（この例の場合、SHD画像）とそれに対応する低画質な画像（この例の場合、HD画像）間の学習によって予め求められているクラスごとのタップ係数を記憶している。すなわち、係数メモリ２１４は、クラス分類部２１３で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数を記憶している。
【０１４３】
係数メモリ２１４は、クラスごとのタップ係数のうちの、クラス分類部２１３から供給されたクラスコードを表すクラスのタップ係数を予測部２１５に供給する。
【０１４４】
予測部２１５は、タップ抽出部２１１から供給された予測タップを構成するHD画素の画素値と、係数メモリ２１４から供給されたタップ係数との線形結合により、SHD画素の画素値の予測値を求める適応処理を行う。
【０１４５】
すなわち予測部２１５は、図２８に示した、HD画像の注目画素Ｗを含む所定のHD画素から、図２９に示すように、いま予測しているSHD画像上の、HD画像の注目画素Ｗに対応する位置を中心とする２×２のSHD画素の予測値を求める。図２９中、・印で示す点は、SHD画素を表している。
【０１４６】
予測部２１５では、HD画像のフレーム毎に、同様の処理が、HD画素が、順次、注目画素として行われ、SHD画像を構成するすべてのSHD画素の予測値が求められると、その予測値は、配信装置５１に供給される。
【０１４７】
以上のように、表示装置５２で表示可能な画サイズと異なる画サイズの画像が配信画像Ｄ０として供給される場合においても、画像変換装置２０１が、表示装置５２で表示可能な画サイズに変換して、配信装置５１に供給するようにしたので、ネットワーク３の伝送帯域で伝送でき、かつ、表示装置５２で、連続性を維持して合成され得る伝送画像Ｄ２１を、ネットワーク３を介して表示装置５２に伝送することができる。
【０１４８】
図３０は、本発明を適用した他の画像配信システムの構成例を示している。この画像配信システムには、図２６の画像配信システムの画像変換装置２０１および配信装置５１に代えて、配信装置２５１が設けられている。
【０１４９】
配信装置２５１には、図２６の例の場合と同様に、表示装置５２が表示可能なSHD画像と異なるHD画像が配信画像Ｄ０として供給される。
【０１５０】
配信装置２５１は、供給されたHD画像Ｄ０のフレーム毎に、HD画像Ｄ０上の所定の領域の画像をSHD画像に変換することによって、図１３乃至図１６に示した、ネットワーク３の伝送帯域で伝送でき、かつ、表示装置５２で、連続性を維持して合成され得る伝送画像Ｄ２１を生成する。すなわち図２６の例では、配信画像Ｄ０として供給されたHD画像の各フレームから、一度SHD画像のフレームが生成され、生成されたそのSHD画像のフレームから伝送画像Ｄ２１が生成されたが、図３０の例では、SHD画像のフレームを生成した後ではなく、HD画像から直接伝送画像Ｄ２１が生成される。
【０１５１】
具体的には、図３１に示す、HD画像Ｄ０上の、フレームの左上の角を(0,0)としたときの、（hs,vs）、(1920/2+hs，vs）、（1920/2+hs，1080/2+vs）、および(hs，1080/2+vs)の画素を四隅とする（1920/2）×（1080/2）画素の領域の画像Ｄ０−１から、図１３に示した、SHD画像Ｄ１上の、（N,M）、(1920+N，M）、（1920+N，1080+M）、および(N，1080+M)の画素を四隅とする1920×1080画素の領域の画像Ｄ２１−１が生成される。
【０１５２】
なおここでは、表示装置５２においては図６に示すタップ構造による予測タップおよびクラスタップで画像変換が行われ、配信装置２５１においては、図２８に示した予測タップおよびクラスタップを利用して、図２９に示したように、１個のHD画素から、２×２個の、すなわち、縦横２倍のSHD画素が生成されるものとする。
【０１５３】
そこで配信装置２５１は、hs＝N/2，vs＝M/2とすることで、図３１に示したHD画像上の（1920/2）×（1080/2）画素の領域の画像Ｄ０−１から、図１３に示した1920×1080画素の領域の画像Ｄ２１−１を生成することができる。なお図２９のタップ構造のHD画素を確保するために、hs＞ｂ，vs＞ａとなっている。後述する図３２乃至図３４についても同様である。
【０１５４】
図３２に示す、HD画像Ｄ０上の、（1920/2-hs,vs）、（1920-hs，vs）、（1920-hs，1080/2+vs）、および(1920/2-hs，1080/2+vs)の画素を四隅とする1920/2×1080/2画素の領域の画像Ｄ０−２から、図１４に示した、SHD画像Ｄ１上の（1920-N,M）、（3840-N，M）、（3840-N，1080+M）、および(1920-N，1080+M)の画素を四隅とする1920×1080画素の領域の画像Ｄ２１−２が生成される。
【０１５５】
図３３に示す、HD画像Ｄ０上の、（1920/2-hs,1080/2-vs）、（1920-hs，1080/2-vs）、(1920-hs，1080-vs)、および（1920/2-hs，1080-vs）の画素を四隅とする1920/2×1080/2画素の領域の画像Ｄ０−３から、図１５に示したSHD画像Ｄ１上の、（1920-N,1080-M）、（3840-N，1080-M）、(3840-N，2160-M)、および（1920-N，2160-M）の画素を四隅とする1920×1080画素の領域の画像Ｄ２１−３が生成される。
【０１５６】
そして図３４に示す、HD画像Ｄ０上の、（hs,1080/2-vs）、（1920/2+hs，1080/2-vs）、(1920/2+hs，1080-vs)、および(hs，1080-vs）の画素を四隅とする1920/2×1080/2画素の領域の画像Ｄ０−４から、図１６に示した、SHD画像Ｄ１上の、（N,1080-M）、（1920+N，1080-M）、(1920+N，2160-M)、および(N，2160-M）の画素を四隅とする1920×1080画素の領域の画像Ｄ２１−４が生成される。
【０１５７】
なお図３１乃至図３４において、ｘ軸上の座標が、図２９に示したタップ構造上のｂより小さく、若しくは1920-hsより大きい領域、またはｙ軸座標が、ａより小さく、若しくは1080-vsより大きい領域は、図２９に示したタップ構造では、SHD画素を生成する上で必要なHD画素が欠落するので、その領域に対応するSHD画素を正確に予測することはできないが、この領域のSHD画素は、図１３乃至図１６に示す伝送画像Ｄ２１を構成しないので、特に問題はない。なおこの領域に対しては、異なるタップ構造を利用することもできる。
【０１５８】
以上のように、表示装置５２が表示可能なSHD画像と異なるHD画像が配信画像Ｄ０として供給されてきた場合において、HD画像から直接伝送画像Ｄ２１を生成することができる。
【０１５９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１６０】
そこで、図３５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１６１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２００５やＲＯＭ２００３に予め記録しておくことができる。
【０１６２】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２０１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２０１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１６３】
なお、プログラムは、上述したようなリムーバブル記録媒体２０１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２００８で受信し、内蔵するハードディスク２００５にインストールすることができる。
【０１６４】
コンピュータは、CPU(Central Processing Unit)２００２を内蔵している。CPU２００２には、バス２００１を介して、入出力インタフェース２０１０が接続されており、CPU２００２は、入出力インタフェース２０１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２００７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２００３に格納されているプログラムを実行する。あるいは、また、CPU２００２は、ハードディスク２００５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２００８で受信されてハードディスク２００５にインストールされたプログラム、またはドライブ２００９に装着されたリムーバブル記録媒体２０１１から読み出されてハードディスク２００５にインストールされたプログラムを、RAM(Random Access Memory)２００４にロードして実行する。これにより、CPU２００２は、上述したブロック図の構成により行われる処理を行う。そして、CPU２００２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２００６から出力、あるいは、通信部２００８から送信、さらには、ハードディスク２００５に記録等させる。
【０１６５】
ここで、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１６６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１６７】
【図１】従来の画像配信システムの構成例を示す図である。
【図２】配信画像を説明する図である。
【図３】伝送画像を説明する図である。
【図４】伝送画像をより高画質の画像に変換する画像変換処理を説明する図である。
【図５】伝送画像をより高画質の画像に変換する画像変換処理を実行する画像変換部の構成例を示すブロック図である。
【図６】伝送画像をより高画質の画像に変換する画像変換処理において利用されるタップ構造を説明する図である。
【図７】図１の表示装置２の表示例を示す図である。
【図８】伝送画像をより高画質の画像に変換する画像変換処理を説明する他の図である。
【図９】図１の表示装置２の他の表示例を示す図である。
【図１０】図１の表示装置２の他の表示例を示す図である。
【図１１】本発明を適用した画像配信システムの構成例を示す図である。
【図１２】図１１の配信装置５１の構成例を示すブロック図である。
【図１３】図１２の生成部６２の処理を説明する図である。
【図１４】図１２の生成部６２の処理を説明する他の図である。
【図１５】図１２の生成部６２の処理を説明する他の図である。
【図１６】図１２の生成部６２の処理を説明する他の図である。
【図１７】図１２の生成部６２の処理を説明する他の図である。
【図１８】図１１の表示装置５２の構成例を示すブロック図である。
【図１９】図１８の高画質生成部７３の処理を説明する図である。
【図２０】図１８の高画質生成部７３の構成例を示すブロック図である。
【図２１】図２０の画質変換部８２の構成例を示す図である。
【図２２】図１８の表示制御部７４の処理を説明する図である。
【図２３】図１８の表示制御部７４の処理を説明する他の図である。
【図２４】図１８の表示制御部７４の処理を説明する他の図である。
【図２５】タップ係数を学習する学習装置の構成例を示すブロック図である。
【図２６】本発明を適用した他の画像配信システムの構成例を示す図である。
【図２７】図２６の画像変換装置２０１の構成例を示すブロック図である。
【図２８】図２６の画像変換装置２０１での画像変換処理において利用されるタップ構造を示す図である。
【図２９】図２６の画像変換装置２０１での画像変換処理を説明する図である。
【図３０】本発明を適用した他の画像配信システムの構成例を示す図である。
【図３１】配信装置２５１の処理を説明する図である。
【図３２】配信装置２５１の処理を説明する他の図である。
【図３３】配信装置２５１の処理を説明する他の図である。
【図３４】配信装置２５１の処理を説明する他の図である。
【図３５】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１６８】
３  ネットワーク，  ５１  配信装置，  ５２  表示装置，  ６１  入力部，  ６２  生成部，  ６３  データ処理部，  ６４  通信部，  ７１  受信部，  ７２  データ処理部，  ７３  高画質生成部，  ７４  表示制御部，  ７５  ディスプレイ，  ８１  全体特徴量抽出部，  ８２  画像変換部，  １０１  タップ抽出部，  １０２  タップ抽出部，  １０３  クラス分類部，  １０４  係数メモリ，  １０５  予測部，  １５１  学習データ記憶部，  １５２  全体特徴量抽出部，  １５３  画像変換部，  １５４  表示制御部，  １５５  ディスプレイ，  １５６  入力部，  １５７  制御部，  ２０１  画像変換装置，  ２５１  配信装置
【図１】
2007288761.tif 000012
【図２】
2007288761.tif 000013
【図３】
2007288761.tif 000014
【図４】
2007288761.tif 000015
【図５】
2007288761.tif 000016
【図６】
2007288761.tif 000017
【図７】
2007288761.tif 000018
【図８】
2007288761.tif 000019
【図９】
2007288761.tif 000020
【図１０】
2007288761.tif 000021
【図１１】
2007288761.tif 000022
【図１２】
2007288761.tif 000023
【図１３】
2007288761.tif 000024
【図１４】
2007288761.tif 000025
【図１５】
2007288761.tif 000026
【図１６】
2007288761.tif 000027
【図１７】
2007288761.tif 000028
【図１８】
2007288761.tif 000029
【図１９】
2007288761.tif 000030
【図２０】
2007288761.tif 000031
【図２１】
2007288761.tif 000032
【図２２】
2007288761.tif 000033
【図２３】
2007288761.tif 000034
【図２４】
2007288761.tif 000035
【図２５】
2007288761.tif 000036
【図２６】
2007288761.tif 000037
【図２７】
2007288761.tif 000038
【図２８】
2007288761.tif 000039
【図２９】
2007288761.tif 000040
【図３０】
2007288761.tif 000041
【図３１】
2007288761.tif 000042
【図３２】
2007288761.tif 000043
【図３３】
2007288761.tif 000044
【図３４】
2007288761.tif 000045
【図３５】
2007288761.tif 000046