(57)【特許請求の範囲】
【請求項１】
画像縮小処理が施された映像信号を含む符号化ストリームを受信する受信部と、
前記受信部が受信した符号化ストリームを復号する復号部と、
前記復号部が復号した映像信号に対して、前記映像信号に含まれる動き情報を用いて動き方向に画像高解像度化処理を行い、高解像度映像を生成する画像高解像度化部と、
前記高解像度映像に対して、前記映像信号に含まれる動き情報を用いて前記映像信号の動き方向以外の方向にローパスフィルタ処理を行う画像補正部とを備えることを特徴とする受信装置。
【請求項２】
請求項１に記載の受信装置であって、
前記画像補正部は、前記復号部が復号した符号化ストリームに含まれる動き情報を用いてローパスフィルタ処理を行う方向を選択することを特徴とする受信装置。
【請求項３】
請求項１に記載の受信装置であって、
前記画像高解像度化部が画像高解像度化処理に用いる動き情報は、前記復号部が符号化ストリームから復号したものであって、
前記画像補正部は、前記復号部が復号した符号化ストリームに含まれる動き情報を用いてローパスフィルタ処理を行う方向を選択することを特徴とする受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
画像を縮小したのち、拡大する技術に関する。
【背景技術】
【０００２】
画像を縮小し、復元する技術としては、例えば、特許文献１が知られている。
【０００３】
また、折り返し歪みを含む複数の画像から、解像度向上した高解像度映像を生成する技術としては、例えば、非特許文献１に記載される超解像技術が知られている。
【０００４】
【特許文献１】特開２００５−３４８３２０号公報
【非特許文献１】青木伸：”複数のデジタル画像データによる超解像処理”,Richo Technical Report pp.19-25, No.24, NOVEMBER, 1998
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１に示される方式では、被写体が動いている方向にのみ画像の高解像度化が可能であるという特徴がある。例えば、図５に示されるように、完全に水平方向に動いている物体に対しては、水平方向の高解像度化は行えるが、垂直方向には高解像度化を実現することは困難であるという課題があった。
【０００６】
よって、特許文献１に記載される画像の縮小後の復元技術において、非特許文献１に記載される超解像技術のような高解像度化技術を適用しようとする場合、画像縮小過程において、単純に画素数を間引いて画像サイズを縮小した場合には、折り返し歪みが縮小画像中に含まれる。この場合、高解像度化後の画像においては、高解像度化できない方向に折り返し歪みが残留したままになり、例えばノイズなどの画質劣化として現れてしまうという課題があった。 
また、単純に等空間的なローパスフィルタを用いた画像縮小の場合には、非特許文献１に示される高解像度化技術を用いても高い解像度を得ることが出来ないという課題があった。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の一実施の態様は、例えば、映像信号中に含まれる画像を縮小し、縮小した画像を含む映像信号に含まれる折り返し歪み成分と動き情報とを用いて、映像信号を高解像度映像に変換し、映像信号の動き方向よりも、動き方向以外の方向に対して、より強いローパスフィルタ処理を行う。
【発明の効果】
【０００８】
縮小画像から画質劣化の少ない高解像度映像を生成することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施例を、図面を参照して説明する。
【００１０】
また、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
【００１１】
また、本明細書の各記載及び各図面における画像信号中の「位相」という表現は、画像信号中の「位置」と同じ意味を含む。
【実施例１】
【００１２】
図１に本発明の実施例１に係る映像送受信システムの一例を示す。
【００１３】
まず、送信装置１００の構成について説明する。映像信号入力部１から入力された映像信号は、画像縮小部２により、画像サイズが縮小される。画像縮小割合は、後段の画像高解像度化部６の性能、または出力映像に期待する品質に依存して変化させることが可能である。
【００１４】
以下の説明では、例えば、縦横それぞれ 1/2 のサイズに縮小するように設定する例として説明を行う。
【００１５】
このとき、画像縮小部２は、動き探索部８が算出する映像信号の動きベクトルを用いて、映像の動きに応じたローパスフィルタ処理も行う。画像縮小部２及び動き探索部８の動作の詳細は後述する。
【００１６】
画像縮小部２により縮小された画像は、例えば、符号化部３により映像符号化する。符号化する前の画像サイズを小さくする事により、画像圧縮率の向上（少ない符号量で符号化）が期待できる。映像信号を符号化して、伝送および記録を行う方法として、例えば、MPEG-2/MPEG-4 等の映像符号化方式が広く知られている。本実施例においては、これらの映像符号化方式を利用することにより、さらに映像信号の圧縮率を高めることが可能となる。この場合、映像信号の圧縮率が高められる符号化方式であれば、いずれの符号化方式でも構わない。
【００１７】
なお、符号化部３における映像符号化において、動きベクトルを用いる場合は、符号化部３が動き探索を行って取得する。符号化部３は、取得した動きベクトルは、符号化処理に用い、さらに映像信号とともに符号化部３が生成する符号化ストリームに含める。
【００１８】
また、別の構成例としては、動き探索部８が算出する動きベクトルに基づく動き情報を用いてもよい。この場合、動き探索部８が動きベクトルを算出した映像信号と、符号化部３が符号化する映像信号とでは、画像サイズが異なる。よって、動きベクトル変換部１５が、画像縮小部２における画像の縮小率に合わせて動きベクトルの大きさと数を変換することで、符号化部３が用いることのできる動きベクトルを生成することができる。動きベクトル変換部１５が生成した動きベクトルを用いる場合は、符号化部３における動き探索処理を省略でき、処理量を低減できるという効果がある。
【００１９】
次に、送信装置１００は、符号化部３により符号化された映像データを、送信部１１または、ネットワークインターフェース部１３から受信装置１０１に送信する。
【００２０】
送信装置１００が放送局の送信装置などの場合は、例えば、送信部１１から電波等により受信装置１０１に送信する。
【００２１】
送信装置１００が映像配信サーバやＩＰ放送の送信装置などの場合は、例えば、ネットワークインターフェース部１３により、ネットワーク４を介して、受信装置１０１に送信する。
【００２２】
次に、受信装置１０１の構成について説明する。受信装置１０１は、送信装置１００の送信部１１またはネットワークインターフェース部１３から送信される符号化映像データを、それぞれ受信部１２もしくはネットワークインターフェース部１４により受信する。
【００２３】
受信装置１０１が放送受信装置などの場合は、電波等により送信された符号化映像データを、例えば、受信部１２により受信する。
【００２４】
受信装置１０１が映像配信サーバのクライアントやＩＰ放送の受信装置などの場合は、ネットワーク４を介して送信された符号化映像データを、例えば、ネットワークインターフェース部１４により受信する。
【００２５】
次に、復号部５は、受信された符号化映像信号を復号する。復号化部５により復号された映像信号は、画像メモリ９に蓄積される。次に、画像高解像度化部６は、画像メモリ９に蓄積される映像信号のうちの複数の画像から、解像度を向上した高解像度映像を生成する。なお、画像高解像度化部６による高解像度化方法は、複数の画像に含まれる被写体の位置の差と折り返し歪みを用いて高解像度化を行う。この詳細な動作については後述する。
【００２６】
さらに、画像高解像度化部６により生成された高解像度映像は、表示部１０に表示される。または、映像信号出力部７から他の機器などへ出力される。 
次に図２を用いて、実施例１に係る送信装置１００の画像縮小部２の詳細について説明する。
【００２７】
画像縮小部２に入力された画像信号は、複数の特性の異なる空間ローパスフィルタ２１に並列に入力され、そのローパスフィルタ２１からの出力は、選択部２２により一つ選択され出力される。
【００２８】
画像縮小部２に入力される画像信号は、動き探索部８にも送られている。動き探索部８では、映像信号中の一画素毎の動きベクトルが検出される。選択部２２は、動き探索部８から出力される動きベクトル情報を用いて、複数のローパスフィルタ２１の出力から、その一つを選択する。
【００２９】
また、この選択部２２において同時に画素数間引きを行うことにより、画像縮小を行う。実施例１においては、選択部２２において、一画素おき、かつ一ラインおきに、画素値を画像出力２５に出力することにより、縦横それぞれ１／２の画像サイズに縮小する。その他の倍率で画像サイズを縮小する場合には、選択部２２において画素を間引く頻度を変えればよい。
【００３０】
次に複数のローパスフィルタ２１の特性に対する選択部２２の動作に関して説明する。複数のローパスフィルタ２１はそれぞれ、方向や制限帯域の特性が異なるものである。例えば、ＬＰＦ１が垂直方向のみ帯域を１／２に制限し、水平方向には帯域を制限しないローパスフィルタ、ＬＰＦ２が水平方向のみ帯域を１／２に制限し、垂直方向には帯域を制限しないローパスフィルタであるとする。
【００３１】
この場合のローパスフィルタの係数の例を図３に示す。選択部２２は、図５に示されるように、水平方向にのみ移動する物体５１上の画素に対しては、全てＬＰＦ１の出力を選択するように動作する。なぜならば、受信装置１０１における画像高解像度化部６においては、被写体の位置の差を用いて高解像度化を行うため、物体の動いている方向にのみ解像度向上が可能である。したがって、この場合、物体の動きのない垂直方向には解像度が向上しない。
【００３２】
また、実施例１に係る選択部２２は、画素間引き前に、画像信号に対して、動きのない方向または動き方向に対して垂直な方向、すなわち垂直方向については適切なローパスフィルタを用いて帯域を制限する。
【００３３】
ここで、実施例１に係る選択部２２は、画素間引き前に、画像信号に対して、動きのある方向すなわち水平方向については、ローパスフィルタ処理を行わない、もしくは垂直方向よりもより弱いローパスフィルタ処理をおこなう。なお、より弱いローパスフィルタとは、折り返し歪みの低減の程度が小さいことを意味する。
【００３４】
以上の選択部２２の処理により、送信装置１００は、動きのある方向については折り返し歪みを含み、動きのない方向には、折り返し歪みを低減した映像を出力する。また、画像を縮小したのち送信しているので、送信データ量が小さくなる。これにより、送信部１１の送信データの帯域やネットワークインターフェース部１４の通信帯域に限りがあっても、より多くの画像を含む映像信号を出力することが可能となる。
【００３５】
なお、送信装置１００の出力映像を受信する受信装置１０１において、画像高解像度化部６は、動きのある方向については、複数の画像に含まれる被写体の位置の差と折り返し歪みを用いて高解像度化をする。さらに、この高解像度化により、動きのある方向についての折り返し成分を低減できる。
【００３６】
一方、動きのない方向については、すでに、送信装置１００の出力映像自体が、適切なローパスフィルタを用いて帯域を制限されている。
【００３７】
したがって、受信装置１０１の画像高解像度化部６は、映像中の動きのある方向においても、動きのない方向においても折り返し歪みを低減し、かつ送信装置１００から出力される映像よりも高解像度な映像を生成、出力することができる。
【００３８】
すなわち、実施例１に係る送信装置１００と受信装置１０１とからなる映像送受信システムにおいては、送信装置１００において画像を縮小し、送信データ量を小さくし、受信装置１０１において、高解像度化して復元する。このとき、高解像度化後の映像における折り返し歪みを低減し、ノイズ等の画質劣化を防止することができる。
【００３９】
以上の図２の説明では、水平方向にのみ動く物体上の画素に対する例を示したが、垂直方向や、斜め方向の動きに対し、方向が異なるのみであり、その他は同様に考えればよい。
【００４０】
また、実施例１に係る選択部２２の構成の一例は、物体の動き方向には、弱めのローパスフィルタを行う。このとき、選択部２２は、ローパスフィルタ処理を行わず、物体の動きに垂直な方向にはより強いローパスフィルタを用いてもよい。なお、より強いローパスフィルタとは、折り返し歪みの低減の程度が大きいことを意味する。
【００４１】
これにより、動き方向でない部分にも若干の折り返し歪みを残す等の調整が可能である。
【００４２】
ここで、実施例１に係る空間ローパスフィルタ２１の構成の一例は、図２に示すように、空間の方向分割数に応じて複数種類容易しておけばよい。これにより、複数種類のローパスフィルタの出力を、動き探索部８から出力される動きベクトル情報に含まれる動きベクトルの方向に応じて切り替えることにより、受信装置１０１における高解像度化後の映像に含まれる折り返し歪みを抑制することができる。
【００４３】
また、受信装置１０１の画像高解像度化部６において、映像が静止している場合（動きベクトルが０）や、画像中の物体の動き量が整数画素の場合に、高解像度化処理を行えないなどの制約がある場合は、送信装置１０１の選択部２２は、物体の方向にかかわらずローパスフィルタ処理を行う等空間的なローパスフィルタを選択すればよい。動きベクトル値が完全に０や、整数画素でなくとも、動きベクトルが０近傍もしくは、整数画素近傍であるときにも、等空間的なローパスフィルタを用いる場合もある。
【００４４】
また、実施例１に係る画像縮小部２の別の構成例として、図４に示すように構成してもよい。図４の空間ローパスフィルタ４２は、図２の空間ローパスフィルタ２１とは異なり、ローパスフィルタの係数を、係数発生部４１が算出した係数に切り替える。なお、係数発生部４１は、動き探索部８から取得する動きベクトル情報に基づいてローパスフィルタの係数を発生させる。これらのフィルタ係数は、それぞれ、図１におけるローパスフィルタ３１のLPF1, LPF2等に相当する。さらに、画素間引き部４３により、画素数を間引くことにより、画像サイズを縮小する。
【００４５】
これにより、図４の係数発生部４１、空間ローパスフィルタ４２、画素間引き部４３は、図２の空間ローパスフィルタ２１と選択部２２と同等の動作を実現でき、かつ、複数種類の空間ローパスフィルタを用意する必要がないため、より簡便なハードウェア構成で実現することができる。
【００４６】
次に、実施例１に係る受信装置１０１の画像高解像度化部６による高解像度化処理の詳細について説明する。以下の説明では、実施例１に係る画像高解像度化部６に入力される複数の画像は、複数のフレームであるとして説明する。
【００４７】
まず、画像高解像度化部６は、例えば、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
【００４８】
図１２に、この高解像度化技術の概要を示す。同図(a)に示すように、異なる時間軸上のフレーム#1(1201)、フレーム#2(1202)、フレーム#3(1203)が入力され、これらを合成して出力フレーム(1206)を得ることを想定する。簡単のため、まず被写体が水平方向に移動(1204)した場合を考え、水平線(1205)の上の1次元の信号処理によって高解像度化することを考える。このとき、同図(b)と同図(d)に示すように、フレーム#2(1202)とフレーム#1(1201)では、被写体の移動(1204)の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、同図(c)に示すように、位置ずれが無くなるようにフレーム#2(1202)を動き補償(1207)するとともに、各フレームの画素(1208)のサンプリング位相(1209)(1210)の間の位相差θ(1211)を求める。この位相差θ(1211)に基づき、上記(2)広帯域補間および(3)加重和を行うことにより、同図(e)に示すように、元の画素(1208)のちょうど中間(位相差θ=π)の位置に新規画素(1212)を生成することにより、高解像度化を実現する。 (3)加重和については後述する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。
【００４９】
このとき、画像高解像度化部６の第一の構成例は、参考文献１、参考文献２もしくは非特許文献１に記載の高解像度処理を行う構成とすることである。この場合、上記(3)の加重和を行う際に、図１３に示すように、少なくとも３枚のフレーム画像の信号を用いれば、１次元方向の２倍の高解像度化が可能である。
〔参考文献１〕特開平８−３３６０４６号
〔参考文献２〕特開平９−６９７５５号
ここで、図１３をもちいて、画像高解像度化部６の第一の構成例における高解像度化処理ついて説明する。図１３は、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。上記(3)の加重和について、以下に詳しく説明する。
【００５０】
上記(2)の広帯域補間にて、ナイキスト周波数の2倍の帯域(周波数0〜サンプリング周波数fsまでの帯域)を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分(以下、原成分)と、サンプリング位相に応じた折返し成分の和が得られる。このとき、3枚のフレーム画像の信号に対して上記(2)広帯域補間の処理を行うと、図１３(a)に示すように、各フレームの原成分(1301)(1302)(1303)の位相はすべて一致し、折返し成分(1304)(1305)(1306)の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を同図(b)に示し、各フレームの折返し成分の位相関係を同図(c)に示す。
【００５１】
ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記(3)加重和を行うことにより、各フレームの折返し成分(1304)(1305)(1306)を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分(1304)(1305)(1306)のベクトル和を0にする、すなわち、Re軸(実軸)の成分とIm軸(虚軸)の成分を両方ともに0とするためには、少なくとも３つの折返し成分が必要となる。従って、少なくとも３枚のフレーム画像の信号を用いることにより、2倍の高解像度化を実現すること、すなわち１個の折返し成分を除去することができる。
【００５２】
次に、図１１の画像高解像度化部６の第二の構成例を示す。この場合、少なくとも２枚のフレーム画像の信号を用いれば、１次元方向の２倍の高解像度化が可能である。以下に詳細を説明する。
【００５３】
まず、画像メモリ９から入力部1100に映像信号中の複数の画像が入力される。
【００５４】
まず位置推定部1101により、入力部1100に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、サンプリング位相差θ1102を求める。なお、このサンプリング位相差θ1102は、動きベクトル情報と等価な情報である。サンプリング位相差θ1102の算出は、例えば、動き探索処理を行うことで可能である。
【００５５】
次に、動き補償・アップレート部1115のアップレート器1103,1104により、位相差θ1102の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ2倍に増して高密度化する。位相シフト部1116では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器1106,1108を用いることができる。また、π/2位相シフト器1106,1108で生じる遅延を補償するために、遅延器1105,1107により高密度化したフレーム#1とフレーム#2の信号を遅延させる。折返し成分除去部1117では、遅延器1105,1107とヒルベルト変換器1106,1108の各出力信号に対して、係数決定器1109にて位相差θ1102をもとに生成した係数C0,C2,C1,C3を乗算器1110,1111,1112,1113にてそれぞれ乗算し、加算器1114にてこれらの信号を加算して出力を得る。この出力は、出力部1118から出力される。
【００５６】
なお、位置推定部1101は、上記従来技術をそのまま用いて実現することができる。アップレート器1103,1104、π/2位相シフト器1106,1108、折返し成分除去部1117の各詳細については後述する。
【００５７】
図１４に、図11の画像高解像度化部６の第二の構成例における動作を示す。同図は、図１１に示した遅延器1105,1107とπ/2位相シフト器1106,1108の各出力を1次元の周波数領域で示したものである。同図(a)において、遅延器1105,1107から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、原成分1401,1402と、元のサンプリング周波数(fs)から折り返された折返し成分1405,1406を加えた信号となる。このとき、折返し成分1406は上述の位相差θ1102だけ位相が回転している。一方、π/2位相シフト器1106,1108から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分1403,1404と、π/2位相シフト後の折返し成分1407,1408を加えた信号となる。同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。この係数決定方法の詳細については後述する。
【００５８】
図1５に、図11の画像高解像度化部６の第二の構成例に用いるアップレート器1103,1104の動作を示す。同図において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、アップレート器1103,1104の「周波数-利得」特性を示している。ここで、アップレート器1103,1104では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンリング点(=ゼロ点)を挿入することによって画素数を2倍にして高密度化するとともに、-fs〜+fsの間の周波数をすべて利得2.0の通過帯域とするフィルタをかける。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
【００５９】
図１６に、図11の画像高解像度化部６の第二の構成例に用いるアップレート器1103,1104の具体例を示す。同図は、図１５に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的に知られているsinc関数となり、サンプリングの位相差θ1102を補償するために(-θ)だけシフトし、Ck=2sin(πk+θ)/(πk+θ)とすればよい。なお、アップレート器1103では、位相差θ1102を0とおき、Ck=2sin(πk)/(πk)とすればよい。また、位相差θ(102)を、整数画素単位(2π)の位相差+小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については上記アップレート器1103,1104のフィルタを用いてもよい。
【００６０】
図１７に、図11の画像高解像度化部６の第二の構成例に用いるπ/2位相シフト器1106,1108の動作例を示す。π/2位相シフト器1106,1108として、一般に知られているヒルベルト変換器を用いることができる。同図(a)において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、ヒルベルト変換器の「周波数-利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数として、-fs〜+fsの間の0を除く周波数成分をすべて利得1.0の通過帯域とする。また、同図(b)において、横軸は周波数を、縦軸は位相差(入力信号位相に対する出力信号位相の差)を表し、ヒルベルト変換器の「周波数-位相差」特性を示している。ここで、0〜fsの間の周波数成分についてはπ/2だけ位相を遅らせ、0〜-fsの間の周波数成分についてはπ/2だけ位相を進ませる。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
【００６１】
図１８に図11の画像高解像度化部６の第二の構成例に用いるπ/2位相シフト器1106,1108をヒルベルト変換器で構成した例を示す。同図は、図１７に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ckは、k=2m(ただしmは整数)のときはCk=0とし、k=2m+1のときはCk=-2/(πk)とすればよい。
【００６２】
なお、本発明の第1の実施例に用いるπ/2位相シフト器1106,1108は、微分器を用いることも可能である。この場合、正弦波を表す一般式cos(ωt+α)をtで微分して1/ωを乗じると、d(cos(ωt+α))/dt*(1/ω)=-sin(ωt+α)=cos(ωt+α+π/2)となり、π/2位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、1/ωの「周波数-振幅」特性を持ったフィルタを掛けることによってπ/2位相シフトの機能を実現してもよい。
【００６３】
図1９に、図11の画像高解像度化部６の第二の構成例に用いる係数決定器(109)の動作と具体例を示す。同図(a)に示すように、図1４(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図1４(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。図１に示すように、遅延器(105)の出力(アップレート後のフレーム#1の原成分と折返し成分の和)に対する係数をC0、π/2位相シフト器1106の出力(アップレート後のフレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC1、遅延器1107の出力(アップレート後のフレーム#2の原成分と折返し成分の和)に対する係数をC2、ヒルベルト変換器1106の出力(アップレート後のフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC3、として図19(a)の条件を満たすようにすると、図14(b)および図14(c)に示した各成分の位相関係から、図19(b)に示す連立方程式を得ることができ、これを解くと図19(c)に示す結果を導くことができる。係数決定器1109は、このようにして得た係数C0、C1、C2、C3を出力すればよい。一例として、位相差θ1102をπ/8ごとに0〜2πまで変化させたときの係数C0、C1、C2、C3の値を、図19(d)に示す。これは、もとのフレーム#2の信号を、1/16画素の精度で位置推定し、フレーム#1に対して動き補償した場合に相当する。
【００６４】
なお、アップレート器1103,1104およびπ/2位相シフト器1106,1107は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数(例えばハニング窓関数やハミング窓関数など)を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、C0を中心として左右点対象の値、すなわちC(-k)=-Ck(kは整数)とすれば、位相を一定量だけシフトすることができる。
【００６５】
以上説明したように、図１の画像高解像度化部６の構成を図１１乃至図１９において説明した構成とすることにより、複数の画像から高解像度化した画像を生成することが可能となる。
【００６６】
特に、図１１に示した画像高解像度化部６の第二の構成によれば、２枚の画像から１枚の高解像画像を生成することが可能となる。
【００６７】
なお、画像高解像度化部６は、図１に示すように、復号部５が復号した符号化ストリームに含まれる動きベクトルを用いて、画像高解像度化処理に用いてもよい。この場合は、図１１に示される画像高解像度化部６の位置推定部１１０１での動き探索処理を省くことができ、受信装置１０１における処理量を低減することができる。
【００６８】
以上説明した本発明の実施例１に係る映像送受信システムまたはその映像送受信方法によれば、送信装置１００において画像を縮小し、送信データ量を小さくし、受信装置１０１において、高解像度化して復元する。このとき、送信装置１００において映像信号の動き方向に応じたローパスフィルタ処理を選択的に行うことによって、動き方向に応じて折り返し歪みが異なる映像信号を生成し、受信装置１０１における高解像度化と折り返し歪みの低減の両立を実現できる。
【００６９】
すなわち、送信側からより小さい送信データ量の送信を行い、受信側において、より高画質な画像に復元することが可能となる。
【００７０】
また、以上説明した本発明の実施例１に係る映像送受信システムにおける送信装置１００によれば、映像信号の動き方向に応じたローパスフィルタ処理を選択的に行いながら画像を縮小することにより、受信側において折り返し歪みによるノイズ等の画質劣化の少ない高解像度映像を生成するために好適な映像信号を生成することが可能となる。また、この映像信号を符号化して送信することにより、圧縮率の高い映像符号化データを送信することが可能となる。
【００７１】
また、以上説明した本発明の実施例１に係る映像送受信システムにおける受信装置１０１によれば、折り返し歪みを動き方向よりも動き方向以外に方向についてより低減するローパスフィルタ処理を施した映像信号を入力し、映像の動き方向について折り返し歪みを低減して高解像度化することにより、ノイズ等の画質劣化の少ない高解像度映像を生成することが可能となる。
【実施例２】
【００７２】
図６に本発明の実施例２に係る映像蓄積装置６０１の一例を示す。映像蓄積装置６０１を構成する部分のうち、受信部１２、ネットワークインターフェース１４、復号部５、画像高解像度化部６、画像メモリ９、表示部１０、映像信号出力部７は、実施例１に係る映像送受信システムの受信装置１０１における各部と同様の部分である。
【００７３】
また、映像信号入力部１、画像縮小部２、符号化部３、動きベクトル算出部８は、実施例１に係る映像送受信システムの送信装置１００における各部と同様の部分である。
【００７４】
映像蓄積装置６０１においては、他の機器などから映像信号入力部１を介して映像信号を入力する。ここで、映像蓄積装置６０１における映像入力方法はこれに限らず、受信部１２、ネットワークインターフェース１４、またはカメラユニットなどの撮像部６１を用いて入力してもよい。例えば、受信部１２の場合は映像信号を含むTV放送波など受信する。例えば、ネットワークインターフェース１４の場合はネットワークを介して、サーバなどから映像信号を受信する。また、カメラユニットなどの撮像部６１の場合は、レンズや光センサなどを用いて撮像を行い、映像信号を生成する。
【００７５】
これらの映像信号は、符号化ストリームとして符号化されているものと、符号化されていないものがある。よって、実施例２に係る映像蓄積装置６０１においては、例えば、スイッチ６２により、符号化されている映像信号は、復号部６３により復号したのち、画像縮小部２に入力するように制御し、符号化されていない映像信号は、スルー処理により画像縮小部２に入力するように構成すればよい。
【００７６】
次に、動きベクトル算出部８、画像縮小部２は、実施例１に係る実施例１に係る映像送受信システムの送信装置１００における処理と同様に、映像信号の動き方向に応じたローパスフィルタ処理を選択的に行い、さらに映像信号中の画像を縮小する。
【００７７】
ここで、別の構成例としては、図６に示すように画像縮小部２が、復号部６３において復号した符号化ストリームに含まれる動きベクトルを用いて、ローパスフィルタ処理を行う方向を選択するように構成する。この場合、画像縮小部２は、動き探索部８を設けずとも、動き方向に応じたローパスフィルタ処理を行うことが可能となる。
【００７８】
次に、符号化部３は、映像信号を符号化する。ここで、実施例１と同様に、符号化部３が動きベクトルを用いた映像符号化を行う場合、符号化部３が動き探索を行ってもよい。
【００７９】
別の構成例としては、符号化部３は、動きベクトル算出部８が算出した動きベクトルに基づく情報を用いてもよい。この場合、実施例１と同様に、動き探索部８が動きベクトルを算出した映像信号と、符号化部３が符号化する映像信号とでは、画像サイズが異なる。よって、実施例１と同様に動きベクトル変換部１５が、画像縮小部２における画像の縮小率に合わせて動きベクトルの大きさと数を変換することで、符号化部３が用いることのできる動きベクトルを生成する。これにより、符号化部３における動き探索処理を省略でき、処理量を低減できる。
【００８０】
さらに別の構成例としては、復号部６３が復号した動きベクトルを動きベクトル変換部１５で変換して、符号化部３における符号化処理に用いてもよい。
【００８１】
さらに、蓄積部６４は、符号化部３により符号化された映像信号を記録する。
【００８２】
以上説明したとおり、実施例２に係る映像蓄積装置６０１は、映像信号中の画像を縮小した後に記録する。そのため、映像信号をそのまま符号化し蓄積する場合に比べ、高い圧縮率で記録することが可能となる。
【００８３】
次に、復号部５は、蓄積部６４に記録された符号化映像信号を復号する。復号した映像信号は、画像メモリ９に記録される。画像高解像度化部６は、画像メモリ９に記録される映像信号に含まれる複数の画像に対して実施例１と同様の処理を行い、高解像度映像を生成する。画像高解像度化部６の処理の詳細は、実施例１にて既に説明したため、説明を省略する。
【００８４】
最後に、生成した高解像度映像を表示部１０が表示する。または、生成した高解像度映像を映像信号出力部７が例えば他の機器などに出力する。
【００８５】
なお、画像高解像度化部６は、図１に示すように、復号部５が復号した符号化ストリームに含まれる動きベクトルを用いて、画像高解像度化処理に用いてもよい。この場合は、実施例１と同じく図１１に示される画像高解像度化部６の位置推定部１１０１での動き探索処理を省くことができ、映像蓄積装置６００における処理量を低減することができる。
【００８６】
なお、以上説明した実施例２に係る映像蓄積装置６０１において、例えば、画像縮小部２が、復号部６３において復号した動きベクトルを用いてローパスフィルタ処理を行う方向を選択するように構成し、符号化部３が、復号部６３において復号した動きベクトルを動きベクトル変換部１５で変換して符号化処理に用い、画像高解像度化部６が、復号部５が復号した動きベクトルを用いて高解像度化処理を行うように構成する。この場合は、図６に示す映像蓄積装置６０１における各処理を、動き探索を行うことなく実現することができる。よって、動き探索処理を行うハードウェアを省略することが可能となり、より高圧縮率で映像信号を記録し、ノイズ等の画質劣化の少ない高解像度映像を生成する映像蓄積装置をより安価に実現することが可能となる。
【００８７】
以上説明したとおり、実施例２に係る映像蓄積装置６０１は、入力された映像信号に対して、画像を縮小し、折り返し歪みを動き方向よりも動き方向以外に方向についてより低減するローパスフィルタ処理を施し、符号化してより小さいデータ量に圧縮して蓄積部に記録する。さらに蓄積部に記録された映像信号を復号し、映像の動き方向について折り返し歪みを低減して高解像度化することにより、ノイズ等の画質劣化の少ない高解像度映像を生成することが可能となる。
【００８８】
また、以上説明した本発明の実施例２に係る映像蓄積装置６０１によれば、映像信号を縮小してより高い圧縮率で記録したのち、ノイズ等の画質劣化の少ない高解像度映像として表示または出力することが可能となる。
【実施例３】
【００８９】
図７に本発明の実施例３に係る映像送受信システムの一例を示す。実施例３に係る映像送受信システムは、実施例１に係る映像送受信システムと異なり、送信側では映像中の動き方向に応じた選択的なローパスフィルタ処理を行わず、画像を縮小して送信する。受信側では、送信した縮小画像について、高解像度化処理を行ったのち、映像中の動き方向以外の方向にローパスフィルタ処理を行うことによって、ノイズ等の画質劣化の少ない高解像度映像の生成を可能としたものである。
【００９０】
実施例３に係る送信装置７００は、実施例１に係る送信装置１００と異なる画像縮小部７１を有する。ここで、画像縮小部７１は、実施例１に係る画像縮小部２と異なり、映像の動きに応じたローパスフィルタ処理を行わず、折り返し成分を含んだ縮小画像を生成するものである。
【００９１】
実施例３に係る送信装置７００のその他の構成は、実施例１に係る送信装置１００と同様であるため、説明を省略する。
【００９２】
なお、実施例１と同じく、画像高解像度化部６は、復号部５が復号した符号化ストリームに含まれる動きベクトルを用いて、画像高解像度化処理に用いてもよい。この場合は、図１１に示される画像高解像度化部６の位置推定部１１０１での動き探索処理を省くことができ、受信装置１０１における処理量を低減することができる。
【００９３】
次に、実施例３に係る受信装置７０１は、実施例１に係る受信装置１０１と異なる動きベクトル取得部７２及び画像補正部７３を有する。
【００９４】
ここで、動きベクトル取得部７２は、復号部５から、復号した信号に含まれる動きベクトル情報を取得する。これは、送信装置７００の符号化部３が生成する符号化ストリームに含めた動きベクトル情報である。
【００９５】
または、動きベクトル取得部７２は、図画像高解像度化部６の位置推定部１１０１にて算出した動きベクトル情報（サンプリング位相差θ1102）を取得する。
【００９６】
動きベクトル取得部７２が取得する動きベクトル情報は、画像高解像度化部６により高解像度化処理を行う前の画像サイズで算出されたものである。したがって、動きベクトル取得部７２は、取得した動きベクトル情報を画像高解像度化部６の処理後の画像サイズに用いることができるように、画像高解像度化部６により高解像度化処理による画像サイズの拡大比率に合わせて動きベクトルのサイズの変換処理を行う。動きベクトル取得部７２は、サイズ変換処理を施した動きベクトルを画像補正部７３に入力する。
【００９７】
この動きベクトル取得部７２による動きベクトル情報の取得と、動きベクトルのサイズ変換処理により、画像補正部は７３では、動きベクトルの利用にあたり、新たに動き探索を行う必要がなくなり処理量を低減することができる。
【００９８】
次に、画像補正部７３について説明する。画像補正部７３は、画像高解像度化部６が生成した高解像度映像に対して、画像の補正処理を行う。以下に詳細に説明する。
【００９９】
まず、実施例１の映像送受信システムと異なり、送信装置７００から送信される映像信号は、映像中の動き方向に応じたローパスフィルタ処理は行わない。したがって、画像高解像度化部６に入力される画像信号には、画像中の各方向に折り返し成分が含まれている。
【０１００】
ここで、画像高解像度化部６は、実施例１にて説明したとおり、映像信号中の動き方向の折り返し歪みを低減して、当該動き方向について解像度を向上させる。したがって、画像高解像度化部６が生成する高解像度映像は、動き方向の折り返し歪みは低減されるが、動き方向以外の方向の折り返し歪みは低減されずに残留することとなる。
【０１０１】
そこで、画像補正部７３は、画像高解像度化部６が生成する高解像度映像にローパスフィルタ処理を行うことにより、折り返し歪みを低減する。しかし、このとき映像の動き方向までローパスフィルタ処理を行ってしまうと、画像高解像度化部６が高解像度化した高周波成分まで除去されてしまう。この場合、画像高解像度化部６における高解像度化の効果が低減することとなる。
【０１０２】
この効果の低減を防止するために、実施例３の画像補正部７３では、動きベクトル取得部７２から取得した動きベクトルを用いて、映像の動き方向以外の方向に適切なローパスフィルタ処理を施す。これにより、実施例３の画像補正部７３は、画像高解像度化部６における高解像度化の効果をより維持しながら、残留した折り返し成分を低減し、ノイズ等の画質劣化の少ない高解像度映像を生成することが可能となる。
【０１０３】
次に図８を用いて、実施例３に係る受信装置７０１の画像補正部７３の詳細を説明する。
【０１０４】
画像補正部７３に入力された画像信号は、複数の特性の異なる空間ローパスフィルタ８１に並列に入力され、そのローパスフィルタ８１からの出力は、選択部８２により一つ選択され出力される。ここで、ローパスフィルタ８１は、実施例１のローパスフィルタ２１と同様に、それぞれ、方向や制限帯域の特性が異なるものである。このとき、選択部８２は動きベクトル取得部７２から入力される動きベクトルなどの動き情報を用いて、複数のローパスフィルタ８１の出力から、映像信号の動き方向以外の方向に対して帯域を制限するローパスフィルタ処理を施す。
【０１０５】
画像補正部７３に入力される映像信号の動き方向以外の方向には、折り返し歪みが残留している。よって、上記選択部８２の処理により、実施例３に係る受信装置７０１は、画像高解像度化部６により高解像度化した動き方向の高周波成分を残しながら、動き方向以外の折り返し歪みを低減することにより、ノイズ等の画質劣化の少ない高解像度映像を生成することが可能となる。
【０１０６】
なお、実施例３に係る画像補正部７３は、実施例１に係る画像縮小部２と異なり、画像縮小処理は行わないため、画像補正部７３の選択部８２は、画像縮小部２の選択部２２と異なり、画素値の間引き処理は行わない。
【０１０７】
また、実施例３に係る画像補正部７３の別の構成例として、図９に示すように構成してもよい。図９の係数発生部９１、空間ローパスフィルタ９２は、それぞれ、図４に示す実施例１の係数発生部４１、空間ローパスフィルタ４２と同様の処理を行う。すなわち、
係数発生部９１は、動きベクトル取得部７２から取得する動きベクトル情報に基づいてローパスフィルタの係数を発生させる。これらのフィルタ係数は、それぞれ、図８におけるローパスフィルタ８１のLPF1, LPF2等に相当する。空間ローパスフィルタ９２は、ローパスフィルタの係数を、係数発生部９１が算出した係数に切り替える。
【０１０８】
これにより、図９の係数発生部９１、空間ローパスフィルタ９２は、図８の空間ローパスフィルタ８１と選択部８２と同等の動作を実現でき、かつ、複数種類の空間ローパスフィルタを用意する必要がないため、より簡便なハードウェア構成で実現することができる。
【０１０９】
なお、以上説明した実施例３に係る映像送受信システムの受信装置７０１において、例えば、画像高解像度化部６が、復号部５が復号した動きベクトルを用いて高解像度化処理を行い、画像補正部７３が、復号部５が復号した動きベクトルを動きベクトル取得部７２で変換した動きベクトルを用いてローパスフィルタ処理を行う方向を選択するように構成する。この場合は、図７に示す受信装置７０１における各処理を、動き探索を行うことなく実現することができる。よって、動き探索処理を行うハードウェアを省略することが可能となり、ノイズ等の画質劣化の少ない高解像度映像を生成する受信装置をより安価に実現することが可能となる。
【０１１０】
以上説明した本発明の実施例３に係る映像送受信システムまたはその映像送受信方法によれば、送信装置７００において映像信号中の画像を縮小し、送信データ量を小さくし、受信装置７０１において、高解像度化して復元する。このとき、送信装置７００にて、折り返し歪みを残留させたまま映像信号を出力することにより、受信側で折り返し歪みを用いた高解像度化処理を実現することが可能となる。さらに、受信装置７０１において、映像信の動き方向に対して、折り返し歪みを用いた高解像度化処理を行うとともに、映像信の動き方向以外の方向には、ローパスフィルタ処理により折り返し歪みを低減することにより、ノイズ等の画質劣化の少ない高解像度映像を生成することが可能となる。
【０１１１】
すなわち、送信側からより小さい送信データ量の送信を行い、受信側において、より高画質な画像に復元することが可能となる。
【０１１２】
また、以上説明した本発明の実施例３に係る映像送受信システムにおける送信装置７００によれば、映像信号中の画像を縮小し、送信データ量を小さくし、折り返し歪みを残留させたまま映像信号を出力する。これにより、受信側で折り返し歪みを用いた高解像度化処理を実現することが可能な映像信号を、小さいデータ量で送信することが可能となる。
【０１１３】
また、以上説明した本発明の実施例３に係る映像送受信システムにおける受信装置７０１によれば、折り返し歪みを含む映像信号を入力し、映像の動き方向について折り返し歪みを低減して高解像度化し、映像の動き方向以外についてはローパスフィルタにより折り返し歪みを低減することにより、ノイズ等の画質劣化の少ない高解像度映像を生成することが可能となる。
【実施例４】
【０１１４】
図１０に本発明の実施例４に係る映像蓄積装置１０００の一例を示す。実施例４に係る映像蓄積装置１０００は、実施例２に係る映像蓄積装置と異なり、蓄積部６４に記録する前には、映像中の動き方向に応じた選択的なローパスフィルタ処理を行わず、画像を縮小する。蓄積部６４に記録した映像を再生する際には、縮小画像について高解像度化処理を行ったのち、映像中の動き方向以外の方向にローパスフィルタ処理を行うことによって、ノイズ等の画質劣化の少ない高解像度映像を生成を可能としたものである。
【０１１５】
ここで、映像蓄積装置１０００を構成する部分のうち、映像信号入力部１、受信部１２、ネットワークインターフェース１４、撮像部６１、スイッチ６２、復号部６３、蓄積部６４、符号化部３、復号部５、画像高解像度化部６、画像メモリ９、表示部１０、映像信号出力部７は、実施例２に係る映像蓄積装置６０１における各部と同様の部分である。よって、これらの詳細な説明は省略する。
【０１１６】
以下、実施例４に係る映像蓄積装置１０００が実施例２に係る映像蓄積装置６０１と相違する点について説明する。
【０１１７】
まず、映像信号入力部１、受信部１２、ネットワークインターフェース１４、撮像部６１、スイッチ６２及び復号部６３までの動作は、実施例２に係る映像蓄積装置６０１と同様である。
【０１１８】
画像縮小部７１は、実施例３に係る送信装置７００の画像縮小部７１と同様のものである。すなわち、画像縮小部７１は、実施例２に係る映像蓄積装置６０１の画像縮小部２とは異なり、映像の動きに応じたローパスフィルタ処理を行わず、折り返し成分を含んだ縮小画像を生成する。
【０１１９】
符号化部３は、画像縮小部７１が生成した縮小画像からなる映像信号を映像符号化し、蓄積部６４に記録する。
【０１２０】
なお、別の構成例としては、復号部６３が復号した動きベクトルを動きベクトル変換部１５で変換して、符号化部３における符号化処理に用いてもよい。
【０１２１】
以上説明したとおり、実施例４に係る映像蓄積装置１０００は、映像信号中の画像を縮小した後に記録する。そのため、映像信号をそのまま符号化し蓄積する場合に比べ、高い圧縮率で記録することが可能となる。
【０１２２】
次に、復号部５は、蓄積部６４に記録された符号化映像信号を復号する。復号した映像信号は、画像メモリ９に記録される。画像高解像度化部６は、画像メモリ９に記録される映像信号に含まれる複数の画像に対して実施例１と同様の処理を行い、高解像度映像を生成する。画像高解像度化部６の処理の詳細は、実施例１にて既に説明したため、説明を省略する。
【０１２３】
なお、実施例１と同じく、画像高解像度化部６は、復号部５が復号した符号化ストリームに含まれる動きベクトルを用いて、画像高解像度化処理に用いてもよい。この場合は、図１１に示される画像高解像度化部６の位置推定部１１０１での動き探索処理を省くことができ、受信装置１０１における処理量を低減することができる。
【０１２４】
ただし、実施例４に係る映像蓄積装置１０００においては、蓄積部６４に記録された映像信号には、動き方向に関わらず、折り返し歪みが残留したままである。したがって、画像高解像度化部６の高解像度化処理により、映像信号は動き方向に対しては高解像度化と折り返し歪みの低減されるが、映像信号は動き方向以外の方向については、折り返し歪みが残留する。
【０１２５】
そこで、実施例４に係る映像蓄積装置１０００においては、実施例３の受信装置７０１と同様の画像補正部７３の処理により、映像信号は動き方向以外の方向についてローパスフィルタ処理を行うことにより、折り返し歪みを低減する。画像補正部７３の詳細については、実施例３において既に説明したため、説明を省略する。
【０１２６】
なお、動きベクトル取得部７２の処理についても、実施例３の受信装置７０１と同様であるため、説明を省略する。
【０１２７】
最後に、生成した高解像度映像を表示部１０が表示する。または、生成した高解像度映像を映像信号出力部７が例えば他の機器などに出力する。
【０１２８】
なお、以上説明した実施例４に係る映像蓄積装置１０００において、例えば、符号化部３が、復号部６３において復号した動きベクトルを動きベクトル変換部１５で変換して符号化処理に用い、画像高解像度化部６が、復号部５が復号した動きベクトルを用いて高解像度化処理を行い、画像補正部７３が、復号部５が復号した動きベクトルを動きベクトル取得部７２で変換した動きベクトルを用いてローパスフィルタ処理を行う方向を選択するように構成する。この場合は、図１０に示す映像蓄積装置１０００における各処理を、動き探索を行うことなく実現することができる。よって、動き探索処理を行うハードウェアを省略することが可能となり、より高圧縮率で映像信号を記録し、ノイズ等の画質劣化の少ない高解像度映像を生成する映像蓄積装置をより安価に実現することが可能となる。
【０１２９】
以上説明したとおり、実施例４に係る映像蓄積装置１０００によれば、入力された映像信号に対して画像を縮小し、折り返し成分残留させたまま符号化する。これにより、より小さいデータ量で蓄積部に記録する。さらに蓄積部に記録された映像信号を復号し、映像の動き方向については折り返し歪みを低減して高解像度化し、映像の動き方向以外の方向については、ローパスフィルタ処理を行うことにより折り返し歪みを低減し、ノイズ等の画質劣化の少ない高解像度映像を生成することが可能となる。
【０１３０】
また、以上説明した本発明の実施例４に係る映像蓄積装置１０００によれば、映像信号を縮小してより高い圧縮率で記録したのち、ノイズ等の画質劣化の少ない高解像度映像として表示または出力することが可能となる。
【図面の簡単な説明】
【０１３１】
【図１】本発明の一実施例における映像送受信システムの一例の説明図である。
【図２】本発明の一実施例における画像縮小部の一例の説明図である。
【図３】本発明の一実施例におけるローパスフィルタの係数の一例の説明図である。
【図４】本発明の一実施例における画像縮小部の一例の説明図である。
【図５】映像中の物体が水平方向のみに動く映像の例を示す図である。
【図６】本発明の一実施例における映像蓄積装置の一例の説明図である。
【図７】本発明の一実施例における映像送受信システムの一例の説明図である。
【図８】本発明の一実施例における画像補正部の一例の説明図である。
【図９】本発明の一実施例における画像補正部の一例の説明図である。
【図１０】本発明の一実施例における映像蓄積装置の一例の説明図である。
【図１１】本発明の一実施例における画像高解像度化部の一例の説明図である。
【図１２】本発明の一実施例における高解像度化処理の説明図である。
【図１３】本発明の一実施例における高解像度化処理の説明図である。
【図１４】本発明の一実施例における高解像度化処理の説明図である。
【図１５】本発明の一実施例におけるアップレート器の説明図である。
【図１６】本発明の一実施例におけるアップレート器の説明図である。
【図１７】本発明の一実施例における位相シフト器の説明図である。
【図１８】本発明の一実施例における位相シフト器の説明図である。
【図１９】本発明の一実施例における係数決定器の説明図である。
【符号の説明】
【０１３２】
１  映像信号入力部、２  画像縮小部、３  符号化部、４  ネットワーク、５  復号部、６  画像高解像度化部、７  映像信号出力部、８  動き探索部、９  画像メモリ、１０  表示部、１１  送信部、１２  受信部、１３  ネットワークインターフェース部、１４  ネットワークインターフェース部、１５  動きベクトル変換部、２１  ローパスフィルタ、２２  選択部、４１  係数発生部、４２  ローパスフィルタ、４３  画素間引き部、５１  
画像中の物体（被写体）、６１  撮像部、６２  スイッチ、６３  復号部、６４  蓄積部、７１  画像縮小部、７２  動きベクトル取得部、７３  画像補正部、８１  ローパスフィルタ、８２  選択部、９１  係数発生部、９２  ローパスフィルタ、１００  送信装置、１０１  受信装置、６００  映像蓄積装置、７００  送信装置、７０１  受信装置、１０００  映像蓄積装置、１１００  入力部、１１０１  位置推定部、１１０３  アップレート器、１１０４  アップレート器、１１０５  遅延器、１１０６  ヒルベルト変換器、１１０７  遅延器、１１０８  ヒルベルト変換器、１１０９  係数決定器、１１１０  乗算器、１１１１  乗算器、１１１２  乗算器、１１１３  乗算器、１１１４  加算器、１１１５  動き補償・アップレート部、１１１６  位相シフト部、１１１７  折返し成分除去部
【図１】
0004876048.tif 000002
【図２】
0004876048.tif 000003
【図３】
0004876048.tif 000004
【図４】
0004876048.tif 000005
【図５】
0004876048.tif 000006
【図６】
0004876048.tif 000007
【図７】
0004876048.tif 000008
【図８】
0004876048.tif 000009
【図９】
0004876048.tif 000010
【図１０】
0004876048.tif 000011
【図１１】
0004876048.tif 000012
【図１２】
0004876048.tif 000013
【図１３】
0004876048.tif 000014
【図１４】
0004876048.tif 000015
【図１５】
0004876048.tif 000016
【図１６】
0004876048.tif 000017
【図１７】
0004876048.tif 000018
【図１８】
0004876048.tif 000019
【図１９】
0004876048.tif 000020