(57)【要約】  【課題】  複数の低解像度の入力画像の画像データを送信装置から受信装置へ送信するときに、ネットワークの通信負荷を低減させるとともに転送レートを安定させることができ、超解像処理により高解像度の出力画像を生成することのできる超解像処理システムを提供する。  【解決手段】  超解像処理システム１は、超解像処理に用いられる複数の低解像度の入力画像の画像データを送信する送信装置２と、送信装置２から送信された複数の低解像度の入力画像の画像データを受信する受信装置４を備える。送信装置２は、低解像度の入力画像を複数の矩形領域に分割し、複数の矩形領域から高ビットレート領域を選択して、高ビットレートで送信する。受信装置４は、送信装置２から送信された複数の低解像度の入力画像の画像データを受信し、複数の低解像度の入力画像から高解像度の出力画像を生成する超解像処理を行う。【選択図】  図１
2013157836.tif 000002
【特許請求の範囲】
【請求項１】
超解像処理に用いられる複数の第１解像度の入力画像の画像データを送信する送信装置と、前記送信装置から送信された前記複数の第１解像度の入力画像の画像データを受信する受信装置とを備え、前記複数の第１解像度の入力画像から当該第１解像度よりも高解像の第２解像度の出力画像を生成する超解像処理システムであって、
前記送信装置は、
前記第１解像度の入力画像を、複数の矩形領域に分割する領域分割部と、
前記複数の矩形領域から、所定の矩形領域を選択する領域選択部と、
選択された矩形領域の画像データを、選択されなかった矩形領域の画像データより高ビットレートで送信するデータ送信部と、
を備え、
前記受信装置は、
前記送信装置から送信された前記入力画像の画像データを受信するデータ受信部と、
前記複数の第１解像度の入力画像から前記第２解像度の出力画像を生成する超解像処理を行う超解像処理部と、
を備えたことを特徴とする超解像処理システム。
【請求項２】
前記領域選択部は、前記入力画像に含まれる注目領域を、前記所定の矩形領域として選択することを特徴とする請求項１に記載の超解像処理システム。
【請求項３】
前記領域選択部は、前記入力画像の中心領域を、前記所定の矩形領域として選択することを特徴とする請求項２に記載の超解像処理システム。
【請求項４】
前記領域選択部は、前記入力画像に含まれる動き領域を、前記所定の矩形領域として選択することを特徴とする請求項２に記載の超解像処理システム。
【請求項５】
前記領域選択部は、前記超解像処理により一つの前記第２解像度の出力画像を生成するための前記複数の第１解像度の入力画像から、それぞれ所定の選択順で選ばれた矩形領域を、前記所定の矩形領域として選択することを特徴とする請求項１ないし請求項４のいずれかに記載の超解像処理システム。
【請求項６】
前記領域選択部は、前記超解像処理により一つの前記第２解像度の出力画像を生成するための前記複数の第１解像度の入力画像から、それぞれランダムに選ばれた矩形領域を、前記所定の矩形領域として選択することを特徴とする請求項１ないし請求項４のいずれかに記載の超解像処理システム。
【請求項７】
前記超解像処理部は、前記複数の第１解像度の入力画像のうち、前記超解像処理が施される領域に前記所定の矩形領域が含まれている入力画像を用いて、前記超解像処理を行うことを特徴とする請求項１ないし請求項６のいずれかに記載の超解像処理システム。
【請求項８】
複数の第１解像度の画像からより高解像の第２解像度の画像を生成する超解像処理装置に、前記複数の第１解像度の画像の画像データを送信する送信装置であって、
前記第１解像度の画像を、複数の矩形領域に分割する領域分割部と、
前記複数の矩形領域から、所定の矩形領域を選択する領域選択部と、
選択された矩形領域の画像データを、選択されなかった矩形領域の画像データより高ビットレートで送信するデータ送信部と、
を備えたことを特徴とする送信装置。
【請求項９】
複数の第１解像度の画像からより高解像の第２解像度の画像を生成する超解像処理装置へ前記複数の第１解像度の画像を送信する画像送信方法であって、
前記第１解像度の画像を、複数の矩形領域に分割し、
前記複数の矩形領域から、所定の矩形領域を選択し、
選択された矩形領域の画像データを、選択されなかった矩形領域の画像データより高ビットレートで送信することを特徴とする画像送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の低解像度の入力画像から高解像度の出力画像を生成する超解像処理システムに関し、特に、複数の低解像度の入力画像の画像データを送信装置から受信装置へ送信する技術に関するものである。
【背景技術】
【０００２】
従来、超解像処理技術を用いて動画像や静止画像の高解像度化を行う装置が知られている（例えば特許文献１参照）。超解像処理によれば、複数枚の入力画像（低解像度の画像）から、その入力画像以上の解像度を持つ１枚の出力画像（高解像度の画像）を生成することができる。
【０００３】
また、従来、複数の低解像度の入力画像の画像データを送信装置から受信装置へ送信し、受信装置で超解像処理を行って高解像度の出力画像を生成するシステム（超解像処理システム）も提案されている。そのような超解像処理システムにおいて、複数の低解像度の入力画像の画像データを送信装置から受信装置へ送信する場合に、すべての入力画像の画像データを高ビットレートで送信すれば、超解像処理により高解像度の出力画像を生成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−５５１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、そのような超解像処理システムにおいて、複数の入力画像の画像データを送信装置から受信装置へ送信する場合に、すべての入力画像の画像データを高ビットレートで送信すると、常時、高ビットレートでの送信が行われることになるため、ネットワークの通信負荷が大きいという問題があった（図１４（ａ）参照）。
【０００６】
一方、すべての入力画像の画像データを低ビットレートで送信することも考えられるが、その場合には、ネットワークの通信負荷を小さくすることができるものの、入力画像の高周波成分が損なわれることになり、超解像処理により高解像度の出力画像を生成することが困難になるという問題があった（図１４（ｂ）参照）。
【０００７】
そこで、複数の入力画像のうちの一部（基準となるフレーム数枚）の入力画像の画像データを高ビットレートで送信し、残りの入力画像（例えば、基準フレームとの差分フレームの入力画像）を低ビットレートで送信することも考えられる。しかし、その場合には、高ビットレートと低ビットレートのデータ送信が繰り返されることになるため、転送レートが不安定になるという問題があった（図１４（ｃ）参照）。
【０００８】
本発明は、上記従来の問題を解決するためになされたもので、超解像処理システムにおいて複数の低解像度の入力画像の画像データを送信装置から受信装置へ送信するときに、ネットワークの通信負荷を低減させるとともに転送レートを安定させることができ、さらに、入力画像の高周波成分が損なわれるのを防ぎ、超解像処理により高解像度の出力画像を生成することのできる超解像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の超解像処理システムは、超解像処理に用いられる複数の第１解像度の入力画像の画像データを送信する送信装置と、前記送信装置から送信された前記複数の第１解像度の入力画像の画像データを受信する受信装置とを備え、前記複数の第１解像度の入力画像から当該第１解像度よりも高解像の第２解像度の出力画像を生成する超解像処理システムであって、前記送信装置は、前記第１解像度の入力画像を、複数の矩形領域に分割する領域分割部と、前記複数の矩形領域から、所定の矩形領域を選択する領域選択部と、選択された矩形領域の画像データを、選択されなかった矩形領域の画像データより高ビットレートで送信するデータ送信部と、を備え、前記受信装置は、前記送信装置から送信された前記入力画像の画像データを受信するデータ受信部と、前記複数の第１解像度の入力画像から前記第２解像度の出力画像を生成する超解像処理を行う超解像処理部と、を備えた構成を有している。
【００１０】
この構成により、第１解像度（低解像度）の入力画像が複数の矩形領域に分割され、その複数の矩形領域から所定の矩形として選択された矩形領域の画像データが、選択されなかった矩形領域より高ビットレートで送信される。このように、入力画像の画像データを部分的に高ビットレートで送信することで、常時、比較的低いビットレートでデータ送信が行われるので、ネットワークの通信負荷を低減することができるとともに、転送レートを安定させることができる。さらに、入力画像の高周波成分が損なわれるのを防ぐことができ、超解像処理により第２解像度（高解像度）の出力画像を生成することが可能になる。
【００１１】
また、本発明の超解像処理システムでは、前記領域選択部は、前記入力画像に含まれる注目領域を、前記所定の矩形領域として選択する構成を有している。
【００１２】
この構成により、入力画像に含まれる注目領域が、所定の矩形領域として選択される。注目領域は、ユーザが関心をもって注目している領域であり、超解像処理を必要とする可能性が高い領域である。そのような注目領域について、高周波成分が損なわれるのを防ぐことができ、超解像処理により第２解像度（高解像度）の出力画像を生成することが可能になる。
【００１３】
また、本発明の超解像処理システムでは、前記領域選択部は、前記入力画像の中心領域を、前記所定の矩形領域として選択する構成を有している。
【００１４】
この構成により、入力画像の中心領域が、所定の矩形領域として選択される。入力画像の中心領域には、ユーザが注目している被写体が写されていることが多い。すなわち、入力画像の中心領域は、入力画像に含まれる注目領域であることが多い。したがって、そのような注目領域について、高周波成分が損なわれるのを防ぐことができ、超解像処理により第２解像度（高解像度）の出力画像を生成することが可能になる。
【００１５】
また、本発明の超解像処理システムでは、前記領域選択部は、前記入力画像に含まれる動き領域を、前記所定の矩形領域として選択する構成を有している。
【００１６】
この構成により、入力画像に含まれる動き領域が、所定の矩形領域として選択される。動き領域は、ユーザが注目している被写体であることが多い。すなわち、動き領域は、入力画像に含まれる注目領域であることが多い。したがって、そのような注目領域について、高周波成分が損なわれるのを防ぐことができ、超解像処理により第２解像度（高解像度）の出力画像を生成することが可能になる。
【００１７】
また、本発明の超解像処理システムでは、前記領域選択部は、前記超解像処理により一つの前記第２解像度の出力画像を生成するための前記複数の第１解像度の入力画像から、それぞれ所定の選択順で選ばれた矩形領域を、前記所定の矩形領域として選択する構成を有している。
【００１８】
この構成により、超解像処理により一つの第２解像度（高解像度）の出力画像を生成するための複数の第１解像度（低解像度）の入力画像の画像データが送信されるときに、各入力画像から所定の矩形領域が所定の選択順でそれぞれ選択される。このように、入力画像の画像データを部分的に高ビットレートで送信するときに、所定の矩形領域の位置を変えながら画像データの送信をすることにより、全体として低ビットレートで安定したデータ送信をすることが可能である。
【００１９】
また、本発明の超解像処理システムでは、前記領域選択部は、前記超解像処理により一つの前記第２解像度の出力画像を生成するための前記複数の第１解像度の入力画像から、それぞれランダムに選ばれた矩形領域を、前記所定の矩形領域として選択する構成を有している。
【００２０】
この構成により、超解像処理により一つの第１解像度（高解像度）の出力画像を生成するための複数の第２解像度（低解像度）の入力画像の画像データが送信されるときに、各入力画像から所定の矩形領域がそれぞれランダムに選択される。このように、入力画像の画像データを部分的に高ビットレートで送信するときに、高ビットレート領域の位置を変えながら画像データの送信をすることにより、全体として低ビットレートで安定したデータ送信をすることが可能である。
【００２１】
また、本発明の超解像処理システムでは、前記超解像処理部は、前記複数の第１解像度の入力画像のうち、前記超解像処理が施される領域に前記所定の矩形領域が含まれている入力画像を用いて、前記超解像処理を行う構成を有している。
【００２２】
この構成により、複数の第１解像度（低解像度）の入力画像のうち、超解像処理が施される領域に所定の矩形領域が含まれている入力画像を用いて、効率よく超解像処理を行うことができる。
【００２３】
本発明の送信装置は、複数の第１解像度の画像からより高解像の第２解像度の画像を生成する超解像処理装置に、前記複数の第１解像度の画像の画像データを送信する送信装置であって、前記第１解像度の画像を、複数の矩形領域に分割する領域分割部と、前記複数の矩形領域から、所定の矩形領域を選択する領域選択部と、選択された矩形領域の画像データを、選択されなかった矩形領域の画像データより高ビットレートで送信するデータ送信部と、を備えた構成を有している。
【００２４】
この方法によっても、上記と同様に、第１解像度（低解像度）の入力画像が複数の矩形領域に分割され、その複数の矩形領域から所定の矩形として選択された矩形領域の画像データが、選択されなかった矩形領域より高ビットレートで送信される。このように、入力画像の画像データを部分的に高ビットレートで送信することで、常時、比較的低いビットレートでデータ送信が行われるので、ネットワークの通信負荷を低減することができるとともに、転送レートを安定させることができる。さらに、入力画像の高周波成分が損なわれるのを防ぐことができ、超解像処理により第２解像度（高解像度）の出力画像を生成することが可能になる。
【００２５】
本発明の方法は、複数の第１解像度の画像からより高解像の第２解像度の画像を生成する超解像処理装置へ前記複数の第１解像度の画像を送信する画像送信方法であって、前記第１解像度の画像を、複数の矩形領域に分割し、前記複数の矩形領域から、所定の矩形領域を選択し、選択された矩形領域の画像データを、選択されなかった矩形領域の画像データより高ビットレートで送信する。
【００２６】
この方法によっても、上記と同様に、第１解像度（低解像度）の入力画像が複数の矩形領域に分割され、その複数の矩形領域から所定の矩形として選択された矩形領域の画像データが、選択されなかった矩形領域より高ビットレートで送信される。このように、入力画像の画像データを部分的に高ビットレートで送信することで、常時、比較的低いビットレートでデータ送信が行われるので、ネットワークの通信負荷を低減することができるとともに、転送レートを安定させることができる。さらに、入力画像の高周波成分が損なわれるのを防ぐことができ、超解像処理により第２解像度（高解像度）の出力画像を生成することが可能になる。
【発明の効果】
【００２７】
本発明は、超解像処理システムにおいて、複数の低解像度の入力画像の画像データを送信装置から受信装置へ送信するときに、ネットワークの通信負荷を低減させるとともに転送レートを安定させることができ、さらに、超解像処理により高解像度の出力画像を生成することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施の形態における超解像処理システム（送信装置および受信装置）の構成を示すブロック図
【図２】本発明の第１の実施の形態の送信装置における入力画像の領域分割処理の説明図
【図３】本発明の第１の実施の形態の送信装置における高ビットレート領域の選択順の説明図
【図４】本発明の第１の実施の形態の送信装置における高ビットレート領域の選択（中心領域の選択）の説明図
【図５】本発明の第１の実施の形態の送信装置の動作説明のためのフロー図
【図６】本発明の第１の実施の形態の受信装置の動作説明のためのフロー図
【図７】本発明の第２の実施の形態における超解像処理システム（送信装置および受信装置）の構成を示すブロック図
【図８】本発明の第２の実施の形態の送信装置における動き領域検出処理の説明図
【図９】本発明の第２の実施の形態の送信装置の動作説明のためのフロー図
【図１０】本発明の第３の実施の形態における超解像処理システム（送信装置および受信装置）の構成を示すブロック図
【図１１】本発明の第３の実施の形態の受信装置における位置合わせ処理と超解像処理の説明図
【図１２】本発明の第３の実施の形態の送信装置の動作説明のためのフロー図
【図１３】本発明の第３の実施の形態の受信装置の動作説明のためのフロー図
【図１４】本発明と従来技術との差異の説明図
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態の超解像処理システムについて、図面を用いて説明する。本実施の形態では、監視システム等として用いられる超解像処理システムの場合を例示する。なお、超解像処理は、複数の低解像度の入力画像から高解像度の出力画像を生成する処理である。
【００３０】
（第１の実施の形態）
本発明の第１の実施の形態の超解像処理システムの構成を、図面を参照して説明する。図１は、本実施の形態の超解像処理システムの構成を示すブロック図である。図１に示すように、超解像処理システム１は、超解像処理に用いられる複数の低解像度の入力画像の画像データを送信する送信装置２と、送信装置２からネットワーク３を介して送信された複数の低解像度の入力画像の画像データを受信する受信装置４を備えている。
【００３１】
まず、図１を参照しながら、送信装置２の構成について説明する。図１に示すように、送信装置２は、複数の低解像度の入力画像が入力される画像入力部５と、入力画像の画像データを圧縮（エンコード）するデータ圧縮部６と、画像データの圧縮のための領域割当て処理（後述する）を行う領域割当て部７と、圧縮された入力画像の画像データを送信するデータ送信部８を備えている。
【００３２】
領域割当て部７は、入力画像を複数の矩形領域に分割する領域分割部９と、複数の矩形領域から高ビットレート領域（高ビットレートで送信すべき領域）を選択する領域選択部１０を備えている。データ送信部８は、高ビットレート領域として選択された矩形領域の画像データを、高ビットレート領域以外の矩形領域の画像データより高ビットレートで送信する。
【００３３】
図２は、領域分割部９で行われる処理（入力画像の領域分割処理）の説明図である。図２では、一枚の入力画像が複数の正方形領域（１２枚の矩形領域Ａ〜Ｌ）に等分割された例が図示されているが、本発明の範囲はこれに限定されるものではない。例えば、矩形領域への分割数（枚数）は１２枚に限られず、超解像処理に必要とされる入力画像の枚数（例えば１６枚）に分割されてもよい。また、縦横比が異なる一枚の入力画像が、縦方向および横方向にそれぞれ４等分されてもよく、すなわち、１６枚の長方形領域（縦横比が異なる矩形領域）に分割されてもよい。
【００３４】
図３は、領域選択部１０で行われる処理（高ビットレート領域の選択処理）の説明図である。図３（ａ）に示すように、領域選択部１０は、入力画像のラスタースキャン順に、高ビットレート領域を選択することができる。例えば、第１枚目の入力画像（第１フレーム）で「矩形領域Ａ」を高ビットレート領域に選択し、第２枚目の入力画像（第２フレーム）で「矩形領域Ｂ」を高ビットレート領域に選択し、・・・、第１２枚目の入力画像（第１２フレーム）で「矩形領域Ｌ」を高ビットレート領域に選択する。
【００３５】
また、図３（ｂ）に示すように、領域選択部１０は、ランダムに、高ビットレート領域を選択することができる。例えば、第１枚目の入力画像（第１フレーム）で「矩形領域Ｇ」を高ビットレート領域に選択し、第２枚目の入力画像（第２フレーム）で「矩形領域Ｉ」を高ビットレート領域に選択し、・・・、第１２枚目の入力画像（第１２フレーム）で「矩形領域Ｃ」を高ビットレート領域に選択する。
【００３６】
なお、領域選択部１０は、一つの入力画像から複数の高ビットレート領域を選択してもよい。例えば、矩形領域のメッシュを細かくした場合（矩形領域の数を多くした場合）に、一つの入力画像（一つのフレーム）から複数の高ビットレート領域を選択してもよい。
【００３７】
また、この領域選択部１０は、入力画像に含まれる注目領域を、高ビットレート領域として選択する機能を備えている。例えば、図４に示すように、領域選択部１０は、入力画像の中心領域（矩形領域Ａ〜Ｆ）を、高ビットレート領域として選択することができる。入力画像の中心領域には、ユーザが注目している被写体が写されていることが多い。入力画像の中心領域は、入力画像に含まれる注目領域であることが多いともいえる。
【００３８】
領域割当て部７には、データ圧縮パラメータ（画像データの圧縮に用いられるパラメータ）と、高ビットレート領域位置情報（どの位置の矩形領域を高ビットレート領域に設定するか）が記憶されている。なお、データ圧縮パラメータには、ビットレート数（どのくらいのビットレートに設定するか）、分割数（いくつの矩形領域に分割するか）などが含まれる。
【００３９】
図１に戻って、受信装置４の構成について説明する。図１に示すように、受信装置４は、送信装置２から送信された入力画像の画像データを受信するデータ受信部１１と、受信した画像データを格納しておくデータ格納部１２と、受信した画像データを展開（デコード）するデータ展開部１３を備えている。データ格納部１２には、超解像処理に用いられる複数の入力画像の画像データが格納される。
【００４０】
また、受信装置４は、超解像処理の前処理である位置合わせ処理を行う位置合わせ処理部１４と、位置合わせ処理された複数の入力画像（低解像度の入力画像）から一つの出力画像（高解像度の出力画像）を生成する超解像処理を行う超解像処理部１５と、超解像処理により生成された出力画像（高解像度の出力画像）を出力する画像出力部１６を備えている。
【００４１】
以上のように構成された第１の実施の形態の超解像処理システム１について、図５および図６のフロー図を用いてその動作を説明する。
【００４２】
図５に示すように、本実施の形態の超解像処理システム１の送信装置２から画像データを送信するときには、まず、低解像度の入力画像が送信装置２に入力されると（Ｓ１０）、入力画像が複数の矩形領域に分割され（Ｓ１２）、その複数の矩形領域から高ビットレート領域が選択される（Ｓ１３）。そして、入力画像の画像データの圧縮が行われ（Ｓ１４）、画像データのデータ送信が行われる（Ｓ１５）。このような処理（Ｓ１２〜Ｓ１５の処理）が、超解像処理に用いられるすべての入力画像について完了するまで繰り返される（Ｓ１１）。
【００４３】
図６に示すように、本実施の形態の超解像処理システム１の受信装置４で超解像処理が行われるときには、まず、送信装置２から送信された画像データを受信し（Ｓ２１）、圧縮された画像データの展開を行う（Ｓ２２）。このような処理（Ｓ２１〜Ｓ２２の処理）が、超解像処理に用いられるすべての入力画像について完了するまで繰り返された後（Ｓ２０）、それらの入力画像について位置合わせ処理が行われ（Ｓ２３）、位置合わせが行われた入力画像を用いて超解像処理が行われる（Ｓ２４）。この超解像処理により、複数の低解像度の入力画像から高解像度の出力画像が生成される。
【００４４】
このような第１の実施の形態の超解像処理システム１によれば、複数の低解像度の入力画像の画像データを送信装置２から受信装置４へ送信するときに、ネットワーク３の通信負荷を低減させるとともに転送レートを安定させることができ、さらに、超解像処理により高解像度の出力画像を生成することができる。
【００４５】
すなわち、本実施の形態では、低解像度の入力画像が複数の矩形領域に分割され、その複数の矩形領域から高ビットレート領域として選択された矩形領域の画像データが他の矩形領域より高ビットレートで送信される。このように、入力画像の画像データを部分的に高ビットレートで送信することで、常時、比較的低いビットレートでデータ送信が行われるので、ネットワーク３の通信負荷を低減することができるとともに、転送レートを安定させることができる（図１４（ｄ）参照）。さらに、入力画像の高周波成分が損なわれるのを防ぐことができ、超解像処理により高解像度の出力画像を生成することが可能になる。
【００４６】
また、本実施の形態では、入力画像に含まれる注目領域が、高ビットレート領域として選択される。注目領域は、ユーザが関心をもって注目している領域であり、超解像処理を必要とする可能性が高い領域である。そのような注目領域について、高周波成分が損なわれるのを防ぐことができ、超解像処理により高解像度の出力画像を生成することが可能になる。
【００４７】
例えば、図４に示すように、入力画像の中心領域が、高ビットレート領域として選択される。入力画像の中心領域には、ユーザが注目している被写体が写されていることが多い。すなわち、入力画像の中心領域は、入力画像に含まれる注目領域であることが多い。したがって、そのような注目領域について、高周波成分が損なわれるのを防ぐことができ、超解像処理により高解像度の出力画像を生成することが可能になる。
【００４８】
また、図３（ａ）に示すように、超解像処理により一つの高解像度の出力画像を生成するための複数の低解像度の入力画像の画像データが送信されるときに、各入力画像から高ビットレート領域が所定の選択順でそれぞれ選択される。このように、入力画像の画像データを部分的に高ビットレートで送信するときに、高ビットレート領域の位置を変えながら画像データの送信をすることにより、全体として低ビットレートで安定したデータ送信をすることが可能である。
【００４９】
あるいは、図３（ｂ）に示すように、超解像処理により一つの高解像度の出力画像を生成するための複数の低解像度の入力画像の画像データが送信されるときに、各入力画像から高ビットレート領域がそれぞれランダムに選択される。このように、入力画像の画像データを部分的に高ビットレートで送信するときに、高ビットレート領域の位置を変えながら画像データの送信をすることにより、全体として低ビットレートで安定したデータ送信をすることが可能である。
【００５０】
また、図１１に示すように、複数の低解像度の入力画像のうち、超解像処理が施される領域に高ビットレート領域が含まれている入力画像を用いて、効率よく超解像処理を行うことができる。
【００５１】
（第２の実施の形態）
次に、本発明の第２の実施の形態の超解像処理システムについて説明する。ここでは、第２の実施の形態の超解像処理システムが、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。
【００５２】
図７は、第２の実施の形態の超解像処理システムの構成を示すブロック図である。図７に示すように、本実施の形態では、送信装置２の領域割当て部７が、入力画像に含まれる動き領域を検出する動き領域検出部１７を備えている。この領域割当て部７には、動き領域検出位置（動き領域が検出された位置）の情報が記憶されている。領域選択部１０は、動き領域を含む矩形領域を、高ビットレート領域として選択する。
【００５３】
図８は、動き領域検出処理の説明図である。図８に示すように、本実施の形態では、入力画像に含まれる動き領域が検出され、検出された動き領域の一部分である矩形領域が高ビットレート領域として選択される。図８の例では、あるフレームの入力画像（図８の左側の画像）において４つの矩形領域（動き領域）から１つの矩形領域が高ビットレート領域として選択されている。また、別のフレームの入力画像（図８の右側の画像）において６つの矩形領域（動き領域）から１つの矩形領域が高ビットレート領域として選択されている。なお、高ビットレート領域のサイズが変化すると転送レートが安定しなくなるため、高ビットレート領域のサイズは一定とするのが望ましい。
【００５４】
以上のように構成された第２の実施の形態の超解像処理システム１について、図９のフロー図を用いてその動作を説明する。
【００５５】
図９に示すように、本実施の形態の超解像処理システム１の送信装置２から画像データを送信するときには、まず、低解像度の入力画像が送信装置２に入力されると（Ｓ１０）、その入力画像から動き領域が検出される（Ｓ１６）。つぎに、入力画像が複数の矩形領域に分割され（Ｓ１２）、その複数の矩形領域から高ビットレート領域（動き領域を含む矩形領域）が選択される（Ｓ１３）。そして、入力画像の画像データの圧縮が行われ（Ｓ１４）、画像データのデータ送信が行われる（Ｓ１５）。このような処理（Ｓ１２〜Ｓ１５の処理）が、超解像処理に用いられるすべての入力画像について完了するまで繰り返される（Ｓ１１）。
【００５６】
このような第２の実施の形態の超解像処理システム１によっても、第１の実施の形態と同様の作用効果が奏される。
【００５７】
その上、本実施の形態では、図８に示すように、入力画像に含まれる動き領域の一部分が、高ビットレート領域として選択される。動き領域は、ユーザが注目している被写体であることが多い。すなわち、動き領域は、入力画像に含まれる注目領域であることが多い。したがって、そのような注目領域について、高周波成分が損なわれるのを防ぐことができ、超解像処理により高解像度の出力画像を生成することが可能になる。
【００５８】
（第３の実施の形態）
次に、本発明の第３の実施の形態の超解像処理システムについて説明する。ここでは、第３の実施の形態の超解像処理システムが、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。
【００５９】
図１０は、第３の実施の形態の超解像処理システムの構成を示すブロック図である。図１０に示すように、本実施の形態では、送信装置２が、送信する入力画像の画像データに高ビットレート領域位置情報を付加する領域位置情報付加部１８を備えている。また、受信装置４が、受信した入力画像の画像データから高ビットレート領域位置情報を分離する領域位置情報分離部１９を備えている。
【００６０】
図１１は、位置合わせ処理部１４と超解像処理部１５で行われる処理（位置合わせ処理と超解像処理）の説明図である。図１１に示すように、まず、位置合わせ処理部１４で、超解像処理の前処理である位置合わせ処理が行われる。この例では、第１枚目の画像（図１１（ａ）の左端の画像）を基準画像として、図１１（ｂ）に示すように、各画像の位置合わせ処理が行われる。
【００６１】
つぎに、図１１（ｂ）に示すように、超解像処理部１５で、複数の低解像度の入力画像のうち、超解像処理が施される領域（図１１（ｂ）で太枠で示される）に高ビットレート領域が含まれている入力画像を選択し、選択された入力画像を用いて超解像処理が行われる。なお、超解像処理が施される領域は、ユーザによって指定されてよい。
【００６２】
以上のように構成された第３の実施の形態の超解像処理システム１について、図１２および図１３のフロー図を用いてその動作を説明する。
【００６３】
図１２に示すように、本実施の形態の超解像処理システム１の送信装置２から画像データを送信するときには、まず、低解像度の入力画像が送信装置２に入力されると（Ｓ１０）、入力画像が複数の矩形領域に分割され（Ｓ１２）、その複数の矩形領域から高ビットレート領域が選択される（Ｓ１３）。そして、入力画像の画像データの圧縮が行われ（Ｓ１４）、画像データに高ビットレート領域位置情報を付加した後（Ｓ１７）、画像データのデータ送信が行われる（Ｓ１５）。このような処理（Ｓ１２〜Ｓ１５の処理）が、超解像処理に用いられるすべての入力画像について完了するまで繰り返される（Ｓ１１）。
【００６４】
図１３に示すように、本実施の形態の超解像処理システム１の受信装置４で超解像処理が行われるときには、まず、送信装置２から送信された画像データを受信し（Ｓ２１）、画像データから高ビットレート領域位置情報を分離した後（Ｓ２５）、圧縮された画像データの展開を行う（Ｓ２２）。このような処理（Ｓ２１、Ｓ２５、Ｓ２２の処理）が、超解像処理に用いられるすべての入力画像について完了するまで繰り返された後（Ｓ２０）、それらの入力画像について位置合わせ処理が行われ（Ｓ２３）、位置合わせが行われた入力画像を用いて超解像処理が行われる（Ｓ２４）。この超解像処理により、複数の低解像度の入力画像から高解像度の出力画像が生成される。
【００６５】
このような第３の実施の形態の超解像処理システム１によっても、第１の実施の形態と同様の作用効果が奏される。
【００６６】
その上、本実施の形態では、送信装置２が、送信する入力画像の画像データに高ビットレート領域位置情報を付加し、受信装置４が、受信した入力画像の画像データから高ビットレート領域位置情報を分離し、その高ビットレート領域位置情報に基づいて効率よく超解像処理を行うことができる。この場合、どの矩形領域が高ビットレート領域に設定されているかを、高ビットレート領域位置情報に基づいて容易に把握することができる。
【００６７】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００６８】
以上のように、本発明にかかる超解像処理システムは、複数の低解像度の入力画像の画像データを送信装置から受信装置へ送信するときに、ネットワークの通信負荷を低減させるとともに転送レートを安定させることができ、さらに、入力画像の高周波成分が損なわれるのを防ぎ、超解像処理により高解像度の出力画像を生成することができるという効果を有し、監視システム等として用いられ、有用である。
【符号の説明】
【００６９】
１  超解像処理システム
２  送信装置
３  ネットワーク
４  受信装置
５  画像入力部
６  データ圧縮部
７  領域割当て部
８  データ送信部
９  領域分割部
１０  領域選択部
１１  データ受信部
１２  データ格納部
１３  データ展開部
１４  位置合わせ処理部
１５  超解像処理部
１６  画像出力部
１７  動き領域検出部
１８  領域位置情報付加部
１９  領域位置情報分離部
【図１】
2013157836.tif 000003
【図２】
2013157836.tif 000004
【図３】
2013157836.tif 000005
【図４】
2013157836.tif 000006
【図５】
2013157836.tif 000007
【図６】
2013157836.tif 000008
【図７】
2013157836.tif 000009
【図８】
2013157836.tif 000010
【図９】
2013157836.tif 000011
【図１０】
2013157836.tif 000012
【図１１】
2013157836.tif 000013
【図１２】
2013157836.tif 000014
【図１３】
2013157836.tif 000015
【図１４】
2013157836.tif 000016