(57)【要約】【課題】同時アクセスした各クライアント端末に高品質な画像を提供すること。【解決手段】電子的に記録された画像をサーバ１０経由でクライアント端末１２に配信する画像配信システムにおいて、サーバ１０側の高解像度化処理ユニット２０において、デジタルカメラ１６又はオンデマンドビデオデータ１８に記録された単数または複数枚の画像を用いてクライアント端末１２から要求された所望の画像の高解像度画像を生成する際、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータをクライアント端末１２からサーバ１０に送信し、サーバ１０側では、上記クオリティパラメータにより画質を制御した高解像度画像を生成して、クライアント端末１２に配信する。【選択図】      図１
2008067316.tif 000002
【特許請求の範囲】
【請求項１】
電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおいて、
上記サーバは、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を用いて、上記クライアント端末が所望の画像について上記画像記録部に記録された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
を有し、
上記クライアント端末は、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記サーバに対して送信するパラメータ送信手段と、
上記サーバ経由で、上記画像記録部に記録された低解像度画像、または、上記高解像度化処理ユニットで生成された上記高解像度画像を、静止画像、または、動画像として閲覧可能な画像表示手段と、
を有することを特徴とする画像配信システム。
【請求項２】
上記所望のパラメータは、
上記クライアント端末と上記サーバとの間のデータ転送速度を示す通信レートパラメータ、
上記クライアント端末が上記高解像度化処理ユニットでの高解像度化を指定するための高解像度化要求パラメータ、
上記クライアント端末が上記高解像度化処理ユニットで生成される上記高解像度画像のクオリティを制御するための一部のまたは全てのクオリティパラメータ、
のうち少なくとも一つを有することを特徴とする請求項１に記載の画像配信システム。
【請求項３】
上記クオリティパラメータは、
上記高解像度化処理ユニットで生成された上記高解像度画像の上記クライアント端末の上記画像表示手段での表示時の画質を示す画質設定パラメータ、
上記高解像度化処理ユニットで生成する上記高解像度画像の画像サイズを示す高解像度画像サイズパラメータ、
上記所望の画像における上記高解像度化処理ユニットで高解像度化したい領域を指定するための高解像度化位置要求パラメータ、
のうち少なくとも一つを有することを特徴とする請求項１に記載の画像配信システム。
【請求項４】
上記高解像度化処理ユニットの上記高解像度画像生成手段は、
単数又は複数枚の画像を使用し、上記画像記録部に記録された複数のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された複数のフレームを合成した像を生成する画像合成手段と、
を備えることを特徴とする請求項１に記載の画像配信システム。
【請求項５】
上記高解像度化処理ユニットの上記クオリティ制御手段は、上記クライアント端末から送信された上記所望のパラメータにより、上記クライアント端末が所望する画像に対して低解像度画像表示時のフレームレートより低いフレームレートに切り替えて、上記高解像度画像生成手段に上記高解像度画像を上記クライアント端末向けに生成させることを特徴とする請求項１に記載の画像配信システム。
【請求項６】
上記高解像度化処理ユニットの上記高解像度画像生成手段は、上記高解像度画像を生成するための複数種類の高解像度化演算手段を有し、
上記高解像度化処理ユニットの上記クオリティ制御手段は、上記クライアント端末から送信された上記所望のパラメータに基づき、画質と演算速度の優先度を判断し、上記複数種類の高解像度化演算手段のうち、高解像度画像生成時に最適な種類の高解像度化演算手段を選択することを特徴とする請求項１に記載の画像配信システム。
【請求項７】
上記複数種類の高解像度化演算手段には、画質が多少低下しても高速に高解像度化演算を行う高速演算手段を含み、
上記クオリティ制御手段は、上記クライアント端末から送信された上記所望のパラメータに基づき判断された画質と演算速度の優先度が高速演算を優先すると判断された場合、上記複数種類の高解像度化演算手段のうち上記高速演算手段を選択することを特徴とする請求項６に記載の画像配信システム。
【請求項８】
上記高速演算手段は、複数枚の記録した画像を用いて、高解像度化する際に、使用する画像の枚数を変更できることを特徴とする請求項７に記載の画像配信システム。
【請求項９】
上記高速演算手段は、上記複数枚の画像を使用し、上記画像記録部に記録された複数のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段の自由度を変更できることを特徴とする請求項７に記載の画像配信システム。
【請求項１０】
上記高速演算手段は、高解像度化する際に、高解像度化に必要な反復演算の繰り返し回数を変更できることを特徴とする請求項７に記載の画像配信システム。
【請求項１１】
上記高速演算手段は、
高解像度化する際に、一旦、必要とする解像度より低い解像度で高解像度化して中間高解像度画像を生成し、
該生成した中間高解像度画像を再度、高速な別手法で高解像度化して、必要とする解像度にすることを特徴とする請求項７に記載の画像配信システム。
【請求項１２】
上記高速演算手段は、高解像度化する際に、高解像度化に必要な畳み込み演算のカーネルサイズを変更できることを特徴とする請求項７に記載の画像配信システム。
【請求項１３】
上記高解像度化処理ユニットの上記クオリティ制御手段は、上記クライアント端末が送信する上記所望のパラメータにより、上記高解像度画像生成手段によって生成した高解像度画像を圧縮符号化、または、ダウンサンプリングしてデータ容量を減らした画像データを上記クライアント端末向けに生成する送信画像生成手段を有することを特徴とする請求項１に記載の画像配信システム。
【請求項１４】
上記クライアント端末から要求された所望の画像が低解像度の連続画像の場合、上記高解像度化処理ユニットの上記動き補償手段は、上記サーバから上記クライアント端末へのデータ転送に先立ち、上記低解像度の連続画像を使用して、予めフレーム間の相対的な位置関係を補償する動き補償処理を開始しておくことを特徴とする請求項４に記載の画像配信システム。
【請求項１５】
上記サーバは、上記クライアント端末の上記画像表示手段に連続動画像を遅延表示させるように、上記クライアント端末へのデータ転送を遅延制御することを特徴とする請求項１４に記載の画像配信システム。
【請求項１６】
電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおいて、
上記サーバは、上記クライアント端末から要求された所望の画像を記録する画像記録部を備え、上記クライアント端末からの画像要求に応じて、上記画像記録部から該当する単数若しくは複数枚の連続する画像を抽出して、上記クライアント端末に配信し、
上記クライアント端末は、
上記サーバより配信された上記単数若しくは複数枚の連続する画像を用いて当該クライアント端末が所望の画像について上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を備えたことを特徴とする画像配信システム。
【請求項１７】
上記高解像度化処理ユニットの上記高解像度画像生成手段は、
単数又は複数枚の画像を使用し、上記サーバの上記画像記録部に記録された複数のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された複数のフレームを合成した像を生成する画像合成手段と、
を備えることを特徴とする請求項１６に記載の画像配信システム。
【請求項１８】
当該クライアント端末から要求される所望の画像が低解像度の連続画像の場合、上記高解像度化処理ユニットの上記動き補償手段は、上記画像表示手段への表示に先立ち、上記サーバから当該クライアント端末にデータ転送された上記低解像度の連続画像を使用して、予めフレーム間の相対的な位置関係を補償する動き補償処理を開始しておくことを特徴とする請求項１７に記載の画像配信システム。
【請求項１９】
上記高解像度化処理ユニットは、上記画像表示手段に連続動画像を遅延表示させるように、上記サーバからデータ転送された上記低解像度の連続画像を遅延制御することを特徴とする請求項１８に記載の画像配信システム。
【請求項２０】
電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおけるサーバであって、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を用いて、上記クライアント端末が所望の画像について上記画像記録部に記録された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
を具備することを特徴とするサーバ。
【請求項２１】
上記クオリティパラメータは、その一部または全部を含む上記クライアント端末が指示可能なパラメータのうち、上記クライアント端末からの指示に従って設定されたパラメータを含むことを特徴とする請求項２０に記載のサーバ。
【請求項２２】
請求項２０または２１に記載のサーバから所望の画像を配信されるクライアント端末であって、
上記クオリティパラメータの一部または全部を含むクライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記サーバに対して送信するパラメータ送信手段と、
上記サーバ経由で、上記画像記録部に記録された低解像度画像、または、上記高解像度化処理ユニットで生成された高解像度画像を、静止画像、または、動画像として閲覧可能な画像表示手段と、
を具備することを特徴とするクライアント端末。
【請求項２３】
所望の画像に係る単数若しくは複数枚の連続する画像を抽出して、サーバから配信された画像データを受信するクライアント端末であって、
上記サーバより配信された上記単数または複数枚の連続する画像を用いて上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を具備することを特徴とするクライアント端末。
【請求項２４】
電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおいて、
上記サーバは、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を使用し、上記クライアント端末が指示可能なパラメータに応じて、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して、上記クライアント端末に配信する配信手段と、
を備え、
上記クライアント端末は、
上記サーバより配信された上記単数または複数枚の画像を使用し、上記配信手段によって付加された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、該動き補償手段で補償された上記複数の画像を合成した像を生成することで、当該クライアント端末が所望の画像について上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を備えたことを特徴とする画像配信システム。
【請求項２５】
電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおけるサーバであって、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を使用し、上記クライアント端末が指示可能なパラメータに応じて、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加する付加情報付加手段と、を備えた高解像度化処理ユニットと、
を具備することを特徴とするサーバ。
【請求項２６】
請求項２５に記載のサーバから所望の画像を配信されるクライアント端末であって、
上記サーバより配信された上記単数または複数枚の画像を使用し、上記配信手段によって付加された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、該動き補償手段で補償された上記複数の画像を合成した像を生成することで、当該クライアント端末が所望の画像について上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を具備することを特徴とするクライアント端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の低解像度画像を用いた高解像度化処理による高解像度画像の配信システム、及び、そのような画像配信システムを構成するサーバ及びクライアント端末に関する。
【背景技術】
【０００２】
特許文献１には、複数枚の画像から高品位な画像を生成する技術として、複数枚の位置ずれを持つ低解像度画像を用いて、高解像度画像を生成する超解像処理の手法が開示されている。
【０００３】
また、特許文献２には、クライアント端末からのコマンドをサーバ側のアダプタ装置で受信して、コマンドにあわせて高解像度画像生成手段（カメラ）を制御するという技術が開示されている。
【特許文献１】特許第２８２８１３８号公報
【特許文献２】特開２００３−２７４２５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述の特許文献１に開示されている技術のような超解像処理は、多大な演算時間を要する。そのため、そのような超解像処理を画像配信システムに適用すると、複数のクライアント端末が同時に高解像度化要求をした場合に、高解像度化処理ユニットやサーバに大きな負荷がかかり、結果的に、クライアント端末の高解像度画像表示を円滑に行うことができなくなる。
【０００５】
また、前述の特許文献２に開示されている技術の場合、クライアント端末からのコマンドにより、アダプタ装置が、接続したカメラで撮影した高解像度画像を間引いて低解像度画像にし動画像として複数フレーム配信したり、撮影された高解像度画像を静止画として配信するなどして、クライアント端末が制御できるようにしている。しかしながら、この場合、高解像度に撮像できる撮像素子が内蔵されたカメラを使用しなければならないため、サーバ側の設備が高価になる。また、接続したカメラで撮像した時の撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域の高解像度画像を得られないし、高解像度画像を複数枚表示するような動画像表示ができない。
【０００６】
本発明は、上記の点に鑑みてなされたもので、クライアント端末の高解像度画像表示を円滑に行え、また、サーバや高解像度化処理ユニットの負荷を軽減し、同時にアクセスするクライアント端末が増えても、画像配信システムが破綻することなく、各クライアント端末に高品質な画像を提供することが可能な画像配信システム、サーバ及びクライアント端末を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像配信システムの一態様は、電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおいて、
上記サーバは、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を用いて、上記クライアント端末が所望の画像について上記画像記録部に記録された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
を有し、
上記クライアント端末は、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記サーバに対して送信するパラメータ送信手段と、
上記サーバ経由で、上記画像記録部に記録された低解像度画像、または、上記高解像度化処理ユニットで生成された上記高解像度画像を、静止画像、または、動画像として閲覧可能な画像表示手段と、
を有することを特徴とする。
【０００８】
また、本発明の画像配信システムの別の態様は、電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおいて、
上記サーバは、上記クライアント端末から要求された所望の画像を記録する画像記録部を備え、上記クライアント端末からの画像要求に応じて、上記画像記録部から該当する単数若しくは複数枚の連続する画像を抽出して、上記クライアント端末に配信し、
上記クライアント端末は、
上記サーバより配信された上記単数若しくは複数枚の連続する画像を用いて当該クライアント端末が所望の画像について上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を備えたことを特徴とする。
【０００９】
また、本発明のサーバの一態様は、電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおけるサーバであって、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を用いて、上記クライアント端末が所望の画像について上記画像記録部に記録された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
を具備することを特徴とする。
【００１０】
また、本発明のクライアント端末の一態様は、上記サーバの一態様から所望の画像を配信されるクライアント端末であって、
上記クオリティパラメータの一部または全部を含むクライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記サーバに対して送信するパラメータ送信手段と、
上記サーバ経由で、上記画像記録部に記録された低解像度画像、または、上記高解像度化処理ユニットで生成された高解像度画像を、静止画像、または、動画像として閲覧可能な画像表示手段と、
を具備することを特徴とする。
【００１１】
また、本発明のクライアント端末の別の態様は、所望の画像に係る単数若しくは複数枚の連続する画像を抽出して、サーバから配信された画像データを受信するクライアント端末であって、
上記サーバより配信された上記単数または複数枚の連続する画像を用いて上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を具備することを特徴とする。
【００１２】
また、本発明の画像配信システムの更に別の態様は、電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおいて、
上記サーバは、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を使用し、上記クライアント端末が指示可能なパラメータに応じて、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して、上記クライアント端末に配信する配信手段と、
を備え、
上記クライアント端末は、
上記サーバより配信された上記単数または複数枚の画像を使用し、上記配信手段によって付加された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、該動き補償手段で補償された上記複数の画像を合成した像を生成することで、当該クライアント端末が所望の画像について上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を備えたことを特徴とする。
【００１３】
また、本発明のサーバの別の態様は、電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおけるサーバであって、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を使用し、上記クライアント端末が指示可能なパラメータに応じて、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加する付加情報付加手段と、を備えた高解像度化処理ユニットと、
を具備することを特徴とする。
【００１４】
そして、本発明のクライアント端末の更に別の態様は、上記別の態様のサーバから所望の画像を配信されるクライアント端末であって、
上記サーバより配信された上記単数または複数枚の画像を使用し、上記配信手段によって付加された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、該動き補償手段で補償された上記複数の画像を合成した像を生成することで、当該クライアント端末が所望の画像について上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を具備することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、クライアント端末が指示可能なパラメータに応じて、高解像度化処理ユニットで生成する高解像度画像の画質のクオリティ制御を行うことで、クライアント端末の高解像度画像表示を円滑に行え、また、サーバや高解像度化処理ユニットの負荷を軽減し、同時にアクセスするクライアント端末が増えても、画像配信システムが破綻することなく、各クライアント端末に高品質な画像を提供することが可能な画像配信システム、サーバ及びクライアント端末を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１７】
［第１実施形態］
図１は、本発明の第１実施形態に係る画像配信システムのシステム構成を示す図である。
【００１８】
本実施形態に係る画像配信システムは、電子的に記録された画像をサーバ１０経由でクライアント端末１２に配信するシステムであり、クライアント端末１２がインターネット１４を介してサーバ１０に接続される構成となっている。なお、図では、簡略化のため、クライアント端末１２を一つしか図示していないが、サーバ１０には同時に多数のクライアント端末１２が接続可能なことは言うまでもない。
【００１９】
サーバ１０側には、画像記録部としてのデジタルカメラ１６またはオンデマンドビデオデータ１８と、高解像度化処理ユニット２０とが設けられている。ここで、これらデジタルカメラ１６またはオンデマンドビデオデータ１８及び高解像度化処理ユニット２０は、サーバ１０に接続される構成であっても良いし、サーバ１０がオンデマンドビデオデータ１８及び高解像度化処理ユニット２０を内蔵するものであっても構わない。高解像度化処理ユニット２０は、複数枚の画像を入力するための連写用バッファ２０Ａ、モーション推定部２０Ｂ、及び超解像処理部２０Ｃを備える。
【００２０】
デジタルカメラ１６またはオンデマンドビデオデータ１８から入力された画像信号は、サーバ１０に出力され、クライアント端末１２へインターネット１４を介して、送信される。また、高解像度化を行う場合は、高解像度化処理ユニット２０で高解像度化され、サーバ１０に出力される。後者の場合、クライアント端末１２において、当該クライアント端末１２が起動した画像配信システムにおける画像表示アプリケーションのＧＵＩから画像の画質に関わるパラメータを制御することにより、クライアント端末１２は、インターネット１４を介してパラメータ２２をサーバ１０へ送信し、サーバ１０は、受信したパラメータ２２を解析し、高解像度化処理ユニット２０へクオリティ制御指示２４を行い、または、サーバ１０内でクオリティ制御を行い、クオリティ制御後の高解像度画像信号をインターネット１４経由で、各クライアント端末１２へ送信する。画像信号を受信したクライアント端末１２は、当該クライアント端末１２が起動した上記画像表示アプリケーションで、受信した画像を表示する。
【００２１】
クライアント端末１２が送信するパラメータ２２には、クライアント端末１２とサーバ１０間の通信レートを示す『通信レートパラメータ（Ｂａｆｆｅｒ  Ｃａｐａｃｉｔｙ）』、画像表示アプリケーションのＧＵＩから制御できる『クオリティパラメータ（Ｃｌｉｅｎｔ  Ｐａｒａｍｅｔｅｒ）』がある。『クオリティパラメータ』には、高解像度画像表示時の画質を示す『画質設定』パラメータ、高解像度画像表示時の画像サイズを示す『高解像度画像サイズ』パラメータ、高解像度化する領域を指定する『高解像度位置』パラメータなどがある。
【００２２】
図２は、画像表示アプリケーションのＧＵＩとして画像の表示と『クオリティパラメータ』の設定を行う表示ウィンドウ２６の例を示す図である。
【００２３】
クライアント端末１２は、この表示ウィンドウ２６中の『高解像度位置』パラメータスイッチ２６Ａによって、高解像度化したい領域を、低解像度画像表示領域２６Ｂに表示されている低解像度画像を使って、領域選択制御し、『高解像度画像サイズ』パラメータスイッチ２６Ｃによって、高解像度画像サイズを制御し、『画質設定』パラメータスイッチ２６Ｄによって高解像度画像の画質を制御する。画質設定は、例えば、図中のように低画質と高フレームレート、高画質と低フレームレートをセットで制御するようにする。勿論、画質とフレームレートを別々に制御するＵＩを設けても良い。
【００２４】
なお、表示ウィンドウ２６は、更に、使用する画像記録部としてデジタルカメラ１６とオンデマンドビデオデータ１８を切換えるための『対象動画像』パラメータスイッチ２６Ｅ、上記サーバ１０の高解像度化処理ユニット２０での高解像度化を指定するための『高解像度画像表示』パラメータスイッチ２６Ｆ、及び高解像度化された高解像度画像を表示する高解像度画像表示領域２６Ｇを有している。
【００２５】
以下、図３乃至図７を用いて、高解像度化処理ユニット２０で行うモーション推定、及び、超解像の処理の流れを説明する。
【００２６】
高解像度化処理ユニット２０におけるモーション推定部２０Ｂは、デジタルカメラ１６によって連写撮影モードにより撮影されて連写用バッファ２０Ａへ入力された、若しくは、オンデマンドビデオデータ１８より連写用バッファ２０Ａへ入力された、複数枚の画像の画像信号を用いて、各画像（フレーム）におけるフレーム間の動き推定を行う。図３は、このモーション推定部２０Ｂで実行される動き推定処理のフローチャートを示す図である。
【００２７】
即ち、まず、動き推定の基準となる画像データ（基準画像）を連写用バッファ２０Ａから１枚読み込む（ステップＳ２０Ｂ１）。この基準画像は、例えば複数枚連続して撮影した画像データのうち最初の画像データ（第１フレームの画像）であっても良いし、使用者が任意に指定した画像データ（フレーム）であっても良い。次に、上記読み取った基準画像を、複数の動きで変形させる（ステップＳ２０Ｂ２）。
【００２８】
その後、連写用バッファ２０Ａから他の画像データ（参照画像）を１枚読み込み（ステップＳ２０Ｂ３）、この読み込んだ参照画像と上記基準画像を複数変形させたそれぞれの画像列との間の類似度値を算出する（ステップＳ２０Ｂ４）。そして、変形させた動きのパラメータと算出した類似度値との関係を用いて、図４に示すような離散的な類似度マップを作成し（ステップＳ２０Ｂ５）、その作成した離散的な類似度マップを補完することで、類似度マップの極値を探索して、類似度マップの極値を求める（ステップＳ２０Ｂ６）。この求めた極値を持つ変形の動きが推定値となる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。
【００２９】
そしてその後、連写用バッファ２０Ａに入力された対象となる全ての参照画像において動き推定を行ったか否かを判別し（ステップＳ２０Ｂ７）、まだ動き推定をしていない参照画像がある場合には、参照画像のフレーム番号を１つ上げて（ステップＳ２０Ｂ８）、上記ステップＳ２０Ｂ３へ戻ることで、連写用バッファ２０Ａから次の参照画像を読み込んで上記処理を継続する。
【００３０】
而して、対象となる全ての参照画像において動き推定を行ったならば（ステップＳ２０Ｂ７）、処理を終了する。
【００３１】
図４は、動き推定をパラボラフィッティングで行った例を示す図である。縦軸は２乗偏差を表し、値が小さいほど類似度が高い。
【００３２】
なお、上記ステップＳ２０Ｂ２における基準画像の複数の動きでの変形は、例えば、水平、垂直、回転方向に対して、±１ピクセルの動きパラメータで基準画像を１９通り（２７通り中８通りは同じ変形パターン）に変形させる。この場合、図８の類似度マップの横軸は、変形モーションパラメータを表し、例としては、水平方向，垂直方向，回転方向の組み合わせのモーションパラメータと考えると、負の方から（−１，＋１，−１）、（−１，＋１，０）、（−１，＋１，＋１）の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向から（−１），（０），（＋１）となり、水平方向，垂直方向，回転方向について別々にプロットする。
【００３３】
図５（Ａ）及び（Ｂ）は、参照画像における基準画像への近似を示す。図５（Ａ）に示すような各参照画像は、動き推定値の符号反転した値で画像変形することにより、図５（Ｂ）に示すように基準画像に近似する。
【００３４】
次に、高解像度化処理ユニット２０における超解像処理部２０Ｃで行う、複数枚の画像を使用して高解像度の画像を復元する画像高解像度化処理（超解像処理）を、図６のフローチャートを参照して説明する。
【００３５】
即ち、まず、高解像度画像推定に用いるためｋ枚（ｋ≧１）の画像データ（低解像度画像ｙ）を読み込む（ステップＳ２０Ｃ１）。ここで、ｋは、後述するような高解像度化処理に使用する『使用画像枚数』パラメータとして設定されるものである。そして、それらｋ枚の低解像度画像ｙの中の任意の１枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像ｚを作成する（ステップＳ２０Ｂ２）。なお、このステップＳ２０Ｂ２は、場合により省略することができる。
【００３６】
その後、予め何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーション（例えば、上述したようにモーション推定部２０Ｂで動き推定値を求める）により、画像間の位置関係を明らかにする（ステップＳ２０Ｃ３）。そして、光学伝達関数（ＯＴＦ）、ＣＣＤアパーチャ等の撮像特性を考慮した点広がり関数（ＰＳＦ）を求める（ステップＳ２０Ｃ４）。このＰＳＦは、例えばＧａｕｓｓ関数を用いる。
【００３７】
そして、上記ステップＳ２０Ｃ３及びステップＳ２０Ｃ４の情報を元に、評価関数ｆ（ｚ）の最小化を行う（ステップＳ２０Ｃ５）。ただし、ｆ（ｚ）は以下のような形となる。
【数１】
2008067316.tif 000003
【００３８】
ここでｙは低解像度画像、ｚは高解像度画像、Ａは画像間モーション（例えばモーション推定部２０Ｂで求めた動き推定値）及びＰＳＦ（デジタルカメラ１６の点拡がり関数、ＣＣＤ撮像素子によるダウンサンプリングの比率、色フィルタ配列から構成される）等を含めた撮像システムを表す画像変換行列である。ｇ（ｚ）は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。
【００３９】
そして、上記ステップＳ２０Ｃ５で求めた評価関数ｆ（ｚ）が最小化されたか否かを判別する（ステップＳ２０Ｃ６）。ここで、まだ最小化されていない場合には、高解像度画像ｚをアップデートして（ステップＳ２０Ｃ７）、上記ステップＳ２０Ｃ５に戻る。
【００４０】
而して、上記ステップＳ２０Ｃ５で求めた評価関数ｆ（ｚ）が最小化されたならば、高解像度画像ｚが得られたとして処理を終了する。
【００４１】
図７は、このような超解像処理を実施する超解像処理部２０Ｃの構成の一例を示す図である。この超解像処理部２０Ｃは、初期画像記憶部２０Ｃ１、畳込み積分部２０Ｃ２、ＰＳＦデータ保持部２０Ｃ３、画像比較部２０Ｃ４、乗算部２０Ｃ５、貼り合せ加算部２０Ｃ６、蓄積加算部２０Ｃ７、更新画像生成部２０Ｃ８、画像蓄積部２０Ｃ９、反復演算判定部２０Ｃ１０、反復判定値保持部２０Ｃ１１、及び補間拡大部２０Ｃ１２から構成される。
【００４２】
即ち、上記連写用バッファ２０Ａからの基準画像を補間拡大部２０Ｃ１２で補間拡大し、その補間拡大画像が初期画像記憶部２０Ｃ１に与えられ、初期画像として記憶される。なお、補間拡大部２０Ｃ１２での補間方法は、バイリニア補間、バイキュービック補間などで補間する。
【００４３】
この初期画像記憶部２０Ｃ１に記憶された初期画像は畳込み積分部２０Ｃ２に与えられ、ＰＳＦデータ保持部２０Ｃ３より与えられるＰＳＦデータと畳込み積分される。ここでのＰＳＦデータは、各フレームのモーションも考慮して与えられる。また、上記初期画像記憶部２０Ｃ１に記憶された初期画像データは同時に画像蓄積部２０Ｃ９に送られ、ここに蓄積される。
【００４４】
上記畳込み積分部２０Ｃ２で畳込み積分された画像データは画像比較部２０Ｃ４に送られ、上記モーション推定部２０Ｂで求められた各フレーム毎のモーション（動き推定値）を元に適切な座標位置で、上記連写用バッファ２０Ａより与えられる撮影画像と比較される。そして、その比較された残差は乗算部２０Ｃ５に送られ、ＰＳＦデータ保持部２０Ｃ３より与えられるＰＳＦデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部２０Ｃ６に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部２０Ｃ５からの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。撮影画像１枚分のデータの貼り合せ加算が終るとデータは蓄積加算部２０Ｃ７に送られる。
【００４５】
蓄積加算部２０Ｃ７では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算してゆく。加算された画像データは、更新画像生成部２０Ｃ８に送られる。更新画像生成部２０Ｃ８には、これと同時に、画像蓄積部２０Ｃ９に蓄積されていた画像データが与えられ、この２つの画像データに重みをつけて加算して、更新画像データを生成する。
【００４６】
この更新画像生成部２０Ｃ８で生成された更新画像データは反復演算判定部２０Ｃ１０に与えられ、反復判定値保持部２０Ｃ１１から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部２０Ｃ２に送り上記の一連の処理を繰り返す。
【００４７】
これに対して、反復しない場合は、更新画像生成部２０Ｃ８で生成され該反復演算判定部２０Ｃ１０に入力された更新画像データを、高解像度画像として出力する。
【００４８】
このような一連の処理を行うことで、反復演算判定部２０Ｃ１０から出力される画像は撮影画像よりも高解像度なものとなる。
【００４９】
また、上記ＰＳＦデータ保持部２０Ｃ３で保持されるＰＳＦデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部２０Ｂよりフレーム毎のモーションが与えられるようになっている。
【００５０】
次に、クライアント端末１２からのパラメータ２２によって、高解像度画像の画質を制御するクオリティ制御について説明する。
【００５１】
サーバ１０は、クライアント端末１２からインターネット１４を介して、パラメータ２２を受信し、高解像度化要求があった場合に、そのパラメータ２２に従って、クライアント端末１２とサーバ１０間の通信レート、画質設定、高解像度画像サイズ、高解像度位置を解析し、クオリティ制御を行う。
【００５２】
クオリティ制御は、サーバ１０及び／又は高解像度化処理ユニット２０で行う。
【００５３】
即ち、第１の例として、サーバ１０がクオリティ制御を行う場合には、サーバ１０が高解像度化処理ユニット２０に対して、連続画像ごとに最高画質になるような超解像処理で高解像度化を行うようにクオリティ制御指示２４を行い、高解像度化処理ユニット２０で生成された連続する最高画質の高解像度画像をサーバ１０で、ダウンサンプリング、画像圧縮符号化、フレーム間引きによる低フレームレートを行うことで、クオリティの制御を行う。
【００５４】
第２の例として、高解像度化処理ユニット２０がクオリティ制御を行う場合には、サーバ１０が高解像度化処理ユニット２０に対して、超解像処理時の『使用画像枚数』、『動き推定精度』（自由度）、『繰り返し回数』（高解像画像の更新回数）、『超解像拡大率』、『ＰＳＦカーネルサイズ』、『超解像画像フレームレート』の各パラメータをクオリティ制御指示２４として与え、高解像度化処理ユニット２０で、その指示に応じた演算手法により高解像度画像を行うことで、クオリティの制御を行う。
【００５５】
第３の例として、高解像度化処理ユニット２０及びサーバ１０がクオリティ制御を行う場合には、前述した第２の例により生成された高解像度画像を、さらに、サーバ１０で、ダウンサンプリング、画像圧縮符号化、フレーム間引きによる低フレームレートを行うことで、クオリティの制御を行う。
【００５６】
図８（Ａ）に高解像度化処理ユニット２０におけるクオリティ制御のパラメータ項目の可否を、また、図８（Ｂ）にサーバ１０におけるクオリティ制御のパラメータ項目の可否を、それぞれ示す。これらの図に示すように、高解像度化処理ユニット２０、サーバ１０のどちらでクオリティ制御するかによって、制御できる項目は異なる。
【００５７】
最高画質になるような超解像処理は、演算時間が多大になり、動画コンテンツなどのシステムにおいては時間という概念で問題となってくる。しかしながら、先に述べたような超解像クオリティ制御のパラメータ項目を制御することにより超解像画像のクオリティを少し落としながら、超解像処理を施すことによって、システムを破綻させることなく円滑に動作させることが可能となる。
【００５８】
以下、超解像クオリティ制御のパラメータ項目についての詳細を示す。
【００５９】
『使用画像枚数』パラメータ
超解像は複数枚の観測画像である低解像度画像を使用し、フレーム間で動き推定し、高解像度画像空間に低解像度画像の位置合わせを行い、そこから各画素値を推定する。推定された画素値と実際の観測画素値の誤差を最小にするように更新し高解像度画像を復元する。この際、使用する低解像度画像の枚数を仮に最高画質時をＸ枚とすれば、Ｘ枚使用した際の超解像画像の画質は最高となるが、Ｘ枚分のフレーム間における動き推定を行わなければならないので、Ｘが大きいほど処理時間はかかる。また、動き推定した動きパラメータを基に高解像度画像空間に位置合わせする際にも、Ｘ枚分の位置合わせを行わなければならないので、Ｘが大きいほど処理時間がかかる。そのため、使用する低解像度画像の枚数を減らすことで、位置合わせ時の高解像度画像空間の画素情報が減るので、画質は落ちるが、処理時間は短縮できる。
【００６０】
［制御効果］
『使用画像枚数』を少：画質低／処理高速
『使用画像枚数』を多：画質高／処理低速
『動き推定精度』パラメータ
超解像画像は、動き推定処理による位置合わせの精度によって大きく影響してくる。低解像度画像の動き推定をする際に、細かい被写体の動きまで推定するような自由度の高い手法は、非常に処理時間がかかる。そのため、動き推定処理において自由度を低くするような手法で推定することで、位置合わせの精度が落ちるので、画質は落ちるが、処理時間は短縮できる。
【００６１】
［制御効果］
『動き推定精度』を低：画質低／処理高速
『動き推定精度』を高：画質高／処理低速
『繰り返し回数』パラメータ
超解像処理で高解像度画像空間の各画素値を推定し、推定された画素値と実際の観測画素値の誤差を最小にするように更新する。図６に示す超解像画像推定アルゴリズムにおけるステップＳ２０Ｂ６での最小化判定時にＮＯであれば、高解像度画像を更新する。その更新を繰り返す回数を、仮に最高画質時をＸ回とすれば、Ｘ回繰り返した際の超解像画像の画質は最高となる。しかしながら、Ｘ回分のレジストレーション画像とＰＳＦフィルタリング画像との差分、ＰＳＦ積算、拘束項等の演算を行わなければならないので、Ｘが大きいほど処理時間はかかる。そのため、高解像度画像更新の繰り返し回数を減らすことで、観測画素値との誤差を最小となるように収束しきらないので、画質は落ちるが、処理時間は短縮できる。
【００６２】
［制御効果］
『繰り返し回数』を少：画質低／処理高速
『繰り返し回数』を多：画質高／処理低速
『超解像拡大率』パラメータ
超解像処理の際、高解像度画像のサイズが大きいと、図６に示す超解像画像推定アルゴリズムにおけるステップＳ２０Ｂ２とステップＳ２０Ｂ６での演算が多大になり処理時間がかかる。そのため、図９に示すように、最終的に要求される高解像度画像の拡大率より小さい拡大率で超解像処理を施し、その超解像画像を更に超解像処理よりも高速に処理できる公知技術による拡大法、例えばバイキュービック法により、最終的に要求される拡大率まで拡大することで、画質は落ちるが、処理時間は短縮できる。
【００６３】
［制御効果］
『超解像拡大率』を小：画質低／処理高速
『超解像拡大率』を大：画質高／処理低速
※超解像＋公知技術による拡大法
『ＰＳＦカーネルサイズ』パラメータ
超解像処理の際、図７に示す超解像処理部２０Ｃの構成図における畳込み積分部２０Ｃ２及び乗算部２０Ｃ５での演算時、ＰＳＦカーネルサイズが大きいと、より多くの近傍画素の情報を使うことになるので処理時間がかかる。そのため、ＰＳＦカーネルサイズを小さくすることで、ガウシアン近似度が低くなり、画質は落ちるが、処理時間は短縮できる。
【００６４】
［制御効果］
『ＰＳＦカーネルサイズ』を小：画質低／処理高速
『ＰＳＦカーネルサイズ』を大：画質高／処理低速
『ダウンサンプリング』
最高画質になるように超解像処理で高解像度化した画像は、データ容量が大きくなるので、データ配信時に時間がかかる。そのため、超解像処理を施した高解像度画像をダウンサンプリングすることで、画質は落ちるが、データ容量が小さくなるので、配信時の伝送時間は短縮できる。
【００６５】
［制御効果］
超解像画像ダウンサンプリング：画質低／データ容量小
『超解像画像の圧縮率』
最高画質になるように超解像処理で高解像度化した画像は、データ容量が大きくなるので、データ配信時に時間がかかる。そのため、超解像処理を施した高解像度画像を公知の圧縮技術方法で圧縮することで、画質は落ちるが、データ容量が小さくなるので、配信時の伝送時間は短縮できる。
【００６６】
［制御効果］
超解像画像の圧縮率を低：画質高／データ容量大
超解像画像の圧縮率を高：画質低／データ容量小
『超解像画像のフレームレート』
超解像処理を施した高解像度画像は、低解像度画像よりもデータ量が多い。そのため、低解像度画像の動画配信時と同じフレームレートで高解像度画像を配信しようとすると、超解像処理を高速にするなどして低解像度画像配信フレームレートのフレーム間隔内で高解像度画像を伝送しなければならない。または、伝送速度を上げるか、高解像度画像を圧縮してデータ量を減らすように制御しなければならない。これに対し、何フレーム分かを間引き、フレームレートを低くすることにより、動画の滑らかさという面での画質は落ちるが、超解像画像自体の画質は落ちることなく、クライアント端末１２へ配信できる。
【００６７】
［制御効果］
超解像画像のフレームレートを低：画質（動画の滑らかさ）低／配信許容時間が増
超解像画像のフレームレートを高：画質（動画の滑らかさ）高／配信許容時間が減
以上のように、本第１実施形態においては、画像配信システムで、デジタルカメラ１６として若しくはオンデマンドビデオデータ１８を得るために、低解像度画像を撮影する安価なカメラを使用しても、クライアント端末１２の高解像度要求に応じて、高解像度画像表示が可能となる。その際、各クライアント端末１２とサーバ１０の通信レートに応じて、高解像度画像を圧縮符号化やダウンサンプリング、フレームレート制御することにより、各クライアント端末１２の高解像度画像表示を円滑にし、また、クライアント端末１２が送信するパラメータによって、高解像度化処理の演算手法を変更することにより、サーバ１０や高解像度化処理ユニット２０の負荷を軽減し、同時にアクセスできるクライアント端末１２を増やすことが可能となる。
【００６８】
［第２実施形態］
図１０は、本発明の第２実施形態に係る画像配信システムのシステム構成を示す図である。
【００６９】
本実施形態に係る画像配信システムは、上記第１実施形態に係る画像配信システムの構成に加えて、サーバ１０側に、メモリ２８及びログサーバ３０を備えている。
【００７０】
デジタルカメラ１６またはオンデマンドビデオデータ１８から入力された画像信号は、メモリ２８に蓄積され、その後、サーバ１０に出力し、クライアント端末１２へインターネット１４を介して、送信される。また、高解像度化を行う場合は、メモリ２８から蓄積された画像信号を高解像度化処理ユニット２０へ出力し、高解像度化処理ユニット２０で高解像度化され、再度、メモリ２８に出力され、その後、サーバ１０に出力される。その際、クライアント端末１２において、当該クライアント端末１２が起動した画像配信システムにおける画像表示アプリケーションのＧＵＩから画像の画質に関わるパラメータを制御することにより、クライアント端末１２は、インターネット１４を介してパラメータ２２をサーバ１０へ送信し、サーバ１０は、受信したパラメータ２２を解析し、高解像度化処理ユニット２０へクオリティ制御指示２４を行い、または、サーバ１０内でクオリティ制御を行い、クオリティ制御後の高解像度画像信号をインターネット１４経由で、各クライアント端末１２へ送信する。画像信号を受信したクライアント端末１２は、当該クライアント端末１２が起動した上記画像表示アプリケーションで、受信した画像を表示する。
【００７１】
ここで、クライアント端末１２が送信するパラメータ２２は、上記第１実施形態と同様である。
【００７２】
また、本実施形態においては、高解像度化処理ユニット２０からメモリ２８へ出力された高解像度画像は、ログサーバ３０へ出力され、そこに蓄積されていく。クライアント端末１２が、一度、高解像度化した画像を再度見たい時、または、他のクライアント端末１２によって一度、高解像度化された画像を見たい時に、クライアント端末１２からログサーバ３０へ、ログ表示要求パラメータ３２を送信することにより、ログサーバ３０に該当する高解像度画像が存在した場合は、該ログサーバ３０からクライアント端末１２へ画像を送信し、クライアント端末１２上で起動している画像表示アプリケーションで高解像度画像を表示することができる。
【００７３】
クオリティ制御の制御パラメータ項目及び制御を行う場所は、上記第１実施形態と同様である。
【００７４】
以上のように、本実施形態によれば、ログサーバ３０に一度高解像度化された画像を蓄積しておくことで、高解像度化処理ユニット２０で高解像画像を生成することなく直ちにその高解像度画像をクライアント端末１２に配信することができる。
【００７５】
［第３実施形態］
図１１は、本発明の第３実施形態に係る画像配信システムのシステム構成を示す図である。
【００７６】
本実施形態に係る画像配信システムは、高解像度化処理ユニット２０を、サーバ１０側ではなくて、クライアント端末１２側に備えたものである。この場合、高解像度化処理ユニット２０は、クライアント端末１２に内蔵させても良いし、別体としてクライアント端末１２に接続して使用する構成としても構わない。
【００７７】
即ち、本実施形態においては、デジタルカメラ１６またはオンデマンドビデオデータ１８から入力された画像信号は、サーバ１０に出力され、クライアント端末１２へインターネット１４を介して、送信される。そして、高解像度化を行う場合は、低解像度画像を受信したクライアント端末１２に蓄積された画像信号を内蔵または接続してある高解像度化処理ユニット２０へ出力し、高解像度化処理ユニット２０で高解像度化され、再度、クライアント端末１２に出力される。その際、クライアント端末１２において、当該クライアント端末１２が起動した画像配信システムにおける画像表示アプリケーションのＧＵＩから画像の画質に関わるパラメータを制御することにより、クライアント端末１２は、パラメータ３４を高解像度化処理ユニット２０へ送信し、高解像度化処理ユニット２０は、受信したパラメータ３４により、クオリティ制御を行い、クオリティ制御後の高解像度画像信号をクライアント端末１２へ送信する。画像信号を受信したクライアント端末１２は、クライアント端末１２が起動した上記画像表示アプリケーションで、受信した高解像度画像を表示する。
【００７８】
なお、クライアント端末１２が送信するパラメータ３４は、上記第１実施形態におけるパラメータ２２と同様である。
【００７９】
また、クオリティ制御の制御パラメータ項目は、上記第１実施形態と同様であるが、制御を行う場所は、高解像度化処理ユニット２０のみである。
【００８０】
以上のように、高解像度化処理ユニット２０をクライアント端末１２側に設けても、上記第１実施形態と同様の効果を得ることができる。また、サーバ１０からインターネット１４を介して配信される画像は低解像度画像のみで良いので、サーバ１０・クライアント端末１２間の通信時間（データ送信時間）の短縮が図れる。
【００８１】
なお、上記第２実施形態で説明したように、一度高解像度化した画像をクライアント端末１２に蓄積するようにしても良いことは勿論である。
【００８２】
［第４実施形態］
本発明の第４実施形態に係る画像配信システムにおいては、画像表示における遅延表示制御を実施する。
【００８３】
上記第１実施形態に係る画像配信システムの構成において、図１２に示すように、デジタルカメラ１６によって撮影された第１フレーム（以下、Ｆ１と記す）〜第１６フレーム（以下、Ｆ１６と記す）の低解像度画像を表示する際、サーバ１０は、クライアント端末１２への送信を遅延、及び／または、クライアント端末１２で受信した画像の表示を遅延させることにより、クライアント端末１２に予め動画像を遅延表示（図中では８フレーム分の遅延）させておく。
【００８４】
例えば、Ｆ１〜Ｆ１６の１６枚の低解像度画像を使用して超解像処理を行う場合に、クライアント端末１２が第８フレーム（Ｆ８）の画像を見て高解像度化要求をすると、高解像度化処理ユニット２０及びサーバ１０には、既に超解像処理に必要な低解像度画像Ｆ１〜Ｆ１６が保存されているので、すぐに超解像処理を開始することができ、クライアント端末１２側からすると高解像度化要求から高解像度画像表示のレスポンスが早く感じられる。
【００８５】
また、図中に破線で囲って示す「動き推定処理」のように、クライアント端末１２からの高解像度化要求を予測し、予め動き推定処理を行っておくことで、高解像度化要求後の超解像処理が軽くなり、高解像度画像表示のレスポンスを早くすることができる。
【００８６】
なお、本実施形態は、上記第３実施形態のように高解像度化処理ユニット２０をクライアント端末１２側に設けた場合にも、同様に適用可能なことは勿論である。
【００８７】
以上のように、本実施形態によれば、低解像度画像の遅延表示制御において、リアルタイム性の質を落とすことにより、高解像度画像表示のレスポンスを早くさせ、クライアント端末１２の待機時間を軽減することができる。
【００８８】
［第５実施形態］
図１３は、本発明の第５実施形態に係る画像配信システムのシステム構成を示す図である。
【００８９】
本実施形態に係る画像配信システムは、高解像度化処理ユニット２０をサーバ１０側とクライアント端末１２側に振り分けたものである。即ち、サーバ１０側の高解像度化処理ユニット２０−１は、連写用バッファ２０Ａ−１とモーション推定部２０Ｂを有し、クライアント端末１２側の高解像度化処理ユニット２０−２は、連写用バッファ２０Ａ−２と超解像処理部２０Ｃを有している。
【００９０】
この場合、サーバ１０からインターネット１４を介してクライアント端末１２に配信される複数枚の低解像度画像には、それら複数枚の画像間において高解像度化処理ユニット２０−１のモーション推定部２０Ｂで算出した動き推定値が付加情報として付加される。そして、それら付加情報が付加された複数枚の画像がクライアント端末１２側の高解像度化処理ユニット２０−２の連写用バッファ２０Ａ−２に格納され、超解像処理部２０Ｃの入力画像とされる。
【００９１】
付加情報は、図１４のように、基準画像と参照画像が分かるようにし、参照画像には基準画像とのずれ量である動き推定値を付加する。これにより、超解像処理を行う際、その情報を基に高解像度化することが可能となるので、超解像処理をモーション推定部２０Ｂを備えた高解像度化処理ユニット２０−１とは別のハードウェア、ソフトウェアによる高解像度化処理ユニット２０−２で実現できる。その際、参照画像である一枚を基準画像に変更することもでき、その時は、各動き推定値を基に計算すれば容易に新しく設定した基準画像とそれ以外の参照画像との動き値を求められる。
【００９２】
以上のように、本実施形態によれば、動き推定処理と超解像処理とを分割し、超解像処理の入力画像に動き推定値を付加するようにしたことで、それぞれの処理負担が軽減する。
【００９３】
さらに、サーバ１０・クライアント端末１２間の通信時間（データ送信時間）の短縮が図れる。
【００９４】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００９５】
例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【００９６】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【００９７】
（１）  電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおいて、
上記サーバは、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を用いて、上記クライアント端末が所望の画像について上記画像記録部に記録された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
を有し、
上記クライアント端末は、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記サーバに対して送信するパラメータ送信手段と、
上記サーバ経由で、上記画像記録部に記録された低解像度画像、または、上記高解像度化処理ユニットで生成された上記高解像度画像を、静止画像、または、動画像として閲覧可能な画像表示手段と、
を有することを特徴とする画像配信システム。
【００９８】
（対応する実施形態）
この（１）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。それらの実施形態において、サーバ１０が上記サーバに、クライアント端末１２が上記クライアント端末に、デジタルカメラ１６及びオンデマンドビデオデータ１８が上記画像記録部に、高解像度化処理ユニット２０が上記高解像度化処理ユニットに、モーション推定部２０Ｂ及び超解像処理部２０Ｃが上記高解像度画像生成手段に、サーバ１０、モーション推定部２０Ｂ及び超解像処理部２０Ｃが上記クオリティ制御手段に、クライアント端末１２で起動される画像表示アプリケーションが上記クライアント端末指示パラメータ設定手段、上記パラメータ送信手段及び上記画像表示手段に、それぞれ対応する。
【００９９】
（作用効果）
この（１）に記載の画像配信システムによれば、クライアント端末が指示可能なパラメータに応じて、高解像度化処理ユニットで生成する高解像度画像の画質のクオリティ制御を行うことで、クライアント端末の高解像度画像表示を円滑に行え、また、サーバや高解像度化処理ユニットの負荷を軽減し、同時にアクセスするクライアント端末が増えても、画像配信システムが破綻することなく、各クライアント端末に高品質な画像を提供することが可能となる。
【０１００】
（２）  上記所望のパラメータは、
上記クライアント端末と上記サーバとの間のデータ転送速度を示す通信レートパラメータ、
上記クライアント端末が上記高解像度化処理ユニットでの高解像度化を指定するための高解像度化要求パラメータ、
上記クライアント端末が上記高解像度化処理ユニットで生成される上記高解像度画像のクオリティを制御するための一部のまたは全てのクオリティパラメータ、
のうち少なくとも一つを有することを特徴とする（１）に記載の画像配信システム。
【０１０１】
（対応する実施形態）
この（２）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１０２】
（作用効果）
この（２）に記載の画像配信システムによれば、クライアント端末により、クライアント端末・サーバ間のデータ転送速度、高解像度化処理ユニットでの高解像度化指定、高解像度画像のクオリティを制御するための一部のまたは全てのクオリティパラメータ、のうち少なくとも一つを制御することで、高解像度画像のクオリティを制御できる。
【０１０３】
（３）  上記クオリティパラメータは、
上記高解像度化処理ユニットで生成された上記高解像度画像の上記クライアント端末の上記画像表示手段での表示時の画質を示す画質設定パラメータ、
上記高解像度化処理ユニットで生成する上記高解像度画像の画像サイズを示す高解像度画像サイズパラメータ、
上記所望の画像における上記高解像度化処理ユニットで高解像度化したい領域を指定するための高解像度化位置要求パラメータ、
のうち少なくとも一つを有することを特徴とする（１）に記載の画像配信システム。
【０１０４】
（対応する実施形態）
この（３）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１０５】
（作用効果）
この（３）に記載の画像配信システムによれば、クライアント端末により、高解像度画像の表示画質、高解像度画像の画像サイズ、高解像度化したい領域、のうち少なくとも一つを制御することで、高解像度画像のクオリティを制御できる。
【０１０６】
（４）  上記高解像度化処理ユニットの上記高解像度画像生成手段は、
単数又は複数枚の画像を使用し、上記画像記録部に記録された複数のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された複数のフレームを合成した像を生成する画像合成手段と、
を備えることを特徴とする（１）に記載の画像配信システム。
【０１０７】
（対応する実施形態）
この（４）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。それらの実施形態において、超解像処理部２０Ｃが上記動き補償手段及び上記画像合成手段に対応する。
【０１０８】
（作用効果）
この（４）に記載の画像配信システムによれば、画像記録部に記録された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を得ることができる。
【０１０９】
（５）  上記高解像度化処理ユニットの上記クオリティ制御手段は、上記クライアント端末から送信された上記所望のパラメータにより、上記クライアント端末が所望する画像に対して低解像度画像表示時のフレームレートより低いフレームレートに切り替えて、上記高解像度画像生成手段に上記高解像度画像を上記クライアント端末向けに生成させることを特徴とする（１）に記載の画像配信システム。
【０１１０】
（対応する実施形態）
この（５）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１１１】
（作用効果）
この（５）に記載の画像配信システムによれば、低解像度画像よりもデータ量が多い高解像度画像について、フレームレートを低くすることにより、動画の滑らかさという面での画質は落ちるが、高解像度画像自体の画質は落ちることなく、クライアント端末へ配信できるようになる。
【０１１２】
（６）  上記高解像度化処理ユニットの上記高解像度画像生成手段は、上記高解像度画像を生成するための複数種類の高解像度化演算手段を有し、
上記高解像度化処理ユニットの上記クオリティ制御手段は、上記クライアント端末から送信された上記所望のパラメータに基づき、画質と演算速度の優先度を判断し、上記複数種類の高解像度化演算手段のうち、高解像度画像生成時に最適な種類の高解像度化演算手段を選択することを特徴とする（１）に記載の画像配信システム。
【０１１３】
（対応する実施形態）
この（６）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１１４】
（作用効果）
この（６）に記載の画像配信システムによれば、画質と演算速度の優先度を判断して最適な種類の高解像度化演算を行うことで、高解像度画像をできるだけ高い画質でクライアント端末で円滑に表示できるようにすることができる。
【０１１５】
（７）  上記複数種類の高解像度化演算手段には、画質が多少低下しても高速に高解像度化演算を行う高速演算手段を含み、
上記クオリティ制御手段は、上記クライアント端末から送信された上記所望のパラメータに基づき判断された画質と演算速度の優先度が高速演算を優先すると判断された場合、上記複数種類の高解像度化演算手段のうち上記高速演算手段を選択することを特徴とする（６）に記載の画像配信システム。
【０１１６】
（対応する実施形態）
この（７）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１１７】
（作用効果）
この（７）に記載の画像配信システムによれば、高速演算を優先する場合には、高速な高解像度化演算を行うことで、高解像度画像をクライアント端末で円滑に表示できるようにすることができる。
【０１１８】
（８）  上記高速演算手段は、複数枚の記録した画像を用いて、高解像度化する際に、使用する画像の枚数を変更できることを特徴とする（７）に記載の画像配信システム。
【０１１９】
（対応する実施形態）
この（８）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１２０】
（作用効果）
この（８）に記載の画像配信システムによれば、使用する画像の枚数を変更することで、高解像度画像の画質と処理時間を制御できる。
【０１２１】
（９）  上記高速演算手段は、上記複数枚の画像を使用し、上記画像記録部に記録された複数のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段の自由度を変更できることを特徴とする（７）に記載の画像配信システム。
【０１２２】
（対応する実施形態）
この（９）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。それらの実施形態において、モーション推定部２０Ｂ及び超解像処理部２０Ｃが上記動き補償手段に対応する。
【０１２３】
（作用効果）
この（９）に記載の画像配信システムによれば、動き推定処理において自由度を変更することで、高解像度画像の画質と処理時間を制御できる。
【０１２４】
（１０）  上記高速演算手段は、高解像度化する際に、高解像度化に必要な反復演算の繰り返し回数を変更できることを特徴とする（７）に記載の画像配信システム。
【０１２５】
（対応する実施形態）
この（１０）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１２６】
（作用効果）
この（１０）に記載の画像配信システムによれば、高解像度化に必要な反復演算の繰り返し回数を変更することで、高解像度画像の画質と処理時間を制御できる。
【０１２７】
（１１）  上記高速演算手段は、
高解像度化する際に、一旦、必要とする解像度より低い解像度で高解像度化して中間高解像度画像を生成し、
該生成した中間高解像度画像を再度、高速な別手法で高解像度化して、必要とする解像度にすることを特徴とする（７）に記載の画像配信システム。
【０１２８】
（対応する実施形態）
この（１１）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１２９】
（作用効果）
この（１１）に記載の画像配信システムによれば、最終的に要求される解像度より低い中間高解像度画像を生成した後、その中間高解像度画像を別の高速に処理できる手法、例えばバイキュービック法により、最終的に要求される解像度の高解像度画像とすることで、画質は落ちるが、処理時間を短縮することができる。
【０１３０】
（１２）  上記高速演算手段は、高解像度化する際に、高解像度化に必要な畳み込み演算のカーネルサイズを変更できることを特徴とする（７）に記載の画像配信システム。
【０１３１】
（対応する実施形態）
この（１２）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１３２】
（作用効果）
この（１２）に記載の画像配信システムによれば、高解像度化に必要な畳み込み演算のカーネルサイズを変更することで、高解像度画像の画質と処理時間を制御できる。
【０１３３】
（１３）  上記高解像度化処理ユニットの上記クオリティ制御手段は、上記クライアント端末が送信する上記所望のパラメータにより、上記高解像度画像生成手段によって生成した高解像度画像を圧縮符号化、または、ダウンサンプリングしてデータ容量を減らした画像データを上記クライアント端末向けに生成する送信画像生成手段を有することを特徴とする（１）に記載の画像配信システム。
【０１３４】
（対応する実施形態）
この（１３）に記載の画像配信システムに関する実施形態は、第１、第２及び第４実施形態が対応する。それらの実施形態において、サーバ１０が上記送信画像生成手段に対応する。
【０１３５】
（作用効果）
この（１３）に記載の画像配信システムによれば、高解像度画像を圧縮符号化またはダウンサンプリングすることで、画質は落ちるが、データ容量が小さくなるので、配信時の伝送時間は短縮できる。
【０１３６】
（１４）  上記クライアント端末から要求された所望の画像が低解像度の連続画像の場合、上記高解像度化処理ユニットの上記動き補償手段は、上記サーバから上記クライアント端末へのデータ転送に先立ち、上記低解像度の連続画像を使用して、予めフレーム間の相対的な位置関係を補償する動き補償処理を開始しておくことを特徴とする（４）に記載の画像配信システム。
【０１３７】
（対応する実施形態）
この（１４）に記載の画像配信システムに関する実施形態は、第４実施形態が対応する。
【０１３８】
（作用効果）
この（１４）に記載の画像配信システムによれば、サーバから上記クライアント端末へのデータ転送に先立ち、低解像度の連続画像を使用して予めフレーム間の相対的な位置関係を補償する動き補償処理を開始しておくことで、その後、高解像度画像の要求があった際に、高解像度画像表示のレスポンスを早くさせ、クライアント端末の待機時間を軽減することができる。
【０１３９】
（１５）  上記サーバは、上記クライアント端末の上記画像表示手段に連続動画像を遅延表示させるように、上記クライアント端末へのデータ転送を遅延制御することを特徴とする（１４）に記載の画像配信システム。
【０１４０】
（対応する実施形態）
この（１５）に記載の画像配信システムに関する実施形態は、第４実施形態が対応する。
【０１４１】
（作用効果）
この（１５）に記載の画像配信システムによれば、低解像度画像の遅延表示制御において、リアルタイム性の質を落とすことにより、高解像度画像表示のレスポンスを早くさせ、クライアント端末の待機時間を軽減することができる。
【０１４２】
（１６）  電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおいて、
上記サーバは、上記クライアント端末から要求された所望の画像を記録する画像記録部を備え、上記クライアント端末からの画像要求に応じて、上記画像記録部から該当する単数若しくは複数枚の連続する画像を抽出して、上記クライアント端末に配信し、
上記クライアント端末は、
上記サーバより配信された上記単数若しくは複数枚の連続する画像を用いて当該クライアント端末が所望の画像について上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を備えたことを特徴とする画像配信システム。
【０１４３】
（対応する実施形態）
この（１６）に記載の画像配信システムに関する実施形態は、第３及び第４実施形態が対応する。それらの実施形態において、サーバ１０が上記サーバに、クライアント端末１２が上記クライアント端末に、デジタルカメラ１６及びオンデマンドビデオデータ１８が上記画像記録部に、高解像度化処理ユニット２０が上記高解像度化処理ユニットに、モーション推定部２０Ｂ及び超解像処理部２０Ｃが上記高解像度画像生成手段及び上記クオリティ制御手段に、クライアント端末１２で起動される画像表示アプリケーションが上記クライアント端末指示パラメータ設定手段、上記パラメータ送信手段及び上記画像表示手段に、それぞれ対応する。
【０１４４】
（作用効果）
この（１６）に記載の画像配信システムによれば、クライアント端末が指示可能なパラメータに応じて、高解像度化処理ユニットで生成する高解像度画像の画質のクオリティ制御を行うことで、クライアント端末の高解像度画像表示を円滑に行え、また、サーバや高解像度化処理ユニットの負荷を軽減し、同時にアクセスするクライアント端末が増えても、画像配信システムが破綻することなく、各クライアント端末に高品質な画像を提供することが可能になる。また、サーバから配信される画像は低解像度画像のみで良いので、サーバ・クライアント端末間の通信時間（データ送信時間）の短縮が図れる。
【０１４５】
（１７）  上記高解像度化処理ユニットの上記高解像度画像生成手段は、
単数又は複数枚の画像を使用し、上記サーバの上記画像記録部に記録された複数のフレーム間における被写体の動きを推定することによってフレーム間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された複数のフレームを合成した像を生成する画像合成手段と、
を備えることを特徴とする（１６）に記載の画像配信システム。
【０１４６】
（対応する実施形態）
この（１７）に記載の画像配信システムに関する実施形態は、第３及び第４実施形態が対応する。その実施形態において、超解像処理部２０Ｃが上記動き補償手段及び上記画像合成手段に、それぞれ対応する。
【０１４７】
（作用効果）
この（１７）に記載の画像配信システムによれば、画像記録部に記録された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を得ることができる。
【０１４８】
（１８）  当該クライアント端末から要求される所望の画像が低解像度の連続画像の場合、上記高解像度化処理ユニットの上記動き補償手段は、上記画像表示手段への表示に先立ち、上記サーバから当該クライアント端末にデータ転送された上記低解像度の連続画像を使用して、予めフレーム間の相対的な位置関係を補償する動き補償処理を開始しておくことを特徴とする（１７）に記載の画像配信システム。
【０１４９】
（対応する実施形態）
この（１８）に記載の画像配信システムに関する実施形態は、第４実施形態が対応する。
【０１５０】
（作用効果）
この（１８）に記載の画像配信システムによれば、サーバから配信された低解像度の連続画像を使用して予めフレーム間の相対的な位置関係を補償する動き補償処理を開始しておくことで、その後、高解像度画像の要求があった際に、高解像度画像表示のレスポンスを早くさせ、クライアント端末の待機時間を軽減することができる。
【０１５１】
（１９）  上記高解像度化処理ユニットは、上記画像表示手段に連続動画像を遅延表示させるように、上記サーバからデータ転送された上記低解像度の連続画像を遅延制御することを特徴とする（１８）に記載の画像配信システム。
【０１５２】
（対応する実施形態）
この（１９）に記載の画像配信システムに関する実施形態は、第４実施形態が対応する。
【０１５３】
（作用効果）
この（１９）に記載の画像配信システムによれば、低解像度画像の遅延表示制御において、リアルタイム性の質を落とすことにより、高解像度画像表示のレスポンスを早くさせ、クライアント端末の待機時間を軽減することができる。
【０１５４】
（２０）  電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおけるサーバであって、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を用いて、上記クライアント端末が所望の画像について上記画像記録部に記録された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
を具備することを特徴とするサーバ。
【０１５５】
（対応する実施形態）
この（２０）に記載のサーバに関する実施形態は、第１、第２及び第４実施形態が対応する。それらの実施形態において、サーバ１０が上記サーバに、クライアント端末１２が上記クライアント端末に、デジタルカメラ１６及びオンデマンドビデオデータ１８が上記画像記録部に、高解像度化処理ユニット２０が上記高解像度化処理ユニットに、モーション推定部２０Ｂ及び超解像処理部２０Ｃが上記高解像度画像生成手段に、サーバ１０、モーション推定部２０Ｂ及び超解像処理部２０Ｃが上記クオリティ制御手段に、それぞれ対応する。
【０１５６】
（作用効果）
この（２０）に記載のサーバによれば、クオリティパラメータに応じて、高解像度化処理ユニットで生成する高解像度画像の画質のクオリティ制御を行うことで、クライアント端末の高解像度画像表示を円滑に行え、また、サーバや高解像度化処理ユニットの負荷を軽減し、同時にアクセスするクライアント端末が増えても、画像配信システムが破綻することなく、各クライアント端末に高品質な画像を提供することが可能になる。
【０１５７】
（２１）  上記クオリティパラメータは、その一部または全部を含む上記クライアント端末が指示可能なパラメータのうち、上記クライアント端末からの指示に従って設定されたパラメータを含むことを特徴とする（２０）に記載のサーバ。
【０１５８】
（対応する実施形態）
この（２１）に記載のサーバに関する実施形態は、第１、第２及び第４実施形態が対応する。
【０１５９】
（作用効果）
この（２１）に記載のサーバによれば、クライアント端末が指示可能なパラメータにより、高解像度化処理ユニットで生成する高解像度画像の画質のクオリティ制御を行うことができる。
【０１６０】
（２２）  上記（２０）または（２１）に記載のサーバから所望の画像を配信されるクライアント端末であって、
上記クオリティパラメータの一部または全部を含むクライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記サーバに対して送信するパラメータ送信手段と、
上記サーバ経由で、上記画像記録部に記録された低解像度画像、または、上記高解像度化処理ユニットで生成された高解像度画像を、静止画像、または、動画像として閲覧可能な画像表示手段と、
を具備することを特徴とするクライアント端末。
【０１６１】
（対応する実施形態）
この（２２）に記載のクライアント端末に関する実施形態は、第１、第２及び第４実施形態が対応する。それらの実施形態において、クライアント端末１２で起動される画像表示アプリケーションが上記クライアント端末指示パラメータ設定手段、上記パラメータ送信手段及び上記画像表示手段に、それぞれ対応する。
【０１６２】
（作用効果）
この（２２）に記載のクライアント端末によれば、クライアント端末からパラメータを指示することにより、そのパラメータに応じて高解像度化処理ユニットで生成する高解像度画像の画質のクオリティ制御を行うことで、クライアント端末の高解像度画像表示を円滑に行え、また、サーバや高解像度化処理ユニットの負荷を軽減し、同時にアクセスするクライアント端末が増えても、画像配信システムが破綻することなく、各クライアント端末に高品質な画像を提供することが可能になる。
【０１６３】
（２３）  所望の画像に係る単数若しくは複数枚の連続する画像を抽出して、サーバから配信された画像データを受信するクライアント端末であって、
上記サーバより配信された上記単数または複数枚の連続する画像を用いて上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を具備することを特徴とするクライアント端末。
【０１６４】
（対応する実施形態）
この（２３）に記載のクライアント端末に関する実施形態は、第３実施形態が対応する。その実施形態において、サーバ１０が上記サーバに、クライアント端末１２が上記クライアント端末に、高解像度化処理ユニット２０が上記高解像度化処理ユニットに、モーション推定部２０Ｂ及び超解像処理部２０Ｃが上記高解像度画像生成手段及び上記クオリティ制御手段に、クライアント端末１２で起動される画像表示アプリケーションが上記クライアント端末指示パラメータ設定手段、上記パラメータ送信手段及び上記画像表示手段に、それぞれ対応する。
【０１６５】
（作用効果）
この（２３）に記載のクライアント端末によれば、クライアント端末が指示可能なパラメータに応じて、高解像度化処理ユニットで生成する高解像度画像の画質のクオリティ制御を行うことで、クライアント端末の高解像度画像表示を円滑に行え、また、サーバや高解像度化処理ユニットの負荷を軽減し、同時にアクセスするクライアント端末が増えても、画像配信システムが破綻することなく、各クライアント端末に高品質な画像を提供することが可能になる。また、サーバから配信される画像は低解像度画像のみで良いので、サーバ・クライアント端末間の通信時間（データ送信時間）の短縮が図れる。
【０１６６】
（２４）  電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおいて、
上記サーバは、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を使用し、上記クライアント端末が指示可能なパラメータに応じて、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して、上記クライアント端末に配信する配信手段と、
を備え、
上記クライアント端末は、
上記サーバより配信された上記単数または複数枚の画像を使用し、上記配信手段によって付加された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、該動き補償手段で補償された上記複数の画像を合成した像を生成することで、当該クライアント端末が所望の画像について上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を備えたことを特徴とする画像配信システム。
【０１６７】
（対応する実施形態）
この（２４）に記載の画像配信システムに関する実施形態は、第５実施形態が対応する。その実施形態において、サーバ１０が上記サーバに、クライアント端末１２が上記クライアント端末に、デジタルカメラ１６及びオンデマンドビデオデータ１８が上記画像記録部に、モーション推定部２０Ｂが上記動き推定手段に、サーバ１０及び高解像度化処理ユニット２０−１が上記配信手段に、高解像度化処理ユニット２０−２が上記高解像度化処理ユニットに、超解像処理部２０Ｃが上記動き補償手段及び上記高解像度画像生成手段に、モーション推定部２０Ｂ及び超解像処理部２０Ｃが上記クオリティ制御手段に、クライアント端末１２で起動される画像表示アプリケーションが上記クライアント端末指示パラメータ設定手段、上記パラメータ送信手段及び上記画像表示手段に、それぞれ対応する。
【０１６８】
（作用効果）
この（２４）に記載の画像配信システムによれば、クライアント端末が指示可能なパラメータに応じて、高解像度化処理ユニットで生成する高解像度画像の画質のクオリティ制御を行うことで、クライアント端末の高解像度画像表示を円滑に行え、また、サーバや高解像度化処理ユニットの負荷を軽減し、同時にアクセスするクライアント端末が増えても、画像配信システムが破綻することなく、各クライアント端末に高品質な画像を提供することが可能になる。また、動き推定処理と高解像度画像生成処理とを分割し、高解像度画像生成処理の入力画像に動き推定値を付加するようにしたことで、それぞれの処理負担が軽減する。さらに、サーバ・クライアント端末間の通信時間（データ送信時間）の短縮が図れる。
【０１６９】
（２５）  電子的に記録された画像をサーバ経由でクライアント端末に配信する画像配信システムにおけるサーバであって、
上記クライアント端末から要求された所望の単数もしくは複数枚の連続する画像を記録する画像記録部と、
該画像記録部に記録された単数または複数枚の画像を使用し、上記クライアント端末が指示可能なパラメータに応じて、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加する付加情報付加手段と、を備えた高解像度化処理ユニットと、
を具備することを特徴とするサーバ。
【０１７０】
（対応する実施形態）
この（２５）に記載のサーバに関する実施形態は、第５実施形態が対応する。その実施形態において、サーバ１０が上記サーバに、クライアント端末１２が上記クライアント端末に、デジタルカメラ１６及びオンデマンドビデオデータ１８が上記画像記録部に、モーション推定部２０Ｂが上記動き推定手段に、サーバ１０及び高解像度化処理ユニット２０−１が上記付加情報付加手段に、それぞれ対応する。
【０１７１】
（作用効果）
この（２５）に記載のサーバによれば、クライアント端末が指示可能なパラメータに応じて動き推定を行い、付加情報を各々の画像に付加して配信することで、それを受けたクライアント端末側で、高解像度化処理ユニットでその付加情報を利用して高解像度画像を生成でき、また、クライアント端末が指示可能なパラメータに応じて、高解像度化処理ユニットで生成する高解像度画像の画質のクオリティ制御を行うことで、クライアント端末の高解像度画像表示を円滑に行え、また、サーバや高解像度化処理ユニットの負荷を軽減し、同時にアクセスするクライアント端末が増えても、画像配信システムが破綻することなく、各クライアント端末に高品質な画像を提供できるようなる。また、動き推定処理と高解像度画像生成処理とを分割し、高解像度画像生成処理の入力画像に動き推定値を付加するようにしたことで、それぞれの処理負担が軽減する。さらに、サーバ・クライアント端末間の通信時間（データ送信時間）の短縮が図れる。
【０１７２】
（２６）  上記（２５）に記載のサーバから所望の画像を配信されるクライアント端末であって、
上記サーバより配信された上記単数または複数枚の画像を使用し、上記配信手段によって付加された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、該動き補償手段で補償された上記複数の画像を合成した像を生成することで、当該クライアント端末が所望の画像について上記サーバより配信された画像の周波数帯域よりも高い周波数帯域を復元した高解像度画像を生成する高解像度画像生成手段と、上記所望の画像について生成画像の画質を設定するためのクオリティパラメータにより上記高解像度画像生成手段で生成する高解像度画像の画質を制御するクオリティ制御手段と、を備えた高解像度化処理ユニットと、
上記クオリティパラメータの一部または全部を含む当該クライアント端末が指示可能なパラメータのうち所望のパラメータを設定するクライアント端末指示パラメータ設定手段と、
該クライアント端末指示パラメータ設定手段で設定された上記所望のパラメータを上記高解像度化処理ユニットに対して送信するパラメータ送信手段と、
上記サーバから配信された低解像度画像または上記高解像度化処理ユニットで生成された高解像度画像を、静止画像または動画像として閲覧可能な画像表示手段と、
を具備することを特徴とするクライアント端末。
【０１７３】
（対応する実施形態）
この（２６）に記載のクライアント端末に関する実施形態は、第５実施形態が対応する。その実施形態において、高解像度化処理ユニット２０−２が上記高解像度化処理ユニットに、超解像処理部２０Ｃが上記動き補償手段及び上記高解像度画像生成手段に、モーション推定部２０Ｂ及び超解像処理部２０Ｃが上記クオリティ制御手段に、クライアント端末１２で起動される画像表示アプリケーションが上記クライアント端末指示パラメータ設定手段、上記パラメータ送信手段及び上記画像表示手段に、それぞれ対応する。
【０１７４】
（作用効果）
この（２６）に記載のクライアント端末によれば、クライアント端末が指示可能なパラメータに応じて、高解像度化処理ユニットで生成する高解像度画像の画質のクオリティ制御を行うことで、クライアント端末の高解像度画像表示を円滑に行え、また、サーバや高解像度化処理ユニットの負荷を軽減し、同時にアクセスするクライアント端末が増えても、画像配信システムが破綻することなく、各クライアント端末に高品質な画像を提供することが可能になる。また、動き推定処理と高解像度画像生成処理とを分割し、高解像度画像生成処理の入力画像に動き推定値を付加するようにしたことで、それぞれの処理負担が軽減する。さらに、サーバ・クライアント端末間の通信時間（データ送信時間）の短縮が図れる。
【図面の簡単な説明】
【０１７５】
【図１】図１は、本発明の第１実施形態に係る画像配信システムのシステム構成図である。
【図２】図２は、第１実施形態におけるクライアント端末の表示例を示す図である。
【図３】図３は、モーション推定部で実行される動き推定処理のフローチャートを示す図である。
【図４】図４は、動き推定における最適類似度推定のための類似度マップを示す図である。
【図５】図５（Ａ）は、複数の連続撮影した画像を示す図であり、図５（Ｂ）は、動き推定値を使用した参照画像変形により基準画像へ近似した画像を示す図である。
【図６】図６は、超解像処理部で実行される画像高解像度化処理（超解像処理）のフローチャートを示す図である。
【図７】図７は、超解像処理部の一例を示すブロック構成図である。
【図８】図８（Ａ）及び（Ｂ）はそれぞれ高解像度化処理ユニット及びサーバでのクオリティ制御項目の可否を説明するための図である。
【図９】図９は、超解像の拡大と公知技術による拡大との対比を説明するための図である。
【図１０】図１０は、本発明の第２実施形態に係る画像配信システムのシステム構成図である。
【図１１】図１１は、本発明の第３実施形態に係る画像配信システムのシステム構成図である。
【図１２】図１２は、本発明の第４実施形態における画像遅延表示制御時のシーケンスを説明するための図である。
【図１３】図１３は、本発明の第５実施形態に係る画像配信システムのシステム構成図である。
【図１４】図１４は、付加情報を説明するための図である。
【符号の説明】
【０１７６】
１０…サーバ、  １２…クライアント端末、  １４…インターネット、  １６…デジタルカメラ、  １８…オンデマンドビデオデータ、  ２０…高解像度化処理ユニット、  ２０Ａ，２０Ａ−１，２０Ａ−２…連写用バッファ、  ２０Ｂ…モーション推定部、  ２０Ｃ…超解像処理部、  ２０Ｃ１…初期画像記憶部、  ２０Ｃ２…畳込み積分部、  ２０Ｃ３…ＰＳＦデータ保持部、  ２０Ｃ４…画像比較部、  ２０Ｃ５…乗算部、  ２０Ｃ６…合せ加算部、  ２０Ｃ７…蓄積加算部、  ２０Ｃ８…更新画像生成部、  ２０Ｃ９…画像蓄積部、  ２０Ｃ１０…反復演算判定部、  ２０Ｃ１１…反復判定値保持部、  ２０Ｃ１２…補間拡大部、  ２２，３４…パラメータ、  ２４…クオリティ制御指示、  ２６…表示ウィンドウ、  ２６Ａ…『高解像度位置』パラメータスイッチ、  ２６Ｂ…低解像度画像表示領域、  ２６Ｃ…『高解像度画像サイズ』パラメータスイッチ、  ２６Ｄ…『画質設定』パラメータスイッチ、  ２６Ｅ…『対象動画像』パラメータスイッチ、  ２６Ｆ…『高解像度画像表示』パラメータスイッチ、  ２６Ｇ…高解像度画像表示領域、  ２８…メモリ、  ３０…ログサーバ、  ３２…ログ表示要求パラメータ。
【図１】
2008067316.tif 000004
【図２】
2008067316.tif 000005
【図３】
2008067316.tif 000006
【図４】
2008067316.tif 000007
【図５】
2008067316.tif 000008
【図６】
2008067316.tif 000009
【図７】
2008067316.tif 000010
【図８】
2008067316.tif 000011
【図９】
2008067316.tif 000012
【図１０】
2008067316.tif 000013
【図１１】
2008067316.tif 000014
【図１２】
2008067316.tif 000015
【図１３】
2008067316.tif 000016
【図１４】
2008067316.tif 000017