(57)【要約】 【課題】サーバ・クライアント間のネットワーク帯域が、高解像度な映像データを送るには十分広くない場合においても、一般的な解像度変換に比べ画質、画質の高い映像データをクライアント側で得られるようにする。【解決手段】第１の解像度を有する複数の画像データ間の位置ずれ情報と、前記複数の画像データを得る際に使用された撮像部の光学特性とに基づいて、前記第１の解像度よりも解像度の高い第２の解像度を有する高解像度画像データを生成する際に必要となるパラメータを生成する。そして、生成したパラメータと複数の画像データとを送信装置から受信装置に送信する。【選択図】図１
2013157714.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度を有する複数の画像データ間の位置ずれ情報と、前記複数の画像データを得る際に使用された撮像部の光学特性とに基づいて、前記第１の解像度よりも解像度の高い第２の解像度を有する高解像度画像データを生成する際に必要となるパラメータを生成する生成手段と、
前記複数の画像データと前記パラメータとを受信装置に対して送信する送信手段と
を有する送信装置。
【請求項２】
前記パラメータは、前記複数の画像データ間の動きベクトル、ダウンサンプリング情報、画像データの圧縮に関する情報の少なくとも１つを含むことを特徴とする請求項１に記載の送信装置。
【請求項３】
異なる解像度を有する複数の画像データと、当該画像データに対応する前記生成されるパラメータとを保存する保存手段をさらに備え、
前記送信手段は、前記受信装置との間のネットワーク通信速度に応じて、前記保存手段に保存されている画像データおよびパラメータを選択して送信することを特徴とする請求項１または２に記載の送信装置。
【請求項４】
第１の解像度を有する複数の画像データ間の位置ずれ情報と、前記複数の画像データを得る際に使用された撮像部の光学特性とに基づいて、前記第１の解像度よりも解像度の高い第２の解像度を有する高解像度画像データを生成する際に必要となるパラメータを送信装置から受信する受信手段と、
前記複数の画像データと前記パラメータとに基づいて、前記高解像度画像データを生成する生成手段と、
を有する受信装置。
【請求項５】
前記パラメータは、前記複数の画像データ間の動きベクトル、ダウンサンプリング情報、画像データの圧縮に関する情報の少なくとも１つを含むことを特徴とする請求項４に記載の受信装置。
【請求項６】
前記生成手段は、前記受信手段にて前記パラメータを受信していない場合、前記複数の画像データのみで前記高解像度画像データとは別の高解像度画像データを生成することを特徴とする請求項４または５に記載の受信装置。
【請求項７】
第１の解像度を有する複数の画像データ間の位置ずれ情報と、前記複数の画像データを得る際に使用された撮像部の光学特性とに基づいて、前記第１の解像度よりも解像度の高い第２の解像度を有する高解像度画像データを生成する際に必要となるパラメータを生成する生成ステップと、
前記複数の画像データと前記パラメータとを受信装置に対して送信する送信ステップと
を有する送信装置における送信方法。
【請求項８】
第１の解像度を有する複数の画像データ間の位置ずれ情報と、前記複数の画像データを得る際に使用された撮像部の光学特性とに基づいて、前記第１の解像度よりも解像度の高い第２の解像度を有する高解像度画像データを生成する際に必要となるパラメータを送信装置から受信する受信ステップと、
前記複数の画像データと前記パラメータとに基づいて、前記高解像度画像データを生成する生成ステップと、
を有する受信装置における受信方法。
【請求項９】
コンピュータを請求項１から３のいずれかに記載の送信装置として機能させるためのプログラム。
【請求項１０】
コンピュータを請求項４から６のいずれかに記載の受信装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像の高解像度化に関する。特に、高解像度化するための情報を送信する送信装置および高解像度化するための情報を受信する受信装置などに関する。
【背景技術】
【０００２】
１枚の低解像度画像を拡大することにより、1枚の高解像度画像を生成する技術として、画素補間方法など、さまざまな技術が研究されている。しかし、そもそも、低解像度画像に含まれる信号の周波数帯域が限られるため、１枚の低解像度画像だけから超解像度の画像を生成するのは限界がある。そこで、複数の低解像度の画像データを入力として、より画素数の多い超解像度の画像を生成する技術として、超解像(super resolution)技術が広く知られている。超解像の解法としては、さまざまな方法が提案されており、複数フレームの位置ずれを有する低解像度画像を合成して、高解像度な画像を生成する撮像手法が提案されている（例えば、非特許文献１）。その他の超解像技術として、ＭＡＰ(Maximum  A  Posterior)推定に基づく方法が有名である（例えば、非特許文献２）。ＭＡＰ法とは、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。つまり、ＭＡＰ法は高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。更に、静止画像だけでなく動画像に超解像を適用した方法が提案されている（例えば、非特許文献１）。
【０００３】
また、ネットワーク上の帯域を映像送信前に予め調査し、送信量がネットワークの帯域より大きくならないような映像データを送信する技術もある（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−５２６７２号公報
【非特許文献】
【０００５】
【非特許文献１】Sung C. P., Min K. P. ,”Super-Resolution Image Reconstruction: A Technical Overview”, 米国 IEEE Signal Proc. Magazine, 第26巻, 第3号, p.21-36，2003年
【非特許文献２】R. R. Schulz, R. L. Stevenson, “Extraction  of high-resolution frames from video sequences”, IEEE  Trans. Image Processing,  第5巻,  p.996-1011,  1996年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
超解像処理を施した映像データは容量が大きくなる。サーバ装置からクライアント装置にデータを送信するシステムにおいては、帯域制限により、超解像処理済みの映像データを送信できない場合が想定される。そこで、特許文献１で提案されているように、ネットワークの帯域に適合する映像データを送信することが考えられる。しかし、特許文献１で提案される手法では、サーバ・クライアント間のネットワーク帯域が狭くなった場合には、解像度を下げた映像データを送信するため、画質が落ちてしまう、という課題があった。
【０００７】
そこで本発明では、サーバ・クライアント間のネットワーク帯域が、高解像度な映像データを送るには十分広くない場合においても、一般的な解像度変換に比べ画質、画質の高い映像データをクライアント側で得られるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る送信装置は、第１の解像度を有する複数の画像データ間の位置ずれ情報と、前記複数の画像データを得る際に使用された撮像部の光学特性とに基づいて、前記第１の解像度よりも解像度の高い第２の解像度を有する高解像度画像データを生成する際に必要となるパラメータを生成する生成手段と、前記複数の画像データと前記パラメータとを受信装置に対して送信する送信手段とを有する。
【発明の効果】
【０００９】
本発明は、サーバ・クライアント間のネットワーク帯域が高解像度な映像データを送るには十分でない場合においても、一般的な解像度変換に比べ画質、画質の高い映像データをクライアント側で得ることが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例における映像配信システムの構成の一例を示すブロック図である。
【図２】本発明の実施例における映像高解像度化のための補助情報作成処理の一例を示すフローチャートである。
【図３】本発明の第１の実施例における、映像配信サーバの処理手順の一例を示すフローチャートである。
【図４】本発明の第１の実施例における、映像視聴装置の処理手順の一例を示すフローチャートである。
【図５】本発明の実施例における、映像視聴装置の映像高解像度化処理の手順の一例を示すフローチャートである。
【図６】本発明の第２の実施例における、映像配信サーバ内の映像データおよび補助情報の管理方法の一例を示す概念図である。
【図７】本発明の第２の実施例における、映像配信サーバの処理手順の一例を示すフローチャートである。
【図８】本発明における、映像データを高解像度化するための補助情報を作成するためのデータ構造の一例を表す模式図である。
【発明を実施するための形態】
【００１１】
[実施例１]
図１は、実施例１の映像配信システムに適用可能な構成を示したブロック図である。映像配信サーバ１０１は、映像データの配信を行う送信装置である（以下、「配信サーバ」と称する）。配信サーバ１０１は、超解像映像視聴装置１０２（以下、「視聴装置」と称する）からの要求に応え、視聴装置で視聴が試みられている映像の映像データと、その映像データを高解像度化して視聴するために必要な補助情報とを送出する。なお、以下の説明では高解像度処理の例として超解像処理を用いて説明を行っている。補助情報については後述する。映像データは、たとえばＭＰＥＧ−２などの方式でコード化された情報である。配信サーバ１０１は、視聴装置から要求があった時点で補助情報を生成しても良いし、視聴装置１０２からの要求の有無に関わらず、予め補助情報を生成しておいても良い。視聴装置１０２は、装置の利用者が視聴する映像データと、補助情報とを配信サーバ１０１から受け取り、受け取った映像データを受け取った補助情報に基づいて高解像度化する。視聴装置１０２は、映像データを受信する受信装置である。配信サーバと視聴装置は、コンピュータとして構成することができる。
【００１２】
＜送信側＞
図１における、配信サーバ１０１の処理を説明する。映像データ保存部１０３は、配信サーバ１０１から送信すべき映像データを保存しておく機能単位で、ハードディスクなどの記録媒体から構成される。超解像情報作成部１０４は、映像データ保存部１０３に保存された映像データを高解像度化するための補助情報を作成する。補助情報は視聴装置１０２で映像データを視聴する際に、映像を高解像度化するために用いられる。超解像情報作成部１０４で作成された補助情報は、超解像情報保存部１０５に保存される。超解像情報作成部１０４の処理の詳細については後述する。超解像情報入力部１１６は、映像データを高解像度化するための補助情報を外部から入力する機能単位である。たとえば、情報を直接入力するためのキーボード等の入力装置や、撮像デバイスを接続するためのＩ／Ｏなどが挙げられる。
【００１３】
映像データ読み出し部１０６は、配信管理部１０９からの要求に応え、映像データ保存部１０３から映像データを読み出し、ストリームバッファ１０８へ格納を行う。
【００１４】
超解像情報読み出し部１０７は、配信管理部１０９からの要求に応え、超解像情報保存部１０５から補助情報を読み出し、ストリームバッファ１０８へ格納を行う。
【００１５】
配信管理部１０９は、視聴装置１０２からの要求に応え、映像データおよび補助情報を、ストリームバッファ１０８およびネットワーク１１０を介して、視聴装置１０２へ送信する。
【００１６】
＜補助情報＞
次に、映像データの補助情報の作成方法について説明する。まず、補助情報について説明する。補助情報とは、たとえば映像データに対して超解像処理を行い、映像を高解像度化する場合のパラメータである。すなわち、補助情報は、第１の解像度を有する画像データから、第１の解像度よりも解像度の高い第２の解像度を有する高解像度画像データを生成する際に必要となるパラメータということもできる。超解像処理のためのパラメータを作成する際の演算処理は負荷が大きい。従って、比較的高いマシンスペックを有する配信サーバ１０１側で補助情報を作成する。なお、算出済みのパラメータを用いて超解像度処理を施す場合には処理の負荷が低いため、視聴装置１０２が比較的低いマシンスペックでも高解像度の映像データを視聴することができる。
【００１７】
超解像の解法としては、さまざまな方法が提案されており、たとえば、ＭＡＰ(Maximum  A  Posterior)推定に基づく方法が有名である（例えば、非特許文献２）。
【００１８】
ＭＡＰ推定による超解像処理では、撮像装置の劣化条件を考慮する必要がある。撮像装置の劣化条件として、撮像部の光学特性を示す光学系の点拡がり関数（PSF）と、センサー画素数の制限による劣化過程であるダウンサンプリング情報と、画像データ間の位置ずれ情報とを扱う。撮像される画像をＹと置くと、式（１）で定義されるように劣化条件が作用する。
【００１９】
【数１】
2013157714.tif 000003
【００２０】
行列BはＰＳＦによる劣化処理を行う正方行列である。行列Dはダウンサンプリング処理の画像縮小の倍率を反映した行列である。Ｘは高解像度画像となる。
【００２１】
行列B、Dのサイズは入力画像サイズによって変化する。入力画像サイズをW（横画素数）とH（縦画素数）、ダウンサンプリング時の画像縮小の倍率を（１／ｓ_ｘ，１／ｓ_ｙ）とする場合、式（１）に記載される各行列サイズは図８の通りとなる。高解像度画像であるXはベクトル記述として扱うため、その行列サイズは（Ｈ×Ｗ）×１となる。ＰＳＦによる劣化処理を行う行列Ｂは、（Ｈ×Ｗ）×（Ｈ×Ｗ）の正方行列となる。ダウンサンプリング処理を表す行列Ｄのサイズは、（Ｈ×１／ｓ_ｘ×Ｗ×１／ｓ_ｙ）×（Ｈ×Ｗ）となる。なお、ここでＰＳＦによる劣化処理を行う正方行列である行列Ｂは、超解像情報入力部１１６からの入力によって与えられることができる。
【００２２】
上記の例は、1枚の動画に対して超解像処理を行う例を示したものである。複数枚の映像フレームを利用して超解像処理を行う場合には、上記式（１）にさらにフレーム間の位置ずれを考慮し、画像間の位置ずれを表す行列Mを追加し、以下のような式とする必要がある。
【００２３】
【数２】
2013157714.tif 000004
【００２４】
ここで、行列Mは、（Ｈ×Ｗ）×（Ｈ×Ｗ）の正方行列となる。行列Mの作成に際しては、フレーム間の相対移動量の算出にて得られた参照画像と対象画像との相対関係を示すアフィンパラメータにより決定される。入力される複数の画像データのうち1枚を参照画像と定め、その他の画像データを対象画像とする。このとき、式（３）に記載される画素位置（ｘ，ｙ）は対象画像上の画素位置に対応し、（ｘ’，ｙ’）は参照画像上の画素位置に対応する。これらの対応関係と推定されたアフィンパラメータから、対象画像上の画素位置（ｘ，ｙ）が参照画像上のどの座標位置に対応するかを把握することができる。これらの対応関係が、行列Mに反映される構成である。対応関係の結果、画素位置（ｘ’，ｙ’）が参照画像の格子点上にプロットされる場合には、参照画像の画素位置に対応する行列Mの要素を１と規定し、その他の要素に０を代入する。参照画像の格子点上にプロットされない場合には、（ｘ’，ｙ’）の周辺画素の画素値から、線形補間等の補間処理を利用して、その重み付け和として行列Mの係数として算出する。このとき、行列Mは、（ｘ，ｙ）と（ｘ’，ｙ’）の周辺画素の位置から決定される行及び列の要素に、（ｘ’，ｙ’）の周辺画素に割り当てられる重み値をそれぞれ代入する。それ以外の要素に０を代入することで画像間の位置ずれを表す行列Mを生成する。
【００２５】
【数３】
2013157714.tif 000005
【００２６】
ここで、３×３の行列がアフィン変換行列である。行列の各要素がアフィンパラメータであり、ａ＝１，ｂ＝０，ｄ＝０，ｅ＝１のとき、この変換は平行移動となり、ｃが水平方向の移動量、ｆが垂直方向の移動量となる。また、回転角θでの回転移動は、ａ＝ｃｏｓθ，ｂ＝−ｓｉｎθ，ｄ＝ｓｉｎθ，ｅ＝ｃｏｓθで表すことができる。
【００２７】
＜補助情報作成処理＞
図２は、配信サーバ１０１において、映像データから、その映像データに関連する、高解像度化処理に必要な補助情報を作成する処理の流れの一例を示すフローチャートである。
【００２８】
まず、ステップＳ２０１で、映像データを映像データ保存部１０３へ格納する。次に、ステップＳ２０２で、映像データを高解像度化するために必要な補助情報を抽出する。補助情報には、前述の通り、主に映像の劣化過程情報を用いることが考えられる。たとえば、映像データを撮影する際のレンズのＰＳＦ（点広がり関数）や、どのコーデックを使用しているかなどの映像を圧縮する際の圧縮過程情報などが挙げられるが、もちろんこれ以外の劣化過程情報でも構わない。これらの補助情報は、映像データ格納時に撮影機材から取得してもよいし、映像データとは別に入力しても構わない。
【００２９】
次に、ステップＳ２０３で、抽出した補助情報をまとめ、超解像情報保存部１０５へ格納する。そして、ステップＳ２０４で、映像データ保存部１０３に格納した映像データと、超解像情報保存部１０５に格納した補助情報とを関連づける。
【００３０】
上記の処理により、補助情報の作成が完了する。このように作成される補助情報は、映像データはもとよりベクトルデータなどと比較してもデータサイズとしては非常に小さいサイズである。従って、高解像度の映像データを送信するよりも、低解像度の映像データと補助情報とを併せて送信する方が使用するネットワーク帯域を少なくすることができる。なお、補助情報には例えばイタレーション回数、基準フレーム情報、参照フレーム数などの情報を含めてもよい。また、補助情報には、例えばあるフレームについては超解像処理を行わないことを示すフラグが含まれていても良い。
【００３１】
＜送信時の処理フロー＞
図３は、実施形態１の配信サーバ１０１の映像データ送信の手順の一例をフローチャートで表したものである。このフローチャートは、例えば視聴装置１０２からの送信要求を受け取った時点で処理が開始される。
【００３２】
まず、ステップＳ３０１で、視聴装置１０２から要求された映像データを、映像データ保存部１０３内から検索する。次に、ステップＳ３０２で、検索の結果、該当の映像データが見つからなかった場合には、ステップＳ３０４へ移行し、視聴装置１０２へエラーを送信した後、処理を完了する。映像データが見つかった場合には、ステップＳ３０３へ移行する。次に、ステップＳ３０３では、先に検索された映像データに対応する補助情報を超解像情報保存部１０５内から検索する。次に、ステップＳ３０５で、検索の結果、映像データに対応する補助情報が見つからなかった場合には、ステップＳ３０６へ移行し、視聴装置１０２へ「補助情報なし」というステータスを送信し、ステップＳ３０８へ移行する。補助情報が見つかった場合には、ステップＳ３０７へ移行する。ステップＳ３０７では、検索された映像データに対応する補助情報を、配信管理部１０９を経て、視聴装置１０２へ送信する。
【００３３】
ステップＳ３０８で、映像データの送信フレーム位置を、映像データの先頭位置へと初期化する。次に、ステップＳ３０９で、送信位置を初期化された映像データを、ストリームバッファ１０８へ格納する。格納された映像データは、ステップＳ３１０で、配信管理部１０９から要求に基づいて、視聴装置１０２へ順次送信される。ストリームバッファ１０８から１フレーム送信したら、ステップＳ３１１へ移行する。
【００３４】
なお、図３の例では補助情報を映像データよりも先に視聴装置１０２に送信する場合について説明しているが、補助情報よりも映像データを先に送信してもよい。なお、映像データを先に送信した場合であっても補助情報がなければ超解像度処理ができないので、補助情報が送られるまで視聴装置ではバッファに映像データを格納しておくことになる。従って、映像データを先に送信した場合にはバッファの占有期間が長くなる場合もあるので、補助情報を先に送信することが望ましい。
【００３５】
ステップＳ３１１では、先に送ったフレームが映像データの最終フレームであるかどうかを判定する。最終フレームであった場合には、処理を終了する。最終フレームではなかった場合、ステップＳ３１２へ移行する。ステップＳ３１２で、補助情報の更新があるかどうかを確認する。これは、映像データの途中でズーム処理などが入り、補助情報が変更される場合があるためである。もし補助情報の変更がある場合にはステップＳ３１３へ、ない場合にはステップＳ３１４へ移行する。ステップＳ３１３では、補助情報の内容を更新する。補助情報の更新のために、補助情報を視聴装置へ送信してもかまわないし、予め視聴装置に全ての補助情報を送信しておき、参照される補助情報の内容を変更するように視聴装置側へ制御信号を出してもかまわない。ステップＳ３１４では、送信フレーム位置をインクリメントし、次のフレームを送信する準備を行う。そして、ステップＳ３１０へ再び戻り、次のフレームの映像データを送信する。
【００３６】
＜受信側＞
再び図１に戻り、次に視聴装置１０２の説明に移る。映像情報受信部１１１は、配信サーバ１０１から送信された映像データおよび補助情報をストリームバッファ１１２へ格納したり、利用者から利用したい映像データの要求を配信サーバ１０１へ送信したりするための機能単位である。高解像度処理部１１３は、ストリームバッファ１１２に格納された映像データ、および補助情報をもとに、映像データの高解像度化を行う機能単位である。高解像度化の詳細は後述する。画質調整部１１４は、高解像度化処理後の高解像度映像データを、利用者の好みや、視聴条件に応じて調整する機能単位である。たとえば、明るさ調整や、色合いの調整などを行うため、映像のコントラストをあげたりすることが挙げられる。出力部１１５は、一般的なモニタ等を持つ装置である。出力部１１５は、画質調整部１１４を経て出力された映像データを表示する。
【００３７】
＜受信時の処理フロー＞
図４は、実施例１において、視聴装置１０２が配信サーバ１０１の映像データを受信し、表示する手順をフローチャートで表したものである。まず、ステップＳ４０１で、視聴したい映像データのストリームを送信するよう、配信サーバ１０１へ要求する。また、このとき、映像データの再生位置を初期化しておく。次にステップＳ４０２で、補助情報を受信する。受信した補助情報はステップＳ４０７で利用される。次に、Ｓ４０３で映像情報受信部１１１を動作させ、配信サーバ１０１から映像データのストリーム受信を開始する。ストリーム受信が開始されると、ストリームバッファ１１２には、配信サーバ１０１から映像データと、必要に応じて補助情報とが順次送信される。次に、ステップＳ４０４で、ストリームバッファ１１２に映像データが格納されているかどうかを調べる。バッファが空でなければ、ステップＳ４０６へ、バッファが空だった場合には、ステップＳ４０５へ移行する。ステップＳ４０５では、バッファに映像データが格納されるのを待つため、一定時間プログラムの処理を停止し、待機する。たとえば、１ミリ秒の間プログラムの処理を停止し、ストリームバッファ１１２へ映像データが格納されるのを待ち、再びステップＳ４０４を行う。
【００３８】
ステップＳ４０６では、ストリームバッファ１１２から映像データのストリームをデコードし、フレーム化された映像データを取得する。次に、ステップＳ４０７では、取得した映像データを高解像度化するための処理を行う。高解像度化のための処理については後述する。次に、ステップＳ４０８で、高解像度化された映像データに対して、コントラスト補正などの画質調整を行う。次に、ステップＳ４０９で画質調整後の高解像度化された１フレーム分の映像データを、出力部を通じて表示する。そして、ステップＳ４１０で、現在出力部で出力されている映像データのフレームが、映像データの最終フレームかどうかを確認する。最終フレームであれば、処理を終了し、最終フレームでなければ、ステップＳ４１１で、映像データの再生フレーム位置をインクリメントし、次のフレーム位置の高解像度化された映像の表示を行うため、ステップＳ４０４へ再び戻る。
【００３９】
＜映像の高解像度化方法＞
図５は、実施例１における、視聴装置１０２の映像データの高解像度化の処理手順の一例をフローチャートで表したものである。まず、ステップＳ５０１で、高解像度化しようとしている映像データに、映像高解像度化のための補助情報があるかどうかを判定する。すなわち、映像データに関連付けられた補助情報を受信しているか否かを判定する。補助情報があればステップＳ５０２へ、なければステップＳ５０３へ移行する。次に、ステップＳ５０２では、補助情報を使ってフレームの高解像度化を行う。たとえば、超解像処理のＭＡＰ法（非特許文献２）を行う。
【００４０】
ステップＳ５０３では、高解像度化のための補助情報がないため、ステップＳ５０２で挙げた高解像度化方法以外の、一般的な解像度変換方法を用いて高解像度化を行う。たとえば、バイキュービック法などが挙げられる。もちろんバイキュービック法以外の方法を用いて高解像度化しても構わない。そして、これらの方法を経て高解像度化された映像データは、後続の処理に渡される。
【００４１】
以上説明したように、実施例１によれば、映像データの配信側から視聴側に、映像データとともに高解像度化のための補助情報も送信することによって、ネットワーク帯域の狭い環境下においても、高解像度化で、かつ、高画質な映像を視聴することが可能となる。
【００４２】
なお、実施例１においては、単一の装置である配信サーバ１０１が補助情報を作成する例について説明したが、補助情報の作成を別個の装置に行わせ、他の装置で作成済みの補助情報を配信サーバが視聴装置に送信するように構成してもよい。
【００４３】
[実施例２]
実施例１では、映像データとともに、映像データを高解像度化するための補助情報も送信する方法について説明した。本実施例においては、ネットワーク帯域に応じて送信する映像データおよび補助情報を制御する例について説明する。なお、本実施例については、実施例１と異なる点のみ説明を行う。本実施例は、実施例１に比べて、映像データおよび補助情報の保存方法、並びに送信時の処理フローが異なる。
【００４４】
＜映像データおよび補助情報の管理方法＞
図６は、実施例２において、あるコンテンツＡの映像データと、当該映像データの補助情報の保存方法例を示した模式図である。本実施例では、配信サーバ１０１が同一コンテンツの映像データと、補助情報とを複数持つ点が異なる。たとえば、配信サーバ１０１は、同一コンテンツの映像データであるが、解像度が縦７２０ピクセル、横４８０ピクセルの映像データと、縦３２０ピクセル、横２４０ピクセルの映像データとを持つ。そして、配信サーバ１０１は、それぞれの映像データについて、高解像度化のための補助情報を別々に持つ。これは、映像データの解像度が異なれば、その映像を高解像度化するための補助情報の内容も異なるためである。たとえば、映像を圧縮する際の圧縮パラメータや、映像データを縮小する際のダウンサンプリングフィルタのサイズやフィルタ係数が変わると考えられる。従って、映像データの解像度に応じて、対応する補助情報を配信サーバ１０１にて作成して保存する。ただし、補助情報として、これ以外の情報を組み込んでももちろん構わない。
【００４５】
同一内容で、解像度の異なる映像データは、同一の映像コンテンツとして配信サーバ１０１内で管理される。また、映像コンテンツに対応する２種類の解像度の異なる映像データがあった場合、これらの映像データに対応する補助情報は２種類あり、たとえばそれぞれフィルタサイズ、フィルタ係数が異なる。実施例２では、後述する映像配信フローに沿って、映像コンテンツ内のある解像度を有する映像データと、その映像データに対応付けられる補助情報とが送信される。
【００４６】
＜送信時の処理フロー＞
図７は、実施例２において、配信サーバ１０１の映像データ送信の手順をフローチャートで表したものである。このフローチャートは、視聴装置１０２からの送信要求を受け取った時点で処理が開始される。実施例２では、ステップＳ７１５が入っている点が異なる。それ以外の処理ステップＳ７０１〜Ｓ７１４に関しては、図３のステップＳ３０１〜Ｓ３１４と同じである。
【００４７】
ステップＳ７１５では、配信サーバ１０１と、視聴装置１０２との間のネットワーク速度を調査し、配信する映像データを選択する。たとえば、配信サーバ１０１と視聴装置１０２の間のネットワーク通信速度が１０Ｍｂｐｓ以上であれば、縦７２０ピクセル、横４８０ピクセルの映像データとその映像データに対応する補助情報とを送信する。ネットワーク通信速度が１０Ｍｂｐｓ以下であれば縦３２０ピクセル、横２４０ピクセルの映像データとその映像データに対応する補助情報とを送信する。もちろん、送信する映像データの組み合わせは、上記のように２種類でなくても構わないし、また、閾値となるネットワーク速度は、１０Ｍｂｐｓでなくても構わない。
【００４８】
なお、本実施例においては、ネットワークの帯域に応じて、解像度の異なる映像データを送る方法について述べたが、解像度だけでなく、高フレームレートと低フレームレート、といった、フレームレートを変えた映像データを送信するようにしても構わない。このとき、補助情報には、高フレームレートの場合は複数の映像フレームから１枚の高解像度化したフレームを作る（非特許文献１）のためのパラメータを用意する。低フレームレートの場合は、１枚の映像フレームから１枚の高解像度のフレームを作る（非特許文献２）のためのパラメータを用意すると良い。
【００４９】
なお、実施例２の例として、配信サーバ１０１がネットワーク通信速度を調査する場合の例を説明した。しかしながら、視聴装置１０２がネットワーク通信速度を調べて、対応する解像度の映像データを配信サーバ１０１に要求する構成を採用してもよい。
【００５０】
以上のように、実施例２よれば、配信サーバと視聴装置との間のネットワーク帯域により、送信する映像データおよび補助情報を変えることができるので、ネットワーク帯域に応じて最適な高解像度化用の映像データを送信できる。
【図１】
2013157714.tif 000006
【図２】
2013157714.tif 000007
【図３】
2013157714.tif 000008
【図４】
2013157714.tif 000009
【図５】
2013157714.tif 000010
【図６】
2013157714.tif 000011
【図７】
2013157714.tif 000012
【図８】
2013157714.tif 000013