(57)【要約】【課題】超解像処理の恩恵を、比較的安価なハードウェアでの享受可能とするとともに、動きが無い部分の解像度向上も図る。【解決手段】放送または記録媒体から再生する映像を、ネットワーク経由で取得する映像補助情報を用いて高解像度化して表示する。超解像処理の動きベクトル生成部分をサーバで、高解像度画像生成のみを端末側で、それぞれ実行する構成とすることで、比較的安価なハードウェアでも、超解像の映像を表示可能とする。さらに、サーバと視聴装置で再生位置を合わせる機能を実現し、再生位置ずれを防止する。【選択図】図１０
2009105490.tif 000002
【特許請求の範囲】
【請求項１】
低解像度の動きベクトルと高解像度の静止画像情報を取得し送信する補足情報送信装置と、受信した前記動きベクトル情報と前記静止画情報とに基づいて低解像度の動きベクトルを高解像度化する映像視聴装置と、前記補足情報送信装置と前記映像視聴装置が再生位置の情報を送りあうための位置指定データを交換する再生位置調整部とを有することを特徴とする高解像度化情報送受信システム。
【請求項２】
第１の解像度の映像から動きベクトルの情報を取得する動きベクトル取得部と、前記第１の解像度よりも解像度が高い第２の解像度の静止画情報を取得する静止画情報取得部と、
前記動きベクトル取得部で取得した動きベクトル情報と、前記静止画情報取得部で取得した静止画情報とを送信する送信部とを有する補足情報送信装置と、
前記動きベクトル情報と前記静止画情報とを受信する受信部と、前記受信部で受信した動きベクトル情報と静止画情報とに基づいて、第１の解像度の映像を第２の解像度に高解像度化する画像生成部とを有する映像視聴装置とを備え、
前記補足情報送信装置と前記映像視聴装置が、再生位置の情報を送りあうための位置指定データを交換する再生位置調整部を有することを特徴とする高解像度化情報送受信システム。
【請求項３】
請求項１又は請求項２に記載の高解像度化情報送受信システムであって、前記映像視聴装置が再生を開始する場合、または、前記映像視聴装置が再生位置を不連続に変更した場合に、前記映像視聴装置が位置指定データを前記補足情報送信装置に送信することを特徴とする高解像度化情報送受信システム。
【請求項４】
請求項３に記載の高解像度化情報送受信システムであって、前記映像視聴装置から前記補足情報送信装置に送られた位置指定データにより、補足情報送信装置側で再生開始位置を特定できなかった場合に、前記映像視聴装置は超解像処理を実行せずに映像を再生する、ことを特徴とする高解像度化情報送受信システム。
【請求項５】
請求項１から請求項４のいずれか一項に記載の高解像度化情報送受信システムであって、前記位置指定データが、目的フレームの近傍にある特徴フレームを特定するための特徴データを含み、前記目的フレームは前記特徴データで特定された特徴フレームからの相対位置で指定される、ことを特徴とする高解像度化情報送受信システム。
【請求項６】
請求項２から請求項５のいずれか一項に記載の高解像度化情報送受信システムであって、
前記補足情報送信装置には、前記動きベクトル取得部で取得した動きベクトル情報と、前記静止画情報取得部で取得した静止画情報とを、映像に含まれるフレーム毎に対応付ける補足情報生成部を有する高解像度化情報送受信システム。
【請求項７】
請求項６に記載の高解像度化情報送受信システムであって、
前記静止画情報取得部は、映像に含まれるフレームの一つを分割した所定の矩形の単位に静止画情報を取得し、
前記補足情報生成部は、フレーム毎に複数の静止画情報を含ませる高解像度化情報送受信システム。
【請求項８】
請求項２から請求項５のいずれか一項に記載の高解像度化情報送受信システムであって、
前記静止画情報取得部は、映像に含まれ、第１のフレームに連続する第２のフレームについて静止画情報を取得するとき、前記第１のフレームと同じ内容を示す静止画情報であるかを判断し、同じ内容を示すときには同一フラグを取得し、異なる内容を示すときには前記第２のフレームの静止画の少なくとも色情報を取得する高解像度化情報送受信システム。
【請求項９】
請求項２から請求項５のいずれか一項に記載の高解像度化情報送受信システムであって、
前記送信部は、前記動きベクトル取得部で取得した動きベクトル情報と、前記静止画情報取得部で取得した静止画情報とに、前記第１の解像度の映像を対応付けて送信する高解像度化情報送受信システム。
【請求項１０】
請求項２から請求項５のいずれか一項に記載の高解像度化情報送受信システムであって、
前記画像生成部は、第１の解像度の映像に含まれるフレーム毎に、前記受信部で受信した動きベクトル情報と静止画情報とを用いて高解像度化する高解像度化情報送受信システム。
【請求項１１】
請求項１０に記載の高解像度化情報送受信システムであって、
前記画像生成部は、前記受信部で取得した静止画情報が、映像に含まれる前のフレームと同じであることを示しているときは前のフレームの静止画情報を用いる高解像度化情報送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、画像の高解像度化に関する。特に、高解像度化する情報を送信又は／及び受信する装置、システム、方法などに関する。
【背景技術】
【０００２】
上記技術分野に関し、特許文献１には「画像解像拡張処理にかかる演算量を軽減しつつ、画像間の動き検出の精度を向上させる。」ことを課題とし、その解決手段として「画像復号装置は、ビデオ符号化データを受信し復号して複数の再生画像を得るビデオデータ復号手段と、補助データを受信し復号して補助動き情報を得る補助データ復号手段と、補助データ復号手段により得られた補助動き情報に基づいて、複数の再生画像間の時空間対応を表す動きベクトルを生成し、生成した動きベクトルとビデオデータ復号手段により得られた複数の再生画像とを用いて、複数の再生画像よりも空間解像度の高い高解像画像を生成する解像度拡張手段とを備える。」ことが記載されている。
【０００３】
解像度拡張手段を実現するには、第一の形態として、解像度拡張処理の対象となる映像データを持つ映像視聴装置が、その内部で全て処理する形態がある。また第二の形態として、映像視聴装置が持つ対象映像を、より処理能力が高いサーバ装置に転送し、サーバ装置において解像度拡張した映像を、視聴装置に再び転送する形態がある。また、第三の形態として、対象映像を視聴装置とサーバ装置の両者で持ち、計算量が大きな処理をサーバ装置で実行し、その処理結果のみを映像視聴装置に転送し、映像視聴装置はサーバでの処理結果と自身が持つ映像データを用いて解像度拡張処理を実施する形態がある。上記背景技術および本発明は、第三の形態に関するものである。
【０００４】
映像表示装置の改善により、高画素数での表示が可能となっている。例えば、横１９２０画素、縦１０８０画素の画像を表示可能な表示装置が存在する。一方、放送局から送出される映像の大きさは、横７２０画素、縦４８０画素程度のものが多い。また、市販されているＤＶＤから再生可能な映像のサイズも、最大で横７２０画素、縦４８０画素である。このように、多くの一般的な映像の大きさより、表示装置が表示可能な画素数の方が大きいという状態が生じている。この状態は例示した画素数には限定されずより大きな画素の表示装置が登場した場合に、放送される又は記録から再生される映像が表示装置の画素よりも小さければ将来的にも継続しうる状態である。
【０００５】
このため、画素数が少ない映像から画素数が大きい映像を生成する技術が検討されている。一つの手段として、超解像と呼ばれる技術が開発されている。超解像処理では、時間方向の解像度を用い、空間方向の解像度を補完する方式が用いられている。
【０００６】
この超解像処理は、大きく分けると二つの段階に分けられる。第一段階は動きベクトルを生成する処理であり、第二段階は動きベクトルを利用し高解像度の画像を生成する処理である。第一段階の動きベクトル生成処理では、高解像度化する画像フレームと前後数枚の画像フレームを比較し、画素毎に動きベクトルを計算する。動きベクトルは、小数点単位で計算される。画素周辺のマッチング処理が必要であるため、動きベクトルの算出には多大な計算を必要とする。そのため、この第一段階は専用のハードウェアで実現することが検討されている。
【０００７】
一方で第二段階の高解像度映像生成処理では、第一段階で生成された画素毎の動きベクトルを用いて、画像フレームから高解像度の画像を生成する。第二段階は、第一段階と比較すれば単純な計算で済むため、比較的小規模なハードウェアや、ソフトウェアのみで実現できる可能性もある。
【０００８】
特許文献１では、超解像処理の第一段階と、第二段階を、別個の装置で実現することで、第二段階のみ実行する映像視聴装置で必要な演算量を少なくする方法を検討している。
【０００９】
しかし、超解像処理では、時間方向の解像度を用い、空間方向の解像度を補完する方式が用いられている。すなわち、連続する複数の画像フレームから、画素ごとの微小な小数点単位の動きを計算し、その動きベクトルに基づき、高解像度画像を生成する。したがって、動きがない静止部分（映像中の静止した領域）については、超解像処理では高解像度化することができない。
【００１０】
また、特許文献１では、第一段階を実行する装置で生成された動きベクトルと、第二段階の装置で再生する映像の間の同期については、特に言及がない。第一段階を実行する装置と、第二段階を実行する装置が、まったく同一の入力を扱っていれば問題は無いが、それぞれが独立して放送波を受信しデータを生成する場合には、録画開始時点のずれが問題となる。また第二段階を実行する装置が放送番組に挿入されていた宣伝時間帯を除いて録画し、その間のフレームＩＤを詰めてしまった場合、第一段階で生成された動きベクトル情報と、第二段階で再生する位置を合わせることは、非常に困難となる。
【００１１】
映像中の再生位置を指定する方法としては、特許文献２、特許文献３、特許文献４のような方式が提案されている。
【００１２】
それらのシステムでは、録画データ中の位置を指定するための位置指定データに、放送局を特定する放送局情報、および録画時刻を特定する時刻情報を入れる方法が用いられている。
【００１３】
また、非特許文献１には、動きベクトルの生成に関する処理について記載されている。
【００１４】
【特許文献１】特開２００６−１７４４１５号公報
【特許文献２】特開２００１−２９２４０２号公報
【特許文献３】特開２００３−１３４０６５号公報
【特許文献４】特開２００５−２３５２７２号公報
【非特許文献１】青木伸：“複数のデジタル画像データによる超解像処理”，Ricoh Technical Reportpp.19-25,No.24,NOVEMBER,1998.
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかし、いずれも録画位置の先頭が揃っていることを前提とし、録画データ先頭からの経過時刻で位置を指定する方式である。このため、上述のように、録画データの先頭位置が揃っていない場合、および、録画データの途中が切られている可能性がある場合には、適用困難である。
【００１６】
このように、第一段階を実行する装置（サーバ装置）が持つ映像データと、視聴装置が持つ映像データの間に、先頭位置の不一致や、途中の抜け画ある場合の例として、次のような場合が考えられる。すなわち、サーバ装置、視聴装置とも、映像データが放送波を受信し録画したものである場合は、録画装置の特性により、映像開始位置がずれる可能性がある。また、視聴装置の側で録画した映像を、利用者が編集する場合もありえる。例えば、不要な部分を削除するような場合がこれに相当する。このような場合には、録画データの途中が切れている状態となり、仮にサーバ装置が持つ録画データと先頭位置が合致していたとしても、先頭からの経過時間で映像間の同期を取ることは出来ない。
【課題を解決するための手段】
【００１７】
そこで、本出願では、サーバで計算された動きベクトルと静止部分を高画質化する情報とを、映像を高解像度化するための映像補足情報としてネットワーク経由で送信及び／又は受信し、それを用いて高解像度映像を生成する技術を提供する。
【００１８】
また、映像補足情報と再生フレームを同期させるために、フレームを特定するための位置指定データをやり取りする機能を設け、必要に応じて映像補足情報に位置指定データを含める技術を提供する。位置指定データで特定されるフレームを、目的フレームと呼ぶ。位置指定データには、目的フレームの近傍にあり、その特徴によって特定可能なフレーム（以下「特徴フレーム」と称す）を特定するための情報（以下「特徴データ」と称す）を含め、特徴フレームからの相対時間差で、目的フレームを表すこととする。
【発明の効果】
【００１９】
上記手段によれば、高解像度映像を比較的低性能な端末で実現しつつ、さらに静止部分の高解像度化を可能とする。
【００２０】
また、映像補足情報と再生フレームを同期させる機能を持つため、サーバ側と映像視聴装置で、同一のフレームＩＤを付けられない場合でも、高解像度映像の再生を可能とする。本発明の再生位置同期方法では、映像データ中の特徴フレームを特定した後に、そこからの相対時間差で再生位置（目的フレーム）の位置を特定する。このため、課題として説明した、録画装置の設計に依存する映像録画時の開始時刻のずれ、ＣＭ時間の相違によるずれの、いずれからも影響を受けず、正確な位置指定が可能であるという利点がある。
【発明を実施するための最良の形態】
【００２１】
本発明に好適な実施形態の例（実施例）を説明する。ただし本発明は、本実施例に限定されない。例えば、以下の説明では、放送波またはＤＶＤから入力する映像信号は、横７２０画素、縦４８０画素の解像度であり、高解像度化した後の映像の解像度は、横１９２０画素、縦１０８０画素とする。また、放送波またはＤＶＤから入力する映像信号のフレームレートと、高解像度化した後の映像のフレームレートは、同一であると仮定する。しかし、本解像度には限定されない。
【００２２】
図１は、装置およびシステムの全体構成の例を示すブロック図である。超解像映像情報サーバ１１００（以下「情報サーバ」と略）は、超解像映像視聴装置１２００（以下「視聴装置」と略）からの要求に応え、視聴装置で視聴が試みられている映像を、高解像度化して視聴するために必要な、映像補足情報（以下「補足情報」と略）を送出する。情報サーバ１１００は、視聴装置からの要求があった時点で映像補足情報を生成しても良いし、視聴装置１２００からの要求の有無に関わらずあらかじめ映像補足情報を生成しておいても良い。視聴装置１２００は、利用者が視聴する映像を、情報サーバ１１００からの映像補足情報を用いて高解像度化する。
【００２３】
＜送信側＞
図１における情報サーバ１１００の処理を説明する。サーバ側チューナ１１０１は、放送波を受信する機能単位である。放送波は、例えばＭＰＥＧ−２などの方式でコード化されている。ＤＶＤは、映像情報が記録された記録媒体であり、サーバ側ＤＶＤ読取装置１１０２を介して、記録された映像信号が読み出される。ＤＶＤからの映像信号は、放送波と同じくＭＰＥＧ−２などの方式でコード化されている。
【００２４】
サーバ側デコーダ１１０３は、放送波およびサーバ側チューナ１１０１、またはＤＶＤおよびサーバ側ＤＶＤ読取装置１１０２から入力された映像信号を復号し、映像、すなわち連続する画像フレームを再現する機能単位である。
【００２５】
簡単のため、全ての映像には、一意に特定可能な映像ＩＤが付与されているものとする。映像ＩＤは、数字または文字列であり、流通している全ての映像信号を特定可能な、一意な識別子であるものとする。映像ＩＤは、サーバ側デコーダ１１０３によって映像信号から抽出され、情報サーバ１１００内では、映像補足情報生成部１１１２に送出される。
【００２６】
サーバ側デコーダ１１０３から出力される画像フレームは、フレームを特定するためのフレームＩＤと、画像データからなる。ここでは説明を単純にするため、放送波またはＤＶＤから得られる映像と、元映像データ１１０８から得られる映像のフレームレートは同一であり、対応するフレームには、同じフレームＩＤが付けられているものと仮定する。また、同じく説明を単純にするため、画像データは横が７２０画素、縦が４８０画素であり、各画素のＲＧＢ成分がそれぞれ８ビットであると仮定する。
【００２７】
図２に画像フレーム情報の一例を示す。画像フレーム情報は、フレームＩＤ２００１、フレーム画像２００２からなる。フレーム画像２００２は、横７２０画素、縦４８０画素で、各画素はＲＧＢ成分それぞれ８ビットで表現される。ただし、データ量削減のため、適宜圧縮されていても良い。
【００２８】
サーバ側デコーダ１１０３から出力された画像フレームは、サーバ側画像フレームバッファ１１０４に格納される。サーバ側画像フレームバッファ１１０４に格納された画像フレームは、動きベクトル生成部１１０５によって読み出される。画像フレームバッファ中で、不要になった画像フレームは、動きベクトル生成部１１０５によって、サーバ側画像フレームバッファ１１０４から削除される。
【００２９】
動きベクトル生成部１１０５は、超解像処理を構成する二つの段階の前段であり、サーバ側デコーダ１１０３が生成した画像フレームの列を処理し、画素ごとの動きベクトルを計算し、画像フレーム毎に全ての画素に対する動きベクトルを生成する。この処理は、例えば前出の〔非特許文献１〕などに記載されている。動きベクトルの生成には、サーバ側画像フレームバッファ１１０４に格納されている画像フレームが利用される。フレーム動きベクトル情報は、フレームＩＤと、全画素に対する動きベクトルを含む。動きベクトル情報の生成の含むか含まないかは問わず、動きベクトル情報を取得するユニットを動きベクトル情報取得部とも呼ぶ。
【００３０】
図３にこの様子を示す。動きベクトル情報は、フレーム画像の解像度と同じく、横７２０画素、縦４８０画素であり、各画素に対する動きベクトルは、水平方向の動き、垂直方向の動きで表され、例えば各８ビットで表現される。もちろん、動きベクトルはデータ量削減のために適宜圧縮されていても良い。また、フレーム動きベクトル情報には、フレームを特定するためのフレームＩＤ２００１が付加されている。
【００３１】
動きベクトル生成部１１０５により生成されたフレーム動きベクトル情報は、動きベクトルバッファ１１０６に格納される。動きベクトルバッファ１１０６に格納されたフレーム動きベクトル情報は、補足情報生成部１１１２および静止部分補足情報生成部１１１０から読み出されて利用される。
【００３２】
元映像データ１１０７は、放送波またはＤＶＤから得られる映像よりも、高解像度の映像情報である。例えば、放送用またはＤＶＤ作成用に加工される以前の映像情報が、元映像データ１１０７に相当する。そのような、加工される以前の映像情報が入手できない場合には、放送波またはＤＶＤから得られる映像を、画像処理技術を用いて高解像度処理したものを、元映像データ１１０７としても良い。このような画像処理技術として、例えば共三次内挿法（Bicubic Interpolation Method）などがある。元映像データ１１０７の形式は、一般的には定められていないので、元映像でコーダ１１０７は、元映像データ１１０７から元画像フレームを生成するため、元映像データ１１０７の形式に合わせた復号アルゴリズムを実装する必要がある。ここでは、元映像データ１１０７をデコードして得られる画像のサイズは、横１９２０画素、縦１０８０画素であると仮定する。
【００３３】
静止部分補足情報生成部１１１０は、元映像データ１１０７から得られた高解像度な元画像フレームから、静止している領域を抽出し、その部分の画像を切り出す。静止部分とは、動きベクトルがゼロであった部分である。したがって、静止部分の検出には、動きベクトル生成部１１０５から出力された動きベクトルを参考にできる。超解像処理では、静止部分を高解像度化することはできない。高解像度な元映像データ１１０７から切り出した静止部分は、超解像処理で高解像度化できない部分を、高解像度化するために利用される。なお静止部分補足情報を静止画情報とも呼ぶ。また静止画情報を含むか含まないかは問わず、静止画情報を取得するユニットを動きベクトル情報取得部とも呼ぶ。
【００３４】
静止部分補足情報生成部１１１０は、全ての静止部分について、それを包含する画像を切り出す必要がある。したがって、同じフレーム中に、静止部分が複数存在しても良い。簡単のため、静止部分は矩形領域とする。静止部分補足情報生成部１１１０の動作は、後に図８を用いて説明する。
【００３５】
全ての静止部分を含む矩形の集合を生成する最も簡単な方法は、画面を所定の方法であらかじめ複数の領域、例えば縦横４分割で合計１６個の矩形領域に分けておき、静止部分が含まれる矩形領域を全て静止領域と判定することである。
【００３６】
図４にこの領域分割の例を示す。図４では、放送波またはＤＶＤから得られた画像を、縦横４分割し、１６個の矩形領域に分割している。画面を１６分割する場合、一つの矩形領域に対する高解像度画像情報のサイズは、横４８０画素（１９２０画素の４分の１）、縦２７０画素（１０８０画素の４分の１）である。
【００３７】
図５の（ａ）にこの様子を示す。図５の例では、静止領域の位置、大きさ、画像情報の有無を表すために、５つの要素からなる静止矩形ヘッダ５００１を設けている。ヘッダの５つの要素は、高解像度化した後の横位置（ｘ）、縦位置（ｙ）、幅（ｗ）、高さ（ｈ）、それに画像データが前フレームと同一であるかどうかを示す同一フラグ（ｆ）である。静止矩形の画像は、静止矩形画像５００２であり、各画素はＲＧＢそれぞれ８ビットで表現されると仮定する。もちろん、適宜圧縮してあっても良い。
【００３８】
なお、静止部分を高解像度化するための静止画情報は、２枚目以降は前フレームと同じものが利用できるため、フレームごとに実際の画像データを埋め込む必要はない。その静止部分が現れる２枚目以降のフレームに対しては、フレーム補足情報中の静止画情報として「前フレームと同じ」という情報が書き込まれる。すなわち、前述の静止矩形ヘッダ５００１に含まれる、同一フラグが１に設定され、画像データは省略される。この様子を、図５（ｂ）に示す。
【００３９】
図５（ａ）および（ｂ）の様に、一つの静止した矩形領域に対応するデータを、静止矩形データと呼ぶ。同一フレーム中の全ての静止矩形データを集めたものは、フレーム静止部分情報と呼ぶ。フレーム静止部分情報の一例を、図５（ｃ）に示す。フレーム静止部分情報は、フレームを特定するためのフレームＩＤ２００１と、そのフレームに含まれる０個以上の静止矩形データから成る。
【００４０】
この図５（ｃ）に示したフレーム静止部分情報は、後に映像補足情報の一部として超解像映像視聴装置１２００に送信され、超解像映像視聴装置１２００が、フレームＩＤ２００１で特定されるフレーム中にある全ての静止部分を高解像度化するために用いられる。
【００４１】
静止部分補足情報生成部１１１０が生成したフレーム静止部分情報は、静止部分補足情報バッファ１１１１に格納され、補足情報生成部１１１２によって利用される。
【００４２】
静止部分を全て含む矩形領域の集合を生成する方法は、生成される補足情報の大きさが小さくなるよう、さらに工夫されてもよい。シンプルな工夫は、画面の分割を例えば６４分割とするなど細かくすることである。また、矩形領域中の静止画素の数が、所定の数より小さい場合には、高解像度化の効果が小さいと考え、静止画情報を送るのを省略するなどの方法が考えられる。
【００４３】
なお、放送波またはＤＶＤから得られる映像に対応する元映像データが利用できない場合は、元映像データからの高解像度画像の切り出しは実行できない。その場合は、静止した部分は高解像度化できない。
【００４４】
映像補足情報生成部１１１２は、動きベクトルバッファ１１０６、および静止部分補足情報バッファ１１１１から、フレームＩＤが付与されたデータを受け取り、それらを一つにまとめたフレーム補足情報を生成する。動きベクトルバッファ１１０６からは、図３に示したフレーム動きベクトル情報を受け取り、静止部分補足情報バッファ１１１１からは、図５（ｃ）に示したフレーム静止部分情報を受け取る。
【００４５】
図６に、映像補助情報生成部１１１２が生成するフレーム補足情報の一例を示す。フレーム補足情報は、映像中でフレームを特定するためのフレームＩＤ２００１、動きベクトル情報３００１、０個以上の静止矩形データから成る。動きベクトル情報３００１は、図３に示したフレーム動きベクトル情報から取り出し、静止矩形データは、図５（ｃ）に示したフレーム静止部分情報から取り出す。静止矩形データは、静止矩形ヘッダ５００１および静止矩形画像５００２で構成される。前述のように（図５（ｂ）の説明で述べたように）、静止矩形画像５００２は、省略されることもある。
【００４６】
図６に示したフレーム補足情報は、後に映像補足情報の一部として、超解像映像視聴装置１２００に送信され、超解像映像視聴装置１２００が、フレームＩＤ２００１で特定されるフレームを高解像度化するために用いられる。
【００４７】
映像補足情報生成部１１１２は、映像に含まれる全ての画像フレームについてフレーム補足情報を生成したら、それらをまとめて映像補足情報を生成し、映像補足情報ＤＢ１１１３に格納する。
【００４８】
図７に、映像補足情報の一例を示す。映像補足情報は、映像を特定するための映像ＩＤ７０１、映像に含まれる全てのフレームについてのフレーム補足情報から成る。
【００４９】
配信管理部１１１４は、ネットワーク接続を有し、ネットワーク１３００経由で受信する映像補足情報への要求に対し、映像補足情報ＤＢ１１１３を検索し、要求元に映像補足情報を送出する。配信管理部１１１４は、映像補足情報を送出する際に、要求元に関する認証処理を実行してもよい。また、配信管理部１１１４は、要求元までのネットワーク帯域に応じて、映像補足情報の送出可否、または送出すべき映像補足情報の質を判断しても良い。さらに、配信管理部１１１４は、要求された映像補足情報が映像補足情報ＤＢ１１１３に格納されていない場合に、映像補足情報の生成を指示しても良い。
【００５０】
図８は、情報サーバ１１００の静止部分補足情報生成部１１１０が、対象フレーム中にある静止矩形データを生成する処理例を示すフロー図である。
【００５１】
ステップ８０００で処理を開始する時点では、静止部分補足情報生成部１１１０は、動きベクトルバッファ１１０６からフレーム動きベクトル情報を読み込んでいるものとする。また、静止部分補足情報生成部１１１０は、元画像フレームバッファ１１０９から、対象フレームの高解像度な元画像を読み込んでいるものとする。
【００５２】
本実施例では、図４に示したように、画面を１６分割して静止矩形を定める方式としたので、各矩形領域が静止部分を含むかどうかを判定する処理は、１６回繰り返せばよい。そのループを制御する部分が、ステップ８００１、ステップ８００２、ステップ８００７である。ステップ８００１でカウンタを０にセットし、ステップ８００２では、カウンタが１６より小さいかどうかを判定する。カウンタが１６を超えていたら、ステップ８９９９に進み、静止矩形データの生成処理は終了である。カウンタが１６より小さい場合は、注目している矩形領域が静止部分を含むかに応じて処理を実行し、ステップ８００７に至って、カウンタを１増やし、再びステップ８００２の判定処理に戻る。
【００５３】
図８に示すステップ８００３以降が、各矩形領域に対する処理である。まずは、ステップ８００３で、注目している矩形領域に静止画素があるかどうかを判定する。静止画素が無ければ、静止矩形データは生成せず、ステップ８００７へ進み、繰り返しの先頭に戻る。ステップ８００３で、注目している矩形領域に静止画素があると判定されたら、静止矩形データを生成する必要があるため、ステップ８００４へ移行する。
【００５４】
ステップ８００４では、注目している矩形領域に含まれる全ての静止画素が、直前のフレームでも静止していたかどうかを判定する。もし、全ての静止画素が、直前のフレームでも静止していた場合は、ステップ８００６に進み、静止矩形データの静止矩形ヘッダ５００１に静止矩形の位置およびサイズを書き込むとともに、静止矩形ヘッダの同一フラグに１を書き込む。この場合は、静止矩形データに、矩形領域の画像データを入れる必要はない。
【００５５】
ステップ８００４で、注目しているフレーム中の静止画素で、直前のフレームでは静止していなかった画素があると判定された場合には、その画素の部分を高解像度化するために必要な画像データを静止矩形データに入れる必要がある。ステップ８００５がこの処理に相当する。静止部分補足情報生成部１１１０は、元画像フレームバッファ１００９から読み込んでおいた、高解像度な画像から、該当部分のデータを切り出し、静止矩形データに書き込む。この際、静止矩形ヘッダには、静止矩形の位置およびサイズを書き込むとともに、同一フラグには０を書き込む。
【００５６】
以上で、各画像フレームに対する静止矩形データが生成される。生成された静止矩形データの構成例は、図５（ａ）（ｂ）に示したとおりである。一つのフレームに対する静止矩形データを集めて、フレームＩＤを付与したものが、図５（ｃ）に示したフレーム静止部分情報であり、静止部分補足情報バッファ１１１１に格納されるものである。
【００５７】
＜受信側＞
再び図１に戻り、超解像映像視聴装置（視聴装置）１２００の構成要素を説明する。
【００５８】
チューナ１２０１は、放送波を受信する機能単位である。放送波は、例えばＭＰＥＧ−２などの方式でコード化されている。ＤＶＤは、映像情報が記録された記録媒体であり、ＤＶＤ読取装置１２０２を解して、記録された映像信号が読み出される。映像信号は、放送波と同じくＭＰＥＧ−２などの方式でコード化されている。
【００５９】
デコーダ１２０３は、放送波およびチューナ１２０１、またはＤＶＤおよびＤＶＤ読取装置１２０２から入力された映像信号を復号し、元の映像、すなわち連続する画像フレームを再現する機能単位である。デコーダ１２０３から出力される画像フレームは、サーバ側デコーダ１１０３から出力されるものと同じ形式であり、その構成は図２に示した通りである。デコーダ１２０３から出力された画像フレームは、画像フレームバッファ１２０４に溜められる。また、デコーダ１２０３は、映像信号に含まれる映像ＩＤを復号し、後述する補足情報受信部１２０６に送出する。
【００６０】
補足情報受信部１２０６は、デコーダ１２０３から受け取った映像ＩＤを元に、ネットワーク１３００経由で、情報サーバ１１００の配信管理部１１１４に、映像補足情報を要求する。配信管理部１１１４は、補足情報受信部１２０６から渡された映像ＩＤで、補足情報ＤＢ１１１３を検索し、その映像ＩＤに対応する映像補足情報を送出する。
【００６１】
補足情報管理部１２０６は、情報サーバ１１００の配信管理部１１１４から送出された映像補足情報を受信し、そこに含まれるフレーム補足情報を、補足情報バッファ１２０７に格納する。映像補足情報の形式、およびフレーム補足情報の形式は、それぞれ図７および図６に示したとおりである。ただし、ネットワーク１３００を介して送るデータの量を削減するため、それぞれの情報は適宜圧縮伸張されても良い。
【００６２】
画像フレームバッファ１２０４に溜められた画像フレーム、および補足情報バッファ１２０７に溜められたフレーム補足情報は、高解像度画像生成部１２０５により読み出される。高解像度画像生成部１２０５は、まず、画像フレームバッファ１２０４から読み込んだ画像フレームのフレームＩＤを読み、次いで、そのフレームＩＤと同一のフレームＩＤを持つフレーム補足情報を、補足情報バッファ１２０７から読み出す。高解像度画像生成部１２０５は、画像フレームおよびフレーム補足情報を用い、高解像度の画像を生成する。この処理の内容は、図９を用いて後述する。
【００６３】
高解像度画像生成部１２０５が生成した高解像度画像は、画質調整部１２０８に送られ、表示部の特性に合わせて画質、例えば輝度や色合いなどが調整される。画質調整された画像は、表示部に送られ、利用者に提示される。
【００６４】
図９は、超解像映像視聴装置１２００の高解像度画像生成部１２０５が、高解像度の画像を生成する処理例を示すフロー図である。
【００６５】
ステップ９０００の開始時点では、すでに映像の視聴は開始され、画像フレームバッファ１２０４にはある程度の枚数の画像フレームが蓄積され、補助方法バッファ１２０７にはある程度の枚数のフレーム補足情報が蓄積されている状態であるとする。画像フレームのデータ形式は図２に示したものと同様であり、フレーム補足情報のデータ形式は図６に示したものと同様である。
【００６６】
ここで、画像フレームの大きさは横７２０画素、縦４８０画素であり、目的とする高解像度画像の大きさは横１９２０画素、縦１０８０画素である。目的とする高解像度画像は、横１９２０画素、縦１０８０画素の目的画像メモリに書き込み、画質調整部１２０８に渡すこととする。
【００６７】
高解像度画像生成部１２０５は、ステップ９００１で、画像フレームバッファ１２０４から、未処理の画像フレームを読み込む。次にステップ９００２で、読み込んだ画像フレームと同一のフレームＩＤを持つフレーム補足情報を、補足情報バッファ１２０７から読み込む。同一のフレームＩＤを持つフレーム補足情報が存在しなかった場合は、ステップ９００３の判定によりステップ９００４に進み、超解像ではない処理で画像サイズを変換して目的画像メモリに書き込む。ステップ９００５で、目的画像メモリの内容を画質調整部に渡す。負荷はかかるが補足情報を用いずに超解像処理してもよい。
【００６８】
ステップ９００３の判定処理で、読み込んだ画像フレームに対するフレーム補足情報が存在すると判定された場合は、ステップ９００７に進む。ステップ９００７では、フレーム補足情報に、未処理の静止矩形データが存在するかどうかを判定する。静止矩形データが最初から存在しない、あるいは全ての静止矩形データを処理し終わった場合は、静止部分を高解像度化する処理は終了であり、ステップ９０１１に進む。
【００６９】
処理すべき静止矩形データが存在する場合は、ステップ９００８へ進む。ステップ９００８では、処理すべき静止矩形データを読み込んでいる。静止矩形データのデータ形式は、図５（ａ）または（ｂ）に示したとおりである。次にステップ９００９では、静止矩形データの静止矩形ヘッダ５００１中の同一フラグを調べる。同一フラグが１である場合は、その静止矩形データには画像データが入っておらず、前フレームを高解像度化した結果として目的画像メモリに残っている画像をそのまま使用できる。したがって何もせずにステップ９００７に戻る。一方、同一フラグが０であった場合は、静止矩形データには静止矩形画像５００２が含まれる。ステップ９０１０に進み、静止矩形画像を目的画像メモリの対応する位置に転写する。転写が終了したら、その静止矩形データの処理は終わりであり、ステップ９００７に戻る。
【００７０】
処理すべき静止矩形データが無くなったら、ステップ９０１１に進み、動きベクトル情報を用いた超解像処理を実行する。ステップ９０１１では、動きベクトルが０でない画素で、未処理のものが無いかを判定している。
【００７１】
動きベクトルが０でない未処理の画素があった場合、ステップ９０１２へ進み、その画素について超解像処理により高解像度化を実施する。この超解像処理には、例えば同じ出願人による特願２００６−１５０８７５号や特願２００６−２５９８８６号に記載の技術を用いることができる。次にステップ９０１３に進み、前ステップで計算された結果を、目的画像メモリに書き込む。これで動きベクトルが０でない一つの画素についての処理は終了であり、ステップ９０１１の判定処理に戻る。
【００７２】
ステップ９０１１の判定で、未処理の画素が無くなれば、超解像処理は終了であり、ステップ９００５に進み、目的画像メモリの内容を画質調整部１２０８に渡す。
【００７３】
以上のように、本実施例の映像視聴装置は、サーバで生成された映像補足情報をネットワーク経由で受信し、それを用いて高解像度映像を生成する。したがって、映像補足情報に含まれる動きベクトル生成のためのハードウェアを端末側に持つ必要が無く、高解像度映像を比較的安価に実現可能であるという利点がある。映像視聴装置側で必要な高解像度映像の生成は、比較的安価な専用ハードウェアで実現することも可能であるが、視聴装置の性能がある程度高ければ、ソフトウェアのみで実現することも可能である。したがって、パーソナルコンピュータやゲーム機などでも、映像表示ソフトウェアを改造するのみで、超解像映像を表示可能となる可能性がある。また、サーバから送出される映像補足情報に含まれる、静止画部分を高解像度化する情報を利用し、超解像処理のみでは高解像度化できない静止部分も高解像度化可能である。
【００７４】
本実施例によれば、超解像処理で時間が掛かる部分をサーバ側で実行することで、各端末の負荷を軽減可能となる。したがって端末側は、安価なハードウェアの追加またはソフトウェアの改造のみで、超解像映像を表示可能となる。テレビ放送受像機のみでなく、パーソナルコンピュータやゲーム機で映像を視聴する際にも適用可能である。さらに、サーバ側から静止部分を高解像度化する情報も送出することで、超解像処理では高解像度化できない部分も高解像度化可能とできる。本実施例は、比較的安価な映像視聴装置で、映像を高解像度化して視聴する際の、端末およびサーバに適用可能である。
【００７５】
＜位置指定データの必要性＞
以上の実施例では、超解像映像情報サーバ１１００（以下「サーバ」）と、超解像映像視聴装置１２００（以下「視聴装置」）が、同じ映像に関しては同じフレームＩＤを持つと仮定していた。それを前提として、高解像度画像生成部１２０５が、高解像度の画像を生成する処理を説明した。しかし、サーバと視聴装置で、放送波を独立して録画する場合は、両者で同一のフレームＩＤを用いられるとは限らない。例えば、両者の録画機能の癖により、録画開始される位置が数秒ずれる可能性がある。また、放送波に挿入されていた宣伝時間帯の映像を、視聴装置側で切ってしまい、その影響でフレームのＩＤがずれてしまう場合も考えられる。以下では、そのような場合にも対応できるよう、サーバと視聴装置の間で、再生位置を合わせる機能を導入する例を説明する。
【００７６】
このような場合、サーバと視聴装置のフレームＩＤが一致していることは期待できない。また、録画開始時点がずれている可能性があるため、および、録画データの途中が切られている可能性があるため、録画データ先頭からの経過時刻でフレームを特定することも期待できない。したがって、フレームＩＤの一致、データ先頭からの経過時刻以外の方法で、映像補足情報中のフレームと、視聴装置が再生するフレームを同期させる手段が必要である。
【００７７】
この同期の手段として、本実施例では、サーバと視聴装置は、映像中のフレームを特定するための位置指定データを用いるものとする。位置指定データは、視聴装置からサーバに送られる場合もあるし、サーバから視聴装置に送られる場合もある。位置指定データで特定される、映像中のフレームを、目的フレームと呼ぶことにする。
【００７８】
＜メタデータの説明＞
図１０を用いて、本実施例で用いる位置指定情報を説明する。位置指定データ１０００１には、基準時刻１０００１、特徴探索範囲１０００２、特徴データ１０００３、相対時間差１０００４が含まれる。
【００７９】
ここで、基準時刻１０００１とは、目的フレームがありそうな位置であり、番組開始時刻から、目的のフレームが何秒後に現れたかを示す情報である。課題で説明したように、この基準時刻１０００１だけでは、録画機の機種による録画開始位置のずれ、ＣＭ時間の（ＣＭ削除などによる）変動の可能性、放送信号送出受信時の時間遅れ等により、目的フレームを特定できない場合もありうる。
【００８０】
また、特徴探索範囲１０００２とは、基準時刻１０００１の前後で、特徴フレームを探索すべき時間の範囲であり、基準時刻１０００１から前に何秒間、後ろに何秒間の範囲で特徴フレームを探索すべきかを指定する。この図１０の例では、基準時刻１０００１が１６２０秒（番組開始から２７分経過した時点）であり、そこから前に２８秒、後ろに１２秒の範囲で特徴フレームを探索する必要がある。
【００８１】
また、特徴データ１０００３とは、特徴フレームを特定するのに必要な情報のことであり、特徴種別１００１０、特徴パラメータ１００１１から成る。図１０の例では、特徴種別１００１０が「字幕」、特徴パラメータ１００１１が「それでは今日の天気です」という文字列である。これは、「それでは今日の天気です」という字幕が最初に出たフレームを特徴フレームとして特定することを表している。
【００８２】
相対時間差１０００４は、目的フレームが、特徴フレームから何秒前または何秒後にあるかを示す情報である。図１０の例では、相対時間差１０００４が−２であるため、特徴フレームから２秒前が目的フレームであることを示している。
【００８３】
＜メタデータ生成の説明＞
図１１は、サーバまたは視聴装置が、位置指定データを受信した場合の処理フローを示している。
【００８４】
位置指定データ１００００の基準時刻１０００１および特徴探索範囲１０００２から、映像データ中で特徴フレームを探す範囲を求める。図１０の例では、基準時刻１０００１が１６２０秒、特徴探索範囲１０００２が−２８〜＋１２秒であるので、１５９２秒から１６３２秒の間が、特徴フレームを探索すべき範囲となる（ステップ１１００１）。
【００８５】
次にサーバまたは視聴装置は、映像データの上記で求めた特徴フレーム探索範囲から、特徴フレームの候補を探索する（ステップ１１００２）。例えば、映像データの特徴探索範囲の最初の位置を頭出しし、そこから順次特徴データ１０００３と合致する特徴が出現するフレームを探索する。特徴探索範囲の終わりまで来たら、特徴フレームの探索を終了する。図１０の位置指定データ１００００の場合は、特徴種別１００１０が「字幕」であるので、あるフレームが特徴フレームの候補であるかどうかは、そのフレームから特徴パラメータ１００１１の文字列である「それでは天気予報です」が始まるかどうかを調べれば良い。
【００８６】
特徴フレームの探索が終了し、複数のフレームが候補として得られた場合は、最もそれらしいフレームを特徴フレームとして選択する（ステップ１１００３）。特徴種別１００１０が字幕の場合は曖昧性が少ないので、仮に複数の候補が得られたとしても、基準時刻１０００１に最も近いものを選択すればよい。特徴種別１００１０が「音声」や「映像」の場合は、例えば特徴パラメータ１００１１と最も近い特徴を持っていたフレームを特徴フレームとして選択する。
【００８７】
特徴フレームを特定すれば、それに相対時間差１０００４を加えることで、目的フレームの位置を特定できる（ステップ１１００４）。例えば、この例で特徴フレームの位置（録画データの先頭からの時間）が１５９６秒であったとすると、相対時間差１０００４は−２であるため、目的フレームの位置は１５９４秒と計算される。適切な特徴フレームを選択できなかった場合は、再生位置を正確に合わせられないということであるので、その旨を示すために目的フレームの位置を（エラーコードとして）−１とする（ステップ１１００５）。超解像処理では、動きベクトルと再生フレームが正確に一致していなくては、正しい高解像度画像を得られないばかりでなく、画質を低下させることになってしまう。そのような場合には、超解像度処理を実施しない方が良い。目的フレームの位置が−１とされた場合には、超解像度処理を実施しないこととする。
【００８８】
また、本実施例では、特徴フレームを指定する特徴データ１０００３として、特定の字幕が出現するタイミングを用いたが、映像の特徴を抽出してシーンの切り替わりを示すような特徴データ１０００３を用いたり、音声の特徴（例えば「ピー」音の出現箇所）を示す特徴データ１０００３を用いても良い。映像の特徴を抽出する方法は、例えば特開平１０−３３６５９３に記載があるような、既知の技術を利用可能である。
【００８９】
＜メタデータ受信時の解釈の説明＞
図１２は、サーバまたは視聴装置が、位置指定データ１００００を作成する際の処理の流れである。
【００９０】
対象となる映像は、既にサーバまたは視聴装置で録画済みであるものとする。さらにサーバ側では、映像補足情報も作成済みであるものとする。サーバまたは視聴装置には、位置指定データを作成するためのプログラム（以下「位置指定データ作成プログラム」と称す）が搭載されているものとする。
【００９１】
視聴装置の利用者が、視聴装置に対して映像再生を指示すると、位置指定データ作成プログラムは、録画データ先頭から再生開始フレームまでの経過時間を基準時刻１０００１として設定する。次に位置指定データ作成プログラムは、再生開始位置を特定可能とするための特徴データ１０００３を生成し、特徴探索範囲１０００２を決定する。図１２に示すフローは、この状態以降の処理の流れである。
【００９２】
この説明にあたり、再生開始位置をＴｃで表し、特徴フレームの位置をＴａで表すこととする。再生開始位置Ｔｃは、前述のように位置指定データ１００００では基準時刻１０００１として用いられる。例えば、天気予報の先頭から再生を開始する場合を考える。天気予報の開始位置が番組開始から５２分後であったとすると、Ｔｃすなわち基準時刻１０００１は２７×６０＝１６２０秒となる。また、本実施例では、説明を簡略にするために、映像フレームは、１秒間に１枚の割合で存在するものと仮定する。
【００９３】
また本実施例では、視聴装置にある録画データでは、再生開始位置Ｔｃが、最大Ｍ秒早く出現する可能性があり、最大Ｎ秒遅れて出現する可能性があるものとする。例えば、ＣＭ挿入時間は放送される地域によっては最大３０秒間短くなる可能性があり、録画開始時の頭切れ防止や、放送送出および受信時の時間遅れにより、録画データの最初に最大１０秒分の不要な映像が付く可能性があると想定すると、Ｍは３０であり、Ｎは１０秒である。すなわちこの条件では、視聴装置が録画した録画データでは、目的フレームが現れる位置は、基準時刻１０００１（すなわちＴｃ、１６２０秒）より３０秒前から１０秒後の範囲に有ると推定できる。
【００９４】
まず、位置指定データ作成プログラムは、再生開始位置Ｔｃのフレームそのものが、Ｔｃ−Ｍ−ＮからＴｃ＋Ｍ＋Ｎの間のすべてのフレームにおいて、一意に特定できる特徴を持つか調べる（ステップ１２００１）。もし、Ｔｃのフレームが、そのような特徴を持てば、Ｔｃそのものを特徴フレームとし、相対時間差１０００４は０、特徴探索範囲１０００２はＴｃが録画データで出現する可能性のある範囲と同じであるので、−Ｍ〜＋Ｎ、すなわちこの例では−３０〜＋１０となる（ステップ１２００２）。特徴フレームが決定すれば、特徴データ１０００３を生成する処理は終わりである。
【００９５】
Ｔｃそのものが特徴フレームになり得ない場合、位置指定データ作成プログラムは、Ｔｃの前後のフレームが特徴フレームになり得るかを調べる。すなわち、ｉ＝１とおき（ステップ１２００３）、Ｔｃ−ｉまたはＴｃ＋ｉのフレームが、特徴フレームになり得るか調べる。この際、Ｔｃ−ｉのフレームが一意に特定できるかどうかを調べる範囲はＴｃ−Ｍ−Ｎ−ｉからＴｃ＋Ｍ＋Ｎ−ｉであり（ステップ１２００４）、Ｔｃ＋ｉのフレームが一意に特定できるかを調べる範囲はＴｃ−Ｍ−Ｎ＋ｉからＴｃ＋Ｍ＋Ｎ＋ｉである（ステップ１２００６）。もし、Ｔｃ−ｉが特徴フレームになれば、位置指定データ１００００の相対時間差１０００４はｉ、特徴探索範囲１０００２は−Ｎ−ｉ〜Ｍ−ｉである（ステップ１２００５）。もしＴｃ＋ｉが特徴フレームになれば、位置指定データ１００００の相対時間差１０００４は−ｉ、特徴探索範囲１０００２は−Ｎ＋ｉ〜Ｍ＋ｉである（ステップ１２００７）。ｉを１ずつ増やしながら（ステップ１２００８）、所定の値（例えば１０）まで増やし、特徴フレームを決定できるか調べていく。
【００９６】
もし、ｉを所定の値（この例では１０より大きい数）まで増やしても特徴フレームを決定できない場合は、再生開始位置を正確に指定できないということであり、視聴装置は超解像処理を実施するのを断念し、超解像処理無しで映像を再生することとする（ステップ１２００２）。
【００９７】
この例では、Ｔｃ＋２のフレームで、Ｔｃ−Ｍ−Ｎ＋２〜Ｔｃ＋Ｍ＋Ｎ＋２の範囲で一意に特定可能な特徴、すなわち「それでは今日の天気です」という字幕が出現したとする。この場合、特徴データ１０００３の特徴種別１０１０は「字幕」、特徴パラメータ１００１１は「それでは今日の天気です」という文字列、特徴探索範囲１０００２は−２８〜＋１２、相対時間差１０００４は−２となる。
【００９８】
＜メタデータを送りあうタイミングの説明＞
視聴装置は、再生を開始する際に、それに先立ちどこから再生を開始するかを示す位置指定データをサーバ側に送出する。サーバは、視聴装置から受信した位置指定データから、視聴装置が再生を開始する位置を特定する。サーバは、位置を特定できたら、その位置からの映像補足情報を送出開始する。また、視聴装置は、早送りやスキップ等で再生位置が不連続で変わる場合には、いったんサーバ側からの映像補足情報を止める要求を出し、あらためて位置指定データをサーバに送出する。サーバは、位置指定データを受信したら、それで特定されるフレームの位置から映像補足情報を送出する。サーバ側が、受信した位置指定データで再生開始位置を特定できなかった場合は、映像補足情報は送出せず視聴装置にエラーを返す。エラーを受け取った視聴装置は、超解像処理を実施せずに映像を再生する。
【００９９】
本実施例の情報サーバと視聴装置は、別個の場所に置かれており、インターネットを経由して接続されているが、情報サーバも視聴装置と同じ家庭内に置かれて、ローカルエリアネットワークで接続される構成としても良い。また、情報サーバは、高解像度の元映像を持つ放送局が運営するものであっても良い。放送局が運営する情報サーバでは、サーバ側チューナは不要である、高解像度映像を使って映像補足情報を生成可能である、生放送以外は映像補足情報を放送以前に作成しておける、などの利点がある。
【０１００】
一方、視聴装置がパーソナルコンピュータまたはゲーム機でも構成可能であることは、すでに述べた通りである。小規模なハードウェアの追加、あるいは映像視聴ソフトウェアの改造のみで、パーソナルコンピュータやゲーム機で超解像処理を施した映像を視聴できるようになる。
【図面の簡単な説明】
【０１０１】
【図１】システムの構成例を示す。
【図２】画像フレーム情報の構成例を示す。
【図３】フレーム動きベクトル情報の構成例を示す。
【図４】画像の分割の一例を示す。
【図５】フレーム静止部分情報の一例を示す。
【図６】図２、３、５の情報を含むフレーム補足情報の一例を示す。
【図７】図６のフレーム補足情報を複数含む映像補足情報の一例を示す。
【図８】フレーム静止部分情報を生成する処理例を示す。
【図９】高解像度画像を生成する処理例を示す。
【図１０】位置指定データの一例を示す。
【図１１】位置指定データからフレームを特定する処理を示す。
【図１２】位置指定データを作成する処理を示す。
【符号の説明】
【０１０２】
１１００    超解像映像情報サーバ
１１０１    サーバ側チューナ
１１０２    サーバ側ＤＶＤ読取装置
１１０３    サーバ側デコーダ
１１０４    サーバ側画像フレームバッファ
１１０５    動きベクトル生成部
１１０６    動きベクトルバッファ
１１０７    元映像データ
１１０８    元映像デコーダ
１１０９    元画像フレームバッファ
１１１０    静止部分補足情報生成部
１１１１    静止部分補足情報バッファ
１１１２    映像補足情報生成部
１１１３    映像補足情報ＤＢ
１１１４    配信管理部
１２００    超解像映像視聴装置
１２０１    チューナ
１２０２    ＤＶＤ読取装置
１２０３    デコーダ
１２０４    画像フレームバッファ
１２０５    高解像度画像生成部
１２０６    補足情報受信部
１２０７    補足情報バッファ
１２０８    画質調整部
１２０９    表示部
２００１    フレームＩＤ
２００２    フレーム画像
３００１    動きベクトル情報
５００１    静止矩形ヘッダ
５００２    静止矩形画像
７００１    映像ＩＤ
１００００    位置指定データ
１０００１    基準時刻
１０００２    特徴探索範囲
１０００３    特徴データ
１０００４    相対時間差
１００１０    特徴種別
１００１１    特徴パラメータ
【図１】
2009105490.tif 000003
【図２】
2009105490.tif 000004
【図３】
2009105490.tif 000005
【図４】
2009105490.tif 000006
【図５】
2009105490.tif 000007
【図６】
2009105490.tif 000008
【図７】
2009105490.tif 000009
【図８】
2009105490.tif 000010
【図９】
2009105490.tif 000011
【図１０】
2009105490.tif 000012
【図１１】
2009105490.tif 000013
【図１２】
2009105490.tif 000014