(57)【要約】【課題】映像再生装置が超解像処理機能を備えていると否とに係わらず、ユーザの要求に応じて高解像度での画像情報の再生、低解像度での画像情報の再生の何れにも対処可能にする。【解決手段】高解像度画像生成部３９は、補足情報生成部３７から読み込んだ連続的に出力される画像フレームの各々に含まれる全ての画素に係わる動きベクトル（情報）と、デコード部２７から出力される連続的に出力される画像フレームとに基づき、映像配信サーバ１から配信される映像情報（映像コンテンツ）の画像を高解像度化した画像（高解像度画像）を生成する。その高解像度画像は、高解像度画像生成部３９から（デコード部２７、及び超解像処理装置２９と共に動画再生部１５を構成する）出力処理部３１と、超解像データ処理部１９とに夫々出力される。【選択図】図２
2009253961.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワークを通じて外部情報処理装置から配信される画像情報を再生する画像情報再生装置において、
入力した画像情報が超解像処理を要する場合に、該画像情報に超解像処理を施すことにより高解像度化された画像情報に変換する画像情報変換部と、
前記画像情報変換部から出力される高解像度化画像情報に、所定の圧縮形式で情報圧縮処理を施す情報圧縮処理部と、
前記情報圧縮処理部により情報圧縮処理が施された後の前記高解像度化画像情報を、前記外部情報処理装置へ送信する情報送信部と、
を備える画像情報再生装置。
【請求項２】
請求項１記載の画像情報再生装置において、
前記画像情報変換部が、
前記外部情報処理装置から配信される前記画像情報から、前記画像情報に超解像処理を施すのに必要な補足情報を生成する補足情報生成部と、
前記補足情報生成部から出力される前記補足情報に基づき、前記画像情報に高解像度化処理を施す高解像度化処理部と、
を含む画像情報再生装置。
【請求項３】
請求項２記載の画像情報再生装置において、
前記情報圧縮処理部が、前記画像情報変換部により高解像度化された前記画像情報をMPEGコード化し、前記情報送信部へ出力する画像情報再生装置。
【請求項４】
請求項３記載の画像情報再生装置において、
前記補足情報生成部から出力される前記補足情報に、一定の条件の下でアーカイブ処理を施した後に、前記情報送信部へ出力するアーカイブ処理部、を更に備える画像情報再生装置。
【請求項５】
請求項４記載の画像情報再生装置において、
前記補足情報が、前記画像情報を構成する複数の画像フレーム同士の間における、同一画素の２次元方向の変位量として求まる動きベクトルに係わる情報、を少なくとも含む画像情報再生装置。
【請求項６】
請求項４記載の画像情報再生装置において、
前記一定の条件には、前記画像情報に含まれる全ての画像フレームに係わる補足情報、又は特定の画像フレームに係わる補足情報の何れかを、前記外部情報処理装置への送信が可能な態様にする処理の実行が含まれる画像情報再生装置。
【請求項７】
通信ネットワークを通じて外部情報処理装置から配信される画像情報を再生する画像情報再生装置において、
前記外部情報処理装置に、前記画像情報に対し超解像処理を施すのに必要な前記画像情報に係わる補足情報を要求する補足情報要求部と、
前記補足情報要求部からの前記要求に応じて、前記外部情報処理装置から送信される前記補足情報を利用して、前記外部情報処理装置から入力した画像情報に、超解像処理の全工程中の後工程である高解像度化処理を施す高解像度化処理部と、
を備える画像情報再生装置。
【請求項８】
請求項７記載の画像情報再生装置において、
前記画像情報に係わる補足情報が、前記画像情報を構成する複数の画像フレーム同士の間における、同一画素の２次元方向の変位量として求まる動きベクトルに係わる情報、を少なくとも含む画像情報再生装置。
【請求項９】
通信ネットワークを通じて超解像処理機能の全部を有する第１の画像情報再生装置、超解像処理機能の一部を有する第２の画像情報再生装置、及び超解像処理機能を全く有しない第３の画像情報再生装置に夫々接続される情報処理装置において、
放送された画像情報、前記第１の画像情報再生装置から送信された、前記放送された画像情報の高解像度化された画像情報、及び該画像情報に係わる超解像処理を施すのに必要な補足情報を、夫々蓄積する蓄積部と、
前記第１の画像情報再生装置からの送信要求に対しては、前記放送された画像情報を、前記第２の画像情報再生装置からの送信要求に対しては、前記高解像度化された画像情報、及び前記補足情報を、前記第３の画像情報再生装置からの送信要求に対しては、前記高解像度化された画像情報を、夫々送信するようにした情報送信部と、
を備える情報処理装置。
【請求項１０】
情報処理装置と、前記情報処理装置に、通信ネットワークを通じて接続される超解像処理機能の全部を有する第１の画像情報再生装置と、超解像処理機能の一部を有する第２の画像情報再生装置と、超解像処理機能を全く有しない第３の画像情報再生装置と、を備え、
前記第１の画像情報再生装置が、
前記情報処理装置から入力した画像情報が超解像処理を要する場合に、該画像情報に超解像処理を施すことにより高解像度化された画像情報に変換する画像情報変換部と、
前記画像情報変換部から出力される高解像度化画像情報に、所定の圧縮形式で情報圧縮処理を施す情報圧縮処理部と、
前記情報圧縮処理部により情報圧縮処理が施された後の前記高解像度化画像情報を、前記情報処理装置へ送信する情報送信部と、
を有し、
前記第２の画像情報再生装置が、
前記情報処理装置に、前記画像情報に対し超解像処理を施すのに必要な前記画像情報に係わる補足情報を要求する補足情報要求部と、
前記補足情報要求部からの前記要求に応じて、前記情報処理装置から送信される前記補足情報を利用して、前記情報処理装置から入力した画像情報に、超解像処理の全工程中の後工程である高解像度化処理を施す高解像度化処理部と、
を有し、
前記第３の画像情報再生装置が、
前記第１の画像情報再生装置において高解像度化された画像情報を、前記情報処理装置を通じて取得し、
前記情報処理装置が、
放送された画像情報、前記第１の画像情報再生装置から送信された、前記放送された画像情報の高解像度化された画像情報、及び該画像情報に係わる超解像処理を施すのに必要な補足情報を、夫々蓄積する蓄積部と、
前記第１の画像情報再生装置からの送信要求に対しては、放送された画像情報を、前記第２の画像情報再生装置からの送信要求に対しては、前記高解像度化された画像情報、及び前記補足情報を、前記第３の画像情報再生装置からの送信要求に対しては、前記高解像度化された画像情報を、夫々送信するようにした情報送信部と、
を有する情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信ネットワークを通じて外部情報処理装置から配信される画像情報を再生する画像情報再生装置、及び該画像情報再生装置を含む情報処理システムに関する。
【背景技術】
【０００２】
従来、画像情報の符号化、及び復号化の技術分野において、画像解像拡張処理に係る演算量を軽減しつつ画像情報を構成する複数の画像フレーム同士の間における画像の動き検出の精度を向上させることを目的とした提案がなされている。該提案に係る画像復号装置では、解像度拡張部が、補助データ復号部により得られた補助動き情報に基づいて、複数の再生画像間の時空間対応を表す動きベクトルを生成し、生成した動きベクトルとビデオデータ復号部により得られた複数の再生画像とを用いて、複数の再生画像よりも空間解像度の高い高解像画像を生成するようになっている（例えば特許文献１参照）。また、画像情報における時間方向の解像度を利用して、空間方向の解像度を補完する超解像処理の技術も知られている（例えば非特許文献１参照）。
【０００３】
【特許文献１】特開2006-174415号公報
【非特許文献１】青木  伸："複数のディジタル画像データによる超解像処理",Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで近年、映像表示装置に係わる技術の改善により、例えば、横：1920画素、縦：1080画素を持つ画像情報のような高画素数の画像情報の、高画素数での表示が可能な映像表示装置が製造されている。しかし、TV（テレビジョン）放送局から放送される映像情報は、画素数が横：720画素、縦：480画素程度のものが多いのが実情である。また、市販されているDVDのような映像記録媒体から再生が可能な映像の画素数についても、最大で縦：720画素、横：480画素である。このように、現在では、多くの一般的な映像情報が持つ画素数よりも、映像表示装置が表示可能な画素数の方が多いという事態が生じている。そのため、画素数の少ない映像情報から、画素数の多い映像（情報）を生成する技術の開発に対する要求が高まっている。そこで、上述した非特許文献１に掲載されているような、超解像処理に係わる技術が提案されるに到った。
【０００５】
超解像処理技術は、動きベクトルを生成するための処理工程と、該処理工程に続く、生成された動きベクトルを利用して、元の画像情報から高解像度の画像情報を生成するための処理工程との２つの工程から成る。動きベクトル生成処理の工程では、画像情報に含まれる、高解像度化処理の対象である画像フレームと、該画像フレームを中心として、時間的に前後する数枚の画像フレームとを比較し、夫々の画像フレーム同士の間において対応する個々の画素毎の動きベクトルを、小数点単位で算出する。しかし、動きベクトルの算出には、個々の画素周辺のマッチング処理が必要であるので、多大な計算量が要求される。そのため、動きベクトル生成の処理工程を、専用のハードウェアで実行する方式が検討されている。
【０００６】
高解像度の画像情報の生成処理工程では、上記動きベクトル生成処理の工程で生成された動きベクトルを利用して、処理対象の画像フレームから、それよりも高解像度の画像（フレーム）を生成するが、動きベクトルの算出処理と比較すれば単純な計算を行うだけで済む。そのため、高解像度の画像情報の生成処理については、比較的小規模なハードウェアで実行可能であり、該生成処理をソフトウェアのみで実行する場合にも、比較的小規模なソフトウェアで対応可能性である。上述した特許文献１に開示されている技術は、動きベクトル生成処理と、高解像度の画像情報の生成処理とを、別個のハードウェアで実行することにより、高解像度の画像情報の生成処理のみを実行する映像再生装置において必要な演算処理量を少なくすることを目的としている。
【０００７】
しかし、ホームネットワーク環境のようなネットワーク環境下には、超解像処理の機能を完備した映像再生装置のみならず、超解像処理の機能を部分的に搭載している映像再生装置や、或いは、超解像処理の機能を全く搭載していない映像再生装置等の種々の映像再生装置が存在し得る。そのため、高解像度での画像情報の再生を所望するユーザのみならず、低解像度のままでの画像情報の再生を所望するユーザも存在し得る。よって、特許文献１に開示されている技術を、上記のようなネットワーク環境下の動画像配信システムに適用しても、ユーザからの種々の要求に対応するのが困難であるという問題がある。
【０００８】
また、高解像度での画像情報の再生を所望するユーザであっても、必ずしも視聴不要な部分も含めた多大な計算量を要する超解像処理の機能の全てを備えた、構成が複雑で且つ高コストの超解像処理の機能を完備した映像再生装置を所望するとは限らない。
【０００９】
従って本発明の目的は、超解像処理の機能を完備した映像再生装置のみならず、超解像処理の機能を部分的に搭載している映像再生装置や、或いは、超解像処理の機能を全く搭載していない映像再生装置等の種々の映像再生装置が存在し得るネットワーク環境下において、映像再生装置が超解像処理の機能を備えていると否とに係わらず、ユーザの要求に応じて高解像度での画像情報の再生、及び低解像度での画像情報の再生の何れにも対処可能にすることにある。
【００１０】
また、本発明の他の目的は、超解像処理の機能を完備した映像再生装置のみならず、超解像処理の機能を部分的に搭載している映像再生装置や、或いは、超解像処理の機能を全く搭載していない映像再生装置等の種々の映像再生装置が存在し得るネットワーク環境下において、高解像処理機能を部分的に備えた比較的簡単な構成の映像再生装置であっても、高解像処理が実行でき、それにより高解像度での画像情報の再生が行えるようにすることにある。
【課題を解決するための手段】
【００１１】
本発明の第１の観点に従う画像情報再生装置は、通信ネットワークを通じて外部情報処理装置から配信される画像情報を再生するもので、入力した画像情報が超解像処理を要する場合に、その画像情報に超解像処理を施すことにより高解像度化された画像情報に変換する画像情報変換部と、上記画像情報変換部から出力される高解像度化画像情報に、所定の圧縮形式で情報圧縮処理を施す情報圧縮処理部と、上記情報圧縮処理部により情報圧縮処理が施された後の上記高解像度化画像情報を、上記外部情報処理装置へ送信する情報送信部と、を備える。
【００１２】
本発明の第１の観点に係る好適な実施形態では、上記画像情報変換部が、上記外部情報処理装置から配信される上記画像情報から、上記画像情報に超解像処理を施すのに必要な補足情報を生成する補足情報生成部と、上記補足情報生成部から出力される上記補足情報に基づき、上記画像情報に高解像度化処理を施す高解像度化処理部と、を含む。
【００１３】
上記とは別の実施形態では、上記情報圧縮処理部が、上記画像情報変換部により高解像度化された上記画像情報をMPEGコード化し、上記情報送信部へ出力する。
【００１４】
また、上記とは別の実施形態では、上記補足情報生成部から出力される上記補足情報に、一定の条件の下でアーカイブ処理を施した後に、上記情報送信部へ出力するアーカイブ処理部、を更に備える。
【００１５】
また、上記とは別の実施形態では、上記補足情報が、上記画像情報を構成する複数の画像フレーム同士の間における、同一画素の２次元方向の変位量として求まる動きベクトルに係わる情報、を少なくとも含む。
【００１６】
更に、上記とは別の実施形態では、上記一定の条件には、上記画像情報に含まれる全ての画像フレームに係わる補足情報、又は特定の画像フレームに係わる補足情報の何れかを、上記外部情報処理装置への送信が可能な態様にする処理の実行が含まれる。
【００１７】
本発明の第２の観点に従う画像情報再生装置は、通信ネットワークを通じて外部情報処理装置から配信される画像情報を再生するもので、上記外部情報処理装置に、上記画像情報に対し超解像処理を施すのに必要な上記画像情報に係わる補足情報を要求する補足情報要求部と、上記補足情報要求部からの上記要求に応じて、上記外部情報処理装置から送信される上記補足情報を利用して、上記外部情報処理装置から入力した画像情報に、超解像処理の全工程中の後工程である高解像度化処理を施す高解像度化処理部と、を備える。
【００１８】
本発明の第２の観点に係る好適な実施形態では、上記画像情報に係わる補足情報が、上記画像情報を構成する複数の画像フレーム同士の間における、同一画素の２次元方向の変位量として求まる動きベクトルに係わる情報、を少なくとも含む。
【００１９】
本発明の第３の観点に従う情報処理装置は、通信ネットワークを通じて超解像処理機能の全部を有する第１の画像情報再生装置、超解像処理機能の一部を有する第２の画像情報再生装置、及び超解像処理機能を全く有しない第３の画像情報再生装置に夫々接続されるもので、放送された画像情報、上記第１の画像情報再生装置から送信された、上記放送された画像情報の高解像度化された画像情報、及びその画像情報に係わる超解像処理を施すのに必要な補足情報を、夫々蓄積する蓄積部と、上記第１の画像情報再生装置からの送信要求に対しては、上記放送された画像情報を、上記第２の画像情報再生装置からの送信要求に対しては、上記高解像度化された画像情報、及び上記補足情報を、上記第３の画像情報再生装置からの送信要求に対しては、上記高解像度化された画像情報を、夫々送信するようにした情報送信部と、を備える。
【００２０】
本発明の第４の観点に従う情報処理システムは、情報処理装置と、上記情報処理装置に、通信ネットワークを通じて接続される超解像処理機能の全部を有する第１の画像情報再生装置と、超解像処理機能の一部を有する第２の画像情報再生装置と、超解像処理機能を全く有しない第３の画像情報再生装置と、を備え、上記第１の画像情報再生装置が、上記情報処理装置から入力した画像情報が超解像処理を要する場合に、その画像情報に超解像処理を施すことにより高解像度化された画像情報に変換する画像情報変換部と、上記画像情報変換部から出力される高解像度化画像情報に、所定の圧縮形式で情報圧縮処理を施す情報圧縮処理部と、上記情報圧縮処理部により情報圧縮処理が施された後の上記高解像度化画像情報を、上記情報処理装置へ送信する情報送信部と、を有し、上記第２の画像情報再生装置が、上記情報処理装置に、上記画像情報に対し超解像処理を施すのに必要な上記画像情報に係わる補足情報を要求する補足情報要求部と、上記補足情報要求部からの上記要求に応じて、上記情報処理装置から送信される上記補足情報を利用して、上記情報処理装置から入力した画像情報に、超解像処理の全工程中の後工程である高解像度化処理を施す高解像度化処理部と、を有し、上記第３の画像情報再生装置が、上記第１の画像情報再生装置において高解像度化された画像情報を、上記情報処理装置を通じて取得し、上記情報処理装置が、放送された画像情報、上記第１の画像情報再生装置から送信された、上記放送された画像情報の高解像度化された画像情報、及びその画像情報に係わる超解像処理を施すのに必要な補足情報を、夫々蓄積する蓄積部と、上記第１の画像情報再生装置からの送信要求に対しては、放送された画像情報を、上記第２の画像情報再生装置からの送信要求に対しては、上記高解像度化された画像情報、及び上記補足情報を、上記第３の画像情報再生装置からの送信要求に対しては、上記高解像度化された画像情報を、夫々送信するようにした情報送信部と、を有する。
【発明の効果】
【００２１】
本発明によれば、超解像処理の機能を完備した映像再生装置のみならず、超解像処理の機能を部分的に搭載している映像再生装置や、或いは、超解像処理の機能を全く搭載していない映像再生装置等の種々の映像再生装置が存在し得るネットワーク環境下において、映像再生装置が超解像処理の機能を備えていると否とに係わらず、ユーザの要求に応じて高解像度での画像情報の再生、及び低解像度での画像情報の再生の何れにも対処可能にすることができる。
【００２２】
また、本発明によれば、超解像処理の機能を完備した映像再生装置のみならず、超解像処理の機能を部分的に搭載している映像再生装置や、或いは、超解像処理の機能を全く搭載していない映像再生装置等の種々の映像再生装置が存在し得るネットワーク環境下において、高解像処理機能を部分的に備えた比較的簡単な構成の映像再生装置であっても、高解像処理が実行でき、それにより高解像度での画像情報の再生が行えるようにすることができる。
【発明を実施するための最良の形態】
【００２３】
以下に説明する本発明の一実施形態では、通信ネットワークにおいて超解像処理の機能を完備した映像再生装置で実行した、超解像処理の工程のうち、多大な計算量を要する動きベクトル生成処理の結果を、映像配信サーバを介して高解像処理機能を部分的に備える映像再生装置に提供することにより、該高解像処理機能を部分的に備える映像再生装置においても、元の画像情報を、高解像度で再生できるようにした。また、超解像処理の機能を完備した映像再生装置において再生された高解像度の画像情報を、映像配信サーバを介して超解像処理の機能を全く搭載していない映像再生装置に提供することで、超解像処理の機能を全く搭載していない映像再生装置においても、高解像度化された元の画像情報を再生できるようにした。
【００２４】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００２５】
図１は、本発明の一実施形態に係る情報処理システムの全体構成を示すブロック図である。
【００２６】
上記情報処理システムは、図１に示すように、映像配信サーバ１と、超解像対応映像再生装置３と、超解像部分対応映像再生装置５と、超解像非対応映像再生装置７と、を備え、これら各々の装置（１、３、５、７）が、通信ネットワーク９を通じて接続される構成になっている。
【００２７】
超解像対応映像再生装置３は、通信ネットワーク９を通じて映像配信サーバ１から配信される（超解像処理が施される以前の）映像情報（映像コンテンツ）に対し、超解像処理を施すための機能を備える。即ち、超解像対応映像再生装置３は、通信ネットワーク９を通じて映像配信サーバ１に対し、映像コンテンツの送信要求を送信することにより、映像配信サーバ１から送信される、超解像処理が施される以前の映像情報（映像コンテンツ）を受信する。そして、該映像情報（映像コンテンツ）に対し、超解像処理を施す。超解像対応映像再生装置３が備える超解像処理の機能には、超解像処理における前段階の工程である動きベクトルの生成工程と、超解像処理における後段階の工程である高解像度画像の生成工程とが含まれる。
【００２８】
超解像対応映像再生装置３は、映像情報（映像コンテンツ）を、該映像情報（映像コンテンツ）に係わる映像補足情報を用いて超解像の映像情報（映像コンテンツ）に変換し、該変換後の映像情報（映像コンテンツ）を、通信ネットワーク９を通じて映像配信サーバ１へ送信する。ここで、映像補足情報とは、映像情報を構成する個々の画像フレームを超解像化するのに必要な情報であり、例えば、動きベクトル（情報）等が映像補足情報に該当する。映像補足情報には、映像コンテンツを高解像度化して視聴するために必要な情報が含まれていても差し支えない。上記映像補足情報は、単独で、或いは、超解像処理が施された後の映像情報（映像コンテンツ）と共に、超解像対応映像再生装置３から通信ネットワーク９を通じて映像配信サーバ１に送信される。
【００２９】
超解像部分対応映像再生装置５も、超解像対応映像再生装置３におけると同様に、（超解像処理が施される以前の）映像情報（映像コンテンツ）に対し、超解像処理を施すための機能を備える。即ち、超解像部分対応映像再生装置５は、通信ネットワーク９を通じて映像配信サーバ１に対し、映像情報（映像コンテンツ）の送信要求を送信することにより、映像配信サーバ１から送信される、超解像処理が施される以前の映像情報（映像コンテンツ）を受信する。そして、該映像情報（映像コンテンツ）に対し、超解像処理を施す。
【００３０】
しかし、超解像部分対応映像再生装置５が備える超解像処理には、上述した高解像度画像生成工程は含まれるが、上述した動きベクトル生成工程は含まれない。そのため、超解像部分対応映像再生装置５は、映像情報（映像コンテンツ）に超解像処理を施すに際しては、映像配信サーバ１において生成済みの動きベクトル（情報）を利用して、高解像度画像生成の処理のみを実施することで、映像情報（映像コンテンツ）の超解像化を実現することになる。超解像部分対応映像再生装置５において超解像化された後の映像情報（映像コンテンツ）も、超解像部分対応映像再生装置５から通信ネットワーク９を通じて映像配信サーバ１へ送信され得る。
【００３１】
超解像非対応映像再生装置７は、上述したような、超解像対応映像再生装置３が備える超解像処理の機能、及び超解像部分対応映像再生装置５が備える超解像処理の機能の何れも備えていない。そのため、超解像非対応映像再生装置７は、通信ネットワーク９を通じて映像配信サーバ１に対し、映像情報（映像コンテンツ）の送信要求を送信することにより、映像配信サーバ１から送信される、超解像処理が施される以前の映像コンテンツ、或いは、超解像対応映像再生装置３において超解像処理が施された後の映像情報（映像コンテンツ）を受信し、何れにしても、それら映像情報（映像コンテンツ）に超解像処理を施すことなく再生処理を行うことになる。
【００３２】
映像配信サーバ１は、（超解像処理が施される前の）種々の映像情報（映像コンテンツ）を、上述した超解像対応映像再生装置３、超解像部分対応映像再生装置５、及び超解像非対応映像再生装置７からの送信要求に応じて各装置（３、５、７）に送信すべく蓄積する。映像配信サーバ１は、通信ネットワーク９を通じて超解像対応映像再生装置３から映像情報（映像コンテンツ）の送信要求が送信されると、該送信要求に対応する映像情報（映像コンテンツ）を、通信ネットワーク９を通じて超解像対応映像再生装置３へ送信する。
【００３３】
映像配信サーバ１は、また、通信ネットワーク９を通じて超解像部分対応映像再生装置５から映像情報（映像コンテンツ）の送信要求が送信されると、該送信要求に対応する映像情報（映像コンテンツ）を、該映像情報（映像コンテンツ）に係わる動きベクトル（情報）と共に、通信ネットワーク９を通じて超解像部分対応映像再生装置５へ送信する。
【００３４】
映像配信サーバ１は、更に、通信ネットワーク９を通じて超解像非対応映像再生装置７から映像情報（映像コンテンツ）の送信要求が送信されると、該送信要求に対応する低解像度のままの映像情報（映像コンテンツ）、或いは、超解像対応映像再生装置３により高解像度化された後の映像情報（映像コンテンツ）を、通信ネットワーク９を通じて超解像非対応映像再生装置７へ送信する。
【００３５】
映像配信サーバ１は、通信ネットワーク９を通じて超解像対応映像再生装置３から送信される超解像処理が施された後の映像情報（映像コンテンツ）、通信ネットワーク９を通じて超解像部分対応映像再生装置５から送信される超解像処理が施された後の映像情報（映像コンテンツ）を、夫々蓄積する。
【００３６】
図２は、図１に記載の超解像対応映像再生装置３の内部構成の一例を示す機能ブロック図である。
【００３７】
上記超解像対応映像再生装置３は、図２に示すように、通信装置１１と、サーバコンテンツ取得部１３と、動画再生部１５と、超解像情報アップロード部１７と、超解像データ処理部１９と、モニタ２１と、を備える。通信装置１１には、入力部２３、及び出力部２５が、動画再生部１５には、デコード部２７、超解像処理装置２９、及び出力処理部３１が、超解像データ処理部１９には、MPEG化処理部３３、及び超解像データアーカイブ作成部３５が、夫々内蔵されている。更に、超解像処理装置２９には、補足情報性西部３７、及び高解像度画像生成部３９が、内蔵されている。
【００３８】
通信装置１１は、超解像対応映像再生装置３が通信ネットワーク９を通じて映像配信サーバ１との間で情報通信を行うに際しての入／出力インタフェースの機能を有する。
【００３９】
即ち、出力部２５は、サーバコンテンツ取得部１３から出力される映像情報（映像コンテンツ）、の送信要求を入力し、通信ネットワーク９を通じて映像配信サーバ１へ送信する。出力部２５からの上記送信要求の送信に応じて、映像配信サーバ１から映像情報（映像コンテンツ）が、通信ネットワーク９を通じて送信されてくると、入力部２３は、それを受付けて、サーバコンテンツ取得部１３に出力する。（超解像対応映像再生装置３が、映像配信サーバ１から受信する）該映像情報（映像コンテンツ）は、例えば、MPEG-2等の方式でコード化されている。出力部２５は、また、超解像情報アップロード部１７から出力される超解像処理が施された後の映像情報（映像コンテンツ）を、通信ネットワーク９を通じて映像配信サーバ１へ送信する。
【００４０】
サーバコンテンツ取得部１３は、入力部２３から出力される映像情報（映像コンテンツ）を受付けて、それらを（動画再生部１５の）デコード部４７へ出力する。
【００４１】
動画再生部１５において、デコード部２７は、サーバコンテンツ取得部１３を通じて（通信装置１１の）入力部２３から出力される映像情報（映像信号）を入力し、該映像情報（映像信号）を復号化することにより、元の映像情報、即ち、上記映像コンテンツを含む連続する画像フレームを再現する。デコード部２７により再現された上記映像コンテンツを含む画像フレームは、超解像処理装置２９へ出力される。超解像処理装置２９は、既述のような、超解像処理における前段階の工程である動きベクトル生成の処理と、後段階の工程である高解像度画像生成の処理とを実行することにより、映像配信サーバ１から超解像対応映像再生装置３へ配信される映像情報（映像コンテンツ）の画像を、高解像度画像に変換する機能を有する。
【００４２】
超解像処理装置２９において、補足情報生成部３７は、動きベクトル生成の処理を実行する。補足情報生成部３７は、上述した連続する画像フレームをデコード部２７から入力し、それら画像フレームにおける列毎に所定の処理を施すことにより、個々の画像フレームにおいて互いに対応する画素同士の間における動きベクトルを算出する。これにより、各画像フレームにおける全ての画素について動きベクトル（情報）が生成される。なお、上記処理内容の詳細については、例えば、前掲の
【非特許文献１】に記述されているので、ここでの詳細な説明は省略する。補足情報生成部３７において生成された動きベクトル（情報）は、高解像度画像生成部３９により補足情報生成部３７から読み出される。  補足情報生成部３７は、上記処理に加えて、更に、上記個々の画像フレーム毎に付与されている、個々の画像フレームを識別するためのフレームIDをもデコード部２７を通じて入力し、該フレームIDと、上記動きベクトルとで、フレーム補足情報を生成する。そして、生成したフレーム補足情報を、超解像データ処理部１９へ出力する。
【００４３】
高解像度画像生成部３９は、補足情報生成部３７から読み込んだ上記（連続的に出力される）画像フレームの各々に含まれる全ての画素に係わる動きベクトル（情報）と、デコード部２７から出力される上記（連続的に出力される）画像フレームとに基づき、映像配信サーバ１から配信される映像情報（映像コンテンツ）の画像を高解像度化した画像（高解像度画像）を生成する。該高解像度画像は、高解像度画像生成部３９から（デコード部２７、及び超解像処理装置２９と共に動画再生部１５を構成する）出力処理部３１と、超解像データ処理部１９とに夫々出力される。
【００４４】
出力処理部３１は、上記高解像度画像を、高解像度画像生成部３９から入力すると、該高解像度画像の画質（例えば、輝度や色合い等）を、表示部、即ち、モニタ２１の特性に適合するように調整する。出力処理部３１において画質調整が施された後の上記高解像度画像（即ち、高解像度化された映像コンテンツ。以下同じ）は、モニタ２１に表示出力されることにより、ユーザに提供される。
【００４５】
超解像データ処理部３９において、超解像データアーカイブ作成部３５は、（超解像処理装置２９の）補足情報生成部３７から出力されるフレーム補足情報を読み込む。そして、該読み込んだフレーム補足情報中より、映像配信サーバ１から配信された映像情報に含まれる全ての画像フレームに関する情報、又は、上記映像情報に含まれる特定の画像フレームに関する情報を、超解像対応映像再生装置３から映像配信サーバ１へ送信可能な態様にすべく、アーカイブ処理を行う。超解像データアーカイブ作成部３５によるアーカイブ処理の対象が、上記映像情報に含まれる特定の画像フレームに関する情報である場合には、該特定の画像フレームの選択は、超解像データ処理部１９において行われる。上記アーカイブ処理が施された後の上記全ての画像フレームに関する情報、即ち、上記全ての画像フレームに関する情報のアーカイブである映像補足情報、又は、上記特定の画像フレームに関する情報は、超解像データアーカイブ作成部３５からの読み出し要求に応じて超解像情報アップロード部１７に出力される。
【００４６】
MPEG化処理部３３は、高解像度画像生成部３９から出力される上記高解像度画像の画像フレームを、MPEGコード化し、超解像情報アップロード部１７からの読み出し要求に応じて出力する。
【００４７】
超解像情報アップロード部１７は、超解像データアーカイブ作成部３５から、上記映像補足情報を読み出すか、又は、MPEG化処理部３３からMPEGコード化された高解像度画像を読み出し、上記読み出した映像補足情報、又は、上記読み出した（MPEGコード化された）高解像度画像を、図示しないバッファに一時的に格納する。超解像情報アップロード部１７が、上記映像捕捉情報、及び上記MPEGコード化された高解像度画像の双方を読み出した場合には、これら双方の情報は、超解像情報アップロード部１７により上記バッファ（図示しない）に一時的に格納されることになる。
【００４８】
超解像情報アップロード部１７は、上記バッファ（図示しない）に一時的に格納されている上記映像捕捉情報と上記MPEGコード化された高解像度画像の一方、又は双方を、（通信装置１１の）出力部２５を介し、通信ネットワーク９を通じて映像配信サーバ１へ送信する。なお、超解像情報アップロード部１７が、上記映像補足情報、（MPEGコード化された）高解像度画像の何れか一方のみを映像配信サーバ１へ送信した場合には、他方の情報は、超解像情報アップロード部１７によって上記バッファ（図示しない）から削除されることになる。
【００４９】
図３は、本発明の一実施形態に係る情報処理システムに適用されるフレーム補足情報の構成の一例を示す説明図である。
【００５０】
図３において、フレーム補足情報４１は、図２で示した補足情報生成部３７において生成されるもので、フレームID４３と、動きベクトル情報４５と、補足情報４７と、を含む。フレームID４３とは、映像情報の構成要素として映像配信サーバ１から連続的に送信される複数の画像フレームの各々を特定するために、各々の画像フレーム毎に付与された識別情報である。動きベクトルとは、既述のように、動画像において同一の画像（画素）の、或る画像フレーム上での（二次元座標で示される）位置と、別の画像フレーム上での（二次元座標で示される）位置とが相違する場合に、その変位量（即ち、或る画像フレームと別の画像フレームとの間における同一画素の二次元方向の移動距離）を示すものである。各々の画像フレーム上における全ての画素に係わる動きベクトルの集合が、動きベクトル情報４５である。動きベクトル情報４５は、図２で示した補足情報生成部３７において生成される。補足情報４７とは、該補足情報４７が付与される画像フレームの再生状態（通常再生か、早送りか）を表す情報である。
【００５１】
図４は、本発明の一実施形態に係る情報処理システムに適用される映像補足情報の構成の一例を示す説明図である。
【００５２】
図４において、映像補足情報４９は、図２で示した超解像データアーカイブ作成部３５において生成されるもので、映像ID５１と、フレームID４３と、動きベクトル情報４５と、を含む。映像ID５１とは、映像配信サーバ１から配信される複数の映像情報（映像コンテンツ）の各々を特定するために、各々の映像情報（図４では、図示と説明の都合上、１つの映像情報（映像コンテンツ）しか記載していない。）毎に付与された識別情報である。なお、フレームID、及び動きベクトル情報については、図３で示した物と同一であるので、夫々図３で示した物と同一符号を付して、それらの詳細な説明を省略する。なお、映像補足情報４９は、通信ネットワーク９を通じて送信されるので、データの送信量を削減するために、夫々の情報を適宜圧縮した状態で送信し、受信側でそれを伸張するようにしても差し支えない。
【００５３】
図５は、本発明の一実施形態に係る情報処理システムに適用される映像補足情報の構成の別の一例を示す説明図である。
【００５４】
図５において、映像補足情報５３も、図４で示した映像補足情報４９におけると同様に、図２で示した超解像データアーカイブ作成部３５において生成されるものである。図５で示した映像補足情報５３は、映像ID５１、フレームID４３、及び動きベクトル情報４５に加えて、更に、図３で示した補足情報４７を含む点において、図４で示した映像補足情報４９と相違する。映像ID５１、フレームID４３、及び動きベクトル情報４５は、図４で示した映像ID５１、フレームID４３、及び動きベクトル情報４５と、また、補足情報４７は、図３で示した補足情報４７と、夫々同一であるので、ここでの詳細な説明は省略する。
【００５５】
図６は、図１に記載の超解像部分対応映像再生装置５の内部構成の一例を示す機能ブロック図である。
【００５６】
図６を参照して明らかなように、超解像部分対応映像再生装置５と、図２で示した超解像対応映像再生装置３とは、超解像部分対応映像再生装置５が、超解像情報アップロード部１７、及び超解像データ処理部１９を備えていない点において構成が相違している。上記に加えて、補足情報生成部３７、及び高解像度画像生成部３９を含む超解像処理装置２９に替えて、高解像度画像生成部３９を内蔵する動画再生部１５を備えている点においても、超解像部分対応映像再生装置５と超解像対応映像再生装置３とは、構成が相違している。その他の構成（通信装置、その入力部と出力部、サーバコンテンツ取得部、動画再生部内のデコード部、高解像度画像生成部、及び出力処理部、モニタ）については、図２で示した物と同一であるので、図６において、図２で示した物と同一物には同一符号を付してそれらの詳細な説明を省略する。
【００５７】
超解像部分対応映像再生装置５を、図６に示すような、超解像対応映像再生装置３よりも簡易な構成にする理由は、以下のようである。即ち、超解像処理に必要な工程中の、膨大な演算量を伴う動きベクトル生成の工程を、超解像部分対応映像再生装置５よりも高性能な別の装置（例えば、図２で示した超解像対応映像再生装置３のような装置）に委ねるようにすれば、超解像部分対応映像再生装置５自身における処理負荷を低減できる。そのうえ、低コストのハードウェア、又は、低コストのソフトウェア処理で超解像処理が実現可能になるからである。
【００５８】
図６において、サーバコンテンツ取得部１３は、出力部２５、及び通信ネットワーク９を通じて映像配信サーバ１に対し、図４で示したような映像補足情報４９の送信要求を発する。該送信要求に対応する映像補足情報４９が、映像配信サーバ１内に存在すれば、映像配信サーバ１から通信ネットワーク９を通じて該映像補足情報４９が超解像部分対応映像再生装置５に送信されることになるので、サーバコンテンツ取得部１３は、該映像補足情報４９を取得すると共に、該映像補足情報４９をデコード部２７へ出力する。デコード部２７は、該映像補足情報４９を、サーバコンテンツ取得部１３から読み込むと、該映像補足情報４９を、通信ネットワーク９、（通信装置１１の）入力部２３、及びサーバコンテンツ取得部１３を通じて映像配信サーバ１から配信された映像情報（映像コンテンツ）の画像フレームと対応させた状態で、高解像度画像生成部３９へ出力する。
【００５９】
高解像度画像生成部３９は、上記映像情報と、上記映像補足情報４９と、をデコード部２７から読み込む。そして、上記映像情報に含まれる画像フレームと同一のフレームID４３を有するフレーム補足情報４１を、上記映像補足情報４９から抽出すると共に、該抽出したフレーム補足情報４１から取り出した動きベクトル情報４５を用いて、デコード部２７から読み出した上記画像フレームの高解像度画像を生成する。なお、高解像度画像生成部３９において生成された高解像度画像は、出力処理部３１に出力され、出力処理部３１においてモニタ２１の特性に適合するように画質（例えば輝度や色合い等）が調整されたうえで、モニタ２１に表示出力されることになる。
【００６０】
図７は、図１に記載の超解像非対応映像再生装置７の内部構成の一例を示す機能ブロック図である。
【００６１】
図７を参照して明らかなように、超解像非対応映像再生装置７と、図２で示した超解像対応映像再生装置３とは、超解像非対応映像再生装置７が、超解像情報アップロード部１７、及び超解像データ処理部１９を備えていない点と、超解像処理装置２９を内蔵していない動画再生部５７を備えている点とにおいて構成が相違している。換言すれば、超解像非対応映像再生装置７は、該装置７内で映像情報（映像コンテンツ）を高解像化画像に生成するための機能を有していない。その他の構成（通信装置、その入力部と出力部、サーバコンテンツ取得部、動画再生部内のデコード部、及び出力処理部、モニタ）については、図２で示した物と同一であるので、図７において、図２で示した物と同一物には同一符号を付してそれらの詳細な説明を省略する。なお、上記構成の超解像非対応映像再生装置７においても、超解像処理が施された後の（即ち、高解像度化された）映像コンテンツの再生は可能である。
【００６２】
図７において、超解像非対応映像再生装置７は、超解像対応映像再生装置３において高解像度化された映像情報（映像コンテンツ）を、映像配信サーバ１を介して取得することにより、高解像度化された映像情報（映像コンテンツ）の再生を行う。即ち、超解像非対応映像再生装置７は、超解像処理が施され、高解像度化された後の映像情報（映像コンテンツ）を再生するため、超解像対応映像再生装置３が生成し映像配信サーバ１にアップロードした高解像度化された後の映像コンテンツを、通信ネットワーク９を通じて映像配信サーバ１から受信する。該受信した映像コンテンツは、サーバコンテンツ取得部１３、デコード部２７を通じて出力処理部３１に送出され、出力処理部３１においてモニタ２１の特性に適合するように画質（例えば輝度や色合い等）が調整された後、モニタ２１に表示出力される。上記高解像度化された映像情報のみならず、映像配信サーバ１から配信される通常の画質の映像情報（映像コンテンツ）の超解像非対応映像再生装置７による受信、再生も、勿論可能である。
【００６３】
図８は、図１に記載の映像配信サーバ１の内部構成の一例を示す機能ブロック図である。
【００６４】
上記映像配信サーバ１は、図８に示すように、通信装置６１と、コンテンツ管理部６３と、保存装置６５と、レコード機能部６７と、放送受信装置６９と、を備える。通信装置６１には、入力部７１、及び出力部７３が、コンテンツ管理部６３には、保存処理部７５、及び送出処理部７７が、夫々内蔵されている。
【００６５】
通信装置６１は、映像配信サーバ１が通信ネットワーク９を通じて超解像対応映像再生装置３、超解像部分対応映像再生装置５、及び超解像非対応映像再生装置７との間で、個別に情報通信を行うに際しての入／出力インタフェースの機能を有する。
【００６６】
即ち、入力部７１は、通信ネットワーク９を通じて超解像対応映像再生装置３から送出されるアクセス要求に応じて超解像対応映像再生装置３に接続し、超解像対応映像再生装置３からの映像情報（映像コンテンツ）の送信要求を受付けて、コンテンツ管理部６３に出力する。一方、出力部７３は、上記送信要求が入力部７１からコンテンツ管理部６３に出力されることで、コンテンツ管理部６３から該送信要求に対応する映像情報（映像コンテンツ）が出力されると、それを受付ける。そして、該映像情報（映像コンテンツ）を、通信ネットワーク９を通じて超解像対応映像再生装置３へ送信する。入力部７１は、超解像対応映像再生装置３において超解像処理が施された後の上記映像情報（映像コンテンツ）が、通信ネットワーク９を通じて超解像対応再生装置３から送信されると、該（超解像処理後の）映像情報（映像コンテンツ）を受付けて、コンテンツ管理部６３に出力する。
【００６７】
入力部７１は、また、通信ネットワーク９を通じて超解像部分対応映像再生装置５から送出されるアクセス要求に応じて超解像部分対応映像再生装置５に接続し、超解像部分対応映像再生装置５からの映像情報（映像コンテンツ）の送信要求を受付けて、コンテンツ管理部６３に出力する。一方、出力部７３は、上記送信要求が入力部７１からコンテンツ管理部６３に出力されることで、コンテンツ管理部６３から該送信要求に対応する映像情報（映像コンテンツ）、及び該映像情報（映像コンテンツ）に係わる動きベクトル（情報）が出力されると、それらを受付ける。そして、該映像情報（映像コンテンツ）、及び該動きベクトル（情報）を、通信ネットワーク９を通じて超解像部分対応映像再生装置５へ送信する。入力部７１は、超解像部分対応映像再生装置５において超解像処理が施された後の上記映像情報（映像コンテンツ）が、通信ネットワーク９を通じて超解像部分対応再生装置５から送信されると、該（超解像処理後の）映像情報（映像コンテンツ）を受付けて、コンテンツ管理部６３に出力する。
【００６８】
入力部７１は、更に、通信ネットワーク９を通じて超解像非対応映像再生装置７から送出されるアクセス要求に応じて超解像非対応映像再生装置７に接続し、超解像非対応映像再生装置７からの映像情報（映像コンテンツ）の送信要求を受付けて、コンテンツ管理部６３に出力する。一方、出力部７３は、上記送信要求が入力部７１からコンテンツ管理部６３に出力されることで、コンテンツ管理部６３から該送信要求に対応する映像情報（映像コンテンツ）が出力されると、それを受付ける。そして、該映像情報（映像コンテンツ）を、通信ネットワーク９を通じて超解像非対応映像再生装置７へ送信する。
【００６９】
放送受信装置６９は、例えば有線伝送される放送波を受信する装置であり、例えば、MPEG-2等の方式でコード化されている放送波を受信し、該受信した放送波をレコード機能部６７に出力する。レコード機能部６７は、放送受信装置６９から出力される放送波を入力する。そして、該放送波に含まれるコード化された情報として受信された映像情報（映像コンテンツ）を、保存装置６５に格納する。
【００７０】
保存装置６５は、レコード機能部６７を通じて入力される、放送波に係わる映像情報（映像コンテンツ）、即ち、超解像処理が施される前の映像情報（映像コンテンツ）を保存する。該映像情報（映像コンテンツ）の保存装置６５への格納に際しては、映像配信サーバ１において生成される、該映像情報（映像コンテンツ）に係わる映像補足情報も、該映像情報（映像コンテンツ）に対応付けられた状態で、保存装置６５に格納される。保存装置６５には、上記に加えて、更に、映像配信サーバ１において作成され、適宜更新されるデータであって、保存装置６５に保存中の（超解像処理が施される前の）映像情報（映像コンテンツ）に係わる一覧データも、格納される。
【００７１】
保存装置６５は、（コンテンツ管理部６３の）送出処理部７７からの映像情報（映像コンテンツ）読み出し要求に応じて、上記一覧データを、送出処理部７７へ出力する。保存装置６５は、送出処理部７７からの映像情報（映像コンテンツ）読み出し要求に応じて、該読み出し要求に対応する（超解像処理が施される前の）映像情報（映像コンテンツ）を送出処理部７７に出力する。害読み出し要求が、超解像対応映像再生装置３からのものである場合には、上記映像情報（映像コンテンツ）が、超解像部分対応映像再生装置５からのものである場合には、上記映像情報（映像コンテンツ）に加えて、上記映像情報（映像コンテンツ）に係わる動きベクトル（情報）が、夫々保存装置６５から送出処理部７７に出力される。
【００７２】
保存装置６５は、（コンテンツ管理部６３の）保存処理部７５から出力される、超解像処理が施された後の映像情報（映像コンテンツ）を受けて、該（超解像処理が施された後の）映像情報（映像コンテンツ）を保存する。該（超解像処理が施された後の）映像情報（映像コンテンツ）には、通信装置６１の入力部７１、通信ネットワーク９を通じて超解像対応映像再生装置３から出力されるもの、及び超解像部分対応映像再生装置５から出力されるものが含まれる。
【００７３】
コンテンツ管理部６３において、保存処理部７５は、まず、（通信装置６１の）入力部７１より出力される、超解像対応映像再生装置３からの映像情報（映像コンテンツ）の送信要求、超解像部分対応映像再生装置５からの映像情報（映像コンテンツ）の送信要求と、該映像情報（映像コンテンツ）に係わる映像補足情報の送信要求、及び超解像非対応映像再生装置７からの映像情報（映像コンテンツ）の送信要求を、夫々受付ける。これらの送信要求に係わる映像情報（映像コンテンツ）には、保存装置６５に保存されている映像情報（映像コンテンツ）であって、超解像処理が施される前の映像情報（映像コンテンツ）、即ち、映像配信サーバ１が放送波に含まれるコード化された情報として受信した映像情報（映像コンテンツ）、及び超解像対応映像再生装置３等において超解像処理が施された後の映像情報（映像コンテンツ）が含まれる。保存処理部７５は、超解像対応映像再生装置３、超解像部分対応映像再生装置５、及び超解像非対応映像再生装置７から、夫々上記送信要求があった旨を、送出処理部７７に通知する。保存処理部７５は、入力部７１から出力される超解像処理が施された後の映像情報（映像コンテンツ）を、保存装置６５に格納する。該（超解像処理が施された後の）映像情報（映像コンテンツ）には、上記のように通信ネットワーク９を通じて超解像対応映像再生装置３から出力されるもの、及び超解像部分対応映像再生装置５から出力されるものが含まれる。保存処理部７５は、また、入力部７１から出力される超解像対応映像再生装置３からの映像捕捉情報も、保存装置６５に格納する。
【００７４】
送出処理部７７は、保存処理部７５より超解像対応映像再生装置３から映像情報（映像コンテンツ）の送信要求があった旨の通知を受けると、上述した映像コンテンツの一覧データを、保存装置６５から読み出し、出力部７３、及び通信ネットワーク９を通じて超解像対応映像再生装置３へ送信する。これと共に、送出処理部７７は、該送信要求に対応する映像情報（映像コンテンツ）を保存装置６５から読み出し、出力部７３、及び通信ネットワーク９を通じて超解像対応映像再生装置３へ送信する。
【００７５】
送出処理部７７は、また、保存処理部７５より超解像部分対応映像再生装置５から映像情報（映像コンテンツ）の送信要求、該映像情報（映像コンテンツ）に係わる映像補足情報の送信要求があった旨の通知を受けると、上述した映像コンテンツの一覧データを、保存装置６５から読み出し、出力部７３、及び通信ネットワーク９を通じて超解像部分対応映像再生装置５へ送信する。これと共に、送出処理部７７は、該送信要求に対応する映像情報（映像コンテンツ）、及び該映像情報（映像コンテンツ）に係わる映像補足情報として動きベクトル（情報）を、保存装置６５から読み出し、出力部７３、及び通信ネットワーク９を通じて超解像部分対応映像再生装置５へ送信する。
【００７６】
送出処理部７７は、更に、保存処理部７５より超解像非対応映像再生装置７から映像情報（映像コンテンツ）の送信要求があった旨の通知を受けると、上述した映像コンテンツの一覧データを、保存装置６５から読み出し、出力部７３、及び通信ネットワーク９を通じて超解像非対応映像再生装置７へ送信する。これと共に、送出処理部７７は、該送信要求に対応する、超解像対応映像再生装置３等において超解像処理が施された後の映像情報（映像コンテンツ）を、保存装置６５から読み出し、出力部７３、及び通信ネットワーク９を通じて超解像非対応映像再生装置７へ送信する。
【００７７】
図９は、映像情報からその高解像度画像を生成するに際しての、映像配信サーバ１、及び超解像対応映像再生装置３が行う処理動作の一例を示すフローチャートである。
【００７８】
図９において、超解像対応映像再生装置３の起動により、サーバコンテンツ取得部１３が、通信ネットワーク９に接続している映像配信サーバ１を検索するためのメッセージ（検索メッセージ）を、送信する。この処理動作においては、例えば、UpnPのような通信ネットワーク上のデバイス検索プロトコルが用いられる（ステップS８１）。上記検索メッセージを受信すると、映像配信サーバ１では、コンテンツ管理部６３が、該検索メッセージに応答して、サーバ検索応答メッセージを、超解像対応映像再生装置３へ返信する（ステップS８２）。
【００７９】
超解像対応映像再生装置３が上記サーバ検索応答メッセージを受信すると、サーバコンテンツ取得部１３が、交信相手である映像配信サーバ１に対し、映像コンテンツ一覧取得要求のメッセージを送信する（ステップS８３）。映像配信サーバ１が該取得要求のメッセージを受信すると、コンテンツ管理部６３は、該取得要求のメッセージに応答して、保存装置６５に記憶されている映像コンテンツの一覧情報を、超解像対応映像再生装置３へ返信する。ここで、該映像コンテンツの一覧情報とは、図４、及び図５で示した映像ID５１の一覧であるが、（映像配信サーバ１に蓄積されている）映像コンテンツを一意に識別することができるIDであれば、上記に限定されない（ステップS８４）。
【００８０】
上記映像コンテンツの一覧情報が、超解像対応映像再生装置３により取得されることで、映像コンテンツの選択画面が、（超解像対応映像再生装置３の）モニタ２１を介してユーザに提示される（ステップS８５）。ユーザが、上記選択画面中から所望の映像コンテンツを選択すると、サーバコンテンツ取得部１３は、超解像対応映像再生装置３において高解像度化処理（超解像処理）が行われた後の映像コンテンツを、映像配信サーバ１へ返信するための処理タスク（以下、「返送タスク」と称する。）を起動する。そして、ユーザにより選択された映像コンテンツに係わる映像ID５１が、返送タスクに送出される（ステップS８６）。なお、返送タスクは、既述の超解像情報アップロード部１７、及び超解像データ処理部１９の処理動作を実行する。
【００８１】
超解像情報アップロード部１７は、超解像処理が施された後の映像コンテンツを、映像配信サーバ１に返信すべく、高解像度化された後の映像コンテンツをアップロードするための要求を、映像配信サーバ１に送信する（ステップS８７）。映像配信サーバ１が上記アップロードの要求を受信すると、コンテンツ管理部６３が、超解像対応映像再生装置３から送信（アップロード）される、超解像処理が施された後の映像コンテンツを保存装置６５に保存するためのタスクを起動する（ステップS８８）。該タスクは超解像対応映像再生装置３による超解像処理が施された後の映像コンテンツを、保存装置６５へ保存するための保存処理部７５の処理動作を実行する。
【００８２】
次に、サーバコンテンツ取得部１３が、（映像配信サーバ１の）送出処理部７７からの映像情報（映像コンテンツ）の取得のための処理動作を開始する（ステップS８９、ステップS９０）。サーバコンテンツ取得部１３が、映像配信サーバ１から取得した映像情報（映像コンテンツ）に対し、（動画再生部１５の）デコード部２７が、復号化のための処理を行って該映像情報の画像フレームを再現する(ステップS９１)。次に、（超解像処理装置２９の）補足情報生成部３７が、動きベクトル（図３乃至図５で示した動きベクトル情報４５）を算出する(ステップS９２)。ステップS９２において上記動きベクトル（情報４５）が算出されると、高解像度画像生成部３９が、上記動きベクトル（情報４５）に基づき、デコード部２７において再現された画像フレームを高解像度画像に変換するための処理を行う(ステップS９３)。そして、高解像度化された上記画像フレームが、出力処理部３１を通じてモニタ２１に表示出力される(ステップS９７)。
【００８３】
超解像対応映像再生装置３による映像配信サーバ１からの映像情報（映像コンテンツ）の取得は、順次部分的に行われ、全ての映像情報（映像コンテンツ）が取得されるまでの間、上述したステップS８９乃至ステップS９３、及びステップS９７で示した処理動作が繰り返される（ステップS９８でNOの場合）。以下では、部分的に取得した映像情報（映像コンテンツ）の一部を、「映像データ」と称する。
【００８４】
ステップS９３における画像フレームを高解像度化するための処理動作と同時に、高解像度画像生成部３９は、高解像度化された画像フレーム(超解像処理後の画像フレーム)、高解像度化される前の画像フレーム(元画像フレーム)、及び該画像フレームの再生状態(早送り、又は通常再生)を示す情報を、超解像データ処理部１９に出力する。（超解像データ処理部１９の）MPEG化処理部３３は、該画像フレームの再生状態が早送りの場合には元画像フレームを、再生状態が通常再生の場合には超解像処理後の画像フレームを、夫々用いてMPEGにエンコードし、高解像度化された後の映像情報（映像コンテンツ）の一部(以下、「高解像度映像データ」と称する。)を作成する(ステップS９４)。
【００８５】
上記高解像度映像データは、超解像情報アップロード部１７により、映像配信サーバ１へ送信される(ステップS９５)。なお、ステップS９４において、上記画像フレームの再生状態が早送りの場合には、MPEG化処理部３３による上記画像フレームに対するMPEG化処理は行われず、ステップS９５において、上記映像情報（映像コンテンツ）の早送り部分を映像配信サーバ１へ送信しなくても差し支えない。
【００８６】
映像配信サーバ１が、超解像対応映像再生装置３からの高解像度映像データを受信すると、保存処理部７５は、該高解像度映像データを、保存装置６５に保存する(ステップS９６)。上記処理動作は、映像配信サーバ１が、超解像対応映像再生装置３から高解像度化された全ての映像情報（映像コンテンツ）を取得するまでの間、繰り返される(ステップS９９)。映像コンテンツが終了すると（ステップS９８でYES）、サーバコンテンツ取得部１３は、超解像情報アップロード部１７に対し、映像情報（映像コンテンツ）の再生が終了した旨を通知する(ステップS１００)。該通知を受けると、超解像情報アップロード部１７は、映像配信サーバ１に対し、（高解像度化された映像情報の）アップロードが終了した旨を通知する(ステップS１０１)。
【００８７】
映像配信サーバ１が該アップロードの終了通知を受けると、コンテンツ管理部６３は、超解像対応映像再生装置３から受信した、高解像度映像データの保存を終了させるための処理を行う。即ち、これまで受信した高解像度映像データを合わせて、高解像度化の処理が施された後の映像情報（映像コンテンツ）とする(ステップS１０２)。超解像情報アップロード部１７は、上述した返送タスクの起動時（ステップS８６）に取得した映像ID５１に基づき、映像配信サーバ１に対し、元の映像情報（映像コンテンツ）の削除要求を送信する(ステップS１０３)。映像配信サーバ１が該削除要求を受信すると、コンテンツ管理部６３は、上記映像５１に基づき、保存装置６５から元の映像情報（映像コンテンツ）を削除する処理を行う（ステップS１０４）。
【００８８】
なお、図９で示した処理流れでは、超解像対応映像再生装置３が、映像配信サーバ１から配信された映像情報の再生と同時に、超解像化した該映像情報（映像コンテンツ）を、映像配信サーバ１に返信しているが、映像情報に含まれる全部の画像フレームの再生を終了した後に、再生した画像フレームを纏めて映像配信サーバ１に返信するようにしても差し支えない。
【００８９】
図１０は、超解像非対応映像再生装置７が、映像配信サーバ１から配信される高解像度化された映像情報を再生するに際しての処理動作の一例を示すフローチャートである。図１０で示した処理動作は、超解像非対応映像再生装置７が、受信した映像情報（映像コンテンツ）に対し、超解像処理を行わない点で、図９で示した処理動作と相違している。
【００９０】
図１０において、ステップS１１１乃至ステップS１１５で夫々示した処理動作は、図９において、ステップS８１乃至ステップS８５で夫々示した処理動作と同様であるので、詳細な説明を省略する。映像配信サーバ１が、高解像度化された後の映像情報（映像コンテンツ）の超解像非対応映像再生装置７への配信を開始すると（ステップS１１６）、超解像非対応映像再生装置７では、（通信装置１１の）入力部２３が、該映像情報（映像コンテンツ）を受信する（ステップS１１７）。次に、（動画再生部５７の）デコード部２７が、該映像情報（映像コンテンツ）を復号化し（ステップS１１８）、それにより再現された画像フレームが、逐次出力処理部３１を通じてモニタ２１に表示出力される（ステップS１１９）。上述したステップS１１７乃至ステップS１１９で示した処理動作は、該映像情報中の全部の画像フレームについて処理が行われるまで継続される（ステップS１２０）。一方、映像配信サーバ１からの超解像非対応映像再生装置７への映像情報（映像コンテンツ）の配信についても、該映像情報（映像コンテンツ）の全部が配信されるまでの間、継続される（ステップS１２１でYES）。
【００９１】
図１１は、映像情報からその高解像度画像を生成するに際しての、映像配信サーバ１、及び超解像対応映像再生装置３が行う処理動作の別の例を示すフローチャートである。
【００９２】
図１１において、ステップS１３１乃至ステップS１３５で夫々示す処理動作は、図９において、ステップS８１乃至ステップS８５で夫々示した処理動作と同様であるので、詳細な説明を省略する。
【００９３】
ユーザが、（超解像対応映像再生装置３の）モニタ２１に表示されている映像コンテンツの選択画面中から所望の映像コンテンツを選択すると、サーバコンテンツ取得部１３は、返送タスク（既述のように、超解像対応映像再生装置３において高解像度化処理（超解像処理）が行われた後の映像コンテンツを、映像配信サーバ１へ返信するための処理タスクのこと。）を起動する。そして、ユーザにより選択された映像コンテンツに係わる映像ID５１が、返送タスクに送出される（ステップS１３６）。なお、返送タスクは、図９に示したフローチャートにおけると同様に、既述の超解像情報アップロード部１７、及び超解像データ処理部１９の処理動作を実行する。
【００９４】
超解像情報アップロード部１７は、図４で示した映像補足情報４９を映像配信サーバ１に送信すべく、新規データ、即ち、上記映像補足情報４９をアップロードするための要求を、映像配信サーバ１に送信する(ステップS１３７)。映像配信サーバ１が上記アップロードの要求を受信すると、コンテンツ管理部６３が、超解像対応映像再生装置３から送信（アップロード）される、上記映像補足情報４９を保存装置６５に保存するためのタスクを起動する（ステップS１３８）。該タスクは超解像対応映像再生装置３からの上記映像補足情報４９を、保存装置６５へ保存するための保存処理部７５の処理動作を実行する。
【００９５】
次に、サーバコンテンツ取得部１３が、（映像配信サーバ１の）送出処理部７７からの映像情報（映像コンテンツ）のデータを取得するための処理動作を開始する（ステップS１３９、ステップS１４０）。サーバコンテンツ取得部１３が、映像配信サーバ１から取得した映像情報（映像コンテンツ）のデータに対し、（動画再生部１５の）デコード部２７が、復号化のための処理を行って該映像情報のデータの画像フレームを再現する(ステップS１４１)。次に、（超解像処理装置２９の）補足情報生成部３７が、動きベクトル（図３乃至図５で示した動きベクトル情報４５）を算出する(ステップS１４２)。ステップS１４２において上記動きベクトル（情報４５）が算出されると、高解像度画像生成部３９が、上記動きベクトル（情報４５）に基づき、デコード部２７において再現された画像フレームを高解像度画像に変換するための処理を行う(ステップS１４３)。そして、高解像度化された上記画像フレームが、出力処理部３１を通じてモニタ２１に表示出力される(ステップS１４７)。
【００９６】
図９においても説明したように、超解像対応映像再生装置３による映像配信サーバ１からの映像情報（映像コンテンツ）の取得は、該映像情報の部分である映像データを順次読み込むことにより行われ、全ての映像データが取得されるまでの間、上述したステップS１３９乃至ステップS１４３、及びステップS１４７で示した処理動作が繰り返される（ステップS１４８でNOの場合）。
【００９７】
ステップS１４２における補足情報生成部３７による動きベクトル算出のための処理動作と同時に、算出された動きベクトル（に係わる情報４５）、フレームID４３、及び補足情報４７が補足情報生成部３７において１つに纏められることでフレーム補足情報４１が生成される。そして、該フレーム補足情報４１が、補足情報生成部３７から（超解像データ処理部１９の）超解像データアーカイブ作成部３５に出力される。超解像データアーカイブ作成部３５は、該フレーム情報４１中の補足情報４７をチェックすることにより、再生状態が「早送り」になっている画像フレームを検索する。そして、該検索した画像フレームを省いた残りのデータ（即ち、図３乃至図５で夫々示したフレームID４３、及び動きベクトル情報４５）のみをアーカイブすることにより、（図４で示した）映像補足情報４９の一部を作成する（ステップS１４４）。
【００９８】
なお、ここでは、再生状態が「早送り」の画像フレームに係わるデータ（フレームID４３、及び動きベクトル情報４５）を省いた残りの画像フレームに係わるデータ（フレームID４３、及び動きベクトル情報４５）をアーカイブすることにより、上記映像補足情報４９の一部を作成することとした。しかし、上記映像補足情報４９に、該画像フレームの再生状態を示す情報を付加し（図６）、上記映像補足情報４９に対応する映像情報（映像コンテンツ）を、例えば、（図６で示したような）超解像部分対応映像再生装置５で再生するに際し、該超解像部分対応映像再生装置５が、上記付加された情報を参照することにより、「早送り」に該当する画像フレームについては、超解像処理を行わないようにしてもよい。
【００９９】
上述した映像補足情報４９の一部は、超解像データアーカイブ作成部３５から超解像情報アップロード部１７に出力され、超解像情報アップロード部１７から映像配信サーバ１へ送信される（ステップS１４５）。映像配信サーバ１が、超解像対応映像再生装置３からの上記映像補足情報４９の一部を受信すると、保存処理部７５は、該映像補足情報４９の一部を、保存装置６５に保存する(ステップS１４６)。上記処理動作は、映像配信サーバ１が、超解像対応映像再生装置３から送信されるべき映像補足情報４９の一部が全て送信されるまでの間、繰り返される(ステップS１４９)。
【０１００】
映像コンテンツが終了すると（ステップS１４８でYES）、サーバコンテンツ取得部１３が、超解像情報アップロード部１７に対し、映像情報（映像コンテンツ）の再生が終了した旨を通知する(ステップS１５０)。該通知を受けると、超解像情報アップロード部１７は、映像配信サーバ１に対し、（高解像度化された映像情報の）アップロードが終了した旨を通知する(ステップS１５１)。映像配信サーバ１が該アップロードの終了通知を受けると、コンテンツ管理部６３は、超解像対応映像再生装置３から受信した、上記映像補足情報４９の一部の保存を終了させるための処理を行う。即ち、これまでに保存装置６５に保存済みの映像補足情報４９の別の一部と併せることで、（図４で示したような）映像補足情報４９を生成することになる(ステップS１５２)。
【０１０１】
なお、図１１で示した処理流れでは、映像情報（映像コンテンツ）の一部、即ち、映像情報（映像コンテンツ）を構成する個々の画像フレームの幾つかを再生する毎に、それら再生した幾つかの画像フレームに係わる幾つかのフレーム補足情報４１を、映像補足情報４９の一部として纏めて映像配信サーバ１に送信している。しかし、映像情報（映像コンテンツ）の全部の再生が終了した後に、個々の画像フレームに対応するフレーム補足情報４１の全部を纏めて１つの映像補足情報４９として、映像配信サーバ１へ送信するようにしても差し支えない。
【０１０２】
また、図１１で示した処理流れでは、超解像対応映像再生装置３が、個々の画像フレームの再生状態を示す情報を、映像補足情報４９（の一部）の付加情報として、映像配信サーバ１へ送信している。しかし、再生状態を示す情報以外に、（超解像対応映像再生装置３に係わる）機器設定情報や、該機器（超解像対応映像再生装置３）の周辺環境に係わる情報や、該機器（超解像対応映像再生装置３）に対するユーザの利用状況に係わる情報等、該機器超解像対応映像再生装置３）固有の情報を付加情報として映像配信サーバ１へ送信することとしても差し支えない。
【０１０３】
更に、図１１で示した処理流れでは、超解像対応映像再生装置３における映像補足情報４９の作成に際して、個々の画像フレームの再生状態をチェックすることにより、アーカイブするフレーム補足情報４１を選択した。しかし、通信ネットワーク９の状況に応じて、連続する画像フレーム中から所定間隔で抽出した画像フレームに対応するフレーム補足情報４１をアーカイブするようにする等、必ずしも、全てのフレーム補足情報４１をアーカイブしなくても差し支えない。いずれにしても、個々の超解像対応映像再生装置３における固有の判断基準で、映像補足情報４９を生成して差し支えない。
【０１０４】
図１２は、超解像部分対応映像再生装置５が、映像配信サーバ１から配信される高解像度化された映像情報を再生するに際しての処理動作の別の例を示すフローチャートである。
【０１０５】
図１２で示すフローチャートでは、超解像部分対応映像再生装置５が、映像配信サーバ１に保存されている（図４で示したような）映像補足情報４９を利用して、映像配信サーバから配信される映像情報（映像コンテンツ）を受信し、再生を行う。図１２において、ステップS１６１乃至ステップS１６５で夫々示す処理動作は、図１０において、ステップS１１１乃至ステップS１１５で夫々示した処理動作と同様であるので、詳細な説明を省略する。
【０１０６】
図１２において、ステップS１１５で、ユーザがモニタ２１に提示される映像コンテンツの選択画面中から所望の映像情報（映像コンテンツ）を選択すると、サーバコンテンツ取得部１３は、該所望の映像情報（映像コンテンツ）に対応する映像補足情報４９が、映像配信サーバ１中に存在するかどうか検索する（ステップS１６６、ステップS１６７）。上記検索の結果、上記映像補足情報４９が映像配信サーバ１中に存在しないことが判明すれば（ステップS１６８でNO）、超解像処理ではなく、通常の再生処理が映像配信サーバ１から配信される映像情報（映像コンテンツ）に対して行われる（ステップS１６９）。
【０１０７】
一方、上記検索の結果、上記映像補足情報４９が映像配信サーバ１中に存在することが判明すれば（ステップS１６８でYES）、超解像処理が映像配信サーバ１から配信される映像情報（映像コンテンツ）に対して行われる。即ち、映像配信サーバ１が、（超解像処理が施される前の）映像情報（映像コンテンツ）の超解像部分対応映像再生装置５への配信を開始すると（ステップS１７０）、サーバコンテンツ取得部１３は、該映像情報（映像コンテンツ）を受信する（ステップS１７１）。次に、映像配信サーバ１が、超解像部分対応映像再生装置５へ、上述したような映像補足情報４９を配信すると（ステップS１７２）、サーバコンテンツ取得部１３は、該映像補足情報４９を受信する(ステップS１７３)。
【０１０８】
次に、デコード部２７が、該映像情報（映像コンテンツ）を復号化して画像フレームを再現し（ステップS１７４）、次に、高解像度画像生成部３９が、デコード部２７から出力された画像フレーム、及び映像補足情報４９に基づき、該画像フレームを高解像度化された画像フレームに変換するための処理を行う。このとき、復号化（再現）された各々の画像フレームと、各々のフレーム補足情報４１とは、フレームID４３により対応付けられる（ステップS１７５）。そして、上記高解像度化された後の画像フレームが、逐次出力処理部３１を通じてモニタ２１に表示出力される。なお、映像補足情報４９中に、対応するフレームID４３のフレーム補足情報４１が存在しない場合には、高解像度画像生成部３９は、該フレーム補足情報４１の存在しない画像フレームについては高解像化処理を行わない。
【０１０９】
その結果、ステップS１７４において再現された画像フレームをそのままの状態で出力処理部３１に出力され、出力処理部３１を通じてモニタ２１に表示出力されることになる（ステップS１７６）。上述したステップS１７１乃至ステップS１７６で示した処理動作は、該映像情報（映像コンテンツ）中の全部の画像フレームについて処理が行われるまで継続される（ステップS１７７）。一方、映像配信サーバ１からの超解像部分対応映像再生装置５への映像情報（映像コンテンツ）、及び映像捕捉情報４９の配信についても、該映像情報（映像コンテンツ）、及び該映像補足情報４９の全部が配信されるまでの間、継続される（ステップS１７８でYES）。
【０１１０】
以上、本発明の好適な実施形態を説明したが、これは本発明の説明のための例示であって、本発明の範囲をこの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
【図面の簡単な説明】
【０１１１】
【図１】本発明の一実施形態に係る情報処理システムの全体構成を示すブロック図。
【図２】図１に記載した超解像対応映像再生装置の内部構成の一例を示す機能ブロック図。
【図３】本発明の一実施形態に係る情報処理システムに適用されるフレーム補足情報の構成の一例を示す説明図。
【図４】本発明の一実施形態に係る情報処理システムに適用される映像補足情報の構成の一例を示す説明図。
【図５】本発明の一実施形態に係る情報処理システムに適用される映像補足情報の構成の別の一例を示す説明図。
【図６】図１に記載した超解像部分対応映像再生装置の内部構成の一例を示す機能ブロック図。
【図７】図１に記載した超解像非対応映像再生装置の内部構成の一例を示す機能ブロック図。
【図８】図１に記載した映像配信サーバの内部構成の一例を示す機能ブロック図。
【図９】映像情報からその高解像度画像を生成するに際しての、映像配信サーバ、及び超解像対応映像再生装置が行う処理動作の一例を示すフローチャート。
【図１０】超解像非対応映像再生装置が、映像配信サーバから配信される高解像度化された映像情報を再生するに際しての処理動作の一例を示すフローチャート。
【図１１】映像情報からその高解像度画像を生成するに際しての、映像配信サーバ、及び超解像対応映像再生装置が行う処理動作の別の例を示すフローチャート。
【図１２】超解像部分対応映像再生装置が、映像配信サーバから配信される高解像度化された映像情報を再生するに際しての処理動作の一例を示すフローチャート。
【符号の説明】
【０１１２】
１  映像配信サーバ
３  超解像対応映像再生装置
５  超解像部分対応映像再生装置
７  超解像非対応映像再生装置
９  通信ネットワーク
１１、６１  通信装置
１３  サーバコンテンツ取得部
１５、５５、５７  動画再生部
１７  超解像情報アップロード部
１９  超解像データ処理部
２１  モニタ
２３  入力部
２５  出力部
２７  デコード部
２９  超解像処理装置
３１  出力処理部
３３  MPEG化処理部
３５  超解像データアーカイブ作成部
３７  補足情報生成部
３９  高解像度画像生成部
６３  コンテンツ管理部
６５  保存装置
６７  レコード機能部
６９  放送受信装置
２１、７１  入力部
２３、７３  出力部
７５  保存処理部
７７  送出処理部
【図１】
2009253961.tif 000003
【図２】
2009253961.tif 000004
【図３】
2009253961.tif 000005
【図４】
2009253961.tif 000006
【図５】
2009253961.tif 000007
【図６】
2009253961.tif 000008
【図７】
2009253961.tif 000009
【図８】
2009253961.tif 000010
【図９】
2009253961.tif 000011
【図１０】
2009253961.tif 000012
【図１１】
2009253961.tif 000013
【図１２】
2009253961.tif 000014