(57)【要約】【課題】動画像データに対する処理機能をユーザに提供することができる、情報処理装置、および再生装置を提供する。【解決手段】ＡＶコンテンツから分離したビデオデータに関する動画情報を取得し、取得した動画情報に基づき、ビデオデータが、オプション処理部２４０がオプション機能処理を実行するためのサポート対象条件に合致するか否かを判別し、ビデオデータがサポート対象条件に合致すると判別した場合、オプション処理部２４０を起動させることにより、エフェクト部２３３による高画質化処理などのオプション機能処理を実行可能なビデオデータであるか否かをユーザが考慮することなく、ビデオデータに対するオプション機能処理をユーザに提供することができる。【選択図】        図３
2010161498.tif 000002
【特許請求の範囲】
【請求項１】
符号化データを画像再生手段により復号されて得られる動画像データに対する処理を実行する処理手段と、
前記動画像データに関するデータ情報を取得する取得手段と、
取得した前記データ情報に基づき、前記動画像データが、前記処理手段が処理を実行するための処理条件に合致するか否かを判別する判別手段と、
前記動画像データが前記処理条件に合致すると判別した場合、前記処理手段を起動させる起動手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記起動手段は、前記動画像データが前記処理条件に合致すると判別した場合、前記処理手段を起動させるための操作画像を出力し、前記操作画像が操作されると、前記処理手段を起動することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記起動手段は、前記操作画像を前記動画像データにオーバーレイして出力し、前記操作画像出力開始後、操作されずに一定時間経過した場合、前記操作画像を非表示状態にすることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記取得手段は、前記画像再生手段により復号されて得られる動画像データに対するポインタ操作が行われると、前記データ情報を取得することを特徴とする請求項１から３のいずれか一に記載の情報処理装置。
【請求項５】
前記処理手段は、前記動画像データを高解像度化する画像処理を実行し、
前記判別手段は、少なくとも前記処理手段が処理可能な画像サイズの動画像データであるか否かを判別することを特徴とする請求項１から４のいずれか一に記載の情報処理装置。
【請求項６】
符号化データを動画像データに復号する画像再生手段と、
前記画像再生手段が復号する前記動画像データに対する処理を実行する処理手段と、
前記処理対象の前記動画像データに対する操作に応じて、前記動画像データに関するデータ情報を取得する取得手段と、
取得した前記データ情報に基づき、前記動画像データが、前記処理手段が前記動画像データに対して処理を実行するための処理条件に合致するか否かを判別する判別手段と、
前記動画像データが前記処理条件に合致すると判別した場合、前記処理手段を起動する起動手段と、
を備えたことを特徴とする再生装置。
【請求項７】
前記起動手段は、前記動画像データが前記処理条件に合致すると判別した場合、前記処理手段を起動させるための操作画像を出力し、前記操作画像が操作されると、前記処理手段を起動することを特徴とする請求項６に記載の再生装置。
【請求項８】
前記起動手段は、前記操作画像を前記動画像データにオーバーレイして出力し、前記操作画像出力開始後、操作されずに一定時間経過した場合、前記操作画像手段を非表示状態にすることを特徴とする請求項７に記載の再生装置。
【請求項９】
前記取得手段は、前記画像再生手段により復号されて得られる動画像データに対するポインタ操作が行われると、前記データ情報を取得することを特徴とする請求項６から８のいずれか一に記載の再生装置。
【請求項１０】
前記処理手段は、前記動画像データを高解像度化する画像処理を実行し、
前記判別手段は、少なくとも前記処理手段が処理可能な画像サイズの動画像データであるか否かを判別することを特徴とする請求項６から９のいずれか一に記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、および再生装置に関する。
【背景技術】
【０００２】
近年、ブラウザを用いてインターネット上の動画配信サイトで公開される動画コンテンツ（ＡＶコンテンツ）を閲覧することが広く行われている（例えば、特許文献１参照）。
【０００３】
ブラウザで動画配信サイトのＷｅｂページを閲覧すると、ブラウザは、プラグインソフトウェアとして組み込まれている動画受信再生プログラムを起動する。ＡＶコンテンツの再生開始を指示する操作がユーザによって行われると、動画受信再生プログラムは、インターネットを介してそのＡＶコンテンツを動画配信サイトからダウンロードし、デコードしてビデオデータとオーディオデータとに分離する。動画受信再生プログラムは、この分離したビデオデータとオーディオデータとを、オペレーティングシステムに属するＤＬＬ（Dynamic  Link  Library）に出力する。このＤＬＬを仲介して、ビデオデータとオーディオデータとは、オペレーティングシステムのカーネル部に引き渡され、ディスプレイ出力やスピーカ出力等が行われることになる。
【０００４】
【特許文献１】特開２００７−２８０１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、最近では、上述したような手順を経て再生されるＡＶコンテンツを、より高画質な画像として鑑賞したいという要望が高まっている。かつ、既存のモジュールをそのまま活用しつつ実現させて欲しいという要望も強い。
【０００６】
しかしながら、上述したような手順を経て再生されるＡＶコンテンツをより高画質な画像として再生するような場合、当該ＡＶコンテンツが高画質化処理などのオプション機能処理のサポート対象条件に合致する動画であるか否かをユーザが判断して高画質化処理などのオプション機能処理を実行することになる。このような判断は、ＡＶコンテンツの詳細な情報を知りえないユーザにとっては非常に困難なものであり、また、高画質化処理などのオプション機能処理のサポート対象条件に合致しないＡＶコンテンツを高画質化処理した場合には、結局、動画像表示ができないことになり、ユーザに無駄な時間をとらせるだけのものとなってしまう、という課題がある。
【０００７】
本発明は、上記に鑑みてなされたものであって、処理可能な動画像データであるか否かをユーザが考慮することなく、動画像データに対する処理機能をユーザに提供することができる、情報処理装置、および再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、符号化データを画像再生手段により復号されて得られる動画像データに対する処理を実行する処理手段と、前記動画像データに関するデータ情報を取得する取得手段と、取得した前記データ情報に基づき、前記動画像データが、前記処理手段が処理を実行するための処理条件に合致するか否かを判別する判別手段と、前記動画像データが前記処理条件に合致すると判別した場合、前記処理手段を起動させる起動手段と、を備えたことを特徴とする。
【０００９】
また、本発明は、符号化データを動画像データに復号する画像再生手段と、前記画像再生手段が復号する前記動画像データに対する処理を実行する処理手段と、前記処理対象の前記動画像データに対する操作に応じて、前記動画像データに関するデータ情報を取得する取得手段と、取得した前記データ情報に基づき、前記動画像データが、前記処理手段が前記動画像データに対して処理を実行するための処理条件に合致するか否かを判別する判別手段と、前記動画像データが前記処理条件に合致すると判別した場合、前記処理手段を起動する起動手段と、を備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、処理可能な動画像データであるか否かをユーザが考慮することなく、動画像データに対する処理機能をユーザに提供することができる、という効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この発明にかかる情報処理装置、および再生装置の実施の形態を詳細に説明する。
【００１２】
本発明の実施の一形態を図１ないし図１２に基づいて説明する。本実施の形態は情報処理装置／再生装置としてノートブックタイプのパーソナルコンピュータ（ＰＣ）を適用した例である。なお、以下の説明では、ＰＣをコンピュータと称する。
【００１３】
図１は、本発明の実施の一形態にかかるコンピュータ１の一利用形態を示す構成図である。本実施の形態においては、図１に示すように、動画配信サイト２が提供するＡＶコンテンツをインターネット３経由でダウンロードして鑑賞するために、コンピュータ１が利用される場合を想定する。
【００１４】
ここで、図２はコンピュータ１のハードウェア構成を示すブロック図である。コンピュータ１は、図２に示すように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、表示コントローラ１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、ＬＣＤ（Liquid  Crystal  Display）１５、サウスブリッジ１６、サウンドコントローラ１７、スピーカ１８、ＢＩＯＳ−ＲＯＭ１９、ＬＡＮコントローラ２０、ＨＤＤ（Hard  Disk  Drive）２１、ＯＤＤ（Optical  Disc  Drive）２２、無線ＬＡＮコントローラ２３、ＵＳＢコントローラ２４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２５、キーボード（ＫＢ）２６、例えばマウスであるポインティングデバイス２７等を備えている。
【００１５】
ＣＰＵ１１は、コンピュータ１の動作を制御するプロセッサであり、ＨＤＤ２１やＯＤＤ２２から主メモリ１３にロードされるオペレーティングシステム（ＯＳ）や、このＯＳ配下で動作する各種アプリケーションプログラムを実行する。また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１９に格納されたＢＩＯＳ（Basic  Input/Output  System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１６】
ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、表示コントローラ１４との通信を実行する機能も有している。
【００１７】
表示コントローラ１４は、コンピュータ１のディスプレイモニタとして使用されるＬＣＤ１５を制御するデバイスである。この表示コントローラ１４によって表示信号が生成されてＬＣＤ１５に送られる。
【００１８】
サウスブリッジ１６は、ＰＣＩ（Peripheral  Component  Interconnect）バス上およびＬＰＣ（Low  Pin  Count）バス上の各デバイスを制御する。また、サウスブリッジ１６は、ＨＤＤ２１およびＯＤＤ２２を制御するためのＩＤＥ（Integrated  Drive  Electronics）コントローラおよびＢＩＯＳ−ＲＯＭ１９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ１６は、サウンドコントローラ１７およびＬＡＮコントローラ２０との通信を実行する機能も有している。
【００１９】
サウンドコントローラ１７は音源デバイスであり、再生対象のオーディオデータをスピーカ１８に出力する。
【００２０】
ＬＡＮコントローラ２０は、例えばEthernet（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ２３は、例えばＩＥＥＥ８０２．１１規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ２４は、例えばＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。
【００２１】
ＥＣ／ＫＢＣ２５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）２６およびポインティングデバイス２７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ２５は、ユーザの操作に応じてコンピュータ１をパワーオン／パワーオフする機能を有している。
【００２２】
以上のような構成をもつコンピュータ１は、ＨＤＤ２１から主メモリ１３にロードされてＣＰＵ１１によって実行されるプログラム群（ＯＳおよび各種アプリケーション）によって、図１に示した動画配信サイト２が提供するＡＶコンテンツをインターネット３経由でダウンロードして再生するように動作する。
【００２３】
より具体的には、ＬＡＮコントローラ２０、無線ＬＡＮコントローラ２３またはＵＳＢコントローラ２４による通信処理によってＡＶコンテンツを入力し、このＡＶコンテンツをＣＰＵ１１がデコードしたコンテンツデータであるビデオデータとオーディオデータとに分離し、ビデオデータは表示コントローラ１４に供給してＬＣＤ１５から画像として出力し、オーディオデータはサウンドコントローラ１７に供給してスピーカ１８から音声として出力する。
【００２４】
次に、図３を参照して、前述した、図１に示した動画配信サイト２が提供するＡＶコンテンツをインターネット３経由でダウンロードして再生するようにコンピュータ１を動作させるためのプログラム群の概略構成を説明する。
【００２５】
図３に示すように、コンピュータ１には、ＯＳ１００、ブラウザ２１０、動画受信再生プログラム２２０、エフェクトエンジン２３０がインストールされている。また、動画受信再生プログラム２２０およびエフェクトエンジン２３０は、ブラウザ２１０にプラグインソフトウェアとして組み込まれている。
【００２６】
コンピュータ１のリソース管理を一元的に司るＯＳ１００は、カーネル部１０１とＤＬＬ部１０２とを備えている。カーネル部１０１は、図２に示したコンピュータ１の各部（ハードウェア）を駆動制御するモジュールであり、ＤＬＬ部１０２は、このカーネル部１０１との間のインタフェースを提供するモジュールである。このＤＬＬ部１０２に対して各種アプリケーションプログラムがカーネル部１０１への各種要求を発行する段階までの階層をユーザモード、それ以降、即ち、これらの要求をＤＬＬ部１０２がカーネル部１０１に伝達する段階からの階層をカーネルモードなどと称する。
【００２７】
ブラウザ２１０で動画配信サイト２のＷｅｂページを閲覧すると、このＷｅｂページ中のタグ情報によって、ブラウザ２１０は、同サイトが配信可能なＡＶコンテンツを有することを検知し、プラグインソフトウェアとして組み込まれている動画受信再生プログラム２２０を起動する。そして、Ｗｅｂページの閲覧中にＡＶコンテンツの再生開始を指示する操作がユーザによって行われると、動画受信再生プログラム２２０が、そのＡＶコンテンツのインターネット３を介した動画配信サイト２からのダウンロードを開始する。
【００２８】
動画受信再生プログラム２２０は、画像再生部として機能するものであって、符号化されたデータ（符号化データ）であるＡＶコンテンツのダウンロードを行いながら、当該ＡＶコンテンツからの動画像データ（ビデオデータ）／音声データ（オーディオデータ）のデコード（復号）も並行して実行する。このデコードによって、動画受信再生プログラム２２０は、ＡＶコンテンツからビデオデータとオーディオデータとを分離して取り出す。動画受信再生プログラム２２０は、この取り出したビデオデータおよびオーディオデータを（ＬＣＤ１５による）画像出力および（スピーカ１８による）音声出力させるべくＯＳ１００のＤＬＬ部１０２に出力する（ａ１，ｂ１）。
【００２９】
通常、ＤＬＬ部１０２に出力されたビデオデータａ１およびオーディオデータｂ１は、このＤＬＬ部１０２内において、例えば形式チェック等の処理が施されてカーネル部１０１に供給され、カーネル部１０１によって、ＬＣＤ１５からの画像出力やスピーカ１８からの音声出力が行われることになる。
【００３０】
これに対して、コンピュータ１では、動画配信サイト２からダウンロードしたＡＶコンテンツを高画質で鑑賞したいというユーザの要望に応えるために、エフェクトエンジン２３０を搭載し、このエフェクトエンジン２３０に、高画質化のための補正をビデオデータａ１に対して実行させるようにした。以下、この点について詳述する。
【００３１】
エフェクトエンジン２３０は、情報処理装置として機能するものであり、ブラウザ２１０の起動に伴って起動される常駐型のプラグインソフトウェアとして組み込まれるプログラムであり、図３に示すように、オプション処理部２４０およびエンジン起動部２３５を有している。オプション処理部２４０は、キャプチャ設定部２３１、タイムスタンプ部２３２、エフェクト部２３３、ＡＶ同期部２３４、および操作指示同期部２３６を備えている。
【００３２】
エンジン起動部２３５は、ユーザからエフェクトエンジン２３０における高画質化のための補正などの処理（以下、オプション機能処理とする）の実行が指示されたことを判断した場合に、オプション処理部２４０を起動させるためのモジュールである。
【００３３】
キャプチャ設定部２３１は、動画受信再生プログラム２２０がＤＬＬ部１０２に対して出力したビデオデータａ１およびオーディオデータｂ１を取得するために、ＤＬＬ部１０２内のルーチンの書き換えを行うモジュールである。このＤＬＬ部１０２内のルーチンの書き換え処理の一例については後述するが、簡単にいえば、動画受信再生プログラム２２０から受け取ったビデオデータａ１およびオーディオデータｂ１をエフェクトエンジン２３０のタイムスタンプ部２３２に引き渡すように書き換える（ａ２，ｂ２）。キャプチャ設定部２３１は、エフェクトエンジン２３０の起動時、ブラウザ２１０に対して、動画受信再生プログラム２２０を起動した際にその旨を通知するように依頼する。そして、この通知を受けた時に、キャプチャ設定部２３１は、このＤＬＬ部１０２内のルーチンの書き換えを実行する。
【００３４】
このキャプチャ設定部２３１の働きによって、ビデオデータａ２およびオーディオデータｂ２をＤＬＬ部１０２から受け取るタイムスタンプ部２３２は、その受け取ったタイミングを示す時間情報を各々に付与するモジュールである。時間情報は、時間的な判別が可能な値であれば、例えば、コンピュータ１のシステム時刻であっても良いし、エフェクトエンジン２３０の起動後にカウントアップが開始される計時データであっても良い。タイムスタンプ部２３２によって時間情報が付与されたビデオデータａ２およびオーディオデータｂ２は、エフェクト部２３３に導かれる。
【００３５】
エフェクト部２３３は、ＡＶコンテンツを動作受信再生プログラム２２０によりデコードされて得られるビデオデータａ２に対するオプション機能処理である高画質化のための補正処理を実行するモジュールである。なお、ここでは、エフェクト部２３３が、ビデオデータａ２に対してのみオプション機能処理を実行する例を挙げるが、オーディオデータｂ２に対してオプション機能処理である高音質化のための補正処理を実行することは何ら制限されるものではなく、ビデオデータａ２およびオーディオデータｂ２のそれぞれに対して高画質化および高音質化のための補正処理を実行することは当然に可能であり、また、逆に、オーディオデータｂ２に対してのみ（高音質化のための）補正処理を実行するようにすることも可能である。また、これらの高画質化や高音質化の処理は、ＣＰＵ１１上でソフトウェア処理により行っても良いし、図２には図示しないＣＰＵ１１とは別に設けられた専用のハードウェアチップ上で行うようにしても良い。
【００３６】
エフェクト部２３３は、入力される中解像度または低解像度フレームを、高解像度化するための画像処理（以下、「超解像度変換処理（鮮鋭化処理）」という）を実行して、高解像度の動画像データのフレーム（以下、「高解像度フレーム」という）を生成する。ここで、超解像度変換処理とは、第１解像度である低解像度や中解像度の画像信号（低解像度フレームや中解像度フレーム）から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の鮮鋭化映像信号（高解像度フレーム）を復元する鮮鋭化処理を意味する。ここで、本来の画素値とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）の画像信号の画素数を持つカメラで撮像したときに得られる画像信号の各画素が持つ値を指す。また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。
【００３７】
なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施の形態の超解像度変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。
【００３８】
例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。
【００３９】
また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。エフェクト部２３３は、このような処理を行うことにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。
【００４０】
また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。
【００４１】
ただし、エフェクト部２３３における超解像度変換処理（鮮鋭化処理）の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であれば、あらゆる手法を適用することができる。
【００４２】
以下、本実施の形態では、エフェクト部２３３は、超解像度変換処理だけでなく、フレーム補間（例えば、３０フレーム等の入力動画像からフレームを補間して６０フレームの出力動画像を作成する処理）や、画質改善処理（例えば、色補間／エッジ強調等）等の処理も合せて行うものとする。
【００４３】
エフェクト部２３３によって、少なくとも一方に対して補正が施されたビデオデータａ２およびオーディオデータｂ２（ここでは、ビデオデータａ２のみ）は、続いて、ＡＶ同期部２３４に導かれる。ＡＶ同期部２３４は、エフェクト部２３３から受け取ったビデオデータａ２およびオーディオデータｂ２を、タイムスタンプ部２３２によって付与された時間情報に基づき、補正に伴う遅延時間の差を吸収すべく、時間的に一致させてＤＬＬ部１０２に出力するモジュールである（ａ３，ｂ３）。この時間情報に基づくビデオデータａ２およびオーディオデータｂ２の出力についても後述する。
【００４４】
ＡＶ同期部２３４からＤＬＬ部１０２に出力されたビデオデータａ３およびオーディオデータｂ３は、ＤＬＬ部１０２を仲介してカーネル部１０１に渡され（ａ４，ｂ４）高画質化や高音質化が図られた画像出力および音声出力が行われることになる。
【００４５】
よって、既存の動画受信再生プログラム２２０をそのまま活用しつつ、ユーザは、動画配信サイト２からダウンロードしたＡＶコンテンツを高画質や高音質で鑑賞することが可能となる。
【００４６】
図４は、キャプチャ設定部２３１によるＤＬＬ部１０２内のルーチンの書き換え処理の一例を説明するための概念図である。
【００４７】
前述したように、動画受信再生プログラム２２０は、ＡＶコンテンツから分離して取り出したビデオデータおよびオーディオデータ（ＡＶデータ）を、ＯＳ１００のＤＬＬ部１０２に引き渡す。そこで、この動画受信再生プログラム２２０が起動した旨をブラウザ２１０から通知されるとともに、エンジン起動部２３５がユーザからエフェクトエンジン２３０におけるオプション機能処理の実行が指示されたことを判断して起動されたエフェクトエンジン２３０のキャプチャ設定部２３１は、入力したＡＶデータに対して例えば形式チェックなどの処理を施すＤＬＬ部１０２内のルーチン（図示の「本来の処理」部分）とは別にエフェクトエンジン２３０にデータを引き渡すための呼び出し手続き（図示の「コール」）がその先頭部に配置されたルーチンに書き換える。ＡＶデータの引き渡しは、補正対象のＡＶデータが格納されている主メモリ１３上のアドレス情報を伝達することによって行う。この書き換えを、キャプチャ設定部２３１が実行する。
【００４８】
図５は、ＡＶ同期部２３４による、タイムスタンプ部２３２によって付与された時間情報に基づいた、エフェクト部２３３によって補正されたビデオデータおよびオーディオデータの出力原理を説明するための概念図である。
【００４９】
図５中、（Ａ）は、動画受信再生プログラム２２０がＡＶコンテンツをダウンロードする様子を示すタイミングチャート、（Ｂ）は、動画受信再生プログラム２２０がダウンロードしたＡＶコンテンツをデコードして分離・取得したビデオデータおよびオーディオデータを出力する様子を示すタイミングチャート、（Ｃ）は、エフェクトエンジン２３０のエフェクト部２３３が補正後のビデオデータおよびオーディオデータを出力する様子を示すタイミングチャート、（Ｄ）は、エフェクトエンジン２３０のＡＶ同期部２３４がエフェクト部２３３から受け取ったビデオデータおよびオーディオデータをＤＬＬ部１０２に出力する様子を示すタイミングチャートである。
【００５０】
コンピュータ１と動画配信サイト２との間でインターネット３を介して実行されるデータ通信は、通信環境の変化の影響を受け得るので、動画受信再生プログラム２２０によるＡＶコンテンツ（Ｄ１，Ｄ２，・・・）のダウンロードは、図５（Ａ）に示すように、時間的に不規則となる可能性がある。これに対して、ＡＶコンテンツをデコードする動画受信再生プログラム２２０は、分離して取り出したビデオデータ（Ｖ１，Ｖ２，・・・）およびオーディオデ一タ（Ａ１，Ａ２，・・・）を、図５（Ｂ）に示すように、時間的な同期を取ってＯＳ１００のＤＬＬ部１０２に出力する機能を有している。よって、エフェクトエンジン２３０のタイムスタンプ部２３２は、ほぼ、この図５（Ｂ）に示すタイミングで、時間的な同期の取られたビデオデータおよびオーディオデータに同一の時間情報を付与することになる。
【００５１】
しかしながら、エフェクトエンジン２３０のエフェクト部２３３によって、ビデオデータに対する高画質化のための補正やオーディオデータに対する高音質化のための補正が実行されると、（補正の有無や内容の違いによって、）図５（Ｃ）に示すように、ビデオデータとオーディオデータとの間で時差が生じてしまう。そこで、エフェクトエンジン２３０のＡＶ同期部２３４は、タイムスタンプ部２３２によって付与された時間情報で特定される時点から例えばパラメータ入力される期間（ｘ）が経過したときに、ビデオデータおよびオーディオデータを出力することによって、図５（Ｄ）に示すように、当該ビデオデータおよびオーディオデータを再度時間的に一致させる。
【００５２】
この期間（ｘ）は、ユーザがＡＶコンテンツの再生開始を指示する操作を行った後、動画配信サイト２から動画受信再生プログラム２２０にＡＶコンテンツが転送され始めるまでの所要期間と比較して十分小さいので、ユーザに違和感を与えることはない。
【００５３】
このＡＶ同期部２３４が、補正に伴う遅延時間差の吸収機構を備えることで、エフェクト部２３３に、様々な補正手法を適用することが可能となる。例えば、高度な補正手法を適用する場合には、時間（ｘ）を大きい値とすれば良く、また、ビデオデータとオーディオデータとの関係を考慮することなく、補正の有無や補正手法を個別に決定することが可能となる。
【００５４】
以上の処理により、エンジン起動部２３５がユーザからエフェクトエンジン２３０におけるオプション機能処理の実行が指示されたことを判断した場合には、動画受信再生プログラム２２０によるＡＶコンテンツに含まれるビデオデータとオーディオデータとについての画像出力および音声出力と、エフェクトエンジン２３０で高画質化のための補正を施されたビデオデータとオーディオデータとについての画像出力および音声出力とが実行されることになる。この場合、本実施の形態においては、動画受信再生プログラム２２０によるＡＶコンテンツの再生が開始され、その後、エフェクトエンジン２３０によって動画受信再生プログラム２２０の出力画面に対して高画質化のための補正を施された動画が、ＬＣＤ１５の全画面で再生される。その際、動画受信再生プログラム２２０によるＡＶコンテンツの再生ウインドウＷ１（図１０参照）は、バックグランド（エフェクトエンジン２３０によって高画質化された動画が表示される全画面のウインドウＷ２（図１０参照）の下に隠れている）で続けられている。
【００５５】
なお、ここで、再生ウインドウＷ１とは、ブラウザウィンドウの一部として表示される領域であって、動画受信再生プログラム２２０が表示制御に関わる領域（動画像データの再生エリアのみならず、再生／停止ボタンやシークバー等の動画像データの再生制御のための操作用の画像がある場合にはそのエリアも含む）を意味するものとする。
【００５６】
操作指示同期部２３６は、詳細は後述するが、動画受信再生プログラム２２０による動画に対するユーザ操作と、エフェクトエンジン２３０で高画質化のための補正を施された動画に対するユーザ操作との同期をとるモジュールである。
【００５７】
図６は、エンジン起動部２３５の機能構成を示すブロック図である。図６に示すように、エンジン起動部２３５は、ビデオデータに関するデータ情報である動画情報を取得する取得部２３５ａと、取得した動画情報に基づき、ビデオデータが、オプション処理部２４０がオプション機能処理を実行するための処理条件であるサポート対象条件に合致するか否かを判別する判別部２３５ｂと、ビデオデータがサポート対象条件に合致すると判別した場合、オプション処理部２４０を起動する起動部２３５ｃと、を備えている。
【００５８】
次に、エンジン起動部２３５におけるユーザからのエフェクトエンジン２３０におけるオプション機能処理の実行指示の判断処理について説明する。ここで、図７はエンジン起動部２３５におけるオプション機能処理の実行指示の判断処理の流れを示すフローチャートである。動画受信再生プログラム２２０によるＡＶコンテンツに含まれるビデオデータ（動画像データ）がＬＣＤ１５に出力されている状態で（図８参照）、当該ビデオデータに対するポインタ操作であってポインティングデバイス２７のユーザ操作によりマウスポインタが動画上（再生ウインドウＷ１上）に重なったこと（マウスオーバー）がＥＣ／ＫＢＣ２５、ＯＳ１００を介してエンジン起動部２３５に通知されると、取得部２３５ａはポインティングデバイス２７のマウスポインタが動画上にあると判断して（ステップＳ１のＹｅｓ）、ＯＳ１００を介してビデオデータに関する動画情報（動画サイズ、ＡＶコンテンツのダウンロード元のＵＲＬ（Uniform  Resource  Locator）、動画受信再生プログラム２２０のバージョンなど）を取得する（ステップＳ２）。なお、動画情報（動画サイズ、ＡＶコンテンツのダウンロード元のＵＲＬ（Uniform  Resource  Locator）、動画受信再生プログラム２２０のバージョンなど）を、動画受信再生プログラム２２０から直接取得するようにしても良い。
【００５９】
次いで、判別部２３５ｂは、ステップＳ２で取得した動画情報に基づき、ビデオデータが、オプション処理部２４０のエフェクト部２３３がビデオデータに対して高画質化処理を実行するためのサポート対象条件に合致するか否かを判別する（ステップＳ３）。動画情報として取得する動画サイズ、ＡＶコンテンツのダウンロード元のＵＲＬ、動画受信再生プログラム２２０のバージョンなどは、オプション処理部２４０のエフェクト部２３３による高画質化処理に様々な影響を与える情報である。例えば、判別部２３５ｂは、少なくともエフェクト部２３３が高画質化処理を実行可能な画像サイズの動画像データであるか否かを判別する。そして、画像サイズが規定のサイズに一致しない場合には、高画質化処理が複雑になるため、規定サイズ以外のサイズの動画はエフェクト部２３３による高画質化処理をサポートしないようにしたものである。また、ＡＶコンテンツのダウンロード元のＵＲＬが予め定められた有害なサイトである場合には、当該サイトからダウンロードしたＡＶコンテンツは、エフェクト部２３３による高画質化処理をサポートしないようにしたものである。さらに、動画受信再生プログラム２２０のバージョンによっては、高画質化処理ルーチンが異なる可能性が考えられるため、規定のバージョン以外のバージョンの動画受信再生プログラム２２０による動画はエフェクト部２３３による高画質化処理をサポートしないようにしたものである。
【００６０】
起動部２３５ｃは、エフェクト部２３３による高画質化処理のサポート対象条件に合致すると判別した場合には（ステップＳ３のＹｅｓ）、ＯＳ１００や表示コントローラ１４を介して、図９に示すようにオプション処理部２４０を起動させるための操作画像データである操作用のボタン（アイコン）ＢをＬＣＤ１５に表示されている動画上にオーバーレイして表示／出力させる（ステップＳ４）。
【００６１】
図９に示す状態で動画上に表示されているボタンＢがポインティングデバイス２７のユーザ操作によりクリックされたことがＥＣ／ＫＢＣ２５、ＯＳ１００を介して起動部２３５ｃに通知されると、起動部２３５ｃはポインティングデバイス２７によりボタンＢがクリック（操作）されたことにより、ユーザからオプション処理部２４０におけるオプション機能処理の実行が指示されたことを判断して（ステップＳ５のＹｅｓ）、オプション処理部２４０を起動させる（ステップＳ６）。
【００６２】
なお、起動部２３５ｃは、エフェクト部２３３による高画質化処理のサポート対象条件に合致しないと判別した場合は（ステップＳ３のＮｏ）、ステップＳ１に戻り、ポインティングデバイス２７のユーザ操作によるマウスオーバーに待機する。
【００６３】
また、ボタンＢをＬＣＤ１５に表示されている動画上にオーバーレイして出力し、ボタンＢの出力開始後、ボタンＢがクリックされないまま一定時間（例えば、数秒）経過した場合には（ステップＳ７のＹｅｓ）、起動部２３５ｃは、動画上に表示されている高画質化処理の操作用のボタンＢを非表示状態とし（ステップＳ８）、ステップＳ１に戻り、ポインティングデバイス２７のユーザ操作によるマウスオーバーに待機する。
【００６４】
なお、本実施の形態では、起動部２３５ｃは、ステップＳ４からステップＳ８に示す処理を経てオプション処理部２４０を起動させているが、オプション処理部２４０を起動させるための処理であれば、これに限定するものではない。例えば、起動部２３５ｃは、エフェクト部２３３による高画質化処理のサポート対象条件に合致すると判別した場合（ステップＳ３のＹｅｓ）、直ちに、オプション処理部２４０を起動させても良い。
【００６５】
これにより、ユーザはＡＶコンテンツから復号して得られたＡＶデータがエフェクト部２３３による高画質化処理などのオプション機能処理のサポート対象条件に合致するか否かを考慮することなく、高画質化処理などのオプション機能処理をスマートに起動することができる。また、ＬＣＤ１５に出力されている動画上にマウスポインタが重なった際に、操作用のボタンＢをＬＣＤ１５に表示することにより、ユーザが動画を視聴している最中にボタンＢが表示されないようにし、かつユーザが意識せずにマウスポインタを操作してボタンＢが表示された場合や動画が表示された画面からの操作にユーザが慣れていない場合であっても、ボタンＢがＬＣＤ１５に出力される動画に対する何らかの機能を起動させるものであることを分かり易くすることができる。
【００６６】
次に、操作指示同期部２３６における動画受信再生プログラム２２０による動画像（ＡＶコンテンツに含まれる画像データ）に対するユーザ操作と、エフェクトエンジン２３０で高画質化のための補正を施された動画像（キャプチャ画像データ）に対するユーザ操作との同期をとる同期処理について説明する。
【００６７】
前述したように、本実施の形態においては、動画受信再生プログラム２２０によるＡＶコンテンツの再生が開始され、その後、動画受信再生プログラム２２０の出力画面に対して高画質化のための補正をエフェクトエンジン２３０によって施された動画像が、ＬＣＤ１５の全画面で再生される。その際、動画受信再生プログラム２２０によるＡＶコンテンツの再生ウインドウＷ１は、バックグランド（エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２の下に隠れている）で続けられている。
【００６８】
ここで問題となるのは、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２に対するユーザ操作を、バックグランド（エフェクトエンジン２３０によって高画質化された（例えば、高解像度化処理が施された）動画像が表示される全画面のウインドウＷ２の下に隠れている）で再生されている動画受信再生プログラム２２０による動画像に対してするのでは、必ずしも良い操作環境とは言えないという点である。
【００６９】
本実施の形態では、エフェクトエンジン２３０内のエフェクト部２３３は、動画受信再生プログラム２２０で復号して得られる動画像データと、ユーザ操作用の操作画像データとを一体とした表示画像データに対して、高解像度化等の処理を施している。ここで、実際にユーザが見ている画像はエフェクトエンジン２３０が処理し、出力する画像であるので、ユーザは処理後の表示画像データに対して操作指示を行うこととなる。一方、実際に該操作に対する処理（例えば、再生の停止／再開等）は、動画受信再生プログラム２２０が行う。そのために、エフェクトエンジン２３０上の画像に対してユーザがポインタを操作して得られたポインタイベントを動画受信再生プログラム２２０に渡す必要がある。
【００７０】
ここで、元の表示画像データと、高解像度処理を行った後の表示画像データとでは、解像度が異なることから、画像に対するポインタの相対位置（座標位置）は、両者間で異なることとなる。つまり、エフェクトエンジン２３０上でユーザがポインタを操作して得られたポインタイベント（座標位置情報を含む）をそのまま動画受信再生プログラム２２０に渡しても、ユーザが意図した座標位置の画像への操作とはならないことになる。
【００７１】
そこで、本実施の形態においては、操作指示同期部２３６を備えることにより、操作指示同期部２３６が、動画受信再生プログラム２２０により再生されている動画像と違うウインドウ（エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２）に対するユーザの操作を受け付けると、ユーザのマウス操作（ポインタイベント）を解析すると共に、座標位置情報を変換し、動画受信再生プログラム２２０に対し適切なメッセージを送ることにより、動画受信再生プログラム２２０による動画像再生ウインドウＷ１上でのポインタイベントと同等の振る舞いを可能としたものである。
【００７２】
ここで、図１０は操作指示同期部２３６による同期処理の動作概要を示す模式図、図１１は操作指示同期部２３６による同期処理の流れを示すフローチャートである。なお、図１０に示すように、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２には動画受信再生プログラム２２０により実現されるＡＶコンテンツに対する各種処理操作をユーザに指示させるための操作指示部材であるプレーヤーの各種操作ボタンｂ１〜ｂ５（操作画像データ）もキャプチャされている。図１０に示すように、操作指示同期部２３６は、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２に表示されている操作ボタンｂ１〜ｂ５のいずれかに対するポインティングデバイス２７によるクリックやマウスオーバー、キーボード（ＫＢ）２６のキー操作によるイベントを検知すると（ステップＳ１１のＹｅｓ）、ステップＳ１２に進む。
【００７３】
続いて操作指示同期部２３６は、ポインティングデバイス２７によるクリックやマウスオーバー、キーボード（ＫＢ）２６によるキー操作／ポインティング操作された全画面上における座標位置を取得し（ステップＳ１２）、取得した座標をキャプチャサイズに対応するように変換することにより、バックグランド（エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２の下に隠れている）で再生されている動画受信再生プログラム２２０が出力する表示画像データ上の座標系に変換し（ステップＳ１３）、取得されたポインタイベントの座標位置情報部分を変換した座標位置情報に置換したメッセージ（ポインタイベント）に変換して（ステップＳ１４）、ポインティングデバイス２７によるクリックやマウスオーバー、キーボード（ＫＢ）２６によるキー操作された全画面上における位置（取得した座標）が後述するようなエフェクトエンジン２３０が有している機能に対する指示を選択させるメニューＭ（図１２（ｂ）参照）上でない場合には（ステップＳ１５のＮｏ）、変換したメッセージを動画受信再生プログラム２２０に転送する（ステップＳ１６）。これにより、取得した全画面における座標位置が各種操作ボタンｂ１〜ｂ５上である場合には、動画受信再生プログラム２２０により実現されるプレーヤーの各種操作ボタンｂ１〜ｂ５に対する操作を実現することができる。
【００７４】
尚、ここで、エフェクトエンジン２３０は、ポインタイベントを動画受信再生プログラム２２０に渡すのみならず、自身で処理しても良い。例えば、ポインティングデバイス２７を動かすイベントが発生した場合には、エフェクトエンジン２３５は、ウインドウＷ２の上部にメニューＭを動画像にオーバーレイされるように表示制御する。
【００７５】
なお、操作指示同期部２３６は、ポインティングデバイス２７によるクリックやマウスオーバー、キーボード（ＫＢ）２６によるキー操作された全画面上における位置（取得した座標）が、エフェクトエンジン２３０が有している機能に対する指示を選択させるメニューＭ（図１２（ｃ）参照）上の領域である場合には（ステップＳ１５のＹｅｓ）、キャプチャ設定部２３１のみにポインタイベントを渡して（ステップＳ１７）、エフェクトエンジン２３０に対する処理を実行させる。尚、ここで、上述の通り全画面のウインドウＷ２上で「ポインティングデバイス２７を動かす」イベントが発生した場合には、場所（座標位置）は関係なくメニューＭが出現する（図１２（ｂ）（ｃ）参照）。その後、ポインティングデバイス２７が止まると、ポインティングデバイス２７のポインタ位置がメニューＭ上ではない限り、メニューＭは消滅する。また、メニューＭの選択肢をポインティングデバイス２７でクリックした場合には、メニューＭの選択肢に対応付けられたエフェクトエンジン２３０が有している機能が実行される。このとき、動画受信再生プログラム２２０にはポインタイベントは出力しない。
【００７６】
このように、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２上におけるマウス操作領域によって、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のＷ２に対する処理と動画受信再生プログラム２２０により実現されるプレーヤーの各種操作ボタンｂ１〜ｂ５に対する操作処理とを異ならせることができる。
【００７７】
これにより、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２を操作した結果が動画受信再生プログラム２２０により実現されるプレーヤーの各種操作ボタンｂ１〜ｂ５に対する操作に反映され、この操作が反映された動画受信再生プログラム２２０による動画像がさらにエフェクトエンジン２３０のキャプチャ設定部２３１にキャプチャされ、結果として、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面の再生状態も変わる。したがって、ユーザは、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２と動画受信再生プログラム２２０による動画像の再生ウインドウＷ１との位置関係を意識せず、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面再生ウインドウＷ２を動画受信再生プログラム２２０のフル画面状態として認識し、操作することができる。
【００７８】
このように本実施の形態によれば、ＡＶコンテンツがオプション処理部２４０のエフェクト部２３３による高画質化処理などのオプション機能処理のサポート対象条件に合致する場合にのみ、高画質化処理などのオプション機能処理を施すオプション処理部２４０のエフェクト部２３３を起動させることができるので、ユーザはＡＶコンテンツがオプション処理部２４０のエフェクト部２３３の高画質化処理などのオプション機能処理のサポート対象条件に合致する動画であるか否かを考慮することなく、高画質化処理などのオプション機能処理をスマートに起動することができる。
【００７９】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の一形態にかかるコンピュータの一利用形態を示す構成図である。
【図２】コンピュータのハードウェア構成を示すブロック図である。
【図３】コンピュータを動作させるためのプログラム群の概略構成を示すブロック図である。
【図４】キャプチャ設定部によるＤＬＬ部内のルーチンの書き換え処理の一例を説明するための概念図である。
【図５】ビデオデータおよびオーディオデータの出力原理を説明するための概念図である。
【図６】エンジン起動部の機能構成を示すブロック図である。
【図７】エンジン起動部におけるオプション機能処理の実行指示の判断処理の流れを示すフローチャートである。
【図８】動画受信再生プログラムによるＡＶコンテンツに含まれるビデオデータの画像（動画）が出力されている状態を示す正面図である。
【図９】高画質化処理の操作用のボタンが表示されている状態を示す正面図である。
【図１０】操作指示同期部による同期処理の動作概要を示す模式図である。
【図１１】操作指示同期部による同期処理の流れを示すフローチャートである。
【図１２】メニューが表示されている状態を示す正面図である。
【符号の説明】
【００８１】
１      コンピュータ
２２０      動画受信再生プログラム
２３０      エフェクトエンジン
２３５      エンジン起動部
２３５ａ    取得部
２３５ｂ    判別部
２３５ｃ    起動部
２４０      オプション処理部
【図１】
2010161498.tif 000003
【図２】
2010161498.tif 000004
【図３】
2010161498.tif 000005
【図４】
2010161498.tif 000006
【図５】
2010161498.tif 000007
【図６】
2010161498.tif 000008
【図７】
2010161498.tif 000009
【図８】
2010161498.tif 000010
【図９】
2010161498.tif 000011
【図１０】
2010161498.tif 000012
【図１１】
2010161498.tif 000013
【図１２】
2010161498.tif 000014