(57)【要約】【課題】元の画像とはポインタの相対位置が異なる変換後の画像に対してポインタ操作を行った場合でも、好適に画像に対する操作を行うことができるようにする。【解決手段】画像再生手段２２０が再生するコンテンツに含まれる画像データと当該画像データとともに画像再生手段２２０に表示されるものであってコンテンツに対する各種処理操作をユーザに指示させるための操作画像データとを一体に取り込んで画像処理手段２４０が処理する表示画像データに対するポインタイベントが検知された場合、ポインタイベントの座標位置情報を変換して画像再生手段２２０に出力し、画像再生手段２２０は、当該ポインタイベントの座標位置が操作画像データ部分である場合に、当該操作画像データに関連付けられた処理を実行する。【選択図】        図２
2010160576.tif 000002
【特許請求の範囲】
【請求項１】
画像再生手段により符号化データを復号されて得られる動画像データと、当該動画像データとともに前記画像再生手段が出力する画像データであって前記動画像データに対する各種処理操作をユーザに提供するための操作画像データとを含む第１の表示画像データを、画像処理を施して第２の表示画像データとして表示可能に出力する画像処理手段と、
前記画像処理手段が出力する前記第２の表示画像データに対するポインタイベントを検知するイベント検知手段と、
前記ポインタイベントが検知された場合、該ポインタイベントに含まれる座標位置情報を変換する座標位置情報変換手段と、
該座標位置情報変換後の前記ポインタイベントを前記画像再生手段に出力するイベント出力手段と、
を備えることを特徴とする画像再生装置。
【請求項２】
前記座標位置情報変換手段は、前記第１の表示画像データ上のポインタの相対位置と、前記第２の表示画像データ上のポインタの相対位置との座標関係に基づき、前記ポインタイベントに含まれる座標位置情報を変換する、
ことを特徴とする請求項１記載の画像再生装置。
【請求項３】
前記イベント出力手段は、前記第２の表示画像データ上の座標位置情報を含む前記ポインタイベントを前記画像処理手段に出力し、
前記画像処理手段は、前記ポインタイベントが検知された前記第２の表示画像データ上の座標位置に応じた処理を実行する、
ことを特徴とする請求項１記載の画像再生装置。
【請求項４】
前記イベント出力手段は、前記ポインタイベントが検知された前記第２の表示画像データ上の座標位置が特定範囲内である場合には、前記イベントおよび当該イベントが検知された前記ポインタイベントを前記画像再生手段には出力せずに、前記画像処理手段に出力する、
ことを特徴とする請求項３記載の画像再生装置。
【請求項５】
前記画像処理手段は、前記第１の表示画像データの解像度を変換して、前記第２の表示画像データを生成する、
ことを特徴とする請求項４記載の画像再生装置。
【請求項６】
符号化データを動画像データに復号するとともに当該動画像データに対する各種操作機能をユーザに提供するための操作画像データを出力する画像再生手段と、
前記画像再生手段が出力する前記動画像データと前記操作画像データとを含む第１の表示画像データに画像処理を施して第２の表示画像データとして表示可能に出力する画像処理手段と、
前記画像処理手段が出力する前記第２の表示画像データに対するポインタイベントを検知するイベント検知手段と、
前記ポインタイベントが検知された場合、該ポインタイベントに含まれる座標位置情報を変換する座標位置情報変換手段と、
該座標位置情報変換後の前記ポインタイベントを前記画像再生手段に出力するイベント出力手段と、
を備え、
前記画像再生手段は、前記イベント出力手段から出力された前記ポインタイベントの前記第１の表示画像データ上の座標位置が前記操作画像データ上である場合に、当該操作画像データに関連付けられた処理を実行する、
ことを特徴とする画像処理装置。
【請求項７】
前記座標位置情報変換手段は、前記第１の表示画像データ上のポインタの相対位置と、前記第２の表示画像データ上のポインタの相対位置との座標関係に基づき、前記ポインタイベントに含まれる座標位置情報を変換する、
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記イベント出力手段は、前記第２の表示画像データ上の座標位置情報を含む前記ポインタイベントを前記画像処理手段に出力し、
前記画像処理手段は、前記ポインタイベントが検知された前記第２の表示画像データ上の座標位置に応じた処理を実行する、
ことを特徴とする請求項６記載の画像処理装置。
【請求項９】
前記イベント出力手段は、前記ポインタイベントが検知された前記第２の表示画像データ上の座標位置が特定範囲内である場合には、前記イベントおよび当該イベントが検知された前記ポインタイベントを前記画像再生手段には出力せずに、前記画像処理手段に出力する、
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記画像処理手段は、前記第１の表示画像データの解像度を変換して、前記第２の表示画像データを生成する、
ことを特徴とする請求項９記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置および画像処理装置に関する。
【背景技術】
【０００２】
近年、ブラウザを用いてインターネット上の動画配信サイトで公開される動画コンテンツ（ＡＶコンテンツ）を閲覧することが広く行われている（例えば、特許文献１参照）。
【０００３】
ブラウザで動画配信サイトのＷｅｂページを閲覧すると、ブラウザは、プラグインソフトウェアとして組み込まれている動画受信再生プログラムを起動する。ＡＶコンテンツの再生開始を指示する操作がユーザによって行われると、動画受信再生プログラムは、インターネットを介してそのＡＶコンテンツを動画配信サイトからダウンロードし、デコードしてビデオデータとオーディオデータとに分離する。動画受信再生プログラムは、この分離したビデオデータとオーディオデータとを、オペレーティングシステムに属するＤＬＬ（Dynamic  Link  Library）に出力する。このＤＬＬを仲介して、ビデオデータとオーディオデータとは、オペレーティングシステムのカーネル部に引き渡され、ディスプレイ出力やスピーカ出力等が行われることになる。
【０００４】
【特許文献１】特開２００７−２８０１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、最近では、上述したような手順を経て再生されるＡＶコンテンツを、より高画質な画像として鑑賞したいという要望が高まっている。かつ、既存のモジュールをそのまま活用しつつ実現させて欲しいという要望も強い。
【０００６】
しかしながら、上述したような手順を経て再生されるＡＶコンテンツをより高画質な画像として再生するような場合、動画受信再生プログラムによる動画像と高画質の動画像とを別ウインドウで見たいという要望がある。このような場合に、元の画像上にユーザがポインティングデバイスなどで操作すべき画像が含まれる場合であって、元の画像と変換後の画像とで画像上の相対座標が異なる場合（例えば、両方の画像の解像度が異なる場合）には、変換後の画像の或る位置でユーザがポインティングデバイスを操作しても、元の画像とは座標が異なるために、元の画像に対する操作が好適に行われないという可能性がある。
【０００７】
本発明は、上記に鑑みてなされたものであって、元の画像とはポインタの相対位置が異なる変換後の画像に対してポインタ操作を行った場合でも、好適に画像に対する操作を行うことができる画像再生装置および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明の画像再生装置は、画像再生手段により符号化データを復号されて得られる動画像データと、当該動画像データとともに前記画像再生手段が出力する画像データであって前記動画像データに対する各種処理操作をユーザに提供するための操作画像データとを含む第１の表示画像データを、画像処理を施して第２の表示画像データとして表示可能に出力する画像処理手段と、前記画像処理手段が出力する前記第２の表示画像データに対するポインタイベントを検知するイベント検知手段と、前記ポインタイベントが検知された場合、該ポインタイベントに含まれる座標位置情報を変換する座標位置情報変換手段と、該座標位置情報変換後の前記ポインタイベントを前記画像再生手段に出力するイベント出力手段と、を備える。
【０００９】
また、本発明の画像処理装置は、符号化データを動画像データに復号するとともに当該動画像データに対する各種操作機能をユーザに提供するための操作画像データを出力する画像再生手段と、前記画像再生手段が出力する前記動画像データと前記操作画像データとを含む第１の表示画像データに画像処理を施して第２の表示画像データとして表示可能に出力する画像処理手段と、前記画像処理手段が出力する前記第２の表示画像データに対するポインタイベントを検知するイベント検知手段と、前記ポインタイベントが検知された場合、該ポインタイベントに含まれる座標位置情報を変換する座標位置情報変換手段と、該座標位置情報変換後の前記ポインタイベントを前記画像再生手段に出力するイベント出力手段と、を備え、前記画像再生手段は、前記イベント出力手段から出力された前記ポインタイベントの前記第１の表示画像データ上の座標位置が前記操作画像データ上である場合に、当該操作画像データに関連付けられた処理を実行する。
【発明の効果】
【００１０】
本発明によれば、元の画像とはポインタの相対位置が異なる変換後の画像に対してポインタ操作を行った場合でも、好適に画像に対する操作を行うことができる、という効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この発明にかかる画像再生装置および画像処理装置の最良な実施の形態を詳細に説明する。
【００１２】
本発明の実施の一形態を図１ないし図１２に基づいて説明する。本実施の形態は画像処理装置としてノートブックタイプのパーソナルコンピュータ（ＰＣ）を適用した例である。
【００１３】
図１は、本発明の実施の一形態にかかるコンピュータ１の一利用形態を示す構成図である。本実施の形態においては、図１に示すように、動画配信サイト２が提供するＡＶコンテンツをインターネット３経由でダウンロードして鑑賞するために、コンピュータ１が利用される場合を想定する。
【００１４】
ここで、図２はコンピュータ１のハードウェア構成を示すブロック図である。コンピュータ１は、図２に示すように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、表示コントローラ１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、ＬＣＤ（Liquid  Crystal  Display）１５、サウスブリッジ１６、サウンドコントローラ１７、スピーカ１８、ＢＩＯＳ−ＲＯＭ１９、ＬＡＮコントローラ２０、ＨＤＤ（hard  disk  drive）２１、ＯＤＤ（optical  disc  drive）２２、無線ＬＡＮコントローラ２３、ＵＳＢコントローラ２４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２５、キーボード（ＫＢ）２６、例えばマウスであるポインティングデバイス２７等を備えている。
【００１５】
ＣＰＵＩＩは、コンピュータ１の動作を制御するプロセッサであり、ＨＤＤ２１やＯＤＤ２２から主メモリ１３にロードされるオペレーティングシステム（ＯＳ）や、このＯＳ配下で動作する各種アプリケーションプログラムを実行する。また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１９に格納されたＢＩＯＳ（Basic  Input/Output  System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１６】
ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、表示コントローラ１４との通信を実行する機能も有している。
【００１７】
表示コントローラ１４は、コンピュータ１のディスプレイモニタとして使用されるＬＣＤ１５を制御するデバイスである。この表示コントローラ１４によって表示信号が生成されてＬＣＤ１５に送られる。
【００１８】
サウスブリッジ１６は、ＰＣＩ（Peripheral  Component  Interconnect）バス上およびＬＰＣ（Low  Pin  Count）バス上の各デバイスを制御する。また、サウスブリッジ１６は、ＨＤＤ２１およびＯＤＤ２２を制御するためのＩＤＥ（Integrated  Drive  Electronics）コントローラおよびＢＩＯＳ−ＲＯＭ１９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ１６は、サウンドコントローラ１７およびＬＡＮコントローラ２０との通信を実行する機能も有している。
【００１９】
サウンドコントローラ１７は音源デバイスであり、再生対象のオーディオデータをスピーカ１８に出力する。
【００２０】
ＬＡＮコントローラ２０は、例えばEthernet（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ２３は、例えばＩＥＥＥ８０２．１１規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ２４は、例えばＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。
【００２１】
ＥＣ／ＫＢＣ２５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）２６およびポインティングデバイス２７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ２５は、ユーザの操作に応じてコンピュータ１をパワーオン／パワーオフする機能を有している。
【００２２】
以上のような構成をもつコンピュータ１は、ＨＤＤ２１から主メモリ１３にロードされてＣＰＵ１１によって実行されるプログラム群（ＯＳおよび各種アプリケーション）によって、図１に示した動画配信サイト２が提供するＡＶコンテンツをインターネット３経由でダウンロードして再生するように動作する。
【００２３】
より具体的には、ＬＡＮコントローラ２０、無線ＬＡＮコントローラ２３またはＵＳＢコントローラ２４による通信処理によってＡＶコンテンツを入力し、このＡＶコンテンツをＣＰＵ１１がデコードしてビデオデータとオーディオデータとに分離し、ビデオデータは表示コントローラ１４に供給してＬＣＤ１５から画像として出力し、オーディオデータはサウンドコントローラ１７に供給してスピーカ１８から音声として出力する。
【００２４】
次に、図３を参照して、前述した、図１に示した動画配信サイト２が提供するＡＶコンテンツをインターネット３経由でダウンロードして再生するようにコンピュータ１を動作させるためのプログラム群の概略構成を説明する。
【００２５】
図３に示すように、コンピュータ１には、ＯＳ１００、ブラウザ２１０、動画受信再生プログラム２２０、エフェクトエンジン２３０がインストールされている。また、動画受信再生プログラム２２０およびエフェクトエンジン２３０は、ブラウザ２１０にプラグインソフトウェアとして組み込まれている。
【００２６】
コンピュータ１のリソース管理を一元的に司るＯＳ１００は、カーネル部１０１とＤＬＬ部１０２とを備えている。カーネル部１０１は、図２に示したコンピュータ１の各部（ハードウェア）を駆動制御するモジュールであり、ＤＬＬ部１０２は、このカーネル部１０１との間のインタフェースを提供するモジュールである。このＤＬＬ部１０２に対して各種アプリケーションプログラムがカーネル部１０１への各種要求を発行する段階までの階層をユーザモード、それ以降、即ち、これらの要求をＤＬＬ部１０２がカーネル部１０１に伝達する段階からの階層をカーネルモードなどと称する。
【００２７】
ブラウザ２１０で動画配信サイト２のＷｅｂページを閲覧すると、このＷｅｂページ中のタグ情報によって、ブラウザ２１０は、同サイトが配信可能なＡＶコンテンツを有することを検知し、プラグインソフトウェアとして組み込まれている動画受信再生プログラム２２０を起動する。そして、Ｗｅｂページの閲覧中にＡＶコンテンツの再生開始を指示する操作がユーザによって行われると、動画受信再生プログラム２２０が、そのＡＶコンテンツのインターネット３を介した動画配信サイト２からのダウンロードを開始する。
【００２８】
動画受信再生プログラム２２０は、画像再生手段として機能するものであって、ＡＶコンテンツのダウンロードを行いながら、当該ＡＶコンテンツのデコードも並行して実行する。このデコードによって、動画受信再生プログラム２２０は、ＡＶコンテンツに含まれるビデオデータとオーディオデータとを分離して取り出す。動画受信再生プログラム２２０は、この取り出したビデオデータおよびオーディオデータを（ＬＣＤ１５による）画像出力および（スピーカ１８による）音声出力させるべくＯＳ１００のＤＬＬ部１０２に引き渡す（ａ１，ｂ１）。
【００２９】
通常、ＤＬＬ部１０２に渡されたビデオデータａ１およびオーディオデータｂ１は、このＤＬＬ部１０２内において、例えば形式チェック等の処理が施されてカーネル部１０１に供給され、カーネル部１０１によって、ＬＣＤ１５からの画像出力やスピーカ１８からの音声出力が行われることになる。
【００３０】
これに対して、コンピュータ１では、動画配信サイト２からダウンロードしたＡＶコンテンツを高画質で鑑賞したいというユーザの要望に応えるために、エフェクトエンジン２３０を搭載し、このエフェクトエンジン２３０に、高画質化のための補正をビデオデータａ１に対して実行させるようにした。以下、この点について詳述する。
【００３１】
エフェクトエンジン２３０は、ブラウザ２１０の起動に伴って起動される常駐型のプラグインソフトウェアとして組み込まれるプログラムであって画像再生装置として機能するものであり、図３に示すように、画像処理手段として機能する画像処理部２４０、エンジン起動部２３５および操作指示同期部２３６を有している。画像処理部２４０は、キャプチャ設定部２３１、タイムスタンプ部２３２、エフェクト部２３３、ＡＶ同期部２３４を備えている。
【００３２】
エンジン起動部２３５は、ユーザからエフェクトエンジン２３０における主処理の実行が指示されたことを判断した場合にのみ、画像処理部２４０、操作指示同期部２３６をそれぞれ起動させるためのモジュールである。
【００３３】
キャプチャ設定部２３１は、動画受信再生プログラム２２０がＤＬＬ部１０２に対して出力したビデオデータａ１およびオーディオデータｂ１を取得するために、ＤＬＬ部１０２内のルーチンの書き換えを行うモジュールである。このＤＬＬ部１０２内のルーチンの書き換え処理の一例については後述するが、簡単にいえば、動画受信再生プログラム２２０から受け取ったビデオデータａ１およびオーディオデータｂ１をエフェクトエンジン２３０のタイムスタンプ部２３２に引き渡すように書き換える（ａ２，ｂ２）。キャプチャ設定部２３１は、エフェクトエンジン２３０の起動時、ブラウザ２１０に対して、動画受信再生プログラム２２０を起動した際にその旨を通知するように依頼する。そして、この通知を受けた時に、キャプチャ設定部２３１は、このＤＬＬ部１０２内のルーチンの書き換えを実行する。
【００３４】
このキャプチャ設定部２３１の働きによって、ビデオデータａ２およびオーディオデータｂ２をＤＬＬ部１０２から受け取るタイムスタンプ部２３２は、その受け取ったタイミングを示す時間情報を各々に付与するモジュールである。時間情報は、時間的な判別が可能な値であれば、例えば、コンピュータ１のシステム時刻であっても良いし、エフェクトエンジン２３０の起動後にカウントアップが開始される計時データであっても良い。タイムスタンプ部２３２によって時間情報が付与されたビデオデータａ２およびオーディオデータｂ２は、エフェクト部２３３に導かれる。
【００３５】
エフェクト部２３３は、ビデオデータａ２に対して高画質化のための補正を施すモジュールである。なお、ここでは、エフェクト部２３３が、ビデオデータａ２に対してのみ補正を施す例を挙げるが、オーディオデータｂ２に対して高音質化のための補正を施すことは何ら制限されるものではなく、ビデオデータａ２およびオーディオデータｂ２のそれぞれに対して高画質化および高音質化のための補正を施すことは当然に可能であり、また、逆に、オーディオデータｂ２に対してのみ（高音質化のための）補正を施すようにすることも可能である。また、これらの高画質化や高画質化の処理は、ＣＰＵ１１上でソフトウェア処理により行っても良いし、図２には図示しない、ＣＰＵ１１とは別に設けられた専用のハードウェアチップ上で行うようにしても良い。
【００３６】
エフェクト部２３３は、入力される中解像度または低解像度フレームを、高解像度化するための画像処理（以下、「超解像度変換処理（鮮鋭化処理）」という）を施して、高解像度の動画データのフレーム（以下、「高解像度フレーム」という）を生成する。ここで、超解像度変換処理とは、第１解像度である低解像度や中解像度の画像信号（低解像度フレームや中解像度フレーム）から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の鮮鋭化映像信号（高解像度フレーム）を復元する鮮鋭化処理を意味する。ここで、本来の画素値とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）の画像信号の画素数を持つカメラで撮像したときに得られる画像信号の各画素が持つ値を指す。また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。
【００３７】
なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施の形態の超解像度変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。
【００３８】
例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。
【００３９】
また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。エフェクト部２３３は、このような処理を行うことにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。
【００４０】
また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。
【００４１】
ただし、エフェクト部２３３における超解像度変換処理（鮮鋭化処理）の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であれば、あらゆる手法を適用することができる。
【００４２】
エフェクト部２３３によって、少なくとも一方に対して補正が施されたビデオデータａ２およびオーディオデータｂ２（ここでは、ビデオデータａ２のみ）は、続いて、ＡＶ同期部２３４に導かれる。ＡＶ同期部２３４は、エフェクト部２３３から受け取ったビデオデータａ２およびオーディオデータｂ２を、タイムスタンプ部２３２によって付与された時間情報に基づき、補正に伴う遅延時間の差を吸収すべく、時間的に一致させてＤＬＬ部１０２に出力するモジュールである（ａ３，ｂ３）。この時間情報に基づくビデオデータａ２およびオーディオデータｂ２の出力についても後述する。
【００４３】
ＡＶ同期部２３４からＤＬＬ部１０２に出力されたビデオデータａ３およびオーディオデータｂ３は、ＤＬＬ部１０２を仲介してカーネル部１０１に渡され（ａ４，ｂ４）高画質化や高音質化が図られた画像出力および音声出力が行われることになる。
【００４４】
よって、既存の動画受信再生プログラム２２０をそのまま活用しつつ、ユーザは、動画配信サイト２からダウンロードしたＡＶコンテンツを高画質や高音質で鑑賞することが可能となる。
【００４５】
図４は、キャプチャ設定部２３１によるＤＬＬ部１０２内のルーチンの書き換え処理の一例を説明するための概念図である。
【００４６】
前述したように、動画受信再生プログラム２２０は、ＡＶコンテンツから分離して取り出したビデオデータおよびオーディオデータ（ＡＶデータ）を、ＯＳ１００のＤＬＬ部１０２に引き渡す。そこで、この動画受信再生プログラム２２０が起動した旨をブラウザ２１０から通知されるとともに、エンジン起動部２３５がユーザからエフェクトエンジン２３０における主処理の実行が指示されたことを判断して起動されたエフェクトエンジン２３０のキャプチャ設定部２３１は、入力したＡＶデータに対して例えば形式チェックなどの処理を施すＤＬＬ部１０２内のルーチン（図示の「本来の処理」部分）とは別にエフェクトエンジン２３０にＡＶデータを引き渡すための呼び出し手続き（図示の「コール」）がその先頭部に配置されたルーチンに書き換える。ＡＶデータの引き渡しは、補正対象のＡＶデータが格納されている主メモリ１３上のアドレス情報を伝達することによって行う。この書き換えを、キャプチャ設定部２３１が実行する。
【００４７】
図５は、ＡＶ同期部２３４による、タイムスタンプ部２３２によって付与された時間情報に基づいた、エフェクト部２３３によって補正されたビデオデータおよびオーディオデータの出力原理を説明するための概念図である。
【００４８】
図５中、（Ａ）は、動画受信再生プログラム２２０がＡＶコンテンツをダウンロードする様子を示すタイミングチャート、（Ｂ）は、動画受信再生プログラム２２０がダウンロードしたＡＶコンテンツをデコードして分離・取得したビデオデータおよびオーディオデータを出力する様子を示すタイミングチャート、（Ｃ）は、エフェクトエンジン２３０のエフェクト部２３３が補正後のビデオデータおよびオーディオデータを出力する様子を示すタイミングチャート、（Ｄ）は、エフェクトエンジン２３０のＡＶ同期部２３４がエフェクト部２３３から受け取ったビデオデータおよびオーディオデータをＤＬＬ部１０２に出力する様子を示すタイミングチャートである。
【００４９】
コンピュータ１と動画配信サイト２との間でインターネット３を介して実行されるデータ通信は、通信環境の変化の影響を受け得るので、動画受信再生プログラム２２０によるＡＶコンテンツ（Ｄ１，Ｄ２，・・・）のダウンロードは、図５（Ａ）に示すように、時間的に不規則となる可能性がある。これに対して、ＡＶコンテンツをデコードする動画受信再生プログラム２２０は、分離して取り出したビデオデータ（Ｖ１，Ｖ２，・・・）およびオーディオデ一タ（Ａ１，Ａ２，・・・）を、図５（Ｂ）に示すように、時間的な同期を取ってＯＳ１００のＤＬＬ部１０２に出力する機能を有している。よって、エフェクトエンジン２３０のタイムスタンプ部２３２は、ほぼ、この図５（Ｂ）に示すタイミングで、時間的な同期の取られたビデオデータおよびオーディオデータに同一の時間情報を付与することになる。
【００５０】
しかしながら、エフェクトエンジン２３０のエフェクト部２３３によって、ビデオデータに対する高画質化のための補正やオーディオデータに対する高音質化のための補正が実行されると、（補正の有無や内容の違いによって、）図５（Ｃ）に示すように、ビデオデータとオーディオデータとの間で時差が生じてしまう。そこで、エフェクトエンジン２３０のＡＶ同期部２３４は、タイムスタンプ部２３２によって付与された時間情報で特定される時点から例えばパラメータ入力される期間（ｘ）が経過したときに、ビデオデータおよびオーディオデータを出力することによって、図５（Ｄ）に示すように、当該ビデオデータおよびオーディオデータを再度時間的に一致させる。
【００５１】
この期間（ｘ）は、ユーザがＡＶコンテンツの再生開始を指示する操作を行った後、動画配信サイト２から動画受信再生プログラム２２０にＡＶコンテンツが転送され始めるまでの所要期間と比較して十分小さいので、ユーザに違和感を与えることはない。
【００５２】
このＡＶ同期部２３４が、補正に伴う遅延時間差の吸収機構を備えることで、エフェクト部２３３に、様々な補正手法を適用することが可能となる。例えば、高度な補正手法を適用する場合には、時間（ｘ）を大きい値とすれば良く、また、ビデオデータとオーディオデータとの関係を考慮することなく、補正の有無や補正手法を個別に決定することが可能となる。
【００５３】
以上の処理により、エンジン起動部２３５がユーザからエフェクトエンジン２３０における主処理の実行が指示されたことを判断した場合には、動画受信再生プログラム２２０によるＡＶコンテンツに含まれるビデオデータとオーディオデータとについての画像出力および音声出力と、エフェクトエンジン２３０で高画質化のための補正を施されたビデオデータとオーディオデータとについての画像出力および音声出力とが実行されることになる。この場合、本実施の形態においては、動画受信再生プログラム２２０によるＡＶコンテンツの再生が開始され、その後、エフェクトエンジン２３０によって動画受信再生プログラム２２０の出力画面に対して高画質化のための補正を施された動画像が、ＬＣＤ１５の全画面で再生される。その際、動画受信再生プログラム２２０によるＡＶコンテンツの再生ウインドウＷ１（図１０参照）は、バックグランド（エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２（図１０参照）の下に隠れている）で続けられている。
【００５４】
操作指示同期部２３６は、詳細は後述するが、動画受信再生プログラム２２０による動画像に対するユーザ操作と、エフェクトエンジン２３０で高画質化のための補正を施された動画像に対するユーザ操作との同期をとるモジュールである。
【００５５】
次に、エンジン起動部２３５におけるユーザからのエフェクトエンジン２３０における主処理の実行指示の判断処理について説明する。ここで、図６はエフェクトエンジン２３０における主処理の実行指示の判断処理の流れを示すフローチャートである。動画受信再生プログラム２２０によるＡＶコンテンツに含まれるビデオデータの画像（動画）がＬＣＤ１５に出力されている状態で（図７参照）、ポインティングデバイス２７のユーザ操作によりマウスポインタが動画上（再生ウィンドウＷ１上）に重なったこと（マウスオーバー）がＥＣ／ＫＢＣ２５、ＯＳ１００を介してエンジン起動部２３５に通知されると、エンジン起動部２３５はポインティングデバイス２７のマウスポインタが動画上にあると判断して（ステップＳ１のＹｅｓ）、エンジン起動部２３５はＯＳ１００を介して動画情報（動画サイズ、ＡＶコンテンツのダウンロード元のＵＲＬ（Uniform  Resource  Locator）、動画受信再生プログラム２２０のバージョンなど）を取得する（ステップＳ２）。なお、動画情報（動画サイズ、ＡＶコンテンツのダウンロード元のＵＲＬ（Uniform  Resource  Locator）、動画受信再生プログラム２２０のバージョンなど）を、動画受信再生プログラム２２０から直接取得するようにしても良い。
【００５６】
次いで、エンジン起動部２３５は、ステップＳ２で取得した動画情報に基づき、例えばエフェクトエンジン２３０のエフェクト部２３３による高画質化処理のサポート対象条件に合致する動画か否かを判断する（ステップＳ３）。動画情報として取得する動画サイズ、ＡＶコンテンツのダウンロード元のＵＲＬ、動画受信再生プログラム２２０のバージョンなどは、エフェクトエンジン２３０のエフェクト部２３３による高画質化処理に様々な影響を与える情報である。例えば、動画サイズが規定のサイズに一致しない場合には、高画質化処理が複雑になるため、規定サイズ以外のサイズの動画はエフェクト部２３３による高画質化処理をサポートしないようにしたものである。また、ＡＶコンテンツのダウンロード元のＵＲＬが予め定められた有害なサイトである場合には、当該サイトからダウンロードしたＡＶコンテンツは、エフェクト部２３３による高画質化処理をサポートしないようにしたものである。さらに、動画受信再生プログラム２２０のバージョンによっては、高画質化処理ルーチンが異なる可能性が考えられるため、規定のバージョン以外のバージョンの動画受信再生プログラム２２０による動画はエフェクト部２３３による高画質化処理をサポートしないようにしたものである。
【００５７】
エンジン起動部２３５は、エフェクト部２３３による高画質化処理のサポート対象条件に合致する動画であると判断した場合には（ステップＳ３のＹｅｓ）、ＯＳ１００や表示コントローラ１４を介して、図８に示すように高画質化処理の操作用のボタンＢをＬＣＤ１５に表示されている動画上に表示させる（ステップＳ４）。
【００５８】
図８に示す状態で動画上に表示されているボタンＢがポインティングデバイス２７のユーザ操作によりクリックされたことがＥＣ／ＫＢＣ２５、ＯＳ１００を介してエンジン起動部２３５に通知されると、エンジン起動部２３５はポインティングデバイス２７によりボタンＢがクリックされたことにより、ユーザからエフェクトエンジン２３０における主処理の実行が指示されたことを判断して（ステップＳ５のＹｅｓ）、キャプチャ設定部２３１、タイムスタンプ部２３２、エフェクト部２３３、ＡＶ同期部２３４、操作指示同期部２３６をそれぞれ起動させる（ステップＳ６）。
【００５９】
なお、エンジン起動部２３５は、エフェクト部２３３による高画質化処理のサポート対象条件に合致する動画でないと判断した場合は（ステップＳ３のＮｏ）、ステップＳ１に戻り、ポインティングデバイス２７のユーザ操作によるマウスオーバーに待機する。
【００６０】
また、ボタンＢがクリックされないまま数秒（例えば５秒）経過した場合には（ステップＳ７のＹｅｓ）、動画上に表示されている高画質化処理の操作用のボタンＢを非表示とし（ステップＳ８）、ステップＳ１に戻り、ポインティングデバイス２７のユーザ操作によるマウスオーバーに待機する。
【００６１】
これにより、ユーザはＡＶコンテンツがエフェクト部２３３による高画質化処理などのオプション機能処理のサポート対象条件に合致する動画であるか否かを考慮することなく、高画質化処理などのオプション機能処理をスマートに起動することができる。
【００６２】
次に、操作指示同期部２３６における動画受信再生プログラム２２０による動画像（ＡＶコンテンツに含まれる画像データ）に対するユーザ操作と、エフェクトエンジン２３０で高画質化のための補正を施された動画像（キャプチャ画像データ）に対するユーザ操作との同期をとる同期処理について説明する。
【００６３】
前述したように、本実施の形態においては、動画受信再生プログラム２２０によるＡＶコンテンツの再生が開始され、その後、動画受信再生プログラム２２０の出力画面に対して高画質化のための補正をエフェクトエンジン２３０によって施された動画像が、ＬＣＤ１５の全画面で再生される。その際、動画受信再生プログラム２２０によるＡＶコンテンツの再生ウインドウＷ１は、バックグランド（エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２の下に隠れている）で続けられている。
【００６４】
ここで問題となるのは、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２に対するユーザ操作を、バックグランド（エフェクトエンジン２３０によって高画質化された（例えば、高解像度化処理が施された）動画像が表示される全画面のウインドウＷ２の下に隠れている）で再生されている動画受信再生プログラム２２０による動画像に対してするのでは、必ずしも良い操作環境とは言えないという点である。
【００６５】
本実施形態では、エフェクトエンジン２３０内のエフェクト部２３３は、動画受信再生プログラム２２０で復号して得られる動画像データと、ユーザ操作用の操作画像データとを一体とした表示画像データに対して、高解像度化等の処理を施している。ここで、実際にユーザが見ている画像はエフェクトエンジン２３０が処理し、出力する画像であるので、ユーザは処理後の表示画像データに対して操作指示を行うこととなる。一方、実際に該操作に対する処理（例えば再生の停止／再開等）は、動画受信再生プログラム２２０が行う。そのために、エフェクトエンジン２３０上の画像に対してユーザがポインタを操作して得られたポインタイベントを動画像受信再生プログラム２２０に渡す必要がある。
【００６６】
ここで、元の表示画像データと、高解像度化処理を行った後の表示画像データとでは、解像度が異なることから、画像に対するポインタの相対位置（座標位置）は、両者間で異なることとなる。つまり、エフェクトエンジン２３０上でユーザがポインタを操作して得られたポインタイベント（座標位置情報を含む）をそのまま動画受信再生プログラム２２０に渡しても、ユーザが意図した座標位置の画像への操作となならないことになる。
【００６７】
そこで、本実施の形態においては、操作指示同期部２３６を備えることにより、操作指示同期部２３６が、動画受信再生プログラム２２０により再生されている動画像と違うウインドウ（エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２）に対するユーザの操作を受け付けると、ユーザのマウス操作（ポインタイベント）を解析すると共に、座標位置情報を変換し、動画受信再生プログラム２２０に対し適切なメッセージを送ることにより、動画受信再生プログラム２２０による動画像再生ウインドウＷ１上でのポインタイベントと同等の振る舞いを可能としたものである。
【００６８】
図９は、操作指示同期部２３６の機能構成を示すブロック図である。図９に示すように、操作指示同期部２３６は、エフェクトエンジン２３０のエフェクト部２３３が再生する高画質化された動画像が表示される全画面のウインドウＷ２に対するポインタイベントを検知するイベント検知手段であるイベント検知部２３６ａと、ポインタイベントが検知された場合、ポインタイベント（ポインタイベントの発生した座標位置の情報である座標位置情報を含む）を、動画受信再生プログラム２２０に転送（出力）するイベント出力手段であるイベント転送部２３６ｂと、エフェクトエンジン２３０のエフェクト部２３３が再生する高画質化（解像度が変換）された動画像が表示される全画面のウインドウＷ２と動画受信再生プログラム２２０による動画像再生ウインドウＷ１との座標系（画像に対するポインタの取るべき相対座標）が異なる場合に、イベントが検知された全画面のウインドウＷ２上の座標位置情報を動画像再生ウインドウＷ１上の座標位置情報に変換する座標位置情報変換手段である座標系変換部２３６ｃと、を備えている。
【００６９】
ここで、図１０は操作指示同期部２３６による同期処理の動作概要を示す模式図、図１１は操作指示同期部２３６による同期処理の流れを示すフローチャートである。なお、図１０に示すように、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２には動画受信再生プログラム２２０により実現されるＡＶコンテンツに対する各種処理操作をユーザに指示させるための操作指示部材であるプレーヤーの各種操作ボタンｂ１〜ｂ５（操作画像データ）もキャプチャされている。図１０に示すように、操作指示同期部２３６は、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２に表示されている操作ボタンｂ１〜ｂ５のいずれかに対するポインティングデバイス２７によるクリックやマウスオーバー、キーボード（ＫＢ）２６のキー操作によるイベントを検知すると（ステップＳ１１のＹｅｓ：イベント検知部２３６ａ）、ステップＳ１２に進む。
【００７０】
続いて操作指示同期部２３６は、ポインティングデバイス２７によるクリックやマウスオーバー、キーボード（ＫＢ）２６によるキー操作／ポインティング操作された全画面上における座標位置を取得し（ステップＳ１２）、取得した座標をキャプチャサイズに対応するように変換することにより、バックグランド（エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２の下に隠れている）で再生されている動画受信再生プログラム２２０が出力する表示画像データ上の座標系に変換し（ステップＳ１３：座標系変換部２３６ｃ）、取得されたポインタイベントの座標位置情報部分を変換した座標位置情報に置換したメッセージ（ポインタイベント）に変換して（ステップＳ１４）、ポインティングデバイス２７によるクリックやマウスオーバー、キーボード（ＫＢ）２６によるキー操作された全画面上における位置（取得した座標）が後述するようなエフェクトエンジン２３０が有している機能に対する指示を選択させるメニューＭ（図１２（ｂ）参照）上でない場合には（ステップＳ１５のＮｏ）、変換したメッセージを動画受信再生プログラム２２０に転送する（ステップＳ１６：イベント転送部２３６ｂ）。これにより、取得した全画面における座標位置が各種操作ボタンｂ１〜ｂ５上である場合には、動画受信再生プログラム２２０により実現されるプレーヤーの各種操作ボタンｂ１〜ｂ５に対する操作を実現することができる。
【００７１】
尚ここで、エフェクトエンジン２３０は、ポインタイベントを動画受信再生プログラム２２０に渡すのみならず、自身で処理しても良い。例えば、ポインティングデバイス２７を動かすイベントが発生した場合には、エフェクトエンジン２３５は、ウインドウＷ２の上部にメニューＭを動画像にオーバーレイされるように表示制御する。
【００７２】
なお、操作指示同期部２３６は、ポインティングデバイス２７によるクリックやマウスオーバー、キーボード（ＫＢ）２６によるキー操作された全画面上における位置（取得した座標）が、エフェクトエンジン２３０が有している機能に対する指示を選択させるメニューＭ（図１２（ｃ）参照）上の領域である場合には（ステップＳ１５のＹｅｓ）、キャプチャ設定部２３１のみにポインタイベントを渡して（ステップＳ１７）、エフェクトエンジン２３０に対する処理を実行させる。尚ここで、上述の通り全画面のウインドウＷ２上で「ポインティングデバイス２７を動かす」イベントが発生した場合には、場所（座標位置）は関係なくメニューＭが出現する（図１２（ｂ）（ｃ）参照）。その後、ポインティングデバイス２７が止まると、ポインティングデバイス２７のポインタ位置がメニューＭ上ではない限り、メニューＭは消滅する。また、メニューＭの選択肢をポインティングデバイス２７でクリックした場合には、メニューＭの選択肢に対応付けられたエフェクトエンジン２３０が有している機能が実行される。このとき動画受信再生プログラム２２０にはポインタイベントは出力しない。
【００７３】
このように、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２上におけるマウス操作領域によって、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のＷ２に対する処理と動画受信再生プログラム２２０により実現されるプレーヤーの各種操作ボタンｂ１〜ｂ５に対する操作処理とを異ならせることができる。
【００７４】
これにより、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２を操作した結果が動画受信再生プログラム２２０により実現されるプレーヤーの各種操作ボタンｂ１〜ｂ５に対する操作に反映され、この操作が反映された動画受信再生プログラム２２０による動画像がさらにエフェクトエンジン２３０のキャプチャ設定部２３１にキャプチャされ、結果として、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面の再生状態も変わる。したがって、ユーザは、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面のウインドウＷ２と動画受信再生プログラム２２０による動画像の再生ウインドウＷ１との位置関係を意識せず、エフェクトエンジン２３０によって高画質化された動画像が表示される全画面再生ウインドウＷ２を動画受信再生プログラム２２０のフル画面状態として認識し、操作することができる。
【００７５】
このように本実施の形態によれば、画像再生手段が再生するコンテンツに含まれる画像データと当該画像データとともに画像再生手段に表示されるものであってコンテンツに対する各種処理操作をユーザに指示させるための操作画像データとを一体に取り込んで画像処理手段が処理する表示画像データに対するポインタイベントが検知された場合、ポインタイベントの座標位置情報を変換して画像再生手段に出力し、画像再生手段は、当該ポインタイベントの座標位置が操作画像データ部分である場合に、当該操作画像データに関連付けられた処理を実行することにより、画像処理手段が再生する表示画像データを操作した結果が、画像再生手段が有している操作画像データに対する操作に反映され、この操作が反映された画像再生手段が再生する画像データがさらに画像処理手段によって取り込まれ、結果として、画像処理手段が出力する表示画像データの表示状態も変わるので、ユーザは、画像処理手段が表示する表示画像データと画像再生手段が再生する表示画像データとの位置関係を意識せず、画像再生手段が再生する画像データと画像処理手段が再生する表示画像データとを同時に操作することができる。
【００７６】
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施の一形態にかかるコンピュータの一利用形態を示す構成図である。
【図２】コンピュータのハードウェア構成を示すブロック図である。
【図３】コンピュータを動作させるためのプログラム群の概略構成を示すブロック図である。
【図４】キャプチャ設定部によるＤＬＬ部内のルーチンの書き換え処理の一例を説明するための概念図である。
【図５】ビデオデータおよびオーディオデータの出力原理を説明するための概念図である。
【図６】エフェクトエンジンにおける主処理の実行指示の判断処理の流れを示すフローチャートである。
【図７】動画受信再生プログラムによるＡＶコンテンツに含まれるビデオデータの画像（動画）が出力されている状態を示す正面図である。
【図８】高画質化処理の操作用のボタンが表示されている状態を示す正面図である。
【図９】操作指示同期部の機能構成を示すブロック図である。
【図１０】操作指示同期部による同期処理の動作概要を示す模式図である。
【図１１】操作指示同期部による同期処理の流れを示すフローチャートである。
【図１２】メニューが表示されている状態を示す正面図である。
【符号の説明】
【００７８】
１      画像処理装置
２２０      画像再生手段
２３０      画像再生装置
２３６ａ    イベント検知手段
２３６ｂ    イベント出力手段
２３６ｃ    座標位置情報変換手段
２４０      画像処理手段
ｂ１〜ｂ５  操作画像データ
【図１】
2010160576.tif 000003
【図２】
2010160576.tif 000004
【図３】
2010160576.tif 000005
【図４】
2010160576.tif 000006
【図５】
2010160576.tif 000007
【図６】
2010160576.tif 000008
【図７】
2010160576.tif 000009
【図８】
2010160576.tif 000010
【図９】
2010160576.tif 000011
【図１０】
2010160576.tif 000012
【図１１】
2010160576.tif 000013
【図１２】
2010160576.tif 000014