(57)【特許請求の範囲】
【請求項１】
動画像を構成する各フレームの画像において、該画像の指定領域内の部分画像に対して行う処理内容を記述した第１のスクリプトを保持する手段と、
処理対象フレームの画像サイズが、該処理対象フレームの直前のフレームの画像サイズと異なる場合にのみ該処理対象フレームに対して適用される第２のスクリプトであって、該処理対象フレームの画像中の前記指定領域に相当する領域を指定するための領域情報が、該処理対象フレームの画像が取りうる画像サイズ毎に記述されている前記第２のスクリプトを保持する手段と、
前記動画像を構成する各フレームの画像を入力する手段と、
入力されたフレームの画像の画像サイズが、該入力されたフレームの直前のフレームの画像の画像サイズから変化しているか否かを判断する判断手段と、
前記判断手段が変化していないと判断した場合には、前記入力されたフレームから前記指定領域内の部分画像を抽出し、該抽出した部分画像に対して、前記第１のスクリプトに記述された処理内容の処理を行い、
前記判断手段が変化していると判断した場合には、前記入力されたフレームの画像の画像サイズに対応する領域情報を前記第２のスクリプトから特定し、該特定した領域情報が示す前記入力されたフレームの画像中の領域を前記指定領域として設定し、該設定した指定領域内の部分画像を抽出し、該抽出した部分画像に対して、前記第１のスクリプトに記述された処理内容の処理を行う処理手段と、
前記処理手段による処理済みの画像を出力する手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１のスクリプトには、各フレームの画像から抽出する前記指定領域内の部分画像に対する画像サイズの縮小率が記されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理手段は、
前記判断手段が変化していないと判断した場合には、前記入力されたフレームから前記指定領域内の部分画像を抽出し、該抽出した部分画像に対して、前記第１のスクリプトに記述されている縮小率に応じた縮小処理を行う、ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記処理手段は、前記判断手段が変化していると判断した場合には、前記入力されたフレームの画像の画像サイズに対応する領域情報を前記第２のスクリプトから特定し、該特定した領域情報が示す領域を前記指定領域として設定し、該設定した指定領域内の部分画像を抽出し、該抽出した部分画像に対して、前記第１のスクリプトに記述されている縮小率に応じた縮小処理を行う、ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
更に、
前記判断手段が変化していると判断した場合には、前記処理手段による動作を待機させる手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の第１の保持手段が、動画像を構成する各フレームの画像において、該画像の指定領域内の部分画像に対して行う処理内容を記述した第１のスクリプトを保持する工程と、
前記画像処理装置の第２の保持手段が、処理対象フレームの画像サイズが、該処理対象フレームの直前のフレームの画像サイズと異なる場合にのみ該処理対象フレームに対して適用される第２のスクリプトであって、該処理対象フレームの画像中の前記指定領域に相当する領域を指定するための領域情報が、該処理対象フレームの画像が取りうる画像サイズ毎に記述されている前記第２のスクリプトを保持する工程と、
前記画像処理装置の入力手段が、前記動画像を構成する各フレームの画像を入力する工程と、
前記画像処理装置の判断手段が、入力されたフレームの画像の画像サイズが、該入力されたフレームの直前のフレームの画像の画像サイズから変化しているか否かを判断する判断工程と、
前記画像処理装置の処理手段が、前記判断工程において、変化していないと判断した場合には、前記入力されたフレームから前記指定領域内の部分画像を抽出し、該抽出した部分画像に対して、前記第１のスクリプトに記述された処理内容の処理を行い、
前記画像処理装置の処理手段が、前記判断工程において、変化していると判断した場合には、前記入力されたフレームの画像の画像サイズに対応する領域情報を前記第２のスクリプトから特定し、該特定した領域情報が示す前記入力されたフレームの画像中の領域を前記指定領域として設定し、該設定した指定領域内の部分画像を抽出し、該抽出した部分画像に対して、前記第１のスクリプトに記述された処理内容の処理を行う処理工程と、
前記画像処理装置の出力手段が、前記処理工程による処理済みの画像を出力する工程と
を備えることを特徴とする画像処理方法。
【請求項７】
コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【請求項８】
請求項７に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の再生技術に関するものである。
【背景技術】
【０００２】
近年、入力映像をディスプレイ上に再生する映像再生装置では、次の２つのモードが採用されている。即ち、ディスプレイの全面に映像を再生するモード（全画面モード）と、ディスプレイ上における一部領域内の映像を表示するウインドウを設け、映像ウインドウ内に映像を再生するモード（子画面モード）である。
【０００３】
図２を用いて、子画面モードの実現方法について説明する。図２は、従来の映像再生装置において、子画面モードを実現するための構成を示した図である。
【０００４】
主制御部２０１は、映像再生装置全体の制御を行う。
【０００５】
映像デコード部２０２は、MPEG2方式等により符号化されている映像ストリームを受けると、この映像ストリームをデコードし、デコード結果としてのフレームデータを出力する。
【０００６】
映像変換部２０３は、映像デコード部２０２から出力されたフレームデータから、主制御部２０１から指定された領域の映像データを特定し、特定した映像データに対して所定の変換処理（この場合は縮小処理、又は拡大処理）を施す。そして映像変換部２０３は、係る変換処理済みの映像データに基づく映像が、ディスプレイ２０４の画面上における映像ウィンドウ２０５内に表示されるように、係る映像データに基づく映像信号をディスプレイ２０４に出力する。
【０００７】
次に、映像ストリームに基づく動画像を映像ウィンドウ２０５内に再生するために主制御部２０１が行う処理について説明する。
【０００８】
まず、主制御部２０１は映像デコード部２０２に対してデコード開始を指示する。
【０００９】
映像デコード部２０２は、主制御部２０１からデコード開始の指示を受けると、動作を開始する。映像デコード部２０２は、入力された映像ストリームのシーケンスヘッダを検出すると、検出したシーケンスヘッダを主制御部２０１に通知する。
【００１０】
主制御部２０１は、映像デコード部２０２から通知されたシーケンスヘッダに記述されている「映像ストリームの映像サイズ」に基づいて、映像変換部２０３が変換処理（映像変換処理）を行う領域を映像変換部２０３に設定する。
【００１１】
更に、主制御部２０１は、ディスプレイ２０４上における映像ウィンドウ２０５の座標を映像変換部２０３に設定する。
【００１２】
そして主制御部２０１は、映像変換部２０３に対して処理開始を指示する。
【００１３】
以上の処理により、映像デコード部２０２、映像変換部２０３の順に映像ストリームが処理される映像処理フローが形成され、その結果、映像ウィンドウ２０５内に動画像が再生されることになる。
【００１４】
この映像処理フローが形成された後は、主制御部２０１の介在なしで動画像再生が実行される。
【００１５】
ここで、映像ウィンドウ２０５のサイズを時間経過とともに変化させることを考える。例えば、映像ウィンドウ２０５のサイズを６０ｆｐｓ（フレーム／周期）のフレームレートで変化させる為には、映像変換部２０３への設定内容を、６０ｆｐｓに対応するフレーム周期で変更する必要がある。
【００１６】
主制御部２０１において、映像ウィンドウ２０５の制御を行うためのアプリケーションプログラムの他に複数のアプリケーションプログラムが同時に動作していると、主制御部２０１が映像変換部２０３への設定変更を一定周期で行うことが困難な場合がある。
【００１７】
そこで、主制御部２０１は、「映像ウィンドウ２０５のサイズを時間経過とともに変更するために必要な映像変換部２０３への設定手順」を記述したスクリプトを映像変換部２０３に供給する。
【００１８】
これにより、映像変換部２０３は、供給されたスクリプトに基づいて映像デコード部２０２からのフレームデータのサイズ変換処理、及びディスプレイ２０４への出力処理を、このスクリプトに記述された周期で実行する。
【特許文献１】特開2000-78569号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
MPEG2等の映像ストリームは、途中で映像サイズを変更することが可能な仕様になっている。
【００２０】
映像ストリームの映像サイズが途中で変更された場合は、映像デコード部２０２がシーケンスヘッダの変化を検出し、検出したシーケンスヘッダを主制御部２０１に通知する。
【００２１】
主制御部２０１は、映像デコード部２０２から通知されたシーケンスヘッダに記述された変化後の映像サイズに基づいて再度、映像変換部２０３に対して領域設定処理を行う必要がある。
【００２２】
しなしながら、映像ウィンドウ２０５のサイズを時間経過とともに変化させている途中で映像ストリームの映像サイズが変化した場合、このサイズ変化に応じて映像変換部２０３への設定を変更することができないという問題があった。
【００２３】
例えば、映像ウィンドウ２０５のサイズを時間経過とともに変化させている途中で映像ストリームの映像サイズが1920×1080から1440×1080に変化したとする。この場合、この変化に応じた設定変更が映像変換部２０３に正しく反映されないと、映像変換部２０３が有効領域1440×1080の外から映像データを読み出してしまうことになり、映像ウィンドウ２０５の一部に意図しないデータが表示されてしまう。
【００２４】
本発明は以上の問題に鑑みて成されたものであり、各フレームの画像を時間経過と共に変化させて再生している途中であるフレームの画像属性が変化しても、この画像属性の変化の前後でフレームをシームレスに再生する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００２５】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００２６】
即ち、動画像を構成する各フレームの画像において、該画像の指定領域内の部分画像に対して行う処理内容を記述した第１のスクリプトを保持する手段と、
処理対象フレームの画像サイズが、該処理対象フレームの直前のフレームの画像サイズと異なる場合にのみ該処理対象フレームに対して適用される第２のスクリプトであって、該処理対象フレームの画像中の前記指定領域に相当する領域を指定するための領域情報が、該処理対象フレームの画像が取りうる画像サイズ毎に記述されている前記第２のスクリプトを保持する手段と、
前記動画像を構成する各フレームの画像を入力する手段と、
入力されたフレームの画像の画像サイズが、該入力されたフレームの直前のフレームの画像の画像サイズから変化しているか否かを判断する判断手段と、
前記判断手段が変化していないと判断した場合には、前記入力されたフレームから前記指定領域内の部分画像を抽出し、該抽出した部分画像に対して、前記第１のスクリプトに記述された処理内容の処理を行い、
前記判断手段が変化していると判断した場合には、前記入力されたフレームの画像の画像サイズに対応する領域情報を前記第２のスクリプトから特定し、該特定した領域情報が示す前記入力されたフレームの画像中の領域を前記指定領域として設定し、該設定した指定領域内の部分画像を抽出し、該抽出した部分画像に対して、前記第１のスクリプトに記述された処理内容の処理を行う処理手段と、
前記処理手段による処理済みの画像を出力する手段と
を備えることを特徴とする。
【００２７】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００２８】
即ち、画像処理装置が行う画像処理方法であって、
前記画像処理装置の第１の保持手段が、動画像を構成する各フレームの画像において、該画像の指定領域内の部分画像に対して行う処理内容を記述した第１のスクリプトを保持する工程と、
前記画像処理装置の第２の保持手段が、処理対象フレームの画像サイズが、該処理対象フレームの直前のフレームの画像サイズと異なる場合にのみ該処理対象フレームに対して適用される第２のスクリプトであって、該処理対象フレームの画像中の前記指定領域に相当する領域を指定するための領域情報が、該処理対象フレームの画像が取りうる画像サイズ毎に記述されている前記第２のスクリプトを保持する工程と、
前記画像処理装置の入力手段が、前記動画像を構成する各フレームの画像を入力する工程と、
前記画像処理装置の判断手段が、入力されたフレームの画像の画像サイズが、該入力されたフレームの直前のフレームの画像の画像サイズから変化しているか否かを判断する判断工程と、
前記画像処理装置の処理手段が、前記判断工程において、変化していないと判断した場合には、前記入力されたフレームから前記指定領域内の部分画像を抽出し、該抽出した部分画像に対して、前記第１のスクリプトに記述された処理内容の処理を行い、
前記画像処理装置の処理手段が、前記判断工程において、変化していると判断した場合には、前記入力されたフレームの画像の画像サイズに対応する領域情報を前記第２のスクリプトから特定し、該特定した領域情報が示す前記入力されたフレームの画像中の領域を前記指定領域として設定し、該設定した指定領域内の部分画像を抽出し、該抽出した部分画像に対して、前記第１のスクリプトに記述された処理内容の処理を行う処理工程と、
前記画像処理装置の出力手段が、前記処理工程による処理済みの画像を出力する工程と
を備えることを特徴とする。
【発明の効果】
【００２９】
本発明の構成によれば、各フレームの画像を時間経過と共に変化させて再生している途中であるフレームの画像属性が変化しても、この画像属性の変化の前後でフレームをシームレスに再生することができる。
【発明を実施するための最良の形態】
【００３０】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００３１】
［第１の実施形態］
図１は、本実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。図１に示す如く、本実施形態に係る画像処理装置１００は、主制御部１０１、映像デコード部１０２、映像変換部１０３、ディスプレイ１０４、メモリ１１３、により構成されている。
【００３２】
主制御部１０１は、画像処理装置１００全体の制御を行うと共に、画像処理装置１００を構成する各部の動作制御を行う。
【００３３】
映像デコード部１０２には、動画像データが入力される。係る動画像データは、例えば、ＭＰＥＧ２等の動画像ストリームデータである。従って、映像デコード部１０２は、係る動画像ストリームをデコードし、各フレームの画像データを順次出力する。映像デコード部１０２から出力された各フレームの画像データは、メモリ１１３内に設けられているフレームバッファ１０６内に格納される。
【００３４】
フレームバッファ１０６は、ＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）形式のメモリであり、先に格納した画像データから順に映像変換部１０３に読み出される。
【００３５】
また、動画像ストリームデータには、動画像ストリーム中の各フレームの画像データの画像属性を示す情報（画像属性情報）が含まれている。本実施形態では、画像属性情報は、画像サイズを示す情報であるとする。即ち、本実施形態では、動画像ストリームには、動画像ストリームに含まれている各フレームの画像のサイズを示す情報が画像属性情報として含まれているものとする。
【００３６】
映像デコード部１０２は、デコードしたフレームの画像属性情報を動画像ストリームから抽出し、抽出した画像属性情報をフレーム管理情報バッファ１０８に格納する。
【００３７】
映像変換部１０３は、フレームバッファ１０６から画像データを取得すると、係る画像データにおいて、主制御部１０１から指定された画像領域（指定領域）内のデータ（部分画像データ）を抽出する。係る画像領域は、映像変換部１０３がフレームバッファ１０６から取得した画像データが示す画像内の、主制御部１０１から指定された領域のことである。なお、主制御部１０１から指定される画像領域は、フレームの全領域でも構わない。
【００３８】
そして映像変換部１０３は、主制御部１０１から指定されたスクリプト（映像変換スクリプト１１１）に基づいて、抽出した部分画像データに対して所定の変換処理を施す。本実施形態では、係る変換処理は、画像の縮小処理であるとするが、これに限定するものではなく、画像の拡大処理であっても良いし、画像の輪郭を変形させるなどの処理、もしくはアフィン変換などの画像自体を変形する処理等であっても良い。
【００３９】
そして映像変換部１０３は、変換処理済みの部分画像データに基づいた画像を、ディスプレイ１０４の表示画面内に表示される映像ウィンドウ１０５の位置に配置したフレームデータを作成する。そして、作成したフレームデータをメモリ１１３内のプレーンバッファ１０７内に格納する。
【００４０】
そして映像変換部１０３は、プレーンバッファ１０７に格納したフレームデータに基づく映像信号を生成し、係る映像信号をディスプレイ１０４に対して出力する。これにより、ディスプレイ１０４の表示画面上における映像ウィンドウ１０５内には、部分画像データに基づいた画像が表示されることになる。
【００４１】
一方、主制御部１０１内のメモリには、２つのスクリプトのデータが格納（保持）されている。  一方は映像変換スクリプト１１１（第１のスクリプト）で、他方は対応スクリプト１１２（第２のスクリプト）である。
【００４２】
映像変換スクリプト１１１は、映像変換部１０３が抽出した部分画像データに対して行う処理の内容（処理内容）を記述したデータであり、係る処理の内容は、各フレームについて記されている。図４は、映像変換スクリプト１１１内に記述されている情報の構成例を示す図である。
【００４３】
「フレーム番号」の列には、動画像ストリームに含まれている各フレームの番号が登録されている。最初のフレームの番号が「１」である。
【００４４】
「変換対象領域」の列には、動画像ストリームに含まれている各フレームにおいて、主制御部１０１が映像変換部１０３に対して指定する画像領域を示す情報が登録されている。図４では「領域Ａ」が係る画像領域となる。なお、実際には、主制御部１０１には、フレームバッファ１０６から読み出した画像データが示す画像における「領域Ａ」の位置情報が登録されていることになる。従って、「変換対象領域」の列には、この位置情報が登録されていても良い。
【００４５】
「変換処理」の列には、動画像ストリームに含まれている各フレームの画像中の画像領域Ａに対して行う処理の内容を示す情報が登録されている。例えば、フレーム番号２に対応する「変換処理」によれば、フレーム番号２の画像中の領域Ａに対しては、オリジナルの画像サイズを９５％（縮小率）に縮小する処理（処理２）を行う。また、フレーム番号Ｎに対応する「変換処理」によれば、フレーム番号Ｎの画像中の領域Ａに対しては、オリジナルの画像サイズを８５％に縮小する処理（処理２）を行う。
【００４６】
即ち、図４に示した映像変換スクリプト１１１は、再生順において後ろのフレームほど、領域Ａの画像サイズを小さくする、という変換処理を示している。
【００４７】
対応スクリプト１１２は、処理対象フレームの画像の画像属性が、処理対象フレームの直前のフレームにおける画像の画像属性から変化している場合にのみ適用されるものである。対応スクリプト１１２には、処理対象フレームの直前のフレームまでで部分画像を抽出していた領域に相当する、処理対象フレームの画像中における領域を示す情報が記されている。対応スクリプト１１２についての詳細な説明は後述する。
【００４８】
ここで、画像処理装置１００が行う動画像再生処理の概要について、図３を用いて説明する。図３は、各フレームの画像と、それぞれのフレームの画像から抽出した部分画像とを示す図である。
【００４９】
３０１〜３０５は、各フレームの画像であり、画像３０１、画像３０２、画像３０３、画像３０４、画像３０５の順に再生されるものとする。また、画像３０１〜３０３の横のサイズは１９２０画素であり、画像３０４，３０５の横のサイズは１４４０画素であるとする。
【００５０】
３１１〜３１５はそれぞれ、画像３０１〜３０５のそれぞれから抽出された部分画像である。より詳しくは、部分画像３１１は、画像３０１内の領域３０６から抽出された部分画像である。部分画像３１２は、画像３０２内の領域３０７から抽出された部分画像である。部分画像３１３は、画像３０３内の領域３０８から抽出された部分画像である。部分画像３１４は、画像３０４内の領域３０９から抽出された部分画像である。部分画像３１５は、画像３０５内の領域３１０から抽出された部分画像である。
【００５１】
ここで、画像３０１〜３０３のそれぞれから部分画像３１１〜３１３を抽出する場合には、それぞれの画像３０１〜３０３内で、同じサイズ、同じ位置の領域（３０６〜３０８）を抽出すれば良い。
【００５２】
しかし、画像３０４から部分画像３１４を抽出する場合、画像３０４の横のサイズはそれまでの画像３０１〜３０３の横のサイズとは異なるため、それまでに抽出していた領域のサイズ、位置を用いても、同じ内容の部分画像を抽出することはできない。そこで、本実施形態では、画像３０３から画像３０４へのサイズの変化に応じて、抽出する領域のサイズや位置を変更する。画像３０４の場合、画像３０１〜３０３とは異なる位置、サイズの領域３０９から抽出を行うことで、部分画像３１４が得られる。また、画像３０５の場合、画像３０１〜３０３とは異なる位置、サイズの領域３１０から抽出を行うことで、部分画像３１５が得られる。画像３０４と画像３０５とは同じサイズの画像であるので、領域３０９と領域３１０とは同じ位置、サイズの領域となる。
【００５３】
次に、画像処理装置１００が行う動画像再生処理について、図６のフローチャートを用いて説明する。図６は、画像処理装置１００が行う動画像再生処理の詳細を示すフローチャートである。
【００５４】
ステップＳ６０１では、映像デコード部１０２は、入力された動画像ストリームをデコードし、各フレームの画像データを順次出力する。映像デコード部１０２から出力された各フレームの画像データは、メモリ１１３内に設けられているフレームバッファ１０６内に格納される。また、映像デコード部１０２は、デコードしたフレームの画像属性情報を動画像ストリームから抽出し、抽出した画像属性情報をフレーム管理情報バッファ１０８に格納する。
【００５５】
ステップＳ６０２では、映像変換部１０３は、フレーム管理情報バッファ１０８内を参照する。そして、処理対象フレームの画像データの画像属性情報が示す画像属性が、処理対象フレームの直前のフレームの画像データの画像属性情報が示す画像属性から変化しているのか否かを判断する。係る判断の結果、変化している、即ち、画像サイズに変化があった場合には、処理をステップＳ６０４に進める。一方、係る判断の結果、変化していない、即ち、画像サイズに変化がなかった場合には、処理をステップＳ６０３に進める。
【００５６】
ステップＳ６０３では、主制御部１０１は、映像変換スクリプト１１１を参照し、処理対象フレームの画像から部分画像を抽出する為の領域を指定領域として映像変換部１０３に指示する。主制御部１０１は、処理対象フレームの画像から抽出する画像領域を指定する場合、自身が管理している映像変換スクリプト１１１において、処理対象フレームに対応する「変換対象領域」を特定する。そして特定した領域を指定領域として指定する。
【００５７】
一方、ステップＳ６０４では、主制御部１０１は、対応スクリプト１１２を参照し、処理対象フレームの画像内で、部分画像を抽出するための領域を特定する為の処理を行う。
【００５８】
図５は、対応スクリプト１１２内に記述されている情報の構成例を示す図である。
【００５９】
対応スクリプト１１２には、処理対象フレームの画像中の上記指定領域に相当する領域を指定するための領域情報が、処理対象フレームの画像が取りうるサイズ毎（画像属性毎）に記述されている。
【００６０】
例えば、処理対象フレームよりも前のフレームの画像のサイズがｗ×ｈ（係る画像の画像属性情報から特定可能）であるとする。処理対象フレームの画像の画像サイズが１４４０×１０８０（係る画像の画像属性情報から特定可能）である場合、処理対象フレームから部分画像を抽出する為の領域の左上隅の座標値は、（ｘ×１４４０／ｗ、ｙ×１０８０／ｈ）となる。ここで、ｘ、ｙはそれぞれ、処理対象フレームの直前のフレームの画像から部分画像データを抽出していた領域の左上隅のｘ座標値、ｙ座標値である。同様に、処理対象フレームから部分画像を抽出する為の領域の右下隅の座標値は、（ｘ’×１４４０／ｗ、ｙ’×１０８０／ｈ）となる。ここで、ｘ’、ｙ’はそれぞれ、処理対象フレームの直前のフレームの画像から部分画像を抽出した領域の右下隅のｘ座標値、ｙ座標値である。
【００６１】
即ち、ｘ、ｙ、ｘ’、ｙ’は何れも、現在の指定領域の位置情報として設定されている情報である。
【００６２】
また、処理対象フレームの画像の画像サイズが７２０×４８０（係る画像の画像属性情報から特定可能）である場合、処理対象フレームから部分画像を抽出する為の領域の左上隅の座標値は、（ｘ×７２０／ｗ、ｙ×４８０／ｈ）となる。ここで、ｘ、ｙはそれぞれ、処理対象フレームの直前のフレームの画像から部分画像を抽出した領域の左上隅のｘ座標値、ｙ座標値である。同様に、処理対象フレームから部分画像を抽出する為の領域の右下隅の座標値は、（ｘ’×７２０／ｗ、ｙ’×４８０／ｈ）となる。ここで、ｘ’、ｙ’はそれぞれ、処理対象フレームの直前のフレームの画像から部分画像を抽出していた領域の右下隅のｘ座標値、ｙ座標値である。
【００６３】
このように、処理対象フレームの画像のサイズが、直前のフレームから変化しても、直前のフレームにおいて部分画像を抽出した領域に相当する（画像内容が略同じ）、処理対象フレームの画像における部分画像を特定することができる。
【００６４】
なお、このように、部分画像データを抽出するための領域の位置、サイズが変更された場合には、それまでのフレームで用いていた「指定領域の位置情報」を、変更後の領域の位置情報（ここでは左上隅の座標値、右下隅の座標値）で更新する。これにより、以降のフレームでは、係る変更後の指定領域から部分画像を抽出することになる。
【００６５】
そして主制御部１０１は、処理対象フレームの画像内で、部分画像を抽出するための領域を指定領域として映像変換部１０３に指示する。
【００６６】
次に、ステップＳ６０５では、主制御部１０１は、映像変換スクリプト１１１を参照し、係る指定領域内の部分画像に対して行う「変換処理」を特定する。例えば、処理対象フレームが第２フレームである場合、「変換処理」は、処理対象フレームの画像から抽出した部分画像のサイズを、９５％に縮小する処理となる。そして主制御部１０１は、特定した変換処理内容を、映像変換部１０３に指示する。これにより、映像変換部１０３は、ステップＳ６０３若しくはステップＳ６０４の何れかで主制御部１０１により指示された指定領域内の部分画像に対して、主制御部１０１により指示された変換処理を行う。
【００６７】
なお、ステップＳ６０４で主制御部１０１が指示した指定領域のサイズと、ステップＳ６０３で主制御部１０１が指示した指定領域のサイズとは異なるので、それぞれの指定領域から抽出した部分画像のサイズもまた異なることになる。従って、何れの指定領域から部分画像を抽出しても、抽出した部分画像に対してステップＳ６０５における処理を行った後の部分画像のサイズを予め定められたサイズ（例えば映像ウィンドウ１０５のサイズ）に変換した方が好ましい、
次に、ステップＳ６０６では、映像変換部１０３は、ステップＳ６０５における処理済みの部分画像データに基づいた画像を、ディスプレイ１０４の表示画面内に表示される映像ウィンドウ１０５の位置に配置したフレームデータを作成する。そして、作成したフレームデータをメモリ１１３内のプレーンバッファ１０７内に格納する。
【００６８】
次に、ステップＳ６０７では、映像変換部１０３は、プレーンバッファ１０７に格納したフレームデータに基づく映像信号を生成し、係る映像信号をディスプレイ１０４に対して出力する。
【００６９】
次に、ステップＳ６０８では、主制御部１０１は、上記動画像ストリームに含まれている全てのフレームについて上記処理を行ったか否かを判断する。係る判断の結果、行ったと判断した場合には、本処理を終了する。一方、係る判断の結果、行っていないと判断した場合には、処理をステップＳ６０２に戻し、次の未処理のフレームを着目フレームとして、以降の処理を行う。
【００７０】
以上、本実施形態によれば、各フレームから抽出した部分画像を、フレーム毎に異なる縮小率で縮小して表示する場合、あるフレームの画像サイズが従前のフレームの画像サイズから変化しても、変化の前後でシームレスに画像を再生することができる。
【００７１】
［第２の実施形態］
本実施形態は、以下説明する点を除き、第１の実施形態と同様である。
【００７２】
第１の実施形態では、対応スクリプト１１２は、処理対象フレームの画像中の指定領域に相当する領域を指定するための領域情報が、処理対象フレームの画像が取りうる画像サイズ毎に記述されているものであった。しかし、処理対象フレームの画像が取りうる画像サイズの種類の数が多いと、その分だけ対応スクリプト１１２のデータサイズが大きくなるため、対応スクリプト１１２のデータを格納するためのメモリ容量も大きなものが必要となる。また一方で、対応スクリプト１１２を記憶するためのメモリ容量に制限がある場合も考えられる。
【００７３】
そこで、本実施形態では、変化する画像サイズを予め予測し、予測した画像サイズについてのみ、対応スクリプト１１２を作成する。
【００７４】
例えば、映像デコード部１０２に入力される動画像ストリームが放送波に基づくものである場合を考える。このとき、同じく放送波から取得可能なEIT（Event Information Table）のコンポーネント記述子から画像属性の変化態様と変化時刻とを判別することができる。
【００７５】
主制御部１０１は、現在視聴中サービス（チャンネル）のイベント（番組）の切り替わりの時点で画像サイズが変化することをEITから判別する。すると、主制御部１０１は、EITから判別される変化後の画像サイズに対応した対応スクリプト１１２を作成する。
【００７６】
このように、第２の実施形態によれば、変化する画像サイズを予め予測し、予測した画像サイズについてのみ、対応スクリプト１１２を作成するので、対応スクリプト１１２を記憶するためのメモリ容量に制限がある場合に有効に作用する。
【００７７】
［第３の実施形態］
上記各実施形態は、入力されたフレームの画像の画像サイズが、入力されたフレームの直前のフレームの画像の画像サイズから変化しているケースが発生した場合には、対応スクリプト１１２を用いて対処していた。しかし、係るケースが発生した場合、変化前の画像サイズのフレームが再度入力されるまで、画像処理装置１００による動画像再生処理を中断させておいても良い。この場合、対応スクリプト１１２を用いることはない。また、係るケースが発生した場合、変化前の画像サイズのフレームが再度入力されるまで、ディスプレイ１０４の表示画面上に、待機中を示すメッセージを表示させても良い。
【００７８】
このように、係るケースが発生した場合には、対応スクリプト１１２を用いずに、動画像再生処理を待機させても良い。待機中にどのような動作を行うのかについては特に限定するものではない。
【００７９】
［第４の実施形態］
図１に示した映像デコード部１０２、映像変換部１０３は専用ハードウェアでもって構成しても良いが、それぞれの機能を主制御部１０１に実現させるためのコンピュータプログラムの形態でもって構成しても良い。この場合、画像処理装置１００には、一般のＰＣ（パーソナルコンピュータ）を適用することができる。
【００８０】
図７は、画像処理装置１００に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
【００８１】
ＣＰＵ７０１は、ＲＡＭ７０２やＲＯＭ７０３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置１００が行うものとして説明した上述の各種の処理を行う。即ち、本コンピュータを画像処理装置１００に適用した場合、ＣＰＵ７０１は、主制御部１０１に相当する。従って、ＣＰＵ７０１内のメモリには、映像変換スクリプト１１１、対応スクリプト１１２が格納されていることになる。
【００８２】
ＲＡＭ７０２は、外部記憶装置７０６からロードされたプログラムやデータ、Ｉ／Ｆ（インターフェース）７０７を介して外部から受信したデータ（例えば、動画像ストリームのデータ）を一時的に記憶するためのエリアを有する。更に、ＲＡＭ７０２は、ＣＰＵ７０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ７０２は、各種のエリアを適宜提供することができる。即ち、本コンピュータを画像処理装置１００に適用した場合、ＲＡＭ７０２は、メモリ１１３に相当する。
【００８３】
ＲＯＭ７０３には、ブートプログラムや、コンピュータの設定データなどが格納されている。
【００８４】
操作部７０４は、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、各種の指示をＣＰＵ７０１に対して入力することができる。
【００８５】
表示部７０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ７０１による処理結果を画像や文字などでもって表示することができる。即ち、本コンピュータを画像処理装置１００に適用した場合、表示部７０５は、ディスプレイ１０４に相当する。
【００８６】
外部記憶装置７０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置７０６には、ＯＳ（オペレーティングシステム）や、映像デコード部１０２、映像変換部１０３の機能をＣＰＵ７０１に実行させるためのコンピュータプログラム等、上記説明において用いた様々なデータが保存されている。また、映像変換スクリプト１１１、対応スクリプト１１２のそれぞれを外部記憶装置７０６に保存させるようにしても良い。また、ＲＡＭ７０２に格納するものとして説明した情報の一部若しくは全部を外部記憶装置７０６に保存させるようにしても良い。
【００８７】
外部記憶装置７０６に保存されているプログラムやデータは、ＣＰＵ７０１による制御に従って適宜ＲＡＭ７０２にロードされ、ＣＰＵ７０１による処理対象となる。
【００８８】
Ｉ／Ｆ７０７は、動画像ストリームのデータを送信する装置と接続するためのもので、係る装置から送出された動画像ストリームのデータは、このＩ／Ｆ７０７を介してＲＡＭ７０２や外部記憶装置７０６に入力される。もちろん、Ｉ／Ｆ７０７に接続する為の装置についてはこれに限定するものではなく、本コンピュータにて再生する動画像を表示するための装置をこのＩ／Ｆ７０７に接続しても良い。この場合、ディスプレイ１０４に表示するものとして説明した情報を、Ｉ／Ｆ７０７を介して外部の装置に出力することになる。
【００８９】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９０】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９１】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９２】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００９３】
【図１】本発明の第１の実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。
【図２】従来の映像再生装置において、子画面モードを実現するための構成を示した図である。
【図３】各フレームの画像と、それぞれのフレームの画像から抽出した部分画像とを示す図である。
【図４】映像変換スクリプト１１１内に記述されている情報の構成例を示す図である。
【図５】対応スクリプト１１２内に記述されている情報の構成例を示す図である。
【図６】画像処理装置１００が行う動画像再生処理の詳細を示すフローチャートである。
【図７】画像処理装置１００に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
【図１】
0005180667.tif 000002
【図２】
0005180667.tif 000003
【図３】
0005180667.tif 000004
【図４】
0005180667.tif 000005
【図５】
0005180667.tif 000006
【図６】
0005180667.tif 000007
【図７】
0005180667.tif 000008