(57)【要約】【課題】表示される映像の外周にスペースが現れないようにし、表示画面内にスムーズで綺麗な映像を表示することができる映像データを生成すること。【解決手段】この映像データ処理システムで処理される映像データの実効的な映像エリアは表示画面ＡＳより小さく、その周囲が画像情報の無いスペースＳＢｄ，ＳＢｂで構成される。まず、この映像データにおける映像エリア端部ＥＤｄ，ＥＤｂの画像情報に応じて拡張データＥＬｄ，ＥＬｂを生成し、次いで、拡張データＥＬｄ，ＥＬｂをスペースＳＢｄ，ＳＢｂに貼り付けて、端部ＥＤｄ，ＥＤｂを表示画面ＡＳの周縁ＥＳｄ，ＥＳｂにまで拡張した新たな映像データを生成する。そして、新たな映像データを縮小した縮小映像データＶＤｒを表示画面ＡＳの所定位置に描画する。表示画面ＡＳには、同様に端部が拡張された他の縮小映像ＶＤｓ〜ＶＤｕが、縮小映像ＶＤｒと共に、隙間なく表示される。【選択図】図４
2005142678.tif 000002
【特許請求の範囲】
【請求項１】
映像データを取得する映像データ取得手段と、
取得された映像データの映像上の端部における画像情報に応じて、拡張データを生成する拡張データ生成手段と、
生成された拡張データを上記端部の外側に付加し、上記映像データの映像上の周縁が拡張された新たな映像データを生成する映像データ生成手段と
を具備することを特徴とする映像データ処理装置。
【請求項２】
映像データを取得する映像データ取得手段と、
取得された映像データの映像上のサイズと表示画面のサイズに応じて、該映像データの拡大率を決定する拡大率決定手段と、
決定された拡大率に応じて上記映像データの映像上のサイズを拡大し、上記映像データの映像上の周縁が上記表示画面の周縁にまで拡張された新たな映像データを生成する映像データ生成手段と
を具備することを特徴とする映像データ処理装置。
【請求項３】
映像データを取得するステップと、
取得された映像データの映像上の端部における画像情報に応じて、拡張データを生成するステップと、
生成された拡張データを上記端部の外側に付加し、上記映像データの映像上の周縁が拡張された新たな映像データを生成するステップと
から成る手順をデータ処理装置に実行させるための映像データ処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像データによる表示映像の周縁を拡張する機能を有する映像データ処理システム、特に、映像データをリサイズ（縮小）して複数映像を合成表示する際に好適なこの種の映像データ処理システムに関する。
【背景技術】
【０００２】
従来より、映像信号の水平走査線数や水平画素数を変更するものが種々提案されており、例えば、特許文献１，２に示されるように、映像信号を所定のフォーマットに変換するために、走査線数及び水平画素数を変換するもの、或いは、映像信号の水平走査線数を変換したり映像信号の前後に無画像信号を付加するものがある。また、特許文献３に示されるように、複数の映像信号によるマルチ画面を高画質に表示しようとする映像表示技術もある。
【特許文献１】特開平１０−３２２６２６号公報
【特許文献２】特開２００２−２１８３４８号公報
【特許文献３】特開２００３−１９８９８０号公報
【０００３】
通常、ＴＶ機器などで利用される映像データ（ビデオ、ＤＶＤ等も含む）のサイズは、所定の規格〔例えば、ディジタル換算で水平方向６４０×垂直方向４８０ピクセル（画素）程度〕内で作成されており、この規格は表示画面全体のエリアに対応するが、場合によっては、図１（１）左上に示すように、このような規格に満たないサイズの映像データＶも存在する。この場合、映像データＶによる映像エリアの周縁と表示画面Ｓの周縁との間は、画素情報が無い空白のピクセルから成るスペース部分Ｂとなるが、ＣＲＴ（ブラウン管）などの通常のＴＶ表示器で見るときは、表示器画面の外枠が表示エリアの周りを少し隠してしまうため、スペース部分Ｂが表示されるというような問題は起こりづらい。
【０００４】
しかしながら、このような映像データＶを、表示画面Ｓのフルエリアを映すことができる表示器に描画したり、サイズを縮小して描画する場合には、スペース部分Ｂによる黒い縁や隙間がその映像画面の周囲に現れるので、見苦しい表示になってしまう。特に、映像データＶのサイズを縮小し複数の映像を合成して描画する際には問題である。例えば、図１（１）右下に示すように、映像データＶのサイズを５０％に縮小し４つの縮小画面Ｖ１〜Ｖ４にして並べて表示すると、表示画面Ｓ内には、各微小画面Ｖ１〜Ｖ４の周縁に形成されるスペース部分Ｂによる筋ＢＬが各縮小画面Ｖ１〜Ｖ４の間に隙間のように生じて、繋がりがなく一体感のない映像となってしまい、綺麗に見えない。
【０００５】
なお、ＴＶ機器などで利用される映像データ（ビデオ、ＤＶＤ等も含む）は、通常、水平走査を１本おきに飛び越して行うインタレース走査（飛越し走査）方式に対応した形式で作成されている（このような映像データを「インタレース映像データ」と呼ぶ）。例えば、１フレーム期間を１／３０秒とし、表示画面内を左方向に移動する文字画像「２」に対して、第１垂直走査で奇数列フィールドの水平走査を行い、１／６０秒後の第２垂直走査で偶数列フィールドの水平走査を行うと、隣り合う走査線は時間が１／６０秒ずれている。従って、もしも、１フレーム期間（１／３０秒間）の映像データを全列同時に映せば、図１（２）左側に示すように、ギザギザしたものになる。
【０００６】
このようなインタレース映像のサイズを偶数で割れない数値を分母にした縮小倍率でサイズに変更すると、均等に水平列の間引きができないことから、歪んだ映像になってしまう。例えば、図１（２）左側のような映像データに対して、３の倍数列を間引いて２／３倍にリサイズ（サイズ変更）すると、リサイズ後の映像データは、図１（２）右側に示すように、元の偶数列と奇数列の並びが交互ではなくなり、インタレース走査方式で表示した場合、更に、同一垂直走査期間内に１／６０秒ずれた映像が入り乱れることになる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この発明の主たる目的は、このような事情に鑑み、表示される映像の外周にスペースが現れないようにし、表示画面内にスムーズで綺麗な映像を表示することができる映像データを生成することができる映像データ処理システムを提供することにある。
【課題を解決するための手段】
【０００８】
この発明の主たる特徴に従うと、映像データ（ＶＤ）を取得する映像データ取得手段（Ｓ１）と、取得された映像データ（ＶＤ）の映像上の端部（ＥＤｄ，ＥＤｂ等）における画像情報に応じて、拡張データ（ＥＬｄ，ＥＬｂ）を生成する拡張データ生成手段（Ｓ４）と、生成された拡張データ（ＥＬｄ，ＥＬｂ等）を端部（ＥＤｄ，ＥＤｂ等）の外側に付加し、映像データ（ＶＤ）の映像上の周縁（ＥＶａ〜ＥＶｄ）が拡張された新たな映像データを生成する映像データ生成手段（Ｓ４〜Ｓ６）とを具備する映像データ処理装置〔請求項１〕、並びに、映像データ（ＶＤ）を取得するステップ（Ｓ１）と、取得された映像データ（ＶＤ）の映像上の端部（ＥＤｄ，ＥＤｂ等）における画像情報に応じて、拡張データ（ＥＬｄ，ＥＬｂ等）を生成するステップ（Ｓ４）と、生成された拡張データ（ＥＬｄ，ＥＬｂ）を端部（ＥＤｄ，ＥＤｂ等）の外側に付加し、映像データ（ＶＤ）の映像上の周縁（ＥＶａ〜ＥＶｄ）が拡張された新たな映像データを生成するステップ（Ｓ４〜Ｓ６）とから成る手順をデータ処理装置に実行させるための映像データ処理プログラム〔請求項３〕が提供される。なお、括弧書きは、理解の便の為に付した実施例の参照記号乃至参照箇所であり、以下においても同様である。
【０００９】
この発明の別の特徴によると、映像データ（ＶＤ）を取得する映像データ取得手段と、取得された映像データ（ＶＤ）の映像上のサイズ（ＡＶ）と表示画面のサイズ（ＡＳ）に応じて、該映像データ（ＶＤ）の拡大率を決定する拡大率決定手段と、決定された拡大率に応じて映像データの映像上のサイズを拡大し、映像データ（ＶＤ）の映像上の周縁（ＥＶａ〜ＥＶｄ）が表示画面（ＡＳ）の周縁（ＥＳａ〜ＥＳｄ）にまで拡張された新たな映像データを生成する映像データ生成手段とを具備する映像データ処理装置〔請求項２〕が提供される。
【発明の効果】
【００１０】
この発明による映像データ処理システムでは、動画や静止画を表わす映像データ（ＶＤ）を取り扱うことができ、この映像データ（ＶＤ）は、その実効的な映像の範囲（映像画面ＡＶ）が表示画面（ＡＳ）より小さく、映像画面（ＡＶ）の周囲が画像情報の無いスペース（ＳＢａ〜ＳＢｄ）になっている。この発明の主たる特徴によれば、このような映像データ（ＶＤ）がシステムに入力されると（Ｓ１）、映像データ（ＶＤ）の映像上の端部（ＥＤｄ，ＥＤｂ等）即ち映像画面（ＡＶ）の周縁（ＥＶａ〜ＥＶｄ）近傍における画像情報を読み出し、読み出した画像情報に応じて拡張データ（ＥＬｄ，ＥＬｂ等）を生成し（Ｓ４）、次いで、生成された拡張データ（ＥＬｄ，ＥＬｂ等）を用いて映像画面（ＡＶ）の周縁（ＥＶａ〜ＥＶｄ）を表示画面（ＡＳ）の周縁（ＥＳａ〜ＥＳｄ）にまで拡張し（Ｓ４〜Ｓ６）、これを新たな映像データとして元の映像データ（ＶＤ）を更新する。従って、更新された新たな映像データを映像モニター（１３）等に出力すると（Ｓ１１）、表示画面（ＡＳ）に対して元の映像データ（ＶＤ）による映像画面（ＡＶ）が小さくても、元の映像画面（ＡＶ）の周囲にあったスペース（ＳＢａ〜ＳＢｄ）が新たな映像データの拡張データ（ＥＬｄ，ＥＬｂ等）で埋められるので、スペース（ＳＢａ〜ＳＢｄ）による黒い縁や隙間がない綺麗な映像を表示することができる。
【００１１】
また、この発明の別の特徴によれば、入力された映像データ（ＶＤ）の映像上のサイズ（ＡＶ）と表示画面のサイズ（ＡＳ）に応じて、この映像データ（ＶＤ）に対する縦及び横方向の拡大率を決定し、決定された拡大率に応じて映像データの映像上の縦横のサイズを拡大し（ズームアップ）、映像データ（ＶＤ）の映像上の周縁（ＥＶａ〜ＥＶｄ）を表示画面（ＡＳ）の周縁（ＥＳａ〜ＥＳｄ）にまで拡張させる。そして、このように表示画面のサイズ（ＡＳ）までズームアップされた新たな映像データを映像モニター（１３）等に出力すると、表示画面（ＡＳ）に対して元の映像データ（ＶＤ）による映像画面（ＡＶ）が小さくても、元の映像画面（ＡＶ）の周囲にあったスペース（ＳＢａ〜ＳＢｄ）は、ズームアップされた新たな映像データで覆われるので、スペース（Ｂａ〜ＳＢｄ）による黒い縁や隙間がない綺麗な映像を表示することができる。
【００１２】
なお、この発明による映像データ処理装置は、さらに、生成された新たな映像データのサイズを縮小するサイズ縮小手段（Ｓ７，Ｓ８）と、サイズが縮小された映像データ（ＶＤｒ）を、表示画面（ＡＳ）上の予め設定された位置に表示させる表示手段（Ｓ１０，Ｓ１１）とを具備するように構成することができる。
【００１３】
この発明のシステムでは、さらに、サイズ縮小手段（Ｓ７，Ｓ８）により新たな映像データの縮尺を変更し、これにより縮小された映像データ（ＶＤｒ）を表示画面（ＡＳ）内の所定位置に描画させることできる（Ｓ１０，Ｓ１１）。従って、このような縮小映像データ（ＶＤｒ）による映像画面を、例えば、上述と同様にして周縁が拡張された他の縮小映像データ（ＶＤｓ〜ＶＤｕ）による映像画面と共に、表示画面（ＡＳ）内に同時に並べて描画すると、各映像画面（ＶＤｒ〜ＶＤｕ）は、互いに隣り合う映像画面まで連続したものとなるので、元の映像データを単に縮小して並置する従来例のようにスペースにより隣接映像画面間に筋や隙間が生じる〔図１（１）右下〕というようなことはなく、映像画面間のつなぎ目を目立たなくし、スムーズで綺麗な連続的映像を表示することができる。
【００１４】
このように、１つの表示画面（ＡＳ）内に複数の映像画面を同時表示にする場合は、これら複数の映像画面は、全く同じ映像データに基づき縮小したものにしてもよく、これにより、トンボの目のように見える複眼的映像効果を得るようにすることができる。また、元の映像データに個々に所定の映像効果を施す処理を行なった映像であってもよい。さらに、縮小映像データ（ＶＤｒ）は、元々周囲にスペースを有しない他の形式の任意の映像画面と同時に並置してもよいし、任意の映像画面を背景にして重ねて表示してもよい。
【００１５】
また、このシステムで生成される拡張データ（ＥＬｄ，ＥＬｂ等）は、映像データ（ＶＤ）の映像上の端部、つまり、映像画面の周縁（ＥＳａ〜ＥＳｄ）から一定の範囲（ＥＤｄ，ＥＤｂ等）の画像情報を参照して生成する。なお、映像データ（ＶＤ）の映像上の端部（ＥＤｄ，ＥＤｂ等）は、映像画面（ＡＶ）における上下及び左右の外縁（ＥＶａ，ＥＶｂ；ＥＶｃ，ＥＶｄ）の近傍を意味する。単純な例としては、最も周縁（ＥＳａ〜ＥＳｄ）側の各ピクセルの画像（画素）情報（ＥＤｄ，ＥＤｂ）をそのままその外側に順次コピーして貼り付ける方法がある〔図４（２）〕。また、周縁（ＥＳａ〜ＥＳｄ）から、１ピクセルを超える一定距離の範囲の画像情報を平均した明るさや色合いの情報で拡張データを生成するようにしてもよいし、更に、周縁（ＥＳａ〜ＥＳｄ）に沿う一定範囲（例えば、隣り合うピクセル）の画像情報を加味して（混ぜ込んで）拡張データを生成するようにしてもよい。さらに、周縁（ＥＳａ〜ＥＳｄ）から外方に離れるに従って明るさや色合い等にグラデーションを付けるようにしてもよい。
【００１６】
さらに、この発明のシステムでは、入力される映像データ（ＶＤ）がインタレース映像データである場合（特に、動画の場合）、この映像データ（ＶＤ）の奇数列データ（奇数フィールドデータＶＤＡ）の各列画像情報で偶数列データ（偶数フィールドデータＶＤＢ）の各列画像情報を書き換えるか、或いは、偶数列データ（ＶＤＢ）の各列画像情報で奇数列データ（ＶＤＡ）の各列画像情報を書き換えて、プログレッシブ化されたプログレッシブ映像データ（ＶＤＣ）を生成し、更に、この映像データ（ＶＤＣ）を、所定の減少割合に応じて定められる所定の列データを削除して垂直方向のサイズが縮小された縮小映像データ（ＶＤｒ’，ＶＤｒ）を生成することにより、歪みが目立たないスムースな映像を得ることができる。
【発明を実施するための最良の形態】
【００１７】
〔システム構成〕
図１は、この発明の一実施例による映像データ処理システムのハードウエア構成例を示すブロック図である。この例では、映像データ処理装置には、映像データ処理（音響データ処理を含む）機能が付いたパーソナルコンピュータ（ＰＣ）などの汎用的なデータ処理装置が用いられるが、映像ミキサー等の映像データ（音響データを含む）専用のデータ処理装置を用いてもよい。この映像データ処理装置は、中央処理装置（ＣＰＵ）１、タイマー２、ランダムアクセスメモリ（ＲＡＭ）３、読出専用メモリ（ＲＯＭ）４、外部記憶装置５、パネル操作子装置６、表示器７、入力インターフェース８、出力インターフェース９など要素を備え、これら要素１〜９はバス１０を介して互いに接続される。
【００１８】
装置全体を制御するＣＰＵ１は、タイマー２によるクロックを利用して各種制御プログラムに従って映像データ処理を含む各種処理を実行する。書込可能なＲＡＭ３は、各種制御プログラムを実行するのに必要な種々の情報を一時的に記憶するためのワーキングメモリとして機能する。また、ＲＯＭ４には、ＣＰＵ１に映像データ処理プログラムなどの各種制御プログラムやデモ用映像データ等の各種データが記憶されている。
【００１９】
外部記憶装置５は、ハードディスク（ＨＤ）などの内蔵記録媒体及びその駆動装置や、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、コンパクトディスク（ＣＤ）、スマートメディア（登録商標）などの移動可能な記録媒体及びその駆動装置で構成され、この映像データ処理装置に対する制御プログラムや種々の設定データ、映像データ、背景乃至効果用音響データ等が記憶される。例えば、この映像データ処理装置を制御するための制御プログラムは、ＲＯＭ４に記憶されていなくても、外部記憶装置５に当該制御プログラムを記憶させておきＲＡＭ３に読み込むことで、ＲＯＭ４に制御プログラムを記憶している場合と同様の動作をＣＰＵ１にさせることができる。
【００２０】
パネル操作子装置６は、キーボードやマウスなどの操作子を備え、これら操作子に対するユーザの操作内容を受け付けて装置本体内に導入する。表示器装置７は、ＬＣＤやＣＲＴ等のディスプレイやインジケータを含み、それらの表示内容をＣＰＵ１からの指令に従って制御してパネル操作子装置６のユーザ操作に対する表示援助を行い、必要に応じて、入出力される映像データを表示することができる。
【００２１】
入力インターフェース８は、ビデオカメラなどの第１の外部映像機器１１及びビデオ再生機やＤＶＤプレーヤ等の第２の外部映像機器１２からの映像データを装置本体に入力するためのインターフェースであり、出力インターフェース９は、この映像データ処理プログラムに従って生成される映像データを外部映像モニター１３に出力し、この映像データに基づく映像を該モニター１３に表示させる。入力インターフェース８から入力された映像データは、直接、或いは、外部記憶装置５に保存された後、同プログラムで処理することができる。また、処理された映像データは、直接、或いは、外部記憶装置５に保存された後、出力インターフェース９から出力することができる。外部映像モニター１３には、好ましくは、ビデオプロジェクターや大型ディスプレイなどの比較的大型の表示手段が用いられる。
【００２２】
なお、図示の入力及び出力インターフェース８，９は、音響データの入出力インターフェースをも表わしており、外部音響データ源から音響データを入力し、或いは、この映像データ処理装置で処理された音響データを外部サウンドシステムに出力する。入力インターフェース８から入力された音響データは、直接、或いは、外部記憶装置５に保存された後、この映像データ処理プログラムによる映像データの生成に並行して実行される音響データ処理プログラムによって、この映像データの効果音や背景音として処理される。また、処理された音響データは、直接、或いは、外部記憶装置５に保存された後、出力インターフェース９から映像データに伴って出力される。
【００２３】
〔端部拡張処理例〕
この発明の一実施例による映像データ処理システムでは、映像データ処理プログラムの端部拡張機能に従って、映像エリアが表示エリアに満たない映像データにおける表示上の端部をスペース部分に拡張することにより、映像エリアの周りに隙間がない映像データを生成することができる。図３及び図４は、この発明の一実施例による端部拡張機能を説明するための図である。
【００２４】
ここで、図３及び図４を用いてこのシステムの端部拡張機能を極く概略的に説明しておく。このシステムで取り扱われる映像データＶＤの実効的な映像エリアＡＶは表示エリアＡＳより小さく、その上下左右（ａ〜ｄ）の周囲は、画像情報の無いスペースＳＢａ〜ＳＢｄで構成される。このような映像データＶＤがシステムに入力されると、まず、映像データＶＤにおける映像エリア端部ＥＤａ〜ＥＤｄ（ＥＤａ，ＥＤｃは図示せず）の画像情報に応じて拡張データＥＬａ〜ＥＬｄ（ＥＬａ，ＥＬｃは図示せず）を生成する。例えば、拡張データＥＬｄ，ＥＬｂは、端部ＥＤｄ，ＥＤｂの画像情報をスペースＳＢｄ，ＳＢｂの分だけコピーしたものである。そして、これら拡張データＥＬａ〜ＥＬｄをスペースＳＢａ〜ＳＢｄに貼り付けることにより、端部ＥＤａ〜ＥＤｄを表示画面ＡＳの周縁ＥＳａ〜ＥＳｄにまで拡張した新たな映像データを生成する。そして、新たな映像データのサイズを縮小して縮小映像データＶＤｒを作成し、表示画面ＡＳの所定位置に描画する。表示画面ＡＳには、同様にして端部が拡張された他の縮小映像データＶＤｓ〜ＶＤｕによる映像が、縮小映像データＶＤｒによる映像と共に、隙間なく並置される。
【００２５】
以下、図３及び図４に従って具体的に説明する。図３（１）は、このシステムで取り扱われる元の映像データＶＤを図解的に表わしている。外部映像モニター１３等の画面に描画可能な領域は、表示エリア（表示画面ともいう）ＡＳで表わされ、サイズについては、所定の規格に従ったピクセル数、例えば、（縦）６４０×（横）４８０ピクセルを有する。これに対して、映像データＶＤにより実効的に映像が表示される領域は、映像エリア（映像画面ともいう）ＡＶで表わされ、映像上のサイズは、左右上下が数ピクセル分の幅だけ表示エリアＡＳよりも小さい。つまり、映像エリアＡＶの周縁ＥＶａ〜ＥＶｄと表示エリアＡＳの周縁ＥＳａ〜ＥＳｄとの間には、画素情報が存在しない空白のピクセルから成るスペース部分（単に「スペース」ともいう）ＳＢａ〜ＳＢｄが形成される。従って、スペースＳＢａ〜ＳＢｄにより、表示エリアＡＳに対して隙間のように映る。
【００２６】
このシステムでは、このような小サイズの映像データＶＤに対して、「端部拡張」機能により、図４（２）に示されるようにスペースＳＢの空白ピクセルに映像データＶＤの端部画像情報を書き込むことで、隙間を無くすることができる。「端部拡張」は、次の２工程から構成され、これにより端部拡張処理を簡単化することができる：
〔１〕映像データＶＤの水平走査方向に対応する列データの両端部ＥＤｃ，ＥＤｄ（ＥＤｃは図示せず）を同走査方向からみて前後に拡張して、列データを伸張する列伸張工程、
〔２〕端部の列データ（最前列及び最後列データ）ＥＤａ，ＥＤｂ（ＥＤａは図示せず）を垂直走査方向からみて前後に拡張する列拡張工程。
【００２７】
すなわち、まず、列伸張工程〔１〕では、映像データＶＤの列データの夫々の前端部ＥＳｃ及び後端部ＥＳｄを画面左右のスペースＳＢｃ，ＳＢｄの分だけ前後に拡張して、列データの伸張を行う。図４（２）の列データ後端部ＥＤｄを拡張する例では、図示右側の（ａ）のように、映像データＶＤの各列データの後端部ＥＤｄの画素情報を、映像エリアＡＶ及び表示エリアＡＳの右側端縁ＥＶｄ，ＥＳｄ間にある右側スペースＳＢｄの（横方向）ピクセル分だけコピーして拡張データＥＬｄを作成し、各拡張データＥＬｄを、同スペースＳＢｄ内の対応する行のピクセルに貼り付けて、各列データの後端部を拡張する。
【００２８】
次いで、列拡張工程〔２〕において、端部の列データ、即ち、列伸張工程〔１〕で伸張された列データ中の最前列及び最後列データＥＤａ，ＥＤｂを、画面上下のスペースＳＢａ，ＳＢｂの列分だけ前後に拡張する（前後に拡張した列は「拡張列」と呼ばれる）。図４（２）の最後列データ（後端部の列データ）ＥＤｂを拡張する例では、最後列データＥＤｂの列画像情報を、両エリアＡＶ，ＡＳの下端縁ＥＶｂ，ＥＳｂ間にある下側スペースＳＢｂの（縦方向）列分だけコピーして拡張データＥＬｂを作成し、この拡張データＥＬｂを、同スペースＳＢｂに貼り付けて、最後列データＥＤｂを拡張する。
【００２９】
このようにして端部が拡張された映像データは、映像エリアが表示エリアＡＳに一致するので、その周りに隙間が無くなり、表示画面のフルエリアＡＳを映すことができる表示手段をモニター１３等に用いても、綺麗な映像を表示することができる。
【００３０】
また、表示画面ＡＳ上に複数の映像を合成して表示する場合は、まず、図４（３）のように、端部拡張後の映像データを縮小するリサイズ処理を行い、縮小映像データＶＤｒを作成する。さらに、同様の端部拡張処理及び縮小処理を施して複数の縮小映像データＶＤｓ〜ＶＤｕを作成する。そして、これらの縮小映像データＶＤｒ〜ＶＤｕを、図４（４）のように、表示画面ＡＳ内の予め定められた位置に組込み配置する。図４（３），（４）では、図１（１）従来例に対応して、同一の映像データサイズを１／２に縮小し、縮小された映像データＶＤｒ〜ＶＤｕに基づく映像を並べて、同一の多映像をトンボの目で見たように複眼表示する例を示している。これにより、４つの縮小映像が密接し然も表示エリアＡＳ内にぴったりと納まり、繋がりがあり一体感を与える映像をモニター１３等に表示することができる。
【００３１】
なお、端部を拡張する場合、各周縁ＥＳａ〜ＥＳｄから１ピクセル又は１行を超える一定距離の範囲のピクセル又は行について、明るさや色合い等の画像情報を平均し、平均した情報に基づき拡張データを生成するようにしてもよい。さらに、周縁ＥＳａ〜ＥＳｄに沿う一定範囲（例えば、隣り合うピクセル）の画像情報を重みを付けて平均化して拡張データを生成するようにしてもよい。また、周縁ＥＳａ〜ＥＳｄから外方に離れるに従って、明るさや色合い等にグラデーションを付けて背景映像（後述）に合うようしてもよい。
【００３２】
また、図４（４）のように複数の同一縮小映像ＶＤｒ〜ＶＤｕを表示する場合、各縮小映像ＶＤｒ〜ＶＤｕに、色合い等に関する異なる映像効果処理や幾何学的変換処理を行って、変化のある映像効果を出すようにすることができる。例えば、同一映像の左右及び上下が反転した縮小映像ＶＤｒ〜ＶＤｕを密接して表示することにより、万華鏡のような映像効果を持たせることができる。ここで、表示画面に対する分割数や分割比率は任意に設定可能である。また、複数映像を合成表示する場合、同一映像でなく異なる縮小映像を並置してもよく、端部拡張処理を経た縮小映像データＶＤｒを、元々周囲にスペースを有しない他の形式の任意の映像と並置してもよいし、縮小映像データＶＤｒを任意の映像を背景にして重ねて表示してもよい。
【００３３】
〔ズームアップ処理例〕
端部拡張では、元の映像データＶＤの周縁ＥＶａ〜ＥＶｄからの一定範囲にある端部の画像情報を参照して得た拡張データを用いて映像データＶＤを拡張したが、元の映像データＶＤによる映像エリアＡＶと表示エリアＡＳのサイズに応じて、映像エリアＡＶの周縁ＥＶａ〜ＥＶｄが表示エリアＡＳの周縁ＥＳａ〜ＥＳｄに一致するように、映像データＶＤに対する縦方向及び横方向の拡大率を決定し、決定された拡大率に応じて映像データをズームアップする方法を採用することにより、隙間を無くすこともできる。なお、ズームアップ後の映像データの縮小や組込み手法は、この場合も、上述の例と変わらない。このズームアップ方法によると、処理負担は増大するが、元の映像データＶＤの全体の画像情報を均等に参照して映像画面ＡＶを伸張するので、端部拡張処理のように拡張後の映像画面ＡＳの周辺部に画像歪みを生じるということがない。
【００３４】
〔プログレッシブ化縮小処理例〕
この発明の一実施例による映像データ処理システムでは、映像データ処理プログラムのプログレッシブ化縮小機能に従いインタレース映像データを一旦プログレッシブ化した後縮小することにより、歪みが目立たない映像データを生成することができる。図５及び図６は、この発明の一実施例によるプログレッシブ化縮小機能を説明するための図である。
【００３５】
ここで、図５及び図６を用いて映像データ処理システムのプログレッシブ化縮小機能を極く概略的に説明しておく。このシステムでは、インターレース映像データＶＤ〔図５（２）〕をリサイズ処理する際に、奇数列データＶＤＡ又は偶数列データＶＤＢのどちらか一方のみ（例えば、奇数列データＶＤＡ）の各列画像情報を採用し（同、偶数列データは削除）、採用した列データの各列画像情報で対応する他方の列データ（同、偶数列データＶＤＢ）の列画像情報を書き換えるという簡単な方法で、簡易的にプログレッシブ化された映像データＶＤＣを生成する〔図５（３ａ）〜図６（４Ａ）〕。その後、この映像データＶＤＣに対し、所定の列データ数減少割合（１／５）に応じて特定列（両矢印）を削除（間引き）して、垂直走査方向（縦方向）に縮小された映像データＶＤｒ’，ＶＤｒを生成し〔図（６）〜（７Ａ）〕、縮小映像データＶＤｒ’，ＶＤｒを外部映像モニター１３等に出力し、歪みが目立たない連続的でスムーズな縮小映像を表示させる。
【００３６】
以下、図５及び図６に従って具体的に説明する。図５（１）は、このシステムで取り扱われる元の映像データ列を図解的に例示したものであり、この例では、映像データ列は、複数フレーム１〜Ｎのインタレース映像データＶＤから成り、各フレーム１〜Ｎの映像データＶＤは１／３０秒間の画像情報を表現している。従って、各フレーム１〜Ｎにおいて、前半１／６０秒の時間経過に従った画像情報は、順次、第１又は奇数フィールドＡの奇数列データで表わされ、後半１／６０秒の時間経過に従った画像情報は、順次、第２又は偶数フィールドＢの偶数列データで表わされる。
【００３７】
図５（２）は、処理を開始する任意の第ｎフレームの映像データＶＤを全列同時に表示画面上に映したとした場合の画像を例示したものであり、左側の数字１，２，…は、水平走査線に対応する列データの番号を示す。なお、この例では、このプログレッシブ化縮小の原理を簡単に説明するために、数字「２」を示す静止画像を用いている。
【００３８】
このシステムでは、かかるインタレース映像データＶＤに対して「プログレッシブ化縮小」機能により特定の列データ（フィールドデータ）のみでプログレッシブ化した上で垂直走査方向（画面では縦方向）の縮小処理を行うので、この方向に隣り合う列の画像情報が時間的に前後しない映像データＶＤｒが得られ、連続的で滑らかな映像を表示することができる。「プログレッシブ化縮小」は次の２工程から成り、図５（３ａ）〜図６（７）は、奇数列データＶＤＡをプログレッシブ化して４／５倍に縮小する場合の例を示す：
〔３〕各フレームの映像データＶＤについて、特定の列データを取り去り、残った列データをプログレッシブ化するプログレッシブ化工程、
〔４〕プログレッシブ化された映像データＶＤＣをリサイズするリサイズ工程。
【００３９】
すなわち、まず、プログレッシブ化工程〔３〕では、映像データＶＤの奇数列データ（奇数フィールドデータ）ＶＤＡ又は偶数列データ（偶数フィールドデータ）ＶＤＢの何れかを破棄し残った列データを倍にコピーして、水平走査を走査線の順番に行うプログレッシブ走査（順次走査）方式に合うような映像データＶＤＣを作成する（これを「プログレッシブ化」といい、作成された映像データを「プログレッシブ映像データ」と呼ぶ）。図示の例では、第ｎフレームの全列映像データＶＤ〔図５（２）〕のうち、第２フィールドＢを構成する偶数列データＶＤＢの画像情報を削除し〔図５（３ｂ）〕、次いで、残った第１フィールドＡの奇数列データＶＤＡ〔図５（３ａ）〕のみについてプログレッシブ化する。つまり、図６（４）に示すように、奇数列データＶＤＡの夫々の列画像情報をこれに続く偶数列にコピーしてプログレッシブ映像データＶＤＣを作成する。そして、第ｎフレーム以下、同様のプログレッシブ化処理を行い、図６（５）に示すように、プログレッシブ映像データＶＤＣを含む新たな映像データ列を得る。なお、プログレッシブ映像データＶＤＣは、そのまま、インタレース走査方式で表示するのであれば、図示のように、第１及び第２フィールドＣＡ，ＣＢに新たな奇数列及び偶数列データを書き込む。
【００４０】
次に、リサイズ工程〔４〕で、プログレッシブ映像データＶＤＣについて、与えられた縮小率に応じて選択される列データを削除して縮小映像データＶＤｒを生成して更新する。図示の例では、プログレッシブ映像データＶＤＣの全列データのうち、図６（４）の両方向矢印で示される列番号１，６，１１，…の５つおきの列データを間引くことによって、図６（６）のように、垂直走査方向のサイズ（表示上の縦サイズ）を４／５倍に縮小する。さらに、必要に応じて、縦サイズが縮小された映像データＶＤｒ’の各列データを５つおきのピクセル毎に間引いて、図６（６）のように、水平走査方向のサイズ（表示上の横サイズ）も４／５倍に縮小したものに更新することができる。
【００４１】
なお、縦サイズが縮小された映像データＶＤｒ’や、縦横両サイズ共に縮小された映像データＶＤｒは、図４（４）の場合と同様に、表示画面ＡＳ内の所定の位置に組み込まれ、並置や重合わせ等で他の映像データと合成して表示することができる。そのため、縮小映像データＶＤｒ’，ＶＤｒは、組込み配置される列位置に応じて、例えば図６（６）の右側又は図６（７）の左側の列番号のように、列データの順序付けが再編成される。また、縮小映像データＶＤｒ’，ＶＤｒは、外部映像モニターがＴＶ用映像表示器であればインタレース走査方式で表示され、プロジェクタ形式の表示器ではプログレッシブ走査で表示される。また、システムの表示器７にてプログレッシブ走査で表示することもできる。
【００４２】
以上の説明では、図５（２）のように、数字「２」が静止している画像を元の映像データＶＤとしたが、例えば、数字「２」が左方向に移動する動画像を表わす映像データＶＤの場合、これを全列同時に表示画面上に映したとすると、図５（２Ａ）のような画像となる。この場合、プログレッシブ映像データＶＤＣは図６（４Ａ）のようになり、縦サイズの縮小により図６（６Ａ）のような縮小映像データＶＤｒ’が得られ、横サイズも縮小することによって、図６（７Ａ）に示すような縮小映像データＶＤｒが得られる。
【００４３】
図６（６Ａ），（７Ａ）のような縮小映像データＶＤｒ’，ＶＤｒは、図１（２）右側に示される従来例の縮小画像と対比して明らかなように、このプログレッシブ化縮小処理により、インタレース映像データＶＤから連続的に滑らかな縮小映像が得られることを物語っている。特に、インタレース走査方式で表示する場合、偶数で割れない数値を分母にした縮小倍率で縦サイズを縮小したものにしたときは、この縮小映像データＶＤｒ’，ＶＤｒによると、ユーザは従来例に比べて格段に滑らかな映像を感得することができる。
【００４４】
〔映像データ処理フロー例〕
図７は、この発明の一実施例による映像データ処理の動作例を示すフローチャートである。この映像データ処理は、「分割効果処理」と呼ばれ、この例では、ユーザによるパネル操作子６の操作に基づく条件設定に従って、選択された任意のインタレース映像データに対して特殊な効果をつけるために、映像データの表示サイズを縮小し、縮小された映像を表示画面に並べて一つの表示画面上に表示するものである。なお、この処理フローによる動作は、１枚（フレーム）の映像データを処理するのにかかる時間（例えば、１／３０秒）に１回行なえばよく、同時に合成表示されるべき映像データが複数あれば、各映像データに対して並行して行われる。
【００４５】
この映像データ処理（分割効果処理）の第１ステップＳ１（以下、ステップ記号“Ｓ…”のみでステップを表わす）では、設定された入力系統の映像データ列（映像信号）から１フレーム毎に映像データＶＤを取得する。すなわち、条件設定では、処理対象とする映像データ源について、ＲＯＭ４、外部記憶装置５、或いは、外部映像機器１１，１２のうち何れの入力系統にある何れの映像データ列とするかが設定され、この映像データ源の設定に応じて、所望の映像データ列が記憶手段４，５から読み出され或いは外部映像機器１１，１２から入力インターフェース８を介して入力され、１フレーム分の映像データＶＤがＲＡＭ３上の所定の作業領域にセットされる。
【００４６】
続いて、表示エリアＡＳに対する映像画面の分割数や組込み枠などの設定に従って、間引き列及び列データの長さ（列長）、適正な組込み先頭位置を特定する（Ｓ２）。つまり、条件設定では、上述の入力系統や映像データ列の他に、例えば、表示画面内に縦横に表示させる映像の数（分割数）や、映像を組み込ませる枠の位置及び上下寸法（即ち、縦方向や横方向のリサイズ率）等が設定され、このような設定状態に応じて、列データの間引きの割合や列長、描画開始位置などの処理条件を特定する。
【００４７】
次に、取得された映像データＶＤを構成する奇数列データＶＤＡ及び偶数列データＶＤＢの何れか、例えば、偶数列データＶＤＢを破棄する（Ｓ３）。これは、プログレッシブ化工程〔３〕の前処理に対応する。〔図５（３ａ），（３ｂ）参照〕
【００４８】
次いで、列伸張工程〔１〕に入り、残りの全ての列データＶＤＡについて、各列データの前端部ＥＤｃ及び後端部ＥＤｄを拡張して列データＶＤＡを表示エリアＡＳの左右端縁ＥＳｃ，ＥＳｄにまで伸張する（Ｓ４）。例えば、残った奇数列データＶＤＡの各列データの前端部ＥＤｃ及び後端部ＥＤｄの画素情報を、夫々、その前後（画面では左右）にスペースＳＢｃ，ＳＢｄの横方向ピクセル分だけコピーした延長データＥＬｃ，ＥＬｄを付けることで、各列データを伸張させ更新する。〔図４（２）（ａ）参照〕
【００４９】
引き続いて、列拡張工程〔２〕に入り、まず、伸張された奇数列データＶＤＡのうち、先頭の最前列データＥＤａを取り出し、この最前列データＥＤａを当該最前列データ及びその前の（複数の）拡張列のデータに採用し（Ｓ５）、次いで、最後列データＥＤｂを取り出し、この最後列データＥＤｂを当該最後列データ及びその後の（複数の）拡張列のデータに採用する（Ｓ６）。つまり、列伸張工程〔１〕（Ｓ４）で伸張した列データ中の最前列及び最終列データＥＤａ，ＥＤｂの列画像情報を、夫々、垂直走査方向からみて前後に（画面では上下に）スペースＳＢａ，ＳＢｂの縦方向列分だけコピーした拡張データＥＬａ，ＥＬｂを、同スペースＳＢａ，ＳＢｂに貼り付けることで、最前列及び最後列データＥＤａ，ＥＤｂを拡張し、最前列以前（上側）及び最後列以降（下側）の列データを作成する。〔図４（２）（ｂ）参照〕
【００５０】
さらに、伸張された奇数列データＶＤＡのその他の列データを取得し、これらの列データを当該列データ及び次の列データに採用する（Ｓ７）。つまり、伸張した他の中間列データの列画像情報を、夫々、その次の列（Ｓ３でデータが破棄された偶数列）にコピーすることで、中間列データをプログレッシブ化する。この処理（Ｓ７）は、前２段の処理（Ｓ５，Ｓ６）と併せて、プログレッシブ化工程〔３〕の本処理に相当し、これにより、端部が拡張されたプログレッシブ映像データＶＤＣが新たに生成される。〔図６（４），（４Ａ）参照。但し、このフローでは、最前列及び最後列データは既にＳ５，Ｓ６での前列及び後列へのコピーによりプログレッシブ化されている点で、図６と相違する。〕
【００５１】
次にリサイズ工程〔４〕に入り、まず、プログレッシブ映像データＶＤＣの列データから、Ｓ２で特定された間引き列を削除する（Ｓ８）。つまり、映像データＶＤＣによる映像の縦方向の大きさに合わせて列データの間引き処理を行い、縦方向縮小映像データＶＤｒ’を作成する。この間引きは、ほぼ均等間隔で行われ、例えば、４／５倍に縮小する場合、垂直走査方向に５列毎に列データが間引かれる。〔図６（６），（６Ａ）参照〕
【００５２】
次いで、必要に応じて、縦方向縮小映像データＶＤｒ’について、全ての列データを、Ｓ２で特定された列長に対応する長さに縮小し（列データの縮小処理）を行い、縦横両方向縮小映像データＶＤｒを作成する（Ｓ９）。例えば、４／５倍に縮小する場合、各列データは水平走査方向に５ピクセル毎に削除され、特定された列長に合う縮小映像データＶＤｒが作成される。〔図６（７），（７Ａ）及び図４（３）参照〕
【００５３】
さらに、間引き乃至縮小処理（Ｓ８，Ｓ９）で生成された縮小映像データＶＤｒ’，ＶＤｒを表示画面上で適正配置されるように組み込む処理を行う（Ｓ１０）。すなわち、縮小データＶＤｒの最前列データの先頭ピクセルの位置を、Ｓ２で特定された開始位置に合わせ、また、各列データの順序付けを再編成して、縮小データＶＤｒが表示画面上の所望位置に描画されるようにセットする。そして、組込み処理（Ｓ１０）で生成された縮小映像データＶＤｒを出力インターフェース９に出力し、その組込み状態に応じた映像が外部映像モニター１３に表示させる表示処理を行う（Ｓ１１）。〔図４（４）参照〕
【００５４】
〔種々の実施態様〕
以上、図面を参照しつつこの発明の好適な実施例を詳述したが、この実施例は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、実施例では、映像エリアＡＶの左右上下の何れにもスペースＥＤａ〜ＥＤｄがある場合について説明したが、映像エリアＡＶの左右又は上下の何れかにのみスペースがある場合は、列拡張工程〔２〕（Ｓ５，Ｓ６）又は列伸張工程〔１〕（Ｓ４）を省略することができる。
【図面の簡単な説明】
【００５５】
【図１】従来技術による画像リサイズ（縮小）及び合成の例を説明するための図である。
【図２】この発明の一実施例による映像データ処理システムのハードウエア構成を表わすブロック図である。
【図３】この発明の一実施例による端部拡張機能を用いた画像合成例を表わす図の一部である。
【図４】この発明の一実施例による端部拡張機能を用いた画像合成例を表わす図の他部である。
【図５】この発明の一実施例によるプログレッシブ化及び縮小処理例を表わす図の一部である。
【図６】この発明の一実施例によるプログレッシブ化及び縮小処理例を表わす図の他部である。
【図７】この発明の一実施例による映像データ処理（分割効果処理）の一例を表わすフローチャートである。
【符号の説明】
【００５６】
ＡＳ  表示画面又は表示エリア、
ＥＳａ，ＥＳｂ，ＥＳｃ，ＥＳｄ  表示画面又は表示エリアＡＳの端縁、
ＶＤ  元の映像データ又はインタレース映像データ、
ＡＶ  映像データＶＤによる映像画面又は映像エリア、
ＥＶａ，ＥＶｂ，ＥＶｃ，ＥＶｄ  映像データＶＤによる映像エリアＡＶの端縁、
ＥＶｂ，ＥＶｄ  映像データＶＤの映像上の端部（右端及び下端部）、
ＥＬｂ，ＥＬｄ  拡張データ（右側及び下側）、
ＳＢａ，ＳＢｂ，ＳＢｃ，ＳＢｄ  スペース（部分）、
ＶＤｒ’，ＶＤｒ  縮小映像データ、
ＶＤＡ，ＶＤＢ  奇数列データ及び偶数列データ、
ＶＤＣ  プログレッシブ映像データ。
【図１】
2005142678.tif 000003
【図２】
2005142678.tif 000004
【図３】
2005142678.tif 000005
【図４】
2005142678.tif 000006
【図５】
2005142678.tif 000007
【図６】
2005142678.tif 000008
【図７】
2005142678.tif 000009