(57)【要約】【課題】ストリーミング映像動画処理のシステム及び方法の提供。【解決手段】本発明はストリーミング映像動画処理のシステム及び方法に関するものであり、特にリアルタイム処理とストリーミング映像の調整により動画を生成するシステム及び方法に関するものである。これは主に、シリアルの映像入力モジュール、特徴を基礎とした映像処理モジュール、特徴処理モジュール及びシリアル映像出力モジュールを通して、入力した動態映像をリアルタイムに転換して動画を生成するシステムと方法である。【選択図】図１
2006174467.tif 000002
【特許請求の範囲】
【請求項１】
リアルタイムストリーミング映像動画処理システムであり、シリアル映像入力モジュール、特徴を基礎とした映像処理モジュール、特徴処理モジュール、及びシリアル映像出力モジュールを含み、シリアル映像入力モジュールは、リアルタイム連続映像の入力に用い、特徴を基礎とした映像処理モジュールは、入力したリアルタイム連続映像の変換に用い、特徴処理モジュールは、時間パラメータにより、この映像処理モジュールの組み合わせパラメータの生成に用い、及び、シリアル映像出力モジュールは、変更が完了した連続映像の出力に用いることを特徴とする、ストリーミング映像動画処理システム。
【請求項２】
請求項１記載のストリーミング映像動画処理システムにおいて、更に音声処理モジュールを含むことができ、音声データの処理に用いることを特徴とする、ストリーミング映像動画処理システム。
【請求項３】
請求項２記載のストリーミング映像動画処理システムにおいて、前記音声処理モジュールのパラメータ値は、特徴を基礎とした映像処理モジュール及び特徴処理モジュールによって生成されることを特徴とする、ストリーミング映像動画処理システム。
【請求項４】
請求項２記載のストリーミング映像動画処理システムにおいて、更に映像音声処理モジュールを含み、リアルタイムの映像データ及び音声データの処理に用いることを特徴とする、ストリーミング映像動画処理システム。
【請求項５】
請求項１記載のストリーミング映像動画処理システムにおいて、前記特徴処理モジュールは更に次を含み：特徴検出モジュールは、特徴の検出に用い、特徴区分けモジュールは、入力した連続映像の特徴物件或いは特徴エリアの分離に用い、特徴予測モジュールは、特徴検出の補助に用い、特徴平滑モジュールは、特徴の移動軌跡をより滑らかにするために用いることを特徴とする、ストリーミング映像動画処理システム。
【請求項６】
請求項２記載のストリーミング映像動画処理システムにおいて、前記音声処理モジュールは更に次を含み：音声入力モジュールは、受け取った音声の入力に用い、音声変換モジュールは、入力した音声の変換に用い、音声出力モジュールは、変更が完了した音声の出力に用いることを特徴とする、ストリーミング映像動画処理システム。
【請求項７】
請求項４記載のストリーミング映像動画処理システムにおいて、前記映像音声処理モジュールは更に次を含み：映像音声同期モジュールは、出力する映像データと音声データの同期処理に用い、或いは映像音声合成モジュールは、出力する映像データと音声データの合成処理に用いることを特徴とする、ストリーミング映像動画処理システム。
【請求項８】
請求項１記載のストリーミング映像動画処理システムにおいて、前記入力のリアルタイム連続映像は、イメージ取得装置或いはイメージ取得ソフトウェアにより作成された動画映像ファイルまたは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理システム。
【請求項９】
請求項１記載のストリーミング映像動画処理システムにおいて、前記入力のリアルタイム連続映像は、映像生成装置により生成された動画映像ファイルまたは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理システム。
【請求項１０】
請求項１記載のストリーミング映像動画処理システムにおいて、前記出力のリアルタイム連続映像は、動画映像ファイルまたは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理システム。
【請求項１１】
ストリーミング映像動画の処理方法であり、少なくとも以下の手順が含まれ、
(a)  シリアル映像入力モジュールを通して、リアルタイム連続映像を取得し、
(b)  特徴処理モジュールを使用し、各時間点を連続映像のパラメータに変換し、
(c)  特徴を基礎とした映像処理モジュールを使用して連続映像を変換し、
(d)  シリアル映像モジュールを通して、前記変更を完了した連続映像を出力することを特徴とする、ストリーミング映像動画の処理方法。
【請求項１２】
ストリーミング映像動画処理の方法であり、少なくとも以下の手順が含まれ、
(a)  シリアル映像入力モジュールを通してリアルタイム連続映像を取得し、
(b)  特徴を基礎とした映像処理モジュールは特徴区域に対して映像処理を行い、少なくとも1つの特徴映像を生成し、
(c)  特徴処理モジュールを使用して、異なる時間点において手順(b)中の映像処理パラメータを調節し、
(d)  調節を完了した少なくとも1つの特徴映像を合併して生成し、及び、
(e)  シリアル映像出力モジュールを通じて、前記調整を完了した少なくとも1つの特徴映像を重ね合わせた後のリアルタイム連続映像を出力することを特徴とする、ストリーミング映像動画処理の方法。
【請求項１３】
請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記入力のリアルタイム連続映像に特徴映像或いは特徴区域が含まれる時、この方法は更にこの特徴データの処理を行う手順を含むことを特徴とする、ストリーミング映像動画処理の方法。
【請求項１４】
請求項１３記載のストリーミング映像動画処理の方法において、前記映像処理の方法には以下の手順が含まれ、
(a)  特徴の検出、及び、
(b)  特徴の予測或いは特徴平滑或いは特徴区分け或い配列組み合わせことを特徴とする、ストリーミング映像動画処理の方法。
【請求項１５】
請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記入力したリアルタイム連続映像に音声データが含まれるとき、前記方法は更にこの音声データの処理を行う手順を含むことを特徴とする、ストリーミング映像動画処理の方法。
【請求項１６】
請求項１５記載のストリーミング映像動画処理の方法において、前記音声データ処理の方法には以下の手順が含まれ、
(a)  音声の入力、
(b)  音声の変更、
(c)  音声の出力ことを特徴とする、ストリーミング映像動画処理の方法。
【請求項１７】
請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記入力したリアルタイム連続映像中に音声データが含まれる時、前記方法は更にこのリアルタイム映像及び音声データの処理を行う手順を含むことを特徴とする、ストリーミング映像動画処理の方法。
【請求項１８】
請求項１７記載のストリーミング映像動画処理の方法において、前記映像及び音声データ処理の方法には、映像音声同期或いは映像音声合成を含むことを特徴とする、ストリーミング映像動画処理の方法。
【請求項１９】
請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記入力した連続映像はイメージ取得装置が作成する動画映像ファイル或いは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理の方法。
【請求項２０】
請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記入力した連続映像は映像生成装置が生成する動画映像ファイル或いは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理の方法。
【請求項２１】
請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記出力の連続映像は動画映像ファイル或いは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はリアルタイム処理とストリーミング映像の調整により動画を生成するシステム及び方法に関するものであり、主として入力した動態映像を即時に転換して動画を生成するシステムと方法である。
【背景技術】
【０００２】
既知の技術中、映像動画の製作には以下の幾つかの方法が含まれる。
（１）動画家がストーリーの必要に応じて手書きで完成させる方式。完全に手書きで完成させるため、描く者には相当な芸術的才能が必要とされ、一般人により完成することは難しい。また製作時間も長く、通常は何時間も必要である。
（２）コンピュータのパッケージソフトウェアにより動画を生成する。この類のコンピュータ パッケージソフトウェアが動画を作成する原理は基本的に配列組み合わせの方式で行われ、この類のコンピュータで動画を製作する場合、プロフェッショナルな技術が不必要なため、誰でも素早く面白い動画を組み合わせられる。しかし、組み合わせ可能なユニットの種類と数に制限されるため、この類のコンピュータ パッケージソフトウェアは、リアルタイム生成のストリーミング映像の動画生成など、特定効果の動画を作成するのは容易ではない。
（３）映像処理ソフトウェアを使用して特殊機能により映像オブジェクトに逐次処理を行う。例えば、Adobe Photoshop中の変形フィルタ機能を使用して、映像オブジェクトにねじり変形を加え、歪み鏡のような面白い効果を実現する。この種の方法で動画を製作するには、手作業により複雑な映像処理ツールを反復操作する必要があり、使用者は映像処理ツールの全ての機能に熟練し、美学の素養を備えた専業人員である必要がある。全ての操作手順は手作業であり保留できず、また各映像オブジェクト件に個別の処理が必要で、複雑な過程は専業知識を必要とし、一般人が思うままに完成できるものではない。且つこの類の映像処理ソフトウェアはリアルタイムで発生したストリーム映像に対して動画生成機能は提供せず、この類の映像処理ソフトウェアの深刻な不足点となっている。
（４）本件出願人により獲得された特許「Ｉｍａｇｅ−Ａｄｊｕｓｔｉｎｇ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ（画像調整システム及び方法）」に記載の映像変形或いは処理の方式は、静態映像の連続処理の方式を利用し、動態の効果を実現できるものの、各画面すべてに検出と変形の処理を経る必要があり、其々の前後関係を利用しない方法のため、一方では機能面に満足できるものではなく、他方では画面の流暢性と連続性の程度において何れも不完全な部分がある。既知の技術において、徐々にリアルタイムのストリーミング映像を使用した動画生成に関するシステム及び方法が言及されつつあるものの、この類のリアルタイムのストリーミング映像を使用して動画を生成するシステム及び方法は、リアルタイム映像オブジェクトの全域に対して処理及び出力を行うのみであり、前景や背景の処理及び出力を行うなど、リアルタイム映像オブジェクト件の部分区域に対して行うことはできない。また音声付きの映像に対して映像と音声の同期や映像と音声の合成の処理を行うことはできず、この類のシステム及び方法には、かなり多く改善の余地が存在する。
【０００３】
従って、上述の問題と欠点に対し、本発明は一種の革新によるストリーミング映像動画システムと方法を提出し、既知の技術において映像処理ツールの複雑さと専業の技術的素養が必要な欠点を改善できるだけでなく、リアルタイム発生のストリーミング映像の動画生成にも対処できる。本発明人は長年に渡り関連製品の研究、開発、販売の実務経験に携わった経験から、改良を思い立ち、個人の専業知識に頼り、多方面の研究設計、題材を絞った探求により、終にストリーミング映像動画システムと方法の研究に成功し、既知の技術が直面する各種の欠点と問題を有効に解決可能となった。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の主要な目的は、ストリーミング映像動画処理システム及び方法を提供する点にあり、特にリアルタイム処理とストリーミング映像の調整により動画を生成するシステム及び方法に関するものである。これは主に、シリアルの映像入力モジュール、特徴を基礎とした映像処理モジュール、特徴処理モジュール及びシリアル映像出力モジュールを通して、入力した動態映像をリアルタイムに変更して動画を生成するシステムと方法である。
【課題を解決するための手段】
【０００５】
請求項１の発明は、リアルタイムストリーミング映像動画処理システムであり、シリアル映像入力モジュール、特徴を基礎とした映像処理モジュール、特徴処理モジュール、及びシリアル映像出力モジュールを含み、シリアル映像入力モジュールは、リアルタイム連続映像の入力に用い、特徴を基礎とした映像処理モジュールは、入力したリアルタイム連続映像の変換に用い、特徴処理モジュールは、時間パラメータにより、この映像処理モジュールの組み合わせパラメータの生成に用い、及びシリアル映像出力モジュールは、変更が完了した連続映像の出力に用いることを特徴とする、ストリーミング映像動画処理システムとしている。
請求項２の発明は請求項１記載のストリーミング映像動画処理システムにおいて、更に音声処理モジュールを含むことができ、音声データの処理に用いることを特徴とする、ストリーミング映像動画処理システムとしている。
請求項３の発明は、請求項２記載のストリーミング映像動画処理システムにおいて、前記音声処理モジュールのパラメータ値は、特徴を基礎とした映像処理モジュール及び特徴処理モジュールによって生成されることを特徴とする、ストリーミング映像動画処理システムとしている。
請求項４の発明は、請求項２記載のストリーミング映像動画処理システムにおいて、更に映像音声処理モジュールを含み、リアルタイムの映像データ及び音声データの処理に用いることを特徴とする、ストリーミング映像動画処理システムとしている。
請求項５の発明は、請求項１記載のストリーミング映像動画処理システムにおいて、前記特徴処理モジュールは更に次を含み：特徴検出モジュールは、特徴の検出に用い、特徴区分けモジュールは、入力した連続映像の特徴物件或いは特徴エリアの分離に用い、特徴予測モジュールは、特徴検出の補助に用い、特徴平滑モジュールは、特徴の移動軌跡をより滑らかにするために用いることを特徴とする、ストリーミング映像動画処理システムとしている。
請求項６の発明は、請求項２記載のストリーミング映像動画処理システムにおいて、前記音声処理モジュールは更に次を含み：音声入力モジュールは、受け取った音声の入力に用い、音声変換モジュールは、入力した音声の変換に用い、音声出力モジュールは、変更が完了した音声の出力に用いることを特徴とする、ストリーミング映像動画処理システムとしている。
請求項７の発明は、請求項４記載のストリーミング映像動画処理システムにおいて、前記映像音声処理モジュールは更に次を含み：映像音声同期モジュールは、出力する映像データと音声データの同期処理に用い、或いは映像音声合成モジュールは、出力する映像データと音声データの合成処理に用いることを特徴とする、ストリーミング映像動画処理システムとしている。
請求項８の発明は、請求項１記載のストリーミング映像動画処理システムにおいて、前記入力のリアルタイム連続映像は、イメージ取得装置或いはイメージ取得ソフトウェアにより作成された動画映像ファイルまたは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理システムとしている。
請求項９の発明は、請求項１記載のストリーミング映像動画処理システムにおいて、前記入力のリアルタイム連続映像は、映像生成装置により生成された動画映像ファイルまたは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理システムとしている。
請求項１０の発明は、請求項１記載のストリーミング映像動画処理システムにおいて、前記出力のリアルタイム連続映像は、動画映像ファイルまたは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理システムとしている。
【０００６】
請求項１１の発明は、ストリーミング映像動画の処理方法、少なくとも以下の手順が含まれ、
(a)  シリアル映像入力モジュールを通して、リアルタイム連続映像を取得し、
(b)  特徴処理モジュールを使用し、各時間点を連続映像のパラメータに変換し、
(c)  特徴を基礎とした映像処理モジュールを使用して連続映像を変換し、
(d)  シリアル映像モジュールを通して、前記変更を完了した連続映像を出力することを特徴とする、ストリーミング映像動画の処理方法としている。
請求項１２の発明は、ストリーミング映像動画処理の方法、少なくとも以下の手順が含まれ、
(a)  シリアル映像入力モジュールを通してリアルタイム連続映像を取得し、
(b)  特徴を基礎とした映像処理モジュールは特徴区域に対して映像処理を行い、少なくとも1つの特徴映像を生成し、
(c)  特徴処理モジュールを使用して、異なる時間点において手順(b)中の映像処理パラメータを調節し、
(d)  調節を完了した少なくとも1つの特徴映像を合併して生成し、及び、
(e)  シリアル映像出力モジュールを通じて、前記調整を完了した少なくとも1つの特徴映像を重ね合わせた後のリアルタイム連続映像を出力することを特徴とする、ストリーミング映像動画処理の方法としている。
請求項１３の発明は、請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、該当入力のリアルタイム連続映像に特徴映像或いは特徴区域が含まれる時、この方法は更にこの特徴データの処理を行う手順を含むことを特徴とする、ストリーミング映像動画処理の方法としている。
請求項１４の発明は、請求項１３記載のストリーミング映像動画処理の方法において、前記映像処理の方法には以下の手順が含まれ、
(a)  特徴の検出、及び、
(b)  特徴の予測或いは特徴平滑或いは特徴区分け或い配列組み合わせことを特徴とする、ストリーミング映像動画処理の方法としている。
請求項１５の発明は、請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記入力したリアルタイム連続映像に音声データが含まれるとき、前記方法は更にこの音声データの処理を行う手順を含むことを特徴とする、ストリーミング映像動画処理の方法としている。
請求項１６の発明は、請求項１５記載のストリーミング映像動画処理の方法において、前記音声データ処理の方法には以下の手順が含まれ、
(a)  音声の入力、
(b)  音声の変更、
(c)  音声の出力ことを特徴とする、ストリーミング映像動画処理の方法としている。
請求項１７の発明は、請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記入力したリアルタイム連続映像中に音声データが含まれる時、前記方法は更にこのリアルタイム映像及び音声データの処理を行う手順を含むことを特徴とする、ストリーミング映像動画処理の方法としている。
請求項１８の発明は、請求項１７記載のストリーミング映像動画処理の方法において、前記映像及び音声データ処理の方法には、映像音声同期或いは映像音声合成を含むことを特徴とする、ストリーミング映像動画処理の方法としている。
請求項１９の発明は、請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記入力した連続映像はイメージ取得装置が作成する動画映像ファイル或いは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理の方法としている。
請求項２０の発明は、請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記入力した連続映像は映像生成装置が生成する動画映像ファイル或いは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理の方法としている。
請求項２１の発明は、請求項１１或いは請求項１２記載のストリーミング映像動画処理の方法において、前記出力の連続映像は動画映像ファイル或いは動画映像ストリーミングとすることができることを特徴とする、ストリーミング映像動画処理の方法としている。
【発明の効果】
【０００７】
本発明のストリーミング映像動画処理のシステム及び方法は、シリアルの映像入力モジュールを通じて、リアルタイム映像の入力に用いる。この映像は、カメラを通した映像入力、またはネットワークビデオ会議のネットワーク映像動画、或いは既存の動画映像ファイルなどの、リアルタイムのストリーミング連続動画映像でもよい。更に、特徴を基礎とした映像処理モジュールを通し、映像の変更を行うか、或いは特徴区分けモジュールにより入力リアルタイム映像の前景と背景を分離する。更に特徴処理モジュールを通して、時間パラメータを根拠に、映像変形モジュールの組み合わせパラメータを変更し、最後にシリアル映像出力モジュールを通じて、完成したリアルタイムの連続映像を出力する。以上の各モジュールの機能を通じ、本発明は映像中の特徴映像を分離し、また各特徴映像を調整してリアルタイム連続動画を生成することができる。本発明は既知の技術が複雑な映像処理ツール及び専業の芸術的素養を必要とする欠点を改善するだけではなくて、更にリアルタイムに発生するストリーミング映像の動画生成に対処することもできる。
【発明を実施するための最良の形態】
【０００８】
図１を参照されたい。図１は本発明の実施例のシステム構造図である。図１から次の内容が分かる。本発明100のストリーミング映像動画処理システムは以下を含む：シリアルの映像入力モジュール101はリアルタイム連続映像の入力に用いる。この映像は、カメラを通した映像入力、またはネットワークビデオ会議のネットワーク映像動画などのネットワーク動画、或いはコンピュータ上に保存された動画ファイルなどの既存の動画ファイルでもよい；特徴を基礎とした映像処理モジュール102は入力映像とその特徴により映像の転換を行うのに用いる；特徴処理モジュール103は時間変数により、映像変形モジュールの組み合わせパラメータを変更するために用いる；シリアル映像出力モジュール104は、リアルタイム連続映像の出力に用いられる。本発明の以上の各モジュールの機能を通し、本発明は入力したリアルタイム映像を変換し、リアルタイム連続動画を生成することができる。
【０００９】
図２を参照されたい。図２は本発明のもう一つの実施例のシステム構造図である。図２から次の内容が分かる。本発明100のストリーミング映像動画処理システム更に次を含むことができる：特徴区分けモジュール1033は特徴処理モジュール103内にあり、入力したリアルタイム映像における各特徴の映像の分離に用い、また各特徴の映像を調整してリアルタイムの連続動画を生成する；音声処理モジュール106は入力したリアルタイム映像データ中に同時に音声データを含む場合の音声データを処理する；映像音声処理モジュール107は、リアルタイム映像データ及び音声データの処理に用いる。
【００１０】
図３を参照されたい。図３は本発明における特徴処理モジュール、音声処理モジュール及び映像音声処理モジュールの詳細な構造をより詳細に説明する。図３から次の内容が分かる。本発明中の特徴処理モジュール103は更に以下を含む：特徴検出モジュール1030は映像の特徴の検出に用いる；特徴予測モジュール1031は特徴検出の補助に用いる；特徴平滑モジュール1032は特徴の移動軌跡をより滑らかにするために用いる；特徴区分けモジュール1033は入力したリアルタイム映像の各特徴映像の分離に用いる。本発明における音声処理モジュール106は更に以下を含む：音声入力モジュール1061は音声入力の受け入れに用いる；音声変換モジュール1062は入力音声の変換に用いる；音声出力モジュール1063は変換を完了した音声の出力に用いる。本発明中における映像音声処理モジュール107は更に以下を含む：映像音声同期モジュール1071は出力した映像データと音声データの同期作業に用いる；映像音声合成モジュール1072は出力する映像データと音声データを合成する作業に用いる。
【００１１】
以下の実施例により本発明の実際の運用状況をよりはっきり理解することが可能である。図４を参照すること。図４から次の内容が分かる。Aの人物像はカメラから直接入力したリアルタイム映像画面であり、入力のデータストリームは連続動態映像である。本発明の特徴を基礎とした映像処理モジュールを通じて人物像の顔部分の各エリアを不断に更新することにより、顔の五官と表情の動態変化を作成し、連続したリアルタイム出力映像ストリームを生成することにより、B、C、D、E及びF中に示す人物像効果を得ることができる。本発明が明らかにする技術は、特徴軌跡のベクトル変更における連続性の差異に従い、特徴を基礎とした映像処理モジュールの変換パラメータを決定し、異なる動きの量に応じて異なる変化の効果を生み出す。
【００１２】
図５を参照されたい。図５では女性が眩暈に襲われた時の動画効果を想定している。図５から次の内容が分かる。Aの人物像はカメラから直接入力したリアルタイム映像画面であり、その入力データストリームは動態連続映像である。本発明の特徴区分けモジュールの処理を通し、更に本発明の特徴を基礎とした映像処理モジュールを通じて特徴映像の各部分の区域を不断に変換する。変換方式は特徴点の変換ベクトルに従い、このベクトルに応じて各区域の変形を完了した後、連続したリアルタイムの出力映像ストリームを生成する。生成した効果はB及びCに示すとおりである。
【００１３】
更に図６を参照されたい。図６は本発明がリアルタイムで女性の皮膚品質を改変する実施例である。図６から次の内容が分かる。Aの女子人物像はカメラで直接入力したリアルタイム映像画面であり、入力したデータストリームは動態連続映像である。本発明の特徴を基礎とした映像処理モジュールを通じて、皮膚区域などの特定区域に不断の映像処理を行い、きめ細かな皮膚質、皮膚の美白効果などを得る。映像処理の完了後、更に連続したリアルタイム出力映像ストリームを生成し、Bに示すような効果を生み出す。
【００１４】
更に図７を参照されたい。図７は本発明がリアルタイムで物体の背景を改変する実施例を説明する。図７から次の内容が分かる。Aの男子の人物像はカメラから直接入力したリアルタイム映像画面であり、入力データは動態連続映像である。本発明の特徴区分けモジュールで特徴物体(人物像)及び背景映像データを認識し、更に本発明の特徴を基礎とした映像処理モジュールを通じて、特徴物体及び背景映像に対して、人物像の表情変化、主題物体(人物像)及び背景データの明るさ増加や柔らかさを増すなど、映像変換処理を不断に行う。映像処理が完了した後、更に連続リアルタイムの出力映像ストリームを生成し、B及びCが示す効果を生み出す。
【００１５】
更に図８を参照されたい。図８の実施例は本発明のリアルタイムのバーチャル物件合成の状況を説明する。図８から次の内容が分かる。Aの男性人物像はカメラから直接入力したリアルタイム映像画面であり、入力データは動態連続映像である。本発明の映像特徴検出モジュールを通じて特徴物体(人物像)を認識し、特徴物体の位置により、本例中の誇張した眼球などのバーチャル物件を動態に追加でき、適当な旋回移動縮小を通じ、結果を特徴物体の上に貼り付け、連続リアルタイム出力映像を生成し、その効果はB及びCに示されている。本発明が明らかにする技術でも、特徴軌跡のベクトル変更における連続性の差異に従い、特徴を基礎とした映像処理モジュールの変換パラメータを決定し、異なる動きの量に応じて異なるバーチャル物件を使用する。
【００１６】
更に図９を参照されたい。図９は交互作用バーチャル物件の実施例である。図９から次の内容が分かる。Aの二人の女子人物像はカメラから直接入力したリアルタイム映像画面であり、入力データストリームは動態連続映像である。本発明の特徴区分けモジュールを通して特徴物体及び背景を分離する。更に特徴を基礎とした映像処理モジュールにより、交互作用物件の行為と位置を不断に決定し、結果を特徴物体以外の区域に貼り付け、また連続リアルタイム出力映像ストリームを生成し、その生み出した効果はBに示されている。
【００１７】
更に図１０を参照されたい。図１０は本発明の実施例の操作フロー図である。図１０に示すように、本発明の実施例の操作フローには少なくとも以下の手順が含まれる：
手順1011：シリアルの映像入力モジュールを通じてリアルタイム連続映像を取得する；
手順1012：特徴を基礎とした映像処理モジュールを利用して、特徴区域に映像処理を行い、少なくとも1つの特徴映像を生成する；
手順1013：特徴処理モジュールを使用して、異なる時間点において1012中の映像処理パラメータを調節する；
手順1014：その調節を完了した少なくとも1つの特徴映像を合併して生成する；及び
手順1015：シリアル映像出力モジュールを通じて、調節を完了した少なくとも1つの特徴映像を重ね合わせた後のリアルタイム連続映像を出力する。
【００１８】
以上の実施例は本発明の実施範囲を限定するものではなく、本発明に基づきなしうる細部の修飾或いは改変は、いずれも本発明の請求範囲に属するものとする。
【図面の簡単な説明】
【００１９】
【図１】本発明のシステム構造図である。
【図２】本発明の実施例のシステム構造図である。
【図３】本発明のもう1つの実施例のシステム構造図である。
【図４】本発明の実施例を示す図である。
【図５】本発明のもう1つの実施例を示す図である。
【図６】本発明のもう1つの実施例を示す図である。
【図７】本発明のもう1つの実施例を示す図である。
【図８】本発明のもう1つの実施例を示す図である。
【図９】本発明のもう1つの実施例を示す図である。
【図１０】本発明の操作フロー図である。
【符号の説明】
【００２０】
100    本発明
101    シリアル映像入力モジュール
102    特徴を基礎とした映像処理モジュール
103    特徴処理モジュール
1030  特徴検知モジュール
1031  特徴予測モジュール
1032    特徴平滑モジュール
1033    特徴区分けモジュール
104    シリアル映像出力モジュール
106  音声処理モジュール
1061    音声入力モジュール
1062    音声変換モジュール
1063    音声出力モジュール
107    映像音声処理モジュール
1071  映像音声同期モジュール
1072  映像音声合成モジュール
【図１】
2006174467.tif 000003
【図２】
2006174467.tif 000004
【図３】
2006174467.tif 000005
【図１０】
2006174467.tif 000006
【図４】
2006174467.tif 000007
【図５】
2006174467.tif 000008
【図６】
2006174467.tif 000009
【図７】
2006174467.tif 000010
【図８】
2006174467.tif 000011
【図９】
2006174467.tif 000012