(57)【要約】  ビデオシーケンスを，圧縮された形式のまま編集するための方法及びデバイスである。ビデオ効果を得るため，ビデオ効果を表す編集データ（２２）を，圧縮されたビットストリーム（１００）から得られる差分データ（４０）に適用する。差分データは，差分誤差データ，変換された差分誤差データ，変換され量子化された差分誤差データ，又は変換され符号化された誤差データでよい。ビデオ効果は，ある色又は色の組合せへのフェードイン，ある色又は色の組合せからのフェードアウト，若しくはカラービデオフレーム内の色成分からモノクロビデオフレーム内の色成分へのフェード，を含む。編集演算は，乗算，加算，又はその双方でよい。
2007519310.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスを表すビデオデータを搬送するビットストリームを編集する方法であって，前記ビデオデータは前記ビデオシーケンス中に差分データを含み，前記の方法は，
前記ビットストリームから前記差分データを取得し，
ビデオ効果を得るために，修正されたビットストリーム中に更なるデータを置くように前記差分データを修正する，
ことを特徴とする方法。
【請求項２】
前記の修正は，変換領域で行われることを特徴とする請求項１に記載の方法。
【請求項３】
前記差分データは，差分誤差データを表すことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記ビットストリームは，圧縮されたビットストリームを含み，前記の修正は該圧縮されたビットストリームに対して行われることを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記差分データは，変換された差分誤差データを表すことを特徴とする請求項１又は２に記載の方法。
【請求項６】
前記差分データは，変換され，量子化された差分誤差データを表すことを特徴とする請求項１又は２に記載の方法。
【請求項７】
前記差分データは，変換され，量子化され，符号化された差分誤差データを表すことを特徴とする請求項１又は２に記載の方法。
【請求項８】
前記ビデオ効果は，ある色へのフェードイン効果を有することを特徴とする請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記の色は黒であることを特徴とする請求項８に記載の方法。
【請求項１０】
前記の色は白であることを特徴とする請求項８に記載の方法。
【請求項１１】
前記ビデオ効果は，ある色から他の色へのフェードイン効果を有することを特徴とする請求項１〜７のいずれか一項に記載の方法。
【請求項１２】
前記ビデオ効果は，カラービデオフレーム内の色成分からモノクロビデオフレーム内の色成分へのフェードイン効果を有することを特徴とする請求項１〜７のいずれか一項に記載の方法。
【請求項１３】
ビデオシーケンスを表すビデオデータを搬送するビットストリームの編集に用いるためのビデオ編集デバイスであって，前記ビデオデータは前記ビデオシーケンス中に差分データを含み，前記のデバイスは，
前記ビットストリームから，変換領域における差分データを表す誤差信号を取得するための第１モジュールと，
修正されたビットストリームを得るために，編集効果を表す編集データと前記誤差信号とを混合するための，前記誤差信号に反応する第２モジュールと，
によって特徴付けられるデバイス。
【請求項１４】
前記ビットストリームは圧縮されたビットストリームを含み，前記第１モジュールは，前記差分データを含む複数の変換係数を得るための逆量子化モジュールを備えることを特徴とする請求項１３に記載の編集デバイス。
【請求項１５】
前記編集データは，圧縮領域における複数の編集された変換係数を得るために，変換係数に適用されることを特徴とする請求項１４に記載の編集デバイス。
【請求項１６】
前記第２モジュールは，更なる編集効果を得るために，前記の編集された変換係数に更なる編集データを混合させることを特徴とする請求項１５に記載の編集デバイス。
【請求項１７】
前記ビットストリームは差分データを含む複数の量子化パラメータを含み，前記の修正されたビットストリームを得るために，前記編集データを前記量子化パラメータと混合できるようにすることを特徴とする請求項１３に記載の編集デバイス。
【請求項１８】
ビデオシーケンスを表すビデオデータに反応し，差分データを含む前記ビデオデータを表すビットストリームを得るための第１モジュールと，
ビットストリームに反応し，修正されたビットストリームを得るために編集効果を表す編集データと変換領域における誤差信号とを混合するための第２モジュールと，
によって特徴付けられる電子デバイス。
【請求項１９】
前記ビットストリームは圧縮されたビットストリームを含み，前記第２モジュールは，前記誤差データを含む複数の変換係数を得るための逆量子化モジュールを備えることを特徴とする請求項１８に記載の電子デバイス。
【請求項２０】
前記編集データは，前記圧縮領域において複数の編集された変換係数を得るために，前記変換係数に適用されることを特徴とする請求項１９に記載の電子デバイス。
【請求項２１】
前記第２モジュールは，更なる編集効果を得るために，更なる編集データを前記編集された変換係数と混合するための混合モジュールをさらに備えることを特徴とする請求項２０に記載の電子デバイス。
【請求項２２】
前記ビデオデータを表す信号を得るための電子カメラによってさらに特徴付けられる，請求項１８〜２１のいずれか一項に記載の電子デバイス。
【請求項２３】
前記ビデオデータを表す信号を受信するための受信機によってさらに特徴付けられる，請求項１８〜２２のいずれか一項に記載の電子デバイス。
【請求項２４】
復号されたビデオを表すビデオ信号を得るために，前記の修正されたビットストリームに反応するデコーダによってさらに特徴付けられる，請求項１８〜２３のいずれか一項に記載の電子デバイス。
【請求項２５】
前記の修正されたビットストリームを表すビデオ信号を記憶するための記憶媒体によってさらに特徴付けられる，請求項１８〜２４のいずれか一項に記載の電子デバイス。
【請求項２６】
前記の修正されたビットストリームを送信するための送信機によってさらに特徴付けられる，請求項１８〜２５にいずれか一項に記載の電子デバイス。
【請求項２７】
ビデオ効果を得るために，ビデオシーケンスを表すビデオデータを搬送するビットストリームを編集するためのビデオ編集デバイスにおいて用いられる，計算機可読媒体に組み込まれたソフトウェア製品であって，前記ビデオデータは前記ビデオシーケンス中に差分データを含み，前記ソフトウェア製品は，
前記ビデオ効果を表す編集データを得るための第１コードと，
前記ビットストリーム中に更なるデータを置くために，変換領域における前記差分データに前記編集データを適用するための第２コードと，
を含む複数の実行可能コードによって特徴付けられるソフトウェア製品。
【請求項２８】
前記第２コードは，前記編集データを前記差分データに適用するために，乗算演算を含むことを特徴とする請求項２７に記載のソフトウェア製品。
【請求項２９】
前記第２コードは，前記編集データを前記差分データに適用するために，加算演算を含むことを特徴とする請求項２７に記載のソフトウェア製品。
【請求項３０】
前記編集データは，第１編集データと第２編集データとを含み，前記第２コードは，
編集された差分データを得るために，前記第１編集データを前記差分データに適用するための乗算演算と，
更なるデータを得るために，前記第２編集データを前記の編集された差分データに適用するための加算演算と，
を含むことを特徴とする請求項２７に記載のソフトウェア製品。
【請求項３１】
前記ビデオ効果は，ある色へのフェードイン効果を有することを特徴とする請求項２７に記載のソフトウェア製品。
【請求項３２】
前記ビデオ効果は，ある色からもう一つの色へのフェードイン効果を有することを特徴とする請求項２７に記載のソフトウェア製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，一般的にはビデオ符号化に関し，より特定するならばビデオ編集に関する。
【背景技術】
【０００２】
デジタルビデオカメラは，ますます大衆に普及しつつある。最新の携帯電話機の多くは，ユーザがビデオクリップを撮影し，それを無線ネットワークを通じて送信することができるビデオカメラを備えている。
【０００３】
デジタルビデオシーケンスは非常にファイルサイズが大きい。短いビデオシーケンスでさえ，何十ものイメージからなる。その結果，ビデオは通常圧縮された形式で保存及び／又は転送される。その目的に利用できるいくつかのビデオ符号化技術がある。ＭＰＥＧ−４及びＨ.２６３が，最も広く利用されている無線セルラ環境に適した標準圧縮形式である。
【０００４】
ユーザが，自分の端末で高品質なビデオを生成できるように，ビデオカメラを備えた携帯電話機，通信機器及びＰＤＡのような電子デバイスにビデオ編集能力を提供することは必須である。ビデオ編集は，利用可能なビデオシーケンスを，新しいビデオシーケンスに修正するプロセスである。ビデオ編集ツールによって，ユーザは機能的，美的により良いビデオの表現を制作することを狙って，ビデオクリップにいくつかの効果を適用することができる。ビデオシーケンスにビデオ編集効果を適用するために，いくつかの商用製品が存在する。しかし，これらのソフトウェア製品は主としてＰＣプラットフォームを対象としている。
【０００５】
今日，ＰＣプラットフォームにおいては処理能力，記憶及びメモリの制限は問題ではないので，そのようなビデオ編集製品において使われる技術は，ほとんどは空間領域における，生の形式のビデオシーケンスに対して動作する。言い換えれば，圧縮されたビデオは最初に復号され，次に空間領域で編集効果が導入され，最後に再度ビデオが符号化される。これは，空間領域ビデオ編集演算として知られている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のような仕組みは，処理能力，記憶スペース，利用可能なメモリ及びバッテリ電力の資源が足りない携帯電話機のようなデバイスには適用できない。ビデオシーケンスの復号及び再符号化は，長い時間を要し，多くのバッテリ電力を消費する，コストの掛かる演算である。
【課題を解決するための手段】
【０００７】
先行技術においては，ビデオ効果は空間領域で行われる。より詳しくは，ビデオクリップが最初に伸張され，次にビデオ特殊効果が適用される。最後に，得られたイメージシーケンスが再符号化される。この手法の主な欠点は，特に符号化部が大きな計算上の負荷になることである。
【０００８】
例示のために，ビデオクリップにフェードイン効果及びフェードアウト効果を導入するために行われる演算を考えてみよう。フェードインは，イメージ中の画素が特定の色の組合せに移行する場合，例えば徐々に黒くなる場合を指す。フェードアウトは，イメージの中の画素が，完全な白フレームから表れ始めるように，特定の色の組合せから消えてゆくことを指す。これらは，ビデオ編集において最も広く使われる特殊効果のうちの二つである。
【０００９】
【数１】
2007519310.tif 000003
【００１０】
特定の色Cにシーケンスがフェードする場合，α(x,y,t)は例えば，次のようになる。
α(x,y,t)=C/V(x,y,t)                                      (2)
Cに遷移するとき，他の効果は式(1)で表される。
【００１１】
空間領域における画素値の修正は，所望の効果に応じてビデオシーケンスのさまざまな色成分に適用することができる。修正されたシーケンスは，次に圧縮のためにエンコーダに加えられる。
【００１２】
これらの演算を高速化するため，Meng et al. ("CVEPS - A Compressed Video Editing and Parsing System"，Proc. ACM Multimedia 1966，Boston，pp. 43 - 53) にアルゴリズムが提示されている。このアルゴリズムは，式(2)の演算をＤＣＴレベルで行う方法を示唆しており，８ｘ８ＤＣＴブロックのＤＣ係数に定数αを乗算することによって，画素値を特定の色Cにする。
【００１３】
ほとんどの先行する解決策は空間領域で演算を行っており，計算及びメモリの要求条件が厳しい。空間領域の演算は，完全な復号と，編集されたシーケンスの符号化を必要とする。Meng et al.が示唆した高速化は，実際には，圧縮領域レベルで単一の特定編集効果，すなわち特定色へのフェードインを近似するものである。
【００１４】
ビデオ圧縮技術は，効率的に実行するため，ビデオを形成するフレームの空間冗長性を利用する。最初に，フレームデータは相関をなくすために，離散コサイン変換（ＤＣＴ）領域のような他の領域に変換される。変換されたデータは，次に量子化され，エントロピ符号化がなされる。
【００１５】
さらに，圧縮技術はフレーム間の時間的相関を利用する。フレームを符号化するとき，前の，及び時には将来のフレームを利用することにより，圧縮するデータ量の大幅な減少が得られる。
【００１６】
フレーム内の変化を表現する情報は，引き続くフレームを表現するのに十分である。これは予測と呼ばれ，この方法で符号化されたフレームは，予測（Ｐ)フレーム又はフレーム間（Ｉｎｔｅｒ）フレームと呼ばれる。予測は，（生じる変化が画素ごとに記述されない限り）１００％正確ではないので，誤差を表現する差分フレームがまた，予測手続きを補償するために使われる。
【００１７】
予測情報は，通常，フレーム内のオブジェクトの移動を記述するベクトルとして表現される。これらのベクトルは動きベクトルと呼ばれる。これらのベクトルを検出する手続きを動き検出と呼ぶ。これらのベクトルを使ってフレームを取得することは，動き補償として知られている。
【００１８】
予測は，しばしばフレーム内のブロックに対して適用される。ブロックサイズはアルゴリズムによって異なる（たとえば，８ｘ８又は１６ｘ１６画素，若しくは２ｎｘ２ｍ画素，ｎ，ｍは正整数）。あるブロックは，どんな先行情報からも独立に，すなわち予測なしですべてのブロックデータを送信する方がよいほど，フレーム間で大きく変化する。これらのブロックはフレーム内（Ｉｎｔｒａ）ブロックと呼ばれる。
【００１９】
ビデオシーケンスの中には，フレーム内モードで完全に符号化されているフレームがある。例えば，シーケンスの第１フレームは予測することができないので，フレーム内モードで完全に符号化される。シーンチェンジがあるときなど，前のフレームから大きく異なるフレームもまた，フレーム内モードで符号化される。符号化モードの選択は，ビデオエンコーダによって行われる。図１及び図２は，それぞれ典型的なビデオエンコーダ４１０及びデコーダ４２０を示す。
【００２０】
デコーダ４２０は，多重化ビデオビットストリーム（ビデオとオーディオとを含む）に対して動作し，そのビットストリームは圧縮されたビデオフレームを得るために多重分離される。圧縮されたデータは，量子化され，エントロピ符号化された予測誤差変換係数と，符号化された動きベクトルと，マクロブロックタイプ情報とを有する。復号された量子化変換係数 c(x,y,t)（ここで，x，ｙは係数の座標値，tは時間を表す）は，変換係数 d(x,y,t)を得るために，次の関係を使って逆量子化される。
d(x,y,t) = Q-1(c(x,y,t))                                      (3)
ここで，Q-1は，逆量子化演算である。スカラ量子化においては，式(3)は，次のようになる。
d(x,y,t) = QPc(x,y,t)                                        (4)
ここで，QPは，量子化パラメータである。逆変換ブロックにおいて，変換係数は予測誤差 Ec(x,y,t)を得るために逆変換される。
Ec(x,y,t) = T-1(d(x,y,t))                                    (5)
ここで，T-1は，逆変換演算であり，ほとんどの圧縮技術において逆ＤＣＴである。
【００２１】
もし，データブロックがフレーム内タイプマクロブロックならば，そのブロックの画素値はEc(x,y,t)に等しい。実際には，前に説明したように予測が行われないので，すなわち次のようになる。
R(x,y,t) = Ec(x,y,t)                                        (6)
もし，データブロックがフレーム間タイプマクロブロックならば，そのブロックの画素値は，フレームメモリから取得される参照フレーム R(x,y,t-1) 上で，受信した動きベクトル (Δx,Δy) を使って予測画素位置を探索することによって再構築される。得られる予測フレームは次のとおり。
P(x,y,t) = R(x+Δx,y+Δy,t-1)                                (7)
再構築されたフレームは次のとおり。
R(x,y,t) = P(x,y,t) + Ec(x,y,t)                            (8)
式(1)で与えられるように，編集演算の空間領域表現は次のようになる。
【数２】
2007519310.tif 000004
【００２２】
本発明は，圧縮形式のままのビデオシーケンスに編集演算を行う。この技術は複雑さをもたらす要求条件を相当に減少させ，先行技術に対して重要な高速化を達成する。この編集技術は，ある色又はある色の組合せに対するフェードイン，ある色又はある色の組合せからのフェードアウト，カラービデオフレームにおける色成分からモノクロビデオフレームにおける色成分へのフェードイン，及び原空間に復帰する逆手続きなど，いくつかの編集演算のためのプラットフォームとなる。
【００２３】
本発明の第１の態様は，ビデオシーケンスを表すビデオデータを搬送するビットストリームを編集する方法であって，前記ビデオデータは前記ビデオシーケンス中に差分データを含む。前記の方法は，１）前記ビットストリームから前記差分データを取得し，２）ビデオ効果を得るために，修正されたビットストリーム中に更なるデータを置くように変換領域において前記差分データを修正する。
【００２４】
本発明では，差分データは，差分誤差データ，変換された差分誤差データ，変換され，量子化された差分誤差データ，又は変換され，量子化され，符号化された差分誤差データでよい。
【００２５】
本発明の第２の態様は，ビデオシーケンスを表すビデオデータを搬送するビットストリームの編集において利用するためのビデオ編集デバイスであって，前記ビデオデータは，前記ビデオシーケンス中に差分データを含む。そのデバイスは，１）前記ビットストリームから，変換領域における前記差分データを表す誤差信号を取得する第１モジュールと，２）前記誤差信号に反応して，修正されたビットストリームを得るために，編集効果を表す編集データと前記誤差信号とを混合する第２モジュールとを備える。
【００２６】
本発明では，前記ビットストリームは圧縮されたビットストリームを含み，前記第１モジュールは，前記差分データを含む複数の変換係数を得るための逆量子化モジュールを備える。
【００２７】
本発明では，圧縮領域の複数の編集された変換係数を得るために，前記編集データを前記変換係数に対して，乗算，加算，又は双方によって適用することができる。
【００２８】
前記編集データはまた，差分データを含む量子化パラメータにも適用することができる。
【００２９】
本発明の第３の態様は電子デバイスであって，１）ビデオシーケンスを表すビデオデータに反応し，差分データを含むビデオデータを表すビットストリームを得るための第１モジュールと，２）前記ビットストリームに反応し，修正されたビットストリームを得るために，編集効果を表す編集データと前記の変換領域誤差信号とを混合するための第２モジュールとを備える。
【００３０】
本発明では，前記ビットストリームは圧縮されたビットストリームを含み，前記第２モジュールは，誤差データを含む複数の変換係数を得るための逆量子化モジュールを備える。
【００３１】
前記電子デバイスは，前記ビデオデータを表す信号を得るための電子カメラ，及び／又は前記ビデオデータを表す信号を受信するための受信機をさらに備える。
【００３２】
前記電子デバイスは，前記の修正されたビットストリームに反応し，復号されたビデオを表すビデオ信号を得るためのデコーダ，及び／又は前記の修正されたビットストリームを表すビデオ信号を記憶するための記憶媒体を備えてもよい。
【００３３】
前記電子デバイスは，前記の修正されたビットストリームを送信するための送信機を備えてもよい。
【００３４】
本発明の第４の態様は，ビデオ効果を得るために，ビデオシーケンスを表すビデオデータを搬送するビットストリームを編集するための，ビデオ編集デバイスにおいて用いられるソフトウェアプログラムであって，前記ビデオデータは前記ビデオシーケンス中に差分データを含む。前記ソフトウェアプログラムは，１）前記ビデオ効果を表す編集データを得るための第１コードと，２）前記ビットストリーム中に更なるデータを置くために，変換領域で前記差分データに前記編集データを適用するための第２コードとを含み，該第２コードは乗算演算及び加算演算を含んでもよい。
【００３５】
本発明は，図４〜１１に関する説明を読めば，明らかになるであろう。
【実施例】
【００３６】
本発明において，ビデオシーケンス編集演算は，最小の複雑さで所望の編集効果を得るため，圧縮領域において実行され，あるフレーム（時刻t）に始まり，原クリップに復帰することを含め，効果を変化させる可能性を提供する。
【００３７】
あるチャンネル中で，クリップの編集を行う一端末で起きる編集演算を考えてみよう。編集されたビデオは，図３に示すように他の端末で受信される。入力ビデオクリップと受信した端末との間のコンポーネントは，ビデオ編集演算を実行するためのビデオ編集チャンネル５００である。ビデオ編集演算が時刻 t = t0で始まるとしよう。ビデオクリップに効果を加えるため，その時刻からビットストリームの修正を始める。
【００３８】
前に述べたように，マクロブロックには二つのタイプがある。第１のタイプ，フレーム内モードマクロブロック，を見ると，それらの再構築は，別々の時刻のブロックから独立に得られる（同じフレームで行われるすべての高度なフレーム内予測は割愛する）。それ故，式(1)の編集演算を行うには，差分又は誤差データ Ec(x,y)の修正が必要である。式(5)を式(1)に代入すると次のようになる。
【数３】
2007519310.tif 000005
【数４】
2007519310.tif 000006
【数５】
2007519310.tif 000007
【数６】
2007519310.tif 000008
【数７】
2007519310.tif 000009
式(12)はつぎのように書き換えられる。
【数８】
2007519310.tif 000010
ここで，
【数９】
2007519310.tif 000011
は，圧縮されたＤＣＴ領域における編集された変換係数 d(x,y,t)を表す。図４は，本発明では，編集モジュール５においてどのようにして変換領域において編集効果を加えるかを示している。
【００３９】
図４に示すように，デマルチプレクサ１０は，多重化ビデオビットストリーム１００から復号された量子化変換係数 c(x,y,t)１１０を得るために用いられる。逆量子化器２０は，変換係数 d(x,y,t)１２０を得るために用いられる。ある編集効果α(x,y,t)は，圧縮されたＤＣＴ領域において編集された変換係数α(x,y,t) d(x,y,t)１２２の一部を得るためにブロック２２において導入される。加算器２４は次に，変換領域における追加の編集効果１５０，すなわちχ(x,y,t) ＝ Ｔ(β(x,y,t))を加えるために用いられる。加算後，圧縮されたＤＣＴ領域の編集された変換係数d(x,y,t)１２４が得られる。量子化器２６によって再量子化された後，編集された変換係数は復号され，編集された量子化変換係数１２６になる。これら修正された係数は，次にマルチプレクサ７０によって編集されたビットストリーム１７０としてエントロピ符号化される。
【００４０】
スカラ量子化が用いられ，β(x,y,t)がゼロならば，式(14)は次のように書かれる。
【数１０】
2007519310.tif 000012
【数１１】
2007519310.tif 000013
【００４１】
もし，マクロブロックがフレーム間タイプならば，類似の方法に従い，式(1)に表される編集演算を時刻 t = t0 から適用する。
【００４２】
式(8)に式(7)を適用すると次を得る。
【数１２】
2007519310.tif 000014
ここで，
【数１３】
2007519310.tif 000015
は，動きベクトルと時刻t = t0 におけるバッファされたフレームとを使って得られる動き補償されたフレームである。
【００４３】
すべての時刻 t < t0に対して，予測誤差フレーム及び動きベクトルは，チャンネルの両端で同一である。
【００４４】
送信側で編集演算を適用するとき，次のようにフレームを修正する必要がある。
【数１４】
2007519310.tif 000016
式(16)は，次のように書くことができる。
【数１５】
2007519310.tif 000017
【００４５】
【数１６】
2007519310.tif 000018
【数１７】
2007519310.tif 000019
任意の時刻tに対して効果を適用するには，式(18)は次のようになる。
【数１８】
2007519310.tif 000020
ＤＣＴ領域において，式(19)は次のように書くことができる。
【数１９】
2007519310.tif 000021
【数２０】
2007519310.tif 000022
【００４６】
図６は，上記の修正をどのように実装するかを示している。図６に示されたビデオデコーダ７は二つのセクション，セクション６及びセクション５”を備える。セクション６は通常のビデオデコーダであり，逆変換ブロック３０を用いて変換係数１２０から予測誤差Ec(x,y,t)１３０を取得し，また加算デバイス３２を用いて，空間領域において予測フレームP(x,y,t)１３６を加えることによってフレームR(x,y,t)１３２を再構築する。セクション５は、再構成され、動き補償されたフレームP(x,y,t)１３６のＤＣＴ変換を得るために、変換モジュール３８を用いる。再構成され，動き補償されたフレームの変換領域における係数１３８は，次にスケーリングモジュール４０によってスケールされる。結果１４０は，変換領域における他の編集効果１５０と同様，修正された差分フレームの変換領域における係数１２２に加えられる。変換領域における編集された差分フレームの変換係数１６０は，量子化器２６によって再量子化される。
【００４７】
【数２１】
2007519310.tif 000023
【００４８】
次に掲げるビデオ編集演算は，本技術を記載の設定で用いることにより実行することができる。
【００４９】
（黒へのフェードイン）
黒フレーム（V(x,y) = 0）へのフェードイン効果は，ビデオシーケンスのすべての成分について，上記のステップを輝度及び色成分に用い，また0 < α(x,y,t) < 1及びβ(x,y,t) = 0に選ぶことによって得られる。
【００５０】
（白へのフェードイン）
白フレーム（V(x,y) = 2bitdepth-1，８ビットビデオに関しては255）へのフェードイン効果は，ビデオシーケンスのすべての成分について，上記のステップを輝度及び色成分に用い，また1 < α(x,y,t)及びβ(x,y,t) = 0に選ぶことによって得られる。
【００５１】
（任意の色へのフェードイン）
任意の色をもつフレーム（V(x,y) = C）へのフェードイン効果は，ビデオシーケンスの輝度及び色成分に上記のステップを用い，またα(x,y,t)を所望のステップでその色に導くように選ぶことによって得られる。
【００５２】
（白黒フレーム（モノクロビデオ）へのフェードイン）
白黒へ遷移するフェードインは，色成分をフェードアウトすることによって行われる。これは上記の技術を色成分だけに用いることによって得られる。
【００５３】
（フェードイン演算の後，原シーケンスに復帰させる）
提示された方法は，ビットストリームの修正を差分フレームレベルにのみ導入する。フェードイン効果の後，原シーケンスに復帰させるには，ビットストリームレベルでフェードインの逆演算が必要である。α' = α-1(x,y,t)を用い，同じ技術を適用することにより，原シーケンスに復帰させることができる。カラービデオシーケンスを黒及び白にフェードインした後で復帰させるには，ビットストリームに色成分を遷移的に再包含する必要がある。
【００５４】
本発明では，圧縮領域編集モジュール５及び７は，図７〜９に示すように，一般ビデオエンコーダ又はデコーダと共に用いることができる。例えば，編集モジュール５（図４）又はモジュール５’（図５）は，図７に示すように拡張されたビデオエンコーダ６１０を形成するために，一般ビデオエンコーダ４１０と共に用いることができる。拡張されたエンコーダ６１０は，ビデオ入力を受信し，ビットストリームをデコーダに提供する。そのように，拡張されたエンコーダ６１０は典型的なエンコーダのように動作することができる。すなわち，それはフレーム内モードのフレーム／マクロブロックの圧縮領域ビデオ編集に用いることができる。編集モジュール５又は５’はまた，図８に示すように，拡張されたビデオデコーダ６２０を形成するために一般デコーダ４２０と共に用いることができる。拡張されたビデオデコーダ６２０は，ビデオデータを含むビットストリームを受信し，復号されたビデオ信号を得る。そのように，拡張されたデコーダ６２０は，典型的なデコーダのように動作する。すなわち，それはフレーム内モードのフレーム／マクロブロックの圧縮領域ビデオ編集に用いることができる。編集モジュール７（図６）は，他のバージョンの拡張されたビデオデコーダ６３０を形成するために，一般デコーダ４２０と共に用いることができる。拡張されたビデオデコーダ６３０はビデオデータを含むビットストリームを受信し，復号されたビデオ信号を得る。そのように，拡張されたデコーダ６３０は典型的なデコーダのように動作する。すなわち，それはフレーム内モードのフレーム／マクロブロックの圧縮領域ビデオ編集に用いることができる。
【００５５】
拡張されたエンコーダ６１０は，図１０ａ〜１０ｃに別個に示すとおり，電子デバイスに圧縮領域ビデオ編集機能を提供するために，電子デバイス７１０，７２０又は７３０に組み込むことができる。図１０ａに示すように，電子デバイス７１０はビデオ入力を受信するために拡張されたエンコーダ６１０を備える。エンコーダ６１０の出力からのビットストリームはデコーダ４２０に加えられ，復号されたビデオは例えばディスプレイに表示することができる。図１０ｂに示すように，電子デバイス７２０はビデオを撮像するためのビデオカメラを備える。ビデオカメラからのビデオ信号は，拡張されたエンコーダ６１０に伝えられ，効果的にはエンコーダは記憶媒体に接続される。ビデオカメラからのビデオ入力は前に議論されたように１以上のビデオ効果を得るために編集することができる。図１０ｃに示すように電子デバイス７３０は，拡張されたエンコーダ６１０からのビットストリームを送信する送信機を備える。図１０ｄに示すように電子デバイス７４０は，ビデオデータを含むビットストリームを受信する受信機を備える。ビデオデータは拡張されたデコーダ６２０又は６３０に伝えられる。拡張されたデコーダからの出力は，表示のためにディスプレイに伝えられる。電子デバイス７１０，７２０，７３０，７４０は，移動体端末，計算機，パーソナルディジタルアシスタント，ビデオ録画システム，又はその類似物であり得る。
【００５６】
図４，５及び６に示すとおりブロック２２において得られるビデオ効果は，図１１に示すようにソフトウェアプログラム４２２によって得ることができることを理解すべきである。同様に，追加の編集効果１５０もまた，他のソフトウェアプログラム４２４によって得ることができる。例えば，これらのソフトウェアプログラムは，α(x,y,t)を表す編集データを提供する第１コードと，その編集データを乗算演算により変換係数d(x,y,t)に適用する第２コードとを含む。第２コードはまた，χ(t)を表す他の編集データを変換係数d(x,y,t)，又は編集された変換係数α(x,y,t)d(x,y,t)に適用する加算演算を含むこともできる。
【００５７】
本発明を好ましい実施例に関して説明したが，本技術の当業者であれば，形式及び詳細において，前述及びさまざまな他の変更，削除並びに派生が，本発明の範囲を逸脱することなく可能であることを理解するであろう。
【図面の簡単な説明】
【００５８】
【図１】先行技術のビデオエンコーダプロセスを示すブロック図である。
【図２】先行技術のビデオデコーダプロセスを示すブロック図である。
【図３】典型的なビデオ編集チャンネルを示す構成図である。
【図４】フレーム内モードフレーム／マクロブロックのためのフェードイン及びフェードアウト効果を圧縮領域で行う本発明の実施例を示すブロック図である。
【図５】フレーム内モードフレーム／マクロブロックのためのフェードイン及びフェードアウト効果を圧縮領域で行う本発明の他の実施例を示すブロック図である。
【図６】フレーム間モードフレーム／マクロブロックのためのフェードイン及びフェードアウト効果を圧縮領域で行う本発明の実施例を示すブロック図である。
【図７】本発明の圧縮領域ビデオ編集に用いることができる拡張されたビデオエンコーダを示すブロック図である。
【図８】本発明の圧縮領域ビデオ編集に用いることができる拡張されたビデオデコーダを示すブロック図である。
【図９】本発明の圧縮領域ビデオ編集に用いることができる他の拡張されたビデオデコーダを示すブロック図である。
【図１０ａ】本発明の圧縮領域ビデオ編集デバイスを備える電子デバイスを示すブロック図である。
【図１０ｂ】本発明の圧縮領域ビデオ編集デバイスを備える他の電子デバイスを示すブロック図である。
【図１０ｃ】本発明の圧縮領域ビデオ編集デバイスを備えるさらに他の電子デバイスを示すブロック図である。
【図１０ｄ】本発明の圧縮領域ビデオ編集デバイスを備えるなおさら他の電子デバイスを示すブロック図である。
【図１１】編集効果を得るためのソフトウェアプログラムを示す構成図である。
【図１】
2007519310.tif 000024
【図２】
2007519310.tif 000025
【図３】
2007519310.tif 000026
【図４】
2007519310.tif 000027
【図５】
2007519310.tif 000028
【図６】
2007519310.tif 000029
【図７】
2007519310.tif 000030
【図８】
2007519310.tif 000031
【図９】
2007519310.tif 000032
【図１０ａ】
2007519310.tif 000033
【図１０ｂ】
2007519310.tif 000034
【図１０ｃ】
2007519310.tif 000035
【図１０ｄ】
2007519310.tif 000036
【図１１】
2007519310.tif 000037
【国際調査報告】
2007519310.tif 000038