(57)【要約】【課題】動画像への映像効果の付与に際し、符号化効率や画質の面で優れた編集を行うこができる動画編集装置を提供すること。【解決手段】重み情報算出処理S21は、映像効果を付与する位置、区間および種類を入力とし、参照画素との間での相対的な画素値変化を制御する重み情報を算出する。編集後の参照画像が画素値一様で片方向予測の場合、逆動き補償処理S22でフレーム内符号化情報に変更し、双方向予測の場合、MV制御処理S23で動き情報を変更すると共に片方向予測に変更する。変換係数算出処理S24は、編集後の、参照画素からの相対的な画素値変化を表現する変換係数を算出する。その後、編集後の重み情報、変換係数、符号化タイプ情報、動き情報および参照フレーム情報を可変長符号化する。【選択図】図２
2008252578.tif 000002
【特許請求の範囲】
【請求項１】
変換符号化された動画像を編集して映像効果を付与する動画編集装置において、
入力される符号化動画像を可変長復号し、符号領域での編集に必要な符号情報を抽出する可変長復号手段と、
映像効果に応じて参照関係を変更するとともに、前記可変長復号手段により抽出された符号情報を編集することにより画素値を変化させる編集処理手段と、
前記編集処理手段により編集された符号情報を可変長符号化し、映像効果が付与された動画像として出力する可変長符号化手段とを備えたことを特徴とする動画編集装置。
【請求項２】
前記編集処理手段は、
映像効果を付与する位置、区間および種類を入力とし、参照画素との間での画素値変化を制御する重み情報を算出する重み情報算出手段と、
フレーム間符号化での符号情報、符号化タイプ情報および参照フレーム情報を入力とし、映像効果に応じて符号化情報をフレーム内符号化情報に変更するとともに、符号化タイプ情報および参照フレーム情報を変更する逆動き補償手段と、
フレーム間符号化での参照フレーム情報および動き情報を入力とし、映像効果に応じて変更された参照フレーム情報および動き情報を出力する動き情報制御手段と、
前記重み情報算出手段により算出された重み情報、前記逆動き補償手段により変更された符号化情報、符号化タイプ情報および参照フレーム情報、前記動き情報制御手段により変更された参照フレーム情報および動き情報に基づいて変換係数を操作し、映像効果に応じた変換係数を出力する編集手段を備えたことを特徴とする請求項１に記載の動画編集装置。
【請求項３】
前記重み情報算出手段は、
映像効果を付与する区間および種類に従って、参照画素との間での画素値変化を制御する重み情報として重み係数およびオフセット係数を算出することを特徴とする請求項２に記載の動画編集装置。
【請求項４】
前記編集手段は、
映像効果が付与されて参照フレームの情報量が少なくなった場合、被参照画像を前記逆動き補償手段により変更されたフレーム内符号化情報あるいは他の参照フレームを参照するフレーム間符号化情報として編集することを特徴とする請求項２に記載の動画編集装置。
【請求項５】
前記逆動き補償手段は、
フレーム間符号化の残差成分を逆動き補償によって再構成してフレーム内符号化情報に相当する情報を生成し、これをフレーム間符号化の残差成分として保持することを特徴とする請求項２に記載の動画編集装置。
【請求項６】
前記逆動き補償手段は、
フレーム間符号化の残差成分を逆動き補償によって再構成してフレーム内符号化情報に相当する情報を生成し、これをＤＣ予測でフレーム内符号化して保持することを特徴とする請求項２に記載の動画編集装置。
【請求項７】
前記動き情報制御手段は、
参照関係の変更に応じ、参照フレームの相対的位置関係に従って動き情報の方向および長さを制御することを特徴とする請求項２に記載の動画編集装置。
【請求項８】
前記動き情報制御手段は、
参照されなくなった参照フレームに対する動き情報を破棄するとともに参照関係を変更することを特徴とする請求項２に記載の動画編集装置。
【請求項９】
前記編集手段は、
フレーム内符号化画像およびフレーム間符号化画像の変換係数に前記重み情報算出手段で算出された重み係数を乗算する手段を備えたことを特徴とする請求項３に記載の動画編集装置。
【請求項１０】
前記編集手段は、
フレーム内符号化画像の変換係数の一部の直流成分に前記重み情報算出手段で算出されたオフセット係数の定数倍を加算する手段を備えたことを特徴とする請求項３に記載の動画編集装置。
【請求項１１】
前記可変長符号化手段は、
前記重み情報算出手段により算出された重み情報、前記逆動き補償手段により変更された符号化タイプ情報および参照フレーム情報、前記動き情報制御手段により変更された参照フレーム情報および動き情報、および前記編集手段により操作された変換係数を可変長符号化することで映像効果が付与された動画像を出力することを特徴とする請求項２に記載の動画編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画編集装置に関し、特に、変換符号化とエントロピー符号化を組み合わせてエンコードされた動画像へフェードなどの映像効果を付与するのに好適な動画編集装置に関する。
【背景技術】
【０００２】
映像コンテンツの編集に用いられる様々な特殊効果の中で、場面転換を効果的に表すトランジションとしてフェードが多用されている。フェードを実現する方法には、映像コンテンツを画素領域で編集する方式と符号領域で編集する方式とがある。
【０００３】
特許文献１、２には、複数の動画間における場面転換を明示的に示すため、連結区間にフェードを付与する技術が開示されており、ここでは、画素領域で重み付け平均を計算することでフェードを実現している。
【０００４】
一方、非特許文献１、２には、符号領域での編集処理でフェードを付与する技術が開示されている。非特許文献１では、DCT係数のDC成分を操作することによって輝度を変化させ、DC成分値が下限に近づいた場合にAC成分を強制的に0にすることでフェードを実現し、非特許文献２では、DCT係数領域で動き補償を行った後、Intra MB(イントラマクロブロック)に対してフェードを実現している。
【０００５】
最近、動画像符号化方式の国際標準規格としてH.264/AVCが注目されている。このH.264/AVCでは、輝度変化を補償するために、参照フレームの予測誤差に重み係数を掛けてデコードする重み付け予測(Weighted Prediction)が導入され、これによればフェード区間の符号化効率を大幅に向上させることができる。
【０００６】
本発明者は、H.264の重み予測を用いてフェードを実現する技術を特許文献３(先願)で提案した。
【特許文献１】特開２００５−２８６８８１号公報
【特許文献２】特開２００５−３５３００６号公報
【特許文献３】特願２００６−２２３１８１号(先願)
【非特許文献１】Shen,B.: Fast fade-out operation on MPEG video, in International Conference on Image Processing(ICIP), Vol.1, pp.852-856(1998)
【非特許文献２】Fernando,W., Canagarajah, C. and Bull, D.: Fade, dissolve and wipe production in MPEG-2 compressed video, IEEE Transactions on Consumer Electronics, Vol.46, No.3, pp.717-727(2000)
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１、２に開示された技術では、符号化された映像コンテンツを復号し、画素領域で編集処理を行った後に再符号化するので、復号と再符号化に膨大な時間が掛かり、また、再符号化による画質劣化が問題になるという課題がある。
【０００８】
非特許文献１に記載された技術では、輝度の濃淡の差が維持されたまま平均値だけが減少するので、フェード区間にあってもコントラストが高く、一様に収束しないという課題がある。
【０００９】
非特許文献２に開示された技術では、DCT係数領域での動き補償に膨大な量の計算を必要とするので、処理速度が問題になる。また、Intra MBの増加は符号化効率を低下させる恐れがあり、さらに、フェードのような輝度変化を伴う映像は、MPEG-1/2/4 など従来の映像圧縮方式では効率的に符号化できないという課題がある。
【００１０】
特許文献３に開示された技術では、フェードインの最初やフェードアウトの終端において、輝度情報が一様なフレームを参照フレームとして重み付け予測しても正しく補償できないので、画質が問題になるという課題がある。
【００１１】
本発明の目的は、上記した従来技術の課題を解決し、動画像への映像効果の付与に際し、符号化効率や画質の面で優れた編集を行うことができる動画編集装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明は、変換符号化された動画像を編集して映像効果を付与する動画編集装置において、入力される符号化動画像を可変長復号し、符号領域での編集に必要な符号情報を抽出する可変長復号手段と、映像効果に応じて参照関係を変更するとともに、前記可変長復号手段により抽出された符号情報を編集することにより画素値を変化させる編集処理手段と、前記編集処理手段により編集された符号情報を可変長符号化し、映像効果が付与された動画像として出力する可変長符号化手段とを備えた点に第１の特徴がある。
【００１３】
また、本発明は、前記編集処理手段が、映像効果を付与する位置、区間および種類を入力とし、参照画素との間での画素値変化を制御する重み情報を算出する重み情報算出手段と、フレーム間符号化での符号情報、符号化タイプ情報および参照フレーム情報を入力とし、映像効果に応じて符号化情報をフレーム内符号化情報に変更するとともに、符号化タイプ情報および参照フレーム情報を変更する逆動き補償手段と、フレーム間符号化での参照フレーム情報および動き情報を入力とし、映像効果に応じて変更された参照フレーム情報および動き情報を出力する動き情報制御手段と、前記重み情報算出手段により算出された重み情報、前記逆動き補償手段により変更された符号化情報、符号化タイプ情報および参照フレーム情報、前記動き情報制御手段により変更された参照フレーム情報および動き情報に基づいて変換係数を操作し、映像効果に応じた変換係数を出力する編集手段を備えた点に第２の特徴がある。
【００１４】
また、本発明は、前記重み情報算出手段が、映像効果を付与する区間および種類に従って、参照画素との間での画素値変化を制御する重み情報として重み係数およびオフセット係数を算出する点に第３の特徴がある。
【００１５】
また、本発明は、前記編集手段が、映像効果が付与されて参照フレームの情報量が少なくなった場合、被参照画像を前記逆動き補償手段により変更されたフレーム内符号化情報あるいは他の参照フレームを参照するフレーム間符号化情報として編集する点に第４の特徴がある。
【００１６】
また、本発明は、前記逆動き補償手段が、フレーム間符号化の残差成分を逆動き補償によって再構成してフレーム内符号化情報に相当する情報を生成し、これをフレーム間符号化の残差成分として保持する点に第５の特徴がある。
【００１７】
また、本発明は、前記逆動き補償手段が、フレーム間符号化の残差成分を逆動き補償によって再構成してフレーム内符号化情報に相当する情報を生成し、これをＤＣ予測でフレーム内符号化して保持する点に第６の特徴がある。
【００１８】
また、本発明は、前記動き情報制御手段が、参照関係の変更に応じ、参照フレームの相対的位置関係に従って動き情報の方向および長さを制御する点に第７の特徴がある。
【００１９】
また、本発明は、前記動き情報制御手段が、参照されなくなった参照フレームに対する動き情報を破棄するとともに参照関係を変更する点に第８の特徴がある。
【００２０】
また、本発明は、前記編集手段が、フレーム内符号化画像およびフレーム間符号化画像の変換係数に前記重み情報算出手段で算出された重み係数を乗算する手段を備えた点に第９の特徴がある。
【００２１】
また、本発明は、前記編集手段が、フレーム内符号化画像の変換係数の一部の直流成分に前記重み情報算出手段で算出されたオフセット係数の定数倍を加算する手段を備えた点に第１０の特徴がある。
【００２２】
さらに、本発明は、前記可変長符号化手段が、前記重み情報算出手段により算出された重み情報、前記逆動き補償手段により変更された符号化タイプ情報および参照フレーム情報、前記動き情報制御手段により変更された参照フレーム情報および動き情報、および前記編集手段により操作された変換係数を可変長符号化することで映像効果が付与された動画像を出力する点に第１１の特徴がある。
【発明の効果】
【００２３】
本発明によれば、変換符号化されて圧縮された動画像コンテンツを画素領域まで復号せず、符号領域での編集処理で映像効果を付与でき、復号や再符号化を必要としないので、それらによる処理速度の低下をなくすことができる。また、再符号化による画質劣化もなくすことができる。したがって、画質を劣化させずに短時間で動画像に映像効果を付与する編集が可能になる。
【００２４】
また、編集対象の動画像コンテンツがH.264/AVCに準拠した復号プロセスでの復号を前提としていれば、重み付け予測を利用して動画像に映像効果を付与できるので、符号化効率の高い編集が可能になる。
【発明を実施するための最良の形態】
【００２５】
図面を参照して本発明を説明する。以下では、入力動画像がH.264に従うフォーマットで符号化されており、これにフェードを付与する場合を例にあげて説明する。
【００２６】
図１は、本発明に係る動画編集装置の基本構成を示すブロック図であり、可変長復号部11、編集処理部12、可変長符号化部13を備える。なお、これらの各部は、ハードウエアでもソフトウエアでも実現できる。
【００２７】
可変長復号部11は、入力される符号化動画像を可変長復号し、編集に必要な符号情報を抽出する。ここでの復号は、可変長復号すなわち符号情報までの部分的な復号である。また、編集に必要な符号情報は、符号化タイプ(フレーム内符号化かフレーム間符号化か)、変換係数、動き情報、参照フレーム情報(片方向予測か双方向予測か)である。可変長復号部11で抽出された符号情報は、編集処理部12に送られる。
【００２８】
編集処理部12は、動画像に付与する映像効果に応じて参照関係を変更するとともに、可変長復号部11により抽出された符号情報を編集することにより画素値を変化を実現し、映像効果が付与された符号化情報を生成する。  
【００２９】
可変長符号化部13は、編集処理部12により編集された符号情報を可変長符号化し、映像効果が付与された動画像として出力する。
【００３０】
次に、編集処理部12における処理を説明する。H.264では、輝度そのものの変化を補償するため重み付け予測を利用できる。参照画素をｐｉ(i=1,2)すると、順方向あるいは逆方向の片方向予測による予測値ｐ′は、式(1)で与えられ、双方向予測による予測値ｐ′は、式(2)で与えられる。ここで、ｗｉ(i=1,2)は重み係数、ｏｉ(i=1,2)はオフセット係数と称される。
【００３１】
編集処理部12では、重み係数ｗｉ(i=1,2)およびオフセット係数ｏｉ(i=1,2)を求め、これらを用いてフェードが付与された符号情報を生成する。
【００３２】
【数１】
2008252578.tif 000003
【００３３】
【数２】
2008252578.tif 000004
【００３４】
図２は、編集処理部12における処理を示すフローチャートである。同図に示すように、編集処理は、 重み情報算出処理S21、逆動き補償処理S22、MV制御処理S23、変換係数算出処理S24を含む。編集処理部12は、このフローチャートに従って符号化タイプや参照フレームの性質によって異なる処理を実行する。
【００３５】
まず、重み情報算出処理S21は、符号化情報および編集処理のパラメータ(編集の位置、区間および種類)を入力とし、編集(映像効果)に依存した重み情報(重み係数とオフセット係数)を算出する。重み付き予測における重み係数とオフセット係数は、付与する編集の種類と編集区間に依存して決定される。
【００３６】
動画像にフェードを付与する場合、ある画素のフェード付与前の画素値(輝度値)をｑ、フェード付与後の収束値をｃとすると、その画素のフェード時の画素値ｐは、ｑとｃとの重み付き平均として与えられる。したがって、画素領域での処理の場合、フェード時の画素値ｐは、式(3)で定式化できる。ここで、画素領域における乗数ｍは、値ｃに依存せず、単調増加(フェードインの場合)あるいは単調減少(フェードアウトの場合)を続ける。
【００３７】
【数３】
2008252578.tif 000005
【００３８】
図３は、フェードイン付与の場合の画素領域でのスライスと乗数ｍの関係を示す図である。例えば、画素値範囲を0(黒)〜255(白)とし、ｃを「255」とすれば、ｍを0から1へ順次増加させることにより、白「255」からｑへのフェードインを実現できる。同図に示すように、スライスごとに乗数ｍｉ(i=0,1,2,・・・)を定めることによりフェード区間と遷移過程が設定される。なお、図３のI,B,Pは、各スライスの符号化タイプを示している。
【００３９】
式(3)より、参照フレームI５の画素値ｐは式(4)で表され、被参照フレームP７の画素値ｐ′は式(5)で表されるので、参照フレームI５の画素値ｐと被参照フレームP７の画素値ｐ′とは式(6)の関係にある。
【００４０】
【数４】
2008252578.tif 000006
【００４１】
【数５】
2008252578.tif 000007
【００４２】
【数６】
2008252578.tif 000008
【００４３】
式(6)の右辺第１項のｐに係る係数(ｍ６/ｍ４)は、重み係数に相当する。よって、重み付き予測における重み係数ｗｉは、画素領域での参照フレームに対する乗数ｍｊと被参照フレームに対する乗数ｍｋを使って式(7)で与えられる。
【００４４】
【数７】
2008252578.tif 000009
【００４５】
一方、オフセット係数ｏｉは収束値に依存する。重み係数ｗｉが0に収束するとき、コントラストが失われるとともに画素値そのものが0に近づくので、オフセット係数ｏｉが収束値を決定する。オフセット係数ｏｉは、式(6)の右辺第２項(c・(1-m６/m４))で与えられる。
【００４６】
重み係数ｗｉは、量子化されるため量子化誤差を含むが、量子化誤差を加味した上でオフセット係数ｏｉを求めることにより、重み付き予測を最適にすることができる。すなわち、量子化された重み係数ｗｉを逆量子化することによって量子化誤差を含んだ重み係数ｗｉを求め、これを使って式(8)でオフセット係数ｏｉを求めることにより、量子化誤差を含んだ重み係数ｗｉに最適な組み合わせのオフセット係数ｏｉを求めることができる。このとき、式(6)の右辺全体で最適な重み付き予測が行われる。
【００４７】
【数８】
2008252578.tif 000010
【００４８】
以上では被参照フレームをPとしたが、被参照フレームがBの場合は、各参照フレームについてそれぞれ同じ処理を行うことにより、重み係数ｗｉおよびオフセット係数ｏｉを求めればよい。
【００４９】
式(8)において収束値ｃを任意に設定することにより、白または黒だけでなく中間色からのフェードインあるいは中間色へのフェードアウトも可能である。さらに、重み付き予測は色差の重みパラメータを輝度とは独立に設定できるので、任意色からのフェードインあるいは任意色へのフェードアウトも実現できる。
【００５０】
重み情報算出処理S21では、式(7)に従って重み係数ｗｉを算出し、式(8)に従ってオフセット係数ｏｉを算出する。これにより算出された重み係数ｗｉおよびオフセット係数ｏｉは、可変長符号化部13に送られる。
【００５１】
また、算出された重み係数ｗｉおよびオフセット係数ｏｉは、符号化タイプがフレーム間符号化かどうかの判定(S25)、フレーム間符号化でないと判定された場合には参照フレームが画素値一様なフレームかどうかの判定(S26)、参照フレームが画素値一様なフレームと判定された場合にはさらに片方向予測符号化か双方向予測符号化かの判定(S27)の結果に従って変換係数算出処理S24でそれぞれ異なる処理が施され、これにより編集後の変換係数が生成される。なお、画素値一様なフレームとは、AC成分が全て0であるフレームを意味する。
【００５２】
S25で符号化タイプがフレーム内符号化と判定された場合、重み情報算出処理S21で算出された重み係数ｗｉおよびオフセット係数ｏｉは、そのまま変換係数算出処理S24に与えられる。
【００５３】
符号化タイプがフレーム間符号化であり、参照フレームが画素値一様かつ他のフレームを参照できない場合、重み予測の乗数が機能しない。そこで、S25でフレーム間符号化と判定され、S26で参照フレームが画素値一様なフレームと判定され、S27で片方向予測符号化(Pスライス)と判定された場合、逆動き補償処理S22を実行する。
【００５４】
逆動き補償処理S22では、フレーム間符号化の残差成分を逆動き補償によって再構成し、フレーム内符号化に相当する符号情報を生成する。このために、入力としてフレーム間符号化情報を与える。符号領域で動き補償を行う手段を適用すれば、符号領域でフレーム内符号化に相当する符号情報を生成することができる。フレーム間符号化情報を画素領域まで復号し、再符号化することによりフレーム内符号化に相当する情報を符号生成することもできる。生成された符号情報は、フレーム間符号化の残差成分として保持され、あるいはDC予測でフレーム内符号化された後、保持される。この符号情報は、変換係数算出処理S24に与えられる。
【００５５】
S25でフレーム間符号化と判定され、S26で参照フレームが画素値一様なフレームと判定され、S27で双方向予測符号化(Bスライス)と判定された場合には、MV制御処理S23を実行する。MV制御処理S23では、動き情報と参照フレーム情報を入力とし、動き情報の参照フレームおよび長さを制御する。
【００５６】
参照フレームが画素値一様である場合、重み予測の乗数が機能しないため、該フレームだけを参照する動き情報は、他の参照フレームを参照するように制御する。さらに、動き情報MVを式(9)式を用いてMV′に変更する。
【００５７】
【数９】
2008252578.tif 000011
【００５８】
ここで，t0とt1は、処理対象フレーム位置を原点としたときのそれぞれの参照フレームまでの時間を表す(未来はプラス、過去はマイナスとする)。なお、該フレームを参照していない動き情報は変更しない。双方向予測の場合は該フレームを参照する動き情報を破棄し、片方向予測とする。
【００５９】
S25でフレーム間符号化と判定され、S26で参照フレームが画素値一様なフレームではないと判定された場合、重み情報算出処理S21で算出された重み係数ｗｉおよびオフセット係数ｏｉは、そのまま変換係数算出処理S24に与えられる。
【００６０】
重み予測は、PおよびBスライスでのみ用いられるため、図３における乗数ｍ０をIスライスに掛けるには別途処理が必要となる。また、滑らかなフェードを実現するためには、PおよびBスライスの残差成分にも重み係数ｗｉに応じた変化を与えることが望ましい。
【００６１】
変換係数算出処理S24は、フレーム内符号化情報、フレーム間符号化情報を入力とし、編集に応じて変換係数を直接操作し、編集された後の変換係数を算出する。ここでは、符号領域で重み付き予測と同等の効果が得られるように変換係数を操作する。
【００６２】
変換係数算出処理S24に入力されるフレーム内符号化情報、フレーム間符号化情報はそれぞれ、画素の変換係数、動き補償の残差に対する変換係数であるが、変換係数算出処理S24では同じ処理を適用する。
【００６３】
4*4整数変換行列および逆変換行列、変換係数をそれぞれC,D,Xで表すとき、ベースバンドで重み付き予測された係数X′は、式(10)で表される。
【００６４】
【数１０】
2008252578.tif 000012
【００６５】
ここで、記号○、Tはそれぞれ、Hadamard積、転置操作を示している。また、Iは全要素が1の4*4行列を示し、Eは直交変換のためのスケーリング行列を示している。
【００６６】
式(10)において、[(CICT )○E-1] はDC成分にだけ「64」が残る。したがって、符号領域での重み付け予測は、変換係数Xに重み係数ｗｉを乗じた後、オフセット係数64ｏｉをDC 成分にだけ加算することにより実現できることになる。
【００６７】
ただし、フレーム内符号化されたフレーム(Iスライス)では周囲のブロックからIntra予測により予測値が生成されるので、画面左上のMB以外の変換係数Xは、PスライスおよびBスライスにおける残差成分に相当する。すなわち、予測値にはオフセット係数64ｏｉがすでに含まれているので、変換係数に重み係数ｗｉを掛けるだけでフェードを実現できる。
【００６８】
しかし、Iスライスの左上のMBだけは固定値に対する残差を符号化するので、その左上のMBにだけについては重み係数ｗｉを掛けるだけでなく、固定値(=128)との差を吸収するため、DC成分に64(c-128)(1-ｗｉ)を加算する必要がある。
【００６９】
したがって、S22でフレーム内符号化(Iスライス)と判定された場合、変換係数算出処理S24では、変換係数に重み係数ｗｉを掛け、さらに左上のMBだけのDC成分に64(c-128)(1-ｗｉ)を加算する。
【００７０】
また、S27で片方向予測符号化(Pスライス)と判定された場合、変換係数算出処理S24では、変換係数に重み係数ｗｉを掛ける。さらに、逆動き補償処理S22の出力がフレーム内符号化として処理されている場合には、Iスライスと判定された場合と同様に、左上のMBだけのDC成分に64(c-128)(1-ｗｉ)を加算する。
【００７１】
以上のように、変換係数算出処理S24では、S25〜S27での判定結果に依らず、全てのスライス(I,P,Bスライス)の変換係数に重み係数ｗｉを掛け、また、符号領域で重み付き予測のオフセットと同等の効果が得られるように、符号化タイプに応じた方法で変換係数にオフセット係数ｏｉを直接反映させる。
【００７２】
以上のS21〜S24の処理を編集処理区間で繰り返し行い(S28)、編集処理区間が終われば編集処理を終了する。
【００７３】
可変長符号化部13は、重み情報算出処理S21で算出された重み係数およびオフセット係数、逆動き補償処理22およびMV制御処理23で変更された符号化タイプや参照フレーム情報や動き情報、変換係数算出処理S24で算出された変換係数を可変長符号化することにより、編集された符号化動画像を出力する。
【００７４】
図４は、フレーム間参照関係の例を示す図であり、同図(ａ)は編集前、同図(ｂ)は編集後である。これは、最左端のI１(スライス)にフェードイン効果が付与されて画素値一様フレームとなった場合の例である。この場合、中央のP４は、I１を参照しない符号化タイプに変更され、また、B２,B３は、P４のみを参照するように変更される。
【００７５】
図５は、符号領域での重み付き予測による編集の具体例を示す図である。白(=255)からのフェードイン効果を付与する場合、例えば、図５に示すように、スライス1１,B２,P３,B４,・・・ごとに乗数ｍ０(=0),ｍ１(=0.125),ｍ２(=0.25),ｍ３(=0.375),・・・を定める。式(7)および式(8)により算出したｗ１,ｏ１,ｗ２,ｏ２の値を同図下部に示す。なお、( )内の値は、変換係数にだけ適用され、それ以外の値は、変換係数および重み係数に適用されることを示している。
【００７６】
重み付き予測における重み予測係数ｗｉ,ｏｉは、画素領域での参照フレームに対する乗数をｍｒｅｆｅｒｅｎｃｅ、被参照フレームに対する乗数をｍｃｕｒｒｅｎｔ、編集前の画素値をｐ、編集後の画素値をｐ′、重み係数をｗｉ(i=1,2)、オフセット係数をｏｉ(i=1,2)とすると、式(11)で算出された値となっている。このとき、重み付き予測による編集は、式(12)で表される。なお、式(11)は、式(7)と同じことを表している。
【００７７】
【数１１】
2008252578.tif 000013
【００７８】
【数１２】
2008252578.tif 000014
【００７９】
図５において、例えば、I１とP３とを参照していたB２は、P３だけを参照するように変更され、ｗ２、ｏ２はそれぞれ、0.5、128となる。また、I１だけを参照している動き情報MVは、向きが反転(-MV)される。なお、参照フレームまでの時間的距離が異なる場合、式(9)に従ってその時間的距離に応じて動き情報の長さが補正される。
【００８０】
また、I１のみを参照していたP３は、逆動き補償処理(図２のS22)によりフレーム内符号化に変更され、ｗ１、ｏ１はそれぞれ、(0.25)、(192)となる。続くスライスで参照関係は変更されない。例えば、P３とI５とを参照していたB４の参照関係は変更されず、ｗ１、ｏ１、ｗ２、ｏ２はそれぞれ、1.5、-128、0.75、64となる。
【００８１】
以上ではH.264に従うフォーマットで符号化された動画像にフェードを付与する場合を例にあげて説明したが、本発明は、これに限定されず、他のフォーマットで符号化された動画像を処理対象とし、これにディゾルブ(現画面が次第に消えて行くに連れて次画面がとけ込むように入り込んでくる画面切替えの映像効果)などの他の映像効果を付与する場合にも適用できる。
【００８２】
また、上記実施形態では、映像効果の付与により参照フレームの画素値が一様になった場合であるが、本発明は、映像効果の付与により参照フレームの画素値がほぼ白あるいは黒になるよう場合も含め、参照フレームの情報量が少なくなる場合に適用できる。
【図面の簡単な説明】
【００８３】
【図１】本発明に係る動画編集装置の基本構成を示すブロック図である。
【図２】図１の編集処理部における処理を示すフローチャートである。
【図３】フェードイン付与の場合の画素領域でのスライスと重み係数との関係を示す図である。
【図４】編集前後のフレーム間参照関係を示す図である。
【図５】符号領域での重み付き予測による編集の具体例を示す説明図である。
【符号の説明】
【００８４】
11・・・可変長復号部、12・・・編集処理部、13・・・可変長符号化部、S21・・・重み情報算出処理、S22・・・逆動き補償処理、S23・・・MV制御処理、S24・・・変換係数算出処理、S25・・・符号化タイプ判定、S26・・・参照フレームが画素値一様かの判定、S27・・・片方向予測符号化か双方向予測符号化かの判定
【図１】
2008252578.tif 000015
【図２】
2008252578.tif 000016
【図３】
2008252578.tif 000017
【図４】
2008252578.tif 000018
【図５】
2008252578.tif 000019