(57)【特許請求の範囲】
【請求項１】
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化装置。
【請求項２】
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化装置。
【請求項３】
前記丸め込み方法決定手段は、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報をさらに基礎として、前記丸め込み方法を決定する、
ことを特徴とする請求項１又は２に記載の動画像予測符号化装置。
【請求項４】
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化装置。
【請求項５】
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化装置。
【請求項６】
前記丸め込み方法決定手段は、参照画像ごとに個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項１〜５の何れか１項に記載の動画像予測符号化装置。
【請求項７】
前記丸め込み方法決定手段は、輝度信号および色差信号の少なくとも一方に対し、前記丸め込み方法を決定する、
ことを特徴とする請求項１〜６の何れか１項に記載の動画像予測符号化装置。
【請求項８】
前記丸め込み方法決定手段は、輝度信号および色差信号の各々に対し個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項１〜７の何れか１項に記載の動画像予測符号化装置。
【請求項９】
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号装置。
【請求項１０】
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号装置。
【請求項１１】
前記丸め込み方法決定手段は、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報をさらに基礎として、前記丸め込み方法を決定する、
ことを特徴とする請求項９又は１０に記載の動画像予測復号装置。
【請求項１２】
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号装置。
【請求項１３】
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、
を具備し、
前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号装置。
【請求項１４】
前記丸め込み方法決定手段は、参照画像ごとに個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項９〜１３の何れか１項に記載の動画像予測復号装置。
【請求項１５】
前記丸め込み方法決定手段は、輝度信号および色差信号の少なくとも一方に対し、前記丸め込み方法を決定する、
ことを特徴とする請求項９〜１４の何れか１項に記載の動画像予測復号装置。
【請求項１６】
前記丸め込み方法決定手段は、輝度信号および色差信号の各々に対し個別に、前記丸め込み方法を決定する、
ことを特徴とする請求項９〜１５の何れか１項に記載の動画像予測復号装置。
【請求項１７】
後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、
動画像を構成する複数の画像を入力する入力ステップと、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、
生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化方法。
【請求項１８】
後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、
動画像を構成する複数の画像を入力する入力ステップと、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、
生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化方法。
【請求項１９】
後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、
動画像を構成する複数の画像を入力する入力ステップと、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、
生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化方法。
【請求項２０】
後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、
動画像を構成する複数の画像を入力する入力ステップと、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、
生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化方法。
【請求項２１】
後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、
前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号方法。
【請求項２２】
後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、
前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号方法。
【請求項２３】
後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、
前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号方法。
【請求項２４】
後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、
前記圧縮画像データを復号することで再生画像を復元する復元ステップと、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、
を具備し、
前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号方法。
【請求項２５】
コンピュータを、
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化プログラム。
【請求項２６】
コンピュータを、
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測符号化プログラム。
【請求項２７】
コンピュータを、
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化プログラム。
【請求項２８】
コンピュータを、
動画像を構成する複数の画像を入力する入力手段と、
入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、
生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、
前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測符号化プログラム。
【請求項２９】
コンピュータを、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号プログラム。
【請求項３０】
コンピュータを、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定する、
ことを特徴とする動画像予測復号プログラム。
【請求項３１】
コンピュータを、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号プログラム。
【請求項３２】
コンピュータを、
画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、
前記圧縮画像データを復号することで再生画像を復元する復元手段と、
復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、
分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、
として動作させ、
前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定する、
ことを特徴とする動画像予測復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像予測符号化装置、方法、及びプログラム、並びに、動画像予測復号装置、方法、及びプログラムに関する発明である。
【背景技術】
【０００２】
動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。
【０００３】
これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割し、各ブロックに対し符号化・復号処理を行う。符号化効率を高めるため下記のような予測符号化方法が用いられる。画面間の予測符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照して信号の変位を検索し、その変位分を補償して予測信号を生成し、予測信号を対象ブロックの信号から引き算して得られた差分信号を符号化する。最近の技術では、信号の変位の精度が高められた動きの検索が用いられる。動きの検索・補償を行うために参照される既再生の画像を、参照画像という。
【０００４】
また、双方向画面間予測では、表示時間順において対象画像の前に表示される過去の画像だけではなくて、対象画像の後に表示される未来の画像もあわせて参照する場合がある（ただし、未来の画像は対象画像より先に符号化し、予め再生しておく必要がある）。過去の画像から取得された予測信号と未来の画像から取得された予測信号の両方を平均化することによって、隠されていて新たに現れる物体の信号の予測に有効であると同時に、両方の予測信号に含まれている雑音を軽減する効果がある。
【０００５】
さらに、Ｈ．２６４の画面間予測符号化では、対象ブロックに対する予測信号は、過去に符号化して再生された複数の参照画像を参照し、動き検索しながら誤差の最も少ない画像信号を最適な予測信号として選択する。そして、対象ブロックの画素信号とこの最適な予測信号との差分を求め、差分に対し離散コサイン変換を施し量子化した上でエントロピー符号化する。同時に、対象ブロックに対する最適な予測信号をどの参照画像から取得するかに関する情報（参照インデックス）及び最適な予測信号を参照画像内のどの領域から取得するかに関する情報（動きベクトル）も併せて符号化する。Ｈ．２６４では、再生された４ないし５枚の画像が参照画像としてフレームメモリに格納される。なお、本明細書ではフレームメモリには、いわゆる再生画像バッファ（decoded  picture  buffer）を含むものとする。
【０００６】
ここでＨ．２６４やＭＰＥＧ４で採用されている動き補償方式として、１／２画素精度、１／４画素精度などの分数精度の動き補償が可能なブロックマッチング方式が採用されている。この方式を数式により表現すると以下のように表現される。符号化対象となる画像フレーム（対象フレーム）の予測画像Pの座標(x,y)における画素値（輝度値または色差値）をP(x,y)、参照画像Rの座標(x,y)における画素値をR(x,y)と定義する。ここでx、yは整数であるとして、PとRでは座標値が整数である点に画素が存在すると仮定する。この時、PとRの関係は、
【数１】
0005390458.tif 000002
として表現される。ただし、画像はN個のブロックに分割されているとして、Biは画像のi番目のブロックに含まれる画素を意味し、(mvx,mvy)はi番目のブロックの動きベクトルを意味する。
【０００７】
ここで、動きベクトル(mvx,mvy)が整数ではない場合には、参照画像において実際には存在しないサンプル値が算出される。ここで、Ｈ．２６４の色差信号に対しては、周辺４画素の色差信号を用いた内挿が行われる。この内挿方式を数式で記述すると、dを正の整数、0≦p≦d、0≦q≦dとして、内挿サンプル値R(x+p/d,y+q/d)は、
【数２】
0005390458.tif 000003
と表現される。ただし「//」は、除算の結果を近隣の整数に丸め込むことを意味する。
【０００８】
この時、内挿サンプル値R(x+p/d,y+q/d)が整数とならない場合、除算の丸め込み処理によって誤差が生じてしまう。また一般的に、低ビットレートで符号化する場合など、フレーム間予測誤差を符号化するためのビットを十分に確保することができない状況では、離散コサイン変換の量子化ステップサイズを大きく設定する。そのため、動き補償で発生した誤差を誤差符号化によって修正しきれなくなる場合が存在する。また、残差信号が送られても量子化歪が含まれるため、誤差を完全に解消することは難しい。ここで、これらの誤差を含む再生画像が参照画像として動き補償に利用されるため、画面内符号化が行われずに画面間符号化が続く場合には、上記の誤差が蓄積し、時間的に色差信号のＰＳＮＲなどの客観的性能が低下し、主観的には画像の色が赤色や緑色に偏ってしまう現象が発生する。特に人間の眼は赤色に敏感であるため、映像が上記誤差蓄積によって赤くなる場合には主観品質の低下を招く。
【０００９】
下記の特許文献１では、動き補償予測を行う際に分数精度動きベクトルが示すサンプル位置を算出する内挿方式の結果に対し0.5を加えた値を切り上げる方法と、上記内挿方式の結果に対し0.5を加えた後に切り捨てる方法とを、映像を構成する画像ごとに切り替える方法が記載されている。
【００１０】
また、特許文献１では、再生映像の赤色化を抑える方法として、フレームの時間的発生順に基づき丸め込み方法を画面全体で交互に変更する「暗示的方法」と、参照画像が予測生成される際に利用された丸め込み方法を記憶しておき、対象画像に対する予測を行う際に、記憶しておいた丸め込み方法とは異なる丸め込み方法を、参照画像全体に対する丸め込み方法として利用する「明示的方法」とが記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００８‐１６０８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、Ｈ．２６４の画面間予測符号化では、対象フレームの各ブロックに対する予測信号生成のため、過去に符号化した上で再生された複数の参照画像を参照する。そのため、上記特許文献１の暗示的方法では、適切に丸め込み方法を切り替えることができない場合がある。
【００１３】
ここで図１を用いて説明する。図１は、対象フレームｆ１０５の画面間予測を行う際に、参照画像ｆ１０１およびｆ１０３は対象フレームとして予測された際に丸め込み方法A（例えば0.5を加えた値を切り上げる方法）が利用され、参照画像ｆ１０２およびｆ１０４は対象フレームとして予測された際に丸め込み方法B（例えば0.5を加えた後に切り捨てる方法）が利用されている状況を示す。この時、上記特許文献１の暗示的方法によれば、対象フレームｆ１０５は丸め込み方法Aを用いて画面間予測が行われる。ここで丸め込み方法Bで生成された参照画像ｆ１０２およびｆ１０４を用いて予測される場合には効果的となるが、丸め込み方法Aで生成された参照画像ｆ１０３を用いて予測される場合も同じ丸め込み方法Aが用いられる。そのため、同じ丸め込み方法が利用されることとなり丸め込み誤差の蓄積を抑える効果が失われる。
【００１４】
また、上記特許文献１に記載の明示的方法においても、参照画像全体に対する丸め込み方法を変更しても、複数の参照画像を用いて予測が行われる場合には、丸め込み方法のランダム性が失われ、画面全体において誤差が蓄積されると、画面全体の画質が低下する。
【００１５】
本発明は、上記の課題を解決するため、丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像の予測効率の向上および主観性能の向上を実現することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明の一側面に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。また、本発明の一側面に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。このとき、上記の丸め込み方法決定手段は、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報をさらに基礎として、前記丸め込み方法を決定してもよい。
【００１７】
また、本発明の一側面に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。また、本発明の一側面に係る動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。
【００１８】
上記動画像予測符号化装置の丸め込み方法決定手段は、参照画像ごとに個別に、前記丸め込み方法を決定してもよい。
【００１９】
さらに、丸め込み方法決定手段は、輝度信号および色差信号の少なくとも一方に対し、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、輝度信号および色差信号の各々に対し個別に、前記丸め込み方法を決定してもよい。
【００２０】
上記目的を達成するために、本発明の一側面に係る動画像予測復号装置は、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。また、本発明の一側面に係る動画像予測復号装置は、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。このとき、上記の丸め込み方法決定手段は、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報をさらに基礎として、前記丸め込み方法を決定してもよい。
【００２１】
また、本発明の一側面に係る動画像予測復号装置は、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。また、本発明の一側面に係る動画像予測復号装置は、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段と、を具備し、前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。
【００２２】
上記動画像予測復号装置の丸め込み方法決定手段は、参照画像ごとに個別に、前記丸め込み方法を決定してもよい。
【００２３】
さらに、丸め込み方法決定手段は、輝度信号および色差信号の少なくとも一方に対し、前記丸め込み方法を決定してもよい。また、丸め込み方法決定手段は、輝度信号および色差信号の各々に対し個別に、前記丸め込み方法を決定してもよい。
【００２４】
本発明の一側面に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。また、本発明の一側面に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。
【００２５】
また、本発明の一側面に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。また、本発明の一側面に係る動画像予測符号化方法は、後続の画像を符号化するために用いられる参照画像を格納するための画像格納手段を備える動画像予測符号化装置、により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化ステップと、生成された前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測符号化装置は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。
【００２６】
本発明の一側面に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。また、本発明の一側面に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。
【００２７】
また、本発明の一側面に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。また、本発明の一側面に係る動画像予測復号方法は、後続の画像を復号するために用いられる参照画像を格納するための画像格納手段を備える動画像予測復号装置、により実行される動画像予測復号方法であって、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力ステップと、前記圧縮画像データを復号することで再生画像を復元する復元ステップと、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として前記画像格納手段に格納する画像格納ステップと、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定ステップと、を具備し、前記丸め込み方法決定ステップにて、前記動画像予測復号装置は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。
【００２８】
本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。また、本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。
【００２９】
また、本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。また、本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力された画像を、画面内予測又は動き補償を用いた画面間予測のいずれかによって符号化することで、圧縮画像データを生成する符号化手段と、生成された前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を符号化するために用いられる参照画像として格納する画像格納手段と、前記入力された画像を前記画面間予測によって符号化する際、分数精度予測のために必要な画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。
【００３０】
本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。また、本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置に応じて、当該サンプル位置で行われるべき前記丸め込み方法を決定することを特徴とする。
【００３１】
また、本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、片方向予測を行う場合と双方向予測を行う場合とで個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。また、本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、画面内予測又は動き補償を用いた画面間予測のいずれかによって、動画像を構成する複数の画像を符号化することで得られた、動きベクトルを含む圧縮画像データを入力する入力手段と、前記圧縮画像データを復号することで再生画像を復元する復元手段と、復元された前記再生画像を、後続の画像を復号するために用いられる参照画像として格納する画像格納手段と、分数精度予測を含んだ前記画面間予測による符号化で得られた前記圧縮画像データを復号する際、画素内挿で生成されるサンプル値の丸め込み方法を決定する丸め込み方法決定手段、として動作させ、前記丸め込み方法決定手段は、双方向予測を行う場合に用いられる２種類の予測信号に利用される参照画像に対し個別に、参照画像における内挿されるサンプル位置で行われるべき前記丸め込み方法を、前記参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することを特徴とする。
【００３２】
以上のような本発明により、丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像の予測効率の向上、および主観性能の向上を実現する。
【発明の効果】
【００３３】
本発明によれば、分数精度動きの動き補償が利用され、動きベクトルが示す位置のサンプル値を画素内挿方式により生成する。その際、動きベクトルの揺らぎを考慮し、分数画素位置に応じて丸め込み方法を決定することで、画面全体で丸め込み誤差が蓄積されることを防ぎ、異なる参照画像を用いた動き補償を行う場合においても画面全体の丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像の予測効率の向上および主観性能の向上を実現する。
【００３４】
また、本発明によれば、丸め込み方法決定手段は、参照画像における内挿されるサンプル位置で行われるべき丸め込み方法を、参照画像が対象画像として予測された際に用いられた丸め込み方法の情報に基づいて決定することで、丸め込み誤差の蓄積をより効果的に抑えることができる。
【図面の簡単な説明】
【００３５】
【図１】従来技術の課題を説明するための図である。
【図２】第１、第２の実施形態に係る動画像予測符号化装置の構成を示す機能ブロック図である。
【図３】第１の実施形態に係る動画像予測符号化装置内の画面間予測器の構成を示す機能ブロック図である。
【図４】第１、第２の実施形態に係る動画像予測復号装置の構成を示す機能ブロック図である。
【図５】第１の実施形態に係る動画像予測復号装置内の画面間予測器の構成を示す機能ブロック図である。
【図６】内挿方式の一例を説明するための図である。
【図７】動きの精度が１／８画素精度の場合の、位置に応じた丸め込み方法を示す図である。
【図８】位置に応じた丸め込み方法の第１の変形例を示す図である。
【図９】第１の実施形態に係る動画像予測符号化装置内の画面間予測器の動作を示す流れ図である。
【図１０】第１の実施形態に係る動画像予測復号装置内の画面間予測器の動作を示す流れ図である。
【図１１】第２の実施形態に係る動画像予測符号化装置内の画面間予測器の構成を示す機能ブロック図である。
【図１２】第２の実施形態に係る動画像予測復号装置内の画面間予測器の構成を示す機能ブロック図である。
【図１３】第２の実施形態に係る画面間予測器の動作を示す流れ図である。
【図１４】位置に応じた丸め込み方法の第２の変形例を示す図である。
【図１５】位置に応じた丸め込み方法の第３の変形例を示す図である。
【図１６】位置に応じた丸め込み方法の第４の変形例を示す図である。
【図１７】記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。
【図１８】記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。
【図１９】動画像予測符号化プログラムの構成例を示すブロック図である。
【図２０】動画像予測復号プログラムの構成例を示すブロック図である。
【発明を実施するための形態】
【００３６】
以下、本発明に係る実施形態について、図２〜図２０を用いて説明する。
【００３７】
（第１の実施形態）
図２は第１の実施形態に係る動画像予測符号化装置２００の構成を示すブロック図である。図２に示すように、動画像予測符号化装置２００は、機能的な構成として、入力端子２０１、ブロック分割器２０２、予測信号生成器２０３、フレームメモリ２０４、減算器２０５、変換器２０６、量子化器２０７、逆量子化器２０８、逆変換器２０９、加算器２１０、エントロピー符号化器２１１、及び出力端子２１２を備える。各機能ブロックの動作は、後述する動画像予測符号化装置２００の動作の中で説明する。変換器２０６と量子化器２０７は符号化手段に対応する。逆量子化器２０８、逆変換器２０９及び加算器２１０は復号手段に対応する。
【００３８】
以上のように構成された動画像予測符号化装置２００の動作を以下に述べる。符号化処理の対象となる複数枚の画像からなる動画像の信号は入力端子２０１に入力され、各画像はブロック分割器２０２により、複数の領域に分割される。本実施形態では、各画像は、８×８の画素からなる複数のブロックに分割されるが、それ以外のブロックの大きさまたはブロック形状に分割してもよい。次に、予測信号生成器２０３にて、符号化処理の対象となるブロック（以下「対象ブロック」と呼ぶ）を対象として、後述の予測方法により予測信号を生成する。本実施形態では、予測方法として、画面間予測と画面内予測の２種類の予測方法が利用可能とされており、画面間予測では双方向画面間予測も利用可能とされている。
【００３９】
ここで予測信号生成器２０３内の画面間予測器２２１の詳細について図３を用いて説明する。図３の画面間予測器２２１は、丸め込み方法決定器３０１、参照画像内挿器３０２、及び動き検出・動き補償器３０３を備える。
【００４０】
画面間予測では、まずラインＬ２０４経由で、過去に符号化されたのちに復元された複数の再生画像が、参照画像として画面間予測器２２１（丸め込み方法決定器３０１及び参照画像内挿器３０２）に入力される。ここで、丸め込み方法決定器３０１は、入力された参照画像の内挿時に利用する丸め込み方法を決定する。丸め込み方法の詳細については後述する。
【００４１】
次に参照画像内挿器３０２は、ラインＬ３０１から入力された丸め込み方法情報に従い、参照画像に対して動き検出の精度に合わせて画素内挿を行い、内挿後の参照画像は動き検出・動き補償器３０３に送られる。動き検出・動き補償器３０３は、ラインＬ３０２経由で入力された複数の内挿された参照画像から、対象ブロックに対する誤差の最も小さい予測信号を求め、当該予測信号の変位である動き情報を求める。この処理は動き検出と呼ばれる。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい、小領域の分割方法及び各小領域の動き情報を決定する。なお、動き検出・動き補償測方法に関する詳細は、従来の技術であるＭＰＥＧ−２，４、Ｈ．２６４のいずれかの方法と同じである。なお、動き検出・動き補償器３０３は、参照画像、上記の小領域の分割方法及び各小領域の動き情報から画面間予測信号を生成する。
【００４２】
このように決定された小領域の分割方法情報及び各小領域の動き情報は、図２のラインＬ２１２経由でエントロピー符号化器２１１に送られ、エントロピー符号化器２１１により符号化された上で、その符号化データはラインＬ２１１経由で出力端子２１２から送出される。また複数の参照画像の中で、予測信号がどの参照画像から取得するかに関する情報（参照インデックス）も、予測信号生成器２０３からラインＬ２１２経由でエントロピー符号化器２１１に送られ、エントロピー符号化器２１１により符号化された上で、その符号化データはラインＬ２１１経由で出力端子２１２から送出される。なお、本実施形態では、４枚ないし５枚の再生画像がフレームメモリ２０４に格納され、参照画像として用いられる。
【００４３】
一方、画面内予測器２２２では画面内予測として、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には画面内予測器２２２は、同じ画面内にある既再生の画素信号をフレームメモリ２０４から取得し、既再生の画素信号を外挿することによって画面内予測信号を生成する。なお、画面内予測における外挿の方法に関する情報は、ラインＬ２１２経由でエントロピー符号化器２１１に送られ、エントロピー符号化器２１１により符号化された上で、その符号化データはラインＬ２１１経由で出力端子２１２から送出される。
【００４４】
以上、画面間予測と画面内予測の各々の基本動作を概説した。実際には、予測信号生成器２０３は、対象ブロックごとに、上述のように生成された画面間予測信号と画面内予測信号のうち、誤差の最も小さいものを選択し、選択された予測信号は、ラインＬ２０３経由で減算器２０５及び加算器２１０に送られる。
【００４５】
減算器２０５は、ラインＬ１０２経由で受け取った対象ブロックの信号から、ラインＬ１０３経由で受け取った予測信号を引き算し、残差信号を生成する。この残差信号は変換器２０６にて離散コサイン変換され、その各変換係数は量子化器２０７にて量子化される。最後に、量子化された変換係数はエントロピー符号化器２１１により符号化され、得られた符号化データは、予測方法に関する情報とともにラインＬ１１１経由で出力端子２１２より送出される。
【００４６】
一方、後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、上記量子化された変換係数（対象ブロックの符号化データ）は、逆量子化器２０８にて逆量子化されたのちに逆変換器２０９にて逆離散コサイン変換され、これにより残差信号が復元される。そして、加算器２１０により、復元された残差信号とラインＬ２０３から送られた予測信号とが加算され、これにより対象ブロックの信号が再生され、再生信号はフレームメモリ２０４に格納される。なお、本実施形態では変換器２０６と逆変換器２０９を用いているが、これらに代わる他の変換処理を用いてもよい。場合によって、変換器２０６と逆変換器２０９がなくてもよい。
【００４７】
次に、本実施形態に係る動画像予測復号装置について説明する。図４は本実施形態に係る画像予測復号装置４００の構成を示す機能ブロックを示す。図４に示すように、動画像予測復号装置４００は、機能的な構成として、入力端子４０１、データ解析器４０２、逆量子化器４０３、逆変換器４０４、加算器４０５、予測信号生成器４０８、フレームメモリ４０７、及び出力端子４０６を備える。各機能ブロックの動作は、後述する動画像予測復号装置４００の動作の中で説明する。なお、復号に係る手段としては、逆量子化器４０３及び逆変換器４０４に限定されるものではなく、これら以外のものを用いてもよい。また、復号に係る手段は、逆変換器４０４を無くし逆量子化器４０３のみで構成してもよい。なお、逆量子化器４０３と逆変換器４０４は復号手段に対応する。
【００４８】
以上のように構成された動画像予測復号装置４００の動作を以下に述べる。上述した符号化方法で得られた圧縮データは入力端子４０１から入力される。この圧縮データには、対象ブロックの残差信号、量子化パラメータ、及び予測信号の生成に関連する情報が含まれている。予測信号の生成に関連する情報としては、例えば画面間予測の場合は、ブロック分割に関する情報（小領域の分割方法情報（例えばブロックのサイズ等））、各小領域の動き情報及び上述の参照インデックスが含まれ、画面内予測の場合は周辺の既再生の画素からの外挿の方法に関する情報が含まれている。
【００４９】
データ解析器４０２にて、入力された圧縮データから、対象ブロックの残差信号、予測信号の生成に関連する情報、及び量子化パラメータを抽出する。これらのうち、対象ブロックの残差信号及び量子化パラメータは、ラインＬ４０２ａ経由で逆量子化器４０３に送られ、逆量子化器４０３は量子化パラメータをもとに対象ブロックの残差信号を逆量子化し、さらに、逆変換器４０４は逆量子化の結果を逆離散コサイン変換する。このようにして復元された残差信号はラインＬ４０４経由で加算器４０５に送られる。
【００５０】
一方、抽出された予測信号の生成に関する情報は、ラインＬ４０２ｂ経由で予測信号生成器４０８に送られる。予測信号生成器４０８は、予測信号の生成に関する情報をもとに、フレームメモリ４０７内の複数の参照画像の中から適当な参照画像を取得し、当該適当な参照画像をもとに予測信号を生成する。予測信号生成器４０８は、画面間予測器４０９と画面内予測器４１０とを備える。また図５の画面間予測器４０９は、丸め込み方法決定器５０１、参照画像内挿器５０２、及び予測信号生成器５０３を備える。これらの動作の詳細については後述する。ここで、生成された予測信号はラインＬ３０８ａ経由で加算器４０５に送られ、加算器４０５により上記復元された残差信号に加算され、その結果、対象ブロックの信号が再生される。再生された対象ブロックの信号は、ラインＬ４０５経由で出力端子２０６から出力されると共に、再生画像としてフレームメモリ４０７に格納される。
【００５１】
以下に本実施形態における動画像予測符号化方法及び動画像予測復号方法で用いられる丸め込み方法および参照画像の内挿処理を説明する。以下では、丸め込み方法決定器３０１の動作を説明するが、丸め込み方法決定器５０１の動作も同様である。
【００５２】
Ｈ．２６４などで利用される動き検出・動き補償では、より探索信号の精度を向上させるため動きの精度が１／２画素精度、１／４画素精度が利用される。また、さらに精度の高い１／８画素精度の動き情報が利用される場合もある。しかし、これらの分数画素位置に対応するサンプル値は存在しない。そのため、これらの分数画素位置のサンプル値が内挿方式にて生成されることが多い。また、Ｈ.２６４において符号化される映像として、輝度情報に対して、色差信号が半分の解像度しか持たない映像フォーマットも対象とする。この時、一般に色差情報に対する動きの情報は、輝度情報に対する動き情報の半分の動きを持つものと定義される。図６は、画素６０１、６０２、６０３、６０４の画素のサンプル値をIa,Ib,Ic,Idとすると（Ia,Ib,Ic,Idは負ではない整数）、内挿される位置のサンプル値（図６の×や△）はIa,Ib,Ic,Idを用いて以下の式（１）によって生成される。
【数３】
0005390458.tif 000004
ここで丸め込み方法決定器３０１は、丸め込み方法として内挿されたサンプル値をサンプル位置に基づき、算出されたサンプル値の小数部分の値（以下「小数値」という）が0.5の場合に当該小数値を切り上げるか、切捨てるかを決定する。図７において輝度情報に対する動きの精度が１／８画素精度の場合の色差信号に対する丸め込み方法の位置による違いを示す。ここで、輝度情報に対する動きの精度が１／８画素精度であるため、色差信号に対する精度は１／１６画素精度であることを意味する。図７において１／１６画素精度の垂直方向位置をｋ、水平方向位置をｌとしており、丸め込み方法決定器３０１は、分数精度動きが示す位置(ｋ,l)に応じて丸め込み方法を決定する。図７においてAは丸め込み方法としてサンプル値の小数値が0.5の場合に切り上げを実施する位置を、Bは丸め込み方法としてサンプル値の小数値が0.5の場合に切り捨てを実施する位置を、それぞれ意味する。このときの決定に関する制御は、上記の式（１）におけるroundを変更することで実現される。すなわち画素位置Aではround=d2/2と設定し、画素位置Bではround=(d2/2)-1と設定する。また、図７におけるroundの値は以下のように表現される。
【数４】
0005390458.tif 000005
ここで、int(x)はxの整数部分の値を示し、＆はビット演算を示す。すなわち、
【数５】
0005390458.tif 000006
は、
【数６】
0005390458.tif 000007
が奇数の場合には、１となり、
【数７】
0005390458.tif 000008
が偶数の場合には、０となり、上記の決定に関する制御を実現することができる。
【００５３】
なお、本実施形態では丸め込み方法の決定に関する制御としてroundの式を上記のように設定したがこれに限るものではない。例えば位置(ｋ,l)をキーとして、予め定めた表を参照することによりroundの値が決定されてもよい。
【００５４】
また、本実施形態では、図７のように丸め込み方法AとBを市松模様に変更しているが、これに限るものではない。図８のように図７と丸め込み方法AとBの位置が逆であってもよい。また、図１４や図１５のように一列毎に丸め込み方法が変更されてもよい。また、図１６のように図７よりも細かい市松模様上に丸め込み方法AとBを変更するよう設定してもよい。なお、本実施形態では１／１６画素精度の例を示したが、それ以外の1／ｄ画素精度（dは２以上の整数）である場合でも適用可能であることは言うまでもない。
【００５５】
また、本実施形態では、全ての参照画像に対して同一の分数画素位置に基づく丸め込み方法を決定したが、これに限るものではない。参照画像ごとに異なる分数画素位置に基づく丸め込み方法を変更してもよい。
【００５６】
また、本実施形態では、内挿されたサンプル値の小数点以下が0.5となる場合の丸め込み方法の切り替えを示したがこれに限るものではない。内挿されたサンプル値を常に切り上げる方法や切り捨てる方法を切り替えてもよい。
【００５７】
また、本実施形態における位置に基づく丸め込み方法の変更は、符号化の状況によらず一定に利用したが、これに限るものではない。例えば片方向予測を行うときと双方向予測を行う場合とで異なる分数画素位置に基づく丸め込み方法の変更を行ってもよい。また、双方向予測の際に用いられる二種の予測信号に利用される参照画像に対して異なる丸め込み方法を利用してもよい。
【００５８】
また、本実施形態では色差信号に対する例を示したが、本実施形態における画素値として輝度信号および色差信号への適用が可能である。また、輝度信号および色差信号に対して共通の分数画素位置に基づく丸め込み方法を利用してもよいし、異なる分数画素位置に基づく丸め込み方法を利用してもよい。また、輝度信号もしくは色差信号のどちらかに分数画素位置に基づく丸め込み方法を決定してもよい。
【００５９】
次に、参照画像内挿器３０２の動作について説明する（参照画像内挿器５０２の動作も同様である）。本実施形態における参照画像内挿器３０２は、丸め込み方法決定器３０１で決定された分数画素位置に基づく丸め込み方法を用いて参照画像に対して内挿処理を実施する。具体的には参照画像から図６のように隣接する４つの画素６０１〜６０４を選択し、動き検出に利用される分数画素精度に応じて、予め設定された内挿方式と丸め込み方法に基づき上記４つの画素からのサンプル値の内挿処理を行う。そして、所定の分数画素精度のサンプル値が内挿された参照画像は動き検出のために利用される。本実施形態では、前述した式（１）で定義した共１次内挿方式（bi-linear  interpolation）が行われる。
【００６０】
なお、本実施形態では、予め内挿方式が設定されている例を示したが、これに限るものではなく、外部から内挿方式の情報が入力されてもよい。その場合、参照画像内挿器３０２と５０２が同一の方法を利用できるように、内挿方式を示す情報が参照画像内挿器３０２から参照画像内挿器５０２へ送信されてもよい。
【００６１】
また、本実施形態における内挿方式として共１次内挿方式を示したが、これに限るものではない。１次元の内挿式などを複数回実施してサンプル値の内挿処理を行ってもよい。
【００６２】
また、本実施形態ではサンプルの内挿に利用される画素数が４画素の例を示したが、これに限るものではない。より多くの画素を用いた内挿や２画素のみを用いた内挿が行われてもよい。
【００６３】
また、本実施形態では、参照画像に対する内挿処理は参照画像全体に対し行われたが、これに限るものではない。例えば、動き検出の検索範囲にある領域毎に内挿処理が行われてもよい。また、動画像予測復号装置では、分数画素動きベクトルが示す位置のサンプル値に対する丸め込み方法が決定されればよい。このようなサンプル値の計算をすることにより限定的な画素領域での内挿処理が行われるため、使用されるメモリ量を削減する効果が得られる。
【００６４】
そして、動き検出・動き補償器３０３は、内挿処理された複数の参照画像を用いて各対称ブロックで動き検出が行われ、動き補償により画面間予測信号が生成される。生成された画面間予測信号はラインＬ２０３経由で差分器２０５に送られる。また、動き検出・動き補償器３０３で決定された予測信号生成に関する情報であるブロック分割に関する情報、動きベクトルおよび参照インデックスなどがラインＬ２１２経由でエントロピー符号化器２１１へ出力される。なお、動き検出・動き補償器３０３の動作は従来のＨ．２６４やＭＰＥＧ４などで利用される方法と同一であればよい。
【００６５】
一方、画面間予測信号生成器５０３は、予測信号に関する情報に基づき予測信号（画面間予測信号）を生成し出力する。この画面間予測信号生成器５０３の動作は、従来のＨ．２６４やＭＰＥＧ４などで利用される方法と同一であればよい。
【００６６】
図９は、本実施形態における動画像予測符号化方法における画面間予測器２２１の動作のフローチャートを示す。まずステップＳ９０１にてフレームメモリ２０４に保存された複数の参照画像が画面間予測器２２１に入力される。次にステップＳ９０２にて、丸め込み方法決定器３０１は、動きの分数画素精度に基づき、分数画素位置に応じて内挿サンプル値の小数値が0.5となる場合の丸め込み方法を決定する。詳細な決定方法は上述の通りである。そして、ステップ９０３では、参照画像内挿器３０２は、ステップ９０２にて決定された分数画素位置に基づく丸め込み方法および予め設定された内挿方式に基づいて参照画像の内挿処理を行う。そしてステップＳ９０４にて、動き検出・動き補償器３０３は、動き検出・動き補償を行い、画面間予測信号を生成する。そしてステップＳ９０５にて動き検出・動き補償器３０３は、生成された画面間予測信号および予測に関する情報を出力して処理を終了する。
【００６７】
図１０は、本実施形態における動画像予測復号方法における画面間予測器４０９の動作のフローチャートを示す。まずステップＳ１００１にて復号された動き情報である動きベクトルや参照インデックスと、フレームメモリ４０７に保存された参照画像とが画面間予測器４０９に入力される。次にステップＳ１００２では、丸め込み方法決定器５０１は、動きベクトルが示す分数画素位置に応じて内挿サンプル値の小数値が0.5となる場合の丸め込み方法を決定する。そして、ステップＳ１００３では、参照画像内挿器５０２は、ステップＳ１００２で決定された丸め込み方法および内挿方式に基づき参照画像に対して内挿処理を行う。そして次にステップＳ１００４にて予測信号生成器５０３は、予測信号に関する情報に基づき画面間予測信号を生成し、そしてステップＳ１００５にて、生成された画面間予測信号を出力して処理を終了する。
【００６８】
本実施形態によれば、分数精度動きの動き補償が利用され、分数精度の動きベクトルが示す位置におけるサンプル値を画素内挿方式により生成する。その際、動きベクトルの揺らぎを考慮し、動きが示す分数画素位置に応じて丸め込み方法を決定することで、丸め込み誤差の蓄積原因となるサンプル値の小数以下の値が0.5となる場合の丸め込み方法をランダム化する。これにより、異なる参照画像を用いた動き補償を行う場合においても画面全体での丸め込み誤差の蓄積を抑え、再生画像品質の向上、当該再生画像を参照画像として利用する画像全面の予測効率の向上および主観性能の向上を実現することができる。
【００６９】
（第２の実施形態）
以下、本発明に係る第２の実施形態を説明する。第２の実施形態における動画像予測符号化装置および動画像予測復号装置の全体構成は、前述した図２の動画像予測符号化装置２００および図４の動画像予測復号装置４００の全体構成と同様であるので、説明を省略する。但し、動画像予測符号化装置２００内の画面間予測器２２１および動画像予測復号装置４００内の画面間予測器４０９の構成・動作が、第１の実施形態とは異なるので、以下に説明する。
【００７０】
図１１の画面間予測器２２１は、丸め込み方法決定器１１０１と、参照画像内挿器１１０２と、動き検出・動き補償器１１０３とを備える。ここで、参照画像内挿器１１０２は図３の参照画像内挿器３０２と、動き検出・動き補償器１１０３は動き検出・動き補償器３０３と同一の機能を果たす。また、丸め込み方法決定器１１０１は、動き検出・動き補償器１１０３からラインＬ１１０３経由で予測信号生成に関する情報を入力可能とされている。
【００７１】
また、図１２の画面間予測器４０９は、丸め込み方法決定器１２０１と、参照画像内挿器１２０２と、予測信号生成器１２０３とを備える。ここで、参照画像内挿器１２０２は図５の参照画像内挿器５０２と、予測信号生成器１２０３は予測信号生成器５０３と同一の機能を果たす。また、丸め込み方法決定器１２０１はデータ解析器４０２からラインＬ４０２ｂ経由で、抽出された予測信号に関する情報を入力可能とされている。
【００７２】
第２の実施形態における丸め込み方法決定器１１０１および１２０１は、参照画像が対象画像として予測された際に利用された丸め込み方法とは異なる丸め込み方法を、内挿されるサンプル値の位置に応じて決定する。
【００７３】
本実施形態では分数画素位置に基づくサンプル値の小数値が0.5となる際の丸め込み方法は、図７に示す方法と図８に示す方法の２つの方法を用いるものとする。ここでは、図７に示した丸め込み方法をround_M1、図８に示した丸め込み方法をround_M2と定義する。
【００７４】
本実施形態では、画面間予測器２２１、４０９全体の処理の流れは、前述した図９および図１０の処理の流れと同様であるため、その説明は省略する。そこで、以下では、画面間予測器２２１内の丸め込み方法決定器１１０１の動作について、図１３のフローチャートを用いて説明する（画面間予測器４０９内の丸め込み方法決定器１２０１の動作も同様である）。前提として、丸め込み方法決定器１１０１は、動き検出・動き補償器１１０３によって決定された参照画像（予測信号に用いられる参照画像）が生成された際の丸め込み方法の情報をラインＬ１１０３経由で動き検出・動き補償器１１０３から取り込み保存しておく。
【００７５】
対象画像の丸め込み方法は以下のように、対象ブロック生成の際に用いられた丸め込み方法の採用回数によって決定される。対象ブロックに利用された丸め込み方法の採用回数は、カウンタRound_countによりカウントされる。
【００７６】
まず、ステップＳ１３０１にて各予測ブロックの予測に関する情報である動き情報および参照インデックス、並びに対象ブロックの生成方法情報（画面内予測、画面間予測など）が入力される。次に、丸め込み方法決定器１１０１は、ステップＳ１３０２にて対象ブロックの生成方法が画面内予測であるか画面間予測であるかを判定する。対象ブロックの生成方法が画面内予測の場合には、丸め込み方法決定器１１０１は、当該予測ブロックに利用された丸め込み方法は予め定められた丸め込み方法（ここでは、一例としてround_M1）であるとしてRound_count[round_M1]に１を加算する（ステップＳ１３０３）。また、画像が画面間予測で生成された場合は、丸め込み方法決定器１１０１は、双方向予測ブロックか否かを判定する（ステップＳ１３０４）。この時、片方向予測で生成されたブロックの場合には、丸め込み方法決定器１１０１は、予測時の参照画像に用いられた丸め込み方法ref_round(round_M1もしくはround_M2)のカウンタRound_count[ref_round]に１を加算する（ステップＳ１３０５）。即ち、参照画像に用いられた丸め込み方法がround_M1の場合は、Round_count[round_M1]に１を加算し、参照画像に用いられた丸め込み方法がround_M2の場合は、Round_count[round_M2]に１を加算する。
【００７７】
一方、双方向予測の場合には、丸め込み方法決定器１１０１は、ステップＳ１３０６にて各方向の予測について、過去の参照画像に用いられた丸め込み方法をround[LIST0]、未来の参照画像に用いられた丸め込み方法をround[LIST1]と定義した場合に、round[LIST0]とround[LIST1]とが同一の丸め込み方法であるかどうかを判定する。判定の結果、round[LIST0]とround[LIST1]とが同一の丸め込み方法である場合には、その同一の丸め込み方法ref_round(round_M1もしくはround_M2)のカウンタRound_count[ref_round]に１を加算する。即ち、同一の丸め込み方法がround_M1の場合は、Round_count[round_M1]に１を加算し、同一の丸め込み方法がround_M2の場合は、Round_count[round_M2]に１を加算する。
【００７８】
また、round[LIST0]とround[LIST1]とが異なる場合には、丸め込み方法決定器１１０１は、予め定められた丸め込み方法（ここでは、一例としてround_M1）のカウンタRound_count[round_M1]に１を加算する（ステップＳ１３０８）。そして、予測ブロックが予測画像の最終ブロックかどうかが判定される（ステップＳ１３０９）。ここで、最終ブロックでない場合には、Ｓ１３０１からＳ１３０８のステップが繰り返し行われる。
【００７９】
一方、ステップＳ１３０９で最終ブロックである場合には、丸め込み方法決定器１１０１は、ステップＳ１３１０にてカウンタRound_countの値が大きい方の丸め込み方法ref_roundを、対象画像に利用される丸め込み方法（以下「代表丸め込み方法」という）として決定し保存する。
【００８０】
その後、丸め込み方法決定器１１０１は、代表丸め込み方法の情報が保存された対象画像が、次の予測信号生成時に参照画像として入力された際には、当該参照画像に対して、保存された代表丸め込み方法設定とは異なる丸め込み方法を決定する。具体的には、例えば第nフレームを対象画像として生成した際に代表丸め込み方法として丸め込み方法round_M1が決定された場合には、第(n+ｘ)フレーム（ｘは正の整数）を対象画像の予測信号生成のために第nフレームを参照画像として利用する際に、第nフレームに対して、丸め込み方法round_M1とは異なる丸め込み方法round_M2が決定される。
【００８１】
上述のように丸め込み方法決定器１１０１により丸め込み方法を決定した後、代表丸め込み方法の情報は参照画像内挿器１１０２に送信される。そして、参照画像内挿器１１０２により内挿処理が行われ、動き検出・動き補償器１１０３により、内挿処理された参照画像を用いて動き検出・動き補償が行われ、予測信号が生成され、さらに、予測ブロックおよび予測信号に関する情報が出力される。その詳細な動作は前述の通りである。また、予測信号に関する情報は、対象画像の代表丸め込み方法を決定するために、動き検出・動き補償器１１０３から丸め込み方法決定器１１０１へラインＬ１１０３経由で送られる。
【００８２】
なお、本実施形態では、画面内予測で生成された場合には、丸め込み方法round_M1と設定したがこれに限るものではなく、丸め込み方法round_M2と設定してもよい。また、それ以外の丸め込み方法を用いてもよい。このとき、分数画素位置に基づく丸め込み方法であることが望ましい。
【００８３】
また、本実施形態では、異なる丸め込み方法を用いた参照画像から作られる予測信号を合成して作られた双方向予測ブロックは、丸め込み方法設定round_M1として扱ったがこれに限るものではなく、例えば、過去および未来の参照画像のうち、参照画像画質が高い方の丸め込み方法設定として扱ってもよい。その場合、参照画像に利用された量子化パラメータを用いて判断してもよい。また、参照画像ごとにＰＳＮＲなどの客観的性能を保持していればその値を利用してもよい。
【００８４】
また、双方向予測ブロックを生成する際の丸め込み方法は、各方向からの予測信号に用いられた丸め込み方法を参照して、切り上げもしくは切り捨てが決定されてもよい。
【００８５】
また、本実施形態では、丸め込み方法の種類が２種類である際の例を示したが、これに限るものではない。例えば、画面内予測に対して、又は、異なる丸め込み方法設定を用いた参照画像により生成された予測信号を合成した双方向予測に対して、第３の丸め込み方法であるround_M3を用いてもよい。
【００８６】
また、本実施形態では代表丸め込み方法の数は１つとしたが、これに限るものではない。１つの参照画像について複数の代表丸め込み方法が決定されてもよい。例えば画面内の複数の領域の位置に応じてそれぞれ代表丸め込み方法が決定されてもよい。
【００８７】
また、本実施形態ではブロックの予測モードに基づいて代表丸め込み方法を決定したがこれに限るものではない。その他の予測信号生成に関する情報に基づいて代表丸め込み方法を決定してもよい。例えば、参照画像および動きベクトルの位置によって代表丸め込み方法を決定してもよい。また、参照画像に利用された量子化パラメータに基づいて代表丸め込み方法を決定してもよい。
【００８８】
また、本実施形態では、選択された丸め込み方法の採用回数に基づき、代表丸め込み方法を決定したが、実際に動きベクトルが示す位置の画素に対して用いられた丸め込み方法の採用回数を用いても代表丸め込み方法を決定してもよい。
【００８９】
また、参照画像として利用されない対象画像の場合には、上記処理を行わなくてもよい。これにより余計な計算をすることなく動画像予測符号化および復号の処理負荷の軽減が可能である。
【００９０】
また、本実施形態では、対象画像に対して利用された代表丸め込み方法の決定方法として、対象画像内で最も多く用いられた丸め込み方法を代表丸め込み方法として決定したが、これに限るものではない。ある条件を満たし且つ最も多く選択された丸め込み方法を代表丸め込み方法として決定してもよい。例えば、最も多く用いられた丸め込み方法が画像に含まれるブロックのうちZ[%]（ここではZ=66と定義する）を超える場合のみ、当該最も多く用いられた丸め込み方法を代表丸め込み方法として決定してもよい。もし、上記条件が満たされない場合には、代表丸め込み方法として、予め定められた丸め込み方法（一例としてround_M1）に決定すればよい。また、上記の最も多く用いられた丸め込み方法とは異なる丸め込み方法を、代表丸め込み方法として決定してもよい。
【００９１】
また、上述の例で対象画像生成時に利用された参照画像の丸め込み方法設定に偏りがない場合には、フレームメモリに保存される複数の参照画像の代表丸め込み方法設定を確認して、偏りがない対象画像に対して、上記複数の参照画像の代表丸め込み方法のうち、数の少ない代表丸め込み方法が決定されてもよい。例えば、参照画像バッファ内に存在する４枚の参照画像のうち３枚が丸め込み方法設定round_M1で生成されている場合には、丸め込み方法設定の偏りなしに生成された参照画像を利用する際に、上記の丸め込み方法設定round_M1とは異なる代表丸め込み方法設定round_M2を利用してもよい。
【００９２】
本実施形態によれば、複数の丸め込み方法を利用して生成された複数の参照画像を用いて予測信号の生成を行う際に、参照画像ごとに利用された丸め込み方法を加味した上で分数画素位置に応じて丸め込み方法を決定することができるため、ブロック毎の分数画素位置による丸め込み方法のランダム性をさらに向上させることができ、丸め込み誤差の蓄積をより効果的に抑えることができる。
【００９３】
なお、第２実施形態では、参照画像ごとに利用された丸め込み方法を加味した上で分数画素位置に応じて丸め込み方法を決定したが、複数の参照画像を用いて予測信号の生成を行う際には、分数画素位置に応じた丸め込み方法の決定は行わずに、参照画像ごとに利用された丸め込み方法を加味して丸め込み方法を決定してもよい。このように参照画像ごとに利用された丸め込み方法を加味して丸め込み方法を決定するだけでも、丸め込み誤差の蓄積を効果的に抑えることができ、再生画像品質の向上、当該再生画像を参照画像として利用する画像全面の予測効率の向上および主観性能の向上を実現することができる。
【００９４】
［動画像予測符号化プログラム、動画像予測復号プログラムについて］
動画像予測符号化装置に係る発明は、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムに係る発明として捉えることができる。同様に、動画像予測復号装置に係る発明は、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムに係る発明として捉えることができる。
【００９５】
動画像予測符号化プログラム及び動画像予測復号プログラムは、例えば、記録媒体に格納されて提供される。なお、記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
【００９６】
図１９には、コンピュータを動画像予測符号化装置として機能させるための動画像予測符号化プログラムのモジュールを示す。図１９に示すように、動画像予測符号化プログラムＰ２００は、入力モジュールＰ２０１、符号化モジュールＰ２０２、復元モジュールＰ２０３、画像格納モジュールＰ２０４、及び丸め込み方法決定モジュールＰ２０５を備えている。
【００９７】
また、図２０には、コンピュータを動画像予測復号装置として機能させるための動画像予測復号プログラムのモジュールを示す。図２０に示すように、動画像予測復号プログラムＰ４００は、入力モジュールＰ４０１、復元モジュールＰ４０２、画像格納モジュールＰ４０３、及び丸め込み方法決定モジュールＰ４０４を備えている。
【００９８】
上記のように構成された動画像予測符号化プログラムＰ２００及び動画像予測復号プログラムＰ４００は、図１８に示す記録媒体１０に記憶可能であり、後述する図１７のコンピュータ３０により実行される。
【００９９】
図１７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの概観図である。コンピュータとしては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。
【０１００】
図１７に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像予測符号化プログラムにアクセス可能になり、当該動画像予測符号化プログラムによって、本発明に係る動画像予測符号化装置として動作することが可能になる。同様に、コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像予測復号プログラムにアクセス可能になり、当該動画像予測復号プログラムによって、本発明に係る動画像予測復号装置として動作することが可能になる。
【０１０１】
図１８に示すように、動画像予測符号化プログラム又は動画像予測復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信された動画像予測符号化プログラム又は動画像予測復号プログラムをメモリ１６に格納して実行することができる。
【符号の説明】
【０１０２】
１０…記録媒体、３０…コンピュータ、２００…動画像予測符号化装置、２０１…入力端子、２０２…ブロック分割器、２０３…予測信号生成器、２０４…フレームメモリ、２０５…減算器、２０６…変換器、２０７…量子化器、２０８…逆量子化器、２０９…逆変換器、２１０…加算器、２１１…エントロピー符号化器、２１２…出力端子、２２１…画面間予測器、２２２…画面内予測器、３０１…丸め込み方法決定器、３０２…参照画像内挿器、３０３…動き検出・動き補償器、４００…動画像予測復号装置、４０１…入力端子、４０２…データ解析器、４０３…逆量子化器、４０４…逆変換器、４０５…加算器、４０６…出力端子、４０７…フレームメモリ、４０８…予測信号生成器、４０９…画面間予測器、４１０…画面内予測器、５０１…丸め込み方法決定器、５０２…参照画像内挿器、５０３…画面間予測信号生成器、１１０１…丸め込み方法決定器、１１０２…参照画像内挿器、１１０３…動き検出・動き補償器、１２０１…丸め込み方法決定器、１２０２…参照画像内挿器、１２０３…画面間予測信号生成器、Ｐ２００…動画像予測符号化プログラム、Ｐ２０１…入力モジュール、Ｐ２０２…符号化モジュール、Ｐ２０３…復元モジュール、Ｐ２０４…画像格納モジュール、Ｐ２０５…丸め込み方法決定モジュール、Ｐ４００…動画像予測復号プログラム、Ｐ４０１…入力モジュール、Ｐ４０２…復元モジュール、Ｐ４０３…画像格納モジュール、Ｐ４０４…丸め込み方法決定モジュール。
【図１】
0005390458.tif 000009
【図２】
0005390458.tif 000010
【図３】
0005390458.tif 000011
【図４】
0005390458.tif 000012
【図５】
0005390458.tif 000013
【図６】
0005390458.tif 000014
【図７】
0005390458.tif 000015
【図８】
0005390458.tif 000016
【図９】
0005390458.tif 000017
【図１０】
0005390458.tif 000018
【図１１】
0005390458.tif 000019
【図１２】
0005390458.tif 000020
【図１３】
0005390458.tif 000021
【図１４】
0005390458.tif 000022
【図１５】
0005390458.tif 000023
【図１６】
0005390458.tif 000024
【図１７】
0005390458.tif 000025
【図１８】
0005390458.tif 000026
【図１９】
0005390458.tif 000027
【図２０】
0005390458.tif 000028