(57)【要約】【課題】送信装置側で入力映像の一部のフレームを間引き、受信装置側で間引かれたフレームを高精度に補間する。【解決手段】送信装置１は、伝送フレームと間引き画像とを決定する時間分割部１０と、伝送フレームから動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定する参照フレーム決定手段と、動き推定元画像のブロック領域と類似する対応領域を動き推定先画像から決定し、動き推定元画像のブロック領域と動き推定先画像の対応領域との対応位置関係を求める動き推定部１４２と、対応位置関係に基づいて動き補償元画像を間引き画像のフレーム位置まで動き補償した画像と、間引き画像との残差をブロック領域ごとに算出する動き補償残差評価部１４３と、残差の値からブロック領域ごとの動き補償の有効性を示す判定情報を生成する判定部１５と、を備える。【選択図】図１
2014036385.tif 000002
【特許請求の範囲】
【請求項１】
入力映像の一部のフレームを間引いて伝送する送信装置であって、
入力映像のうち伝送されるフレームである伝送フレームと、伝送されないフレームである間引き画像とを決定する時間分割部と、
前記伝送フレームから動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定する参照フレーム決定手段と、
前記動き推定元画像のブロック領域と画素値パターンの類似する対応領域を前記動き推定先画像から決定し、前記動き推定元画像のブロック領域と前記動き推定先画像の対応領域との対応位置関係を求める動き推定部と、
前記対応位置関係に基づいて前記動き補償元画像を前記間引き画像のフレーム時刻位置まで動き補償した画像と、前記間引き画像との残差をブロック領域ごとに算出する動き補償残差評価部と、
前記残差の値からブロック領域ごとの動き補償の有効性を示す判定情報を生成する判定部と、
を備えることを特徴とする送信装置。
【請求項２】
フレームを符号化して伝送する際の符号化による劣化を模擬し、符号化により劣化されたフレームを生成する伝送模擬部を更に備え、
前記参照フレーム決定手段は、前記伝送模擬部により生成されたフレームから動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定することを特徴とする、請求項１に記載の送信装置。
【請求項３】
請求項１又は２に記載の送信装置により間引かれた間引き画像を補間生成する受信装置であって、
前記送信装置から伝送されるフレームから動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定する参照フレーム決定手段と、
前記送信装置から前記判定情報を取得し、該判定情報により動き補償が有効であると通知されたブロックについて、前記動き推定元画像のブロック領域と画素値パターンの類似する対応領域を前記動き推定先画像から決定し、前記動き推定元画像のブロック領域と前記動き推定先画像の対応領域との対応位置関係を求める動き推定部と、
前記対応位置関係に基づいて前記動き補償元画像の重畳先座標を求める動き補償部と、
前記複数組の動き補償元画像をそれぞれ前記重畳先座標に重畳して補間画像を生成する重畳部と、
前記送信装置から伝送されたフレームと、前記重畳部により生成された補間画像とを時間多重する時間多重部と、
を備えることを特徴とする受信装置。
【請求項４】
前記重畳部は、前記動き推定元画像、前記動き推定先画像、前記動き補償元画像、及び前記補間画像の時刻位置に応じて、前記動き補償画像を重み付けして重畳先座標に重畳し、補間画像を生成することを特徴とする、請求項３に記載の受信装置。
【請求項５】
前記重畳部は、前記動き推定元画像のブロック領域と前記動き推定先画像の対応領域との類似度に応じて、前記動き補償画像をブロック領域ごとに重み付けして重畳先座標に重畳し、補間画像を生成することを特徴とする、請求項３又は４に記載の受信装置。
【請求項６】
コンピュータを、請求項１又は２に記載の送信装置として機能させるためのプログラム。
【請求項７】
コンピュータを、請求項３から５のいずれか一項に記載の受信装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像の一部のフレームを間引いて伝送する送信装置、該送信装置により間引かれたフレームを補間生成する受信装置、及びそれらのプログラムに関する。
【背景技術】
【０００２】
従来、映像(動画像)の圧縮においては、あるフレームを符号化する際、近接する時刻の他のフレームとの時間相関を利用することで、情報の削減を行っている。しかし、画像サイズが大きくなるほど、またフレームレートが高くなるほど符号化が困難となり、とくに実時間の符号化処理は処理できる画像サイズやフレームレートに限界がある。そのため、画像サイズやフレームレートの限界を超える映像を処理するためには、映像にサイズやフレームレートを送信側で間引いて符号化を行い、受信側で間引かれた画素やフレームを補間する必要がある。
【０００３】
例えば、送信側でフレームを時間的に間引き、間引かれたフレームを間引かれていないフレーム(キーフレーム)から復元するためのサイド情報とともに伝送する映像符号化手法として、誤り訂正技術を応用したDistributed Video Codingが提案されている。
【０００４】
一方、画速（フレーム周波数）をより高いフレーム周波数へと変換するため、同一フレームを複数回提示する手法がある。例えば、フレーム周波数が３０Ｈｚの各フレームを２回ずつ提示することでフレーム周波数を６０Ｈｚに変換することができる。また、同一フレームを提示する回数を可変とした手法もある。例えば、２−３変換と称される手法では、フレーム周波数が２４Ｈｚの奇数番目のフレームを２回、偶数番目のフレームを３回提示することで、フレーム周波数が６０Ｈｚの映像を得ることができる。
【０００５】
また、補間フレームの時刻に隣接する２フレームの各画素値の平均又は、重みつき平均によって補間フレームの画素値を決定する手法もある。
【０００６】
さらに、映像の動きベクトルを利用して動き補償を行うことで、よりスムーズな補間フレームを生成する手法が知られている（例えば、特許文献１参照）。また、フレーム間引きを伴う映像符号化において、送信側でフレーム補間の有効性を評価して、適応的に間引きを行う手法が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３４９５４８５号公報
【特許文献２】特許第４９３０４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、従来の同一フレームを複数回提示する手法では、映像の動きがぎこちなくなるという問題があった。また、平均や重み付き平均により補間フレームを生成する手法によれば、映像の動きのぎこちなさは改善するものの、補間フレームにおいて動物体が二重像となり、解像度が低下するという問題や、補間フレームと補間ではない元来のフレームとの画質の違いがフリッカのように見えてしまうという問題があった。
【０００９】
また、特許文献１のような手法では、動きのぎこちなさや二重像は改善されるものの、動きが異なる被写体が同一ブロックに含まれている場合の動き補償誤差や、動き推定の精度の粗さによって生じる標本点の小数精度の誤差に起因して、動き補償に用いるブロックの境界が目立つことがある。動き補償を小数画素精度で行えば、標本点の小数精度の誤差は改善できるものの、小数画素精度の画素位置の移動（位相シフト）を行うディジタルフィルタの特性に起因して輪郭のぼやけやリンギングが生じることがある。
【００１０】
また、特許文献２のような手法では、フレーム間引きの際に、受信側でのフレーム補間の有効に働くような間引き制御を行うものの、参照フレーム補間の方法を送信側で検証する仕組み及び検証結果を受信側へ伝送する仕組みは備えていない。そのため、受信側の動作が適切な状態となるように設計することが困難であった。
【００１１】
かかる事情に鑑みてなされた本発明の目的は、入力映像から補間画像を生成する際に、解像度の低下やフリッカを防止し、かつ、高周波成分を含む鮮鋭な輪郭像を得ることが可能な送信装置、受信装置、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明に係る送信装置は、入力映像の一部のフレームを間引いて伝送する送信装置であって、入力映像のうち伝送されるフレームである伝送フレームと、伝送されないフレームである間引き画像とを決定する時間分割部と、前記伝送フレームから動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定する参照フレーム決定手段と、前記動き推定元画像のブロック領域と画素値パターンの類似する対応領域を前記動き推定先画像から決定し、前記動き推定元画像のブロック領域と前記動き推定先画像の対応領域との対応位置関係を求める動き推定部と、前記対応位置関係に基づいて前記動き補償元画像を前記間引き画像のフレーム位置まで動き補償した画像と、前記間引き画像との残差をブロック領域ごとに算出する動き補償残差評価部と、前記残差の値からブロック領域ごとの動き補償の有効性を示す判定情報を生成する判定部と、を備えることを特徴とする。
【００１３】
さらに、本発明に係る送信装置において、フレームを符号化して伝送する際の符号化による劣化を模擬し、符号化により劣化されたフレームを生成する伝送模擬部を更に備え、  前記参照フレーム決定手段は、前記伝送模擬部により生成されたフレームから動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定することを特徴とする。
【００１４】
また上記課題を解決するため、本発明に係る受信装置は、上記送信装置により間引かれた間引き画像を補間生成する受信装置であって、前記送信装置から伝送されるフレームから動き推定元画像、動き推定先画像、及び動き補償元画像の組を複数組決定する参照フレーム決定手段と、前記送信装置から前記判定情報を取得し、該判定情報により動き補償が有効であると通知されたブロックについて、前記動き推定元画像のブロック領域と画素値パターンの類似する対応領域を前記動き推定先画像から決定し、前記動き推定元画像のブロック領域と前記動き推定先画像の対応領域との対応位置関係を求める動き推定部と、前記対応位置関係に基づいて前記動き補償元画像の重畳先座標を求める動き補償部と、前記複数組の動き補償元画像をそれぞれ重畳先座標に重畳して補間画像を生成する重畳部と、  前記送信装置から伝送されたフレームと、前記重畳部により生成された補間画像とを時間多重する時間多重部と、を備えることを特徴とする。
【００１５】
さらに、本発明に係る受信装置において、前記重畳部は、前記動き推定元画像、前記動き推定先画像、前記動き補償元画像、及び前記補間画像の時刻位置に応じて、前記動き補償画像を重み付けして重畳先座標に重畳し、補間画像を生成することを特徴とする。
【００１６】
さらに、本発明に係る受信装置において、前記重畳部は、前記動き推定元画像のブロック領域と前記動き推定先画像の対応領域との類似度に応じて、前記動き補償画像をブロック領域ごとに重み付けして重畳先座標に重畳し、補間画像を生成することを特徴とする。
【００１７】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記送信装置、又は上記受信装置として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、送信装置側で入力映像の一部のフレームを間引き、受信装置側で間引かれたフレームを高精度に補間することが可能となる。その結果、全てのフレームを伝送する場合よりも、レート歪み特性（Ｒ−Ｄ特性）の良い伝送が可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る送信装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係る送信装置における残差評価部の構成例を示すブロック図である。
【図３】本発明の一実施形態に係る送信装置における残差評価部の動作を説明する図である。
【図４】本発明の一実施形態に係る送信装置における判定部の出力するビットパターン列を示す図である。
【図５】本発明の一実施形態に係る送信装置が伝送模擬部を有する場合の構成例を示すブロック図である。
【図６】本発明の一実施形態に係る受信装置の構成例を示すブロック図である。
【図７】本発明の一実施形態に係る受信装置における補間部の構成例を示すブロック図である。
【図８】本発明の一実施形態に係る受信装置における補間部の動作を説明する図である。
【発明を実施するための形態】
【００２０】
以下、本発明による送信装置及び受信装置の一実施形態について、図面を参照して詳細に説明する。本明細書では、ｆはフレーム番号を示し、Ｉ（ｆ）はフレーム番号ｆの画像を示す。また、フレーム時刻位置をフレーム番号で表す。
【００２１】
［送信装置］
図１は、本発明の一実施形態に係る送信装置の構成例を示すブロック図である。図１に示すように、送信装置１は、時間分割部１０と、伝送フレームメモリ１１と、非伝送フレームメモリ１２と、走査部１３と、Ｋ個の残差評価部１４（１４−１，１４−２，・・・１４−Ｋ）と、判定部１５と、を備える。説明の便宜上、伝送フレームメモリ１１及び非伝送フレームメモリ１２を分けて図示するが、１つのフレームメモリとして構成してもよい。また、伝送フレームメモリ１１及び非伝送フレームメモリ１２を送信装置の外部に備えるように構成してもよい。送信装置１は、入力映像の一部のフレームを間引いて伝送する。
【００２２】
時間分割部１０は、入力映像のうち間引かれないで送信装置１から伝送されるフレームである伝送フレームと、入力映像から間引かれて送信装置１から伝送されないフレームである非伝送フレーム（間引き画像）とを決定する。そして、伝送フレームを伝送フレームメモリ１１に記憶するとともに外部に出力し、非伝送フレームを非伝送フレームメモリ１２に記憶する。
【００２３】
伝送フレームメモリ１１は、送信装置１から伝送される（又は伝送された）フレームを複数フレーム記憶する。図１では、伝送フレームメモリ１１は、記憶された３時点のフレームを残差評価部１４に出力可能なように構成されている。
【００２４】
走査部１３は、入力映像上に配置するブロック領域（部分領域）の位置を示すブロック位置情報を残差評価部１４に出力する。
【００２５】
図２は、残差評価部１４の構成例を示すブロック図である。図２に示すように、残差評価部１４は、ブロック切出部１４１と、動き推定部１４２と、動き補償残差評価部１４３と、を備える。
【００２６】
図３は、残差評価部１４の動作の概要を説明するための図である。動き推定元画像とは、動き推定部１４２にて動き推定の対象元となる画像フレームである。動き推定先画像とは、動き推定部１４２にて動き推定の対象先となる画像フレームである。動き補償元画像とは、動き補償残差評価部１４３にて動き補償の対象となる画像フレームである。
【００２７】
動き推定元画像のフレーム番号ｆａと動き推定先画像のフレーム番号ｆｂとは一致してはならないが、動き推定元画像のフレーム番号ｆａと動き補償元画像のフレーム番号ｆｐとは一致してもよく、また、動き推定先画像のフレーム番号ｆｂと動き補償元画像のフレーム番号ｆｐとが一致してもよい。なお、図３において、Ｉ（ｆａ（1））などの上付きの（１）は、残差評価部１４−１による処理を意味し、同様に上付きの（２）は、残差評価部１４−２による処理を意味する。
【００２８】
残差評価部１４は、伝送フレームメモリ１１に記憶された伝送フレームから、動き推定元画像Ｉ（ｆａ）、動き推定先画像Ｉ（ｆｂ）、及び動き補償元画像Ｉ（ｆｐ）の組を決定する参照フレーム決定手段を有する。これらの参照フレームの組は、残差評価部１４ごとに異なるものとする。残差評価部１４は、動き推定元画像Ｉ（ｆａ）及び動き推定先画像Ｉ（ｆｂ）に基づき、画像内のブロック領域（部分領域）ごとの動きを算出し、該動きに基づいて動き補償元画像Ｉ（ｆｐ）と間引き画像Ｉ（ｆｑ）の位置合わせを行う。そして、位置合わせを行った動き補償元画像Ｉ（ｆｐ）と間引き画像Ｉ（ｆｑ）の残差ｅを算出し、判定部１５に出力する。
【００２９】
ブロック切出部１４１は、伝送フレームメモリ１１に記憶された動き推定元画像Ｉ（ｆａ）から、走査部１３から入力されるブロック位置情報により指定される位置のブロック領域Ｂを切り出し、動き推定部１４２に出力する。画像座標（ｘ，ｙ）における画素値をＩ（ｆ，ｘ，ｙ）と記し、水平Ｗ画素、垂直Ｈ画素のブロック領域Ｂの画像座標（ｉ，ｊ）における画素値をＢ（ｉ，ｊ）とすると、ブロック切出部１４１は、走査部１３から入力されたブロック領域Ｂの左上座標（ｓ，ｔ）に基づき、例えば次式（１）のようにブロック領域Ｂを切り出す。
【００３０】
【数１】
2014036385.tif 000003
【００３１】
動き推定部１４２は、ブロック切出部１４１により切り出された動き推定元画像Ｉ（ｆａ）のブロック領域Ｂと画素値パターンの類似する対応領域を、伝送フレームメモリ１１に記憶された動き推定先画像Ｉ（ｆｂ）内で類似度に基づき探索する。そして、動き推定元画像Ｉ（ｆａ）のブロック領域Ｂと動き推定先画像Ｉ（ｆｂ）の対応領域との対応位置関係を求め、対応位置情報を動き補償残差評価部１４３に出力する。対応位置情報は、例えば、走査部１３から入力されたブロックＢの左上座標（ｓ，ｔ）と対応領域の左上座標（ｕ、ｖ）を組として、（ｓ，ｔ，ｕ，ｖ）と表現することができる。また、対応位置情報は、ブロックＢの左上座標（ｓ，ｔ）と動きベクトル（ｕ−ｓ，ｖ−ｔ）を組として、（ｓ，ｔ，ｕ−ｓ，ｖ−ｔ）と表現することができる。対応領域の左上座標（ｕ、ｖ）は、例えば次式（２）により算出される。
【００３２】
【数２】
2014036385.tif 000004
【００３３】
なお、式（２）は絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）の最小化により対応領域を求めているが、二乗誤差和（ＳＳＤ；Sum of Squared Difference)の最小化や正規化相互相関(ＮＣＣ;Normalized Cross Correlation）の最大化により対応領域を求めてもよい。
【００３４】
また、ブロック切出部１４１と動き推定部１４２との処理をまとめ、式（１）（２）の演算を次式（３）に示すように一つの演算で実現してもよい。
【００３５】
【数３】
2014036385.tif 000005
【００３６】
動き補償残差評価部１４３は、動き推定部１４２により求められた対応位置情報に基づき動き補償元画像Ｉ（ｆｐ）を間引き画像のフレーム時刻位置まで動き補償した画像と、非伝送フレームメモリに記憶された間引き画像Ｉ（ｆｑ）との残差ｅをブロック領域ごとに算出し、判定部１５に出力する。残差ｅは、例えば次式（４）により見積もることができる。このとき、動き補償元画像Ｉ（ｆｐ）上の画素位置と、間引き画像Ｉ（ｆｑ）上の画素位置は、次式（５）に示すように対応位置関係と各フレームの時刻とに基づく按分により求める。
【００３７】
【数４】
2014036385.tif 000006
【００３８】
【数５】
2014036385.tif 000007
【００３９】
なお、映像フレームＩは画像座標に関して、その各成分が通常は整数値に離散化されている一方で、α，β，γ及びδは整数とは限らない。このため、例えば、映像フレームＩに点拡がり関数（例えば、２次元のSinc関数やガウシアン関数）を畳み込んで小数画素位置の画素値を定義してもよいし、α，β，γ及びδに整数化(例えば、丸め)を施してもよい。このようにして、各残差評価部１４は、それぞれ異なるフレームを参照してフレーム補間したときの残差をブロック領域Ｂごとに見積もる。
【００４０】
判定部１５は、複数の残差評価部１４により算出された残差ｅに応じて、ブロック領域Ｂごとに、動き補償の有効性、（残差評価部１４に入力される参照フレームの組の有効性)を判定し、有効か否かを示すビットパターン列を出力する。例えば、走査部１３の動き補償元画像Ｉ（ｆｐ）のブロック領域Ｂごとに、各残差評価部１４の残差ｅに閾値処理を行い、残差ｅが閥値θ以下（又は未満）である場合には有効と判定し、それ例外の場合には無効と判定する。例えば、走査部１３が走査のｎサンプル目（ｎは１以上Ｎ以下の整数、Ｎは自然数）に設定したブロック領域をＢｎとおく。ブロック領域Ｂｎに対して残差評価部１４−ｋ（ｋは１以上Ｋ以下の自然数、Ｋは自然数）が出力した残差値をｅｎ（ｋ）とおく。判定部１５は、闘値θと残差値をｅｎ（ｋ）との大小関係を比較し、比較結果のフラグＦｎ（ｋ）を出力する。フラグＦｎ（ｋ）は、例えば、次式（６）又は次式（７）により表される。
【００４１】
【数６】
2014036385.tif 000008
【００４２】
【数７】
2014036385.tif 000009
【００４３】
判定部１５の出力するビットパターン列（Ｐｎ）ｎ＝１，２，…，Ｎは、例えば次式（８）により定義することができる。Ｐｎは、ブロック領域Ｂｎについて、残差評価部１４−ｋの評価する動き補償が有効である場合にはＬＳＢ側から数えて第ｋビットを１に、有効でない場合には第ｋビットを０に設定したパターンである。
【００４４】
【数８】
2014036385.tif 000010
【００４５】
図４は、判定部１５の出力するビットパターン列Ｐｎを示す図である。図４では、Ｋ＝８の場合にＰｎを１６進数で示しており、この例ではＰ０＝ＦＦ，Ｐ１＝ＦＡ，Ｐ２＝ＦＣである。
【００４６】
また、判定部１５は、例えば、間引き画像Ｉ（ｆｑ）の画素位置ごとに各動き補償（各残差評価部１４の評価する参照フレームの組による補間法）が有効であるか否かを記録したビットパターン列を出力してもよい。この場合、各画素位置の判定の方法には、例えば、（１）残差の少なかったＬ個（Ｌは自然数）の動き補償を有効とし他の動き補償を無効と判定する方法、（２）残差が閾値θ以下（又は未満）であった動き補償を有効とし他の動き補償を無効と判定する方法、あるいは（３）残差の少なかったＬ個（Ｌは自然数）の動き補償のうち、残差が闘値θ以下（又は未満）であった動き補償を有効とし他の動き補償を無効と判定する方法が考えられる。
【００４７】
画素位置（ｘ，ｙ）における判定結果のビットパターン配列をＰ（ｘ，ｙ）とおく。また、ブロック領域Ｂｎに対する対応位置の４つ組を（ｓｎ，ｔｎ，ｕｎ，ｖｎ）とおく。上記（２）の方法による場合、例えば次式（９）で表されるビット演算を漸化的に適用することでビットパターンの配列Ｐ(ｘ，ｙ)を得ることができる。なお、演算子「｜＝」は、Ｃ＋＋言語における演算子「｜＝」と同じであり、左辺値と右辺値のビットごとの論理和をとった結果を、左辺値に戻すビット操作を表す。
【００４８】
【数９】
2014036385.tif 000011
【００４９】
送信装置１は、判定部１５による判定結果を示す判定情報（例えば、ビットパターン列（Ｐｎ）ｎ＝１，２，…，Ｎやビットパターン配列Ｐ（ｘ，ｙ））を、受信装置に対して伝送する。伝送時に可逆圧縮を行ってもよい。
【００５０】
送信装置１は、図５に示すように、更に伝送模擬部１６を備える構成としてもよい。伝送模擬部１６は、フレームを符号化して伝送する際の符号化による劣化を模擬し、符号化により劣化されたフレームを生成し、伝送フレームメモリ１１に記憶する。例えば、伝送フレームがＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式により符号化される場合には、該方式と同様に伝送フレームを局所復号（ローカルデコード）し、局所復号したフレーム画像を伝送フレームメモリ１１に記憶する。残差評価部１４はそれぞれ、伝送模擬部１６により生成されたフレームから動き推定元画像Ｉ（ｆａ）、動き推定先画像Ｉ（ｆｂ）、及び動き補償元画像Ｉ（ｆｐ）の組を決定する
【００５１】
以上説明したように、送信装置１は、時間分割部１０により、入力映像のうち伝送されるフレームである伝送フレームと、伝送されないフレームである間引き画像とを決定し、残差評価部１４により、伝送フレームから動き推定元画像Ｉ（ｆａ）、動き推定先画像Ｉ（ｆｂ）、及び動き補償元画像Ｉ（ｆｐ）の組を複数組決定し、動き推定元画像Ｉ（ｆａ）のブロック領域と画素値パターンの類似する対応領域を動き推定先画像Ｉ（ｆｂ）から決定し、該ブロック領域と該対応領域との対応位置関係に基づいて動き補償元画像Ｉ（ｆｐ）を間引き画像のフレーム時刻位置まで動き補償した画像と、間引き画像Ｉ（ｆｑ）との残差ｅをブロック領域ごとに算出し、判定部１５により、残差値からブロック領域ごとの動き補償の有効性を示す判定情報を生成する。このため、送信装置１によれば、間引かれた映像フレームの原画を参照しつつ、受信装置側で実施すべきフレーム補間の手法を決定することができるため、送信装置１で入力映像の一部のフレームを間引き、受信装置側で間引かれたフレームを高精度に補間することが可能となる。その結果、全てのフレームを伝送する場合よりも、レート歪み特性（Ｒ−Ｄ特性）の良い伝送が可能となる。
【００５２】
また、送信装置１は伝送模擬部１６を更に備えることにより、受信装置で実施すべきフレーム補間の手法を決定する際に、符号化による劣化をも考慮した決定が可能となるため、レート歪み特性を更に改善することが可能となる。
【００５３】
なお、上述した送信装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、送信装置１の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００５４】
［受信装置］
図６は、本発明の一実施形態に係る受信装置の構成例を示すブロック図である。図６に示すように、受信装置２は、フレームメモリ２１と、Ｋ個の補間部２２（２２−１，２２−２，・・・，２２−Ｋ）と、重畳部２３と、時間多重部２４と、を備える。補間部２２の個数Ｋは、送信装置１の残差評価部１４個数Ｋと同一である。受信装置２は、上述した送信装置１により間引かれた間引き画像を補間生成する。
【００５５】
フレームメモリ２１は、送信装置１から伝送された映像フレームＩＲを複数時点記憶する。なお、映像フレームＩＲ（ｆ）は、伝送フレームの伝送手段が無劣化の場合には入力映像のフレームＩ（ｆ）と同一であるが、伝送フレームの伝送手段が非可逆圧縮を行う場合には、符号化による劣化を受けている。
【００５６】
図７は、補間部２２の構成例を示すブロック図である。図７に示すように、補間部２２は、ブロック切出部２２１と、動き推定部２２２と、動き補償部２２３と、を備える。補間部２２は、ｋ番目の補間部２２−ｋは、ｋ番目の残差評価部１４−ｋと同じフレーム番号の画像（動き推定元画像、動き推定先画像、及び動き補償元画像）を参照するものとする。また、補間部２２−ｋは、残差評価部１４−ｋについてのブロック位置情報及び判定情報を取得する。
【００５７】
図８は、補間部２２の動作の概要を説明するための図である。動き推定元画像とは、動き推定部２２２にて、動き推定の対象元となる画像フレームである。動き推定先画像とは、動き推定部２２２にて、動き推定の対象先となる画像フレームである。動き補償元画像とは、動き補償の対象となる画像フレームである。補間画像とは、送信装置１から伝送されず、受信装置２で補間生成する画像フレームである。
【００５８】
動き推定元画像のフレーム番号ｆａと動き推定先画像のフレーム番号ｆｂとは一致してはならないが、動き推定元画像のフレーム番号ｆａと動き補償元画像のフレーム番号ｆｐとは一致してもよく、また、動き推定先画像のフレーム番号ｆｂと動き補償元画像のフレーム番号ｆｐとが一致してもよい。なお、図８において、ＩＲ（ｆａ（1））などの上付きの（１）は、補間部２２−１による処理を意味し、同様に上付きの（２）は、補間部２２−２による処理を意味する。
【００５９】
補間部２２は、フレームメモリ２１に記憶された伝送フレームから、動き推定元画像ＩＲ（ｆａ）、動き推定先画像ＩＲ（ｆｂ）、及び動き補償元画像ＩＲ（ｆｐ）の組を決定する参照フレーム決定手段を有する。これらの参照フレームの組は、補間部２２ごとに異なり、補間部２２−ｋの参照フレームのフレーム番号は、残差評価部１４ｋの参照フレームのフレーム番号と同一である。補間部２２は、送信装置１から判定情報を取得し、該判定情報により動き補償が有効であると通知されたブロックについてのみ動き補償を行う。
【００６０】
ブロック切出部２２１は、フレームメモリ２１に記憶された動き推定元画像ＩＲ（ｆａ）から、送信装置１から伝送されたブロック位置情報により指定される位置のブロック領域ＢＲを切り出し、動き推定部２２２に出力する。ただし、ブロック切出部２２１は、送信装置１から伝送された判定情報において動き補償が有効であると判定されたブロックについてのみブロック切り出しを行う。水平Ｗ画素、垂直Ｈ画素のブロック領域ＢＲの画像座標（ｉ，ｊ）における画素値をＢＲ（ｉ，ｊ）とすると、ブロック切出部２２１は、送信装置１から入力されたブロック領域Ｂの左上座標（ｓ，ｔ）に基づき、例えば次式（１０）のようにブロック領域ＢＲを切り出す。
【００６１】
【数１０】
2014036385.tif 000012
【００６２】
動き推定部２２２は、ブロック切出部２２１により切り出された動き推定元画像ＩＲ（ｆａ）のブロック領域ＢＲと画素値パターンの類似する対応領域を動き推定先画像ＩＲ（ｆｂ）から探索し、動き推定元画像ＩＲ（ｆａ）のブロック領域ＢＲと動き推定先画像ＩＲ（ｆｂ）の対応領域との対応位置関係を求め、対応位置情報を動き補償部２２３に出力する。対応位置情報は、例えば、送信装置１から入力されたブロック領域Ｂの左上座標（ｓ，ｔ）と対応領域の左上座標（ｕＲ、ｖＲ）を組として、（ｓ，ｔ，ｕＲ，ｖＲ）と表現することができる。また、対応位置情報は、ブロック領域Ｂの左上座標（ｓ，ｔ）と動きベクトル（ｕＲ−ｓ，ｖＲ−ｔ）を組として、（ｓ，ｔ，ｕＲ−ｓ，ｖＲ−ｔ）と表現することができる。対応領域の左上座標（ｕＲ、ｖＲ）は、例えば次式（１１）で求められる。
【００６３】
【数１１】
2014036385.tif 000013
【００６４】
なお、式（１１）は絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）の最小化により対応領域を求めているが、二乗誤差和（ＳＳＤ；Sum of Squared Difference)の最小化や正規化相互相関(ＮＣＣ;Normalized Cross Correlation）の最大化により対応領域を求めてもよい。
【００６５】
また、ブロック切出部２２１と動き推定部２２２との処理をまとめ、式（１０）（１１）の演算を次式（１２）に示すように一つの演算で実現してもよい。
【００６６】
【数１２】
2014036385.tif 000014
【００６７】
動き補償部２２３は、動き推定部２２２により求められた対応位置情報に基づき、動き推定元画像ＩＲ（ｆａ）に対応する動き補償元画像ＩＲ（ｆｐ）のブロック領域である部分画像Ｄを、例えば次式（１３）により生成する。
【００６８】
【数１３】
2014036385.tif 000015
【００６９】
なお、映像フレームＩＲは、画像座標に関して、その各成分が通常は整数値に離散化されている一方で、αＲ及びβＲは整数とは限らない。このため、例えば、映像フレームＩＲに点拡がり関数（例えば、２次元のＳｉｎｃ関数やガウシアン関数）を畳み込んで小数画素位置の画素値を定義してもよいし、αＲ及びβＲに整数化（例えば、丸め）を施してもよい。
【００７０】
また、動き補償部２２３は、動き推定部２２２により求められた対応位置情報に基づき、補償元画像ＩＲ（ｆｐ）の部分画像Ｄの重畳先座標（γＲ，δＲ）を、例えば次式（１４）により算出する。
【００７１】
【数１４】
2014036385.tif 000016
【００７２】
また、動き補償部２２３は、重畳処理をする際の部分画像Ｄの重みＷも算出するのが好適である。重みＷは、動き推定元画像のフレーム時刻位置ｆａ、動き推定先画像のフレーム時刻位置ｆｂ、動き補償元画像のフレーム時刻位置ｆｐ、及び補間画像のフレーム時刻位置ｆｑの時間の間隔に応じて算出することができる。例えば、動き推定のフレーム間隔や動き補償のフレーム間隔が広がるほど動き推定や動き補償の信頼度が低下するという仮定の下、次式（１５）により重みＷを算出することができる。
【００７３】
【数１５】
2014036385.tif 000017
【００７４】
また、部分領域Ｄごとに重み値Ｗを変化させる方法として、動き推定部２２２で算出される動き推定元画像ＩＲ（ｆａ）のブロック領域ＢＲと動き推定先画像ＩＲ（ｆｂ）の対応領域との類似度の最適値（最小値又は最大値）に応じ、類似度が高い（誤差が小さい、又は相関が高い）ほど重みＷを大きくするようにしてもよい。
【００７５】
重畳部２３は、補間部２２により生成された部分画像Ｄを重みＷを用いて重畳先座標（γＲ，δＲ）に重畳することにより補間画像Ｊ（ｆｑ）を生成する。ｎ番目（ｎはＮ以下の自然数、Ｎは自然数）のブロック領域ＢＲｎに対し、ｋ番目（ｋはＫ以下の自然数、Ｋは自然数）の補間部２２によって式（１３）〜（１５）で求められた部分画像をＤｎ（ｋ）、重みをＷｎ（ｋ）、重畳先座標を（γＲｎ（ｋ），δＲｎ（ｋ））とおくと、重畳部２３は、次式（１６）により補間画像Ｊ（ｆｑ）を生成する。
【００７６】
【数１６】
2014036385.tif 000018
【００７７】
様々なｋ，ｎに対して部分画像Ｄを重畳先座標（γＲｎ（ｋ），δＲｎ（ｋ））へ重ね合わせるが、重畳先座標の集合によっては重ね合わせが生じず、その場合には式（１６）の分母がゼロとなる。そこで、そのような場合も想定して、次式（１７）のように、分母がゼロとなる画像座標（ｘ，ｙ）に関しては、既知の手法で生成された補間画像Ｍ（ｘ，ｙ）の画素値としてもよい。例えば、Ｍ（ｘ，ｙ）はフレームメモリ２１に記憶されたいずれかのフレームの画素値であってもよいし、いずれか複数のフレーム画素値から導出される値（例えば平均値や、重み付き平均値）であってもよい。
【００７８】
【数１７】
2014036385.tif 000019
【００７９】
時間多重部２４は、送信装置１から伝送されフレームメモリ２１に蓄積されている映像フレームと、重畳部２３で生成された補間画像Ｊ（ｆｑ）とを時間多重することで、出力用の映像を構成する。例えば、入力映像のうち偶数フレームのみ送信装置１から伝送され、奇数フレームは重畳部２３により補間生成された場合には、時間多重部２４において、これらのフレームがフレーム番号順に交互に時間多重し、入力映像と等しいフレームレートの映像を出力する。
【００８０】
以上説明したように、受信装置２は、補間部２２により、送信装置１から伝送されるフレームから動き推定元画像ＩＲ（ｆａ）、動き推定先画像ＩＲ（ｆｂ）、及び動き補償元画像ＩＲ（ｆｐ）の組を複数組決定し、送信装置１から取得した判定情報により動き補償が有効であると通知されたブロックについて、動き推定元画像ＩＲ（ｆａ）のブロック領域と画素値パターンの類似する対応領域を動き推定先画像ＩＲ（ｆｂ）から決定し、該ブロック領域と該対応領域との対応位置関係に基づいて動き補償元画像ＩＲ（ｆｐ）の重畳先座標を求める。そして、重畳部２３により、複数組の動き補償元画像をそれぞれ重畳先座標に重畳して補間画像Ｊ（ｆｑ）を生成し、時間多重部２４により、送信装置１から伝送されたフレームと補間画像Ｊ（ｆｑ）とを時間多重する。このため、受信装置２によれば、送信装置１から伝送されないフレームを高精度に補間することが可能となる。その結果、全てのフレームを伝送する場合よりも、レート歪み特性（Ｒ−Ｄ特性）の良い伝送が可能となる。
【００８１】
ここで、重畳部２３は、動き推定元画像ＩＲ（ｆａ）、動き推定先画像ＩＲ（ｆｂ）、動き補償元画像ＩＲ（ｆｐ）、及び補間画像Ｊ（ｆｑ）の時刻位置や、動き推定元画像ＩＲ（ｆａ）のブロック領域と動き推定先画像ＩＲ（ｆｂ）の対応領域との類似度に応じて、動き補償画像を重み付けして重畳するのが好適である。これにより、補間画像の算出に用いる画像と補間画像との時間間隔や動き推定の類似度に応じた信頼度の高低を重み付けにより反映することができるため、領域ごとに信頼性の高い画像重畳が可能となる。
【００８２】
なお、上述した受信装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、受信装置２の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００８３】
上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロックは複数を１つに組み合わせたり、あるいは分割したりすることが可能である。
【産業上の利用可能性】
【００８４】
このように、本発明によれば、送信装置側で入力映像の一部のフレームを間引き、受信装置側で間引かれたフレームを高精度に補間することができるので、映像を送受信する任意の用途に有用である。
【符号の説明】
【００８５】
１      送信装置
２      受信装置
１０    時間分割部
１１    伝送フレームメモリ
１２    非伝送フレームメモリ
１３    走査部
１４    残差評価部
１５    判定部
１６    伝送模擬部
２１    フレームメモリ
２２    補間部
２３    重畳部
２４    時間多重部
１４１  ブロック切出部
１４２  動き推定部
１４３  動き補償残差評価部
２２１  ブロック切出部
２２２  動き推定部
２２３  動き補償部
【図１】
2014036385.tif 000020
【図２】
2014036385.tif 000021
【図３】
2014036385.tif 000022
【図４】
2014036385.tif 000023
【図５】
2014036385.tif 000024
【図６】
2014036385.tif 000025
【図７】
2014036385.tif 000026
【図８】
2014036385.tif 000027