(57)【要約】【課題】動画像を符号化した符号化情報のデータ欠損により、復号した際に生ずる欠損領域において、平行移動以外の動きがあっても補間可能な、主観画質に優れた画像復号装置を提供する。【解決手段】復号部2は、符号化情報を復号して一連の復号画像を得ると共に、欠損領域を識別する。対応部3は、復号画像より特徴点を算出し、欠損領域及び／又はその近傍における複数の復号画像間において当該算出された特徴点を対応付け、当該対応付けられた特徴点群から変換係数を算出する。補間部4は、復号画像に前記算出された変換係数を適用することで欠損領域を補間する。【選択図】図１
2015095862.tif 000002
【特許請求の範囲】
【請求項１】
動画像が符号化された符号化情報を復号して一連の復号画像を得ると共に、欠損領域を識別する復号部と、
前記復号画像より特徴点を算出し、欠損領域及び／又はその近傍における複数の復号画像間において当該算出された特徴点を対応付け、当該対応付けられた特徴点群から変換係数を算出する対応部と、
前記復号画像に前記算出された変換係数を適用することで欠損領域を補間する補間部と、を備えることを特徴とする画像復号装置。
【請求項２】
前記対応部は、欠損領域の範囲に応じて、欠損領域を補間するための復号画像のフレームを複数選択し、当該選択されたフレームにおいて特徴点を算出し、当該選択されたフレーム間において当該算出された特徴点群を対応付けることを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記対応部は、欠損領域の存在する復号画像のフレームにおいて、当該欠損領域の周辺に、復号された画素信号が十分に存在するか否かを判定し、十分に存在すると判定された場合には、当該欠損領域の存在するフレームとその隣接フレームとを選択し、十分に存在するとは判定されなかった場合には、当該欠損領域の存在するフレームの隣接フレームと、当該隣接フレームの次の隣接フレームと、を選択することを特徴とする請求項２に記載の画像復号装置。
【請求項４】
前記対応部は、前記選択した復号画像のフレームにおいて、欠損領域と同位置の領域及びその周辺領域から、前記特徴点を算出することを特徴とする請求項１ないし３のいずれかに記載の画像復号装置。
【請求項５】
前記対応部は、前記選択した復号画像のフレームにおいて、欠損領域と同位置の領域及びその周辺領域から、前記特徴点を算出すると共に、当該算出された特徴点を対応付ける際に、欠損領域と同位置の領域及びその周辺領域を所定方式で分割した領域ごとに、対応付けを行うことを特徴とする請求項４に記載の画像復号装置。
【請求項６】
前記対応部は、前記選択した復号画像のフレームにおいて、欠損領域と同位置の領域及びその周辺領域から、前記特徴点を算出し、欠損領域と同位置の領域及びその周辺領域を所定方式で分割した領域ごとに、特徴点の対応付け及び変換係数の算出を行い、
前記補間部は、前記所定方式で分割した領域ごとに、欠損領域を補間することを特徴とする請求項４に記載の画像復号装置。
【請求項７】
前記対応部は、前記選択した復号画像のフレーム間において、前記算出された特徴点同士のロバスト推定によるマッチングを行い、最適な組み合わせを得ることで前記対応付けを行うことを特徴とする請求項１ないし６のいずれかに記載の画像復号装置。
【請求項８】
前記対応部は、欠損領域の範囲に応じて、欠損領域を補間するための復号画像のフレームを、当該欠損領域の存在するフレームの近傍フレームから２つ選択し、当該選択されたフレームにおいて特徴点を算出し、当該選択されたフレーム間において当該算出された特徴点群を対応付け、一方のフレームにおける特徴点をもう一方のフレームにおける特徴点へと変換係数で写像する際の誤差を最小化するような変換係数として、前記変換係数を算出することを特徴とする請求項１ないし７のいずれかに記載の画像復号装置。
【請求項９】
前記対応部は、欠損領域の範囲に応じて、欠損領域を補間するための復号画像のフレームを複数選択し、当該選択されたフレームにおいて特徴点を算出し、当該選択されたフレーム間において当該算出された特徴点群を対応付け、
前記補間部は、前記前記選択されたフレームにおける復号済みの画素信号に前記算出された変換係数を適用することで、欠損領域を補間することを特徴とする請求項１ないし８のいずれかに記載の画像復号装置。
【請求項１０】
前記補間部は、前記選択されたフレームにおける欠損領域に対応する領域を、前記算出された変換係数に基づいて求め、当該欠損領域に対応する領域における輝度変化を算出し、当該算出された輝度変化と前記算出された変換係数とに基づいて、欠損領域を補間することを特徴とする請求項９に記載の画像復号装置。
【請求項１１】
前記補間部は、欠損領域の存在するフレーム及び前記選択されたフレームにおける、欠損領域の近傍領域同士をフレーム間で予測する重み予測係数として、前記輝度変化を算出し、前記算出された変換係数の適用後にさらに当該算出された重み予測係数を適用することで、欠損領域を補間することを特徴とする請求項１０に記載の画像復号装置。
【請求項１２】
前記対応部は、欠損領域の範囲に応じて、欠損領域を補間するための復号画像のフレームを複数選択し、当該選択されたフレームにおいて特徴点を算出し、当該選択されたフレーム間において当該算出された特徴点群を対応付け、
前記補間部は、前記対応部にて前記対応付けられた特徴点群の数が所定値に満たない場合は、補間対象の欠損領域が平坦領域で構成されていると判断し、前記変換係数の適用による補間に代えて、前記選択されたフレームより動きベクトルを推定し、当該動きベクトルの参照領域により、欠損領域を補間することを特徴とする請求項１ないし１１のいずれかに記載の画像復号装置。
【請求項１３】
前記補間部は、前記動きベクトルを推定する際のテンプレートマッチングにおいて、エッジ領域に重みづけを行うことを特徴とする請求項１２に記載の画像復号装置。
【請求項１４】
前記対応部は、欠損領域の範囲に応じて、欠損領域を補間するための復号画像のフレームを複数選択し、当該選択されたフレームにおいて特徴点を算出し、当該選択されたフレーム間において当該算出された特徴点群を対応付け、
欠損領域が色空間の第一信号に存在し、色空間の第二信号では当該欠損領域と同時刻及び同位置に復号された画素信号が存在する場合に、第二信号において前記フレームを選択し、特徴点を算出し、特徴点群を対応付けることを特徴とする請求項１ないし１３のいずれかに記載の画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置に関し、特に、データの欠損により生じた画像劣化を適応的に補間することで、主観的画質を向上させる画像復号装置に関する。
【背景技術】
【０００２】
画像を符号化しネットワークを介して送信する場合、伝送パケットが欠損すると、該当する領域の画像が受信側で正常に復号できないだけでなく、当該領域を参照する他の領域も受信側で正常に復号できないため、次のランダムアクセスが可能なブロックもしくはフレームまで受信側で破棄せざるを得ず、その後に伝送パケットを正常に受信していたとしても、復号画像が得られないという問題がある。
【０００３】
従来の対策では、誤りそのものを無くす手段としてFEC(誤り訂正)やARQ(再送要求)が用いられることがある。しかし、FECでは誤り訂正用の情報が付与されているため伝送パケットの総量が増加してしまう問題があり、ARQでは再送要求と再送そのものに時間がかかるという問題がある。特に、低ビットレートや低遅延が求められる用途では前記の手法を用いることはできない。
【０００４】
一方、画像補間技術(いわゆるエラーコンシールメント)では、受信済みの情報から画像を再構成する。一般的に、画像補間技術は時間的補間と空間的補間に分類される。時間的補間は、時間的近傍のフレームとの相関を利用し、欠損した領域を復元済みフレームの類似領域で置換することにより補間する。対して、空間的補間は当該フレームの中での空間的相関を利用し、近隣領域から欠損領域を予測することにより補間する。
【０００５】
特許文献１は、時間的補間のひとつであり、欠損した領域と空間的に対応する復号済みの過去の復号信号をそのままコピーすることで、画像を補間する手法を提案している。
【０００６】
特許文献２は、空間的補間のひとつであり、欠損領域を４つの領域に分割し、分割領域毎に適した空間的補間を適用する手法を提案している。
【０００７】
特許文献３では、階層符号化された画像に対し、同一座標の符号情報を利用することで、より高精度な補間を図る。すなわち、欠損した領域と空間的に対応する復号可能な下位階層の符号情報および同復号信号を用いて画像を補間する手法を提案している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４１６４９６６号公報
【特許文献２】特開２０１３−４８４４７号公報
【特許文献３】特開２０１２−２３８９４７公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１は、欠損領域を過去の画像そのもので単純に代替しているため、動きのある領域が欠損した場合は、静止したように見えてしまうという問題がある。また、後続のフレームで正常に復号できた場合は、動きに不連続が生じるため、主観画質が大きく劣化するという問題がある。
【００１０】
特許文献２は、欠損領域を近傍画素のメディアンや平均で補間するため、画像がボケるという問題がある。また、当該フレーム内だけで補間するため、動きのある領域が欠損した場合は、動きに不連続が生じやすくなるため、主観画質が劣化しやすいという問題がある。
【００１１】
一方、特許文献３は、下位階層の動き情報を流用することで欠損領域の動きを補間するため、特許文献１の問題を一部解決できる。しかし、平行移動を表す動き情報を流用しているため、回転運動等の動きに対応できないという問題がある。また、階層符号化の下位階層が欠損した場合は、特許文献１による補間を用いるため、特許文献１と同質の問題を抱える。さらに、そもそも階層符号化された画像にしか適用できないという問題がある。
【００１２】
本発明の目的は、上記の従来技術の課題に鑑み、階層符号化などの特別な符号化がなされていなくとも適用可能であり、欠損領域の動きが平行移動以外である場合にも補間可能な、主観画質に優れた画像復号装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、本発明は、画像復号装置であって、動画像が符号化された符号化情報を復号して一連の復号画像を得ると共に、欠損領域を識別する復号部と、前記復号画像より特徴点を算出し、欠損領域及び／又はその近傍における複数の復号画像間において当該算出された特徴点を対応付け、当該対応付けられた特徴点群から変換係数を算出する対応部と、前記復号画像に前記算出された変換係数を適用することで欠損領域を補間する補間部と、を備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、欠損領域及び／又はその近傍における複数の復号画像間において算出する特徴点の対応付けの変換係数より、欠損領域の動きに相当する情報を得て、当該変換係数を適用することで欠損領域を補間するので、映像符号化・復号の方式に依存することなく、主観画質に優れた補間が可能となる。
【図面の簡単な説明】
【００１５】
【図１】一実施形態に係る画像復号装置の機能ブロック図である。
【図２】対応部の機能ブロック図である。
【図３】フレーム選択部によるフレームの選択を説明するための例を示す図である。
【図４】特徴量算出部が局所画像特徴量を算出するための領域の例を示す図である。
【図５】補間部が補間する際の式の各値及びなされる計算を模式的に説明するための図である。
【図６】欠損領域及びその周辺領域を部分領域へと分割する例を示す図である。
【図７】色空間における異なる信号間で補間を行う例を示す図である。
【発明を実施するための形態】
【００１６】
図1は、本発明の一実施形態に係る画像復号装置の機能ブロック図である。画像復号装置1は、復号部2、対応部3及び補間部4を備える。当該各部の概要は以下の通りである。
【００１７】
復号部2は、符号化情報を復号して復号画像となし、当該復号画像を対応部3及び補間部4に渡す。なお、当該復号の際に、欠損領域も識別される。対応部3は、復号部2で得た復号画像から特徴点を算出し複数の復号画像間で対応付けると共に、当該対応付けられた特徴点群から変換係数を算出し、当該変換係数を補間部4に渡す。補間部4は、復号部2で得た復号画像に対応部3で得た変換係数を適用することで、欠損領域を補間する。
【００１８】
以下、各部の詳細を説明する。
【００１９】
復号部2は、符号化情報から画像信号を復号する。符号化情報としては、MPEG-1/2/4、H.264、HEVC等、任意の周知の符号化方式を利用でき、当該符号化方式に対応した周知の復号手段を有して、復号部2を構成することができる。
【００２０】
さらに、復号部2は、符号化情報に欠損が生じている場合、復号可能な領域だけを復号し、欠損した符号化情報に該当する領域を欠損領域として識別する。当該欠損領域は、後述する補間部4にて補間される。ここで、補間の精度を向上させるためには、欠損が発生した後の正常化を遅滞なくできるよう、独立して復号可能な情報を適宜符号化しておくことが望ましい。例えば、MPEG等ではスライス構造を利用することができる。
【００２１】
なお、欠損とは、符号化情報を読み取れない状況、または、伝送されてこない状況を指すだけでなく、読み取れたり伝送されたりしても復号するべき適切なタイミングに間に合わなければ欠損として取り扱う。当該タイミングは、画像復号装置1の用途などに応じて予め設定しておき、復号部2は当該設定に応じて、復号画像における欠損領域の識別を与えることができる。例えば、用途がリアルタイムの再生であれば、利用可能なフレームバッファ等に応じたタイミングに間に合わなければ、欠損として扱う。
【００２２】
対応部3は、復号された画像信号から特徴量を算出し、複数画像間における対応関係を推定した後、対応関係を表現する変換係数を算出する。図２は、当該算出を行う対応部3の機能ブロック図である。対応部3は、フレーム選択部31、特徴量算出部32、特徴量対応部33及び変換係数算出部34を備え、当該各部はこの順(付与した参照番号の順)に処理を行う。当該各部の詳細は以下の通りである。
【００２３】
フレーム選択部31は、欠損領域の範囲に応じて欠損領域を補間するのに適切なフレームを複数選択し、当該欠陥領域について当該選択された結果を特徴量算出部32に渡す。
【００２４】
具体的には、フレーム選択部31は、現時刻fのフレームf内の欠損領域の周辺に、復号部2で復号できた画素信号が十分にあると判定できるか否かによって、2通りの場合分けを行い、それぞれの場合に応じて適切な複数のフレームを選択する。図３は、フレーム選択部31による当該選択の処理を説明するための例を示す図であり、当該2通りの場合分けを(A),(B)と区別して示している。
【００２５】
また、図３の(C)は、当該選択されるフレームを説明するため、フレームを時系列で並べたものである。ここでは、注目する欠損領域が含まれる現時刻fのフレームf(斜線付与して表記)と、時間的に最近傍のフレーム、すなわち、フレームfから1フレーム離れ、隣接している過去の側のフレームf-1及び未来の側のフレームf+1と、その次の近傍のフレーム、すなわち、フレームfから2フレーム離れた過去の側のフレームf-2及び未来の側のフレームf+2と、が示されている。なおまた以降、本発明の説明においてこのように、フレームの時刻(復号され映像として再生される際の順番で指定される時刻)が「f」である場合、「フレームf」として言及する。
【００２６】
図３の(A)に欠損領域L1やL2として例示するように、当該時刻fにおけるフレームf内の欠損領域の周辺に、復号部2で復号できた画素信号が十分に存在すると判定された場合、フレーム選択部31は、(C)に示すうちの、当該フレームf自身と、時間的に最近傍の復号済みフレームf-1またはf+1のいずれかと、の2つのフレームを選択する。
【００２７】
すなわち、(A)に示すフレームf内の欠損領域L1やL2は、当該フレームfの全体の大きさに比べて十分に小さく、その周辺には復号された画素信号が十分に存在している。従って、当該欠損領域L1やL2についてはそれぞれ、(C)に示すうちのフレームf及びf-1またはフレームf及びf+1が選択される。
【００２８】
一方、逆に、図３の(B)に欠損領域L3として例示するように、当該時刻fのフレームf内の欠損領域の周辺に、復号部2で復号できた画素信号が十分には存在しないと判定された場合、フレーム選択部31は時間的に最近傍の復号済みフレームと、これに隣接する次に最近傍の復号済みフレームと、を選択する。すなわち、当該欠損領域L3については、(C)に示すうちの、互いに隣接するフレームf-1(最近傍)及びf-2(次に最近傍)の2つのフレームか、フレームf+1(最近傍)及びf+2(次に最近傍)の2つのフレームか、のいずれかが選択される。前者は過去側からの選択であり、後者は未来側からの選択である。
【００２９】
ここで、図３の例における(A),(B)の場合分けの判定、すなわち、欠損領域の周辺に十分な復号された画素信号があるか否かの判定は、具体的には、次に掲げる条件(1)〜(4)の全てまたは一部分を満たすことによって、欠損領域ごとに判定すればよい。なお、以下の(2)の寸法に関して、欠損領域が矩形でない場合は、外接矩形の寸法で代用すればよい。
【００３０】
(1)欠損領域の面積が所定値以下であること。
(2)欠損領域の寸法(縦及び／又は横、両方の場合はそれぞれ)が所定値以下であること。
(3)欠損領域をその重心等の所定位置を中心として所定割合だけ拡大した際に、あるいは欠損領域の周囲を所定幅だけ拡張した際に、当該拡大又は拡張によって欠損領域の外に新たに生じる領域が全て、フレームf内にあり、且つ復号された画素信号によって構成されていること。
(4)欠損領域の境界が全て、復号された画素信号に接していること。
【００３１】
なお、(A)の場合においてはf及びf-1か、f及びf+1か、の過去側または未来側のいずれかの選択が可能であり、同様に、(B)の場合においてはf-1及びf-2か、f+1及びf+2か、の過去側または未来側のいずれかの選択が可能である。実際にいずれも利用可能である場合は、ランダムにいずれかを選択してもよいし、予め決定されたいずれかを選択してもよい。一方、符号化情報の受信状況及び／又は復号部2の実装等によって、例えば、未来側f+1,f+2が当該時刻fにおいては復号未完了であって利用できないなど、実際にはいずれかのみ利用可能である場合は、当該利用可能な側を選択すればよい。
【００３２】
また、f-2,f-1, f+1,f+2のうち、欠損領域を含むものがある場合は、選択対象から除外してもよい。この際、f-2,f-1, f+1,f+2に欠損領域が含まれているものの、その位置が、対象としているフレームf内の欠損領域の位置の所定近傍内ではない場合は、(後述の特徴量算出部32以降の計算が可能である見込みが高いので、)除外しないようにしてもよい。
【００３３】
特徴量算出部32は、フレーム選択部31が選択したフレームのそれぞれにおいて、欠損領域と同位置の領域およびその周辺領域(のうち、復号された画像信号で構成されている領域)から局所画像特徴量を算出する。ここで、周辺領域は、欠損領域を所定幅だけ拡張させる、または、重心等の所定位置を中心として所定割合だけ拡大する、等の所定規則によって定めればよい。
【００３４】
図４は、特徴量算出部32が当該算出するための領域の例を示す図である。図４では、図３の(A)の場合におけるフレームfの欠損領域L1に対して、フレームf, f-1が選択された場合を(1)として、また、図３の(B)の場合におけるフレームfの欠損領域L3に対して、フレームf-1,f-2が選択された場合を(2)として、示している。
【００３５】
すなわち、図４にて(1)の場合、フレームfにて当該対象としている欠損領域L1の周辺領域がR1である。そして、属するフレームが括弧で示されている。すなわち、(1)の場合においては、フレーム選択部31に選択されたフレームfにおける欠損領域L1(f)と同位置の領域L1(f)及びその周辺領域R1(f)と、同じく選択されたフレームf-1における欠損領域L1(f)と同位置の領域L1(f-1)及びその周辺領域R1(f-1)と、がそれぞれ局所画像特徴量の算出対象の領域となる。ここで、領域L1(f)は欠損領域そのものであり、復号画像としての信号が存在しないので、局所画像特徴量を算出することはできず、算出対象の領域からは除外される。
【００３６】
また、図４にて(2)の場合、フレームfにて当該対象としている欠損領域L3の周辺領域がR3である。そして、(1)の表記と同じく、属するフレームが括弧で示されている。すなわち、(2)の場合においては、フレーム選択部31に選択されたフレームf-1における欠損領域L3(f)と同位置の領域L3(f-1)及びその周辺領域R3(f-1)と、同じく選択されたフレームf-2における欠損領域L3(f)と同位置の領域L3(f-2)及びその周辺領域R3(f-2)と、がそれぞれ局所画像特徴量の算出対象の領域となる。
【００３７】
ここで、特徴量算出部32の算出する局所画像特徴量は、画像の拡大縮小、回転等に頑強な性質を持つことが望ましい。こうした性質を持つものとして例えば、SIFT(Scale Invariant Feature Transform)やSURF(Speeded Up Robust Features)、Fernsなどの周知の局所画像特徴量を利用することができる。
【００３８】
なお、フレーム選択部31以降の処理は欠損領域ごとに実施されるので、欠損領域が複数存在する場合はそれぞれに対応する領域から、特徴量算出部32が局所画像特徴量を算出する。
【００３９】
特徴量対応部33は、特徴量算出部32で算出された局所画像特徴量について、当該算出されたフレーム間における対応関係を推定する。当該推定には、一連の局所画像特徴量同士を対応付ける周知の手法を利用できる。例えば、マッチングを行うことで、最適な組み合わせを選択して、対応関係とする。例えばSIFTの場合であれば、特徴量同士のドット積を求め、最も類似する特徴量と2番目に類似する特徴量を選択する。前者との類似度と後者との類似度との比が予め設定した閾値を超えた場合、前者を対応関係にある特徴量として推定する。
【００４０】
例えば、図４の例であれば、(1)の場合、フレームfの領域R1(f)から算出された一連の局所画像特徴量と、フレームf-1の領域L1(f-1)及び領域R1(f-1)から算出された一連の局所画像特徴量と、の対応関係が推定される。また、(2)の場合、フレームf-1の領域L3(f-1)及び領域R3(f-1)から算出された一連の局所画像特徴量と、フレームf-2の領域L3(f-2)及び領域R3(f-2)から算出された一連の局所画像特徴量と、の対応関係が推定される。
【００４１】
変換係数算出部34は、特徴量対応部33で対応付けられた複数の局所画像特徴量(以下、適宜、局所画像特徴量を特徴量と略称する)における座標の変化を、変換係数として表現する。変換には射影変換やアフィン変換等の、平行移動以外の動き（回転、ひずみなど）も表現可能な変換を利用することができ、変換の種類に応じて変換係数を算出する。
【００４２】
変換係数の算出に関しては、次のようにすればよい。例えば、フレームfにおけるn個の特徴量の同次座標をxfi (1≦i≦n)と置くと、図４の(1)の場合に対応するフレームf,f-1間の変換行列Afは、次の式(1)を満たすことが期待される。(なお、同次座標xfi等は、式中ではベクトルを表す上矢印を付与して表記している。)
【００４３】
【数１】
2015095862.tif 000003
【００４４】
よって、変換係数算出部34は、フレーム選択部31が選択した一方のフレームにおける特徴量の座標を変換係数で写像し、当該特徴量と対応付けられた他方のフレームにおける特徴量の座標との誤差を最小化するように、下記の式(2)のコスト関数eを最小化する変換係数を算出し、変換行列Afを求める。なお、wiは重み係数であり、所定係数を予め設定しておく。wi=1として、重み係数の利用を省略してもよい。
【００４５】
【数２】
2015095862.tif 000004
【００４６】
なお、上記の式(1),(2)は、図４の(1)の場合に対応する、フレームf,f-1間の変換行列Afを求めるものであるが、「f」を「f-1」に置き換えることで全く同様に、図４の(2)の場合に対応する、フレームf-1,f-2間の変換行列Af-1を求めることができる。さらに同様に「f」を「f+1」,「f+2」に置き換えることで、未来側のフレームf,f+1間や、f+1,f+2間についても上記過去側と同様の変換行列を求めることができる。
【００４７】
なお、以下の補間部4の説明についても、上記式(1),(2)の前提で、すなわち、フレームf,f-1間で変換行列Afを求めた前提で説明を行う。そして適宜、フレームf-1,f-2間の変換行列Af-1を求めた場合や、未来側のフレームf,f+1間や、f+1,f+2間で変換行列を求めた場合でも、同様のことが可能であることを補足して説明する。
【００４８】
補間部4は、対応部3で以上のようにして算出された変換係数と復号済みの画素信号とを用いて、欠損領域の画素信号を補間する。補間は以下の式(3),(4)で行う。ここで、Ifはフレームfにおけるピクセルの集合、αは重み係数、δ(式中では上線を付与して表記)は消失していない部分との誤差の平均、Afは式(1),(2)で説明したIfの変換行列を表す。
【００４９】
【数３】
2015095862.tif 000005
【００５０】
上記式(3),(4)による補間の意義は次の通りである。すなわち、対応部3で算出した局所画像特徴量は、輝度変化に耐性があるよう設計された特徴量であり、輝度変化の有無に関わらず対応関係を推定しているのに対し、補間部4による欠損領域の補間では、当該対応関係のもとの変換行列を適用することで、回転などの動きに対応するのみならず、主観画質を向上させるためさらに、輝度変化をも反映させる。ここで、0と1の間の所定値とする重み係数αが大きいほど、輝度変化の反映度合が大きくなる。
【００５１】
図５は、式(3),(4)の各値及びなされる計算を模式的に説明するための図であり、[1],[2],[3]にそれぞれフレームf,f-1,f-2を示し、[4],[5]に計算の説明を示している。[1]にはフレームfのピクセル集合Ifが示され、当該ピクセル集合Ifは欠損領域If[L]及びその周辺領域If[R]からなる。周辺領域If[R]は、特徴量算出部32で参照したものである。
【００５２】
また、図５の[2]のフレームf-1のうち、変換行列Afの適用により[1]の当該集合If並びに領域If[L]及びIf[R]の位置に写像される領域が、それぞれ集合If-1並びに領域If-1[L]及びIf-1[R]である。同様に、[3]のフレームf-2のうち、変換行列Af-1の適用により[2]の当該集合If-1並びに領域If-1[L]及びIf-1[R]の位置に写像される領域が、それぞれ集合If-2並びに領域If-2[L]及びIf-2[R]である。なお、以上の各フレームの各領域につき、補間対象であるフレームfの欠損領域If[L]以外は、復号された画素信号で構成されていることが前提であるが、利用されない部分については欠損領域で構成されていてもよい。
【００５３】
式(4)のピクセル集合Bfは、次のものを表現している。すなわち、当該式(4)自身及び模式的な図５の[4]に示すように、ピクセル集合If-1において、フレームf-2からf-1へ移る間に自分自身(ピクセル集合If-1)が経験した輝度変化と同じ輝度変化が、フレームf-1からfへと移る間にも現れるものと仮定した際に、ピクセル集合If-1がフレームfにおいてどのようなピクセル集合となるか、を表現するのがピクセル集合Bfである。ここで、フレームf-2からf-1へ移る間の輝度変化が式(4)の「(If-1- Af-1 If-2)」である。当該「Af-1 If-2」の項は、当該フレームf-2からf-1へ移る間の動き(当該動きがAf-1で表現される)の影響を排除して、適切に輝度変化を計算するためのものである。
【００５４】
しかし、上記仮定により輝度変化を予測したピクセル集合Bfの位置は、フレームf-1におけるピクセル集合If-1の位置と同じである。そこで、式(3)及び模式的な図５の[5]に示すように、補間対象のピクセル集合Ifを計算する際には、ピクセル集合Bfに変換行列Afを施すことでピクセル集合Ifと同位置となし、輝度変化を(1-α)の割合で反映させる。一方、動きの効果の項は式(3)の「AfIf-1」であり、αの割合で反映される。
【００５５】
また、式(3)における、消失していない部分(=周辺領域If[R])との誤差の平均であるδ(式中では上線を付与して表記)は、次のようにして求める。すなわち、当該対象とするフレームfにおける消失していない領域If[R]と、当該領域If[R]を1つ前のフレームf-1から当該式(3)自身と同様の手法で予測した領域Af{αIf-1+(1-α) Bf}[R]と、の誤差の平均として求める。
【００５６】
また、差の計算においては、以下の式(3b)の通り、領域If[R]の画素値p(x, y)から、領域Af{αIf-1+(1-α) Bf}[R]の画素値P(x, y)を減ずる。ここで、1行目のmean[]は領域内平均を取ることを意味し、その際の画素単位での計算が2行目である。2行目にて、Mは領域If[R](=領域Af{αIf-1+(1-α) Bf}[R])の画素数であり、(x, y)は当該領域内の各画素位置である。
【００５７】
【数４】
2015095862.tif 000006
【００５８】
当該計算されるδが、式(3)で補間される領域If[L]内の全体において等しい値として、式(3)により領域If[L]内の各々の画素値に加算されることにより、輝度変化が反映される。なお、δは、対象としている現在フレームfと他のフレームf-1,f-2とを用いた輝度変化の反映であり、一方、Bfは、他のフレームf-1,f-2を用いた輝度変化の反映である。欠損領域が小さい場合にはδが有効であり、欠損領域が大きい場合はBfが有効である。
【００５９】
なお、式(1),(2)により、変換行列Afはフレームf,f-1を対象として変換係数算出部34で求まっているが、式(4)の変換行列Af-1は求まっていない。これについては、「Af-1=Af」である、すなわち、両者は等しいものであるという仮定を用いればよい。当該仮定は、一連のフレームf,f-1,f-2が互いに隣接して極めて短時間に現れるので、その際に大きく動きは変化しないという近似に基づく。
【００６０】
（注記１）
逆に、変換係数算出部34にてフレームf-1,f-2を対象として変換行列Af-1が求まっている場合も、求まっていない変換行列Afについて、同様の仮定で等しいものとすればよい。以上はf,f-1間やf-1,f-2間の過去側について説明したが、変換係数算出部34が未来側のf,f+1間やf+1,f+2間で変換行列を求めた場合も、方向が異なるだけであり、同様の算出が可能であることは明らかである。
【００６１】
以上、式(3),(4),(3b)により、補間部4が動き及び輝度変化の両者を考慮して補間を行う一実施形態を説明した。補間部4では、別の一実施形態も可能であり、この場合も動き及び輝度変化の両者を考慮した補間が可能である。具体的には、当該別の一実施形態では重み予測を利用し、以下の式(5)によって補間を行う。
【００６２】
【数５】
2015095862.tif 000007
【００６３】
上記式(5)において、ピクセル集合Ifや変換行列Af等は式(3),(4)等で既に説明している通りであり、動きの効果が、「AfIf-1」の項において反映される。当該別の一実施形態では特に、輝度変化の効果が、重み予測係数αf及びδfによって反映される。その具体的な値はそれぞれ、以下の式(6),(7)によって求めることができる。
【００６４】
【数６】
2015095862.tif 000008
【００６５】
上記式(6),(7)では、最小二乗法の係数として、重み予測係数αf及びδfを求めており、当該最小二乗法の適用対象は次の通りである。すなわち、式(3b)と概ね同様の２つの領域が対象であり、図５における領域If[R](フレームfの画素信号で構成される)と、当該領域If[R]に位置合わせされた領域AfIf-1[R](フレームf-1の画素信号で構成され、式(3b)でα=1とした場合の予測領域に相当する)と、を対象として、以下の式(5b)のように、領域AfIf-1[R]の各画素q(x, y)から、領域If[R]の各画素p(x, y)を予測する。そして、領域全体として最も適切な予測を実施するための共通の係数として、予測係数αf及びδfを最小二乗法で求める。
【００６６】
【数７】
2015095862.tif 000009
【００６７】
従って、式(6),(7)において「Σ」記号で表される和は、式(3b)と同様に、領域If[R](=領域AfIf-1[R])の各画素について計算する。そして、Mは、式(3b)でも説明したように、当該領域の画素数である。
【００６８】
なお、当該式(6),(7)で係数を求める際は周辺領域If[R](=領域AfIf-1[R])を対象とするが、当該求めた係数により式(5)の補間を適用する際は、周辺領域If[R]の内部に位置している、欠損領域としての領域If[L]が対象となり、領域If-1[L]を位置合わせした領域AfIf-1[L]から領域If[L]が予測され、補間される。式(5),(6),(7)においては表記の複雑化を避けるため、ピクセル集合に「If」等の共通の表記を用いているが、式(5)と式(6),(7)とでは注目している領域が異なることに注意されたい。
【００６９】
以上、式(5),(6),(7)等による別の一実施形態を説明した。ここでも、変換係数算出部34がフレームf,f-1を対象として変換行列Afを求めている前提で説明したが、（注記１）で説明したのと全く同様に、その他の場合も実施可能である。すなわち、「Af-1=Af」の近似を用いて、フレームf-1,f-2間で変換行列Af-1が求まっている場合も実施可能であり、また、未来側のf,f+1間やf+1,f+2間で変換行列が求まっている場合も全く同様に、当該別の一実施形態を実施可能である。
【００７０】
以上、本発明では、上述のような画像復号装置1によって、欠損した領域に対して、特徴点ごとに運動を把握するとともに、特徴点の対応付けで算出した変換係数を画素信号に適用することで、物体の運動に即した画素値を補間することができ、主観画質が向上する。
【００７１】
以下、本発明における補足事項（１）〜（６）を説明する。
【００７２】
（１）補間部4では、動き及び輝度変化の両者を考慮して補間を行うものとして説明したが、簡略化された補間手法として、輝度変化は考慮せず、動きのみを考慮した補間を行うようにしてもよい。具体的には、式(3)の実施形態において、重み係数αの値をα=1とすればよい。この場合、式(3)にてBfの項が消えるので、式(4)の計算が不要となり、計算負荷を下げることができる。さらに、式(3)における誤差平均δもその値をゼロとして、計算を省略するようにしてもよい。
【００７３】
（２）対象とする欠損領域において、対応部3(より詳細には特徴量対応部33)で十分な数の対応関係を得られない場合は、平坦領域と判断し、補間部4では当該判断に対応する処理として、時間的に最近傍の復号済みフレームを利用して補間することができる。なお、対応関係が十分な数あるか否かは、所定閾値によって判断すればよい。平坦領域の場合は、特徴量が得られにくい、及び／又は、得られたとしても特徴量として適切に機能しにくい、という傾向があるので、十分な数の対応関係が得られないこととなる。
【００７４】
平坦領域では仮に複雑な動きが存在したとしても、見かけの変化が主観的にわからない。そこで補間部4では、平坦領域と判断された際は、従来技術と同様の、単純な動きベクトルによる補間を行うことができる。ただし、エッジ領域の連結性が損なわれると主観画質に悪影響があるため、本発明では特に、周辺のエッジ領域に重み付けして欠損部分の動きベクトルを推定する。すなわち、復号済みフレームからエッジを検出し、テンプレートマッチングにおける一致度の評価関数に対して、エッジ周辺にガウス分布で重み付けをした上で、動きベクトルを推定する。ガウス分布以外に、エッジを中心に重みが与えられる他の分布でも適用は可能である。推定された動きベクトルを用いて、最近傍の復号済みフレームの参照領域を切り出し欠損領域の補間とする。
【００７５】
例えば、フレームfの欠損領域L5(f)(いずれの図にも不図示、当該例の説明における以下の記号も同様)が平坦領域と判断された際に、時間的に最近傍の復号済みフレームf-1で補間する場合は次のようにする。テンプレートは、フレームf-1における欠損領域と同位置の領域L5(f-1)となり、その類似領域がフレームf-2内からエッジ重み付与のもとで探索され、領域S5(f-2)が探索結果として定まると共に、動きベクトルvが推定される。欠損領域L5(f)の補間は、動きベクトルvでフレームf-1から切り出される参照領域、すなわち、フレームf-1における領域S5(f-2)と同位置の領域S5(f-1)となる。当該例は過去側の探索であるが、未来側についても同様である。
【００７６】
また、式(5)で上述した重み予測係数（と同様の探索手法）を適用することもできる。当該適用を、図５の記号を用いて説明すると、次の通りである。補間対象の欠損領域If[L]に対して、周辺領域If[R]をテンプレートマッチングのテンプレートとして利用し、探索対象のフレームf-1又はf+1においてマッチする領域を、エッジ周辺に重みを付与したうえで探索する。当該探索されたフレームの領域に対して、周辺領域If[R]に対する欠損領域If[L]と同様の位置関係にある領域を、欠損領域If[L]を補間するための領域として採用する。
【００７７】
（３）特徴量対応部33及び変換係数算出部34の説明では、特徴量対応部33が2つのフレーム間において特徴量同士を1対1に対応付けたことを前提としていた。別の手法として、特徴量対応部33及び変換係数算出部34では、式(2)の誤差eを評価対象とすることにより、周知のRANSAC(Random Sample Consensus)などのロバスト推定を行うことで、対応関係の誤対応をある程度除去したうえで得られる、最適な組み合わせから変換係数を算出するようにしてもよい。
【００７８】
（４）対応部3以降の処理は、欠損領域ごとに行われるものとして説明した。ここで、1つの欠損領域において、動きや輝度変化が均一であれば、以上説明したような処理によって、適切に画素信号を補間することができる。しかしながら、1つの欠損領域の内部においてそれぞれ、動きや輝度変化が異なっているような場合には、適切な補間を行うことができない。従って、このような場合に対応すべく、1つの欠損領域をさらに複数の部分領域へと細分化したうえで、以上説明したのと同様の処理を適用するようにしてもよい。
【００７９】
具体的には、1つの欠損領域の形状及びサイズに応じて、その周辺領域を含めて、部分領域へと分割するための所定規則を定めておけばよい。ここで、欠損領域のサイズがある程度以上小さい場合には、分割しないような規則とすることが好ましい。
【００８０】
図６は、欠損領域及びその周辺領域を部分領域へと分割する例を示す図であり、(1)が分割前を、(2)が分割後を示している。(1)では、図４等と同様に、欠損領域L4と、その周辺領域R4とが示されている。(2)では、当該欠損領域L4及び周辺領域R4の全体が、それぞれ矩形の領域D41,D42,D43へと3分割された例が示されている。
【００８１】
ここで、領域D41は、欠損領域L41及びその周辺領域R41で構成される。領域D42は、欠損領域L42並びにその周辺領域R42[上]及びR42[下]で構成される。領域D43は、欠損領域L43及びその周辺領域R43で構成される。そして、各領域D41,D42,D43を、以上説明した個別の欠損領域及びその周辺領域とみなして、以上説明したのと同一の手法を適用する。こうして、欠損領域L4を分割して得られた欠損領域L41,L42,L43の各々では、それぞれに応じた動き及び輝度変化が推定されたうえで、それぞれ個別に補間が実施されることとなる。
【００８２】
（５）上記（４）の分割手法を、特徴量対応部33による局所画像特徴量の対応関係を求める際のみに限定して利用するようにしてもよい。この場合、分割することによって対応関係を得る対象となる特徴量の組み合わせ数が減るので、計算負荷を低減することができる。図６の例であれば、各領域D41,D42,D43においてそれぞれ対応関係を求め、欠損領域L4の補間を行う際には、当該それぞれ求められた対応関係を組み合わせて得られる１つの対応関係を利用すればよい。
【００８３】
（６）以上の説明においては、画像復号装置1による補間処理を同一信号内において実施することを前提としていた。例えば、欠損領域がRGB色空間のうちR信号であれば、R信号を参照して補間を行うことが前提であった。しかし、別の実施形態として、ある色空間における１つの信号の欠損領域が、当該色空間内の別の信号においては復号された画素信号として利用可能であれば、異なる色空間の信号を利用して補間を行うようにしてもよい。
【００８４】
図７は、所定の色空間における異なる信号間で補間を行う例を示す図であり、図４の(1)に対応する例が[1]に示されている。すなわち[1]では、図４の(1)と同様の状況を、その信号S1（第一信号S1）を明示して、フレームfにおける欠損領域L1[S1](f)及びその周辺領域R1[S1](f)と、同位置のフレームf-1における領域L1[S1](f-1)及びその周辺領域R1[S1](f-1)として示している。
【００８５】
一方、[2]に示すように、当該色空間における別の信号S2（第二信号S2）においては、欠損領域L1[S1](f)と同位置及び同時刻の領域が、復号された画素信号からなる領域L1[S2](f)として参照可能であり、また、その他の対応する領域R1[S2](f), L1[S2](f-1), R1[S2](f-1)も同様に、復号された画素信号として参照可能となっている。この場合、色空間を利用した次のような実施形態が可能となる。
【００８６】
すなわち、補間対象の第一信号S1のフレームfに対して、フレーム選択部31では、復号された画素信号が利用可能な第二信号S2のフレームf, f-1を選択する。特徴量算出部32は、当該選択された第二信号S2のフレームf, f-1において、領域L1[S2](f), R1[S2](f)と、領域L1[S2](f-1),R1[S2](f-1)と、からそれぞれ特徴量を算出する。特徴量対応部33は当該算出された特徴量同士を対応付け、変換係数算出部34は当該対応付けられた座標の変換関係として変換行列を求める。以上の個別処理については、色空間内の同一信号を利用する場合と同様の処理内容を、当該異なる信号を対象として実施する。
【００８７】
そして、補間部4は、当該異なる第二信号S2にて算出された変換行列を、当該補間の対象としている第一信号S1において、同一信号を利用する場合と同様に適用することで、欠損領域の補間を実施する。
【００８８】
なお、図７の例では、図４の(1)の場合に対応する例を示したが、図４の(2)の場合も同様であり、(フレームf-1, f-2ではなく、)第二信号S2におけるフレームf, f-1を選択すればよい。すなわち、色空間内の別の信号が利用できる場合は、同一信号を利用する場合とは異なり、欠損領域の周辺に十分な復号された画素信号が存在するか否かによる場合分けは不要である。また、未来側のフレームも同様に利用してよい。
【符号の説明】
【００８９】
1…画像復号装置、2…復号部、3…対応部、4…補間部、31…フレーム選択部、32…特徴量算出部、33…特徴量対応部、34…変換係数算出部
【図１】
2015095862.tif 000010
【図２】
2015095862.tif 000011
【図３】
2015095862.tif 000012
【図４】
2015095862.tif 000013
【図５】
2015095862.tif 000014
【図６】
2015095862.tif 000015
【図７】
2015095862.tif 000016