(57)【要約】【課題】従来技術では、補間フレーム生成の際に参照するフレームが本来備えるべき画素と異なる画素を含むことを考慮せず、参照するフレームの画素を用いて補間フレームを生成する。故に、補間フレームが本来備えるべき画素と異なる画素が補間フレームに形成され、正しい補間フレームが生成できず、動画の画質そのものが劣化する。【解決手段】そこで、一のフレームに含まれる所定の符号列が復号された場合に備えるべき画素とは異なる画素が復号された前記符号列に含まれる度合いを評価する歪み度を、前記符号列に付与する歪み度算出装置と、復号された前記符号列に含まれる画素を表す情報に対して前記歪み度に基づく重み付けを行い、前記重み付けが行われた前記情報を用いて前記一のフレームに対応する補間フレームを形成する画素を生成する補間フレーム生成部と、を有する画像処理装置にて補間フレームの生成を行う。【選択図】図１
2011139211.tif 000002
【特許請求の範囲】
【請求項１】
一のフレームに含まれる所定の符号列が復号された場合に備えているべき画素とは異なる画素が復号された前記符号列に含まれる度合いを評価する歪み度を、前記符号列に付与する歪み度算出装置と、
復号された前記符号列に含まれる画素を表す情報に対して前記歪み度に基づく重み付けを行い、前記重み付けが行われた前記情報を用いて前記一のフレームに対応する補間フレームを形成する画素を生成する補間フレーム生成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記歪み度算出装置は、前記符号列を復号する場合には前記一のフレームとは別のフレームに含まれる別の符号列を参照する必要があるか否かに基づいて前記歪み度を前記符号列に付与することを特徴とする、
請求項１に記載の画像処理装置。
【請求項３】
前記歪み度算出装置は、前記符号列を復号する場合には前記一のフレームとは別のフレームに含まれる別の符号列を参照する必要がある場合、前記別の符号列が復号された場合に備えているべき画素とは異なる画素が復号された前記別の符号列に含まれる度合いである別の歪み度に基づく値と、前記符号列の歪み度と、の合計を前記符号列の歪み度として出力し、
前記補間フレーム生成部は、前記合計に基づいて前記符号列に含まれる画素を表す前記情報に対して重み付けを行うことを特徴とする、
請求項２に記載の画像処理装置。
【請求項４】
前記符号列は、前記一のフレームを形成する画素の全てであることを特徴とする、
請求項１に記載の画像処理装置。
【請求項５】
前記符号列は、前記一のフレームの一部であるマクロブロックを形成する画素の全てであることを特徴とする、
請求項１に記載の画像処理装置。
【請求項６】
前記符号列は、前記一のフレームの一部である複数のマクロブロックを含み、
前記歪み度算出装置は、前記一のフレームに含まれる前記マクロブロックのそれぞれを復号する際に前記マクロブロックのそれぞれが前記一のフレームとは別のフレームの一部であるマクロブロックを参照する割合に基づいて、前記歪み度を決定することを特徴とする、
請求項４に記載の画像処理装置。
【請求項７】
前記符号列は、前記別の符号列を形成する画素を表す情報との差分の情報を示す符号列であることを特徴とする、
請求項１に記載の画像処理装置。
【請求項８】
前記歪み度算出装置は、前記歪み度を前記符号列に付与する歪み度評価部と、前記合計を出力する歪み度加算部と、前記別の符号列の前記別の歪み度を記憶する歪み度記憶部と、を含むことを特徴とする、
請求項３に記載の画像処理装置。
【請求項９】
一のフレームに含まれる所定の符号列が復号された場合に備えているべき画素とは異なる画素が復号された前記符号列に含まれる度合いを評価する歪み度を、前記符号列に付与するステップと、
復号された前記符号列に含まれる画素を表す情報に対して前記歪み度に基づく重み付けを行い、前記重み付けが行われた前記情報を用いて前記一のフレームに対応する補間フレームを形成する画素を生成するステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に補間フレームを生成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
動画像データを圧縮する方法として、動き補償フレーム間予測符号化が一般的に用いられている。このような動き補償フレーム間予測符号化手法として、ＭＰＥＧやＨ．２６４が広く用いられている。動き補償フレーム間予測符号化では、例えば画像フレームが複数のマクロブロックに分割され、各マクロブロック単位で符号化が行われる。図５は、動き補償フレーム間予測符号化における画像フレームとマクロブロックとの関係を示す図である。例えば、ＭＰＥＧにおけるＩ（Intra）フレームＦＩ及びＰ（Predictive）フレームＦＰは、複数のマクロブロックＭにより構成される。ＩフレームＦＩとＰフレームＦＰとの間で対応するマクロブロックが存在する場合には、その対応関係、対応するマクロブロック間の動きベクトルＶ及び差分情報（輝度信号や色差信号などの差分）が符号化される。しかし、動き補償フレーム間予測により符号化された画像から復元された画像の品位は均一ではなく、差分情報から復元されたフレームには歪みが含まれる。これは、例えばＭＰＥＧにおける上記のＰフレームは、他のフレームであるＩフレームやＰフレームが含む画素の情報との差分の情報を符号化したものであり、このようなＰフレームを復号する際には他のＩフレームやＰフレームが含む画素の情報を用いる必要があるため、参照するフレームが含む情報によっては符号化された符号列を復号しても完全に元の情報を復元できるわけではないからである。そうすると、このようなフレーム間予測により符号化されたフレーム（具体例としてはＭＰＥＧによるＰフレームやＢフレームなど）を復号した場合には、当該フレームが符号化の前に備えていた画素が、別の異なる画素に変化してしまう事態が生じる。すなわち、復号によって復元されたフレームは、符号化の前に当該フレームが有しているべき画素とは異なる画素を備えることとなる。この符号化前に当該フレームが有しているべき画素とは異なる画素が当該フレームの歪みとなる。一般に、この歪みには伝搬性が有ることが知られている。
【０００３】
また、画像データを復号化して動画を表示する際には、各フレーム間に補間フレームを挿入することで、動画像の動きを滑らかにする手法（特許文献１）が知られている。特許文献１では、動き補償画像や破綻防止画像の生成方法として、隣接フレーム間の時間加重平均について言及している。すなわち、生成対象である補間フレームと時間的に隣接する前後フレーム間の時間的距離を算出し、その算出した時間的距離の逆数の乗率で前後フレームの画像を混合する。この場合、補間フレームＩ（ｘ）は、以下の式（１）で表される。
2011139211.tif 000003
但し、Ｉsrc（ｘ）は対象画像、Ｉdst（ｘ）は参照画像、ｔ（０≦ｔ≦１）は補間フレームの内挿時間位置である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４４８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された方法では、参照フレームの歪み度を考慮せずに画像を混合する。よって、差分情報から復元されたフレームを参照フレームとした場合には、補間フレームには歪みが蓄積する。また、歪みが大きいフレームとの時間的距離が近い場合には、補間フレームの歪みも大きくなる。従って、特許文献１に開示された方法では、参照フレームの歪みの影響により、補間フレームの画質が低下してしまう。
【０００６】
これをより具体的にわかりやすく説明すると次の通りである。動画は、対象の動きを表すための複数のフレームから形成される。補間フレームは、この複数のフレームの中に挿入されることにより、表示する対象の動きをより滑らかにする働きをする。ここで、補間フレームは、いくつかのフレームが含む画素の情報を使用して生成される。例えばある補間フレームがある二つのフレームの間に挿入されるべきフレームである場合には、当該補間フレームはこの二つのフレームが含む画素の情報を使用して生成される。具体的には、参照される二つのフレームの内の一のフレームが含む画素のそれぞれが、他の一のフレームのどの画素に対応するかを特定する。この特定は、技術的には動きベクトルを用いて行われる場合もあれば、二つのフレームの座標のうち、同じ座標同士の画素に対応関係を持たせることで行われる場合もある。そして、このように対応付けられた画素同士が有する情報（具体的にはそれぞれの画素が有する輝度信号や色差信号の値など、その画素を特徴付ける信号値）を平均等してなる画素、あるいは二つの画素の内のどちらかの画素を、補間フレームの一の画素とするのである。これを対応付けられた画素同士で行っていくことで、次々と補間フレームが有するべき画素が決定されていく。もっとも、動画において表示すべき対象の動きに起因して一の時点において初めて登場した背景を示す画素など、二つのフレーム間で画素同士の対応がとれないこともある。その場合は、補間フレームの一の座標に対応する参照先のフレームの座標の画素の情報をそのまま用いて補間フレームの画素とすることなどが考えられる。
【０００７】
ここで、上述したとおり、動画を形成するフレームのそれぞれの中には、フレーム間予測符号化のように、復号によって符号化前の画素の情報を完全に復元できないフレームも含まれており、このようなフレームは復号した際には本来備えているべき画素とは異なる画素を含んでいる。そうすると、補間フレームを生成する際、そのような本来備えているべき画素とは異なる画素を含んでいる復号後のフレームを参照した場合には、生成される補間フレームも係る補間フレームが本来備えるべき画素とは異なる画素を含むこととなる。上述したように補間フレームが含む画素は参照する復号後のフレームが有する画素に基づいて生成されるからである。ところが、上記特許文献１に記載された技術では、補間フレームの生成の際に参照されるフレームが本来備えているべき画素とは異なる画素を含んでいることを全く考慮せずに、補間フレームを生成している。したがって、上記特許文献１では、補間フレームを生成して表示される動画の画質を良好なものにするどころか、逆に補間フレームを生成することで誤った補間フレームを生成してしまうことで動画の画質を劣化させてしまうという解決すべき技術的な課題がある。
【課題を解決するための手段】
【０００８】
本発明の一態様である画像処理装置は、一のフレームに含まれる所定の符号列が復号された場合に備えているべき画素とは異なる画素が復号された前記符号列に含まれる度合いを評価する歪み度を、前記符号列に付与する歪み度算出装置と、復号された前記符号列に含まれる画素を表す情報に対して前記歪み度に基づく重み付けを行い、前記重み付けが行われた前記情報を用いて前記一のフレームに対応する補間フレームを形成する画素を生成する補間フレーム生成部と、を有する。上述の特許文献１とは異なり、復号された符号列に含まれる画素を表す情報に対して歪み度という値で重み付けを行い、重み付けが行われた情報を用いて補間フレームの画素が生成されているので、補間フレームを生成する際に参照するフレームが本来備えているべき画素とは異なる画素を含んでいる場合にも最適な補間フレームの画素の生成を行うことができる。
【０００９】
本発明の一態様である画像処理方法は、一のフレームに含まれる所定の符号列が復号された場合に備えているべき画素とは異なる画素が復号された前記符号列に含まれる度合いを評価する歪み度を、前記符号列に付与するステップと、復号された前記符号列に含まれる画素を表す情報に対して前記歪み度に基づく重み付けを行い、前記重み付けが行われた前記情報を用いて前記一のフレームに対応する補間フレームを形成する画素を生成するステップと、を有する。上述の特許文献１とは異なり、復号された符号列に含まれる画素を表す情報に対して歪み度という値で重み付けを行い、重み付けが行われた情報を用いて補間フレームの画素を生成するので、補間フレームを生成する際に参照するフレームが本来備えているべき画素とは異なる画素を含んでいる場合にも最適な補間フレームの画素の生成を行うことができる。
【発明の効果】
【００１０】
本発明によれば、高画質の補間フレームを生成することができる画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にかかる画像処理装置とその周辺機器のブロック図である。
【図２】ＭＰＥＧにおける各フレームの時間的順序を示す図である。
【図３】実施の形態２における各フレームの参照関係と歪み度記憶部に格納される歪み度を示す図である。
【図４】実施の形態１における画像処理装置により生成される補間フレームの画質を模式的に示す図である。
【図５】動き補償フレーム間予測符号化における画像フレームとマクロブロックとの関係を示す図である。
【発明を実施するための形態】
【００１２】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。実施の形態１にかかる画像処理装置は、動画を形成する複数のフレームのそれぞれの間に挿入される補間フレームを生成する。補間対象となる複数のフレームには、符号化のための演算に起因して、復号後に本来含まれているべき画素とは異なる画素、すなわち歪みが発生する。複数のフレームのそれぞれの内のいくつかは、例えば動き補償フレーム間予測符号化が行われ、復号のためには他のフレームを参照する必要がある符号列として画像処理装置に入力される。その一方で、当該複数のフレームには、例えば、そのフレームが有する画素の情報だけで復号することができ、他のフレームを参照して復号する必要がない、フレーム内符号化されたフレームも含まれる。動き補償フレーム間予測符号化には、ＭＰＥＧやＨ．２６４などの手法を用いることができる。
【００１３】
図１は、実施の形態１にかかる画像処理装置１０とその周辺機器のブロック図である。画像処理装置１０は、歪み度算出装置１、復号化装置５及び補間フレーム生成装置６により構成される。歪み度算出装置１は歪み度評価部２、歪み度加算部３及び歪み度記憶部４を有する。また、画像処理装置１０には、入力装置７と出力装置８が接続される。入力装置７は、例えばＤＶＤ（Digital Versatile Disc）プレーヤ、インターネット回線または無線通信受信器などである。出力装置８は、例えばコンピュータなどの他の情報処理装置又は液晶モニタなどである。
【００１４】
入力装置７は、例えばＤＶＤなどの情報記録媒体に記録された情報を読み出して復調することにより、符号列を生成する。この符号列は、歪み度算出装置１及び復号化装置５に入力される。
【００１５】
歪み度算出装置１では、歪み度評価部２に符号列が入力される。ここで、符号列は、本明細書においては、後述する歪み度を定義するための単位である。例えば後述する実施の形態２では動画を形成する一のフレームが歪み度を定義する単位となり、この実施の形態でいうところの一の符号列に対応するということができる。また、後述する実施の形態３では一のフレームを形成する画素の内の複数画素で形成されるマクロブロックが歪み度を定義する単位となり、この実施の形態でいうところの一の符号列に対応するということができる。そして歪み度算出装置１に入力される一の符号列は、ＭＰＥＧ等に見られるように、符号列を復号するにあたって他の符号列が含む画素の情報を用いる必要がある場合もあるとし、このように他の符号列が含む画素の情報を用いて復号される符号列は復号しても符号化される前に備えていた画素の情報を完全に復元できず、本来備えているべき画素とは異なる画素、すなわち歪みが存在するものとする。
【００１６】
歪み度評価部２には、符号列の符号化に起因して、入力された符号列にどのような歪み度が発生するかを定めるルールが予め記憶されている。そして、歪み度評価部２は、入力された符号列を復号するためには、他の符号列が含む情報を参照する必要があるか否か、参照する必要がある場合には、どの符号列が含む情報を参照する必要があるのかを評価する。そして歪み度評価部２は、入力された符号列の復号を行うために参照すべき符号列を特定する情報と、入力された当該符号列に発生する歪み度を歪み度加算部３に出力する。なお、再三の繰り返しになるが、ここでいう「歪み」とは、復号後の一の符号列が本来備えているべき画素とは異なる画素を含んでいることを意味し、「歪み度」とは、復号後の一の符号列が本来備えているべき画素とは異なる画素が含まれている度合いを意味する。また、「歪み度が発生するルール」とは、例えば、本実施の形態のように、復号を行うにあたり他の符号列が含む情報を参照する必要がある符号列には歪み度Δｄが発生する、というルールのことである。ただし、ここでいう歪み度Δｄは、実際にその符号列に発生している「本来備えているべき画素とは異なる画素の割合」をなんらかの演算や数学的手法等で算出したものではなく、その符号列が他の符号列が含む情報を用いて復号されるか否かに応じて設計者側が定める評価値である。本実施の形態では、他の符号列が含む情報を用いて復号される符号列には、Δｄという値の歪みが発生するというルールを適用して、そのΔｄを高品質な補間フレームの生成に役立てる。
【００１７】
歪み度評価部２は、入力された符号列を復号するためには他の符号列が含む画素の情報を参照して復号する必要があるか否か、必要があるのであればどの符号列が含む画素の情報を参照する必要があるのかの情報と、当該符号列に発生する歪み度Δｄの値を、評価結果として出力する。歪み度加算部３は、歪み度評価部２から入力されたこの評価結果のうちのΔｄの値に、当該符号列の復号のために参照する他の符号列に発生している歪み度に基づく値を加算して得る合計を、当該符号列に発生する歪み度として、歪み度記憶部４に出力する。本実施の形態では、歪み度加算部３は、例えば、ｍ（ｍは１以上の整数）個の符号列のそれぞれが含む画素の情報を参照して復号される符号列に対しては、当該符号列に対して発生すると定められたΔｄの歪みに、参照する各符号列に発生している歪み度の平均値を加算するものとする。なお、平均値以外の値を用いることができることは、当業者であれば本明細書の開示の範囲と認識することはもちろんのことである。この場合、当該符号列に発生する歪み度ｄは、以下の式（２）で表すことができる。
2011139211.tif 000004
但し、ｄｉは復号のために参照する必要がある各符号列に発生している歪み度である。そして歪み度記憶部４は、歪み度加算部３から受け取った加算結果の値を記憶する。また、歪み度加算部３は、歪み度評価部２から受け取った情報の内、歪み度加算部３に入力された符号列が他のどの符号列を参照しているかの情報も合わせて歪み度記憶部４に出力して、歪み度記憶部４に書き込む。
【００１８】
歪み度記憶部４は、それぞれの符号列の歪み度およびそれぞれの符号列が他のどの符号列を参照して復号を行う必要があるかを所定の期間、記憶する。したがって、歪み度加算部３は、復号化装置５によって既に復号された他の符号列が含む情報を参照して入力された符号列を復号する必要がある場合には、既に復号された他の符号列の歪み度を、歪み度記憶部４から読み出して使用することになる。つまり、ある符号列を復号するために別の符号列が含む画素の情報を参照する必要がある場合、その符号列には上述したとおりΔｄの歪み度が発生するが、この符号列の歪み度は、このΔｄに参照する必要がある符号列のそれぞれの歪み度の平均値を加算した合計である。そのため、歪み度加算部３は、入力された符号列の復号のために参照する必要のある符号列のそれぞれに発生している歪み度を、歪み度記憶部４から読み出し、読み出した歪み度のそれぞれを平均して、復号の対象となる符号列の歪み度Δｄに加算する。
【００１９】
復号化装置５は、符号化方式で定められた手順により、入力された符号列を復号する。
【００２０】
補間フレーム生成装置６は、復号化装置５による復号後の符号列の内、複数の復号後の符号列を選択して、選択された復号後の符号列が含む画素の情報を用いて補間フレームが備えるべき画素を生成する。補間フレームを生成するには、例えばＦＲＣ（Frame Rate Conversion）やＭＪＣ（Movie Judder Cancel）などの手法を用いることができる。しかし、本実施の形態では、この補間フレームを生成するにあたり、上記した歪み度を利用する。補間フレーム生成装置６は、補間フレームの生成を行うために選択した符号列の歪み度を歪み度記憶部４から読み出す。上述したように、符号列とは、本明細書では歪み度を定義するひとつの単位を意味している。補間フレームを生成する際には、例えば一のフレームに含まれる画素と、この画素と動きベクトル等により対応付けられた別のフレームに含まれる画素、の情報を使用する。例えばこれら二つの画素のそれぞれを示す信号値（輝度信号や色差信号の値など）の平均をとって得られる画素や、どちらかの画素の情報（輝度信号や色差信号の値など）をそのまま用いて得た画素を、補間フレームに含まれる一の画素とするのが通常である。補間フレームに含まれる画素として生成された画素の補間フレームにおける座標は、例えば動きベクトルの始点と終点の中点とするなど、さまざまな手法が考えられる。しかし、これでは上述した特許文献１のように、解決すべき技術的な課題が発生する。
【００２１】
そこで、本実施の形態では、上記の歪み度を用いるのである。すなわち、補間フレームの一の画素を生成するために用いるそれぞれの画素に対応する歪み度に基づき、当該それぞれの画素に重み付けを行って補間フレームの画素を生成するのである。
【００２２】
上述したように、歪み度は符号列というひとつの単位ごとに決定されていることになる。すなわち、この符号列という単位の中に含まれている画素のそれぞれに対しては、一律の同じ歪み度が与えられているということになる。後述する実施の形態２では、フレームごとに歪み度が与えられているので、一のフレームに含まれる画素のそれぞれは、一律に同じ歪み度が与えられていることになる。また、後述する実施の形態３では、マクロブロックごとに歪み度が与えられているので、一のマクロブロックに含まれている画素のそれぞれは、一律に同じ歪み度が与えられていることになる。
【００２３】
本実施の形態における補間フレームの生成においても、FRCやMJCの手法に見られるように、補間フレームの生成にあたり参照されるフレームのそれぞれに含まれる画素同士の信号値を平均等して補間フレームの画素を生成する。そこで、本実施の形態では、補間フレームが含むべき一の画素を生成するにあたって用いられるそれぞれの画素に与えられている歪み度に基づいて、補間フレームにおける当該一の画素を生成する。具体的には歪み度に基づいて、それぞれの画素を重み付け平均する。すなわち、補間フレームＩｉｎｔは、例えば以下の式（３）で表される。
2011139211.tif 000005
但し、Ｉｉは復号された一の符号列、ｄｉは当該一の符号列の歪み度である。
【００２４】
これにより、歪み度の少ない符号列に含まれる画素を重視して補間フレームに含まれる画素を生成することができる。従って、従来技術のように符号列に発生する符号化による歪み度を考慮しない場合に比べて、フレームが本来備えているべき画素とは異なる画素を含む割合を低減し、補間フレームの画質、ひいては補間フレームを含む動画の画質を向上させることができる。
【００２５】
なお、補間フレーム生成装置６は時間的距離を加味して補間フレームを生成することも可能である。また、単純に歪み度が最少の符号列に含まれる画素のみを用いて補間フレームに含まれる画素を生成することも可能である。
【００２６】
実施の形態２
次に、実施の形態２にかかる画像処理装置について説明する。実施の形態２にかかる画像処理装置は、例えばＭＰＥＧにより動き補償フレーム間予測符号化された動画像に、実施の形態１にかかる画像処理装置１０を適用することにより、２枚の画像を基にして補間フレームを生成する。すなわち、実施の形態１における符号列は一のフレームに対応するということになる。そして、一のフレームを復号するために、他のフレームが含む画素の情報を参照する必要がある場合には、そのフレームに対して歪み度を設定していくことになる。以下、具体的に説明する。
【００２７】
一般に、ＭＰＥＧでの動画像は、Ｉ（Intra）フレーム、Ｐ（Predictive）フレーム及びＢ（Bidirectionally predictive）フレームの３種類の画像フレームにより構成される。これらのフレームはそれぞれ符号化されて、例えばＤＶＤなどの情報記録媒体に記憶される。
【００２８】
図２は、ＭＰＥＧにおける各フレームの時間的順序を示す図である。各フレームの時間的順序は、Ｉフレームを先頭として、その後にＰフレームが位置する。Ｂフレームは、ＩフレームとＰフレームとの間、又は、２つのＰフレーム間に位置する。図２に示すように、画像フレームの時間的順序、Ｉフレーム→Ｂフレーム→・・・→Ｐフレーム→Ｂフレーム→・・・→Ｐフレームの順となる。
【００２９】
各フレームを符号化するに際し、Ｉフレームは、画像フレームがそのままフレーム内符号化される。つまり、Iフレームは、復号する際に他のフレームが含む画素の情報を参照せず、符号化される前の画素情報を復元することができる。Ｐフレーム及びＢフレームは、動き補償フレーム間予測符号化により、参照フレーム情報、動きベクトル及び差分情報などが符号化される。すなわち、ＰフレームやＢフレームは、復号する際に他のフレームが含む画素の情報を参照する必要があり、符号化される前に有していた画素の情報を完全に復元することができない場合がある。
【００３０】
符号化された各フレームを復号化する際には、所定の順序に従って画像フレームを復元する。まず、Ｉフレームが最初に復元される。次に、復元されたＩフレームまたは既に復元されたＰフレームを参照して、動きベクトルと差分情報とに基づく前方向予測を行い、Ｐフレームを復元する。次に、復元したＩフレーム及びＰフレームを参照して、動きベクトルと差分情報とに基づく双方向予測を行い、Ｂフレームを復元する。図２の参照関係Ｒｅｆで示すように、ＰフレームＰ１はＩフレームＩ１を参照し、ＰフレームＰ２は、ＰフレームＰ１を参照する。また、例えばＢフレームＢ１１はＩフレームＩ１とＰフレームＰ１とを参照し、ＢフレームＢ２２はＰフレームＰ１とＰフレームＰ２を参照する。
【００３１】
歪み度算出装置１は、入力される各フレームに発生する歪み度を算出する。歪み度の算出にあたっては、実施の形態１で説明したように、まず歪み度評価部２が入力されたフレームが復号されるにあたって他のフレームを参照するか否か、他のフレームを参照するのであればどのフレームを参照するのかを評価し、そのフレームに発生する歪み度をΔｄとして歪み度加算部３に出力する。次に歪み度加算部３は歪み度評価部２から受け取った情報に基づいて、Δｄの値に、入力されたフレームが復号される際に参照するそれぞれのフレームに発生している歪み度の平均値等を加算して、これを入力されたフレームの歪み度として歪み度記憶部４に書き込む。実施の形態１と同様に、平均値はあくまで例であり、より一般的な概念として捕らえれば、歪み度加算部３は、Δｄの値に、入力されたフレームが復号される際に参照するそれぞれのフレームに発生している歪み度に基づく値を加算し、これを入力されたフレームの歪み度として歪み度記憶部４に書き込むということができる。
【００３２】
図３は、Ｉフレーム、Ｐフレーム、Ｂフレームの各フレームの参照関係と歪み度記憶部４に格納される歪み度を示す図である。まず、歪み度評価部２にＩフレームＩ１の画素の情報が入力される。そして歪み度加算部３はＩフレームＩ１に蓄積される歪み度を算出する。ここで、ＩフレームＩ１はフレーム内符号化されるので、差分情報は生成されない。よって、歪み度評価部２は歪み度加算部３へ、Δｄとして歪み度「０」を出力する。歪み度加算部３は、歪み度「０」を歪み度評価部２から受け取るとともに、このIフレームは復号にあたって他のフレームを参照しないことをから歪み度記憶部４からは値を読み出さない。そして歪み度加算部３は、この０を当該ＩフレームＩ１に発生する歪み度として歪み度記憶部４に書き込む。算出されたＩフレームＩ１に発生する歪み度「０」は、歪み度記憶部４に記憶される。
【００３３】
次に、歪み度評価部２にＰフレームＰ１の画素の情報が入力される。同様に、歪み度評価部２は、ＰフレームＰ１は、復号にあたりＩフレームＩ１を参照することを示す情報を歪み度加算部３に出力し、さらにＰフレームＰ１にはΔｄの歪み度が発生するとして、このΔｄを歪み度加算部３に出力する。なお、ここでいうΔｄは、具体例としては「１０」といったような設定値である。次に歪み度加算部３は、歪み度評価部２から受け取った情報に基づいて、歪み度記憶部４からＩフレームＩ１に発生している歪み度を読み出す。この場合は図３から明らかなように、歪み度として０が読み出される。そして歪み度加算部３は、歪み度評価部２から受け取ったΔｄに歪み度記憶部４から読み出した０を加算し、加算結果であるΔｄをＰフレームＰ１の歪み度として歪み度記憶部４に書き込む。
【００３４】
次に、歪み度評価部２にＢフレームＢ１１の画素の情報が入力される。歪み度評価部２は、ＢフレームＢ１は、復号にあたりＩフレームＩ１とＰフレームＰ１を参照することを示す情報を歪み度加算部３に出力し、さらにＢフレームＢ１１にはΔｄの歪み度が発生するとして、このΔｄを歪み度加算部３に出力する。なお、Δｄの具体的な値は、ＰフレームＰ１と同じ値である。本実施の形態では、ＰフレームであるかＢフレームであるかに関わらず、復号のために他のフレームを参照するか否かで同じΔｄの値が歪み度加算部３に供給される。もちろん、ＰフレームやＢフレームの違いに応じて異なるΔｄの値を歪み度加算部３に供給することも、当業者が当然に認識し得る拡張の範囲に含まれる。次に歪み度加算部３は、歪み度評価部２から受け取った情報に基づいて、歪み度記憶部４からＩフレームＩ１に発生している歪み度とＰフレームＰ１に設定されている歪み度を読み出す。この場合は図３を参照して、ＩフレームＩ１に発生している歪み度として０が読み出され、ＰフレームＰ１に発生している歪み度としてΔｄが読み出される。そして歪み度加算部３は、歪み度評価部２から受け取ったΔｄに歪み度記憶部４から読み出した０とΔｄの平均である（Δｄ／２）を加算し、加算結果である（３Δｄ／２）をＢフレームＢ１１の歪み度として歪み度記憶部４に書き込む。この後、歪み度評価部２にＢフレームＢ１２の画素の情報が入力され、ＢフレームＢ１２に発生する歪み度が算出されるが、算出方法はＢフレームＢ１１と同様であるので、説明を省略する。
【００３５】
次に、歪み度評価部２にＰフレームＰ２の画素の情報が入力される。歪み度評価部２は、ＰフレームＰ２は、復号にあたりＰフレームＰ１を参照することを示す情報を歪み度加算部３に出力し、さらにＰフレームＰ２にはΔｄの歪み度が発生するとして、このΔｄを歪み度加算部３に出力する。ここでも、歪み度は上記と同様に、これまでと同じ値である。次に歪み度加算部３は、歪み度評価部２から受け取った情報に基づいて、歪み度記憶部４からＰフレームＰ１に設定されている歪み度を読み出す。この場合は図３を参照して、ＰフレームＰ１に発生している歪み度としてΔｄが読み出される。そして歪み度加算部３は、歪み度評価部２から受け取ったΔｄに歪み度記憶部４から読み出したΔｄを加算し、加算結果である（２Δｄ）をＰフレームＰ２の歪み度として歪み度記憶部４に書き込む（なお、正確には（Δｄ）／１という演算の結果として得られたΔｄが歪み度評価部２からのΔｄに加算されている）。
【００３６】
次に、歪み度評価部２にＢフレームＢ２１の画素の情報が入力される。歪み度評価部２は、ＢフレームＢ２１は、復号にあたりＰフレームＰ１及びＰフレームＰ２を参照することを示す情報を歪み度加算部３に出力し、さらにＢフレームＢ２１にはΔｄの歪み度が発生するとして、このΔｄを歪み度加算部３に出力する。ここでも、歪み度は上記と同様に、これまでと同じ値である。次に歪み度加算部３は、歪み度評価部２から受け取った情報に基づいて、歪み度記憶部４からＰフレームＰ１に発生している歪み度（Δｄ）と、ＰフレームＰ２に発生している歪み度（２Δｄ）を読み出す。そして歪み度加算部３は、歪み度評価部２から受け取ったΔｄに歪み度記憶部４から読み出したΔｄと２Δｄの平均値を加算し、加算結果である（５Δｄ／２）をＢフレームＢ２１の歪み度として歪み度記憶部４に書き込む。この後、歪み度評価部２にＢフレームＢ２２の画素情報が入力され、ＢフレームＢ２２に発生する歪み度が算出されるが、算出方法はＢフレームＢ２１と同様であるので、説明を省略する。
【００３７】
補間フレーム生成装置６は、いくつかのフレームを参照して、例えば時間的に隣接する２つのフレームに基づいて、これらのフレームの間に挿入されるべき補間フレームを生成する。補間フレームの生成にあたっては、実施の形態１と同様に、ＦＲＣやＭＪＣの手法を用いる。したがって、参照されるそれぞれのフレームに含まれる画素の内、動きベクトル等によって対応付けられた画素の信号値の情報を平均等して、補間フレームに含まれる一の画素を生成する。このとき、特許文献１のように、補間フレームを生成するために参照するフレームの歪みを考慮しないで補間フレームを生成してしまうと、上述した解決すべき技術的な課題が発生してしまう。そこで、本実施の形態２においても実施の形態１と同様に、歪み度を利用して補間フレームを生成する。ここで、これまで実施の形態２として述べてきたように、歪み度はフレームごとに与えられている。この場合、それぞれのフレームが含む画素に対しては一律に同じ歪み度が与えられることになる。そこで、まず補間フレーム生成装置６は、歪み度記憶部４から、補間フレームの生成のために参照するフレームに発生している歪み度を読み出す。例えば図２におけるＩフレームＩ１とＢフレームＢ１１との間に挿入する補間フレームを生成する場合に、ＩフレームＩ１とＢフレームＢ１１が含む画素の情報を使用して当該補間フレームを生成することを考える。この場合には、補間フレーム生成装置６は、歪み度記憶部４から、ＩフレームＩ１に発生している歪み度と、ＢフレームＢ１１に発生している歪み度を読み出す。ＩフレームＩ１の歪み度は０であり、ＢフレームＢ１１の歪み度は（３Δｄ／２）であるので、明らかにＩフレームＩ１はＢフレームＢ１１よりも歪みが少ない。そうすると、動きベクトル等で対応付けられたＩフレームＩ１の画素とＢフレームＢ１１の画素の内、ＩフレームＩ１に含まれる画素を重点的に用いて補間フレームの画素を生成したほうがよいことになる。この場合は二つのフレームの内の一方がＩフレームであるので、ＢフレームＢ１１の重みを０、ＩフレームＩ１の重みを１として補間フレームの画素を生成するのがよいと考えられる。これを式で表現すると、下記のようになる。すなわち、補間フレームを生成する際に参照される２つのフレームをＩ１及びＩ２とすると、式（３）は式（４）となる。
2011139211.tif 000006
【００３８】
上記の説明では二つのフレーム内の一方がＩフレームであったため、Ｉフレームは歪み度が０であり、結果としてＩフレームの重みが１、他方のフレームが０となったが、式（４）からも明らかな通り、二つのフレームのそれぞれに０ではない歪み度が発生している場合には、歪み度に応じた重みがそれぞれのフレームに対して発生する。そして、補間フレームを生成するための参照フレームのそれぞれに含まれる画素同士の信号値は、フレームごとに設定された歪み度に基づいて重み付け平均されることになる。すなわち、補間フレームの一の画素を生成するために参照される第１のフレームに対して重みａが与えられ、当該一の画素を生成されるために参照される別のフレームである第２のフレームに対して重みｂが与えられている場合、第１のフレームに含まれる画素の信号値は全て重みａが乗算され、第２のフレームに含まれる画素の信号値は全てｂが乗算される。ａが乗算された第１のフレームの一の画素と、ｂが乗算された第２のフレームの一の画素と、が動きベクトル等によって対応付けられている場合、これらの画素の乗算後の信号値を平均すればよい。平均して得られた画素が補間フレームを形成する一の画素である。
【００３９】
よって、例えば、ＩフレームとＢフレームから補間フレームが生成される場合には、歪み度の少ないＩフレームの情報を重視して補間フレームが生成される。また、例えば、ＢフレームとＰフレームから補間フレームが生成される場合には、歪み度の少ないＰフレームの情報を重視して補間フレームが生成される。さらに、例えば、隣接する２つのＢフレームから補間フレームが生成される場合には、隣接するＢフレーム同士に蓄積される歪み度は等しいので、それぞれのＢフレームを均等に参照して、補間フレームが生成される。
【００４０】
図４は、画像処理装置１０により生成される補間フレームの画質を模式的に示す図である。図４に示すように、画像フレーム２１と画像フレーム２２とから補間フレーム２３が生成される。画像フレーム２１は例えばＩフレームであり、画像フレーム２２は例えばＢフレームである。画像フレーム２１から画像フレーム２２へ球体が動いており、画像フレーム２２の球体には歪みが載っている。この場合、画像処理装置１０は画像フレーム２１を重視して補間フレーム２３を生成するので、画像フレーム２２から伝搬する歪み度を低減することができる。
【００４１】
すなわち、画像処理装置１０によれば、歪み度を考慮しない場合と比べて、歪みの少ない補間フレームを生成することができる。
【００４２】
実施の形態３
次に、実施の形態３にかかる画像処理装置について説明する。実施の形態３にかかる画像処理装置は、例えばＭＰＥＧなどの動き補償フレーム間予測符号化された動画像を基に、実施の形態１にかかる画像処理装置１０を適用することにより、一のフレームの複数の画素で形成されるマクロブロックごとに定義された歪み度を用いて補間フレームを生成する。すなわち、実施の形態１における符号列は一のマクロブロックに対応するということになる。そして、一のマクロブロックを復号するために、他のマクロブロックが含む画素の情報を参照する必要がある場合には、そのマクロブロックに対して歪み度を設定していくことになる。
【００４３】
本実施の形態にかかる画像処理装置では、実施の形態２にかかる画像処理装置の歪み度算出装置１における歪み度の算出を、マクロブロック単位で行うことを特徴とする。画像フレームは、マクロブロック単位で符号化され、マクロブロックごとに復号が行われる。この場合、各マクロブロックは、フレーム内符号化されたＩｎｔｒａブロック、過去フレームから復元される順方向予測ブロック、未来フレームから復元される逆方向予測ブロック、及び、過去未来双方のフレームから復元される内挿的予測ブロックに分けられる。Ｉｎｔｒａブロックは、実施の形態２におけるＩフレームに対応する。同様に、順方向予測ブロック及び逆方向予測ブロックは実施の形態２におけるＰフレームに対応し、内挿的予測ブロックは実施の形態２におけるＢフレームに対応する。そして、実施の形態２と同様に、歪み度算出装置１で各マクロブロックの歪み度を算出する。そうすると、本実施の形態では、同じマクロブロックに含まれている画素のそれぞれに対しては、一律に同じ重みが与えられるということになる。
【００４４】
補間フレーム生成装置６では、参照されるフレーム、例えば隣接する２つのフレームに含まれる画素の内、動きベクトル等で対応付けられた画素同士を重み付け平均して補間フレームを形成する画素のそれぞれを生成する。この点はこれまでの実施の形態と同様である。しかし、実施の形態２では、参照されるフレームごとに歪み度が与えられていたため、ひとつのフレームに含まれる画素に対しては同じ重みが与えられていた。しかし、本実施の形態では、同じフレームに含まれる画素であっても、含まれるマクロブロックが異なれば与えられる重みがそれぞれの画素で異なってくる。したがって、より精度が良い補間フレームの生成を行うことができる。すなわち、それぞれのフレーム上の対応する参照ブロック間で歪み度を評価し、歪み度の小さい方を重視した重みづけを行う。その他の動作については、実施の形態２にかかる画像処理装置と同様であるので、説明を省略する。
【００４５】
従って、本実施の形態によれば、より歪みの小さい補間フレームを生成することができる点で有利である。
【００４６】
その他の実施の形態
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態における画像圧縮方式はＭＰＥＧに限られるものではなく、例えば実施の形態２及び３では、Ｈ．２６４などの他の画像圧縮方式を用いることができる。
【００４７】
本発明はＩＰ（Interlace  Progressive）変換に適用することも可能である。奇数（あるいは偶数ライン）ラインのみが符号化されている場合には、これらから補間フレームに相当する偶数ライン（あるいは奇数ライン）を生成することができる。または、前後の数フレームの復元画像から補間対象である偶数ライン（あるいは奇数ライン）を生成することもできる。
【００４８】
本発明では、ｍ（ｍは１以上の整数）個の符号列を参照して復号されるフレームには、参照した各符号列に発生する歪み度の平均値が伝搬するとしたが、参照した各符号列に発生する歪み度の総和が伝搬するものとしてもよい。また、参照した各符号列に発生する歪み度の和を含む歪み度が伝搬するものとしてもよい。
【００４９】
本発明では、ｍ（ｍは１以上の整数）個の符号列を参照して復号されるフレームが、参照した各フレームに発生する歪み度の平均値が伝搬するとした。ところで、一のフレームに含まれるそれぞれのマクロブロックは、一律に同じフレームを参照しているとは限らない。例えばある一のフレームに含まれる一マクロブロックは、別のフレーム内にあるＩｎｔｒａマクロブロックを参照して復号される必要があるが、他の一のマクロブロックは、他のフレームのマクロブロックを参照することなく復号できる、ということもある。実施の形態２ではフレームごとに歪み度を与えたが、このフレームごとの歪み度を設定する際に、それぞれのフレームに含まれるマクロブロックが復号の際にどの程度、他のフレームに属するマクロブロックを参照する必要があるかの割合を考慮してもよい。つまり、実施の形態２のように、Ｉフレームであれば歪み度０、Ｂフレーム、Ｐフレームであれば一律に同じ値のΔｄという歪み度を与えるのではなく、フレームのΔｄの値がフレーム内のマクロブロックがどの程度他のフレームのマクロブロックを参照して復号されるのかを考慮して設定されるということである。
【００５０】
本発明では、フレーム間符号化により一定の歪み度が生じるとしたが、参照する画像の画像相関度に応じて歪み度を変更することが可能である。例えば、対象画像内に含まれる各マクロブロックの参照画像のそれぞれに対応する動きベクトルの大きさの総和が大きい場合や、参照画像との差分情報量の総和が大きい場合は、画像相関度は低い。画像相関度が低い場合には歪み度を大きくし、画像相関度が高い場合には歪み度を小さくするようにしてもよい。
【００５１】
また、本発明では、各画像に蓄積される歪み度として、時間的距離を用いることも可能である。
【００５２】
本発明にかかる画像処理装置は、半導体装置により構成することが可能である。また、電子計算機を用いたソフトウェアによる処理により実現することも可能である。
【符号の説明】
【００５３】
１  歪み度算出装置
２  歪み度評価部
３  歪み度加算部
４  歪み度記憶部
５  復号化装置
６  補間フレーム生成装置
７  入力装置
８  出力装置
１０  画像処理装置
２１、２２  画像フレーム
２３  補間フレーム
Ｂ１１、Ｂ１２、Ｂ２１、Ｂ２２  Ｂフレーム
Ｉ１  Ｉフレーム
Ｐ１、Ｐ２  Ｐフレーム
Ｒｅｆ    参照関係
【図１】
2011139211.tif 000007
【図２】
2011139211.tif 000008
【図３】
2011139211.tif 000009
【図４】
2011139211.tif 000010
【図５】
2011139211.tif 000011