(57)【特許請求の範囲】
【請求項１】
映像表示装置において、  符号化ビットストリームを受信するデータ受信部と、  該受信部で受信された符号化ビットストリームを復号して映像信号を生成する映像復号部と、  前記復号部からの映像信号を用いて、動き補償された補間フレームを生成し、該補間フレームまたは前記復号部からの映像信号を出力する補間映像生成部と、  前記映像補間部からの信号に基づき映像の表示を行う表示部と、  を備え、 前記補間映像生成部は、 前記復号部からの映像信号にフレームの欠落が生じていない場合に、各フレームの間の周期的な位置に、前記補間フレーム生成部からの補間フレームを前記表示部に供給し、  前記復号部からの映像信号にフレームの欠落が生じた場合に、  該欠落したフレームに対応する時間的位置に、前記補間フレーム生成部からの補間フレームを前記表示部に供給し、 前記欠落フレームと前記欠落フレームの前のフレームとの間の周期的な位置に、過去のフレームを前記表示部に表示することを特徴とする映像表示装置。
【請求項２】
請求項１に記載の映像表示装置において、
前記補間映像生成部は、前記復号部からの映像信号に含まれる少なくとも２つのフレームを用いて前記補間フレームを生成することを特徴とする映像表示装置。
【請求項３】
請求項２に記載の映像表示装置において、
前記補間映像生成部は、前記補間フレームを挟む２つのフレームの映像信号から前記補間フレームを生成することを特徴とする映像表示装置。
【請求項４】
請求項３に記載の映像表示装置において、
前記補間映像生成部は、前記補間フレームを挟む前後２フレームの映像信号から、前記補間フレーム内の各画素の動きベクトルを求め、該動きベクトルで示される前記前後２フレームの各画素から前記補間フレーム内の各画素を生成することを特徴とする映像表示装置。
【請求項５】
請求項４に記載の映像表示装置において、
前記補間映像生成部は、前記動きベクトルで示される前記前後２フレームの各画素の平均値により前記補間フレームの各画素を生成することを特徴とする映像表示装置。
【請求項６】
請求項１において、
前記補間映像生成部は、前記復号部からの映像信号にフレームの欠落が生じた場合に、
前記欠落フレームと前記欠落フレームの前のフレームとの間の周期的な位置に、前記復号部からの映像信号のうち直前のフレームか、前記直前の２つのフレームから動き補償され、該直前の２つのフレームの間に補間された補間フレームを前記表示部に供給することを特徴とする映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたビットストリームを復号して表示することが可能な映像表示装置にかかり、特に、符号化ビットストリームのエラーによるフレーム欠落が生じた場合でも好適に映像が表示可能な映像表示装置に関する。
【背景技術】
【０００２】
ＩＰ放送などにおいては、映像が例えばMPEG2やH.264/AVC等のシンタックスにより圧縮符号化され、符号化ビットストリームとしてネットワーク等を介して伝送される。このとき、符号化ビットストリームに伝送誤りが生じた場合には、通常、例えばＦＥＣ(Forward Error Correction)を用いて誤り訂正される。しかしながら、そのような誤り訂正でも修復できないエラーが生じた場合には、そのデータは欠落され、復号不可能となる。このようなデータの欠落を補償するための技術としては、例えば特許文献１または２に記載のものが知られている。
【０００３】
特許文献１、２には、符号化ビットストリーム内のあるマクロブロックが修復できないエラーにより欠落した場合には、当該マクロブロックを、そのマクロブロックに隣接するブロックの動きベクトルにより示される参照画像（当該マクロブロックのフレームよりも前のフレーム）内のブロックに置き換えることを開示する。
【０００４】
【特許文献１】特開2005-295054号公報（段落番号0030）
【特許文献２】特開2002-354488号公報（段落番号0002〜0004）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
符号化ビットストリームにおいては、映像のフレーム毎にそのフレームを識別するためのＩＤ情報が付加されており、このＩＤ情報に修復不可能なエラーが生じた場合はそのフレーム全体が欠落する場合がある。また、フレーム単位で暗号化されたストリームにおいては、１フレームを構成する全てのパケットが復号できない場合は、そのフレーム全体が廃棄される可能性がある。
【０００６】
特許文献１及び２は、上記のように１フレーム全てのデータが欠落する場合について考慮されておらず、当該フレーム欠落に対応することができない。すなわち、特許文献１及び２に記載のものは、欠落したマクロブロック周囲のブロックの動きベクトルを参照して当該欠落したマクロブロックのデータを補償するようにしているため、１フレーム全体が欠落すると参照すべき動きベクトルも失われ、当該欠落したデータを適切に補償もしくは補間することができない。
【０００７】
本発明は、上記課題に鑑みて為されたものであって、その目的は、フレームの欠落を良好に補償して高画質な映像を表示することが可能な技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明では、符号化ビットストリームを復号して得られた映像信号のフレームから補間フレームを生成し、あるフレームに修復不可能な誤りが生じて欠落した（すなわち復号されなかった）場合には、当該欠落フレームに代えて上記補間フレームを表示するようにしたことを特徴とするものである。例えば通常時は復号された映像信号のフレーム列に基づき表示を行い、フレームが欠落した場合には、該フレーム列の欠落フレームに対応する時間的位置に上記補間フレームを挿入して表示を行う。
【０００９】
上記補間フレームは、欠落したフレームを挟む前後２フレームの映像信号から生成される。この前後２フレームの映像信号からフレーム欠落に対応する補間フレーム内の各画素の動きベクトルを求め、この動きベクトルで示される前後２フレームの各画素の例えば平均により補間フレーム内の各画素を生成するようにしてもよい。
【００１０】
上記構成によれば伝送誤りなどでフレームが欠落した場合でも、その欠落フレームを補間フレームに置き換えて表示することが可能となるため、フレーム欠落が生じても表示映像が乱れたり、表示が停止したりすることが抑制される。
【発明の効果】
【００１１】
本発明によれば、フレーム欠落を良好に補償して高画質な映像を表示することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下に本発明の実施形態について図面を参照しつつ説明する。
【実施例１】
【００１３】
図１は、本発明の実施形態に係る映像表示装置１００の使用形態を示している。映像表示装置１００には、放送局10Ａ〜ＢからのＩＰ放送によって、映像及び音声などのデータが符号化された符号化ストリームが通信ネットワーク１１を介して供給される。一方、映像表示装置100は、例えばＨＤＤプレーヤやＤＶＤプレーヤ等の外部再生装置１２と接続可能であり、この外部再生装置12によって例えばＤＶＤ等の記憶媒体から再生された符号化ストリームが供給される。
【００１４】
ここで、通信ネットワーク１１及び再生装置１２から供給される符号化ストリームは、例えばMPEG2やMPEG4、もしくはH.264/AVC等によって定められたシンタックスに従って生成される。通信ネットワーク１１を介して符号化ストリームを伝送する場合には、その伝送路において伝送誤りが発生する場合がある。また再生装置１２によって記憶媒体から符号化ストリームを再生する場合には、記録媒体１２の物理的損傷や異物が付着等により、または記録媒体再生装置１２によって読み出されるデータに読み取りエラーが発生する場合がある。このようなエラーが発生すると、ＦＥＣにより誤り訂正をしても修復しきれず、映像の１フレームが全て欠落する場合がある。例えば、フレーム毎に付加されたそのフレームを識別するためのＩＤ情報に修復不可能なエラーが生じた場合や、フレーム単位で暗号化されたストリームにおいて１フレームを構成する全てのパケットが復号できない場合は、そのフレーム全体が欠落される可能性がある。そのフレームの欠落の様子を図２に示す。
【００１５】
符号化ストリームは、図２に示されるように、複数のパケット２１により構成されている。この複数のパケット２１を復号することにより複数のフレーム列で構成される映像フレーム２２が生成される。ここで、パケット２１の一部のパケットが例えば伝送誤りなどによりデータ損失が生じると、その損失パケットを含む映像フレームの全てが欠落する場合がある。本実施例は、このようなフレーム欠落が生じても良好な映像を表示可能にするものである。その詳細について図３〜図７を用いて説明する。
【００１６】
図２は、図１に示された映像表示装置１００の第１実施例を示している。通信ネットワーク１１もしくは再生装置１２から供給された符号化ストリーム１は、データ受信部２により受信される。データ受信部２で受信された符号化ストリーム１は映像復号部３に供給され、映像復号部３は符号化ストリーム１を復号して複数のフレーム列で構成される映像信号を補間映像生成部４へ出力する。
【００１７】
補間映像生成部４は、映像復号部３から出力される映像信号のフレーム列のうち、一部のフレームが上記した修復できないエラーなどにより欠落したときに、補間フレームを生成する。そしてその補間フレームを、フレーム列の当該欠落フレームに対応する時間的位置に挿入する。すなわち、補間映像生成部４は、フレームの欠落が生じた場合に、その欠落フレームを補間フレームと置き換えるものである。この補間映像生成部４の出力信号は、例えばＰＤＰまたはＬＣＤ等で構成された表示部５へ供給される。表示部５は、補間映像生成部４からの出力信号、すなわち映像信号復号部３からのフレーム列と補間映像生成部４の内部で生成された補間フレームとの組み合わせに基づき映像の表示を行う。
【００１８】
制御部６は、データ受信部２または／及び映像復号部３からエラー情報を検出し、このエラー情報を用いて補間映像生成部４を制御する。例えばMPEG2においては、パケットと呼ばれる単位でビットストリームの伝送が行われており、パケットヘッダの連続性カウンタの値を参照すれば、データ損失が発生したかどうかが判別できる。すなわち、制御部６は、データ受信部２で受信したパケットヘッダの連続性カウンタの値を参照してフレーム欠落の有無を検出している。また、符号化ビットストリームが例えばMPEG2規格に従って生成されており、映像復号部３で例えばMPEG2のシンタックスに準拠しないデータが得られた場合には、制御部６は、修復できないエラーが発生したとしてフレーム欠落を検出するようにしてもよい。更にまた、パケット内のＣＲＣによる整合性チェックを行うことにおより、データの内容が正しいか否かを判定してエラーを検出するようにしてもよい。
【００１９】
そして制御部６は、欠落したフレームが表示部５で表示されるタイミングで、補間映像生成部４が補間フレームを生成して表示部５に供給するように補間映像生成部４を制御する。すなわち制御部６は、エラーが検出されないときは復号された映像信号のフレームを、エラーが検出されたときは補間フレームを出力するように補間映像生成部４を制御する。ここで、補間映像生成部４は、動き補償により補間フレームを生成するものであり、欠落したフレームを挟む前後フレームの映像信号から補間フレームを生成する。この補間映像生成部４における補間フレーム生成の概念について図４を参照して説明する。
【００２０】
図４の上段には、映像復号部３によって復号され生成された映像信号のフレーム列が示されている。ここでは、映像復号部３の出力であるフレーム列は、フレーム＃１〜＃５を含むものとし、かつフレーム＃３が修復できないエラーにより欠落されているものとする。このとき、補間映像生成部４は、図４の下段に示されているように、欠落フレーム＃３を挟む前後フレーム、すなわちフレーム＃２とフレーム＃４とを用いて補間フレーム４１であるフレーム＃３'を生成する。そして、このフレーム＃３'を、フレーム列＃１〜＃５のうち、フレーム＃３と時間的位置が等しい位置に挿入し、フレーム列＃１、＃２、＃３'、＃４、＃５を生成して表示部５に供給する。このようにして、フレーム欠落が生じても連続性が保たれた映像を表示することが可能となる。
【００２１】
上記図４に示された補間フレームの生成及びフレーム列への挿入処理処理を実行するための回路の一具体例を図５に示す。映像復号部３から出力された復号映像のフレームは、第１フレームメモリ５１と第２フレームメモリ５２へ供給される。第１フレームメモリ５１は、２フレーム分の映像信号を記憶するための容量を持っており、あるフレームの映像信号を２フレーム分遅延させるものである。この第１フレームメモリ５１に記憶された映像信号は、第１スイッチ５８の一方の端子に供給される。
【００２２】
また第２フレームメモリ５２は１フレーム分の映像を一時的に記憶するものであり、１フレーム周期毎にその記憶内容が更新されるとともに、更新前の内容を第３フレームメモリ５３へ出力して記憶させる。更に、第３フレームメモリ５３も１フレーム分の映像を一時的に記憶するものであり、１フレーム周期毎にその記憶内容が更新されるとともに、更新前の内容を第４フレームメモリ５４へ出力して記憶させる。例えば、ある時刻ｔ１において、図４のフレーム＃１が第４フレームメモリ５４に、フレーム＃２が第３フレームメモリ５３に、フレーム＃３が第２フレームメモリ５２記憶されているものとする。時刻ｔ１から１フレーム期間経過した時刻ｔ２においては、フレーム＃２が第４フレームメモリ５４に、フレーム＃３が第３フレームメモリ５３に、フレーム＃４が第２フレームメモリ５２記憶される。このように、第２のフレームメモリ５２、第３のフレームメモリ５３、第４のフレームメモリ５４は、１フレーム周期毎にその記憶内容が更新され、映像復号部３により復号された映像信号のフレーム列が順次記憶される。
【００２３】
補間フレーム生成部である映像補間器５６は、第２フレームメモリ５２に記憶された映像信号と第４フレームメモリ５５に記憶された映像信号を用いて補間フレームを生成する。ただし、映像補間器５６は通常時、すなわちエラーが検出されない状態においては動作しないようにされている。つまり映像補間器５６は、制御部６から制御信号に応答して動作するものであり、エラーが検出され、かつ補間フレームが作成可能となるようなタイミングで動作される。前述したように補間フレームは、欠落フレームを挟む前後の２フレームの映像信号を用いて生成される。従って、映像補間器５６は、欠落フレーム（例えばフレーム＃３）のデータ（すなわち０）が第３フレームメモリ５３に記憶され、その前のフレームであるフレーム＃２のデータが第４のフレームメモリ５５に記憶され、かつその後のフレームであるフレーム＃４のデータが第２のフレームメモリ５２に記憶されたときに動作する。そして映像補間器５６は、生成した補間フレーム（例えばフレーム＃３’）を第５フレームメモリ５７に出力して記憶させる。第５フレームメモリ５７に記憶された補間フレームは、第１スイッチ５８の他方の端子に供給される。
【００２４】
第１スイッチ５８は、制御部６からの制御信号に応答して制御される。通常時、すなわちエラーが検出されていない場合においては、第１スイッチ５８は、一方の端子、すなわち第１フレームメモリ５１と接続される方の端子を選択するように制御される。つまり本実施例では、補間映像生成部４は、通常時においては映像復号部３からの復号された映像信号を出力する。一方、制御部６によってエラーが検出された場合、欠落フレームが表示されるタイミングにおいては、第１スイッチ５８は、他方の端子、すなわち第５フレームメモリ５６と接続される方の端子を選択するように制御される。つまり本実施例では、欠落フレームが表示されるタイミングにおいては、補間映像生成部４は、映像補間器５６によって生成された補間フレームを出力する。
【００２５】
上記図５における各時刻における各要素の様子を図６に示す。尚、図６においては、図５から制御信号のラインに関する要素を削除している。まず時刻ｔ１においては、図６(a)に示されるように、第１のフレームメモリ５１には、フレーム＃２と欠落フレームであるフレーム＃３の２フレーム分の映像信号が記憶されている。ここで、フレーム＃２の方が時間的に前なので、フレーム＃２の映像信号が第１スイッチ５８の一方の端子に供給される。第１スイッチ５８は、一方の端子を選択しているため、フレーム＃２の映像信号が選択され出力される。
【００２６】
一方、第２〜第４フレームメモリ５３〜５４には、それぞれフレーム＃３、フレーム＃２、フレーム＃１の映像信号が記憶されている。このとき、映像補間器５６は動作していないため、補間フレームは作成されず、第５フレームメモリ５７は何も記憶されない（図(a)では、０が記憶されるものとする）。第５フレームメモリ５７は第１スイッチ部５８の他方の端子に接続されているが、第１スイッチ部５８は一方の端子を選択しているために第５フレームメモリ５７の内容は出力されない。
【００２７】
時刻ｔ２においては、図６(b)に示されるように、第２〜第４フレームメモリ５３〜５４には、それぞれフレーム＃４、欠落フレームであるフレーム＃３、フレーム＃２の映像信号が記憶されている。このとき、欠落フレームであるフレーム＃３を挟む前後の２フレームから情報を得ることが可能となるので、映像補間器５６は補間フレーム＃３’を生成するために動作する。すなわち、映像補間器５６はは、第２フレームメモリ５２に記憶されたフレーム＃４の映像信号と、第４フレームメモリに記憶されたフレーム＃２の映像信号とを用いて補間フレーム＃３’を作成する。従って、第５フレームメモリ５７には、補間フレーム＃３’が記憶される。
【００２８】
一方、第１のフレームメモリ５１には、欠落フレームであるフレーム＃３とフレーム＃４の２フレーム分の映像信号が記憶されている。ここで、フレーム＃３の方が時間的に前なので、欠落フレームの映像信号（０）が第１スイッチ部５８に供給される。しかしながら、第１スイッチ３８は他方の端子を選択しているため、第１スイッチ３８は、第５フレームメモリ５７に記憶された補間フレーム＃３’を選択して出力する。その後、すなわち次のフレーム周期では、第１スイッチ３８は、再び一方の端子を選択して第１のフレームメモリ５１に記憶された映像信号、すなわちフレーム＃４の映像信号を出力する。
【００２９】
このように動作することにより、上記図４の下段に示されたフレーム列、すなわちフレーム＃１、＃２、＃３’、＃４、＃５が順次補間映像生成部４から出力される。
【００３０】
本実施例に係る映像補間器５６は、欠落フレームを挟む（すなわち欠落フレームに隣接する）前後の２つのフレームから動きベクトルを求め、この動きベクトルを用いて補間フレームを作成する。動きベクトルを用いた映像フレーム補間に関しては、上記のような方法に代えて、例えば特開平１１−１１２９３９号公報に記載されている方法を用いてもよい。この方法では、ブロックマッチングを用いて動き探索を行い、映像フレーム補間を行っている。ここでは、一例として、画素単位の動きベクトルを用いた補間フレーム方法に関して説明する。
【００３１】
画素単位の動きベクトルは、補間フレーム内のある補間画素に対して点対称の位置にある前後フレーム上の画素のペアを求めて算出される。その詳細について、図７を参照しつつ説明する。
【００３２】
図７においてｘ軸はフレームの水平方向、ｙ軸はフレームの垂直方向、ｔはフレーム時間方向を示す。ここで、補間フレーム（ここでは、図４と同じフレーム＃３’とする）内のある補間画素をP03とし、その座礁を便宜上（0，0）とする。
【００３３】
まず、前フレーム＃２と後フレーム＃４のそれぞれについて、動きベクトルの検索範囲を示す検索ウィンドウＷ２及びＷ４を設定する。前フレーム＃２の検索ウィンドウＷ２は、例えば、補間画素P03と空間的に同じ位置にある前フレーム＃２内の画素、すなわち前フレーム＃２の軸Ｌと交差する位置にある画素P02を中心にしたｘ軸方向７画素、ｙ軸方向７画素の大きさを持つ。後フレーム＃４の検索ウィンドウＷ４も同様に、例えば、補間画素P03と空間的に同じ位置にある前フレーム＃２内の画素、すなわち前フレーム＃４の軸Ｌと交差する位置にある画素P04を中心にしたｘ軸方向７画素、ｙ軸方向７画素の大きさを持つ。尚、画素P02及びP04の座標も、ここでは便宜上（0，0）とする。
【００３４】
次に、補間画素P03を中心に、前フレーム＃２の検索ウィンドウＷ２と後フレーム＃４の検索ウィンドウＷ４とを通過する直線を設定する。例えば、検索ウィンドウＷ２の左上端にある画素の座標を（-3，3）とすると、この画素と補間画素P03とを結ぶ直線上にある検索ウィンドウＷ４内の画素は、右下端の画素となり、その座標は（3，-3）となる。この直線を、検索ウィンドウＷ２及びＷ４内の画素全てについて設定する。この例では、検索ウィンドウＷ２及びＷ４の画素数は７×７＝４９なので、補間画素P03を通過する直線として４９本の直線が設定される。
【００３５】
続いて、上記４９本のそれぞれ直線について、各直線が通過する検索ウィンドウＷ２内の画素と検索ウィンドウＷ４内の画素との差分を演算する。ここでは、各画素の輝度信号の差分を求めるものとする。この差分が最も小さい画素のペアを持つ直線を補間画素P03の動きベクトルとして設定する。図７の例では、検索ウィンドウＷ２内の画素P12（座標は(2，2)）と検索ウィンドウＷ４内の画素P14（座標は(-2，-2)）のペアが最も差分が小さいものとする。従って、画素P12と補間画素P03と画素P14とを結ぶ直線が、当該補間画素P03の動きベクトルＭＶとして設定される。すなわち、前フレーム＃２内の画素P12は、動きベクトルＭＶが指し示す方向に従って、欠落フレーム＃３内の、補間画素P03と位置的に等しい画素を通過して、後フレーム＃４内の画素P14へ動くものと推測する。
【００３６】
そして、この動きベクトルＭＶを用いて補間画素P03を作成する。例えば、動きベクトルＭＶが通過する前フレーム＃２内の画素P12と後フレーム＃４内の画素P14との平均値を演算することにより、補間画素P03を作成する。また、下記数１の演算式を用いて補間画素P03を演算してもよい。
【００３７】
（数１）  P03＝ｋ・P02＋(１−ｋ)・P04    （但し、ｋ＜１）
上記ｋは、重み付け、つまり両画素の混合比を示す係数であり、例えば補間フレーム＃３’と前フレーム＃２との距離、及び補間フレーム＃３’と後フレーム＃４との時間的距離に応じて設定してもよい。本実施例では、各フレーム間の時間的距離は等しいので、ｋ＝0.5として２つの画素の平均値を求めている。
【００３８】
上記のような演算を、補間フレーム＃３’の全ての補間画素について行うことにより補間フレーム＃３’を作成する。このようにして作成された補間フレーム＃３’は、上述したように第５フレームメモリ５７に記憶され、欠落フレーム＃３の表示タイミング（すなわちフレーム＃２の次のフレーム周期）で第１スイッチ５８を経由して出力される。
【００３９】
尚、上記の例では補間画素毎に動きベクトルを求めたが、例えば５×５の大きさを持つブロック単位で動きベクトルを求めてもよい。また、ある補間画素の動きベクトルを、その補間画素に隣接する補間画素の（既に求められた）動きベクトルも参照して求めるようにしてもよい。更に、上記の例では、検索ウィンドウの大きさを７×７としたが、当然ながら他の大きさとしてもよく、また検索ウィンドウの水平方向画素数と垂直方向画素数とを等しくしなくてもよい。更にまた、上記の例では、欠落フレームを挟む前後の２つのフレームにより動きベクトルを求めるようにしたが、欠落フレームの前２フレーム、欠落フレームの後２フレームの、計４つのフレームから動きベクトルを求めてもよい。
【００４０】
以上の説明の通り、本実施例によれば、受信した符号化ビットストリームに修復できないエラーが発生して、それに伴い１フレームの全てが欠落した場合でも、その欠落フレームに代えて動き補償された補間フレームで表示することが可能となる。従って、フレームの欠落が生じた場合でも、動きが滑らかな動画像を表示することが可能となり、高画質な表示装置を提供することが可能となる。
【実施例２】
【００４１】
次に、本発明の第２実施例について説明する。上記の第１実施例は、欠落フレームが生じた場合にのみ補間フレームを作成したが、欠落フレームの有無に関係なく補間フレームを作成するようにしてもよい。すなわち、入力された映像のフレーム列に補間フレームを周期的に挿入してフレーム数を変換するフレームレート変換機能を有する映像表示装置にも本発明は適用できる。その構成の一例を図８に示す。
【００４２】
図８は、補間映像生成部４の第２実施例を示すものであり、図５に示した実施例とは、制御部６からの制御信号で制御される第２スイッチ８１を備える点が異なっている。この第２スイッチ８１は、第３フレームメモリ５３に記憶された映像信号と第４フレームメモリ５４に記憶された映像信号のいずれかを選択して映像補間器５６に供給する。
【００４３】
第２実施例にかかる補間映像生成部４は、例えば符号化ビットストリームを復号した映像のフレームレートが３０Ｈｚ（１秒間辺りのフレーム数が３０枚）の場合に、それを例えば２倍の６０Ｈｚに変換するものであり、通常時、第２スイッチ８１は第３フレームメモリ５３からの映像信号を選択する。従って、映像補間機６は、第２フレームメモリ５２に記憶された映像信号と第３フレームメモリ５３に記憶された映像信号とを用いて補間フレームを作成する。例えば、第３フレームメモリ５３にフレーム＃１の映像信号が記憶され、かつ第２フレームメモリ５２にフレーム＃２の映像信号が記憶されている場合には、両方のフレームを用いて補間フレーム＃１’を生成し、第５フレームメモリ５７に記憶する。
【００４４】
一方、第１スイッチ５８は、１フレームの半周期毎に一方の端子と他方の端子とを交互に選択するように、制御部６によって制御される。例えばフレーム＃１を表示するフレーム周期の前半では一方の端子、すなわち第１フレームメモリ５１からの映像信号を選択し、後半では他方の端子、すなわち第５フレームメモリ５７からの映像信号を選択する。従って、第１スイッチ５８からは、第１フレーム周期の前半ではフレーム＃１を、後半では補間フレーム＃１’を、次の第２フレーム周期の前半ではフレーム＃２を、後半では補間フレーム＃２’が出力される。すなわち、第１スイッチ５８から出力されるフレーム列は、フレーム＃１、＃１’、＃２、＃２’…の順となる。これにより、復号された映像信号のフレーム列の各フレーム間に補間フレームが挿入され、表示部５に供給される映像信号のフレームレートが２倍化される。本実施例におけるフレームレートの作成は、上記第１実施例で説明した図７と同様な方法で行われる。第１実施例と異なる点は、補間フレームと前フレーム、及び補間フレームと後フレームとの時間的距離が本実施例では１／２になっている点であり、それ以外が第１実施例と同じである。尚、第４フレームメモリ５４にも映像信号が記憶されているが、通常時においては使用されない。
【００４５】
次に、本実施例の構成において、欠落フレームが発生した場合の動作について図９を参照しつつ説明する。欠落フレーム＃３が発生し、これが第３フレームメモリ５３に記憶されるタイミングで、第２スイッチ８１は一方の端子から他方の端子に切り替えるように制御部６により制御される。第４フレームメモリ５４にはフレーム＃２が記憶されているため、フレーム＃２の映像信号が第２スイッチ８１を介して映像補間器５６に供給される。映像補間器５６は、フレーム＃２の映像信号とフレーム＃４の映像信号を用いて欠落フレーム＃３に対応する補間フレーム＃３’を作成し、第５フレームメモリ５７に出力する。従って、第５フレームメモリ５７には補間フレーム＃３’が記憶される。ここで、補間フレーム＃３’は、上述した図７に示された方法で生成される。
【００４６】
一方、第１フレームメモリ５１には、欠落フレームであるフレーム＃３とフレーム＃４の２フレーム分の映像信号が記憶されている。ここで、フレーム＃３の方が時間的に前なので、欠落フレームの映像信号（０）が第１スイッチ部５８に供給される。しかしながら、第１スイッチ３８は他方の端子を選択するように制御部６により制御される。このため、第１スイッチ３８は、第５フレームメモリ５７に記憶された補間フレーム＃３’を選択して出力する。
【００４７】
その後、第２スイッチ８１は、再び一方の端子に切り替えられ、前述した隣接した２つのフレームを用いた補間フレームを作成する。第１スイッチ部５８は、再び１フレーム周期の半周期毎に一方の端子と他方の端子とを交互に選択するよう動作する。従って、本実施例に係る補間映像生成部４は、補間フレーム＃３’を出力した後、再びフレームレートを２倍加する処理を行う。
【００４８】
このように、本実施例は、映像表示装置に元々備わっているフレームレート変換機能を利用して欠落フレームの補間を行っている。従って、本実施例によれば、映像のフレームレートを変換しつつ、欠落フレームの発生に対応することができる。
【００４９】
尚、欠落フレーム＃３が第２フレームメモリ５２に記憶されている間は、映像補間器５６で補間フレームを生成できない。この場合は、第５フレームメモリ５７に記憶されている補間フレーム＃１’、または第１フレームメモリ５１に記憶されているフレーム＃２の映像信号を出力するようにしてもよい。
【００５０】
本実施例は、復号された映像信号のフレームレートを３０Ｈｚから６０Ｈｚにする場合を例にして説明した。しかしながら、復号された映像信号のフレームレートを６０Ｈｚから１２０Ｈｚにするものについても同様に適用できる。また、復号された映像信号のフレームレートを５０Ｈｚから６０Ｈｚにするものについても同様に適用できる。
【実施例３】
【００５１】
上述した第１及び第２実施例は、１つのフレームが全て欠落し、その欠落フレームを補完する例を説明した。しかしながら、本発明は、１フレームの中で一部が欠落した場合について、その映像欠落部分を補完する場合にも適用できる。その例を図１０に示す。
【００５２】
図１０に示されるように、例えばフレーム＃３のあるマクロブロックに修復できないエラーが生じ、そのマクロブロックの映像が復号できない場合は、フレーム＃３に映像欠落部分が生じる。この映像欠落部分を、そのフレーム＃３を挟む前後の２つのフレームから作成した補間映像部分を用いて補間する。この補間映像部分は、第１実施例で説明した図５に示された回路と同様な構成で、かつ図７に示されたものと同様な方法で作成される。すなわち、フレーム＃３の前フレーム＃２の映像信号を第２フレームメモリ５２に記憶し、後フレーム＃４の映像信号を第４フレームメモリ５４に記憶する。そして、映像補間器５６によって、第２フレームメモリ５２に記憶された前フレーム＃２と第４フレームメモリ５４に記憶された後フレーム＃４を用いて、図７に示された方法で、映像欠落部分内の画素毎に動きベクトルを求めて補間画素を生成する。このようにして作成された補間映像部分は、第５フレームメモリ５７に記憶される。そして、第１スイッチ部５８は、フレーム＃３内の映像欠落部分に第５フレームメモリ５７内の補間映像部分を嵌め込むように切替え制御される。すなわち、映像欠落部分の範囲（期間）が制御部６によって検出され、制御部６は、フレーム＃３内の映像欠落部分に対応する期間（水平及び垂直期間）は補間映像部分を選択するように第１スイッチ部５８を制御する。これによって、フレーム＃３内の映像欠落部分が補間映像部分に置き換えられ、欠落のない映像を表示することができる。
【００５３】
このように、本実施例では、１つのフレーム全てのみならず、１フレーム内の一部に対して映像の保管を行うことができる。従って、フレーム内のあるマクロブロックにエラーが生じて修復できない場合でも、欠落のない映像を表示することができる。
【実施例４】
【００５４】
次に本発明の第４実施例について、図１０及び１１を参照しつつ説明する。本実施例は、Ｉフレームのみフレーム補間を行うものである。Ｉフレームは、そのフレーム内の情報でのみ符号化されているため、Ｐフレーム及びＢフレームが無くても復号化可能である。しかしながら、ＰフレームおよびＢフレームは、Ｉフレームを元に作られるため、Ｉフレームがデータエラーにより欠落すると、ＰフレームＢフレームを作成することが出来なくなる。Ｉフレームは、図１０に示されるように周期的もしくは非周期的に出現し、Ｉフレーム間には、Ｐ及び／またはＢフレームが数枚〜十数枚出現する。従って、Ｉフレームが欠落すると、長時間にわたってフレームが欠落した状態が続くことになり、表示映像の画質劣化が大きくなる。本実施例は、そのようなフレーム欠落が長時間継続することを防止するために、少なくともＩフレームのみを補間して作成するものである。すなわち本実施例は、図１０に示されるように、複数のＩフレームを用いてＩフレームを補間するものである。
【００５５】
本実施例の構成について図１１を参照して説明する。尚、図３と同じ符号が付されているものについては先に説明したものと同様の動作を行うものであり、その詳細な説明を省略する。映像復号部３で復号された映像データのうち、Ｉフレームのみが、予測映像フレーム作成部１１０に送られ、正常に受信できたＩフレーム間で、過去および未来のＩフレームを動き補正により予測して作成する。
【００５６】
映像復号部３においては、制御部６で検出されたデータエラーの情報を基に、復号するＩフレームが正常なフレームかどうかを判断する。そして、正常な状態のＩフレームならそのまま復号し、正常でない（すなわちデータエラーを含む）Ｉフレームについては、予測映像フレーム作成部６によって作成された予測フレームに置き換える。そして、映像復号部３は、データエラーを含むＩフレームではなく置き換えられた予測フレームを用いて復号し、更にこれを用いてＰフレーム及びＢフレームを復号する。また、Ｉフレームだけではなく、ＩフレームおよびＰフレームも、同様に補完して作成してもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明に係る映像表示装置に利用形態を示す図。
【図２】データ損失により映像フレームが欠落する例を示す図。
【図３】本発明の第１実施例に係る映像表示装置の一構成例を示す図。
【図４】第１実施例における補間フレームの作成の概念を示す図。
【図５】第１実施例に係る補間映像生成部４の一構成例を示す図。
【図６】第１実施例に係る補間映像生成部４の動作を示す図。
【図７】映像補間器５６における補間フレーム作成の様子を示す図。
【図８】第２実施例に係る補間映像生成部４の一構成例を示す図。
【図９】第２実施例に係る補間映像生成部４の動作を示す図。
【図１０】本発明の第３実施例を説明する図。
【図１１】本発明の第４実施例を説明する図。
【図１２】本発明の第４実施例を説明する図。
【符号の説明】
【００５８】
１…符号化映像データ入力、２…データ受信部、３…映像復号部、４…映像出力切替え部、５…表示部、６…制御部、５１〜５４、５７…フレームメモリ、５６…映像補間器、５８…第１スイッチ、８１…第２スイッチ。
【図１】
0004730183.tif 000002
【図２】
0004730183.tif 000003
【図３】
0004730183.tif 000004
【図４】
0004730183.tif 000005
【図５】
0004730183.tif 000006
【図６】
0004730183.tif 000007
【図７】
0004730183.tif 000008
【図８】
0004730183.tif 000009
【図９】
0004730183.tif 000010
【図１０】
0004730183.tif 000011
【図１１】
0004730183.tif 000012
【図１２】
0004730183.tif 000013