(57)【要約】【課題】動きベクトルにより符号化された映像信号を復号する再生装置と、復号された映像信号をハイフレームレート化して表示する表示装置とが分離されている場合に、表示装置で、再生装置での復号処理によって得られる動きベクトルを利用してフレームレート変換を行う。【解決手段】送信装置１では、エンコード部３が、復号された映像信号のブランキング期間に、復号部２から出力される少なくとも動きベクトルを含む参照制御情報を重畳する。受信装置５では、デコード部６が、送信装置１から入力した映像信号のブランキング期間から参照制御情報を分離し、フレームレート変換部７〜１１が、この参照制御情報を用いて補間フレームを生成することによって映像信号をハイフレームレート化する。【選択図】図３
2007274679.tif 000002
【特許請求の範囲】
【請求項１】
送信装置と受信装置とから成るフレームレート変換システムにおいて、
前記送信装置は、
動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、
前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳するエンコード部とを備え、
前記エンコード部によって前記参照制御情報を重畳された映像信号を出力し、
前記受信装置は、
前記送信装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離するデコード部と、
前記デコード部によって分離された前記参照制御情報を用いて、前記入力した映像信号のフレーム間の補間フレームを生成することにより、前記入力した映像信号をハイフレームレート化するフレームレート変換部と
を備えることを特徴とするフレームレート変換システム。
【請求項２】
請求項１に記載のフレームレート変換システムにおいて、
前記送信装置から前記受信装置に、着脱可能なケーブルまたは無線伝送により、前記参照制御情報を重畳された映像信号が送信される
ことを特徴とするフレームレート変換システム。
【請求項３】
請求項１に記載のフレームレート変換システムにおいて、
前記参照制御情報は、
前記復号部から出力される、動きベクトルと、
予測補償の形態を示す識別子と、
復号した映像信号の表示順序を示す識別子とを含む
ことを特徴とするフレームレート変換システム。
【請求項４】
請求項１に記載のフレームレート変換システムにおいて、
前記送信装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を出力する装置であり、
前記エンコード部は、ＨＤＭＩ規格によるトランスミッタ内に設けられて、映像フレーム中のデータアイランド期間に前記参照制御情報を重畳し、
前記受信装置は、ＨＤＭＩ規格によるデジタル映像信号を入力する装置であり、
前記デコード部は、ＨＤＭＩ規格によるレシーバ内に設けられて、映像フレーム中のデータアイランド期間から前記参照制御情報を分離する
ことを特徴とするフレームレート変換システム。
【請求項５】
請求項１に記載のフレームレート変換システムにおいて、
前記受信装置は、前記参照制御情報が重畳された映像信号の伝送の可否及び／または伝送量を指示する制御信号を前記送信装置に送る制御部をさらに備えた
ことを特徴とするフレームレート変換システム。
【請求項６】
動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部を備えた送信装置から出力された映像信号を入力した受信装置が、前記入力した映像信号をハイフレームレート化するフレームレート変換方法において、
前記送信装置が、前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する第１のステップと、
前記受信装置が、前記送信装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離する第２のステップと、
前記受信装置が、前記第２のステップで分離した前記参照制御情報を用いて、前記入力した映像信号のフレーム間の補間フレームを生成することにより、前記入力した映像信号をハイフレームレート化する第３のステップと
を有することを特徴とするフレームレート変換方法。
【請求項７】
動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、
前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳するエンコード部とを備え、
前記エンコード部によって前記参照制御情報を重畳された映像信号を出力する
ことを特徴とする送信装置。
【請求項８】
請求項７に記載の送信装置において、
前記参照制御情報は、
前記復号部から出力される、動きベクトルと、
予測補償の形態を示す識別子と、
復号した映像信号の表示順序を示す識別子とを含む
ことを特徴とする送信装置。
【請求項９】
請求項７に記載の送信装置において、
前記送信装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を出力する装置であり、
前記エンコード部は、ＨＤＭＩ規格によるトランスミッタ内に設けられて、映像フレーム中のデータアイランド期間に前記参照制御情報を重畳する
ことを特徴とする送信装置。
【請求項１０】
入力された映像信号のブランキング期間から、少なくとも動きベクトルを含む参照制御情報を分離するデコード部と、
前記デコード部によって分離された前記参照制御情報を用いて、前記入力した映像信号のフレーム間の補間フレームを生成することにより、前記入力した映像信号をハイフレームレート化するフレームレート変換部と
を備えたことを特徴とする受信装置。
【請求項１１】
請求項１０に記載の受信装置において、
映像信号のブランキング期間に前記参照制御情報が重畳された映像信号を出力する送信装置から、着脱可能なケーブルまたは無線伝送により、前記映像信号が入力される
ことを特徴とする受信装置。
【請求項１２】
請求項１０に記載の受信装置において、
前記参照制御情報は、
前記復号部から出力される、動きベクトルと、
予測補償の形態を示す識別子と、
復号した映像信号の表示順序を示す識別子とを含む
ことを特徴とする受信装置。
【請求項１３】
請求項１０に記載の受信装置において、
前記受信装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を入力する装置であり、
前記デコード部は、ＨＤＭＩ規格に基づくレシーバ内に設けられて、映像フレーム中のデータアイランド期間から前記参照制御情報を分離する
ことを特徴とする受信装置。
【請求項１４】
請求項１０に記載の受信装置において、
前記参照制御情報が重畳された映像信号の伝送の可否及び／または伝送量を指示する制御信号を出力する制御部をさらに備えた
ことを特徴とする受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトルにより符号化された映像信号を復号する装置と、その復号された映像信号を該映像信号のフレームレートより高いフレームレートの信号に変換しハイフレームレート化して表示する装置とが分離されている場合に、動きベクトルを用いたハイフレームレート化を効率的に行なえるようにしたシステム，方法，送信装置及び受信装置に関する。
【背景技術】
【０００２】
ＭＰＥＧ−２などのように動きベクトルによる符号化方式を用いた圧縮映像信号を復号して映像信号を取り出す復号部が、ＤＶＤプレーヤ，デジタル放送チューナ，セットトップボックスなどに搭載されている。圧縮映像信号は、各フレーム自体を圧縮するフレーム内符号化されたフレームと、参照する他のフレームからの差分を圧縮するフレーム間符号化されたフレームからなる。フレーム間符号化で動き予測補償を用いて差分をとる際には、参照する他のフレーム内の映像ブロックが移動する先を動きベクトルで予測した画像を生成し、その予測画像との差分をとることによって効率的な符号化を行なっている。
【０００３】
一方、動画ボケを低減したり、動画像表現を滑らかにしたりする目的で、映像のフレーム間に補間フレームを生成してフレームレート変換を行なうフレームレート変換部が、テレビジョン受像機などに搭載されつつある。補間フレームを生成する方法自体は複数存在するが、補間フレームの前後にあるフレーム内の映像ブロック間の動きベクトルを用いて、それらの中間的な映像である補間フレーム画像を予測する方法では、比較的精度の高い補間フレームを生成できる。
【０００４】
しかし、動きベクトルを検出するには、二つのフレーム内の各映像ブロック間で同一のものが存在するかの確認を様々な位置の組み合わせで行なうために多大な計算コストを要する。しかも、フレームレート変換した映像をリアルタイムに表示する場合には、変換後の次のフレームを表示するまでの限られた時間内に動きベクトルを検出する必要があるため、さらに高い計算能力を必要とする。そこで、従来、上記の復号処理において得られる動きベクトルをフレームレート変換にも用いることにより、計算コストを大幅に減少させ、効率的にフレームレート変換を行なえるようにしたフレームレート変換装置が提案されている（特許文献１）。
【０００５】
このフレームレート変換装置は、図１に示すように、復号部１００とフレームレート変換部１０１とを同一の表示装置（テレビジョン受像機など）内に設けたものであり、復号部１００から、内部バスなどを介して映像信号と動きベクトルとがフレームレート変換部１０１に送られる。
【０００６】
フレームレート変換部１０１では、映像信号が映像バッファ１０２に蓄積されるとともに、補間ベクトル生成部１０３により、補間フレームの前後のピクチャの予測に用いられた動きベクトルを用いて補間ベクトルが生成される。そして、補間フレーム生成部１０４により、補間フレームの前後のピクチャが映像バッファ１０２から読み出され、補間ベクトルを用いて補間フレームの時間的な位置における予測フレームが生成される。そして、セレクタ１０５により、映像バッファ１０２内のピクチャ（実フレーム）と、生成された補間フレームとが、フレームレートに合わせて選択して出力される。
【０００７】
【特許文献１】特開２００３−３３３５４０号公報（段落番号００１０〜１１、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、上記特許文献１に記載のフレームレート変換装置は、復号部とフレームレート変換部と同一の装置内に備えることを前提としたものである。しかしながら、実際の製品では、復号部とフレームレート変換部とは同一の装置に搭載されるとは限らない。なぜなら、フレームレート変換部は、表示装置において表示しうるフレームレートと関係しているために表示装置に備えられる可能性が高く、復号部は、放送波や記録メディアの映像圧縮方法に依存するために、再生装置に備えられる可能性が高く、全ての再生装置に表示装置が付随しているとは限らないためである。
【０００９】
本発明は、上述の点に鑑み、動きベクトルにより符号化された映像信号を復号する再生装置と、その復号された映像信号をハイフレームレート化して表示する表示装置とが分離されている場合に、表示装置で、再生装置での復号処理によって得られる動きベクトルを利用してフレームレート変換を行えるようにすることを課題とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係るフレームレート変換システムは、送信装置と受信装置とから成るフレームレート変換システムにおいて、
この送信装置は、
動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、
この復号部によって復号された映像信号のブランキング期間に、この復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳するエンコード部とを備え、
このエンコード部によってこの参照制御情報を重畳された映像信号を出力し、
この受信装置は、
この送信装置から入力した映像信号のブランキング期間から、この参照制御情報を分離するデコード部と、
このデコード部によって分離されたこの参照制御情報を用いて、この入力した映像信号のフレーム間の補間フレームを生成することにより、この入力した映像信号をハイフレームレート化するフレームレート変換部と
を備えることを特徴とする。
【００１１】
このフレームレート変換システムでは、復号部を備えた送信装置内において、復号された映像信号のブランキング期間に、復号部から出力される少なくとも動きベクトルを含む参照制御情報を重畳する処理が行われる。そして、この参照制御情報を重畳された映像信号が、送信装置から出力される。
【００１２】
受信装置では、この送信装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する処理が行われる。そして、この分離された参照制御情報を用いて、入力した映像信号のフレーム間の補間フレームを生成することにより、入力した映像信号がハイフレームレート化される。
【００１３】
したがって、復号部を備えた再生装置とフレームレート変換部を備えた表示装置とが分離されている場合に本発明を適用（送信装置，受信装置をそれぞれ再生装置，表示装置に適用）すれば、表示装置で、フレームレート変換後の次のフレームを表示するまでの限られた時間内に動きベクトル検出を行なうための高い処理能力を持つ検出ユニットや、その検出処理のための電力消費を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができるようになる。
【００１４】
また、再生装置で補間フレームを生成しないので、再生装置と表示装置とをハイフレームレート映像に対応した高い伝送量のケーブルで接続する必要もなくなる。
【００１５】
また、表示装置で圧縮映像信号の復号を行わないので、動きベクトルを用いた各種の符号化方式に対応した再生装置からの出力映像信号を表示装置に入力してハイフレームレート化することができる。
【００１６】
次に、本発明に係るフレームレート変換方法は、動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部を備えた送信装置から出力された映像信号を入力した受信装置が、この入力した映像信号をハイフレームレート化するフレームレート変換方法において、
この送信装置が、この復号部によって復号された映像信号のブランキング期間に、この復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する第１のステップと、
この受信装置が、この送信装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する第２のステップと、
この受信装置が、この第２のステップで分離したこの参照制御情報を用いて、この入力した映像信号のフレーム間の補間フレームを生成することにより、この入力した映像信号をハイフレームレート化する第３のステップと
を有することを特徴とする。
【００１７】
このフレームレート変換方法は、前述の本発明に係るフレームレート変換方法システムによる一連の処理手順に該当するものであり、復号部を備えた再生装置とフレームレート変換部を備えた表示装置とが分離されている場合に、表示装置で、高い処理能力を持つ検出ユニット等を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができ、また、再生装置と表示装置とをハイフレームレート映像に対応した高い伝送量のケーブルで接続する必要がなくなり、また、動きベクトルを用いた各種の符号化方式に対応した再生装置からの出力映像信号を表示装置に入力してハイフレームレート化することができる。
【００１８】
次に、本発明に係る送信装置は、
動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、
この復号部によって復号された映像信号のブランキング期間に、この復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳するエンコード部とを備え、
このエンコード部によってこの参照制御情報を重畳された映像信号を出力する
ことを特徴とする。
【００１９】
この送信装置は、前述の本発明に係るフレームレート変換方法システムを構成する送信装置であり、前述の受信装置と協働させることにより、復号部を備えた再生装置とフレームレート変換部を備えた表示装置とが分離されている場合に、表示装置で、高い処理能力を持つ検出ユニット等を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができ、また、再生装置と表示装置とをハイフレームレート映像に対応した高い伝送量のケーブルで接続する必要がなくなり、また、動きベクトルを用いた各種の符号化方式に対応した再生装置からの出力映像信号を表示装置に入力してハイフレームレート化することができる。
【００２０】
次に、本発明に係る受信装置は、
入力された映像信号のブランキング期間から、少なくとも動きベクトルを含む参照制御情報を分離するデコード部と、
このデコード部によって分離されたこの参照制御情報を用いて、この入力した映像信号のフレーム間の補間フレームを生成することにより、この入力した映像信号をハイフレームレート化するフレームレート変換部と
を備えたことを特徴とする。
【００２１】
この受信装置は、前述の本発明に係るフレームレート変換方法システムを構成する受信装置であり、前述の送信装置と協働させることにより、復号部を備えた再生装置とフレームレート変換部を備えた表示装置とが分離されている場合に、表示装置で、高い処理能力を持つ検出ユニット等を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができ、また、再生装置と表示装置とをハイフレームレート映像に対応した高い伝送量のケーブルで接続する必要がなくなり、また、動きベクトルを用いた各種の符号化方式に対応した再生装置からの出力映像信号を表示装置に入力してハイフレームレート化することができる。
【発明の効果】
【００２２】
本発明によれば、動きベクトルにより符号化された映像信号を復号する再生装置と、その復号された映像信号をハイフレームレート化して表示する表示装置とが分離されている場合に、表示装置で、高い処理能力を持つ検出ユニット等を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができるという効果や、再生装置と表示装置とをハイフレームレート映像に対応した高い伝送量のケーブルで接続する必要がなくなるという効果や、動きベクトルを用いた各種の符号化方式に対応した再生装置からの出力映像信号を表示装置に入力してハイフレームレート化することができるという効果が得られる。
【発明を実施するための最良の形態】
【００２３】
本発明の実施の形態を説明する前に、他の構成例とその問題点について説明する。
ＤＶＤプレーヤなどの再生装置とテレビジョン受像機などの表示装置が分離されている場合、両者は、コンポジットケーブルなどのアナログ映像信号ケーブルや、ＨＤＭＩなどのデジタル映像信号ケーブルにより接続され、復号後の映像信号のみが伝送されている。そのため、再生装置と分離されている表示装置では、やはり、装置内部で動きベクトルを検出さざるを得なくなる。図２は、そうした表示装置におけるフレームレート変換部の構成を示すブロック図である。再生装置２００内の復号部２０１から、映像ケーブル２０２を介して、映像信号のみが表示装置２０３に送られる。
【００２４】
表示装置２０３では、映像信号が映像バッファ２０４に蓄積される。そして、動きベクトル検出部２０５により、フレームレート変換後の１フレーム分の時間内に、映像バッファ２０４内の映像信号から、補間フレームの前後にあるフレーム内の映像ブロック間の動きベクトルが検出される。そして、補間ベクトル生成部２０６により、その動きベクトルを用いて補間ベクトルが生成される。そして、補間フレーム生成部２０７により、補間フレームの前後のピクチャが映像バッファ２０４から読み出され、補間ベクトルを用いて補間フレームの時間的な位置における予測フレームが生成される。そして、セレクタ２０８により、映像バッファ２０４内のピクチャ（実フレーム）と、生成された補間フレームとが、フレームレートに合わせて選択して出力される。
【００２５】
このように、再生装置とは分離された表示装置で動きベクトルを用いてフレームレート変換を行う場合には、フレームレート変換後の次のフレームを表示するまでの限られた時間内に動きベクトル検出を行なう必要があるため、高い処理能力を持つ検出ユニットが必要な上に、その検出処理のための電力消費も必要となり、利用者は購入時も購入後も負担を強いられることになる。
【００２６】
逆に、再生装置でフレームレート変換も行なうようにすると、ハイフレームレート化されて元の映像よりも映像信号が増えるため、映像信号ケーブルを複数本使うなどする必要があるが、ケーブルのコスト増や、端子増による消費者の混乱が予想され好ましくない。
【００２７】
このように、復号部を備えた再生装置と、フレームレート変換部を備えた表示装置とが分離されている場合には、利用者がハイフレームレート映像を楽しむ可能性が制限されてしまっている。
【００２８】
以下、本発明の実施の形態を、図面を用いて説明する。図３は、本発明を適用したフレームレート変換システムの構成例を示すブロック図である。このフレームレート変換システムでは、送信装置の一例として、再生装置１（例えば、ＳＴＢ（セットトップボックス），光ディスクプレーヤ，デジタルチューナ，カメラ一体型ＶＴＲなど）と、受信装置の一例として、表示装置５（例えば、テレビジョン受像機，ディスプレイなど）とが、互いに分離されている。
【００２９】
再生装置１には、本発明に関連する回路として復号部２及びエンコード部３が設けられており、ＭＰＥＧの符号化アルゴリズムで符号化された圧縮映像信号が復号部２に供給される。復号部２は、ＭＰＥＧ規格のデコーダであり、その構成は周知であるので詳細説明は説明する。復号部２によって復号された映像信号は、エンコード部３に供給される。
【００３０】
また、復号部２内では、周知のように、量子化変換係数や、動きベクトルや、復号した各ピクチャの予測補償の形態（画像内予測（Ｉピクチャ），順方向予測（Ｐピクチャ），双方向予測（Ｂピクチャ）のうちのいずれであるかなど）を示す識別子や、復号したピクチャの表示順序を示す識別子が可変長復号化回路（図示略）によって復号されて逆量子化回路や動き補償回路（図示略）に供給されるが、このうちの、動きベクトルと、予測補償の形態を示す識別子と、復号した映像信号の表示順序を示す識別子とが、復号部２から参照制御情報としてエンコード部３に供給される。
【００３１】
エンコード部３は、供給される映像信号のブランキング期間に、この参照制御情報を重畳する処理を行う回路である。エンコード部３によってこの参照制御情報が重畳された映像信号は、再生装置１から出力され、着脱可能なコネクタ４ａ、４ｂに接続された映像ケーブル４を介して表示装置５に送られる。ちなみに、映像ケーブル４を用いる他には、無線伝送により参照制御情報が重畳された映像信号を再生装置１から表示装置５に送信することが考えられる。
【００３２】
表示装置５には、本発明に関連する回路として、デコード部６と、フレームレート変換部１２を構成する映像バッファ７，動きベクトルバッファ８，補間ベクトル生成部９，補間フレーム生成部１０及びセレクタ１１とが設けられている。
【００３３】
映像ケーブル４を介して表示装置５に入力した映像信号は、デコード部６に供給される。デコード部６は、供給される映像信号のブランキング期間から、前述の参照制御情報を分離する処理を行う回路である。
【００３４】
なお、再生装置１から表示装置５への映像信号の伝送形態は、コンポジット信号などのアナログ信号であってもよいし、デジタル信号であってもよい。アナログ映像信号の場合には、エンコード部３は、垂直帰線消去期間で文字放送などに用いられていないラインに参照制御情報を重畳し、映像ケーブル４として、現在一般的に用いられているコンポジット映像ケーブルなどを用い、デコード部６は、上記ラインから参照制御情報を分離するようにすればよい。
【００３５】
デジタル映像信号の伝送規格としては、非圧縮のデジタル映像信号を高品位に伝送するための規格であるＨＤＭＩ（High Definition Multimedia Interface）の利用が始まっている。再生装置１及び表示装置５がこのＨＤＭＩ規格に則って映像信号を入出力する機器である場合には、次に述べるようにして参照制御情報を重畳すればよい。
【００３６】
図４は、ＨＤＭＩ規格に則った機器の概要を示す図である。映像信号を送信する側の機器であるＨＤＭＩソース２１には、ＨＤＭＩトランスミッタ２２が設けられる。ＨＤＭＩトランスミッタ２２は、供給されるビデオ（映像信号），オーディオ／ＡＵＸ（Auxiliary），コントロール／ステータスの各信号を、３つのＴＭＤＳ（Transition Minimized Differential Signaling）チャンネル０〜２のシリアルデータにエンコードして出力するとともに、ビデオのピクセルクロックをＴＭＤＳクロックチャンネルから出力する。そして、これらのチャンネルのデータと、ディスプレイの固有情報（解像度など）を通知するためのＤＤＣ（Display Data Channel）のデータと、オプションであるＣＥＣ（Consumer Electronics Control）プロトコルの双方向制御用の制御信号とが、ＨＤＭＩソース２１から、１本のケーブル（ＨＤＭＩケーブル）で、映像信号を受信する側の機器であるＨＤＭＩシンク（Sink）２３に伝送される。
【００３７】
ＨＤＭＩシンク２３には、ＨＤＭＩレシーバ２４が設けられる。ＨＤＭＩレシーバ２４は、ＴＭＤＳクロックチャンネルで伝送されるピクセルクロックをリファレンスとして、ＴＭＤＳチャンネル０〜２のシリアルデータから元のビデオ，オーディオ／ＡＵＸ，コントロール／ステータスの各信号を復元する。
【００３８】
図５は、ＨＤＭＩにおける、ビデオフレーム中のオーディオ／ＡＵＸの伝送期間であるデータアイランド期間の例（アクティブビデオが７２０×４８０ピクセルの場合の例）を示す図である。各アクティブラインの１３８ピクセル分の水平ブランキング期間と、４５ライン分の垂直ブランキング期間とのそれぞれ所定のピクセル位置に、データアイランド期間とが分散して位置している。
【００３９】
図３の再生装置１，表示装置５がＨＤＭＩ規格に則って映像信号を入出力する（それぞれＨＤＭＩソース，ＨＤＭＩシンクである）場合には、エンコード部３，デコード部６をそれぞれＨＤＭＩ規格に基づく図４のＨＤＭＩトランスミッタ２２，ＨＤＭＩレシーバ２４の一部として構成して、エンコード部３が図５のデータアイランド期間にＡＵＸデータの一種として参照制御情報を重畳し、デコード部６がこのデータアイランド期間から参照制御情報を分離するようにすればよい。これにより、再生装置１及び表示装置５がＨＤＭＩ規格に則って映像信号を入出力する機器である場合にも、本発明を適用することができる。
【００４０】
図３に戻り、表示装置５では、デコード部６によって参照制御情報を分離された映像信号が、参照制御情報中の各ピクチャについての予測補償の形態の識別子及び表示順序の識別子とともに、実フレームのピクチャとして映像バッファ７に記録される。また、分離された参照制御情報中の動きベクトルが、動きベクトルバッファ８に記録される。また、分離された参照制御情報を用いて、デコード部６から、表示装置５内の各部を制御する制御信号が出力される。
【００４１】
補間ベクトル生成部９は、動きベクトルバッファ８に記憶された動きベクトルのうち、補間フレームの前後の実フレームのピクチャの予測に用いられた動きベクトルを用いて、補間ベクトルを生成する。すなわち、デコード部６で分離された動きベクトルの長さは実フレーム間の時間間隔に対応した長さであり、ハイフレームレート表示では実フレームに挟まれるようにして補間フレームを生成するため、動きベクトルを実フレームと補間フレームの時間間隔に比例した長さに変換するなどして補間ベクトルを生成する。
【００４２】
補間フレーム生成部１０は、補間フレームの前後の実フレームのピクチャを映像バッファ７から前述の識別子に基づいて読み出す。そして、補間ベクトル生成部９が生成した補間ベクトルを用いて、それらのピクチャに挟まれる補間フレームを予測によって生成する。
【００４３】
セレクタ１１は、変換後のフレームレートに合わせた表示タイミングで、映像バッファ７内のピクチャ（実フレーム）と、補間フレーム生成部１０が生成した補間フレームとのうちの一方ずつのフレームを選択して出力する。このようにしてセレクタ１１から出力されるハイフレームレート化された映像信号は、表示装置５内の図示しない表示駆動回路に供給されて、表示装置５に画面表示される。
【００４４】
映像バッファ７内のピクチャのうち、セレクタ１１に選択され、かつ補間フレームの生成にも不要となったピクチャは、デコード部６から新たに供給されるピクチャで上書きするなどして消去する。また、動きベクトルバッファ８内の動きベクトルのうち、補間ベクトルの生成に不要となった動きベクトルも、デコード部６から新たに供給される動きベクトルで上書きするなどして消去する。
【００４５】
図６，図７は、この再生装置１，表示装置５における処理をフローチャートとして示した図である。図６に示すように、再生装置１では、復号部２が、一定量の圧縮映像信号を復号し、復号した映像信号と得られた動きベクトルと、前述の予測補償の形態の識別子および表示順序の識別子を含む参照制御情報とをエンコード部３に供給する（ステップＳ１）。エンコード部３は、供給された映像信号を、参照制御情報をブランキング期間に重畳するようにエンコードし、内部の出力バッファなどで出力タイミングをはかって再生装置１から出力する（ステップＳ２）。その後、ステップＳ１に戻り、次の一定量の圧縮映像信号についての処理を繰り返す。
【００４６】
図７に示すように、表示装置５では、デコード部６が、表示装置５に入力した映像信号をデコードして、参照制御情報を分離した映像信号と、参照制御情報とを取り出す（ステップＳ１１）。そして、映像信号を、参照制御情報中の各ピクチャについての予測補償の形態の識別子及び表示順序の識別子を付加して、映像バッファ７に記録する（映像バッファ７内に不要になったピクチャがある場合には上書き消去する）（ステップＳ１２）。また、参照制御情報中の動きベクトルを、動きベクトルバッファ８に記録する（動きベクトルバッファ８内に不要になった動きベクトルがある場合には上書き消去する）（（ステップＳ１３）。
【００４７】
続いて、補間フレームを生成するために必要な量のピクチャが映像バッファ７に記録されたかを確認する（ステップＳ１４）。ノーであった場合には、ステップＳ１１に戻ってステップＳ１１〜Ｓ１４の処理を繰り返す。
【００４８】
このステップＳ１４は、次のような意味を持っている。補間フレームを生成する場合には、前後の実フレームのピクチャを用いるので、補間フレームの後に表示する実フレームのピクチャも必要である。例えば、図８に示すように、実フレームであるＩピクチャとＢ１ピクチャとの間に、Ｃ１という補間フレームを動きベクトルを用いて生成する場合には、ＩピクチャとＢ１ピクチャ、および例えばＩとＢ１との間の動きベクトル３１を半分にした補間ベクトルが必要となる。
【００４９】
また、Ｉピクチャが表示装置５に入力された後映像バッファ７から読み出されるまでには遅延時間Ｔ１が存在し、さらに、補間フレームＣ１を生成するための時間Ｔ２が必要になるので、補間フレームＣ１を表示できるのは、実フレームのＢ１ピクチャが入力された時間とＢ２ピクチャが入力された時間との間になる。
【００５０】
実フレームであるＢ１ピクチャとＢ２ピクチャとの間に、Ｃ２という補間フレームを生成する場合や、実フレームであるＢ２ピクチャとＰピクチャとの間に、Ｃ３という補間フレームを生成する場合も、同様である。
【００５１】
図８の例では直近の前後の実フレームを用いて補間フレームを生成したが、さらに時間的に離れた実フレームも用いる場合（例えば、図８の補間フレームＣ１を生成するために、Ｂ２ピクチャと、ＩとＢ２との間の動きベクトル３４を４分の１にした補間ベクトルも用いたり、Ｐピクチャと、ＩとＰとの間の動きベクトル３２を６分の１にした補間ベクトルも用いるような場合）には、さらに、補間フレームを表示できる時間が遅れることになる。
【００５２】
そこで、図７のステップＳ１４においては、補間フレームの生成に必要な量のピクチャが記録されたかを確認し、不十分な場合にはステップＳ１１〜Ｓ１４の処理を繰り返すようにしている。
【００５３】
このステップＳ１４においてイエスになると、補間ベクトル生成部９が、動きベクトルバッファ８に記録された動きベクトルのうち、補間フレームの前後の実フレームのピクチャの予測に用いられた動きベクトルを用いて補間ベクトルを生成する（ステップＳ１５）。
【００５４】
続いて、補間フレーム生成部１０が、補間フレームの前後の実フレームのピクチャを映像バッファ７から識別子に基づいて読み出し、補間ベクトル生成部９が生成した補間ベクトルを用いて、それらのピクチャに挟まれる補間フレームを予測によって生成する（ステップＳ１６）。
【００５５】
そして、セレクタ１１が、変換後のフレームレートに合わせた表示タイミングで、映像バッファ７内のピクチャと、補間フレーム生成部１０が生成した補間フレームとのうちの一方ずつのフレームを選択して出力する（ステップＳ１７）。その後ステップＳ１１に戻る。
【００５６】
以上に説明したように、図３のシステムによれば、復号部２を備えた再生装置１とフレームレート変換部１２を備えた表示装置５とが分離されているにもかかわらず、表示装置５で、フレームレート変換後の次のフレームを表示するまでの限られた時間内に動きベクトル検出を行なうための高い処理能力を持つ検出ユニットや、その検出処理のための電力消費を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができる。
【００５７】
また、再生装置１で補間フレームを生成しないので、再生装置１と表示装置５とを接続する映像ケーブル４として、ハイフレームレート映像に対応した高い伝送量のケーブルを用いる必要もなくなる。
【００５８】
また、表示装置５で復号を行わないので、動きベクトルを用いた各種の符号化方式に対応した再生装置（復号部２の代わりに、ＭＰＥＧ以外の動きベクトルを用いた符号化方式に対応した復号部を設け、その復号部から、映像信号及び参照制御情報をエンコード部３に供給するようにした再生装置）からの出力映像信号を表示装置に入力してハイフレームレート化することができる。
【００５９】
また、再生装置１で映像信号に重畳する参照制御情報に、各ピクチャについての予測補償の形態の識別子及び表示順序の識別子が含まれているので、表示装置５では、前述のように、補間フレーム生成部１０が、これらの識別子に基づいて、補間フレームの前後の実フレームのピクチャを誤りなく映像バッファ７から読み出して補間フレームを生成することができる。
【００６０】
最後に、以上に説明した事項に対する変更例を、以下に（１）〜（６）として挙げることにする。
【００６１】
（１）再生装置１のエンコード部３が、参照制御情報を圧縮して映像信号のブランキング期間に重畳し、表示装置５のデコード部６が、映像信号のブランキング期間から分離した参照制御情報を伸張するようにしてもよい。これにより、伝送する信号の限られたブランキング期間の帯域を効率的に利用することが可能となる。
【００６２】
（２）全ての動きベクトルを映像信号のブランキング期間に重畳するのではなく、例えばマクロブロックの差分が小さい動きベクトルのような有効な動きベクトルだけを映像信号のブランキング期間に重畳するようにしてもよい。これにより、複数の映像からの動きベクトルによって高効率で圧縮を行うＭＰＥＧ−４などの場合に、伝送する信号の限られたブランキング期間の帯域を効率的に利用することが可能となる。
【００６３】
（３）再生装置１から表示装置５に映像信号などを伝送するだけでなく、逆に表示装置５内の制御部（ＣＰＵ等）から再生装置１に制御信号を送り、再生の開始を指示したり、参照制御情報の伝送出力の可否を確認したり、その伝送入力の可否を指示したり、その伝送量を指示してもよい。例えば、ＨＤＭＩ規格に則った機器の場合には前述のようにＣＥＣプロトコルの双方向制御用の制御信号を伝送することができるので（図４）、このＣＥＣプロトコルによって再生装置１に制御信号を送ってもよい。これにより、本発明を適用した機器同士の間だけで参照制御情報を伝送したり、動的に伝送量を制御することが可能となる。
【００６４】
（４）再生装置１から表示装置５に映像信号が入力されているときに表示装置５でそれ以外の映像を表示している場合でも、デコード部６でその入力映像信号から参照制御情報を分離して、予測補償の形態の識別子及び表示順序の識別子を付加した映像信号を映像バッファ７に記録させるとともに、動きベクトルを動きベクトルバッファ８に記録させるようにするとよい。これにより、その後その入力映像信号をハイフレームレート化して表示する際に、図８にＴ１として示した遅延時間を待つ必要がなくなるので、迅速に映像を表示することができる。
【００６５】
（５）圧縮映像信号の復号の順序と復号したピクチャの表示順序とが同じであるような場合や、復号したピクチャの表示順序が表示装置５で一義的に分かっているような場合には、表示順序の識別子を参照制御情報に含めなくてもよい。また、各ピクチャの予測補償の形態（Ｉピクチャ，Ｐピクチャ，Ｂピクチャのうちのいずれであるかなど）が動きベクトルそのものから判明するような場合には、予測補償の形態の識別子を参照制御情報に含めなくてもよい。
【００６６】
（６）以上の例では本発明に係る受信装置を表示装置５に適用しているが、本発明に係る受信装置は、表示部を有しないフレームレート変換装置にも適用してよい。
【図面の簡単な説明】
【００６７】
【図１】従来のフレームレート変換装置の構成例を示すブロック図である。
【図２】再生装置と分離されている表示装置におけるフレームレート変換部の構成を示すブロック図である。
【図３】本発明の一実施形態に係るフレームレート変換システムの構成例を示すブロック図である。
【図４】ＨＤＭＩ規格に則った機器の概要を示す図である。
【図５】ＨＤＭＩにおけるビデオフレーム中のデータアイランド期間の例を示す図である。
【図６】図３の再生装置の処理を示すフローチャートである。
【図７】図３の表示装置の処理を示すフローチャートである。
【図８】補間フレームの生成に必要なピクチャを例示する図である。
【符号の説明】
【００６８】
１  再生装置、  ２  復号部、  ３  エンコード部、  ４  映像ケーブル、  ４ａ，４ｂ  コネクタ、  ５  表示装置、  ６  デコード部、  ７  映像バッファ、  ８  動きベクトルバッファ、  ９  補間ベクトル生成部、  １０  補間フレーム生成部、  １１  セレクタ、  １２  フレームレート変換部
【図１】
2007274679.tif 000003
【図２】
2007274679.tif 000004
【図３】
2007274679.tif 000005
【図４】
2007274679.tif 000006
【図５】
2007274679.tif 000007
【図６】
2007274679.tif 000008
【図７】
2007274679.tif 000009
【図８】
2007274679.tif 000010