(57)【要約】【課題】インタレース伝送映像信号の拡大や縮小を行う場合に作成される映像は、飛び越し走査されたラインから作成されるために、作成される映像の解像度が粗く、画質が汚くなるという課題があった。【解決手段】飛び越し走査したインタレース伝送映像信号を合成する場合に、垂直方向に補間されたプログレッシブ映像信号を作成する。作成したプログレッシブ映像信号を拡大して合成のためのインタレース伝送映像信号を作成する。このインタレース伝送映像信号を合成することにより、拡大する際のラインが密になるために、きれいな合成映像を得る事ができる。【選択図】図１
2009303205.tif 000002
【特許請求の範囲】
【請求項１】
第１の映像信号が入力され、前記第１の映像信号が毎秒２４フレームのプログレッシブ映像信号である場合には、３−２プルダウンをして毎秒６０フィールドのインタレース映像信号として出力する一方、前記第１の映像信号が毎秒６０フィールドのインタレース映像信号である場合には毎秒６０フィールドのインタレース映像信号のままで出力する第１の３−２プルダウン手段と、
第２の映像信号が入力され、前記第２の映像信号が毎秒２４フレームのプログレッシブ映像信号である場合には、３−２プルダウンをして毎秒６０フィールドのインタレース映像信号として出力する一方、前記第２の映像信号が毎秒６０フィールドのインタレース映像信号である場合には毎秒６０フィールドのインタレース映像信号のままで出力する第２の３−２プルダウン手段と、
前記第２の３−２プルダウン手段から出力された映像信号を、前記第１の映像信号と同じ映像画素の伝送速度に変換して出力する画素レート変換手段と、
前記第１の３−２プルダウン手段から出力された映像信号と、前記画素レート変換手段から出力された映像信号とを合成して出力する合成手段と、を備えた映像合成装置。
【請求項２】
前記画素レート変換手段は、
前記第２の３−２プルダウン手段から出力された毎秒６０フィールドのインタレース映像信号を補間する場合に
現フィールドと前または後のフィールドに基づき補間をし、毎秒６０フレームのプログレッシブ映像信号に変換する補間手段と、
前記補間手段から出力される映像信号を拡大または縮小し、
前記第１の映像信号と同じ毎秒６０フィールドのインタレース映像信号に映像画素の伝送速度を変換して出力する拡大縮小手段と、
を備える、請求項１に記載の映像合成装置。
【請求項３】
前記画素レート変換手段は、
前記第２の３−２プルダウン手段から出力された毎秒６０フィールドのインタレース映像信号を補間する場合に
現フィールドと現フレームと同一フレームであったフィールドに基づき補間をし、毎秒６０フレームのプログレッシブ映像信号に変換する映像同期補間手段と、
前記映像同期補間手段から出力される映像信号を拡大または縮小し、前記第１の映像信号と同じ毎秒６０フィールドのインタレース映像信号に映像画素の伝送速度を変換して出力する拡大縮小手段と、
を備える、請求項１に記載の映像合成装置。
【請求項４】
前記合成手段より出力される映像信号を逆３−２プルダウンする逆３−２プルダウン手段と、
前記合成手段より出力される映像信号と前記逆３−２プルダウン手段より出力される映像信号のいずれかを選択し出力する出力手段と、
を備えた、請求項１または２のいずれかに記載の映像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＢＤ−ＲＯＭなどの蓄積メディアからの映像データを、テレビジョンに映像を出力する、映像合成装置に関するものであり、２種類の映像データを合成する映像合成装置に関するものである。
【背景技術】
【０００２】
映像データを合成する映像信号処理に関する手法については従来から提案がなされている（例えば特許文献１参照）。同公報によれば、ＰｉｎＰプロセッサを用いて、２つの映像の合成を行っている。
【０００３】
図８を参照して従来例における映像合成装置を説明する。図８は、従来例における映像合成装置の合成動作を説明する為の概念図である。
【０００４】
図８において、映像Ａを拡大して、映像Ｂを作成する。そして、映像Ｂと映像Ｃと合成して、映像Ｄを作成して出力する。
【０００５】
図９は、従来例における垂直方向の映像ラインの合成動作を説明する為の概念図である。
【０００６】
図９において、インタレース映像である映像Ａを映像Ｃに合成する場合、
映像ＡのフィールドをＡ−１、Ａ−２に分離して、それぞれ補間ラインであるＢ−１、Ｂ−２を作成して、それぞれ、Ｃと同じフィールドに合成している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平６−２９２１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の映像装置における映像信号の変換では、映像の一方を拡大して合成する時に、インタレース映像を拡大することとなり、作成されるＢの映像の解像度が粗くなり、表示される映像の画質が粗くなるという課題を有していた。
【０００９】
本発明では、インタレース映像を拡大して合成する場合にも、画質が粗くなることを映像を防止することできる、映像合成装置および、その方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明における第１の映像合成装置では、第１の映像信号が入力され、第１の映像信号が毎秒２４フレームのプログレッシブ映像信号である場合には、３−２プルダウンをして毎秒６０フィールドのインタレース映像信号として出力する一方、第１の映像信号が毎秒６０フィールドのインタレース映像信号である場合には毎秒６０フィールドのインタレース映像信号のままで出力する第１の３−２プルダウン手段と、第２の映像信号が入力され、第２の映像信号が毎秒２４フレームのプログレッシブ映像信号である場合には、３−２プルダウンをして毎秒６０フィールドのインタレース映像信号として出力する一方、第２の映像信号が毎秒６０フィールドのインタレース映像信号である場合には毎秒６０フィールドのインタレース映像信号のままで出力する第２の３−２プルダウン手段と、第２の３−２プルダウン手段から出力された映像信号を、第１の映像信号と同じ映像画素の伝送速度に変換して出力する画素レート変換手段と、第１の３−２プルダウン手段から出力された映像信号と、画素レート変換手段から出力された映像信号とを合成して出力する合成手段と、を備える。
【００１１】
これにより、
飛び越し走査したインタレース映像を合成する場合に、垂直方向に補間された映像をもとに拡大して合成することにより、きれいな合成映像を得る事ができる。
【発明の効果】
【００１２】
本発明によれば、インタレース出力など解像度の低い映像を出力する場合にも、合成元の映像の組み合わせに合わせて、同じフレームで補間された映像をもとに拡大または合成することにより、きれいな合成映像を得る事ができる
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１における映像合成装置の構成を示すブロック図
【図２】本発明の第１の実施の形態における映像合成装置の動作を示す動作図
【図３】本発明の第１の実施の形態における映像合成装置の合成動作を示す説明図
【図４】本発明の第２の実施の形態の映像合成装置の構成図
【図５】本発明の第２の実施の形態の映像合成装置の動作図
【図６】本発明の第２の実施の形態の映像合成装置の動作図
【図７】本発明の第２の実施の形態の映像合成方法のフローチャート
【図８】従来例における映像合成装置の合成動作を説明する為の概念図
【図９】従来例における垂直方向の映像ラインの合成動作を説明する為の概念図
【発明を実施するための形態】
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１における映像合成装置の構成を示すブロック図である。図１において、映像合成装置は、プログレッシブ映像Ａｐをプログレッシブ映像Ｃｐに合成して出力する。
【００１５】
合成して作成される映像は、図８に示すように、ＰｉｎＰ（ピクチャインピクチャ）の構成となる。プログレッシブ映像Ｃｐをプラマリビデオと呼び、プログレッシブ映像Ａｐをセカンダリビデオと呼ぶ場合がある。また、本実施の形態のプログレッシブ映像Ｃｐの解像度は１０８０ｐとし、プログレッシブ映像Ａｐの解像度を４８０ｐとする。
【００１６】
図１を用いて、本発明の実施の形態１における映像合成装置の構成を説明する。３−２プルダウン手段１は、プライマリビデオのプログレッシブ映像Ｃｐが、毎秒２４フレームのプログレッシブ映像の場合に、毎秒６０フィールドのインタレース映像と同じように、飛び越し走査の映像（解像度：１０８０ｉ）に変換し、インタレース伝送映像Ｃｉとして出力する。一方、入力されるプライマリビデオが毎秒６０フィールドのインタレース映像信号である場合には毎秒６０フィールドのインタレース映像信号のままで、インタレース伝送映像Ｃｉ（解像度：１０８０ｉ）として出力する。
【００１７】
３−２プルダウン手段２は、入力されたセカンダリビデオのプログレッシブ映像Ａｐが、毎秒２４フレームのプログレッシブ映像の場合に、毎秒６０フィールドのインタレース映像と同じように、飛び越し走査の映像であるインタレース伝送映像Ａｉ（解像度：４８０ｉ）として出力する。一方、入力されるセカンダリビデオが毎秒６０フィールドのインタレース映像信号である場合には毎秒６０フィールドのインタレース映像信号のままで、インタレース伝送映像Aｉ（解像度：１０８０ｉ）として出力する。本明細書においては、インタレース映像と同じような飛び越し走査の映像に変換した映像を、インタレース伝送映像と呼ぶ。
【００１８】
補間手段３には、３−２プルダウン手段２から出力されたインタレース伝送映像Ａｉが入力される。補間手段３は、インタレース伝送映像Ａｉについて前のフィールドからフレームに相当する画素（補間画素）を計算する。補間手段３は、計算した補間画素に基づき、インタレース伝送映像Ａｉをプログレッシブ映像（解像度：４８０ｐ）に変換し、プログレッシブ映像Ａｐｐ１として出力する。
【００１９】
拡大縮小手段４は、入力されるプログレッシブ映像の解像度を拡大または縮小し、さらにインタレース伝送映像に変換する。拡大縮小手段４は、変換する解像度をプログレッシブ映像Ｃｐの解像度と一致させる。そのため、拡大縮小手段４はプログレッシブ映像Ｃｐの解像度を検知し、その解像度の映像位置に拡大縮小する。本実施の形態においては、プログレッシブ映像Ａｐｐ１（解像度：４８０ｐ）をインタレース伝送映像Ａｉｉ１（解像度：１０８０ｉ）に変換し、出力する。
【００２０】
合成手段５は、３−２プルダウン手段１の出力であるインタレース伝送映像Ｃｉと拡大縮小手段４の出力であるインタレース伝送映像Ａｉｉ１を合成し、インタレース伝送映像Ｄｉ１（解像度：１０８０ｉ）を出力する。
【００２１】
逆３−２プルダウン手段６は、インタレース伝送映像Ｄｉ１を逆３−２プルダウンし、合成プログレッシブ映像Ｄｐ１（解像度：１０８０ｐ）を出力する。ここで、逆３−２プルダウンとは、毎秒６０フィールドのインタレース伝送映像を毎秒２４フレームのプログレッシブ映像に変換することである。
【００２２】
選択手段７は、合成手段５の出力であるインタレース伝送映像Ｄｉ１、もしくは、逆３−２プルダウン手段６の出力であるプログレッシブ映像Ｄｐ１のいずれか選択し、出力する。
【００２３】
このように構成された映像合成装置の動作について、図２を用いて説明する。
【００２４】
図２は、本発明の実施の形態１にかかる映像合成装置の動作を示す動作図である。Ｔは偶数フィールドを表し、Ｂは奇数フィールドを表す。また。時刻ｔは毎秒６０フィールドの場合の各フィールドの時刻を簡易的に示したものである。実時間で表現すると、例えば、ｔ＝１は１／６０［ｓｅｃ］となり、ｔ＝２は２／６０［ｓｅｃ］となる。
【００２５】
図２に記載のように、映像合成装置はプログレッシブ映像Ａｐとプログレッシブ映像Ｃｐを合成して、インタレース伝送映像Ｄｉ１を作り出し、出力している。
【００２６】
プログレッシブ映像Ａｐは、毎秒２４フレームのプログレッシブ映像である。プログレッシブ映像Ａｐは、３−２プルダウン手段２にて毎秒６０フィールドのインタレース伝送映像Ａｉに変換される。また、プログレッシブ映像Ｃｐは、毎秒２４フレームのプログレッシブ映像である。３−２プルダウン手段１において、毎秒６０フィールドのインタレース伝送映像Ｃｉに変換される。
【００２７】
次に、インタレース伝送映像Ａｉからインタレース伝送映像Ａｉｉ１を作成する動作を説明する。補間手段３はインタレース伝送映像Ａｉの前のフィールドに基づき映像を補間計算する。図２を用いてさらに詳細に説明する。
【００２８】
時刻ｔ＝１におけるインタレース伝送映像Ａｉｉ１（Ａ１）を作成する場合について説明する。補間手段３は、一つ前のフィールドである時刻ｔ＝０におけるインタレース伝送映像Ａｉを用いて補間する。時刻ｔ＝１におけるインタレース伝送映像Ａｉは、偶数フィールド（Ｔ）であり、時刻ｔ＝０におけるインタレース伝送映像Ａｉは、奇数フィールド（Ｂ）である。補間手段３は、時刻ｔ＝１におけるインタレース伝送映像Ａｉを時刻ｔ＝０におけるインタレース伝送映像Ａｉで補間しプログレッシブ映像Ａｐｐ１を出力する。
【００２９】
拡大縮小手段４は、プログレッシブ映像Ａｐｐ１をインタレース伝送映像Ａｉｉ１に変換し、出力する。
【００３０】
図３は、本発明の実施の形態１における映像合成装置の補間及び合成動作を示す説明図である。（ａ）奇数フィールドはインタレース伝送映像Ａｉが奇数フィールドの場合を示す。また、（ｂ）偶数フィールドはインタレース伝送映像Ａｉが偶数フィールドの場合を示す。図３に記載の丸印はそれぞれ、映像の垂直ラインを示す。インタレース伝送映像Ａｉの破線ラインの丸印は、前フィールドの垂直ラインを示す。
【００３１】
（ａ）奇数フィールドの場合において、インタレース伝送映像Ａｉからプログレッシブ映像Ａｐｐ１を作成する場合には、前フィールドの偶数フィールドの垂直ラインが補間される。作成されたプログレッシブ映像Ａｐｐ１に基づき、インタレース伝送映像Ａｉｉ１が作成される。（ｂ）偶数フィールドの場合においても同様に、インタレース伝送映像Ａｉからプログレッシブ映像Ａｐｐ１を作成する場合には、前フィールドの偶数フィールドの垂直ラインが補間される。作成されたプログレッシブ映像Ａｐｐ１に基づき、インタレース伝送映像Ａｉｉ１が作成される。本実施の形態においては、解像度が４８０ｐのプログレッシブ映像Ａｐｐ１から、解像度が１０８０ｉのインタレース伝送映像Ａｉが作成される。
【００３２】
このように、直前のフィールドから補間ラインを作成して、一旦、フレームに相当するプログレッシブ映像を作成する。その後、作成したプログレッシブ映像を用いて、解像度を拡大もしくは縮小する。この場合、解像度を拡大する場合には垂直ラインがより細かくなっているため、画質の良い映像を出力することができる。
【００３３】
このように合成された映像は、映像合成装置からプログレッシブ出力をする場合には、選択手段７で逆３：２プルダウン手段６の出力を選択することにより、逆３：２プルダウンされたプログレッシブ映像Ｄｐ１を出力することも可能である。
【００３４】
また、インタレース伝送映像Ｄｉ１を出力する場合には、選択手段７で合成手段５の出力を選択することにより、インタレース伝送映像Ｄｉ１を出力することも可能である。
【００３５】
このように、プライマリビデオの入力映像とセカンダリビデオの入力映像を３−２プルダウンした後、合成し、合成されたインタレース伝送映像もしくはさらに逆３−２プルダウンでプログレッシブ映像化したプログレッシブ映像とを選択して出力する。選択手段７により、インタレース伝送映像を出力するか、プログレッシブ映像を出力するかを容易に選択できるので、テレビジョンとの接続をインタレースで接続する場合にも、簡単な処理で映像を伝送することができる。
【００３６】
上記のように、本発明の実施の形態１にかかる映像合成装置は、インタレース伝送映像の解像度を拡大もしくは縮小し、他のインタレース伝送映像信号に合成する場合に、合成する側のインタレース伝送映像を一旦補間してプログレッシブ映像に変換する。そして、プログレッシブ映像を基に解像度を拡大もしくは縮小したインタレース伝送映像を作成し合成する。解像度を拡大する時には垂直ラインがより細かくなっているため、画質の良い映像を出力することができる。
【００３７】
また、本実施の形態の映像合成装置によれば、入力されるプライマリビデオ及びセカンダリビデオが、毎秒２４フレームのプログレッシブ映像信号であっても、毎秒６０フィールドのインタレース映像信号であっても、同一の回路で映像の合成をすることができる。したがって、毎秒２４フレームのプログレッシブ映像信号及び毎秒６０フィールドのインタレース映像信号のそれぞれに対し合成回路を備える必要が無いので、回路を小型化することができる。
【００３８】
なお、本実施の形態では、プログレッシブ映像Ｃｐの解像度は１０８０ｐとし、プログレッシブ映像Ａｐの解像度を４８０ｐとしたが、これらはあくまで例であり、他の解像度であってもよい。
【００３９】
なお、３−２プルダウン手段１及び３−２プルダウン手段２は、入力される映像が毎秒２４フレームのプログレッシブ映像でない場合は、入力された映像をそのまま出力するとしても良い。
【００４０】
なお、本実施の形態では補間対象フィールドの１フィールド前のフィールドを用いるとしたがこれに限るものではない。例えば、補間対象フィールドの１フィールド後のフィールドを用いても良い。
【００４１】
なお、本実施の形態では、拡大縮小手段４にプログレッシブ映像Ｃｐが入力されるとしたが、別途の解像度検知手段でプログレッシブ映像Ｃｐの解像度を検知し、解像度情報のみを拡大縮小手段４に入力しても良い。
【００４２】
なお、本実施の形態では、補間手段３はプログレッシブ映像Ａｐｐ１を出力するとしたが、インタレース伝送映像Ａｉと計算した補間画素に関するデータである補間画素データとを出力してもよい。この場合、拡大縮小手段４はインタレース伝送映像Ａｉと補間画素データに基づき、インタレース伝送映像Ａｉｉ１が作成される。また、この場合、拡大縮小手段４に入力されるインタレース伝送映像Ａｉは、補間手段３より入力されるのではなく、３−２プルダウン手段２から入力されるとしてもよい。この場合、補間手段３からは、インタレース伝送映像Ａｉを出力しなくても良い。
【００４３】
なお、３−２プルダウンされたインタレース伝送映像は図２に示すように、同じフレームから作成されたフィールドが３フィールド、２フィールド、３フィールド…、との繰り返しとなっている（この繰り返しをフィールド周期と称する。）。したがって、拡大縮小手段４におけるインタレース伝送映像Ａｉｉ１を発生させるタイミングを制御する、もしくは、合成手段５による合成のタイミングを制御することにより、インタレース伝送映像Ｃｉとインタレース伝送映像Ａｉｉ１とのフィールドの繰り返しの周期を一致させることも可能である。この場合、さらに画質が向上する。
【００４４】
なお、逆３−２プルダウンは、プライマリビデオを元のフレームの組み合わせに組みなおすものである。また、本発明の逆３−２プルダウンは、セカンダリビデオ合成した後に、セカンダリビデオとは無関係に、プライマリビデオの元フレームの組み合わせに組み直すものである。
（実施の形態２）
次に第２の実施の形態における映像合成装置に関して、図４を用いて説明する。なお、実施の形態１と同様の構成については、同一の符号を付与し、説明を省略する。
【００４５】
図４において、映像合成装置は、プライマリビデオのプログレッシブ映像Ｃｐにセカンダリビデオのプログレッシブ映像Ａｐを合成して出力するブロック図である。
【００４６】
図４を用いて、本発明の実施の形態２における映像合成装置の構成を説明する。
【００４７】
３−２プルダウン手段１及び３−２プルダウン手段２については、実施の形態１と同様であるので説明を省略する。
【００４８】
映像同期補間手段８は、インタレース伝送映像Ａｉの映像同期を検出する。映像同期補間手段８は、インタレース伝送映像Ａｉについて、検出した映像同期に基づき、前フィールドもしくは後フィールドを選択し、フレームに相当する画素（補間画素）を計算する。映像同期補間手段８は、計算した補間画素に基づき、インタレース伝送映像Ａｉをプログレッシブ映像（解像度：４８０ｐ）に変換し、プログレッシブ映像Ａｐｐ２として出力する。検出した映像同期に基づき、前フィールドもしくは後フィールドを選択し、フレームに相当する画素（補間画素）を計算する動作の詳細は後述する。
【００４９】
拡大縮小手段４は、入力されるプログレッシブ映像の解像度を拡大または縮小し、さらにインタレース伝送映像に変換する。拡大縮小手段４は、変換する解像をプログレッシブ映像Ｃｐの解像度と一致させる。そのため、拡大縮小手段４はプログレッシブ映像Ｃｐの解像度を検知し、その解像度の映像位置に拡大縮小する。本実施の形態においては、プログレッシブ映像Ａｐｐ２（解像度：４８０ｐ）をインタレース伝送映像Ａｉｉ２（解像度：１０８０ｉ）に変換し、出力する。
【００５０】
合成手段５は、３−２プルダウン手段１の出力であるインタレース伝送映像Ｃｉと拡大縮小手段４の出力であるインタレース伝送映像Ａｉｉ２を合成し、インタレース伝送映像Ｄｉ２（解像度：１０８０ｉ）を出力する。
【００５１】
逆３−２プルダウン手段６は、インタレース伝送映像Ｄｉ２を逆３−２プルダウンし、合成プログレッシブ映像Ｄｐ２（解像度：１０８０ｐ）を出力する。ここで、逆３−２プルダウンとは、毎秒６０フィールドのインタレース伝送映像を毎秒２４フレームのプログレッシブ映像に変換することである。
【００５２】
選択手段７は、合成手段５の出力であるインタレース伝送映像Ｄｉ２、もしくは、逆３−２プルダウン手段６の出力であるプログレッシブ映像Ｄｐ２のいずれか選択し、出力する。
【００５３】
このように構成された、映像合成装置の動作について、図５を用いて説明する。
【００５４】
図５は、本発明の実施の形態２にかかる映像合成装置の動作を示す、動作図である。
【００５５】
図５において、Ｔは偶数フィールドを表し、Ｂは奇数フィールドを表す。また。時刻ｔは毎秒６０フィールドの場合の各フィールドの時刻を簡易的に示したものである。実時間で表現すると、例えば、ｔ＝１は１／６０［ｓｅｃ］となり、ｔ＝２は２／６０［ｓｅｃ］となる。
【００５６】
図５に記載のように、映像合成装置はプログレッシブ映像Ａｐとプログレッシブ映像Ｃｐを合成して、出力している。
【００５７】
プログレッシブ映像Ａｐは、毎秒２４フレームのプログレッシブ映像である。プログレッシブ映像Ａｐは、３−２プルダウン手段２にて毎秒６０フィールドのインタレース伝送映像Ａｉに変換される。また、プログレッシブ映像Ｃｐは、毎秒２４フレームのプログレッシブ映像である。３−２プルダウン手段１において、毎秒６０フィールドのインタレース伝送映像Ｃｉに変換される。
【００５８】
次に、インタレース伝送映像Ａｉからインタレース伝送映像Ａｉｉ２を作成する動作を説明する。３−２プルダウンされたインタレース伝送映像は図２に示すように、同じフレームから作成されたフィールドが３フィールド、２フィールド、３フィールド…、との繰り返しとなっている。映像同期補間手段８は、上記３フィールド、２フィールド、３フィールド…の繰り返し周期を検知する。検知の具体的な手法の一例として以下のものがある。例えば、５フィールドごとに１組の同一フレームが存在することを利用し、フィールドごとの差分をとり、同一フィールドがある場合、３フィールドの組の１フィールド目と３フィールド目と特定することができる。この情報から３フィールドの組の１フィールド目、２フィールド目及び３フィールド目と２フィールドの組の１フィールド目及び２フィールド目を特定することができる。上記、映像同期補間手段８で算出する方法はあくまで一例であり、その他の方法で検出しても良い。
【００５９】
なお、インタレース伝送映像Ａｉについて、プログレッシブ映像Ａｐと同一のフレームであったか否かの情報は、３−２プルダウン手段２から映像同期補間手段８へ入力しても良い。
【００６０】
次に、映像同期補間手段８が補間画素を計算する際に、検知した繰り返し周期を基づきフィールドを選択するフィールド選択方法について、さらに図５を用いて説明する。
【００６１】
時刻ｔ＝１における拡大縮小インタレース伝送映像Ａｉｉ２を作成する場合の、フィールドの選択について説明する。時刻ｔ＝０におけるインタレース伝送映像Ａｉ（Ａ０）と時刻ｔ＝１におけるインタレース伝送映像Ａｉ（Ａ１）は、プログレッシブ映像Ａｐにおけるフレームが異なる。一方、時刻ｔ＝１におけるインタレース伝送映像Ａｉ（Ａ１）と時刻ｔ＝２におけるインタレース伝送映像Ａｉ（Ａ２）は、プログレッシブ映像Ａｐにおけるフレームが同一である。よって、時刻ｔ＝１における拡大縮小インタレース伝送映像Ａｉｉ２を作成する場合には、時刻ｔ＝２におけるインタレース伝送映像Ａｉ（Ａ２）を選択し、補間画素を計算する。
【００６２】
時刻ｔ＝２における拡大縮小インタレース伝送映像Ａｉｉ２を作成する場合の、フィールドの選択について説明する。時刻ｔ＝１におけるインタレース伝送映像Ａｉ（Ａ１）と時刻ｔ＝２におけるインタレース伝送映像Ａｉ（Ａ２）は、プログレッシブ映像Ａｐにおけるフレームは同一である。また、一方、時刻ｔ＝２におけるインタレース伝送映像Ａｉ（Ａ２）と時刻ｔ＝３におけるインタレース伝送映像Ａｉ（Ａ３）は、プログレッシブ映像Ａｐにおけるフレームが同一である。よって、時刻ｔ＝２における拡大縮小インタレース伝送映像Ａｉｉ２を作成する場合には、時刻ｔ＝１におけるインタレース伝送映像Ａｉ（Ａ１）と時刻ｔ＝３におけるインタレース伝送映像Ａｉ（Ａ３）のいずれを選択しても良い。時刻ｔ＝１におけるインタレース伝送映像Ａｉ（Ａ１）もしくは時刻ｔ＝３におけるインタレース伝送映像Ａｉ（Ａ３）を選択し、補間画素を計算する。
【００６３】
時刻ｔ＝３における拡大縮小インタレース伝送映像Ａｉｉ２を作成する場合の、フィールドの選択について説明する。時刻ｔ＝２におけるインタレース伝送映像Ａｉ（Ａ２）と時刻ｔ＝３におけるインタレース伝送映像Ａｉ（Ａ３）は、プログレッシブ映像Ａｐにおけるフレームが同一である。一方、時刻ｔ＝４におけるインタレース伝送映像Ａｉ（Ａ４）と時刻ｔ＝３におけるインタレース伝送映像Ａｉ（Ａ３）は、プログレッシブ映像Ａｐにおけるフレームが異なる。よって、時刻ｔ＝３における拡大縮小インタレース伝送映像Ａｉｉ２を作成する場合には、時刻ｔ＝２におけるインタレース伝送映像Ａｉ（Ａ２）を選択し、補間画素を計算する。
【００６４】
時刻ｔ＝４における拡大縮小インタレース伝送映像Ａｉｉ２を作成する場合の、フィールドの選択について説明する。時刻ｔ＝３におけるインタレース伝送映像Ａｉ（Ａ３）と時刻ｔ＝４におけるインタレース伝送映像Ａｉ（Ａ４）は、プログレッシブ映像Ａｐにおけるフレームが異なる。一方、時刻ｔ＝５におけるインタレース伝送映像Ａｉ（Ａ５）と時刻ｔ＝４におけるインタレース伝送映像Ａｉ（Ａ４）は、プログレッシブ映像Ａｐにおけるフレームが同一である。よって、時刻ｔ＝４における拡大縮小インタレース伝送映像Ａｉｉ２を作成する場合には、時刻ｔ＝５におけるインタレース伝送映像Ａｉ（Ａ５）を選択し、補間画素を計算する。
【００６５】
時刻ｔ＝５における拡大縮小インタレース伝送映像Ａｉｉ２を作成する場合の、フィールドの選択について説明する。時刻ｔ＝４におけるインタレース伝送映像Ａｉ（Ａ４）と時刻ｔ＝５におけるインタレース伝送映像Ａｉ（Ａ５）は、プログレッシブ映像Ａｐにおけるフレームが同一である。一方、時刻ｔ＝６におけるインタレース伝送映像Ａｉ（Ａ６）と時刻ｔ＝５におけるインタレース伝送映像Ａｉ（Ａ５）は、プログレッシブ映像Ａｐにおけるフレームが異なる。よって、時刻ｔ＝５における拡大縮小インタレース伝送映像Ａｉｉ２を作成する場合には、時刻ｔ＝６におけるインタレース伝送映像Ａｉ（Ａ６）を選択し、補間画素を計算する。
【００６６】
拡大縮小手段４は、プログレッシブ映像Ａｐｐ２をインタレース伝送映像Ａｉｉ２に変換し、出力する。
【００６７】
図６は、本発明の実施の形態１における映像合成装置の補間及び合成動作を示す説明図である。（ａ）奇数フィールドはインタレース伝送映像Ａｉが奇数フィールドの場合を示す。また、（ｂ）偶数フィールドはインタレース伝送映像Ａｉが偶数フィールドの場合を示す。
【００６８】
（ａ）奇数フィールドの場合において、インタレース伝送映像Ａｉからプログレッシブ映像Ａｐｐ２を作成する場合には、前フィールドの偶数フィールドの垂直ラインが補間される。作成されたプログレッシブ映像Ａｐｐ２に基づき、インタレース伝送映像Ａｉｉ２が作成される。（ｂ）偶数フィールドの場合においても同様に、インタレース伝送映像Ａｉからプログレッシブ映像Ａｐｐ２を作成する場合には、前フィールドの偶数フィールドの垂直ラインが補間される。作成されたプログレッシブ映像Ａｐｐ２に基づき、インタレース伝送映像Ａｉｉ１が作成される。本実施の形態においては、解像度が４８０ｐのプログレッシブ映像Ａｐｐ１から、解像度が１０８０ｉのインタレース伝送映像Ａｉが作成される。
【００６９】
上記の場合、インタレース伝送映像Ａｉからプログレッシブ映像Ａｐｐ２を作成する際には、プログレッシブ映像Ａｐおいて同一フレームであったフィールドを基にプログレッシブ映像Ａｐｐ２が作成される。したがって、プログレッシブ映像Ａｐとプログレッシブ映像Ａｐｐ２は一致する。
【００７０】
上記より、プログレッシブ映像Ａｐｐ２を用いて、解像度を拡大もしくは縮小するので、解像度を拡大する場合には垂直ラインがより細かくなっており、画質の良い映像を出力することができる。また、プログレッシブ映像Ａｐとプログレッシブ映像Ａｐｐ２は一致するので、インタレース伝送映像Ａｉｉ２がプログレッシブ映像Ａｐにより近い画像となる。したがって、プログレッシブ映像Ｄｐ２及びインタレース伝送映像Ｄｉ２はプログレッシブ映像Ａｐをより忠実に再現することができる。
【００７１】
また、同一フレームのフィールドを用いて拡大縮小するために、時間的に戻ることがなく再現できるため、時間的にも、滑らかな映像とすることができることとなる。
【００７２】
このように、同一のフレームにおけるフィールドから合成映像を生成するので、逆３−２プルダウンした後のプログレッシブ映像でも、プライマリビデオもセカンダリビデオも、同一の映像から生成しているので、時間的にも滑らかな映像とすることができ、プログレッシブ化しない映像出力時にも、補間の入らない、元映像のみで作成された映像となるので、よりきれいな合成映像を出力することができることとなる。
【００７３】
また、本実施の形態における映像合成装置では、入力される映像信号を、一旦、毎秒６０フィールドに変換する。したがって、もともと６０Ｈｚで撮像された素材であっても、映画のように２４Ｈｚで撮像された素材であっても同じハードウェアの構成で合成することができる。さらに、プログレッシブ出力にもインタレース出力にも簡単に対応できるために、出力を受ける側のハードウェアの構成を簡単にすることができる。このような動作について、フローチャートを用いて説明する。
【００７４】
図７は、映像合成の動作を示すフローチャートである。
【００７５】
図７において、３−２プルダウン手段１は、入力される映像が毎秒２４フレームのプログレッシブ映像であるか否かを判断する（Ｓ１）。毎秒２４フレームのプログレッシブ映像である場合は、３−２プルダウン処理し、合成手段５へ出力する（Ｓ２）。同様に、３−２プルダウン手段２は、入力される映像が毎秒２４フレームのプログレッシブ映像である場合は、３−２プルダウン処理し、映像合成補間手段８へ出力する（Ｓ３）。
【００７６】
３−２プルダウン手段１は、入力される映像が毎秒６０フィールドのインタレース伝送映像の場合は、入力された映像をそのまま合成手段５へ出力する。同様に３−２プルダウン手段２は、入力される映像が毎秒６０フィールドのインタレース伝送映像の場合は、入力された映像をそのまま出力する。
【００７７】
映像同期補間手段８は、入力される映像が毎秒２４フレームのプログレッシブ映像を３−２プルダウンした毎秒６０フィールドのインタレースである場合は、元のフレームが同一であるフィールドを元に補間画素を計算する（Ｓ４）。なお、３−２プルダウン手段１および３−２プルダウン手段２に入力される映像が既に３−２プルダウンされた毎秒６０フィールドの映像であったとしても、映像同期補間手段８では同様に元のフレームが同一であるフィールドを元に補間画素を計算することができる。
【００７８】
映像同期補間手段８は、３−２プルダウン手段１および３−２プルダウン手段２に入力される映像がもともと６０Ｈｚで撮像された素材である毎秒６０フィールドのインタレース伝送映像である場合には、前または後ろのフィールドを参照し、補間画素を計算する（Ｓ５）。
【００７９】
その後、拡大縮小手段５は入力された映像の拡大または縮小する。また、合成手段５は、拡大縮小手段５の出力及び３−２プルダウン手段１の出力を合成する（Ｓ６）。
【００８０】
ユーザーは、プログレッシブ映像とインタレース伝送映像のいずれを出力するかを選択する（Ｓ７）。プログレッシブ映像を選択した場合は、逆３−２プルダウン手段６で逆３−２プルダウン処理し（Ｓ８）、プログレッシブ映像を出力する。インタレース伝送映像を選択した場合は、インタレース伝送映像をそのまま出力する（Ｓ９）。
【００８１】
このように、もともと６０Ｈｚで撮像された素材であっても、映画のように２４Ｈｚで撮像された素材であっても同じハードウェアの構成で合成することができる。
【００８２】
本実施の形態によると、３−２プルダウンされた映像を補間する場合に、もともと同一フレームであったフィールドを用いて補間画素を作成し、プログレッシブ映像を作成する。映像を合成時に拡大縮小する場合、このプログレッシブ映像を用いることで画質のきれいな合成映像を出力することができる。
【００８３】
なお、本実施の形態では、合成フィールド作成を行う映像ラインを同一フレームを用いて行うとしたが、その判定は、動き信号から検出してもよく、３−２プルダウンする前の情報を記録しておくのでもよい。
【００８４】
なお、本実施の形態では、拡大縮小手段４にプログレッシブ映像Ｃｐが入力されるとしたが、別途の解像度検知手段でプログレッシブ映像Ｃｐの解像度を検知し、解像度情報のみを拡大縮小手段４に入力しても良い。
【００８５】
なお、本実施の形態では、映像同期補間手段８へはプログレッシブ映像Ａｐｐ２を出力するとしたが、インタレース伝送映像Ａｉと計算した補間画素に関するデータである補間画素データとを出力してもよい。この場合、拡大縮小手段４はインタレース伝送映像Ａｉと補間画素データに基づき、インタレース伝送映像Ａｉｉ２が作成される。また、この場合、拡大縮小手段４に入力されるインタレース伝送映像Ａｉは、映像同期補間手段８より入力されるのではなく、３−２プルダウン手段２から入力されるとしてもよい。この場合、映像同期補間手段８からは、インタレース伝送映像Ａｉを出力しなくても良い。
【００８６】
なお、３−２プルダウンされたインタレース伝送映像は図２に示すように、同じフレームから作成されたフィールドが３フィールド、２フィールド、３フィールド…、との繰り返しとなっている。したがって、拡大縮小手段４におけるインタレース伝送映像Ａｉｉ２を発生させるタイミングを制御する、もしくは、合成手段５による合成のタイミングを制御することにより、インタレース伝送映像Ｃｉとインタレース伝送映像Ａｉｉ２とのフィールドの繰り返しの周期を一致させることも可能である。この場合、さらに画質が向上する。
【００８７】
なお、逆３−２プルダウンは、プライマリビデオを元のフレームの組み合わせに組みなおすものである。また、本発明の逆３−２プルダウンは、セカンダリビデオ合成した後に、セカンダリビデオとは無関係に、プライマリビデオの元フレームの組み合わせに組み直すものである。
【産業上の利用可能性】
【００８８】
以上のように、本発明にかかる映像信号処理装置は、ＢＤ−ＲＯＭのように、ＰｉｎＰ映像を作成する時に、プライマリビデオが３−２プルダウンされたインタレース伝送でもきれいな合成映像がえられることとなるので、ＢＤ−ＲＯＭの再生プレーヤーや、映像表示装置に適用できる。
【符号の説明】
【００８９】
１    ３−２プルダウン手段
２    ３−２プルダウン手段
３    補間手段
４    拡大縮小手段
５    合成手段
６    逆３−２プルダウン手段
７    出力選択手段
８    映像同期補間手段
【図１】
2009303205.tif 000003
【図２】
2009303205.tif 000004
【図３】
2009303205.tif 000005
【図４】
2009303205.tif 000006
【図５】
2009303205.tif 000007
【図６】
2009303205.tif 000008
【図７】
2009303205.tif 000009
【図８】
2009303205.tif 000010
【図９】
2009303205.tif 000011