(57)【要約】  フレームメモリ等の回路の増加を抑制ししつつ、入力映像が同一コマから生成したフレームが連続する映像信号から、その他の映像へと遷移が発生した場合においても、映像の欠落等なく出力映像を生成するために必要な画像を保持する。入力映像を１フレーム期間遅延させた画像を常にフレームメモリに保持しながら、入力映像が同一コマから生成したフレームが連続する映像信号であるかを示す入力映像種別情報と、入力映像を任意のフレーム期間遅延させた画像とさらに１フレーム期間遅延させた画像が同一コマから生成された画像か判定する同一コマ判定情報に基づいて、同一コマから生成された画像を重複して保持しないようにフレームメモリへの書き込み・読み出し制御を行う。
2014013657.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号を画像単位で複数のフレームメモリのいずれかに選択的に書き込み、前記複数のフレームメモリのいずれかから選択的に映像信号を読み出して出力映像信号を生成する映像信号処理装置であって、
前記入力映像信号を任意のフレーム期間遅延させる第１の遅延手段と、前記第１の遅延手段の出力画像を１フレーム期間遅延させる第２の遅延手段と、前記第１および第２の遅延手段の出力画像が同一コマから生成された画像であるかを判定する同一コマ判定手段と、前記入力映像信号が同一コマから生成された画像が連続する映像信号であるかを示す入力映像種別情報と前記同一コマ判定手段の出力を用いて前記複数のフレームメモリへの書き込みを行う書き込み制御手段と読み出しを行う読み出し制御手段を有しており、
前記入力映像信号が同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延手段の出力画像が同一コマから生成された画像であるとき、前記入力映像信号に対する遅延が前記第２の遅延手段の出力画像と同一の画像を保持しているフレームメモリに前記入力映像信号を書き込む第１の書き込み制御と、前記第１の書き込み制御時以外のとき、前記入力映像信号の画像に対して１フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込む第２の書き込み制御と、
前記入力映像信号が同一コマから生成された画像が連続する映像であるとき、前記入力映像信号の画像と同一の画像または前記入力映像信号の画像に対して所定フレーム数過去の画像を保持するいずれか一つのフレームメモリから画像を読み出し、さらに前記読み出した画像を生成したコマと異なるコマから生成した画像を保持するフレームメモリから画像を読み出す第１の読み出し制御と、前記第１の読み出し制御時以外は、前記第１の遅延手段の出力画像を保持するフレームメモリから画像を読み出し、さらに前記入力映像信号に対する遅延が前記第２の遅延手段の出力画像と同一の画像を保持するフレームメモリから画像を読み出す第２の読み出し制御とを備えている
ことを特徴とする映像信号処理装置。
【請求項２】
請求項１に記載の映像信号処理装置において、
前記入力映像種別情報が、前記入力映像信号、前記第１の遅延手段の出力、および前記第２の遅延手段の出力を用いて生成された情報である
ことを特徴とする映像信号処理装置。
【請求項３】
請求項１に記載の映像信号処理装置において、
前記入力映像信号が、第１の視差データの画像と第２の視差データの画像とが交互に繰り返される３次元映像信号であり、
前記入力映像種別情報が、前記入力映像信号に含まれる前記第１の視差データの画像と前記第２の視差データの画像のそれぞれが同一コマから生成された画像が連続する映像であるかを示しており、
前記第２の遅延手段が、前記第１の遅延手段の出力画像を２フレーム期間遅延させるものであり、
前記第１の書き込み制御が、前記入力映像信号に含まれる前記第１の視差データの画像と前記第２の視差データの画像のそれぞれが同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延手段の出力画像が同一コマから生成された画像であるとき、前記第２のフレーム遅延手段の出力信号の画像を保持しているフレームメモリに前記入力映像信号を書き込むものであり、
前記第２の書き込み制御が、前記入力映像信号の画像に対して１フレーム期間過去の画像と２フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込む
ことを特徴とする映像信号処理装置。
【請求項４】
請求項３に記載の映像信号処理装置において、
前記入力映像種別情報が、前記入力映像信号、前記第１の遅延手段の出力、および前記第２の遅延手段の出力を用いて生成された情報である
ことを特徴とする映像信号処理装置。
【請求項５】
入力映像信号を画像単位で複数のフレームメモリのいずれかに選択的に書き込み、前記複数のフレームメモリのいずれかから選択的に映像信号を読み出して出力映像信号を生成する映像信号処理方法であって、
前記入力映像信号を任意のフレーム期間遅延させる第１の遅延ステップと、前記第１の遅延ステップの出力画像を１フレーム期間遅延させる第２の遅延ステップと、前記第１および第２の遅延ステップの出力画像が同一コマから生成された画像であるかを判定する同一コマ判定ステップと、前記入力映像信号が同一コマから生成された画像が連続する映像信号であるかを示す入力映像種別情報と前記同一コマ判定ステップの出力を用いて前記複数のフレームメモリへの書き込みを行う書き込み制御ステップと読み出しを行う読み出し制御ステップを有しており、
前記入力映像信号が同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延ステップの出力画像が同一コマから生成された画像であるとき、前記入力映像信号に対する遅延が前記第２の遅延ステップの出力画像と同一の画像を保持しているフレームメモリに前記入力映像信号を書き込む第１の書き込み制御と、前記第１の書き込み制御時以外のとき、前記入力映像信号の画像に対して１フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込む第２の書き込み制御と、
前記入力映像信号が同一コマから生成された画像が連続する映像であるとき、前記入力映像信号の画像と同一の画像または前記入力映像信号の画像に対して所定フレーム数過去の画像を保持するいずれか一つのフレームメモリから画像を読み出し、さらに前記読み出した画像を生成したコマと異なるコマから生成した画像を保持するフレームメモリから画像を読み出す第１の読み出し制御と、前記第１の読み出し制御時以外は、前記第１の遅延ステップの出力画像を保持するフレームメモリから画像を読み出し、さらに前記入力映像信号に対する遅延が前記第２の遅延ステップの出力画像と同一の画像を保持するフレームメモリから画像を読み出す第２の読み出し制御を備えている
ことを特徴とする映像信号処理方法。
【請求項６】
請求項５に記載の映像信号処理方法において、
前記入力映像種別情報が、前記入力映像信号、前記第１の遅延ステップの出力、および前記第２の遅延ステップの出力を用いて生成された情報である
ことを特徴とする映像信号処理方法。
【請求項７】
請求項５に記載の映像信号処理方法において、
前記入力映像信号が、第１の視差データの画像と第２の視差データの画像とが交互に繰り返される３次元映像信号であり、
前記入力映像種別情報が、前記入力映像信号に含まれる前記第１の視差データの画像と前記第２の視差データの画像のそれぞれが同一コマから生成された画像が連続する映像信号であるかを示しており、
前記第２の遅延ステップが、前記第１の遅延ステップの出力画像を２フレーム期間遅延させるものであり、
前記第１の書き込み制御が、前記入力映像信号に含まれる前記第１の視差データの画像と前記第２の視差データの画像のそれぞれが同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延ステップの出力画像が同一コマから生成された画像であるとき、前記第２のフレーム遅延ステップの出力信号の画像を保持しているフレームメモリに前記入力映像信号を書き込むものであり、
前記第２の書き込み制御が、前記入力映像信号の画像に対して１フレーム期間過去の画像と２フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込む書き込みものである
ことを特徴とする映像信号処理方法。
【請求項８】
請求項７に記載の映像信号処理方法において、
前記入力映像種別情報が、前記入力映像信号、前記第１の遅延ステップの出力、および前記第２の遅延ステップの出力を用いて生成された情報である
ことを特徴とする映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映画フィルムから２−３プルダウン方式等のテレシネ変換方式により生成されたテレシネ変換映像信号など、同一コマから生成された画像が連続する映像信号と、それ以外の映像信号が入力される場合の映像信号処理装置および方法に関する。
【背景技術】
【０００２】
近年、テレビジョン方式の映像信号には、通常のビデオカメラで撮像した映像以外に、映画フィルムやコンピュータグラフィックによる映像信号が含まれていることが多々ある。また近年では、記録メディア記録容量の進歩、さらには伝送方式のデジタル化により、多様なソースの映像信号が混在している場合がある。例えば、毎秒２４コマの映画フィルムであれば、２−３プルダウン方式等により毎秒６０フレームの映像信号に変換されて入力される場合がある。２−３プルダウン方式では、映画フィルムを構成する毎秒２４コマの映像の第一のコマを２回、第二のコマを３回、第三のコマを２回、第四のコマを３回…と同一のコマを規則的に繰り返すことで、映画フィルムを毎秒６０フレームの映像信号に変換する。【０００３】
２−３プルダウン方式では、１コマが２フレームに割り当てられた部分では映像が２フレーム期間静止した状態となり、１コマが３フレームに割り当てられた部分では映像が３フレーム期間静止した状態となる。したがって、映像の動きに”がたつき”が生じるため、違和感のある映像となる。特に、動きの速い映像では、その違和感は顕著となる。【０００４】
以後、本明細書では、２−３プルダウン方式のように、同一のコマを繰り返して複数のフレームに割り当てることで生成された映像で、映像に含まれる隣り合うフレーム間に差分のない期間が発生している映像信号のことを「同一コマから生成された画像が連続する映像信号」と称する。【０００５】
上記のように入力映像信号が、同一コマから生成された画像が連続する映像信号である場合に、画像を記憶素子に保持し、保持された画像から、互いに異なるコマから生成されたフレームを読み出し、動きベクトルを検出して、映像の補間・補償を行うことにより、映像の動きを滑らかにする方式がある（例えば、特許文献１参照）。また、動きベクトルの検出、および補間・補償画像を生成する際に参照する画像の保持方式として、２−３プルダウン方式で変換された映像のフレーム間の差分から相関検出を行い（例えば、特許文献２参照）、変換前の映画フィルムの各コマの画像のみを保持することで、より少ないメモリ容量でプルダウン映像信号の動きを滑らかにしている方式がある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１６５６０２号公報
【特許文献２】特開２００９−１１８１４１号公報
【特許文献３】特開２０１１−１９０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献３記載の方法は、プルダウン映像からプルダウン映像以外の映像への遷移を考慮していない。プルダウン映像など同一コマから生成された画像が連続する所定種類の映像信号の検出の際には、特許文献２記載の方法のように、現在の入力映像信号と入力映像信号を所定フレーム期間遅延させた画像の映像信号との差分を１フレーム期間、累積した結果を取るため、入力映像の変化が検出されるのは、実際の映像の変化から１フレーム期間遅延した時点となる。そのため、プルダウン映像からプルダウン映像以外の映像に遷移した直後の１フレーム期間は、入力映像がプルダウン映像以外であっても、プルダウン映像と判定される。よって、プルダウン映像からプルダウン映像以外の映像への遷移も考慮した制御が必要になる。しかし、特許文献３記載の方法では、プルダウン映像が入力されている場合に異なるコマへと変化した時点の画像だけしか保持しない制御を行うため、入力映像信号がプルダウン映像以外の映像に遷移した場合には、遷移後の映像が保持されない状態が発生する。そのため映像の遷移発生後に行われる映像の補間・補償において、遷移後の先頭のフレームの画像を出力することが出来ないという課題が発生する。遷移発生直後のフレームの画像を保持するために、異なるコマへと変化した時以外の画像も保持する制御を行うと、特許文献１に記載のように、同一コマから生成された画像も複数保持され、メモリ容量が増加する。【０００８】
本発明は上記従来の問題点を解決するものであり、プルダウン映像のように、同一コマから生成された画像が連続する映像信号を入力に対して、同一コマから生成された画像の保持数を削減した上で、映像信号の種類の変化等が発生した場合でも、後段の映像信号処理に必要な画像を読み出せるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一局面に従った映像信号処理装置は、入力映像信号を画像単位で複数のフレームメモリのいずれかに選択的に書き込み、前記複数のフレームメモリのいずれかから選択的に映像信号を読み出して出力映像信号を生成する映像信号処理装置であって、前記入力映像信号を任意のフレーム期間遅延させる第１の遅延手段と、前記第１の遅延手段の出力画像を１フレーム期間遅延させる第２の遅延手段と、前記第１および第２の遅延手段の出力画像が同一コマから生成された画像であるかを判定する同一コマ判定手段と、前記入力映像信号が同一コマから生成された画像が連続する映像信号であるかを示す入力映像種別情報と前記同一コマ判定手段の出力を用いて前記複数のフレームメモリへの書き込みを行う書き込み制御手段と読み出しを行う読み出し制御手段を有しており、前記入力映像信号が同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延手段の出力画像が同一コマから生成された画像であるとき、前記入力映像信号に対する遅延が前記第２の遅延手段の出力画像と同一の画像を保持しているフレームメモリに前記入力映像信号を書き込む第１の書き込み制御と、前記第１の書き込み制御時以外のとき、前記入力映像信号の画像に対して１フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込む第２の書き込み制御と、前記入力映像信号が同一コマから生成された画像が連続する映像であるとき、前記入力映像信号の画像と同一の画像または前記入力映像信号の画像に対して所定フレーム数過去の画像を保持するいずれか一つのフレームメモリから画像を読み出し、さらに前記読み出した画像を生成したコマと異なるコマから生成した画像を保持するフレームメモリから画像を読み出す第１の読み出し制御と、前記第１の読み出し制御時以外は、前記第１の遅延手段の出力画像を保持するフレームメモリから画像を読み出し、さらに前記入力映像信号に対する遅延が前記第２の遅延手段の出力画像と同一の画像を保持するフレームメモリから画像を読み出す第２の読み出し制御とを備えている。【００１０】
また、対応する映像信号処理方法は、入力映像信号を画像単位で複数のフレームメモリのいずれかに選択的に書き込み、前記複数のフレームメモリのいずれかから選択的に映像信号を読み出して出力映像信号を生成する映像信号処理方法であって、前記入力映像信号を任意のフレーム期間遅延させる第１の遅延ステップと、前記第１の遅延ステップの出力画像を１フレーム期間遅延させる第２の遅延ステップと、前記第１および第２の遅延ステップの出力画像が同一コマから生成された画像であるかを判定する同一コマ判定ステップと、前記入力映像信号が同一コマから生成された画像が連続する映像信号であるかを示す入力映像種別情報と前記同一コマ判定ステップの出力を用いて前記複数のフレームメモリへの書き込みを行う書き込み制御ステップと読み出しを行う読み出し制御ステップを有しており、前記入力映像信号が同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延ステップの出力画像が同一コマから生成された画像であるとき、前記入力映像信号に対する遅延が前記第２の遅延ステップの出力画像と同一の画像を保持しているフレームメモリに前記入力映像信号を書き込む第１の書き込み制御と、前記第１の書き込み制御時以外のとき、前記入力映像信号の画像に対して１フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込む第２の書き込み制御と、前記入力映像信号が同一コマから生成された画像が連続する映像であるとき、前記入力映像信号の画像と同一の画像または前記入力映像信号の画像に対して所定フレーム数過去の画像を保持するいずれか一つのフレームメモリから画像を読み出し、さらに前記読み出した画像を生成したコマと異なるコマから生成した画像を保持するフレームメモリから画像を読み出す第１の読み出し制御と、前記第１の読み出し制御時以外は、前記第１の遅延ステップの出力画像を保持するフレームメモリから画像を読み出し、さらに前記入力映像信号に対する遅延が前記第２の遅延ステップの出力画像と同一の画像を保持するフレームメモリから画像を読み出す第２の読み出し制御を備えている。【００１１】
上記映像信号処理装置または方法において、前記入力映像信号は、第１の視差データの画像と第２の視差データの画像とが交互に繰り返される３次元映像信号であってもよく、前記入力映像種別情報が、前記入力映像信号に含まれる前記第１の視差データの画像と前記第２の視差データの画像のそれぞれが同一コマから生成された画像が連続する映像信号であるかを示していてもよく、前記第２の遅延手段またはステップが、前記第１の遅延手段またはステップの出力画像を２フレーム期間遅延させるものであってもよく、前記第１の書き込み制御が、前記入力映像信号に含まれる前記第１の視差データの画像と前記第２の視差データの画像のそれぞれが同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延手段またはステップの出力画像が同一コマから生成された画像であるとき、前記第２のフレーム遅延手段またはステップの出力信号の画像を保持しているフレームメモリに前記入力映像信号を書き込むものであってもよく、前記第２の書き込み制御が、前記入力映像信号の画像に対して１フレーム期間過去の画像と２フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込んでもよい。【００１２】
また、上記映像信号処理装置または方法において、前記入力映像種別情報が、前記入力映像信号、前記第１の遅延手段またはステップの出力、および前記第２の遅延手段またはステップの出力を用いて生成された情報であってもよい。
【発明の効果】
【００１３】
本発明によれば、入力映像信号を１フレーム期間遅延した画像と３次元映像信号の場合には１フレーム期間遅延した画像に加えて２フレーム期間遅延した画像が常に保持されるとともに、同一コマから生成された画像が重複して保持されないように書き込み・読み出し制御が行われることで、同一コマから生成した画像が連続する映像信号から異なるコマから生成された画像が連続する映像信号へと遷移した場合にも、後段の映像信号処理に必要な画像を欠落等なく読み出すことが出来るともに、メモリ容量を削減することが出来る。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１に係るフレームレート変換回路の概略構成図
【図２】図１中のフレーム遅延信号制御回路１とフレームメモリ２の詳細構成図
【図３】実施の形態１の説明のための、入力映像が６０フレーム／秒の２：３プルダウン映像である場合の入出力のタイミングチャート
【図４】２次元映像入力時の書き込み位置の決定手順を示すフローチャート
【図５】２次元映像入力時の読み出し位置の決定手順を示すフローチャート
【図６】図３の場合に図４、図５の書き込み・読み出し位置決定手順を実行した結果を示すタイミングチャート
【図７】実施の形態１の説明のための、入力映像が６０フレーム／秒の２：３プルダウン映像から６０フレーム／秒のプルダウン映像以外の映像へと切り替わった場合の入出力のタイミングチャート
【図８】図７の場合に図４、図５の書き込み・読み出し位置決定手順を実行した結果を示すタイミングチャート
【図９】実施の形態２に係るフレームレート変換回路の概略構成図
【図１０】図９中のフレーム遅延信号制御回路１とフレームメモリ２の詳細構成図
【図１１】実施の形態２の説明のための、入力映像が６０フレーム／秒の２：３プルダウン映像である場合の入出力のタイミングチャート
【図１２】図１１の場合に図４、図５の書き込み・読み出し位置決定手順を実行した結果を示すタイミングチャート
【図１３】実施の形態２の説明のための、入力映像が６０フレーム／秒の２：３プルダウン映像から６０フレーム／秒のプルダウン映像以外の映像へと切り替わった場合の入出力のタイミングチャート
【図１４】図１３の場合に図４、図５の書き込み・読み出し位置決定手順を実行した結果を示すタイミングチャート
【図１５】実施の形態３に係るフレームレート変換回路でＸ１：Ｘ２：…：Ｘｎプルダウン映像信号を処理可能なフレーム遅延信号制御回路１とフレームメモリ２の詳細構成図
【図１６】プルダウン映像の補間・補償に最大でｎ＋２個の画像のメモリ容量が必要な場合の説明図
【図１７】実施の形態３の説明のための、入力映像が６０フレーム／秒の２：２：２：４プルダウン映像である場合の入出力のタイミングチャート
【図１８】実施の形態３に係るフレームレート変換回路で２：２：２：４プルダウン映像信号を処理可能なフレーム遅延信号制御回路１とフレームメモリ２の詳細構成図
【図１９】図１７の場合に図４、図５の書き込み・読み出し位置決定手順を実行した結果を示すタイミングチャート
【図２０】実施の形態３の説明のための、入力映像が６０フレーム／秒の２：２：２：４プルダウン映像から６０フレーム／秒のプルダウン映像以外の映像へと切り替わった場合の入出力のタイミングチャート
【図２１】図２０の場合に図４、図５の書き込み・読み出し位置決定手順を実行した結果を示すタイミングチャート
【図２２】実施の形態４に係る３次元映像フレームレート変換回路の概略構成図
【図２３】図２２中のフレーム遅延信号制御回路１とフレームメモリ２の詳細構成図
【図２４】実施の形態４の説明のための、入力映像が６０フレーム／秒の３次元２：３プルダウン映像である場合の入出力のタイミングチャート
【図２５】３次元映像入力時の書き込み位置の決定手順を示すフローチャート
【図２６】３次元映像入力時の読み出し位置の決定手順を示すフローチャート
【図２７】図２４の場合に図２５、図２６の書き込み・読み出し位置決定手順を実行した結果を示すタイミングチャート
【図２８】実施の形態４の説明のための、入力映像が６０フレーム／秒の３次元２：３プルダウン映像から６０フレーム／秒の３次元プルダウン映像以外の映像へと切り替わった場合の入出力のタイミングチャート
【図２９】図２７の場合に図２５、図２６の書き込み・読み出し位置決定手順を実行した結果を示すタイミングチャート
【発明を実施するための形態】
【００１５】
以下に、添付図面を参照しながら、本発明の実施の形態について、図１〜２９を用いて説明するが、特に必要な場合以外は同一または同様な部分の説明を原則として繰り返さない。また、一度登場した信号等はそれ以降は参照符号のみで参照する。
【００１６】
≪実施の形態１≫
実施の形態１では、入力映像信号が６０フレーム／秒の２：３プルダウン映像信号と、６０フレーム／秒で各フレームが異なるコマから生成された映像信号とが入力される場合に、入力映像信号から動きベクトルを検出し、補間・補償フレームを作成し、１２０フレーム／秒の出力映像信号を得る場合について説明する。
【００１７】
図１、図２は実施の形態１を実現する回路を示したものである。図１のフレーム遅延信号制御回路１は、入力映像信号Ｓ１、フレーム遅延信号間差分判定情報Ｓ２、プルダウン映像判定情報Ｓ３、プルダウン映像位相情報Ｓ４を用いて、フレームメモリ２に対する書き込み信号Ｓ５と、読み出し信号Ｓ６の制御を行う。Ｓ２は、Ｓ１と、Ｓ１を１フレーム期間遅延させるフレーム遅延回路Ｄ１の出力信号である１フレーム遅延信号Ｓ１０１を１フレーム期間に渡って差分判定した結果を、差分判定した次の１フレーム期間に出力したものである。すなわち、現在のＳ１に対して１フレーム期間遅延した画像と２フレーム期間遅延した画像間の相関を示す。またＳ１と、Ｓ１０１と、Ｓ１０１を１フレーム期間遅延させるフレーム遅延回路Ｄ２の出力信号である２フレーム遅延信号Ｓ１０２を用いて、入力映像がプルダウン映像か否かを判定したＳ３と、プルダウン映像の１周期の何番目のフレームが入力されているか識別するＳ４がプルダウン検出回路１００で生成される。プルダウン映像の判定方法については、制約はなく、特許文献２に記載の方法など、Ｓ１とＳ１０１とＳ１０２のフレーム間の差分を数フレームに渡って検出し、差分の発生周期に応じて、判定を行えばよい。
【００１８】
またフレーム遅延信号制御回路１は、読み出したＳ６により、動きベクトル検出用フレーム遅延信号Ｓ７１、Ｓ７２と映像補間・補償用フレーム遅延信号Ｓ９１、Ｓ９２を生成する。フレーム間の動きのベクトルを検出する動きベクトル検出回路３は、Ｓ７１、Ｓ７２から、フレーム間の動きベクトルを検出し、検出した情報を保持するとともに、映像補間・補償回路４に合わせて動きベクトル情報Ｓ８を出力する。映像補間・補償回路４はＳ８、Ｓ９１、Ｓ９２を用いて、検出した動きベクトルに基づいた出力映像信号Ｓ１０を生成する。
【００１９】
図２は、図１のフレーム遅延信号制御回路１とフレームメモリ２の詳細な構成を示したものである。フレーム遅延信号制御回路１は、書き込み制御回路１ａ、フレームメモリ更新履歴保持回路１ｂ、読み出し制御回路１ｃから構成される。書き込み制御回路１ａは、Ｓ２、Ｓ３、最終更新からの経過時間が最も長い画像の保持メモリ情報Ｓ１２、２フレーム遅延画像の保持メモリ情報Ｓ１３を用いて、Ｓ１をフレームメモリＦＭ１からＦＭ３までのいずれの領域に書き込むかを決定し、Ｓ５を生成する。フレームメモリへの書き込み完了後に更新フレームメモリ情報Ｓ１１をフレームメモリ更新履歴保持回路１ｂに書き込む。フレームメモリ更新履歴保持回路１ｂは、フレームメモリ２に対する書き込みと読み出し領域を決定するための、Ｓ１２、Ｓ１３、メモリ更新履歴Ｓ１４を保持するとともに、Ｓ１１により随時更新を行う。読み出し制御回路１ｃはＳ３、Ｓ４、Ｓ１４を用いてフレームメモリＦＭ１からＦＭ３よりＳ６（各フレームメモリからの読み出し信号Ｒ１〜Ｒ３で構成）を選択して読み出す。フレームメモリ２は、書き込み制御回路１ａからのＳ５（各フレームメモリへの書き込み信号Ｗ１〜Ｗ３で構成）を保持して、映像補間・補償回路４でＳ１０を生成するためのＳ６を選択して読み出す。
【００２０】
Ｓ１が６０フレーム／秒の２：３プルダウン映像のみが入力されている場合、図３に示すように１／６０秒ごとにフレームが１Ａ、１Ｂ、２Ａ、２Ｂ、２Ｃ、３Ａ、３Ｂ、４Ａ、４Ｂ、４Ｃと切り替わる。ここで１Ａ、１Ｂのように、数字が同一のフレームは、同一コマから生成されたフレーム間差分がないフレームであることを意味する。すなわち、２：３プルダウン映像の場合は、２／６０秒の間、最初のコマ１から生成されたフレーム間差分がないフレーム１Ａ、１Ｂを繰り返した後、次のコマ２から生成されたフレーム２Ａへと切り替わり、３／６０秒の間、フレーム間差分がない画像２Ａ、２Ｂ、２Ｃを繰り返す。Ｓ１に対して、図３に示すタイミングで、Ｓ７１、Ｓ７２、Ｓ９１、Ｓ９２をフレームメモリ２から読み出し、Ｓ８、Ｓ１０を生成する場合について説明する。なお、Ｓ１０が示す数字は出力映像の位相を示す。小数値の位相は映像補間・補償によって生成された中間位相の画像である。
【００２１】
フレームメモリ２に対する書き込み位置・読み出し位置の決定は、Ｓ２、Ｓ３、Ｓ４により、図４、図５のフローチャートのように下記の通り決定される。
【００２２】
■書き込み位置の決定手順（図４）
１．Ｓ３＝「プルダウン映像」であるか判定する。プルダウン映像である場合は手順２に進む。プルダウン映像でない場合は、手順３に進む。（Ｓｔｅｐ１）
２．Ｓ１を１フレーム期間遅延した画像と、２フレーム期間遅延させた画像が同一コマから生成されたフレームであるかを、Ｓ２を用いて判定する。Ｓ１を１フレーム期間遅延した画像と２フレーム期間遅延させた画像が同一コマから生成されたフレームでない場合は、遅延信号間の差分を示すＳ２が「あり」となり手順３に進む。Ｓ１を１フレーム期間遅延した画像と２フレーム期間遅延させた画像が同一コマから生成されたフレームである場合は、遅延信号間の差分を示すＳ２が「なし」となり手順４に進む。なお映像信号入力直後の２フレーム期間で、１フレーム遅延画像と２フレーム遅延画像が保持されていない場合は、差分「あり」、「なし」どちらで判定しても良い。本実施例では「あり」と判定した場合で示しているが、「なし」と判定した場合でも「あり」と同様に１フレーム目、２フレーム目の画像は保持され、３フレーム目からは判定情報に従うため、同様の処理が行われる。（Ｓｔｅｐ２）
３．書き込み位置を「１フレーム遅延画像」を除く以下の「書き込み位置の候補」のいずれかの保持領域に設定し、手順５に進む。書き込み位置の候補は、「最終更新からの経過時間が最も長い画像」、「同一コマから生成された複数の画像のうちの１つの画像」、および「読み出しが完了した画像」である。なお、本明細書では書き込み位置の候補を「最終更新からの経過時間が最も長い画像」にした場合で説明する。（Ｓｔｅｐ３）
４．書き込み位置を「２フレーム遅延画像」の保持領域に設定し、手順５に進む。（Ｓｔｅｐ４）
５．手順３、または手順４で指定された領域に書き込みを実施する。１フレーム分、書き込みが完了したら、「メモリ更新履歴」を更新する。次の画像が入力されたら、再び手順１を実行する。（Ｓｔｅｐ５）
【００２３】
■読み出し位置の決定手順（図５）
１．Ｓ３＝「プルダウン映像」であるか判定する。プルダウン映像である場合は手順２に進む。プルダウン映像でない場合は、手順３に進む。（Ｓｔｅｐ１）
２．Ｓ３、Ｓ４に応じて、読み出し位置を決定する。読み出す画像に関しては、入力の画像を生成したコマから０〜ｎコマ（ｎは自然数）過去のコマから生成した画像で、異なるコマから生成されたフレームであればよく、補間・補償に応じて指定する。（Ｓｔｅｐ２）
３．読み出し位置を「１フレーム遅延画像、２フレーム遅延画像」の保持領域に設定する。（Ｓｔｅｐ３）
４．手順２、手順３で設定した保持領域から読み出しを実施する。１フレーム期間画像を読み出せたら、再び手順１を実行する。なおフレームの読み出しに関しては、補間・補償を行わない場合など、１フレームだけ読み出しを行っても良い。（Ｓｔｅｐ４）
【００２４】
上記手順に従って、書き込み位置・読み出し位置を決定した例を図６に示す。なお、図６では、フレームメモリ数＝３とし、フレームメモリ更新履歴保持回路１ｂの「メモリ更新履歴」の初期状態を、ＦＭ１⇒ＦＭ２⇒ＦＭ３の順番で更新されたと設定した場合を示している。映像信号入力直後の２フレーム期間で、入力の画像が１Ａ、１Ｂの場合は、Ｓ２が「あり」となるため、Ｓ１２に基づき、書き込み先のフレームメモリを表す書き込みＦＭ番号を決定し、「最終更新からの経過時間が最も長い画像」が保持されているフレームメモリに書き込みを行う。以降、入力の画像が２Ｂ、３Ｂの場合のように、Ｓ２が「あり」となった場合は、Ｓ１２に基づき、書き込みＦＭ番号を決定し、書き込みを行う。２Ａ、２Ｃ、３Ａ、４Ａ、４Ｃの場合のように、Ｓ２が「なし」となった場合は、Ｓ１３に基づき、書き込みＦＭ番号を決定し、「２フレーム遅延画像」が保持されているフレームメモリに書き込みを行う。
【００２５】
読み出しに関しては、Ｓ３、Ｓ４に応じて、Ｓ９１、Ｓ９２として、１フレーム遅延画像と、当該画像（１フレーム遅延画像）を生成したコマに対して１コマ前の画像の読み出し位置を指定している。なおＳ７１、Ｓ７２については、現在書き込み中の画像を追い越さないように読み出すとともに、書き込みフレーム画像に対して１コマ前の画像を読み出すように指定している。上記の通り、制御を行うことで、１フレーム遅延画像が常にメモリに保持されるとともに、同一コマから生成された画像が重複しないように、異なるコマから生成された画像が保持される。
【００２６】
次に、Ｓ１が６０フレーム／秒の２：３プルダウン映像から、６０フレーム／秒で各フレームが異なるコマから生成された信号へと切り替わった場合に、入力映像から動きベクトルを検出し、補間・補償フレームを作成し、１２０フレーム／秒の出力映像信号を得る場合について説明する。回路構成は図１、図２と同様である。Ｓ１は図７に示すように１／６０秒ごとに画像が１Ａ、１Ｂ、２Ａ、２Ｂ、３、４、５、６、７、８と切り替わる。画像２Ｂまでは２：３プルダウン映像が入力されている。画像３から、プルダウン映像以外の映像信号に遷移して、３、４、５、６、７、８と異なるコマから生成された画像が連続する入力となっている。Ｓ１から、図７に示すタイミングで、Ｓ７１、Ｓ７２、Ｓ９１、Ｓ９２を読み出し、Ｓ８、Ｓ１０を生成する場合について説明する。
【００２７】
フレームメモリ２に対する書き込み位置・読み出し位置は、Ｓ２、Ｓ３、Ｓ４を用いて、前述の書き込み位置・読み出し位置の決定手順に従って、図８に示す通り決定される。書き込み位置は、Ｓ１がプルダウン映像である２Ｂの入力までは、上記と同様に決定される。Ｓ１がプルダウン映像以外の映像信号となる画像３が入力される場合には、入力映像がプルダウン映像以外にも拘らず、Ｓ３が「プルダウン映像」となる。これはＳ３が１フレーム期間前の各Ｓ１、Ｓ１０１、Ｓ１０２を１フレーム期間比較した結果を用いて、生成されるためである。Ｓ３が「プルダウン映像以外」と判定されるのは、画像３の最終の信号まで差分判定された後になるため、画像３の入力期間はプルダウン映像の入力時と同様に書き込み位置が決定される。またＳ２についても、同様に１フレーム期間前の各Ｓ１、Ｓ１０１を用いるため、Ｓ２は「なし」となる。Ｓ１の切り替わりの画像３の入力時には、Ｓ１３に基づき、書き込みＦＭ番号を決定し、書き込みを行う。入力映像信号の種別と連動した書き込み制御にはなっていないが、すでに重複が判明している２フレーム遅延画像を保持するフレームメモリに書き込むため、読み出しに必要な映像は上書きされない。入力映像のフレームが４以降の場合については、Ｓ３が「プルダウン映像以外」と映像信号の種別と一致するため、常に書き込み手順３で書き込み位置が決定される。よってＳ１２に基づき、書き込みＦＭ番号を決定し、書き込みを行う。
【００２８】
読み出し位置に関しては、入力映像のフレームが３までは、Ｓ３、Ｓ４に応じて決まる。本実施例ではＳ１０の変化が均一になるように、Ｓ９１、Ｓ９２として、１フレーム遅延画像と、当該画像（１フレーム遅延画像）を生成したコマに対して１コマ前の画像を読み出すように指定している。入力映像の画像が４以降の場合は、Ｓ３が「プルダウン映像以外」となるため、１フレーム遅延画像と２フレーム遅延画像を読み出している。Ｓ７１、Ｓ７２については、現在書き込み中の画像を追い越さないように読み出すとともに、書き込み画像に対して１コマの前の画像を読み出すように指定している。
【００２９】
上記制御を行うことで、プルダウン映像からプルダウン映像以外の映像へと遷移した直後に、Ｓ３が「プルダウン映像」と判定された場合でも、遷移後の入力の画像３が保持される。そのため、画像３を用いた補間・補償が可能となる。また同一コマから生成された画像が重複して保持されないように、書き込み・読み出し制御を行うことで一定のメモリ容量で補間・補償が可能となる。本実施例では、３個の画像を保持可能なメモリ容量で、正しい出力の生成が可能となる。
【００３０】
≪実施の形態２≫
実施の形態２では、Ｓ１が６０フレーム／秒の２：３プルダウン映像と、６０フレーム／秒で各フレームが異なるコマから生成された信号が入力される場合に、入力映像信号からフレーム遅延信号制御回路の内部で制御用の信号を生成してメモリ制御を行い、入力映像から動きベクトルを検出し、補間・補償フレームを作成し、１２０フレーム／秒の出力映像信号を得る場合について説明する。
【００３１】
図９、図１０は実施の形態２を実現する回路を示したものである。図９のフレーム遅延信号制御回路１は、Ｓ１を用いて、回路内部でＳ２、Ｓ３、Ｓ４を生成し、Ｓ５とＳ６の制御を行う。その他の構成は、図１と同様である。
【００３２】
図１０は、図９のフレーム遅延信号制御回路１とフレームメモリ２の詳細な構成を示したものである。図１０の構成については、プルダウン検出回路１ｄとその入出力信号を除き、図２と同様であるため、プルダウン検出回路１ｄとその入出力信号について説明する。
【００３３】
プルダウン検出回路１ｄには、読み出し制御回路１ｃを用いて、フレームメモリ２からＳ１と同一のフレームである現フレームの映像信号Ｓ２００と、入力映像を１フレーム期間遅延させた１フレーム遅延信号Ｓ２０１が入力されるとともに、Ｓ２０１を１フレーム期間遅延させるフレーム遅延回路Ｄ３を用いて、２フレーム遅延信号Ｓ２０２が入力される。Ｓ２００とＳ２０１の差分比較した結果を、差分比較した次のフレーム期間にＳ２として出力する。またＳ２００、Ｓ２０１、Ｓ２０２により、Ｓ３とＳ４がプルダウン検出回路１ｄで生成される。プルダウン映像の判定方法については、制約はなく、特許文献２に記載の方法など、Ｓ２００とＳ２０１とＳ２０２のフレーム間の差分を数フレームに渡って検出し、差分の発生周期に応じて、判定を行えばよい。
【００３４】
Ｓ１が６０フレーム／秒の２：３プルダウン映像のみが入力される場合、実施の形態１と同様に、図１１に示すように１／６０秒ごとにフレームが１Ａ、１Ｂ、２Ａ、２Ｂ、２Ｃ、３Ａ、３Ｂ、４Ａ、４Ｂ、４Ｃと切り替わる。図１１に示すタイミングで、フレームメモリ２からＳ２００とＳ２０１を読み出し、Ｓ２、Ｓ３、Ｓ４を生成し、Ｓ７１、Ｓ７２、Ｓ９１、Ｓ９２を読み出し、Ｓ８、Ｓ１０を生成する場合について説明する。
【００３５】
フレームメモリ２に対する書き込み位置・読み出し位置は、実施の形態１と同様に、前述の書き込み位置・読み出し位置の決定手順に従って、図１２に示す通り決定される。ただし、Ｓ２、Ｓ３、Ｓ４を生成するために、Ｓ２００とＳ２０１をフレームメモリ２より読み出す。Ｓ１４により、Ｓ２００に対しては現在の書き込みを行っているフレームメモリ、Ｓ２０１に対しては１フレーム前に書き込みを行ったフレームメモリを指定する。書き込み制御、Ｓ９１、Ｓ９２とＳ７１、Ｓ７２の読み出し制御については、実施の形態１の場合と同様に実施することで、同一コマから生成された画像が重複することなく、映像補償・補間回路４で必要となる異なるコマから生成された画像を読み出すことが可能となる。
【００３６】
次に、Ｓ１が６０フレーム／秒の２：３プルダウン映像から、６０フレーム／秒で各フレームが異なるコマから生成された信号へと切り替わった場合について説明する。Ｓ１は図１３に示すように１／６０秒ごとに１フレームとなる映像信号が１Ａ、１Ｂ、２Ａ、２Ｂ、３、４、５、６、７、８と切り替わる。実施の形態１と同様に、２Ｂまでは２：３プルダウン映像が入力されている。２Ｂの次のフレーム３から、プルダウン映像以外の映像信号に遷移して、３、４、５、６、７、８と異なるコマから生成された画像が連続する入力となっている。図１３に示すタイミングで、フレームメモリ２からＳ２００とＳ２０１を読み出し、Ｓ２、Ｓ３、Ｓ４を生成し、Ｓ７１、Ｓ７２、Ｓ９１、Ｓ９２を読み出し、Ｓ８、Ｓ１０を生成する場合について説明する。
【００３７】
フレームメモリ２に対する書き込み位置・読み出し位置は、実施の形態１と同様に、前述の書き込み位置・読み出し位置の決定手順に従って、図１４に示す通り決定される。ただし、Ｓ２、Ｓ３、Ｓ４を生成するために、Ｓ２００とＳ２０１をフレームメモリ２より読み出す。Ｓ１４により、Ｓ２００に対しては現在の書き込みを行っているフレームメモリ、Ｓ２０１に対しては１フレーム前に書き込みを行ったフレームメモリを指定する。Ｓ９１、Ｓ９２とＳ７１、Ｓ７２の読み出し制御については、実施の形態１の場合と同様に実施することで、プルダウン映像からプルダウン映像以外の映像へと遷移した直後に、Ｓ３が「プルダウン映像」と判定された場合でも、遷移後の入力の画像３が保持される。そのため、画像３を用いた補間・補償が可能となる。また同一コマから生成された画像が重複して保持されないように、書き込み・読み出し制御を行うことで一定のメモリ容量で補間・補償が可能となる。本実施例では、３個の画像を保持可能なメモリ容量で、正しい出力の生成が可能となる。
【００３８】
≪実施の形態３≫
実施の形態３では、入力映像信号が６０フレーム／秒のＸ１：Ｘ２：…：Ｘｎ（ｎは自然数）プルダウン映像から、６０フレーム／秒で各フレームが異なるコマから生成された信号へと切り替わった場合に、入力映像から動きベクトルを検出し、補間・補償フレームを作成し、１２０フレーム／秒の出力映像信号を得る場合について説明する。なおここでＸ１：Ｘ２：…：Ｘｎプルダウン映像とは、プルダウンの１周期中に含まれるコマ数＝ｎ、フレーム数＝ｍ個（ｍは自然数）で、Ｘ１からＸｎはプルダウンの１周期中に含まれるｎコマの各コマから生成したフレームの連続数を表す。例えば、ｎ＝４、ｍ＝１０、Ｘ１＝２、Ｘ２＝２、Ｘ３＝２、Ｘ４＝４であった場合は、２：２：２：４プルダウン映像となり、４個の異なるコマから生成されたフレームが、それぞれ２枚、２枚、２枚、４枚連続した計１０枚の画像で１周期が構成される映像信号となる。本実施例では、Ｘ１：Ｘ２：…：Ｘｎプルダウン映像の一例として、２：２：２：４プルダウン映像の場合に当てはめながら、説明をする。
【００３９】
Ｘ１：Ｘ２：…：Ｘｎプルダウン映像の入力時の回路構成は図１および、図１５で示される。図１については、実施の形態１と同様の構成である。本実施例に係るフレーム遅延信号制御回路１とフレームメモリ２の詳細構成は、図１５で表される。当該構成は、図２に対して、フレームメモリ２と入出力信号の構成のみが異なるため、他の説明は省略する。フレームメモリ２には、Ｎ個（Ｎは自然数）のフレームメモリＦ１〜ＦＮを内蔵し、書き込み制御回路１ａからのＳ５（各フレームメモリへの書き込み信号Ｗ１〜ＷＮで構成）を保持して、映像補間・補償回路４でＳ１０を生成するためのＳ６（各フレームメモリからの読み出し信号Ｒ１〜ＲＮから構成）を選択して読み出す。フレームメモリ数Ｎは、映像の補間・補償の仕方によりも異なるが、ここでは出力映像信号のフレーム間の変化量が均一になるように、プルダウン映像の１周期中に含まれるコマ数＝ｎ、フレーム数＝ｍ個、各コマから生成したフレームの連続数Ｘ１−Ｘｎを用いて決定する。決定手順を以下で説明する。
【００４０】
■フレームメモリ数Ｎの決定手順
１．Ｓ９１、Ｓ９２の読み出しフレーム数決定：Ｓ１０の映像の変化量が均一になるように、Ｘ１：Ｘ２：…：Ｘｎプルダウン映像を入力とするＳ１からＳ９１、Ｓ９２を作成する。Ｓ９１、Ｓ９２を、ｍ／ｎフレーム間隔で、異なるコマから生成したフレームへと変化するように読み出す。ｍ／ｎ間隔で読み出すことが出来ない場合は、読み出しフレーム数を調整し、Ｓ１０の変化量が均一に近くなるようにする。
２．Ｓ９１、Ｓ９２の読み出しタイミング決定：Ｓ１を追い越さず、またＳ１からの遅延が最小になるようにＳ９１、Ｓ９２の読み出しタイミング設定している。
３．Ｓ１とＳ９２のコマ数の差分の最大値判定：Ｓ１の画像を生成したコマと、Ｓ９２を生成したコマ間の差分の最大値Ｎｄｉｆｆを求める。
４．３の場合にＳ９１が１フレーム遅延画像か否かの判定：１フレーム遅延画像である場合はＮ＝Ｎｄｉｆｆ＋１、１フレーム遅延画像でない場合はＮ＝Ｎｄｉｆｆ＋２とする。
【００４１】
上記フレームメモリ数Ｎの決定手順に従って、フレームメモリ数を決定した場合のメモリ制御のタイミング図は図１６に示す。手順１により、Ｓ９１は１からｎまで、Ｓ９２は０からｎ−１まで、ｍ／ｎフレーム間隔で変化するように読み出し指定される。なお図１６ではｍ／ｎが均一になるように読み出しているが、ｍ／ｎフレーム間隔で読み出せない場合は、適宜フレーム数を調整してよい。手順２により、Ｓ１を追い越さないように、Ｓ１から１フレーム期間遅延させている。手順３によりＳ１の画像を生成したコマと、Ｓ９２を生成したコマ数の差分が最大になるタイミングが判定され（図１６の点線部を参照）、最大でｎコマ過去の画像を必要とする。よってＮｄｉｆｆ＝ｎとなる。手順４より、図１６の点線部でＳ９１は１フレーム遅延画像でないので、Ｎ＝ｎ＋２フレームと求まる。上記のように、本実施例ではＳ９１、Ｓ９２はＳ１に対して、図１６の点線部のように最大でｎコマ過去の画像を必要とする。またプルダウン映像から他の映像への遷移を考慮して、１フレーム遅延画像を保持する。よって書き込み中のフレームメモリを含めると、下記の計ｎ＋２フレームが最大で必要となる。
・書き込み中のフレームメモリ＝１フレーム
・１フレーム遅延画像を保持するフレームメモリ＝１フレーム
・ｎコマ前までの各コマの画像を保持するフレームメモリ＝ｎフレーム
【００４２】
ただし、実施の形態１で示した２：３プルダウンのようにＳ９１が常に１フレーム遅延画像である場合には、１フレーム遅延画像を保持するフレームメモリが、ｎコマ前までの各コマの画像を保持するフレームメモリに含まれるので、１フレーム少ないＮ＝ｎ＋１＝３フレームで実現可能となる。また図１７に示す２：２：２：４プルダウンでは、手順３でＳ１の画像を生成したコマと、Ｓ９２を生成したコマ間の差分の最大となるタイミングがＳ１＝４Ａの場合で定まる。この時、Ｓ９２は２ＢであるからＮｄｉｆｆ＝２となる。このようにプルダウンの一周期に含まれるコマ数ｎがＮｄｉｆｆよりも小さくなる場合はｎ＋２フレーム以下のＮ＝Ｎｄｉｆｆ＋２のフレーム数で、映像の補間・補償フレームを作成し、１２０フレーム／秒の出力映像信号を得る場合ことが可能である。なお、Ｓ９１が常に１フレーム遅延画像である場合には、１フレーム遅延画像を保持するフレームメモリが、ｎコマ前までの各コマの画像を保持するフレームメモリに含まれるので、Ｎ＝Ｎｄｉｆｆ＋１フレームで実現出来る。以下、本実施例では、２：２：２：４プルダウンの場合を例として示すが、他のプルダウンの場合であっても、同様の計算を行うことで、最小３フレーム、最大でもｎ＋２フレーム以下のフレーム数で、映像の補間・補償フレームを作成し、１２０フレーム／秒の出力映像信号を得る場合ことが可能である。
【００４３】
Ｓ１が２：２：２：４プルダウンの場合、必要なフレームメモリ数Ｎは前述の通り、Ｎ＝４で実現可能となるため、図１中のフレーム遅延信号制御回路１とフレームメモリ２は図１８の構成となる。Ｓ１は、図１７に示すように１／６０秒ごとに１フレームとなる映像信号が１Ａ、１Ｂ、２Ａ、２Ｂ、３Ａ、３Ｂ、４Ａ、４Ｂ、４Ｃ、４Ｄ、５Ａ、５Ｂ、６Ａと切り替わる。Ｓ１から、図１７に示すタイミングで、Ｓ７１、Ｓ７２、Ｓ９１、Ｓ９２を読み出し、Ｓ８、Ｓ１０を生成する場合について説明する。
【００４４】
フレームメモリ２に対する書き込み位置・読み出し位置は、Ｓ２、Ｓ３、Ｓ４を用いて、前述の書き込み位置・読み出し位置の決定手順に従って、図１９に示す通り決定される。なお、図１９では、フレームメモリ数＝４とし、フレームメモリ更新履歴保持回路１ｂの「メモリ更新履歴」の初期状態を、ＦＭ１⇒ＦＭ２⇒ＦＭ３⇒ＦＭ４の順番でフレームメモリが更新された場合を示している。映像信号入力直後の２フレーム期間で、入力の画像が１Ａ、１Ｂの場合は、Ｓ２が「あり」となるため、Ｓ１２に基づき、書き込みＦＭ番号を決定し、書き込みを行う。以降、Ｓ２が「あり」となった場合は、Ｓ１２に基づき、書き込みＦＭ番号を決定し、書き込みを行う。Ｓ２が「なし」となった場合は、Ｓ１３に基づき、書き込みＦＭ番号を決定し、書き込みを行う。読み出しは、Ｓ３、Ｓ４に応じて、１フレーム遅延画像と、１フレーム遅延画像を生成したコマに対して１コマ前の画像を指定し、Ｓ９１、Ｓ９２へ出力している。Ｓ７１、Ｓ７２については、現在書き込み中の画像を追い越さないように読み出すようにするとともに、書き込み画像に対して１コマの前の画像を読み出すように指定している。上記の通り、制御を行うことで、１フレーム遅延画像が常にメモリに保持されるとともに、同一コマから生成された画像が重複しないように、異なるコマから生成された画像が保持される。
【００４５】
次に、入力映像信号が６０フレーム／秒の２：２：２：４プルダウン映像から、６０フレーム／秒で各フレームが異なるコマから生成された信号へと切り替わった場合に、入力映像から動きベクトルを検出し、補間・補償フレームを作成し、１２０フレーム／秒の出力映像信号を得る場合について説明する。回路構成は図１、図１８と同様である。Ｓ１は図２０に示すように１／６０秒ごとに１フレームとなる映像信号が１Ａ、１Ｂ、２Ａ、２Ｂ、３Ａ、３Ｂ、４Ａ、４Ｂ、５、６、７、８と切り替わる。すなわち、４Ｂまでは２：２：２：４プルダウン映像が入力されており、４Ｂの次のフレーム５から、プルダウン映像以外の映像信号に遷移して、５、６、７、８と異なるコマから生成された画像が連続する入力となっている。Ｓ１から、図２０に示すタイミングで、Ｓ７１、Ｓ７２、Ｓ９１、Ｓ９２を読み出し、Ｓ８、Ｓ１０を生成する場合について説明する。
【００４６】
フレームメモリ２に対する書き込み位置・読み出し位置は、Ｓ２、Ｓ３、Ｓ４を用いて、前述の書き込み位置・読み出し位置の決定手順に従って、図２１に示す通り決定される。Ｓ１がプルダウン映像である４Ｂの入力までは、前述のように書き込みフレームが決定される。Ｓ１がプルダウン映像以外の映像信号となる画像５が入力される場合には、Ｓ３が「プルダウン映像」となる。これはＳ３が、１フレーム期間前の各Ｓ１、Ｓ１０１、Ｓ１０２を用いて、１フレーム期間差分算定を行った結果が生成されるためである。Ｓ３が「プルダウン映像以外」と判定されるのは、画像５の最終の信号まで差分判定された後になるため、Ｓ１の画像が５であるフレーム期間はプルダウン映像の入力時と同様に書き込み位置が決定される。すなわち入力映像のフレームが５の場合には、Ｓ２が「なし」となるため、Ｓ１３に基づき、書き込みＦＭ番号を決定し、書き込みを行う。入力映像信号の種別と連動した書き込み制御にはなっていないが、すでに重複が判明している２フレーム遅延画像を保持するフレームメモリに書き込むため、読み出しに必要な映像は上書きされない。入力映像のフレームが６以降の場合については、Ｓ３が「プルダウン映像以外」となるため、常に書き込み手順３で書き込み位置が決定される。よってＳ１２に基づき、書き込みＦＭ番号を決定し、書き込みを行う。
【００４７】
読み出し位置に関しては、入力映像のフレームが５までは、Ｓ３、Ｓ４に応じて決まるため、本実施例では出力映像の変化が均一になるように、Ｓ９１、Ｓ９２として、「１フレーム遅延画像または２フレーム遅延画像」と、当該画像（１フレーム遅延画像または２フレーム遅延画像）を生成したコマに対して１コマ前の画像を読み出すように指定している。入力映像の画像が６以降の場合は、Ｓ３が「プルダウン映像以外」となるため、１フレーム遅延画像と２フレーム遅延画像を読み出している。Ｓ７１、Ｓ７２については、現在書き込み中の画像を追い越さないように読み出すようにするとともに、書き込み画像に対して１コマ前の画像を読み出すように指定している。
【００４８】
上記制御を行うことで、プルダウン映像からプルダウン映像以外の映像へと遷移した直後に、Ｓ３が「プルダウン映像」と判定された場合でも、遷移後の入力の画像５が保持される。そのため、画像５を用いた補間・補償が可能となる。また同一コマから生成された画像が重複して保持されないように、書き込み・読み出し制御を行うことで一定のメモリ容量で補間・補償が可能となる。本実施例では、４個の画像を保持可能なメモリ容量で、正しい出力の生成が可能となる。
【００４９】
なお本実施例では、Ｘ１：Ｘ２：…：Ｘｎプルダウン映像の例として、２：２：２：４プルダウンの場合を示したが、他のプルダウン映像の場合であっても、上記内容に従って、フレームメモリ数Ｎを計算することで３個以上、ｎ＋２フレーム以下のメモリ容量で実施可能である。また上記ではＳ１０の変化量が均一になるように、Ｓ７１、Ｓ７２、Ｓ９１、Ｓ９２を読み出すように指定したが、Ｓ９１、Ｓ９２の読み出し方は上記内容に限定されるものではなく、実施の形態に応じて変えても良い。その場合には、本実施例より少ないメモリ数で実施することも可能で、最小の３フレームで実現出来る。
【００５０】
≪実施の形態４≫
実施の形態４では、入力映像信号が６０フレーム／秒の第１の視差データと、第２の視差データの画像が交互に繰り返す立体表示用の２：３プルダウン映像（以下、３次元２：３プルダウン映像と略記する）と、６０フレーム／秒で第１の視差データと、第２の視差データの画像が交互に繰り返し各フレームが異なるコマから生成された画像により構成される立体表示用の映像信号（以下、通常の３次元映像信号と略記する）が入力される場合に、入力映像から動きベクトルを検出し、補間・補償フレームを作成し、１２０フレーム／秒の出力映像信号を得る場合について説明する。通常の３次元映像信号としては、例えば３次元撮影が可能なビデオカメラで撮影された映像があげられる。
【００５１】
図２２、図２３は実施の形態４を実現する回路を示したものである。図２２のフレーム遅延信号制御回路１は、Ｓ１、Ｓ２、Ｓ３、Ｓ４を用いて、フレームメモリ２に対するＳ５とＳ６の制御を行う。Ｓ２は、Ｓ１と、Ｓ１を２フレーム期間遅延させるフレーム遅延回路Ｄ４により生成した２フレーム遅延信号Ｓ３０１を２フレーム期間に渡って差分判定した結果を、差分判定した２フレーム期間後に出力したものである。すなわち、現在のＳ１に対して２フレーム期間遅延した画像と４フレーム期間遅延した画像間の相関を示す。またＳ１と、Ｓ３０１と、Ｓ３０１を２フレーム期間遅延させるフレーム遅延回路Ｄ５により生成した４フレーム遅延信号Ｓ３０２を用いて、入力映像がプルダウン映像か判定したＳ３と、プルダウン映像の１周期の何番目のフレームが入力されているか識別するＳ４がプルダウン検出回路１００で生成される。その他の構成は、図１と同様で映像補間・補償回路４でＳ８、Ｓ９１、Ｓ９２を用いて、Ｓ１０を生成する。
【００５２】
図２３は、図２２のフレーム遅延信号制御回路１とフレームメモリ２の詳細な構成を示したものである。フレーム遅延信号制御回路１は、書き込み制御回路１ａ、フレームメモリ更新履歴保持回路１ｂ、読み出し制御回路１ｃから構成される。書き込み制御回路１ａは、Ｓ２、Ｓ３、Ｓ１２、４フレーム遅延画像の保持メモリ情報Ｓ１５を用いて、Ｓ１をフレームメモリＦＭ１からＦＭ６までのいずれの領域に書き込むかを決定し、Ｓ５を生成する。フレームメモリへの書き込み完了後にＳ１１をフレームメモリ更新履歴保持回路１ｂに書き込む。フレームメモリ更新履歴保持回路１ｂは、フレームメモリに対する書き込みと読み出し領域を決定するためのＳ１２、Ｓ１５、Ｓ１４を保持するとともに、Ｓ１１により随時更新を行う。読み出し制御回路１ｃはＳ３、Ｓ４、Ｓ１４を用いてフレームメモリＦＭ１からＦＭ６よりＳ６（各フレームメモリからの読み出し信号Ｒ１〜Ｒ６で構成）を選択して読み出す。フレームメモリ２は、書き込み制御回路１ａからのＳ５（各フレームメモリへの書き込み信号Ｗ１〜Ｗ６で構成）を保持して、映像補間・補償回路４でＳ１０を生成するためのＳ６を選択して読み出す。
【００５３】
Ｓ１が６０フレーム／秒の３次元２：３プルダウン映像である場合、図２４に示すように１／６０秒ごとに１フレームとなる映像信号が、１ＡL、１ＡＲ、１ＢＬ、１ＢＲ、２ＡＬ、２ＡＲ、２ＢＬ、２ＢＲ、２ＣＬ、２ＣＲ、３ＡＬ、３ＡＲ、３ＢＬ、３ＢＲ、４ＡＬ、４ＡＲと切り替わる。ここで１ＡＬ、１ＢＬのように、数字が同一であるフレームは同一コマから生成された画像であることを意味する。また最終の文字がＬであるものは第１の視差データ、Ｒであるものは第２の視差データの画像であることを意味する。すなわち、３次元２：３プルダウン映像の場合は、１／６０秒間隔で、第１の視差データと第２視差データが切り替わり、第１の視差データ、第２の視差データそれぞれで最初のコマから生成された画像が２フレーム連続したのち、次のコマから生成されたフレームへと切り替わる。以降、第１の視差データ、第２の視差データそれぞれで同一コマから生成された画像が３フレーム繰り返す。
【００５４】
Ｓ１から、Ｓ３、Ｓ４より図２４に示すタイミングで、映像補間・補償用フレームを読み出す場合を説明する。書き込み位置・読み出し位置の決定はＳ２およびＳ３により下記の通り決定する。
【００５５】
■書き込み位置の決定手順（図２５）
１．Ｓ３＝「プルダウン映像」であるか判定する。プルダウン映像である場合は手順２に進む。プルダウン映像でない場合は、手順３に進む。（Ｓｔｅｐ１）
２．Ｓ１を２フレーム期間遅延した画像と、４フレーム期間遅延させた画像が同一コマから生成されたフレームであるかを、Ｓ２を用いて判定する。Ｓ１を２フレーム期間遅延した画像と４フレーム期間遅延させた画像が同一コマから生成されたフレームでない場合は、Ｓ２が「あり」となり手順３に進む。Ｓ２を１フレーム期間遅延した画像と４フレーム期間遅延させた画像が同一コマから生成されたフレームである場合は、Ｓ２が「なし」となり手順４に進む。なお映像信号入力直後の４フレーム期間は、差分「あり」、「なし」どちらで判定しても良い。本実施例では「あり」と判定した場合で示しているが、「なし」と判定した場合でも「あり」と同様に１フレーム目、２フレーム目の画像は保持され、５フレーム目からは判定結果に従うため、同様の処理が行われる。（Ｓｔｅｐ２）
３．書き込み位置を「１フレーム遅延画像と２フレーム遅延画像」を除く以下の「書き込み位置の候補」のいずれかの保持領域に設定し、手順５に進む。書き込み位置の候補は、「最終更新からの経過時間が最も長い画像」、「同一コマから生成された複数の画像のうちの１つの画像」、および「読み出しが完了した画像」である。なお、本明細書では書き込み位置の候補を「最終更新からの経過時間が最も長い画像」にした場合で説明する。（Ｓｔｅｐ３）
４．書き込み位置を「４フレーム遅延画像」の保持領域に設定し、手順５に進む。（Ｓｔｅｐ４）
５．手順３、または手順４で指定された領域に書き込みを実施する。１フレーム分、書き込みが完了したら、「メモリ更新履歴」を更新する。次の画像が入力されたら、再び手順１を実行する。（Ｓｔｅｐ５）
【００５６】
■読み出し位置の決定手順（図２６）
１．Ｓ３＝「プルダウン映像」であるか判定する。プルダウン映像である場合は手順２に進む。プルダウン映像でない場合は、手順３に進む。（Ｓｔｅｐ１）
２．Ｓ３、Ｓ４に応じて、読み出し位置を決定する。読み出す画像に関しては、入力の画像を生成したコマから０〜２ｎコマ過去のコマから生成した画像で、異なるコマから生成されたフレームであればよく、補間・補償に応じて指定する。（Ｓｔｅｐ２）
３．読み出し位置を「１フレーム遅延画像または２フレーム遅延画像」と「３フレーム遅延画像または４フレーム遅延画像」の保持領域に設定する。（Ｓｔｅｐ３）
４．手順２、手順３で設定した保持領域から読み出しを実施する。１フレーム期間画像を読み出せたら、再び手順１を実行する。なおフレームの読み出しに関しては、補間・補償を行わない場合など、１フレームだけ読み出しを行っても良い。（Ｓｔｅｐ４）
【００５７】
上記手順に従って、書き込み位置・読み出し位置を決定した例を図２７に示す。なお、図２７では、フレームメモリ数＝６とし、フレームメモリ更新履歴保持回路１ｂの「メモリ更新履歴」の初期状態を、ＦＭ１⇒ＦＭ４⇒ＦＭ２⇒ＦＭ５⇒ＦＭ３⇒ＦＭ６の順番でメモリを更新した場合で示している。映像信号入力直後の入力の画像が１ＡLから１ＢＲまでの４フレーム期間は、Ｓ２が「あり」となるため、Ｓ１２に基づき、書き込みＦＭ番号を決定し、書き込みを行う。以降、入力の画像が２ＢＬ、２ＢＲ、３ＢＬ、３ＢＲの場合のように、Ｓ２が「あり」となった場合は、Ｓ１２に基づき、書き込みＦＭ番号を決定し、書き込みを行う。２ＡＬ、２ＡＲ、２ＣＬ、２ＣＲ、３ＡＬ、３ＡＲ、４ＡＬ、４ＡＲの場合のように、Ｓ２が「なし」となった場合は、Ｓ１５に基づき、書き込みＦＭ番号を決定し、書き込みを行う。
【００５８】
読み出しに関しては、Ｓ３、Ｓ４に応じて、Ｓ９１、Ｓ９２として、第１の視差データと第２の視差データを交互に読み出すために、「１フレーム遅延画像または２フレーム遅延画像」と、当該画像（１フレーム遅延画像または２フレーム遅延画像）と同一方向の視差データで１コマ前の画像を読み出すように指定している。Ｓ７１、Ｓ７２については、現在書き込み中の画像を追い越さないように読み出すようにするとともに、書き込み中の画像と同一方向の視差データで１コマ前の画像を読み出すように指定している。上記の通り、制御を行うことで、１フレーム遅延画像が常にメモリに保持されるとともに、同一コマから生成された画像が重複しないように、異なるコマから生成された画像が保持される。
【００５９】
次に、Ｓ１が６０フレーム／秒の３次元２：３プルダウン映像から６０フレーム／秒の通常の３次元映像信号へと切り替わった場合に、入力映像から動きベクトルを検出し、補間・補償フレームを作成し、１２０フレーム／秒のＳ１０を得る場合について説明する。回路構成は図１、図２と同様である。Ｓ１は図２８に示すように１／６０秒ごとに１フレームとなる映像信号が、１ＡL、１ＡＲ、１ＢＬ、１ＢＲ、２ＡＬ、２ＡＲ、２ＢＬ、２ＢＲ、３Ｌ、３Ｒ、４Ｌ、４Ｒ、５Ｌ、５Ｒ、６Ｌ、６Ｒと切り替わる。すなわち、２／６０秒の間、同一コマから生成された画像２ＢＲまでは、３次元２：３プルダウン映像が１／６０秒間隔で入力されており、以降の３Ｌからは通常の３次元映像信号へと遷移している。Ｓ１から、図２８に示すタイミングで、Ｓ７１、Ｓ７２、Ｓ９１、Ｓ９２を読み出し、Ｓ８、Ｓ１０を生成する場合について説明する。
【００６０】
フレームメモリ２に対する書き込み位置・読み出し位置は、Ｓ２、Ｓ３、Ｓ４を用いて、前述の書き込み位置・読み出し位置の決定手順に従って、図２９に示す通り決定される。Ｓ１がプルダウン映像である２ＢＲの入力までは、上記と同様に書き込みフレームが決定される。Ｓ１がプルダウン映像以外の映像信号となる画像３Ｌ、３Ｒが入力される場合には、Ｓ３が「プルダウン映像」となる。これはＳ３が、２フレーム期間前の各Ｓ１、Ｓ３０１、Ｓ３０２を用いて、生成されるためである。Ｓ３が「プルダウン映像以外」と判定されるのは、画像３Ｌ、３Ｒの最終の信号まで差分判定された後になるため、画像３Ｌ、３Ｒの入力期間はプルダウン映像の入力時と同様に書き込み位置が決定される。すなわち入力映像のフレームが３Ｌ、３Ｒの場合には、Ｓ２が「なし」となるため、Ｓ１５に基づき、書き込みＦＭ番号を決定し、書き込みを行う。入力映像信号の種別と連動した書き込み制御にはなっていないが、すでに重複が判明している４フレーム遅延画像を保持するフレームメモリに書き込むため、読み出しに必要な映像は上書きされない。入力映像のフレームが４Ｌ、４Ｒ以降の場合については、Ｓ３が「プルダウン映像以外」となるため、常に書き込み手順３で書き込み位置が決定される。よってＳ１２に基づき、書き込みＦＭ番号を決定し、書き込みを行う。
【００６１】
読み出し位置に関しては、入力映像のフレームが３Ｌ、３Ｒまでは、Ｓ３、Ｓ４に応じて決まるため、本実施例では出力映像の変化が均一になるように、Ｓ９１、Ｓ９２として、「１フレーム遅延画像または２フレーム遅延画像」と、当該画像（１フレーム遅延画像または２フレーム遅延画像）と同一方向の視差データで１コマ前の画像を読み出すように指定している。入力映像の画像が４Ｌ、４Ｒ以降の場合は、Ｓ３が「プルダウン映像以外」となるため、「１フレーム遅延画像または２フレーム遅延画像」と、当該画像（１フレーム遅延画像または２フレーム遅延画像）と同一方向の視差データで２フレーム前の画像を読み出すように指定している。Ｓ７１、Ｓ７２については、現在書き込み中の画像を追い越さないように読み出すようにするとともに、書き込み中の画像と同一方向の視差データで１コマ前の画像を読み出すように指定している。
【００６２】
上記制御を行うことで、プルダウン映像からプルダウン映像以外の映像へと遷移した直後に、Ｓ３が「プルダウン映像」と判定された場合でも、遷移後の入力の画像３Ｌ、３Ｒが保持される。そのため、画像３Ｌ、３Ｒを用いた補間・補償が可能となる。また同一コマから生成された画像が重複して保持されないように、書き込み・読み出し制御を行うことで一定のメモリ容量で補間・補償が可能となる。本実施例では、６個の画像を保持可能なメモリ容量で、正しい出力の生成が可能となる。
【産業上の利用可能性】
【００６３】
本発明の映像信号処理装置は、表示パネルとして液晶パネルを用いた液晶ディスプレイだけでなく画像表示装置全般に適用することが可能である。また、入力画像信号としては、テレビジョン放送信号に限らず、外部メディアから再生された映像信号など種々の映像信号であってもよい。
【符号の説明】
【００６４】
１    フレーム遅延信号制御回路
１ａ  書き込み制御回路（書き込み制御手段）
１ｂ  フレームメモリ更新履歴保持回路
１ｃ  読み出し制御回路（読み出し制御手段）
２    フレームメモリ
３    動きベクトル検出回路
４    映像補間・補償回路
１００  プルダウン検出回路（同一コマ判定手段）
Ｓ１    入力映像信号
Ｓ２    フレーム遅延信号間差分判定情報
Ｓ３    プルダウン映像判定情報
Ｓ４    プルダウン映像位相情報
Ｓ５    入力映像のフレームの映像信号
Ｓ６    フレーム遅延信号
Ｓ７１、Ｓ７２    動きベクトル検出用フレーム遅延信号
Ｓ８    動きベクトル情報
Ｓ９１、Ｓ９１    映像補間・補償用フレーム遅延信号
Ｓ１０  出力映像信号
Ｓ１１  更新フレームメモリ情報
Ｓ１２  最終更新からの経過時間が最も長い画像の保持メモリ情報
Ｓ１３  ２フレーム遅延画像の保持メモリ情報
Ｓ１４  メモリ更新履歴
Ｓ１５  ４フレーム遅延画像の保持メモリ情報
Ｓ１０１    １フレーム遅延信号
Ｓ１０２    ２フレーム遅延信号
Ｓ２００    現フレームの映像信号
Ｓ２０１    １フレーム遅延信号
Ｓ２０２    ２フレーム遅延信号
Ｓ３０１    ２フレーム遅延信号
Ｓ３０２    ４フレーム遅延信号
Ｄ１    フレーム遅延回路（第１の遅延手段）
Ｄ２    フレーム遅延回路（第２の遅延手段）
Ｄ３    フレーム遅延回路
Ｄ４    ２フレーム遅延回路（第１の遅延手段）
Ｄ５    ２フレーム遅延回路（第２の遅延手段）
Ｗ１〜ＷＮ    各フレームメモリへの書き込み信号
Ｒ１〜ＲＮ    各フレームメモリからの読み出し信号
ＦＭ１〜ＦＭＮ  映像信号を保持するフレームメモリ
【図１】
2014013657.tif 000003
【図２】
2014013657.tif 000004
【図３】
2014013657.tif 000005
【図４】
2014013657.tif 000006
【図５】
2014013657.tif 000007
【図６】
2014013657.tif 000008
【図７】
2014013657.tif 000009
【図８】
2014013657.tif 000010
【図９】
2014013657.tif 000011
【図１０】
2014013657.tif 000012
【図１１】
2014013657.tif 000013
【図１２】
2014013657.tif 000014
【図１３】
2014013657.tif 000015
【図１４】
2014013657.tif 000016
【図１５】
2014013657.tif 000017
【図１６】
2014013657.tif 000018
【図１７】
2014013657.tif 000019
【図１８】
2014013657.tif 000020
【図１９】
2014013657.tif 000021
【図２０】
2014013657.tif 000022
【図２１】
2014013657.tif 000023
【図２２】
2014013657.tif 000024
【図２３】
2014013657.tif 000025
【図２４】
2014013657.tif 000026
【図２５】
2014013657.tif 000027
【図２６】
2014013657.tif 000028
【図２７】
2014013657.tif 000029
【図２８】
2014013657.tif 000030
【図２９】
2014013657.tif 000031
【手続補正書】
【提出日】平成25年11月5日(2013.11.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力映像信号を画像単位で複数のフレームメモリのいずれかに選択的に書き込み、前記複数のフレームメモリのいずれかから選択的に映像信号を読み出して出力映像信号を生成する映像信号処理装置であって、
前記入力映像信号を任意のフレーム期間遅延させる第１の遅延手段と、前記第１の遅延手段の出力画像を１フレーム期間遅延させる第２の遅延手段と、前記第１および第２の遅延手段の出力画像が同一コマから生成された画像であるかを判定する同一コマ判定手段と、前記入力映像信号が同一コマから生成された画像が連続する映像信号であるかを示す入力映像種別情報と前記同一コマ判定手段の出力を用いて前記複数のフレームメモリのいずれかへの書き込みを行う書き込み制御手段と前記複数のフレームメモリのいずれかから読み出しを行う読み出し制御手段を有しており、
前記入力映像信号が同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延手段の出力画像が同一コマから生成された画像であるとき、前記複数のフレームメモリのうち，前記入力映像信号に対する遅延が前記第２の遅延手段の出力画像と同一の画像を保持しているフレームメモリに前記入力映像信号を書き込む第１の書き込み制御と、前記第１の書き込み制御時以外のとき、前記複数のフレームメモリのうち，前記入力映像信号の画像に対して１フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込む第２の書き込み制御と、
前記入力映像信号が同一コマから生成された画像が連続する映像であるとき、前記複数のフレームメモリのうち，前記入力映像信号の画像と同一の画像または前記入力映像信号の画像に対して所定フレーム数過去の画像を保持するいずれか一つのフレームメモリから画像を読み出し、さらに前記読み出した画像を生成したコマと異なるコマから生成した画像を保持するフレームメモリから画像を読み出す第１の読み出し制御と、前記第１の読み出し制御時以外は、前記複数のフレームメモリのうち，前記第１の遅延手段の出力画像と同一の画像を保持するフレームメモリから画像を読み出し、さらに前記入力映像信号に対する遅延が前記第２の遅延手段の出力画像と同一の画像を保持するフレームメモリから画像を読み出す第２の読み出し制御とを備えている
ことを特徴とする映像信号処理装置。
【請求項２】
請求項１に記載の映像信号処理装置において、
前記入力映像種別情報が、前記入力映像信号、前記第１の遅延手段の出力、および前記第２の遅延手段の出力を用いて生成された情報である
ことを特徴とする映像信号処理装置。
【請求項３】
請求項１に記載の映像信号処理装置において、
前記入力映像信号が、第１の視差データの画像と第２の視差データの画像とが交互に繰り返される３次元映像信号であり、
前記入力映像種別情報が、前記入力映像信号に含まれる前記第１の視差データの画像と前記第２の視差データの画像のそれぞれが同一コマから生成された画像が連続する映像であるかを示しており、
前記第２の遅延手段が、前記第１の遅延手段の出力画像を２フレーム期間遅延させるものであり、
前記第１の書き込み制御が、前記入力映像信号に含まれる前記第１の視差データの画像と前記第２の視差データの画像のそれぞれが同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延手段の出力画像が同一コマから生成された画像であるとき、前記複数のフレームメモリのうち，前記第２のフレーム遅延手段の出力信号の画像を保持しているフレームメモリに前記入力映像信号を書き込むものであり、
前記第２の書き込み制御が、前記複数のフレームメモリのうち，前記入力映像信号の画像に対して１フレーム期間過去の画像と２フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込む
ことを特徴とする映像信号処理装置。
【請求項４】
請求項３に記載の映像信号処理装置において、
前記入力映像種別情報が、前記入力映像信号、前記第１の遅延手段の出力、および前記第２の遅延手段の出力を用いて生成された情報である
ことを特徴とする映像信号処理装置。
【請求項５】
入力映像信号を画像単位で複数のフレームメモリのいずれかに選択的に書き込み、前記複数のフレームメモリのいずれかから選択的に映像信号を読み出して出力映像信号を生成する映像信号処理方法であって、
前記入力映像信号を任意のフレーム期間遅延させる第１の遅延ステップと、前記第１の遅延ステップの出力画像を１フレーム期間遅延させる第２の遅延ステップと、前記第１および第２の遅延ステップの出力画像が同一コマから生成された画像であるかを判定する同一コマ判定ステップと、前記入力映像信号が同一コマから生成された画像が連続する映像信号であるかを示す入力映像種別情報と前記同一コマ判定ステップの出力を用いて前記複数のフレームメモリのいずれかへの書き込みを行う書き込み制御ステップと前記複数のフレームメモリのいずれかから読み出しを行う読み出し制御ステップを有しており、
前記入力映像信号が同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延ステップの出力画像が同一コマから生成された画像であるとき、前記複数のフレームメモリのうち，前記入力映像信号に対する遅延が前記第２の遅延ステップの出力画像と同一の画像を保持しているフレームメモリに前記入力映像信号を書き込む第１の書き込み制御と、前記第１の書き込み制御時以外のとき、前記複数のフレームメモリのうち，前記入力映像信号の画像に対して１フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込む第２の書き込み制御と、
前記入力映像信号が同一コマから生成された画像が連続する映像であるとき、前記複数のフレームメモリのうち，前記入力映像信号の画像と同一の画像または前記入力映像信号の画像に対して所定フレーム数過去の画像を保持するいずれか一つのフレームメモリから画像を読み出し、さらに前記読み出した画像を生成したコマと異なるコマから生成した画像を保持するフレームメモリから画像を読み出す第１の読み出し制御と、前記第１の読み出し制御時以外は、前記複数のフレームメモリのうち，前記第１の遅延ステップの出力画像と同一の画像を保持するフレームメモリから画像を読み出し、さらに前記入力映像信号に対する遅延が前記第２の遅延ステップの出力画像と同一の画像を保持するフレームメモリから画像を読み出す第２の読み出し制御を備えている
ことを特徴とする映像信号処理方法。
【請求項６】
請求項５に記載の映像信号処理方法において、
前記入力映像種別情報が、前記入力映像信号、前記第１の遅延ステップの出力、および前記第２の遅延ステップの出力を用いて生成された情報である
ことを特徴とする映像信号処理方法。
【請求項７】
請求項５に記載の映像信号処理方法において、
前記入力映像信号が、第１の視差データの画像と第２の視差データの画像とが交互に繰り返される３次元映像信号であり、
前記入力映像種別情報が、前記入力映像信号に含まれる前記第１の視差データの画像と前記第２の視差データの画像のそれぞれが同一コマから生成された画像が連続する映像信号であるかを示しており、
前記第２の遅延ステップが、前記第１の遅延ステップの出力画像を２フレーム期間遅延させるものであり、
前記第１の書き込み制御が、前記入力映像信号に含まれる前記第１の視差データの画像と前記第２の視差データの画像のそれぞれが同一コマから生成された画像が連続する映像であり、かつ、前記第１および第２の遅延ステップの出力画像が同一コマから生成された画像であるとき、前記複数のフレームメモリのうち，前記第２のフレーム遅延ステップの出力信号の画像を保持しているフレームメモリに前記入力映像信号を書き込むものであり、
前記第２の書き込み制御が、前記複数のフレームメモリのうち，前記入力映像信号の画像に対して１フレーム期間過去の画像と２フレーム期間過去の画像を除く、最終更新からの経過時間が最も長い画像、または前記入力映像信号の画像に対して所定フレーム数過去の画像、または読み出しが完了した画像を保持しているフレームメモリに前記入力映像信号を書き込む書き込みものである
ことを特徴とする映像信号処理方法。
【請求項８】
請求項７に記載の映像信号処理方法において、
前記入力映像種別情報が、前記入力映像信号、前記第１の遅延ステップの出力、および前記第２の遅延ステップの出力を用いて生成された情報である
ことを特徴とする映像信号処理方法。
【国際調査報告】
2014013657.tif 000032
2014013657.tif 000033