(57)【特許請求の範囲】
【請求項１】
n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出手段と、上記プログレッシブフレームを、n枚のフィールドから構成されるインタレースフレームとして符号化し、映像符号を出力する符号化手段であり、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ち部分にはコマ落ち部分の直前あるいは直後の上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化手段とを備えたことを特徴とする映像情報処理装置。
【請求項２】
n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記インタレースフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを、上記インタレースフレームを構成するn枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記インタレース映像出力手段が出力したインタレースフレームを符号化し、映像符号を出力する符号化手段であり、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームに代わり対応する上記プログレッシブフレームをn枚のフィールドから構成されるインタレースフレームとして符号化し、且つコマ落ち部分には上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化手段とを備えたことを特徴とする映像情報処理装置。
【請求項３】
n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ち部の画像として、コマ落ち部の直前あるいは直後の上記プログレッシブフレームをコピーして補うコマ落ち対処手段と、上記プログレッシブ変換手段及びコマ落ち対処手段とが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理手段とを備えたことを特徴とする映像情報処理装置。
【請求項４】
n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記インタレースフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを構成するn枚のフィールドのうち、時間的にコマ落ち部に近い一枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換し、コマ落ち部の画像を該画像で補うコマ落ち対処手段と、上記インタレース映像出力手段及びコマ落ち対処手段とが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理手段とを備えたことを特徴とする映像情報処理装置。
【請求項５】
n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出ステップと、上記プログレッシブフレームを、n枚のフィールドから構成されるインタレースフレームとして符号化し、映像符号を出力する符号化ステップであり、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ち部分にはコマ落ち部分の直前あるいは直後の上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化ステップとを備えたことを特徴とする映像情報処理方法。
【請求項６】
n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記インタレースフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを、上記インタレースフレームを構成するn枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記インタレース映像出力ステップが出力するインタレースフレームを符号化し、映像符号を出力する符号化ステップであり、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームに代わり対応する上記プログレッシブフレームをn枚のフィールドから構成されるインタレースフレームとして符号化し、且つコマ落ち部分には上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化ステップとを備えたことを特徴とする映像情報処理方法。
【請求項７】
n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ち部の画像として、コマ落ち部の直前あるいは直後の上記プログレッシブフレームをコピーして補うコマ落ち対処ステップと、上記プログレッシブ変換ステップ及びコマ落ち対処ステップとが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理ステップとを備えたことを特徴とする映像情報処理方法。
【請求項８】
n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記インタレースフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを構成するn枚のフィールドのうち、時間的にコマ落ち部に近い一枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換し、コマ落ち部の画像を該画像で補うコマ落ち対処ステップと、上記インタレース映像出力ステップ及びコマ落ち対処ステップとが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理ステップとを備えたことを特徴とする映像情報処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は映像情報を符号化する映像情報処理装置に構成に関する。
【０００２】
【従来の技術】
近年のデジタル技術の発達により、従来ではアナログの形でしか扱えなかった、ビデオ映像のような映像情報も、デジタルの形で扱えるようになってきた。また、パーソナルコンピュータの高性能化により、デジタル化された映像情報を、パーソナルコンピュータによって処理できるようになってきた。
【０００３】
NTSCのようなアナログ映像信号を、一般に販売されているパーソナルコンピュータ用の画像取り込み装置(以下、キャプチャーカード)でデジタルデータに変換したときのデータ構造を、図11で説明する。NTSC信号では、映像は偶数フィールドと、奇数フィールドで構成されている。偶数フィールドと奇数フィールドは、空間的には1ライン分のずれがあり、また時間的には、６０分の１秒分のずれがある。このようなNTSC信号の偶数フィールドと奇数フィールドを、通常のキャプチャーカードでは、奇数フィールドと偶数フィールドがライン毎に組み合わさった、1101のような１枚のフレームとして、３０分の１秒に一枚の間隔で、コンピュータ内に取り込む。このように、本来時間的にも空間的にもずれている二枚のフィールドを、一枚のフレームとして取り扱うとき、そのフレームを、インタレースフレームという。すなわち、現在普及しているキャプチャーカードでは、NTSC信号を、インタレースフレームとしてデジタル化してコンピュータ内に取り込む。
【０００４】
上記したようなキャプチャーカードを用い、コンピュータ内に取り込んだインタレースフレームを符号化し、符号化映像情報として出力する映像情報処理装置の従来技術による例を、図を用いて説明する。図12は、従来技術による映像情報処理装置の構成を説明する図である。1201は、インターレース映像出力手段であり、インタレースフレームを出力するもので、一般にはキャプチャーカード等で実現され、NTSC信号を入力し、デジタル化した後にインタレースフレームとして出力するものである。1202は映像符号化手段であり、インタレース映像入力手段(1201)から入力されたインタレースフレームを、符号化し、符号化映像情報とするものである。本例では、インタレースフレームを、そのままインタレースフレームとして、符号化するものとする。例えば、MPEG2(Moving  Picture  ExpertGroup)の符号化規格によれば、符号化された映像情報が、インタレースフレームであることを示す符号が用意されているので、このような符号化手段を本例は想定している。しかし、それ以外の、例えば、インタレースフレームをフィールドに分割し、フィールド毎に符号化するような符号化手段を適用したとしても、従来技術を説明できる。このことは後に説明する。図13は、従来技術による映像情報処理装置の動作を説明する図である。
【０００５】
上記のように構成された従来技術による映像情報処理装置を、図12と図13を用いて説明する。まず、NTSC信号がインタレース映像出力手段(1201)に入力され、インタレース映像出力手段(1201)は、これをデジタル化し、インタレースフレームとして出力する。映像符号化手段(1202)は、上記インタレースフレームを符号化し、符号化されたインタレースフレームとして、出力する。これを繰り返す。
【０００６】
上記のように出力された符号化されたインタレースフレームが復号化される様子を説明するのが、図14である。符号化されたインタレースフレームは、映像復号化手段によって、インタレースフレームに復元される。このインタレーストフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。
【０００７】
【発明が解決しようとする課題】
従来技術による映像情報処理装置は、前述の例で説明したように、インタレースフレームを、そのまま符号化するものであった。このような方式は、インタレース映像出力手段が、確実に、すべてのフレームを出力することが条件となる。もし、インタレース映像出力手段が、コマ落としなどをしてしまい、それを符号化しなければならない場合には、従来技術では本質的な問題を有している。
【０００８】
図15は、上記の問題を説明するための図である。図15では、６枚のフィールドで構成されるNTSC信号がインタレース映像出力手段に入力されたものとする。６枚のフィールドの時間的な並びを示すため、1〜6の番号を示した。1がもっとも過去の映像であり、6がもっとも新しい映像である。上記のごとく６枚のフィールド(1〜6)が、インタレース映像出力手段に入力されたが、符号化の負荷が高く、デジタル化したインタレース映像のバッファが足らなくなった、等の理由により、コマ落ちし、６枚のフィールドのうち、中心の二枚(3,4)がインタレースフレームにならなかったものとする。すなわち、本来なら３枚のインタレースフレームが出力されるところが、２枚しか出力されなかった。そこで、映像符号化手段は、コマ落ちしたフレームに対して、「前回のフレームと同一」という符号を出力し(図15のb)、符号化映像情報とした。
【０００９】
上記のごとく符号化された映像情報を復号化される様子を説明するのが、図16である。上記で符号化された映像情報は、映像復号化手段によりインタレースフレームに復号化されるが、符号化映像のbは、「前回のフレームと同一」という符号なので、最初の一枚のインタレースフレームが、コピーされ、二枚目のインタレースフレームとして使用される。このように復号化されたインタレースフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。この時、最初のインタレースフレームは、「1,2」という時間的に変化するフィールドを持っており、２枚目のフレームは、最初のフレームを、コピーして使用するので、二枚目のフレームも、「1,2」と時間的に変化するフィールドを持つこととなる。これをNTSC信号として出力すると、最初、「1,2」とフィールドを出力した後に、もう一度、「1」のフィールドを出力する。これは、瞬間的にだが、「過去に戻る」こととなり、動きのある映像を出力すると、「1,2」と動いた映像が「1」で戻るので、映像が「ちらつく」という問題が発生してしまう。
【００１０】
図16で示した問題を回避するため、図15におけるbを、「偶数、奇数フィールドとも、前回の偶数フィールドと同じ」という符号とする。すなわち、図16で示した問題は、そもそも時間的に異なる２つのフィールドを持つフレームを、そのままコピーして使用したことに起因するものであるから、単一のフィールドをコピーして使用すれば、問題は回避できるはずである。
【００１１】
上記のごとく符号化された映像情報を復号化される様子を説明するのが、図17である。上記で符号化された映像情報は、映像復号化手段によりインタレースフレームに復号化されるが、符号化映像のbは、「偶数、奇数フィールドとも、前回の偶数フィールドと同じ」という符号なので、最初の一枚のインタレースフレームのうち、偶数フィールドのみコピーされ、二枚目のインタレースフレームとして使用される。このように復号化されたインタレースフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。この時、２枚目のフレームは、最初のフレームのうち、偶数フィールドを二回コピーして使用するので、二枚目のフレームは、「2,2」と、時間的に変化しない、同一のフィールドを持つこととなる。これをNTSC信号として出力すると、時間的には、「1,2,2,2,5,6」となり、「過去に戻る」ことはなくなるので、図16のように、「ちらつく」という問題は回避できる。しかし、空間的には、本来、偶数フィールドにある画像を、奇数フィールド、すなわち１ライン上に表示することになるので(図17のX)、画像が上下に「ゆれる」という問題が発生する。これは、静止している映像を出力すると、特に顕著に知覚される問題である。
【００１２】
上記した従来の技術による例では、映像符号化手段としては、インタレースフレームを、そのままインタレースフレームとして、符号化するものとしたが、それ以外の、例えば、インタレースフレームをフィールドに分割し、フィールド毎に符号化するような符号化手段を適用したとしても、上記と同様の問題が発生することは、いうまでもない。また、本例では、コマ落ちした部分に対して、「前回のフレームと同じ」あるいは「前回のフィールドと同じ」という符号を用いるものとしたが、符号を用いず、前回のフレーム、あるいはフィールドと同じ映像をそのまま用いてコマ落ちした部分を符号化しても、当然ながら同様の問題が発生する。また、「前回のフレームと同じ」という符号ではなく、「次回のフレームと同じ」という符号を用いたとしても、やはり、同様の問題が発生する。すなわち、コマ落ちした部分を補うのに使用するフィールドが、コマ落ちした部分のフィールドと、偶数、奇数が異なれば、空間的な問題が発生し、偶数、奇数をあわせようとすると、時間的な問題が発生するのである。  本発明は、従来の映像情報処理装置が有していた前記の問題に鑑み、システムの負荷変動によりコマ落ちが発生しても、「ちらつき」や「ゆれ」といった問題を回避しつつ、コマ落ち部分を補うことを可能とすることを目的とするものである。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、請求項１、及び請求項３にかかる映像情報処理装置は、すべてのインタレースフレームを、一旦、フレームを構成するフィールドのうちの一枚をプログレッシブ変換することでプログレッシブフレームにし、そのプログレッシブフレームをインタレースフレームとして処理し、コマ落ち部にはコマ落ちの直前あるいは直後のフレームをコピーして補うことを特徴とするものである。
【００１４】
また、請求項２にかかる映像情報処理装置は、コマ落ちがあった場合にのみ、コマ落ちの直前あるいは直後のインタレースフレームを、一旦、フレームを構成するフィールドのうちの一枚をプログレッシブ変換することでプログレッシブフレームにし、そのプログレッシブフレームをインタレースフレームとして処理し、コマ落ち部には、コマ落ちの直前あるいは直後のフレームをコピーして補うことを特徴とするものである。
【００１５】
また、請求項４にかかる映像情報処理装置は、コマ落ちがあった場合にのみ、コマ落ちの直前あるいは直後のフィールドをプログレッシブ変換することでプログレッシブフレームにし、コマ落ち部には、このプログレッシブフレームをインタレースフレームとして処理することで補うことを特徴とするものである。
【００１６】
また、請求項５、及び請求項７にかかる映像情報処理方法は、すべてのインタレースフレームを、一旦、フレームを構成するフィールドのうちの一枚をプログレッシブ変換することでプログレッシブフレームにし、そのプログレッシブフレームをインタレースフレームとして処理し、コマ落ち部にはコマ落ちの直前あるいは直後のフレームをコピーして補うことを特徴とするものである。
【００１７】
また、請求項６にかかる映像情報処理方法は、コマ落ちがあった場合にのみ、コマ落ちの直前あるいは直後のインタレースフレームを、一旦、フレームを構成するフィールドのうちの一枚をプログレッシブ変換することでプログレッシブフレームにし、そのプログレッシブフレームをインタレースフレームとして処理し、コマ落ち部には、コマ落ちの直前あるいは直後のフレームをコピーして補うことを特徴とするものである。
【００１８】
また、請求項８にかかる映像情報処理方法は、コマ落ちがあった場合にのみ、コマ落ちの直前あるいは直後のフィールドをプログレッシブ変換することでプログレッシブフレームにし、コマ落ち部には、このプログレッシブフレームをインタレースフレームとして処理することで補うことを特徴とするものである。
【００１９】
【発明の実施の形態】
（実施の形態１）
本発明の実施の形態１による映像情報処理装置は、すべてのインタレースフレームのフィールドを一旦プログレッシブフレームに変換し、それをインタレースフレームとして符号化するものである。
【００２０】
図1は、本発明の第１の実施の形態における映像情報処理装置の構成図であり、図2は、同装置の動作を説明する図である。図中、101はインターレース映像出力手段であり、インターレースフレームを出力するもので、一般にはキャプチャーカード等で実現され、NTSC信号を入力し、デジタル化した後にインタレースフレームとして出力するものである。102は映像符号化手段であり、プログレッシブ変換手段(104)が変換したプログレッシブフレームを、インタレースフレームとして、符号化するものである。また、コマ落ち検出手段が(103)がプログレッシブ変換手段が出力したプログレッシブフレームのコマ落ちを検出すると、コマ落ち部分に、「コマ落ちの直前のインタレースフレームと同一」という符号を出力するものである。103はコマ落ち検出手段であり、プログレッシブ変換手段(104)が出力するプログレッシブフレームのコマ落ちを検出するものである。104は、プログレッシブ変換手段であり、インタレース映像出力手段(101)が出力したインタレースフレームを構成するフィールドのうち、一枚のフィールドを、プログレッシブフレームに変換するものである。ここで、フィールドをプログレッシブフレームに変換する様子を、図3で示す。図3では、フィールド２の、間隙となっているラインを補間することで、プログレッシブフレームに変換している。フィールド２のピクセルａは、隣あう上下のラインを構成するピクセルの平均をとることで作成している。これをフィールド内補間という。また、フィールド２のピクセルｂは、先立つフィールド１から、対応する位置のピクセルをコピーすることで作成している。これをフィールド間補間という。フィールド間補間をすれば厳密にプログレッシブフレームの解像度が倍になるが、動きのある部分でフィールド間補間をすると、像が２重となり、見づらい画像となる。フィールド内補間の場合は、解像度は落ちるが、動きのある部分でも適応できる。このように、フィールドをライン補間してプログレッシブフレームにする技術については、多くの研究がなされている。本例のプログレッシブ変換手段(104)は、いずれかの方法を用いて、インタレースフレームを構成するフィールドのうち、偶数フィールドを、プログレッシブフレームに変換するものとする。上記の例でもわかるように、変換されたプログレッシブフレームは、垂直解像度は倍になっているが、時間的には、偶数フィールドの時点での時間成分のみを持つものとなる。
【００２１】
上記のように構成された第１の実施の形態における映像情報処理装置の動作を、図1と図2を用いて説明する。まず、NTSC信号がインタレース映像出力手段(101)に入力され、インタレース映像出力手段(101)は、これをデジタル化し、インタレースフレームとして出力する。ここでは、「1,2,3,4,5,6,7,8」の順序でフィールドが入力されたが、コマ落ちが起こり、本来ならば４枚出力されるはずのインタレースフレームが、「1,2」と、「3,4」と、「7,8」の時間要素を持つ三枚しか、出力されなかった。このインタレースフレームを、プログレッシブ変換手段(104)が、偶数フィールドのみ、プログレッシブフレームにする。偶数フィールドのみをプログレッシブフレームにするので、垂直解像度は倍だが、時間要素は「2」と「4」と「8」である、プログレッシブフレームが３枚出力される。このプログレッシブフレームを、映像符号化手段(102)が、インターレースフレームとして、符号化し、「a」と「b」と「d」を得る。また、コマ落ち検出手段(103)は、プログレッシブフレームに付与されたタイムスタンプを読み取ることで、コマ落ちが発生したことを検出する。コマ落ち検出手段(103)からの指示により、映像符号化手段(102)は、「b」と同一であるという、「c」という符号を出力する。
【００２２】
上記のように出力された符号化されたインタレースフレームが復号化される様子を説明するのが、図4である。符号化されたインタレースフレームは、映像復号化手段によって、インタレースフレームに復元される。このインタレーストフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。このとき、「c」は、「b」と同じであるという符号になっており、また、「a」と「b」と「d」は、一度プログレッシブフレームに変換した画像を、インタレースフレームとして符号化したものであるから、垂直解像度はフィールドの倍になっているものの、時間的要素は「2」と「4」と「8」しかない。したがって、再生される映像の時間的要素は、「2,2,4,4,4,4,8,8」となる。すなわち、従来の技術で問題となった、「時間が戻る」ことによる「ちらつき」の問題が解決でき、さらに、プログレッシブフレームに変換することで垂直解像度を補間しているので、本来偶数フィールドで表示すべき画像を奇数フィールドで表示することによる「ゆれ」の問題も解決できる。
【００２３】
なお、本例では、偶数フィールドをプログレッシブ変換するものとしたが、これは、奇数フィールドをプログレッシブ変換することもできる。また、本例では、コマ落ち検出手段が、プログレッシブフレームに付与されたタイムスタンプを読み取ることでコマ落ちを検出するものとしたが、プログレッシブ変換手段、あるいはインタレース映像出力手段から、コマ落ちした情報を得ても実現できる。また、本例では、映像符号化手段としては、プログレッシブフレームを、インタレースフレームとして、符号化するものとしたが、それ以外の、例えば、プログレッシブフレームをライン毎に分割してフィールドとし、フィールド毎に符号化するような符号化手段を適用したとしても、本発明は適用できる。また、本例では、コマ落ちした部分に対して、「前回のフレームと同じ」という符号を用いるものとしたが、符号を用いず、前回のフレーム、と同じ映像をそのまま用いてコマ落ちした部分を符号化しても、当然ながら問題は解決できる。また、「前回のフレームと同じ」という符号ではなく、「次回のフレームと同じ」という符号を用いたとしても、やはり、問題は解決できる。
【００２４】
さらに、本実施の形態では、出力されたインタレースフレームの処理として、画像の符号化を行うものとしたが、本発明はこのような処理に限定されるものではない。符号化処理ではなく、一般的な画像処理においても、本実施の形態で示したような本発明の実施が行えることはいうまでもない。その場合、コマ落ち部には、「直前、あるいは直後と同一」という符号を用いるのではなく、直前、あるいは直後のフレームをコピーし、コマ落ちを補う、コマ落ち対処手段、等を用意すればよい。
【００２５】
（実施の形態２）
本発明の実施の形態２による映像情報処理装置は、コマ落ちがあった時に、コマ落ちの直前あるいは直後のインタレースフレームのみ、フィールドを一旦プログレッシブフレームに変換し、それをインタレースフレームとして符号化し、且つ、コマ落ち部分には、プログレッシブフレームに変換した画像と同一であるという符号を出力するものでる。
【００２６】
図5は、本発明の第２の実施の形態における映像情報処理装置の構成図であり、図6は、同装置の動作を説明する図である。図中、501は映像符号化手段であり、インタレース映像出力手段(101)が出力したインタレースフレームを符号化するものであり、且つ、コマ落ち検出部(502)がインタレースフレームのコマ落ちを検出すると、コマ落ちの直前のインタレースフレームに関してはこれを符号化せず、代わりにプログレッシブ変換手段(503)が出力したプログレッシブフレームを、インタレースフレームとして、符号化し、さらに、コマ落ち部分に関しては、「直前のインタレースフレームと同一」という符号を出力するものである。502はコマ落ち検出手段であり、インタレース映像出力手段(101)が出力したインタレースフレームのコマ落ちを検出するものである。503は、プログレッシブ変換手段であり、コマ落ち検出手段(502)がコマ落ちを検出すると、コマ落ち部分の直前のインタレースフレームを構成するフィールドのうち、偶数フィールドを、プログレッシブフレームに変換し、出力するものである。フィールドをプログレッシブフレームに変換する方法については、実施の形態１で説明した方法と同じである。その他の構成要素については実施の形態１と同様であるので、説明は割愛する。
【００２７】
上記のように構成された第２の実施の形態における映像情報処理装置の動作を、図5と図6を用いて説明する。まず、NTSC信号がインタレース映像出力手段(101)に入力され、インタレース映像出力手段(101)は、これをデジタル化し、インタレースフレームとして出力する。ここでは、「1,2,3,4,5,6,7,8」の順序でフィールドが入力されたが、コマ落ちが起こり、本来ならば４枚出力されるはずのインタレースフレームが、「1,2」と、「3,4」と、「7,8」の時間要素を持つ三枚しか、出力されなかった。このコマ落ちを、コマ落ち検出手段(502)が、インタレースフレームに付与されたタイムスタンプを読み取ることで検出し、プログレッシブ変換手段(503)に対して、変換の指示を出す。プログレッシブ変換手段(503)は、変換の指示を受けて、コマ落ち部分の直前のインタレースフレームの、偶数フィールドのみ、プログレッシブフレームにする。偶数フィールドのみをプログレッシブフレームにするので、垂直解像度は倍だが、時間要素は「4」である、プログレッシブフレームが一枚出力される。一方、映像符号化手段(501)は、コマ落ち検出手段(502)のコマ落ちの指示を受け、コマ落ち部分の直前のインタレースフレーム(3,4)に関しては符号化せず、代わりにプログレッシブ変換手段(503)が出力したプログレッシブフレームを、インタレースフレームとして、符号化する(図中の「b」)。また、コマ落ち部分に関しては、「直前のインタレースフレームと同一」という符号(図中の「c」)を出力する。さらに、その後のインタレースフレーム(7,8)については、通常どおり、インタレースフレームとして、符号化する(図中の「d」)。
【００２８】
上記のように出力された符号化されたインタレースフレームが復号化される様子を説明するのが、図7である。符号化されたインタレースフレームは、映像復号化手段によって、インタレースフレームに復元される。このインタレーストフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。このとき、「c」は、「b」と同じであるという符号になっており、また、「b」は、一度プログレッシブフレームに変換した画像を、インタレースフレームとして符号化したものであるから、垂直解像度はフィールドの倍になっているものの、時間的要素は「4」しかない。したがって、再生される映像の時間的要素は、「1,2,4,4,4,4,7,8」となる。すなわち、従来の技術で問題となった、「ちらつき」の問題が解決でき、さらに、プログレッシブフレームに変換することで垂直解像度を補間しているので、本来偶数フィールドで表示すべき画像を奇数フィールドで表示することによる「ゆれ」の問題も解決できる。さらに、実施の形態１では、すべてのフレームの偶数フィールドをプログレッシブ変換していたため、すべてのフレームの時間的要素が半分となり、コマ落ちが発生しなかったとしても、本来1/60秒に一回動くはずの映像が、1/30秒に一回となり、動きがカクカクするという問題を有していたが、本実施の形態では、コマ落ちが発生した場合にのみ、プログレッシブ変換を行うので、コマ落ちが発生しない限り、1/60秒の滑らかな再生が実現できる。さらに、コマ落ちが生じた時のみプログレッシブ変換を行うことで、毎フレームごとにプログレッシブ変換を行う場合に比べ、計算機資源の節約が図れるという利点もある。
【００２９】
なお、本例では、偶数フィールドをプログレッシブ変換するものとしたが、これは、奇数フィールドをプログレッシブ変換することもできる。また、本例では、映像符号化手段としては、プログレッシブフレームを、インタレースフレームとして、符号化するものとしたが、それ以外の、例えば、プログレッシブフレームをライン毎に分割してフィールドとし、フィールド毎に符号化するような符号化手段を適用したとしても、本発明は適用できる。また、本例では、コマ落ちした部分に対して、「前回のフレームと同じ」という符号を用いるものとしたが、符号を用いず、前回のフレーム、と同じ映像をそのまま用いてコマ落ちした部分を符号化しても、当然ながら問題は解決できる。また、コマ落ち部分の直前のインタレースフレームをプログレッシブ変換するのではなく、コマ落ち部分の直後のインタレースフレームをプログレッシブ変換し、コマ落ち部分には、「前回のフレームと同じ」という符号ではなく、「次回のフレームと同じ」という符号を用いても、問題は解決できる。
【００３０】
（実施の形態３）
本発明の実施の形態３による映像情報処理装置は、コマ落ちがあった時に、コマ落ちの直前あるいは直後のインタレースフレームの、コマ落ち部分に時間的に近いフィールドを、一旦プログレッシブフレームに変換し、それをインタレースフレームとして符号化して、コマ落ち部分の符号として用いるものである。
【００３１】
図8は、本発明の第２の実施の形態における映像情報処理装置の構成図であり、図9は、同装置の動作を説明する図である。図中、801は映像符号化手段であり、インタレース映像出力手段(101)が出力したインタレースフレームを符号化するものであり、且つ、コマ落ち検出部(502)がインタレースフレームのコマ落ちを検出すると、コマ落ち部分の符号として、ダミー用符号出力手段(802)が出力したダミー用の符号を用いるものである。802は、ダミー用符号出力手段であり、コマ落ち検出部(502)がインタレースフレームのコマ落ちを検出すると、コマ落ち部分の直前のインタレースフレームを構成するフィールドのうち、コマ落ち部に時間的に近いフィールド、すなわち、この場合は偶数フィールドを、プログレッシブフレームに変換し、その画像を符号化して、出力するものである。フィールドをプログレッシブフレームに変換する方法については、実施の形態１で説明した方法と同じである。その他の構成要素については実施の形態２と同様であるので、説明は割愛する。
【００３２】
上記のように構成された第３の実施の形態における映像情報処理装置の動作を、図8と図9を用いて説明する。まず、NTSC信号がインタレース映像出力手段(101)に入力され、インタレース映像出力手段(101)は、これをデジタル化し、インタレースフレームとして出力する。ここでは、「1,2,3,4,5,6,7,8」の順序でフィールドが入力されたが、コマ落ちが起こり、本来ならば４枚出力されるはずのインタレースフレームが、「1,2」と、「3,4」と、「7,8」の時間要素を持つ三枚しか、出力されなかった。このコマ落ちを、コマ落ち検出手段(502)が、インタレースフレームに付与されたタイムスタンプを読み取ることで検出し、ダミー用符号出力手段(802)に対して、ダミー用符号出力の指示を出す。ダミー用符号出力手段(802)は、上記の指示を受けて、コマ落ち部分の直前のインタレースフレームの、偶数フィールドを、プログレッシブフレームにする。偶数フィールドのみをプログレッシブフレームにするので、垂直解像度は倍だが、時間要素は「4」である。このプログレッシブフレームを、インタレースフレームとして、符号化して、出力する。一方、映像符号化手段(801)は、コマ落ち検出手段(502)のコマ落ちの指示を受け、コマ落ち部分に、ダミー用符号出力手段(802)が出力したダミー用符号を出力する(図中の「c」)。さらに、その後のインタレースフレーム(7,8)については、通常どおり、インタレースフレームとして、符号化する(図中の「d」)。
【００３３】
上記のように出力された符号化されたインタレースフレームが復号化される様子を説明するのが、図10である。符号化されたインタレースフレームは、映像復号化手段によって、インタレースフレームに復元される。このインタレーストフレームを、NTSC出力手段が、偶数フィールドと奇数フィールドとに分割し、アナログ信号にして出力する。このとき、「c」は、一度プログレッシブフレームに変換した画像を、インタレースフレームとして符号化したものであるから、垂直解像度はフィールドの倍になっているものの、時間的要素は「4」しかない。したがって、再生される映像の時間的要素は、「1,2,3,4,4,4,7,8」となる。すなわち、従来の技術で問題となった、「ちらつき」の問題が解決でき、さらに、プログレッシブフレームに変換することで垂直解像度を補間しているので、本来偶数フィールドで表示すべき画像を奇数フィールドで表示することによる「ゆれ」の問題も解決できる。さらに、実施の形態２では、コマ落ちの直前のフィールドをプログレッシブフレームに変換していたため、コマ落ち部分と合わせて多くの時間成分が失われていたという問題を有していたが、本実施の形態では、コマ落ち部分のみ時間成分が失われるので、滑らかな再生が実現できる。
【００３４】
なお、本例では、ダミー用符号出力手段と映像符号化手段としては、プログレッシブフレームを、インタレースフレームとして、符号化するものとしたが、それ以外の、例えば、プログレッシブフレームをライン毎に分割してフィールドとし、フィールド毎に符号化するような符号化手段を適用したとしても、本発明は適用できる。また、本例では、コマ落ちした部分に対して、まず、コマ落ちの直前のフィールドをプログレッシブフレームに変換し、その画像をインタレースフレームとして符号化した符号を用いていたが、本発明を実装する処理系に、「前回のフィールドをプログレッシブ変換したものと同一(あるいは、前回のフィールドのライン補間したものと同一)」という符号が用意されていれば、そのような符号をそのまま用いてもよい。また、コマ落ち部分の直前のフィールドをプログレッシブ変換するのではなく、コマ落ち部分の直後のフィールドをプログレッシブ変換し、それを符号化し、コマ落ち部分に用いても、問題は解決できる。その場合、変換するフィールドは、奇数フィールドとなる。
【００３５】
さらに、本実施の形態では、出力されたインタレースフレームの処理として、画像の符号化を行うものとしたが、本発明はこのような処理に限定されるものではない。符号化処理ではなく、一般的な画像処理においても、本実施の形態で示したような本発明の実施が行えることはいうまでもない。その場合、ダミー用符号出力手段の代わりに、直前、あるいは直後のフィールドをプログレッシブ変換し、その画像をコマ落ちを補う、コマ落ち対処手段、等を用意すればよい。
【００３６】
さらに、これまで述べた本発明の方法を、プログラム製品として実現し、それをフロッピーディスクやその他の記憶媒体などに格納して配布した場合や、コンピュータネットワーク等の媒体を通じて配布した場合などでも、本発明が有効であることは言うまでもない。
【００３７】
【発明の効果】
以上のように、本発明の請求項１にかかる映像情報処理装置は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出手段と、上記プログレッシブフレームを、n枚のフィールドから構成されるインタレースフレームとして符号化し、映像符号を出力する符号化手段であり、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ち部分にはコマ落ち部分の直前あるいは直後の上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化手段とを備えたことを特徴とすることで、インタレースフレームを符号化する際に、コマ落ちが発生し、そのコマ落ちを直前あるいは直後のフレームあるいはフィールドをコピーして補う場合に発生する「ちらつき」や「ゆれ」といった問題を解決することができる。
【００３８】
請求項２にかかる映像情報処理装置は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記インタレースフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを、上記インタレースフレームを構成するn枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記インタレースフレームを符号化し、映像符号を出力する符号化手段であり、上記コマ落ち検出手段がコマ落ちを検出すると、上記インタレースフレームに代わり対応する上記プログレッシブフレームをn枚のフィールドから構成されるインタレースフレームとして符号化し、且つコマ落ち部分には上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化手段とを備えたことを特徴とすることで、コマ落ちがない部分は1/60fpsの滑らかな動きを保ちつつ、また、プログレッ  シブ変換のための計算機資源を節約した上で、請求項１で述べた効果を実現できる。
【００３９】
請求項３にかかる映像情報処理装置は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換手段と、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ち部の画像として、コマ落ち部の直前あるいは直後の上記プログレッシブフレームをコピーして補うコマ落ち対処手段と、上記プログレッシブ変換手段及びコマ落ち対処手段とが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理手段とを備えたことを特徴とすることで、インタレースフレームを処理する際に、コマ落ちが発生し、そのコマ落ちを直前あるいは直後のフレームあるいはフィールドをコピーして補う場合に発生する「ちらつき」や「ゆれ」といった問題を解決することができる。
【００４０】
請求項４にかかる映像情報処理装置は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力手段と、上記インタレースフレームのコマ落ちを検出するコマ落ち検出手段と、上記コマ落ち検出手段がコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを構成するn枚のフィールドのうち、時間的にコマ落ち部に近い一枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換し、コマ落ち部の画像を該画像で補うコマ落ち対処手段と、上記インタレース映像出力手段及びコマ落ち対処手段とが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理手段とを備えたことを特徴とすることで、時間的成分の欠落をコマ落ち部分のみにとどめ、請求項３で述べた効果を実現できる。
【００４１】
請求項５にかかる映像情報処理方法は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出ステップと、上記プログレッシブフレームを、n枚のフィールドから構成されるインタレースフレームとして符号化し、映像符号を出力する符号化ステップであり、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ち部分にはコマ落ち部分の直前あるいは直後の上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化ステップとを備えたことを特徴とすることで、インタレースフレームを符号化する際に、コマ落ちが発生し、そのコマ落ちを直前あるいは直後のフレームあるいはフィールドをコピーして補う場合に発生する「ちらつき」や「ゆれ」といった問題を解決することができる。
【００４２】
請求項６にかかる映像情報処理方法は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記インタレースフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを、上記インタレースフレームを構成するn枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記インタレースフレームを符号化し、映像符号を出力する符号化ステップであり、上記コマ落ち検出ステップがコマ落ちを検出すると、上記インタレースフレームに代わり対応する上記プログレッシブフレームをn枚のフィールドから構成されるインタレースフレームとして符号化し、且つコマ落ち部分には上記プログレッシブフレームと同一の画像であるとする符号を出力し映像符号とする映像符号化ステップとを備えたことを特徴とすることで、コマ落ちがない部分は1/60fpsの滑らかな動きを保ちつつ、また、プログレッシブ変換のための計算機資源を節約した上で、請求項５で述べた効果を実現できる。
【００４３】
請求項７にかかる映像情報処理方法は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記n枚のフィールドのうち1枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換するプログレッシブ変換ステップと、上記プログレッシブフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ち部の画像として、コマ落ち部の直前あるいは直後の上記プログレッシブフレームをコピーして補うコマ落ち対処ステップと、上記プログレッシブ変換ステップ及びコマ落ち対処ステップとが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理ステップとを備えたことを特徴とすることで、インタレースフレームを処理する際に、コマ落ちが発生し、そのコマ落ちを直前あるいは直後のフレームあるいはフィールドをコピーして補う場合に発生する「ちらつき」や「ゆれ」といった問題を解決することができる。
【００４４】
請求項８にかかる映像情報処理方法は、n枚のフィールドから構成されるインタレースフレームを出力するインタレース映像出力ステップと、上記インタレースフレームのコマ落ちを検出するコマ落ち検出ステップと、上記コマ落ち検出ステップがコマ落ちを検出すると、コマ落ちの直前あるいは直後の上記インタレースフレームを構成するn枚のフィールドのうち、時間的にコマ落ち部に近い一枚のフィールドをn倍ライン補間することでプログレッシブフレームに変換し、コマ落ち部の画像を該画像で補うコマ落ち対処ステップと、上記インタレース映像出力ステップ及びコマ落ち対処ステップとが出力したフレームを、インタレースフレームとして、画像処理を行う画像処理ステップとを備えたことを特徴とすることで、時間的成分の欠落をコマ落ち部分のみにとどめ、請求項７で述べた効果を実現できる。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態の映像情報処理装置の構成図
【図２】  本発明の第１の実施の形態の映像情報処理装置の動作を説明する図
【図３】  プログレッシブ変換を説明する図
【図４】  本発明の第１の実施の形態の映像情報処理装置で符号化した映像符号化情報を復号化した時の動作を説明する図
【図５】  本発明の第２の実施の形態の映像情報処理装置の構成図
【図６】  本発明の第２の実施の形態の映像情報処理装置の動作を説明する図
【図７】  本発明の第２の実施の形態の映像情報処理装置で符号化した映像符号化情報を復号化した時の動作を説明する図
【図８】  本発明の第３の実施の形態の映像情報処理装置の構成図
【図９】  本発明の第３の実施の形態の映像情報処理装置の動作を説明する図
【図１０】  本発明の第３の実施の形態の映像情報処理装置で符号化した映像符号化情報を復号化した時の動作を説明する図
【図１１】  インタレースフレームを説明する図
【図１２】  従来技術による映像情報処理装置の構成図
【図１３】  従来技術による映像情報処理装置の動作を説明する図
【図１４】  従来技術による映像情報処理装置で符号化した映像符号化情報を復号化した時の動作を説明する図
【図１５】  従来技術による映像情報処理装置においてコマ落ちが発生した時の動作を説明する図
【図１６】  従来技術による映像情報処理装置で符号化した映像符号化情報を復号化した際の不具合を説明する第１の図
【図１７】  従来技術による映像情報処理装置で符号化した映像符号化情報を復号化した際の不具合を説明する第２の図
【符号の説明】
１０１  インタレース映像出力手段
１０２  映像符号化手段
１０３  コマ落ち検出手段
１０４  プログレッシブ変換手段
【図１】
0004003267.tif 000002
【図２】
0004003267.tif 000003
【図３】
0004003267.tif 000004
【図４】
0004003267.tif 000005
【図５】
0004003267.tif 000006
【図６】
0004003267.tif 000007
【図７】
0004003267.tif 000008
【図８】
0004003267.tif 000009
【図９】
0004003267.tif 000010
【図１０】
0004003267.tif 000011
【図１１】
0004003267.tif 000012
【図１２】
0004003267.tif 000013
【図１３】
0004003267.tif 000014
【図１４】
0004003267.tif 000015
【図１５】
0004003267.tif 000016
【図１６】
0004003267.tif 000017
【図１７】
0004003267.tif 000018