(57)【要約】【課題】テレシネ映像のインバーステレシネ符号化時に、静止画が入力された場合、少ない処理で符号化方式を適切に決定し、符号化を行なうためのテレシネ変換画像判定装置および方法を提供する。【解決手段】テレシネ映像をインバーステレシネ符号化している場合において、入力された映像と、入力映像の直前に入力された同一フィールドの映像間の画素について、相関の大小を判定する。相関の大小情報を用いて、入力映像が静止画であるかを判定し、静止画であればインバーステレシネ符号化を続行する。【選択図】図１
2009296042.tif 000002
【特許請求の範囲】
【請求項１】
テレシネ映像をインバーステレシネ符号化するためのテレシネ変換画像判定装置であって、
新たに入力された入力映像と、その直前に入力された同一フィールドの入力映像と、の両者を構成する画素についての相関関係の度合いを判定するための画素相関判定手段と、
前記画素相関判定手段による判定結果に基づいて前記入力映像が静止画であるか否かを判定して、静止画の場合に前記インバーステレシネ符号化を継続するためのインバーステレシネ変換手段と、
を備えることを特徴とするテレシネ変換画像判定装置。
【請求項２】
テレシネ映像をインバーステレシネ符号化するためのテレシネ変換画像判定方法であって、
画素相関判定手段によって、新たに入力された入力映像と、その直前に入力された同一フィールドの入力映像と、の両者を構成する画素についての相関関係の度合いを判定するステップと、
インバーステレシネ変換手段によって、前記画素相関判定手段による判定結果に基づいて前記入力映像が静止画であるか否かを判定して、静止画の場合に前記インバーステレシネ符号化を継続するステップと、
を有することを特徴とするテレシネ変換画像判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１秒当たりに表示される画像数が異なるフレーム単位により構成された再生動画を変換処理して効率よく圧縮符号化するためのテレシネ変換画像判定装置及び方法に関する。
【背景技術】
【０００２】
映画フィルムの動画（シネマ映像）は、１秒間に２４フレーム（１フレームは１枚の画像）の画像を連続して表示して、視聴者の視覚の残像現象により動画として認識されている。一方、ＮＴＳＣ方式によるテレビ信号では、１秒間に３０フレームの画像を連続して表示している。さらに、テレビ信号の１フレームは２つのフィールドの組み合わせで構成されている。このため、テレビ信号の動画は１秒間に６０フィールドの画像が連続して表示されることにより構成されている。
【０００３】
ここで、シネマ映像をＮＴＳＣ方式によるテレビ信号受像機で表示するためには、毎秒２４フレームのシネマ映像を毎秒６０フィールドのテレビ信号に変換して表示する必要があり、この変換を「テレシネ変換」という。
【０００４】
このテレシネ変換の実現方法として、一般には「２−３プルダウン方式（２：３プルダウン方式とも言う）」がある。これは、シネマ映像の１枚目を２フィールド、２枚目を３フィールド、３枚目を２フィールド、４枚目を３フィールド、…というように重複させて６０フィールドに変換する方法である。なお、シネマ映像の１枚目を３フィールド、２枚目を２フィールドに対応させる３−２プルダウン方式（３：２プルダウン方式）もあるが、３−２プルダウン方式は、２−３プルダウン方式と実質的に同じ処理である。
【０００５】
図３は、テレシネ変換を示す図である。図３（ａ）の「シネマ映像」に示すようなシネマ映像が入力された場合、各シネマ映像は、図３（ｂ）の「テレシネ変換」に示すように、シネマ映像「１」がトップフィールド「１ｔ」とボトムフィールド「１ｂ」に、シネマ映像「２」がトップフィールド「２ｔ」と、ボトムフィールド「２ｂ」と、トップフィールド「２ｔ’」（「’」は重複フィールド画像を示す）に変換される。
【０００６】
以下同様に、シネマ映像「３」はトップフィールド「３ｔ」とボトムフィールド「３ｂ」、シネマ映像「４」はトップフィールド「４ｔ」とボトムフィールド「４ｂ」とボトムフィールド「４ｂ’」（重複フィールド画像）に変換される。
【０００７】
これをテレビ信号として表示する際には、図３（ｃ）の「表示」に示すように、「１ｔ」と「１ｂ」を第１フレーム、「２ｔ」と「２ｂ」を第２フレーム、「２ｔ’」と「３ｂ」を第３フレーム、「３ｔ」と「４ｂ」を第４フレーム、「４ｔ」と「４ｂ’」を第５フレーム…というように表示する。
【０００８】
正常にテレシネ変換が行なわれた場合、図４に示すようなＰ１〜Ｐ４のパターン（以下、テレシネパターン）が連続していると考えることができる。図４に示すテレシネパターンでは、Ｐ２の「Ｂｔ’」とＰ４の「Ｄｂ’」が重複フィールドである。上記のようなテレシネ変換によって、映像（テレシネ映像）が作成される。
【０００９】
作成したテレシネ映像に対して、デジタル動画像圧縮符号化(例えばＭＰＥＧ−２やＨ．２６４。以下、符号化)を行う際には「２ｔ’」や「４ｂ’」といった重複フィールド画像は、「２ｔ」や「４ｂ」と同じである。そのため、テレシネ映像中の重複フィールド画像を検出し、削除することで、符号化効率を向上することができる。６０フィールド／秒の画像から４８フィールド／秒の画像に変換する処理をインバーステレシネ変換と呼ぶ。
【００１０】
ここで、従来のインバーステレシネ変換処理の一例を以下に示す。
【００１１】
重複フィールドの検出は、図３（ｄ）に示すように、テレシネ映像において時間的に隣接するトップフィールド間（例えば「１ｔ」と「２ｔ」）、もしくはボトムフィールド間（例えば「１ｂ」と「２ｂ」）の画素値の相関を調べることで行なわれる。例えば「２ｔ」と「２ｔ’」は、もともと同じ画像であったため、相関が高くなる。
【００１２】
この場合のように相関が高いと判定されたフィールド「２ｔ’」を検出し、検出した相関の高いフィールドの位置と、テレシネパターンの重複フィールドの位置が一致するかどうかの判定（以下、テレシネ判定）が行なわれる。テレシネ判定の結果が一致すれば、入力された映像はテレシネ映像であると判定され、重複フィールドに該当するフィールドを削除して符号化（以下、インバーステレシネ符号化）を行なっている。
【００１３】
こうした従来技術においては、インバーステレシネ符号化時に、テレシネ映像の静止画が入力されると、フィールド間の相関が高いと判断されてしまう。そのため、実際には重複フィールドではなくても、誤って重複フィールドと判定されてしまう可能性があった。
【００１４】
例えば、図５（ａ）に示すような第５フレームから第１０フレーム（点線で囲んだ区間）が静止画２２であるテレシネ映像が入力された場合、第５フレームから第１０フレームの静止画区間はフィールド間においてほぼ同じ画素値であるため、フィールド間の相関が高いと判定される。
【００１５】
テレシネ判定の結果、検出した相関の高いフィールドとの位置と、図４のテレシネパターンの重複フィールドの位置が一致しない場合、テレシネパターンから外れたと認識されるため、入力映像がテレシネ映像ではないと判断される。入力映像がテレシネ映像ではないと判断された場合、インバーステレシネ符号化を中止し、図５（ｂ）に示すように、通常の符号化（以下、ノーマル符号化）が行なわれる。ノーマル符号化は、重複フィールドを削除しないで符号化するため、図４のテレシネパターンの「Ｂｔ’」や「Ｄｂ’」に該当する重複フィールドが削除されずに符号化され、符号化効率が下がり、画像の乱れや画像の劣化が発生する可能性がある。
【００１６】
その後、静止画の入力が終わり、動画が入力された場合、入力された動画がテレシネ映像であると判定され、インバーステレシネ符号化を再開するためには、テレシネ判定においてテレシネパターンと一致する必要がある。テレシネ判定中は、テレシネ映像であることが検出されていないため、引き続きノーマル符号化が行なわれている。そのため、重複フィールド（図５中（ｂ）にて、斜線部で示すフィールド２０、２１）が削除されず、符号化効率が下がる。
【００１７】
これに対し、テレシネ映像の静止画が入力されても画像の乱れや画質の劣化を防ぐ技術が従来より知られている（特許文献１参照）。この技術は、入力された映像に対し、インバーステレシネ符号化を行なった後、入力映像に対してどのようなインバーステレシネ変換を行なったかを示すプルダウン情報を生成している。生成されたプルダウン情報は補正され、補正されたプルダウン情報に基づいて、再度インバーステレシネ符号化が行なわれる。
【００１８】
こうした既存の技術を用いることで、静止画が入力された場合においても、プルダウン情報を補正することで画像の乱れや画質の劣化を防いでいる。
【特許文献１】特開２０００−０４１２４４
【発明の開示】
【発明が解決しようとする課題】
【００１９】
しかしながら従来の技術においては、インバーステレシネ符号化した映像から作成したプルダウン情報を補正し、そのプルダウン情報をもとに符号化を行なっているため、符号化処理に２段階処理が必要となり、処理が複雑化し、処理時間が長くなってしまっていた。
【００２０】
本発明は上記を鑑みてなされたものであり、その目的は、テレシネ映像のインバーステレシネ符号化時に、静止画が入力された場合、少ない処理で符号化方式を適切に決定し、符号化を行なうためのテレシネ変換画像判定装置および方法を提供することにある。
【課題を解決するための手段】
【００２１】
上記の目的を達成するために、請求項１に記載の本発明は、テレシネ映像をインバーステレシネ符号化するためのテレシネ変換画像判定装置であって、新たに入力された入力映像と、その直前に入力された同一フィールドの入力映像と、の両者を構成する画素についての相関関係の度合いを判定するための画素相関判定手段と、前記画素相関判定手段による判定結果に基づいて前記入力映像が静止画であるか否かを判定して、静止画の場合に前記インバーステレシネ符号化を継続するためのインバーステレシネ変換手段と、を備える。
【００２２】
また、請求項２に記載の本発明は、テレシネ映像をインバーステレシネ符号化するためのテレシネ変換画像判定方法であって、画素相関判定手段によって、新たに入力された入力映像と、その直前に入力された同一フィールドの入力映像と、の両者を構成する画素についての相関関係の度合いを判定するステップと、インバーステレシネ変換手段によって、前記画素相関判定手段による判定結果に基づいて前記入力映像が静止画であるか否かを判定して、静止画の場合に前記インバーステレシネ符号化を継続するステップと、を有する。
【発明の効果】
【００２３】
本発明によれば、テレシネ映像のインバーステレシネ符号化時に、静止画が入力された場合、少ない処理で符号化方式を適切に決定し、符号化を行なうためのテレシネ変換画像判定装置および方法を提供することができる。
【発明を実施するための最良の形態】
【００２４】
図１に本発明の実施の形態に係るブロック図を示す。
【００２５】
この図１には、外部から映像信号が入力される画素相関判定１と、画素相関判定１からの判定出力を受けてテレシネ映像判定を行うためのテレシネ映像判定３と、判定情報格納メモリ２と、インバーステレシネ変換４と、符号化処理５とが示されており、インバーステレシネ変換された映像信号は符号化処理５から出力される。
【００２６】
外部から入力された映像信号は画素相関判定１に入力される。画素相関判定１では、入力された映像（動画信号）と、入力された映像の直前に入力された同一フィールドの映像間の画素について、相関の大小を判定する。画素相関判定結果は、判定情報格納メモリ２に出力され、入力映像はテレシネ映像判定３に出力される。
【００２７】
テレシネ映像判定３では、入力映像が静止画であるか、テレシネ映像であるかの映像判定が行なわれる。テレシネ映像判定３は、映像が入力された時点で、判定情報格納メモリ２に画素相関判定情報の出力を要求する。
【００２８】
判定情報格納メモリ２は、要求された画素相関判定情報をテレシネ映像判定３に出力する。テレシネ映像判定３は、入力映像の画素相関判定情報と、テレシネパターンＰ１〜Ｐ４を比較し、一致するかどうかを確認する。
【００２９】
例えば、画素相関判定情報がテレシネパターンと一致していれば、入力映像はテレシネ映像であると判定する。また、画素相関判定情報が画素間の相関が高いことを示していても、テレシネパターンの重複フィールドと一致していなければ、入力映像は静止画であると判定する。
【００３０】
その後テレシネ映像判定部では、画素相関判定情報から得られた情報を基に、符号化方式を決定する。入力映像がテレシネ映像であると判定された場合にはインバーステレシネ変換４でインバーステレシネ変換が行なわれた後、符号化処理５に送られ、符号化が行われ出力される。インバーステレシネ符号化している場合において、入力映像が静止画である場合にも、テレシネ映像であった場合と同様に、インバーステレシネ変換４でインバーステレシネ変換後、符号化処理５に送られ、符号化が行なわれる。
【００３１】
なお、入力映像が静止画でなく、テレシネパターンとも一致していなければ、入力された画像はテレシネ映像ではないため、インバーステレシネ変換を行なわずに符号化処理５に送られ、符号化が行なわれる。
【００３２】
次に図２を参照して、本発明の実施の形態の効果の検証を説明する。
【００３３】
入力されたテレシネ映像に対して、インバーステレシネ符号化を行なっているとする。図２（ａ）のような画像が入力され、点線で囲った区間１０が静止画であった場合、従来技術では、静止画区間ではテレシネパターンと異なるため、図２（ｂ）のようにインバーステレシネ符号化を行なわずにノーマル符号化を行なう。そのため点線で囲った区間１１の静止画区間を符号化処理するために５フレーム分の符号化処理を行なわなければならない。
【００３４】
さらに、静止画が完了し、再度テレシネ映像の動画が入力された場合、テレシネ判定を行なった後にインバーステレシネ符号化を再開するまでに、最低でもテレシネパターン１周期分の一致を必要とする。そのため、図２（ｂ）に示す従来技術では、テレシネ映像の動画が入力されてから５フレームの処理をノーマル処理で行なうこととなる。
【００３５】
これに対し、本実施の形態では、静止画かどうかを判定し、静止画であればインバーステレシネ符号化方法を継続するため、図２（ｃ）に示すように、静止画の区間１２に対して４フレーム分の符号化処理を行なえば良い。さらに、動画が再開された場合、図２（ｂ）ではノーマル符号化を行なっていた区間に対し、インバーステレシネ符号化を継続しているため、４フレーム分の符号化処理を行なえば良い。
【００３６】
以上より、本実施の形態では、符号化処理するフレーム数が減少することによって、１フレームに割り当てるビット量が増えるため、符号化効率が上がり、圧縮による画質の劣化を防ぐことが可能になる。
【００３７】
このように、本実施の形態においてはテレシネ映像をインバーステレシネ符号化している場合において、入力された映像と、入力映像の直前に入力された同一フィールドの映像間の画素について、相関の大小を判定する。相関の大小情報を用いて、入力映像が静止画であるかを判定し、静止画であればインバーステレシネ符号化を続行する。
【００３８】
それによって、符号化を行なうフレーム数の増加を防ぐことが可能になるため、１フレームに割り当てるビット量が増加し、符号化効率の低下を防ぎ、映像品質の低下を防ぐことが可能になる。同時に、符号化処理に２段階処理を必要としないため、特許文献１と比較して、処理時間を短くすることが可能になる。
【００３９】
以上説明した本発明の実施の形態によれば、テレシネ映像のインバーステレシネ符号化時に、静止画が入力された場合、少ない処理で符号化方式を適切に決定し、符号化を行なうためのテレシネ変換画像判定装置および方法を提供することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施の形態に係るブロック図を示す。
【図２】本発明の実施の形態の効果の検証を説明するための説明図を示す。
【図３】従来技術におけるテレシネ変換を説明するための説明図を示す。
【図４】従来技術において正常にテレシネ変換が行なわれた場合を説明するための説明図を示す。
【図５】従来技術を説明するための説明図を示す。
【符号の説明】
【００４１】
１…画素相関判定
２…判定情報格納メモリ
３…テレシネ映像判定
４…インバーステレシネ変換
５…符号化処理
【図１】
2009296042.tif 000003
【図２】
2009296042.tif 000004
【図３】
2009296042.tif 000005
【図４】
2009296042.tif 000006
【図５】
2009296042.tif 000007