(57)【特許請求の範囲】
【請求項１】
第１の映像信号を処理する前段部と、前記前段部から出力されたプログレッシブ信号を処理する後段部とを有した映像信号処理装置において、
前記前段部は、
前記第１の映像信号の画像特性を判定し、前記第１の映像信号に対して動画適応処理と静画適応処理のいずれを施すのかを識別した第１の画像処理制御信号を出力する第１の制御回路と、前記第１の画像処理制御信号に応答して前記第１の映像信号を動画適応処理又は静画適応処理したプログレッシブ信号を得る第１の映像信号処理回路を有し、
前記後段部は、
前記第１の映像信号処理回路からの前記プログレッシブ信号のフレーム周波数を倍速にするために補間フレーム信号を生成するときの情報として、前記プログレッシブ信号の画像特性を判定し、前記プログレッシブ信号に対して動画適応処理と静画適応処理のいずれを施すのかを識別した第２の画像処理制御信号を出力する第２の制御回路と、前記第２の画像処理制御信号に応答して、前記プログレッシブ信号を動画適応処理又は静画適応処理した前記補間フレーム信号を得ると共に、前記補間フレーム信号と前記プログレッシブ信号を用いて倍速変換出力信号を得る第２の映像信号処理回路とを有し、
前記前段部と前記後段部との間に演算回路が接続され、この演算回路は、
前記第１の画像処理制御信号が静画適応処理を示すときは、前記第２の画像処理制御信号に対して動画適応処理の出力状態に移行するのを抑制し、静画適応処理の出力状態に移行するように補正し、前記第１の画像処理制御信号が動画適応処理を示すときは、前記抑制を開放する伝達制御信号を得て、この伝達制御信号を前記第２の制御回路に供給する
ことを特徴とする映像信号処理装置。
【請求項２】
前記前段部から前記後段部に入力される前記プログレッシブ信号は、
前記前段部からの出力信号のスケーリング処理を行うスケーリングフィルタ部と、前記スケーリングフィルタ部からの出力映像信号に対して画質調整を行なう画質調整部を介して入力されていることを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
前記第１の映像信号処理回路は、
前記第１の映像信号のノイズ低減行うノイズ低減回路を含み、
前記第１の制御回路は、
ノイズ低減用動画検出回路と、フレーム差分ヒストグラム検出回路を含み、このノイズ低減用動画検出回路の動き検出信号とフレーム差分ヒストグラム検出回路のヒストグラム信号により、前記ノイズ低減回路のフィルタ効果を制御する
ことを特徴とする請求項２記載の映像信号処理装置。
【請求項４】
前記第１の映像信号処理回路は、
前記ノイズ低減回路の出力映像信号の走査線数を変換する走査線数変換回路を含み、
前記第１の制御回路は、さらにインターレース・プログレッシブ（ＩＰ）変換用動画検出回路とフィルム信号検出回路を含み、前記走査線数変換回路でのライン信号の選択動作を制御することを特徴とする請求項３記載の映像信号処理装置。
【請求項５】
前記第１の制御回路は、さらに動画検出回路を有し、この動画検出回路からの動き検出信号を少なくとも前記第１の画像処理制御信号に含ませていることを特徴とする請求項４記載の映像信号処理装置。
【請求項６】
前記第1の制御回路はさらに動画検出回路を有し、
前記スケーリングフィルタ部の出力のヒストグラムを検出するヒストグラム検出回路がさらに設けられ、
前記演算回路は、
前記ＩＰ変換用動画検出回路からの動き検出信号、前記ノイズ低減用動画検出回路からの動き検出信号、前記フレーム差分ヒストグラム検出回路のヒストグラム信号、前記ヒストグラム検出回路からのヒストグラム信号、及び前記動画検出回路からの動き検出信号のいずれか１つまたは複数を用いて、前記伝達制御信号を得ていることを特徴とする請求項４記載の映像信号処理装置。
【請求項７】
前記第２の制御回路は、
前記第１の映像信号処理回路からの前記プログレッシブ信号の画像動きベクトルを検出する動きベクトル検出回路と、前記プログレッシブ信号がフィルム信号であるか否かを判定するフィルム信号検出回路とを有することを特徴とする請求項１記載の映像信号処理装置。
【請求項８】
第１の映像信号を処理する前段部と、前記前段部から出力されたプログレッシブ信号を処理する後段部とを有し、
前記前段部は、
前記第１の映像信号の画像特性を判定し、前記第１の映像信号に対して動画適応処理と静画適応処理のいずれを施すのかを識別した第１の画像処理制御信号を出力する第１の制御回路と、前記第１の画像処理制御信号に応答して前記第１の映像信号を動画適応処理又は静画適応処理したプログレッシブ信号を得る第１の映像信号処理回路を有し、
前記後段部は、
前記第１の映像信号処理回路からの前記プログレッシブ信号のフレーム周波数を倍速にするために補間フレーム信号を生成するときの情報として、前記プログレッシブ信号の画像特性を判定し、前記プログレッシブ信号に対して動画適応処理と静画適応処理のいずれを施すのかを識別した第２の画像処理制御信号を出力する第２の制御回路と、前記第２の画像処理制御信号に応答して、前記プログレッシブ信号を動画適応処理又は静画適応処理した前記補間フレーム信号を得ると共に、前記補間フレーム信号と前記プログレッシブ信号を用いて倍速変換出力信号を得る第２の映像信号処理回路とを有した映像信号処理装置の映像信号処理方法において、
前記前段部と前記後段部との間に演算回路が接続され、この演算回路からの伝達制御信号を前記第２の制御回路に入力し、
前記第１の画像処理制御信号が静画適応処理を示すときは、前記第２の画像処理制御信号に対して動画適応処理の出力状態に移行するのを抑制し、静画適応処理の出力状態に移行するように補正し、前記第１の画像処理制御信号が動画適応処理を示すときは、前記抑制を開放するようにしたことを特徴とする映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は映像信号処理装置及び処理方法に関するものであり、テレビジョン受信装置、映像信号記録再生装置、セットトップボックスなどに利用されて好適する。
【背景技術】
【０００２】
近年のテレビジョン受信装置の分野においては、入力映像信号が多様化している。例えばノンインターレース映像信号、インターレース映像信号及びフィルム画像を電気信号に変換したフィルム信号が存在する、またアスペクト比も種々のものが存在する。これに伴い、映像信号処理装置に要求される機能として、インターレース信号をプログレッシブ（ノンインターレース）映像信号に変換できるＩＰ変換機能が要求される。また表示器に表示する表示状態をアスペクト比４：３或いは１６：９に任意に切り換え変換できる、あるいはズーム、ワイド、スーパーライブなどに設定できる画角変換機能が要求される。また、画質を調整する画質調整機能も要求される。さらにまた表示器の大型化に伴い、走査線を倍速変換する倍速変換機能が要求されるようになった。
【０００３】
上記のような要求に答えるためには、画像動き検出回路により画像の動きを検出し、画像動きに適応して補間回路による補間信号の生成が行なわれる。またこの場合、画像動き検出回路から得られた動き情報を利用してノイズ低減処理を行う装置もある（例えば特許文献１）。
【０００４】
また上記のフィルム信号は、２−３プルダウン信号、２−２プルダウン信号とも称される。この種のフィルム信号においてもインターレース信号や、プログレッシブ信号が存在するので、上記したようなＩＰ変換機能、画角変換機能、画質調整機能、倍速変換機能が要求される。フィルム信号をＩＰ変換する場合は、通常のテレビジョン規格の映像信号をＩＰ変換する技術とは異なる。フィルム信号をＩＰ変換する技術は、特許文献２に開示された技術がある。
【特許文献１】米国公開２００７／００５８７１２Ａ１                      （国際公開番号WO2004/112378）
【特許文献２】米国公開２００５／０１３４７３５Ａ１                      （特開2005-208613）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記したように入力映像信号が多様化し、映像信号処理装置に要求される機能として、ＩＰ変換機能、画角変換機能、画質調整機能、倍速変換機能が要求されている。従来の技術は、上記した特許文献の如く個々の要求に対して個別に対策された映像信号処理装置として改良されている。
【０００６】
従来であると、多種の入力映像信号に対して総合的に対応した映像信号処理装置がない。さらにまた多種の入力映像信号に対して安定した動作を得る映像信号処理装置がない。つまり従来では、ＩＰ変換機能、画角変換機能、画質調整機能、倍速変換機能を問題なく総合的に組み合わせる場合にその手法を示す技術がない。
【０００７】
そこでこの発明の目的は、種々の入力映像信号に対して適応し、かつ信号変換処理において画質劣化を防止し、画質品位を維持することができる映像信号処理装置及び処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、この発明の一実施の形態の映像信号処理装置は、第１の映像信号を処理する前段部と、前記前段部から出力されたプログレッシブ信号を処理する後段部とを有し、前記前段部は、前記第１の映像信号の画像特性を判定し、前記第１の映像信号に対して動画適応処理と静画適応処理のいずれを施すのかを識別した第１の画像処理制御信号を出力する第１の制御回路と、前記第１の画像処理制御信号に応答して前記第１の映像信号を動画適応処理又は静画適応処理したプログレッシブ信号を得る第１の映像信号処理回路を有し、前記後段部は、前記第１の映像信号処理回路からの前記プログレッシブ信号のフレーム周波数を倍速にするために補間フレーム信号を生成するときの情報として、前記プログレッシブ信号の画像特性を判定し、前記プログレッシブ信号に対して動画適応処理と静画適応処理のいずれを施すのかを識別した第２の画像処理制御信号を出力する第２の制御回路と、前記第２の画像処理制御信号に応答して、前記プログレッシブ信号を動画適応処理又は静画適応処理した前記補間フレーム信号を得ると共に、前記補間フレーム信号と前記プログレッシブ信号を用いて倍速変換出力信号を得る第２の映像信号処理回路とを有する。そして、前記前段部と前記後段部との間に演算回路が接続され、この演算回路で伝達制御信号を得て、この伝達制御信号を前記第２の制御回路に供給することにより前記第１の画像処理制御信号が静画適応処理を示すときは、前記第２の画像処理制御信号に対して動画適応処理の出力状態に移行するのを抑制し、静画適応処理の出力状態に移行するように補正し、前記第１の画像処理制御信号が動画適応処理を示すときは、前記抑制を開放するようにしたことを特徴とする。
【発明の効果】
【０００９】
上記の手段によると、前段の走査線数変換部と後段の動画改善及び倍速変換部において、動画又は静止画の判定結果にアンマッチが生じても、動画改善及び倍速変換部の動画対応処理及び静止画対応処理が、前記走査線変換部の判定結果に追従するために、動画改善及び倍速変換部からの出力映像信号に破綻が生じにくくなる。
【発明を実施するための最良の形態】
【００１０】
以下図面を参照して、この発明の実施の形態を説明する。まず、図１を参照してこの発明に係る一実施形態の映像信号処理装置及び処理方法の基本構成を説明する。
【００１１】
＜前段部としてのノイズ低減及び走査線数変換部１００＞
入力端子１０１には、デジタル入力映像信号が入力される。入力映像信号は、第１の映像信号処理回路１２１において、ノイズ低減、走査線数変換などの処理を受ける。また入力映像信号は、第１の制御回路１２２に入力される。第１の制御回路１２２は、入力映像信号の画像特性を判定する。画像特性の判定とは例えば動画であるか静画であるかの判定である。そして第１の制御回路１２２は、動画または静画の状態を示す第１の画像処理制御信号を出力する。この第１の画像処理制御信号は、第１の映像信号処理回路１２１の制御端子に供給される。第１の画像処理制御信号は、映像信号のフィールド（フレーム）内信号又はフィールド（フレーム）間信号のいずれを優先使用するのかを識別している。
【００１２】
第１の映像信号処理回路１２１は、第１の画像処理制御信号に応答して入力映像信号のフィールド（フレーム）内信号又はフィールド（フレーム）間信号の合成処理を行う。
【００１３】
＜後段部としての動画改善及び倍速変換部４００＞
後段部としての動画改善及び倍速変換部４００は、第１の映像信号処理回路１２１で処理された第２の映像信号のフレーム周波数を倍速にする第２の映像信号処理回路４２１を有する。第２の映像信号は、第２の制御回路４２２にも入力されている。
【００１４】
第２の制御回路４２２は、補間フレーム信号を生成するときの情報として、第２の映像信号の画像特性を判定する。画像特性の判定とは、補間フレーム信号を生成するとき、第２の映像信号が動画であるのか静画であるのか、さらにはフィルム信号であるのかを判定することである。第２の映像信号処理回路４２１は、判定結果を示す第２の画像処理制御信号に基づいて、第２の映像信号の倍速変換処理を実行する。倍速変換された映像信号は、表示器５００に供給される。
【００１５】
＜演算回路Ｄ＞
前段部１００と後段部４００との間に演算回路Ｄが接続されている。この演算回路Ｄは、第１の画像処理制御信号の内容に応じた伝達制御信号を出力し、この伝達制御信号を第２の制御回路４２２に与えている。第２の制御回路４２２は、前記伝達制御信号に応答して、その出力である第２の画像処理制御信号が強制的にコントロールされる。
【００１６】
即ち、演算回路Ｄは，第１の画像処理制御信号が静画適応処理信号の優先使用を示すときは、第２の画像処理制御信号に対して動画適応処理信号の優先使用を示す状態に移行するのを抑制し、静画適応処理信号の優先使用を示す状態に移行するように補正し、前記第１の画像処理制御信号が動画適応処理信号の優先使用を示すときは、前記抑制を開放する伝達制御信号を出力している。
【００１７】
＜基本的な効果＞
上記のように、前段部で判断済みの画像適応処理制御信号が、後段の動画改善及び倍速変換部で参照される構成であるために、動画改善及び倍速変換部からの出力映像信号に破綻が生じにくくなる。前段部と後段部が独自に画像特性を判定すると両者間にアンマッチが生じて、出力段である動画改善及び倍速変換部からの出力映像信号に破綻が生じることがあるが、上記の実施形態であるとそのような問題が軽減される。
【００１８】
なお前段部として上記の実施の形態ではノイズ低減及び走査線数変換部１００が示されたが、これに限定されるものではない。輝度・色分離部において検出される動き検出信号が演算回路Ｄに入力されてもよい。
【００１９】
＜さらなる具体的回路構成＞
図２には、さらに具体的な回路構成例を示している。入力映像信号は、ノイズ低減回路１０２に入力されている。また入力映像信号は第１の制御回路１２２を構成するフレーム差分ヒストグラム検出回路１０３、ノイズ低減用動画検出回路１０４に入力されている。そしてノイズ低減回路１０２の出力は、ＩＰ変換用動画検出回路１０５、フィルム信号検出回路１０６に入力されている。
【００２０】
ノイズ低減回路１０２は、ノイズ低減を行うフィルタとして、例えば、入力信号が共通に供給されるコアリングフィルタ、巡回型フィルタが並列に設けられ、この２つのフィルタの出力が加算される構成である。入力映像信号が静止画のときは、ノイズ低減用動画検出回路１０４からの動き検出信号により、巡回型フィルタのフィルタリング影響を大きくし、コアリングフィルタのフィルタリング影響を下げるようにしている。逆に入力映像信号が動画のときは、コアリングフィルタのフィルタリング影響を上げるようにしている。
【００２１】
フレーム差分ヒストグラム検出回路１０３は、フレーム間（フィールド間）の差分信号からヒストグラムを得る。この差分ヒストグラム信号は、入力映像信号が動画のときコアリングフィルタのフィルタリング処理を強調し、たとえばＭＰＥＧ２を復調したときに残るブロックノイズの低減に有効に作用するよう設定されている。これに対して、ノイズ低減用動画検出回路１０４の出力は、ランダムノイズの低減に有効に作用する。
【００２２】
ノイズ低減された映像信号は、走査線数変換回路１０８に入力されて走査線数が変換される。この場合、入力映像信号がもともとノンインターレースの映像信号の場合、この入力映像信号は、この走査線数変換回路１０８をスルーされるだけである。
【００２３】
インターレース映像信号の場合、動きに適応した走査線数の変換が行なわれる。ＩＰ変換用動画検出回路１０５は、入力映像信号が動画であるのか静画であるのかを判断し、その判定出力により、走査線数変換回路１０８の動作を制御する。
【００２４】
＜動画の場合＞
走査線数変換回路１０８に入力する映像信号が動画の場合は、例えばフィールド内の走査線が用いられて補間走査線が作成される。補間走査線とオリジナルの走査線が合わせられてプログレッシブ映像信号としてのフレーム信号が生成される。これにより、フレーム周波数６０Ｈｚのプログレッシブ映像信号が得られる。
【００２５】
もし入力映像信号のフレーム周波数が３０Ｈｚであった場合には、さらにフレーム間の補間フレーム信号が、前後のフレーム信号を用いて作成される。オリジナルのフレーム信号と補間フレーム信号が配列されることでフレーム周波数６０Ｈｚのプログレッシブ映像信号が生成される。
【００２６】
＜静止画の場合＞
走査線数変換回路１０８に入力する映像信号が静止画の場合は、例えばフィールド間の走査線が用いられて補間走査線が作成される。補間走査線とオリジナルの走査線が合わせられてプログレッシブ映像信号としてのフレーム信号が生成される。これにより、フレーム周波数６０Ｈｚのプログレッシブ映像信号が得られる。
【００２７】
入力映像信号のフレーム周波数が３０Ｈｚであった場合には、さらにフレーム間の補間フレーム信号が、前後のフレーム信号を用いて作成される。オリジナルのフレーム信号と補間フレーム信号が配列されることでフレーム周波数６０Ｈｚのプログレッシブ映像信号が生成される。
【００２８】
＜フィルム信号の場合＞
入力端子１０１に入力する映像信号がフィルム画像から２−３プルダウンあるいは２−２プルダウンしたフィルム信号である場合がある。このフィルム信号の検出は、例えば次のようにフィルム信号検出回路１０６にて判定される。例えば、この判定結果が一定のパンターン０００１１０００１１・・・・と判定できる。この判定時の判定信号はフィルム情報信号とも称される。
【００２９】
フレーム信号の場合は、走査線数変換を行う場合も元の２４コマのフィルム画像に忠実に走査線数の変換が行なわれる。即ち、パターン「０００」に対応する３フィールドに対する補間ラインは、この３フィールド内のいずれかの信号が用いられる。また、パターン「１１」に対応する２フィールドに対する補間ラインは、この２フィールド内のいずれかの信号が用いられる。これらはインバース２−３プルダウン、インバース２−２プルダウン処理とも称される。
【００３０】
＜動画検出回路１０７＞
動画検出回路１０７は、入力映像信号が動画であるか静画であるかを判定している。この動画検出回路１０７の出力は、動画又は静画の判定を行う２値であってもよい。または、動画検出回路１０７の出力は、たとえば動画判定最大値１１１１、静画判定最小値００００が得られる多値出力であり、動画・静画判定の最大値の最小値に対してその中間域の出力を得られる回路であってもよい。この動画検出回路１０７の出力は、後で説明する演算回路Ｄで用いられる。
【００３１】
＜スケールフィルタ（ＳＦ）回路２００＞
上記の走査線数変換回路１０８の出力映像信号は、第２の映像信号としてスケールフィルタ回路２００に入力される。このスケールフィルタ回路２００は、操作信号或いはデフォルト信号に応じて、映像信号をスケール変換する回路である。スケール変換では、例えばアスペクト比４：３の映像信号をそのまま出力或いは１６：９に変換して出力することができる。又アスペクト比１６：９の映像信号をまま出力或いは４：３に変換して出力することができる。さらには、入力映像信号の画角をズーム画面タイプ或いはワイド画面タイプ、更にはパノラマ画面タイプに変更して出力することができる。この変換処理は、メモリとその書き込み読出し制御、さらには画素補間・削減処理により実現することができる。
【００３２】
＜バックエンドプロセス（ＢＥＰ）回路＞
上記したＳＦ回路２００の出力映像信号は、ＢＥＰ回路３００に入力される。ＢＥＰ回路３００では、画質調整が行なわれる。画質調整としては、ホワイトバランスの調整、シャープネス調整などが行なわれる。さらには、画像エッジのシェーディング、多階調処理のためのディザ処理、魔方陣処理が行われる場合がある。この処理は、液晶表示器が用いられた場合に階調表現を豊富にする上で有効である。
【００３３】
＜動画改善及び倍速変換部４００＞
上記したＢＥＰ回路３００の出力は、動画改善及び倍速変換部４００に入力される。動画改善及び倍速変換部４００は、倍速変換を行なう倍速変換回路４０１Ａ、動画改善回路４０１Ｂを有する。また第２の制御回路４２２は、少なくともＢＥＰ回路３００からの出力映像信号を用いて、倍速変換回路４０１Ａに対する制御信号を生成している。
【００３４】
第２の制御回路４２２は、動きベクトル検出回路４０２を有する。この動きベクトル検出回路４０２は、映像信号から画像動きベクトルを検出して、動きベクトル信号を制御信号として倍速変換回路４０１Ａに与えている。倍速変換回路４０１Ａは、フレーム周波数６０Ｈｚの映像信号をフレーム周波数１２０Ｈｚの映像信号に変換する。このとき動きベクトルの大きさに応じて補間フレーム（中間フレームとも称される）が生成される。このため補間フレームのための補間走査線が作成される。このとき例えば動きベクトルが大きくなり、映像信号が動画と判定された場合には、動画適応処理信号が用いられ、動きベクトルが小さくなり、映像信号が静画と判定された場合には、静画適応処理信号が用いられる。
【００３５】
ここで動きベクトル検出回路４０２から出力される動きベクトルは、先の演算回路Ｄからの出力により制御される。
【００３６】
またフィルム信号検出回路４０３を備える。フィルム信号検出回路４０３は、フィルム信号をそのフレーム変換パターンから検出し、フィルム信号検出信号を出力する。
【００３７】
動画改善回路４０１Ｂでは、フィルム検出信号に応じてフィルムジャダーをキャンセルした映像信号の生成が行われる。または、１秒当たり２４コマに対応するような映像信号への変換処理が実現される。
【００３８】
＜フィルムジャダーのキャンセル＞
フィルムジャダーのキャンセルは、移動画像がフレーム変化とともにスムーズに移動するように画像修正を行なうことである。例えば２−３プルダウンされたフィルム信号そのものは、０００１１０００１１０００１１・・・のフレーム変化パターンを有する。このためにフレーム変化パターンが０から１に変化するとき、および１から０に変化するとき、動画の場合は、急激で不自然な動き変化が見られる。そこで、このような不自然な動きを軽減するために、移動画像がフレーム変化とともに滑らかに移動するように、移動画像に対する修正処理を行うことである。このために画像変化時の画像の動きベクトルを求めて、この動きベクトルを分割し、画像が移動していない先行する複数のフレームに割り当てる。そしてフレーム変化パターンが０から１に変化するまで、および１から０に変化するまでに、動画を少しずつフレーム毎に移動修正する。
【００３９】
＜１秒当たり２４コマに対応するような映像信号への変換処理＞
例えばここでは１２０フレーム/秒の映像信号であるから、１秒当たり２４コマのフィルム信号は、１こま分を５回ずつ用いると、１２０フレーム/秒の映像信号となる。このようにすると、２−３プルダウン信号よりもフィルム画像に近い映像となる。特に動画の場合にその効果が著しい。
【００４０】
＜表示器５００＞
表示器５００は、たとえば液晶表示器であってもよいし、自己発光型のプラズマディスプレイ、フィールドエミッションディスプレイであってもよい。
【００４１】
＜演算回路Ｄ＞
演算回路Ｄは、前段の情報を後段に伝達して、前段と後段との判定結果にアンマッチが生じても、画像品位が大きく劣化するのを防止できるようにしている。
【００４２】
基本的には前後の段（ノイズ低減及び走査線数変換部１００、動画改善及び倍速変換部４００）で同様な判定（動画判定、フィルム信号判定）を行なう装置において、演算回路Ｄは、前段の情報を後段に伝達している。
【００４３】
演算回路Ｄは少なくとも動画検出回路１０７の出力を用いて、第２の制御回路４２２の出力を制御している。演算回路Ｄは、図２、図３に示すようにノイズ低減用動画検出回路１０４からの検出信号、フレームヒストグラム検出回路１０３からの差分ヒストグラム信号、ＩＰ変換用動画検出回路１０５からの検出信号、さらにはヒストグラム検出回路７００からのヒストグラム信号を用いてもよい。ヒストグラム検出回路７００は、ＳＦ回路２００の出力映像信号のフレーム内でのヒストグラムを検出している。
【００４４】
＜演算回路Ｄの具体例＞
図３には、演算回路Ｄの構成例を示している。演算回路Ｄは、第１の動き情報演算回路６０１、第２の動き情報演算回路６０２を有する。第１の動き情報演算回路６０１には、ＩＰ変換用動き検出回路１０５からの動き検出信号Ｄ１１と、動画検出回路１０７からの動き検出信号Ｄ１２と、ノイズ低減用動画検出回路１０４からの動き検出信号Ｄ１３とが入力される。また第２の動き情報演算回路６０２には、フレーム差分ヒストグラム検出回路からの差分ヒストグラム信号Ｅ１１、ヒストグラム検出回路７００からのヒストグラム信号Ｅ１２が入力される。
【００４５】
今、動き検出信号Ｄ１１，Ｄ１２，Ｄ１３はそれぞれ０か１の２値であるか、あるいは画像動きの程度に応じたレベルを持つ値であるとする。また第１の動き情報演算回路６０１は、例えば論理和とって出力するか、又は論理積を取って出力するか、又はいずれか１つを選択して出力する。或いは画像動き検出信号Ｄ１１，Ｄ１２，Ｄ１３が画像動きの程度に応じたレベルを持つ値のとき、第１の動き情報演算回路６０１は、各画像動き検出信号に対して夫々比重を与えて加算して出力するか、または各画像動き検出信号の平均をとって出力するか、又はいずれか１つを選択して出力する。
【００４６】
第２の動き情報演算回路６０１においても、ヒストグラム信号Ｅ１１，Ｅ１２の例えば論理和とって出力するか、又は論理積を取って出力するか、又はいずれか１つを選択して出力する。ヒストグラム信号Ｅ１１，Ｅ１２がレベルを持つ値のとき、第１の動き情報演算回路６０１は、各画像動き検出信号に対して夫々比重を与えて加算して出力するか、または各画像動き検出信号の平均をとって出力するか、又はいずれか１つを選択して出力する。
【００４７】
第１と第２の動き情報演算回路６０１，６０２の出力Ｆ１１，Ｆ１２は、総合動き情報演算回路６０３に入力される。総合動き情報演算回路６０３は、第１と第２の動き情報演算回路６０１，６０２の出力Ｆ１１，Ｆ１２を用いて、最終的な動き検出情報Ｇ１１を出力する。ここでも、出力Ｆ１１，Ｆ１２が２値の場合、論理和とって出力するか、又は論理積を取って出力するか、又はいずれか１つを選択して出力する。出力Ｆ１１，Ｆ１２がレベルをもつ場合、各画像動き検出信号に対して夫々比重を与えて加算して出力するか、または各画像動き検出信号の平均をとって出力するか、又はいずれか１つを選択して出力する。
【００４８】
演算回路６０３からの出力Ｇ１１は、動きベクトル検出回路４０２の制御部に与えられる。
【００４９】
今、動画静画を判別した出力Ｇ１１が静画を示す、或いは静画を示す内容に切換わったものとする。このときは、動きベクトル検出回路４０２からの出力が静画判定出力となりやすいように、動きベクトル検出回路４０２が出力Ｇ１１により制御される。例えば、動きベクトル検出回路４０２の出力がたとえ動画判定出力をしていたとしても、これの判定出力に対して制限が与えられる。そして、一定の周期毎に動画判定出力が-1レベル低減され、最終的には動画判定出力”０”、つまり静画判定出力となる。
【００５０】
逆に演算回路６０３からの出力Ｇ１１が動画を示す内容に切換わったものとする。このときは、動きベクトル検出回路４０２の出力の制限が開放される。このときは、たとえば動画判定が即時出力されるように設定される。或いは、次第に動画判定出力に変化する（遷移する）形態であってもよい。
【００５１】
上記のように、本装置では、演算回路６０３からの出力Ｇ１１が静画を示すときに、動きベクトル検出回路４０２からの出力が静画判定出力となりやすいように制御している。
【００５２】
この理由は以下の理由による。即ち、動画改善及び倍速変換部４００では、本来静止画の映像信号を動画として誤判定しやすい傾向にあるからである。なぜ誤判定しやすいかというと、ＢＥＰ回路３００においてディザ変換処理、魔方陣などの処理を行って、擬似多階調処理を施していることに起因する。
【００５３】
例えば図４に示すような黒と灰色の部分を有した一松模様の静止画像があったとする。このような映像信号を表示器５００で表示する場合、誤差拡散処理、あるいはディザ処理が行われる。すると前後のフレームにおいて、ＸＹ軸方向に同じ位置の画素又はエリアの画素値が必ずしも同じとは限らない。このような場合、静画であるにも係らず動きベクトル検出回路４０２が画像動きありとして動きベクトルを検出する。このことは誤判断である。そこで本発明の装置では、上記したように動画静画を判別した出力Ｇ１１が静画を示すときは、動きベクトル検出回路４０２の出力に対して制限が与えられ、静画判定になるように制御される。
【００５４】
＜動きベクトル検出回路４０２の出力の制限と開放＞
図５には動きベクトル検出回路４０２の一例を示している。今、画像動きがあるものとして説明する。映像信号は、フレーム遅延回路４３１と減算器４３２に入力される。減算器４３２からは前後フレーム間の差信号が得られる。静止画であれば、前後フレームが同じ値であるから基本的には差信号は出力されない。しかし先程説明したディザ処理などが施されていると差信号が生じる。減算器４３２からの差信号は、差信号積分・ベクトル計算回路４３３に入力される。ここでは、画像処理単位である各単位ブロックのフレーム間差信号が得られる。これによりある単位ブロックに関して、フレーム間の差信号が大きい場合、この単位ブロック及びこの周辺では画像動きが生じていることである。画像動きが生じていると判断されたエリア内では、前のフレームの単位ブロックの画素値と、次のフレームの単位ブロックの類似する画素値がサーチされる。これにより画像の動きベクトルが検出される。ここで動きベクトルは閾値回路４３４に入力され、一定閾値を越えているものが動画を示す動きベクトルして出力される。この動きベクトルの値は保持回路４３５に保持されて、倍速変換回路４０１に供給される。
【００５５】
ここで、演算回路Ｄからの出力が動画を判定しているものとする。このときは、動画判定信号によりスイッチ４３７がオフされ、減算回路４３６の出力は保持回路に対して何ら影響を与えることはない。つまり動きベクトル検出回路４０２の出力が開放されている。
【００５６】
これに対して演算回路Ｄから静画判定信号が入力した場合、保持回路４３５の出力は、減算回路４３６で-1減算され、スイッチ４２７を介して保持回路４３５にフィードバックされる。つまり保持回路４３５の出力が周期的に減算され、結果的に静画判定信号を示すようになる。このような動作の中で、演算回路Ｄからの出力が動画判定を示した場合は、スイッチ４３７がオフされるとともに、保持回路４３５は、閾値回路４３４の出力を保持する。
【００５７】
＜特徴的な機能＞
上記したように本発明の装置および方法によると、前段の走査線数変換部と後段の動画改善及び倍速変換部において、動画又は静止画の判定結果にアンマッチが生じても、動画改善及び倍速変換部の動画対応処理及び静止画対応処理が、前記走査線変換部の判定結果に追従するために、動画改善及び倍速変換部からの出力映像信号に破綻が生じにくくなる。
【００５８】
＜発明の他の実施の形態＞
この発明は上記の実施の形態に限定されるものではない。図６はこの発明の他の実施の形態を示している。即ち、演算器８００が追加されている。演算回路８００には、フィルム信号検出回路１０６からフィルム信号検出信号が入力されている。フィルム信号検出信号は先にも説明したように、入力映像信号がフィルム信号であれば所定のパターンを示す。
【００５９】
演算回路８００は、フィルム信号検出回路１０６からのフィルム信号検出信号がフィルム信号を示すときは、動画改善及び倍速変換部４００内のフィルム信号検出回路４０３がフィルム信号判定をし易くする。具体的には、例えば所定のパターンの検出回数を通常よりも少なく設定する。例えば通常は所定のパターンが連続して１０回得られたらフィルム信号であると判定していたものを、２回から３回連続して得られたらフィルム信号であると判定するように設定する。これにより、前段の走査線数変換部と後段の動画改善及び倍速変換部において、フィルム信号の検出結果にアンマッチが生じる期間がっても、動画改善及び倍速変換部のフィルム信号対応処理が、前記走査線変換部の判定結果に追従するために、動画改善及び倍速変換部からの出力映像信号に破綻が生じにくくなる。
【００６０】
逆に、フィルム信号検出回路１０６からのフィルム信号検出信号がフィルム信号でなく通常のビデオ信号であることを示すときは、演算器８００は即座にフィルム信号検出回路４０３の出力をビデオ検出状態に切り替える。
【００６１】
ここで、通常のビデオ信号が入力されているにも係らず、フィルム信号検出回路４０３がたまたま所定のパターンを検出し誤動作しようとしても、ヒステリシス特性が持たされているので、誤動作しにくい。つまりフィルム信号検出回路４０３はすぐにフィルム信号検出信号を出力することがない。
【００６２】
上記の動画改善及び倍速変換部４００は、動きベクトル検出回路４０２の出力と、フィルム信号検出回路４０３の出力とが入力された場合、例えば両者の論理積出力を制御信号とする。しかし両者の論理和出力を制御信号としてもよい。あるいは外部接続機器あるいは利用者選択に応じていずれか一方を選択してもよい。
【００６３】
＜発明のさらに他の実施の形態＞
この発明は上記の実施の形態に限定されるものではない。図７に示すように演算回路８００がフィルム検出信号を後段のフィルム信号検出回路４０３に伝達する構成であってもよい。このときの動作は、先に説明したと通りである。
【００６４】
＜走査線数変換回路１０８の基本構成例＞
図８には走査線数変換回路１０８の基本的な構成例を示している。入力映像信号は、フィールド遅延器１０８１に入力され、このフィールド遅延器１０８１の出力がライン遅延気１０８２と加算器１０８３に入力される。加算器１０８３は、ライン遅延器１０８２の出力とフィールド遅延器１０８１の出力を加算しフィールド内補間信号として出力し、セレクタ１０８４に供給している。セレクタ１０８４で選択された信号は、ライン速度を倍速するための倍速変換回路１０８５に入力され、倍速変換される。一方、倍速変換回路１０８６は、フィールド遅延器１０８１からのラインを倍速変換し、セレクタ１０８７に供給している。セレクタ１０８７は、倍速変換回路１０８５と倍速変換回路１０８６からの出力を交互に選択して出力し、プログレッシブ信号として出力する。
【００６５】
セレクタ１０８４が加算器１０８３の出力を選択しているときは、動画適応処理状態である。これに対して、セレクタ１０８４がセレクタ１０９３からの出力を選択しているときは静画適応処理状態である。
【００６６】
先のフィールド遅延器１０８１の出力は、フィールド遅延器１０９１にも供給されている。フィールド遅延器１０９１の出力はさらにフィールド遅延器１０９２に供給されると共に、セレクタ１０９３にも供給されている。このセレクタ１０９３は、フィルム信号検出回路１０６がフィルムでないことを検出しているときは、フィールド遅延器１０９１の出力を選択する。このとき倍速変換回路１０８５に入力する信号は、前フィールドのライン信号であり、倍速変換回路１０８６に入力する信号は次のフィールドのライン信号である。よってこのときは、前後のフィールドのライン信号を用いてプログレッシブ信号を生成する静画適応処理状態である。
【００６７】
＜入力がフィルム信号として検出された時＞
フィルム信号検出回路１０６がフィルム信号を検出したときは、次のような動作となる。例えば２−３プルダウンされた信号が入力した場合、基本的にはセレクタ１０９３は、フィールド遅延器１０８１の入力側の信号を選択する。セクレタ１０９３の出力はセクレタ１０８４を介して倍速変換回路１０８５に入力する。フィルム信号の期間は、セクレタ１０８４はセレクタ１０９３の出力を選択する。よって、フィールド遅延器１０８１の入力側の信号と出力側の信号とが倍速変換回路１０８５と１０８６で倍速変換され、セクレタ１０８７で両者が多重される。またセレクタ１０９３は、フィルム信号のパターンに応じてフィールド遅延器１０９１の出力を選択するときもある。
【００６８】
＜入力がフィルム信号で無くビデオ画像として検出された時＞
静画適応処理の場合は、セクレタ１０９３がフィールド遅延器１０９１の出力を選択し、セレクタ１０８４がセレクタ１０９３の出力を選択する。これにより、フィールド遅延器１０８１の出力側とフィールド遅延器１０９１からの出力側が倍速変換されて多重されたプログレッシブ信号が得られる。
【００６９】
動画適応処理の場合は、セレクタ１０８４が加算器１０８３の出力を選択する。これにより、フィールド遅延器１０８１の出力と加算器１０８３からの出力が倍速変換されて多重されたプログレッシブ信号が得られる。
【００７０】
＜第２の映像信号処理回路４２１基本構成例＞
図９は第２の映像信号処理回路４２１の内部をさらに具体的に示している。倍速変換部４０１Ａと補間信号生成部４０１Ｂとは一体化されている。第２の映像信号処理回路４２１をブロック化すると補間信号生成回路４０１１と、フィールド遅延用のメモリ４０１２と、倍速変換用のメモリ４０１３、倍速フレーム生成部４０１４に分類することができる。
【００７１】
補間信号生成回路４０１１は動きベクトルを用いて生成された画像処理制御信号に応じて、動画適応処理或いは静画適応処理を行い、補間フレーム信号を出力しメモリ４０１３に供給する。メモリ４０１３には、ＢＥＰ回路３００からの出力も入力されている。メモリ４０１３の出力は、倍速で読み出されて倍速フレーム生成回路４０１４に入力される。
【００７２】
倍速フレーム生成回路４０１４からは、補間フレーム信号と原フレーム信号とを用いて、フレーム周波数を１２０Ｈｚ（ＮＴＳＣ対応）或いは１００Ｈｚ（ＰＡＬ，ＳＥＣＡＭ対応）に倍速変換された映像信号が出力される。
【００７３】
図１０には、さらに補間フレーム信号を得るための処理回路の例を示している。この処理回路は、先の補間フレーム生成回路４０１１と、メモリ４０１２及び倍速変換変用のメモリ４０１３がさらに細かく示されている。
【００７４】
入力映像信号は、減算器４０４１に入力される。減算器４０４１では、入力映像信号から動き補償回路４０４４で作成された動き補償映像信号が減算処理される。動き補償映像信号は、動きベクトル検出回路４０２からの動きベクトルに基づいて、フレームメモリ回路４０４３からの映像信号が動き補正された信号である。動き補償映像信号と入力映像信号との差が無い場合には、画像動きが無かったということであり、減算器４０４１の出力はゼロである。しかし、動き補償映像信号と入力映像信号との差があった場合には、画像動きがあったということであり、減算器４０４１からは差分信号が得られる。この差分信号は、画像動き成分を示しており、動き補償回路４０４４の出力に加算器４０４２で加算され、フレームメモリ回路４０４３に格納される。これによりフレームメモリ回路４０４３には、画像動きベクトルに応じて、画像の動きが修正された映像信号が格納される。
【００７５】
このフレームメモリ回路４０４３の出力映像信号は、動きベクトル検出回路４０２において、次に入力する入力影像信号と比較され、画像動きベクトルが検出される。そして、先に説明したように、フレームメモリ回路４０４３の出力映像信号は、動き補償回路４０４４において、画像動きベクトルに応じて動き補正される。
【００７６】
スイッチ４０４５は、入力映像信号がシーンチェンジなどで完全に前フレームの映像信号とは異なる場合にオフされる。このときは、入力影像信号がそのままフレームメモリ回路４０４３に格納され、次のフレームとの対比用として用いられる。
【００７７】
フレームメモリ回路４０４３の出力は、動き補償補間フレーム生成回路４０４６にも入力されている。この動き補償補間フレーム生成回路４０４６は、フレームメモリ４０４３から取り込んだ画像に対して、ベクトル修正部４０４７からの動きベクトルに応じて動き補正を行ない、動き補正した画像を生成して保存することができる。ベクトル修正部４０４７は、動きベクトル検出回路４０２からの動きベクトルを修正している。通常の映像信号が処理されるとき（フィルム信号でない映像信号が処理されるとき）は、動きベクトル検出回路４０２からの動きベクトルを例えば（1/2)にする。そしてこの動きベクトルを用いて、フレームメモリ回路４０４３から取り込んだ画像を修正し、補間フレーム用の画像を生成する。即ち、フレームを倍速変換するためには、入力映像信号の時間方向において、前後フレームの間の補間フレームを生成している。従って、前後フレームから検出した画像動きベクトルの(1/2)ベクトルが補間フレームを生成するのに適切である。
【００７８】
ここで、ベクトル修正部４０４７では、動きベクトル検出回路４０２からの動きベクトルＡを用いて、複数種類のベクトルを準備することができる。例えば、（1/2）Ａ,(1/5)Ａ, (2/5)Ａ, (3/5)Ａ, (4/5)Ａ, (5/5)Ａ, (1/3)Ａ, (2/3)Ａ, (3/3)Ａ,の動きベクトルである。そして、動き補償補間フレーム生成回路４０４６は、これらの動きベクトルを用いて、フレームメモリ回路４０４３の出力映像信号対する動き補償を行い、補償後の映像信号を一旦バッファリングすることができる。
【００７９】
このバッファリングされた補間フレーム信号は、フィルム信号検出回路４０３からの制御信号により、動き補償補間フレーム生成回路４０４６からの出力タイミングが制御される。即ち、これによりフィルムジャダーのキャンセルが実行されるもので、移動画像がフレーム変化とともにスムーズに移動するように画像修正を行なわれる。例えば２−３プルダウンされたフィルム信号そのものは、０００１１０００１１０００１１・・・のフレーム変化パターンを有する。このためにフレーム変化パターンが０から１に変化するとき、および１から０に変化するとき、動画の場合は、急激で不自然な動き変化が見られる。そこで、このような不自然な動きを軽減するために、移動画像がフレーム変化とともに滑らかに移動するように、移動画像に対する修正処理を行うことである。このようにフィルム信号検出時には、検出パターンに応じて、画像の動き補償が行われる。フィルム信号検出回路４０３がフィルム信号を検出したときは、スイッチ４０４５は、フィルム信号検出回路４０３からの制御信号に優先して応答する。動画検出を行うときに、スイッチ４０４５はオンされる。またフィルム検出回路４０３は、前段側の演算回路８００からフィルム信号を検出したことの信号が到来したときは、自動的に後段部の処理もフィルム信号に対応した処理を実行させる。
【００８０】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００８１】
【図１】この発明の基本的な構成を示す構成図である。
【図２】図１の構成を更に具体化して示す構成図である。
【図３】図２の演算回路の構成例を示す図である。
【図４】動画改善及び倍速変換部の動き検出動作で問題が生じるときの例を示す画像説明図である。
【図５】動画改善及び倍速変換部の動きベクトル検出回路の例を示す図である。
【図６】この発明のさらに他の実施の形態を示す構成図である。
【図７】この発明のさらにまた他の実施の形態を示す構成図である。
【図８】走査線数変換回路の例を示す図である。
【図９】倍速変換回路の例を示す図である。
【図１０】補間フレーム生成回路の一例を示す図である。
【符号の説明】
【００８２】
１００・・・ノイズ低減及び走査線数変換部（前段部）、１２１・・・第１の映像信号処理回路、１２２・・・第１の制御回路、２００・・・スケールフィルタ（ＳＦ）回路、３００・・・バックエンドプロセス（ＢＥＰ）回路、４００・・・動画改善及び倍速変換部（前段部）、Ｄ・・・演算回路、４２１・・・第２の映像信号処理回路、４２２・・・第２の制御回路、
１０２・・・ノイズ低減回路、１０３・・・フレーム差分ヒストグラム検出回路、１０４・・・ノイズ低減用動画検出回路、１０７・・・動画検出回路、１０５・・・ＩＰ変換用動画検出回路、１０６・・・フィルム信号検出回路、４０１Ａ・・・倍速変換回路、４０１Ｂ・・・動画改善回路、４０２・・・動きベクトル検出回路、４０３・・・フィルム信号検出回路、７００・・・ヒストグラム検出回路。
【図１】
0004374057.tif 000002
【図２】
0004374057.tif 000003
【図３】
0004374057.tif 000004
【図４】
0004374057.tif 000005
【図５】
0004374057.tif 000006
【図６】
0004374057.tif 000007
【図７】
0004374057.tif 000008
【図８】
0004374057.tif 000009
【図９】
0004374057.tif 000010
【図１０】
0004374057.tif 000011