(57)【要約】【課題】斜め補間の改善効果を残しつつ、斜め補間処理の弊害としての画質劣化のうち、字幕等のような静止画近辺の画質劣化を軽減する走査線補間装置及び方法を提供する。【解決手段】第１の遅延手段１２は入力映像信号を1フレーム分遅延させ、静止判定手段１３は入力映像信号と第１の遅延手段の出力を入力とし画素が静止している否かを判定し、静止連続性判定手段１４は静止判定手段の出力と第３の遅延手段の出力を入力とし画素の静止状態の時間方向連続性を判定し、第２，第３の遅延手段１５，１６は静止連続性判定手段の出力を１フィールド分遅延し更に１フィールド分遅延し、補間方向判定手段１７は静止連続性判定手段の出力と第２の遅延手段の出力を入力とし斜め補間によって劣化の生成方向を判定し、補間処理手段１８は補間方向選択肢から画質劣化する方向を除外して斜め補間処理を行って補間ライン信号を生成する。【選択図】図１
2009177524.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号を1フレーム分遅延させる第１の遅延手段と、
前記入力映像信号と前記第１の遅延手段の出力を入力として画素が静止しているかどうかを判定する静止判定手段と、
前記静止判定手段の出力と第３の遅延手段の出力とを入力として画素の静止状態の時間方向連続性を判定する静止連続性判定手段と、
前記静止連続性判定手段の出力を１フィールド分遅延させる第２の遅延手段と、
前記第２の遅延手段の出力を１フィールド分遅延させる前記第３の遅延手段と、
前記静止連続性判定手段の出力と前記第２の遅延手段の出力を入力として、斜め補間によって劣化の生じる虞のある方向を判定する補間方向判定手段と、
補間方向の選択肢から前記補間方向判定手段で判定された補間方向を除外して、斜め補間処理を行うことによって補間ライン信号を生成する補間処理手段と、
を備えることを特徴とする走査線補間装置。
【請求項２】
前記静止判定手段は、
前記入力映像信号と前記第１の遅延手段の出力の差分をとる減算手段と、
前記減算手段からの差分の絶対値をとる絶対値化手段と、
前記絶対値化手段からの差分絶対値を閾値と比較し、差分絶対値が閾値以下であれば静止、閾値より大きければ動画と判定する比較判定手段と、
を備えたことを特徴とする請求項１に記載の走査線補間装置。
【請求項３】
前記静止連続性判定手段は、
前記静止判定手段の出力と前記第３の遅延手段の出力とを入力し、前記第３の遅延手段からの２フィールド分遅延した出力が入力するごとにカウントアップするカウンタを備え、当該カウンタのカウント値を静止状態の長さを表す静止連続性判定結果として出力するものであって、前記静止判定手段からの入力が動画という判定結果であれば、当該カウンタのカウント値として０を出力し、そうではなくて前記第３の遅延手段の出力が当該カウンタのリミット値に達した場合はそのリミット値を保持して出力し、以上の２つの条件に当たらなければ当該カウンタでカウントアップしそのカウント値を出力することを特徴とする請求項１又は２に記載の走査線補間装置。
【請求項４】
前記補間方向判定手段は、
前記静止連続性判定手段の出力と前記第２の遅延手段の出力とから同時に入力されるトップフィールド及びボトムフィールドそれぞれの２つの静止連続性判定結果に基づいて、トップフィールドにおける上下２本の水平ライン上の画素についての静止連続性判定結果と、ボトムフィールドにおける前記トップフィールドの上下２本の水平ライン間に相当する補間出力位置の画素についての静止連続性判定結果とを得、補間出力位置の画素についての静止連続性判定結果を静止か否かの閾値と比較して静止連続性判定結果の方が閾値より大きければ補間出力位置が静止画であるとして何もせず、静止連続性判定結果の方が閾値以下ならば補間出力位置が動画であると判定し、その補間出力位置が動画であると判定されている状態で、上下２本の水平ラインのどちらか一方の水平ライン上の画素の静止連続性判定結果が前記閾値より大きければその画素の位置と補間出力位置を結ぶ補間方向を斜め補間方向の候補から除外する情報として前記補間処理手段に供給することを特徴とする請求項１乃至３のいずれか１つに記載の走査線補間装置。
【請求項５】
入力映像信号を1フレーム分遅延し、
前記入力映像信号と前記1フレーム分遅延した映像信号とを静止判定手段に入力して１フレーム前後で画素が静止しているかどうかを判定し、
その静止判定結果と静止連続性判定手段の判定出力を１フレーム分遅延した判定出力とを当該静止連続性判定手段に入力して画素の静止状態の時間方向連続性を判定し、
前記静止連続性判定手段の静止連続性判定出力を１フィールド分遅延し、さらに１フィールド分遅延し、この２フィールド分遅延した静止連続性判定出力を前記静止連続性判定手段に供給し、
前記静止連続性判定手段の静止連続性判定出力と前記１フィールド分遅延した静止連続性判定出力とを補間方向判定手段に入力して、斜め補間によって劣化の生じる虞のある補間方向を判定し、
斜め補間処理を実行する補間処理手段にて補間方向の選択肢から前記補間方向判定手段で判定された劣化の生じる補間方向を除外して斜め補間処理を行い、補間ライン信号を生成することを特徴とする走査線補間方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飛び越し走査画像を順次走査画像に変換する場合などに、斜め補間処理を行って補間ラインを生成する走査線補間装置及び走査線補間方法に関するものである。
【背景技術】
【０００２】
一般に、飛び越し走査（以下、インターレースという）方式の画像を順次走査（以下、プログレッシブという）方式の画像に変換する場合、インターレース画像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込むことにより補間走査線（以下、補間ラインという）を生成するフィールド間補間が行われ、またインターレース画像が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間ラインを生成するフィールド内補間が行われる。
【０００３】
フィールド内の補間処理でインターレースｎラインとインターレースｎ＋１ライン間に補間ラインを生成するにあたっては、補間ライン上の画素Ａとして、その上下の走査線ｎ，ｎ＋１上の画素Ｕ，Ｄを加算して平均値（＝（Ｕ＋Ｄ）/２）を得る方法が簡単である。しかしながら、この上下方向の補間方法を適用した場合、絵柄によっては斜め線がギザギザして見える、いわゆるジャギーが目立つ画像となる場合がある。
【０００４】
また、インターレース画像をプログレッシブ画像に変換する技術として、動き適応型プログレッシブ変換がある。この技術は、画素単位もしくは画素ブロック単位で動き検出を行い、フィールド内補間処理結果とフィールド間補間処理結果を、動き検出結果に応じた混合比で混合処理する、という技術である。動き検出としては、１フレーム間の同一位置の画素同士の信号レベルの差分等から推定する。  
しかし、動き適応型プログレッシブ変換処理では、フィールド内補間処理として上下画素平均値を使用すると、垂直方向の解像感が低くなり、斜め線がギザギザに見える問題がある。
【０００５】
一方、このような問題を解決する方法として、斜め補間という方法が知られている。  
斜めの補間処理は、補間画素Ａを生成するにあたり、その上下の走査線ｎ，ｎ＋１から、補間ライン上の画素Ａを中心として点対称となる画素のペアを一組選択し、その平均値を補間画素値として用いる方法である。
【０００６】
補間方向の選択の方法の例として、ペアの画素間の絶対差分値が最小のものを使用する方法がある。例えば、補間しようとしている画素を中心とする上下及び斜め方向の一対の画素間の差分をとり、多数の斜め差分信号を用いて、斜め相関の高い方向を判定し、補間画素を作成するものである。
【０００７】
斜め補間に関する本出願人の出願による従来技術としては、特許文献１に記載のものがある。特許文献１には、入力する画像データの絵柄の輪郭を推測するための情報を算出し、この輪郭情報の出力を正側の閾値と負側の閾値と比較して３値化し、その３値データを用いて、補間ライン生成のための補間方向の候補を選択し、選択された補間方向候補から最終補間方向を決定する。そして、入力される画像データに対して、決定された補間方向の画素を用いた補間処理を行い、補間ラインを生成するものである。この方法によれば、まずインターレース画像の輪郭検出を行うことによって、上下ラインｎ，ｎ＋１上における、輪郭線に沿った適切な画素Ｕ，Ｄを用いて補間ライン上に補間画素Ａを生成することができるので、絵柄の輪郭線を無視して補間画素Ａを生成する誤りを防ぐことができる。
【０００８】
しかしながら、この技術によって、垂直方向の見た目の解像感が高くなるのであるが、その弊害として補間方向を判定するにあたっての誤判定による画質劣化が起こり得ることが分かってきた。例えば、動画の上にグラフィックによる静止画（例えば静止文字）が重畳した画像データが入力として供給された場合、背面の動画の斜め線のギザギザ感は改善するが、静止文字の近辺に斜め補間処理の弊害による画質劣化が見られる。これは背景の動画上に置かれた静止文字の太字の凹んだり線で囲まれたりした部分や、静止文字とこれに隣接若しくは重ねられた背景の物体部分との間に形成される凹んだスペースに、静止文字自体の輪郭線や、静止文字とこれに隣接する背景画とによる擬似的な輪郭線に沿うように、静止文字の画素を用いて補間画素が形成されるために、静止文字の太字の凹んだり線で囲まれたりした部分が静止文字に類似した画素で補間されて、本来の静止文字の形状を損なうことに起因したものである。
【特許文献１】特開２００７−１４２６６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は上記の問題に鑑み、動画の中に字幕等のような静止画が重畳されたインターレース画像を入力して補間処理する際に、斜め補間の改善効果を残しつつ、かつ斜め補間処理の弊害としての画質劣化のうち、静止画近辺の画質劣化を軽減することができる走査線補間装置及び走査線補間方法を提供するものである。
【課題を解決するための手段】
【００１０】
本願発明の一態様によれば、入力映像信号を1フレーム分遅延させる第１の遅延手段と、前記入力映像信号と前記第１の遅延手段の出力を入力として画素が静止しているかどうかを判定する静止判定手段と、前記静止判定手段の出力と第３の遅延手段の出力とを入力として画素の静止状態の時間方向連続性を判定する静止連続性判定手段と、前記静止連続性判定手段の出力を１フィールド分遅延させる第２の遅延手段と、前記第２の遅延手段の出力を１フィールド分遅延させる前記第３の遅延手段と、前記静止連続性判定手段の出力と前記第２の遅延手段の出力を入力として、斜め補間によって劣化の生じる虞のある方向を判定する補間方向判定手段と、補間方向の選択肢から前記補間方向判定手段で判定された補間方向を除外して、斜め補間処理を行うことによって、補間ラインを生成する補間処理手段と、を備えることを特徴とする走査線補間装置が提供される。
【００１１】
本願発明の他の態様によれば、入力映像信号を1フレーム分遅延し、前記入力映像信号と前記1フレーム分遅延した映像信号とを静止判定手段に入力して１フレーム前後で画素が静止しているかどうかを判定し、その静止判定結果と静止連続性判定手段の判定出力を１フレーム分遅延した判定出力とを当該静止連続性判定手段に入力して画素の静止状態の時間方向連続性を判定し、前記静止連続性判定手段の静止連続性判定出力を１フィールド分遅延し、さらに１フィールド分遅延し、この２フィールド分遅延した静止連続性判定出力を前記静止連続性判定手段に供給し、前記静止連続性判定手段の静止連続性判定出力と前記１フィールド分遅延した静止連続性判定出力とを補間方向判定手段に入力して、斜め補間によって劣化の生じる虞のある補間方向を判定し、斜め補間処理を実行する補間処理手段にて補間方向の選択肢から前記補間方向判定手段で判定された劣化の生じる補間方向を除外して斜め補間処理を行い、補間ライン信号を生成することを特徴とする走査線補間方法が提供される。
【発明の効果】
【００１２】
本発明によれば、動画の中に字幕等のような静止画が重畳されたインターレース画像を入力して補間処理する際に、斜め補間の改善効果を残しつつ、かつ斜め補間処理の弊害としての画質劣化のうち、静止画近辺の画質劣化を軽減することができる走査線補間装置及び走査線補間方法を提供することができる。
【発明を実施するための最良の形態】
【００１３】
本発明の実施形態を図１乃至図６を参照して説明する前に、図７乃至図１１を参照して本発明の関連技術を説明する。  
インターレース画像をプログレッシブ画像に変換する技術として、一般的に用いられている動き適応型プログレッシブ変換の技術は、画素単位もしくは画素ブロック単位で動き検出を行い、フィールド内補間処理結果とフィールド間補間処理結果を、動き検出結果に応じた混合比で混合処理する。
【００１４】
図７は動き適応型ＩＰ(インターレース・プログレッシブ)変換の例を示している。この図７で、インターレース画像の１フレームは、トップフィールド（第１フィールドともいい、topと略記）とボトムフィールド（第２フィールドともいい、bottomと略記）で構成されている。フィールドＡ，Ｂ，Ｃの３つのフィールドについてみると、時間的にはフィールドＡ，Ｂ，Ｃの順に１フィールド期間(１Ｖ又は単に１フィールドという)経過するごとに入力する。従って、フィールドＡとフィールドＣでは、２フィールド期間(１フレーム期間と同じ、２Ｖ又は単に２フィールドという)の時間差がある。
【００１５】
いま、図７のように、フィールドＢの上下に隣接する走査線(実線にて示す)間に補間ライン(点線にて示す)の画素ｂの値を生成する場合に、
フィールド間補間結果 (例えばフィールドＡの画素ａとフィールドＣの画素ｃの平均値)
フィールド内補間結果 (例えばフィールドＢの上下の画素buとbdの平均値)
の二種類の補間画素を画素ｂの位置における動き量に応じて混合する。ここで動き量は、例えば画素ａと画素ｃの差分等から推定する。
【００１６】
上記動き適応型プログレッシブ変換処理では、フィールド内補間処理として上下画素平均値 ( 図７の例ではbuとbdの平均値 ) を使用すると、垂直方向の解像感が低くなり、斜め線がギザギザに見える問題がある。
【００１７】
その対策として斜め補間という技術がある。  
斜め補間の先行技術（特許文献１）の技術によって、垂直方向の見た目の解像感が高くなるのであるが、その弊害として補間方向を判定するにあたっての誤判定による画質劣化が起こり得る。例として以下に斜め補間の効果およびその弊害を示すシミュレーション画像を以下に示す。ここでは、そのような画質劣化が起こり得るインターレース画像の例として、背面の自然画像(例えば動画)に静止文字等のグラフィック画像(静止画)が重畳されたインターレース画像が入力される場合について説明する。
【００１８】
比較のため、図８に斜め補間を行っていない場合(上下補間のみ)のフィールド内補間結果の例を示し、図９に斜め補間を行っている場合のフィールド内補間結果の例を示している。図１０に図９における主な画質劣化部分を拡大したものを示している。
【００１９】
図９の斜め補間を行った場合は、図８の斜め補間を行っていない場合に比べて背面の自然画の斜め線のギザギザ感が改善しているが、図９及び図１０に示すように静止文字の近辺 (丸で囲んだところ) に斜め補間処理の弊害による画質劣化が見られる。
【００２０】
特許文献１では、図１１に示すようにインターレース画像に画素の値が小さい部分と画素の値が大きい部分（例えば、黒い部分と白い部分）が存在していて、その２つの部分の境界が輪郭であった場合に、インターレースｎラインとインターレースｎ＋１ライン間に生成する補間ラインにおける輪郭付近に補間画素Ａを生成するには、まず、インターレース画像の輪郭を検出し、その検出した輪郭に沿う斜め方向を補間方向として選び、その方向に該当するｎ，ｎ＋１ライン上のそれぞれの画素Ｕ，Ｄ、即ちｎライン上の画素Ｕとｎ＋１ライン上の画素Ｄについて、両画素の和の平均値を算出し、その算出値を補間画素Ａの画素値として出力(生成)する。しかしながら、図９及び図１０に示したような画質劣化が生じるのは、背面の自然画像(例えば動画)に静止文字等のグラフィック画像(静止画)が重畳されたインターレース画像が入力される場合、輪郭方向を誤って検出するために補間処理のときにその誤った補間方向上で背景の動画の位置に使う画素の代わりにグラフィック画像の画素を用いてしまっていることが原因となっている。
【００２１】
そこで、本発明の実施形態では、インターレース画像をプログレッシブ画像に変換するにあたり斜め補間処理を用いる場合に、字幕等の静止画の近辺の画質劣化が弊害として起こりうるが、この画質劣化を軽減するために、長時間静止状態判定処理を画素ごとに行い、長時間静止状態ではない位置（即ち動画と判定される位置）の補間画素の生成には、長時間静止状態の画素を使用しないようにするものである。
【００２２】
以下、本発明の一実施の形態について図面を参照して説明する。  
図１は本発明の一実施形態の走査線補間装置のブロック図を示している。  
図１に示す走査線補間装置１０は、入力端子１１と、第１の遅延手段１２と、静止判定手段１３と、静止連続性判定手段１４と、第２の遅延手段１５と、第３の遅延手段１６と、補間方向判定手段１７と、補間処理手段１８と、出力端子１９とを備えている。
【００２３】
入力端子１１には、インターレース方式の映像信号が入力される。第１の遅延手段１２は、入力端子１１から入力した映像信号を１フレーム分遅延させる２Ｖ遅延部で構成される。静止判定手段１３は、現在入力している映像信号と第１の遅延手段１２からの１フレーム分遅延した映像信号との２つの映像信号を入力し、画素が静止しているかどうかを判定する。  
静止判定手段１３に入力する２つの映像信号には２フィールド期間分の時間差があるので、静止判定手段１３にはトップフィールド同士又はボトムフィールド同士の映像信号が同時に入力されることになる。
【００２４】
静止連続性判定手段１４は、静止判定手段１３の判定出力と後述の第３の遅延手段１６からの遅延出力とを入力として画素の静止状態の時間方向連続性を判定する。第２の遅延手段１５は、静止連続性判定手段１４の出力を１フィールド分遅延させる１Ｖ遅延部で構成される。第３の遅延手段１６は、第２の遅延手段１５の出力を１フィールド分遅延させる１Ｖ遅延部で構成される。  
静止連続性判定手段１４に入力する２つの静止判定出力には２フィールド期間分の時間差があるので、静止連続性判定手段１４にはトップフィールド同士又はボトムフィールド同士の静止判定出力が同時に入力されることになる。
【００２５】
補間方向判定手段１７は、静止連続性判定手段１４の出力と第２の遅延手段１５の遅延出力を入力として、斜め補間によって劣化の生じる虞のある方向（言い換えれば、斜め補間する補間方向候補のうちから除外すべき補間方向）を判定する。  
補間方向判定手段１７に入力する２つの静止連続性判定出力には１フィールド期間分の時間差があるので、補間方向判定手段１７には２つの静止連続性判定出力のうちのどちらか一方がトップフィールドでもう一方がボトムフィールドの静止連続性判定出力が同時に入力されることになる。
【００２６】
補間処理手段１８は、補間方向候補の複数の選択肢から補間方向判定手段１７で判定された補間方向を除外して、斜め補間処理を行うことによって補間ライン信号を生成する。  出力端子１９は、補間処理手段１８からの補間ライン信号を出力する。
【００２７】
なお、出力端子１９の後段にライン選択手段を配設する構成とすることにより、出力端子１９からの補間ライン信号を図示しないライン選択手段の一方の入力端に供給し、ライン選択手段のもう一方の入力端には入力端子１１より入力した現在の１水平ライン分の映像信号を供給し、現在の入力映像信号と補間ライン信号とを１水平ライン毎に交互に切り替えて出力することによって、水平ラインが垂直補間されたプログレッシブ方式の映像信号を出力することができる。
【００２８】
図２は静止判定手段１３の構成例を示している。  
図２に示す静止判定手段１３は、入力端子１１からの入力映像信号と第１の遅延手段１２からの出力との差分をとる減算手段２１と、減算手段２１からの差分の絶対値をとる絶対値化手段２２と、絶対値化手段２２からの差分絶対値を閾値と比較し、差分絶対値が閾値以下であれば静止と判定し、閾値より大きければ動画と判定する比較判定手段２３とを備えている。
【００２９】
このような構成において、静止判定手段１３は、入力映像信号と第１の遅延手段１２の出力との差分絶対値を画素ごとに閾値と比較して静止判定結果を‘０’か‘１’かの２値で出力する。静止判定手段１３の出力が‘０’であれば‘動’、‘１’であれば‘静止’であることを意味する。ここで閾値を‘０’とすると完全静止状態(即ち差分絶対値＝０)のときのみ‘静止’と判定されて判定結果‘１’が出力され、差分絶対値≠０のとき‘動’と判定されて判定結果‘０’が出力される。
【００３０】
図３は静止連続性判定手段１４の構成例を示している。  
図３に示す静止連続性判定手段１４は、静止判定手段１３の出力と第３の遅延手段１６の出力とを入力し、第３の遅延手段１６からの２フィールド分遅延した出力（＝１フレーム遅延出力）が入力するごとにカウントアップする例えば多ビットのカウンタで構成され、そのカウンタのカウント値を静止状態の長さを示す静止連続性判定結果として出力する。静止連続性判定手段１４は、静止判定手段１３からの入力が‘静止’という判定結果であれば、カウントアップし、そうでなければ０にリセットされる。そしてその結果があるリミット値に達した場合は飽和処理をする、という方法で実現できる。より具体的には、(1)静止判定手段１３からの入力が動画‘０’という判定結果であれば、当該カウンタのカウント値として０を出力し、(2)そうではなくて第３の遅延手段１６の出力が当該カウンタのリミット値(LIMITと略記、ここでは上限値のこと)に達した場合はそのリミット値を保持して出力し、(3)以上の２つの条件(1)，(2)に該当しなければカウンタでカウントアップ（count++）しそのカウント値を出力する。(1)〜(3)の３つ条件は、(1)が優先度が最も高く、(3)が優先度が最も低く、(2)が(1)と(3)の中間の優先度となっている。
【００３１】
このような構成において、静止連続性判定手段１４は、何らかの時間的な幅を持った値を出力できる。つまり、どの位長く静止しているかという静止状態の長さをカウント値として出力することができる。そして、このカウント値は例えば８ビットカウンタであれば、リミット値は２５６であり、この値が静止状態というべきか否かの判定は、次段の補間方向判定手段１７の図５のフローチャートに示す閾値THTで判定する。カウンタのカウント値が閾値THTより大きければその画素は静止画であると判定される。なお、図５の閾値THTを例えば３０とすれば、カウンタが３０回カウントすることは、言い換えれば１フレーム遅延出力が入力するまでの期間に画素の静止判定出力が３０回続いた状態（つまり１秒間静止した状態）に相当することを意味している。
【００３２】
静止連続性判定手段１４の出力は、その出力を１フィールド期間遅延する第２の遅延手段１５の出力と共に、補間方向判定手段１７へと入力される。
【００３３】
本実施形態では、図４に示すように斜め補間の補間方向の選択肢を決定することになる水平タップ数は例えば５タップとして説明する。このとき補間方向は図４に示すように方向０〜方向４の５通りである。補間に使用する上方ラインの静止連続性判定結果をU0〜U4、補間に使用する下方ラインの静止連続性判定結果をD0〜D4、補間出力位置（斜線付き○にて示す）における静止連続性判定結果をOUTとする。これらの静止連続性判定結果はいずれも、静止連続性判定手段１４のカウンタのカウント値に相当している。
【００３４】
このとき補間方向判定手段１７は、補間出力位置における静止連続性判定結果OUTが閾値THT(この閾値を超えると静止とする)を超えていない場合は、補間出力位置が動画であるとして、補間方向の候補として用いることが可能な方向は、U0〜U4,  D0〜D4のペアがともに閾値THTを超えていないペアの方向となり、U0〜U4,  D0〜D4のペアの少なくとも一方が閾値THTを超えていればその画素を含むペアの方向を補間方向の候補から除外することになる。これについては、次の図５のフローチャートで具体的に説明する。
【００３５】
図５は補間方向判定手段１７における補間方向判定の具体的例としてのフローチャートを示している。  
図５において、補間方向判定手段１７は、静止連続性判定手段１４の出力と第２の遅延手段１５の出力とから同時に入力されるトップフィールド及びボトムフィールドについての２つの静止連続性判定結果に基づいて、トップフィールドにおける上下２本の水平ライン上の画素についての静止連続性判定結果U0〜U4，D0〜D4と、トップフィールドの上下２本の水平ライン間に相当する、ボトムフィールドにおける補間出力位置の画素についての静止連続性判定結果OUTとを得る。
【００３６】
まず、補間出力位置の画素についての静止連続性判定結果OUTを静止画か否かの閾値THTと比較し（ステップＳ1）、静止連続性判定結果OUTの方が閾値THTより大きければ補間出力位置が静止画であるとして何もせず（つまり補間出力位置がグラフィックにおける静止部分であり、除外すべき補間方向候補は無しとする）、静止連続性判定結果OUTの方が閾値THT以下ならば補間出力位置が動画であると判定し、次ステップＳ2へ移行する。
【００３７】
ステップＳ2では、補間出力位置が動画であると判定されている状態で、上下２本の水平ラインのどちらか一方の水平ライン上の画素の静止連続性判定結果U0又はD4が閾値THTより大きければU0又はD4の画素位置が静止画であるとして、その画素の位置と補間出力位置を結ぶ補間方向０を斜め補間方向の候補から除外する情報として補間処理手段１８に供給し（ステップＳ3）、次ステップＳ4へ移行する。ステップＳ2で、水平ライン上の画素の静止連続性判定結果U0又はD4が閾値THT以下ならばU0又はD4の画素位置が動画であるとして、次ステップＳ4へ移行する。
【００３８】
ステップＳ4では、上下２本の水平ラインのどちらか一方の水平ライン上の画素の静止連続性判定結果U1又はD3が閾値THTより大きければU1又はD3の画素位置が静止画であるとして、その画素の位置と補間出力位置を結ぶ補間方向１を斜め補間方向の候補から除外する情報として補間処理手段１８に供給し（ステップＳ5）、次ステップＳ6へ移行する。ステップＳ4で、水平ライン上の画素の静止連続性判定結果U1又はD3が閾値THT以下ならばU1又はD3の画素位置が動画であるとして、次ステップＳ6へ移行する。
【００３９】
ステップＳ6では、上下２本の水平ラインのどちらか一方の水平ライン上の画素の静止連続性判定結果U3又はD1が閾値THTより大きければU3又はD1の画素位置が静止画であるとして、その画素の位置と補間出力位置を結ぶ補間方向３を斜め補間方向の候補から除外する情報として補間処理手段１８に供給し（ステップＳ7）、次ステップＳ8へ移行する。ステップＳ6で、水平ライン上の画素の静止連続性判定結果U3又はD1が閾値THT以下ならばU3又はD1の画素位置が動画であるとして、次ステップＳ8へ移行する。
【００４０】
ステップＳ8では、上下２本の水平ラインのどちらか一方の水平ライン上の画素の静止連続性判定結果U4又はD0が閾値THTより大きければU4又はD0の画素位置が静止画であるとして、その画素の位置と補間出力位置を結ぶ補間方向４を斜め補間方向の候補から除外する情報として補間処理手段１８に供給し（ステップＳ9）、終了する。ステップＳ8で、水平ライン上の画素の静止連続性判定結果U4又はD0が閾値THT以下ならばU4又はD0の画素位置が動画であるとして、終了する。
【００４１】
そして、補間方向判定手段１７の出力は、補間処理手段１８へ入力する。  
補間処理手段１８は、例えば特許文献１（特開2007-142669号公報）の図１，図２５又は図２６に示すような装置１００，１００Ａ又は１００Ｂで構成されていて、補間方向候補選択手段（第１のパターン比較部１５１及び第２のパターン比較部１５２、又は、第１のパターン比較部２５１及び第２のパターン比較部２５２）から出力される補間方向の選択肢（補間方向候補）の中から本願図１の補間方向判定手段１７で判定された補間方向を除外して、斜め補間処理を行うことによって、画質劣化を生じない正しい補間方向を選択して補間ライン信号を生成することができる。なお、補間処理手段１８は、特許文献１の構成に制限されるものではなく、斜め補間の複数の補間方向を推定し、その中から最終的に１つの補間方向を決定するアルゴリズムを有するものであれば広く適用可能である。
【００４２】
図６は本実施形態で得られるシミュレーション結果を示している。  
動画の上にグラフィックによる静止画が重畳した画像データが入力された場合でも、静止画素近辺に現れる図９及び図１０に示したような画質劣化が生じることのないように防止することができる。
【００４３】
本発明の実施形態によれば、斜め補間処理を用いて走査線の補間処理を行うにあたり、長時間静止状態の画素を検出して、その結果を補間方向の選択に用いることにより、斜め補間の改善効果を残しつつ、かつ斜め補間処理の弊害としての画質劣化のうち、斜め補間の弊害である長時間静止画素近辺の画質劣化を軽減することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施形態の走査線補間装置を示すブロック図。
【図２】本実施形態における静止判定手段の構成例を示すブロック図。
【図３】本実施形態における静止連続性判定手段の構成例を示すブロック図。
【図４】本実施形態における斜め補間の補間方向を示す説明図。
【図５】本実施形態における補間方向判定手段の具体例を説明するフローチャート。
【図６】本発明のシミュレーション結果を示す図。
【図７】図７乃至図１１は本発明の関連技術を示しており、図７は動き適応型ＩＰ変換の例を示し動き適応IP変換の例
【図８】補間を行っていない場合(上下補間のみ)のフィールド内補間結果の例を示す説明図。
【図９】斜め補間を行っている場合のフィールド内補間結果の例を示す説明図。
【図１０】図９における主な画質劣化部分を拡大して示す拡大図。
【図１１】斜め補間の先行技術（特許文献１）を説明する図。
【符号の説明】
【００４５】
１０…走査線補間装置  
１２…第１の遅延手段
１３…静止判定手段
１４…静止連続性判定手段
１５…第２の遅延手段
１６…第３の遅延手段
１７…補間方向判定手段
１８…補間ライン生成手段
２１…減算手段
２２…絶対値化手段
２３・・・比較判定手段
【図１】
2009177524.tif 000003
【図２】
2009177524.tif 000004
【図３】
2009177524.tif 000005
【図４】
2009177524.tif 000006
【図５】
2009177524.tif 000007
【図７】
2009177524.tif 000008
【図１１】
2009177524.tif 000009
【図６】
2009177524.tif 000010
【図８】
2009177524.tif 000011
【図９】
2009177524.tif 000012
【図１０】
2009177524.tif 000013