(57)【要約】【課題】被写体の動きを不自然にすることなく、間引きフレームを補間する。【解決手段】フレーム内符号化されたインターレース動画像の符号を復号器２１１で復号し、復号データを所要フレーム数分だけメモリ２１３に一時的に記憶する。読み出し回路２１４は、間引きフレーム以外では、メモリ２１３から当該フレームの第１フィールド、第２フィールドのデータを順に読み出す。間引きフレームでは、読み出し回路２１４はフレーム補間手段として動作し、メモリ２１３より、間引きフレームの直前のフレームの第２フィールドのデータを補間フレームの第１フィールドのデータとして、間引きフレームの直後のフレームの第１フィールドのデータを補間フレームの第２フィールドのデータとして、順に読み出す。間引きフレームの直前又は直後のフレームをそのまま補間フレームとした場合のような被写体の「戻り」は生じない。【選択図】図５
2006033219.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、
前記復号手段により復号されたデータを一時的に記憶する記憶手段と、
前記インターレース動画像の間引かれたフレームに対する補間フレームを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有し、
前記フレーム補間手段は、間引かれたフレームの直前のフレームの第２フィールドのデータを補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直後のフレームの第１フィールドのデータを補間フレームの第２フィールドのデータとして用いることを特徴とする画像処理装置。
【請求項２】
フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、
前記復号手段により復号されたデータを一時的に記憶する記憶手段と、
前記インターレース動画像の間引かれたフレームに対する補間フレームを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有し、
前記フレーム補間手段は、間引かれたフレームの直前のフレームの第２フィールドのデータを補間フレームの第１フィールドのデータ及び第２フィールドのデータとして用いることを特徴とする画像処理装置。
【請求項３】
フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、
前記復号手段により復号されたデータを一時的に記憶する記憶手段と、
前記インターレース動画像の間引かれたフレームに対する補間フレームを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有し、
前記フレーム補間手段は、間引かれたフレームの直後のフレームの第１フィールドのデータを、補間フレームの第１フィールドのデータ及び第２フィールドのデータとして用いることを特徴とする画像処理装置。
【請求項４】
フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、
前記復号手段により復号されたデータを一時的に記憶する記憶手段と、
前記インターレース動画像の間引かれたフレームに対する補間フレームを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有し、
前記フレーム補間手段は、間引かれたフレームの直前のフレームの第１フィールドのデータと間引かれたフレームの直後のフレームの第１フィールドのデータとの平均データを、補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直前のフレームの第２フィールドのデータと間引かれたフレームの直後のフレームの第２フィールドのデータとの平均データを、補間フレームの第２フィールドのデータとして用いることを特徴とする画像処理装置。
【請求項５】
フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、
前記復号手段により復号されたデータを一時的に記憶する記憶手段と、
前記インターレース動画像の間引かれたフレームに対する補間フレームを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有し、
前記フレーム補間手段は、間引かれたフレームの直前のフレームの第１フィールドのデータと第２のフィールドのデータとの平均データを、補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直後のフレームの第１フィールドのデータと第２フィールドのデータとの平均データを、補間フレームの第２フィールドのデータとして用いることを特徴とする画像処理装置。
【請求項６】
前記フレーム補間手段は、前記記憶手段より補間フレームの生成に必要なデータを読み出す手段からなることを特徴とする請求項１，２又は３に記載の画像処理装置。
【請求項７】
前記フレーム補間手段は、前記記憶手段より補間フレームの生成に必要なデータを読み出す手段と、この手段により読み出されたデータの平均データを求める手段とからなることを特徴とする請求項４又は５に記載の画像処理装置。
【請求項８】
インターレース動画像の間引かれたフレームに対する補間フレームの生成方法であって、間引かれたフレームの直前のフレームの第２フィールドのデータを補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直後のフレームの第１フィールドのデータを補間フレームの第２フィールドのデータとして用いることを特徴とする補間フレーム生成方法。
【請求項９】
インターレース動画像の間引かれたフレームに対する補間フレームの生成方法であって、間引かれたフレームの直前のフレームの第２フィールドのデータを補間フレームの第１フィールドのデータ及び第２フィールドのデータとして用いることを特徴とする補間フレームの生成方法。
【請求項１０】
インターレース動画像の間引かれたフレームに対する補間フレームの生成方法であって、間引かれたフレームの直後のフレームの第１フィールドのデータを、補間フレームの第１フィールドのデータ及び第２フィールドのデータとして用いることを特徴とする補間フレームの生成方法。
【請求項１１】
インターレース動画像の間引かれたフレームに対する補間フレームの生成方法であって、間引かれたフレームの直前のフレームの第１フィールドのデータと間引かれたフレームの直後のフレームの第１フィールドのデータとの平均データを、補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直前のフレームの第２フィールドのデータと間引かれたフレームの直後のフレームの第２フィールドのデータとの平均データを、補間フレームの第２フィールドのデータとして用いることを特徴とする補間フレームの生成方法。
【請求項１２】
インターレース動画像の間引かれたフレームに対する補間フレームの生成方法であって、間引かれたフレームの直前のフレームの第１フィールドのデータと第２のフィールドのデータとの平均データを、補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直後のフレームの第１フィールドのデータと第２フィールドのデータとの平均データを、補間フレームの第２フィールドのデータとして用いることを特徴とする補間フレームの生成方法。
【請求項１３】
請求項１乃至７のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
【請求項１４】
請求項１乃至７のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラムが記録されたコンピュータが読み取り可能な情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレース動画像の処理に係り、より詳しくは、フレーム内符号化されたインターレース動画像の復号処理を行う画像処理装置及びインターレース動画像の間引きフレームに対する補間フレームの生成方法に関する。
【背景技術】
【０００２】
動画像の符号化は、フレーム内符号化とフレーム間符号化の２つに大別することができる。フレーム内符号化とは、動画像を構成する１つ１つのフレームを個々に符号化し、各符号を連結して動画像の符号を生成する方式であり、その代表例はＤＶ、motion-JPEG、motion-JPEG2000である。一方、フレーム間符号化とは、動画像を構成するフレームから連続する複数のフレームを取り出して１つのグループにし、グループごとに符号化を行い、グループごとの符号を連結して動画像の符号を生成する方式であり、その代表例はMPEG1、MPEG2、MPEG4である。
【０００３】
近年、一つの符号から部分的な符号を取り出すニーズが高まりつつある。例えば、ネットワーク上のサーバにある20ＭＢの動画像ファイルから主要なフレームの符号だけを抜き出すことによって４ＭＢの符号を取り出すことができれば、その４ＭＢ分の動画像の符号だけを送信することによりネットワークの負荷や転送時間を低減することができる。
【０００４】
フレーム間符号化された動画像は、グループ単位で符号化されているため、グループの符号を復号することなしには個々のフレームを取り出すことができない。一方、フレーム内符号化された動画像は、各フレームの符号の集合として構成されているため、復号することなくフレーム単位で符号の取り出しが可能である。
【０００５】
フレーム内符号化においては、符号化効率を向上させるためにフレームの間引きが行われる場合がある。これについて図１により説明する。図１（ａ）に示すように動画像のフレーム間隔はもともと均等であるが、符号化時（又は符号化後）に一定間隔でフレームが間引かれた符号を復号すると、図１（ｂ）に示すようにフレーム間隔が不均等になり、これをそのまま表示したのでは動きのぎこちない画像になってしまう。また、フレーム間隔が一定でなければ表示できない表示デバイスも多い。したがって、間引かれたフレームに対し図１（ｃ）に破線で示すようなフレームを補間することにより、フレーム間隔を等間隔するする必要がある。フレーム補間は、間引かれたフレームの直前のフレームをそのまま補間フレームとして用いるのが最も簡単な方法である。
【０００６】
さて、ビデオカメラ等で撮影される動画像の多くはインターレース動画像である。インターレース動画像は、図２に模式的に示すように、撮影時に各フレームがインターレース走査により第１フィールドと第２フィールドに分けて撮像されたものである。このような動画像の各フレームは、第１フィールドと第２フィールドが順に２回のインターレース走査により表示される。フレームは、偶数番号のラインからなる偶数フィールドと、奇数番号のラインからなる奇数フィールドとで構成されるが、図２に示すように偶数フィールドが第１フィールドとなる場合と、これと逆に奇数フィールドが第１フィールドとなる場合がある。
【０００７】
このようなインターレース動画像の間引かれたフレームを、その直前フレームを用いて補間した場合、被写体の動きが一瞬逆戻りするように見える現象が生じることがある。この「戻り」現象は、フィールド間での被写体の動きに起因する。
【０００８】
図３は、この「戻り」現象を説明するための模式図であり、縦方向は時間、横方向は被写体の動きを表している。図中、フレーム（ｎ−１）が間引かれたフレームの直前のフレームであり、フレーム（ｎ＋１）が間引かれたフレームの直後のフレームである。フレーム（ｎ）が間引かれたフレームの補間フレームであり、これは直前のフレーム（ｎ−１）のコピーである。
【０００９】
このように間引かれたフレームの補間フレーム（ｎ）として直前のフレーム（ｎ−１）をそのまま用いた場合、例えば、直前のフレーム（ｎ−１）の第１フィールド１００と第２フィールド１０１の間で被写体が左から右への移動し、同様の動きがフレーム（ｎ＋１）以降まで継続したときには、補間フレーム（ｎ）の第１フィールド１０３で被写体が左方向へ逆戻りするかのように見え、ぎこちない動きの画像となったしまう。被写体が右から左へ移動する場合にも、同様の「戻り」現象が生じる。間引きフレームの直後のフレーム（ｎ−１）をそのまま間引かれたフレームの補間フレーム（ｎ）として用いた場合にも、このような「戻り」が生じる。
【００１０】
上記「戻り」現象を解消しようとする本発明の内容と直接関連するものではないが、インターレース動画像におけるフィールド間の動きに関連した先行技術文献として特許文献１及び特許文献２がある。
【００１１】
特許文献１に記載されている装置及び方法はもインターレース動画像の連続した３フィールドから静止画用のフレーム画像を生成しようとするものであり、フィールド間の動きの有無を検出し、動きが検出されない場合には、３フィールド中の２番目のフィールドの欠落したラインの画素を、前後のフィールドの対応ラインの画素の平均値で補間するこにより、静止画用フレームを生成する。動きが検出された場合には、２番目のフィールドの欠落したラインの画素を、その上下のラインの対応画素の平均値で補間することにより静止画用フレーム画像を生成する。
【００１２】
特許文献２ら記載されているインターレース動画像の符号化方法及び装置は、ＭＰＥＧ２のアルゴリズムではフィールド間でシーンチェンジが発生した場合に符号化効率が低下し、また画質が劣化するため、これを改善するため、フィールド間の動き予測を行い、予測モードとして、片フィールドは前方向のフィールドの動きベクトルから、他方の片フィールドは後方向フィールドの動きベクトルからの予測を用いるかをピクチャ単位に選択し、選択した予測モードに対応した予測画像を生成して符号化する。
【００１３】
【特許文献１】特開平８−３１７３３６号公報
【特許文献２】特開２０００−２７０３３２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明の目的は、フレーム内符号化されたインターレース動画像の復号処理を行う画像処理装置において、インターレース動画像の間引かれたフレームにフレームを補間することにより、前述の「戻り」現象のない、動きのスムーズな動画像の再生を可能にすることにある。
【００１５】
本発明のもう１つの目的は、複雑な演算処理を行うことなく、インターレース動画像の間引かれたフレームを補間するための、前述の「戻り」現象を生じさせない補間フレームを生成する方法を提供することにある。
【課題を解決するための手段】
【００１６】
請求項１の発明は、フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、この前記復号手段により復号されたデータを一時的に記憶する記憶手段と、前記インターレース動画像の間引かれたフレームに対する補間フレームを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有し、このフレーム補間手段は、間引かれたフレームの直前のフレームの第２フィールドのデータを補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直後のフレームの第１フィールドのデータを補間フレームの第２フィールドのデータとして用いることを特徴とする画像処理装置である。
【００１７】
請求項２の発明は、フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、この復号手段により復号されたデータを一時的に記憶する記憶手段と、前記インターレース動画像の間引かれたフレームに対する補間フレームを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有し、このフレーム補間手段は、間引かれたフレームの直前のフレームの第２フィールドのデータを補間フレームの第１フィールドのデータ及び第２フィールドのデータとして用いることを特徴とする画像処理装置である。
【００１８】
請求項３の発明は、フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、この復号手段により復号されたデータを一時的に記憶する記憶手段と、前記インターレース動画像の間引かれたフレームに対する補間フレームを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有し、このフレーム補間手段は、間引かれたフレームの直後のフレームの第１フィールドのデータを、補間フレームの第１フィールドのデータ及び第２フィールドのデータとして用いることを特徴とする画像処理装置である。
【００１９】
請求項４の発明は、フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、この復号手段により復号されたデータを一時的に記憶する記憶手段と、前記インターレース動画像の間引かれたフレームに対する補間フレームを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有し、このフレーム補間手段は、間引かれたフレームの直前のフレームの第１フィールドのデータと間引かれたフレームの直後のフレームの第１フィールドのデータとの平均データを、補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直前のフレームの第２フィールドのデータと間引かれたフレームの直後のフレームの第２フィールドのデータとの平均データを、補間フレームの第２フィールドのデータとして用いることを特徴とする画像処理装置である。
【００２０】
請求項５の発明は、フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、この復号手段により復号されたデータを一時的に記憶する記憶手段と、前記インターレース動画像の間引かれたフレームに対する補間フレームを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有し、このフレーム補間手段は、間引かれたフレームの直前のフレームの第１フィールドのデータと第２のフィールドのデータとの平均データを、補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直後のフレームの第１フィールドのデータと第２フィールドのデータとの平均データを、補間フレームの第２フィールドのデータとして用いることを特徴とする画像処理装置である。
【００２１】
請求項６の発明は、請求項１，２又は３の発明による画像処理装置であって、前記フレーム補間手段は、前記記憶手段より補間フレームの生成に必要なデータを読み出す手段からなることを特徴とする画像処理装置である。
【００２２】
請求項７の発明は、請求項４又は５の発明による画像処理装置であって、前記フレーム補間手段は、前記記憶手段より補間フレームの生成に必要なデータを読み出す手段と、この手段により読み出されたデータの平均データを求める手段とからなることを特徴とする画像処理装置である。
【００２３】
請求項８の発明は、インターレース動画像の間引かれたフレームに対する補間フレームの生成方法であって、間引かれたフレームの直前のフレームの第２フィールドのデータを補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直後のフレームの第１フィールドのデータを補間フレームの第２フィールドのデータとして用いることを特徴とする補間フレーム生成方法である。
【００２４】
請求項９の発明は、インターレース動画像の間引かれたフレームに対する補間フレームの生成方法であって、間引かれたフレームの直前のフレームの第２フィールドのデータを補間フレームの第１フィールドのデータ及び第２フィールドのデータとして用いることを特徴とする補間フレームの生成方法である。
【００２５】
請求項１０の発明は、インターレース動画像の間引かれたフレームに対する補間フレームの生成方法であって、間引かれたフレームの直後のフレームの第１フィールドのデータを、補間フレームの第１フィールドのデータ及び第２フィールドのデータとして用いることを特徴とする補間フレームの生成方法である。
【００２６】
請求項１１の発明は、インターレース動画像の間引かれたフレームに対する補間フレームの生成方法であって、間引かれたフレームの直前のフレームの第１フィールドのデータと間引かれたフレームの直後のフレームの第１フィールドのデータとの平均データを、補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直前のフレームの第２フィールドのデータと間引かれたフレームの直後のフレームの第２フィールドのデータとの平均データを、補間フレームの第２フィールドのデータとして用いることを特徴とする補間フレームの生成方法である。
【００２７】
請求項１２の発明は、インターレース動画像の間引かれたフレームに対する補間フレームの生成方法であって、間引かれたフレームの直前のフレームの第１フィールドのデータと第２のフィールドのデータとの平均データを、補間フレームの第１フィールドのデータとして用い、間引かれたフレームの直後のフレームの第１フィールドのデータと第２フィールドのデータとの平均データを、補間フレームの第２フィールドのデータとして用いることを特徴とする補間フレームの生成方法である。
【００２８】
請求項１３の発明は、請求項１乃至７のいずれか１項の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムである。
【００２９】
請求項１４の発明は、請求項１乃至７のいずれか１項の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムが記録されたコンピュータが読み取り可能な情報記録媒体である。
【発明の効果】
【００３０】
請求項１乃至７の発明によれば、フレーム補間によりフレーム間隔が均等化されるとともに、補間フレームにおける前述の「戻り」現象が発生せず、さらに請求項４の発明によれば補間フレームでの１ライン分の上下の揺らぎが生じることもないため、動きのスムーズな動画像を再生することが可能であり、さらにフレーム補間手段も構成な構成とすることができる等の効果を得られる。
【００３１】
請求項８乃至１２の発明によれば、複雑な演算処理を必要とすることなく、インターレース動画像の間引きフレームに対し、前述の「戻り」現象を発生させない補間フレームを生成することができ、さらに請求項１１の発明によれば１ライン分の上下の揺らぎも生じさせない補間フレームを生成することができる等の効果を得られる。
【００３２】
請求項１３及び１４の発明によれば、請求項１乃至７の発明による画像処理装置をコンピュータを利用し容易に実現することができる。
【発明を実施するための最良の形態】
【００３３】
本発明に係る画像処理装置は、例えばｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像のような、フレーム内符号化されたインターレース動画像の符号を復号する復号手段と、この復号手段により復号されたフレームのデータを一時的に記憶する記憶手段と、前記インターレース動画像の間引かれたフレームに対する補間フレームのデータを前記記憶手段に記憶されているデータに基づいて生成するフレーム補間手段とを有する。インターレース動画像の間引かれたフレームはフレーム補間手段により補間されるため、フレーム間隔は均等となり、フレーム間隔の不均等による動きのぎこちなさは解消される。また、フレーム補間手段により生成される補間フレームは、以下に説明するように「戻り」現象を生じないため、動きのスムーズな動画像の再生が可能になる。
【００３４】
かかる画像処理装置は主としてフレーム補間手段に関し様々な構成をとり得る。以下、本発明の実施の形態を、いくつかの実施例により詳細に説明する。
【実施例１】
【００３５】
この実施例における補間フレームの生成方法について図４により説明する。図４は図３と同様に、縦方向に時間、横方向に被写体の動きを表した模式図であり、フレーム（ｎ）が間引かれたフレームの補間フレーム、フレーム（ｎ−１）が間引かれたフレームの直前のフレーム、フレーム（ｎ＋１）が間引かれたフレームの直後のフレームである。
【００３６】
先に述べたように、インターレース動画像には、各フレームの最初に表示される第１フィールドが偶数フィールド、次に表示される第２フィールドが奇数フィールドのタイプと、第１フィールドが奇数フィールド、第２フィールドが偶数フィールドのタイプとがある。本実施例及び後記各実施例において処理されるインターレース動画像は、そのいずれのタイプのものでも構わない。
【００３７】
本実施例においては、補間フレーム（ｎ）の第１フィールド２０２のデータとして、時間的に最も近い、間引きフレームの直前のフレーム（ｎ−１）の第２フィールド２０１のデータがそのまま用いられる。補間フレーム（ｎ）の第２フィールド２０３のデータとして、時間的に最も近い、間引きフレームの直後のフレーム（ｎ＋１）の第１フィールド２０４のデータがそのまま用いられる。換言すれば、直前フレームの第２フィールド２０１が補間フレームの第１フィールド２０２にコピーされ、直後のフレームの第１フィールド２０４が補間フレームの第２フィールド２０３にコピーされる形になる。
【００３８】
このようなフレーム補間を行ったインターレース動画像データを表示した場合、補間フレームの第１フィールドにおける被写体の位置と直前フレームの第２フィールドにおける被写体の位置は同一であり、補間フレームの第２フィールドにおけ被写体の位置と直後のフレームの第１フィールドにおける被写体の位置は同一であるから、図４からも理解されるように、補間フレームで被写体の動きが一瞬止まったように見える。しかし、図３に関連して説明したような「戻り」による被写体の動きのぎこちなさはなく、被写体の動きの滑らかさは大幅に改善される。
【００３９】
図５は、本実施例に係る画像処理装置のブロック図である。この画像処理装置は、フレーム内符号化されたインターレース動画の符号を復号する手段である復号器２１１と、復号器２１１により復号されたデータを少なくとも連続した必要フレーム数分だけ一時的に記憶するための手段であるメモリ２１３と、復号データのメモリ２１３への書き込みを行う手段である書き込み回路２１２と、メモリ２１３からデータの読み出しを行う手段である読み出し回路２１４と、以上各部を制御する制御回路２１５とから構成される。
【００４０】
本実施例においては、読み出し回路２１４は、間引かれないフレームに関しては単なるメモリ読み出し手段として作用するが、間引かれたフレームに関しては制御回路２１５の制御下で補間データを生成するためのデータ補間手段として作用する。
【００４１】
図６は、読み出し回路２１４の動作を説明するためのフローチャートである。制御回路２１５は、出力しようとするフレームが間引かれたフレームであるか否かを判定し（ステップ２２１）、その判定結果によって読み出し回路２１４の動作を切り替える。なお、通常、フレームの間引きは一定間隔で行われるため、その間隔が既知であれば、先頭フレームからのフレーム数をカウントすることにより、間引きフレームであるか否かを容易に判定できる。フレーム間隔が一定しない場合には、例えば動画像の符号のヘッダ情報などに基づいて間引きフレームを知ることができる。
【００４２】
まず、当該フレームが間引かれたフレームでない場合（ステップ２２１，ＮＯ）、制御回路２１５の制御に従って、読み出し回路２１４は、メモリ２１３より当該フレームの第１フィールドのデータを読み出して出力し（ステップ２２２）、次に、メモリ２１３より当該フレームの第２フィールドのデータを読み出して出力する（ステップ２２３）。
【００４３】
一方、当該フレームが間引かれたフレームの場合（ステップ２２１，ＹＥＳ）、制御回路２１５の制御により読み出し回路２１４はフレーム補間手段としての動作を行う。すなわち、読み出し回路２１４は、メモリ２１３より当該間引かれたフレームの直前のフレームの第２フィールドのデータを補間フレームの第１フィールドのデータとして読み出して出力し（ステップ２２４）、次に、メモリ２１３より、当該間引かれたフレームの直後のフレームの第１フィールドのデータを補間フレームの第２フィールドのデータとして読み出して出力する（ステップ２２５）。
【００４４】
このように、本実施例は、復号データをバッファ記憶するためのメモリ２１３の読み出し回路２１４をフレーム補間手段として利用でるきため、フレーム補間のための回路要素を別に用意する必要がなく、画像処理装置を簡易な構成とすることができる。
【実施例２】
【００４５】
この実施例における補間フレームの生成方法について図７により説明する。図７は図３と同様に、縦方向に時間、横方向に被写体の動きを表した模式図であり、フレーム（ｎ）が間引かれたフレームの補間フレーム、フレーム（ｎ−１）が間引かれたフレームの直前のフレーム、フレーム（ｎ＋１）が間引かれたフレームの直後のフレームである。
【００４６】
本実施例においては、補間フレーム（ｎ）の第１フィールド３０２及び第２フィールド３０３のデータとして、直前フレーム（ｎ−１）の第２フィールド３０１のデータがそのまま用いられる。換言すれば、直前フレームの第２フィールド３０１が補間フレームの第１フィールド３０２及び第２フィールド３０３にコピーされる形になる。
【００４７】
このようなフレーム補間を行ったインターレース動画像データを表示した場合、補間フレームの第１フィールド及び第２フィールドにおける被写体の位置と直前フレームの第２フィールドにおける被写体の位置は同一であるから、図７からも理解されるように、補間フレームで被写体の動きが一瞬止まったように見える。しかし、図３に関連して説明したような「戻り」による被写体の動きのぎこちなさはなく、被写体の動きの滑らかさが改善される。
【００４８】
本実施例に係る画像処理装置の構成は、前記実施例１の場合と同様に図５のブロック図で表すことができるので、図５を援用して説明する。本実施例に係る画像処理装置は、フレーム内符号化されたインターレース動画の符号を復号する復号器２１１と、復号器２１１により復号されたデータを少なくとも連続した必要フレーム数分だけ一時的に記憶するためのメモリ２１３と、復号データのメモリ２１３への書き込みを行う書き込み回路２１２と、メモリ２１３からデータの読み出しを行う読み出し回路２１４と、以上各部を制御する制御回路２１５とから構成される。本実施例においても、読み出し回路２１４は、間引かれなかったフレームに関しては単なるメモリ読み出し手段として作用するが、間引かれたフレームに関しては制御回路２１５の制御下でデータ補間手段として作用する。
【００４９】
図８は、本実施例における読み出し回路２１４の動作を説明するためのフローチャートである。制御回路２１５は、出力しようとするフレームが間引かれたフレームであるか否かを判定し（ステップ３１１）、その判定結果によって読み出し回路２１４の動作を切り替える。
【００５０】
まず、当該フレームが間引かれたフレームでない場合（ステップ３１１，ＮＯ）、制御回路２１５の制御に従って、読み出し回路２１４は、メモリ２１３より当該フレームの第１フィールドのデータを読み出して出力し（ステップ３１２）、次に、メモリ２１３より当該フレームの第２フィールドのデータを読み出して出力する（ステップ３１３）。
【００５１】
一方、当該フレームが間引かれたフレームの場合（ステップ３１１，ＹＥＳ）、制御回路２１５の制御により読み出し回路２１４はフレーム補間手段としての動作を行う。すなわち、読み出し回路２１４は、メモリ２１３より当該間引かれたフレームの直前のフレームの第２フィールドのデータを読み出し、それを補間フレームの第１フィールドのデータとして出力し（ステップ３１４）、次に、メモリ２１３より当該間引かれたフレームの直前のフレームの第２フィールドのデータを再び読み出し、それを補間フレームの第２フィールドのデータとして出力する（ステップ３１５）。
【００５２】
このように、本実施例は、復号データをバッファ記憶するためのメモリ２１３の読み出し回路２１４をフレーム補間手段として利用できるため、フレーム補間のための回路要素を別途用意する必要がなく、画像処理装置を簡易な構成とすることができる。
【実施例３】
【００５３】
この実施例における補間フレームの生成方法について図９により説明する。図９は図３と同様に、縦方向に時間、横方向に被写体の動きを表した模式図であり、フレーム（ｎ）が間引かれたフレームの補間フレーム、フレーム（ｎ−１）が間引かれたフレームの直前のフレーム、フレーム（ｎ＋１）が間引かれたフレームの直後のフレームである。
【００５４】
本実施例においては、補間フレーム（ｎ）の第１フィールド３２２及び第２フィールド３２３のデータとして、間引かれたフレームの直後のフレーム（ｎ＋１）の第１フィールド３２４のデータがそのまま用いられる。換言すれば、間引かれたフレームの直後のフレームの第１フィールド３２４が補間フレームの第１フィールド３２２及び第２フィールド３２３にコピーされる形になる。
【００５５】
このようなフレーム補間を行ったインターレース動画像データを表示した場合、補間フレームの第１フィールド及び第２フィールドにおける被写体の位置と直後のフレームの第１フィールドにおける被写体の位置は同一であるから、図９からも理解されるように、補間フレームで被写体の動きが一瞬止まったように見える。しかし、図３に関連して説明したような「戻り」による被写体の動きのぎこちなさはなくなり、被写体の動きの滑らかさが改善される。
【００５６】
本実施例に係る画像処理装置の構成は、前記実施例１の場合と同様に図５のブロック図で表すことができるので、図５を援用して説明する。本実施例に係る画像処理装置は、フレーム内符号化されたインターレース動画像の符号を復号する復号器２１１と、復号器２１１により復号されたデータを少なくとも連続した必要フレーム数分だけ一時的に記憶するためのメモリ２１３と、復号データのメモリ２１３への書き込みを行う書き込み回路２１２と、メモリ２１３からデータの読み出しを行う読み出し回路２１４と、以上各部を制御する制御回路２１５とから構成される。本実施例においても、読み出し回路２１４は、間引かれなかったフレームに関しては単なるメモリ読み出し手段として作用するが、間引かれたフレームに関しては制御回路２１５の制御下でデータ補間手段として作用する。
【００５７】
図１０は、本実施例における読み出し回路２１４の動作を説明するためのフローチャートである。制御回路２１５は、出力しようとするフレームが間引かれたフレームであるか否かを判定し（ステップ３３１）、その判定結果によって読み出し回路２１４の動作を切り替える。
【００５８】
まず、当該フレームが間引かれたフレームでない場合（ステップ３３１，ＮＯ）、制御回路２１５の制御に従って、読み出し回路２１４は、メモリ２１３より当該フレームの第１フィールドのデータを読み出して出力し（ステップ３３２）、次に、メモリ２１３より当該フレームの第２フィールドのデータを読み出して出力する（ステップ３３３）。
【００５９】
一方、当該フレームが間引かれたフレームの場合（ステップ３３１，ＹＥＳ）、制御回路２１５の制御により読み出し回路２１４はフレーム補間手段としての動作を行う。すなわち、読み出し回路２１４は、メモリ２１３より当該間引かれたフレームの直後のフレームの第１フィールドのデータを読み出し、これを補間フレームの第１フィールドのデータとして出力し（ステップ３３４）、次に、メモリ２１３より当該間引かれたフレームの直後のフレームの第１フィールドのデータを再度読み出し、これを補間フレームの第２フィールドのデータとして出力する（ステップ３３５）。
【００６０】
このように、本実施例は、復号データをバッファ記憶するためのメモリ２１３の読み出し回路２１４をフレーム補間手段として利用できるため、フレーム補間のための回路要素を別途用意する必要がなく、画像処理装置を簡易な構成とすることができる。
【実施例４】
【００６１】
この実施例における補間フレームの生成方法について図１１により説明する。図１１は図３と同様に、縦方向に時間、横方向に被写体の動きを表した模式図であり、フレーム（ｎ）が間引かれたフレームの補間フレーム、フレーム（ｎ−１）が間引かれたフレームの直前のフレーム、フレーム（ｎ＋１）が間引かれたフレームの直後のフレームである。
【００６２】
本実施例においては、補間フレーム（ｎ）の第１フィールド４０２のデータとして、間引かれたフレームの直前のフレーム（ｎ−１）の第１フィールド４００のデータと直後のフレーム（ｎ＋１）の第１フィールド４０４のデータとの平均データを用い、補間フレーム（ｎ）の第２フィールド４０３のデータとして、直前のフレーム（ｎ−１）の第２フィールド４０１のデータと直後のフレーム（ｎ＋１）の第２フィールド４０５のデータとの平均データを用いる。ここで平均データとは、２フィールドの対応画素値の平均をとったデータである。
【００６３】
前記実施例１においては、間引きフレームの直前フレームの第２フィールドのデータが補間フレームの第１フィールドにコピーされ、直後のフレームの第１フレームのデータが補間フレームの第２フィールドにコピーされるため、補間フレームと前後のフレームとでは奇数，偶数フィールドが入れ替わる形になるため、補間フレームで「１ライン分の上下の揺らぎ」が発生する。前記実施例２，３においても同様の奇数，偶数フィールドの入れ替わりによる１ライン分の上下の揺らぎが発生する。
【００６４】
これに対し、本実施例においては、補間フレームの第１フィールドのデータは前後フレームの第１フィールドの平均データであり、補間フレームの第２フィールドは前後フレームの第２フィールドの平均データであり、そのような奇数，偶数フィールドの入れ替わりはなく、１ライン分の上下の揺らぎは生じない。なお、本実施例においては、間引きフレームの前後で被写体の横方向の動きがあると、被写体の左右への「膨張」もしくは「ぼけ」が懸念されるが、２フレーム間で平均をとっているため支障のない程度である。
【００６５】
図１２は、本実施例に係る画像処理装置のブロック図である。この画像処理装置は、フレーム内符号化されたインターレース動画の符号を復号する手段である復号器４１１と、復号器４１１により復号されたデータを少なくとも連続した必要フレーム数分だけ一時的に記憶する手段であるメモリ４１３と、復号データのメモリ４１３への書き込みを行う手段である書き込み回路４１２と、メモリ４１３からデータの読み出しを行う手段である読み出し回路４１４と、読み出し回路４１４より入力される２フィールドのデータの平均データを算出する手段である平均化回路４１５と、読み出し回路４１４より出力されるデータ又は平均化回路４１４より出力されるデータ（補間フレームのデータ）を選択して出力するセレクタ４１６と、以上各部を制御する制御回路４１７とから構成される。
【００６６】
本実施例においては、読み出し回路４１４は、間引かれなかったフレームに関しては単なるメモリ読み出し手段として作用するが、間引かれたフレームに関しては制御回路４１７の制御下で平均化回路４１５とともにデータ補間手段として作用する。
【００６７】
平均化回路４１４は、例えば図１３に示すように、２つのフィールドのデータ４１２，４２２の対応した画素値の合計値を求める加算器４２３と、この加算器４２３の出力データを１ビット分下位へシフトすることにより、加算器４２３で算出された合計値を２で除した平均値を得るシフタ４２４とからなる構成である。
【００６８】
図１４は、読み出し回路４１４及びセレクタ４１６の動作を説明するためのフローチャートである。制御回路４１７は、出力しようとするフレームが間引かれたフレームであるか否かを判定し（ステップ４３１）、その判定結果によって読み出し回路４１４及びセレクタ４１６の動作を切り替える。
【００６９】
まず、当該フレームが間引かれたフレームでない場合（ステップ４３１，ＮＯ）、制御回路４１７の制御によりセレクタ４１６は読み出し回路４１４の出力データを選択する（ステップ４３２）。次に、制御回路４１７の制御に従って、読み出し回路４１４は、メモリ４１３より当該フレームの第１フィールドのデータを読み出し（ステップ４３３）、次にメモリ４１３より当該フレームの第２フィールドのデータを読み出す（ステップ４３４）。読み出されたデータはセレクタ４１６を介して外部に出力される。
【００７０】
一方、当該フレームが間引かれたフレームの場合（ステップ４３１，ＹＥＳ）、制御回路４１７の制御によりセレクタ４１６は平均化回路４１５の出力データを選択する（ステップ４３５）。次に、制御回路４１７の制御に従って、読み出し回路４１４はフレーム補間手段としての動作を行う。すなわち、読み出し回路４１４は、メモリ４１３より、当該間引かれたフレームの直前のフレームの第１フィールド及び直後のフレームの第１フィールドのデータを画素単位で並列的に読み出す（ステップ４３６）。この読み出しと同時に、それらデータの平均データが平均化回路４１５で算出され、セレクタ４１６を介して外部に出力される。次に、読み出し回路４１４は、メモリ４１３より、当該間引かれたフレームの直前のフレームの第２フィールド及び直後のフレームの第２フィールドのデータを画素単位で並列的に読み出す（ステップ４３７）。これらデータの平均データが平均化回路４１６で算出され、セレクタ４１６を介して出力される。
【実施例５】
【００７１】
この実施例における補間フレームの生成方法について図１５により説明する。図１５は図３と同様に、縦方向に時間、横方向に被写体の動きを表した模式図であり、フレーム（ｎ）が間引かれたフレームの補間フレーム、フレーム（ｎ−１）が間引かれたフレームの直前のフレーム、フレーム（ｎ＋１）が間引かれたフレームの直後のフレームである。
【００７２】
本実施例においては、補間フレーム（ｎ）の第１フィールド５０２のデータとして、間引かれたフレームの直前のフレーム（ｎ−１）の第１フィールド５００のデータと第２フィールド５０１のデータとの平均データを用い、補間フレーム（ｎ）の第２フィールド５０３のデータとして、直後のフレーム（ｎ＋１）の第１フィールド５０４のデータと第２フィールド５０５のデータとの平均データを用いる。
【００７３】
補間フレームの各フィールドのデータは、時間的に近いフレームの２フィールドの平均データであるため、前記実施例４に比べて左右への「膨張」もしくは「ぼけ」は緩和される。フィールド５０１からフィールド５０２の間、フィールド５０３からフィールド５０３の間で、若干の「戻り」が懸念されるが、２フィールドの平均をとっているため「戻り」が目立つことはなく、実際には被写体がスムーズに移動するように見える。
【００７４】
本実施例に係る画像処理装置の構成は、前記実施例４の場合と同様に図１２のブロック図で表すことができるので、図１２を援用して説明する。この画像処理装置は、フレーム内符号化されたインターレース動画の符号を復号する復号器４１１と、復号器４１１により復号されたデータを少なくとも連続した必要フレーム数分だけ一時的に記憶するためのメモリ４１３と、復号データのメモリ４１３への書き込みを行う書き込み回路４１２と、メモリ４１３からデータの読み出しを行う読み出し回路４１４と、読み出し回路４１４より入力される２つのデータの平均データを算出する平均化回路４１５と、読み出し回路４１４より出力されるデータ又は平均化回路４１４より出力されるデータを選択して出力するセレクタ４１６と、以上各部を制御する制御回路４１７とから構成される。
【００７５】
本実施例においては、読み出し回路４１４は、間引かれないフレームに関しては単なるメモリ読み出し手段として作用するが、間引かれたフレームに関しては制御回路４１７の制御下で平均化回路４１５とともにデータ補間手段として作用する。
【００７６】
図１６は、読み出し回路４１４及びセレクタ４１６の動作を説明するためのフローチャートである。制御回路４１７は、出力しようとするフレームが間引かれたフレームであるか否かを判定し（ステップ５１１）、その判定結果によって読み出し回路４１４及びセレクタ４１６の動作を切り替える。
【００７７】
まず、当該フレームが間引かれたフレームでない場合（ステップ５１１，ＮＯ）、制御回路４１７の制御によりセレクタ４１６は読み出し回路４１４の出力データを選択する（ステップ５１２）。次に、制御回路４１７の制御に従って、読み出し回路４１４は、メモリ４１３より当該フレームの第１フィールドのデータを読み出し（ステップ５１３）、次にメモリ４１３より当該フレームの第２フィールドのデータを読み出す（ステップ５１４）。読み出されたデータはセレクタ４１６を介して外部に出力される。
【００７８】
一方、当該フレームが間引かれたフレームの場合（ステップ５１１，ＹＥＳ）、制御回路４１７の制御によりセレクタ４１６は平均化回路４１５の出力データを選択する（ステップ５１５）。次に、制御回路４１７の制御に従って、読み出し回路４１４はフレーム補間手段としての動作を行う。すなわち、読み出し回路４１４は、メモリ４１３より、当該間引かれたフレームの直前のフレームの第１フィールド及び第２フィールドのデータを画素単位で並列的に読み出す（ステップ５１６）。この読み出しと同時に、それらデータの平均データが平均化回路４１５で算出され、セレクタ４１６を介して外部に出力される。次に、読み出し回路４１４は、メモリ４１３より当該間引かれたフレームの直後のフレームの第１フィールド及び第２フィールドのデータを画素単位で並列的に読み出す（ステップ５１７）。これらデータの平均データが平均化回路４１６で算出され、セレクタ４１６を介して出力される。
【００７９】
前記各実施例に係る画像処理装置は、例えば図１７に示すようなＣＰＵ６０１，メモリ６０２、ディスプレイ６０３、通信インターフェース６０４、ハードディスク装置６０５などから構成されるようなコンピュータを利用し、１以上のプログラム（アプリケーションプログラム、デバイスドライバなど）により容易に実現可能である。フレーム内符号化されたインターレース動画像の符号は、例えばネットワーク経由で通信インターフェース６０４を介して受信され、プログラムにより実現された復号器により復号され、復号データはメモリ６０２のバッファ記憶域６０７に所要フレーム数分だけバッファ記憶される。なお、コンピュータが図１７に破線ブロック６０６として示すようにハードウェアの復号器を備えている場合には、この復号器により符号の復号を行うことができることは当然である。
【００８０】
図１８は、復号データのディスプレイ６０３による表示に関する動作を説明するためのフローチャートである。各フレーム毎に間引きフレームであるか否かが判定される（ステップ６１１）。間引きフレームでない場合、バッファ記憶域６０７内の当該フレームの第１，第２フィールドのデータがメモリ６０２上のディスプレイデータ記憶域６０８の第１，第２フィールド域へ順に転送される（ステップ６１１２，６１３）。間引きフレームの場合、前記各実施例について説明したように、バッファ記憶域６０７内の直前フレーム及び／又は直後フレームのデータから補間フレームの第１，第２フィールドのデータが順に生成され、それがディプレイデータ記憶域６０８の第１，第２フィールド域に順に転送される（ステップ６１４，６１５）。ディスプレイ６０３は、一定のフレーム周期でディスプレイデータ記憶域６０８上のデータをインターレース走査により表示する。
【００８１】
このように、本発明による画像処理装置の各手段としてコンピュータを機能させる１以上のプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種の情報記録（記憶）媒体も本発明に包含される。
【図面の簡単な説明】
【００８２】
【図１】フレームの間引きと補間の説明図である。
【図２】インターレース動画像の説明図である。
【図３】フレーム補間の問題点を説明するための図である。
【図４】実施例１における補間フレームの生成方法を説明するための図である。
【図５】実施例１，２，３に係る画像処理装置のブロック図である。
【図６】実施例１に係る画像処理装置の動作を説明するためのフローチャートである。
【図７】実施例２における補間フレームの生成方法を説明するための図である。
【図８】実施例２に係る画像処理装置の動作を説明するためのフローチャートである。
【図９】実施例３における補間フレームの生成方法を説明するための図である。
【図１０】実施例３に係る画像処理装置の動作を説明するためのフローチャートである。
【図１１】実施例４における補間フレームの生成方法を説明するための図である。
【図１２】実施例４，５に係る画像処理装置のブロック図である。
【図１３】図１３中の平均化回路のブロック図である。
【図１４】実施例４に係る画像処理装置の動作を説明するためのフローチャートである。
【図１５】実施例５における補間フレームの生成方法を説明するための図である。
【図１６】実施例５に係る画像処理装置の動作を説明するためのフローチャートである。
【図１７】本発明に係る画像処理装置をプログラムにより実現するめたのコンピュータの構成例を示すブロック図である。
【図１８】復号データの表示に関連した動作を説明するためのフローチャートである。
【符号の説明】
【００８３】
２１１    復号器
２１２    書き込み回路
２１３    メモリ
２１４    読み出し回路
２１５    制御回路
４１１    復号器
４１２    書き込み回路
４１３    メモリ
４１４    読み出し回路
４１５    平均化回路
４１６    セレクタ
４１７    制御回路
【図１】
2006033219.tif 000003
【図２】
2006033219.tif 000004
【図３】
2006033219.tif 000005
【図４】
2006033219.tif 000006
【図５】
2006033219.tif 000007
【図６】
2006033219.tif 000008
【図７】
2006033219.tif 000009
【図８】
2006033219.tif 000010
【図９】
2006033219.tif 000011
【図１０】
2006033219.tif 000012
【図１１】
2006033219.tif 000013
【図１２】
2006033219.tif 000014
【図１３】
2006033219.tif 000015
【図１４】
2006033219.tif 000016
【図１５】
2006033219.tif 000017
【図１６】
2006033219.tif 000018
【図１７】
2006033219.tif 000019
【図１８】
2006033219.tif 000020