(57)【特許請求の範囲】
【請求項１】
互いにインタレースした第１のフィールドと第２のフィールドで１フレームが構成され、垂直方向ｍ画素×水平方向ｎ画素（ｍ、ｎはそれぞれ２以上の整数）から構成されるブロックを単位として符号化された画像信号を入力する入力手段と、
前記入力手段により入力された画像信号を復号して前記ブロック単位に出力する復号手段と、
前記復号手段より出力された画像信号をｎ画素に対応した期間遅延させるメモリと、
前記復号手段から出力された画像信号と前記メモリにより遅延された画像信号とに基づいて、前記ブロックにおける第１のフィールドの画像信号と第２のフィールドの画像信号の間の動きを検出する動き検出手段と、
前記復号手段から出力された画像信号と前記メモリにより遅延された画像信号とを、前記動き検出手段の検出結果に従って演算することにより、前記ブロックにおける第１のフィールドの画像信号と第２のフィールドの画像信号とが合成された補間画像信号を生成し、前記ブロックにおける第１のフィールドの画像信号として前記復号手段から出力された第１のフィールドの画像信号を出力し、前記ブロックにおける第２のフィールドの画像信号として前記補間画像信号を出力する補間手段とを備える画像処理装置。
【請求項２】
前記補間手段は前記動き検出手段の検出結果に従って、前記第１のフィールドの画像信号と第２のフィールドの画像信号の合成の割合を決定することを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置に関し、特には、画像信号の補間に関するものである。
【０００２】
【従来の技術】
従来より、静止画像を得る技術として以下に説明するような様々な方法が提案されている。
【０００３】
まず、１フレーム分の画像信号をメモリに書き込み、この１フレームの画像信号をそのまま読み出して静止画像を得る方法が考えられる。しかし、この方法では１フレーム分のメモリが必要となり、また、１フレームを構成する２つのフィールド間に動きがあった場合に画像がぶれてしまう。
【０００４】
これに対し、１フィールド分の画像信号をメモリに書き込み、一方のフィールドについてはメモリに記憶された画像信号をそのまま用い、他方のフィールドについては上のラインもしくは下のラインの画像信号をそのまま用いて補間することで１フレームの静止画像を得る方法が知られている。
【０００５】
この方法によれば、メモリの容量が１フィールド分で済み、また、フィールド間の動きによる画像のぶれは発生しない。しかし、見かけ上は１フレームの画像となるが、実際には連続する２ラインが同じ画像信号となるため、フレームメモリを使った前述の方法に比べ、垂直方向の解像度が低くなってしまう。
【０００６】
このようなことから、１フレーム分の画像信号をメモリに書き込み、例えば、第１フィールドについては画像信号をそのまま出力し、第２フィールドについては当該画素と上下ラインの間の動きを検出してこの動きに応じて第２フィールドの画像信号そのものかあるいは合成画像信号を切り換えて出力する方法が考えられている。
【０００７】
即ち、動きがない場合には第２フィールドの画像信号をそのままメモリから読み出して出力し、動きがある場合には上下に近接する画素の第１フィールドの画像信号により第２フィールドの画像信号を補間して出力するというものである。
【０００８】
この方法によれば、垂直解像度の低下とフィールド間の動きによる画像のぶれを防止することができる。
【０００９】
【発明が解決しようとする課題】
しかし、前述のように動きに応じて第２フィールドの画像と補間画像を切り換えて出力する場合、動き検出のために上下に連続する３画素の画像信号が必要となる。
【００１０】
そのためには通常の３倍の速度でアクセス可能なメモリが必要になるが、高速なメモリは高価である。
【００１１】
また、このような高速なメモリを使わずに動きを検出することも可能であるが、そのためには少なくとも２ライン分のメモリが必要となり、回路規模が大きくなってしまう。
【００１２】
本発明は前述の如き問題を解決することを目的とする。
【００１３】
本発明の更に他の目的は、回路規模を大型化することなく高精細な補間画像を得る処にある。
【００１４】
【課題を解決するための手段】
この様な目的下において、本発明においては、互いにインタレースした第１のフィールドと第２のフィールドで１フレームが構成され、垂直方向ｍ画素×水平方向ｎ画素（ｍ、ｎはそれぞれ２以上の整数）から構成されるブロックを単位として符号化された画像信号を入力する入力手段と、前記入力手段により入力された画像信号を復号して前記ブロック単位に出力する復号手段と、前記復号手段より出力された画像信号をｎ画素に対応した期間遅延させるメモリと、前記復号手段から出力された画像信号と前記メモリにより遅延された画像信号とに基づいて、前記ブロックにおける第１のフィールドの画像信号と第２のフィールドの画像信号の間の動きを検出する動き検出手段と、前記復号手段から出力された画像信号と前記メモリにより遅延された画像信号とを、前記動き検出手段の検出結果に従って演算することにより、前記ブロックにおける第１のフィールドの画像信号と第２のフィールドの画像信号とが合成された補間画像信号を生成し、前記ブロックにおける第１のフィールドの画像信号として前記復号手段から出力された第１のフィールドの画像信号を出力し、前記ブロックにおける第２のフィールドの画像信号として前記補間画像信号を出力する補間手段とを備える。
【００１５】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について詳細に説明する。
【００１６】
図１は本発明が適用されるＶＴＲの再生系の構成を示すブロック図である。
【００１７】
本形態のＶＴＲでは、記録時にＤＣＴ、可変長符号化等周知のブロック符号化を用いて情報量が圧縮された画像信号を再生するものである。
【００１８】
図において、再生回路１０３はテープ１０１より前記の通り圧縮符号化された画像信号を再生し、記録時に付加された誤り訂正符号を用いた誤り訂正処理等周知の処理を施して可変長符号復号回路１０５に出力する。
【００１９】
可変長符号復号回路１０５は再生回路１０３からの画像信号に対して記録時に対応した可変長符号の復号処理を施し、逆量子化回路１０７に出力する。逆量子化回路１０７は記録時に応じた量子化係数に従って再生信号を逆量子化し、逆ＤＣＴ回路１０９に出力する。本形態における画像信号は、記録時に１フレームの縦８画素×横８画素毎にＤＣＴ処理されており、逆ＤＣＴ回路１０９は逆量子化回路１０７から出力された画像信号に対して逆ＤＣＴ処理を施し、ＤＣＴ係数から通常の画像データに変換する。
【００２０】
逆ＤＣＴ回路１０９からブロック単位で出力された画像信号は後述の静止画像処理回路１１１を介してメモリ１１３に書き込まれる。そして、メモリ１１３からラスタスキャンの順に読み出され、出力回路１１５により外部モニタ等に出力される。
【００２１】
さて、このような構成において、操作部１１９により静止画再生の指示があったときの動作について説明する。
【００２２】
制御回路１１７は操作部１１９より静止画再生の指示があると、再生回路１０３に対してテープ１０１の搬送を一時停止する旨の制御信号を出力すると共に静止画像処理回路１１１に対して静止画像の処理を行う旨の制御信号を出力する。
【００２３】
図２は静止画像処理回路１１１の構成を示す図である。
【００２４】
逆ＤＣＴ回路１０９により逆ＤＣＴ処理が施された画像信号は図３に示したような順番でブロック単位に出力され、８画素メモリ２０１、動き量検出回路２０７及び補間信号生成回路２０５に出力される。８画素メモリ２０１は入力された画像信号を８画素に対応する期間遅延して補間信号生成回路２０５、動き量検出回路２０７及び８画素メモリ２０３に出力する。８画素メモリ２０３は８画素メモリ２０１からの画像信号を更に８画素に対応する期間遅延して補間信号生成回路２０５及び動き量検出回路２０７に出力する。
【００２５】
このように、１ブロック内で垂直方向に連続する３画素の画像信号が補間信号生成回路２０５及び動き量メモリ２０９に出力される。動き量検出回路２０７は、図４に示したように、連続する３画素の画像信号のうち、中央の画素Ｃの画像信号の値と、その上下の画素Ａ，Ｂの画像信号の値の平均値ＡＶＥとの差βを求め、このβを動き量として補間信号生成回路２０５及び動き量メモリ２０９に出力する。また、動き量検出回路２０７はそのときの画素ＡとＢとの差ＴＨも補間信号生成回路２０５に出力する。
【００２６】
ここで、各ブロックの画像信号は図３に示したように１ｏ，２ｏ，３ｏ，４ｏで示した奇数ラインの画像信号と１ｅ，２ｅ，３ｅ，４ｅで示した偶数ラインの画像信号とから構成されている。本形態においては、奇数フィールドの画像信号についてはそのままメモリ１１３に出力し、偶数フィールドの画像信号については動き量検出回路２０７の出力に基づいて補間信号生成回路２０５により補間信号を生成してメモリ１１３に出力する。
【００２７】
補間信号生成回路２０５は、動き量検出回路２０７より出力された動き量βと、画素ＡとＢの画像信号の値の差ＴＨとに基づき、以下の式に従って画素Ｃの画像信号と画素ＡとＢの平均値ＡＶＥとを合成し、補間信号を生成する。
【００２８】
補間信号ｃ＝（１−α）Ｃ＋αＡＶＥ
【００２９】
ここで、αは画素ＣとＡＶＥとの合成の割合を決定するための係数である。具体的には、補間画像生成回路２０５は図５に示したようにβの値が０〜ＴＨと変化する間でαの値を１．０〜０．０の間で変化させる。
【００３０】
このときの画素ＣとＡＶＥとの合成の様子を図６に示す。
【００３１】
図６に示したように、動き量βが０のときには、補間画像信号として画素Ｃの画像信号をそのまま出力し、動き量βが大きくなる程ＡＶＥの割合を増やし、βがＴＨ以上となった場合にはＡＶＥをそのまま出力する。
【００３２】
なお、補間画素がブロックの上下端部、例えば図３におけるライン４ｅであり、上下に連続する３画素が全て得られない場合には、前ライン、即ちライン３ｏの画像信号動き量を動き量メモリ２０９より読み出し、補間信号生成回路２０５はこの１フレーム前の動き量βを使って補間画像信号を生成する。
【００３３】
同様に、ブロック端部であるために補間画像信号の生成に用いる同一ブロック内の３画素の画像信号を得ることができない場合、即ち、図３においてライン４ｅの画素については、８画素メモリ２０１あるいは２０３に記憶されている、例えば補間する画素の１ライン上、即ちライン４ｏの画素を用いて補間画像を生成する。
【００３４】
つまり、ライン４ｅの画像信号を補間するときには、動きに応じてライン４ｅの画素とライン４ｏの画素との合成比率を変化させて補間画像信号を得る。
【００３５】
このように、本形態においては、動きに応じて画像信号を補間することにより静止画像を得る場合に、逆ＤＣＴ回路からブロック単位で出力された状態で補間処理を施しているので、動き検出のために２つの８画素分のメモリを設けるだけでよく、ラインメモリが不要となる。
【００３６】
従って、回路規模を大型化することなく、高精細な静止画像（補間画像）を得ることができる。
【００３７】
なお、本形態では図５に示したようにαの値を連続的に変化させて補間画像を生成したが、回路の簡略化のためにαを階段状に変化させ、図７に示す様に補間画像信号を生成するようにしてもよい。
【００３８】
また、本形態では、ブロックの大きさを８画素×８画素としたが、これ以外のサイズでも構わない。例えば、ブロックの大きさを垂直ｍ画素×水平ｎ画素とすると、図３の如く各ブロックの画像信号を出力する場合にはｎ画素分のメモリを２つ用意することで、同様に補間画像を生成することが可能となる。
【００３９】
また、前述の形態では、画素Ｃと画素ＡとＢとの平均値ＡＶＥとに基づいて動きを検出したが、これに限らず、例えば画素Ｃと画素Ａとの差分に基づいて動きを検出してもよく、また、画素Ｃと画素Ｂとの差分に基づいて動きを検出してもよい。この場合には８画素ラインメモリは１つだけ設ければよく、図２のものに比べて一層回路規模を縮小することができる。
【００４０】
次に、本願の他の実施形態について説明する。
【００４１】
図８は本発明が適用されるＶＴＲの記録系の構成を示すブロック図である。なお、図１と同様の構成については同一番号を付して説明する。
【００４２】
図において、撮像回路３０１は被写体像を撮像し、画像信号に変換してメモリ３０３に書き込む。静止画像処理回路１１１はメモリ３０３に書き込まれた画像信号を図３に示した順に８画素×８画素のブロック単位で読み出し、ＤＣＴ回路３０５に出力する。
【００４３】
ＤＣＴ回路３０５はブロック単位で読み出された画像信号に対してＤＣＴ処理を施し、ＤＣＴ係数に変換して量子化回路３０７に出力する。ＤＣＴ回路３０５より出力された画像信号は、量子化回路３０７において、所定数のブロック毎に一定の符号量になるように決定された量子化係数で量子化され、更に可変長符号化回路３０９において符号化され、記録回路３１１に出力される。記録回路３１１は可変長符号化回路３０９により符号化された画像信号に対して同期信号の不可、誤り訂正符号化、デジタル変調等の処理を施し、テープ１０１に記録する。
【００４４】
さて、このような図７の構成において、操作部１１９により静止画記録の指示があった場合、制御回路１１７はメモリ３０３に対して画像信号の書き込みを禁止するよう制御信号を出力すると共に、静止画像処理回路１１１に対してその旨を示す制御信号を出力する。
【００４５】
静止画像処理回路１１１は図２に示したものと同様の構成であり、図１の実施形対と同様にメモリ３０３からブロック単位で出力される画像信号の動きを検出し、この動きに基づいて補間画像信号を生成する。
【００４６】
静止画像生成回路１１１により生成された静止画像信号は、通常の記録時と同様にブロック単位にＤＣＴ回路３０５に出力され、圧縮符号化された後、記録される。
【００４７】
このように、本形態においても、動きに応じて画像信号を補間することにより静止画像を得る場合に、逆ＤＣＴ回路からブロック単位で出力された状態で補間処理を施しているので、動き検出のために２つの８画素分のメモリを設けるだけでよく、ラインメモリが不要となる。
【００４８】
特に、撮像素子として、インタレース読み出し式のＣＣＤを使った場合に、従来の方式に比べて顕著な効果を得ることができる。
【００４９】
なお、前述の実施形態では、本発明をＶＴＲに対して適用した場合について説明したが、これに限らず、ブロック単位で処理された画像信号を補間する場合に本発明を適用可能であり、同様の効果を有する。
【００５０】
また、図２に示した動き量検出回路２０７による動き検出処理、及び、補間信号生成回路２０５による補間信号の生成処理はマイクロコンピュータを用いたソフトウェア処理により実行可能であり、この場合にも前述の実施形態と同様の効果を有する。
【００５１】
また、このときプログラムの各ステップを記憶したコンピュータ読み取り可能な記憶媒体も当然本発明の構成となる。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、一方のフィールド画像信号を用いて他方のフィールド画像信号を補間する際、回路規模を大型化することなく高精細な補間画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明が適用されるＶＴＲの再生系の構成を示す図である。
【図２】図１の静止画像処理回路の構成を示す図である。
【図３】図２の回路にて扱う画像信号の様子を示す図である。
【図４】図２の回路の動き検出動作を説明するための図である。
【図５】図２の回路の動作を説明するための図である。
【図６】図２の回路の動作を説明するための図である。
【図７】図２の回路の動作を説明するための図である。
【図８】本発明が適用されるＶＴＲの記録系の構成を示す図である。
【図１】
0004250229.tif 000002
【図２】
0004250229.tif 000003
【図３】
0004250229.tif 000004
【図４】
0004250229.tif 000005
【図５】
0004250229.tif 000006
【図６】
0004250229.tif 000007
【図７】
0004250229.tif 000008
【図８】
0004250229.tif 000009