(57)【特許請求の範囲】
【請求項１】
それぞれが１駒を構成する第１の画像と第２の画像と第３の画像とがこの順序で連続しており，かつ第２の画像が欠落しており，第１の画像を表わす第１の画像データと第３の画像を表わす第３の画像データとが与えられたときに，これらの間の第２の画像を表わす第２の画像データを，第１の画像データと第３の画像データを用いて生成する装置であり，
第１の画像と第３の画像上の対応する位置にそれぞれ設定されたウインドウ内において，第２の画像上の上記ウインドウの中心に相当する位置の中心単位領域を中心として点対称の位置にある単位領域の画像データを，第１の画像と第３の画像上の単位領域の位置を変えながら取出す単位領域画像データ取出手段，
上記単位領域画像データ取出手段によって取出された第１の画像の単位領域画像データと第３の画像の単位領域画像データとの相関値をそれぞれ算出する相関値算出手段，および
上記相関値算出手段によって算出された相関値のうち最も強い相関を表わす相関値を生成した１対の単位領域画像データに基づいて，上記第２の画像の中心単位領域の画像データを補間演算する補間演算手段，
を備えた補間画像データ生成装置。
【請求項２】
第１の画像および第３の画像上において上記ウインドウの位置を，単位領域の水平方向および垂直方向の大きさ分ずつ水平方向および垂直方向に順次シフトしながら，上記ウインドウの各位置で，上記単位領域画像データ取出手段による単位領域画像データ取出動作，上記相関演算手段による相関演算，および上記補間演算手段による補間演算を繰返すよう制御する手段をさらに備えた請求項１に記載の補間画像データ生成装置。
【請求項３】
上記単位領域が１画素の大きさであり，上記ウインドウが水平方向および垂直方向に奇数画素（１画素を除く）分の大きさである，請求項１に記載の補間画像データ生成装置。
【請求項４】
上記単位領域が複数画素を含むブロックであり，上記ウインドウが水平方向および垂直方向に奇数ブロック（１ブロックを除く）分の大きさである，請求項１に記載の補間画像データ生成装置。
【請求項５】
上記単位領域が複数画素を含むブロックであり，上記ウインドウが１ブロックよりも大きく設定されており，上記単位領域画像データ取出手段はブロックの位置を１画素または複数画素分ずつ水平方向および垂直方向に変えながら単位領域画像データを取出す，請求項１に記載の補間画像データ生成装置。
【請求項６】
それぞれが１駒を構成する第１の画像と第２の画像と第３の画像とがこの順序で連続しており，かつ第２の画像が欠落しており，第１の画像を表わす第１の画像データと第３の画像を表わす第３の画像データとが与えられたときに，これらの間の第２の画像を表わす第２の画像データを，第１の画像データと第３の画像データを用いて生成する方法であり，
第１の画像と第３の画像上の対応する位置にそれぞれ設定されたウインドウ内において，第２の画像上の上記ウインドウの中心に相当する位置の中心単位領域を中心として点対称の位置にある単位領域の画像データを，第１の画像と第３の画像上の単位領域の位置を変えながら取出し，
取出された第１の画像の単位領域画像データと第３の画像の単位領域画像データとの相関値をそれぞれ算出し，
算出された相関値のうち最も強い相関を表わす相関値を生成した１対の単位領域画像データに基づいて，上記第２の画像の中心単位領域の画像データを補間演算する，
補間画像データ生成方法。
【請求項７】
第１の画像および第３の画像上において上記ウインドウの位置を，単位領域の水平方向および垂直方向の大きさ分ずつ水平方向および垂直方向に順次シフトしながら，上記ウインドウの各位置で，上記単位領域画像データ取出し処理，上記相関演算，および上記補間演算を繰返すことにより，第２の画像を表わすすべての第２画像データを得る，請求項６に記載の補間画像データ生成方法。
【発明の詳細な説明】
【０００１】
【技術分野】
この発明は，駒落しにより欠落した駒の画像データを，その前後の駒の画像データに基づいて補間処理により作成する装置および方法に関する。
【０００２】
【従来技術とその問題点】
動画像は連続する多数の駒の画像によって表わされる。動画像を表わす画像データを効率的に伝達または蓄積するために画像データの圧縮処理が行なわれる。この圧縮処理（広義の圧縮処理）の一環として，連続する駒の中から適数の駒ずつ定期的に（通常は１駒おきに１駒ずつ）間引く，いわゆる駒落しが行なわれることがある。駒落し後に残った駒の画像データが符号化され（データ圧縮），伝送または蓄積される。
【０００３】
図１３は連続する複数の（ここでは７個の）フレームを示すものである。これらの連続する複数のフレームから，第２フレーム，第４フレームおよび第６フレームの駒落しが実施される。残った第１フレーム，第３フレーム，第５フレームおよび第７フレームが符号化される。
【０００４】
連続する複数フレームにより表わされる動画像を再生するときには，第１フレーム，第３フレーム，第５フレームおよび第７フレームが復号化（データ伸張）される。駒落しにより欠落されたフレームはその直前の復号化されたフレームで代用される。すなわち，再生出力として，まず第１フレームの画像データが出力され，次に第２フレームの代わりに再び第１フレームの画像データが出力される。以下同じように，第３フレームの画像データが連続して２回出力され，第５フレームの画像データも連続して２回出力され，最後に第７フレームの画像データが出力される。
【０００５】
フレーム画像についての駒落しを説明したが，フィールド画像の駒落しが実施されることもある。
【０００６】
このように動画像の再生にさいして，駒落しにより欠落したフィールドまたはフレームは，その直前に駒落しされずに残ったフィールドまたはフレームによって代用されるために動画像の連続性が失なわれ，とくに駒落しされる駒数が多い場合や大きな動きのある動画像の場合には，動画像の動きがぎこちなく，不自然さが生じるという問題点がある。
【０００７】
この問題点を解決するために，動画像の再生にさいして，駒落しにより欠落したフレーム画像の画像データを，その前後のフレーム画像の画像データを用いて，単純内挿補間により生成することが提案されている（たとえば，特開平６−２３７４４４号公報参照）。図１３に示す例で説明すると，第２フレームの各画素の画像データを，第１フレームと第３フレームの対応する画素の画像データを用いて単純補間することにより生成する。同じように，第４フレームの各画素の画像データを，第３フレームと第５フレームの対応する画素の画像データを用いて単純補間することにより生成する。第６フレームの画像データを第５フレームと第７フレームの対応する画素間単純補間により生成する。
【０００８】
しかしこの方法は，駒落しされずに残った前後のフレーム画像の画像データを用いて対応する画素間の単純な内挿補間により実施するものであるために，動画の動きを考慮したものではなく，したがって動きを充分に滑らかにするものではなかった。
【０００９】
【発明の開示】
この発明は，動きを考慮した補間処理を行うことにより，滑らかな動きを表わすことができる画像データを生成することを目的とする。
【００１０】
この発明による補間画像データ生成装置は，それぞれが１駒を構成する第１の画像と第２の画像と第３の画像とがこの順序で連続しており，かつ第２の画像が欠落しており，第１の画像を表わす第１の画像データと第３の画像を表わす第３の画像データとが与えられたときに，これらの間の第２の画像を表わす第２の画像データを，第１の画像データと第３の画像データを用いて生成する装置であり，第１の画像と第３の画像上の対応する位置にそれぞれ設定されたウインドウ内において，第２の画像上の上記ウインドウの中心に相当する位置の中心単位領域を中心として点対称の位置にある単位領域の画像データを，第１の画像と第３の画像上の単位領域の位置を変えながら取出す単位領域画像データ取出手段，上記単位領域画像データ取出手段によって取出された第１の画像の単位領域画像データと第３の画像の単位領域画像データとの相関値をそれぞれ算出する相関値算出手段，および上記相関値算出手段によって算出された相関値のうち最も強い相関を表わす相関値を生成した１対の単位領域画像データに基づいて，上記第２の画像の中心単位領域の画像データを補間演算する補間演算手段を備えているものである。
【００１１】
この発明による補間画像データ生成方法は，それぞれが１駒を構成する第１の画像と第２の画像と第３の画像とがこの順序で連続しており，かつ第２の画像が欠落しており，第１の画像を表わす第１の画像データと第３の画像を表わす第３の画像データとが与えられたときに，これらの間の第２の画像を表わす第２の画像データを，第１の画像データと第３の画像データを用いて生成する方法であり，第１の画像と第３の画像上の対応する位置にそれぞれ設定されたウインドウ内において，第２の画像上の上記ウインドウの中心に相当する位置の中心単位領域を中心として点対称の位置にある単位領域の画像データを，第１の画像と第３の画像上の単位領域の位置を変えながら取出し，取出された第１の画像の単位領域画像データと第３の画像の単位領域画像データとの相関値をそれぞれ算出し，算出された相関値のうち最も強い相関を表わす相関値を生成した１対の単位領域画像データに基づいて，上記第２の画像の中心単位領域の画像データを補間演算するものである。
【００１２】
第１の画像および第３の画像上において上記ウインドウの位置を，単位領域の水平方向および垂直方向の大きさ分ずつ水平方向および垂直方向に順次シフトしながら，上記ウインドウの各位置で，上記単位領域画像データの取出し，上記相関演算および上記補間演算を繰返すことにより，第２の画像を表わすすべての第２画像データを得ることができる。
【００１３】
単位領域の画像データの取出しのやり方には種々の態様がある。
【００１４】
その一は単位領域を１画素の大きさに設定することである。この場合，ウインドウは水平方向および垂直方向に奇数画素（１画素を除く）分の大きさである。画像データが取出される単位領域は１画素分ずつ（複数画素分ずつでもよい）シフトされることになろう。
【００１５】
その二は単位領域を複数画素を含むブロックとして設定することである。ブロックごとに相関値の演算が行なわれるので，ノイズに対して強いものとなる。
【００１６】
この場合に，単位領域（ブロック）の位置をブロック単位で変えてもよいし，１画素または複数画素分ずつ変えてもよい。
【００１７】
この発明によると，第２の画像上の上記ウインドウの中心に相当する位置の中心単位領域を中心として点対称の位置にある，第１の画像および第３の画像上のウインドウ内の単位領域の画像データを取出している。単位領域の位置を変えながら第１の画像および第３の画像の単位領域画像データを取出し，それらの相関値を算出している。最も強い相関を表わす相関値を生成した一対の単位領域がほぼ同じ像を表わしているといえる。最も強い相関を表わす相関値を生成した第１の画像と第３の画像における一対の単位領域を結ぶ方向が像の動きの方向であり，これらの単位領域間の距離（時空間における距離）が動きの程度を表わしていることになる。
【００１８】
このように，像の動きに最も強く関係する第１の画像と第３の画像の一対の単位領域の画像データに基づいて第２の画像を表わす画像データを補間演算により算出している。第２の画像の画像データは第１の画像と第３の画像との中間の位置に，第１の画像と第３の画像とをつなぐ画像を表わすことになる。
【００１９】
したがって，第１の画像と第２の画像と第３の画像とを連続的に再生した場合には，これらの画像中に像の動きがあれば，その動きは滑らかに表現されることになる。
【００２０】
このようにして，この発明によると，画像中の像の動きを考慮した補間処理が行なわれるので，再生したときに滑らかな動きを表わす画像データが得られる。
【００２１】
【実施例の説明】
図１はこの発明の第１の実施例を示すもので，駒落しにより欠落した画像データを補間によって生成する装置の電気的構成を示すブロック図である。この実施例は画素間補間を行うものである。
【００２２】
図１３に示すように，偶数フレームのフレーム画像データが駒落しにより欠落され，奇数フレームのフレーム画像データが与えられた場合について説明する。前後の奇数フレーム画像データに基づいて，その間の偶数フレーム画像の画像データが生成される。
【００２３】
１フレーム分の画像データは切換スイッチ１０を経てフレーム・メモリ１１および１２のいずれかに入力し，格納される。切換スイッチ１０は１フレーム分の画像データが通過するごとに切換えられる。したがって，入力する１フレーム分の画像データはフレーム・メモリ１１または１２に交互に与えられることになる。
【００２４】
たとえば，第１フレーム画像データがフレーム・メモリ１１に与えられたとすると，次の第３フレーム画像データがフレーム・メモリ１２に与えられる。フレーム・メモリ１１および１２にそれぞれ第１フレームおよび第３フレーム画像データが格納されている状態で，これらの画像データを用いて第２フレームの画像データが生成される。
【００２５】
その後，第５フレーム画像データがフレーム・メモリ１１に与えられる。この状態で，フレーム・メモリ１２，１１に格納されている第３フレーム，第５フレーム画像データを用いて，第４フレームの画像データが生成される。
【００２６】
その後，第７フレーム画像データがフレーム・メモリ１２に与えられて記憶される。フレーム・メモリ１１，１２に格納されている第５，第７フレーム画像データを用いて第６フレームの画像データが生成される。
【００２７】
補間による画像データの生成が動画像表示のためにリアル・タイムで行なわれるときには，１フレーム分の画像データは１フレーム周期（ＮＴＳＣ方式の場合には１／３０秒）の間に生成される。
【００２８】
たとえば，第１，第３フレーム画像データがフレーム・メモリ１１，１２にそれぞれ格納された状態で，１フレーム周期の間に，第１，第３フレーム画像データを用いて第２フレーム画像データが生成される。続く１フレーム周期の間に，フレーム・メモリ１１に第５フレーム画像データが読込まれる。さらにその後に続く１フレーム周期の間に，第３，第５フレーム画像データを用いて第４フレーム画像データが生成される。このようにして，フレーム・メモリ１１または１２へのフレーム画像データの読込みと，補間によるフレーム画像データの生成とがフレーム周期で交互に繰返されることになる。この場合に，切換スイッチ１０は２フレーム周期で交互に切換えられる。
【００２９】
切換スイッチ１０として有接点のものが図示されているが，もちろん実際は半導体無接点スイッチ（ゲート回路等）として実現される。フレーム・メモリ１１および１２における指定アドレスを切換えることによっても切換スイッチ１０による切換えと同等の機能を達成できる（フレーム・メモリ１１と１２が異なるアドレス空間をもつ場合）。
【００３０】
フレーム・メモリ１１および１２にそれぞれ第１フレーム画像データおよび第３フレーム画像データが格納されており，これらの第１，第３フレーム画像データを用いて第２フレームの画像データを補間により生成する処理について，図２および図３を参照して説明する。
【００３１】
図２および図３は，第１フレーム画像データおよび第３フレーム画像データからウインドウを通してそれぞれ抽出された３画素×３画素の画素群を示すものである。また，これらの画素群の間に，補間によって生成されるべき第２フレームの画像データの対応する画素も図示されている。図２は画素間の対称関係を明確にするために斜視図的に描かれ，かつ各画素が点（黒丸）で表わされている。図３は画素配列を分りやすくするために平面的に描かれている。ウインドウの中心にある画素に対応する第２フレームの画素についての画像データが生成される。
【００３２】
まず，補間により画像データを生成すべき第２フレームの画素（２，５）を中心として，互いに点対称の位置関係にある第１フレームの画素と第３フレームの画素との間の相関値を算出する。すなわち，第１フレームの画素（１，１）と第３フレームの画素（３，９）との相関値ｓ１  ，画素（１，２）と画素（３，８）との相関値ｓ２  ，画素（１，３）と画素（３，７）との相関値ｓ３  ，画素（１，４）と画素（３，６）との相関値ｓ４  ，画素（１，５）と画素（３，５）との相関値ｓ５  ，画素（１，６）と画素（３，４）との相関値ｓ６  ，画素（１，７）と画素（３，３）との相関値ｓ７  ，画素（１，８）と画素（３，２）との相関値ｓ８  ，および画素（１，９）と画素（３，１）との相関値ｓ９  が算出される。画像データを生成すべき画素（２，５）に対応する画素（１，５）と画素（３，５）も，画素（２，５）を中心として点対称関係にあるとする。
【００３３】
相関値としては，たとえば２つの画素の画像データの差の絶対値，差の二乗の値等が用いられる。
【００３４】
次に，これらの相関値ｓｉ  （ｉ＝１〜９）の中で最も小さい値（最も相関が強いもの）を見付ける。
【００３５】
最小の相関値を生じさせる２つの画素（第１フレームと第３フレームにおける）の画像データを用いた補間演算が行なわれ，この補間演算結果が第２フレームの画素（２，５）の画像データとなる。補間演算は公知の演算でよく，たとえば２つの画素の画像データの平均値を算出する方法が用いられる。
【００３６】
画像データによって表わされる対象物にある方向への動きがあり，第１フレームから第３フレームまでの時間（２フレーム周期）の間に２画素分動いたとする。たとえば，この動きが左下から右上に向う斜めの方向であるとすると，第１フレームの画素（１，７）によって表わされる像は第３フレームでは画素（３，３）の位置に至る。画素（１，７）の画像データと画素（３，３）の画像データはほぼ等しい値を示すことになるので，相関値ｓ７  は零または零に近い値となる。
【００３７】
第２フレームの画像データを生成すべき画素を中心として，互いに点対称の位置関係にある第１フレームの画素と第３フレームの画素との相関値の最小値を見付け出す（相関の強い画素の対を見付け出す）ということは，上述のように画像データによって表わされる像の動きの方向を検出することを意味する。
【００３８】
この検出した動きの方向にそって補間演算が行なわれ，第２フレームの画素（２，５）の画像データが算出される。したがって，画素（２，５）の算出された画像データは，第１フレームの時点と第３フレームの時点との丁度中間の時点において，その画素（２，５）の位置まで動いてきた像を表わしていることになる。
【００３９】
したがって，上述の処理によって生成された第２フレームの画像データを含めて，第１フレームから第３フレームまでの画像データによって表わされる対象物像をフレーム周期で連続的に再生したとすると，対象物の動きが滑らかに表現されることになる。
【００４０】
補間処理のために画像データを切出すべきウインドウの大きさは対象物の動きの程度によって定めればよい。ウインドウの大きさは３画素×３画素に限らず，５画素×５画素，７画素×７画素，９画素×９画素のように任意に決定できる。ウインドウを大きくすれば大きくするほど大きな動きに対処できる。もちろん小さな動きにも対処できることになる。
【００４１】
ウインドウは正方形に限られることはない。横方向の動きが大きい場合には３画素（縦方向）×５画素（横方向），３画素×７画素，５画素×７画素，５画素×９画素のようにウインドウを横方向に長い長方形に設定すればよい。縦方向の動きを重要視する場合には５画素×３画素，７画素×３画素，７画素×５画素，９画素×５画素のように縦方向に長いウインドウを設定すればよい。
【００４２】
個々の画素の画像データにはノイズの影響が顕著に現われやすく，相関値もばらつきやすい。そこで，見付け出された最小の相関値の妥当性の判定を追加することが好ましい。たとえば，所定のしきい値を設定しておき，最小の相関値がこのしきい値よりも小さい場合にはその相関値は妥当なものとする。このしきい値として，ウインドウの中心の画素（１，５）の画像データと画素（３，５）の画像データとの平均値を採用することもできる。上述した相関値演算および最小の相関値の検出をソフトウェアで実行する場合にもしきい値を用いることができる。たとえば，一定の順序で画素対の相関値を算出し，相関値を算出するごとにしきい値と比較し，しきい値よりも小さい相関値が見付かった時点で処理を終了する。しきい値よりも小さい見付かった相関値を最小のものとみなす。
【００４３】
多くの種類の画像の中には動きのない，または殆んどない画像も少なくない。そのような画像についてまで常に上述の処理を行う必要は必ずしもない。そこで，まず動きの程度を算出し，動きの程度が所定のしきい値を超えていた場合にのみ上述の処理を行ない，それ以外の場合には，画素（２，５）の画像データをウインドウの中心の画素（１，５）と画素（３，５）の画像データに基づいて算出するようにしてもよい。動きの程度は，たとえばウインドウの中心の画素（１，５）の画像データと画素（３，５）の画像データとの相関値によって表わせばよい。
【００４４】
図１に戻って，ウインドウ回路１３，１４はそれぞれフレーム・メモリ１１，１２に格納されている画像データに上述したウインドウを設定するものである。この回路１３，１４によってそれぞれ設定された各ウインドウに含まれる画素の画像データは相関演算回路１５に与えられ，ここで相互に点対称の位置にある画素間の相関値が算出される。補間参照画素選択回路１６において，算出された相関値のうちの最小値が検出され，この最小値を生じさせる一対の画素が選択される。選択された一対の画素の画像データがウインドウ回路１３，１４から出力され，これらの画像データに基づいて，補間すべき画素の画像データが補間画素値演算回路１７において算出され，出力される。
【００４５】
ウインドウ回路１３，１４によって設定されるウインドウは一画素分ずつ水平および垂直方向に走査される。各走査位置において，補間画像データが算出されることになる。したがって，第２フレームのすべての画素（周辺部の画素については充分な動き検出に基づく補間は必ずしも行なわれない。）について画像データが生成されることになる。
【００４６】
図１の装置がハードウェアで実現される場合には，ウインドウ回路１３，１４は，たとえば，それぞれ複数個（たとえば３個）の縦続接続されたライン・メモリから構成されよう。相関演算回路１５は複数組（たとえば９組）の減算回路と絶対値回路，または減算回路と二乗回路により構成されよう。ウインドウ回路１３，１４の複数のライン・メモリのウインドウ内のセル（たとえば９×２＝１８個）のうち，上述した点対称の位置関係にある一対のセルが一つの減算回路に接続される。補間参照画素選択回路１６はＭＩＮ回路と複数（たとえば９個）の比較回路を含む。ＭＩＮ回路は複数の絶対値回路または二乗回路の出力の最小値を検出する。複数の上記比較回路にこの最小値に微小値を加えたしきい値が与えられる。各比較回路には絶対値回路または二乗回路の出力がそれぞれ与えられる。しきい値よりも小さい入力が与えられた比較回路から出力が発生する。この出力を発生した比較回路に対応する画素対が最小の補間値を生成したものである。補間画素値演算回路１７はウインドウ回路１３，１４におけるウインドウ内のセル（９×２＝１８個）の出力側に接続されるゲート回路を含む。このゲート回路は一対ずつ対応する比較回路により制御される。上記の出力を発生した比較回路によって制御される２つのゲート回路を通って出力される画像データが上記の最小値を生成した画素対の画像データである。演算回路１７はさらに平均値回路を含み，ゲート回路から出力される画像データがこの平均値回路に与えられる。平均値回路の出力が補間画像データとなる。
【００４７】
フレーム・メモリ１１，１２から画像データが水平走査の順で順次読出され，ウインドウ回路１３，１４にそれぞれ与えられる。各回路１３，１４，１５，１６，１７は画素クロックに同期して動作し，画素クロックごとに補間画像データが順次出力されることになる。
【００４８】
図１の装置の機能の一部または全部をソフトウェアによって実現することもできる。この場合には，上述したウインドウ設定，画素間相関値の演算，最小の相関値の検出，最小の相関値を生じさせた画素の画像データを用いた補間値の演算のいずれか一つ，複数，または全部がプログラムされたコンピュータにより実現される。
【００４９】
図４は第２の実施例を示すものである。この実施例ではブロック間処理が行なわれる。
【００５０】
各画素の画像データは上述のようにノイズによって影響されやすい。第２実施例はノイズ等の影響を極力少なくするために，ブロックを単位として動きを検出するものである。
【００５１】
第１実施例と同じように奇数フレームの画像データが切換スイッチ１０を経てフレーム・メモリ１１および１２に交互に与えられ，かつ格納される。これらのフレーム・メモリ１１，１２にそれぞれ格納されたフレーム画像データを切出すためのウインドウがウインドウ回路１３Ａ，１４Ａにそれぞれ設定されている。
【００５２】
図５はウインドウ回路１３Ａに設定されたウインドウによって切出された第１フレーム画像の画素，およびウインドウ回路１４Ａに設定されたウインドウによって切出された第２フレーム画像の画素を示すもので，第１実施例の図３に対応している。図５にはまた，第１フレーム画像データと第３フレーム画像データとを用いて画像データが補間により生成される第２フレームの画素も示されている。
【００５３】
１ブロックはこの実施例では８画素×８画素の大きさである。ウインドウは３ブロック×３ブロックの画素を含む大きさに設定されている。第１フレームのブロックに［１，１］，［１，２］，…，［１，９］の符号を付し，第３フレームのブロックには［３，１］，［３，２］，…，［３，９］の符号を付してある。第１フレームおよび第３フレームの各ウインドウに相当する第２フレームのウインドウを仮想し，この第２フレームのウインドウの中心のブロックを［２，５］とする。このブロック［２，５］内の画素の画像データが補間により生成される。
【００５４】
１ブロックの大きさを，２画素×２画素，３画素×３画素，４画素×４画素，３画素×５画素，５画素×４画素のように任意に設定できる。ウインドウ内に含まれるブロックも４ブロック×４ブロック，３ブロック×４ブロック，５ブロック×３ブロックのように任意に設定できる。
【００５５】
第２フレームのブロック［２，５］を中心として，互いに点対称の関係にある第１フレームのブロックと第３フレームのブロックとの間の相関値が相関演算回路１５Ａにおいて算出される。すなわち，第１フレームのブロック［１，１］と第３フレームのブロック［３，９］との相関値Ｓ１  ，ブロック［１，２］とブロック［３，８］との相関値Ｓ２  ，ブロック［１，３］とブロック［３，７］との相関値Ｓ３  ，ブロック［１，４］とブロック［３，６］との相関値Ｓ４  ，ブロック［１，５］とブロック［３，５］との相関値Ｓ５  ，ブロック［１，６］とブロック［３，４］との相関値Ｓ６  ，ブロック［１，７］とブロック［３，３］との相関値Ｓ７  ，ブロック［１，８］とブロック［３，２］との相関値Ｓ８  ，およびブロック［１，９］とブロック［３，１］との相関値Ｓ９  が算出される。
【００５６】
これらの相関値Ｓｉ  （ｉ＝１〜９）の中で最も小さい値が補間参照ブロック選択回路１６Ａにおいて検出される。最小の相関値を生じされる一対のブロックが最も相関の強いものである。
【００５７】
ブロック間の相関値Ｓｉ  はたとえば次のようにして算出される。ブロック［１，１］とブロック［３，９］との相関値Ｓ１  を例にとって説明する。
【００５８】
これらのブロック［１，１］および［３，９］にはそれぞれ８×８＝６４画素が含まれている。ブロック［１，１］と［３，９］において対応する画素間の相関値ｓｊ  が算出される。すなわち，ブロック［１，１］内の画素（１，ｊ）とブロック［３，９］内の画素（３，ｊ）との相関値がｓｊ  （ｊ＝１〜６４）である。画素間の相関値は上述のように，２つの画素の画素データの差の絶対値，差の二乗値等を求めることにより得られる。次に，これらの画素間の相関値ｓｊ  が１ブロック内で加算される。１ブロックにおける相関値ｓｊ  の総和がブロック間の相関値Ｓｊ  となる。総和に代えて平均値でもよい。
【００５９】
相関値が最も小さい一対のブロック（第１フレームにおける１つのブロックと第３フレームにおける１つのブロック）が選択されると，これらの選択されたブロックの画像データを用いて第２フレームにおけるウインドウの中央に相当する位置のブロック［２，５］の画像データが補間演算により生成される。
【００６０】
たとえば第１フレームのブロック［１，１］および第３フレームのブロック［３，９］が選択されたとすると，これらのブロックに含まれる画素の画像データを用いて第２フレームのブロック［２，５］の各画素の画像データが次のように算出される。ブロック［２，５］における画素（２，ｊ）の画像データは，ブロック［１，１］の画素（１，ｊ）の画像データとブロック［３，９］の画素（３，ｊ）の画像データを用いた補間演算（たとえば平均値演算）により得られる。この補間演算は補間画素値演算回路１７Ａによって行なわれる。この回路１７Ａからは１ブロック（８×８画素）分の画像データが出力される。
【００６１】
第１フレームおよび第３フレームにおけるウインドウがブロックの一辺の長さ（画素数）を単位として順次，水平方向および垂直方向に走査され，各位置において１ブロックの画素について第２フレームの画像データが得られることになる。
【００６２】
図４に示す回路はハードウェアで実現することもできるし，その機能の一部または全部をソフトウェアで達成することもできる。いずれの場合にもリアルタイム処理（たとえばフレーム当り１／３０秒の処理時間）が可能である。ハードウェア回路は図１に関連して説明した回路を拡張すればよい。ウインドウ回路１３Ａ，１４Ａは３ブロック（たとえば８×３＝２４）分の数のライン・メモリから構成されよう。相関演算回路１５Ａは１ブロックに含まれる画素数（たとえば８×８＝６４）に相当する数の減算回路を含み，これらの減算回路の後段にそれぞれ絶対値回路または二乗回路が接続されよう。また，これらの絶対値回路または二乗回路の出力の総和を演算する加算回路が設けられよう。補間参照ブロック選択回路は最小値検出回路と，ブロック数と同数の比較回路を含むことになろう。１画素分ずつ補間画像データを算出する場合には，補間画素値演算回路１７Ａは１つの平均値回路を含めばよい。１画素分の算出された画像データが順次出力されることになる。
【００６３】
図６は動き検出の他のやり方を示している。このやり方においても図４に示す回路が適用される。
【００６４】
第１フレームに設定されたウインドウの左上のブロック［１，１］内の画像データと第３フレームに設定されたウインドウの右下のブロック［３，２５６  ］内の画像データとの相関値が算出される。次に，第１フレームのウインドウ内においてブロック［１，１］から右に１画素分シフトした位置にブロック［１，２］が設定される。同じように第３フレームのウインドウ内においてブロック［３，２５６  ］から左に１画素分シフトした位置にブロック［３，２５５  ］が設定される。これらのブロック［１，２］内の画素データとブロック［３，２５５  ］内の画像データとの相関値が算出される。
【００６５】
このように，第１フレームにおいてはブロックを１画素分ずつ水平方向に右にシフトしながら，第３フレームにおいてはブロックを１画素分ずつ水平方向に左にシフトしながら，各位置において，第１フレームのブロック内の画像データと第３フレーム内の画像データとの相関値が算出される。
【００６６】
第１フレームにおいてブロックが右端に至り，第３フレームにおいてブロックが左端に至ると，第１フレームにおいてはブロック［１，１］の位置から１画素分下方にシフトした位置にブロックが設定され，第３フレームにおいてはブロック［３，２５６  ］の位置から１画素分上方にシフトした位置にブロックが設定され，これらのブロック内の画像データの相関値が算出される。第１フレームにおいてブロックが水平方向に右に，第３フレームにおいてはブロックが水平方向に左にそれぞれ１画素分ずつシフトされながら，各位置で相関値が算出される。
【００６７】
ブロックを第１フレームにおいては，水平方向には左から右に，垂直方向には上から下に，第３フレームにおいては，水平方向には右から左に，垂直方向には下から上に１画素分ずつシフトしながら，すべての位置において，第１フレームのブロックの画像データと第３フレームのブロックの画像データとの相関値が算出される。第１フレームのブロックと第３フレームのブロックは，第２フレームにおけるウインドウの中央の位置に相当する位置にあるブロック［２，１２８  ］を中心として，常に点対称の関係にある。
【００６８】
ウインドウが正方形でその一辺が２４画素，ブロックが正方形でその一辺が８画素の場合には，２５６  個の相関値が得られる。これらの相関値のうち最小のものが選択される。選択されたブロックの画像データを用いて，第２フレームのブロック［２，１２８  ］に含まれる各画素の画像データが補間演算されること，およびウインドウを水平方向および垂直方向にブロックの一辺の画素分ずつシフトしながら上述の処理が行なわれることは，第２実施例の場合と同じである。
【００６９】
ブロック間の相関値を演算する場合に，上述のようにブロックを１画素分ずつシフトするのではなくて，数画素分ずつシフトするようにしてもよい。このことは画素間の相関値を演算する第１実施例においてもあてはまる。
【００７０】
上記実施例においてはフレーム間補間が行なわれているが，フィールド画像を単位として補間処理を行うこともできる。
【００７１】
欠落したフレーム（またはフィールド）の前後にあるフレーム（またはフィールド）において，画像の位置がずれている場合，たとえば上述した第１フレーム内の画像の位置と第３フレーム内の画像の位置とがずれている場合（画像の動きによるものではなく，たとえばカメラを動かしたために２つのフレームにおいて画像の位置がずれたような場合），このずれ量があらかじめ分っていれば，このずれをあらかじめいずれかのフレームにおいて補正（ずれ量に相当する分だけ画像データをシフトする）したのちに，上述した処理によって補間画像を生成するようにしてもよい。このずれ補正はウインドウの設定位置をいずれかのフレームでシフトすることによっても達成できる。もちろん，ずれ補正をしなくてもよい。ずれ補正をして補間画像を生成したのちずれを元に戻してもよい。
【００７２】
２つのフレーム（またはフィールド）の間の時間における画像の動きの方向と量があらかじめ分っている場合には，相関値を算出すべき画素対またはブロック対を動きの方向と量に応じて選択し，相関値演算の回数を減少させることができる。動きの大きさがウインドウ内には収まらないほどに大きい場合には，いずれか一方のフレーム（フィールド）におけるウインドウの位置を動きの方向と大きさに応じてあらかじめシフトさせるか，または少なくとも一方の画像を動きの方向と大きさに応じてシフトさせておいた上で，上述した補間画像データ生成処理を行うようにすることもできる。
【００７３】
上述した補間画像データ生成処理は，輝度データのみ，輝度データと色差データの両方，Ｒ，Ｇ，Ｂの色画像データの全部または一部（たとえばＢ色画像データのみ）等のいかなる画像データにも適用できる。この場合，輝度データに基づいて得られた動きの程度と色差データに基づいて得られた動きの程度とが異なる場合には，いずれか一方の動き検出結果を用いてもよいし，重み付け平均値を用いてもよい。
【００７４】
従来技術の項で説明したように，連続する多数の駒の画像によって表わされる動画像を効率的に伝送または蓄積するために，連続する多数の駒の中から，たとえば一つおきに，駒落しされる。駒落しされたのちに残った画像の画像データが，適当な画像圧縮アルゴリズムにしたがってデータ圧縮されて伝送または蓄積される。
【００７５】
この発明による補間画像データ生成装置および方法は，このような駒落しにより欠落した駒の画像を復元するときに有用である。圧縮画像データは伸張処理ののち，補間画像データ生成装置に与えられる。この装置において，駒落しにより欠落した駒の画像が生成される。この結果，連続する駒の画像によって表わされる元の動画像が再生されることになる。
【００７６】
この発明による補間画像データ生成装置は，次に詳述するようなディジタル・ビデオ・テープ・レコーダまたはディジタル画像データ再生装置においても好適に利用される。
【００７７】
ディジタル・ビデオ・テープ・レコーダの構成および動作の説明に先だち，ディジタル・ビデオ・テープ・レコーダによる磁気テープへの記録方式に関する既存の標準的な業界規格について説明しておく。
【００７８】
磁気テープの記録フォーマットが図１０（Ａ）  および（Ｂ）  に示されている。図１０（Ａ）  は磁気テープ２８のトラックＴｒを示すもので，磁気テープ２８の長手方向に対して斜め方向に一定の角度で多数のトラックＴｒが形成される。これらの多数のトラックＴｒのうち連続する１０個のトラックを用いて１フレーム分のディジタル画像データが記録される。
【００７９】
図１０（Ｂ）  にトラック・フォーマットが示されている。１つのトラックＴｒには，サブコード記録領域，ビデオ記録領域，補助記録領域，オーディオ記録領域およびトラック情報記録領域が含まれている。サブコード記録領域には高速検索のためのタイムコードや絶対トラック番号などの情報が記録される。ビデオ記録領域には被写体像を表わすディジタル画像データが記録される。オーディオ記録領域には音を表わすデータが記録される。トラック情報記録領域には磁気ヘッドがトラックＴｒの中心をトレースするための，トラックＴｒの基準となる情報が記録される。補助記録領域は飛び飛びに設けられ，この補助記録領域には付加情報が記録される。各領域の間に設けられるギャップは図示が省略されている。
【００８０】
ディジタル・ビデオ・テープ・レコーダに用いられるＣＣＤは一般的には水平方向７２０  画素，垂直方向４８０  画素の約３５万画素の画素数をもつものが用いられる。このようなＣＣＤを用いて得られた１フレーム分のディジタル画像データが，磁気テープ２８の１０トラックに記録される。これが既存の規格である。
【００８１】
磁気テープ２８に記録される画像データによって表わされる画像の画質を向上させるためには，画素数の多いＣＣＤを用いれば良い。しかしながら，ディジタル・ビデオ・テープ・レコーダにおいては３５万画素の画素数をもつＣＣＤを用いて被写体を撮像して得られたディジタル画像データを，１０個のトラックに記録するようにその規格が定められているので，３５万画素の画素数よりも画素数の多いＣＣＤを用いて被写体を撮像して得られたディジタル画像データを磁気テープ２８に記録すると，この規格から外れてしまう。ここで説明するディジタル・ビデオ・テープ・レコーダは，ディジタル・ビデオ・テープ・レコーダに一般的に用いられる３５万画素の画素数よりも多い画素数をもつＣＣＤを用いて被写体を撮像し，かつディジタル・ビデオ・テープ・レコーダの従来からの記録規格に合致した画像データの記録を可能とするものである。
【００８２】
図７は，ディジタル画像データの記録および再生が可能なディジタル・ビデオ・テープ・レコーダ（ＤＶＴＲ）の電気的構成を示すブロック図である。ディジタル・ビデオ・テープ・レコーダの全体の動作はシステム・コントローラ３０によって統括される（制御線は図示略）。
【００８３】
このディジタル・ビデオ・テープ・レコーダで用いられるＣＣＤ３１は，図８に示されているように水平方向１４４０画素，垂直方向４８０  画素の約７０万画素の画素数をもつものであり，３５万画素ＣＣＤの２倍の量の画像データが得られる。このような７０万画素ＣＣＤ３１から得られる１フレーム分の画像データのデータ量は，３５万画素ＣＣＤの２フレーム分の画像データ，すなわち４フィールド分の画像データのデータ量に相当する。
【００８４】
このディジタル・ビデオ・テープ・レコーダではＣＣＤ３１から得られる１駒分の画像データを４フィールド分の画像データに分け，各２フィールド分をそれぞれ１０トラックずつを用いて磁気テープ２８に記録することにより，高画質撮影を達成しつつ，ディジタル・ビデオ・テープ・レコーダの従来からの記録規格に合致した画像データの記録を可能とする。
【００８５】
記録モードにおいて，約７０万画素の画素数をもつＣＣＤ３１によって１／１５秒の一定周期で被写体が連続的に撮影される。撮影のためのシャッタ速度が適当（たとえば１／６０秒，または必要に応じてこれよりも短い時間）になるように，いわゆる電子シャッタ制御により定められる。ＣＣＤ３１から１／１５秒ごとに被写体像を表わす映像信号が出力されＣＤＳ（ｃｏｒｒｅｌａｔｅ  ｄｏｕｂｌｅ  ｓａｍｐｌｉｍｇ  ）回路３２に与えられる。映像信号はＣＤＳ回路３２において増幅され，アナログ／ディジタル変換回路３３においてディジタル画像データに変換される。ディジタル画像データはガンマ補正回路３４に与えられ，ガンマ補正される。ガンマ補正後のディジタル画像データがデータ圧縮回路３５を介して（このときは，まだデータ圧縮されない）フレーム・メモリ２５に与えられ一旦記憶される。フレーム・メモリ２５は１駒７０万画素分のカラー画像データを記憶できる容量をもつ。
【００８６】
フレーム・メモリ２５に記憶された１駒分の画像データはフレーム・メモリ２５から読出される過程で，４フィールド分の画像データに分けられる。この分け方は次の通りである。
【００８７】
図９はＣＣＤ３１における画素配列およびこれらの画素の画像データが４フィールドに分割される様子を模式的に表わすものである。水平方向および垂直方向とも，図示の便宜上，画素数はきわめて少なく描かれている。また，配列方式（モザイク，ストライプ，デルタ等）はここでは問わない。図９の上部に示すように，ＣＣＤ３１から出力されかつＡ／Ｄ変換された１駒分の画像データはＣＣＤ３１の水平方向および垂直方向のすべての画素（水平方向７２０  画素，垂直方向４８０  画素）についての画像データを含んでいる。フレーム・メモリ２５には，ＣＣＤ３１のすべての画素に対応する画像データが記憶される。画像データは白黒画像を表わす画像データ（輝度データ）およびカラー画像を表わす画像データ（Ｒ，Ｇ，Ｂの色データ，または輝度データと色差データとの組合せ）を含む概念である。特にカラー画像データの場合に，色データまたは色差データの配列はＣＣＤのカラー・フィルタ配列，リサンプリングの方式，その他の処理方式によって異なるであろう。たとえば，一画素をＲ，Ｇ，Ｂの三原色データで表わす場合もあるし，一または二原色データで表わす場合もある。
【００８８】
これらの画像データのフレーム・メモリ２５からの読出しは第１フィールドから第４フィールドまで４フィールドにわたって行なわれる（図９の下部参照）。
【００８９】
第１回目に読出される第１フィールドの画像データおよび第３回目に読出される第３フィールドの画像データは奇数行の画素の画像データである。これらの奇数行の画像データは黒三角印と白三角印によって表現されている。黒三角印が奇数列，白三角印が偶数列の画像データである。第１フィールドの画像データは，奇数列と偶数列の画像データが垂直方向に交互に繰返すことにより構成される。第３フィールドの画像データは，偶数列の画像データと奇数列の画像データとが垂直方向に交互に繰返すことにより構成され，これらは第１フィールドに含まれないものである。
【００９０】
第２回目に読出される第２フィールドの画像データおよび第４回目に読出される第４フィールドの画像データは偶数行の画素の画像データである。これらの偶数行の画像データは白丸印と黒丸印によって表現されている。白丸印が奇数列，黒丸印が偶数列の画像データである。第２フィールドの画像データは，奇数列と偶数列の画像データが垂直方向に交互に繰返すことにより構成される。第４フィールドの画像データは，偶数列の画像データと奇数列の画像データとが垂直方向に交互に繰返すことにより構成され，これらは第２フィールドに含まれないものである。
【００９１】
このようにして，すべての画素の画像データが１回のみ，いずれかのフィールドにおいて読出されることになる。しかも，各フィールドを構成する画像データの画素は，垂直方向および水平方向に飛び飛びになっていて，どのフィールドの画像データによっても被写体像の全体を表現することができる。第１フィールドと第２フィールドによって１フレームが構成される。第３フィールドと第４フィールドによって１フレームが構成される。これらの各フレームはインタレース走査に適している。したがって，後述する動画の再生において，従来からの通常インタレース走査による再生と表示が可能となる。
【００９２】
これらの４フィールドにわたる画像データの読出しはフレーム・メモリ２５のアドレッシングの制御により容易に表現することができる。たとえば，第１フィールドの読出しにおいては，垂直アドレスとして奇数行を指定する。水平アドレスとしては，（４ｍ＋１）行のときは奇数列を，（４ｍ＋３）行のときは偶数列を指定するアドレス信号を発生させればよい（ｍ＝０，１，２，…）。１フィールド分の画像データの読出しは１／６０秒で行なえばよい。このようなアドレス信号発生はシステム・コントローラ３０に行なわせてもよいしカウンタ，分周回路，論理回路等で構成することもできる。
【００９３】
フレーム・メモリ２５から読出された画像データは，第１フィールドの画像データから順次データ圧縮回路３５に与えられる。データ圧縮回路３５においてＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ  ）処理，量子化処理などが行なわれることにより，画像データにデータ圧縮が施される。データ圧縮処理回路３５において圧縮された画像データは誤り訂正符号付加回路３６を介して（単に通過して）フレーム・メモリ２６に与えられ一旦記憶される。
【００９４】
フレーム・メモリ２６に記憶された４フィールド分の画像データは順次誤り訂正符号付加回路３６に与えられ，誤り訂正符号が付加される。誤り訂正符号が付加された画像データは再びフレーム・メモリ２６に与えられ記憶される。画像データはフレーム・メモリ２６から再び読出され誤り訂正符号付加回路３６に与えられる。誤り訂正符号付加回路３６にはシステム・コントローラ３０から記録領域データも与えられている。この記録領域データは，１フレームを構成する４つのフィールド・データを識別するもので，４つのフィールド画像データのそれぞれに付加される（補助領域）。
【００９５】
誤り訂正符号付加回路３６から出力される画像データは記録符号化回路３７に与えられ，符号化（たとえばＮＲＺＩ符号化）されて記録再生増幅回路２７に与えられる。記録再生増幅回路２７において増幅された画像データは磁気ヘッド３８に与えられる。これにより磁気ヘッド３８によって磁気テープ２８の各トラックのうちビデオ記録領域Ａ２  に画像データが記録され，補助記録領域Ａ３  に記録領域データが記録される。補助記録領域Ａ３  には，１駒分の画像を４つのフィールドに分けたときに，これらの４つのフィールドを表わす画像データが磁気テープ２８のどこのトラックに記録されたかどうかを表わす記録領域データが記録される。オーディオ・データやトラック情報の記録ももちろん行なわれる。
【００９６】
７０万画素のＣＣＤ３１を用いて得られた１駒分の画像データ，すなわち４フィールド分の画像データのうち最初の２フィールド分の画像データは，一般的に用いられる３５万画素ＣＣＤ３１を用いて被写体を撮影して得られた１フレーム分の画像データのデータ量に相当するから，連続する１０個のトラックのビデオ記録領域Ａ２  に記録される。４フィールド分の画像データのうち残りの２フィールド分の画像データは，最初の２フィールド分の画像データが既に記録された画像データの次の１０個のトラックのビデオ記録領域Ａ２  に記録される。７０万画素ＣＣＤ３１を用いて得られた１駒分の画像データは，一般的に用いられる３５万画素ＣＣＤ３１を用いて得られた１フレーム分の画像データの２倍のデータ量をもつことから，２０トラックを用いて磁気テープ２８に記録されることとなる。４フィールド分の記録動作は４フィールド分の撮影動作と同じように１／１５秒の周期で行なわれる。
【００９７】
図７に示すディジタル・ビデオ・テープ・レコーダは，磁気テープ２８に記録されたディジタル画像データの再生も可能である。再生モードには好ましくはムービ再生モードとスチル再生モードとがある。
【００９８】
ディジタル画像データの再生モードにおいて，磁気テープ２８に記録された画像データ，記録領域データ，その他のデータが磁気ヘッド４１によって読取られ記録再生増幅回路２７に与えられる。記録再生増幅回路２７において増幅されたデータは復調回路４２に与えられる。復調回路４２においてデータ復調が行なわれ，誤り訂正回路４３を介してフレーム・メモリ２６に与えられ一旦記憶される。フレーム・メモリ２６に記憶されたデータは読み出され誤り訂正回路４３に与えられる。復調回路４２において復調されたデータにデータ誤りがあると，誤り訂正回路４３において誤り訂正処理が行なわれる。誤り訂正処理が行なわれたデータのうち被写体像を表わすディジタル画像データはデータ伸張回路４４を介してフレーム・メモリ２５に与えられ，記録領域データはシステム・コントローラ３０に与えられる。この再生動作も４フィールド分の画像データについて１／１５秒の周期で行なわれる。
【００９９】
ムービ再生モードにおいては，フレーム・メモリ２５に記憶された画像データはデータ伸張回路４４に与えられ，圧縮された画像データのデータ伸張処理が行なわれる。
【０１００】
上述したように１／１５秒間隔で撮影することにより２フレーム分に相当するデータ量の画像データ（第１フィールドから第４フィールド）が得られ，これらの画像データが磁気テープ２８の合計２０トラックに記録される。これらの４フィールド分の画像データのうちデータ伸張回路４４でデータ伸張された２フィールド分（たとえば第１フィールドと第２フィールドの画像データが１／１５秒の間隔でこの発明による補間画像データ生成装置４５に与えられるとともに，遅延回路４９に与えられる。残りの２フィールド分の画像データはムービ再生モードでは使用されない。
【０１０１】
補間画像データ生成装置４５には１／１５秒間隔（２フレーム周期）で奇数フレーム（図１３参照）の画像データが入力することになるから，時間的に隣接するこれらの２フレーム分の画像データに基づいて，時間的にそれらの間に位置する偶数フレーム（図１３参照）の画像データが生成される。
【０１０２】
遅延回路４９は１フレーム分の画像データを２フレーム周期遅延するものである。したがって，磁気テープ２８から読出された２フレーム分の画像データのうち１フレーム分の画像データ（奇数フレーム）が遅延回路４９から，補間処理により生成された１フレーム分の画像データ（偶数フレーム）が補間画像データ生成装置４５から，１フレーム周期ごとに交互にモニタ表示装置５０に与えられる。
【０１０３】
モニタ表示装置２５に与えられる各フレームの画像データに基づいてインタレース走査が行なわれ，モニタ表示装置２５上において動画が再生される。補間画像データ生成装置４５における上述した動きを考慮した補間処理により，表示される動画における像の動きは滑らかとなる。モニタ表示装置５０をディジタル・ビデオ・テープ・レコーダに設けてもよい。
【０１０４】
図７に示すディジタル・ビデオ・テープ・レコーダは動画再生に加えて静止画再生も可能である。スチル再生モードにおいては，データ伸張回路４４においてデータ伸張が施された画像データは画像合成回路４６に与えられる。画像合成回路４６において，システム・コントローラ３０に与えられた記録領域データにもとづいて一つの駒を構成する４つのフィールド・データが識別され，図１１に示すように，識別された４つのフィルード・データから１駒の画像データが生成される。
【０１０５】
画像合成回路４６において生成された１駒の画像データは垂直補間回路４７に与えられる。
【０１０６】
図７に示すディジタル・ビデオ・テープ・レコーダに用いられるＣＣＤ１１は水平方向が１４４０画素あり画素数が多いが，垂直方向は４８０  画素であり，一般的な画素数（３５万画素）をもつＣＣＤの垂直方向の画素数とあまり変わらない。垂直方向の解像度を高めるために，垂直方向に画素のデータを補間する処理を行なっている。この補間処理を行なうのが垂直補間回路４７である。
【０１０７】
垂直補間回路４７において垂直補間処理が行なわれた画像データはプリンタ４８に与えられ，高画質の静止画がプリントされる。垂直補間処理回路４７はプリンタ４８に設けてもよい。
【０１０８】
もっとも，垂直補間処理することなく画像データをプリンタ４８に与えてもよい。画像データ（垂直補間されたもの，またはされないもの）をモニタ表示装置５０に与え，高画質の静止画を表示するしようにしてもよい。
【０１０９】
垂直補間回路４７における垂直補間処理は次の様にして行なわれる。
【０１１０】
図１２は，画素配列の一部を示しており，中央の画素Ｓｍ，ｎ  が補間によりその画像データを生成すべき画素である。この補間すべき画素の画像データＳｍ，ｎ  （以下，画像データも画素と同じ記号を用いる）を算出する場合，補間すべき画素Ｓｍ，ｎ  の上下に隣接する画素Ｄｍ，ｎ  の画像データとＤｍ，ｎ＋１  の画像データとの差Δ１  ＝｜Ｄｍ，ｎ＋１  −Ｄｍ，ｎ  ｜，斜め上下に隣接する画素Ｄｍ−１，ｎ  とＤｍ＋１，ｎ＋１  との画像データの差Δ２  ＝｜Ｄｍ＋１，ｎ  −Ｄｍ−１，ｎ＋１  ｜，ならびにＤｍ＋１，ｎ  とＤｍ−１，ｎ＋１  との差Δ３  ＝｜Ｄｍ−１，ｎ＋１  −Ｄｍ＋１，ｎ  ｜がそれぞれ算出される。
【０１１１】
つづいて，これら算出された画像データの差Δ１  ，Δ２  およびΔ３  のうち最も小さいものが検出される。この最も小さい差を算出するのに用いられた２つの画像データの相加平均が算出される。この相加平均により得られたデータが補間すべき画素Ｓｍ，ｎ  の画像データとなる。たとえばΔ１  〜Δ３  のうちΔ１  が最も小さい場合には補間すべき画素の画像データはＳｍ，ｎ  ＝（Ｄｍ，ｎ＋１  ＋Ｄｍ，ｎ  ）／２となる。Δ２  が最も小さい場合にはＳｍ，ｎ  ＝（Ｄｍ＋１，ｎ  ＋Ｄｍ−１，ｎ＋１  ）／２となり，Δ３  が最も小さい場合にはＳｍ，ｎ  ＝（Ｄｍ−１，ｎ＋１  ＋Ｄｍ＋１，ｎ  ）／２となる。
【０１１２】
これにより上下または斜め方向に相関が強くなるように垂直補間が行なわれるので，得られる静止画のエッジが滑らかになる。
【０１１３】
このような垂直補間処理がすべての列間において行なわれ，実質的に垂直方向に４８０  画素の倍の画素をもつ画像データが得られる（図１１の最下部の図を参照）。
【０１１４】
記録モードと再生モードとを切換える，または選択するスイッチ（またはキー等）が設けられ，このスイッチにより上述した記録モードと再生モードとの切換えが行なわれる。また，再生モードのうち，ムービ再生モードとスチル再生モードとを切換える，または選択するスイッチが設けられ，このスイッチにより上述したムービ再生とスチル再生の切換えが行なわれる。これらのスイッチからのモード選択信号はシステム・コントローラ１０に与えられ，システム・コントローラ３０が上述した各種モードにおける処理が実行されるように各回路を制御する。
【図面の簡単な説明】
【図１】第１実施例における補間画像データ生成装置を示すブロック図である。
【図２】補間のための画素の対応関係を斜視図的に示すものである。
【図３】補間のための画素の対応関係を平面的に示すものである。
【図４】第２実施例における補間画像データ生成装置を示すブロック図である。
【図５】補間のための画素の対応関係を平面的に示すものである。
【図６】ブロックのシフトの様子を示すものである。
【図７】ディジタル・ビデオ・テープ・レコーダの電気的構成を示すブロック図である。
【図８】ＣＣＤの構成を示している。
【図９】１駒分の画像を４つのフィールド画像に分ける手順を示している。
【図１０】（Ａ）  は磁気テープの記録フォーマットを示しており，（Ｂ）  はトラックのフォーマットを示している。
【図１１】４つのフィールド画像から１駒画像および垂直補間画像を構成する手順を示している。
【図１２】画素配列の一例を示し，垂直補間を説明するための図である。
【図１３】駒落しされたフレームとその前後のフレームとを示すものである。
【符号の説明】
１１，１２  フレーム・メモリ
１３，１４，１３Ａ，１４Ａ  ウィンドウ回路
１５，１５Ａ  相関演算回路
１６  補間参照画素選択回路
１６Ａ  補間参照ブロック選択回路
１７，１７Ａ  補間画素値演算回路
【図１】
0003577354.tif 000002
【図２】
0003577354.tif 000003
【図３】
0003577354.tif 000004
【図４】
0003577354.tif 000005
【図５】
0003577354.tif 000006
【図６】
0003577354.tif 000007
【図７】
0003577354.tif 000008
【図８】
0003577354.tif 000009
【図１２】
0003577354.tif 000010
【図９】
0003577354.tif 000011
【図１０】
0003577354.tif 000012
【図１１】
0003577354.tif 000013
【図１３】
0003577354.tif 000014