(57)【特許請求の範囲】
【請求項１】
複数の速度で再生を行うことを容易にするＭＰＥＧコンパチブル（両立性）ディジタル画像を表す信号を生成して記録する方法であって、
ａ）ディジタル画像を表す信号を受け取るステップと、
ｂ）上記ディジタル画像を表す信号を時間的に処理して、順次走査ディジタル画像を表す信号を生成するステップと、
ｃ）上記順次走査ディジタル画像を表す信号を空間的に処理して、解像度の低下したディジタル画像を表す信号を生成するステップと、
ｄ）上記解像度の低下したディジタル画像を表す信号に対して時間的サブサンプリングを行って、トリック再生速度に固有の信号を生成するステップと、
ｅ）上記トリック再生速度に固有の信号を符号化して、トリック再生速度に固有のＭＰＥＧコンパチブル信号を生成するステップと、
ｆ）上記ディジタル画像を表す信号を符号化して、通常再生ＭＰＥＧコンパチブル信号を生成するステップと、
ｇ）上記トリック再生速度に固有のＭＰＥＧコンパチブル信号と上記通常再生ＭＰＥＧコンパチブル信号の間の選択を行って、レコード・フォーマット化ＭＰＥＧビットストリームを生成するステップと、
ｈ）上記レコード・フォーマット化ＭＰＥＧビットストリームを記録するステップと、
を含む方法。
【請求項２】
上記トリック再生速度に固有のＭＰＥＧコンパチブル信号がＩフレームを含むものである、請求項１に記載の方法。
【請求項３】
上記トリック再生速度に固有のＭＰＥＧコンパチブル信号は、記録されるときに、上記トリック再生速度に固有のＭＰＥＧコンパチブル信号が上記トリック再生速度で再生されるような上記レコード・フォーマット化ＭＰＥＧビットストリームの形式で発生するように制御されるものである、請求項１に記載の方法。
【請求項４】
上記ディジタル画像を表す信号が６０Ｈｚのフレーム・レートを有し且つ順次走査されたものであるときに、１つおきのフレームを削除する別のステップを含む、請求項１に記載の方法。
【請求項５】
上記ディジタル画像を表す信号が６０Ｈｚのフィールド・レートを有し且つインタレース走査されたものであるときに、１つおきのフィールドを削除する別のステップを含む、請求項１に記載の方法。
【請求項６】
上記時間的に処理するステップが３０Ｈｚのフレーム・レートの順次走査ディジタル画像を表す信号を生成するものである、請求項１に記載の方法。
【請求項７】
上記解像度の低下したディジタル画像を表す信号が７２０×４８０ピクセルを含むものである、請求項１に記載の方法。
【請求項８】
上記Ｉフレームを反復するために、上記ＭＰＥＧコンパチブル・トリック再生信号のパケッタイズド・エレメンタリ・ストリーム（ＰＥＳ）層にＤＳＭトリック再生フラグ（ＤＳＭ＿ｔｒｉｃｋ＿ｐｌａｙ＿ｆｌａｇ）を設定する別のステップを含む、請求項２に記載の方法。
【請求項９】
上記時間的サブサンプリングのレートが上記トリック再生速度に応動するものである、請求項１に記載の方法。
【請求項１０】
上記選択を行うステップが、トリック再生速度データおよび記録装置サーボ・データを含むフォーマット制御信号に応動するものである、請求項１に記載の方法。
【請求項１１】
複数の速度で再生を行うことを容易にするようにレコード・フォーマット化を行うためのＭＰＥＧコンパチブル・ディジタル画像を表す信号を生成する方法であって、
ａ）ディジタル画像を表す信号を受け取るステップと、
ｂ）上記ディジタル画像を表す信号を処理して、解像度の低下した順次走査ディジタル画像を表す信号を生成するステップと、
ｃ）上記解像度の低下した順次走査ディジタル画像を表す信号に対して時間的サブサンプリングを行って、トリック再生速度に固有の信号を生成するステップと、
ｄ）上記トリック再生速度に固有の信号をＭＰＥＧ符号化して記憶して、トリック再生速度に固有のＭＰＥＧコンパチブル信号を生成するステップと、
ｅ）上記ディジタル画像を表す信号を符号化して記憶して、通常再生速度に固有のＭＰＥＧコンパチブル信号を生成するステップと、
ｆ）上記トリック再生速度に固有のＭＰＥＧコンパチブル信号を記憶手段から読出すステップと、
ｇ）上記通常再生速度に固有のＭＰＥＧコンパチブル信号を記憶手段から読出すステップと、
ｈ）上記トリック再生速度に固有のＭＰＥＧコンパチブル信号と上記通常再生速度に固有のＭＰＥＧコンパチブル信号の間の選択を行って、上記通常再生速度および上記トリック再生速度で再生を行うことを容易にするフォーマット化ビットストリームを生成するステップと、
ｊ）上記フォーマット化ビットストリームを記録するステップと、
を含む方法。
【請求項１２】
上記ディジタル画像を表す信号を処理する上記ステップが、時間的処理によって順次走査ディジタル画像を表す信号を生成する別のステップを含むものである、請求項１１に記載の方法。
【請求項１３】
上記ディジタル画像を表す信号を処理する上記ステップが、空間的処理によって解像度の低下したディジタル画像を表す信号を生成する別のステップを含むものである、請求項１１に記載の方法。
【請求項１４】
上記順次走査ディジタル画像を表す信号が３０Ｈｚのフレーム・レートを有するものである、請求項１１に記載の方法。
【請求項１５】
上記解像度の低下したディジタル画像を表す信号が７２０×４８０ピクセルを含むものである、請求項１３に記載の方法。
【請求項１６】
複数の速度で再生を行うことを容易にするためにＭＰＥＧコンパチブル・ディジタル画像を表す信号を生成して記録する方法であって、
ａ）ディジタル画像を表す信号を受け取るステップと、
ｂ）上記ディジタル画像を表す信号を処理して、解像度の低下した順次走査ディジタル画像を表す信号を生成するステップと、
ｃ）上記解像度の低下した順次走査ディジタル画像を表す信号に対して時間的サブサンプリングを行って、トリック再生速度に固有の信号を生成するステップと、
ｄ）上記トリック再生速度に固有の信号をＭＰＥＧ符号化して記憶して、トリック再生速度に固有のＭＰＥＧコンパチブル信号を生成するステップと、
ｅ）上記ディジタル画像を表す信号を符号化して記憶して、通常再生速度に固有のＭＰＥＧコンパチブル信号を生成するステップと、
ｆ）上記トリック再生速度に固有のＭＰＥＧコンパチブル信号を記憶手段から読出すステップと、
ｇ）上記通常再生速度に固有のＭＰＥＧコンパチブル信号を記憶手段から読出すステップと、
ｈ）ユーザ制御指令に応答して、上記トリック再生速度に固有のＭＰＥＧコンパチブル信号と上記通常再生速度に固有のＭＰＥＧコンパチブル信号の間の選択を行って、ＭＰＥＧコンパチブル信号を出力し、上記通常再生速度および上記トリック再生速度で上記ディジタル画像を表す信号を見ることを容易にするように復号化するステップと、
を含む方法。
【発明の詳細な説明】
本発明は、ディジタル・ビデオの記録の分野に関し、特に非標準速度のＭＰＥＧ形ＡＴＶ（Advanced Television:次世代テレビジョン方式）信号の生成、記録および再生に関する。
発明の背景
ヘリカル走査フォーマット（形式）を用いたディジタル・ビデオカセット記録装置（ＤＶＣＲ）が標準化委員会によって提案された。提案された標準では、例えばＮＴＳＣ方式またはＰＡＬ方式等の標準精細度ＳＤ(Standard Definition)テレビジョン信号、および提案されたグランド・アライアンス(Grand Alliance)方式の信号すなわちＧＡ方式信号のようなＭＰＥＧコンパチブル（compatible:両立性）構成を有する高精細度テレビジョン信号のディジタル記録が規定されている。ＳＤ（標準精細度）記録装置は、適応型量子化および可変長符号化(variable length coding)によるイントラ(intra）・フィールド／フレームＤＣＴ（Discrete Cosine Transformation:離散コサイン変換）を用いた圧縮コンポーネント（成分）ビデオ信号フォーマットを用いる。このＳＤディジタルＶＣＲすなわちＤＶＣＲは、ＮＴＳＣ方式またはＰＡＬ方式のいずれかのテレビジョン信号をディジタル記録することができ、またＡＴＶ(advanced television、次世代テレビジョン方式）信号を記録するのに十分なデータ記録機能を有する。
ＧＡ方式の信号に関する規格は、“the 1994 Proceeding of the 48th Annual Broadcast Engineering Conference Proceedings（第４８回年次放送エンジニアリング会議プロシーディングズの１９９４年プロシーディング）”において刊行された“Grand Alliance HDTV System Specification（グランド・アライアンス方式ＨＤＴＶシステム規格）”（１９９４年３月２０〜２４日）と題する規格書案に記載されている。このＧＡ方式信号に用いられているＭＰＥＧコンパチブル符号化法では、Ｉフレームというイントラ・フレーム符号化画面、Ｐフレームという前方予測フレーム、およびＢフレームという両方向予測フレームを用いる。これら３つのタイプのフレームは、ＧＯＰ、グループ・オブ・ピクチャすなわち画面群(Group Of Pictures）として知られているグループ中に生じる。ＧＯＰ中のフレームの数は、ユーザが定義できるものであるが、例えば１５個のフレームから成るものである。各ＧＯＰには１つのＩフレームが含まれており、そのＩフレームに隣接して２つのＢフレームが存在し、そのＢフレームの後にＰフレームが続く。
消費者向けアナログＶＣＲ（ＶＴＲ）において、各記録（レコード）トラックには一般的に１つのテレビジョン・フィールドが含まれているので、“トリック再生(Trick Play)”機能すなわちＴＰ機能、例えば順方向(forward）または逆方向(reverse）に反復（シャトル）するファーストモーション（高速再生）またはスローモーション（低速再生）がすぐに実行できる。即ち、標準速度以外の速度で再生すると、１つまたは複数の再生ヘッドが複数のトラックを横切って認識可能な画面（ピクチャ）セグメント(segment）が復元される。この画面セグメントは、互いに隣接していて、認識可能で有用な画像を形成する。一方、ＡＴＶ信号またはＭＰＥＧ形信号には画面群すなわちＧＯＰ(Groups Of Pictures)が含まれている。このＧＯＰは、例えば１５フレームを含んでおり、各フレームはテープ上の複数のトラックを占めるように記録される。例えば、各フレームに１０本のトラックが割当てられると、１５フレームのＧＯＰは１５０本のトラックで構成される。再生速度処理動作の間に、Ｉフレーム・データを復元することによって、予測符号化されたＰフレームおよびＢフレームを符号化(decoding)し再構成することが可能となる。しかし、ＤＶＣＲが非標準再生速度で動作するとき、再生ヘッドは複数のトラック中の各部分または各セグメントを変換処理(transduce）する。残念ながら、これらのＤＶＣＲのトラックは連続画像フィールドの個々のレコードを表しておらず、これらのセグメントは主として予測フレームから得たデータを含んでいる。しかし、予測Ｐフレームおよび予測Ｂフレームを再構成するには復号化を容易にするための先行データが必要なので、再生された各部分のデータから使用可能な何らかのフレームを再構成できる可能性は大幅に減少する。さらに、ＭＰＥＧデータストリームでは、特に、データの欠落(missing）や乱れ(garble)は許容されない。従って、“トリック再生”機能または非標準速度再生機能を与えるためには、ＴＰ（Trick Play:トリック再生）モードで再生するときに、隣接するまたは先行するフレーム情報を用いることなく画像を再構成することを可能とする特定のデータを記録する必要がある。この特定のデータまたは“トリック再生”用のデータは、ＭＰＥＧ復号が可能となるように意味的に（semantically）正しいものでなければならない。さらに、“トリック再生”の速度の選択を行うには、種々の異なるＴＰデータの生成（derivation:取出し、導出）が必要となり、ＴＰ速度に固有（特有）の記録トラック位置が必要になる。
先行するフレーム・データを用いずに画像の再構成を行うには、“トリック再生”に固有のデータをＩフレームから生成する必要がある。“トリック再生”に固有のデータは、例えばＧＡ方式またはＭＰＥＧ方式とコンパチブルな（両立する）復号器等で復号化することができるように構文上および意味的に(syntactically and semantically）正しいものでなければならない。また、“トリック再生”データすなわちＴＰデータは、ＭＰＥＧ形データストリームに挿入して、通常再生（ノーマル・プレイ）用ＭＰＥＧ形信号と共に記録しなければならない。このように、記録用チャンネル・データ容量を共用すると、利用可能なトラック容量の範囲内に設定されるＴＰデータ・ビット・レート（周波数、率、速度）に関して制限が課せられることになる。ＴＰデータ・ビット・レートは、導出されまたは再構成されたＴＰ画像における空間解像度および／または時間解像度間で種々の形態で共用または使用することができる。
再生された“トリック再生”画像の品質は、ＴＰデータ導出の複雑さによって決まる。例えば、消費者用ＤＶＣＲでは、記録動作中に基本的にリアルタイムでＴＰデータを生成しなければならず、しかもＤＶＣＲのコストに上乗せされる追加データ処理コストが名目だけのもの（僅か）でなければならない。従って、リアルタイム形の消費者用ＤＶＣＲの“トリック再生”画像の品質は、高度のディジタル画像処理を用いた非リアルタイムの画像処理によって生成されるＴＰ画像データに比べて劣ったものになることがある。一方、非リアルタイムのＴＰ画像処理では、例えば、番組（プログラム）編集の処理が行われ、場合によっては各場面（シーン）毎の処理が行われ、また場合によっては非リアルタイムの再生速度で処理が行われて、高度のディジタル画像処理技術を用いることが可能になる。このような非リアルタイムの処理では、本来的に、リアルタイム処理で達成可能な“トリック再生”画像に比べて高品質の“トリック再生”画像を得ることができる。
発明の概要
本発明は、１つの速度より多い速度で再生を行うことを容易にする記録のためのＭＰＥＧコンパチブル・ディジタル画像を表す信号を生成して記録するための方法である。この方法は、ディジタル画像を表す信号を受入れるステップと、そのディジタル画像を表す信号を時間的に処理して順次走査ディジタル画像を表す信号を生成するステップと、その順次走査ディジタル画像を表す信号を空間的に処理して解像度の低下したディジタル画像を表す信号を生成するステップと、その解像度の低下したディジタル画像を表す信号を時間的にサブサンプリングしてトリック再生速度に固有の信号を生成するステップと、そのトリック再生速度に固有の信号を符号化してトリック再生速度に固有のＭＰＥＧコンパチブル信号を生成するステップと、そのディジタル画像を表す信号を符号化して通常再生用のＭＰＥＧコンパチブル信号を生成するステップと、そのトリック再生速度に固有のＭＰＥＧコンパチブル信号と通常再生用のＭＰＥＧコンパチブル信号の間の選択を行ってレコード・フォーマット化ＭＰＥＧビットストリームを生成するステップと、このレコード・フォーマット化ＭＰＥＧビットストリームを記録するステップと、を含んでいる。
請求の範囲に記載された事項と実施例との対応関係を、図面で使われている参照符号で示すと次の通りである。
１．複数の速度で再生を行うことを容易にするＭＰＥＧコンパチブル（両立性）ディジタル画像を表す信号を生成して記録する方法であって、
ａ）ディジタル画像を表す信号（０９）を受け取るステップと、
ｂ）上記ディジタル画像を表す信号を時間的に処理して、順次走査ディジタル画像を表す信号（３１）を生成するステップ（３０）と、
ｃ）上記順次走査ディジタル画像を表す信号（３１）を空間的に処理して、解像度の低下したディジタル画像を表す信号（４１）を生成するステップと、
ｄ）上記解像度の低下したディジタル画像を表す信号（４１）に対して時間的サブサンプリングを行って、トリック再生速度に固有の信号（５１、６１、７１）を生成するステップ（５０、６０、７０）と、
ｅ）上記トリック再生速度に固有の信号を符号化して、トリック再生速度に固有のＭＰＥＧコンパチブル信号（１２１、１３１、１４１）を生成するステップ（１２０、１３０、１４０）と、
ｆ）上記ディジタル画像を表す信号（０９）を符号化して、通常再生ＭＰＥＧコンパチブル信号（１０１）を生成するステップ（１００）と、
ｇ）上記トリック再生速度に固有のＭＰＥＧコンパチブル信号（１２１、１３１、１４１）と上記通常再生ＭＰＥＧコンパチブル信号（１０１）の間の選択を行って、レコード・フォーマット化ＭＰＥＧビットストリーム（２００）を生成するステップと、
ｈ）上記レコード・フォーマット化ＭＰＥＧビットストリーム（２００）を記録するステップ（２１０）と、
を含む方法。
２．上記トリック再生速度に固有のＭＰＥＧコンパチブル信号（１２１、１３１、１４１）がＩフレームを含むものである、請求項１に記載の方法。
３．上記トリック再生速度に固有のＭＰＥＧコンパチブル信号（１２１、１３１、１４１）は、記録される（２１０）ときに、上記トリック再生速度に固有のＭＰＥＧコンパチブル信号（２００）が上記トリック再生速度で再生されるような上記レコード・フォーマット化ＭＰＥＧビットストリーム（２００）の形式で発生するように制御される（ＦＭＴ  ＣＴＲＬ）ものである、請求項１に記載の方法。
４．上記ディジタル画像を表す信号が６０Ｈｚのフレーム・レートを有し且つ順次走査されたものであるときに、１つおきのフレームを削除する別のステップを含む、請求項１に記載の方法。
５．上記ディジタル画像を表す信号が６０Ｈｚのフィールド・レートを有し且つインタレース走査されたものであるときに、１つおきのフィールドを削除する別のステップを含む、請求項１に記載の方法。
６．上記時間的に処理するステップ（３０）が３０Ｈｚのフレーム・レートの順次走査ディジタル画像を表す信号（３１）を生成するものである、請求項１に記載の方法。
７．上記解像度の低下したディジタル画像を表す信号（４１）が７２０×４８０ピクセルを含むものである、請求項１に記載の方法。
８．上記Ｉフレームを反復するために、上記ＭＰＥＧコンパチブル・トリック再生信号（１２１、１３１、１４１）のパケッタイズド・エレメンタリ・ストリーム（ＰＥＳ）層にＤＳＭトリック再生フラグ（ＤＳＭ＿ｔｒｉｃｋ＿ｐｌａｙ＿ｆｌａｇ）を設定する別のステップを含む、請求項２に記載の方法。
９．上記時間的サブサンプリングのレートが上記トリック再生速度に応動するものである、請求項１に記載の方法。
１０．上記選択を行うステップが、トリック再生速度データおよび記録装置サーボ・データを含むフォーマット制御信号（ＦＭＴ  ＣＴＲＬ）に応動するものである、請求項１に記載の方法。
１１．複数の速度で再生を行うことを容易にするようにレコード・フォーマット化を行うためのＭＰＥＧコンパチブル・ディジタル画像を表す信号を生成する方法であって、
ａ）ディジタル画像を表す信号（０９）を受け取るステップと、
ｂ）上記ディジタル画像を表す信号（０９）を処理して、解像度の低下した順次走査ディジタル画像を表す信号（４１）を生成するステップ（３０、４０）と、
ｃ）上記解像度の低下した順次走査ディジタル画像を表す信号（４１）に対して時間的サブサンプリングを行って、トリック再生速度に固有の信号（５１、６１、７１）を生成するステップ（５０、６０、７０）と、
ｄ）上記トリック再生速度に固有の信号（５１、６１、７１）をＭＰＥＧ符号化して（１００）記憶して（５６０、５７０、５８０）、トリック再生速度に固有のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）を生成するステップと、
ｅ）上記ディジタル画像を表す信号（０９）を符号化して（１００）記憶して（５５０）、通常再生速度に固有のＭＰＥＧコンパチブル信号（５０１）を生成するステップと、
ｆ）上記トリック再生速度に固有のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）を記憶手段から読出すステップと、
ｇ）上記通常再生速度に固有のＭＰＥＧコンパチブル信号（５０１）を記憶手段から読出すステップと、
ｈ）上記トリック再生速度に固有のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）と上記通常再生速度に固有のＭＰＥＧコンパチブル信号（５０１）の間の選択を行って、上記通常再生速度および上記トリック再生速度で再生を行うことを容易にするフォーマット化ビットストリーム（２００）を生成するステップと、
ｊ）上記フォーマット化ビットストリーム（２００）を記録するステップ（２１０）と、
を含む方法。
１２．上記ディジタル画像を表す信号（０９）を処理する上記ステップが、時間的処理（３０）によって順次走査ディジタル画像を表す信号（３１）を生成する別のステップを含むものである、請求項１１に記載の方法。
１３．上記ディジタル画像を表す信号（０９）を処理する上記ステップ（３０、４０）が、空間的処理（４０）によって解像度の低下したディジタル画像を表す信号（４１）を生成する別のステップを含むものである、請求項１１に記載の方法。
１４．上記順次走査ディジタル画像を表す信号（３１）が３０Ｈｚのフレーム・レートを有するものである、請求項１１に記載の方法。
１５．上記解像度の低下したディジタル画像を表す信号（４１）が７２０×４８０ピクセルを含むものである、請求項１３に記載の方法。
１６．複数の速度で再生を行うことを容易にするためにＭＰＥＧコンパチブル・ディジタル画像を表す信号を生成して記録する方法であって、
ａ）ディジタル画像を表す信号（０９）を受け取るステップと、
ｂ）上記ディジタル画像を表す信号を処理して、解像度の低下した順次走査ディジタル画像を表す信号（４１）を生成するステップと、
ｃ）上記解像度の低下した順次走査ディジタル画像を表す信号（４１）に対して時間的サブサンプリングを行って、トリック再生速度に固有の信号（５１、６１、７１）を生成するステップと、
ｄ）上記トリック再生速度に固有の信号（５１、６１、７１）をＭＰＥＧ符号化して（１００）記憶して（５６０、５７０、５８０）、トリック再生速度に固有のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）を生成するステップと、
ｅ）上記ディジタル画像を表す信号（０９）を符号化して（１００）記憶して（５５０）、通常再生速度に固有のＭＰＥＧコンパチブル信号（５０１）を生成するステップと、
ｆ）上記トリック再生速度に固有のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）を記憶手段から読出すステップと、
ｇ）上記通常再生速度に固有のＭＰＥＧコンパチブル信号（５０１）を記憶手段から読出すステップと、
ｈ）ユーザ制御指令（ＲＥＭ  ＣＴＲＬ）に応答して、上記トリック再生速度に固有のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）と上記通常再生速度に固有のＭＰＥＧコンパチブル信号（５０１）の間の選択を行って、ＭＰＥＧコンパチブル信号（２０２）を出力し、上記通常再生速度および上記トリック再生速度で上記ディジタル画像を表す信号（２０２）を見ることを容易にするように復号化するステップと、
を含む方法。
【図面の簡単な説明】
図１は、本発明による、低解像度の“トリック再生”データストリームをリアルタイムで生成するシステムの簡単化したブロック図である。
図２は、本発明による、最高解像度の“トリック再生”データストリームをリアルタイムで生成する別のシステムの簡単化したブロック図である。
図３は、本発明による、プリレコード形のディジタル・レコードに含ませて記録する低解像度の“トリック再生”データストリームを生成する方法を例示する簡単化したブロック図である。
図４は、本発明による、プリレコード形のディジタル・レコードに含ませて用いられる“トリック再生”データストリームを生成する別の方法を例示する簡単化したブロック図である。
図５は、予測マクロブロックのＤＣ係数の生成法を例示している。
図６は、本発明による、プリレコード形レコードを非リアルタイムで生成する別の方法を例示する簡単化された部分ブロック図である。
図７は、本発明による、プリレコード形レコードを非リアルタイムで生成する別の方法を例示する簡単化された部分ブロック図である。
詳細な説明
消費者用のディジタル・ビデオカセット記録装置において、トリック再生のデータストリームをリアルタイムで生成するには、必要な処理の複雑さおよびコストを考慮し、またそのコストを適当なレベルに抑えるように考慮する必要がある。このため、リアルタイム形のトリック再生データストリームの生成において用いられる処理は、存在するビットストリームの各部分を抽出して、ビットストリーム・パラメータに小さな変更(modification)を加えることに制限される。
“トリック再生”データストリームは、元のデータストリームの中から、独立した（個々の）イントラ情報の各部分を抽出することによってリアルタイムで生成しなければならない。このイントラ情報は、イントラ・フレーム、イントラ・スライス、および／またはイントラ・マクロブロックから得られる。Ｉフレーム・データの生成に用いられるソース（供給源）は、元のストリームで用いられるイントラ・リフレッシュ(refresh）形式（形態）に応じて選択され、このリフレッシュ方法の典型例として、イントラ・フレームまたはイントラ・スライスのリフレッシュ方法が用いられるものと仮定する。
本発明によるリアルタイム生成の第１の方法においては、低空間解像度の“トリック再生”データストリームが生成される。この低空間解像度のトリック再生データストリームは、元のＨＤＴＶデータストリームの解像度とは関係がなく、例えばＣＣＩＲ６０１標準（７２０×４８０ピクセル）に準拠した解像度を有する。トリック再生データストリームに利用可能な実効ビット・レートは公称(nominal）２Ｍビット／秒に制限されるので、このような方式の低空間解像度を採用すると、フレーム当たりの使用ビット数が少なくなり、従って、時間解像度が相対的に高くなる。しかし、この低空間解像度方式は、ＡＴＶ復号器および表示装置でそのような解像度が形成可能な場合にのみ実際に実現可能なものである。
本発明によるリアルタイムの生成の第２の方法においては、元のＨＤＴＶのデータ(material)と同じ解像度またはピクセル総数（カウント）を有するトリック再生データストリームが生成される。しかし、使用可能なトリック再生ビット・レートは、公称２Ｍビット／秒の記録チャンネル容量に制限されるので、空間解像度と時間解像度の間で両者の関係を考慮して妥当なビット・レート配分を行う。従って、最高空間解像度または完全(full)空間解像度の“トリック再生”モードを実現するには、時間解像度をＴＰデータ・チャンネル容量との整合関係を維持するように実効的に低下させる必要がある。
図１には、本発明による、低空間解像度の“トリック再生”データをリアルタイムで生成するための第１の方法が例示されている。この例示のブロック図において、トリック再生の速度、５×（倍）、１８×および３５×が形成される。各ＴＰ速度について、低解像度のイントラ符号化フレームが、受け取られたＭＰＥＧ形トランスポート・ストリームから形成される（組立てられる）。トランスポート・ストリーム中のＭＰＥＧヘッダ情報を検出して下位のスライス・レベルを検出することによって、イントラ・スライスを抽出し、処理し、それを使用してメモリ１１０に単一のＩフレームが形成される。この抽出および処理段１００は、ＴＰ・Ｉフレームを形成するためのマクロブロックの抽出、必要に応じてＤＰＣＭ符号化法を用いたＤＣ変換係数の再符号化、および必要に応じた不要なＡＣ変換係数の廃棄、の３つのタスク（処理）を実行する。低解像度のＴＰ・Ｉフレームを形成しメモリ１１０に記憶した後、その低解像度ＴＰ・Ｉフレームは各トリック再生速度について、その速度に固有のデータストリームを生成するのに使用される。
受信機０５は、ＭＰＥＧコンパチブル信号に応じて変調された無線周波数（ＲＦ）搬送波を受信する。この変調された搬送波は、図示されていないアンテナまたはケーブルのいずれかのソース（供給源）から供給される。受信機０５は、受信搬送波を復調し処理して、ＭＰＥＧコンパチブルのＡＴＶトランスポート・ストリーム０９を生成する。
ＡＴＶトランスポート・ストリーム０９、はブロック２０でデマルチプレクス（demultiplex:分離、逆多重）され、ＡＴＶビデオ情報に対応するパケッタイズド・エレメンタリ・ストリーム(Packetized Elemental Stream）すなわちＰＥＳストリームだけが得られる。ＰＥＳストリームはブロック３０で復号化されて、パケットからＭＰＥＧ符号化ビデオ・ストリーム・ペイロード(payload）が抽出される。ＭＰＥＧ符号化ストリームを抽出した後で、必要なイントラ符号化情報が検出されて抽出される。シーケンス検出ブロック４０は、ビットストリームを検査して開始コードの出現を検出する。この開始コード(start code)は、２５個の０を有し、その後に１が続き、さらにその後に８ビットのアドレス表示ＭＰＥＧビデオ・ヘッダが続くという特徴を有する。ブロック５０においてピクチャ（画面または画像）検出が行われ、ブロック６０においてスライス層(layer）が検出される。イントラ符号化された“トリック再生”用のＩフレームが形成されるので、イントラ・スライスだけが抽出される。イントラ・スライスは、イントラ符号化マクロブロックだけを含んでおり、スライス・ヘッダ中の１ビットのイントラ・スライス・フラグintra＿slice flagによって判別できる。従って、イントラ・スライス・フラグintra＿slice flagが１に設定されているときは、１つのスライス全体が“データ抽出および処理”段１００に転送される。ブロック７０のイントラ検出処理において、イントラ・フレームまたはイントラ・スライスのいずれかのリフレッシュ技術が用いられ、またスライス・ヘッダ中のイントラ・スライス・フラグが適宜設定されているものと仮定している。イントラ・スライス・フラグintra＿slice flagが設定されていないか、またはイントラ・マクロブロック・リフレッシュが使用されている場合には、下位のマクロブックのレベルまでを検出する別の検出レベルが必要である。
データ抽出および処理段１００は、ブロック７０で抽出されたイントラ符号化マクロブロックの中から、種々のトリック再生データストリームを形成するのに使用されるイントラ情報だけを選択する。また、ブロック１００は、得られる再構成されたＴＰ・ＩフレームのＭＰＥＧコンパチビリティ（両立性）を確保するために、構文上の正しさおよび意味的な正しさを確実にするために必要な任意の処理を実行する。再構成されたＴＰ・Ｉフレームは元のＭＰＥＧストリームに比べて低い空間解像度を有するので、検出されたイントラ・マクロブロックの部分集合（sub-set:一部）だけが必要になる。どのマクロブロックすなわちＭＢを保存し、どのマクロブロックを捨てるかを決定するために、数学的関数または予め定義されたルックアップ・テーブルが使用される。得られた低空間解像度フレームは選択されたマクロブロックのパッチワーク（patchwork:はぎ合わせ）から得られる。コントローラ段９０は、処理段１００に結合され、数学的関数に必要な計算を行うか、またはマクロブロックの選択を決定するためのルックアップ・テーブルを供給する。
新しい低解像度ＩフレームにおけるＭＢ位置と（但し、mb(i,j), i = 0, 1, 2,... n-1, j = 0, 1, 2,.... m-1である。ｍとｎはそれぞれ新しいＩフレームのＭＢ単位の幅と高さでり、ｉとｊはＭＢの行と列を表す。）元の最高解像度フレームと（但し、（MB(I,J), I = 0, 1, 2,... N-1, J = 0, 1, 2,... M-1である。ＭとＮはそれぞれ元のフレームの幅と高さであり、ＩとＪはＭＢの行と列を表す。）の関係は次の式で与えられる。
ｉ（低解像度行）＝［Ｉ・（ｎ−１）／（Ｎ−１）］
ｊ（低解像度列）＝［Ｊ・（ｍ−１）／（Ｍ−１）］
ここで、カギ括弧［ｘ］の演算結果(product）はｘに最も近い整数を表す。
低解像度のＴＰ・Ｉフレームは元のフレームの中のマクロブロックの部分集合（一部）を使用し、残りの非選択ＭＢは捨てられる。図５は、一例として４：２：０でサンプリングされた信号を示しており、このサンプル信号は３つのイントラ符号化マクロブロックＭＢ１、ＭＢ２、およびＭＢ３を含んでおり、この各マクロブロックはブロック０、１、２、３、４、および５を含んでいる。解像度の低下したＴＰ・Ｉフレームを形成するときに使用しないマクロブロック２には、×印が付されている。図５において、ルミナンス（輝度）およびクロミナンスの各ブロックのＤＣ係数は黒いストライプで示されている。ＤＣ係数は各マクロブロックの範囲から予測され、ＭＢの第１（最初）のブロックのＤＣ係数は、そのスライスにおける直前の先行ＭＢの最後のＤＣ係数から予測される。図５中の矢印は予測シーケンスを示している。即ち、先行するＭＢ、例えば図５のＭＢ２を選択しない場合は、図５に矢印ＮＥＷ（新）で示されているように新しい隣接マクロブロックから或るＤＣ係数を計算し直して、ＤＰＣＭを用いて再符号化しなければならない。この再符号化処理は、マクロブロックをＩフレーム・メモリ１１０に書込むときに実行される。
ＨＤＴＶビデオ・シーケンスがインタレース（飛越し）走査形のソースから供給されたものである場合は、動きを含んでいるインタレース形フィールドの凍結または固定化(freeze)によって生じるインタレース形の“フリッカ”を除去するための処理ステップをオプションとして含ませることができる。再構成されたトリック再生ストリームの時間解像度が、同じフレーム（２つのフィールド）が１フレーム期間より長い期間にわたって表示されるようなものである場合は、そのようなインタレース形の“フリッカ”が非常に目立つよう（顕著）になる。フィールド符号化マクロブロックでは、この“フリッカ”のアーティファクト（artifact:不自然さ）は、マクロブロック中の上の２つのブロック、ブロック０および１を、下の２つのブロック、ブロック２および３にコピーすることにより除去することができる。このマクロブロック内のコピーによって、２つのフィールドを効果的に同じにし、従って、そのフレームからフィールド−フィールド間の動きを除去することができる。この再符号化処理は、マクロブロックをＩフレーム・メモリ１１０に書込むときに実行される。
また、処理段１００によって実行される別の機能として、トリック再生ストリームに利用可能なビット・レートが低いまたは少ないため新しく形成されたＴＰ・Ｉフレーム内に収容できないＡＣ係数を各マクロブロックから除去する機能がある。この機能を実現するために、まず、ブロックの残りが０でパッド(pad)され（埋込まれ）かつブロックの最後の係数を示す点（位置）まで、各ブロックが可変長復号化される。各ブロックのビット数はバッファに記憶され累積または蓄積される。このビット数が計数され、計数値（総数）が所定の数を越えたときに残りのＡＣ係数が使用されなくなり、または除去される。ＴＰのＭＢ当たりのビット数は、各トリック再生データストリームで許容される全レート(overall rate)に応じて、また時間解像度または毎秒のフレーム更新数に応じて決まる。
図１のブロック図は、同じ割当てビット・レートを有する各トリック再生データストリームの形成法を例示している。一方、ビット・レートが各ＴＰ速度間でかなり（有意な程度）異なり、例えば各速度において相異なる解像度を形成する場合は、Ｉフレーム・メモリ１１０に保持されるＡＣ係数の数も各速度毎に異なってくる。それ故、Ｉフレーム・メモリ１１０を共用することができず、各ＴＰ速度または各ビット・レートに対して別々のＩフレーム・メモリが必要となる。
本発明によってＩフレーム・メモリ１１０において組立てられた低解像度のＴＰ・Ｉフレームは、３つのトリック再生ストリーム生成段、即ち５倍のブロック１４５、１８倍のブロック１６０および３５倍のブロック１７０に結合される。図１の典型例において、好ましい構成として、各トリック再生ストリームには同じビット・レートおよび同じ時間解像度が割当てられる。しかし、必ずしも再構成された全てのＴＰ・Ｉフレームが各ＴＰ速度に対して用いられる訳ではない。例えば、元のストリームにおけるＩフレームのリフレッシュ・レートが１５フレーム毎に１回（Ｍ＝１５）であり、各トリック再生ストリームで使用される時間解像度が３に、即ち或るフレーム更新と次のフレーム更新の間のフレーム度数（保持度数）が３に選択された場合は、５倍の速度に対して、
（５×の速度）・（３フレーム反復）／（１５フレーム・リフレッシュ）＝1.0
となり、従って、全ての各ＴＰ・Ｉフレームが使用される。同様に、１８×および３５×の速度に対しては次のようになる。
（１８）・（３）／（１５）＝３．６
（３５）・（３）／（１５）＝７．０
従って、１８×の速度では約３つ目または４つ目毎（２つまたは３つ置き）のＩフレームが使用され、３５×の速度では７つ目毎（６つ置き）のＩフレームが使用される。ＡＴＶストリームにおけるイントラ・リフレッシュ期間が０．５秒（３０ｆｐｓのソースに対してＭ＝１５）と仮定した場合は、５×の速度に対する３フレームの保持時間が、実現可能な最高のＴＰ時間解像度である。システムを簡単化し統一化するためには、他のＴＰ速度に対しても３フレームの保持時間を使用すればよい。しかし、高いＴＰ速度において時間解像度を低くすると、実際のトリック再生速度よりも低速であるかのような誤った感覚を与えることがあるので、高いＴＰ速度に対しては、フレーム保持時間を２フレーム保持時間または１フレーム保持時間とする高い時間解像度を用いてもよい。但し、実効トリック再生ビット・レートが一定であるものと仮定すると、高い時間解像度を形成すると結果的に空間解像度品質を低くする必要がある。
再構成されたＴＰ・Ｉフレームは、メモリ１１０から読出されて、ＴＰ速度に応じてブロック１４５、１６０、および１７０によりパッケージ(package）化され、また、その各ブロックによって適当なＭＰＥＧピクチャ・ヘッダおよびＰＥＳ層が付加される。また、ＡＴＶトランスポート・ストリーム０９はバッファ１５で緩衝され、このバッファ１５は信号１０の通常再生速度処理用のトランスポート・ストリームを供給する。通常再生トランスポート・ストリーム１０はマルチプレクサ（多重化器）ＭＵＸ１５０に結合される。マルチプレクサＭＵＸ１５０は、記録装置２１０のサーボ信号に応答して制御され、記録されるときに所定のトラック・フォーマット（形式）を形成するシーケンスを有する出力ビットストリームを生成する。記録トラック・フォーマットは、所望の記録ＴＰビット・レートが形成されるように、また特定の記録トラック内に速度に固有のＴＰ・Ｉフレーム・パケットの特定の物理的位置が容易に形成されるように選択される。従って、記録トラック・フォーマットによって、通常速度および所定のトリック再生速度での再生が容易になる。ＴＰ・Ｉフレーム・パケットである５×信号１２１、１８×信号１３１、および３５×信号１４１はマルチプレクサＭＵＸ１５０に結合され、マルチプレクサ１５０は通常再生トランスポート・ストリームに各ＴＰ速度用のＩフレーム・パケットを挿入する。従って、有効なＭＰＥＧ形トランスポート・ストリームが、記録装置２１０によって記録処理してテープ２２０上に記録するための形式にフォーマット化される。
ＴＰビット・レートを最小にする方法として、反復ＴＰ・Ｉフレーム、フレーム反復、またはフレーム保持時間（度数）に代えて、ビデオ・ストリーム中のＩフレーム間に空の(empty）Ｐフレームを書込んでもよい。空のＰフレームを用いると、復号器は前フレーム即ちＴＰ・Ｉフレームから予測を行うこととなる。これとは別の方法として、フレーム反復を行うために、ＰＥＳ層にＤＳＭ(Digital Storage Media）トリック・モード・フラグDSM＿trick＿mode＿flagを設定し、またプレゼンテーション時間スタンプ（再生出力時刻管理情報）(Presentation Time Stamp）および復号時間スタンプ（復号時刻管理情報）(Decode Time Stamp)のＰＴＳ／ＤＴＳ値を計算して、各ＴＰ・Ｉフレームがそれぞれ所要のフレーム度数だけ発生するようにしてもよい。いずれのフレーム反復方法でも同じ結果が得られる。しかし、この後者の第２の方法では、再生においてＴＰストリームを余分に処理する必要がなく、従って、ユニット（装置）に余分なコストがかからない。但し、この第２の方法では、ＡＴＶ復号器においてオプションとしてDSM＿trick＿mode＿flagが支援（サポート）されている必要がある。この第２の方法では、ＡＴＶ復号器においてその分だけ余分な処理が行われる。いずれのフレーム反復方法についても、ブロック１４５、１６０、および１７０において速度に固有のストリームが生成されている間にその処理が行われる。
上述の本発明によるトリック再生ストリーム生成技術を用いて、７２０×４８０ピクセルの空間解像度で、かつ２．０Ｍｂｐｓの実効トリック再生データ・レートで、５×、１８×および３５×のトリック再生速度を形成した。その種々のトリック再生速度を評価した結果は、次のように要約できる。
各トリック再生速度用のデータとして、互いに独立した（個々の）低解像度（７２０×４８０ピクセル）のＭＰＥＧコンパチブル・トランスポート・ストリームを表すデータが生成された。
各ＴＰストリームはイントラ符号化フレームだけを含んでおり、従って同じトリック再生ストリームを高速順方向ＴＰモードと高速逆方向ＴＰモードの両モードで使用することができる。
アスペクト比１６：９を維持するために、実際の空間的画像サイズが７２０×３８４ピクセルになるようにサンプリングが行われ、ＴＰ画像の上下の残りの領域は黒くされる。
時間解像度は、一定の３フレーム保持時間を用いて毎秒１０フレームの実効レートが得られるようにする。
トリック再生ストリームの各Ｉフレームは、元のストリームから選択されたサンプリングされたマクロブロックを含んでいる。ビット・レート２．０Ｍビット／秒と３フレーム保持時間の設定では、典型的テストデータに対して、選択されたマクロブロック内に大部分のＡＣ係数を残すことができる。
ソース・データ(source material）における動きの量および画像の複雑さに応じて異なるが、全体的な主観的空間解像度はまずまずの可(fair)のレベルである。ピクチャ・レート１０ｆｐｓにおける時間解像度は良(good)のレベルである。トリック再生データストリームは、復号化して観察（観賞）可能または認識可能なトリック再生ビデオ画像を生成することができ、従ってテープ・サーチ用として許容できるもの（合格レベル）である。
前述した本発明による低解像度リアルタイム形トリック再生モードにおいては、認識可能な空間的画像が相対的に高い時間解像度で生成される。しかし、既に述べたように、この再生モードは、ＡＴＶ受信機／復号器ユニットが低解像度で処理動作可能な場合、例えばＣＣＩＲ勧告６０１に従って形成される低解像度で処理動作可能な場合に用いることができる。しかし、低解像度での処理動作が行えない場合は、元のソースと公称的に同じ空間解像度を有する、即ち元のソースと同じピクセル総数を有するトリック再生データが生成されることになる。図２は、本発明による、最高解像度のリアルタイム形トリック再生ストリームを生成する典型的なシステムを例示している。３つのトリック再生速度、５倍、１８倍、３５倍が例示されている。図２の最高解像度方式(scheme)と図１の低解像度方式とでは、データ抽出および処理ブロック１０５とストリーム生成ブロック１５５、１６５、および１７５が異なっている。
ブロック２０、３０、４０、５０、６０、および７０に示されているトランスポート・ストリーム復号化とイントラ検出の手段は、図１の低解像度ＴＰシステムについて説明したのと同様に動作し機能する。低解像度ＴＰシステムについて説明したように、データ抽出および処理段、ブロック１０５は、トリック再生ストリームの形成に必要なイントラ情報だけを抽出し、得られるＴＰ・Ｉフレームの構文上の正しさおよび意味的な正しさを保証するのに必要な何らかの処理を実行するためのものである。ブロック１０５の機能は、再生されるＩフレームが元のデータストリームと同じ解像度またはピクセル総数を有する点で、ブロック１００の機能と相違する。従って、全てのイントラ・マクロブロックを用いて新しいＴＰ・Ｉフレームが再構成される。ＭＢが削除されないので、ＤＣ変換係数を再符号化する必要はない。
処理ブロック１０５の主要機能は、トリック再生ビット・レートの制約により新しいＴＰ・Ｉフレームに収容できないＡＣ係数を各マクロブロックから除去することである。この低いＴＰチャンネル・ビット・レート、公称２Ｍビット／秒の制約上、使用するＡＣ係数の数、即ち空間解像度と、時間解像度、またはトリック再生ストリームのフレーム更新レートとの間でレートの配分調整をせざるを得ない。この空間解像度と時間解像度の間の配分調整（trade-off:トレードオフ）は、低解像度ストリームの生成においても必要であった。しかし、最高解像度フレーム、即ち元のソースと同じピクセル総数においては、そのＤＣ係数のビット数だけでも、低解像度のＴＰフレームでアセンブルされたＡＣ係数とＤＣ係数の全てのビット数よりも多くなりそうである。従って、最高解像度のマクロブロックに数個のＡＣ係数だけを含ませるような制限を行うだけでは、時間解像度が問題となる（重大な）低下を来し、即ちフレーム更新時間が長くなり、フレーム反復数が多くなる。従って、最高解像度トリック再生ストリームにおいて、一定の時間解像度の形成を容易にするためには、システムが各マクロブロックのＤＣ係数だけを用いて全てのＡＣ係数を捨てるようにすればよい。さらに、ＡＣ係数を捨てると、ＤＣ係数だけのＤＰＣＭ値を可変長復号化すればよいので、処理の複雑さが低下する。図２は、各トリック再生速度が同じビット・レートを有し、従って、３つのＴＰ速度に対して同じＩフレーム・メモリを共用することのできるシステムの一例を示している。
前述のように、元のＨＤＴＶビデオ画像がインタレース走査により生成されたものである場合は、動きを含んでいるフィールドの固定化（凍結）によって生じるインタレースによる“フリッカ（flicker)”を除去するための処理ステップをオプションとして含ませてもよい。既にその１つの方法を説明した。しかし、この一例の高解像度ＴＰシステムはＤＣ変換係数だけを使用するので、ピクチャ符号化拡張部picture＿coding＿extention section中のフレーム予測フレームＤＣＴフラグframe＿pred＿frame＿dct flagを‘１’に設定すれば、より簡単でより効率的な方法が実現できる。このフラグは、全てのＭＢがフレーム符号化され、従って、“フリッカ”を生じさせ得る前フィールド符号化ブロックがフレーム符号化ブロックとして復号化されることを示している。その結果、各フィールドが１つのブロックの上部分または下部分のいずれかに置かれて、“フリッカ”が除去される。フレーム予測フレームＤＣＴフラグframe＿pred＿frame＿dct flagを‘１’に設定すると、ＤＣＴタイプ・フラグdct＿type flagが存在しなくなるので、このフリッカ除去方法でも、マクロブロック・モード部macroblock＿modes section中で用いられるビット数を減少させることができる。
再構成されたＴＰ・Ｉフレームは、メモリ１１５中でアセンブルされて、３つのトリック再生ストリーム生成段、ブロック１５５中に示した５倍速度、ブロック１６５中の１８倍速度、およびブロック１７５中の３５倍速度の各段に結合される。図２の例示的なシステムでは、各トリック再生ストリームが同じ実効ビット・レートを有し、従って、近似的に同じ時間解像度を有するものと仮定している。前述のように、全ての各再構成ＴＰ・Ｉフレームが各速度に対して用いられる訳ではない。しかし、ＴＰ・Ｉフレームを使用する上で次の理由による別の制限を受ける。各ＴＰ・Ｉフレームは同じ個数の係数、例えばＤＣ係数だけを有するが、ＤＣ係数は可変長符号化されているので、各ＴＰ・Ｉフレームは同じビット数を持つとは限らない。従って、各トリック再生ストリームに対して時間解像度または保持時間を一定に固定することはできない。むしろ、フレーム保持時間は、各ＴＰ・Ｉフレームを符号化または形成するのに必要となるビット数の場合より時間が僅かに長くなるように変化する。各トリック再生速度に対して、それぞれの“ストリーム生成”段１５５、１６５、１７５は、ＴＰ・Ｉフレームを符号化するのに十分なビットがバッファ１０５に蓄積（累積）されるまで待つ。その時、バッファに蓄積（累積）されたＴＰ・Ｉフレームが新しいＴＰ・Ｉフレーム即ち特定のトリック再生速度用にまだ符号化されていないＴＰ・Ｉフレームである場合は、そのＴＰ・Ｉフレームは符号化され、使用したビット数が利用可能なビット数から減算される。仮に各Ｉフレームが同じサイズで、各トリック再生速度に対して同じ実効ビット・レートが割当てられるとすると、この方式(scheme)は低解像度のシステムについて説明した方式と同等のものとなり、フレーム・リフレッシュ期間（周期）が全ての速度(all speed）に対して一定になる。再構成されたＴＰ・Ｉフレームは、メモリ１１５から読出され、ストリーム生成器１５５、１６５、および１７５によってパッケージ化されて、低解像度のシステムについて詳細に説明したのと全く同じ形で、ＭＰＥＧコンパチブル・トランスポート・ストリームが生成される。
上述の本発明による最高空間解像度トリック再生ストリーム生成技術は、トリック再生速度５×、１８×、および３５×に対して実効トリック再生データ・レート２．０Ｍｂｐｓで評価された。その性能は次のように要約できる。
各トリック再生速度に対して、互いに独立した（個々の）ＴＰ・ＩフレームだけのＭＰＥＧコンパチブル・トランスポート・ストリームが記録される。
時間解像度は、場面の複雑さに応じて変化し、前述の低空間解像度トリック再生システムにおける時間解像度より低く、そのフレーム保持時間はより長い。典型的なソース・データに対して経験した保持時間の平均値および時間変動は、次の表（テーブル）に示す通りである。
0003665341.tif 000002
各ＴＰ・ＩフレームはＤＣ係数だけを使用する。
空間解像度の全体的な品質は、ＤＣ係数だけが使用されるので、可の(fair)レベルに過ぎない。時間解像度の品質は、ＴＰ符号化されたデータ内の複雑さのレベルに応じて劣(poor)と可の間の範囲で変化する。しかし、その結果得られるトリック再生画像は、認識可能なもの(recognizable)であり、テープ・サーチ用として許容レベルのものである。
リアルタイム形のトリック再生データストリームの生成とプリレコード（予記録）形の（即ち予め記録される）トリック再生データストリームの生成の間の主な相違は、消費者用記録装置／再生装置に対して課されたコスト面および複雑さの排除による制約から生じる。即ち、消費者用ユニットは、通常再生データを記録している間にトリック再生データ・ストリームを生成して記録し、即ち、トリック再生データストリームをリアルタイムで生成しなければならない。一方、プリレコード形のデータにおけるトリック再生データストリームは、圧縮されたＭＰＥＧ符号化ストリームからではなくて、元のピクチャ・ソースから直接生成してもよい。速度に固有のＴＰデータストリームは、互いに独立の関係で（個々に）かつ実際の記録イベント（event:事象）からも独立して生成することができる。従って、プリレコード形のトリック再生データは非リアルタイムで生成され、場合によっては、非標準レートまたは低い（ゆっくりした）フレーム反復レートで生成することができる。プリレコード形のデータによって達成されるトリック再生の再生画像品質は、もはや消費者用のリアルタイム式の方法における制約を受けないので、かなり（有意な程度に）高くなる。
本発明によるプリレコード形のＴＰデータを生成する第１の方法では、元のＨＤＴＶストリームの解像度に関係なく、例えば７２０×４８０ピクセルの解像度を有するＣＣＩＲ勧告６０１の空間解像度が得られる。また、本発明による第２の方法では、元のＨＤＴＶのデータと同じ解像度、即ち同じピクセル総数のトリック再生ストリームを生成する。
図３は、本発明による、低解像度のプリレコード形のトリック再生データストリームを生成する方法を示す一例のブロック図を示している。時間的処理ブロック３０は、元のＨＤＴＶビデオ・データ(material)０９のフォーマットに関係なく、３０Ｈｚの順次（Progressive:プログレッシブ）信号３１を生成する時間的サブサンプリング（subsampling:副サンプリング）を実行する。この段の動作は、元のソース・データが５９．９４／６０Ｈｚフレーム・レートの順次形であるか、または２９．９７／３０Ｈｚフレーム・レートのインタレース形であるかに応じて異なる。順次走査形ソース・データを用いる場合は、フレーム・レートはシーケンスから各２つ目毎（１つ置き）のフレームを落とすことによって低下させることができる。１つ置き（交互）のフレームを落とすことによって、元のソース・データの時間解像度の半分の時間解像度を有する順次形シーケンスが得られる。一方、インタレース形のソース・データを用いる場合は、フレーム・レートは元のものと同じであるが、各フレーム中の１フィールドだけが使用される。この処理によって、半分の垂直解像度および同じフレーム・レートを有する順次シーケンスが得られる。
順次走査フレーム、信号３１は、ブロック４０に結合され、ブロック４０は、例えばＣＣＩＲ勧告６０１によって規定された解像度を有する低解像度信号を生成する。各順次走査フレームは、７２０×３８４ピクセルに再サンプリングされてアスペクト比１６：９が維持され、上下の黒枠でパディング(padded)されて、７２０×４８０ピクセルの“レター・ボックス”フォーマットが生成される。
こうして、ＨＤＴＶ信号は、フレーム・レート３０Ｈｚの順次走査形の低空間解像度７２０×４８０ピクセルを有する信号４１により表される。信号４１は、速度に応じた時間的サブサンプリングを行うブロック５０、６０、および７０に結合される。各トリック再生ストリームが、同じ時間解像度または２フレームのフレーム保持時間を有し即ち各フレームが１回反復されるように形成される。従って、Ｎ倍のトリック再生速度においてはフレーム・レートが３０Ｈｚから３０／２Ｎ  Ｈｚに低下する。従って、その結果得られる記録フレーム・レートは、５×では３０／１０Ｈｚに、１８×では３０／３６Ｈｚに、３５×では３０／７０Ｈｚになる。各フレームが２回発生し、また表示レートが３０Ｈｚなので、場面の内容の実効速度は各ＴＰ速度において正確に維持される。
時間的サブサンプリング・ブロック５０、６０、および７０はそれぞれ出力ビットストリーム５１、６１、および７１を生成し、その各出力ビットストリーム５１、６１、および７１はそれぞれのＭＰＥＧ符号化器１２０、１３０、および１４０に結合されて、ＭＰＥＧコンパチブル・ビットストリームがフォーマット化される。ＭＰＥＧコンパチブル符号化法は各速度に対して同じなので、またプリレコーディングの（予め記録する）環境においてはリアルタイム処理が不要なので、同じＭＰＥＧ符号化ハードウェアを用いて通常再生ストリームおよび各トリック再生ストリームを符号化することができる。この共通使用部分は、ＭＰＥＧ符号化器ブロック１００、１２０、１３０、および１４０を囲む破線によって示されている。時間的にサブサンプリングされたビットストリーム５１、６１、および７１はＩフレームとしてＭＰＥＧ符号化される。各Ｉフレームは前述のようにＰＥＳ層中に位置するＤＳＭトリック再生フラグDSM＿trick＿play＿flagを用いて１回反復される。その結果得られる通常再生速度ＮＰのストリーム１０１、トリック再生速度５×のストリーム１２１、１８×のストリーム１３１および３５×のストリーム１４１を表す各ＭＰＥＧコンパチブル・ストリームは、マルチプレクサ１５０によってレコード（記録）フォーマット化されるように結合される。マルチプレクサ１５０は、効率的に種々のＭＰＥＧストリームの間の選択を行って、記録再生システム２１０による記録処理およびテープ２２０への書込みに適した同期(sync)ブロック・フォーマット信号２００を生成する。先に説明したように、所定の各ＴＰ速度の使用を実現するために、速度に固有のＴＰデータを記録トラック内の特定の同期ブロック位置に位置合わせして記録する。従って、マルチプレクサ１５０は、記録トラック内の特定の同期ブロック位置に記録された速度固有のＴＰ・Ｉフレーム・データの位置を求めるための同期ブロック信号２００をフォーマット化する。この特定の位置を用いることによって種々の固有のＴＰ速度での再生が容易になる。
図６は、本発明による、図３の非リアルタイム形“トリック再生”装置の別の構成を例示する部分ブロック図である。速度に固有の処理を施されたＴＰ信号５１、６１、および７１はメモリ５２０、５３０、および５４０に結合される。このメモリ５２０、５３０および５４０は、それぞれ５倍、１８倍および３５倍に処理されたディジタル画像信号を記憶する。また、元のＨＤＴＶ信号０９はメモリ（蓄積装置）５００に記憶される。プリレコードされた（予め記録された）メディアまたはテープの形成は、種々の蓄積ディジタル信号源間の順次選択によって容易になり、符号化器１００によりＭＰＥＧ符号化され、そのメディアに記録される出力信号が形成される。マルチプレクサ１５０は、種々のディジタル信号源間の選択を行うように制御されて、ＭＰＥＧ符号化用の出力信号を形成する。ＭＰＥＧ符号化信号２００は、１つの記録内容が通常再生速度とトリック再生速度で再生されるように構成または配置された種々の信号成分を有する。従って、本発明による図６の構成によって、非リアルタイムで、通常再生およびトリック再生の両ディジタル信号源を互いに独立に（個々に）生成して、ＭＰＥＧコンパチブル・ビットストリームとして符号化することができる。
本発明による別の構成がブロック６００に例示されており、ブロック６００は、ＭＵＸ１５０により生成されマルチプレクスされた通常再生およびトリック再生のＭＰＥＧ符号化データストリームに対して用いられる別の構成である。ブロック６００の別のシステムは、ＭＰＥＧ符号化データストリーム２００、記録装置２１０、フォーマット制御信号ＦＭＴ  ＣＴＬ、復号器０７および表示手段３００に代替するものである。ブロック６００において、ＭＰＥＧ符号化データストリーム２０２は送信機４００に伝送され、復号器０７と表示手段３００に結合される。ユーザ観察用表示手段３００は、観察中のデータを進めるためにマルチプレクサ１５０に伝送される遠隔制御指令ＲＥＭ  ＣＴＲＬを選択して、その指令を起動させることができる。マルチプレクサ１５０は、ユーザの遠隔制御指令に応答して、例えば５倍速度ビットストリーム５２１を選択して、これをＭＰＥＧ符号化とその後の伝送、復号化および表示を行うように結合させる。同様に、ユーザは、例えば５倍速度で逆方向で観察するように選択することもできる。この選択は５倍再生速度メモリ５２０を逆方向に読むことによって容易に行われる。従って、ブロック６００の構成では、ユーザの制御により通常再生およびトリック再生の各ＭＰＥＧ符号化データストリーム間の選択が行われる。
図７は、本発明による、図３の非リアルタイム形“トリック再生”装置の別の構成例を示す部分ブロック図である。図７において、通常再生およびトリック再生処理されたディジタル信号０９、５１、６１、および７１は、符号化器１００によってＭＰＥＧコンパチブル・ビットストリームの形に符号化するように結合される。非リアルタイム信号処理およびプリレコード形データの生成またはプリレコードされたマテリアルの作成の場合、信号０９、５１、６１、および７１は別々に個々に取出されて、単一の符号化器１００によってＭＰＥＧ符号化するように結合される。個々に符号化されたＭＰＥＧビットストリーム１０１、１２１、１３１、および１４１は、それぞれ通常再生、５×、１８×および３５×の各ビットストリーム用のメモリ５５０、５６０、５７０、および５８０に記憶される。蓄積メモリ５５０、５６０、５７０、および５８０は固体、ディスクまたは磁気のメディアで形成され、マルチプレクサ１５０に結合される出力信号５０１、５２１、５３１、および５４１を供給する。マルチプレクサ１５０は、記録装置２１０に応答して制御され、通常再生速度と所定の“トリック再生”速度で再生を行うようにフォーマット化されたＭＰＥＧコンパチブル・レコード・ビットストリームを生成する。
本発明による別の構成がブロック６００に例示されており、このブロック６００は、ＭＵＸ１５０により生成されマルチプレクスされた通常再生およびトリック再生のＭＰＥＧ符号化データストリームに対して用いられる別の構成が示されている。ブロック６００の別のシステムは、ＭＰＥＧ符号化データストリーム２００、記録装置２１０、フォーマット制御信号ＦＭＴ  ＣＴＬ、復号器０７、および表示手段３００に代替するものである。ブロック６００において、ＭＰＥＧ符号化データストリーム２０２は、送信機４００に伝送されて復号器０７と表示手段３００に結合される。ユーザ観察用表示手段３００は、観察中のデータを進めるためにマルチプレクサ１５０に伝送する遠隔制御指令ＲＥＭ  ＣＴＲＬを選択して、その指令を開始させることができる。マルチプレクサ１５０は、ユーザの遠隔制御指令に応答して、例えば５倍速度ビットストリーム５２１を選択して、これをＭＰＥＧ符号化とその後の伝送、復号および表示を行うように結合させる。同様に、ユーザは、例えば５倍速度で逆方向で観察するように選択することもできる。この選択は５倍再生速度メモリ５２０を逆方向に読むことによって容易に行われる。従って、ブロック６００の構成では、ユーザの制御によって通常再生およびトリック再生の各ＭＰＥＧ符号化データストリーム間の選択が行われる。
図３に示し先に説明した典型例の低空間解像度ＴＰシステムによって、リアルタイムで生成されたトリック再生ストリームから得られる品質に比べてかなり（有意な程度）高いトリック再生品質が形成される。その結果は次のように要約できる。
記録動作の間、各トリック再生速度に対して、互いに独立したＩフレームだけの低解像度（７２０×４８０ピクセル）ＭＰＥＧコンパチブル・ストリームがテープに書込まれる。
実際の空間画像サイズは、“レター・ボックス”フォーマットにおいて、１６：９のアスペクト比を維持するための７２０×３８４ピクセルである。
時間解像度は、各トリック再生速度に対して実効１５フレーム／秒であり、良〜優(excellent）の品質を形成し、その品質は各速度に対して一定に維持される。
２．０Ｍｂｐｓのデータ・レートと７２０×４８０ピクセルの解像度によって形成される空間解像度は、ソース・データの複雑さに応じて良〜非常に良である。
全体的に、この方式(scheme)で得られるトリック再生画像品質は非常に高い。
図３に示し先に説明した低解像度のプリレコード形トリック再生システムは、良の品質の空間画像を相対的に高い時間解像度で生成する。しかし、そのような低解像度方法は、ＡＴＶ復号器／受信機ユニットが低解像度表示フォーマットを支援できる場合にだけ使用できる。
図４は、本発明による、トリック再生速度を５×、１８×および３５×とした場合の最高解像度のプリレコード形トリック再生ストリームを生成するシステムの典型例のブロック図である。前述したように、プリレコード形トリック再生データストリームは、元の未圧縮のソース・データ(source material）から生成することができる。図４は、通常再生およびトリック再生のビットストリームの生成を示しているが、それらは互いに独立に、ＨＤＴＶソース・データから直接生成される。このシステムは最高解像度を形成するので、空間的サブサンプリングは必要でなく、従って、必要な処理は図３に示された処理より少ない。元の未圧縮のソース・データを用いると、符号化ストリームの中のＩフレームを選択することなく、イントラ符号化すべきフレームをトリック再生速度に確実に適合するように選択することができる。また、ユーザによってより快適である一定の時間的リフレッシュ・レートを維持することができる。
図示のように、元のＨＤＴＶビデオ信号０９はＭＰＥＧ符号化器１００に結合され、ＭＰＥＧ符号化器１００は通常再生速度処理用のＭＰＥＧストリーム１０１を生成する。また、信号０９は、それぞれブロック５５、６５、および７５において時間的サブサンプリングを行うように結合される。Ｎ倍のトリック再生速度に対して符号化に用いるＮ個目毎のソース・フレームだけが使用される。しかし、許容できる空間解像度を形成するには、空間解像度と時間解像度の間の望ましい妥当なレート配分の仕方に応じて、符号化に用いる実際のフレームはほぼ５Ｎ個目または８Ｎ個目毎のフレームである。従って、フレーム保持時間または時間解像度は、先に述べたリアルタイム形式の最高解像度システムのフレーム保持時間または時間解像度と同程度になる。
フレーム保持時間またはフレーム更新時間をＮ倍のトリック再生速度の各々に対して、例えば５Ｎ個目毎のフレームに選択して、各ＴＰ速度に対するＨＤＴＶストリームの信号０９の時間的サブサンプリングを行う。５倍のＴＰストリームはブロック５５で生成され、ブロック５５は、１／５Ｎまたは１／２５の比率または係数（factor:ファクタ）で時間的サブサンプリングを行い、即ち２５フレーム中の１フレームを選択して、出力信号５６を生成する。同様に、１８倍のＴＰストリームはブロック６５で生成され、ブロック６５は、１／５Ｎまたは１／９０の比率で時間的サブサンプリングを行い、出力信号６６を生成する。また、３５倍のＴＰストリームはブロック７５で生成され、ブロック７５は、１／５Ｎ、または１／１７５の比率で時間的サブサンプリングを行い、出力信号７６を生成する。この３つのサブサンプリングされたＴＰビットストリーム信号５６、６６、７６は、それぞれ符号化ブロック１２０、１３０、および１４０でＭＰＥＧ符号化されるように結合される。
ＭＰＥＧコンパチブル符号化は各速度について同じであるから、またプリレコーディングの（予め記録を行う）環境においてはリアルタイム処理は不要なので、同じＭＰＥＧ符号化ハードウェアを用いて通常再生ストリームおよび各トリック再生ストリームを符号化できる。この共通使用部分は、ＭＰＥＧ符号化器ブロック１００、１２０、１３０、および１４０を囲む破線により示されている。時間的にサブサンプリングされたビットストリーム５６、６６、および７６はＩフレームの形にＭＰＥＧ符号化される。フレーム更新時間は各トリック再生ストリームについて一定なので、各Ｉフレームに対して割当てられるビット数も一定である。そのフレーム保持時間またはＩフレーム反復は、前述のようなＤＳＭトリック再生フラグDSM＿trick＿play＿flagを用いて実現される。この結果得られる、通常再生速度ＮＰのストリーム１０１、トリック再生速度５×のストリーム１２１、１８×のストリーム１３１、および３５×のストリーム１４１を表す各ＭＰＥＧトランスポート・ストリームは、マルチプレクサ１５０によりレコード・フォーマット化されるように結合される。マルチプレクサ１５０は効率的に種々のＭＰＥＧストリームの間の選択を行って、記録再生システム２１０による記録処理およびテープ２２０への書込みに適した同期(sync)ブロック・フォーマット信号２００を生成する。先に説明したように、所定の各ＴＰ速度を実現するために、速度に固有のＴＰデータを記録トラック内の特定位置に位置合わせしまたは記録する。従って、マルチプレクサ１５０は、特定の同期(sync)ブロック位置に記録された速度固有のＴＰ・Ｉフレーム・データの位置を求めるための同期(sync)ブロック信号２００をフォーマット化する。この特定の位置を用いることにより種々の固有のＴＰ速度での再生が容易になる。
また、本発明による図６および図７の構成は、図４の非リアルタイム式の“トリック再生”の生成の構成にも適用できる。前述のように、図６および図７の構成によって、通常再生およびトリック再生のディジタル信号を非リアルタイムで互いに独立に生成し、ＭＰＥＧコンパチブル・ビットストリームへの符号化を行うことが容易になる。
図７の蓄積および検索用メモリ５５０、５６０、５７０、および５８０は、図示のようにＭＰＥＧコンパチブル出力信号５０１、５２１、５３１、および５４１を生成し、この信号がマルチプレクサＭＵＸ１５０を介して結合される。本発明による別の実施形態においては、ＭＵＸ１５０によって生成されたＭＰＥＧ出力ストリーム２００は、ユーザの表示手段に分配するための伝送システムに結合される。マルチプレクサＭＵＸ１５０は、ユーザの指令に応答して、メモリに生成された各ＭＰＥＧコンパチブル出力信号の間の選択を行うように制御される。例えば、通常速度で番組（プログラム）を見ようとするユーザは、ビットストリーム信号５０１を受信して復号化するようにする。ユーザは、例えば５倍速のＭＰＥＧビットストリームの観察（表示）を遠隔的に選択して番組を進めまたは早送りする。ユーザが５×再生用の遠隔的指令を与えるとマルチプレクサ１５０がＭＰＥＧビットストリーム５２１を選択し、それがユーザに対して出力される。
最高空間解像度および時間解像度を維持するという制約があるために、そのトリック再生品質は最高解像度のリアルタイムの方法により達成されるトリック再生品質に非常に近くなる。しかし、このプリレコーディング方法（予め記録する方法）にはフレーム保持時間が一定であるという利点がある。前述のトリック再生ストリーム生成技術によって、最高解像度および実効トリック再生ビット・レート２．０Ｍｂｐｓでトリック再生速度５×、１８×、および３５×が形成される。その性能は次のように要約できる。
記録動作の間、各トリック再生速度に対して、互いに独立したＩフレームだけのＭＰＥＧストリームがテープに書込まれる。
空間解像度はソース・データと同じである。
時間解像度は５フレーム保持時間に固定される。
各Ｉフレームでは全てのＤＣ係数と幾つかのＡＣ係数とが用いられる。
全体的な空間的品質は可(fair)のレベルである。復元されたトリック再生画像は、認識可能なものであり、テープ・サーチ用として許容レベルのものである。
次の表は前述の本発明による種々の方法によって達成されるトリック再生品質を要約したものである。
0003665341.tif 000003
前述の制約を考慮して、低解像度トリック再生データを用いることにより、リアルタイム形およびプリレコード形のデータ(material)において最高のトリック再生品質が達成できる。しかし、そのＡＴＶ受信機／復号器は低解像度モードの使用を支援するものでなければならない。最高解像度トリック再生モードを用いる場合には、種々のパラメータを調整することにより、得られる品質を改善することができる。例えば、各トリック再生速度に対して利用可能な実効ビット・レートを上げることによって解像度を上げることができる。しかし、最低ビット・レートとして約２．０Ｍｂｐｓが要求される。設定される“トリック再生”速度の数を減少させ、例えば正逆の各方向にそれぞれ２つの速度とすると、残りの各速度に対する実効ビット・レートは増大する。実効的時間解像度またはフレーム反復数は時間解像度と空間解像度の間の配分調整の結果に応じて決められる。従って、所望の適用例に応じていずれかのパラメータを最適化すればよい。
【図１】
0003665341.tif 000004
【図２】
0003665341.tif 000005
【図３】
0003665341.tif 000006
【図４】
0003665341.tif 000007
【図５】
0003665341.tif 000008
【図６】
0003665341.tif 000009
【図７】
0003665341.tif 000010