(57)【要約】      （修正有）【課題】フィルム映写の動きの表現を、テレビジョンその他の電子的な動画表現において正確に再現する。【解決手段】テレビジョン信号を正弦曲線モーションジャダー成分を介して修正することにより、映画的映像の外観を再現できる意図的なモーションジャダーを導入する。２４フレーム／秒の映画フィルムを６０Ｈｚのテレビジョンシステムを介して７２Ｈｚのプロジェクタの「外見」で表示しようとする場合、２４Ｈｚフレーム間の時間差の３８．５％に等しいピーク振幅を有する２４Ｈｚの正弦曲線を生成するようにジャダー発振器の設定を行う。モーションジャダー成分が動きの見かけの方向を周期的に反転しても良い。【選択図】図５
2010141891.tif 000002
【特許請求の範囲】
【請求項１】
動画を表す複数の時間的画像サンプル（テンポラル画像サンプル）の入力系列をプロセッサにおいて修正して、動きの見え方を変更した時間的画像サンプルの出力系列を取得する方法であって、
前記入力された複数の時間的画像サンプルを時間補間して前記出力系列を生成すると共に、前記出力の時間的画像サンプルを表示する際、意図的且つ周期的なモーションジャダー成分を可視的に導入する
ことを特徴とする方法。
【請求項２】
前記動きの見え方が映画的な映像を再現するように、前記意図的且つ周期的なモーションジャダー成分を選択する
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記意図且つ周期的なモーションジャダー成分は、動きの見かけの方向を周期的に反転させる
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記意図的モーションジャダー成分を正弦関数によって決定する
ことを特徴とする請求項１に記載の方法。
【請求項５】
時間的画像サンプルに適用されるモーションジャダー成分の大きさが、その時間的画像サンプルの所望の表示時間における正弦曲線の瞬時値と比例する
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記正弦関数の周波数は、入力された時間的画像サンプルのオリジナル時間的サンプリング周波数と同じであることを特徴とする請求項４に記載の方法。
【請求項７】
前記時間補間を動き補償することを特徴とする請求項１に記載の方法。
【請求項８】
前記時間的補間を多相ＦＩＲフィルタによって行うことを特徴とする請求項１に記載の方法。
【請求項９】
前記多相ＦＩＲフィルタの少なくとも１つの位相を、該フィルタ位相によって生成される補間出力時間的サンプルの所望の表示時間と一致しない補間アパーチャ位置から導くことを特徴とする請求項８に記載の方法。
【請求項１０】
公称２４フレーム／秒のフィルム映画フレームを公称６０フィールド／秒のテレビジョンシステムで表示する方法であって、
それぞれのテレビジョンフィールドを５つのフィールドから成る系列に生成し、該系列において第１のテレビジョンフィールドが第１のフィルム映画フレームに対応し、第２、第３，第４および第５のフィールドが、時間補間回路において、フィルム映画フレームレートの逆数の１７．１％に等しい時間だけ前方または後方にそれぞれのフィルム映画フレームを時間補間することによって生成される
ことを特徴とする方法。
【請求項１１】
公称６０Ｈｚの時間的サンプリングレートに相当するテレビジョン画像の系列の修正を５画像系列にしたがってプロセッサにおいて修正する方法であって、
第１の画像を未修正とし、
第２の画像を系列中の隣接する画像間の時間の３０．９％だけ後方に時間シフトし、
第３のフィールドと第４のフィールドを置き換え、
第５の画像を系列中の隣接する画像間の時間の３０．９％だけ前方に時間シフトすることを特徴とする方法。
【請求項１２】
動画を表す複数の時間的画像サンプル（テンポラル画像サンプル）の入力系列を修正して、前記動きの見え方を変更した時間的画像サンプルの出力系列を取得する装置であって、
前記複数の入力サンプルを受信するように構成された時間補間回路と、
時間的位相信号を生成するように構成された信号生成回路と
を有し、
前記時間補間回路は、前記位相信号の制御下で前記入力サンプルの補正を行うことにより、出力系列を生成し、前記時間的位相信号は周期的モーションジャダー成分を含み、前記出力の時間的画像サンプルが表示される際に可視的に意図されたモーションジャダーが周期的に導入される
ように構成されていることを特徴とする装置。
【請求項１３】
前記動きの見え方が映画的映像を再現するように前記意図的且つ周期的なモーションジャダー成分を選択することを特徴とする請求項１２に記載の装置。
【請求項１４】
前記意図的且つ周期的なモーションジャダー成分は、動きの見かけ方向を周期的に反転させることを特徴とする請求項１３に記載の装置。
【請求項１５】
前記意図的なモーションジャダー成分が正弦関数によって決定されることを特徴とする、請求項１２〜１４の何れか一項に記載の装置。
【請求項１６】
時間的画像サンプルに適用されるモーションジャダー成分の大きさが、その時間的画像サンプルの所望の表示時間における正弦曲線の瞬時値と比例することを特徴とする請求項１５に記載の装置。
【請求項１７】
前記正弦関数の周波数は、入力された時間的画像サンプルのオリジナル時間的サンプリング周波数と同じとすることを特徴とする請求項１５または１６に記載の装置。
【請求項１８】
前記時間補間が動き補償されることを特徴とする請求項１２〜１７のいずれか一項に記載の装置。
【請求項１９】
前記時間的補間を多相ＦＩＲフィルタによって行うことを特徴とする請求項１２〜１８のいずれか一項に記載の装置。
【請求項２０】
前記多相ＦＩＲフィルタの少なくとも１つの位相を、該フィルタ位相によって生成される補間出力時間的サンプルの所望の表示時間と一致しない補間アパーチャ位置から導くことを特徴とする請求項１９に記載の装置。
【請求項２１】
２４フレーム／秒のフィルム映画フレームを公称６０フィールド／秒のテレビジョンシステムで表示する装置であって、
それぞれのテレビジョンフィールドを５つのフィールドから成る系列に生成し、該系列において第１のテレビジョンフィールドが第１のフィルム映画フレームに対応し、第２，第３，第４および第５のフィールドが、時間補間回路において、フィルム映画フレームレートの逆数の１７．１％に等しい時間だけ前方または後方にそれぞれのフィルム映画フレームを時間補間する
ことによって生成されることを特徴とする装置。
【請求項２２】
公称６０Ｈｚの時間的サンプリングレートに相当するテレビジョン画像の系列の修正を５画像系列にしたがってプロセッサにおいて修正する装置であって、
第１の画像を未修正とし、
第２の画像を系列中の隣接する画像間の時間の３０．９％だけ後方に時間シフトし、
第３のフィールドと第４のフィールドを置き換え、
第５の画像を系列中の隣接する画像間の時間の３０．９％だけ前方に時間シフトすることを特徴とする装置。
【請求項２３】
プログラム動作するプロセッサに、動画を表現する時間的画像サンプルの入力系列を、動きの外観を変更した時間的画像サンプルの出力系列を取得できるように修正させるコンピュータプログラムであって、
前記プロセッサを、
前記入力された時間的画像サンプルを時間補間して前記出力系列を生成すると共に、前記出力の時間的画像サンプルを表示する際に可視的となるモーションジャダー成分を意図的且つ周期的に導入する
ように動作させることを特徴とするコンピュータプログラム。
【請求項２４】
プログラム動作するプロセッサに、公称２４フレーム／秒のフィルム映画フレームを公称６０フィールド／秒のテレビジョンシステムにおいて表示させるコンピュータプログラムであって、
前記プロセッサを、
それぞれのテレビジョンフィールドを５つのフィールドから成る系列に生成し、該系列において第１のテレビジョンフィールドが第１のフィルム映画フレームに対応し、第２，第３，第４および第５のフィールドが、時間補間回路において、フィルム映画フレームレートの逆数の１７．１％に等しい時間だけ前方または後方にそれぞれのフィルム映画フレームを時間補間する
ように動作させることを特徴とするコンピュータプログラム。
【請求項２５】
プログラム動作するプロセッサに、公称６０Ｈｚの時間的サンプリングレートに相当するテレビジョン画像の系列の修正を５画像系列にしたがって修正させるように動作させるコンピュータプログラムであって、
前記プロセッサを、
第１の画像を未修正とし、
第２の画像を系列中の隣接する画像間の時間の３０．９％だけ後方に時間シフトし、
第３のフィールドと第４のフィールドを置き換え、
第５の画像を系列中の隣接する画像間の時間の３０．９％だけ前方に時間シフトするように動作させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画のレンダリングに関する。本発明は特に、６０フィールド／秒のテレビジョンシステムにおける２４フレーム／秒の映画フィルムのレンダリングに適用可能である。
【背景技術】
【０００２】
映画、テレビ等の画像システムでは、ある場面の時間的サンプルに相当する一連の静止画を視聴者に見せることによって動画を表現する。新しい画像の表示速度および各画像の表示時間は、視聴する側の主観的な品質を決定する上で重要な要素となる。歴史的には、生成される画像の表示速度は、カメラの撮像速度は同じであった。また、表示時間については、利用できるディスプレイシステムの技術によって制限を受けるものであった。現代の画像処理方式では、これらのディスプレイ上の特性を、画像の取得、記憶、配布のメカニズムに関するパラメータと独立して決定することが可能となっている。
【０００３】
動画を写真撮影によって取得する場合、時間的サンプリング周波数（すなわちフレームレート）は、フィルム送りという機械的プロセスの制限を受ける。このために２４Ｈｚ（２４フレーム／秒）の時間的サンプリング周波数が広く採用される結果となっている。テレビジョンの場合、機械的制約は無いものの、電子素子によって取得される各画像について充分な「露出時間」をもたせる必要があり、５０Ｈｚと６０Ｈｚの時間的サンプリング周波数（フィールドレート）が一般的となっている。
【０００４】
機械的な映画フィルム映写においては、各画像の表示時間の方が時間的サンプリングの時間より短くなっている（フィルム送りの時間があるため）。しかしながら、時間的サンプリングレートが比較的低いため、各画像を１回以上反復（点滅）させることで、結果としてのちらつきを感知できないようにしている。テレビジョンの場合、時間的サンプリングレートが高いため、各画像を１回だけ表示するのが普通である。このように、映画とテレビジョンでは、主観的な見え方に大きな相違がある。
【０００５】
さらに、映画由来の題材をテレビジョンを介して表示する場合には複雑な問題が生じる。テレビジョンのフィールドレートが映画のフレームレートの約２倍の場合（欧州のように）、映画のフレームレートがテレビジョンフレームレートと等しくなるように調節する（題材の時間的長さを変えるなどする）ことにより、各フィルム映画フレームが２回ずつ表示されるようにする（連続した２つのテレビジョンフィールドとして）。テレビジョンフィールドレートが約６０Ｈｚの国（米国等）では、フィルム映画フレームを交互にそれぞれ３回と２回ずつ表示する「３：２シーケンス」方式でフィルム映画フレームを表示している。この方式は妥協策であり、視聴時の画質が劣る。
【０００６】
テレビジョンを媒介してフィルム映画を表示する上記のような方法では、映画撮影監督が意図したものとは実質的に異なるような見え方となり、様々な程度において意図した見え方を歪曲したものを表示する結果になる恐れがある。
【０００７】
映画由来の題材とテレビジョン由来の題材を同一のテレビジョン・プレゼンテーションにおいて結合することも一般に行われている。画像取得の方法が異なることによる画質の差が視聴者をイライラさせる不愉快な表現となることも多い。プレゼンテーション全体がディレクターの意図に応じて「映画らしいもの」か「テレビジョンらしいもの」かいずれかである方が好ましいことも多い。また、同一のプレゼンテーションの中でいろいろな部分の主観的な相違を人工的に増幅するのが芸術的な理由で望ましい場合もある。
【０００８】
よって、所望の種類の動きの演出を達成するためには、テレビ放映された題材の主観的な画質を制御できるようにするのが有利である。公知のシステムでは、フィルム映画フレームの時間的サンプリング周波数からテレビジョンシステムの時間的サンプリング周波数へとアップ・コンバートする時間的補間を含んでいる（動きの補間を含む場合もある）。通常のアップ・コンバートは、飛び越し走査方式のテレビジョンシステムのフィールドレートへのコンバートとなるが、このようなコンバートは、例えば１つ以上のフィルム映画フレームからの光を回転式光学プリズムにおいて結合する「ポリゴン」テレシネのように、光学的に行う場合がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第４，９３５，８１６号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記のような従来のシステムでは、フィルム映写の動きの表現を、テレビジョンその他の電子的な動画表現において正確に再現することはできない。
【課題を解決するための手段】
【００１１】
本発明は、動画を表す時間的画像サンプルの入力系列を、動きの外観が変更された時間的画像サンプルの出力系列が得られるように修正するための方法および装置から成り、前記入力された時間的画像サンプルを時間的に補間して前記出力系列を生成すると共に、前記出力の時間的画像サンプルを表示する際に可視的なモーションジャダー成分を意図的周期的に導入することを特徴とする。
【００１２】
好適な実施形態では、前記意図的周期的なモーションジャダー成分を、前記動きの外観が映画的映像を再現できるように選択する。
【００１３】
ある実施形態では、前記意図的周期的なモーションジャダー成分が、動きの見かけ上の方向を周期的に反転させる。
【００１４】
好適には、前記意図的周期的なモーションジャダー成分は、正弦関数によって決定する。
【００１５】
時間的画像サンプルに適用するモーションジャダー成分の大きさは、その時間的画像サンプルの所望の表示時間における時間正弦曲線の瞬時値に比例させるのが有利である。
【００１６】
好ましくは、前記時間正弦曲線の周波数を、入力された時間的画像サンプルの本来の時間的サンプリング周波数と等しくする。
【００１７】
別の実施形態は、公称２４フレーム／秒のフィルム映画フレームを公称６０フィールド／秒のテレビジョンシステムにおいて表示する方法から成り、それぞれのテレビジョンフィールドを５つのフィールドから成る系列に生成し、該系列において第１のテレビジョンフィールドが第１のフィルム映画フレームに対応し、第２，第３，第４，および第５のフィールドが、時間補間回路において、それぞれのフィルム映画フレームレートの逆数の１７．１％に等しい時間だけ前方または後方にフィルム映画フレームを時間補間することによって生成される。
【００１８】
さらに別の実施形態は、公称６０Ｈｚの時間的サンプリングレートに相当するテレビジョン画像の系列をプロセッサにおいて改変する方法から成り、前記画像の修正を、５画像系列に従って、第１の画像を未修正とし、第２の画像を系列中の隣接する画像間の時間の３０．９％だけ後方に時間シフトし、第３のフィールドと第４のフィールドを置き換え、第５の画像を系列中の隣接する画像間の時間の３０．９％だけ前方に時間シフトすることによって行う。
【００１９】
次に、添付図面を参照しながら本発明の一例について説明する。
【図面の簡単な説明】
【００２０】
【図１】従来の時間補間システムを示す。
【図２】ダブルフラッシュ・プロジェクタによって表示される２４フレーム／秒のフィルム映画の時間的サンプリングパターンを示す。
【図３】トリプルフラッシュ・プロジェクタによって表示される２４フレーム／秒のフィルム映画の時間的サンプリングパターンを示す。
【図４】６０フィールド／秒の３：２プルダウン・テレビジョンシステムによって表示される２４フレーム／秒のフィルム映画の時間的サンプリングパターンを示す。
【図５】本発明の一実施形態による時間補間システムを示す。
【図６】本発明の一実施形態による６０フィールド／秒のテレビジョンシステムによって表示される２４フレーム／秒のフィルム映画の時間的サンプリングパターンを示す。
【図７】本発明の一実施形態による６０フィールド／秒のテレビジョンシステムによって表示される２４フレーム／秒のフィルム映画の別の時間的サンプリングパターンを示す。
【図８】本発明の一実施形態による５０フィールド／秒のテレビジョンシステムによって表示される２４フレーム／秒のフィルム映画の時間的サンプリングパターンを示す。
【図９】図８の時間的サンプリングパターンの一部を拡大して示す。
【図１０】図８の時間的サンプリングパターンの一部を拡大して示す。
【図１１】図８の時間的サンプリングパターンの一部を拡大して示す。
【図１２】本発明の一実施形態による５０フィールド／秒のテレビジョンシステムによって表示される２５フレーム／秒のフィルム映画の時間的サンプリングパターンを示す
【図１３】本発明の一実施形態による２５フレーム／秒の映画フィルム映写を再現するべく修正された５０フィールド／秒のテレビジョンの時間的サンプリングパターンを示す。
【図１４】本発明の一実施形態による２４フレーム／秒の映画フィルム映写を再現するように修正された６０フィールド／秒のテレビジョンの時間的サンプリングパターンを示す。
【図１５】双一次補間アパーチャを示す。
【図１６】高次補間アパーチャを示す。
【発明を実施するための形態】
【００２１】
本発明の目的は、フィルム映画フレームやビデオフィールドのような時間的画像サンプルの入力系列に対して時間的再サンプリングを行い、視聴者に対して特定の所望の画質を提供する時間的サンプリングパターンを有する時間的画像サンプルの修正出力系列を獲得することにある。入力される時間的パターンは当初は規則的パターン、すなわち一定の時間的サンプリング周波数を有するパターンとなる（不規則にサンプリングされた入力については後述する）。出力の時間的画像サンプルのプレゼンテーション速度は一定であり、入力された時間的サンプリング周波数と何らかの関係を有するのが普通である。すなわち、大きい方の公約数の約数となるのが普通である。出力の時間的サンプリングパターンは、入力された時間的画像サンプルの規則的なプレゼンテーション周波数によって表現されるパターンと異なることが多い。換言すれば、出力のプレゼンテーション時間とそれに対応する入力の獲得時間との関係は変化することがある。
【００２２】
時間的再サンプリングを達成するための先行技術によるシステムを図１に示す。図１では実時間プロセスをとっているが、当業者には自明のとおり、ソフトウェア技術などの技術を用いても同様の結果を得ることができる。
【００２３】
現在の時間的画像サンプル１が、先行のいくつかの時間的画像サンプル３および後続のいくつかの時間的画像サンプル４と共に時間補間回路２に入力される。実施方法によっては、入力画像サンプルのストリームにいろいろな遅延を加えることによって、これら全てのサンプルを引き出す場合もある。現在の入力された時間的画像サンプル１は、フィールドレートまたはフレームレートのクロックやタイムコードのような関連タイミング基準情報５を当てられる。所望の出力時間的サンプリングパターンを出力タイミング基準生成回路６によって生成する（出力タイミング基準生成回路６は出力サンプル要求データ７を生成する）。このデータが出力の各時間的画像サンプルを表示するために必要な時間を規定する。時間的位相比較回路８がサンプル要求データ７の所要出力サンプル時間と現在入力されている時間的画像サンプル１に対応するタイミング基準情報５を比較する。この比較結果が、所望の出力サンプルと現在の入力サンプル１とのタイミングの差を規定する時間的位相信号９となる。このタイミングの差は入力された時間的サンプル期間の単位で表される。通常、時間的位相信号９は−１／２から＋１／２の範囲に制限される。
【００２４】
時間補間回路２は時間的位相信号９によって制御される。時間的画像サンプルの出力を要求される度に、時間的位相値を用いて現在の入力された時間的画像サンプル１と時間的に隣接する入力された時間的画像サンプルとの補間を行う。例えば、時間的位相値が＋１／２の場合、現在の入力時間的画像サンプル１とそれに続く時間的画像サンプルとの間の時間の半分に相当する出力画像が生成されることになる。補間された時間的画像サンプルの系列は端子１０を介して出力される。
【００２５】
時間補間回路２は、動き補償時間補間（対象物の位置を動きベクトルから算出し、それらのベクトルから算出した距離だけ画素を移動する）や、動き非補償時間補間（必要な時間的位相オフセットを多相ＦＩＲフィルタの位相を調節することによって達成する）など、任意の方法を用いることができる。一般にこのプロセスは１つ以上の先行する時間的画像サンプル３および／または後続の時間的画像サンプル４を利用する。
【００２６】
典型的な従来システムでは、図１の構成を用いてフィルム映画由来の題材をテレビジョンフィールドレートに変換したり、テレビジョンフィールドレート間の変換することを行っている。テレビジョン画像の動きの表現を変更するための別のシステムが特許文献１に記載されており、このシステムにおいては周知の３：２プルダウンシステムの動きのパターンを再現できるようにテレビジョンフィールドの加工を行っている。しかしながら、これらの従来システムでは、映画的映像を再現する『見え方』を生み出すことはしていない。一般的な映画フィルムプロジェクタは、ダブルフラッシュまたはトリプルフラッシュのシャッターを採用し、各フィルム映画フレームをそれぞれ２〜３回ずつ表示するようにしている。これによって得られる動きの表現はテレビジョンとはかなり異なるものである。
【００２７】
図２は、ダブルフラッシュ・プロジェクタによってレート２４Ｈｚのフィルム映画フレームを表示するタイミングを示す図である。横軸が時間、縦軸が一定速度で移動する対象物の位置を表している。プロジェクタはフィルム映画フレームレートの２倍、すなわち４８Ｈｚで点滅し、点滅毎の時間を図２では縦方向の格子で示している。一定速度で動く対象物の位置の変化を直線２１で表している。映画フィルムカメラ（２４Ｈｚのフレームレートを有する）によって連続するフィルム映画フレームに撮像した対象物の位置を、例えば位置２２のように円で示している。運動もフレームレートも一定であるため、後続のフレーム間での移動対象物の位置の差も一定となる。この距離を寸法２３で示している。プロジェクタでは、各フィルム映画フレームが２回ずつ表示される。プロジェクタによるフレームのプレゼンテーション時間とそれに対応する対象物の位置が十字で示されている。地点２２に対応するフレームが地点２４と２５によって示される時点で投写される。従って、移動対象物は同位置で２回表示される。次のフィルム映画フレームにおいて対象物は位置２８を取り、そのフレームは位置２６と２７において２回投写される。
【００２８】
視聴者から見た時、対象物の動きがもはや均等ではないことを認識できるかもしれない。地点２４，２５，２６，２７の各々と直線２１との間の垂直方向の距離によって表されるモーションジャダーの誤差が存在する。誤差は時間と共に変化し、この変化の基本周波数は２４Ｈｚである。
【００２９】
この周波数での正弦曲線を、直線２１に対する位置，位相および振幅を選択して加えることで、その和が全ての投写画像に対応する位置を通るようにすることができる。この和を図２では曲線２９によって示している。正弦曲線の位相は、各フィルム映画フレームの２回目のプレゼンテーションに関して９０度遅延しており、ピーク振幅は後続のフィルム映画フレーム（カメラで撮像したもの）間の位置的差２３の２５％となる。
【００３０】
同様に、２４フレーム／秒のフィルム映画を表示するトリプルフラッシュ・プロジェクタのモーションジャダーが図３に示されている。この場合、各フィルム映画フレームは３回、１回は適正時より早く、１回は適正時に、１回は適正時より遅く表示される。均等な動きに２４Ｈｚのシヌソイドジャダー成分を加えたものが曲線３９によって示されている。この正弦曲線はモーションジャダーを表すものであり、各フィルム映画フレームの３回目のプレゼンテーションに関して６０度位相遅延されており、（カメラの）フィルム映画フレーム間の位置的差３３の３８．５％のピーク振幅を有している。
【００３１】
この分析は動きを表現する他のシステムに適用することができる。図４は、２４フレーム／秒のフィルム映画を６０Ｈｚのテレビジョンフィールドレートにおいて表示する周知の３：２プルダウンシステムの動きを示している。この場合、単独の２４Ｈｚの正弦曲線でジャダーを説明することはできないが、１２Ｈｚの正弦曲線（フィルム映画フレーム間の位置的差４３のピーク振幅２０％）と２４Ｈｚの正弦曲線（ピーク振幅３４％）の和によってジャダーを正確に表現できる。これら２つのジャダー周波数成分と一定の動きを合成したのが曲線４９である。３：２システムの動きの表現は、追加の１２Ｈｚのジャダー成分（カメラのフレームレートの周波数の半分）によって、通常のフィルム映写のものより主観的に悪化することとなる。
【００３２】
発明者の知見によると、モーションジャダー成分の振幅を制御することによって、画像レンダリングシステムにおける動きの主観的な見え方を制御できること、またそれぞれのジャダー成分を振幅において等しくすることによって、特定のシステムの見え方を別のシステムで再現できることが分かった。
【００３３】
例えば、図１のシステムを図５のように変更することができる。このシステムにおいては、時間補間回路５０２に入力された時間的位相５０９が、加算回路５１１において加算されたモーションジャダー成分を有している。加算されるジャダーは正弦曲線ジャダー発振器５１２によって生成される。出力タイミング基準生成回路５０６からサンプル出力要求５０７が出る度に、その時点のジャダー発振器５１２からの正弦曲線の瞬時値が減算回路５０８から出力された時間的位相値に加算される。
【００３４】
２４フレーム／秒のフィルム映画を６０Ｈｚのテレビジョンシステムを介して７２Ｈｚのプロジェクタの「見え方」で表示しようとする場合、２４Ｈｚのフレーム間の時間差の３８．５％に等しいピーク振幅を有する２４Ｈｚの正弦曲線を生成するようにジャダー発振器５１２が設定される。これによって図６に示す時間的サンプリングパターンが得られる。
【００３５】
図６では、入力されるフィルム映画フレームに対応する時間および位置が、位置６２のように円によって示されている。加算されたジャダー成分の位相は、例えば、位置６７のフレームのように、入力フレームのレギュラー要素に時間的シフトが無いように調節されている。下掲の表１に示す時間的シフトを適用することによって、２つの連続した入力フィルム映画フレームから５つの連続した出力テレビジョンフィールドの系列が得られる。
【００３６】
【表１】
2010141891.tif 000003
【００３７】
なお、２４Ｈｚのモーションジャダー成分を加算することで、出力フィールド６４と６５の間で動きの方向が瞬間的に反転している。この反転はフィールド５つ毎に周期的に発生するものである。また、時間的シフトの大きさは相互に同じである。ジャダー成分の振幅をフィルム映画フレーム間の時間的距離の３８．５％から３９．０％に変えることで、必要な時間的シフトの全てが等しく１７．１％となり、本発明に係るハードウェアを単純化できる。
【００３８】
ダブルフラッシュ・プロジェクタのプレゼンテーションは、ジャダーのピーク値を入力フィルム映画フレーム間の時間の２５％まで減少させることによって、再現できた。これを示したのが図７である。必要な時間的シフトを下掲の表２に示す。
【００３９】
【表２】
2010141891.tif 000004
【００４０】
ここでも、動きの方向がフィールド７４と７５のように５フィールド毎に反転される。
【００４１】
本発明は、５０フィールド／秒のテレビジョンシステムを介して２４フレームの映画フィルムを表示する場合にも適用することができる。その一例を示したのが図８であり、スムースな動きのために２４Ｈｚの正弦曲線ジャダーを加えた場合を示している。フィルム映画フレームの時間および位置を円で示すと共に、出力テレビジョンフィールドの時間はこれまでの図と同様に垂直格子線で示している。ジャダーの正のゼロ交差がフィルム映画フレームの時間と同期化されている。ジャダー（およびフィルム映画フレームの時間）と出力フィールドの時間との位相関係は変化するため、各出力フィールドに（ジャダーを実現するために）適用する必要のある時間的シフトも変化する。
【００４２】
図８の中の例示的な３つの領域８０９，８１０，８１１を図９、図１０、図１１にそれぞれ拡大して示している。これらのいずれの図においても、ジャダーのピーク振幅はフィルム映画フレーム間の位置的差の３８．５％であり、すなわち７２Ｈｚのトリプルフラッシュ・プロジェクタと等しい。なお、図８に示した１０のフィルム映画フレームのうち、最初のフレーム８０１のみが出力テレビジョンフィールドの時間と一致しており、この一致は２５のフィールド毎、または１２のフィルム映画フレーム毎に生じるものである。
【００４３】
図８と図１１から分かるように、異なる時間的シフト値が多数必要であり、特定の出力テレビジョンフィールドに時間的に最も近いフィルム映画フレームが所要の位置に最も近いとは限らない。例えば、図１０において、出力フィールド１０１は、時間的に入力フィルム映画フレーム１０２に最も近いが、その後のフィルム映画フレーム１０３が所要の位置に最も近くなっている。フレーム１０２を所要の出力１０１までシフトさせるとすると、フィルム映画フレーム間の位置的差の５０％以上の（前方への）シフトが必要になる。ところが、フィールド１０３は（後方へ）３２．４％シフトするだけで済む（当業者には理解されるように、シフトしたフィールドを１つ以上のフィルム映画フレームからの情報から導き出しても良い。）。
【００４４】
出力フィールド時間に対するジャダーの相対位相が変動するのに伴ってシフト値の大きさが変動するが、その変動がジッタの特性における低周波数変動として眼に見える場合がある。この問題は、ジャダーの周波数をテレビジョンフィールドレートの約数に設定することで回避することができる。例えば、５０フィールド／秒のテレビジョンシステムを介して表現された２４フレーム／秒の映画フィルムには２５Ｈｚのジャダーを適用することができる。しかしながら、所要のシフトがフィルム映画フレーム間の時間の５０％に達するに伴って時間補間回路の動作に変化が生じ、その変化がまだ可視的となる場合がある。
【００４５】
より満足のいく方法としては、テレビジョンフィールドレートの約数に等しいフレームレートでフィルムを回し、その速度でジャダーを適用する方法がある。すなわち、５０フィールド／秒のテレビジョンシステムにおいて２５Ｈｚのジャダーを２５フレーム／秒の映画フィルムに適用するのである。図１２は３８．５％のジャダーを加えた状態を示している。時間的シフト値は全て１３．５％の大きさとなっている。
【００４６】
ここまでに説明した例は、映画フィルム様の時間的サンプリングレートの入力を有するものであった。本発明の別の用途は、テレビジョン入力の高い時間的サンプリングレートを処理して、あたかも映画的に表示されたかのように見せることにある。これは、入力されたあるサンプルに一般的なフィルム映画フレームレートの周波数でモーションジャダーを加えることで達成される。図１３は、２５フレーム／秒の映画フィルムの見え方を再現するように５０フィールド／秒のビデオを修正する方法を示している。他の図と同様、入力ビデオフィールドに対応する時間と位置を円で示し、位置的にシフトさせた出力フィールドを十字で示している。２５Ｈｚの正弦曲線ジャダー成分を、正弦曲線のピークがビデオフィールドの時間と一致するように整相した場合、フィールドが交互に前方と後方にピークジャダーの大きさだけシフトする。図１３では、トリプルフラッシュ映写を再現する３８．５％のジャダーを示している。
【００４７】
図１４は、２４フレーム／秒の映写と同様に見えるように６０フィールド／秒のビデオフィールドを修正する方法を示している。図１４では、フィールドのレギュラー要素、例えばフィールド１４０１と１４０２にシフトが無いように２４Ｈｚの正弦曲線ジャダー成分を整相している。シフトのパターンはフレーム５つ分の期間に亘って繰り返される。５つのフィールドのパターンのうちの２つのシフト後の位置が隣接する入力フィールドの元の位置と同じになるようにすることによって、所要の時間的処理を最小限にするべくジャダーの振幅を選択している。入力フィールド１４０３は位置１４０４にシフトするべきであるが、これは入力フィールド１４０５と丁度一致するため、入力フィールド１４０３を時間補間するよりも、入力フィールド１４０３の代わりに入力フィールド１４０５を直接出力すれば良いことになる。同様に、入力フィールド１４０３は所要の時間的位置１４０６に一致するため、入力フィールド１４０５の代わりに入力フィールド１４０３が出力される。
【００４８】
簡略化を実現するジャダー振幅は、（概念上の）２４フレーム／秒のフィルム映画フレーム間の時間距離の４２．１％である。５つのフィールドから成る系列の２つのフィールドだけが補間を要し、フィールド１４０７を３０．９％だけ後方に移動すると共に、フィールド１４０８を同じ距離だけ前方に移動している。もちろん、ジャダーを他の値にした場合はより多くのフィールドの時間補間を伴う場合がある。
【００４９】
図５のシステムの実施に際しては、動き補償型時間補間回路を用いる必要がない。隣接するある２つの入力サンプルの加重和を形成する双一次補間を用いて、それらの重みの「重心」が所要の出力の時間的位置に一致するようにしても良い。ここで用いる寄与度の加重和の重心とは、下掲の数式１（数１）を満足する時間を意味する。なお、数式１において、ｗｉは寄与度ｉに適用される重み、ｘｉは重心とｗｉを加重された入力サンプルの時間との時間差をそれぞれ示し、加重和に寄与する全てを合計している。
【００５０】
【数１】
2010141891.tif 000005
【００５１】
例えば、時間的位相値５０９が１／４である場合、加重和は次の入力された時間的サンプルの２５％に現在の入力された時間的サンプルの７５％を加えたものから成る。そして重心は、最初の入力サンプルの後に入力されるサンプルピッチの２５％に位置する。
【００５２】
当業者には理解されるように、入力サンプルの加重和を形成して補間された出力サンプルを得る時間補間法は多相フィルタリング法であり、多相フィルタリング法はそれぞれの入力サンプルと所要出力サンプル時間との間の時間差に関してサンプルの重みを定義する「アパーチャ関数」によって記述することができる。図１５は双一次時間補間回路に関するアパーチャ関数を示している。横軸は時間を、所要の補間出力サンプルの時間に関連して、入力のサンプリング周波数の時間を単位として示している。２つの入力サンプルしか出力サンプルに寄与することはないため、アパーチャの幅（ゼロ以外の部分の）は２つの入力サンプル時間となる。
【００５３】
図１６は、３つのサンプル時間の幅を有する高次補間アパーチャの一例を示している。周知のように、高次補間回路は必要とされる周波数成分の損失を少なくすると共にエイリアス成分の制御性を良くして周波数応答を改善するように構成することができる。アパーチャ広さ（すなわち、各出力サンプルを作るために使用される入力サンプルの数）の選択は、周波数応答の制御性に相反するので、複雑さと伝達遅延との間の妥協とする。
【００５４】
特定の所要時間的シフトの値は、補間アパーチャの離散的「位相」に対応しており、各位相がそれぞれ異なる加重和から成る。本発明の別の実施形態では、補間回路５０２のフィルタ位相の設計において各位相に対応する所要のジャダー成分を考慮に入れることにより、時間的位相値５０７を直接補間回路５０２に通すことができるようにして、ジャダー発振器５１２および加算回路５１１を不要としている。この原理による適当な補間位相の例について次に説明することにする。
【００５５】
通常そうであるように、入力された時間的サンプルのタイミングが所要のジャダー周波数に関連している場合、必要とされるフィルタ位相の数が極めて少なくて済む。図６と図７に示した例では、２組の等しく反対の所定のシフト値を要する。図７に示した例では、５つの補間位相しか必要でなく、対応するサンプルの重みを下掲の表３に示す。表３では双一次補間を図１５に示したアパーチャと共に示している。表中の各行がフィルタ位相に対応しており、これらの位相は中心位相を中心として対称であるため、表中のそれぞれ対応する行に−２からゼロを通って＋２までの番号を付している。２番目の列は出力サンプルの時間的位相値５０７を示しており、これによって補間回路５０２においてそれぞれの位相が選択される。各補間出力サンプルの位置が周波数応答の中心に相当し、その周波数応答の中心が入力サンプルの重みの重心の位置に相当する。表の右端の列はこの重心の位置を、現在の入力サンプルの位置に関連して、隣接する入力サンプル間の時間のパーセントとして示している。
【００５６】
【表３】
2010141891.tif 000006
【００５７】
図１６に示される高次、３タップの補間アパーチャに関する同様の表を以下に表４で示す。各補間出力サンプルの位置がアパーチャの中心に相当し、位相によっては、この位置と入力サンプルの重みの重心との間に若干の差がある。この差の最大値は、隣接する入力サンプル間の時間の９％よりやや小さい値であり、補間法の周波数応答と関連している。このため、表４では重心の位置ではなくアパーチャ中心の位置を示している。（これまでの表と同じく、その位置は現在の入力サンプルの位置に関連して示している。）
【００５８】
【表４】
2010141891.tif 000007
【００５９】
図１２に示したケースでは、フィルタ位相が２つしかなく、図１５の双一次補間アパーチャに関する対応する表は以下の表５となる。
【００６０】
【表５】
2010141891.tif 000008
【００６１】
図１６の高次補間アパーチャを用いた場合、サンプルの重みは以下の表６となる。
【００６２】
【表６】
2010141891.tif 000009
【００６３】
なお、図７の例の中心位相は別にして、双一次フィルタ位相の重心および高次補間アパーチャの中心は所要の出力サンプルの時間的位相と一致しない。このことは、各補間フィルタ位相の中心が対応する出力の時間的サンプルの時間的位相と直接一致する先行技術の時間補間回路と大きく異なる点である。
【００６４】
ここまでの説明では、入力される時間的サンプルが等間隔をなすことを前提として来たが、必ずしもそうでなくても良く、本発明は不規則に入力される時間的サンプルに対しても、該サンプルのタイミングが分かっていることを条件として適用することができる。均等なタイミングから逸脱する場合（すなわち入力のジャダー成分）は、加算されるジャダーから差し引いて所要の出力の動きの特性を求めることができる。不均等なタイミングの入力サンプルの例として重要なのが３：２プルダウンテレビジョンである。反復される入力フィールドを廃棄し、残った入力フィールドを均等なタイミングにし直すと、図４の４１〜４４のような入力の動きのプロフィールとなる。このパターンを上述のように修正して所望の出力のモーションジャダーのパターンを獲得することができる。
【００６５】
上の説明では、時間的サンプルを瞬間的な、すなわち時間的デルタ関数とみなした。しかしながら、本明細書の序文で述べたように、以下の場合はそうではない。表示装置は各表示画像をある期間「保持」する。この保持は、プロジェクタのシャッター、陰極線管の蛍光面の持続性、あるいはその他の電子表示装置の光弁等によって決まると言える。周知のように、サンプルしてホールドする装置の周波数応答は（ｓｉｎｘ）／ｘの関数であり、ｘがπに等しいとき最初のゼロまで単調減少した後、πの倍数においてゼロで分離された１組の帯域応答を得る。ｘと周波数の関係は、サンプル期間に対する保持時間の比によって決まる。保持時間がサンプル期間に等しい場合、最初のゼロはサンプリング周波数において発生する。保持時間がそれより短い場合、ゼロに対応する周波数は増加する。
【００６６】
様々な装置から発生するジャダーの等価性を正確に分析しようとすれば、表示の保持時間を考慮することになる。しかしながら、目的は特定の主観的レベルのジャダーを達成することであるため、加えるジャダーのレベルを主観的な判断によって選択するのが好ましい場合は多い。
【００６７】
ＦＩＲ時間補間回路のフィルタアパーチャの時間的周波数応答はフラットなものではない。入力信号にジャダーが存在すると、フィルタアパーチャの選択は、その入力ジャダーの時間周波数における成分を減衰または増幅するように選択するか、あるいは特定のジャダー周波数を除去するように選択することができる。この場合、時間補間回路を制御する時間的位相値にジャダー周波数を加算する必要はなく、入力ジャダー振幅は時間補間回路の時間周波数応答によって所望のジャダー振幅に変更される。例えば、従来の３：２プルダウンテレビジョンのフィルム映画プレゼンテーションに存在する１２Ｈｚのジャダー成分は、１２Ｈｚにおける補間回路のその周波数応答の中の空きによって減ずることができる。
【００６８】
本発明は、制作、送信、配給等のどの時点においても適用可能である。また、アナログ信号、ストリーミングデータ、記憶データ等に対して前記プロセスを実行可能である。時間的サンプルの入力された（撮影カメラでの）取得タイミングが分かっており（またはその他のデータから推測可能であり）、加えて出力の時間的サンプルの所望の表示タイミングも分かっている（またはその他のデータから推測可能である）場合、出力の各時間的サンプルに適用されるモーションジャダー成分の値は算出できる。この計算式への入力は下記のものとなる。
【００６９】
・所要のジャダー関数（一般には正弦曲線）
・所要のジャダー周波数（一般には元のサンプリングレート、またはより低い調和関係にある周波数）
・所要のピークジャダー振幅
・所要のジャダー関数と出力の時間的サンプルの所望のプレゼンテーション時間との位相関係
【００７０】
出力される各時間的サンプルの所望のプレゼンテーション時間におけるジャダー関数の瞬時値が算出されると、その出力の時間的サンプルの所要の時間的位置が分かる。すると、最寄りの入力サンプルからの時間的な差を求めることができ、それを用いて時間補間回路を制御できる。
【００７１】
ジャダー関数およびその振幅の選択は、審美的な根拠に基づいて特定の主観的効果が得られるように、あるいは技術的な根拠に基づいて公知の表示技術の特徴を再現できるように行えば良い。
【００７２】
ジャダー関数と出力の時間的サンプルに求められるプレゼンテーション時間との位相関係の選択は、時間補間法の実施が簡単になるように、例えば、ＦＩＲ時間補間フィルタに必要な位相数が少なくなるように行えば良い。
【００７３】
本発明を適用する場合、時間的サンプルの数を変更してもしなくても良い。必要なのは、出力サンプルによって描写される動きを所望のモーションジャダーによって修正することだけである。
【００７４】
本明細書において、これまでテレビジョンの空間的サンプリングについて言及していないが、これは当業者が本発明を理解する上で無関係であるためである。飛び越し走査式テレビジョンシステムにおいては、同じフィルム映画フレームを時間的に別個に表示した場合、空間的サンプリングパターンが異なるものとなる場合があることはよく知られている。公知の「順次走査変換」の技術を使用して、このような異なる空間的サンプリングパターンの間で変換を行うようにしても良い。
【００７５】
本明細書では、公称のフィールドレートとフレームレートを例として挙げたが、上述の原理は整数の周波数速度を有するシステムだけでなく、５９．９４Ｈｚのフィールドレートのテレビジョンシステムにも適用可能である。
【図１】
2010141891.tif 000010
【図２】
2010141891.tif 000011
【図３】
2010141891.tif 000012
【図４】
2010141891.tif 000013
【図５】
2010141891.tif 000014
【図６】
2010141891.tif 000015
【図７】
2010141891.tif 000016
【図８】
2010141891.tif 000017
【図９】
2010141891.tif 000018
【図１０】
2010141891.tif 000019
【図１１】
2010141891.tif 000020
【図１２】
2010141891.tif 000021
【図１３】
2010141891.tif 000022
【図１４】
2010141891.tif 000023
【図１５】
2010141891.tif 000024
【図１６】
2010141891.tif 000025
【外国語明細書】
2010141891000001.pdf