(57)【特許請求の範囲】
【請求項１】
外部の可変速指示手段により時々刻々任意に設定される可変速倍率に基づいて時間方向に離散的な入力映像の画速変換を行なう時可変型画速変換装置において、
前記入力映像のフィールド間での映像の動きベクトルを検出する動き検出手段と、
前記入力映像に対して、前記可変速倍率をもとに、時々刻々変化する可変長のブロック単位で、映像の伸張量に相当する数のフィールドを内挿するための時間位置を下記の所定式（１）、（２）を用いて決定する内挿位置決定手段と、
前記可変長のブロック単位で、前記内挿位置決定手段で決定した時間位置に映像を内挿する際に、前記動き検出手段で検出された前記映像の動きベクトルに応じて、前記内挿位置決定手段で決定した時間位置のフィールドとこれに隣接するフィールドから合成した映像の内挿を行なうフィールド内挿手段とを具備し、
前記内挿位置決定手段は、
可変長のブロック単位で、前記入力映像の複数のフィールド数をＭとし、前記可速変倍率により作成する出力映像の複数のフィールド数をＮとし、
前記入力映像のフィールドを、Ｏ1 、Ｏ2 、…、Ｏi 、Ｏi+1 、…、Ｏm とし、
前記画速変換により作成する前記出力映像のフィールドを、Ｃ1 、Ｃ2 、…、Ｃj 、Ｃj+1 、…、Ｃn として、
各フレームＣj に対して、次式（１）
【数１】
0003793333.tif 000006
を満足するｉをｉopt とし、フレームＣj は入力フレームＯ(iopt)-1とＯioptの間に位置するものと考え、
この時、Ｏ(iopt)-1からの内挿位置（Ｐｊ）を次式（２）により演算して与える
【数２】
0003793333.tif 000007
ことを特徴とする時可変型画速変換装置。
【請求項２】
前記可変速指示手段は、映像の記録再生または編集を行なう機能を有する装置における映像の速度を可変にするための可変速制御部であることを特徴とする請求項１に記載の時可変型画速変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像を伴ったメディア（例えば、テレビジョン、ＶＴＲやＤＶＤのような映像音声の記録メディア、コンピュータ上での動画音響再生等）や装置、および医療機器（例えば、Ｘ線ＣＴやＮＭＲ−ＣＴなど）等での動画再生等において、映像を時々刻々、可変速させる場合、高品質に映像の内挿を行ない、映像の自然性を保ったまま、高品質に映像の速度を可変にすることが可能な時可変型画速変換装置に関する。
【０００２】
【従来の技術】
上記のように映像の自然性を保ったまま、高品質に映像の速度を可変にする時可変型画速変換技術は、時々刻々、映像の自然性を保ったまま、映像の速度を高品質に変換可能にすることが困難であったため、まだ開発されていない。
【０００３】
一方、映像を可変速にすることは、簡易的にはＶＴＲ（ビデオテープレコーダ）の可変速再生機能等で可能となる。
【０００４】
【発明が解決しようとする課題】
しかしながら、このようなＶＴＲの可変速再生等では、ｌ／６０秒もしくは１／５０秒（例えばハイビジョン、ＮＴＣＳ方式：ｌ／６０秒、ＰＡＬ方式：ｌ／５０秒）のフイールド単位で、同一フイールドを２度以上、繰り返し提示したり、連続するフイールドを省いたりするため、動きが不自然になったり、垂直方向に映像のジッターが生じるなどして、高品質な画速変換ができない。
【０００５】
また、ＶＴＲのような従来の可変再生等では、フィールドの内挿等の操作は行なっておらず、また駆動系の制約から、高精度に時々刻々、映像の速度を可変にすることは不可能である。
【０００６】
本発明は、上記の点に鑑みて成されたもので、その目的は、（例えばＶＴＲ等の）可変速制御部、もしくは編集機の可変速制御部などから指示する可変速倍率に従い、時々刻々変化する可変長のブロック単位で、適宜、映像の内挿位置を決定し、決定した位置に映像を内挿することにより、時々刻々映像の速度を可変にでき、これにより一様に映像の提示速度を変化させるのではなく、高品質に映像の自然性を保ったまま、きめ細かに映像を可変速することが可能な時可変型画速変換装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、外部の可変速指示手段により時々刻々任意に設定される可変速倍率に基づいて時間方向に離散的な入力映像の画速変換を行なう時可変型画速変換装置において、前記入力映像のフィールド間での映像の動きベクトルを検出する動き検出手段と、前記入力映像に対して、前記可変速倍率をもとに、時々刻々変化する可変長のブロック単位で、映像の伸張量に相当する数のフィールドを内挿するための時間位置を下記の所定式（１）、（２）を用いて決定する内挿位置決定手段と、前記可変長のブロック単位で、前記内挿位置決定手段で決定した時間位置に映像を内挿する際に、前記動き検出手段で検出された前記映像の動きベクトルに応じて、前記内挿位置決定手段で決定した時間位置のフィールドとこれに隣接するフィールドから合成した映像の内挿を行なうフィールド内挿手段とを具備し、前記内挿位置決定手段は、可変長のブロック単位で、前記入力映像の複数のフィールド数をＭとし、前記可速変倍率により作成する出力映像の複数のフィールド数をＮとし、前記入力映像のフィールドを、Ｏ1 、Ｏ2 、…、Ｏi 、Ｏi+1 、…、Ｏm とし、前記画速変換により作成する前記出力映像のフィールドを、Ｃ1 、Ｃ2 、…、Ｃj 、Ｃj+1 、…、Ｃn として、各フレームＣj に対して、次式（１）
【数３】
0003793333.tif 000002
を満足するｉをｉopt とし、フレームＣj は入力フレームＯ(iopt)-1とＯioptの間に位置するものと考え、
この時、Ｏ(iopt)-1からの内挿位置（Ｐｊ）を次式（２）により演算して与える
【数４】
0003793333.tif 000003
ことを特徴とする。
【０００８】
ここで、前記可変速指示手段は、映像の記録再生または編集を行なう機能を有する装置における映像の速度を可変にするための可変速制御部であることを特徴とすることができる。
【００１３】
本発明は、上記構成により、（例えばＶＴＲ等の）可変速制御部、もしくは編集機の可変速制御部などの外部から指示する可変速倍率（伸張/ 短縮コード）に合わせて、（テレビジョン映像のように）時間方向に離散的な映像に対し、適宜、映像を内挿する時間位置を決定し、決定した時間位置に映像を内挿するので、原映像に比べて速度のゆったりした映像、または速度の速い映像を、自然性を保ったまま高品質に、提示することができる。
【００１４】
また、本発明は、上記構成により、映像の提示速度を可変速する場合、一様に変化させるのではなく、時々刻々変化する可変長のブロック単位で、映像の提示速度を時々刻々変化させるので、一様に映像の提示速度を変化させるのではなく、きめ細かに時々刻々可変速することが可能である。
【００１５】
【発明の実施の形態】
以下、図面に示す本発明の実施の形態に基づき本発明を詳細に説明する。
【００１６】
なお、本発明は複数の機器からなるシステムにおいて達成されてもよく、１つの機器からなる装置に達成されてもよい。また、システムあるいは装置にプログラムを供給することにより、本発明を達成される場合にも適用されることは言うまでもない。例えば、専用の装置だけでなく、パーソナルコンピュータ（パソコン）等を使用しても実現することができる。また、本発明に係る画速変換アルゴリズムを実現する制御手順をプログラム形態で記録する記録媒体は、ＦＤ（フロッピーディスク）以外にも、ＣＤ−ＲＯＭ、ＩＣメモリカード等であってもよい。更に、本プログラムをＲＯＭに記録しておき、これをメモリマップの一部となすように構成し、直接ＣＰＵで実行することも可能である。
【００１７】
図１は本発明の一実施形態の時可変型画速変換システムの構成を機能ブロックで示す。ここで、画速変換はハイビジョン、ＮＴＳＣ、ＰＡＬ等の各種カラーテレビジョン方式に適応可能であるが、図１では、代表例としてハイビジョン（高品位テレビジョン、高精細度テレビジョン）についての場合を示す。
【００１８】
まず、入力するアナログの映像（映像信号）を例えばＲＧＢ４：４：４のフォーマットのＡ／Ｄ変換部２においてＡ／Ｄ変換する。Ａ／Ｄ変換部２でデジタル化された映像信号は動きベクトル検出系と内挿系とに送出される。
【００１９】
例えば動きベクトル検出系は前処理部３、動き検出部４、およびベクトル検出割り付け部５を有する。Ａ／Ｄ変換部２でデジタル化された映像信号に対して、動きべクトル検出・割付のための前処理を前処理部３で行う。一例としては、前処理部３において映像信号をインターレースの１１２５／６０／２：１からノンインターレースの６５２／６０／１：１に変換する。前処理部３で前処理を施された映像信号は動き検出部４とベクトル検出割り付け部５とに送られる。
【００２０】
動き検出部４は、例えば勾配法に基づく初期偏位べクトル（候補べクトル８種、ブロックサイズ：８画素、８ライン）を用いた反復勾配法（最大反復回数：２回、ブロックサイズ：８画素、８ライン）により、映像のフィールド間での動きべクトルを検出する。入力画像と時間的タイミングの異なるフイールドを新たに内挿するため、入力映像信号から動き検出部４で検出した動きべクトルを、ベクトル検出割り付け部５により新たに内挿するフイールド上に割り当てる。
【００２１】
（例えばＶＴＲ等の）可変速制御部、もしくは編集機の可変速制御部などの外部の可変速指示部１から指示された可変速倍率を示す伸張／短縮コードをフィールド内挿部６へ転送する。この可変速倍率は時々刻々任意に設定可能である。
【００２２】
上記内挿系はフィールド内挿部６からなる。フィールド内挿部６は、Ａ／Ｄ変換部２から送られてくる入力映像に対して、可変速指示部１から指示された可変速倍率を示す伸張／短縮コードをもとに、適宜、可変時間長内で、任意の時間位置のフィールド（任意のフィールド数）を内挿することで、時々刻々、映像の速度を可変にする。即ち、フィールド内挿部６は、伸張／短縮コードが示す可変速倍率が例えば１／６０秒（１フィールド分）を越えた場合、映像の動きベクトルをもとに伸張量に相当する任意の時間位置のフィールドの内挿を行なう。そのため、フィールド内挿部６では伸張／短縮コードを１／６０秒（ｌフィールド分）で量子化し、原映像に対応した映像のフィールド数と、伸張／短縮コード（可変速倍率）に対応した映像のフィールド数とを算出する。
【００２３】
フィールド内挿部６で内挿処理を受けた映像信号はＤ／Ａ変換部７へ出力され、Ｄ／Ａ変換部７でアナログ化した映像信号は時々刻々変化する画速変換映像として出力される。
【００２４】
図２は図１のフィールド内挿部６による、ある可変ブロック長内における、フィールド内挿位置の決め方を示す。
【００２５】
２／６０秒（２フィールド分）〜１０／６０秒（１０フィールド分）程度のある分析区間内（可変ブロック長内）において（各分析区間の時間長は夫々異なる）、原画のフィールド数：Ｍ、画速変換により作成するフィールド数：Ｎとすると、図２の（ａ）にＭ＜＝Ｎの場合、図２の（ｂ）にＭ＞Ｎの場合を示している。この両者の内挿位置の決定方法は同一であり、以下に示す手順で決定する。
【００２６】
１）原画のフィールドを、Ｏ1 、Ｏ2 、…、Ｏi 、Ｏi+1 、…、Ｏm とする。
【００２７】
２）画速変換により作成するフィールドを、Ｃ1 、Ｃ2 、…、Ｃj 、Ｃj+1 、…、Ｃn とする。
【００２８】
３）各フレームＣj に対して、次式（１）
【００２９】
【数１】
0003793333.tif 000004
【００３０】
を満足するｉをｉopt とし、フレームＣj は入力フレームＯ(iopt)-1とＯioptの間に位置するものと考える。
【００３１】
この時、Ｏ(iopt)-1からの内挿位置（Ｐｊ）を次式（２）により演算して与える。
【００３２】
【数２】
0003793333.tif 000005
【００３３】
４）以上の内挿処理を、各可変ブロック毎（各可変ブロックの時間長はそれぞれ異なる）に行い、画速変換する。
【００３４】
任意の可変ブロック長単位で、時々刻々速度の変化する画速変換の例を図３に示す。図３は原画の映像を６フィールドから７フィールドへ変換出力した後、３フィールドから４フィールドへ変換して出力する場合の例を示している。図３の破線矢印で示すように、可変ブロックごとに、決定した内挿位置（時間位置）に、その内挿位置の原画（入力画像）のフィールドの映像と、隣接する原画のフィールドから合成した映像とを内挿し、画速変換している。
【００３５】
【発明の効果】
以上説明したように、本発明によれば、映像を伴ったメディア（例えば、テレビジョン、ＶＴＲやＤＶＤのような映像音声の記録メディア、コンピュータ上での動画音響再生等）や装置、および医療機器（例えば、Ｘ線ＣＴやＮＭＲ−ＣＴなど）等での動画再生等において、（例えばＶＴＲ等の）可変速制御部、もしくは編集機の可変速制御部などの外部から時々刻々任意に設定される可変速倍率をもとに、時々刻々変化する可変長のブロック単位で、（テレビジョン映像のように）時間方向に離散的な映像に対し、映像の伸張量に相当する数のフィールドを内挿する時間位置を決定し、決定した時間位置に映像を内挿するので、原映像に比べて速度のゆったりした映像、または速度の速い映像を、自然性を保ったまま高品質に、提示することができる。
【００３６】
また、本発明によれば、映像の提示速度を可変速する場合、一様に変化させるのではなく、時々刻々変化する可変長のブロック単位で、映像の提示速度を時々刻々変化させるので、一様に映像の提示速度を変化させるのではなく、きめ細かに時々刻々可変速することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の時可変型画速変換システムの構成を示すブロック図である。
【図２】本発明の一実施形態における映像のフィールドの内挿位置を示すタイミングチャートである。
【図３】本発明の一実施形態における可変ブロック長単位で、時々刻々速度の変化する画速変換の例を示すタイミングチャートである。
【符号の説明】
１  可変速指定部
２  Ａ／Ｄ変換部
３  前処理部
４  動き検出部
５  ベクトル検出割り付け部
６  フィールド内挿部
７  Ｄ／Ａ変換部
【図１】
0003793333.tif 000008
【図２】
0003793333.tif 000009
【図３】
0003793333.tif 000010