(57)【特許請求の範囲】
【請求項１】
任意のフレームレートで撮影された映像素材を変換前後で前記映像素材の長さが変わるように所定のフレームレートに変換して出力するフレームレート変換部と、
入力映像のタイムコードを検出するタイムコード検出部と、
前記タイムコードを秒以上の桁を含めて前記変換前後で前記映像素材の長さが変わる割合と同じ割合で変えることにより出力映像のタイムコードを計算するとともに、開始タイムコードが有効範囲外の場合にはその開始タイムコードの下２桁を００に設定するタイムコード計算部と、前記タイムコード計算部で計算したタイムコードを前記フレームレート変換部で変換した映像信号に合成するタイムコード合成部と
を具備することを特徴とするフレームレート変換装置。
【請求項２】
入力映像の開始フレームのタイムコードと出力映像の開始フレームのタイムコードを一致させることを特徴とする請求項１記載のフレームレート変換装置。
【請求項３】
出力映像の開始フレームのタイムコードを直前に出力した映像のフレームのタイムコードに続けて出力することを特徴とする請求項１記載のフレームレート変換装置。
【請求項４】
前記タイムコード検出部で検出した入力映像のタイムコードを前記タイムコード合成部で出力される映像のユーザーズビットに記憶するユーザーズビット合成部を具備することを特徴とする請求項１から３のいずれかに記載のフレームレート変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可変速フレームレート映像を所定のフレームレートへ変換する、フレームレート変換装置に関し、特にタイムコードの計算方法に関する。
【背景技術】
【０００２】
フィルム映像からＮＴＳＣへの２：３プルダウン処理やＮＴＳＣからＰＡＬへの変換処理などフレームレートを変換する方法やその処理を効率的に行う方法は数々提案されている。これらの技術は変換前と変換後の映像の長さが変わらないという特徴がある。
【０００３】
それに対し、変換前後で映像の長さが変化する方式、つまり変換後の映像が変換前の映像のスローや早まわしになるフレームレート変換の方式も存在する。たとえば、６０フレーム／秒のフレームレートで撮影した映像を２４フレーム／秒に変換することにより、なめらかな１／２．５スローを実現するシステムが提案されている。
【０００４】
また、撮影者が撮影時に自由にフレームレートを変更することができる可変速フレームレート撮影カメラが提案されている。このカメラで撮影した映像はたとえば、あるシーンは６０フレーム／秒で別のシーンは１２フレーム／秒で記録されている。
【０００５】
このカメラに対応したフレームレート変換システムも提案されており、上記の映像を２４フレーム／秒に変換すると、６０フレーム／秒のシーンは１／２．５スロー、１２フレーム／秒のシーンは２倍速の映像に変換される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このようなフレームレート変換システムでは、変換後の映像に対するタイムコードのつけ方が問題である。
【０００７】
フレームレートを変換することは1秒間に表示するフレーム数が変わることであるので、タイムコードを変換することは必須である。変換前後で映像の長さが変化するようなフレームレート変換では、下２桁だけではなく、すべての桁のタイムコードが変化する可能性がある。例えば、６０フレーム／秒の映像の０１：１５：２４：３０のタイムコードのついたフレームを２４フレーム／秒に変換する場合、変換前後で映像の長さが変わらないなら０１：１５：２４：１２がつくが、変換前後で映像の長さが変わる場合は０１：１５：２４：ＸＸのようなタイムコードがつくとは限らない。フレームレート変換前後で映像の長さが変わる場合のタイムコードの計算方法は確立されておらず、従来は運用に任されていた。
【０００８】
可変速フレームレートで撮影された映像をフレームレート変換し、その出力映像を映像素材として編集に用いる場合は、すべての映像を変換するより必要な区間のみを変換するほうが、編集作業のときに明らかなＮＧ映像を調べる必要もなく、効率的に編集作業を進めることができる。しかし、入力映像と対応を取りながら、重複しないようなタイムコードを付けるのは手間のかかる作業である。この場合は、手作業でタイムコードをつけるより、フレームレート変換処理時に自動で新たなタイムコードを付け直すことが望ましい。
【０００９】
自動化の方式として出力映像のタイムコードを０から始めることに決定すると、３０フレーム／秒の００：０１：００：００−００：０３：５９：２９の入力映像と、０１：０１：００：００−０１：０３：５９：２９の入力映像を、２４フレーム／秒に変換した場
合、ともに変換後の映像の長さは００：０５：００：００なので、００：００：００：００−００：０４：５９：２３の同じタイムコードの出力映像ができてしまい、変換後のタイムコードが重複してしまう。また、出力映像から入力映像のタイムコードが類推できず、入力映像との対応も取れない。
【００１０】
本発明は、可変速フレームレート変換システムにおいて、入力映像と対応をとり、かつ重複がないようなタイムコードを出力映像に付ける方式を確立することを目的とする。
【課題を解決するための手段】
【００１１】
前記課題を解決するために、ここではタイムコードの付け直し方法を列挙し、その特徴を述べる。
本発明に係るフレームレート変換装置は図１に示すような構成を基本とする。
【００１２】
１．タイムコード付きの入力映像からタイムコードを抜き出すタイムコード検出部１０３と、検出したタイムコードを入力映像のフレームレート、出力映像のフレームレートなどをもとに計算し出力映像にのせるタイムコードを求めるタイムコード計算部１０４と、入力映像のフレームレート変換を行うフレームレート変換部１０１と、出力映像のタイムコードを付け替えるタイムコード合成部１０２とを備えたフレームレート変換システムである。タイムコード計算部１０４では映像の開始点を決定し、出力映像と連動するように順次タイムコードをインクリメントする処理を行う。
【００１３】
また、本システムでは図２に示すように外部入力もできる機構を備える。タイムコード入力部２０５にユーザが入力したタイムコードを出力映像の開始点のタイムコードに採用し、ユーザによる微調整を行う。
【００１４】
２．タイムコード計算部１０４の処理として、入力映像の開始タイムコードを出力映像の開始タイムコードに採用する方式を備えたフレームレート変換システムである。
【００１５】
３．タイムコード計算部１０４の処理として、タイムコード計算部１０４に内部カウンタを持ち、変換した順にタイムコードが連続となるようにつけなおす方式を備えたフレームレート変換システムである。
【００１６】
４．まずタイムコード上の一地点にシンクポイントを設ける。このシンクポイントは常にその地点での入力映像と出力映像のタイムコードが一致しているという性質を持つ。
タイムコード計算部１０４の処理として、入力タイムコードとシンクポイントのフレーム数を計算し、出力映像のフレームレートと前記フレーム数からシンクポイントからタイムコード換算した場合のタイムコードを求め、シンクポイントのタイムコードをたすことで出力タイムコードを求める方式を備えたフレームレート変換システムである。つまり、ＴＩを入力タイムコード、ＴＯを出力タイムコード、ＴＳをシンクポイント、ＦＲＩを入力フレームレート、ＦＲＯを出力フレームレートとしたときに以下の等式が成立つようにＴＯを求める方式である。
【００１７】
ＴＩ―ＴＳ：ＦＲＩ=ＴＯ−ＴＳ：ＦＲＯ
５．本発明で提案するいずれかのタイムコード付け替え方式の後、２４PのＡフレームあわせのためにフレーム表示の部分を丸め込み、ａｂ：ｃｄ：ｅｆ：ｇｈというタイムコードをａｂ：ｃｄ：ｅｆ：００に付け替える方式である。
【００１８】
６．本発明で提案するいずれかのタイムコード付け替え方式の後、タイムコード検出部４０３で検出した入力映像のタイムコードをユーザーズビット合成部で出力映像のユーザーズビットに記憶させる機能を備えたフレームレート変換システムである。
【００１９】
７．フレームレート変更点検出部４０６では、フレームレート検出部４０５で検出した入力映像のフレームレートと、タイムコード検出部４０３で検出したタイムコードを入力とし、フレームレートの変更があった箇所を認識し、そのときのタイムコードとフレームレートをフレームレート変更点データとしてフレームレート変更点データ記憶部４０７に記憶させる。 出力区間指定部４０８によりユーザが指定した区間と前記フレームレート変更点データをもとに入力区間計算部４０９で入力映像の変換区間を求める。
【００２０】
この入力映像の変換区間と入力映像を入力映像選択部４００に入力することで入力映像中の指定区間のみを取り出す。取り出した入力映像をフレームレート変換システムで変換をかける。この過程を図４に示す。
【発明の効果】
【００２１】
以上詳述したように、本発明は可変速フレームレート映像を所定のフレームレートに変換する場合のタイムコードの付加を、人手を介さず、高速かつ効率的に作業を行うことができる。
また、出力映像から入力映像を特定することも可能であるため、再変換が可能なだけでなく、出力映像として欲しいタイムコードの箇所を変換することも可能である。
【図面の簡単な説明】
【００２２】
【図１】フレームレート変換装置の構成図
【図２】ユーザ入力を受けるフレームレート変換装置の処理図
【図３】入力映像のタイムコードを記憶するフレームレート変換装置の構成図
【図４】フレームレート変更点を記憶するフレームレート変換構成図
【図５】本発明における実施の形態１の開始点が一致するときの図
【図６】本発明における実施の形態３の連続タイムコードをつけるときの図
【図７】本発明における実施の形態４のシンクポイントを設けるときの図
【図８】本発明における実施の形態５の開始点が一致するときの図
【図９】本発明における実施の形態６の連続タイムコードをつけるときの図
【図１０】本発明における実施の形態７のシンクポイントを設けるときの図
【図１１】本発明における実施の形態９のフレーム変更点を使用したときの図
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について図１から図１１を用いて説明する。
【００２４】
（実施の形態１）
図１は入力映像中のタイムコードを取得するタイムコード検出部１０３と、取得したタイムコードを入力映像のフレームレート、出力映像のフレームレートなどをもとに計算し出力映像のタイムコードを決定するタイムコード計算部１０４と、入力映像のフレームレート変換を行うフレームレート変換部１０１と、出力映像のタイムコードを付け替えるタイムコード合成部１０２とを備えた可変速フレームレート変換装置である。タイムコード計算部１０４では映像の開始点を決定し、出力映像と連動するように順次タイムコードをインクリメントする処理を行う。
【００２５】
以上のように構成されたフレームレート変換装置について、以下、タイムコードの変換方式について述べる。
【００２６】
３０フレーム／秒で撮影した映像を２４フレーム／秒へ変換を行う過程を説明する。入力映像のうち００：０４：００：００から００：０７：５９：２９までと００：１６：００：００から００：２１：５９：２９までの２箇所を変換することとする。前者を(1)の
区間、後者を(2)の区間と呼ぶことにする。また、簡単のためタイムコードはノンドロップフレームで計算する。
【００２７】
図５は入力映像と出力映像の開始点が一致している例を示している。２４フレーム／秒は３０フレーム／秒に比べ、１．２５倍再生時間が長くなる。このため、(1)区間の出力映像の長さは００：０４：００：００の１．２５倍で００：０５：００：００になり、(2)区間の出力映像の長さは００：０６：００：００の１．２５倍で００：０７：３０：００になる。よって、それぞれのタイムコードは００：０４：００：００から００：０８：５９：２３と、００：１６：００：００から００：２３：２９：２３になる。
【００２８】
この方法は出力映像のタイムコードが変換区間に大きく左右される反面、出力映像のタイムコードから容易に入力映像のタイムコードが推察でき、感覚的にもわかりやすいという利点がある。
【００２９】
（実施の形態２）
実施形態１において、(1)の開始点が1フレーム早い００：０３：５９：２９であった場合、２４フレーム／秒に００：０３：５９：２９というタイムコードは存在しないため、このタイムコードを出力映像のタイムコードとして採用することはできない。有効範囲外の開始タイムコードには００丸めを行うことで、有効範囲内にタイムコードがくるように補正する。００：０３：５９：２９の入力映像には００：０３：５９：００のタイムコードをつけて、２４フレーム／秒で存在しうるタイムコードに変換する。００：０３：５９：２４から００：０３：５９：２８に開始される場合も、同様に００：０３：５９：００からのタイムコードに変換する。
【００３０】
フィルム映像をＮＴＳＣに変換する２：３プルダウン処理において、２：３：２：３のタイミングを示すためＡフレームと呼ばれるタイミングが一般的に用いられており、Ａフレームではタイムコード下２桁が００と２：３：２：３の先頭が一致している。
【００３１】
本実施の形態のように００丸めを行うと００位置が常にＡフレームになることが保障され、既存の２：３プルダウンシステムとの接続を保障することができる。
【００３２】
（実施の形態３）
本実施例は実施の形態１で説明した図１の可変速フレームレート変換装置におけるタイムコード変換方式の例である。
【００３３】
図６は出力映像のタイムコードが連続となるようにタイムコードを計算する例を示している。この例では開始タイムコードを００：００：００：００としている。先ほども述べたように(1)区間の出力区間は００：０５：００：００、(2)区間の出力区間は００：０７：３０：００である。これを前から順に詰めると(1)区間は００：００：００：００から００：０４：５９：２３、(2)区間は００：０５：００：００から００：１２：２９：２３となる。
【００３４】
この方式は、入出力間のタイムコードの関連性はなくなるが、出力タイムコードの一意性が保たれるという利点がある。
【００３５】
（実施の形態４）
本実施例は実施の形態１で説明した図１の可変速フレームレート変換装置におけるタイムコード変換方式の例である。
【００３６】
図７はシンクポイントを設けたタイムコード変換方式の図である。
【００３７】
シンクポイントとは常に入力映像と出力映像のタイムコードが一致しているある一地点のことである。つまり、シンクポイントを設ける変換方式では、シンクポイントからのフレーム数が変換前後で保持されることになる。
【００３８】
本実施例ではシンクポイントを００：００：００：００とする。３０フレーム／秒の００：０４：００：００でのシンクポイントからのフレーム数は７２００（＝４×３０×６０）フレームである。このフレームを２４フレーム／秒にすると００：０５：００：００（７２００÷２４÷６０分）となる。先実施例で求めたとおり(1)区間の出力映像の長さは００：０５：００：００であるので、(1)区間は００：０５：００：００から００：０９：５９：２３に変換される。(2)区間も同様の計算を行うと、００：２０：００：００から００：２７：２９：２３に変換される。
【００３９】
(1)区間の出力タイムコードから入力タイムコードを求めると、２４フレーム／秒の００：０５：００：００でのシンクポイントからのフレーム数は７２００（＝５×２４×６０）フレームであり、当然先ほどの例と一致する。このフレームを３０フレーム／秒にすると００：０４：００：００（７２００÷３０÷６０分）となり、(1)区間の入力タイムコードが求まる。
【００４０】
本実施例では２４フレーム／秒のタイムコードと３０フレーム／秒のタイムコードは１対１関係であることを示したが、特定のフレームレートに限らず、入力映像が一定フレームレートの場合は、入力タイムコードと出力タイムコードが１対１関係になっていることがこの方式の特長である。
【００４１】
まとめると、この方式では出力タイムコードから入力タイムコードを求めることができる上、入力映像が一定フレームレートの場合は出力タイムコードの一意性も保障される。
【００４２】
（実施の形態５）
本実施例は実施の形態１で説明した図１の可変速フレームレート変換装置において、可変速フレームレート映像を２４フレーム／秒へ変換を行う場合のタイムコード変換方式を説明する。
【００４３】
００：００：００：００から００：１５：５９：２９までを３０フレーム／秒で撮影し、それ以降を１２フレーム／秒で撮影したものとする。変換区間の位置や名称に関しては先実施例と同様とする。
【００４４】
図８は入力映像と出力映像の開始点が一致している例を示している。２４フレーム／秒は３０フレーム／秒に比べ、１。２５倍再生時間が長くなるのに対し、１２フレーム／秒に比べると、再生時間は半分になる。このため、(1)区間の出力映像の長さは００：０４：００：００の１。２５倍で００：０５：００：００になり、(2)区間の出力映像の長さは０：０６：００：００の半分の００：０３：００：００になる。よって、それぞれのタイムコードは００：０４：００：００から００：０８：５９：２３と、００：１６：００：００から００：１８：５９：２３になる。
【００４５】
この方法は出力映像のタイムコードが変換区間に大きく左右される反面、出力映像のタイムコードから容易に入力映像のタイムコードが推察でき、感覚的にもわかりやすいという利点がある。
【００４６】
（実施の形態６）
本実施例は実施の形態１で説明した図１の可変速フレームレート変換装置におけるタイ
ムコード変換方式の例である。入力映像、変換位置は実施の形態５に準拠する。
【００４７】
図９は出力映像のタイムコードが連続となるようにタイムコードを計算する例を示している。この例では開始タイムコードを００：００：００：００としている。先ほども述べたように(1)区間の出力区間は００：０５：００：００、(2)区間の出力区間は００：０３：００：００である。これを前から順に詰めると(1)区間は００：００：００：００から００：０４：５９：２３、(2)区間は００：０５：００：００から００：０７：５９：２３となる。
【００４８】
この方式は、入出力間のタイムコードの関連性はなくなるが、出力タイムコードの一意性が保たれるという利点がある。
【００４９】
（実施の形態７）
本実施例は実施の形態１で説明した図１の可変速フレームレート変換装置におけるタイムコード変換方式の例である。入力映像、変換位置は実施の形態５に準拠する。
【００５０】
図１０はシンクポイントが一致している例を示している。シンクポイントは００：００：００：００とする。(2)区間の先頭である００：１６：００：００の地点でのフレームレートは１２フレーム／秒であるので、これを換算式に採用するとシンクポイントからのフレーム数は１１５２０（＝１２×１６×６０）フレームとなる。このフレームを２４フレーム／秒にすると００：０８：００：００（１１５２０÷２４÷６０）となる。先実施例で求めたとおり(2)区間の出力映像の長さは００：０３：００：００であるので、(2)区間は００：０８：００：００から００：１０：５９：２３までとなる。(2)区間の先頭を逆変換すると、２４フレーム／秒の００：０８：００：００でのシンクポイントからのフレーム数は１１５２０（＝８×２４×６０）フレームであり、当然先ほどの例と一致する。このフレームを１２フレーム／秒にすると００：１６：００：００（１１５２０÷１２÷６０分）となり、出力タイムコードから入力タイムコードを求めることができる。
【００５１】
可変速フレームレートの場合は１体多の写像になっているため、００：０８：００：００から００：０９：５９：２３のタイムコードが(1)区間、(2)区間で重複していることからもわかるように、出力タイムコードの一意性が保障されないという欠点がある。一方、入力のフレームレートがわかれば、出力タイムコードから入力タイムコードが求められるという特長がある。
【００５２】
（実施の形態８）
図３は入力映像のタイムコードを出力映像のユーザーズビットに書き込む機能を備えた可変速フレームレート変換装置のシステム図である。
【００５３】
開始点を一致させる方法とシンクポイントを設ける方法では、開始点と入力映像のフレームレートを用いて、出力映像から入力映像のタイムコードを計算することが可能である。しかし、この逆引き処理では入力フレームレートを出力映像に記録させなければならないうえ、変換開始点を常に管理しておく必要がある。入力映像の情報を出力映像に含めるのなら、入力映像のタイムコードを出力映像に記録させておくほうが、計算もいらず、処理も単純である。本実施例では、入力映像のタイムコードを出力映像のユーザーズビットに書き込む方法を取る。図３には図１のタイムコード検出部３０４で検出した入力映像のタイムコードをユーザーズビット合成部３０３で出力映像のユーザーズビットを書き換えるユーザーズビット合成部３０３が追加されている。入力映像のタイムコードは出力映像のユーザーズビットから取得する。変換処理やテープへの記録中に映像が乱れてしまったなど、再変換する必要が出たときは出力映像のユーザーズビットから入力映像のタイムコードを取得し、再変換かけることができる。
【００５４】
（実施の形態９）
図４は可逆的なタイムコード変換を実現する可変速フレームレート変換装置のシステム構成図である。
【００５５】
実施形態８により元映像と同じ区間を再変換することが可能であることを示した。しかし、可変速フレームレートの場合に出力映像のタイムコードが重なり合う、つまり出力タイムコードの一意性が保たれないという欠点があった。これはシンクポイントからのフレーム数を変換地点でのフレームレートで変換しているからである。
【００５６】
また、出力映像の使用区間を延ばしたいという要求に関しては実施形態８の手法では不十分である。１０フレーム前から再変換をかけようとしても、この１０フレーム分の入力フレームレートがわからなければ、タイムコードを計算することはできない。入力映像を巻き戻しながら１０フレーム分有効フレームを数え、そこから変換をかけることが必要になる。
【００５７】
これらの課題を解決するためには、今までの累計をとり、シンクポイントからのフレーム数を正確に計算する必要がある。図４はこの処理を行う可変速フレームレート変換システムのシステム図である。図１１はこの手法を実施形態７の図１０の例に適用した例である。
【００５８】
フレームレート変更点検出部４０６はまずフレームレート変更点データ｛３０フレーム／秒、００：００：００：００｝をフレームレート変更点データ記憶部４０７に送る。次に００：１２：００：００の地点で３０フレーム／秒から１２フレーム／秒に切り替わったことを検出し、フレームレート変更点データ｛１２フレーム／秒、００：１２：００：００｝をフレームレート変更点データ記憶部４０７に送る。このようにフレームレートの変更の都度、フレームレート変更点データとしてフレームレートとタイムコードのペアを記憶する。タイムコード計算部４０４ではフレームレート変更点データをもとにタイムコードの変換が行われる。
【００５９】
(2)区間の先頭である００：１６：００：００のシンクポイントからのフレーム数はフレームレート変更点データ｛１２フレーム／秒、００：１２：００：００｝に基づき、３０フレーム／秒でのフレーム数２１６００（＝１２×３０×６０）と１２フレーム／秒でのフレーム数２８８０（＝（１６−１２）×１２×６０）をたし合わせた２４４８０フレームとなる。このフレームを２４フレーム／秒にすると００：１７：００：００（２４４８０÷２４÷６０分）となる。(2)区間の出力映像の長さは００：０３：００：００であるので、(2)区間は００：１７：００：００から００：１９：５９：２３までとなる。
【００６０】
入力区間計算部４０９では、フレームレート変更点データを用いて、出力タイムコードから入力タイムコードを特定する。出力タイムコード００：１７：００：００から入力タイムコードを求める過程を示す。まず００：１７：００：００がどのフレームレートの範囲にいるかを調べる。００：１７：００：００をフレーム換算し、２４４８０で考える。３０フレーム／秒の区間は０から２１６００までなので、ここには入らない。次の１２フレーム／秒は終わりが指定されていないので、２１６００以降のタイムコードはここに入ると判明する。００：１７：００：００の１２フレーム／秒内のフレーム数は２４４８０−２１６００＝２８８０フレームである。この長さは００：０４：００：００（２８８０÷１２÷６０分）に相当する。これにフレームレート変更点データ｛１２フレーム／秒、００：１２：００：００｝の００：１２：００：００を加え、００：１６：００：００を求める。これが、(2)区間の入力映像のタイムコード開始点である。終了点も同様に求めると、００：１６：００：００から００：２１：５９：２９の区間であることが判明する
。
【００６１】
この方式は可変速フレームレートにおいても出力タイムコードの一意性が保ち、出力タイムコードから一意に入力タイムコードを特定することができる。
【００６２】
すべての実施の形態において、撮影時、再生時ともに任意のフレームレートで変換する場合においても本発明が有効であることは明らかである。
【産業上の利用可能性】
【００６３】
変換前後で映像素材の長さが変わるようにフレームレート変換することに伴って、タイムコードを付け直すフレームレート変換システムに有用である。
【符号の説明】
【００６４】
１０１  フレームレート変換部
１０２  タイムコード変換部
１０３  タイムコード検出部
１０４  タイムコード計算部
【図１】
0005051193.tif 000002
【図２】
0005051193.tif 000003
【図３】
0005051193.tif 000004
【図４】
0005051193.tif 000005
【図５】
0005051193.tif 000006
【図６】
0005051193.tif 000007
【図７】
0005051193.tif 000008
【図８】
0005051193.tif 000009
【図９】
0005051193.tif 000010
【図１０】
0005051193.tif 000011
【図１１】
0005051193.tif 000012