(57)【要約】【課題】  曲のテンポが変更された場合に、開始点だけではなく、終了点でも、映像と楽音の同期がとれるデータ編集装置を提供する。【解決手段】  楽音データ及び映像データを格納する格納部１ａと、格納部１ａから読み出された楽音データのテンポが変更できる楽音データ設定部２ａと、格納部１ａから読み出された映像データに含まれるタイムコードを管理し、該タイムコードと共に、映像データの長短の編集処理を行う映像データ設定部３ａと、楽音データ設定部２ａにより楽音データのテンポが変更された場合に、一緒に出力される映像データに含まれるタイムコード先頭側又は後部側の切り出し位置につき、その位置に相当する楽音データ出力時間を計算し、それをタイムコードに直して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように制御する制御部４ａとを備えている。【選択図】        図３
2007316322.tif 000002
【特許請求の範囲】
【請求項１】
楽音データとそれと共に出力される映像データとを編集可能なデータ編集装置であって、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出された映像データに含まれるタイムコードを管理し、該タイムコードと共に、映像データの長短の編集処理を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、該楽音の出力と一緒に出力される映像データに含まれるタイムコード先頭側又は後部側の切り出し位置につき、その位置に相当する楽音データ出力時間を計算し、それをタイムコードに直して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように制御する制御手段と
を有することを特徴とするデータ編集装置。
【請求項２】
楽音データとそれと共に出力される映像データとを編集可能なデータ編集装置であって、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出された映像データに含まれるタイムコードを管理し、該タイムコードの読み出し速度調整により、映像データの再生速度調整を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、該楽音の出力と一緒に出力される映像データに含まれるタイムコードの読み出し速度につき、テンポ変更後の楽音データ出力時間を計算し、その出力時間に対応するタイムコード読み出し速度を算出して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように映像データのタイムコード読み出し速度を制御する制御手段と
を有することを特徴とするデータ編集装置。
【請求項３】
楽音データとそれと共に出力される映像データとを編集可能なデータ編集装置であって、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出される映像データのうち、出力する映像データの選択を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、テンポ変更後の楽音データ出力時間を計算し、映像データの候補を検索して、上記楽音データ出力時間に相当する時間だけ、代替可能又は追加可能な映像データを選択し、テンポ変更により変わった楽音出力終了時点と、映像データのタイムコードの終了点とが一致するように、映像データを選択・編集する制御手段と
を有することを特徴とするデータ編集装置。
【請求項４】
コンピュータに読み出されて実行されることで、該コンピュータが、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出された映像データに含まれるタイムコードを管理し、該タイムコードと共に、映像データの長短の編集処理を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、該楽音の出力と一緒に出力される映像データに含まれるタイムコード先頭側又は後部側の切り出し位置につき、その位置に相当する楽音データ出力時間を計算し、それをタイムコードに直して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように制御する制御手段と
して機能することを特徴とするデータ編集用コンピュータプログラム。
【請求項５】
コンピュータに読み出されて実行されることで、該コンピュータが、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出された映像データに含まれるタイムコードを管理し、該タイムコードの読み出し速度調整により、映像データの再生速度調整を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、該楽音の出力と一緒に出力される映像データに含まれるタイムコードの読み出し速度につき、テンポ変更後の楽音データ出力時間を計算し、その出力時間に対応するタイムコード読み出し速度を算出して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように映像データのタイムコード読み出し速度を制御する制御手段と
して機能することを特徴とするデータ編集用コンピュータプログラム。
【請求項６】
コンピュータに読み出されて実行されることで、該コンピュータが、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出される映像データのうち、出力する映像データの選択を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、テンポ変更後の楽音データ出力時間を計算し、映像データの候補を検索して、上記楽音データ出力時間に相当する時間だけ、代替可能又は追加可能な映像データを選択し、テンポ変更により変わった楽音出力終了時点と、映像データのタイムコードの終了点とが一致するように、映像データを選択・編集する制御手段と
して機能することを特徴とするデータ編集用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ編集装置及びデータ編集用コンピュータプログラムに関する。
【背景技術】
【０００２】
音楽作成ソフトには、例えばＭＩＤＩシーケンスソフトがある。これは「ドの音を１００の強さで鳴らす」といったＭＩＤＩイベントを「２小節目の３拍目から４分音符分鳴らす」というように小節（拍）軸上に並べて音楽を作成するものであり、これらのＭＩＤＩイベントを順にＭＩＤＩ音源に送ることで音楽が鳴る。
【０００３】
一方映像編集ソフトは、予め用意しておいた静止画や動画、音声などの必要な部分を切り出して時間軸上に配置し、必要に応じて階調反転やモザイクなどの映像効果を付けて、順につなぎ合わせることで1つの映像にすることができる。
【０００４】
さらに後述する特許文献１では、映像データと楽曲データとの同期を図るようにするため、メタイベントにマーカを入れたＭＩＤＩデータを楽曲データとして用い、該マーカから、同期データを求めて、映像データと楽曲データとの同期を図る構成が示されている。
【特許文献１】特開２００３−５７６４
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した映像編集ソフトは、静止画や動画を時間軸上に自由に並べることはできるが、音楽に同期してならべることは難しい。
【０００６】
例えば音楽に同期させようとした場合、図１４に示すように、波形を目で見て、または音を鳴らしてみて同期する時間に映像を配置しなければならない。こうやって音楽と映像の同期を取ることはできるが、編集後にもう少し曲のテンポを遅くしたいと思った時に、図１５に示すように、テンポが変わると波形の長さも変わり同期させる時間も変わってくるので、もう一度初めから上記の作業をしなければならない。
【０００７】
映像に同期した映像効果を付けたい場合も同様で、例えば拍の頭の時間で階調反転して裏拍の時間で戻すよう効果を付けても、曲のテンポを変更するとずれてしまうため、もう一度初めから同じ作業をしなければならない。
【０００８】
その点、ＭＩＤＩシーケンスソフトの時間は小節（拍）で管理されているためテンポを変えても「２小節目の３拍目」と指定しておけば、ずれることはない。ＭＩＤＩシーケンスソフトの中には映像を扱うものもあり、実際この方法をとっている。
【０００９】
しかし、これらは単に開始点の同期を取るだけで終了点の同期はとっていない。
【００１０】
この場合、図１６に示すように、あるテンポで隙間なく映像を配置しても、テンポを遅くした場合は、配置した映像間に隙間が生じ、何も映っていない状態になる。逆に、テンポを速くした場合は、映像間に重なりが生じ、場合によっては希望の時間に希望の映像が表示されない状態になる。
【００１１】
また、ＭＩＤＩシーケンスソフトでの映像の扱いはまだ簡単なものしかなく、映像効果を小節（拍）単位で指定できるものはない。その典型例が上述した特許文献構成であり、該構成では、映像と楽音の同期がとれるのは、単に頭の部分だけであり、上記の問題は何ら解決されていない。
【００１２】
本発明は、以上のような問題に鑑み創案されたもので、曲のテンポが変更された場合に、開始点だけではなく、終了点でも、映像と楽音の同期がとれるデータ編集装置を提供せんとするものである。
【００１３】
併せてそのような装置がコンピュータで実現できるコンピュータプログラムについても提案する。
【課題を解決するための手段】
【００１４】
そのため本発明に係る構成は、
楽音データとそれと共に出力される映像データとを編集可能なデータ編集装置であって、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出された映像データに含まれるタイムコードを管理し、該タイムコードと共に、映像データの長短の編集処理を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、該楽音の出力と一緒に出力される映像データに含まれるタイムコード先頭側又は後部側の切り出し位置につき、その位置に相当する楽音データ出力時間を計算し、それをタイムコードに直して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように制御する制御手段と
を有することを基本的特徴としている。
【００１５】
上記構成によれば、楽音データ設定手段によるテンポ変更の際に、映像データに含まれるタイムコード先頭側又は後部側の切り出し位置につき、上記制御手段によってその位置に相当する楽音データ出力時間が計算され、それが対応するタイムコードのどの位置になるかが演算されて、テンポ変更により変わった楽音データの出力が終わる時点で、映像データのタイムコードの終了点が一致するように制御されることになる。
【００１６】
映像を配置する場合、通常は長いデータの一部を切り出して使用しているため、上記構成では、テンポが遅くなって映像を長くする必要がある場合は、切り出しの終わり（または先頭）を必要な時間分だけ、長く切り出せば良い。逆にテンポが速くなって映像を短くする必要がある場合は、切り出しの終わり（または先頭）を必要な時間分だけ、短く切り出すことになる。
【００１７】
請求項２の構成は、
楽音データとそれと共に出力される映像データとを編集可能なデータ編集装置であって、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出された映像データに含まれるタイムコードを管理し、該タイムコードの読み出し速度調整により、映像データの再生速度調整を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、該楽音の出力と一緒に出力される映像データに含まれるタイムコードの読み出し速度につき、テンポ変更後の楽音データ出力時間を計算し、その出力時間に対応するタイムコード読み出し速度を算出して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように映像データのタイムコード読み出し速度を制御する制御手段と
を有することを特徴としている。
【００１８】
上記構成によれば、楽音データ設定手段によるテンポ変更の際に、該楽音の出力と一緒に出力される映像データに含まれるタイムコードの読み出し速度につき、上記制御手段によってテンポ変更後の楽音データ出力時間が計算され、その出力時間に対応するタイムコード読み出し速度が、上記制御手段により算出されて、テンポ変更により変わった楽音データの出力が終わる時点で、映像データのタイムコードの終了点が一致するように映像データのタイムコード読み出し速度が制御されることになる。
【００１９】
テンポ変更に応じて映像切り出しの長さを変更しない（変更できない）場合を、本構成は想定しており、上記構成によって、映像の再生速度を変更しても良い。すなわち、上記構成によって、テンポが遅くなって映像を長くする必要がある場合は、再生速度を遅くすることでその長さにすることができる。この場合映像はスローモーションになる。逆にテンポが速くなって映像を短くする必要がある場合は、再生速度を速くすればよい。この場合映像は早送りになる。
【００２０】
請求項３の構成は、
楽音データとそれと共に出力される映像データとを編集可能なデータ編集装置であって、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出される映像データのうち、出力する映像データの選択を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、テンポ変更後の楽音データ出力時間を計算し、映像データの候補を検索して、上記楽音データ出力時間に相当する時間だけ、代替可能又は追加可能な映像データを選択し、テンポ変更により変わった楽音出力終了時点と、映像データのタイムコードの終了点とが一致するように、映像データを選択・編集する制御手段と
を有することを特徴としている。
【００２１】
上記構成によれば、楽音データ設定手段によるテンポ変更の際に、上記制御手段によってテンポ変更後の楽音データ出力時間が計算され、映像データの候補が検索されて、上記楽音データ出力時間に相当時間だけ、代替可能又は追加可能な映像データが選択され、テンポ変更により変わった楽音データの出力が終わる時点で、映像データのタイムコードの終了点が一致するように、映像データが選択・編集されることになる。
【００２２】
本構成では、切り出しの長さを変更しない（変更できない）場合を想定しており、その場合に、本構成によって、代替映像を追加できるようにすると良い。たとえば、テンポが遅くなって映像を長くする必要がある場合は、予め登録しておいた代替映像を空いた隙間に埋め込むことで、途切れない映像にすることができる。
【００２３】
この時使用される代替映像は、黒や白の塗りつぶしといった単純なものでも良いし、別の映像でも良い。代替映像の候補としていくつか登録しておいて、時間に合うものを自動的に選ぶようにすると良い。
【００２４】
請求項４乃至請求項６の構成は、コンピュータに読み出されて実行されることで、上記請求項１乃至請求項３のデータ編集装置となるコンピュータプログラムに関する提案を行うものである。
【００２５】
すなわち、上述した課題を解決するための構成として、上記請求項１乃至請求項３に規定したデータ編集装置の各構成における処理を、コンピュータの構成を利用して実行する、該コンピュータで読み込まれて実行可能なコンピュータプログラムにつき開示する。もちろんこれらの構成は、コンピュータプログラムとしてだけではなく、後述するように、同様な機能を有するプログラムを格納した記録媒体の構成として提供されても良いことは言うまでもない。この場合、コンピュータとは中央演算処理装置の構成を含んだ汎用的なコンピュータの構成の他、特定の処理に向けられた専用機などを含むものであっても良く、中央演算処理装置の構成を伴うものであれば特に限定はない。
【００２６】
コンピュータに上記各処理を実行させるためのこのようなプログラムが、コンピュータに読み出されると、請求項１乃至請求項３に規定された装置構成におけるいずれかの手段で達成されると同様な処理が実行されることになる。
【００２７】
また既存のハードウェア資源を用いてこのコンピュータプログラムを実行することにより、既存のハードウェアで新たなアプリケーションとしての請求項１乃至請求項３に規定したデータ編集装置の構成が容易に実行できるようになる。さらにこのようなコンピュータプログラムが前述の記録媒体に記録されることにより、これをソフトウェア商品として容易に配付、販売することができるようになる。加えて記録媒体の構成としては、上述した形式の場合の他、ＲＡＭやＲＯＭなどの内部記憶装置の構成やハードディスクなどの外部記憶装置の構成であっても良く、そのようなプログラムがそこに記録されれば、本発明に規定された記録媒体に含まれることは言うまでもない。
【００２８】
尚、後述する請求項４乃至請求項３に記載された各手段のうち一部の処理を実行する機能は、コンピュータに組み込まれた機能（コンピュータにハードウェア的に組み込まれている機能でも良く、該コンピュータに組み込まれているオペレーティングシステムや他のアプリケーションプログラムなどによって実現される機能でも良い）によって実現され、前記プログラムには、該コンピュータによって達成される機能を呼び出すあるいはリンクさせる命令が含まれていても良い。
【００２９】
これは、請求項４乃至請求項６に規定された各手段の一部が、例えばオペレーティングシステムなどによって達成される機能の一部で代行され、その機能を実現するためのプログラム乃至モジュールなどは直接記録されているわけではないが、それらの機能を達成するオペレーティングシステムの機能の一部を、呼び出したりリンクさせるようにしてあれば、実質的に同じ構成となるからである。
【００３０】
上記プログラムは、それ自身使用の対象となる他、後述のように記録媒体に記録されて配付乃至販売され、また通信などにより送信されて、譲渡の対象とすることもできるようになる。
【００３１】
そのうち請求項４の構成は、上記請求項１の構成に対応するものであって、具体的な構成としては、
コンピュータに読み出されて実行されることで、該コンピュータが、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出された映像データに含まれるタイムコードを管理し、該タイムコードと共に、映像データの長短の編集処理を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、該楽音の出力と一緒に出力される映像データに含まれるタイムコード先頭側又は後部側の切り出し位置につき、その位置に相当する楽音データ出力時間を計算し、それをタイムコードに直して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように制御する制御手段と
して機能することを特徴とするデータ編集用コンピュータプログラムである。
【００３２】
また請求項５の構成は、上記請求項２の構成に対応するものであって、具体的な構成としては、
コンピュータに読み出されて実行されることで、該コンピュータが、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出された映像データに含まれるタイムコードを管理し、該タイムコードの読み出し速度調整により、映像データの再生速度調整を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、該楽音の出力と一緒に出力される映像データに含まれるタイムコードの読み出し速度につき、テンポ変更後の楽音データ出力時間を計算し、その出力時間に対応するタイムコード読み出し速度を算出して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように映像データのタイムコード読み出し速度を制御する制御手段と
して機能することを特徴とするデータ編集用コンピュータプログラムである。
【００３３】
さらに請求項６の構成は、上記請求項３の構成に対応するものであって、具体的な構成としては、
コンピュータに読み出されて実行されることで、該コンピュータが、
楽音データ及び映像データを格納する格納手段と、
上記格納手段から読み出された楽音データのテンポが変更できる楽音データ設定手段と、
上記格納手段から読み出される映像データのうち、出力する映像データの選択を行う映像データ設定手段と、
上記楽音データ設定手段により楽音データのテンポが変更された場合に、テンポ変更後の楽音データ出力時間を計算し、映像データの候補を検索して、上記楽音データ出力時間に相当する時間だけ、代替可能又は追加可能な映像データを選択し、テンポ変更により変わった楽音出力終了時点と、映像データのタイムコードの終了点とが一致するように、映像データを選択・編集する制御手段と
して機能することを特徴とするデータ編集用コンピュータプログラムである。
【発明の効果】
【００３４】
本発明の請求項１〜請求項６記載のデータ編集装置及びデータ編集用コンピュータプログラムによれば、曲のテンポが変更された場合に、開始点だけではなく、終了点でも、映像と楽音の同期がとれる、すなわち、テンポ変更時に、希望した状態で終了点を調整してくれるという優れた効果を奏し得ることになる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態を図示例と共に説明する。
【実施例１】
【００３６】
図１は、本発明が適用されたパソコンで構成される一実施形態構成を示しており、同図に示すように、楽音データを入力するＭＩＤＩインターフェースと映像データを入力するＩＥＥＥ１３９４インターフェースを備えたパソコン１００で構成されている。
【００３７】
本構成では、パソコン１００の後述するＣＤ−ＲＯＭドライブ１１７に、ＣＤ−ＲＯＭ１１７ａを入れて、それに読み込ませ、実行された場合に、該パソコン１００が、本発明のデータ編集装置として利用可能なプログラムが、該ＣＤ−ＲＯＭ１１７ａに格納されている。従って、このＣＤ−ＲＯＭ１１７ａを上記ＣＤ−ＲＯＭドライブ１１７に読み込ませて実行させ、パソコン１００上に、本発明のデータ編集装置が実現されることになる。
【００３８】
図２は、上記パソコン１００の回路構成概要図である。同図に示すように、本構成は、システムバス１０２を介して、ＣＰＵ１０４、ＲＯＭ１０６、ＲＡＭ１０８、ＭＩＤＩインターフェース１１０、画像制御部１１２、Ｉ／Ｏインターフェース１１４、ハードディスクドライブ１１８及びＩＥＥＥ１３９４インターフェース１２０がつながっており、該システムバス１０２を介して、夫々のデバイスに制御信号、データの入出力がなされることになる。
【００３９】
ＣＰＵ１０４は、ＣＤ−ＲＯＭドライブ１１７により上記ＣＤ−ＲＯＭ１１７ａから読み込まれ、ハードディスクドライブ１１８乃至ＲＡＭ１０８に格納される上記プログラムに基づき、データ編集装置全体の制御を行う中央演算処理装置である。また後述する楽音データ設定部２ａ・２ｂ・２ｃ、映像データ設定部３ａ・３ｂ・３ｃ、制御部４ａ・４ｂ・４ｃ等は、上記プログラムが稼働した該ＣＰＵ１０４によって構成されることになる。
【００４０】
ＲＯＭ１０６は、本パソコン１００のＢＩＯＳなどが記憶されている格納領域である。
【００４１】
ＲＡＭ１０８は、本プログラムの格納エリアの他、ワークエリア、種々の係数、パラメータ等の、一時的な記憶領域等として使用される。後述する格納部１ａ・１ｂ・１ｃは、基本的には上記ハードディスクドライブ１１８で構成されるが、一部は該ＲＡＭ１０８で構成されることになる。
【００４２】
ＭＩＤＩインターフェース１１０は、ＭＩＤＩデータの外部機器等とのやりとりをするインターフェースである。このＭＩＤＩデータは、本発明における楽音データに相当する。
【００４３】
画像制御部１１２は、画像データバッファを有しており（上記ＲＡＭ１０８上に設けても良い）、ＣＰＵ１０４の指令により、必要な画像処理を行って、その結果をディスプレイ１１３に出力する。該ディスプレイは、ＣＰＵ１０４の指令に基づき、該画像制御部１１２で処理された映像情報を表示するが、後述のように、本実施例構成では後述する図９に示すような表示を行う。
【００４４】
Ｉ／Ｏインターフェース１１４は、これを介してシステムバス１０２につながるキーボード１１５、マウス１１６及びＣＤ−ＲＯＭドライブ１１７に接続されており、これらのデバイスとシステムバス１０２上につながった上記デバイスとの間で、制御信号やデータの入出力がなされることになる。
【００４５】
上記デバイスのうちＣＤ−ＲＯＭドライブ１１７は、データ編集用のプログラムが格納されたＣＤ−ＲＯＭ１１７ａから、該プログラムやデータなどを読み出す。そのプログラムやデータなどは、ハードディスクドライブ１１８に格納され、またメインとなるプログラムは上記ＲＡＭ１０８上に格納され、ＣＰＵ１０４により実行される。
【００４６】
上述のように、ハードディスクドライブ１１８は、上記楽音データ入力用プログラムの読み込み及びその実行によって、該プログラム自身と必要なデータ等を格納する。該ハードディスクドライブ１１８に格納される必要なデータは、他に、上記ＭＩＤＩインターフェース１１０を介して外部から楽音データが、また後述するＩＥＥＥ１３９４インターフェース１２０を介して外部から映像データ（タイムコード付き）が夫々格納され、該ハードディスクドライブ１１８は、後述する格納部１ａ・１ｂ・１ｃとして機能する。この他、上記映像データは、ＤＶＤドライブ（図示無し）又はネットワーク（図示無し）を介して、ハードディスクドライブ１１８に格納されるようにしても良い。
【００４７】
本実施形態に係るデータ編集用プログラムを、パソコン１００（ＲＡＭ１０８及びハードディスクドライブ１１８）に読み込ませて、（ＣＰＵ１０４に）実行させることで、図３に示すように、格納部１ａと、楽音データ設定部２ａと、映像データ設定部３ａと、制御部４ａとを備えた構成となる。
【００４８】
上記格納部１ａは、上述のように、基本的にハードディスクドライブ１１８で構成されており、ＭＩＤＩインターフェース１１０から入力された楽音データと、ＩＥＥＥ１３９４インターフェース１２０から入力された映像データとを格納する構成である。
【００４９】
上記楽音データ設定部２ａは、上記格納部１ａから読み出された楽音データ（ＭＩＤＩデータ）の種々のパラメータが設定・変更ができる構成であり、特にそのパラメータとして含まれるテンポも変更可能である。
【００５０】
上記映像データ設定部３ａは、上記格納部１ａから読み出された映像データに含まれるタイムコード（入力した当初に映像データ設定部３ａでタイムコードを付す場合もある）を管理し、該タイムコードと共に、映像データの編集処理を行う構成であり、特にシーケンスな映像データの種々の箇所での切り貼りを行うことができる。
【００５１】
上記制御部４ａは、楽音データ設定部２ａにより楽音データのテンポが変更された場合に、該楽音の出力と一緒に出力される映像データに含まれるタイムコード先頭側又は後部側の切り出し位置につき、その位置に相当する楽音データ出力時間を計算し、それをタイムコードに直して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように制御する構成である。
【００５２】
上記実施例構成では、楽音データ設定部２ａにより楽音データのテンポが変更された場合に、テンポ変更後の楽音データ出力時間が、制御部４ａにより計算され、それがタイムコードに直される。そして、テンポ変更により変わった楽音データ出力終了時点と映像データのタイムコードの終了点とが一致するように、該制御部４ａにより、映像データに含まれるタイムコード先頭側／後部側の切り出し位置を制御するように、指示が映像データ設定部３ａに出力されることになる。従って、該映像データ設定部３ａでは、楽音データ出力終了時点と映像データのタイムコードの終了点とが一致するように、映像データの先頭側／後部側の切り出し位置が指定されて、映像データの編集設定がなされ、楽音データと映像データとの同期がとれた状態で、出力されることになる。
【実施例２】
【００５３】
図４は、上記実施例１と同様に、データ編集用プログラムを、パソコン１００（ＲＡＭ１０８及びハードディスクドライブ１１８）に読み込ませて、（ＣＰＵ１０４に）実行させることで、格納部１ｂと、楽音データ設定部２ｂと、映像データ設定部３ｂと、制御部４ｂとを備えた、本発明の他の実施例構成を示す機能ブロック図である。
【００５４】
本実施例と、上記実施例１とは、基本的な構成は同じなので、図１〜図３に示す構成に相当するものの説明は省略する。
【００５５】
そして上記格納部１ｂは、基本的にハードディスクドライブ１１８で構成されており、ＭＩＤＩインターフェース１１０から入力された楽音データと、ＩＥＥＥ１３９４インターフェース１２０から入力された映像データ［該映像データは、ＤＶＤドライブ（図示無し）又はネットワーク（図示無し）を介して、ハードディスクドライブ１１８に格納されるような場合も含む］とを格納する構成である。
【００５６】
上記楽音データ設定部２ｂは、実施例１と同様、上記格納部１ｂから読み出された楽音データ（ＭＩＤＩデータ）の種々のパラメータが設定・変更ができる構成であり、特にそのパラメータとして含まれるテンポも変更可能である。
【００５７】
上記映像データ設定部３ｂは、上記格納部１ｂから読み出された映像データに含まれるタイムコード（入力した当初に映像データ設定部３ｂでタイムコードを付す場合もある）を管理し、該タイムコードの読み出し速度調整により、映像データの編集処理を行う構成であり、特に映像データの再生速度の調整を行うことが可能である。
【００５８】
上記制御部４ｂは、楽音データ設定部２ｂにより楽音データのテンポが変更された場合に、該楽音の出力と一緒に出力される映像データに含まれるタイムコードの読み出し速度につき、テンポ変更後の楽音データ出力時間を計算し、その出力時間に対応するタイムコード読み出し速度を算出して、テンポ変更により変わった楽音データ出力終了時点と、映像データのタイムコードの終了点とが一致するように、映像データのタイムコード読み出し速度を制御する構成である。
【００５９】
上記実施例構成では、楽音データ設定部２ｂにより楽音データのテンポが変更された場合に、制御部４ｂにより、テンポ変更後の楽音データ出力時間が計算される。そしてその出力時間に対応する、対応する映像データ全体のタイムコード読み出し速度が同じく制御部４ｂにより算出される。さらに該制御部４ｂにより、映像データに含まれるタイムコード読み出し速度の調整がなされ、テンポ変更により変わった楽音データ出力終了時点と速度調整された上記映像データのタイムコードの終了点とが一致するように制御されることになる。
【実施例３】
【００６０】
図５は、上記実施例１及び２と同様に、データ編集用プログラムを、パソコン１００（ＲＡＭ１０８及びハードディスクドライブ１１８）に読み込ませて、（ＣＰＵ１０４に）実行させることで、格納部１ｃと、楽音データ設定部２ｃと、映像データ設定部３ｃと、制御部４ｃとを備えた、本発明の別の実施例構成を示す機能ブロック図である。
【００６１】
本実施例と、上記実施例１及び２とは、基本的な構成は同じなので、図１〜図４に示す構成に相当するものの説明は省略する。
【００６２】
そして上記格納部１ｃは、基本的にハードディスクドライブ１１８で構成されており、ＭＩＤＩインターフェース１１０から入力された楽音データと、ＩＥＥＥ１３９４インターフェース１２０から入力された映像データ［該映像データは、ＤＶＤドライブ（図示無し）又はネットワーク（図示無し）を介して、ハードディスクドライブ１１８に格納されるような場合も含む］とを格納する構成である。
【００６３】
上記楽音データ設定部２ｃは、実施例１及び２と同様、上記格納部１ｃから読み出された楽音データ（ＭＩＤＩデータ）の種々のパラメータが設定・変更ができる構成であり、特にそのパラメータとして含まれるテンポも変更可能である。
【００６４】
上記映像データ設定部３ｃは、上記格納部１ｃから読み出された映像データと各映像データに含まれるタイムコード（入力した当初に映像データ設定部３ｃでタイムコードを付す場合もある）とを管理し、該タイムコードの管理処理により、出力する映像データの選択を行う構成である。
【００６５】
上記制御部４ｃは、楽音データ設定部２ｃにより楽音データのテンポが変更された場合に、テンポ変更後の楽音データ出力時間を計算し、該楽音の出力と一緒に出力される候補の映像データに含まれるタイムコードを検索して、上記楽音データ出力時間に相当乃至近似するタイムコードを備えた映像データを選択し、テンポ変更により変わった楽音出力終了時点と、映像データのタイムコードの終了点とが一致するように映像データを選択する構成である。
【００６６】
上記実施例構成では、楽音データ設定部２ｃにより楽音データのテンポが変更された場合に、制御部４ｃにより、テンポ変更後の楽音データ出力時間が計算される。そして、該制御部４ｃにより、映像データ設定部３ｃを介して、格納部１ｃ中にある候補映像データのタイムコードが検索され、楽音データ出力時間に相当乃至近似するタイムコードを備えた映像データが、該制御部３ｃにより選択さ、結果的に、テンポ変更により変わった楽音データ出力終了時点と映像データのタイムコードの終了点とが一致することになる、映像データが選択され、該映像データとテンポ変更後の楽音データとが同期して出力されることになる。
【実施例４】
【００６７】
実施例４は、上記実施例１〜３の構成のうち、映像データ設定部３ａ、３ｂ、３ｃと、制御部４ａ、４ｂ、４ｃとが、プログラム上で自動的に判断されて、或いは、オペレータ側に選択されることにより、これらの構成が適用され、上記実施例１〜３の装置構成がパソコン１００上で稼働する仮想的なデータ編集装置につき、説明する。
【００６８】
上記３つの実施例構成で共通しているのは、楽音データと映像データが格納部１ａ、１ｂ、１ｃに格納されていることと、楽音データのテンポが楽音データ設定部２ａ、２ｂ、２ｃにより変更されることである。
【００６９】
ここで実施例４の構成は、上記楽音データ設定部２ａ、２ｂ又は２ｃにより、選択された楽音データが、標準的に或いは以前に使用していたテンポから新たなテンポに変更された場合に、実施例１〜３の構成のうち、映像データ設定部３ａ、３ｂ、３ｃと、制御部４ａ、４ｂ、４ｃとが、プログラム上で自動的に判断されて、適宜使用されて、テンポ変更後の楽音データと一緒に使用する映像データが、特に両者の終了点が一致するように同期せしめられて編集される構成を提供するものである。
【００７０】
図６は、該実施例４のデータ編集装置の構成で、上記楽音データ設定部２ａ、２ｂ又は２ｃにより、選択された楽音データが、標準的に或いは以前に使用していたテンポから新たなテンポに変更された場合の処理フローを示すフローチャートである。
【００７１】
上記制御部４ａ、４ｂ又は４ｃにより、テンポを変更する前のテンポ情報を元に、開始時間（T1b）と終了時間（T1e）が求められ、間隔（D1）が算出される（ステップＳ１００）。f（M，B）はテンポ情報から指定小節（M）の指定拍（B）の時間を求める関数である。
【００７２】
ここでf（M，B）関数について、下記表１を使用して、簡単に説明する。テンポ情報から指定小節（M）の指定拍（B）の時間を求める関数f（M，B）を使うと、例えば１小節目の１拍目で４分音符＝６０、２小節目の１拍目で４分音符＝１２０のテンポ情報を持つ場合は、次の表１に示すように、各拍の時間が求まる。
【００７３】
【表１】
2007316322.tif 000003
【００７４】
次に、制御部４ａ、４ｂ又は４ｃにより、テンポを変更した後のテンポ情報を元に、開始時間（T2b）と終了時間（T2e）が求められ、間隔（D2）が算出される（ステップＳ１０２）。
【００７５】
古いテンポでの間隔（D1）と新しいテンポでの間隔（D2）の間で、D1＜D2か否かがチェックされる（ステップＳ１０４）。
【００７６】
新しいテンポの間隔の方が長い場合（ステップＳ１０４；Ｙ）は、次の新しいテンポの間隔の方が長い場合の処理（ステップＳ１０６）に進む。
【００７７】
反対に新しいテンポの間隔の方が長くない場合（ステップＳ１０４；Ｎ）は、次の古いテンポでの間隔（D1）と新しいテンポでの間隔（D2）の間で、D1＞D2か否かがチェックされる（ステップＳ１０８）。
【００７８】
新しいテンポの間隔の方が短い場合（ステップＳ１０８；Ｙ）は、次の新しいテンポの間隔の方が短い場合の処理（ステップＳ１１０）へ進む。
【００７９】
他方間隔が変わらない場合（ステップＳ１０８；Ｎ）は、何も処理せず終了する。
【００８０】
図７は、ステップＳ１０６の新しいテンポの間隔の方が長い場合の処理のフローを示すフローチャートである。
【００８１】
同図に示すように、上記楽音データと同期される対象となる映像データが静止画か否かがチェックされる（ステップＳ２００）。
【００８２】
静止画の場合（ステップＳ２００；Ｙ）は、静止画の場合の単純に終了時間を延ばす処理が実行される（ステップＳ２０２）。それ以外の場合（ステップＳ２００；Ｎ）は、動画処理（ステップＳ２０４）へ進む。
【００８３】
図８は、ステップＳ２０４の動画の場合の処理のフローを示すフローチャートである。
【００８４】
新しいテンポの間隔（D2）の方が長い場合、同期する動画の映像データについては、その画像を編集処理し元画像から長く切り出す処理を行う、再生速度を変更する、代替映像を追加する、映像を繰り返す、等の処理で対応することになる。
【００８５】
そのため、まず、元画像から長く切り出す処理を試すため、元画像の長さ＞切り出す長さになるか否かがチェックされる（ステップＳ３００）。
【００８６】
元画像の長さより切り出す長さの方が短ければ（ステップＳ３００；Ｙ）、元画像から長く切り出す処理が実行される（ステップＳ３０２）。図９は、そのような場合の、図中の隙間の分だけ元画像の長さを長く切り出すことになる。
【００８７】
反対に元画像の長さより切り出す長さの方が長ければ（ステップＳ３００；Ｎ）、映像データの切り出しはできないので、残りの処理を試すことになる。よって、再生速度を変更する、代替映像を追加する、映像を繰り返す、等の処理を試す。
【００８８】
まず、同期しようとする映像データにタイムコードが含まれているか否かがチェックされる（ステップＳ３０４）。
【００８９】
該映像データにタイムコードが含まれている場合（ステップＳ３０４；Ｙ）は、実施例２による該映像データの再生速度が変更される処理がなされる（ステップＳ３０６）。
【００９０】
すなわち、制御部４ｂにより、テンポ変更後の楽音データ出力時間が計算され、その出力時間に対応する、対応する映像データ全体のタイムコード読み出し速度が同じく制御部４ｂにより算出される。そして該制御部４ｂにより、映像データに含まれるタイムコード読み出し速度の調整がなされ、テンポ変更により変わった楽音データ出力終了時点と速度調整された上記映像データのタイムコードの終了点とが一致するように制御されることになる。この場合スローモーション処理がなされることになる。
【００９１】
他方上記映像データにタイムコードが含まれていない場合（ステップＳ３０４；Ｎ）は、データ格納部１ａ、１ｂ又は１ｃに代替できる映像データがあるか否かがチェックされる（ステップＳ３０８）。
【００９２】
代替できる映像データがある場合（ステップＳ３０８；Ｙ）、代替できる映像データを追加する処理が行われる（ステップＳ３１０）。
【００９３】
反対に代替できる映像データがない場合（ステップＳ３０８；Ｎ）は、切り出された映像データを必要な回数繰り返し出力する処理がなされる（ステップＳ３１２）。
【００９４】
次に上記ステップＳ３１０の代替映像データの追加処理について説明する。この代替できる映像データを追加する処理は、１）予め登録しておいた代替映像データを使う、２）映像データを集めたライブラリの中から同じキーワードの映像データを探して使う、３）映像データを集めたライブラリの中から色合いの近い映像データを探して使う、４）映像データを集めたライブラリの中から図形を認識して近い映像データを探して使う、の４つの処理ができる。
【００９５】
まず、１）「予め登録しておいた代替映像データを使う」処理につき説明する。予め代わりになる映像データをいくつか登録しておいて（格納部１ｃに格納しておく）、足りない部分に、それを使うようにする。運動会の映像を編集中ならば、関係する運動会の映像データを、予め代替映像データとして登録（格納）しておけば、足りない部分に、その運動会の映像データが挿入される。
【００９６】
次に、２）「映像データを集めたライブラリの中から同じキーワードの映像データを探して使う」処理につき説明する。格納部１ｃに格納された映像データのライブラリの中の映像データ中には、１つ１つに、キーワードが含まれている。そして、図１０に示すように、足りない部分の映像のキーワードが「花」の場合、該ライブラリの中から「花」をキーワードに持つ映像データを検索して、先の映像データに追加・挿入する。
【００９７】
さらに、３）映像データを集めたライブラリの中から色合いの近い映像データを探して使う処理につき説明する。格納部１ｃに格納された映像データのライブラリの中の映像をその中に含まれる色の属性（ＲＧＢデータ）を制御部４ｃにより解析して、終了時の映像の色合いに近い映像を検索して、その終了点につなげる（挿入する）。例えば、図１１に示すように、画像の各点の色はＲＧＢで表されるため、全部の点に関してＲＧＢの平均を、制御部４ｃにより求める。そして、出力されるべき映像データの終了時の映像の平均ＲＧＢと、ライブラリ中の映像データの最初の画像の平均ＲＧＢを比較し、両者の近いものが色合いの近いものとして検出される。
【００９８】
また、４）映像データを集めたライブラリの中から図形を認識して近い映像データを探して使う処理につき説明する。ライブラリの中の映像データを解析して、終了時の映像データの形に近い映像データを探し出して挿入する。例えば、図１２に示すように、画像の各点の色はＲＧＢで表されるがそれを平均してグレー化し、さらに半分（１２８）で区別して２値化する。出力されるべき映像データの終了時点での２値化画像と、格納部１ｃのライブラリの映像データの最初（頭、出だし部分）の２値化画像を制御部４ｃにより比較し、合致度が高い画像（＝図形の近い画像）を検索して、先の映像データに追加・挿入する。
【００９９】
一方、上記図６のステップＳ１１０の次の新しいテンポの間隔の方が短い場合の処理について説明する。図１３は、次の新しいテンポの間隔の方が短い場合の処理のフローを示すフローチャートである。
【０１００】
同図に示すように、上記楽音データと同期される対象となる映像データが静止画か否かがチェックされる（ステップＳ４００）。
【０１０１】
静止画の場合（ステップＳ４００；Ｙ）は、静止画の場合の単純に終了時間を縮める処理が実行される（ステップＳ４０２）。それ以外の場合（ステップＳ４００；Ｎ）、即ち動画の場合は、図８の動画の場合の処理と同じく、その画像を編集処理し元画像から短く切り出す処理を行う、再生速度を変更する、静止画として扱う、等の処理で対応することになる。
【０１０２】
そのため、まず、元画像から短く切り出す処理を試すため、元画像の長さ＞切り出す長さになるか否かがチェックされる（ステップＳ４０４）。
【０１０３】
元画像の長さより切り出す長さの方が短ければ（ステップＳ４０４；Ｙ）、元画像から短く切り出す処理が実行される（ステップＳ４０６）。
【０１０４】
即ち、実施例１により、映像データに含まれるタイムコード先頭側又は後部側を切り出す処理がなされ、映像データに含まれるタイムコード先頭側又は後部側の切り出し位置につき、上記制御部４ａによってその位置に相当する楽音データ出力時間が計算され、それが対応するタイムコードのどの位置になるかが演算されて、テンポ変更により変わった楽音データの出力が終わる時点で、映像データのタイムコードの終了点が一致するように制御されることになる。
【０１０５】
反対に元画像の長さより切り出す長さの方が長ければ（ステップＳ４０４；Ｎ）、映像データの切り出しはできないので、残りの処理を試すことになる。よって、再生速度を変更する、静止画として扱う、等の処理を試す。
【０１０６】
まず、同期しようとする映像データにタイムコードが含まれているか否かがチェックされる（ステップＳ４０８）。
【０１０７】
該映像データにタイムコードが含まれている場合（ステップＳ４０８；Ｙ）は、実施例２による該映像データの再生速度が変更される処理がなされる（ステップＳ４１０）。
【０１０８】
すなわち、制御部４ｂにより、テンポ変更後の楽音データ出力時間が計算され、その出力時間に対応する、対応する映像データ全体のタイムコード読み出し速度が同じく制御部４ｂにより算出される。そして該制御部４ｂにより、映像データに含まれるタイムコード読み出し速度の調整がなされ、テンポ変更により変わった楽音データ出力終了時点と速度調整された上記映像データのタイムコードの終了点とが一致するように制御されることになる。この場合早送り処理がなされることになる。
【０１０９】
他方上記映像データにタイムコードが含まれていない場合（ステップＳ４０８；Ｎ）は、静止画として扱う、即ち、最初のコマだけ表示して、単純に終了時間を縮める処理を行う（ステップＳ４１２）。
【０１１０】
以上詳述した実施例構成によれば、楽音データ設定部により楽音データのテンポが変更された場合に、開始点だけではなく、終了点でも、映像データと楽音データの同期がとれる、すなわち、テンポ変更時に、希望した状態で両データの終了点が調整されるので、楽音データと映像データの間で、希望の時間に希望の映像が表示されない状態になることはない。
【０１１１】
尚、本発明のデータ編集装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【産業上の利用可能性】
【０１１２】
本発明のデータ編集装置は、音と映像とを同期させる編集装置であれば、如何様なものにも適用可能である。
【図面の簡単な説明】
【０１１３】
【図１】本発明が適用されたパソコンで構成される一実施形態構成を示す正面図である。
【図２】パソコン１００の回路構成概要図である。
【図３】実施例１の構成を示す機能ブロック図である。
【図４】実施例２の構成を示す機能ブロック図である。
【図５】実施例３の構成を示す機能ブロック図である。
【図６】新たなテンポに変更された場合の処理フローを示すフローチャートである。
【図７】ステップＳ１０６の新しいテンポの間隔の方が長い場合の処理のフローを示すフローチャートである。
【図８】ステップＳ２０４の動画の場合の処理のフローを示すフローチャートである。
【図９】隙間の分だけ元画像の長さを長く切り出す状態を示す説明図である。
【図１０】ライブラリの中から同じキーワードの映像データを探して使う処理についての説明図である。
【図１１】ライブラリの中から色合いの近い映像データを探して使う処理についての説明図である。
【図１２】ライブラリの中から図形を認識して近い映像データを探して使う処理についての説明図である。
【図１３】次の新しいテンポの間隔の方が短い場合の処理のフローを示すフローチャートである。
【図１４】音を鳴らしてみて同期する時間に映像を配置することを示す従来構成による処理に仕方を示す説明図である。
【図１５】テンポが変わった場合に波形の長さが変わり、映像を同期させる時間も変わってくる状態を示す説明図である。
【図１６】テンポを遅くした場合は、配置した映像間に隙間が生じ、何も映っていない状態になることを示す説明図である。
【符号の説明】
【０１１４】
１ａ、１ｂ、１ｃ  格納部
２ａ、２ｂ、２ｃ  楽音データ設定部
３ａ、３ｂ、３ｃ  映像データ設定部
４ａ、４ｂ、４ｃ  制御部
１００                パソコン
１０２                システムバス
１０４                ＣＰＵ
１０６                ＲＯＭ
１０８                ＲＡＭ
１１０                ＭＩＤＩインターフェース
１１２                画像制御部
１１３                ディスプレイ
１１４                Ｉ／Ｏインターフェース
１１５                キーボード
１１６                マウス
１１７                ＣＤ−ＲＯＭドライブ
１１７ａ              ＣＤ−ＲＯＭ
１１８                ハードディスクドライブ
１２０                ＩＥＥＥ１３９４インターフェース
【図１】
2007316322.tif 000004
【図２】
2007316322.tif 000005
【図３】
2007316322.tif 000006
【図４】
2007316322.tif 000007
【図５】
2007316322.tif 000008
【図６】
2007316322.tif 000009
【図７】
2007316322.tif 000010
【図８】
2007316322.tif 000011
【図９】
2007316322.tif 000012
【図１３】
2007316322.tif 000013
【図１４】
2007316322.tif 000014
【図１５】
2007316322.tif 000015
【図１６】
2007316322.tif 000016
【図１０】
2007316322.tif 000017
【図１１】
2007316322.tif 000018
【図１２】
2007316322.tif 000019