(57)【要約】【課題】携帯電話などの通信端末装置において、メロディーとそれに合った画像を同期して発生させる。【解決手段】メロディ発生装置５０と画像発生装置６０を備えた端末装置において、メロディー情報中に挿入されたイベント情報を検知するイベントタイミング検知手段３０を備え、メロディー発生中にメロディー情報中に挿入されたイベント情報を検知したとき、その検知のタイミングで前記画像発生装置６０が画像情報に基づく更新画像を発生するようにした。【選択図】　　　　　図１
2004144829.tif 000002
【特許請求の範囲】
【請求項１】
メロディーと画像とを同期して再生するため、メロディー情報中に該メロディーに合わせた画像更新のタイミングでイベント情報を挿入するイベント情報挿入手段を備えたことを特徴とするメロディー及び画像同期情報作成装置。
【請求項２】
メロディー情報に基づきメロディーを発生するメロディ発生手段と、メロディー情報中に挿入されたイベント情報を検知するイベント情報検知手段と、前記イベント情報検知手段のイベント情報検知のタイミングで画像情報に基づき画像を発生する画像発生手段と、を備えたことを特徴とするメロディー及び画像同期発生装置。
【請求項３】
請求項２に記載されたメロディー及び画像同期発生装置において、
画像タイミング管理手段を備え、該画像タイミング管理手段は、前記イベント情報検知手段で検知したイベント情報に基づき前記画像発生装置の画像発生タイミングを制御することを特徴とするメロディー及び画像同期発生装置。
【請求項４】
請求項２又は３に記載されたメロディー及び画像同期発生装置において、受信手段を有し、受信したメロディー情報及び画像情報を蓄積する手段を備えたことを特徴とするメロディー及び画像同期発生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、メロディーと画像を同期して再生するための、メロディー及び画像同期情報作成装置及び同装置で作成された前記同期情報に基づきメロディー及び画像を同期して発生するメロディー及び画像同期発生装置に関するものである。
【０００２】
【従来の技術】
メロディー付き画像を提供するサービス、例えばいわゆる通信カラオケが普及しており、その一形態として、通信カラオケサイトからメロディーとそれに合った画像を通信端末装置、例えば携帯電話機に送信して、携帯電話機側で発生してカラオケを楽しむことが行われている。
ところで、特許文献ではないが、現在メロディーと画像を通信端末装置に提供するためのソフトとして、ｉ−ＡＰＰＬＩ（ＪＡＶＡ（登録商標））プログラムが知られているが、このプログラムを使用してカラオケを行おうとすると、メロディー源と画像発生とが非同期で動作しているため、メロディーと画像更新との間でズレが発生する。そのため、カラオケの開始時においては両者は一致しているものの、時間の経過と共に誤差が生じ、同期がずれてくるという問題がある。この問題の解決を図る手段・方法として、例えば、特許文献１には、カラオケデータに、ＭＩＤＩ形式で記述された伴奏音楽データと伴奏音楽と時間的に同期結合させる歌詞抽出データとを含ませておき同期をとるものが、また、特許文献２には、カラオケデータにカラオケ演奏の起源となる伴奏音楽データとカラオケ伴奏音楽に同期させてカラオケ演奏端末のディスプレイに表示される歌詞映像の起源となる歌詞文字データとを含んで構成することが記載されている。
しかしながら、これらの記載は具体的にどのように伴奏音楽と歌詞とを同期させるのかについて具体的な構成は開示していない。
また、他の手段として、これも特許文献に記載されたものではないが、このズレを補正するために、ウオッチドタイマを用いて例えば周期１０〜２０ｍｓの固定タイマで監視して、具体的には例えば各１０ｍｓ毎にイベントを発生して動画のコマ送りを行っているものもある。
図７はこのウオッチドタイマを用いて、メロディーと画像の発生タイミングを制御する場合に発生する両者のズレを示す図であって、縦軸にメロディー、動画像を取りかつ横軸に時間を取って、両者が同時にスタートしても画像の更新が遅れるために両者が時間的にズレる様子を示している。
このようにウオッチドタイマによっても、メロディー情報と画像情報は画像のコマ送りのための遅れによりに若干のズレが生じており、このズレは解消できない。そればかりか、カラオケ動作中に通信端末装置のユーザＩ／Ｆ（キーボタン）からメロディーのテンポ変更がなされると、その場合のアプリケーションプログラム側での処理の重みは大きく、メロディーと画像（動画）のテンポ変更処理が遅延し、ズレが一層拡大するという問題がある。
【０００３】
特許文献１
特開２００２−６８６９号公報（段落番号「００１６」）
特許文献２
特開２０００−１４８１６９号公報（段落番号「００２０」）
【０００４】
【発明が解決しようとする課題】
本発明の目的は、例えば携帯電話機などの通信携帯端末装置でカラオケを行う場合、文字送り及び背景画像更新とメロディーとがズレることなくきっちりと合うようにし、或いは動画像付き着信メロディーの再生を行う場合には、３Ｄ画像でダンスの振り付けなどの教材を提供する場合にも、振り付けとメロディーが一致できるようにすることである。
【０００５】
【課題を解決するための手段】
請求項１の発明は、メロディーと画像とを同期して再生するため、メロディー情報中に該メロディーに合わせた画像更新のタイミングでイベント情報を挿入するイベント情報挿入手段を備えたことを特徴とするメロディー及び画像同期情報作成装置である。
請求項２の発明は、メロディー情報に基づきメロディーを発生するメロディ発生手段と、メロディー情報中に挿入されたイベント情報を検知するイベント情報検知手段と、前記イベント情報検知手段のイベント情報検知のタイミングで画像情報に基づき画像を発生する画像発生手段と、を備えたことを特徴とするメロディー及び画像同期発生装置である。
請求項３の発明は、請求項２に記載されたメロディー及び画像同期発生装置において、画像タイミング管理手段を備え、該画像タイミング管理手段は、前記イベント情報検知手段で検知したイベント情報に基づき前記画像発生装置の画像発生タイミングを制御することを特徴とするメロディー及び画像同期発生装置である。
請求項４の発明は、請求項２又は３に記載されたメロディー及び画像同期発生装置において、受信手段を有し、受信したメロディー情報及び画像情報を蓄積する手段を備えたことを特徴とするメロディー及び画像同期発生装置である。
【０００６】
【発明の実施の形態】
本発明の実施形態を図面を参考にして説明する。
図１は、本発明はメロディー及び画像同期発生装置の１実施形態を概略的に示すブロック図である。本発明のメロディー及び画像同期発生装置は、メロディー（他の音響データも含む）データ（情報）１２、画像（文字も含む）データ（情報）１４及びメロディーデータ及び画像データをどのタイミングで変更するかそのスケジュールを管理するスケジュールプログラム１６を備えたメロディ、画像情報蓄積手段１０、スケジュールプログラム１６を実行することでメロディーデータの発生スケジュールを作成するスケジュール作成手段２０、メロディーデータ中のイベント情報を検知するイベントタイミング検知手段３０、イベントタイミング検知手段３０で検知したイベントタイミングで画像データの更新（コマ送り）タイミングを指示するタイミング管理手段４０、イベントタイミング検出手段３０で検知したメロディーを発生するメロディー発生装置５０、発生したメロディーを出力するスピーカ７０、タイミング管理手段４０により管理されたタイミングで前記蓄積された画像情報に基づき画像を発生する画像発生装置６０、及び画像を表示するパネル８０からなっている。
【０００７】
図２は図１に示したメロディー及び画像同期発生装置で処理されるデータ、つまりメロディデータ中にイベント情報を挿入したデータ列の１例を示している。イベント情報はメロディーデータに合わせて画像を更新すべき位置、つまり次のメロディーデータの前に挿入されているため、メロディーの変更と画像の更新が同期してなされ、ウオッチドタイマーで同期をとる場合のような画像更新時のズレは解消できる。
【０００８】
図３は、メロディー及び画像同期情報発生装置の動作手順を説明するためのフロー図である。
即ち、通信端末装置でのメロディー及び画像の発生時において、まず、スケジュール作成手段２０は、スケジュールプログラム１６に基づき前記蓄積手段１０から読み出したイベント情報を含んだメロディー情報（データ）の再生スケジュールを作成し（Ｓ１０１）、そのスケジュールに従ってメロディー情報をイベントタイミング検知手段３０に渡す。次に、イベントタイミング検知手段３０は、スケジュール作成手段２０から渡されたメロディー情報中のイベント情報を検知し（Ｓ１０２）、イベント情報が検知されないとき、つまりメロディー情報を受け取ったときは（Ｓ１０２、ＮＯ）、そのメロディー情報（データ）をメロディー発生装置５０に渡し（Ｓ１０３）、イヤホン、スピーカ等の適当なメロディー発生手段７０からメロディーを出力する（Ｓ１０４）。
ステップＳ１０２において、イベント情報が検知されれば（Ｓ１０２、ＹＥＳ）、そのイベント情報を画像タイミング管理手段４０に渡す（Ｓ１０５）。画像タイミング手段４０はイベント情報が渡されたタイミングで画像情報を取り込みかつ画像発生装置に渡す（Ｓ１０６）、画像発生装置６０は渡された画像情報に基づき画像を更新する（Ｓ１０７）。つまり、イベントタイミング検知手段３０は、タイム０から処理を行い、図２に示すイベント情報“Ａ”が現れたら、このイベント情報“Ａ”を画像タイミング管理手段４０に渡し、画像発生装置５０はイベント情報“Ａ”を実行、つまりそのタイミングで画像を更新し、表示パネル８０などの表示手段に更新した画像を表示する（Ｓ１０８）。
【０００９】
図４は、本発明の別の実施形態を示す図である。
図１と同様の部分には同じ番号を付与している。このメロディー及び画像同期発生装置は、例えば、カラオケサイトから受信した、スケジュールデータ、即ち、メロディー情報（データ）にイベント情報（データ）を挿入してそのプレイタイム情報と共に蓄積するスケジュールデータ蓄積手段１０Ａを備えており、その他の構成、即ち、イベントタイミング検知手段３０，画像発生のタイミング管理手段４０、メロディー発生装置５０、画像発生装置６０、スピーカ等のメロディー出力手段７０及び画像表示用パネル８０については、図１に関連して説明したメロディー及び画像同期発生装置と同様である。
【００１０】
図５は、図４に示すメロディー及び画像同期発生装置における処理手順を説明したフローチャートである。
メロディー及び画像の発生時において、例えばカラオケサイトから受信した発生スケジュールデータ中にイベント情報があるか否か判別し（Ｓ２０１）、イベント情報でなくメロディーデータを検知すれば（Ｓ２０１，ＮＯ）メロディー発生装置５０でメロディーを発生し（Ｓ２０２）、スピーカ７０等でメロディーを出力する（Ｓ２０３）。
ステップＳ２０１でイベント情報を検知すれば（Ｓ２０１、ＹＥＳ）、そのイベント情報を画像タイミング管理手段４０に渡す（Ｓ２０４）。画像タイミング管理手段４０はイベントタイミング検知手段３０で検知したイベントタイミングで画像データの更新（コマ送り）タイミングを画像発生装置６０に指示して（Ｓ２０５）、画像を発生させ（Ｓ２０６）、表示用パネル８０に表示する（Ｓ２０７）。この場合、画像情報はタイミング管理手段４０で画像蓄積手段１０Ｂから取り込んで画像発生装置６０に渡してもよいが、画像発生装置６０がタイミング管理手段４０の指示で画像蓄積手段Ｂから直接取り込んでもよい。
【００１１】
図６は、メロディー及び画像同期情報作成装置において、公知のメロディーデータ作成装置で作成されたメロディデータ中にイベントを発生する情報を含ませるための処理を概略的に説明した図である。
ここでは、ＪＡＶＡ（登録商標）プログラム（動作スケジュール管理プログラム）のスケジュールをソフト処理して、メロディーに合わせた画像更新のタイミングで、イベント情報をメロディーデータ中に挿入する。
【００１２】
本発明は、メロディーデータ中にイベント情報を割り込ませておくことにより、そのイベント情報を検知し、その検知のタイミングで更新画像を発生させることで、本来非同期であるメロディー発生装置５０及び画像発生装置６０においてメロディーと画像の発生（再生）を同期して行うことができる。
また、この装置によれば、カラオケと振り付け画像の同期をとる際に、楽曲のテンポを変更しても、テンポの変更に従ってイベント発生のタイミングも楽曲のテンポに合わせて変更されるから、同期が崩れることはない。
【００１３】
【発明の効果】
本発明は、メロディーデータ中にイベント情報を割り込ませておくことにより、メロディー発生（再生）時にそのイベント情報を検知し、その検知のタイミングで画像を更新するため、本来非同期であるメロディー発生装置及び画像発生装置の同期をとることができ、とくに途中でメロディーのテンポを変更しても、それに伴ってイベント情報の検知タイミングも変更されるから、メロディーと画像とのズレが生じることがない。
本発明は簡単な構成でメロディーと画像の同期をとることができるから、いわゆる通信カラオケ等を手軽に楽しむことができる。
【図面の簡単な説明】
【図１】本発明のメロディー及び画像同期発生装置を概略的に示すブロック図である。
【図２】メロディデータ中にイベント情報を挿入したデータ列を示す。
【図３】メロディー及び画像同期発生装置の動作手順を説明するためのフロー図である。
【図４】本発明のメロディー及び画像同期発生装置の別の実施形態を示す図である。
【図５】図４に示す携帯端末における処理手順を説明したフローチャートである。
【図６】メロディデータ中にイベントを発生する情報を含ませるための処理を概略的に説明した図である。
【図７】ウオッチドタイマを用いて、メロディーと画像の発生タイミングを制御する場合に発生する両者のズレを示す図である。
【符号の説明】
１０・・・メロディー及び画像情報蓄積手段、２０・・・スケジュール作成手段、３０・・・イベントタイミング検出手段、４０・・・画像タイミング管理手段、５０・・・メロディー発生装置、６０・・・画像発生装置、７０・・・スピーカ、８０・・・表示パネル。
【図１】
2004144829.tif 000003
【図２】
2004144829.tif 000004
【図３】
2004144829.tif 000005
【図４】
2004144829.tif 000006
【図５】
2004144829.tif 000007
【図６】
2004144829.tif 000008
【図７】
2004144829.tif 000009