(57)【要約】【課題】音声入力のタイミングが正しいか否かを表示することができ、また、タイミングをずらして音声入力された場合にも、歌唱者がこのずれを修正しやすいようにテロップを表示することができるテロップ表示装置を提供する。【解決手段】楽曲の歌詞の字幕６２を上下に分割してモニタ６０に表示し、正しい発声タイミングを歌唱者２に知らせるために、楽曲の進行に応じて、字幕６２の文字の上側部分であるガイド表示部６２１の色彩を青色に変化させ、音声入力されたタイミングに応じて、下側部分である入力結果表示部６２２の色彩を赤色に変化させた。【選択図】図２
2007292922.tif 000002
【特許請求の範囲】
【請求項１】
字幕を表示する字幕表示部と、
前記字幕の表示文字の発声タイミングを、前記字幕の表示文字と対応させてガイド表示するガイド表示部と、
音声入力される音声入力部と、
前記音声入力された入力タイミングの結果を、前記字幕の表示文字と対応させて表示する入力結果表示部と、
を備えるテロップ表示装置。
【請求項２】
請求項１に記載のテロップ表示装置において、
前記音声入力を文字情報に変換する音声文字変換部と、
前記字幕の表示文字の文字情報を記憶する文字情報記憶部と、
前記音声文字変換部が変換した文字情報の文字種別と、前記文字情報記憶部の文字情報の文字種別とが一致している場合に、前記入力タイミングの結果を、前記入力結果表示部に表示する制御部とを備えること、
を特徴とするテロップ表示装置。
【請求項３】
請求項２に記載のテロップ表示装置において、
前記字幕の表示文字の前記発声タイミングを記憶する発声タイミング記憶部を備え、
前記制御部は、前記入力タイミングの結果と前記発声タイミング記憶部の前記発声タイミングとが一致している場合に、前記入力タイミングの結果を、前記入力結果表示部に表示すること、
を特徴とするテロップ表示装置。
【請求項４】
請求項１から請求項３までのいずれか１項に記載のテロップ表示装置において、
前記字幕表示部は、前記字幕を分割表示し、
前記ガイド表示部は、分割表示された前記字幕の一部分であり、
前記入力結果表示部は、前記字幕の前記ガイド表示部とは異なる部分であること、
を特徴とするテロップ表示装置。
【請求項５】
請求項４に記載のテロップ表示装置において、
前記ガイド表示部及び前記入力結果表示部は、前記発声タイミング及び前記入力タイミングの結果に応じて、色彩が変化すること、
を特徴とするテロップ表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テロップを生成し表示部に表示するテロップ表示装置に関するものである。
【背景技術】
【０００２】
従来から、カラオケシステムは、歌唱者に発声のタイミングを表示するために、楽曲の進行に応じて、テロップの色を変化させるテロップ表示装置を備えるものがあった（例えば、特許文献１）。
しかし、従来のテロップ表示装置は、発声すべきタイミングをテロップに表示するものであるため、歌唱者は、実際に発声したタイミングがずれたり、テロップを読み違えても気付かずに、歌い続けてしまう場合があるという問題があった。
【特許文献１】特開平９−３０７８１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明の課題は、音声入力のタイミングが正しいか否かを表示することができ、また、タイミングをずらして音声入力された場合にも、歌唱者がこのずれを修正しやすいようにテロップを表示することができるテロップ表示装置を提供することである。
【課題を解決するための手段】
【０００４】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施例に対応する符号を付して説明するが、これに限定されるものではない。
請求項１の発明は、字幕（６２）を表示する字幕表示部（６１Ａ〜６１Ｃ）と、前記字幕（６２）の表示文字の発声タイミングを、前記字幕（６２）の表示文字と対応させてガイド表示するガイド表示部（６２１）と、音声入力される音声入力部（２０）と、前記音声入力された入力タイミングの結果を、前記字幕（６２）の表示文字と対応させて表示する入力結果表示部（６２２）と、を備えるテロップ表示装置である。
【０００５】
請求項２の発明は、請求項１に記載のテロップ表示装置において、前記音声入力を文字情報に変換する音声文字変換部（４３）と、前記字幕（６２）の表示文字の文字情報を記憶する文字情報記憶部（３２）と、前記音声文字変換部（４３）が変換した文字情報の文字種別と、前記文字情報記憶部（３２）の文字情報の文字種別とが一致している場合に、前記入力タイミングの結果を、前記入力結果表示部（６２２）に表示する制御部（４０）とを備えること、を特徴とするテロップ表示装置である。
請求項３の発明は、請求項２に記載のテロップ表示装置において、前記字幕（６２）の表示文字の前記発声タイミングを記憶する発声タイミング記憶部を備え、前記制御部（４０）は、前記入力タイミングの結果と前記発声タイミング記憶部の前記発声タイミングとが一致している場合に、前記入力タイミングの結果を、前記入力結果表示部（６２２）に表示すること、を特徴とするテロップ表示装置である。
請求項４の発明は、請求項１から請求項３までのいずれか１項に記載のテロップ表示装置において、前記字幕表示部（６１Ａ〜６１Ｃ）は、前記字幕（６２）を分割表示し、前記ガイド表示部（６２１）は、分割表示された前記字幕（６２）の一部分であり、前記入力結果表示部（６２２）は、前記字幕（６２）の前記ガイド表示部（６２１）とは異なる部分であること、を特徴とするテロップ表示装置である。
請求項５の発明は、請求項４に記載のテロップ表示装置において、前記ガイド表示部（６２１）及び前記入力結果表示部（６２２）は、前記発声タイミング及び前記入力タイミングの結果に応じて、色彩が変化すること、を特徴とするテロップ表示装置である。
【発明の効果】
【０００６】
本発明によれば、以下の効果を奏することができる。
（１）本発明は、正しい発声タイミングと音声入力された入力タイミングの結果とを、字幕の表示文字に対応させて表示するため、両者のずれを比較しやすく表示できるので、発声者は、正しいタイミングで発声しているか否かを、容易に確認することができ、また、タイミングがずれていた場合にも、ずれを容易に修正することができる。
【０００７】
（２）本発明は、音声入力された文字情報の文字種別と文字情報記憶部の文字情報の文字種別とが一致しているかを判定するので、両者が一致している場合にのみ、入力タイミングの結果を表示することができる。これにより、発声者は、字幕を読み違え箇所を確認することができる。
【０００８】
（３）本発明は、音声入力の入力タイミングと発声タイミング記憶部の発声タイミングとが一致しているかを判定するので、両者が一致している場合にのみ、入力タイミングの結果を表示することができる。これにより、発声者は、タイミングをずらして発声した箇所を、発声した後でも確認することができる。
【０００９】
（４）本発明は、字幕を分割して、ガイド表示部、入力結果表示部をそれぞれ設けるので、字幕、発声タイミング、入力タイミングの結果を、比較しやすく表示することができる。
【００１０】
（５）本発明は、ガイド表示部及び入力結果表示部が、発声タイミング及び入力タイミングの結果に応じて色彩が変化するので、発声タイミング、入力タイミングの結果を、視認性を向上させて表示することができる。
【発明を実施するための最良の形態】
【００１１】
本発明は、音声入力のタイミングが正しいか否かを表示することができ、また、タイミングをずらして音声入力された場合にも、歌唱者がこのずれを修正しやすいようにテロップを表示することができるテロップ表示装置を提供するという目的を、楽曲の歌詞の字幕を上下に分割してモニタに表示し、楽曲の進行に応じて、字幕の文字の上側部分であるガイド表示部の色彩を青色に変化させ、音声入力されたタイミングに応じて、字幕の文字の下側部分である入力結果表示部の色彩を赤色に変化させることによって実現した。
【実施例】
【００１２】
以下、図面等を参照して、本発明のテロップ表示装置の実施例をあげて、さらに詳しく説明する。
図１は、本実施例のカラオケシステム１（テロップ表示装置）のブロック図であり、図２は、モニタ６０の表示映像の一例を示す図である。
図１に示すように、カラオケシステム１は、操作部１０と、マイク２０（音声入力部）と、記憶部３０と、制御部４０と、駆動回路５０と、モニタ６０（表示部）と、スピーカ７０とを備えている。
【００１３】
操作部１０は、カラオケシステム１を動作させるために歌唱者２等が操作するためのものであり、例えば、記憶部３０に記憶された楽曲の番号を入力するテンキー、演奏をスタートさせるためスタートボタン等を備えている。
マイク２０は、歌唱者２が音声を入力するための、例えば、コンデンサマイク等である。
【００１４】
記憶部３０は、カラオケシステム１に必要な情報を記憶するための記憶装置であり、例えば、ハードディスク等である。記憶部３０は、字幕映像記憶部３１と、文字情報記憶部３２と、背景動画情報記憶部３３と、音楽情報記憶部３４とを備えている。
字幕映像記憶部３１は、モニタ６０に表示する字幕６２（図２参照）の映像情報を記憶するための記憶部である。この字幕６２の映像情報は、正しい発声タイミング（つまり、楽曲がスタートしてからの経過時間に応じて発声すべき歌詞のタイミング）に応じて、字幕６２の文字の上側部分（後述するガイド表示部６２１）が、白色から青色に変化するものである。
【００１５】
文字情報記憶部３２は、字幕６２の表示文字の文字情報を記憶するための記憶部である。つまり、字幕映像記憶部３１が字幕６２を映像情報として記憶しているのに対して、文字情報記憶部３２は、字幕６２を文字情報として記憶している。文字情報記憶部３２が記憶する文字情報は、文字種別が分別されたものであり、例えば、テキストデータ、字幕６２の文字を発声した場合の波形データ等である。
背景動画情報記憶部３３は、モニタ６０に表示する背景動画の情報を記憶するための記憶部であり、本実施例では、図２に示す鳥６３、人物６４等の動画情報を記憶している。
音楽情報記憶部３４は、カラオケの演奏音楽の情報（例えば、ＭＩＤＩデータ等）を記憶するための記憶部である。
【００１６】
制御部４０は、カラオケシステム１を統括的に制御するための制御部であり、例えば、ＣＰＵ（中央処理装置）等から構成される。制御部４０は、表示部制御部４１と、音声制御部４２と、音声文字変換部４３と、判定部４４と、テロップ生成部４５とを備え、これらがバスライン４６で互いに接続され、必要に応じて情報の伝達を行っている。
表示部制御部４１は、モニタ６０の表示を統括的に制御するための制御部である。表示部制御部４１は、楽曲の経過時間に応じて背景動画情報記憶部３３の動画情報を読み出し、この動画情報とテロップの映像情報（後述する）とを合成し、駆動回路５０に出力する。
【００１７】
音声制御部４２は、カラオケシステム１の音声入出力を統括的に制御するための制御部である。音声制御部４２は、楽曲の経過時間に応じて音楽情報記憶部３４の演奏音楽の情報を読み出し、また、マイク２０への音声入力にエコー等の必要な処理をする。音声制御部４２は、読み出した演奏音楽の情報と処理をした音声入力とを合成して、駆動回路５０に出力する。
【００１８】
音声文字変換部４３は、マイク２０への音声入力を文字情報に変換するための制御部である。音声文字変換部４３は、例えば、音声入力の波形から、音声入力された音声の文字種別を認識し、文字情報に変換する。
判定部４４は、文字情報記憶部３２から文字情報を読み出して、この文字情報の文字種別と音声文字変換部４３で変換された文字情報の文字種別とが一致しているか否かを判定するための制御部である。つまり、判定部４４は、歌唱者２が字幕６２に表示された文字通りに発声したかを判定する。判定部４４は、この判定結果をテロップ生成部４５に伝達する。
なお、文字情報記憶部３２の文字情報が波形データである場合、判定部４４は、この波形データと、マイク２０への音声入力の波形とを直接比較することにより、前述した判定を、迅速に行うことができる。
【００１９】
テロップ生成部４５は、テロップの映像情報の生成を行うための制御部である。テロップ生成部４５は、楽曲の時間経過にともなって、字幕映像記憶部３１の映像情報を読み出し、モニタ６０の字幕６２を変更する。また、前述した文字種別が一致しているとの判定結果を判定部４４から受け取った場合、テロップ生成部４５は、マイク２０への入力タイミングの結果を表示するために、字幕６２の入力結果表示部６２２（図２参照）の色彩が白色から赤色になるように、字幕６２の映像情報を加工する。テロップ生成部４５は、このように加工して生成したテロップの映像情報を、表示部制御部４１に伝達する。
【００２０】
駆動回路５０は、表示部駆動回路５１と、音声駆動回路５２とを備えている。
表示部駆動回路５１は、制御部４０から出力された映像情報に必要な処理（例えば、デジタル情報からアナログ情報への変換（Ｄ／Ａ変換）等）をして、モニタ６０に出力するための電気回路である。
音声駆動回路５２は、制御部４０から出力された音声情報に必要な処理（例えば、Ｄ／Ａ変換、電気信号の増幅等）をして、スピーカ７０に出力するための電気回路である。
【００２１】
モニタ６０は、図２に示すように、字幕６２を字幕表示部６１に表示し、また、字幕表示部６１以外の範囲に背景動画（鳥６３、人物６４等）等を表示するための表示装置であり、例えば、ＬＣＤ（液晶表示装置）等である。
図２に示す場面では、３行の字幕表示部６１Ａ〜６１Ｃがモニタ６０に表示され、それぞれ「やまに」、「ひが」、「しずむ」の字幕６２が表示されている。字幕表示部６１には、字幕６２が上下に分割表示され、分割表示された字幕６２の上側部分（分割表示された字幕６２の一部分）がガイド表示部６２１であり、その下側部分（分割表示された字幕６２のうち、ガイド表示部６２１とは異なる部分）が入力結果表示部６２２である。なお、モニタ６０上の字幕表示部６１の位置は、背景動画、字幕の大きさ等に応じて、変更してもよい。
【００２２】
ガイド表示部６２１には、字幕映像記憶部３１の映像情報が、加工されずに表示される。このため、ガイド表示部６２１は、楽曲の進行に応じた正しい発声タイミングに応じて、色彩が白色から青色に変化し、歌唱者２が発声すべき発声タイミングが、字幕６２の表示文字に対応してガイド表示される。例えば、図２は、字幕表示部６１Ｃの「し」の上側部分であるガイド表示部６２１が青色に変化した場面であり、歌唱者２が「し」と発声すべき発声タイミングが、字幕６２の表示文字「し」に対応してガイド表示されている。
【００２３】
入力結果表示部６２２には、マイク２０に入力された音声入力の入力タイミングの結果が、字幕６２の表示文字に対応して表示される。すなわち、歌唱者２が字幕６２に表示された文字を発声すると、この文字に対応した入力結果表示部６２２の色彩が白色から赤色に変化する。例えば、図２は、字幕表示部６１Ｃの「ひ」の下側部分であるガイド表示部６２２が赤色に変化した場面であり、歌唱者２が「ひ」と音声入力した入力タイミングの結果が、字幕６２の表示文字「ひ」に対応して表示されている。
【００２４】
スピーカ７０は、音声駆動回路５２の出力に応じて、マイク２０への音声入力と音楽情報記憶部３４の演奏情報とを、実際に音声出力するための部材である。
【００２５】
次に、カラオケシステム１の動作について説明する。
図３は、本実施例のカラオケシステム１のテロップ表示処理のフローチャートである。
最初に、ステップＳ１において、歌唱者２等による操作部１０の操作に応じて、制御部４０は、一連の処理をスタートする。
【００２６】
ステップＳ２において、楽曲の経過時間に応じて、表示部制御部４１は、背景動画情報記憶部３３の動画情報を読み出し、テロップ生成部４５は、字幕映像記憶部３１の字幕６２の映像情報を読み出す。表示部制御部４１は、背景動画の情報と字幕６２の映像情報とを合成して表示部駆動回路５１に出力し、モニタ６０に映像を映し出す。
ステップＳ３において、ガイド表示部６２１には、経過時間に応じて字幕映像記憶部３１の映像情報が映し出され、正しい発声タイミングに応じて、ガイド表示部６２１の文字が白色から青色に変化する。
【００２７】
ステップＳ４において、歌唱者２によってマイク２０に音声が入力されると、ステップＳ５において、音声文字変換部４３は、マイク２０への音声入力を文字情報に変換する。
ステップＳ６において、判定部４４は、変換された文字情報の文字種別と文字情報記憶部３２の文字情報の文字種別とが一致しているかを判定し、判定結果をテロップ生成部４５に伝達する。両者が一致していると判定された場合（ステップＳ６：ＹＥＳ）、テロップ生成部４５は、ステップＳ７に進み、一方、不一致である場合（ステップＳ６：ＮＯ）、ステップＳ３からの動作を繰り返す。
【００２８】
ステップＳ７において、テロップ生成部４５は、入力タイミングの結果に応じて、入力結果表示部６２２の色彩が白色から赤色になるように、字幕６２の映像情報を加工してテロップの映像情報を生成する。テロップ生成部４５は、テロップの映像情報を表示部制御部４１に伝達し、表示部制御部４１は、テロップの映像情報と背景動画の情報とを合成する。合成された情報は、表示部駆動回路５１を介して、モニタ６０に出力される。
【００２９】
カラオケシステム１は、以上の処理によりテロップの映像情報を生成し、図２に示すように、正しい発声タイミングと音声入力の入力タイミングの結果とを、字幕６２の表示文字と対応させてモニタ６０に表示する。この表示は、歌唱者２がマイク２０に音声入力したとほぼ同時に行われ、歌唱者２は、発声タイミングが正しいか否かを、確認することができる。例えば、図２の状態では、「し」のガイド表示部６２１が青色に変化しているのに対して、「ひ」の入力結果表示部６２２が赤色に変化しており、正しい発声タイミングに対して歌唱者２の入力タイミングが遅れていることが、一目瞭然である。
また、歌唱者２は、これらの表示を視認することにより、タイミングのずれを容易に修正することができる。すなわち、ガイド表示部６２１よりも入力結果表示部６２２の表示の方が遅れている場合には、歌唱タイミングを早くするように修正すればよいし、逆に、進んでいる場合には、歌唱タイミングを遅くするように修正すればよい。
【００３０】
さらに、判定部４４が、入力された音声の文字種別を識別しているので、歌唱者２は、発声した歌詞が間違っていないかを確認することができる。図２の状態では、「やまに」を発声すべきところを、歌唱者２が読み違えて「やまへ」と発声しているため（図１参照）、「に」の入力結果表示部６２２が白色のままである。これにより、歌唱者２は、間違った歌詞で歌唱してしまったことを確認することができ、例えば、次回、歌唱するときには、この部分を注意して歌唱すればよい。
【００３１】
ステップＳ８において、制御部４０は、楽曲の残り時間が有ると判断した場合には（ステップＳ８：ＹＥＳ）、ステップＳ３からの処理を繰り返し、残り時間がないと判断した場合には（ステップＳ８：ＮＯ）、ステップＳ９に進み、一連の処理を終了する。
【００３２】
以上説明したように、本実施例のカラオケシステム１は、字幕６２を分割表示して、ガイド表示部６２１、入力結果表示部６２２を設け、発声タイミングと音声入力の入力タイミングの結果に応じて、これらの表示部の色彩を変化させる。これにより、カラオケシステム１は、字幕６２、発声タイミング、入力タイミングの結果を、歌唱者２（発声者）に分かりやすく表示することができ、また、歌唱者２は、ずれたタイミングで歌唱している場合にも、このずれを容易に修正することができる。
【００３３】
（変形例）
以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
（１）本実施例において、制御部の判定部等は、歌唱者が字幕の表示文字通りに発声した場合のみ、入力結果表示部の色彩を赤色に変更する例を示したが、これに限定されない。例えば、判定部等は、音声入力の入力タイミングの結果が正しいかを判定し、タイミングが正しい場合に、入力結果表示部の色彩を赤色に変更してもよい。この場合、字幕の表示文字の発声タイミングを記憶する記憶部（発声タイミング記憶部）を新たに設け、判定部等が、入力タイミングと記憶された発声タイミングとを比較すればよい。これにより、カラオケシステムは、入力タイミングが正しい場合のみ、入力タイミングの結果を表示することができるので、歌唱者は、発声タイミング通りに発声できなかった箇所を、発声した後でも確認することができる。
【００３４】
（２）本実施例において、ガイド表示部及び入力結果表示部は、字幕を分割して設けられた例を示したが、これに限定されない。例えば、ガイド表示部及び入力結果表示部は、字幕よりも上側及び下側にそれぞれ表示された指標（例えば、矢印等の記号）であり、これらの指標が発声タイミング及び入力結果に応じて移動するものであってもよい。この場合、字幕の色彩を変更する必要がないので、制御部は、画像処理を容易に行うことができる。
【図面の簡単な説明】
【００３５】
【図１】本発明を適用したカラオケシステムの実施例のブロック図である。
【図２】本実施例のモニタの表示映像の一例を示す図である。
【図３】本実施例のカラオケシステムのテロップ表示処理のフローチャートである。
【符号の説明】
【００３６】
１    カラオケシステム
２    歌唱者
２０    マイク
３０    記憶部
３１    字幕映像記憶部
３２    文字情報記憶部
３４    音楽情報記憶部
４０    制御部
４１    表示部制御部
４２    音声制御部
４３    音声文字変換部
４４    判定部
４５    テロップ生成部
６０    モニタ
６１    字幕表示部
６２    字幕
７０    スピーカ
６２１    ガイド表示部
６２２    入力結果表示部
【図１】
2007292922.tif 000003
【図２】
2007292922.tif 000004
【図３】
2007292922.tif 000005