(57)【要約】【課題】表示される歌詞を参照できない場合であっても、手軽にカラオケ歌唱を行うことを可能とするカラオケ歌唱サポート装置を提供する。【解決手段】カラオケ演奏に伴ってカラオケ装置の表示部に表示される画像を撮影する撮影部、撮影された画像に含まれる歌詞の文字列を認識する文字認識部、第１の画像に含まれる文字列と、第１の画像よりも後のタイミングで撮影された第２の画像に含まれる文字列とを比較し、第２の画像に含まれる文字列に第１の画像には無い新たな文字列が含まれているかどうかを判定する判定部、新たな文字列が含まれている場合、当該新たな文字列を音声データに変換する音声データ変換部、新たな文字列に相当する音声データを出力させる音声出力処理部を有するカラオケ歌唱サポート装置。【選択図】図２
2018021941.tif 000002
【特許請求の範囲】
【請求項１】
カラオケ演奏に伴ってカラオケ装置の表示部に表示される画像を撮影する撮影部と、
撮影された画像に含まれる歌詞の文字列を認識する文字認識部と、
第１の画像に含まれる文字列と、前記第１の画像よりも後のタイミングで撮影された第２の画像に含まれる文字列とを比較し、前記第２の画像に含まれる文字列に前記第１の画像には無い新たな文字列が含まれているかどうかを判定する判定部と、
前記新たな文字列が含まれている場合、当該新たな文字列を音声データに変換する音声データ変換部と、
前記新たな文字列に相当する音声データを出力させる音声出力処理部と、
を有するカラオケ歌唱サポート装置。
【請求項２】
前記判定部は、前記第２の画像よりも後のタイミングで撮影された第３の画像に含まれる文字列に、前記第１の画像及び前記第２の画像の双方に含まれる共通の文字列が存在するかどうかを判定し、
前記音声出力処理部は、前記第３の画像に含まれる文字列に前記共通の文字列が存在しないと判定された場合に、前記新たな文字列に相当する音声データを出力させることを特徴とする請求項１記載のカラオケ歌唱サポート装置。
【請求項３】
前記判定部は、前記第２の画像よりも後のタイミングで撮影された第３の画像に含まれる文字列に、前記第１の画像及び前記第２の画像の双方に含まれる共通の文字列であって、且つ所定割合以上、色替えされた文字列が存在するかどうかを判定し、
前記音声出力処理部は、前記第３の画像に含まれる文字列に前記色替えされた文字列が存在すると判定された場合に、前記新たな文字列に相当する音声データを出力させることを特徴とする請求項１記載のカラオケ歌唱サポート装置。
【請求項４】
撮影部及び音声出力部を備えるコンピュータに対し、
前記撮影部に、カラオケ演奏に伴ってカラオケ装置の表示部に表示される画像を撮影させ、
撮影された画像に含まれる歌詞の文字列を認識させ、
第１の画像に含まれる文字列と、前記第１の画像よりも後のタイミングで撮影された第２の画像に含まれる文字列とを比較し、前記第２の画像に含まれる文字列に前記第１の画像には無い新たな文字列が含まれているかどうかを判定させ、
前記新たな文字列が含まれている場合、当該新たな文字列を音声データに変換させ、
前記音声出力部を介し、前記新たな文字列に相当する音声データを出力させる処理を行うカラオケ歌唱サポートプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカラオケ歌唱サポート装置、及びカラオケ歌唱サポートプログラムに関する。
【０００２】
カラオケ装置の表示部には、カラオケ楽曲の演奏に合わせて、当該楽曲の歌詞を背景映像に重ねた画像が表示される。利用者は、表示された歌詞を参照しながらカラオケ歌唱ができるため歌詞を暗記する必要が無く、手軽にカラオケ歌唱を行うことができる。
【０００３】
一方、目が不自由な利用者や、表示部が観にくい位置に座ってしまった利用者は、表示部に表示される歌詞を参照することが困難である。
【０００４】
ここで、特許文献１には、骨伝導を利用して歌詞を読み上げる歌唱アシスト機能を有するカラオケシステムが開示されている。また、特許文献２及び特許文献３には、音声合成を用いた歌詞の読み上げに関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２４２０５７号公報
【特許文献２】特開平１０−１６１６８３号公報
【特許文献３】特開平１１−１３３９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１のカラオケシステムの場合、骨伝導のための特殊な装置が必要となる。また、骨伝導を利用するため歌唱する態勢等に制約があり、煩雑である。また、特許文献２及び特許文献３の技術は、カラオケ装置専用のプログラムを開発する必要があるため、カラオケ店舗等に既に設置されているカラオケ装置において容易に利用することができない。すなわち、従来の技術では手軽にカラオケ歌唱を行うことが困難である。
【０００７】
本発明の目的は、表示される歌詞を参照できない場合であっても、手軽にカラオケ歌唱を行うことを可能とするカラオケ歌唱サポート装置及びカラオケ歌唱サポートプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するための主たる発明は、カラオケ演奏に伴ってカラオケ装置の表示部に表示される画像を撮影する撮影部と、撮影された画像に含まれる歌詞の文字列を認識する文字認識部と、第１の画像に含まれる文字列と、前記第１の画像よりも後のタイミングで撮影された第２の画像に含まれる文字列とを比較し、前記第２の画像に含まれる文字列に前記第１の画像には無い新たな文字列が含まれているかどうかを判定する判定部と、前記新たな文字列が含まれている場合、当該新たな文字列を音声データに変換する音声データ変換部と、前記新たな文字列に相当する音声データを出力させる音声出力処理部と、を有するカラオケ歌唱サポート装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
【発明の効果】
【０００９】
本発明によれば、表示される歌詞を参照できない場合であっても、手軽にカラオケ歌唱を行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係るカラオケ歌唱サポート装置のハードウェア構成例を示す図である。
【図２】第１実施形態に係るカラオケ歌唱サポート装置のソフトウェア構成例を示す図である。
【図３】第１実施形態に係る文字記憶部に記憶されているデータ例を示す図である。
【図４Ａ】第１実施形態に係る撮影部により撮影された画像に含まれる文字列を示す図である。
【図４Ｂ】第１実施形態に係る撮影部により撮影された画像に含まれる文字列を示す図である。
【図５】第１実施形態に係るカラオケ歌唱サポート装置の動作例を示すフローチャートである。
【図６】第２実施形態に係るカラオケ歌唱サポート装置のソフトウェア構成例を示す図である。
【図７】第２実施形態に係る音声データ記憶部に記憶されているデータ例を示す図である。
【図８Ａ】第２実施形態に係る撮影部により撮影された画像に含まれる文字列を示す図である。
【図８Ｂ】第２実施形態に係る撮影部により撮影された画像に含まれる文字列を示す図である。
【図８Ｃ】第２実施形態に係る撮影部により撮影された画像に含まれる文字列を示す図である。
【図９Ａ】第２実施形態に係る撮影部により撮影された画像に含まれる文字列を示す図である。
【図９Ｂ】第２実施形態に係る撮影部により撮影された画像に含まれる文字列を示す図である。
【図９Ｃ】第２実施形態に係る撮影部により撮影された画像に含まれる文字列を示す図である。
【発明を実施するための形態】
【００１１】
後述する明細書及び図面の記載から、上記の主たる発明の他、少なくとも以下の事項が明らかとなる。
【００１２】
すなわち、前記判定部は、前記第２の画像よりも後のタイミングで撮影された第３の画像に含まれる文字列に、前記第１の画像及び前記第２の画像の双方に含まれる共通の文字列が存在するかどうかを判定し、前記音声出力処理部は、前記第３の画像に含まれる文字列に前記共通の文字列が存在しないと判定された場合に、前記新たな文字列に相当する音声データを出力させるカラオケ歌唱サポート装置が明らかとなる。このようなカラオケ歌唱サポート装置によれば、新たな文字列の歌唱を開始するタイミング近傍で音声データとを出力することができる。
【００１３】
また、前記判定部は、前記第２の画像よりも後のタイミングで撮影された第３の画像に含まれる文字列に、前記第１の画像及び前記第２の画像の双方に含まれる共通の文字列であって、且つ所定割合以上、色替えされた文字列が存在するかどうかを判定し、前記音声出力処理部は、前記第３の画像に含まれる文字列に前記色替えされた文字列が存在すると判定された場合に、前記新たな文字列に相当する音声データを出力させるカラオケ歌唱サポート装置が明らかとなる。このようなカラオケ歌唱サポート装置によれば、新たな文字列の歌唱を開始するタイミング近傍で音声データとを出力することができる。
【００１４】
更に、撮影部を備えるコンピュータに対し、前記撮影部に、カラオケ演奏に伴ってカラオケ装置の表示部に表示される画像を撮影させ、撮影された画像に含まれる歌詞の文字列を認識させ、第１の画像に含まれる文字列と、前記第１の画像よりも後のタイミングで撮影された第２の画像に含まれる文字列とを比較し、前記第２の画像に含まれる文字列に前記第１の画像には無い新たな文字列が含まれているかどうかを判定させ、前記新たな文字列が含まれている場合、当該新たな文字列を音声データに変換させ、前記音声出力部を介し、前記新たな文字列に相当する音声データを出力させる処理を行うカラオケ歌唱サポートプログラムが明らかとなる。このようなカラオケ歌唱サポートプログラムによれば、表示される歌詞を参照できない場合であっても、手軽にカラオケ歌唱を行うことが可能となる。
【００１５】
＜第１実施形態＞
図１〜図５を参照して、第１実施形態に係るカラオケ歌唱サポート装置１について説明する。
【００１６】
＝＝カラオケ歌唱サポート装置＝＝
（ハードウェア構成）
カラオケ歌唱サポート装置１は、カラオケ歌唱の際に参照する歌詞を音声で利用者に提供するための装置である。カラオケ歌唱サポート装置１としては、利用者が所有する携帯端末（ノート型パーソナルコンピュータ、タブレット端末、スマートフォン等）を用いることができる。
【００１７】
図１に示すように、カラオケ歌唱サポート装置１は、撮影部１０、制御部２０、記憶部３０、音声出力部４０、操作部５０、表示部６０、通信部７０を備える。
【００１８】
撮影部１０は、カラオケ演奏に伴ってカラオケ装置の表示部に表示される画像を撮影するための構成である。撮影部１０は、携帯端末が備える撮像素子や撮像回路等をそのまま利用することができる。表示部に表示される画像は、背景映像に歌詞を重畳させた画像である。すなわち、画像には歌詞に相当する文字列が含まれる。また、この画像はカラオケ演奏に伴って変化する（文字列も変化する）。
【００１９】
制御部２０は、ＣＰＵ２０ａおよびメモリ２０ｂを備える。ＣＰＵ２０ａは、メモリ２０ｂに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリ２０ｂは、ＣＰＵ２０ａに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。記憶部３０は、各種のデータを記憶する大容量の記憶装置である。
【００２０】
音声出力部４０は、音声データに基づく音声を端末外部に出力するためのスピーカや、音声データを増幅するためのアンプ等である。なお、「音声」と「音声データ」は一対一に対応するため、以下の説明において同一視する場合がある。
【００２１】
利用者が本実施形態に係るカラオケ歌唱サポート装置１を使用する場合、音声出力部４０から出力される音声を聴きながらカラオケ歌唱を行う。この際、カラオケ歌唱の場ではカラオケ演奏音等が放音されているため、音声をスピーカから直接聴き取ることが困難な場合がある。従って、音声出力部４０からの音声は、イヤホン等を介して聴くことが好ましい。
【００２２】
操作部５０は、利用者がカラオケ歌唱サポート装置１に対して指示入力を行うための構成である。携帯端末においては、タッチパネル方式の表示部６０が操作部５０を兼ねるように構成してもよい。表示部６０は、撮影部１０により撮影された画像や、操作用のＧＵＩを表示させるためのディスプレイである。通信部７０は、サーバ（図示なし）と通信を行うためのインターフェースを提供する。
【００２３】
（ソフトウェア構成）
利用者は、携帯端末にサーバ（図示なし）から所定のアプリケーションソフトウェアをダウンロードする。このアプリケーションを起動することにより、所定のプログラム（カラオケ歌唱サポートプログラム）が実行される。アプリケーションを起動させると、カラオケ装置の表示部を撮影するための撮影モードが立ち上がる。利用者が操作部５０を介して撮影開始の指示入力を行うと、撮影部１０は、当該プログラムに基づいてカラオケ装置の表示部に表示される画像を順次撮影する。撮影部１０で撮影された画像（画像データ）は、文字認識部１００（後述）に出力される。なお、画像を撮影するタイミングは、所定時間毎であってもよいし、連続（動画）であってもよい。
【００２４】
図２はカラオケ歌唱サポート装置１のソフトウェア構成例を示す図である。カラオケ歌唱サポート装置１は、文字認識部１００、文字記憶部２００、判定部３００、音声データ変換部４００、音声出力処理部５００を備える。文字記憶部２００は、記憶部３０の記憶領域の一部として構成される。文字認識部１００、判定部３００、音声データ変換部４００、及び音声出力処理部５００は、制御部２０のＣＰＵがメモリに記憶されるプログラムを実行することにより実現される。なお、本実施形態に係るカラオケ歌唱サポート装置１は、少なくとも文字認識部１００、判定部３００、音声データ変換部４００、及び音声出力処理部５００を備えていればよい。
【００２５】
［文字認識部］
文字認識部１００は、撮影された画像に含まれる歌詞の文字列を認識する。文字認識に関しては、光学文字認識（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ：ＯＣＲ）に関する技術を応用することができる。具体例として、文字認識部２００は、撮影部１０から出力された一の画像を走査し、認識可能な文字列があるかどうかを判定する。次に、文字認識部１００は、認識可能と判定された文字列と記憶部３０に予め登録された基準文字データとを照合し、具体的な文字列を特定する。文字認識部１００は、認識した文字列をテキストデータ化し、当該文字列が含まれる画像に対応する画像ＩＤと関連付けて文字記憶部２００に出力する。
【００２６】
［文字記憶部］
文字記憶部２００は、文字認識部１００で認識された文字列を時系列に記憶する。図３は、文字記憶部２００に記憶されているデータの一例である。各文字列（テキストデータ）は、画像ＩＤと関連付けられたテーブル形式で時系列に記憶されている。
【００２７】
［判定部］
判定部３００は、第１の画像に含まれる文字列と、第１の画像よりも後のタイミングで撮影された第２の画像に含まれる文字列とを比較し、第２の画像に含まれる文字列に第１の画像には無い新たな文字列が含まれているかどうかを判定する。判定部３００による比較は、新たな画像が撮影された場合に実行される。たとえば、撮影部１０により画像Ｉ１、画像Ｉ２、画像Ｉ３の順で撮影されるとする。この場合、判定部３００は、画像Ｉ２が撮影された場合には、一つ前に撮影された画像Ｉ１に含まれる文字列と画像Ｉ２に含まれる文字列との比較を行い、画像Ｉ３が撮影された場合には、一つ前に撮影された画像Ｉ２に含まれる文字列と画像Ｉ３に含まれる文字列との比較を行う。また、新たな文字列が含まれているかどうかは、各文字列のテキストデータが一致するかどうかにより判定することができる。
【００２８】
［音声データ変換部］
音声データ変換部４００は、第２の画像に第１の画像には無い新たな文字列が含まれている場合、当該新たな文字列を音声データに変換する。文字列（テキストデータ）から音声データへの変換は公知の技術を用いることができる。
【００２９】
［音声出力処理部］
音声出力処理部５００は、新たな文字列に相当する音声データを出力させる。音声データの出力は音声出力部４０を介して行う。利用者は、イヤホン等を介して出力された音声データに基づく音声を聴くことにより、次に歌唱すべき歌詞を把握することができる。なお、本実施形態において、音声出力処理部５００は、新たな文字列に相当する音声データが入力されたタイミングで当該音声データを出力させる。
【００３０】
（カラオケ歌唱サポート装置の動作）
ここで、図４Ａ〜図５を参照して、本実施形態に係るカラオケ歌唱サポート装置１の動作例について説明を行う。
【００３１】
図４Ａ及び図４Ｂは、撮影部１０によって撮影された画像に含まれる文字列を示す図である。図４Ａに示す画像Ｉ１は、文字列Ｃ１及び文字列Ｃ２からなる歌詞が表示されている。図４Ｂに示す画像Ｉ２は、画像Ｉ１よりも後のタイミングで撮影されたものであり、文字列Ｃ２及び文字列Ｃ３からなる歌詞が表示されている。図４Ａの画像Ｉ１は、「第１の画像」の一例であり、図４Ｂの画像Ｉ２は、「第２の画像」の一例である。図５は、カラオケ歌唱サポート装置１の動作例を示すフローチャートである。なお、画像Ｉ１は、ある楽曲のカラオケ演奏開始後にはじめて表示された画像であるとする。
【００３２】
まず、撮影部１０は、カラオケ装置の表示部に表示された画像Ｉ１の撮影を行う（画像Ｉ１の撮影。ステップ１０）。撮影された画像Ｉ１は、文字認識部１００に出力される。
【００３３】
文字認識部１００は、ステップ１０で撮影された画像Ｉ１に含まれる歌詞の文字列Ｃ１、Ｃ２を認識する（文字列Ｃ１、Ｃ２の認識。ステップ１１）。文字認識部１００は、認識した文字列Ｃ１、Ｃ２を画像Ｉ１の識別子と関連付けて文字記憶部２００に出力する。
【００３４】
文字記憶部２００は、ステップ１１で認識された文字列Ｃ１、Ｃ２を記憶する（文字列Ｃ１、Ｃ２の記憶。ステップ１２）。
【００３５】
判定部３００は、文字記憶部２００から画像Ｉ１に含まれる文字列Ｃ１、Ｃ２を読み出す。ここで、この例において画像Ｉ１よりも前のタイミングで撮影された画像は存在しない。この場合、判定部３００は、文字列Ｃ１、Ｃ２を新たな文字列として判定する（新たな文字列の判定。ステップ１３）。判定部３００は、文字列Ｃ１、Ｃ２を音声データ変換部４００に出力する。
【００３６】
音声データ変換部４００は、ステップ１３で判定された新たな文字列Ｃ１、Ｃ２を音声データに変換する（文字列Ｃ１、Ｃ２を音声データに変換。ステップ１４）。音声データ変換部４００は、変換した音声データを音声出力処理部５００に出力する。
【００３７】
音声出力処理部５００は、ステップ１４で変換された文字列Ｃ１、Ｃ２に相当する音声データを出力させる（文字列Ｃ１、Ｃ２の音声データを出力。ステップ１５）。
【００３８】
次に、撮影部１０は、カラオケ装置の表示部に表示された画像Ｉ２の撮影を行う（画像Ｉ２の撮影。ステップ１６）。撮影された画像Ｉ２は、文字認識部１００に出力される。
【００３９】
文字認識部１００は、ステップ１６で撮影された画像Ｉ２に含まれる歌詞の文字列Ｃ２、Ｃ３を認識する（文字列Ｃ２、Ｃ３の認識。ステップ１７）。文字認識部１００は、認識した文字列Ｃ２、Ｃ３を画像Ｉ２の識別子と関連付けて文字記憶部２００に出力する。
【００４０】
文字記憶部２００は、ステップ１７で認識された文字列Ｃ２、Ｃ３を記憶する（文字列Ｃ２、Ｃ３の記憶。ステップ１８）。
【００４１】
新たな画像Ｉ２が撮影された場合、判定部３００は、新たな画像Ｉ２に含まれる文字列Ｃ２、Ｃ３（ステップ１８で記憶された文字列Ｃ２、Ｃ３）と、一つ前に撮影された画像Ｉ１に含まれる文字列Ｃ１、Ｃ２（ステップ１２で記憶された文字列Ｃ１、Ｃ２）とを文字記憶部２００から読み出す。そして、判定部３００は、画像Ｉ２に含まれる文字列に画像Ｉ１には無い新たな文字列が含まれているかどうかを判定する（新たな文字列の判定。ステップ１９）。この例では画像Ｉ２に新たな文字列Ｃ３が含まれている。この場合、判定部３００は、文字列Ｃ３を音声データ変換部４００に出力する。なお、新たな文字列が含まれていない場合には、特段の処理は行わない。判定部３００は、画像Ｉ２とその次のタイミングで撮影された画像に含まれる文字列について同様の処理を行う。
【００４２】
音声データ変換部４００は、ステップ１９で判定された新たな文字列Ｃ３を音声データに変換する（文字列Ｃ３を音声データに変換。ステップ２０）。音声データ変換部４００は、変換した音声データを音声出力処理部５００に出力する。
【００４３】
音声出力処理部５００は、ステップ２０で変換された新たな文字列Ｃ３に相当する音声データを出力させる（文字列Ｃ３の音声データを出力。ステップ２１）。カラオケ歌唱サポート装置１は、ある楽曲のカラオケ演奏が終了するまで上記処理を繰り返し行う。
【００４４】
このように、カラオケ歌唱サポート装置１によれば、歌詞を音声データとして出力することができる。また、カラオケ歌唱サポート装置１として利用者の携帯端末を利用することにより、従来からあるカラオケ装置をそのまま利用することができる。すなわち、本実施形態に係るカラオケ歌唱サポート装置１によれば、利用者がカラオケ装置の表示部に表示される歌詞を参照できない場合であっても、手軽にカラオケ歌唱を行うことが可能となる。
【００４５】
＜第２実施形態＞
図６〜図９Ｃを参照して、第２実施形態に係るカラオケ歌唱サポート装置１について説明する。第１実施形態と同様の構成については詳細な説明を省略する。
【００４６】
第１実施形態の構成において、音声出力処理部５００は、音声データ変換部４００から新たな文字列に相当する音声データが入力されたタイミングで当該音声データを出力させている。この場合、利用者がカラオケ歌唱行っているタイミングと音声データの出力とが重なる可能性がある。たとえば、第１実施形態の例において、利用者が文字列Ｃ２を歌唱している途中で文字列Ｃ３に相当する音声が出力されると、利用者の歌唱音声と文字列Ｃ３に相当する音声とが重なって聴こえてしまう。この場合、利用者は歌いながら音声の確認を行うこととなり、歌唱（或いは音声を聴くこと）に集中できない。また、出力される音声データは、次に歌唱すべき文字列に相当するため、当該文字列の歌唱を開始するタイミングで出力されることが好ましい。本実施形態では、音声データを出力するタイミングを調整する例について述べる。
【００４７】
図６はカラオケ歌唱サポート装置１のソフトウェア構成例を示す図である。カラオケ歌唱サポート装置１は、文字認識部１００、文字記憶部２００、判定部３００、音声データ変換部４００、音声出力処理部５００、音声データ記憶部６００を備える。文字記憶部２００、及び音声データ記憶部６００は、記憶部３０の記憶領域の一部として構成される。文字認識部１００、判定部３００、音声データ変換部４００、及び音声出力処理部５００は、制御部２０のＣＰＵがメモリに記憶されるプログラムを実行することにより実現される。なお、本実施形態に係るカラオケ歌唱サポート装置１は、少なくとも文字認識部１００、判定部３００、音声データ変換部４００、及び音声出力処理部５００を備えていればよい。
【００４８】
［音声データ記憶部］
音声データ記憶部６００は、音声データ変換部４００で変換された音声データを記憶する。本実施形態に係る音声データ変換部４００は、変換した音声データを音声データ記憶部６００に出力する。音声データ記憶部６００は、音声データを対応する文字列と関連付けて、一旦記憶する。図７は、音声データ記憶部６００に記憶されているデータの一例である。各音声データ（Ｍ１、Ｍ２・・・）は、対応する文字列と関連付けられたテーブル形式で時系列に記憶されている。
【００４９】
［判定部］
本実施形態に係る判定部３００は、音声データ記憶部６００に記憶された音声データを出力するタイミングを調整する機能を有する。以下、２つの具体例について説明を行う。
【００５０】
（具体例１）
１つ目の具体例として、判定部３００は、第２の画像よりも後のタイミングで撮影された第３の画像に含まれる文字列に、第１の画像及び第２の画像の双方に含まれる共通の文字列が存在するかどうかを判定する。具体的には、判定部３００は、第１の画像に含まれる文字列と第２の画像に含まれる文字列とを読み出して比較することで、双方に含まれる文字列の特定を行う。共通の文字列が特定された場合、判定部３００は、共通の文字列を第３の画像の文字列と比較し、共通の文字列が第３の画像の文字列に存在するかどうかを判定する。
【００５１】
また、音声出力処理部５００は、第３の画像に含まれる文字列に共通の文字列が存在しないと判定された場合に、新たな文字列に相当する音声データを出力させる。
【００５２】
図８Ａ〜図８Ｃは、撮影部１０によって撮影された画像に含まれる文字列を示す図である。図８Ａに示す画像Ｉ１は、文字列Ｃ１及び文字列Ｃ２からなる歌詞が表示されている。図８Ｂに示す画像Ｉ２は、画像Ｉ１よりも後のタイミングで撮影されたものであり、文字列Ｃ２及び文字列Ｃ３からなる歌詞が表示されている。図８Ｃに示す画像Ｉ３は、画像Ｉ２よりも後のタイミングで撮影されたものであり、文字列Ｃ３からなる歌詞が表示されている。図８Ａの画像Ｉ１は「第１の画像」の一例であり、図８Ｂの画像Ｉ２は「第２の画像」の一例であり、図８Ｃの画像Ｉ３は「第３の画像」の一例である。なお、画像Ｉ１は、ある楽曲のカラオケ演奏開始後にはじめて表示された画像であるとする。
【００５３】
第１実施形態で説明した処理により、文字列Ｃ１〜文字列Ｃ３はそれぞれ音声データに変換される。本実施形態において、これらの音声データは音声データ記憶部６００に一旦記憶される。
【００５４】
本実施形態に係る判定部３００は、画像Ｉ２と画像Ｉ３とを比較する際、画像Ｉ３に含まれる文字列に、画像Ｉ１及び画像Ｉ２の双方に含まれる共通の文字列が存在するかどうかを判定する。この例において、画像Ｉ１及び画像Ｉ２の双方に含まれる共通の文字列Ｃ２は、画像Ｉ３には含まれていない（図８Ｃ参照）。この場合、判定部３００は、文字列Ｃ２が画像Ｉ３に含まれていないという判定結果を音声出力処理部５００に出力する。
【００５５】
ここで、先のタイミングで撮影された画像Ｉ１及び画像Ｉ２に含まれていた文字列Ｃ２が、後のタイミングで撮影された画像Ｉ３に含まれていないということは、画像Ｉ３が撮影された時点において、文字列Ｃ２に対応する歌唱（カラオケ演奏）は終了していると考えられる。一方、画像Ｉ２及び画像Ｉ３に含まれている文字列Ｃ３は、文字列Ｃ２の次に歌唱されるべきものであるため、文字列Ｃ２が含まれない画像が撮影された時点で文字列Ｃ３に相当する音声データを出力することにより、利用者は文字列Ｃ３を歌唱するタイミングで音声を聴き取ることが可能となる。
【００５６】
そこで、音声出力処理部５００は、判定部３００からの判定結果に基づいて、画像Ｉ１及び画像Ｉ２の比較により得られた新たな文字列Ｃ３に基づく音声データを音声データ記憶部６００から読み出して出力させる。
【００５７】
このように、共通の文字列が含まれない画像が撮影された際に、当該共通の文字列と共に表示されている新たな文字列の音声データを出力することにより、当該文字列の歌唱を開始するタイミング近傍で音声データを出力することができる。
【００５８】
（具体例２）
２つ目の具体例として、判定部３００は、第２の画像よりも後のタイミングで撮影された第３の画像に含まれる文字列に、第１の画像及び第２の画像の双方に含まれる共通の文字列であって、且つ所定割合以上、色替えされた文字列が存在するかどうかを判定する。
【００５９】
カラオケ装置は、表示部に表示された文字列の色をカラオケ演奏に合わせて変化させる機能（カラオケ演奏される前に対応する文字列を白抜きで表示させ、カラオケ演奏された後に対応する文字列を青で表示させる等）を有している。「色替え」とは、このような機能により文字列の色が替わることをいう。また、所定割合は、次に歌唱する文字列に相当する音声データを出力するタイミングを決定するための値である。所定割合は任意の値を設定することができる。たとえば、連続する文字列Ａ、Ｂがある場合に、文字列Ａが全て色替えされると、次に文字列Ｂの歌唱が開始される。よって、所定割合として、１００％（前の文字列が全て色替えされた状態）を設定してもよい。或いは、文字列Ａ、Ｂを連続して歌唱する場合等、文字列Ａと文字列Ｂのインターバルが短い場合には、１００％色替えされた後では音声データの出力タイミングとして遅い場合もありうる。従って、たとえば、所定割合として８０％（前の文字列が８割以上、色替えされた状態）を設定してもよい。
【００６０】
音声出力処理部５００は、第３の画像に含まれる文字列に色替えされた文字列が存在すると判定された場合に、新たな文字列に相当する音声データを出力させる。
【００６１】
図９Ａ〜図９Ｃは、撮影部１０によって撮影された画像に含まれる文字列を示す図である。図９Ａに示す画像Ｉ１は、文字列Ｃ１及び文字列Ｃ２からなる歌詞が表示されている。図９Ｂに示す画像Ｉ２は、画像Ｉ１よりも後のタイミングで撮影されたものであり、文字列Ｃ２及び文字列Ｃ３からなる歌詞が表示されている。図９Ｃに示す画像Ｉ３は、画像Ｉ２よりも後のタイミングで撮影されたものであり、文字列Ｃ２、Ｃ３からなる歌詞が表示されている。図９Ｃにおけるハッチングは、色替えされている文字列を示す。図９Ａの画像Ｉ１は「第１の画像」の一例であり、図９Ｂの画像Ｉ２は「第２の画像」の一例であり、図９Ｃの画像Ｉ３は「第３の画像」の一例である。なお、画像Ｉ１は、ある楽曲のカラオケ演奏開始後にはじめて表示された画像であるとする。
【００６２】
第１実施形態で説明した処理により、文字列Ｃ１〜文字列Ｃ３はそれぞれ音声データに変換される。本実施形態において、これらの音声データは音声データ記憶部６００に一旦記憶される。
【００６３】
本実施形態に係る判定部３００は、画像Ｉ２と画像Ｉ３とを比較する際、画像Ｉ３に含まれる文字列に、画像Ｉ１及び画像Ｉ２の双方に含まれる共通の文字列であって、且つ所定割合以上、色替えされた文字列が存在するかどうかを判定する。この例において、画像Ｉ１及び画像Ｉ２の双方に含まれる共通の文字列Ｃ２は、画像Ｉ３において１００％色替えされている（図９Ｃ参照）。この場合、判定部３００は、文字列Ｃ２が所定割合以上、色替えされているという判定結果を音声出力処理部５００に出力する。
【００６４】
ここで、先のタイミングで撮影された画像Ｉ１及び画像Ｉ２に含まれていた文字列Ｃ２が、後のタイミングで撮影された画像Ｉ３で所定割合以上、色替えされているということは、画像Ｉ３が撮影された時点において、文字列Ｃ２に対応する歌唱（カラオケ演奏）は終了していると考えられる。一方、画像Ｉ２及び画像Ｉ３に含まれている文字列Ｃ３は、文字列Ｃ２の次に歌唱されるべきものであるため、文字列Ｃ２が所定割合以上、色替えされた画像が撮影された時点で文字列Ｃ３に相当する音声データを出力することにより、利用者は文字列Ｃ３を歌唱するタイミングで音声を聴き取ることが可能となる。
【００６５】
そこで、音声出力処理部５００は、判定部３００からの判定結果に基づいて、画像Ｉ１及び画像Ｉ２の比較により得られた新たな文字列Ｃ３に基づく音声データを音声データ記憶部６００から読み出して出力させる。
【００６６】
このように、共通の文字列が所定割合以上、色替えされた際に、当該共通の文字列と共に表示されている新たな文字列の音声データを出力することにより、当該文字列の歌唱を開始するタイミング近傍で音声データを出力することができる。
【００６７】
上記実施形態のプログラムが記憶された非一時的なコンピュータ可読媒体（non-transitory computer readable medium with an executable program thereon）を用いて、コンピュータにプログラムを供給することも可能である。なお、非一時的なコンピュータの可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、ＣＤ−ＲＯＭ（Read Only Memory）等がある。
【００６８】
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６９】
１  カラオケ歌唱サポート装置
１０  撮影部
１００  文字認識部
３００  判定部
４００  音声データ変換部
５００  音声出力処理部
【図１】
2018021941.tif 000003
【図２】
2018021941.tif 000004
【図３】
2018021941.tif 000005
【図４Ａ】
2018021941.tif 000006
【図４Ｂ】
2018021941.tif 000007
【図５】
2018021941.tif 000008
【図６】
2018021941.tif 000009
【図７】
2018021941.tif 000010
【図８Ａ】
2018021941.tif 000011
【図８Ｂ】
2018021941.tif 000012
【図８Ｃ】
2018021941.tif 000013
【図９Ａ】
2018021941.tif 000014
【図９Ｂ】
2018021941.tif 000015
【図９Ｃ】
2018021941.tif 000016