(57)【特許請求の範囲】
【請求項１】
動画情報と該画像情報に対応した文字情報を出力する再生部と、該再生部から出力された動画情報と文字情報を表示する表示部と、前記再生部から出力された文字情報を記憶する記憶部と、マイクロホンと、該マイクロホンから入力された音声を音声認識する音声認識回路と、該音声認識回路で認識された音声と前記記憶部に記憶される文字情報との比較に基づいて前記動画情報の表示速度を制御する制御手段を備えたことを特徴とする文字再生装置。
【請求項２】
複数の画像情報と該画像情報に対応した文字情報を出力する再生部と、該再生部から出力された画像情報と文字情報を表示する表示部と、前記再生部から出力された文字情報を記憶する記憶部と、マイクロホンと、該マイクロホンから入力された音声を音声認識する音声認識回路と、該音声認識回路で認識された音声と前記記憶部に記憶される文字情報との比較に基づいて前記画像情報の表示切替を制御する制御手段を備えたことを特徴とする文字再生装置。
【請求項３】
複数の文字情報を出力する再生部と、該再生部から出力された文字情報をスクロ−ル表示する表示部と、前記再生部から出力された文字情報を記憶する記憶部と、マイクロホンと、該マイクロホンから入力された音声を音声認識する音声認識回路と、該音声認識回路で認識された音声と前記記憶部に記憶される文字情報との比較に基づいて前記文字情報のスクロ−ル速度を制御する制御手段を備えたことを特徴とする文字再生装置。
【請求項４】
複数の文字情報を出力する再生部と、該再生部から出力された文字情報を分割して順次表示する表示部と、前記再生部から出力された文字情報を記憶する記憶部と、マイクロホンと、該マイクロホンから入力された音声を音声認識する音声認識回路と、該音声認識回路で認識された音声と前記記憶部に記憶される文字情報との比較に基づいて前記文字情報の表示送りを制御する制御手段を備えたことを特徴とする文字再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、表示される文字に同期して画像などの表示切替を行う文字再生装置に関する。
【０００２】
【従来の技術】
従来は、親が子供に本を読んで童話を聞かせていた。今日では、ＤＶＤを使用して童話を聞かせることが可能になった。この場合、ＤＶＤに童話の複数の静止画像や文字を記憶させて、これをＤＶＤプレーヤで読み取り、画像と字幕を表示させる。１つの静止画像に対する字幕を表示領域に全て表示することができない場合は、字幕を分割して表示する方法や、スクロールで表示させる方法がある。
【０００３】
また、ＤＶＤでは童話を静止画像でなく、動画にすることもできる。
【０００４】
【発明が解決しようとする課題】
しかしながら、読む速度に対する画像送りの調整が問題となった。カラオケであれば、一定の速度で表示させればよいが、童話は話し手の個性有る表現のために一定の速度で表示させることは困難である。
【０００５】
そこで、手動で静止画像や分割字幕の切り替えを行ったり、手動で動画やスクロール字幕の速度調整を行うことが考えられる。
【０００６】
しかしながら、分割字幕の数は本の場合と比較して多く、操作が増加し、話すことに集中することができないという問題がある。動画やスクロール字幕の速度調整をアップキー／ダウンキーで行うと、画面の移動の監視をすることになり、話すことに集中することができないという問題がある。
【０００７】
【課題を解決するための手段】
本発明の文字再生装置はかかる点に鑑みなされたもので、動画情報と該画像情報に対応した文字情報を出力する再生部と、該再生部から出力された動画情報と文字情報を表示する表示部と、前記再生部から出力された文字情報を記憶する記憶部と、マイクロホンと、該マイクロホンから入力された音声を音声認識する音声認識回路と、該音声認識回路で認識された音声と前記記憶部に記憶される文字情報との比較に基づいて前記動画情報の表示速度を制御する制御手段を備える。
【０００８】
また、複数の画像情報と該画像情報に対応した文字情報を出力する再生部と、該再生部から出力された画像情報と文字情報を表示する表示部と、前記再生部から出力された文字情報を記憶する記憶部と、マイクロホンと、該マイクロホンから入力された音声を音声認識する音声認識回路と、該音声認識回路で認識された音声と前記記憶部に記憶される文字情報との比較に基づいて前記画像情報の表示切替を制御する制御手段を備える。
【０００９】
また、複数の文字情報を出力する再生部と、該再生部から出力された文字情報をスクロール表示する表示部と、前記再生部から出力された文字情報を記憶する記憶部と、マイクロホンと、該マイクロホンから入力された音声を音声認識する音声認識回路と、該音声認識回路で認識された音声と前記記憶部に記憶される文字情報との比較に基づいて前記文字情報のスクロール速度を制御する制御手段を備える。
【００１０】
また、複数の文字情報を出力する再生部と、該再生部から出力された文字情報を分割して順次表示する表示部と、前記再生部から出力された文字情報を記憶する記憶部と、マイクロホンと、該マイクロホンから入力された音声を音声認識する音声認識回路と、該音声認識回路で認識された音声と前記記憶部に記憶される文字情報との比較に基づいて前記文字情報の表示送りを制御する制御手段を備える。
【００１２】
【発明の実施の形態】
本発明の実施例を図面に基づき説明する。本実施例の文字表示装置はＤＶＤプレーヤである。図１はＤＶＤプレーヤの要部の構成を示すブロック図である。（１）は制御回路であり、ＲＯＭ（２）に書き込まれたプログラムに基づいて各部を制御する。（３）はＲＡＭであり、字幕など、制御回路（１）の動作に必要な情報を記憶する。（４）ＤＶＤ再生部であり、画像情報と該画像情報に対応した文字情報を記憶するＤＶＤからこれらを読み取り、制御回路（１）に出力する。（５）入力部であり、ＤＶＤプレーヤの再生操作や表示操作を行う。（６）は音声認識回路であり、入力された音声の電気信号を文字認識してその結果を制御回路（１）に出力する。
【００１３】
（７）はスピーカであり、増幅回路（８）で増幅された制御回路（１）からの電気信号を音声に変換する。（９）はマイクロホンであり、音声を電気信号に変換し、その出力は増幅回路（１０）で増幅される。
【００１４】
（１１）は液晶の表示部であり、図２に示す如く、画像を表示する表示部（１１１）と字幕を表示する字幕表示部（１１２）を有する。
【００１５】
次に本発明の第１の実施例と第２の実施例を説明する。第１の実施例の画像は複数の静止画像を切り替えるものであり、字幕は分割字幕を切り替えるものである。第２の実施例の画像は動画であり、字幕はスクロールするものである。
【００１６】
図３は第１の実施例の制御回路（１）の動作を示すフローチャートである。図１において、Ａは静止画像の番号を示す変数であり、制御回路（１）内のレジスタに記憶される。静止画像の数はＡ＝１からＡ＝maxAまでのmaxA枚ある。夫々の静止画像に対応する字幕は字幕表示部（１１２）に表示可能な文字数単位で分割される。Ｂは夫々の静止画像に於ける分割字幕の番号を示す変数であり、制御回路（１）内のレジスタに記憶される。従って、分割字幕の指定は（Ａ，Ｂ）で示される。例えば、（２，３）は２番目の静止画像に対応する３番目の分割字幕となる。Ａ番目の静止画像に対応する分割字幕の枚数は（最大のＢは）maxB（A）である。
【００１７】
初期の変数Ａは１であり、初期の変数Ｂは１である（Ｓ１）。制御回路（１）は（Ａ）番の画像を表示し（Ｓ２）、（Ａ，Ｂ）番の字幕を表示する。字幕の表示は登場人物や歌手などに対応して色分けする。そして、制御回路（１）は、入力部（５）から字幕送りの操作があったか否か（Ｓ４）、マイクロホン（９）からの音声を認識した文字と表示されている全ての字幕とを比較して所定の閾値でもって一致するか否か（Ｓ５）、入力部（５）から画像送りの操作があったか否か（Ｓ６）、入力部（５）から画像戻しの操作があったか否か（Ｓ７）、入力部（５）から字幕戻しの操作があったか否か（Ｓ８）を監視する。
【００１８】
ステップＳ４で字幕送りの操作があると、制御回路（１）は分割字幕が表示している画像の最終字幕でなければ（Ｓ９のＮ）、次の字幕を表示させる（Ｓ１０，Ｓ３）。最終字幕であれば（Ｓ９のＹ）、表示している画像が最終画像でないことを確認したうえで（Ｓ１１のＮ）、次の画像とその画像に対応する最初の分割字幕を表示させる（Ｓ１２，Ｓ２，Ｓ３）。
【００１９】
ステップＳ５で表示字幕が音声認識文字と一致すれば（Ｓ５のＹ）、即ち、表示字幕を読み終われば、ステップ９に進んで、字幕送りの操作と同じ動作を行う。
【００２０】
ステップＳ６で画像送りが操作されると、制御回路（１）はステップＳ１１に進む。ステップＳ７で画像戻しが操作されると、制御回路（１）は表示している画像が最初の画像でないことを確認したうえで（Ｓ１３のＮ）、前の画像とその画像に対応する最終の分割字幕を表示させる（Ｓ１４，Ｓ２，Ｓ３）。ステップＳ８で字幕戻しが操作されると、制御回路（１）は分割字幕が表示している画像の最初の字幕でなければ（Ｓ１５のＮ）、前の字幕を表示させる（Ｓ１６，Ｓ３）。最初の字幕であれば（Ｓ１５のＹ）、ステップＳ１３に進む。
【００２１】
このように、使用者が話した言葉を音声認識し、字幕と比較することにより、自動的に分割字幕と静止画像を話し速度に合わせて切り替えることができる。
【００２２】
また、字幕の表示は登場人物や歌手などに対応して色分けするために、使用者は登場人物や歌手を判別しやすい。
【００２３】
図４は第２の実施例の制御回路（１）の動作を示すフローチャートである。第２の実施例の動画であり、字幕はスクロールするものである。制御回路（１）は標準速度でスクロールされるときの文字の表示時間の１／３単位で、マイクロホンからの音声を認識した文字と字幕との一致と、一致を検出した時間を記憶する（Ｓ２１）。これにより、話す言葉の位置と話し速度を検出する。制御回路（１）は、字幕と文字認識の７０％以上が一致すると判定すると（Ｓ２２のＹ）、話し速度に合わせて字幕のスクロール速度と動画の速度を制御する。
【００２４】
ステップＳ２２で字幕と文字認識の７０％以上が一致しないと、字幕のスクロールと動画の送りを一時停止させ、不一致している字幕を点滅させ（Ｓ２４）、ステップＳ２１に戻る。
【００２５】
このように、使用者が話した言葉を音声認識し、字幕と比較することにより、自動的にスクロール字幕と動画の表示速度を話し速度に合わせて制御することができる。
【００２６】
尚、上記の実施例の図２の画面は物語であるが、本発明はカラオケにも適用させることができる。また、画像はない、文字だけの表示装置装置にも適用させることができる。
【００２７】
【発明の効果】
上述の如く、本願発明は、使用者が話した言葉を音声認識し、字幕と比較することにより、自動的に分割字幕と静止画像を話し速度に合わせて切り替えたり、自動的にスクロール字幕と動画の表示速度を話し速度に合わせて制御する。これにより、画像や字幕の切り替えや速度調整操作が不要となり、使用者は字幕を話すことに集中することができる。
【図面の簡単な説明】
【図１】本発明の要部の構成を示すブロック図である。
【図２】表示部を示す図である。
【図３】本発明の第１の実施例を示すフローチャートである。
【図４】本発明の第２の実施例を示すフローチャートである。
【符号の説明】
１  制御回路
４  ＤＶＤ再生装置
６  音声認識回路
９  マイクロホン
１１  表示部
１１１  画像表示部
１１２  字幕表示部
【図１】
0003954884.tif 000002
【図２】
0003954884.tif 000003
【図３】
0003954884.tif 000004
【図４】
0003954884.tif 000005