(57)【特許請求の範囲】
【請求項１】
発声するべき音声の音質毎に色分けされた字幕スーパーが意図的に挿入された放送受信信号またはビデオ再生信号を受信して、映像信号と音声信号に分離して出力するチューナと、
前記映像信号から前記字幕スーパーを抽出する字幕抽出手段と、
抽出した前記字幕スーパーに含まれる文字列をリアルタイムに認識し、認識した前記文字列に対応する文字コードの列を含む文字情報を出力する文字認識手段と、
前記認識した文字情報に対し、拡大、変形、彩色等の加工を施すための付加情報を付加する文字加工手段と、
前記付加情報が付加された文字情報に基づき前記文字列を出力する出力手段と、
前記出力手段から出力された前記文字列を表示する表示手段と、
前記抽出された字幕スーパーの色情報を取得する色情報抽出手段と、
前記色情報に対して予め設定されている音質を使用して、前記文字認識手段にて認識された文字コードを音声合成し、合成した音声の信号を出力する音声合成手段と、
前記音声合成手段から出力された前記音声の信号を発音する発音手段と、
を備えることを特徴とする字幕抽出装置。
【請求項２】
前記出力手段は、点字出力手段に前記文字情報を与え点字出力させる点字キーボードであることを特徴とする請求項１に記載の字幕抽出装置。
【請求項３】
前記出力手段は、点字プリンタであることを特徴とする請求項１に記載の字幕抽出装置。
【請求項４】
前記文字情報から指定されたキーワードを検出することにより、該キーワードが出現するシーンを自動判定する判定手段と、
前記判定手段にて前記キーワードが検出されたシーンの出現時刻を記録手段に記録させる記録制御手段と
をさらに備えることを特徴とする請求項１に記載の字幕抽出装置。
【請求項５】
前記判定手段にて前記キーワードが検出されたシーンを録画手段に録画させる録画制御手段を備える
ことを特徴とする請求項４に記載の字幕抽出装置。
【請求項６】
予め定められた番組開始文字列および番組終了文字列を検出し、該検出文字列に従って録画手段に番組録画予約または番組録画の命令を与える制御手段をさらに備えることを特徴とする請求項１に記載の字幕抽出装置。
【請求項７】
予め定められた住所または郵便番号の文字列を検出し、該検出文字列を印刷手段に印刷させる制御手段をさらに備えることを特徴とする請求項１に記載の字幕抽出装置。
【請求項８】
前記検出文字列が郵便番号である場合に、前記制御手段は、該郵便番号に対応する住所を、郵便番号に対応づけられた住所のデータベースから検索して取得し、取得した住所を前記印刷手段に印刷させることを特徴とする請求項７に記載の字幕抽出装置。
【請求項９】
インターネット接続可能であるとともに、予め定められたＵＲＬ（Uniform Resource Locator）の文字列が検出されると、該ＵＲＬに対応するホームページにアクセスして、該ホームページの内容を前記表示手段に表示させる制御手段をさらに備えることを特徴とする請求項１に記載の字幕抽出装置。
【請求項１０】
電話接続可能であるとともに、予め定められた電話番号の文字列が検出されると、該電話番号の電話機を呼び出させる制御手段をさらに備えることを特徴とする請求項１に記載の字幕抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビ、ビデオ等の映像信号から字幕情報を抽出しこの字幕情報を出力する字幕抽出装置に関する。
【０００２】
【従来の技術】
テレビ放送等の映像に挿入される字幕には有益な情報が多い。そこで、この字幕に含まれる情報を取り出して利用する試みが多数なされている。ＢＳデジタルやＣＳデジタルの放送では、画像以外に文字情報も送られているが、普及し始めた技術であり、まだ十分な情報が入っていないことが多い。また、現行放送では、字幕情報を文字放送の別データ（文字データ）として送る方法もあるが、現状ではあまり普及していない。
一方、映像の一部として埋め込まれている字幕スーパーは、製作者が容易に情報を挿入できる手段であり、多くの放送番組や、映像メディアにて普及している。従って、映像の一部として埋め込まれている字幕情報の利用は現時点で大変重要である。
【０００３】
字幕には、一般に映像の要約的な情報があるので，弱視者等の軽度の視覚障害者や聴覚障害者には重要な情報源である。そこで、文字放送において、字幕用の文字データ（字幕データ）を取り出し，別端末にてこの字幕の内容を拡大表示する装置が発明されている（例えば、特開２００１−０２４９６４号に開示の装置）。一方、字幕スーパーを基に、映像の検索や分類に利用する方法が検討されている。例えば、特開平０７−１９２００３号公報または特開平１０−３０８９２１号公報では、蓄積された映像に含まれる字幕を映像のインデックスとして用い映像の検索を行える技術が開示されている。また、特開平１０−０９２０５２号公報では、コマーシャルや番組の時間変更などの文字や画像のパターンを保持し、映像に含まれるコマーシャルのタイトルや番組の時間変更の文字パターンを抽出して、上記パターンと比較することで、コマーシャル（特定番組）を識別し、このコマーシャルをカットして録画したり飛ばし見を行える特定番組識別装置の技術が示されている。
【０００４】
【発明が解決しようとする課題】
しかし、字幕に含まれる情報の多様な利用が期待されるが、現に放送されたり再生されている映像に埋め込まれた字幕スーパーをリアルタイムに文字認識して、認識した字幕情報自体を多様に活用できるように提供する形態の方法・手段は提案されていない。
従来は画像検索やコマーシャルカットなどのために、字幕情報の利用方法が特化されており、汎用的な利用ができなかった。また、視聴者は、字幕スーパーの情報を基にいろいろな活動をすることがあるが（例えば、テレホンショッピングで、映された電話番号に電話をかけるなど）、現状では、特に視覚・聴覚障害者に対して、そのような活動を支援することができていない。
【０００５】
本発明は、上記の点に鑑みてなされたもので、映像に埋め込まれた字幕情報自体を提供することができ、さらにこの字幕情報から障害者等の活動を支援する字幕抽出装置を提供するものである。
【０００６】
【課題を解決するための手段】
本発明の字幕抽出装置は、映像信号から字幕情報を抽出する字幕抽出装置において、現に放送または再生されている映像信号から字幕スーパーを抽出する字幕抽出手段と、抽出した字幕スーパーに含まれる文字列をリアルタイムに認識し、認識した文字列に対応する文字コードの列を含む文字情報を出力する文字認識手段と、前記文字情報に基づき前記文字列を表示する表示手段と、を具備することを特徴としている。
【０００７】
これにより、映像に埋め込まれた字幕情報自体を、利用者に、リアルタイムに提供することができる。
【０００８】
また、本発明の字幕抽出装置において、前記各手段を全て１つの筐体に内蔵してもよい。
【０００９】
こうすることで、全ての機能が１つの筐体に収容され、利用者にとって扱い易いものとなる。
【００１０】
また、本発明の字幕抽出装置において、周辺機器および／または外部の通信環境と接続可能とする入出力手段をさらに備えてもよい。
【００１１】
こうすることで、周辺機器および／または外部の通信環境を利用できるようになる。
【００１２】
また、本発明の字幕抽出装置において、前記認識した文字に対し、拡大、変形、彩色等の加工を施すための付加情報を前記文字情報に付加する文字加工手段をさらに備えてもよい。
【００１３】
こうすることで、前記表示手段は、この文字加工手段により付加情報が付加された文字情報に基づき、拡大、変形、彩色等の加工がなされた文字列を表示するので、利用者にとって視認し易い形態で利用者に字幕情報を提供することができる。
【００１４】
また、本発明の字幕抽出装置が、前記映像信号による映像を表示するテレビ受像機等の表示装置とは別体であるようにしてもよい。
【００１５】
このように本発明の字幕抽出装置をテレビ受像機等の表示装置と別体とすることで、本発明の字幕抽出装置を利用者の手元に配置することができ、したがって、字幕情報を利用者の手元で出力することができ、利用者が軽度の視覚障害者である場合など、利用者の助けとなる。
【００１６】
また、本発明の字幕抽出装置において、前記文字認識手段にて認識された文字コードを音声合成し、合成した音声の信号を出力する音声合成手段をさらに備えてもよい。
【００１７】
このように、この音声合成手段を備えることで、利用者が重度の視覚障害者であっても、音声により字幕情報を提供することができる。
【００１８】
また、本発明の字幕抽出装置において、字幕スーパーの色情報を取得する色情報抽出手段をさらに備え、前記音声合成手段は、前記色情報抽出手段にて取得された字幕スーパーの色情報に基づくか、または、前記文字認識手段にて認識された、予め定められ字幕スーパーに挿入された文字・記号に基づいて、男女，大人，子ども，老人などの違いが分かるように音声合成してもよい。
【００１９】
こうすることで、合成される音声は、単なる無機質な音声ではなくなる。また、男女，大人，子ども，老人などの違いを、字幕スーパーの色の違いで、または特定の文字・記号で定義し、映像制作者側でこのような色または文字・記号を用いた字幕スーパーを挿入すると、本発明の字幕抽出装置では、男女，大人，子ども，老人などの違いを、合成する音声で表現することができ、字幕情報を視聴する際の利用者の助けとすることができる。
【００２０】
また、本発明の字幕抽出装置において、前記音声合成手段が、字幕スーパーが表示される際に出力される音声の特徴に類似する特徴をもたせた音声合成を行うようにしてもよい。
【００２１】
こうすることで、合成される音声は、単なる無機質な音声ではなくなるだけでなく、出演者の音声の特徴に類似するので、利用者は、自然な感覚で聴取することができる。
【００２２】
また、本発明の字幕抽出装置において、点字出力手段に前記文字情報を与え点字出力させるようにしてもよい。
【００２３】
このように字幕情報を点字出力することで、重度の視覚障害者の助けとなる。
【００２４】
また、本発明の字幕抽出装置において、前記点字出力手段が、点字キーボードであってもよい。
【００２５】
こうすることで、重度の視覚障害者の助けとなる。
【００２６】
また、本発明の字幕抽出装置において、前記点字出力手段が、点字プリンタであってもよい。
【００２７】
こうすることで、重度の視覚障害者の助けとなる。
【００２８】
また、本発明の字幕抽出装置において、前記文字情報から指定されたキーワードを検出することにより、該キーワードが出現するシーンを自動判定する判定手段をさらに備えてもよい。
【００２９】
こうすることで、所望のキーワードが出現するシーンを自動的に検出することができる。
【００３０】
また、本発明の字幕抽出装置において、前記判定手段にて前記キーワードが検出されたシーンの出現時刻を記録手段に記録させる制御手段を備えてもよい。
【００３１】
こうすることで、検出されたシーンを出現時刻により特定するための助けとなる。
【００３２】
また、本発明の字幕抽出装置において、前記判定手段にて前記キーワードが検出されたシーンを録画手段に録画させる制御手段を備えてもよい。
【００３３】
こうすることで、指定（登録）されたキーワードを含む映像があった場合、自動的に録画されるので、利用者が関心をもっていても見落としたり、見損なってしまう映像も視聴することができ、利用者にとって有益なものとなる。
【００３４】
また、本発明の字幕抽出装置において、予め定められた文字列の検出に応じて、文字情報を出力するための手段を制御する制御手段を備えてもよい。
【００３５】
こうすることで、文字情報を出力するための手段に対し、文字列の検出に応じた様々な制御を行うことができる。
【００３６】
また、本発明の字幕抽出装置において、前記予め定められた文字列は、番組開始文字列および番組終了文字列であって、前記制御手段が、該文字列に従って録画手段に番組録画予約または番組録画の命令を与えるようにしてもよい。
【００３７】
こうすることで、放送局側で字幕情報として上記文字列を挿入し、利用者側でこの字幕情報を利用することで、いわゆる録画設定の操作をせずに、番組を録画（または予約録画）することができる。
【００３８】
また、本発明の字幕抽出装置において、前記予め定められた文字列は、住所または郵便番号であって、前記制御手段が、該住所または郵便番号を印刷手段に印刷させるようにしてもよい。
【００３９】
字幕に表示される住所または郵便番号は、利用者にとって有用である場合があり、このように制御することで、表示された住所または郵便番号が自動的に印刷され、利用者にとって有益である。
【００４０】
また、本発明の字幕抽出装置において、前記予め定められた文字列は郵便番号であって、前記判定手段にて郵便番号が検出されると、前記制御手段が、該郵便番号に対応する住所を、郵便番号に対応づけられた住所のデータベースから検索して取得し、取得した住所を印刷手段に印刷させるようにしてもよい。
【００４１】
こうすることで、郵便番号の検出のみで、対応する住所が自動的に印刷され、利用者にとって有益である。
【００４２】
また、本発明の字幕抽出装置において、インターネット接続可能であるとともに、前記予め定められた文字列はＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）であって、前記判定手段にてＵＲＬが検出されると、前記制御手段が、該ＵＲＬに対応するホームページにアクセスして、該ホームページの内容を前記表示手段に表示させるようにしてもよい。
【００４３】
こうすることで、インターネット上の関連情報を自動的に参照できるようになる。
【００４４】
また、本発明の字幕抽出装置において、電話接続可能であるとともに、前記予め定められた文字列は電話番号であって、前記判定手段にて電話番号が検出されると、前記制御手段が、該電話番号の電話機を呼び出させるようにしてもよい。
【００４５】
字幕に表示される電話番号は、利用者にとって有用である場合があり（例えば、テレホンショッピングなど）、このように制御することで、表示された電話番号の相手に自動的に電話接続されるので、利用者にとって有益である。
【００４６】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の一実施の形態である字幕抽出装置１の構成を示すブロック図であり、図２は、同字幕抽出装置１と他の機器との接続例を示す図である。
図２に示すように、本実施の形態の字幕抽出装置１は、テレビ受像機２等の表示装置と別体であり、この字幕抽出装置１に各種周辺機器が接続されるとともに、インターネットや電話網等の通信網に接続されている。
【００４７】
図１において、符号１ａは、放送受信信号／ビデオ再生信号を受信し、選択されたチャネル（または入力信号）の映像と音声の信号を分離・出力するチューナ部である。
符号１ｂは、字幕抽出部であり、チューナ部１ａ出力の映像信号から、字幕部分（字幕スーパー）を抽出する。字幕スーパーは、通常、映像の下部の部分にスーパーインポーズされており、本実施の形態ではこの部分を抽出する。そして、抽出した字幕情報をデジタル化して、下記の文字認識部１ｃおよび色情報抽出部１ｋに与える。なお、文字認識部１ｃに与えるデータは、字幕スーパー部分の輝度信号に対し、所定の閾値を基準に二値化したものを用いる。
【００４８】
符号１ｃは、文字認識部であり、字幕抽出部１ｂにて抽出された字幕部分に含まれる文字列をリアルタイムに文字認識し、認識した文字列に対応する文字コードの列を含む文字情報を出力する。なお、記号も文字の一種として認識する。この文字認識部１ｃでは、字幕抽出部１ｂにて抽出された字幕スーパー部分の中で、所定のレベル以上の輝度をもつ部分を文字とみなして、文字認識を行う。なお、画面全体から文字を認識するようにしてもよい。
符号１ｄは、文字認識部１ｃが文字認識をする際使用する辞書が格納される認識辞書ＤＢである。なお、文字認識部１ｃは、従来より知られている文字認識の技術を利用して実現できる。
【００４９】
符号１ｅは、周辺機器や外部の通信環境への接続をするための入出力部である。この入出力部１ｅは、周辺機器と接続するための入出力インターフェースとしての機能をもち、接続する周辺機器に応じて要求される規格を満足するものとする。また、電話網１５へ接続するための電話機の機能を備えている。また、インターネット１４に接続するためのＴＣＰ／ＩＰ規格に準拠する通信機能を備えている。また、入出力部１ｅは、字幕抽出装置１に内蔵される表示部１ｆへの表示制御も行うものとする。ここで周辺機器とは、点字キーボード１０、点字プリンタ１１、ビデオレコーダ１２、プリンタ１３等であり、通信環境（通信網）とは、インターネット１４や電話網１５である。なお、表示部１ｆは、液晶表示装置等の表示装置であり、さらにタッチパネル等の入力手段を備え、後述のキーワード等の入力設定を可能としている。
【００５０】
符号１ｇは、文字加工手段であり、文字認識部１ｃにて認識された文字列に含まれる文字に対し、拡大、変形、彩色等の加工をする場合には、そのための付加情報（所定のコード）を、文字認識部１ｃから出力される文字情報に付加する。ここで加工された文字は、表示部１ｆにて拡大、変形、彩色等がなされた状態で表示される。なお、一画面にすべての文字列が表示できない場合は、順次スクロールさせ表示する。
【００５１】
符号１ｈは、音声合成部であり、文字認識された字幕の文字列を音声合成しスピーカ１ｉから出力する。また、文字認識部１ｃにて認識された文字・記号で、予め定められた文字・記号（これらも下記のキーワードの一種であるとする）が字幕スーパーに挿入されている場合、このキーワードに基づいて、男女，大人，子ども，老人などの男女の別や年齢差の区別が分かるように音声合成する。この場合、下記のキーワード判定部１ｌから、当該キーワードが通知され、このキーワードに基づき上記のように音声合成するが、このキーワード自体は音声合成しない。また、下記の色情報抽出部１ｋから色情報を受けた場合は、予め色情報に対応して設定された音質を用いて（例えば、赤色の場合女性の音質を用い、黒色の場合は男性の音質を用いるなど）、上記と同様に音声合成をする。
【００５２】
また、字幕スーパーが表示される際に出力される音声の特徴に類似する特徴をもつ音質を用いて音声合成をしてもよい。この場合、入力される音声信号から音質の特徴（周波数成分等）を分析して、下記の音声ＤＢ・１ｊから、この音質に最も近い音質を選択し音声合成をする。この場合では、例えば、外国映画で、日本語の字幕が表示される際に出力されている音声が女優の声である場合、その声の特徴から女性の音質で音声合成することになる。すなわち、外国映画が、日本語で自動的に吹き替えがなされることになる。したがって、視覚障害者でも外国映画を楽しめ、健常者でも字幕をいちいち読まなくて済むようになる。
【００５３】
また、以上のように音質を変えることで、無機質になりがちな音声合成された音声に、多少なりとも個性を持たせることができる（単一の音質や無機質な音声では聞いていて疲れてしまう）。また、字幕スーパーの文字列の色や、所定の文字・記号は、番組制作者側で、意図的に選択・使用することができる。すなわち、番組制作者側で、字幕抽出装置１にて出力させる音質を明示的に指定することができる。例えば、ニュース、解説の字幕の音声合成による読み上げの際の音質を意図的に使い分けることができる。具体的には、子供番組では、若い女性の声の音質を用いたり、政治番組では、男性の声の音質を用いたりと、音質の使い分けをすることができる。また、字幕スーパーが表示される際に出力される音声の特徴をもとに音質を選択する場合では、番組制作者側で、字幕スーパーに音質を決定する上記所定の文字・記号を挿入する必要はなくなる。
なお、音声合成部１ｈは、従来より知られている音声合成の技術を利用して実現できる。
【００５４】
符号１ｊは、音声ＤＢ（データベース）であり、音声合成に用いる下記のデータが格納されている。この音声ＤＢ・１ｊには、予め、男女別、年齢別などに応じて決められた典型的な音質のデータ（音声を構成する周波数成分のデータ等）が複数登録されており、上記各条件に応じて音声合成する際の音質が決定される。または、字幕スーパーが表示される際に出力される音声の特徴に類似する特徴をもつ音質が選択される。なお、この音声ＤＢ・１ｊには、上記各条件等（キーワードや音声の特徴）と音質のデータとを対応づけるテーブルも格納されており、条件に応じて対応する音質のデータが選択される。
【００５５】
符号１ｋは、色情報抽出部であり、字幕抽出部１ｂにて抽出された字幕スーパー部分の文字列の色情報を抽出し音声合成部１ｈに与える。ここでは、色情報として、３原色の輝度分布を示す情報を用いる。
符号１ｌは、キーワード判定部であり、文字認識部１ｃにて認識された文字列の中に、キーワードＤＢ・１ｍに登録されたキーワードが存在するか否か判定し、当該キーワードが出現するシーンを自動判定する。そして、キーワードに応じて音声合成部１ｈまたは制御部１ｎに、当該キーワードと該当シーンが出現した旨を通知する。なお、キーワードＤＢ・１ｍには、下記の制御部１ｎがキーワード等（住所、郵便番号、ＵＲＬ、電話番号の別を含む）に応じて実行すべき制御処理の内容が各キーワードに対応付けられ記憶されている。
【００５６】
符号１ｎは、制御部であり、キーワード判定部１ｌにて所定のキーワードが検出され、キーワード判定部１ｌからキーワード等（住所、郵便番号、ＵＲＬ、電話番号の別を含む）の通知を受けると、このキーワードをもとにキーワードＤＢ・１ｍを参照し、下記のように対応する制御処理を実行する。
具体的には、制御部１ｎは、キーワードが検出されたシーンの出現時刻（開始時刻）を記録部１ｏに記録させる。また、キーワード判定部１ｌにて予め登録されたキーワードが検出されると、このキーワードが検出されたシーンを始まりとして所定の時間、ビデオレコーダ１２にその映像と音声を録画させる。または、キーワードが検出されたシーンから、検出したキーワードと異なる文字列が認識された時点までを録画せさる。このビデオ録画の一例を図４に示している。この例のキーワードは「ＴＡＲＯ」（タロー）であり、字幕スーパーに「ＴＡＲＯ」が表示されるとこれを検出し、この検出時（ＴＡＲＯの登場時）から所定の時間、この登場以降のシーンを録画させている。
【００５７】
また、番組開始文字列および番組終了文字列や、録画または録画予約の開始・終了を特定させる文字列がキーワードとして検出された場合は、この文字列に従ってビデオレコーダ１２に番組録画予約または番組録画の命令を与える。上記番組開始文字列としては、例えば番組名と「スタート」等の文字列を、また番組終了文字列としては、例えば番組名と「エンド」等を用いることができる。
また、住所または郵便番号がキーワードとして検出された場合、制御部１ｎは、この住所または郵便番号をプリンタ１３に印刷させる。また、郵便番号のみがキーワードとして検出された場合、この郵便番号をもとに符号１ｐに示す住所ＤＢを検索し対応する住所を取得して、取得した住所をプリンタ１３に印刷させる。なお、住所ＤＢ・１ｐは、郵便番号とこの郵便番号に対応する住所からなるデータベースである。また、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）がキーワードとして検出された場合、文字コードの列（文字情報）からＵＲＬの文字列を抽出し、入出力部１ｅに対し、このＵＲＬに対応するホームページにアクセスさせ、該当ホームページの内容を表示部１ｆに表示させる。
【００５８】
また、電話番号がキーワードとして検出された場合、同様に電話番号の文字列を抽出し、入出力部１ｅに対し、この電話番号の電話機を呼び出させる。なお、文字列が住所であるか、郵便番号であるかの判定は、住所や郵便番号として正規に使用される文字列から構成されているか否かで判定する。また、ＵＲＬであるか否かは、「ｈｔｔｐ：／／」ではじまり、所定の構造をもっているか否かで判定する。また、電話番号であるか否かは、文字列を構成する文字が数字であって、局番を区切るハイフンを含み、正規の局番が使用されている等を基準として判定する。
【００５９】
なお、認識辞書部ＤＢ・１ｄ、音声ＤＢ・１ｊ、キーワードＤＢ・１ｍ、記録部１ｏ、住所ＤＢ・１ｐは、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク等の不揮発性の記録装置により構成されている。
また、文字認識部１ｃ、文字加工部１ｇ、音声合成部１ｈ、色情報抽出部１ｋ、キーワード判定部１ｌ、制御部１ｎは、メモリおよびＣＰＵ（中央処理装置）等により構成される処理部（図示せず）にて、各部の機能を実現するためのプログラム（図示せず）をそのメモリにロードして実行することによりその機能が実現されるものとする。
【００６０】
このように構成される字幕抽出装置１は、前述のようにテレビ受像機２等とは別体である。したがって、この字幕抽出装置１を利用者の手元に配置することができる。すなわち、本実施の形態の字幕抽出装置１を用いることで、映像にスーパーインポーズされた字幕情報を利用者の手元で出力（表示および音声出力）することがでる（図３参照）。また、字幕抽出装置１は、前述した様々な自動制御を実行するので、利用者（特に障害者など）の助けとなる。
【００６１】
次に、このように構成された本実施形態の字幕抽出装置１の概略動作について説明する。
【００６２】
字幕抽出装置１には、アンテナ３を介して受ける放送受信信号（または、ビデオ再生機（図示せず）からのビデオ再生信号）が、テレビ受像機２と同様に入力される。チューナ部１ａは、受信信号から、選択されたチャネル（または入力信号）の映像と音声の信号を分離・出力する。映像信号は、字幕抽出部１ｂに与えられ、音声信号は音声合成部１ｈに与えられる。
映像信号を受ける字幕抽出部１ｂは、映像に挿入された字幕スーパー部分を抽出し、デジタル化してこのデータを文字認識部１ｃと色情報抽出部１ｋに与える。
【００６３】
文字認識部１ｃは、字幕抽出部１ｂから受けた字幕のデータから、字幕としてスーパーインポーズされた文字列を認識し、その文字コードを文字加工部１ｇと、音声合成部１ｈと、キーワード判定部１ｌに与える。
文字加工部１ｇは、設定に応じて文字を加工（拡大、変形、彩色等）するための付加情報を文字コードからなる文字情報に付加する。そして、入出力部１ｅを介して表示部１ｆに加工した文字列を表示させる。
【００６４】
一方、キーワード判定部１ｌは、文字認識部１ｃから受ける文字コードの列の中に、登録されたキーワードを検出すると、このキーワードが挿入されたシーンを自動判定する（特定する）。そして、キーワードに応じて音声合成部１ｈまたは制御部１ｎに、当該キーワードと該当シーンが出現した旨を通知する。
他方、音声合成部１ｈは、文字認識部１ｃから受ける文字コードに基づき音声合成しスピーカ１ｉから出力するが、キーワード判定部１ｌから予め定められたキーワードを受けると、このキーワードに応じて、あるいは、この字幕に含まれる文字の色（この色情報は、色情報抽出部１ｋから与えられる）に応じて、音質を変え出力する。
また、制御部１ｎは、キーワード判定部１ｌからキーワード（所定の文字列）等を受けると、このキーワードに応じて前述のように定められた各種制御処理を実行する。
以上、字幕抽出装置１の動作について説明した。
【００６５】
なお、図１における文字認識部１ｃ、文字加工部１ｇ、音声合成部１ｈ、色情報抽出部１ｋ、キーワード判定部１ｌ、制御部１ｎの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより字幕抽出装置１における各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６６】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００６８】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の構成等も含まれる。
【００６９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、現に放送または再生されている映像信号から字幕スーパーを抽出し、抽出した字幕スーパーに含まれる文字列をリアルタイムに認識し、認識した文字列に対応する文字コードの列を含む文字情報を出力するので、認識した字幕の文字情報自体を汎用的に利用することができる。
また、本発明によれば、周辺機器や外部の通信環境を容易に利用することができる。
【００７０】
また、本発明によれば、認識した文字に対し、拡大、変形、彩色等の加工を施すための付加情報を前記文字情報に付加するので、利用者、特に視覚障害者等に対しても字幕情報を適切な形で提供することができる。
また、本発明によれば、テレビ受像機等の表示装置とは別体として構成されるので、本発明の字幕抽出装置を手元に配置することで、利用者は手元で全ての操作が可能である。
【００７１】
また、本発明によれば、字幕情報を音声合成し、さらに条件に応じて音質を変え出力するので、視覚による字幕情報の提供のみならず、音声によっても字幕情報を提供することができ、健常者にとっても障害者にとってもさらに有効なものとなる。
また、本発明によれば、キーワードあるいは所定の文字列に応じて、ビデオ録画や、インターネット上のホームページへのアクセスや、電話接続等を自動で行うので、特に、視覚・聴覚障害者に対して、その活動を支援することができる。
【図面の簡単な説明】
【図１】  本発明の一実施の形態である字幕抽出装置の構成を示すブロック図である。
【図２】  同実施形態の字幕抽出装置と他の機器との接続例を示す図である。
【図３】  同実施形態の字幕抽出装置の配置例を示す図である。
【図４】  同実施形態の字幕抽出装置によるビデオ録画の一例を説明する図である。
【符号の説明】
１…字幕抽出装置、２…テレビ受像機、３…アンテナ、１ａ…チューナ部、１ｂ…字幕抽出部（字幕抽出手段）、１ｃ…文字認識部（文字認識手段）、１ｄ…認識辞書ＤＢ、１ｅ…入出力部（入出力手段）、１ｆ…表示部（表示手段）、１ｇ…文字加工部（文字加工手段）、１ｈ…音声合成部（音声合成手段）、１ｉ…スピーカ、１ｊ…音声ＤＢ、１ｋ…色情報抽出部（色情報抽出手段）、１ｌ…キーワード判定部（判定手段）、１ｍ…キーワードＤＢ、１ｎ…制御部（制御手段）、１ｏ…記録部（記録手段）、１ｐ…住所ＤＢ、１０…点字キーボード（点字出力手段）、１１…点字プリンタ（点字出力手段）、１２…ビデオレコーダ（録画手段）、１３…プリンタ（印刷手段）、１４…インターネット、１５…電話網
【図１】
0003953886.tif 000002
【図２】
0003953886.tif 000003
【図３】
0003953886.tif 000004
【図４】
0003953886.tif 000005