(57)【要約】【課題】  映像に合成された字幕を用いて、障害者を支援するとともに、健常者にとっても放送された内容を理解するという目的以外の用途に利用することができる、字幕抽出装置を提供する。【解決手段】  入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づいて特定し、前記特定した位置に合成されている前記字幕を表示部に表示し、前記特定した位置に合成されている前記字幕の各文字を認識し、前記認識した認識文字を、順次、前記表示部に表示する。【選択図】    図１
2006114955.tif 000002
【特許請求の範囲】
【請求項１】
入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づいて特定する
字幕位置特定手段と、
前記特定した位置に合成されている前記字幕を表示部に表示する字幕表示手段と、
前記特定した位置に合成されている前記字幕の各文字を認識する文字認識手段と、
前記認識した認識文字を、順次、前記表示部に表示する認識文字表示手段と、
を備えることを特徴とする字幕抽出装置。
【請求項２】
前記字幕の表示と前記認識文字の表示のどちらを行なうか切替情報に基づいて決定する
表示切替手段と、
を備えることを特徴とする請求項１に記載の字幕抽出装置。
【請求項３】
前記認識文字表示手段は、
前記字幕の前記映像における切り替わりごとに、その字幕から認識した前記認識文字を
前記表示部の分割領域に表示し、
前記字幕の次の切り替わり時には、前記分割領域とは異なる他の分割領域に表示するか
、または前記分割領域において書き換えて表示するかのいずれかを行なう
ことを特徴とする請求項１または請求項２に記載の字幕抽出装置。
【請求項４】
前記認識文字表示手段は、
前記字幕の前記映像における切り替わりごとに、その字幕から認識した前記認識文字を
改行して前記分割領域に表示する
ことを特徴とする請求項１または請求項２に記載の字幕抽出装置。
【請求項５】
前記認識文字表示手段は、
前記分割領域の表示範囲に表示できる数の前記認識文字を表示した後は、それら認識文
字の行に直交する方向であって次に認識文字を表示する方向とは逆の方向に、前記行をず
らして、前記次の認識文字を最下行に表示する
ことを特徴とする請求項４に記載の字幕抽出装置。
【請求項６】
前記字幕の切り替わりを検出する字幕切り替わり検出手段と、
前記切り替わりからの経過時間と出力間隔時間とに基づいて、前記表示した字幕の次に
表示する字幕の各認識文字のデータの出力タイミングを決定する認識文字データ出力タイ
ミング決定手段と、
を備えることを特徴とする請求項１から請求項４のいずれかに記載の字幕抽出装置。
【請求項７】
前記特定した位置に合成されている前記字幕を記憶部に記録する字幕記録手段と、
を備えることを特徴とする請求項１から請求項５のいずれかに記載の字幕抽出装置。
【請求項８】
コンピュータが、
入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づいて特定する
ステップと、
前記特定した位置に合成されている前記字幕を表示部に表示するステップと、
前記特定した位置に合成されている前記字幕の各文字を認識するステップと、
前記認識した認識文字を、順次、前記表示部に表示するステップと、
を有することを特徴とする字幕抽出方法。
【請求項９】
字幕抽出装置の字幕位置特定手段が、入力を受付けた映像に合成されている字幕の抽出
位置を、位置情報に基づいて特定するステップと、
前記字幕抽出装置の字幕表示手段が、前記特定した位置に合成されている前記字幕を表
示部に表示するステップと、
前記字幕抽出装置の文字認識手段が、前記特定した位置に合成されている前記字幕の各
文字を認識するステップと、
前記字幕抽出装置の認識文字表示手段が、前記認識した認識文字を、順次、前記表示部
に表示するステップと、
を有することを特徴とする字幕抽出方法。
【請求項１０】
入力を受付けた前記映像に合成されている前記字幕の位置を、位置情報に基づいて特定
するステップと、
前記特定した位置に合成されている前記字幕を表示部に表示するステップと、
前記特定した位置に合成されている前記字幕の各文字を認識するステップと、
前記認識した認識文字を、順次、前記表示部に表示するステップと、
を有することを特徴とする字幕抽出方法。
【請求項１１】
字幕抽出装置のコンピュータに、
入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づいて特定する
ステップと、
前記特定した位置に合成されている前記字幕を表示部に表示するステップと、
前記特定した位置に合成されている前記字幕の各文字を認識するステップと、
前記認識した認識文字を、順次、前記表示部に表示するステップと、
を実行させるプログラム。
【請求項１２】
字幕抽出装置のコンピュータに、
入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づいて特定する
ステップと、
前記特定した位置に合成されている前記字幕を表示部に表示するステップと、
前記特定した位置に合成されている前記字幕の各文字を認識するステップと、
前記認識した認識文字を、順次、前記表示部に表示するステップとを実行させるプログ
ラム
を記録する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に合成された字幕を抽出する字幕抽出装置および字幕抽出方法並びにそ
のプログラムと記録媒体に関する。
【背景技術】
【０００２】
テレビ局は、放送する映画やその他の番組において字幕を表示させる処理を行なってい
るが、この処理は、例えば、映像に字幕を合成して放送を行なう場合や、映像と字幕デー
タとを別々に送信することにより放送を行なう場合とがある。ここで字幕は健常者にとっ
て有益な情報となるばかりでなく、聾唖者や視覚障害者などにとっても有益である。例え
ば、視覚障害者のために字幕から文字認識を行なって、その認識した文字を音声として出
力したり、手元の携帯用の表示装置に字幕のみを表示させたりする装置が公開されている
（例えば、特許文献１参照）。
【特許文献１】特開２００３−３３３４４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、放送される映像に合成された字幕は障害者を支援する為に、色々な用途で利用
できる可能性があり、この点に着目した製品を開発することが課題となっている。
【０００４】
そこでこの発明は、映像に合成された字幕を用いて、障害者を支援するとともに、健常
者にとっても放送された内容を理解するという目的以外の用途に利用することができる、
字幕抽出装置および字幕抽出方法並びにそのプログラムと記録媒体を提供することを目的
としている。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題を解決すべくなされたもので、入力を受付けた映像に合成されて
いる字幕の抽出位置を、位置情報に基づいて特定する字幕位置特定手段と、前記特定した
位置に合成されている前記字幕を表示部に表示する字幕表示手段と、前記特定した位置に
合成されている前記字幕の各文字を認識する文字認識手段と、前記認識した認識文字を、
順次、前記表示部に表示する認識文字表示手段と、を備えることを特徴とする字幕抽出装
置である。これにより、位置情報で特定される映像の位置に合成の字幕と、その字幕に含
まれる文字を表示部に表示することができる。これにより、字幕とその字幕から認識され
た文字を一度に出力できるので、文字認識の間違いを検出できる。
【０００６】
また本発明は、上述の字幕抽出装置が、前記字幕の表示と前記認識文字の表示のどちら
を行なうか切替情報に基づいて決定する表示切替手段を備えることを特徴とする。これに
より、ユーザの利用目的に応じた字幕の表示が可能となる。
【０００７】
また本発明は、上述の字幕抽出装置において、前記認識文字表示手段は、前記字幕の前
記映像における切り替わりごとに、その字幕から認識した前記認識文字を前記表示部の分
割領域に表示し、前記字幕の次の切り替わり時には、前記分割領域とは異なる他の分割領
域に表示するか、または前記分割領域において書き換えて表示するかのいずれかを行なう
ことを特徴とする。これにより、映像に合成された字幕の切り替わりの単位ごとに認識文
字を把握することができる。
【０００８】
また本発明は、上述の字幕抽出装置において、前記認識文字表示手段は、前記字幕の前
記映像における切り替わりごとに、その字幕から認識した前記認識文字を改行して前記分
割領域に表示することを特徴とする。これにより、映像に合成された字幕の切り替わりの
単位を把握することができる。
【０００９】
また本発明は、上述の字幕抽出装置において、前記認識文字表示手段は、前記分割領域
の表示範囲に表示できる数の前記認識文字を表示した後は、それら認識文字の行に直交す
る方向であって次に認識文字を表示する方向とは逆の方向に、前記行をずらして、前記次
の認識文字を最下行に表示することを特徴とする。これにより字幕の切り替わりごとにス
クロールして認識文字を確認することができる。
【００１０】
また本発明は、上述の字幕抽出装置が、前記字幕の切り替わりを検出する字幕切り替わ
り検出手段と、前記認識文字の出力間隔時間を記憶する出力間隔記憶手段と、前記切り替
わりからの経過時間と前記出力間隔時間とに基づいて、前記表示した字幕の次に表示する
字幕の各認識文字のデータの出力タイミングを決定する認識文字データ出力タイミング決
定手段と、を備えることを特徴とする。これにより、例えば字幕抽出装置が点字ディスプ
レイに接続されている場合に、字幕の切り替わりが早いことによって視覚障害者が点字を
読みきれない場合などに対応することができる。
【００１１】
また本発明は、上述の字幕抽出装置が、前記特定した位置に合成されている前記字幕を
記憶部に記録する字幕記録手段を備えることを特徴とする。これにより、字幕の情報を後
から確認することができる。
【００１２】
また本発明は、コンピュータが、入力を受付けた映像に合成されている字幕の抽出位置
を、位置情報に基づいて特定するステップと、前記特定した位置に合成されている前記字
幕を表示部に表示するステップと、前記特定した位置に合成されている前記字幕の各文字
を認識するステップと、前記認識した認識文字を、順次、前記表示部に表示するステップ
と、を有することを特徴とする字幕抽出方法である。
【００１３】
また本発明は、字幕抽出装置の字幕位置特定手段が、入力を受付けた映像に合成されて
いる字幕の抽出位置を、位置情報に基づいて特定するステップと、前記字幕抽出装置の字
幕表示手段が、前記特定した位置に合成されている前記字幕を表示部に表示するステップ
と、前記字幕抽出装置の文字認識手段が、前記特定した位置に合成されている前記字幕の
各文字を認識するステップと、前記字幕抽出装置の認識文字表示手段が、前記認識した認
識文字を、順次、前記表示部に表示するステップと、を有することを特徴とする字幕抽出
方法である。
【００１４】
また本発明は、入力を受付けた前記映像に合成されている前記字幕の位置を、位置情報
に基づいて特定するステップと、前記特定した位置に合成されている前記字幕を表示部に
表示するステップと、前記特定した位置に合成されている前記字幕の各文字を認識するス
テップと、前記認識した認識文字を、順次、前記表示部に表示するステップと、を有する
ことを特徴とする字幕抽出方法である。
【００１５】
また本発明は、字幕抽出装置のコンピュータに、入力を受付けた映像に合成されている
字幕の抽出位置を、位置情報に基づいて特定するステップと、前記特定した位置に合成さ
れている前記字幕を表示部に表示するステップと、前記特定した位置に合成されている前
記字幕の各文字を認識するステップと、前記認識した認識文字を、順次、前記表示部に表
示するステップと、を実行させるプログラムである。
【００１６】
また本発明は、字幕抽出装置のコンピュータに、入力を受付けた映像に合成されている
字幕の抽出位置を、位置情報に基づいて特定するステップと、前記特定した位置に合成さ
れている前記字幕を表示部に表示するステップと、前記特定した位置に合成されている前
記字幕の各文字を認識するステップと、前記認識した認識文字を、順次、前記表示部に表
示するステップとを実行させるプログラムを記録する記録媒体である。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施形態による字幕抽出装置を図面を参照して説明する。図１は同実
施形態による字幕抽出装置の構成を示すブロック図である。この図において、符号１は字
幕抽出装置である。そして字幕抽出装置１において、符号１１は字幕抽出装置の各処理を
実行するＣＰＵ（字幕位置特定手段、字幕表示手段、文字認識手段、認識文字表示手段、
表示切替手段、字幕切り替わり検出手段、認識文字データ出力タイミング決定手段、字幕
記録手段）、また１２は各種情報の外部との入出力を行なうＩ／Ｆ、また１３はＲＯＭ（
Read Only Memory）／ＲＡＭ（Randam Access Memory）、また１４はＨＤＤ（Hard Disk 
Drive）である。
【００１８】
そして、字幕抽出装置１は、字幕が合成された映像の入力を受付けて、その字幕の映像
における位置を特定し、また、字幕に含まれる各文字を認識する。そして映像に合成され
ている字幕と、字幕において認識した文字とを別々にモニタに表示する。ここで、字幕と
認識した文字の表示を切り替える処理も行なうことができる。また字幕抽出装置１は、認
識した文字をモニタに表示するにあたり、テキストエディタなどに字幕ごとに改行して表
示したり、字幕の切り替わりごとにテキストエディタなどの認識文字を表示する為の画面
を表示して、それぞれのテキストエディタの画面に切り替わりごとの字幕中の前記認識し
た文字を表示する処理を行なう。また、その他、点字ディスプレイに認識文字を表示する
に当たり、所定の出力間隔で出力する処理や、字幕のデータをＲＯＭ／ＲＡＭ１３に記録
する処理を行なう。
【００１９】
図２は字幕抽出装置が字幕と認識文字とを表示する際の処理フローを示す図である。
まず、字幕抽出装置１のＲＯＭ／ＲＡＭ１３は予め映像の字幕位置を示す位置情報（例
えば映像における表示範囲内の座標）を記憶している。そして字幕抽出装置１のＩ／Ｆ１
２が映像の入力を受付けると、ＣＰＵ１１は位置情報をＲＯＭ／ＲＡＭ１３から読み取っ
て、字幕を抽出する位置を特定する（ステップＳ１）。そして、ＣＰＵ１１は特定した位
置の範囲を映像から切り取ってその字幕を抽出する（ステップＳ２）。そしてＣＰＵ１１
は抽出した字幕をＨＤＤ１４などに蓄積しておく（ステップＳ３）。これにより，例えば
字幕位置が緊急通報の字幕（地震などの際に表示される字幕）を表示する位置である場合
には、緊急通報の字幕を記憶しておくことができる。なお、上記した位置情報はＲＯＭ／
ＲＡＭ１３が予め記録しているとしたが、位置情報についてはＩ／Ｆ１２から受付けても
良い。つまりＣＰＵ１１の制御によりＩ／Ｆ１２を介して座標の情報を受付けて、ＣＰＵ
１１はその座標を示す位置情報によって字幕の位置を特定するようにしてもよい。
【００２０】
次に、ＣＰＵ１１は抽出した字幕に含まれる文字を認識する（ステップＳ４）。この文
字の認識は、例えば字幕の合成された映像において、ＣＰＵ１１が、その映像を白を「０
」、黒を「２５６」とした際のグレイスケールの映像に変換し、輝度に基づいて文字を認
識する処理である（例えば輝度値が所定値以上の部分を文字とみなして、予め記憶してい
る文字パターンとパターン比較することにより検出する等）。なお、文字認識の処理はこ
の方式に限らず、文字を認識するような技術であればよい。
【００２１】
そして、ＣＰＵ１１は切替情報が示す符号により前記字幕と前記認識した文字のどちら
を表示するか、または前記字幕と前記認識した文字の両方を表示するかを決定する（ステ
ップＳ５）。例えば、切替情報が「０１」の符号を示す場合には、字幕のみをモニタに表
示し、切替情報が「１０」の符号を示す場合には、認識した文字のみをモニタに表示し、
切替情報が「１１」の符号を示す場合には、字幕と認識した文字の両方をモニタに出力す
る。この切替情報は予めＲＯＭ／ＲＡＭ１３に記録されていても良いし、またＩ／Ｆ１３
から受付けるようにしても良い。
【００２２】
以上の処理により、例えば、字幕とその認識文字が別々にモニタに表示されれば、ユー
ザは字幕と、認識文字とを見比べることにより、文字認識が間違えている箇所を判断する
ことができる。これは文字認識の精度が低い場合などに、文字認識の間違いを検出するこ
とによって例えば字幕抽出装置１が点字ディスプレイなどに認識文字を出力するさいの間
違いを把握する場合などに有効である。
【００２３】
次に、ＣＰＵ１１は字幕から認識した文字についてモニタに表示する場合には、予めＨ
ＤＤ１４記録されているテキストエディタのアプリケーションプログラムを実行して、モ
ニタにテキストエディタの画面を表示させる。そして、認識した文字を順次テキストエデ
ィタのアプリケーションプログラムに読み込ませてモニタのテキストエディタ画面上に表
示させる（ステップＳ６）。この時、例えばＣＰＵ１１は、字幕の切り替わりを検出し、
その切り替わりごとに、テキストエディタのアプリケーションプログラムに対して改行を
指示する。これにより字幕の切り替わりごとにテキストエディタの画面上で字幕が改行さ
れるので、ユーザは字幕の切り替わり箇所を容易に把握することができる。なおテキスト
エディタでなく、モニタ上において、専用の表示ウィンドウ領域に表示させるようにして
も良い。
【００２４】
またその他の処理方法としては、ＣＰＵ１１が、字幕の切り替わりを検出すると、その
字幕の切り替わりを検出するたびにテキストエディタのアプリケーションプログラムにテ
キストエディタ画面（または専用表示ウィンドウ領域）の表示を指示し、それぞれの画面
に各字幕中の認識文字を表示させる。つまり、モニタ上の別々の分割領域に前記切り替わ
りの字幕ごとの認識文字を表示させる。これにより字幕の切り替わりごとに別々のテキス
トエディタの画面に各字幕を表示することができる。または、ＣＰＵ１１は字幕の切り替
わりの度に、認識文字を書き換えて表示（つまり、切り替わり前の字幕の認識文字を消し
て、切り替わり後の字幕の認識文字を表示）してもよい。また、ＣＰＵ１１は、テキスト
エディタ画面や専用表示ウィンドウ領域の表示範囲に表示できる数の認識文字を表示した
後は、それら認識文字の行に直交する方向であって次に認識文字を表示する方向とは逆の
方向に、行をずらして、次の認識文字を最下行に表示するようにしてもよい（つまりスク
ロールして表示するようにしてもよい）。
なお、字幕の認識文字を表示する画面はテキストエディタに限らず、他のモニタに文字
を表示させるアプリケーションプログラムであればよい。
以上の処理により、字幕抽出装置のモニタに表示されたテキストエディタにおいて、字
幕などを加工することによって、例えば映画の台詞をテキストファイルとして保存してお
くことなどができる。
【００２５】
図３は点字ディスプレイに認識文字のデータを出力する際の処理フローを示す図である
。次に、図３を用いて字幕抽出装置が点字ディスプレイに認識文字のデータを出力する処
理について説明する。
ここで点字ディスプレイとは、入力を受けた文字データに基づいて点字の突起をビニー
ル膜上などに順次形成する視覚障害者向けの装置である。そして、まず、字幕抽出装置１
のＣＰＵ１１は、字幕の切り替わりを検出する（ステップＳ１１）。そしてＣＰＵ１１は
、字幕の切り替わりを検出してから経過時間を計測する（ステップＳ１２）。またＣＰＵ
１１はその経過時間と出力間隔時間とを比較する（ステップＳ１３）。そして、次に字幕
の切り替わりを検出するまでの経過時間が出力間隔時間より長い場合には、出力するタイ
ミングであると判断し、当該次の字幕の切り替わり時に、その字幕の各認識文字を点字デ
ィスプレイに出力する（ステップＳ１４）。また次の字幕の切り替わりを検出するまでの
経過時間が出力間隔時間より短い場合には、出力するタイミングでないと判断し、当該次
の字幕の各認識文字をＲＯＭ／ＲＡＭ１３に一時記憶する（ステップＳ１５）。そして経
過時間が出力間隔時間に達したことを検出すると、ＲＯＭ／ＲＡＭ１３に一時記憶した字
幕の各認識文字を点字ディスプレイに出力する（ステップＳ１６）。
これにより、出力間隔時間より短い間隔で点字ディスプレイに認識文字が出力されるこ
とがなくなるので、その出力間隔時間が点字により読めるだけの時間確保されていれば、
映像に合成された字幕の切り替わりが早い場合でも、視覚障害者は点字ディスプレイに表
示された点字を無理なく読めることができるようになる。
【００２６】
なお、上述の字幕抽出装置は内部に、コンピュータシステムを有している。そして、上
述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶さ
れており、このプログラムをコンピュータが読み出して実行することによって、上記処理
が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気デ
ィスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュー
タプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータ
が当該プログラムを実行するようにしても良い。
【００２７】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組
み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００２８】
【図１】字幕抽出装置の構成を示すブロック図である。
【図２】字幕と認識文字とを表示する際の処理フローを示す図である。
【図３】認識文字のデータを出力する際の処理フローを示す図である。
【符号の説明】
【００２９】
１・・・字幕抽出装置、１１・・・ＣＰＵ、１２・・・Ｉ／Ｆ、１３・・・ＲＯＭ／Ｒ
ＡＭ、１４・・・ＨＤＤ
【図１】
2006114955.tif 000003
【図２】
2006114955.tif 000004
【図３】
2006114955.tif 000005