(57)【要約】【課題】テロップ認識処理時に、不要な字種の辞書をメモリ上に読み込まず、認識処理に誤りがあった場合に誤りを修正可能であり、また、テロップ認識を再度実行する場合には再度テロップ認識を処理する必要のないテロップ認識方法を提供する。【解決手段】テロップ領域抽出部１０２、文字抽出部１０３を実行して文字画像データ１０４を作成して、該文字画像データを一次保存し、辞書データ選択部１０６により番組カテゴリに対応した辞書データを選択し、文字画像データ１０４と前期辞書データを用いて文字認識処理を実行し、得られた候補文字列に対してテロップ情報生成部を実行して、テロップ情報を生成する。【選択図】  図１
2008118232.tif 000002
【特許請求の範囲】
【請求項１】
映像のテロップから文字を含む文字画像を抽出する抽出部と、
前記抽出した文字画像から文字を認識する認識部と、
映像の種類を示す映像情報を取得する映像情報取得部と、
前記取得した映像情報に応じて、前記認識部による認識処理を切り替える切替部とを有する映像再生装置。
【請求項２】
請求項１の映像再生装置であって、
前記切替部は、前記認識処理として辞書データを切り替える映像再生装置。
【請求項３】
請求項１又は２の映像再生装置であって、
前記映像は番組であり、前記映像情報は番組のジャンル又は名称を示す番組情報である映像再生装置。
【請求項４】
請求項１から３のいずれかの映像再生装置であって、
前記文字画像を保存し、前記認識部で当該文字画像を認識した後に再度の認識を実行するときに当該保存した文字画像を用いる映像再生装置。
【請求項５】
映像のテロップから文字を含む文字画像を抽出する抽出部と、
前記抽出した文字画像から文字を認識する認識部とを有し、
前記文字画像を保存し、前記認識部で当該文字画像を認識した後に再度の認識を実行するときに当該保存した文字画像を用いる映像再生装置。
【請求項６】
動画のテロップから文字を含む文字画像を抽出する抽出部と、
前記抽出した文字画像から文字を認識する認識部と、
前記認識部で認識した所定の文字を認識した場面を動画中から選択する場面選択部とを有する映像再生装置。
【請求項７】
請求項６の映像再生装置であって、
前記場面選択部で選択した場面の前記動画中での位置と前記所定の文字とを対応付けて表示させる表示部とを有する映像再生装置。
【請求項８】
請求項６又は７の映像再生装置であって、
前記所定の文字は、ユーザから指定された文字である映像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、映像を再生する再生装置に関し、特に映像中のテロップを認識する機能に関する。
【背景技術】
【０００２】
本明細書において、テロップとは、テレビ放送等の映像において、字幕等をカメラで撮影した画像に付加して送信された字幕や絵等をいうものとする。
【０００３】
映像中のテロップを認識する機能について、例えば、特許文献１には、「映像中のテロップを高精度に検出・認識可能なテロップ情報処理装置を提供すること」を課題とし、その解決手段として「テロップ候補画像作成部１、テロップ文字列領域候補抽出部２、テロップ文字画素抽出部３、テロップ文字認識部４により、映像からテロップが表示されている領域を検出し、テロップ文字を構成する画素のみを抽出して、ＯＣＲ処理で認識を行うとともに、テロップ情報作成部５では、これら一連の処理の信頼性評価結果に基づいて、１つのテロップに対して存在する複数の認識結果から１つを選択する。その際、テロップ情報作成部５では、テロップ文字画素抽出部３におけるテロップ文字抽出処理の信頼度評価値もしくはテロップ文字認識部４におけるＯＣＲ処理の認識信頼度またはその両方を用いて最終的なテロップ情報を求める。」ことが記載されている。
【０００４】
【特許文献１】特開２００１−２８５７１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１のような従来技術では、例えば以下のような課題を有する。
【０００６】
特許文献１ではテロップの文字の認識に当たり、一つの辞書を用いる。このため比較的大きなＤＢを検索したり、メモリ上に展開したりすることが求められる。
【０００７】
また特許文献１では文字認識処理まで実行して保存している。そのため辞書に変更があった際等の文字の再認識には映像からのテロップの文字の抽出する段階から再実行することが求められ、再認識に時間がかかる。
【０００８】
ここで、テロップは番組ごとにより表れる種類がある程度限定される傾向がある。例えば、プロ野球番組であれば選手名、ホームランなどの野球用語などといった具合である。
【０００９】
また、映像のテロップの文字認識において特に時間がかかるのは、映像のテロップの文字を抽出する段階までである。
【課題を解決するための手段】
【００１０】
そこで、映像の番組などに応じてテロップを認識する辞書を切り替える映像再生装置を提供する。
【００１１】
また、映像のテロップの文字を認識する際、映像のテロップから文字を画像として抽出した段階で記録する映像再生装置を提供する。
【００１２】
具体的には例えば、番組情報を取得する番組情報取得部と、番組情報取得部で取得した番組情報を基に辞書データを選択する辞書データ選択部を有する。前記辞書データは前記文字認識の文字の識別に用いる字種辞書と、前記文字認識手段で認識された候補文字列から指定されたキーワードの抽出に用いるキーワード辞書と、テロップ認識する範囲を示した処理対象範囲データを持つ。放送データ取得装置あるいはネットワーク送受信装置から字幕データを取得する字幕データ取得手段と、取得した字幕データを用いてキーワードを抽出し、キーワード辞書として保存するキーワード辞書作成手段を有する。
【００１３】
また例えば、文字抽出手段により抽出された文字画像を保存する文字画像保存部を有する。前記文字保存部は、文字画像データを符号化して保存する。さらに、放送データ取得装置あるいはネットワーク送受信装置から辞書データを取得する辞書データ取得部を有する。
【発明の効果】
【００１４】
テロップの文字を認識するに当たり従来よりも負荷の軽い処理で実行することができ、ひいてはユーザの使い勝手が向上する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施に好適な実施形態の例を説明する。映像再生装置として、例えば、ＨＤＤ内蔵型のレコーダ、テレビチューナー外付けあるいは内蔵のパソコン、テレビ、携帯電話、カーナビゲーションなどに利用することができる。
【００１６】
（１）ハードウェア構成
映像再生装置のハードウェア構成を説明する。
【００１７】
図６は、映像再生装置の例としてテロップ出現シーン表示装置のハードウェア構成の一例である。テロップ出現シーン表示装置は、ＣＰＵ６０１、主記憶装置６０２、補助記憶装置６０３、表示装置６０４、入力装置６０５から構成される。また、放送データを受信して動画データや電子番組表を取得する場合には、さらに、放送データ入力装置６０６を有する。また、ネットワークを介して動画データや電子番組表を取得する場合には、さらに、データ送受信装置６０７を有する。上記６０１から６０７までの各装置はバス６０８によって接続され、各装置間で相互にデータの送受信が行われる。ただし映像再生装置がこの全ての構成を備える必要はない。
【００１８】
ＣＰＵ６０１は、主記憶装置６０２や補助記憶装置６０３に格納されているプログラムを実行する。
【００１９】
主記憶装置６０２は、例えば、ランダムアクセスメモリ（ＲＡＭ）やリードオンリーメモリ（ＲＯＭ）等で実現される。主記憶装置６０２は、ＣＰＵ６０１によって実行されるプログラムや録画再生装置において処理されるデータや動画データ等を格納する。
【００２０】
補助記憶装置６０３は、例えば、ハードディスク（ＨＤＤ）、Ｂｌｕ−ｒａｙ Ｄｉｓｃや、ＤＶＤなどの光ディスクドライブ、フロッピー（登録商標）ディスクなどの磁気ディスクドライブ、あるいはフラッシュメモリ等の不揮発性メモリ等を、単体あるいは複数組合せて構成される。補助記憶装置６０３は、ＣＰＵ６０１によって実行されるソフトウェアや録画再生装置において処理されるデータや動画データ等を格納する。
【００２１】
表示装置６０４は、例えば、液晶ディスプレイ、プラズマディスプレイ、プロジェクタ等によって実現され、本録画再生装置において処理される動画データや本録画再生装置の動作設定や状況を表す表示データを表示する。
【００２２】
入力装置６０５は、例えば、リモコン、キーボード、マウス等で実現され、利用者は本入力装置６０５を通して録画、再生に関する設定を行う。
【００２３】
放送データ取得装置６０６は、例えば、チューナ等で実現され、アンテナで受信した電波から利用者が選局したチャンネルの動画データを補助記憶装置６０３に記憶する。アンテナで受信した電波に電子番組表が含まれている場合、該電波から電子番組表を抽出し、補助記憶装置６０３に格納する。
【００２４】
ネットワーク送受信装置６０７は、例えば、ＬＡＮカード等のネットワークカードによって実現され、ネットワークで繋がっている他の装置から動画データや電子番組表を取得し、補助記憶装置６０３に格納する。
【００２５】
（２）機能構成
図１は、映像再生装置が有するテロップ文字認識部の機能ブロックの一例である。テロップ文字認識部の機能はハードウェアで実現されてもソフトウェアで実現されても良い。映像として動画を例に説明する。ここでは補助記憶装置６０３に格納され、ＣＰＵ６０１により呼び出されて実行されるソフトウェアで実現されるものとして以下説明する。
【００２６】
テロップ文字認識部は、動画データ入力部１０１、テロップ領域抽出部１０２、文字抽出部１０３、辞書データベース１０５、辞書データ選択部１０６、番組情報取得部１０７、辞書データ取得部１０８、文字認識処理部１０９、テロップ情報生成部１１０、から構成される。
【００２７】
動画データ入力部１０１は、補助記憶装置６０３に格納された動画データを入力する。また、動画データ入力部１０１が起動されるタイミングは、録画終了後、利用者によって解析が指示された場合、図示しないスケジューラによって決められた時刻になった場合、番組情報を未解析の動画データを発見した場合である。また、前記以外の場合として、録画が開始された場合に起動してもよく、この場合、録画中の動画データを入力するように構成してもよい。
【００２８】
テロップ領域抽出部１０２は、動画データ入力部１０１で入力された動画データに対して、テロップであると判断される画素領域を求め、該画素領域の切り出し画像を作成する。処理時間やメモリの使用量に制限がある場合、該画素領域の切り出し画像を作成せず、該画素領域の座標情報を求めてもよい。テロップであると判断される画素領域を求める方法は、特開平９−３２２１７３号公報、特開平１０−１５４１４８号公報、特開２００１−２８５７１６号公報などで知られる公知の手法を用いることができる。テロップが出現開始する時刻とテロップが消失する時刻を求める方法は、David Crandall, Sameer Antani, and Rangachar Kasturi,”  Extraction of special effects caption text events from digital video”, IJDAR (2003) 5: 138-157などで知られる公知の手法を用いることができる。
【００２９】
文字抽出部１０３は、テロップ領域抽出部１０２でテロップであると判断された画素領域の切り出し画像に対して、文字であると判断される画素領域を求め、該画素領域の切り出し画像を作成し、文字画像データ１０４として保存する。補助記憶装置の容量が十分でない場合、従来、ファクシミリ等で用いられているランレンスグ符号化とエントロピー符号化を行って保存する。文字であると判断される画素領域を求める方法は、特開２００２−２７９４３３号公報、特開２００６−５９１２４号公報などで知られる公知の手法を用いることができる。
【００３０】
辞書データベース１０５の構成を図２に示す。辞書データベース１０５に含まれる辞書データは例えば、字種辞書２０１、キーワード辞書２０２、処理対象範囲２０３から構成され、それぞれ番組カテゴリ毎に選択可能な構造である。
【００３１】
字種辞書２０１の構造は、図２に示すように字種２０１ａ、対象番組カテゴリ２０１ｂ、特徴ベクトル２０１ｃから構成される。このように字種毎に対応番組カテゴリを設定しておくことで、番組カテゴリで利用される字種の辞書のみを後述する文字認識処理部１０９に読み込ませることができる。特徴ベクトル２０１ｃは文字認識で一般的に用いられる方向線素特徴量を用いる。特徴ベクトル２０１ｃは文字認識の際、字種の識別に用いられる。
【００３２】
キーワード辞書２０２は、図２に示すように、キーワード２０２ａと対象番組カテゴリ２０２ｂから構成される。キーワード辞書２０２はテロップの文字（ここでは字幕を例とする）を利用して作成してもよい。その場合の処理フローを図３に示す。
【００３３】
図３は、字幕データからキーワードを抽出する処理例を示す。まず字幕データを入力する（ステップ３０１）。次に字幕データから、キーワードを抽出する（ステップ３０２）。抽出手順は、形態素解析を用いて字幕データに含まれる文字列の品詞を判定して、カテゴリ毎に設定された抽出対象の品詞の文字列をキーワードとして抽出する。処理対象範囲２０３は、文字認識処理対象の範囲を示した矩形座標２０３ａと対象番組カテゴリ２０３ｂから構成される。尚、上記字種辞書２０１、キーワード辞書２０２、処理対象範囲２０３を対象番組名や対象チャンネル毎に選択可能にするため、各辞書の構造において対象番組名や対象チャンネル属性を持ってもよい。
【００３４】
辞書データ選択部１０６は、後述する番組情報取得部１０７で取得された番組情報を基に辞書データベース１０５から辞書データを選択する。番組情報の例としては、番組名、番組カテゴリ等がある。
【００３５】
番組情報取得部１０７は、放送データ取得装置１１１あるいはネットワーク送受信装置１１２から番組名、番組情報等の番組情報を取得する。
【００３６】
辞書データ取得部１０８は、インターネット上にあるデータベースが更新されたことが確認できた場合、または予め決められた時間間隔で、放送データ取得装置１１１またはネットワーク送受信装置１１２からデータベースを取得し、既にあるデータベースを更新する。
【００３７】
文字認識処理部１０９は、文字画像データ１０６を入力し、辞書データ選択部１０６において選択された辞書データに含まれる字種辞書２０１を用いて文字認識処理を施し、認識した候補文字列を得る。尚、文字認識処理１０９に対してキーワード抽出モードが設定されているときは、候補文字列からキーワード辞書２０２に一致するキーワードを抽出する。また、辞書データに処理対象範囲２０３のデータが含まれる場合、該対象範囲のみ文字認識処理を行う。文字認識処理には、ＯＣＲ（Optical Character Reader）装置の内部で行われる文字認識処理を用いる。
【００３８】
テロップ情報生成部１１０は、テロップ領域抽出部１０２で抽出されたテロップ領域の座標情報と文字認識処理部１０９で認識した候補文字列を用いて、同一テロップが出現、継続、消失を判定し、出現時刻と消失時刻を求める。
【００３９】
（３）テロップ認識の処理例
次にテロップ認識部が実行する処理例を説明する。
【００４０】
図４（ａ）は、テロップ認識部におけるテロップ文字画像データを生成する処理例を示すフローチャートである。
【００４１】
動画データ入力部１０１が図示しない補助記憶装置に格納された動画データを入力する（ステップ４０１）。
【００４２】
次に、テロップ領域抽出部１０２が、ステップ４０１で入力された動画データから、テロップであると判断される画素領域を求め、該画素領域の切り出し画像を作成する（ステップ４０２）。
【００４３】
次に、文字抽出部１０３が、ステップ１０２で作成された切り出し画像に対して、文字であると判断される画素領域を求め、該画素領域の切り出し画像を作成し、文字画像データとして保存する（ステップ４０３）。このように、画像データで保存することで、テロップの文字の再認識がされるときに図４（ａ）の処理が終わった状態から開始できるため、再認識を早く実行できる。特に、テロップの文字認識に当たっては、動画から文字の領域を切り出す（抽出する）までに時間がかかるため有効である。再認識のニーズとしては、辞書データベースが更新されたとき（例えばプロ野球の人名が最新シーズンのものに更新されたとき）や、番組のカテゴリを替えて認識をさせたいときなどが想定される。
【００４４】
図４（ｂ）は、テロップ認識部におけるテロップ情報（テロップ文字画像データから文字を認識して得た情報）を生成する処理例を示すフローチャートである。フローチャートは、動画データの全フレームに対してステップ４０１からステップ４０３までの処理した後、利用者によって解析が指示された場合、または、図示しないスケジューラによって決められた時刻になった場合、または、テロップ情報を未生成な動画データを発見した場合に実行する。また、実行する前に辞書データ取得部１０８が辞書データを取得し、辞書データベース１０５に格納しておくものとする。
【００４５】
まず、番組情報取得部１０７が、放送データ取得装置１１１あるいはネットワーク送受信装置１１２を介して、番組情報を取得する（ステップ４０４）。ただし、動画データ入力時（ステップ４０１）に番組情報を取得した場合は、ステップ４０４は実行しない。
【００４６】
次に、辞書データ選択部１０６が、番組情報取得部１０７において取得した番組情報を基に、辞書データベース１０５から辞書データを選択する（ステップ４０５）。この際、図５に示すように選択されたデータベースの属性情報５０１を表示装置６０４に表示させて、確認させてもよい。さらに、利用者にデータベースを選択可能にしてもよい。このように辞書データベースを番組情報により選択して利用することで、当該番組に適した辞書データベースを使うことができ、メモリなどに展開する辞書データを削減できたり、画像データと比較する辞書データベース内の情報を絞り込むことで認識の正確性又は効率を向上させたりすることができる。ここで番組情報に基づいて選択される辞書データとしては例えば、プロ野球番組用の辞書データであれば選手名やホームランなどの野球用語を含む。プロ野球番組においてテロップが表示され易いレイアウトの情報も含んでいても良い。さらに選手名に対応して選手の写真や過去の成績などの情報も含んでいても良い。
【００４７】
次に、文字認識処理部１０９が文字画像データ１０４を入力する（ステップ４０６）。本ステップにおいて文字画像データが符号化されている場合、画像に復号化する。
【００４８】
次に、入力された文字画像データに対して、ステップ４０５で選択した辞書データに含まれる字種辞書２０１を利用して文字認識処理を施し、認識した候補文字列を取得する（ステップ４０７）。尚、文字認識処理１０９に対してキーワード抽出モードが設定されているときは、候補文字列からキーワード辞書２０２に一致するキーワードを抽出する。また、ステップ４０５で選択した辞書データに処理対象範囲２０３のデータが含まれる場合、該対象範囲のみ文字認識処理を行う。
【００４９】
次に、テロップ情報生成部１１０が、ステップ４０２で抽出されたテロップ領域の座標情報とステップ４０７で認識した候補文字列を用いて、同一テロップが出現、継続、消失を判定し、出現時刻と消失時刻を求める（ステップ４０８）。
【００５０】
尚、ステップ４０３において文字画像データを保存するように構成したが、文字画像データを保存せずに動画データ入力（ステップ４０１）からテロップ情報生成（ステップ４０８）まで処理してもよい。
【００５１】
尚、辞書データ選択部で選択されたデータベースを、テロップ領域抽出部１０２で利用するように構成してもよい。この場合、データベースに含まれる処理対象範囲２０３で示される範囲内でテロップ領域抽出部１０２を実行する。
【００５２】
尚、辞書データ選択部で選択されたデータベースを、文字抽出部１０３で利用するように構成してもよい。この場合、データベースに含まれる処理対象範囲２０３で示される範囲内で文字抽出部１０３を実行する。
【００５３】
（４）認識結果の処理例
次に、テロップ出現シーンを表示する処理を説明する。
【００５４】
図７は、テロップ出現シーンを表示する処理例を示すフローチャートである。
【００５５】
まず、文字認識処理部１０９にキーワード抽出モードを設定して、テロップ認識部においてステップ４０１からステップ４０８までを実行し、テロップ情報を作成する（ステップ７０１）。
【００５６】
次に、動画を再生するために動画データが選択されたとき、キーワードを表示装置６０４に表示する（ステップ７０２）。ここで、表示するキーワードの選択基準として、例えば、動画中で出現する数の多い方からあらかじめ決められた数とする。また、ユーザがあらかじめ設定したキーワードと一致するものをあらかじめ決められた数を選択してもよい。また、インターネット上から取得したキーワードと一致するものをあらかじめ決められた数を選択してもよい。選択されたキーワードの一覧を表示装置に表示した画面の例を図８に示す。
【００５７】
図８は、表示装置６０４に映像を再生する画面８０１と表示位置を指定するシークバー８０２が表示されており、表示画面の横にキーワード一覧８０３を表示した例を示している。尚、利用者からキーワードの選択を受け付ける代わりに、利用者からキーワードを入力させるようにしてもよい。
【００５８】
利用者からキーワードの選択があったとき、該キーワードに対応付けられた開始時刻に再生位置を移す（ステップ７０３）。この際、キーワードに対応付けられた開始時刻が複数ある場合は、各開始時刻の位置にマークを付け、最も早い開始時刻に再生位置を移す。選択されたキーワードに対応付けられた開始時刻の位置にマークを付けた画面を図９、図１０に示す。
【００５９】
図９は、利用者から１つのキーワードが選択された際、図８で示した画面に対して選択されたキーワード９０１に枠を付け、該キーワードに対応付けられた開始時刻の位置（ここでは３つ）にそれぞれマーク９０２、９０３、９０４を付けた例を示している。尚、選択されたキーワードをマークの下に表示してもよい。
【００６０】
図１０は、利用者から複数（ここでは２つ）のキーワードが選択された際に、図８で示した画面に利用者から選択されたキーワード１００１、１００２に選択を意味する枠を付け、キーワード１００１に対応付けられた開始時刻の位置（ここでは２つ）にそれぞれマーク１００３、１００４を付け、キーワード１００２に対応付けられた開始時刻の位置（ここでは２つ）にそれぞれマーク１００５、１００６を付け、各マークの下にキーワードを表示した例を示している。図９や１０のようにキーワードで選択された場面とそれぞれに対応するキーワードとを示すことでユーザに対して、どんな場面が選択されているのかを示すことできる。
【００６１】
以上、上述した実施例によれば、従来方法より認識時のメモリ使用量を抑えたり、また、再認識時に処理時間の削減が可能にしたりするテロップ認識方法やテロップ出現シーン表示装置を提供できる。
【図面の簡単な説明】
【００６２】
【図１】テロップ認識部の機能ブロックの一例である。
【図２】辞書データベース１０５に含まれる辞書データの構造の一例である。
【図３】字幕を利用した番組カテゴリ毎のキーワード辞書を作成する処理の一例である。
【図４】テロップ認識部におけるテロップ文字画像データを生成する処理の一例とテロップ認識部におけるテロップ情報を生成する処理の一例とである。
【図５】ステップ４０５で選択されたデータベースの確認画面である。
【図６】テロップ出現シーン表示装置のハードウェア構成の一例である。
【図７】テロップ出現シーンを表示する処理の一例である。
【図８】テロップ情報に含まれるキーワードを表示装置に表示した画面の一例である。
【図９】利用者から１つのキーワードが選択された際、キーワードに対応付けられた各開始時刻の位置にマークを付けた画面の一例である。
【図１０】利用者から複数のキーワードが選択された際、各キーワードに対応付けられた各開始時刻の位置にマークを付けた画面の一例である。
【符号の説明】
【００６３】
１０１…動画データ入力部、１０２…テロップ領域抽出部、１０３…文字抽出部、１０４…文字画像データ、１０５…辞書データベース、１０６…辞書データ選択部、１０７…番組情報取得部、１０８…辞書データ取得部、１０９…文字認識処理部、１１０…テロップ情報生成部、２０１…字種辞書、２０２…番組カテゴリ毎のキーワード辞書、２０３…処理対象範囲
【図１】
2008118232.tif 000003
【図２】
2008118232.tif 000004
【図３】
2008118232.tif 000005
【図４】
2008118232.tif 000006
【図５】
2008118232.tif 000007
【図６】
2008118232.tif 000008
【図７】
2008118232.tif 000009
【図８】
2008118232.tif 000010
【図９】
2008118232.tif 000011
【図１０】
2008118232.tif 000012