(57)【要約】【課題】種々の文字データが混在した各種画像から文字データを正確に認識して読み取るための文字読取システムを提供する。【解決手段】文字読取システム２は、種々の文字データ８，１０が混在した各種ＴＶ画像６を取り込む画像取込手段１２（撮像装置１２ａ、受信装置１２ｂ）と、各種画像を記録する画像記録手段１４と、各種画像中に認識可能な文字データがあるか否か判定する文字判定手段１６と、文字データと予め設定登録した基準文字データとを照合して、文字データの認識を行う文字認識手段１８と、文字データを記録する文字記録手段２０と、文字データを所定の信号形式に変換して出力する文字出力手段２２（音声出力回路２２ａ、電子メール出力回路２２ｂ、映像出力回路２２ｃ）とを備えている。【選択図】    図１
2004280711.tif 000002
【特許請求の範囲】
【請求項１】
種々の文字データが混在した各種画像から文字データを認識して読み取るための文字読取システムであって、
種々の文字データが混在した各種画像を取り込む画像取込手段と、
前記画像取込手段により取り込まれた各種画像を記録する画像記録手段と、
前記画像記録手段により記録された各種画像中に認識可能な文字データがあるか否か判定する文字判定手段と、
前記文字判定手段により判定された文字データと、予め設定登録した基準文字データとを照合して、文字データの認識を行う文字認識手段と、
前記文字認識手段で認識された文字データを記録する文字記録手段と、
前記文字記録手段により記録された文字データを所定の信号形式に変換して出力する文字出力手段と、を備えていることを特徴とする文字読取システム。
【請求項２】
前記画像取込手段は、種々の文字データが混在した各種画像を光学的に撮像する撮像装置を備えていることを特徴とする請求項１に記載の文字読取システム。
【請求項３】
前記画像取込手段は、種々の文字データが混在した各種画像を電気的に受信する受信装置を備えていることを特徴とする請求項１に記載の文字読取システム。
【請求項４】
前記基準文字データには、複数種類の言語を構成する基準文字と、これら基準文字の読み及び発音が含まれることを特徴とする請求項１〜３のいずれか１に記載の文字読取システム。
【請求項５】
前記文字出力手段は、前記文字記録手段により記録された文字データを音声信号に変換して出力する音声出力回路を備えていることを特徴とする請求項１〜４のいずれか１に記載の文字読取システム。
【請求項６】
前記音声出力回路は、前記文字記録手段により記録された文字データのサイズに応じて、音声の出力音量を増減変化させる機能を有していることを特徴とする請求項５に記載の文字読取システム。
【請求項７】
前記文字出力手段は、前記文字記録手段により記録された文字データを電子メール信号に変換して出力する電子メール出力回路を備えていることを特徴とする請求項１〜４のいずれか１に記載の文字読取システム。
【請求項８】
前記文字出力手段は、前記文字記録手段により記録された文字データを所望サイズの文字として表示する文字表示回路を備えていることを特徴とする請求項１〜４のいずれか１に記載の文字読取システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、大小様々な形式の文字データ（例えば、テキスト文書、絵文字）が混在した各種画像（例えば、動画や静止画が混在した映像）から文字データを正確に認識して読み取るための文字読取システムに関する。
【０００２】
【従来の技術】
従来から、文字を読み取るための装置として例えばＯＣＲ等の各種の光学式文字読取装置が知られており、このＯＣＲは、例えば紙（コピー、ファックス）に書かれている文字データをスキャン認識し、その文字データに対応する電子テキストを出力するようになっている。
また、例えば特許文献１に示すように、原稿文を光学的に読み取って音声出力する自動読み上げ式読書装置が知られており、この装置では、原稿中の文章と共に、大小様々な形式の文字｛例えばルビ（振り仮名）など｝も同時に読み上げることができるようになっている。
更に、印刷物を原稿台上に置いて操作ボタンを押すだけで、その印刷物の拡大表示と音声読み上げが可能な装置（株式会社アメディア製「ヨメールＥＺＩＩ（イージーツー）：製品名」）が市販されている。
【０００３】
【特許文献１】
特開平５−３１４３０２号公報
【０００４】
【発明が解決しようとする課題】
ところで、近年では、ＴＶ映像中に表示された大小様々な形式の文字（テキスト文書、絵文字）をリアルタイムに認識し、更に音声化して読み上げる技術が要望されている。
しかしながら、従来の装置は、文字データのみが記載された原稿から文字データを認識するように構成されており、例えば文字データと画像（絵、写真）データとが相互に重なり合って且つ混在している場合、文字データと画像データとを正確に判別することができないため、文字データのみを正確に認識して読み取ることができなかった。具体的に説明すると、従来の装置には、一般的にＣＣＤ等の受光素子が配列されており、これら受光素子の読取領域を原稿が通過する際、原稿からの反射光の光学的変化（例えば、文字からの反射光量と文字以外の領域からの反射光量の強弱）を検出することによって文字データの有無を判別し、そのとき得られた受光素子の出力電圧の変化に基づいて、文字データをパターン認識している。このため、例えば文字データと画像データとが重なり合っているような箇所において反射光量の強弱変化が僅かな場合、その反射光量の変化が文字データの反射光によるものか、或いは、画像データによるものかを光学的に判別することが困難になってしまう。このため、受光素子の出力電圧の変化から文字データを正確にパターン認識できなくなってしまう。
【０００５】
また、従来の装置で読取可能な文字データは、その読取中において常時一定箇所に位置付けられるものだけであり、動画データ中から文字データを正確に認識することはできなかった。具体的に説明すると、例えばＴＶ映像などのように文字データと画像データとが時間経過と共に変化するような場合、文字データは、画像データと共に流れてしまうため、読取中において常時一定箇所に位置付けられることはない。このような状況下で文字データを読み取ったとしても、読み取られた文字データは、変形したり潰れたりしたものとなり、文字データ本来のパターンとはかけ離れたものとなってしまう。この場合、文字データを正確に認識することができないため、誤った文字データとして読み取られてしまう。
また、上述したような正確に認識できない文字データを仮に音声化したとしても、音声として聞きづらいか、或いは、理解できないものとなってしまう。
【０００６】
本発明は、このような問題を解決するために成されており、その目的は、大小様々な形式の文字データが混在した各種画像から文字データを正確に認識して読み取るための文字読取システムを提供することにある。
【０００７】
【課題を解決するための手段】
このような目的を達成するために、本発明は、種々の文字データが混在した各種画像から文字データを認識して読み取るための文字読取システム２であって、種々の文字データが混在した各種ＴＶ画像６を取り込む画像取込手段１２（撮像装置１２ａ、受信装置１２ｂ）と、画像取込手段により取り込まれた各種画像を記録する画像記録手段１４と、画像記録手段により記録された各種画像中に認識可能な文字データがあるか否か判定する文字判定手段１６と、文字判定手段により判定された文字データと予め設定登録した基準文字データ（複数種類の言語を構成する基準文字、これら基準文字の読み及び発音）とを照合して、文字データの認識を行う文字認識手段１８と、文字認識手段で認識された文字データを記録する文字記録手段２０と、文字記録手段により記録された文字データを所定の信号形式に変換して出力する文字出力手段２２（音声出力回路２２ａ、電子メール出力回路２２ｂ、映像出力回路２２ｃ）とを備えている。
この発明によれば、大小様々な形式の文字データ（例えば、テキスト文書、絵文字）が混在した各種画像（例えば、動画や静止画が混在した映像）から文字データが正確に認識されて読み取られる。
【０００８】
【発明の実施の形態】
以下、本発明の一実施の形態に係る文字読取システムについて、添付図面を参照して説明する。
図１（ａ）に示すように、本実施の形態の文字読取システム２は、種々の文字データが混在した各種画像から文字データを認識して読み取ることができるように構成されている。この場合、種々の文字データが混在した各種画像としては、各テレビ局から搬送波に乗って送信されたテレビ信号（映像信号、文字信号、音声信号）によってＴＶ装置のモニタ４上に表示された各種画像（例えば、動画、静止画）、パソコン通信やインターネットによってパソコンや携帯電話（ＰＨＳ）のモニタ上に表示された各種画像（例えば、各種ホームページのコンテンツ画像）などを想定することができる。なお、以下の説明では、その一例として、ＴＶ装置のモニタ４上に表示された各種ＴＶ画像６から文字データ８，１０（図１（ｃ）参照）を認識して読み取る技術について説明する。
【０００９】
図１（ｂ），（ｃ）に示すように、文字読取システム２には、種々の文字データ８，１０が混在した各種ＴＶ画像６を取り込む画像取込手段１２と、画像取込手段１２により取り込まれた各種ＴＶ画像６を記録する画像記録手段１４と、画像記録手段１４により記録された各種ＴＶ画像６中に認識可能な文字データ８，１０があるか否か判定する文字判定手段１６と、文字判定手段１６により判定された文字データ８，１０と予め設定登録した基準文字データ（図示しない）とを照合して、文字データ８，１０の認識を行う文字認識手段１８と、文字認識手段１８で認識された文字データ８，１０を記録する文字記録手段２０と、文字記録手段２０により記録された文字データ８，１０を所定の信号形式に変換して出力する文字出力手段２２とを備えている。
【００１０】
画像取込手段１２は、種々の文字データ８，１０が混在した各種ＴＶ画像６を光学的に撮像する撮像装置１２ａと、種々の文字データ８，１０が混在した各種ＴＶ画像６を電気的に受信する受信装置１２ｂとを備えており、ＴＶ装置のモニタ４上に表示されるＴＶ画像６の種類に応じて、適宜選択的に動作制御されるようになっている。例えばテレビ局からのテレビ信号が映像信号（テキストデータ形式でない絵文字を含んだ画像）だけで構成されている場合には、撮像装置１２ａを動作させてＴＶ装置のモニタ４上のＴＶ画像６を撮像する。これに対して、テレビ局からのテレビ信号がテキストデータを含んだ映像信号である場合には、例えば撮像装置１２ａと同時に受信装置１２ｂも動作させ、撮像装置１２ａによりＴＶ画像６を撮像すると共に受信装置１２ｂによりテキストデータを直接取り込む。このため、ＴＶ装置本体２４と受信装置１２ｂとは送信線２６で互いに連結されている。なお、受信装置１２ｂのみを動作させてＴＶ画像６を取り込んでも良い。
【００１１】
この場合、撮像装置１２ａとしては、例えば市販のＣＣＤカメラやビデオカメラ等を適用すれば良い。また、受信装置１２ｂとしては、市販の受信回路素子をそのまま適用すれば良い。
基準文字データには、複数種類の言語を構成する基準文字と、これら基準文字の読み及び発音が含まれており、これら基準文字、読み及び発音などの各種データは、基準文字データＤＢ２８に予め設定登録されている。この場合、複数種類の言語としては、例えば、日本語、英語、中国語、韓国語、イタリア語、ドイツ語、スペイン語、ロシア語、フランス語などの主要な言語が少なくとも含まれており、文字読取システム２を使用する地域に応じて最適な言語を設定して登録することができる。
【００１２】
また、文字出力手段２２は、文字記録手段２０により記録された文字データ８，１０を音声信号に変換して出力する音声出力回路２２ａを備えており、音声出力回路２２ａは、文字記録手段２０により記録された文字データ８，１０のサイズ（大きさ）に応じて、音声の出力音量を増減変化させることができる。更に、文字出力手段２２は、文字記録手段２０により記録された文字データ８，１０を電子メール信号に変換して出力する電子メール出力回路２２ｂと、文字記録手段２０により記録された文字データ８，１０を所望サイズの文字として表示する文字表示回路２２ｃとを備えている。
【００１３】
以下、図２のフローチャートに従った本実施の形態の動作について、添付図面を参照して説明する。
なお、以下の説明において、基準文字データＤＢ２８には、日本語を構成する基準文字（漢字、平仮名、片仮名）と、これら基準文字の読み及び発音などの各種データが予め設定登録されているものとする。また、ＴＶ装置のモニタ４上には、行楽地の様子を映し出したＴＶ画像（動画）に、天気予報とその日の行楽地の入場者数を表したテロップが互いに重なり合った状態で同時に映し出されているものとする（図１（ｃ））。
ここでは、その一例として、画像取込手段１２の撮像装置１２ａを動作させて文字データ８，１０を認識して読み取るプロセスについて説明した後、画像取込手段１２の受信装置１２ｂを動作させて文字データ８，１０を認識して読み取るプロセスについて説明する。
【００１４】
まず、テレビ局からのテレビ信号が映像信号（テキストデータ形式でない絵文字を含んだＴＶ画像６）である場合、画像取込手段１２の撮像装置１２ａを動作させると（プロセスＳ１）、ＴＶ装置のモニタ４に映し出されたＴＶ画像６は、撮像装置１２ａによって撮像された後（プロセスＳ２）、画像記録手段１４に時間経過と共に連続的に記録される（プロセスＳ３）。このとき、画像記録手段１４には、ＴＶ画像６を構成する文字データ８，１０や背景画面（行楽地の様子）データが随時記録されていく。
【００１５】
画像記録手段１４に記録されたＴＶ画像６は、続いて、文字判定手段１６において、ＴＶ画像６中に認識可能な文字データ８，１０があるか否か判定される（プロセスＳ４）。このプロセスＳ４では、例えば図３（ａ）に示すように、ＴＶ画像６を縦横に文字データ判定用走査線Ｌ０，Ｌ１…Ｌｎ−１，Ｌｎ、Ｈ０，Ｈ１…Ｈｎ−１，Ｈｎが引かれ、ＴＶ画像６中の文字データ８，１０の配置が割り出される。この例では、ＴＶ画像６の中央上部に大文字で「晴れ／ときどき曇り」という文字データ８があり、下部左寄りに小さい文字で「午後２時現在の入場者数は、過去最高の２万人を超えました。」という文字データ１０があることが判定される。
図３（ｂ）に示すように、文字判定手段１６には、ＴＶ画像６中に埋もれたはっきりしない文字データ８，１０を判定する曖昧文字判定回路１６ａと、ＴＶ画像６中に溶け込んで潰れてしまったような文字データ８，１０を判定する潰れ文字判定回路１６ｂと、ＴＶ画像６の色調と文字データ８，１０の色調を判定する色調判定回路１６ｃとが設けられており、これら各判定回路１６ａ，１６ｂ，１６ｃによってＴＶ画像６中の文字データ８，１０の配置を正確に割り出すことができる。そして、かかる割出プロセスにおける経験値（履歴）や割出結果は全て学習機能回路１６ｄに記録され、その後の割出プロセスの精度を上げることができる。
【００１６】
文字判定手段１６によって判定された文字データ８，１０は、続いて、文字認識手段１８において、基準文字データＤＢ２８に予め設定登録された基準文字データと照合される（プロセスＳ５）。このプロセスＳ５では、文字判定手段１６（判定回路１６ａ，１６ｂ，１６ｃ）によって割り出されたＴＶ画像６中の文字データ８，１０にパターン認識処理が施される。つまり、文字データ８，１０と基準文字データとの文字パターンを相互に照合（マッチング）して、文字データ８，１０の認識が行われる。
図３（ｃ）に示すように、文字認識手段１８には、文字データ８，１０と基準文字データとの文字パターンを相互に照合する照合回路１８ａと、照合した文字データ８，１０の文字サイズ（大きさ）を認識する文字サイズ認識回路１８ｂと、照合した文字データ８，１０の種類（漢字、平仮名、片仮名など）を認識する文字種認識回路１８ｃとが設けられており、これら各回路１８ａ，１８ｂ，１８ｃによってＴＶ画像６中の文字データ８，１０を認識することができる。そして、かかる認識プロセスにおける経験値（履歴）や認識結果は全て学習回路１８ｄに記録され、その後の認識プロセスの精度を上げることができる。
【００１７】
文字認識手段１８によって認識された文字データ８，１０は、続いて、文字記録手段２０に記録された後（プロセスＳ６）、文字出力手段２２によって所定の信号形式に変換されて出力される（プロセスＳ７）。かかるプロセスＳ７は、文字出力要求があるまで文字読取処理中において常時作動し続けており、文字出力要求があったとき、まず、音声出力のみの要求か否か判別される（プロセスＳ８）。
音声出力のみの要求であれば、音声出力回路２２ａは、文字読取システム２に接続されている例えばスピーカ３０（図１（ａ））から文字データ８，１０を出力する。この結果、スピーカ３０から文字データ８，１０が音声で読み上げられる（プロセスＳ９）。この場合、文字記録手段２０により記録された文字データ８，１０のサイズ（大きさ）に応じて、音声の出力音量を増減変化させることもできる。
【００１８】
続いて、電子メール出力のみの要求か否か判別され（プロセスＳ１０）、そうであれば、電子メール出力回路２２ｂは、文字読取システム２に接続されている例えばパソコン３２（図１（ａ））を介して文字データ８，１０を電子メール信号に変換して出力する（プロセスＳ１１）。この場合、文字データ８，１０は、出力先携帯端末（例えば、携帯電話やＰＨＳ、パソコンなど）に送信可能となると共に、また、出力先ファクシミリ機に対してファックス通信することも可能となる。更に、文字読取システム２にファクシミリ機３４（図１（ａ））が接続されている場合には、そのファクシミリ機３４を介して文字データ８，１０をプリントアウトすることも可能となる。
【００１９】
更に続いて、文字表示のみの要求か否か判別され（プロセスＳ１２）、そうであれば、文字表示回路２２ｃは、文字記録手段２０により記録された文字データ８，１０を所望サイズの文字として表示する（プロセスＳ１３）。この場合、文字表示回路２２ｃは、例えば図４（ａ）に示すように、ＴＶ装置のモニタ４やパソコン３２のモニタ３６（図１（ａ））上に、「午後２時現在の入場者数は、過去最高の２万人を超えました。」という小さいサイズの文字データ１０のみを見易く拡大表示させることが可能となる。また、例えば図４（ｂ）に示すように、ＴＶ装置のモニタ４やパソコン３２のモニタ３６（図１（ａ））上に、文字データ８，１０のみを所望サイズで表示させることも可能となる。
【００２０】
また、音声出力・電子メール出力・文字表示の全てが要求されたような場合には（プロセスＳ８〜Ｓ１２）、文字出力手段２２（音声出力回路２２ａ、電子メール出力回路２２ｂ、文字表示回路２２ｃ）によって、音声出力・電子メール出力・文字表示の全てが行われる（プロセスＳ１４）。
【００２１】
以上、本実施の形態の文字読取システム２によれば、ＴＶ映像中に表示された大小様々な形式の文字（テキスト文書、絵文字）をリアルタイムに認識し、更に音声化して読み上げることができる。
なお、画像取込手段１２の受信装置１２ｂを動作させて文字データ８，１０を認識して読み取るプロセスについては、テレビ局からのテレビ信号がテキストデータを含んだ映像信号である場合、画像取込手段１２の受信装置１２ｂを動作させるプロセスＴ１を経た後は、上述した各プロセスＳ２〜Ｓ１４と同様であるため、その説明は省略する。
【００２２】
【発明の効果】
本発明によれば、種々の文字データが混在した各種画像から文字データを正確に認識して読み取り、出力することができる。
【図面の簡単な説明】
【図１】（ａ）は、本発明の一実施の形態に係る文字読取システムの構成を示す図、（ｂ）は、文字読取システムの内部構成を示す図、（ｃ）は、ＴＶ装置のモニタ上に表示された各種ＴＶ画像を示す図。
【図２】本発明の一実施の形態に係る文字読取システムの動作フローを示す図。
【図３】（ａ）は、文字判定プロセスにおいて、ＴＶ画像６を縦横に文字データ判定用走査線が引かれた状態を示す図、（ｂ）は、文字判定手段の内部構成を示す図、（ｃ）は、文字認識手段の内部構成を示す図。
【図４】（ａ）は、ＴＶ装置のモニタやパソコンのモニタ上に小さいサイズの文字データのみを見易く拡大表示した状態を示す図、（ｂ）は、ＴＶ装置のモニタやパソコンのモニタ上に、文字データのみを所望サイズで表示した状態を示す図。
【符号の説明】
２  文字読取システム
８，１０  文字データ
６  ＴＶ画像
１２  画像取込手段
１２ａ  撮像装置
１２ｂ  受信装置
１４  画像記録手段
１６  文字判定手段
１８  文字認識手段
２０  文字記録手段
２２  文字出力手段
２２ａ  音声出力回路
２２ｂ  電子メール出力回路
２２ｃ  映像出力回路
【図１】
2004280711.tif 000003
【図２】
2004280711.tif 000004
【図３】
2004280711.tif 000005
【図４】
2004280711.tif 000006