(57)【要約】本発明の方法は画像を適応させる二つの段階を有する：画像中のテキストを識別する段階と、該テキストのタイポグラフィー特徴を修正する段階である。本発明の電子装置は、本発明の方法を実行するよう動作する。本発明はまた、プログラム可能装置をして本発明の方法を実行するよう動作せしめる制御ソフトウェアおよび本発明の装置において使用するための電子回路にも関する。
2008520152.tif 000002
【特許請求の範囲】
【請求項１】
画像を適応させる方法であって:
前記画像中で、あるタイポグラフィー特徴をもつテキストを識別する段階と；
前記テキストの前記タイポグラフィー特徴を修正する段階、
とを有する方法。
【請求項２】
前記タイポグラフィー特徴がフォントサイズを含むことを特徴とする、請求項１記載の方法。
【請求項３】
前記画像中でテキストを識別する前記段階が、複数の画像ラインのうちどれが最も多くの水平エッジを有しているかを判別することによって水平なテキスト行の境界を検出する段階を有することを特徴とする、請求項１記載の方法。
【請求項４】
前記画像中でテキストを識別する前記段階がさらに、水平なテキスト行の境界内にのみ生起するピクセル値の集合を決定し、そのピクセル値の集合からの値をもつピクセルをテキストピクセルであるとして識別する段階を有することを特徴とする、請求項３記載の方法。
【請求項５】
前記画像中でテキストを識別する前記段階がさらに、識別されたテキストピクセルに対して形態上の閉包化の動作を実行して語境界を判別し、該語境界の内側に位置するさらなるピクセルをテキストピクセルとして識別する段階を有することを特徴とする、請求項４記載の方法。
【請求項６】
前記テキストのタイポグラフィー特徴を修正する前記段階が、前記テキストをなすテキストピクセルを処理し、処理されたピクセルを前記画像に重ねる段階を有することを特徴とする、請求項１記載の方法。
【請求項７】
前記テキストピクセルの少なくとも一つを、非テキストピクセルの値に基づく値をもつ置換ピクセルで置き換える段階をさらに有する、請求項６記載の方法。
【請求項８】
前記置換ピクセルの値が、前記少なくとも一つのテキストピクセルの近傍における非テキストピクセルの中央値の色に基づくことを特徴とする、請求項７記載の方法。
【請求項９】
前記置換ピクセルの近傍におけるあるさらなるテキストピクセルを、少なくとも部分的に前記置換ピクセルに基づく値をもつさらなる置換ピクセルで置き換える段階をさらに有する、請求項７記載の方法。
【請求項１０】
前記テキストのタイポグラフィー特徴を修正する前記段階が、相続く画像においてテキストをスクロールさせる段階を有することを特徴とする、請求項１記載の方法。
【請求項１１】
前記テキストがスクロールされる速さをユーザーが定義できるようにする段階をさらに有する、請求項１０記載の方法。
【請求項１２】
画像を適応させる方法であって：
前記画像中で、あるタイポグラフィー特徴をもつテキストを識別する段階と；
修正されたタイポグラフィー特徴をもつ前記テキストを、該修正されたタイポグラフィー特徴をもつ前記テキストを前記画像上に重ねることができる電子装置に送信する段階、
とを有する方法。
【請求項１３】
プログラム可能装置をして請求項１記載の方法を実行するよう動作せしめる制御ソフトウェア。
【請求項１４】
・画像中で、あるタイポグラフィー特徴をもつテキストを識別する識別器と、
・前記テキストのタイポグラフィー特徴を修正する修正器、
とを機能的に有している電子回路を有する電子装置。
【請求項１５】
・修正されたタイポグラフィー特徴をもつテキストおよび画像を識別する識別情報を受信する受信機と；
・前記修正されたタイポグラフィー特徴をもつテキストを前記画像上に重ねる重畳器、
とを機能的に有している電子回路を有する電子装置。
【請求項１６】
画像中の、あるタイポグラフィー特徴をもつテキストを識別する識別器と；
修正されたタイポグラフィー特徴をもつ前記テキストおよび前記画像を識別する識別情報を、該修正されたタイポグラフィー特徴をもつ前記テキストを前記画像上に重ねることができる電子装置に送信する送信機、
とを機能的に有している電子回路を有する電子装置。
【請求項１７】
請求項１４、１５または１６の電子装置において使用するための電子回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像を適応させる方法に関する。
【０００２】
本発明は、プログラム可能装置をしてそのような方法を実行するよう動作するようにするための制御ソフトウェアにも関する。
【０００３】
本発明はさらに、画像を適応させるよう動作する電子回路を有する電子装置に関する。
【０００４】
本発明は、そのような装置における使用のための電子回路にも関する。
【背景技術】
【０００５】
そのような方法の一例がUS2003/0021586から知られている。その既知の方法は、光学式またはその他の記録／再生装置とテレビとの組み合わせシステムのためにクローズドキャプションおよび字幕の表示を制御する。その既知の方法は、いずれもASCIIフォーマットのテキストとして存在する表示されるクローズドキャプションおよび字幕が重ならないことを保証する。その既知の方法は、字幕が画像の一体化した一部をなす場合にはクローズドキャプションおよび字幕の表示を制御するために使えないという欠点がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の第一の目的は、画像の一体化した一部をなすテキストの表示を制御するために使える、冒頭で述べた種類の方法を提供することである。
【０００７】
本発明の第二の目的は、画像の一体化した一部をなすテキストの表示を制御するために使える、冒頭で述べた種類の電子装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明によれば、前記第一の目的は、本方法が、画像中で、あるタイポグラフィー特徴をもつテキストを識別し、該テキストのタイポグラフィー特徴を修正する段階を有することにおいて実現される。アナログビデオ素材（たとえばアナログビデオ放送またはアナログビデオテープ）はしばしばオーバーレイ・キャプションおよび／または字幕を含む。本発明の方法は、ディスプレイ上でのオーバーレイ・テキストの見え方をカスタマイズすることを可能にする。
【０００９】
本発明の方法のある実施形態によれば、前記タイポグラフィー特徴はフォントサイズを含む。前記タイポグラフィー特徴は追加的または代替的に、たとえばフォントタイプおよび／またはフォント色を含んでいてもよい。フォントサイズを上げると、文字を読むのが困難な人および／またはたとえば携帯電話などの小型ディスプレイをもつ装置を利用する人にとって、テキストは読みやすくなる。
【００１０】
画像中でテキストを識別する段階は、複数の画像ラインのどれが最も多くの水平エッジを有しているかを判別することによって水平なテキスト行の境界を検出することを含みうる。これは識別段階のテキスト検出性能を改善する。まず水平なテキスト行の境界を検出することによって、テキスト検出アルゴリズムの次の段階において処理される必要のある面積が比較的小さくできる。処理する必要のある面積を減らすために水平なテキスト行の境界を検出するという本発明の発想およびこの発想の実施形態は、テキストのタイポグラフィー特徴を修正する必要がなくても使うことができ、たとえばマルチメディアのインデックス付けおよび検索用途において使用される。
【００１１】
画像中でテキストを識別する段階はさらに、水平なテキスト行境界内にのみ生起するピクセル値の集合を決定し、そのピクセル値の集合からの値をもつピクセルをテキストピクセルであるとして識別する段階を含みうる。一部の代替的なテキスト検出アルゴリズムとは違って、このテキスト検出アルゴリズムは通常のテキストのほか反転したテキストも検出することを可能にする。
【００１２】
画像中でテキストを識別する段階はさらに、識別されたテキストピクセルに対して形態上の閉包化（closing）の動作を実行して語境界を判別し、該語境界の内側に位置するさらなるピクセルをテキストピクセルとして識別する段階を含みうる。これはビデオ画像におけるより多数のテキストピクセルが正しく識別できることを保証する。
【００１３】
テキストのタイポグラフィー特徴を修正する段階は、テキストをなすテキストピクセルを処理し、処理されたピクセルを画像に重ねる段階を有しうる。これはピクセルから構成される画像を適応させるために有用である。
【００１４】
本発明の方法はさらに、テキストピクセルの少なくとも一つを、非テキストピクセル、すなわちテキストをなしていないピクセルの値に基づく値をもつ置換ピクセルで置き換える段階を有しうる。フォーマットし直されたテキストが完全にもとのテキストに重ならない場合には、もとのテキストの除去が必要になることがある。非テキストピクセルの値に基づく置換ピクセルを使うことによって、目に見えるアーチファクトの数が減少する。テキストを除去する本発明の方法は比較的少数のアーチファクトを引き起こし、該方法はテキスト除去が行われるいかなる用途においても有用である。ユーザーが話されている言語を理解できるから単に字幕を除去したいという場合には、字幕のタイポグラフィー特徴を修正することは必要でない。
【００１５】
置換ピクセルの値は、少なくとも一つのテキストピクセルの近傍における非テキストピクセルの中央値の（median）色に基づいていてもよい。試験では、これは代替的な諸アルゴリズムを用いて決定された置換ピクセルよりも目立ちにくい置換ピクセルを生じた。
【００１６】
本発明の方法はさらに、前記置換ピクセルの近傍におけるあるさらなるテキストピクセルを、少なくとも部分的に前記置換ピクセルに基づく値をもつさらなる置換ピクセルで置き換える段階を有しうる。テキストピクセルがその近傍に所定数より少ない非テキストピクセルを有している場合に単に近傍サイズを大きくするのは適切ではない。遠くの背景のピクセルが使われる場合には推定される色は精確でないことがあるし、近傍サイズが大きいほどより多くの計算が必要とされるからである。前記さらなる置換ピクセルの値が少なくとも部分的に前記置換ピクセルに基づいている場合、特に前記さらなる置換ピクセルの値が該さらなる置換ピクセルの近傍における複数の置換ピクセルに基づいている場合、比較的小さな近傍サイズでも目に見えるアーチファクトの良好な削減を達成するのに十分である。
【００１７】
テキストのタイポグラフィー特徴を修正する段階は、相続く画像においてテキストをスクロールすることを含みうる。拡大した字幕やキャプションの全体をビデオ画像に納める必要がある場合、字幕やキャプションの拡大はある最大に限られる。この最大は一部の人にとっては不十分でありうる。フォーマットし直されたテキストピクセルを相続くビデオ画像においてスクロールさせることにより、テキストサイズをさらに一層拡大できる。
【００１８】
本発明の方法はさらに、テキストがスクロールされる速さをユーザーが定義できるようにする段階を有しうる。これはユーザーがその速さを自分の読むスピードに合わせて調整することを許容する。
【００１９】
本発明によれば、前記第二の目的は、前記電子回路が機能的に、画像中で、あるタイポグラフィー特徴をもつテキストを識別する識別器と、該テキストのタイポグラフィー特徴を修正する修正器とを有することにおいて実現される。前記電子装置はたとえば、パソコン、テレビ、セットトップボックス、ビデオレコーダー、ビデオプレーヤーまたは携帯電話でありうる。
【００２０】
これらのことを含む本発明のさまざまな側面は、例として図面を参照することから明らかとなり、さらに明快にされるであろう。
【００２１】
図面における対応する要素は同じ参照符号によって示されている。
【発明を実施するための最良の形態】
【００２２】
本発明の方法（図１参照）は、画像中で、あるタイポグラフィー特徴をもつテキストを識別するステップ１と、該テキストのタイポグラフィー特徴を修正するステップ３を有する。テキストをフォーマットし直す可能性は多数あり、それには色、フォントサイズ、位置などの変更が含まれる。図３は、テキストの大きさ、よって位置が変更される例を示している。これは、たとえば携帯電話ディスプレイのような小型のディスプレイ画面上で特に有利である。図３の左部分は、字幕をもつもとの画像のスケール変更されたバージョンを示している（水平方向、垂直方向の両方向に４倍でサブサンプリングされる）。スケール変更された画像における字幕の文字サイズはずっと小さくなり、ユーザーによっては読むのが難しいかもしれない。図３の右部分における画像は大きなサイズの字幕をもつ同じ画像である。有利には、消費者電子装置、たとえばテレビ、ビデオレコーダー、パームトップまたは携帯電話は、本発明の方法を実行できる。あるいはまた、送信電子装置が本方法の一部分を実行し、受信（消費者）電子装置が本方法の残りの部分を実行する。その場合、送信電子装置によって実行される本方法において、テキストのタイポグラフィー特徴を修正するステップ３は、修正されたタイポグラフィー特徴をもつテキストを、当該テキストをその修正されたタイポグラフィー特徴で画像上に重ねることのできる電子装置に送信するステップによって置き換えられることができる。
【００２３】
テキストのタイポグラフィー特徴を修正するステップ３は、相続く画像においてテキストをスクロールすることを含んでいてもよい。図４では、サブサンプリングされた画像におけるテキストのサイズが、静的テキストを動くテキストに変換することによって、もとの画像における字幕テキストサイズよりさらに大きくされている。図４の４枚の画像によって実証されるように、もとの静的な字幕テキストは、一つまたは複数の異なる色をもつより大きな動くテキストに変容されている。本方法はさらに、テキストがスクロールされる速さをユーザーが定義できるようにするステップを含みうる。これにより、ユーザーが、ある時間期間にわたってテキストのスクロールを遅くすることが可能になる。スクロールするテキストの速度減少は実時間での遅延を引き起こすので、実時間のテキストの流れに遅れたテキストデータは先入れ先出し（FIFO）メモリに保存しなければならない。FIFOメモリの大きさは有限なので、遅くする動作の継続時間は、ユーザーが、リアルタイムの流れに追いつくために一部のテキスト流れ情報を失うことに同意するのでない限り、限界がある。遅れているテキストデータを保存するにはFIFOメモリを使うことができ、FIFOメモリの全体を使い切るまでの時間期間は、動くテキストのフォントサイズ、新たなスピードともとのテキストスピードとの大きさの比およびメモリサイズといったパラメータを使って、諸アルゴリズムを使って計算できる。ユーザーはそのような限界について注意喚起され、フィードバックを求められることもできる。
【００２４】
ビデオにおけるオーバーレイ・テキスト検出は、自動ビデオインデックス付けツールのための増え続ける需要の結果として、最近、人気が出ている。既存のテキスト検出アルゴリズムのすべては、何らかの形でオーバーレイ・テキスト領域の高コントラスト属性を利用する。ある好適なテキスト検出アルゴリズムでは、高コントラスト領域を際だたせるために、テキストが検出されることになるフレームの水平方向および垂直方向の微分がまず計算される。画像およびビデオ処理の文献では、図５のマスク６１および６３のような簡単なマスクが画像の微分を近似することはよく知られている。各色チャネル（あるいは、選択される色空間によっては強度チャネルおよび色度チャネル）について微分が計算されたのち、エッジ配向特徴（edge  orientation  feature）が図５の式６５によって計算される。ここで、Dix(x,y)およびDiy(x,y)はピクセル位置(x,y)でi番目の色チャネルについての水平方向および垂直方向の微分であり、Cは選択された色空間のすべてのチャネルの集合を表す。エッジ配向特徴は最初に、Rainer  Lienhart  and  Axel  Wernicke,  “Localizing  and  Segmenting  Text  in  Images,  Videos  and  Web  Pages”,  IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology,  Vol.  12,  No.4,  pp.  256-268,  April  2002によって提案されたものである。
【００２５】
最適なテキスト／非テキスト分類器を見出すために、統計的学習ツールを使うことができる。サポートベクターマシン（SVM:  Support  Vector  Machine）は二値分類器を生じ、良好な汎化能力をもつ。エッジ配向特徴が計算されている1000個のテキストブロックおよび高々3000の非テキストブロックでトレーニングされたSVMベースの分類器は、諸実験で良好な結果を与えている。代表的な分類困難な非テキストの例をみつけるのは難しいので、K.  K.  Sung  and  T.  Poggioによって“Example-based  learning  for  view-based  human  face  detection”,  IEEE  Trans.  Pattern  Analysis  and  Machine  Intelligence,  vol.20,  no.  1,  pp.39-51,  Jan.  1998において導入された人気のあるブートストラップ式アプローチをたどることができる。ブートストラップベースのトレーニングは数回の反復工程で完了する。各反復工程において、結果として得られる分類器はテキストを含んでいない何らかの画像に対して試験される。このデータセットに対する誤認は、現在の分類器が正しく分類できない、困難な非テキスト例を表すことになる。これらの非テキスト試料がトレーニングセットに追加される。よって、非テキストのトレーニングデータセットは成長し、分類器はこの拡大されたデータセットで再トレーニングされる。分類器がトレーニングされるとき、決めるべき重要な点は、分類器に与えられる画像ブロックの大きさである。ブロックの高さが検出可能な最小フォントサイズを決定し、ブロックの幅が検出可能な最小テキスト幅を決定するからである。SVM分類器をトレーニングするための12×12ブロックは良好な結果を与える。それは、400ピクセルの高さの典型的なフレームでは、12より小さいフォントサイズを見出すことがまれだからである。フォントサイズ独立性は、12×12のウィンドウサイズをもつ分類器を複数解像度で走らせることによって達成され、位置独立性はウィンドウを水平方向および垂直方向に動かして画像全体にわたって分類器を評価することによって達成される。記載されているテキスト検出アルゴリズムは、図６に示されるようなブロックベースのテキスト領域を生じる。検出されたテキスト結果は緑のブロックとして示されており、2×2（水平方向サブサンプリングレート×垂直方向サブサンプリングレート）でサブサンプリングされたビデオから得られている。よって、該結果はもとのフレームにおける24×24のブロックに対応する（サブサンプリングされたフレームについては12×12のブロックサイズ）。
【００２６】
画像中でテキストを識別するステップ１は、複数の画像ラインのどれが最も多くの水平エッジを有しているかを判別することによって水平なテキスト行の境界を検出することを含みうる。ピクセル精確なテキストマスクを得る一つの方法は、明示的にテキスト行と語境界を位置指定し（主としてテキストを複数行で表示し、テキストマスクをより精確に抽出できるため）、二値テキストマスクを抽出することによるものである。同じ行および隣接行におけるテキスト領域が組み合わされて、処理されるべき単一の合同領域を生じたのち、形態解析が実行できる。図７のROI７１は、列ごとおよび行ごとのマージ手順によって図６から抽出される関心領域（ROI:  region-of-interest）を示している。まず、エッジ検出がROIにおいて実行され、高頻度ピクセルが見出される。高頻度ピクセルはそのほとんどがテキストであると期待される。ROI７３は、当技術分野において知られているプレウィット（Prewitt）検出器によって検出されたエッジを白で示している。ROIは主としてテキストによって支配されているので、テキスト行の上端はエッジ数の増大を示し、テキスト行の下端はエッジ数の対応する減少を示すことが予期される。水平および／または垂直な次元に沿った投影は、そのような位置を簡単に検出するための効果的な記述子である。多くのテキスト切り出しアルゴリズムで使われる強度投影（intensity  projections）とは対照的に、エッジ投影はテキストの色の変動に対して堅牢である。図８に示される水平方向のエッジ投影は、図７のROI７３に示されるエッジピクセルの、各画像ラインに沿った平均数を見出すことによって計算される。図７のROI７１における二つのテキスト行は、該投影において、二つの容易に抽出可能なエッジ領域を与える。図７のROI７５は、自動的に計算された赤および緑の直線でマークされた、二つの抽出された行を示す。テキスト行当たり４本の直線の意味は、ラテン文字テキストの属性に従ったものである。最初の上の直線はテキスト行の上端を表す。しかし、より詳細なレベルでは、それはtやkのような上に伸びた文字の先端に対応する。二番目の上の直線は、aやeのような上に伸びていない文字の先端を示す。同様に、二本の下の線は下に伸びていない文字の下端およびpやyもしくは句読点「,」のような下に伸びた文字の下端を示す。
【００２７】
画像中でテキストを識別するステップ１はさらに、水平なテキスト行の境界内にのみ生起するピクセル値の集合を決定し、そのピクセル値の集合からの値をもつピクセルをテキストピクセルであるとして識別する段階を含みうる。テキスト行が検出されたあと、閾値T二値化が自動的に計算され、二値でありピクセルごとにより精確であるテキストマスクが見出される。パラメータT二値化は、図７のROI７５に示されている検出されたテキスト行の外部にあるいかなるピクセルもテキストピクセル、たとえば白として割り当てられないように設定される。結果として得られるテキストピクセルは図７のROI７７に示されている。
【００２８】
画像中でテキストを識別するステップ１はさらに、識別されたテキストピクセルに対して形態上の閉包化の動作を実行して語境界を判別し、該語境界の内側に位置するさらなるピクセルをテキストピクセルとして識別する段階を含みうる。個々の語を切り出すため、図７のROI７９に結果が示されている形態上の閉包化の動作および連結要素ラベリング（connected-component  labeling）アルゴリズムが、結果として得られるテキストマスクに適用される。閉包化の動作は、単語内の別々の文字を結合し、連結要素ラベリングアルゴリズムは連結された領域（今の場合では語）を抽出する。
【００２９】
テキストのタイポグラフィー特徴を修正するステップ１は、テキストをなすテキストピクセルを処理し、処理されたピクセルを画像に重ねる段階を有しうる。処理されたピクセルを画像に重ねたあとまたは重ねる前に、テキストピクセルの少なくとも一つを、非テキストピクセルの値に基づく値をもつ置換ピクセルで置き換えるステップ９が実行されてもよい。置換ピクセルの値は、前記少なくとも一つのテキストピクセルの近傍における非テキストピクセルの中央値の（median）色に基づいていてもよい。図７のROI７７のもとのテキストマスクに形態上の閉包化動作を適用したあとでは、図７のROI７９に示されるような拡大されたテキストマスクが得られる。拡大マスクを使う第一の理由は、もとのマスクは実際のテキスト行より薄いことがあり、そのためもとのテキストが除去された画像中に見苦しいテキスト断片を生じうるからである。テキスト領域を埋めるため、当該ピクセルの十分大きな近傍（たとえば720×576画像について23×23のウィンドウ）における非テキストピクセルの中央値の色が使用される。
【００３０】
本発明の方法はさらに、前記置換ピクセルの近傍におけるあるさらなるテキストピクセルを、少なくとも部分的に前記置換ピクセルに基づく値をもつさらなる置換ピクセルで置き換える段階を有しうる。当該テキストピクセルがテキストマスクの境界まで遠い場合には、大きなウィンドウでも、そのテキストピクセルを埋めるために使われるべき色を近似するために十分な非テキストピクセルをもてないことがありうる。さらに、これらのピクセルについてのより大きなウィンドウの使用は適切ではない。というのは、１）それらは背景から遠く、遠くの背景のピクセルが使われる場合には推定される色は精確でないことがあるし、２）ウィンドウサイズが大きいほどより多くの計算が必要とされるからである。これらの場合、現在のテキストピクセルの小さな、たとえば3×3の近傍内のこれらのピクセルの中央値の色がその色として割り当てられる。この近傍は、処理の指定（direction）に従って定義され、それにより該近傍におけるすべてのテキストピクセルはすでに色を割り当てられているようになる。この小さなウィンドウ内のピクセルは、もともとテキストピクセルであったか非テキストピクセルであったかにかかわりなく、全ピクセルの色の値が使われることを注意しておく。このテキスト検出アルゴリズムの結果が図９に示されている。
【００３１】
本発明の電子装置２１（図２参照）は電子回路２３を有する。電子回路２３は機能的に、画像中で、あるタイポグラフィー特徴をもつテキストを識別する識別器２５と、該テキストのタイポグラフィー特徴を修正する修正器２７とを有する。前記電子装置２１はたとえば、パソコン、テレビ、セットトップボックス、ビデオレコーダー、ビデオプレーヤーまたは携帯電話でありうる。電子回路２３はたとえばPhilips  Trimediaメディアプロセッサ、Philips  Nexperiaオーディオビデオ入力プロセッサ、AMD  Athlon  CPUまたはIntel  Pentium（登録商標）  CPUでありうる。好適には、識別器２５および修正器２７はコンピュータプログラムの機能的コンポーネントである。電子装置２１はさらに入力３１を有しうる。たとえば、SCART、コンポジット、SVHSもしくはコンポーネントソケットまたはテレビチューナーである。電子装置２１はさらに、出力３３を有しうる。たとえば、SCART、コンポジット、SVHSもしくはコンポーネントソケットまたは無線送信機である。電子装置２１は、電子回路２３に結合されたディスプレイ（図示せず）を有しうる。電子装置２１はまた、記憶手段３５を有しうる。記憶手段３５はたとえば、未処理のビデオ画像を保存するために、および／または処理済みのビデオ画像を保存するために使用されうる。電子装置２１は光学式文字認識（OCR:  optical  character  recognition）ユニットおよびテキスト音声化（TTS:  text-to-speech）ユニットを有しうる。TTSへの入力は単語および文の形のASCIIテキストだから、OCRの使用はTTSの動作にとって必要である。OCRユニットおよびTTSユニットの一つの用途は、読み取り能力の弱いユーザーが、字幕を読むよりは、自動的に生成される自分の母語での音声セグメントを聴くことを選ぶことがありうるということである。もとのオーディオからの干渉を防ぐため、こうした場合にはもとのオーディオは好ましくはオフにされる。さらに、OCRエンジンによって文字を認識することにより、ビデオコンテンツの自動インデックス付けができるようになり、そのことはさまざまな応用を可能にする。電子装置２１はまた、二つの電子装置によって実現されることもできる。第一の電子装置では、電子回路は機能的に、画像中で、あるタイポグラフィー特徴をもつテキストを識別する識別器と、修正されたタイポグラフィー特徴をもつテキストおよび当該画像を識別する識別情報の両方を前記修正されたタイポグラフィー特徴をもつテキストを前記画像に重ねる機能をもつ電子装置に送信する送信機とを有する。第二の電子装置では、電子回路は機能的に、修正されたタイポグラフィー特徴をもつテキストおよび画像を識別する識別情報を受信する受信機と、前記修正されたタイポグラフィー特徴をもつテキストを前記画像に重ねる重畳器とを有する。たとえば、両電子装置は同じ家庭ネットワークの一部であってもよいし、あるいは第二の電子装置は家庭ネットワーク内に位置している一方、第一の電子装置はサービス提供者の位置にあって遠くに位置していてもよい。
【００３２】
本発明について好適な諸実施形態との関連で述べてきたが、上述した原理の範囲内にあるその修正は当業者には明らかであろうことは理解されるであろう。本発明は好適な実施形態に限定されるものではなく、そのような修正をも包含することが意図されている。本発明は、すべての各新規の特徴機能およびすべての各機能特徴の組み合わせに存している。請求項に参照符号があったとしても、保護範囲を限定するものではない。動詞「有する」およびその活用形の使用は請求項において述べられているもの以外の要素の存在を排除しない。要素の単数形の表現はそのような要素の複数の存在を排除しない。
【００３３】
本発明は、いくつかの相異なる要素を有するハードウェアによって、および好適にプログラムされた装置によって実装できる。「制御ソフトウェア」は、フロッピー（登録商標）ディスクのようなコンピュータ可読媒体上に保存された、ネットワークを介してダウンロード可能な、あるいは他の任意の仕方で市販されている任意のソフトウェアプロダクトを意味するものと理解されるものである。
【図面の簡単な説明】
【００３４】
【図１】本発明の方法のフローチャートである。
【図２】本発明の電子装置のブロック図である。
【図３】字幕が拡大されたビデオ画像の例を示す図である。
【図４】字幕が動くテキストに変換されたビデオ画像の例を示す図である。
【図５】本発明のある実施形態のテキスト検出ステップにおいて使用される、一つの式と二つのマスクを示す図である。
【図６】ビデオ画像中に検出されたテキストの例を示す図である。
【図７】本発明のある実施形態における関心領域内のテキストを識別する段階を示す図である。
【図８】図７の例について計算された水平方向のエッジ投影を示す図である。
【図９】識別されたテキストピクセルが除去されたビデオ画像の例である。
【図１】
2008520152.tif 000003
【図２】
2008520152.tif 000004
【図３】
2008520152.tif 000005
【図４】
2008520152.tif 000006
【図５】
2008520152.tif 000007
【図６】
2008520152.tif 000008
【図７】
2008520152.tif 000009
【図８】
2008520152.tif 000010
【図９】
2008520152.tif 000011
【国際調査報告】
2008520152.tif 000012
2008520152.tif 000013
2008520152.tif 000014