(57)【要約】【課題】本発明は、ワンセグ放送などの動画像から、電話番号、ＵＲＬ、検索ワードなどをテキストデータとして抽出することによって電話やＷｅｂにアクセス可能な画像再生装置を提供することを目的とする。【解決手段】本発明による画像再生装置は、入力された画像情報から文字を含む領域を文字領域画像として抽出する文字領域抽出手段３と、文字領域抽出手段３にて抽出された文字領域画像を記憶する文字領域画像蓄積手段４と、文字領域画像に含まれる文字を加工する文字領域加工手段５と、文字領域加工手段５にて加工された文字領域画像から文字を認識して文字テキストデータを生成する文字認識手段６と、文字認識手段６にて生成された文字テキストデータを記憶する文字情報蓄積手段７と、外部から入力操作を行うキー入力手段９と、キー入力手段９の入力指示に基づいて各動作部を制御する制御手段８とを備えることを特徴とする。【選択図】図１
2009130899.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像情報から文字を含む領域を文字領域画像として抽出する文字領域抽出手段と、
前記文字領域抽出手段にて抽出された前記文字領域画像を記憶する文字領域画像蓄積手段と、
前記文字領域画像に含まれる文字を加工する文字領域加工手段と、
前記文字領域加工手段にて加工された前記文字領域画像から文字を認識して文字テキストデータを生成する文字認識手段と、
前記文字認識手段にて生成された前記文字テキストデータを記憶する文字情報蓄積手段と、
前記画像情報や、前記文字テキストデータあるいは前記文字領域画像に関する操作メニューを表示する表示手段と、
外部から入力操作を行うキー入力手段と、
前記キー入力手段の入力指示に基づいて各動作部を制御する制御手段と、
を備えることを特徴とする、画像再生装置。
【請求項２】
ＣＭ（コマーシャルメッセージ）期間を検出するＣＭ期間検出手段をさらに備え、
前記文字領域抽出手段での前記文字領域画像の抽出を、前記ＣＭ期間に限定することを特徴とする、請求項１に記載の画像再生装置。
【請求項３】
前記画像情報が入力される間、前記制御手段は前記キー入力手段の入力指示に基づいて前記文字情報蓄積手段に記憶されている前記文字テキストデータを選択し、選択した前記文字テキストデータに含まれる電話番号による電話接続、アドレスまたはキーワードによるインターネット接続を行うことを特徴とする、請求項１または請求項２に記載の画像再生装置。
【請求項４】
前記制御手段は前記キー入力手段の入力指示に基づいて前記文字領域画像蓄積手段から所望の前記文字領域画像を選択し、当該文字領域画像を前記文字領域加工手段および前記文字認識手段によって処理して前記文字テキストデータを得、当該文字テキストデータに含まれる電話番号による電話接続、アドレスまたはキーワードによるインターネット接続を行うことを特徴とする、請求項１または請求項２に記載の画像再生装置。
【請求項５】
前記文字領域画像蓄積手段に記憶されている前記文字領域画像と、前記文字情報蓄積手段に記憶されている前記文字テキストデータとを関連付けて前記表示手段に表示することを特徴とする、請求項１ないし請求項４のいずれかに記載の画像再生装置。
【請求項６】
前記文字領域抽出手段は、入力された前記画像情報から前記文字領域画像が消滅したことを検出する文字領域消滅検出手段を備え、
前記文字領域画像蓄積手段への前記文字領域画像の記憶は、前記文字領域消滅検出手段によって前記文字領域画像の消滅が検出されたときに行うことを特徴とする、請求項１ないし請求項５のいずれかに記載の画像再生装置。
【請求項７】
前記文字領域抽出手段は、入力された前記画像情報に対して前記文字領域画像が挿入されたことを検出する文字領域入力検出手段を備え、
前記文字領域画像蓄積手段への前記文字領域画像の記憶は、前記文字領域入力検出手段によって前記文字領域画像の挿入が検出されたとき、または前記文字領域画像の挿入が検出されてから所定画像フレーム後に行うことを特徴とする、請求項１ないし請求項５のいずれかに記載の画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像からテキストデータを抽出し、抽出したテキストデータから直接外部に対してアクセス可能な画像再生装置に関する。
【背景技術】
【０００２】
近年の携帯電話では、ワンセグ放送などのテレビ放送が視聴可能であるものや、フルブラウジング機能を有しているものが数多く提案されている。ワンセグ放送において、特にコマーシャルメッセージ（以下、ＣＭとする）部分にはフリーダイアルなどの電話番号、インターネット上のＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）や検索ワードなどの情報が含まれることが多い。ＣＭに関心をもった視聴者やユーザーは、これらの情報を記憶し、別のステップで電話やＷｅｂ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）にアクセスする必要があった。
【０００３】
従来の携帯電話における情報を記録する手段として、例えば、携帯電話などの画像再生装置に内蔵されているデジタルカメラで名刺や時刻表などを撮影し、その情報を画像形式のデータとして保存・活用しているものがある。また、例えば、携帯電話に内蔵されているデジタルカメラで撮影した画像形式のデータを、光学式文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）と組み合わせてテキスト形式のデータベースとして保存することによって、保存した情報が変更されたときなどに更新を容易にすることができる装置および方法が提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開２００７−１６４７８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、携帯電話に内蔵されているデジタルカメラを用いて情報を記録することについて記載されており、ワンセグ放送中に表示される情報を記録することについての記載がなされていない。
【０００６】
ユーザーが電話番号、ＵＲＬ、検索ワードを正確に記録しておくことには困難が多い。また、電車などの移動体の中で携帯電話でワンセグ放送を視聴した場合に、移動体の揺れや画面に表示されている情報の解像度の低さが原因となって読み取ることが難しく、見逃してしまうことも多い。
【０００７】
本発明は、これらの問題を解決するためになされたもので、ワンセグ放送などの動画像から、電話番号、ＵＲＬ、検索ワードなどをテキストデータとして抽出することによって電話やＷｅｂにアクセス可能な画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明による画像再生装置は、入力された画像情報から文字を含む領域を文字領域画像として抽出する文字領域抽出手段と、文字領域抽出手段にて抽出された文字領域画像を記憶する文字領域画像蓄積手段と、文字領域画像に含まれる文字を加工する文字領域加工手段と、文字領域加工手段にて加工された文字領域画像から文字を認識して文字テキストデータを生成する文字認識手段と、文字認識手段にて生成された文字テキストデータを記憶する文字情報蓄積手段と、画像情報や、文字テキストデータあるいは文字領域画像に関する操作メニューを表示する表示手段と、外部から入力操作を行うキー入力手段と、キー入力手段の入力指示に基づいて各動作部を制御する制御手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によると、文字領域抽出手段は入力された画像情報から文字を含む領域を文字領域画像として抽出し、文字領域画像蓄積手段は文字領域抽出手段にて抽出された文字領域画像を記憶し、文字領域加工手段は文字領域画像に含まれる文字を加工し、文字認識手段は文字領域加工手段にて加工された文字領域画像から文字を認識して文字テキストデータを生成し、文字情報蓄積手段は文字認識手段にて生成された文字テキストデータを記憶するため、ワンセグ放送などの動画像から、電話番号、ＵＲＬ、検索キーワードなどをテキストデータとして抽出することによって電話やＷｅｂにアクセス可能となる。
【発明を実施するための最良の形態】
【００１０】
本発明の実施形態について、図面を用いて以下に説明する。
【００１１】
〈実施形態１〉
図１は、本発明の実施形態１による画像再生装置１０１の構成を示すブロック図である。図１に示すように、画像再生装置１０１は、入力された画像データ（画像情報）を１フレームごとに記録するフレームメモリ１と、ＣＭ期間を検出するＣＭ期間検出部２（ＣＭ期間検出手段）と、入力された画像データから文字を含む領域を文字領域画像として抽出する文字領域抽出部３（文字領域抽出手段）と、文字領域抽出部３にて抽出された文字領域画像を記憶する文字領域画像蓄積部４（文字領域蓄積手段）と、文字領域画像に含まれる文字を加工する文字領域加工部５（文字領域加工手段）と、文字領域加工部５にて加工された文字領域画像から文字を認識して文字テキストデータ（テキストデータ）を生成する文字認識部６（文字認識手段）と、文字認識部６にて生成された文字テキストデータを記憶する文字情報蓄積部７（文字情報蓄積手段）と、画像データや操作メニューを表示する表示部１０（表示手段）と、外部から入力操作を行うキー入力部９（キー入力手段）と、キー入力部９の入力指示に基づいて各動作部を制御する制御部８（制御手段）とからなる。
【００１２】
本発明の実施形態１の特徴は、画像データが入力されている間、制御部８はキー入力部９の入力指示に基づいて文字情報蓄積部７に記憶されているテキストデータを選択し、選択したテキストデータに含まれる電話番号による電話接続、アドレスまたはキーワードによるインターネット接続を行うことである。
【００１３】
フレームメモリ１は、ＳＤＲＡＭなどのメモリからなり、ＭＰＥＧ４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ４）などで符号化された映像コンテンツを復号化した後に入力された画像データを１フレーム単位で記録する。フレームメモリ１から読み出された画像データは、順次、ＣＭ期間抽出部２に入力される。
【００１４】
ＣＭ期間検出部２は、ＣＭの特徴であるステレオ放送への切り替わり時や、放送番組がＣＭに移り変わるときに存在する無音期間を検出することによって、放送番組の合間であるＣＭ期間を検出する。また、ＣＭ毎に挿入されている無音期間の検出や、ＣＭ期間の１５秒間や３０秒間のカウント、２フレームの画像データ間におけるヒストグラムの変化などから映像の切り替わり（シーンチェンジ）を検出した結果などを合わせて用いると、より正確なＣＭ期間の検出が可能となる。ＣＭ期間検出部２にて検出された画像データであるＣＭ映像は、フレームメモリ１から読み出されて文字領域抽出部３に入力される。
【００１５】
なお、本発明の実施形態において、放送番組などの動画像に表示される電話番号、ＵＲＬ、検索ワードは、主にＣＭ期間中に表示されることが多いため、ＣＭ期間検出部２にて検出したＣＭ映像のみを文字領域抽出部３に出力しているが、ＣＭ以外の番組中に表示される検索ワードなども検出して利用する場合には、ＣＭ期間検出部２による処理を省略してもよい。
【００１６】
次に、文字領域抽出部３について詳細に説明する。
【００１７】
文字領域抽出部３では、入力された画像データから文字を含む領域を文字領域画像として抽出している。文字領域画像中の文字は、ほとんど変化がないか、または動かないことが特徴である。そのため、入力された画像データのフレームと直前に入力された画像データのフレームとを比較し、変化が少ないかまたは変化がない領域が文字領域画像である可能性が高い。
【００１８】
文字領域画像を抽出する方法としては、文字らしさの指標を利用して文字領域画像を限定する。文字らしさの指標とは、
・周波数成分が高い、すなわち、入力された画像データを分割した領域内において検出されるエッジの数が多い。
・文字の線の太さ分だけ同一画素値が連続する。すなわち、文字の輪郭内の画素値は略一様である。
・文字の輪郭に対して矩形処理を行うと、矩形が一定間隔で整列されている。
などがある。
【００１９】
図２は、本発明の実施形態１による文字領域抽出部３の構成を示すブロック図である。図２に示すように、文字領域抽出部３は、エッジ抽出部３０１、２値化部３０２、２値情報保持部３０３、エッジ静止検出部３０４、エッジ動き検出部３０５、文字らしさ判定部３０６、静止領域保持部３０７、動き領域保持部３０８、文字領域入力検出部３０９、文字領域消滅検出部３１０、文字領域検出部３１１、ラベリング／矩形整形部３１２とからなる。
【００２０】
エッジ抽出部３０１は、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタなどの空間フィルタを用いることによって、文字領域画像中に含まれるエッジ情報を抽出する。
【００２１】
エッジ抽出部３０１にて抽出されたエッジ情報は、２値化部３０２によって白と黒の２値で表現される。このとき、例えば、エッジを白（１）、それ以外を黒（０）としてもよい。２値化を行った結果、文字領域画像の情報量が削減され、後の処理が簡易化される。
【００２２】
なお、２値化の方法は、例えば本発明で対象となる文字はＣＭなどで用いられる強調された文字が多く、これらの文字は高輝度でコントラストが高いため、所定の画素値で２値化を行う固定閾値でも可能である。また、文字が背景と比べて、高輝度、もしくは、コントラストが高いという特徴を持たない場合、着目画素の近傍の画素値の平均を求め、平均値との大小関係から２値化する自動２値化処理方法（可変閾値法や適応閾値法）などを適用することで改善されることがあるなど、最適な２値化法は入力画像の特徴によって異なるため、選択的に２値化の方法を適用することが理想的である。
【００２３】
２値情報保持部３０３では、入力された画像データの１フレーム前の２値情報が保持されている。
【００２４】
エッジ静止検出部３０４では、２値化部３０２における現フレームの２値情報と、２値情報保持部３０３における１フレーム前の２値情報とを比較し、エッジが静止していることを検出する。例えば、フレーム内の各画素単位ごとに、２値化部３０２の２値情報が白（１）、２値情報保持部３０３の２値情報が白（１）の、ともにエッジである箇所を検出する。検出結果として、静止しているエッジ情報を示すフラグを１、それ以外は０などと２値表現する。
【００２５】
エッジ動き検出部３０５では、２値化部３０２における現フレームの２値情報と、２値情報保持部３０３における１フレーム前の２値情報とを比較し、エッジが動いたことを検出する。例えば、２値情報保持部３０３の２値情報が白（１）であった画素が、２値化部３０２の２値情報では黒（０）となった画素を検出する。あるいは、２値情報保持部３０３の２値情報が黒（０）であった画素が、２値化部３０２の２値情報では白（１）となった画素を検出する。または、２値情報保持部３０３と２値化部３０２との２値情報を比較し、白（１）から黒（０）、および黒（０）から白（１）となった箇所を検出する。検出結果として、動きのあったエッジ情報を示すフラグを１、それ以外は０などと２値表現する。
【００２６】
文字らしさ判定部３０６では、例えば、４ピクセル×４ピクセルに領域を分割し、文字が存在する領域ではエッジの数が多くて高周波であることを利用し、各領域内において静止していたエッジおよび動きのあったエッジが何％（所定の閾値以上）あるかによって文字らしさを判定する。分割された各領域ごとに、静止している文字領域画像および動きのあった文字領域画像を示すフラグを付加する。
【００２７】
なお、本発明の実施形態では、文字らしさの指標として、分割された領域内でのエッジの数が多いこととしたが、他の文字らしさの指標として前述のような方法を用いてもよい。また、本発明の実施形態では、２値化部３０２と２値情報保持部３０３との２値情報を比較することによってエッジの静止および動きを検出し、検出結果に基づいて文字らしさ判定部３０６で文字らしさを判定しているが、２値化部３０２および２値情報保持部３０３で２値化された情報に基づいて文字らしさ判定部３０６で文字らしさを判定し、判定結果である文字らしい領域においてエッジの静止および動きを検出してもよい。
【００２８】
静止領域保持部３０７および動き領域保持部３０８では、文字らしさ判定部３０６にて付加された静止している文字領域および動きのあった文字領域を示すフラグをそれぞれ保持している。
【００２９】
文字領域入力検出部３０９では、現在のエッジが静止しているという情報と、動き領域保持部３０８に保持されている過去にエッジに動きがあったという情報とから、入力された画像データに文字情報が挿入されたことを検出する。例えば、テロップのように文字情報が挿入された直後の文字領域画像ではエッジに動きがあり、その後エッジが静止する。
【００３０】
文字領域消滅検出部３１０では、現在のエッジに動きがあったという情報と、静止領域保持部３０７に保持されている過去にエッジが静止していたという情報とから、入力画像データから文字情報が消滅したことを検出する。たとえば、テロップのような文字情報が消滅した直前の文字領域画像ではエッジは静止し、その後エッジに動きがある。
【００３１】
文字領域検出部３１１では、所定の複数フレーム間においてエッジが静止し、さらに文字らしいと判定される領域を文字領域画像として検出する。文字領域検出部３１１で検出される文字領域画像は、同様の特徴を持つ背景画像において誤検出が生じる可能性がある。この誤検出を改善するために、文字領域入力検出部３０９からの出力を保持・蓄積しておきマスク信号として利用する。このマスク信号を利用して、文字領域入力検出部３０９にて文字領域が挿入されたと判断された文字領域画像以外の領域を文字の検出の対象外とする。一方、文字領域消滅検出部３１０からの出力によってマスク信号をリセットすることによって、文字領域画像の更新を行う。
【００３２】
文字領域検出部３１１からの文字領域画像のアドレス、または文字領域画像の画像情報の出力は、文字領域消滅検出部３１０の出力である文字領域情報更新タイミングで行う。このことは、後の文字領域画像蓄積部４に対して同一または同様の情報を出力しないためである。
【００３３】
なお、文字領域画像蓄積部４の蓄積容量に余裕がある場合などは、上記のタイミングで出力することに限定するものではない。また、文字領域検出部３１１は、文字領域入力検出部３０９の出力に基づいて、文字領域が挿入されてから所定の複数フレーム間エッジの静止を検出することによって文字らしいと判断される領域を文字領域画像として検出するようにしてもよい。このとき、文字領域入力検出部３０９の出力から所定フレーム後を文字領域情報更新タイミングとしてもよい。
【００３４】
ラベリング／矩形整形部３１２では、文字領域検出部３１１から出力された歯抜けの矩形の歯抜け部分を埋め、孤立している領域を除外するために膨張および収縮処理を行なう。さらに、文字領域画像に対してラベリング処理を施すことによって識別情報を付加し、付加された識別情報ごとに面積や矩形の縦横比などを調整することによって、対象とする文字列を絞るなどの処理を行なう。
【００３５】
以上の処理によって、文字領域画像が始点アドレスと終点アドレスのみから指定されるようになる。その後、フレームメモリ１を介して文字領域画像蓄積部４に文字領域画像が出力される。
【００３６】
文字領域抽出部３から文字領域画像蓄積部４への文字領域画像の記憶は、文字領域消滅検出部３１０によって文字領域画像の消滅が検出されたときに行ってもよい。また、文字領域入力検出部３１０によって文字領域画像の挿入が検出されたとき、または文字領域画像の挿入が検出されてから所定画像フレーム後に行ってもよい。
【００３７】
文字認識部６における文字認識は、一般的なフォント辞書などとのパターン照合によって行われるため、高解像度の文字が要求される。また、文字は黒、背景は白といったように、文字と背景との区別が容易なことが要求され、縁取り文字など特殊フォントでは文字認識できないことが多い。そのため、文字領域加工部５では、文字領域画像蓄積部４に記憶された文字領域画像に対して画像処理を行なうことによって、文字画像の品質改善を行う。
【００３８】
次に、文字領域加工部５について詳細に説明する。
【００３９】
図３は、本発明の実施形態１による文字領域加工部３の構成を示すブロック図である。図３に示すように、文字領域加工部５は、文字サイズ判定部５０１、拡大処理部５０２、２値化部５０３、イコライズ処理部５０４、エッジ強調部５０５、明るさ／コントラスト調整部５０６、滲み除去部５０７からなる。
【００４０】
文字サイズ判定部５０１では、文字間および文字列間（行間）にはエッジが存在しないことを検出することによって、実際の文字の大きさを判定する。例えば、文字領域画像が一行の文字列で構成されている場合と三行で構成されている場合とでは、拡大処理部５０２で拡大処理を行なうときの拡大率に影響があるため文字サイズの把握が必要である。具体的には、文字領域画像を判定するときよりもさらに分割領域を小さくすることによって、矩形領域内で歯抜け部分として検出する。
【００４１】
拡大処理部５０２では、文字認識部６にて高い解像度が要求されることに対応するために、少しでも高性能な拡大処理が要求される。データ補間方法としては、３次補間（バイキュービック、Ｌａｎｃｏｚ３）法などのアルゴリズムに対して、さらに斜め線部分で特に生じやすい輪郭のギザギザ（ジャギー）対策を盛り込むなどする。
【００４２】
図３Iでの処理は、文字領域抽出部３にて抽出された文字領域画像の背景および文字の各々が、単色またはそれに近いものであり、２値化によって背景と文字の分離が容易であるときに行われる。文字領域画像に対して２値化が容易であるか否かは、文字領域画像の各画素値に関するヒストグラムを調べることによって判定可能である。
【００４３】
図３IIでの処理は、背景と文字の分離が容易ではないときに行われる。イコライズ処理部５０４では、文字領域画像の明度に関するヒストグラムを平均化し、一度ぼやけた画像を作ることになる。その後、エッジ強調部５０５にてエッジ部分を強調する。明るさ／コントラスト調整部５０６では、例えば背景が白で文字が黒である場合に、コントラストの高い画像に変換後、明るさ調整で明るい画像とすることによって背景画像との分離が可能となる。
【００４４】
図３IIIでの処理は、図３IIでの処理後に２値化部５０３にて２値化を行い、文字領域画像の背景と文字をよりはっきりと分離する。図３Iの２値化部５０３での処理も同様であるが、２値化を行うと文字が滲むなど画像の劣化が生じることが多いため、２値化後に滲み除去部５０７による処理によって文字の線幅を一様にする。
【００４５】
以上のように、文字領域加工部５にて画像処理を行なった文字領域画像は、文字認識部６に出力される。
【００４６】
文字認識部６では、フォント辞書などに対してパターン照合を行うことによって文字認識が行われる。ワンセグ放送のＣＭ中に表示される電話番号、ＵＲＬ、検索ワードといった文字列は解像度が不足しているため、このような文字列を認識する方法として、
・パターン照合の方法を最適化する。
・対象となる文字列を、数字または英文字（アルファベット）に限定する。
・辞書に含まれる文字レベル（漢字レベル）を下げる。
などによって最適化を行う。文字認識部６にて文字認識されてテキストデータとして抽出された文字情報は、文字情報蓄積部７に記憶される。なお、文字認識部６で文字認識を完了したら、直ちに「文字認識を完了しました！」などと表示してユーザーに対して知らせるように構成してもよい。
【００４７】
ワンセグ放送の映像から抽出された文字には、文字認識部６にて１００％正確な文字認識ができずに誤認識をした文字も含まれ得る。前述のように、文字領域画像蓄積部４に記憶される文字領域画像は文字領域抽出部３での処理結果であるため、例えば、文字領域画像を文字領域抽出部３の文字領域入力検出部３０９および文字領域消滅検出部３１０の各々から出力される文字領域情報更新タイミングに従って文字領域画像蓄積部４に記憶させる場合には、同じ情報が２つ記憶されることになる。しかし、文字領域入力検出部３０９からの文字領域情報更新タイミングと文字領域消滅検出部３１０からの文字領域情報更新タイミングとは画像データのフレームが異なって背景画像が変化しているため、２つのうちのいずれか一方は正確な検出ができていないことがあり得る。従って、処理時間とメモリの容量が許す限り、複数のフレームデータから文字認識を行うことは文字認識の精度向上の観点からも望ましい方法である。
【００４８】
本発明の実施形態では、表示部１０にてワンセグ放送などの映像再生と並行して、フレームメモリ１からフレーム画像を一定間隔で読み出し、電話番号、ＵＲＬ、検索ワードを抽出して文字認識していることを想定している。ＣＭ中には常に文字領域画像を抽出して文字認識を行い、文字情報をテキストデータとして文字情報蓄積部７に記憶するように構成しているため、例えば、
・電話番号：数字のみ、０１２０−で始まる。
・ＵＲＬ：アルファベット文字列が大半、ｗｗｗや．ｃｏｍが含まれる。
・検索ワード：上記以外の文字列
というように、文字情報を解析することによって、例えば電話番号、ＵＲＬ、検索ワードに分類することができる。
【００４９】
次に、放送番組を視聴するユーザーが、アクセスしたいキーワードを選択する際の動作について説明する。
【００５０】
図４は、本発明の実施形態１によるユーザーの操作を示す模式図である。ユーザーはキー入力部９を介して表示部１０に表示される操作メニューの操作を行っている。ここで、操作メニューは、文字テキストデータあるいは文字領域画像に関する情報を表示している。
【００５１】
図４（ａ）において、ユーザーは視聴中または視聴していたＣＭに対して興味を抱いて電話やＷｅｂにアクセスするとき、”キーワードリンク”ボタンＡを押下する。左右ボタンＢを押下することによって、”電話番号”、”ＵＲＬ”、”検索ワード”と分類されている中から、ユーザーの目的に合った１つを選択する。例えば、図４（ａ）の”電話番号”の状態から、左右ボタンＢを押下することにより図４（ｂ）に示すような”検索ワード”を選択して表示させている。
【００５２】
このとき、制御部８では”キーワードリンク”ボタンＡが押下されたことを検出すると、文字情報蓄積部７に記憶されているテキストデータから電話番号を読み出し、表示部１０の表示を”電話番号”とする。そして、ユーザーが左右ボタンＢを押下して”検索ワード”を選択したことを検出すると、文字情報蓄積部９に記憶されているテキストデータから検索ワードを読み出し、表示部１０の表示を”検索ワード”とする。
【００５３】
図４（ｂ）において、ユーザーは、上下ボタンＣを押下することによって”検索ワード”の一覧から所望の文字列を選択する。
【００５４】
図４（ｃ）において、表示部１０には”検索ワード”の一覧とともに、「選択したキーワードに誤りはないですか？」などの確認を促すメッセージを表示する。選択した文字列に誤りがない場合には「はい」を選択して決定する。このとき、キー入力部９から「はい」を選択して決定すると、制御部８によってブラウザの検索エンジンを介してＷｅｂにアクセスする。なお、”電話番号”の場合には電話接続を、ＵＲＬ（アドレス）の場合にはＷｅｂに直接アクセスする。
【００５５】
また、文字の誤認識によって表示部１０に表示される電話番号や検索ワードに誤りがある場合には、キー入力部９によって「いいえ」を選択して決定すると、ユーザーが電話番号や検索ワードを修正できる状態となる。
【００５６】
その後、図４（ｄ）の修正入力箇所Ｄにてユーザーは自分で修正を行い、修正が完了すると電話やＷｅｂにアクセスする”リンク”キーを押下して決定キーＥを押下すると、制御部８はＷｅｂにアクセスする。
【００５７】
ユーザーが自分で検索ワードを修正する場合には、図４（ｄ）に示すような文字領域のオリジナル画像を表示することによって、ユーザーが修正するときにオリジナル画像を見ながら入力するべき文字を確認することができる。また、図５（ｅ）に示すように、電話番号を修正する場合には、単なる数字の羅列ではどこの電話番号なのか判断できなくなるため、選択した電話番号が表示されているフレーム画像を縮小表示する。
【００５８】
なお、図５（ｆ）に示すように、文字領域のオリジナル画像やフレームの縮小画像は、ユーザーがアクセスしたい文字列を一覧から選択する際に同時に表示するようにしてもよい。また、図示していないが、同様の目的のために、選択した電話番号が表示されているＣＭの音声をユーザーは聴くことができるようにしてもよい。
【００５９】
以上のことから、ＣＭなどの放送番組から文字領域の抽出や文字認識などを自動的に行うことによって、電話番号、ＵＲＬ、検索ワードをテキストデータとして記憶することができ、必要に応じてテキストデータを選択することによって、電話やＷｅｂへのアクセスが可能となる。また、文字認識して記憶されたテキストデータに誤りがある場合であっても、テキストデータが表示されるオリジナル画像と関連付けることによって修正も可能で
容易となる。
【００６０】
〈実施形態２〉
図６は、本発明の実施形態２による画像再生装置１０１ａの構成を示すブロック図である。実施形態２では、制御部８ａの処理が実施形態１と異なっており、その他の構成および処理については同様であるため、ここでは説明を省略する。実施形態２の画像再生装置１０１ａでは、文字領域画像蓄積部４に記憶された文字領域画像を表示部１０にて表示することができる。
【００６１】
本発明の実施形態２の特徴は、制御部８ａはキー入力部９の入力指示に基づいて文字領域画像蓄積部４から所望の文字領域画像を選択し、当該文字領域画像を文字領域加工部５および文字認識部６によって処理してテキストデータを得、当該テキストデータに含まれる電話番号による電話接続、アドレスまたはキーワードによるインターネット接続を行うことである。
【００６２】
図７は、本発明の実施形態２によるユーザーの操作を示す模式図である。ユーザーはキー入力部９を介して表示部１０に表示される操作メニューの操作を行っている。ここで、操作メニューは、文字テキストデータあるいは文字領域画像に関する情報を表示している。
【００６３】
図７（ａ）において、ユーザーは視聴中または視聴していたＣＭに対して興味を抱いて電話やＷｅｂにアクセスするとき、”キーワードリンク”ボタンＡを押下する。
【００６４】
このとき、制御部８ａでは”キーワードリンク”ボタンＡが押下されたことを検出すると、文字領域画像蓄積部４に記憶されている文字領域画像を読み出し、読み出した文字領域画像は”キーワード文字列”として表示部１０に一覧表示される。
【００６５】
ユーザーは、表示部１０に表示された”キーワード文字列”の一覧からアクセスしたい文字列を上下ボタンＢによって選択し、図７（ｂ）の決定キーＥを押下する。
【００６６】
ユーザーがアクセスしたい文字列をキー入力部９を介して選択すると、制御部８ａは対象となる文字領域画像を文字領域画像蓄積部４から読み出して文字領域加工部５に出力する。そして、文字領域加工部５にて画像処理を施した後に、文字認識部６にて文字認識されて、一度文字情報蓄積部７に記憶される。文字情報蓄積部７に記憶されたことが制御部８ａに伝わると、制御部８ａは「選択したキーワードに誤りはないですか？」などの確認を促すメッセージを表示部１０に表示する（図示せず）。また、制御部８ａは、文字情報蓄積部７に記憶されたテキストデータを解析して、電話番号、ＵＲＬ、検索ワードのいずれであるのかを判定しておく。
【００６７】
その後の処理については、実施形態１と同様である。すなわち、「はい」を選択すると電話やＷｅｂにアクセスし、「いいえ」を選択するとユーザーが自分で修正した後に電話やＷｅｂにアクセスする。
【００６８】
以上のことから、ユーザーが文字領域画像蓄積部４に記憶された文字領域画像をキーワードとして選択した後に、選択されたキーワードのみについて加工処理および文字認識を行なうため、処理に要する時間を削減することが可能となる。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施形態１による画像再生装置の構成を示すブロック図である。
【図２】本発明の実施形態１による文字領域抽出部の構成を示すブロック図である。
【図３】本発明の実施形態１による文字領域加工部の構成を示すブロック図である。
【図４】本発明の実施形態１によるユーザーの操作を示す模式図である。
【図５】本発明の実施形態１によるユーザーの操作を示す模式図である。
【図６】本発明の実施形態２による画像再生装置の構成を示すブロック図である。
【図７】本発明の実施形態２によるユーザーの操作を示す模式図である。
【符号の説明】
【００７０】
１０１  画像再生装置、１０１ａ  画像再生装置、１  フレームメモリ、２  ＣＭ期間検出部、３  文字領域抽出部、４  文字領域画像蓄積部、５  文字領域加工部、６  文字認識部、７  文字情報蓄積部、８  制御部、８ａ  制御部、９  キー入力部、１０  表示部、３０１  エッジ抽出部、３０２  ２値化部、３０３  ２値情報保持部、３０４  エッジ静止検出部、３０５  エッジ動き検出部、３０６  文字らしさ判定部、３０７  静止領域保持部、３０８  動き領域保持部、３０９  文字領域入力検出部、３１０  文字領域消滅検出部、３１１  文字領域検出部、３１２  ラベリング／矩形整形部、５０１  文字サイズ判定部、５０２  拡大処理部、５０３  ２値化部、５０４  イコライズ処理部、５０５  エッジ強調部、５０６  明るさ／コントラスト調整部、５０７  滲み除去部。
【図１】
2009130899.tif 000003
【図２】
2009130899.tif 000004
【図３】
2009130899.tif 000005
【図４】
2009130899.tif 000006
【図５】
2009130899.tif 000007
【図６】
2009130899.tif 000008
【図７】
2009130899.tif 000009