(57)【要約】【課題】携帯機器のように画面が小さい機器において、動画像内の文字領域の視認性を向上させる。【解決手段】動画像内の１フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、前記切り出した文字領域に対して強調処理を施す強調処理部と、前記検出した文字領域を解析する文字領域解析部と、前記解析結果より前記強調処理を施した文字領域を表示する期間を決定する表示期間決定処理部と、前記表示期間中に前記強調処理を施した文字領域を１フレーム画像に合成する合成処理部とを有する。【選択図】図１
2013141051.tif 000002
【特許請求の範囲】
【請求項１】
動画像内の１フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、
前記切り出した文字領域に対して強調処理を施す強調処理部と、
前記検出した文字領域を解析する文字領域解析部と、
前記解析結果より前記強調処理を施した文字領域を表示する期間を決定する表示期間決定処理部と、
前記表示期間中に前記強調処理を施した文字領域を１フレーム画像に合成する合成処理部と、を有する画像表示装置。
【請求項２】
請求項１記載の画像表示装置であって、
前記文字領域解析部は、前記切り出した文字領域に含まれる文字数を計数する文字数計数部を有し、
前記表示期間決定部は、前記文字数計数部が計数する文字数を基に前記表示期間を決定する画像表示装置。
【請求項３】
請求項１記載の画像表示装置であって、
前記文字領域解析部は、前記切り出した文字領域に含まれる画素数を計数する画素数計数部を有し、
前記表示期間決定部は、前記画素数計数部が計数する画素数を基に前記表示期間を決定する画像表示装置。
【請求項４】
請求項１記載の画像表示装置であって、
前記文字領域解析部は、前記切り出した文字領域に含まれる画素数を計数する画素数計数部と、文字領域の複雑度を測定する複雑度測定部と、を有し、
前記表示期間決定部は、前記画素数と前記複雑度を基に前記表示期間を決定する画像表示装置。
【請求項５】
請求項４記載の画像表示装置であって、
前記複雑度測定部は、エッジ画素の数を計数するエッジ画素係数部である画像表示装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の画像表示装置であって、
前記強調処理部は、拡大処理を行う画像表示装置。
【請求項７】
請求項１から６記載のいずれか１項に記載の画像表示装置を備える携帯端末装置。
【請求項８】
動画像内の１フレーム画像から文字を含む領域を検出して切り出す第１ステップと、
前記文字領域に対して強調処理を施す第２ステップと、
前記文字領域を解析する第３ステップと、
前記解析結果より前記強調処理を施した文字領域を表示する期間を決定する第４ステップと、
前記期間中、前記強調処理を施した文字領域を前期決定した期間だけ前記１フレーム画像に合成する第５ステップと、を有する画像表示方法。
【請求項９】
請求項８に記載の画像表示方法であって、
前記第３ステップは、前記文字領域に含まれる文字数を計数し、
前記第４ステップは、前記第３ステップで計数する文字数を基に前記表示期間を決定する画像表示方法。
【請求項１０】
請求項８に記載の画像表示方法であって、
前記第３ステップは、前記切り出した文字領域に含まれる画素数を計数し、
前記第４ステップは、前記第３ステップで計数する画素数を基に前記表示期間を決定する画像表示方法。
【請求項１１】
請求項８に記載の画像表示方法であって、
前記第３ステップは、前記切り出した文字領域に含まれる画素数を計数する第６ステップと、文字領域の複雑度を測定する第７ステップと、を有し、
前記第４ステップは、前記画素数と前記複雑度を基に前記表示期間を決定する画像表示方法。
【請求項１２】
請求項１１に記載の画像表示方法であって、
前記第７ステップは、エッジ画素の数を計数する画像表示方法。
【請求項１３】
請求項８から請求項１２のいずれか１項に記載の画像表示方法であって、
前記第２ステップは拡大処理である画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイル機器における動画像の表示に関するものであり、特に、テレビ番組等で表示されるテロップの視認性を改善する技術に関するものである。
【背景技術】
【０００２】
携帯端末やPDAなどのモバイル機器において搭載されるプロセッサ等の処理性能の向上に伴い、従来のメールやインターネット上のホームページ等の閲覧といった用途から、動画の視聴へと広がってきた。2006年4月からは、地上デジタル放送の伝送帯域の一部を使い、携帯端末等での視聴を目的としたワンセグ放送が開始された。また、今後はアナログ放送停止以降の帯域を利用した新たなサービスが検討されており、ワンセグよりも高画質なコンテンツの視聴の可能性が出てきた。
【０００３】
一方、家庭内の機器と連係し、録画したテレビ番組を記録媒体等に適切な手段で書き込んだり、インターネットからダウンロードしたコンテンツを記録媒体に書き込んだりして、モバイル機器を使って出先で視聴する  といった機能も実現されてきている。
【０００４】
このように放送、家電、インターネットなど様々な手段で高画質なコンテンツを入手・視聴できる環境が整いつつある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2007-074091号公報
【特許文献２】特開2005-084157号公報
【特許文献３】特許第4100957号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
モバイル機器は携帯性を優先するために小型に作られており、表示のためのディスプレイも3〜4インチ程度となっている。コンテンツが高画質になっても、ディスプレイが小さいと、表示されている小さい対象物の視認性はあまり良くなく、特に、テレビ番組中に表示される文字やテロップなどが小さくて読めない・読みづらいといった課題がある。
【０００７】
このような課題に対応するため、画面内のテロップ情報を検出し、強調表示を行う技術の検討が行われている。テロップ情報の検出技術に関しては、特許文献１に開示されている。特許文献１では、入力された画像に対してエッジ検出処理を施し、テロップ領域を特定するものである。
【０００８】
強調表示を行う技術については、特許文献２に開示されており、文字領域を検出して色を変えたり、拡大表示する処理を行い視認性を向上させるものである。しかしながら、特に拡大表示する場合などは長時間にわたって表示していると文字の視認性は向上するも、映像部分が隠れて見えない期間が発生し視聴の妨げとなる課題がある。
【０００９】
一方、字幕などの文字を表示する期間に関する技術については、特許4100957号に開示されている。これは、DVD等に含まれる管理情報の中の字幕表示期間をユーザー自身が設定できるようにして、ユーザーの自分のペースで文字を読めるようにするものである。しかしながら、予め存在する字幕に対して、ユーザーが表示時間を指定するため、TV番組内のテロップのようにリアルタイムで送信されてくる場合には対応できないという課題と手間がかかるという課題がある。
【課題を解決するための手段】
【００１０】
本発明は、上記の課題を解決し、モバイル機器で動画やテレビ番組等の視聴を行う場合であっても、視聴の妨げとならず、小さい文字の視認性を改善するものである。
【００１１】
本発明の動画像表示装置は、動画像内の１フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、前記切り出した文字領域に対して強調処理を施す強調処理部と、前記検出した文字領域を解析する文字領域解析部と、前記解析結果より前記強調処理を施した文字領域を表示する期間を決定する表示期間決定処理部と、前記表示期間中に前記強調処理を施した文字領域を１フレーム画像に合成する合成処理部と、を有する。
【００１２】
この構成により、文字領域の解析結果に基づいて、強調処理を施した文字領域を元の画像に合成して表示する期間を決定するため、文字を読んで理解するのに必要な期間だけを強調できるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
【００１３】
また、本発明の画像表示装置であって、前記文字領域解析部は、前記切り出した文字領域に含まれる文字数を計数する文字数計数部を有し、前記表示期間決定部は、前記文字数計数部が計数する文字数を基に前記表示期間を決定する。
【００１４】
この構成により、文字領域に含まれる文字数から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
【００１５】
また、本発明の画像表示装置であって、前記文字領域解析部は、前記切り出した文字領域に含まれる画素数を計数する画素数計数部を有し、前記表示期間決定部は、前記画素数計数部が計数する画素数を基に前記表示期間を決定する。
【００１６】
この構成により、文字領域の大きさから、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
【００１７】
また、本発明の画像表示装置であって、前記文字領域解析部は、前記切り出した文字領域に含まれる画素数を計数する画素数計数部と、文字領域の複雑度を測定する複雑度測定部とを有し、前記表示期間決定部は、前記画素数と前記複雑度を基に前記表示期間を決定する。
【００１８】
この構成により、文字を含む領域の大きさと複雑度から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上させる事ができる。
【００１９】
また、本発明の画像表示装置に含まれる前記複雑度測定部は、エッジ画素の数を計数するエッジ画素係数部である。
【００２０】
この構成により、文字を含む領域の複雑度から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに文字の視認性を向上させる事ができる。
【００２１】
また、本発明の画像表示装置に含まれる前記強調処理部は、拡大処理を行う。この構成により、文字領域が大きく表示されるために文字の視認性を向上させる事ができる。
【００２２】
また、本発明の携帯端末装置は、前記記載のいずれかの画像表示装置を備える。この構成により、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに文字の視認性を向上させる事ができる。
【００２３】
本発明の画像表示方法は、動画像内の１フレーム画像から文字を含む領域を検出して切り出す第１ステップと、前記文字領域に対して強調処理を施す第２ステップと、前記文字領域を解析する第３ステップと、前記解析結果より前記強調処理を施した文字領域を表示する期間を決定する第４ステップと、前記期間中、前記強調処理を施した文字領域を前期決定した期間だけ前記１フレーム画像に合成する第５ステップと、を有する。この構成により、文字領域の解析結果に基づいて、強調処理を施した文字領域を元の画像に合成して表示する期間を決定するため、文字を読んで理解するのに必要な期間だけを強調できるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
【００２４】
また、本発明の画像表示方法は、前記文字領域に含まれる文字数を計数するステップと、前記ステップで計数する文字数を基に前記表示期間を決定するステップを有する。この構成により、文字領域に含まれる文字数から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
【００２５】
また、本発明の画像表示方法は、前記切り出した文字領域に含まれる画素数を計数するステップと、前記画素数を基に前記表示期間を決定するステップとを有する。この構成により、文字領域の大きさから、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上できる。
【００２６】
また、本発明の画像表示方法は、切り出した文字領域に含まれる画素数を計数するステップと、文字領域の複雑度を測定するステップと、前記画素数と前記複雑度を基に前記表示期間を決定するステップとを有する。この構成により、文字を含む領域の大きさと複雑度から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに、文字の視認性を向上させる事ができる。
【００２７】
また、本発明の画像表示方法は、エッジ画素の数を計数するステップを有する。この構成により、文字を含む領域の複雑度から、文字を読んで理解するのに必要な期間を強調表示期間とすることができるようになり、必要以上に視聴の妨げとならずに文字の視認性を向上させる事ができる。
【００２８】
また、本発明の画像表示方法は、前記いずれか１項に記載の画像表示方法であって、強調表示処理として拡大処理を有する。この構成により、文字領域が大きく表示されるために文字の視認性を向上させる事ができる。
【発明の効果】
【００２９】
本発明の画像表示装置および画像表示方法によれば、画面内から文字領域を抽出し、その中に含まれる文字数や文字領域の大きさや複雑さ等から、強調表示期間を決定するため、文字を読んで理解するのに適切な期間だけ強調表示される。これにより、必要以上に映像部分の視聴の妨げにならずに文字の視認性を向上させることが可能となる。
【図面の簡単な説明】
【００３０】
【図１】本発明による動画表示装置の第１の形態のブロック図
【図２】本発明による動画表示装置の第２の形態のブロック図
【図３】本発明による動画表示装置の第３の形態のブロック図
【図４】本発明による動画表示方法の第１の処理フロー図
【図５】本発明による動画表示方法の第２の処理フロー図
【図６】本発明による動画表示方法の第３の処理フロー図
【発明を実施するための形態】
【００３１】
本発明を実施するための最良の形態を以下に述べる。
【００３２】
（第１実施形態）
本発明を実施するための第１の最良の形態について、図１を用いて説明する。図１において、１０１は文字領域検出部、１０１は文字数計数部、１０２は表示期間決定部、１０３は強調処理部、１０４は合成処理部、１０５は表示出力用バッファである。
【００３３】
入力画像は、文字領域抽出部１００に入力され、入力画像内にある文字領域の抽出を行う。文字領域の抽出方法の一例として、前述の特許文献１にあるような手法を用いても良い。本発明では、文字領域の抽出方法については限定しない。また、抽出の対象とする領域もここでは限定しないが、処理量と効果の観点から、いわゆるテレビ画面の左上や右上などに表示されるコーナーテロップを対象とすることが考えられる。
【００３４】
文字領域抽出部１００からは、文字領域を検出できたかどうかを示す検出結果を出力する。前のフレームでは文字領域を検出できなかったが、現在のフレームでは検出できた場合のみ、文字領域を検出できたと判定し、値１を出力する。前のフレームと現在のフレームで同じ文字領域を検出した場合や、前のフレームで検出していたが現フレームで検出しなかった場合は値０を出力する。
【００３５】
より安定した検出結果を出すために、文字領域を検出できなかった次のフレームから連続してNフレームの間、同じ位置に同じ内容の文字領域を検出した場合に、値１を出力するようにしても良い。
【００３６】
つまり、検出結果は、文字領域を検出できていない状況から初めて文字領域を検出したフレームの時のみ、もしくはNフレーム期間連続して検出した時のみ、値１を出力する。
【００３７】
文字領域を検出できた場合は、文字領域のサイズ(たとえば、縦と横の画素数)と、抽出した文字領域を含む画像データとを出力する。検出できていない場合は、縦と横の画素数をそれぞれ０として出力し、画像データの出力も行わない。
【００３８】
検出結果の出力とは異なり、サイズと画像データは、文字領域を検出できている期間、出力し続ける。
【００３９】
文字数計測部１０１は、検出結果の値が１の場合は、文字領域のサイズおよび画像データから、その文字領域内に含まれる文字を認識し、その数をカウントし、出力する。
【００４０】
表示期間決定部１０２は、１０１の文字数から強調して表示する期間を決定する。たとえば、文字数が0文字であれば０秒、１〜5文字であれば３秒、6〜10文字であれば10秒、11文字以上であれば15秒とする。この秒数は一例であり、この数値に限定するものではない。
【００４１】
強調処理部１０３は、サイズが０でない場合、入力された画像データに対して拡大処理を実施する。ここでは、一例として縦と横の画素数を１．５倍にするものとする。
【００４２】
表示期間決定部１０２で指定された期間だけ、合成処理部１０４では、入力画像と強調処理部１０３で拡大された画像を合成して出力する。合成位置は、前述のコーナーテロップを対象とする場合、検出した位置とおおよそ同じ位置に合成するのが望ましい。合成したデータは表示出力用バッファ１０５に格納され、ディスプレイに表示される。
【００４３】
このように、文字数により表示期間を決定するため、要以上に視聴の妨げとならずに文字の視認性を向上させる事ができる。
【００４４】
（第２実施形態）
本発明を実施するための第２の最良の形態について、図２を用いて説明する。図２において、図１と同じ処理ブロックには同一の番号を付与するものとし、説明も割愛する。
【００４５】
図２において、２００は表示期間決定部（２）である。
【００４６】
表示期間決定部（２）では、サイズから強調表示を実施する期間を決定する。例えば、検出した文字領域の総画素数(縦の画素数と横の画素数の乗算により求める)に応じて決定する。一例として、1000画素以下なら３秒、1000画素超〜2000画素以下であれば５秒、2000画素以上は10秒といった決め方である。
【００４７】
以降の処理については、前述と同様である。
【００４８】
このように文字領域の画素数だけで表示期間を決定するため、極めて簡易な処理で文字の視認性を向上させることができる。
【００４９】
（第３実施形態）
本発明を実施するための第３の最良の形態について、図３を用いて説明する。図３において、図１と同じ処理ブロックには同一の番号を付与するものとし、説明も割愛する。
【００５０】
図３において、３００は複雑度計数部であり、３０１は表示期間決定部（３）である。
【００５１】
複雑度計数部３００は、検出結果の値が１の時に、入力されたサイズと画像データから複雑度を出力する。複雑度は、検出した文字領域の総画素数と輝度変化の大きい画素の数の２つから成り、この２つの数値を表示期間決定部（３）３０１に出力する。文字領域の総画素数は、文字領域の縦の画素数と横の画素数の乗算により得られた数とする。また、輝度変化の大きい画素の数は、文字領域内に含まれる画素のうち、隣接する画素の輝度の値がある閾値よりも大きい画素の数をカウントした数とする。
【００５２】
表示期間決定部（３）３０１では、文字領域の総画素数が多い場合と少ない場合、輝度変化の大きい画素の数が多い場合と少ない場合に分類する。総画素数の大小と輝度変化の大きい画素数の大小を（大、小）のような組み合わせで表記すると、(大、大)、(大、小)、(小、大)、(小、小)の４種類となる。この内、(小、大)は領域が小さくて複雑度が高いため長い時間(たとえば10秒程度)強調表示をすることが望ましいと考えられる。一方、(大、小)は領域が大きく、複雑度が低いため、読みやすいと思われるため短い時間(たとえば３秒程度)強調表示する。(大、大)、(小、小)については中程度の読みやすさと思われるため、強調表示期間を５秒程度にする。
【００５３】
以降の処理については、前述と同様である。
【００５４】
このように文字領域の画素数と複雑度で表示期間を決定するため、比較的簡易な処理で文字の視認性を向上させることができる。
【００５５】
（第４実施形態）
本発明の画像表示方法を実施するための第４の最良の形態について、図４を用いて説明する。入力画像に対して、文字領域抽出ステップ（ST01）で文字を含む領域を検出して切り出しを行う。文字領域を検出できたかどうかの判定ステップ（ST02）において判定を行う。検出できなかった場合は、現在のフレームをそのまま出力し、次のフレームの処理に移行する。文字領域を検出できて、かつ、前フレームにおいて同位置に同一サイズの文字領域が検出できているかどうかを判定するステップ(ST03)において判定を行う。検出できていない場合は、現在のフレームをそのまま出力し、次のフレームの処理に移行する。検出できた場合、文字数計数ステップ(ST04)で文字数のカウントを行う。表示期間決定ステップ(ST05)で強調表示を行う期間を決定する。表示期間中かどうかを判定するステップ(ST07)において、現フレームが強調表示期間中かどうか判定する。強調表示期間中でない場合、そのまま現フレームを出力して次フレームの処理に移行する。期間中である場合、強調処理ステップ(ST07)において検出した文字領域を拡大して出力する。合成処理(ST09)において拡大した文字領域を現フレームと合成して出力する。出力ステップ（ST10）において、表示用のバッファに出力し、次フレームの処理に移行する。
【００５６】
このように、文字数により表示期間を決定するため、要以上に視聴の妨げとならずに文字の視認性を向上させる事ができる。
【００５７】
（第５実施形態）
本発明の画像表示方法を実施するための第５の最良の形態について、図５を用いて説明する。図５において、図４と同一の処理ステップには同一の番号を付与するものとし、説明も割愛する。表示期間決定処理（ST11）は、文字領域のサイズをもとに表示期間を決定する。文字領域が大きい場合は短く(例：３秒)、小さい場合は長く(例：10秒)設定する。以下は前述と同様の処理となる。
【００５８】
このように文字領域の画素数だけで表示期間を決定するため、極めて簡易な処理で文字の視認性を向上させることができる。
【００５９】
（第６実施形態）
本発明の画像表示方法を実施するための第６の最良の形態について、図６を用いて説明する。図６において、図４と同一の処理ステップには同一の番号を付与するものとし、説明も割愛する。
【００６０】
複雑度計数ステップ（ST12）において、文字領域内の複雑度を計数する。これは隣接する画素の差分値を計算し、ある閾値を超えている画素の数をカウントする。表示期間決定ステップ（ST13）において、文字領域の大きさと複雑度に応じて表示期間を決定する。文字領域が小さく、複雑度が高い場合は、表示期間を長くする。文字領域が大きく、複雑度が低い場合は、表示期間を短くする。
【００６１】
このように文字領域の画素数と複雑度で表示期間を決定するため、比較的簡易な処理で文字の視認性を向上させることができる。
【産業上の利用可能性】
【００６２】
本発明は、小型で携帯性の高い機器に適用が可能であり、特に携帯電話端末、PDA(パーソナルデジタルアシスタント)、ポータブルテレビなどが考えられる。
【符号の説明】
【００６３】
１００    文字領域検出部
１０１    文字数計数部
１０２    表示期間決定部
１０３    強調処理部
１０４    合成処理部
１０５    表示出力用バッファ
２００    表示期間決定部（２）
３００    複雑度計数部
３０１    表示期間決定部（３）
【図１】
2013141051.tif 000003
【図２】
2013141051.tif 000004
【図３】
2013141051.tif 000005
【図４】
2013141051.tif 000006
【図５】
2013141051.tif 000007
【図６】
2013141051.tif 000008