(57)【要約】【課題】小型のディスプレイを備える画像表示装置においてテレビ番組内のテロップのような小さな文字の視認性を向上させる。【解決手段】画像表示装置は、動画像内の所定フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、前記切り出した文字領域に対して強調処理を施す強調処理部と、前記強調処理を施した強調文字領域を保持するメモリと、前記所定フレーム画像以降のフレーム画像に対して、前記メモリに保持された前記強調文字領域を合成する合成処理部と、を有する。【選択図】図１
2013030821.tif 000002
【特許請求の範囲】
【請求項１】
動画像内の所定フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、
前記切り出した文字領域に対して強調処理を施す強調処理部と、
前記強調処理を施した強調文字領域を保持するメモリと、
前記所定フレーム画像以降のフレーム画像に対して、前記メモリに保持された前記強調文字領域を合成する合成処理部と、
を有する画像表示装置。
【請求項２】
請求項１記載の画像表示装置であって、
シーンの切替わりを検出するシーンチェンジ検出部を有し、
前記文字領域抽出部は、シーンの切替わりを検出したフレーム画像を前記所定フレーム画像とする画像表示装置。
【請求項３】
請求項２記載の画像表示装置であって、
前記シーンチェンジ検出部でシーンチェンジを検出するたびに、
前記文字領域抽出部は、シーンの切替わりを検出したフレーム画像を前記所定フレーム画像とする画像表示装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像表示装置であって、
前記強調処理は、画像拡大処理である画像表示装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像表示装置を搭載する携帯端末装置。
【請求項６】
動画像内の所定フレーム画像から文字を含む文字領域を検出して切り出す文字領域抽出ステップと、
前記文字領域に対して強調処理を施す強調処理ステップと、
前記強調処理を施した強調文字領域を記憶する記憶ステップと、
前記所定フレーム画像以降のフレームに対して前記強調文字領域を合成する合成処理ステップと、
を有する画像表示方法。
【請求項７】
請求項６記載の画像表示方法であって、
シーンの切替わりを検出するシーンチェンジ検出ステップを有し、
前記文字領域抽出ステップは、前記シーンチェンジ検出ステップでシーンチェンジを検出したフレームを前記所定フレームとする画像表示方法。
【請求項８】
請求項７記載の画像表示方法であって、
前記シーンチェンジ検出ステップと前記文字領域抽出ステップと前記強調処理ステップと前記記憶ステップと前記合成処理ステップと、を繰り返す画像表示方法。
【請求項９】
前記請求項６から請求項８のいずれか１項に記載の画像表示方法であって、
前記強調処理は画像拡大処理である画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイル機器における動画像の表示に関するものであり、特に、テレビ番組等で表示されるテロップの視認性を改善する技術に関するものである。
【背景技術】
【０００２】
携帯端末やPDAなどのモバイル機器において搭載されるプロセッサ等の処理性能の向上に伴い、従来のメールやインターネット上のホームページ等の閲覧といった用途から、動画の視聴へと広がってきた。2006年4月からは、地上デジタル放送の伝送帯域の一部を使い、携帯端末等での視聴を目的としたワンセグ放送が開始された。また、今後はアナログ放送が停止以降の帯域を利用した新たなサービスが検討されており、ワンセグよりも高画質なコンテンツの視聴の可能性が出てきた。
一方、家庭内の機器と連係し、録画したテレビ番組を記録媒体等に適切な手段で書き込んだり、インターネットからダウンロードしたコンテンツを記録媒体に書き込んだりして、モバイル機器を使って出先で視聴する  といった機能も実現されてきている。
【０００３】
このように放送、家電、インターネットなど様々な手段で高画質なコンテンツを入手・視聴できる環境が整いつつある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2007-074091号公報
【特許文献２】特開2005-084157号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
モバイル機器は携帯性を優先するために小型に作られており、表示のためのディスプレイも3〜4インチ程度となっている。コンテンツが高画質になっても、ディスプレイが小さいと、表示されている小さい対象物の視認性はあまり良くなく、特に、テレビ番組中に表示される文字やテロップなどが小さくて読めない・読みづらいといった課題がある。
【０００６】
このような課題に対応するため、画面内のテロップ情報を検出し、強調表示を行う技術の検討が行われている。テロップ情報の検出技術に関しては、特開2007-074091に開示されている。特開2007-074091では、入力された画像に対してエッジ検出処理を施し、テロップ領域を特定するものである。
【０００７】
また、特開2005-084157では、テロップ領域の文字部分の色を変えて強調表示したり、テロップ領域を拡大表示したりして視認性の向上をはかっている。文字の部分のみを抽出して文字色を変化させ、それ以外の部分は元の画像が下地となるようにしてあるため、動画の場合、下地である文字の背景部分の色や明るさが時間の経過とともに変化してしまう。
このように、静止している文字の背景に動きがあると、その文字を読みにくくなってしまうという課題がある。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決し、モバイル機器で動画やTV番組等の視聴を行う場合でも、小さい文字の視認性を改善するものである。
上記の課題を鑑みて、本発明の動画表示装置は、動画像内の所定フレーム画像から文字を含む領域を検出して切り出す文字領域抽出部と、前記切り出した文字領域に対して強調処理を施す強調処理部と、前記強調処理を施した強調文字領域を保持するメモリと、前記所定フレーム画像以降のフレーム画像に対して、前記メモリに保持された前記強調文字領域を合成する合成処理部とを有している。
また、前記の画像表示装置は、シーンの切替わりを検出するシーンチェンジ検出部を有し、前記文字領域抽出部は、シーンの切替わりを検出したフレーム画像を前記所定フレーム画像とする画像表示装置である。
また、前記記載の画像表示装置は、前記シーンチェンジ検出部でシーンチェンジを検出するたびに、前記文字領域抽出部は、シーンの切替わりを検出したフレーム画像を前記所定フレーム画像とする画像表示装置である。
また、前述の画像表示装置における前記強調処理は、画像拡大処理である。
また、本発明の携帯端末装置は、前述の画像表示装置を搭載している。
【０００９】
また、本発明の動画表示方法は、動画像内の所定フレーム画像から文字を含む文字領域を検出して切り出す文字領域抽出ステップと、前記文字領域に対して強調処理を施す強調処理ステップと、前記強調処理を施した強調文字領域を記憶する記憶ステップと、前記所定フレーム画像以降のフレームに対して前記強調文字領域を合成する合成処理ステップと、を有する。
【００１０】
また、前記記載の画像表示方法であって、シーンの切替わりを検出するシーンチェンジ検出ステップを有し、前記文字領域抽出ステップは、前記シーンチェンジ検出ステップでシーンチェンジを検出したフレームを前記所定フレームとする画像表示方法である。
【００１１】
また、前記画像表示方法であって、前記シーンチェンジ検出ステップと前記文字領域抽出ステップと前記強調処理ステップと前記記憶ステップと前記合成処理ステップと、を繰り返す画像表示方法である。
【００１２】
また、前記いずれか１つに記載の画像表示方法における前記強調処理は、画像拡大処理である。
【発明の効果】
【００１３】
本発明の動画表示装置および方法によれば、テロップや文字を含む領域を検出したら、視認性を改善するための強調処理を施してからメモリの保持しておき、検出以降のフレームに保持した強調文字領域を合成して表示するため、文字の背景部分が静止し、文字の視認性が向上する。
【００１４】
検出した文字領域は同じものであっても、シーンチェンジの前後では、画面の明るさや配色等が大幅に変わり、シーンチェンジ前に検出した強調文字領域をそのまま合成するとシーンチェンジ後の画像の明るさや配色にそぐわない可能性がある。しかしながら、本発明の動画像表示装置および方法によれば、シーンチェンジを検出し、検出後のフレームにおいて文字領域を再度抽出するため、前述のような問題は発生しない。
【００１５】
本発明の携帯端末装置は、本発明の動画表示装置を搭載しているため、モバイル機器のようにディスプレイの小さい機器であっても、文字の視認性が良好になる。
【図面の簡単な説明】
【００１６】
【図１】本発明による動画表示装置の第１の形態のブロック図である。
【図２】本発明による動画表示装置の第２の形態のブロック図である。
【図３】本発明による動画表示装置を搭載した携帯端末装置のブロック図である。
【図４】本発明による動画表示方法の第１の処理フロー図である。
【図５】本発明による動画表示方法の第２の処理フローである。
【発明を実施するための形態】
【００１７】
本発明を実施するための最良の形態を以下に述べる。
【００１８】
（第１実施形態）
本発明の動画表示装置を実施するための第１の最良の形態を図１て説明する。図１において、１００は文字領域抽出部、１０１は強調処理部、１０２はメモリ、１０３は合成処理部、１０４は表示出力用バッファである。
【００１９】
入力画像は、文字領域抽出部１００に入力される。文字領域抽出部１００は、入力された画像から文字を含む領域の検出を行い、検出結果と検出できた場合は切りだした文字領域の画像データを出力する。ここでは、検出結果は、「１」は文字領域を検出した事を意味し、「０」は文字領域を検出しなかった事を意味する。
強調処理部１０１は、前記検出結果が「１」であり、前フレームにおける検出結果が「０」の場合の時のみ、入力された文字領域に対して文字の視認性を向上させるための強調処理を施し、メモリ１０２に格納する（これを強調文字領域と呼ぶ）。検出結果が「０」の時は、強調処理は行わず、メモリ１０２の内容をクリアする。検出結果が「１」であり、前フレームにおける検出結果も「１」である場合、強調処理は行わず、メモリ１０２に対してもアクセスを行わない。このように制御する事で、初めて文字領域を検出した時のみ、強調文字領域がメモリ１０２に格納される。
合成処理部１０３は、メモリ１０２に格納された強調文字領域を合成して表示出力用バッファ１０４に出力する。
【００２０】
このように、文字領域を検出した後は、強調文字領域を入力画像に合成するため、文字の背景部分も静止した画像となり、文字の視認性が向上する。
（第２実施形態）
本発明を実施するための第２の最良の形態を図２で説明する。図２において、図１と同じ処理ブロックには同一の番号を付与するものとし、説明も割愛する。
【００２１】
図２において、２０１はシーンの切り替えを検出するシーンチェンジ検出処理部である。２０２は前述の強調処理部１０１とほぼ同等の機能を有するが、シーンチェンジ検出部２０１の検出結果も踏まえた上で強調処理を実施する点が異なっている。
【００２２】
シーンチェンジ検出部２０１は、シーンの切り替えを検出する。シーンチェンジ検出は、入力画像と前の入力画像における同じ位置の画素の値を比較し、差分絶対値がある閾値以上となっている画素の数を計数し、計数値が前記とは異なる閾値よりも大きかった場合、シーンが切替わったと判定し、この時の判定結果は「１」として表す。切替わっていないと判定した場合、判定結果は「０」として表す。シーンチェンジ検出の方法は様々な手法が考えられるが、本発明は、前記の検出方法に限定されるものではない。
【００２３】
強調処理部２０２は、文字領域抽出部１００の検出結果は「０」の時は、シーンチェンジ検出部２０１の検出結果に関わらず、強調処理は行わず、メモリ１０２の内容をクリアする。
【００２４】
現在のフレームにおける検出結果が「１」であり、前フレーム検出結果が「０」の場合、シーンチェンジの検出結果に関わらず、強調処理を実施し、メモリ１０２に格納する。
【００２５】
現在のフレームのおける検出結果が「１」であり、前フレーム検出結果が「１」であり、かつ、シーンチェンジ検出結果が「０」場合も、強調処理を実施し、メモリ１０２に格納する。シーンチェンジが検出されなかった場合は、強調処理は実施せず、メモリ１０２にもアクセスしない。
このように、文字領域を検出した後は、強調処理を施した文字領域を入力画像に合成するため、文字の背景部分も静止した画像となり、文字の視認性が向上するとともに、シーンの切替わりの前後で、文字領域の明るさや配色に対する違和感をなくすことができる。
（第３実施形態）
本発明の携帯端末装置の最良な実施の形態について、図３を使って説明を行う。図３において３０１は記録媒体、３０２は分離部、３０３は画像復号部、３０４は音響復号部、３０５は動画表示装置、３０６はスピーカ、３０７はディスプレイである。
【００２６】
携帯端末装置において、記録媒体３０１に格納されているTV番組等のコンテンツを読み出す。分離部３０２は、読み出したコンテンツから符号化画像データと符号化音響データに分離して出力する。画像復号部３０３は、符号化画像データを視聴可能な画像データに復号する。画像符号化データの符号化方式は、さまざまなものが考えられるが、ISO/IEC(アイエスオー・アイイーシー) 14496 Part.2で規定されている技術(通称MPEG-4)等が例として挙げられる。音響復号部３０４は、符号化音響データを視聴可能な音響データに復号する。符号化音響データも同様にISO/IEC 14496 Part.3で規定されている技術(通称 AAC)が例としてあげられる。
【００２７】
画像復号部３０３で復号された画像は、動画表示装置３０５において文字領域の強調処理を施し、入力画像に合成して出力を行う。合成した画像はディスプレイ３０７に表示される。音響復号部３０４で復号された音響データは、スピーカ３０６にて鳴動する。
【００２８】
このような構成にすることで、小型の携帯端末装置において、文字領域を強調した画像の視聴が可能となり、文字などの視認性が向上する。
（第４実施形態）
本発明の動画表示方法の最良な実施の形態について、図４を使って説明を行う。入力画像に対して、文字領域抽出ステップ（ＳＴ０１）でテロップなどの文字を含む領域を検出して切りだしを行う。文字領域検出判定ステップ（ＳＴ０２）において、入力画像において文字領域を検出できたかどうかの判定を行う。また、前フレーム文字領域検出判定ステップ（ＳＴ０３）において、前フレームにおける入力画像において文字領域を検出できたかどうかの判定を行う。現在の入力画像において文字領域が検出できた場合であり、かつ、前の入力画像において文字領域が検出できていない場合、切り出した文字領域に対して強調処理ステップ（ＳＴ０４）で強調処理を施す。ここでは、強調処理は拡大処理であるものとする。メモリ格納ステップ（ＳＴ０５）において強調文字領域をメモリに格納し、さらに合成処理ステップにおいて入力画像に合成して出力を行う。
【００２９】
一方、前の入力画像において、文字領域が検出できなかった場合、合成処理ステップ（ＳＴ０６）においてメモリに格納されている強調文字領域と入力画像を合成して出力を行う。
【００３０】
文字領域を検出できなかった場合は、メモリクリアステップ（ＳＴ０７）にてメモリ内容をクリアして合成処理も行わず入力画像をそのまま出力する。現入力画像と前の入力画像における文字領域検出結果と動作の関係を表１に示す。表１において、文字領域が検出できた場合を検出結果１とし、検出できなかった場合を検出結果０とする。
【００３１】
この処理をフレーム単位で繰り返す。
【００３２】
【表１】
2013030821.tif 000003
【００３３】
（第５実施形態）
本発明の動画表示方法の最良な実施の形態について、図５を使って説明を行う。図４と同じステップについては、説明を割愛する。図５において、シーンチェンジ検出ステップ（ＳＴ０８）では、現在の入力画像と前の入力画像とを画素単位で比較し、画素の値の差分の絶対値がある閾値を超えている画素の数を計数する。この計数値がもうひとつの閾値よりも大きい場合、現在の入力画像においてシーンチェンジを検出したものと判定する。現在の入力画像において文字領域を検出し、シーンチェンジも検出した場合は、文字領域に強調処理を施し、メモリに格納したのちに入力画像に合成して出力する。シーンチェンジを検出しなかったが前入力画像で文字領域を検出しなかった場合も同様の動作をする。シーンチェンジを検出したが、前入力画像でも文字領域を検出していた場合は、メモリに格納されている強調文字領域を現入力画像に合成して出力を行う。現入力画像と前入力画像における文字領域の検出結果、シーンチェンジ検出結果と動作についての関係を表２に示す。
【００３４】
この処理をフレーム単位で繰り返す。
【００３５】
【表２】
2013030821.tif 000004
【産業上の利用可能性】
【００３６】
本発明は、小型で携帯性の高い機器に適用が可能であり、特に携帯電話端末、PDA(パーソナルデジタルアシスタント)、ポータブルテレビなどが考えられる。
【符号の説明】
【００３７】
１００    文字領域抽出部
１０１    強調処理部
１０２    メモリ
１０３    合成処理部 
１０４    表示出力用バッファ
２０１    シーンチェンジ検出部
２０２    強調処理部
３０１    記録媒体
３０２    分離部 
３０３    画像復号部
３０４    音響復号部
３０５    動画表示装置
３０６    スピーカ
３０７    ディスプレイ
【図１】
2013030821.tif 000005
【図２】
2013030821.tif 000006
【図３】
2013030821.tif 000007
【図４】
2013030821.tif 000008
【図５】
2013030821.tif 000009