(57)【特許請求の範囲】
【請求項１】
配信サーバから表示端末に対し映像コンテンツを配信するコンテンツ配信システムにおいて、
前記配信サーバが、映像コンテンツの画像から文字が表示される領域を検出し、検出した前記領域の画像のコントラストを高めた画像を、前記映像コンテンツの文字情報として生成し、前記映像コンテンツと同時に、生成した文字情報を前記表示端末に配信し、
前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、同時に受信した前記映像コンテンツと共に提示することを特徴とするコンテンツ配信システム。
【請求項２】
前記コントラストを高めた画像は、検出した前記領域の画像を二値化した画像であることを特徴とする請求項１に記載のコンテンツ配信システム。
【請求項３】
配信サーバから表示端末に対し映像コンテンツを配信するコンテンツ配信システムにおいて、
前記配信サーバが、映像コンテンツの画像から文字が表示される領域を検出し、検出した前記領域の画像のビットレートを高くし、画質を高めた画像を、前記映像コンテンツの文字情報として生成し、前記映像コンテンツと同時に、生成した文字情報を前記表示端末に配信し、
前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、同時に受信した前記映像コンテンツと共に提示することを特徴とするコンテンツ配信システム。
【請求項４】
配信サーバから表示端末に対し映像コンテンツを配信するコンテンツ配信システムにおいて、
前記配信サーバが、映像コンテンツの画像から文字が表示される領域を検出し、検出した前記領域の画像を別の符号化方式で符号化した画像を、前記映像コンテンツの文字情報として生成し、前記映像コンテンツと同時に、生成した文字情報を前記表示端末に配信し、
前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、同時に受信した前記映像コンテンツと共に提示することを特徴とするコンテンツ配信システム。
【請求項５】
前記配信サーバが、文字が表示される領域が前記映像コンテンツの画像から複数個所検出される場合に、前記表示端末から前記領域の指定を受け付け、指定された前記領域により生成した前記文字情報を前記表示端末に対し配信することを特徴とする請求項１から請求項４のいずれか一つに記載のコンテンツ配信システム。
【請求項６】
前記配信サーバが、前記映像コンテンツの文字情報と、前記映像コンテンツとを多重化して前記表示端末に対し配信することを特徴とする請求項１から請求項５のいずれか一つに記載のコンテンツ配信システム。
【請求項７】
前記表示端末が、外部の放送局から受信する前記映像コンテンツの文字情報を、前記配信サーバから受信し、前記映像コンテンツの文字情報を前記映像コンテンツと共に提示することを特徴とする請求項１から請求項６のいずれか１つに記載のコンテンツ配信システム。
【請求項８】
前記映像コンテンツの文字情報として、映像コンテンツとは別に生成した前記文字情報に加えて、検出した前記領域、文字の特徴を示す文字補助情報を同時に含み、
前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、前記文字情報に含まれる前記文字補助情報に基づいて提示することを特徴とする請求項１から請求項７のいずれか１つに記載のコンテンツ配信システム。
【請求項９】
前記映像コンテンツの文字補助情報が、前記映像コンテンツの画像から検出された前記領域の、前記画像中の位置の情報を含むことを特徴とする請求項８に記載のコンテンツ配信システム。
【請求項１０】
前記映像コンテンツの文字補助情報が、前記映像コンテンツの画像に表示される文字のレイアウト構造の情報を含むことを特徴とする請求項８又は請求項９に記載のコンテンツ配信システム。
【請求項１１】
表示端末に対しコンテンツを配信する配信サーバにおいて、
映像コンテンツの画像から文字が表示される領域を検出する手段と、
検出した前記領域から映像コンテンツとは別に文字情報を生成する手段と、
生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段とを備え、
前記文字情報を生成する手段は、検出した前記領域に示される文字のテキストデータを文字認識により取得し、前記文字認識により取得した前記テキストデータを指定された言語に翻訳した翻訳文を、前記映像コンテンツの文字情報として生成する
ことを特徴とする配信サーバ。
【請求項１２】
表示端末に対しコンテンツを配信する配信サーバにおいて、
映像コンテンツの画像から文字が表示される領域を検出する手段と、
検出した前記領域から映像コンテンツとは別に文字情報を生成する手段と、
生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段とを備え、
前記文字情報を生成する手段は、検出した前記領域の画像のコントラストを高めた画像を、前記映像コンテンツの文字情報として生成する
ことを特徴とする配信サーバ。
【請求項１３】
表示端末に対しコンテンツを配信する配信サーバにおいて、
映像コンテンツの画像から文字が表示される領域を検出する手段と、
検出した前記領域から映像コンテンツとは別に文字情報を生成する手段と、
生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段とを備え、
前記文字情報を生成する手段は、検出した前記領域の画像を二値化した画像を、前記映像コンテンツの文字情報として生成することを特徴とする配信サーバ。
【請求項１４】
表示端末に対しコンテンツを配信する配信サーバにおいて、
映像コンテンツの画像から文字が表示される領域を検出する手段と、
検出した前記領域から映像コンテンツとは別に文字情報を生成する手段と、
生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段とを備え、
前記文字情報を生成する手段は、検出した前記領域の画像のビットレートを高くし、画質を高めた画像を、前記映像コンテンツの文字情報として生成する
ことを特徴とする配信サーバ。
【請求項１５】
表示端末に対しコンテンツを配信する配信サーバにおいて、
映像コンテンツの画像から文字が表示される領域を検出する手段と、
検出した前記領域から映像コンテンツとは別に文字情報を生成する手段と、
生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段とを備え、
前記文字情報を生成する手段は、検出した前記領域の画像を別の符号化方式で符号化した画像を、前記映像コンテンツの文字情報として生成する
ことを特徴とする配信サーバ。
【請求項１６】
文字が表示される領域が前記映像コンテンツの画像から複数個所検出される場合に、前記表示端末から前記領域の指定を受け付ける手段を備え、
指定された前記領域において生成した文字情報を前記表示端末に対し配信すること
を特徴とする請求項１１から請求項１５のいずれか一つに記載の配信サーバ。
【請求項１７】
前記映像コンテンツの文字情報と、前記映像コンテンツとを多重化して前記表示端末に対し配信する手段を備えることを特徴とする請求項１１から請求項１６のいずれか一つに記載の配信サーバ。
【請求項１８】
前記映像コンテンツの文字情報として、映像コンテンツとは別に生成した文字情報に加えて、前記領域、文字の特徴を識別する手段を備え、識別した前記領域、文字の特徴の情報を文字補助情報として、前記映像コンテンツの文字情報に含めて前記表示端末に対し配信することを特徴とする請求項１１から請求項１７のいずれか１つに記載の配信サーバ。
【請求項１９】
前記映像コンテンツ及び前記映像コンテンツの文字情報を記録して備える手段と、
前記表示端末からの要求に応じて、要求された前記映像コンテンツ及び前記映像コンテンツの文字情報を前記表示端末に配信する手段を備えることを特徴とする請求項１１から請求項１８のいずれか１つに記載の配信サーバ。
【請求項２０】
コンテンツを配信する請求項１１から請求項１９のいずれか１つに記載される前記配信サーバから、映像コンテンツの画像に表示される文字から映像コンテンツとは別に生成された文字情報と当該映像コンテンツとを同時に受信する手段と、
受信した前記文字情報と前記映像コンテンツとを共に提示する手段を備え、
前記映像コンテンツの文字情報が、前記映像コンテンツから検出された前記領域、文字の特徴を示す文字補助情報を含み、
前記配信サーバから受信した前記映像コンテンツの文字情報を、前記文字情報に含まれる前記文字補助情報に基づいて提示する手段を備えることを特徴とする表示端末。
【請求項２１】
前記文字補助情報が、前記映像コンテンツの画像中の文字が表示される領域の、前記画像中の位置の情報を含み、
前記映像コンテンツを、前記文字補助情報に示される前記文字が表示される領域を消去して提示する手段を備えることを特徴とする請求項２０に記載の表示端末。
【請求項２２】
前記配信サーバに対して、前記文字情報の送信の可否を指示する手段を
備えることを特徴とする請求項２０又は請求項２１に記載の表示端末。
【請求項２３】
前記映像コンテンツの文字情報と、前記映像コンテンツとを表示画面中にそれぞれに別のウィンドウにより同時に表示する手段を備えることを特徴とする請求項２０から請求項２２に記載の表示端末。
【請求項２４】
表示画面中の前記映像コンテンツを表示するエリア内に、前記映像コンテンツの文字情報を同時に表示する手段を備えることを特徴とする請求項２０から請求項２３のいずれか１つに記載の表示端末。
【請求項２５】
携帯通信端末であることを特徴とする請求項２０から請求項２４のいずれか１つに記載の表示端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、伝送路を介して映像コンテンツを配信サーバから利用者の表示端末に配信するシステムに関し、特に、携帯通信端末等の表示部の狭い表示端末に対し配信を行なうコンテンツ配信システムとその配信サーバ及び表示端末、コンテンツ配信プログラムに関する。
【背景技術】
【０００２】
図１３は、従来の映像配信システムの構成を示すブロック図であり、映像を配信する映像配信サーバ６０から、伝送路３０を介して映像コンテンツを配信し、利用者の映像表示端末７０が映像コンテンツを受信して提示する。
【０００３】
また、特開２０００−３２４４１６号公報では、テレビ受像機においてその受信したテレビ放送からテロップ情報を抽出し、これをリモコン端末等の静止画表示端末に送信して表示することで、文字情報を高画質にみせる技術が提案されている。
【０００４】
テロップ情報は、ニュース番組のテロップ、映画の字幕などのテロップ情報など映像視聴時にストーリーや内容の理解に重要な情報が含まれていることが多く、これを高画質の読み易い画像により利用者に提示することは効果的である。
【０００５】
また、上記従来技術には含まれないが、テロップ情報だけでなく、ＣＭの商品に書かれた商品名、ドラマの背景の看板や標識の文字など一般のシーンに存在するテロップ以外の文字情報を抽出することも有用である。
【０００６】
上記の特開２０００−３２４４１６号公報の従来技術の対象は一般のテレビ放送であるが、最近ではインターネットの高速化、特に無線通信の高速化により、家庭のＰＣ、あるいは外出先の携帯電話において、映画広告、音楽プロモーションビデオなど、蓄積された映像クリップを見ることができるようになってきている。また、Ｗｅｂカメラなどと称して、観光地や道路に設置したカメラの映像をインターネットで配信するといった、ライブ映像の配信も行われている。
【０００７】
このような映像をそのまま配信するためには非常に広帯域な通信路が必要であるが、画像の圧縮符号化技術により、情報量を削減できる。例えば、６４ｋｂｐｓ程度の帯域のインターネットでも、圧縮した映像を配信してそれを受けた端末で復号することにより、映像の閲覧ができる。
【０００８】
しかし、６４ｋｂｐｓ程度の低ビットレートで映像を送信するためには、映像の解像度を落としたり、映像の品質を落としたりして映像の符号化を行ない、携帯端末や家庭のＰＣに送信している。このように解像度を落としたり、画質を落とすと、映像中に含まれる文字情報が不明瞭になり、非常に読みにくくなる。
【０００９】
先に述べたように文字情報は映像視聴に重要な情報が含まれるが、文字情報が読みにくくなると映像視聴に支障をきたすこともありうる。
【特許文献１】特開２０００−３２４４１６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したように従来の技術では、以下に述べるような問題点があった。
【００１１】
従来では、低ビットレートで映像コンテンツを配信する時に、テロップ情報をはじめとした文字情報を抽出して高画質に符号化して配信し、それを利用者の端末に表示させる技術が存在しなかった。例えば、特開２０００−３２４４１６号公報の従来技術では、受信した一般のテレビ放送からテロップを抽出するものの、携帯通信端末等が再生する低ビットレートで配信される映像コンテンツに対しては、既に文字が不明瞭な状態で配信されるためテロップ抽出を行なうことができなかった。
【００１２】
本発明の目的は、上記従来技術の欠点を解決し、低ビットレートで配信される映像コンテンツにおいても、受信側の表示端末が文字を明瞭に表示して利用者に提示することのできるコンテンツ配信システムとその配信サーバ及び表示端末、コンテンツ配信プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明のコンテンツ配信システムの第１の態様は、配信サーバから表示端末に対し映像コンテンツを配信するコンテンツ配信システムにおいて、前記配信サーバが、映像コンテンツの画像から文字が表示される領域を検出し、検出した前記領域の画像のコントラストを高めた画像を、前記映像コンテンツの文字情報として生成し、前記映像コンテンツと同時に、生成した文字情報を前記表示端末に配信し、前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、同時に受信した前記映像コンテンツと共に提示することを特徴とする。
【００１４】
本発明のコンテンツ配信システムの第２の態様は、配信サーバから表示端末に対し映像コンテンツを配信するコンテンツ配信システムにおいて、前記配信サーバが、映像コンテンツの画像から文字が表示される領域を検出し、検出した前記領域の画像のビットレートを高くし、画質を高めた画像を、前記映像コンテンツの文字情報として生成し、、前記映像コンテンツと同時に、生成した文字情報を前記表示端末に配信し、前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、同時に受信した前記映像コンテンツと共に提示することを特徴とする
【００１５】
本発明のコンテンツ配信システムの第３の態様は、配信サーバから表示端末に対し映像コンテンツを配信するコンテンツ配信システムにおいて、前記配信サーバが、映像コンテンツの画像から文字が表示される領域を検出し、検出した前記領域の画像を別の符号化方式で符号化した画像を、前記映像コンテンツの文字情報として生成し、前記映像コンテンツと同時に、生成した文字情報を前記表示端末に配信し、前記表示端末が、前記配信サーバから受信した前記映像コンテンツの文字情報を、同時に受信した前記映像コンテンツと共に提示することを特徴とする。
【００１６】
本発明の配信サーバの第１の態様は、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に文字情報を生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段とを備え、前記文字情報を生成する手段は、検出した前記領域に示される文字のテキストデータを文字認識により取得し、前記文字認識により取得した前記テキストデータを指定された言語に翻訳した翻訳文を、前記映像コンテンツの文字情報として生成することを特徴とする。
【００１７】
本発明の配信サーバの第２の態様は、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に文字情報を生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段とを備え、前記文字情報を生成する手段は、検出した前記領域の画像のコントラストを高めた画像を、前記映像コンテンツの文字情報として生成することを特徴とする。
【００１８】
本発明の配信サーバの第３の態様は、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に文字情報を生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段とを備え、前記文字情報を生成する手段は、検出した前記領域の画像を二値化した画像を、前記映像コンテンツの文字情報として生成することを特徴とする。
【００１９】
本発明の配信サーバの第４の態様は、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に文字情報を生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段とを備え、前記文字情報を生成する手段は、検出した前記領域の画像のビットレートを高くし、画質を高めた画像を、前記映像コンテンツの文字情報として生成することを特徴とする。
【００２０】
本発明の配信サーバの第５の態様は、表示端末に対しコンテンツを配信する配信サーバにおいて、映像コンテンツの画像から文字が表示される領域を検出する手段と、検出した前記領域から映像コンテンツとは別に文字情報を生成する手段と、生成した前記文字情報と同時に前記映像コンテンツを前記表示端末に配信する手段とを備え、前記文字情報を生成する手段は、検出した前記領域の画像を別の符号化方式で符号化した画像を、前記映像コンテンツの文字情報として生成することを特徴とする配信サーバ。
【００２１】
本発明の表示端末の第１の態様は、配信サーバから、映像コンテンツの画像に表示される文字から映像コンテンツとは別に生成された文字情報と当該映像コンテンツとを同時に受信する手段と、受信した前記文字情報と前記映像コンテンツとを共に提示する手段を備え、前記映像コンテンツの文字情報が、前記映像コンテンツから検出された前記領域、文字の特徴を示す文字補助情報を含み、前記配信サーバから受信した前記映像コンテンツの文字情報を、前記文字情報に含まれる前記文字補助情報に基づいて提示する手段を備えることを特徴とする。
【発明の効果】
【００５２】
以上説明したように本発明によれば、低ビットレートで配信される映像コンテンツにおいても、配信サーバで映像コンテンツ中から文字情報を抽出し、それを映像コンテンツとは別にテキストデータや高画質な符号化方法を用いて符号化した画像により配信することにより、利用者に映像コンテンツの内容をわかりやすく提示することができる。
【００５３】
このため、表示端末には文字抽出を行なうための処理能力を必要とせず、更に携帯通信端末等の表示画面の狭い表示端末においても、映像コンテンツの中の文字を明瞭に表示することができ、利用者に映像コンテンツの内容をわかりやすく提示することができる。
【発明を実施するための最良の形態】
【００５４】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００５５】
図１は、本発明の第１の実施の形態によるコンテンツ配信システムの構成を示すブロック図であり、本実施の形態の配信サーバ１０及び表示端末２０の構成も示している。
【００５６】
図１を参照すると、本実施の形態の配信サーバ１０は、プログラム制御されるＣＰＵ等で実現され、映像入力部１１、映像符号化部１２、文字抽出部１３、映像送信部１４、文字送信部１５を備えている。本実施の形態の表示端末２０は、プログラム制御されるＣＰＵ等で実現され、映像受信部２１、映像復号部２２、映像表示部２３、文字受信部２４、文字復号部２５、文字表示部２６を備えている。
【００５７】
配信サーバ１０が対象とする映像コンテンツは、テレビ放送等のライブコンテンツでもよいし、映画の予告映像など既に符号化されて蓄積された映像コンテンツでもよい。
【００５８】
配信サーバ１０と表示端末２０を結ぶ伝送路３０として、特に制限はないが、ここでは携帯電話やＰＨＳなどの一般無線回線、ＩＳＤＮなどの一般電話回線での利用を想定し、６４ｋｂｐｓ〜３８４ｋｂｐｓ程度である場合を例に説明する。
【００５９】
図２は、本実施の形態の配信サーバ１０の動作を説明するためのフローチャートであり、図３は、本実施の形態の表示端末２０の動作を説明するためのフローチャートである。
【００６０】
本実施の形態の配信サーバ１０は、映像入力部１１に映像コンテンツが入力され（ステップ２０１）、文字抽出部１３により映像コンテンツ中に文字が表示されている領域（文字領域）を検出し、その文字を確認するために用いる文字情報を生成する（ステップ２０２）。そして、映像コンテンツを映像符号化部１２で符号化し（ステップ２０３）、映像送信部１４が表示端末２０へ符号化した映像コンテンツを送信し、同時に文字送信部１５が表示端末２０へ文字情報を送信する（ステップ２０４）。
【００６１】
表示端末２０は、配信サーバ１０から送信された映像情報（映像コンテンツ）を映像受信部２１により受信し、文字情報を文字受信部２４により受信する（ステップ３０１）。そして、映像復号部２２でその映像コンテンツを復号し、文字復号部２５でその文字情報を復号する（ステップ３０２）。そして、映像表示部２３で映像コンテンツを表示し、文字表示部２６で文字情報を表示して、これらを利用者に提示する（ステップ３０３）。これにより、表示端末２０の利用者は、映像情報及び文字情報を見ることができる。
【００６２】
本実施の形態では、配信サーバ１０から表示端末２０へ映像コンテンツ及び文字情報を送信するための伝送路として、共通の伝送路３０を用いているが、特に共通の伝送路３０とする方式に限定する必要はない。例えば、映像コンテンツと文字情報を同じ携帯電話のパケット交換を利用して送信する方式以外にも、文字情報のみを携帯電話のパケット交換、映像コンテンツは携帯電話の回線交換を利用して送信することも可能である。
【００６３】
ここで、映像コンテンツと文字情報とを異なる伝送路で配信する場合には、映像コンテンツはテレビ電話のような端末で視聴するが、文字情報はインターネットで受信するといった利用形態等も実施することができる。
【００６４】
また、映像コンテンツと文字情報とを共通の伝送路３０で配信する場合は、本発明の第２の実施の形態に示すように、映像コンテンツと文字情報とを多重化し配信する方式を採用することができる。
【００６５】
図４は、本発明の第２の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。本実施の形態では、配信サーバ１０ａにおいて、第１の実施の形態の映像送信部１４と文字送信部１５の替わりに多重化部１６と送信部１７を備え、表示端末２０ａにおいて、第１の実施の形態の映像受信部２１と文字受信部２４の変わりに受信部２７と多重化分離部２８を備えている。
【００６６】
図５は、本実施の形態の配信サーバ１０ａの動作を説明するためのフローチャートであり、図６は、本実施の形態の表示端末２０ａの動作を説明するためのフローチャートである。
【００６７】
図５、図６を参照すると本実施の形態の動作の第１の実施の形態との違いは、配信サーバ１０ａは、映像符号化部１２で符号化した映像コンテンツ及び、文字抽出部１３で抽出した文字情報を多重化部１６で多重化し（ステップ４０４）、送信部１７で表示端末２０ａでその多重化したコンテンツを送信する（ステップ４０５）点が異なる。表示端末２０ａは、受信部２７で受信した多重化されたコンテンツを（ステップ５０１）、多重化分離部２８で映像コンテンツと文字情報とに分離し（ステップ５０２）、その分離した映像コンテンツと文字情報のそれぞれを復号し表示する（ステップ５０３、５０４）点が異なる。
【００６８】
多重化を行なう方法としては、ＩＴＵ−Ｔによって定められたテレビ電話を行なうための標準規格であるＨ．３２４／Ｍなどを用いて、映像や音声の情報とテキスト情報を多重化することが可能である。
【００６９】
また、ここではライブ映像や蓄積映像を読み出した映像コンテンツを映像入力部１１に入力して配信する方式であるが、映像符号化部１２や文字抽出部１３で処理した結果を蓄積しておき、利用者からの要求があった時に蓄積済みの映像コンテンツを読み出す方式も、同様に実施することができる。
【００７０】
次に、図７を用いて、配信サーバ１０ａが映像コンテンツから生成した文字情報とその映像コンテンツとを配信し、表示端末２０ａで表示する方法について説明する。なおここでの説明は、第２の実施の形態のみではなく、第１の実施の形態においても同様である。
【００７１】
図７では、利用者がニュース番組を視聴している場面を示しており、図７の（１）のオリジナル画像には、ニュース番組はアナウンサーの映像とそれにニュースのヘッドラインを示すテロップが重畳されている。
【００７２】
ここでは文字情報として、テロップ情報を対象にして説明をするが、テロップではない映像シーン中の看板の文字など一般の文字、データ放送や文字放送などで映像に多重化されてきた文字なども同様に対象とすることができる。
【００７３】
図７の表示画面２０−３ａには、従来のようにそのまま映像を符号化して送信した場合の、表示端末２０ａにおける表示の一例を示している。
【００７４】
ここで伝送路３０は、６４ｋｂｐｓ〜３８４ｋｂｐｓ程度の低ビットレートの伝送路３０であり、このような低ビットレートの伝送路３０を用いて符号化した映像を送信するためには、以下の（１）（２）のような符号化方法を用いる必要がある。（１）入力映像の解像度を低くして、符号化する（２）符号化に必要なビットレートを下げ、画質を悪くする
【００７５】
通常、テレビのニュース映像のテロップはテレビの解像度（例えば、７２０×４８０）で視聴することを前提としているため、携帯電話での映像配信によく用いられるＱＣＩＦ（１７６×１４４）やＣＩＦ（３５２×２８８）といった解像度まで落としてしまうと文字が小さくなったり、潰れてしまい、非常に読みにくくなる。
【００７６】
また、画質を悪くすると、通常コントラストが低くなり、文字が不明瞭になる。例えばＩＳＯ標準規格のＭＰＥＧでは、映像をブロックに分割しブロック単位で符号化を行なっているため、画質を悪くすると、各ブロックの境目が目立ち、更にブロックの中のコントラストも低くなる。このため、テロップ文字のようにコントラストが明瞭であることの必要な部分においても、そのコントラストが低くなることでその文字を読むことが困難になる。
【００７７】
図７では、携帯電話で映像を視聴する利用イメージを示しているが、これは表示画面の狭い携帯電話のみに発生する問題ではなく、低ビットレートの伝送路３０を利用して映像配信を行なう時には表示端末２０ａがどのようなものでも起こりうる問題である。
【００７８】
この問題は、低ビットレートで符号化を行なう時に、人物のような自然の映像と人工的な文字情報を同時に扱うために生じる問題と考えることができる。そこで本発明の第１、第２の実施の形態においては、映像コンテンツをそのまま送信するのではなく、図７の（２）に示されるように、配信サーバ１０、１０ａにおいて映像コンテンツの画像から文字の表示される文字領域を検出し、その表示される文字を確認するために用いる情報（文字情報）を生成し、この文字情報を映像コンテンツと共に表示端末２０、２０ａに配信する。
【００７９】
つまり、映像コンテンツは、表示画面２０−３ａの従来の場合と同様にしてオリジナル画像のまま送信するが、本実施の形態（及び第１の実施の形態）では、文字領域の文字を確認するために用いる情報（文字情報）を、映像コンテンツと別の方式で符号化などを行ない、送信する。
【００８０】
例えば、抽出した文字領域の映像に対して文字認識を行ない、表示されている文字のテキストデータを取得し、各文字をアスキーコードのような数値情報（文字コード）により示して送信することができる。表示画面２０−３ｂは、このように分離して送信した場合における表示端末２０ａの表示の一例である。
【００８１】
テキストデータ（文字コード）で送信することで通信量は少なくなり、また、表示端末２０ａでは任意の大きさで表示できるので、大きく表示して読みやすくすること等ができる。
【００８２】
この文字認識の処理は、現在販売されているＯＣＲソフトウェア等に用いられている技術や、その他従来の技術を用いて実施することができる。
【００８３】
また、上記のように文字認識技術を用いる場合には、文字認識の自動処理において文字の認識を間違えることが多くあるので、文字情報として、文字認識により得たテキストデータではなく文字の表示されている文字領域の画像を送信する方式も有効である。
【００８４】
この場合、全体の画像は低解像度であるが、抽出した文字領域の部分だけ高解像度で符号化して送信することで、図７の表示画面２０−３ｃに示されるように読みやすく表示することができる。図７の表示画面２０−３ｃでは、高解像度の文字領域の映像を全体の映像コンテンツの下に表示している。
【００８５】
また、通常テロップ情報は人が読むことができるように数秒間は同じテロップが流れていることが多いため、これを利用して、テロップ情報が変化した時だけ新たに文字情報を送信する等の制御を行なうことが可能である。高解像度で符号化した画像をそのまま送信すると、伝送路３０の容量を圧迫することなるが、このようにしてその送信頻度を下げて文字領域の映像を伝送することにより、その帯域を小さくすることができる。
【００８６】
また、抽出した文字領域のカラー画像をそのまま送信するのではなく、その画像を二値化して文字は黒、背景は白とする等による二値の画像に減色した上で符号化して送信することにより、更に伝送量を下げることができる。
【００８７】
このように、文字領域を高解像度で符号化するためには、動画像の符号化方式であるＭＰＥＧ等を用いることができる。また更に、静止画の符号化方式であるＪＰＥＧやＪＰＥＧ２０００を用いたり、二値画像に対してはＪＢＩＧなどの符号化方式を用いることもできる。
【００８８】
本実施の形態の文字抽出部１３は、文字領域の抽出を行なうが、その文字領域抽出方法としては従来から実施されている技術を用いることができる。
【００８９】
例えば、テロップ情報は、以下の（１）〜（３）に示されるような特徴があるので、このような特徴を利用して抽出を行なうことができる。（１）白い文字を使うことが多い（２）動きが少ない（３）文字は単独で現れずに複数の文字がまとまっている
【００９０】
また、文字抽出部１３は、文字領域の抽出や文字領域の文字認識を行なうだけでなく、文字領域の映像中の位置の抽出や文字領域の文書レイアウト構造を解析することも可能であり、文字抽出部１３が文字領域の位置やレイアウト構造等を抽出し、文字送信部１５で送信することができる。
【００９１】
このような文字領域の映像コンテンツ中の位置や文字領域のレイアウト構造を、文字補助情報と呼ぶことにする。また、文字情報には、以上説明した文字領域の画像（映像）や文字認識により取得したテキストデータ等に加えて、文字補助情報を含むこととする。
【００９２】
以上はテロップ情報や映像シーン中の文字情報の抽出に関する説明であるが、データ放送等の文字が映像に多重化されている場合においてはこのような処理は必要ではなく、文字抽出部１３が、データ放送等において多重化されている文字情報を分離してテキストデータを抽出する方式も可能である。
【００９３】
図７では文字情報と映像情報を分離して送信することで、利用者が文字情報を明瞭に読むことができることを説明したが、図８を用いて利用者への文字情報の提示方法を示す。
【００９４】
図８の表示画面２０−４ａは、文字情報等を表示することなく、従来と同様にして通常の映像を表示している場合である。この状態では、利用者には映像コンテンツ以外に情報は提示されない。また、従来においても、表示画面２０−４ｂに示されるようにして、表示中の映像のチャンネル番号や番組名など一般的な情報を（文字放送等を利用して）表示させることにより、利用者が何を視聴しているのかを分かるようにする従来技術がある。本実施の形態の表示端末２０ａは、通常は表示画面２０−４ａや表示画面２０−４ｂのような表示を行なっている。
【００９５】
ここで、利用者がテロップなど文字情報が不明瞭だと感じた場合、配信サーバ１０ａからその文字情報を受信して、映像コンテンツとは別に表示する。
【００９６】
また、表示端末２０ａは、配信サーバ１０ａから送信されてくる文字情報を常時受信する方式も可能であるが、ここでは本実施の形態を、帯域の節約のため通常は文字情報を受信せずに、必要な時だけ配信サーバ１０ａに文字情報送信要求を出し文字情報を受信する方式により説明する。
【００９７】
表示端末２０ａは、配信サーバ１０ａに文字情報の要求を出すことで、配信サーバ１０ａから映像中の文字情報の配信を受け付けて、その文字情報を表示する。
【００９８】
文字情報は、文字認識等により得られたテキストデータで送信されてくる場合と、高画質の画像により送信される場合があり、配信サーバ１０ａの能力によって使い分けてもよいが、利用者が文字情報の送信を配信サーバ１０ａに要求を出したように、文字認識した結果と画像のままのどちらが欲しいかを選択できるようにしてもよい。
【００９９】
表示画面２０−４ｃは、受信した文字情報が文字認識されてテキストデータで送信されてきた場合の表示例であり、映像コンテンツに隣り合わせて、その文字情報を表示させている。また、表示画面２０−４ｂのように番組情報等を表示している場合は、その番組情報等と文字情報とを切り替えて表示させることにより、狭い画面でも効率よく利用することができる。
【０１００】
また、表示画面２０−４ｃでは、文字情報が短いため、タイル状に並べて映像情報と文字情報を表示することができているが、文字情報が長い場合は、文字を縦方向、横方向、あるいは両者にスクロールさせて表示させてもよい。
【０１０１】
また、表示画面２０−４ｃのようにタイル状に並べるのではなく、映像の上に文字情報の一部が重なるように配置してもよい。更に、配信サーバ１０ａから文字補助情報として文字情報の映像中での位置を受信している場合は、表示画面２０−４ｆに示されるように文字情報を元の映像の位置に重畳して表示することもできる。
【０１０２】
次に、配信サーバ１０ａが、映像コンテンツ中に文字が表示される領域を複数個所検出した場合の処理を説明する。
【０１０３】
この場合、配信サーバ１０ａは、検出された映像コンテンツ中の全ての文字情報を表示端末２０ａに配信することも可能であるが、これ以外にも利用者が指定した領域中の文字情報のみを配信する方式も可能である。
【０１０４】
この場合の動作の一実施例を説明する。配信サーバ１０ａは、表示端末２０ａに対し、各領域の文字や文章のレイアウト情報や検出された各領域の位置情報といった文字補助情報を含めて送信する。そして、表示端末２０ａにおいて、その文字補助情報を利用して利用者が文字情報を見たい領域を選択し配信サーバ１０ａに通知する。そして、配信サーバ１０ａは、その表示端末２０ａから通知された利用者が選択した領域から、文字情報を生成して表示端末２０ａに配信する。
【０１０５】
また、文字補助情報がない場合にも、表示端末２０ａにおいて、配信サーバ１０ａに対し文字情報の切り替えを指示して順次切り替え、その各文字情報の内容を参照して選択する方式等が可能である。
【０１０６】
このように、配信サーバ１０ａは、表示端末２０ａに全ての文字情報を配信するのではなく、表示端末２０ａから通知された見たい文字情報や、配信する文字情報の切り替えの指示等の文字情報送信の要求に基づいて、映像コンテンツ中のその要求された文字情報のみを配信することが可能である。
【０１０７】
この場合、配信サーバ１０ａは、映像コンテンツの画像から最初に検出された文字領域の文字情報を最初に表示端末２０ａに配信し、最初に表示端末２０ａで表示させることとしてもよいが、更に好ましくは映像コンテンツ中に表示される位置や文字認識した結果の文字情報の内容を基に、配信する順番を決定することとしてもよい。
【０１０８】
例えば、映像コンテンツの下部の中央に横書きで示される文字は、テロップである可能性が高いためその文字情報を最優先で配信することとし、逆に映像コンテンツの上部の左又は右の隅に狭い範囲で示される文字は、現在時刻の表示である可能性が高くその重要性が低いためこれ以外の他の文字情報を優先して配信する等が考えられる。
【０１０９】
また、配信サーバ１０ａが表示端末２０ａに全ての文字情報を配信し、表示端末２０ａの側で表示する文字情報を選択する方式も可能である。
【０１１０】
また、表示画面２０−４ｄに示すように、配信サーバ１０ａが、その文字認識した文字情報のテキストデータを指定された他の言語に自動翻訳して、その翻訳文を文字情報として表示端末２０ａに配信し表示させることもできる。
【０１１１】
この自動翻訳は、翻訳ソフトウェア等における従来の技術を用いることで、表示画面２０−４ｄに示される日本語から英語の場合や、英語から日本語等の様々な言語間の翻訳が可能である。このように抽出した文字情報を自動翻訳して配信することにより、様々な言語の映像コンテンツを提供するサービスが簡単になる。翻訳文を表示する表示方法は、表示画面２０−４ｃの場合と同様である。
【０１１２】
次に、表示画面２０−４ｅに示すように、配信サーバ１０ａが文字情報をその文字の表示される領域の画像（映像）で配信する場合も、表示画面２０−４ｃと同様にして映像コンテンツとは別のウィンドウにより文字情報を表示することができる。
【０１１３】
また、画面サイズより大きな文字情報の画像が配信された場合には、表示端末２０ａが文字情報の画像を縮小して表示させたり、詳細を見たい場合は拡大して縦方向や横方向などにスクロールさせて表示させること等が可能である。
【０１１４】
また、表示端末２０ａは、文字情報中にレイアウト情報などの文字補助情報が含まれている場合は、これを利用して文字領域の画像を読みやすいように生成しなおして提示することも可能である。
【０１１５】
また、表示画面２０−４ｆに示すように、文字情報を画像で配信する場合においても、文字情報の画像を映像コンテンツとは別の領域ではなく、文字情報を映像と同じ領域に重畳して表示させることができる。特に、元の映像コンテンツの文字領域に重ねるように文字情報を表示することで、文字情報の画像を読みやすく表示することができる。
【０１１６】
配信される文字情報の画像は、通常は元の映像コンテンツよりも高解像度であるため、先の表示画面２０−４ｅの場合と同様に、最初は配信された文字情報の画像を縮小して元の映像コンテンツに重畳させて表示し、必要になれば縮小を解除して（また指定サイズにサイズを変更して）スクロールさせながら表示させること等が可能である。
【０１１７】
表示画面２０−４ｄのように文字情報を文字認識して他言語に翻訳したものを映像コンテンツとは別のウィンドウに表示することもできるが、これを同様にして表示画面２０−４ｇに示すように、映像コンテンツ中に重畳させて表示することもできる。
【０１１８】
これは、外国映画の映像コンテンツの字幕などに応用でき、映画に集中したい場合に、他のウィンドウを見て集中が削がれるということがなくなる。これを実現するために、テキストデータで配信される翻訳文の文字情報をそのまま映像に重畳させてもよいし、その翻訳文のテキストデータから文字領域の大きさにあわせて文字画像を作成して表示させること等が可能である。
【０１１９】
また、配信サーバ１０ａで文字認識した結果をテキストデータにより配信するのではなく、そのテキストデータの文字を表示する文字画像を生成して、これを文字情報として表示端末２０ａに配信することも可能である。この場合、表示端末２０ａは、受信した文字情報の画像を重畳させて表示するのみで鮮明に文字を表示することができる。
【０１２０】
また、特に語学学習用や外国映画等の映像コンテンツの場合には、映像コンテンツに表示させる字幕を消去したいといった要求もある。
【０１２１】
この場合、表示画面２０−４ｈに示されるように、配信された文字補助情報において示される映像コンテンツ中での文字が表示される領域の位置情報に基づいて、表示端末２０ａがその領域を消去して利用者に提供することができる。
【０１２２】
またこの場合、語学の勉強中に答が知りたいなどといった用途の時は、表示端末２０ａは、利用者の操作に応じて、表示画面２０−４ｃ〜２０−４ｇのような手法で文字情報を表示させたり消去したり、切り替えながら利用者に提示することが可能である。
【０１２３】
なお、上記の第１、第２の実施の形態の映像コンテンツ及び文字情報の提示方法の説明においては、表示端末２０、２０ａを携帯電話等の携帯通信端末とする場合を例に説明したが、特に表示端末２０ａを携帯電話に限定する必要はない。本発明のコンテンツ配信システムは、配信先の表示端末２０、２０ａが表示部の面積が狭い場合に特に効果的であるが、同様にしてパソコンやノートパソコン等の端末に対し配信することも可能である。
【０１２４】
以上説明したように、上記第１、第２の実施の形態のコンテンツ配信システムによれば、低ビットレートで配信される映像コンテンツにおいても、受信側の表示端末が文字を明瞭に表示して利用者に提示することができる。
【０１２５】
次に、本発明の第３の実施の形態を説明する。図９は、本発明の第３の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。本実施の形態は、配信サーバ１０を用いずに表示端末２０ｂだけで文字情報を抽出して表示する行なう形態である。
【０１２６】
図１０は、本実施の形態の表示端末２０ｂの動作を説明するためのフローチャートである。
【０１２７】
本実施の形態の表示端末２０ｂは、テレビ放送などの放送映像を受信する携帯端末であり、映像受信部２１で電波等により外部の放送局４０等から放送中のテレビ番組等の映像コンテンツを受信する（ステップ６０１）。受信した映像コンテンツを映像復号部２２で復号し（ステップ６０２）、文字抽出部２９によりその文字情報を生成して（ステップ６０３）、映像表示部２３で映像コンテンツとその文字情報を表示する（ステップ６０４）。
【０１２８】
表示端末２０ｂは、携帯用を念頭においているので、表示することができる解像度が低く、映像表示部２３では映像コンテンツを縮小して表示する。この時、縮小された映像コンテンツは、テロップ等の文字が不明瞭になったり潰れてしまうことがある。
【０１２９】
一方、映像復号部２２で復号する映像は通常の解像度の映像が復号されるので、通常の解像度の映像を用いて、文字抽出部２９にて文字領域を抽出し、文字表示部２６で文字情報を表示することで、利用者に映像内容をわかりやすく提示する。また、文字抽出部２９は、文字領域を抽出するだけでなく、文字認識も行ない表示される文字のテキストデータを取得することも可能である。この場合、その取得したテキストデータを文字表示部２６により表示する。
【０１３０】
本実施の形態の表示端末２０ｂの文字情報の表示手法は、上述の第１、第２の実施の形態の説明と同様にして実施することができる。
【０１３１】
以上説明したように本実施の形態によれば、表示端末２０ｂが文字抽出を行なうための十分な処理能力を備える場合には、配信サーバを必要とせずに、表示端末２０ｂ自身により、テレビ放送などの映像コンテンツから文字情報を抽出して、抽出した文字情報を高解像度に表示することができる。これにより、第１、第２の実施の形態の表示端末２０、２０ａと同様にして、携帯端末などの小画面の表示端末２０ｂにおいても利用者に映像コンテンツの内容をわかりやすく提示することができる。
【０１３２】
次に、本発明の第４の実施の形態を説明する。図１１は、本発明の第４の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【０１３３】
第３の実施の形態では映像を表示端末２０ｂで直接受信し、文字領域抽出も表示端末２０ｂで行なう方式であったが、一般に携帯型の機器は処理能力が低いため、文字領域抽出が困難な場合もありうる。
【０１３４】
図１２は、本実施の形態の配信サーバ１０ｂの動作を説明するためのフローチャートである。
【０１３５】
そこで本実施の形態では、配信サーバ１０ｃにおいて表示端末２０ｃが外部の放送局４０から受信している番組と同じ番組の映像コンテンツを映像入力部１１で受信し（ステップ７０１）、文字抽出部１３でその文字情報を抽出して（ステップ７０２）、文字送信部１５でその文字情報を表示端末２０ｃに送信する（ステップ７０３）。表示端末２０ｃでは、第１、第２の実施の形態と同様にして、配信サーバ１０ｃから配信される文字情報を文字受信部２４で受信し、文字復号部２５で必要な復号処理を行い、文字表示部２６で文字情報を表示する。
【０１３６】
一方、映像コンテンツは、第３の実施の形態と同様に配信サーバ１０ｃ以外の放送局４０等から、映像受信部２１で受信し、映像復号部２２で必要な復号処理を行い、映像表示部２３でその映像コンテンツを表示する。
【０１３７】
本実施の形態の表示端末２０ｃの文字情報の表示手法は、上述の第１、第２の実施の形態の説明と同様にして実施することができる。
【０１３８】
以上説明したように、本実施の形態によれば、第３の実施の形態の効果に加えて、文字領域抽出の処理が困難な表示端末２０ｃでも文字情報を表示することができる。また、配信サーバ１０が文字情報のみを配信し、表示端末２０ｃが映像コンテンツを他の放送局４０等から受信する方式により、上記第１、第２の実施の形態のコンテンツ配信システムと同様の効果を実現することができる。
【０１３９】
また、通常データ量が多い映像情報を配信サーバ１０ｃから受信せず、直接電波等を利用して映像を受信することで、データ通信に要する費用などを抑えることができ、第１や第２の実施の形態よりも効率よく文字情報の配信ができる。
【０１４０】
なお、上記各実施の形態では、表示端末２０、２０ａ、２０ｂ、２０ｃでは映像コンテンツとその文字情報とを同時に表示する方式であったが、文字情報のみを表示して映像コンテンツは表示しないという形態も可能である。これにより、より少ない通信量により映像コンテンツの文字情報を表示することができる。
【０１４１】
なお、上記各実施の形態のコンテンツ配信システムは、配信サーバ１０、１０ａ、１０ｃにおける映像入力部１１、映像符号化部１２、文字抽出部１３、映像送信部１４、文字送信部１５、多重化部１６、送信部１７の機能や、表示端末２０、２０ａ、２０ｂ、２０ｃにおける映像受信部２１、映像復号部２２、映像表示部２３、文字受信部２４、文字復号部２５、文字表示部２６、受信部２７、多重化分離部２８、文字抽出部２９の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムであるコンテンツ配信プログラム９０、９０ａ、９０ｃ、９１、９１ａ、９１ｂ、９１ｃを、コンピュータ処理装置のメモリにロードされることで実現することができる。このコンテンツ配信プログラム９０、９０ａ、９０ｃ、９１、９１ａ、９１ｂ、９１ｃは、磁気ディスク、半導体メモリその他の記録媒体に格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１４２】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【図面の簡単な説明】
【０１４３】
【図１】本発明の第１の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態の配信サーバの動作を説明するためのフローチャートである。
【図３】本発明の第１の実施の形態の表示端末の動作を説明するためのフローチャートである。
【図４】本発明の第２の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図５】本発明の第２の実施の形態の配信サーバの動作を説明するためのフローチャートである。
【図６】本発明の第２の実施の形態の表示端末の動作を説明するためのフローチャートである。
【図７】本発明の第２の実施の形態の文字領域分抽出の説明図である。
【図８】本発明の第２の実施の形態の表示端末における映像表示方式の説明図である。
【図９】本発明の第３の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図１０】本発明の第３の実施の形態の表示端末の動作を説明するためのフローチャートである。
【図１１】本発明の第４の実施の形態によるコンテンツ配信システムの構成を示すブロック図である。
【図１２】本発明の第４の実施の形態の配信サーバの動作を説明するためのフローチャートである。
【図１３】従来の映像コンテンツ配信システムの構成を示すブロック図である。
【符号の説明】
【０１４４】
１０、１０ａ、１０ｃ  配信サーバ
１１  映像入力部
１２  映像符号化部
１３  文字抽出部
１４  映像送信部
１５  文字送信部
１６  多重化部
１７  送信部
２０、２０ａ、２０ｂ、２０ｃ  表示端末
２１  映像受信部
２２  映像復号部
２３  映像表示部
２４  文字受信部
２５  文字復号部
２６  文字表示部
２７  受信部
２８  多重化分離部
２９  文字抽出部
３０  伝送路
６０  映像配信サーバ
６１  映像入力部
６２  映像符号化部
６４  映像送信部
７０  映像表示端末
７１  映像受信部
７２  映像復号部
７３  映像表示部
９０、９０ａ、９０ｃ、９１、９１ａ、９１ｂ、９１ｃ  配信プログラム
【図１】
0004655065.tif 000002
【図２】
0004655065.tif 000003
【図３】
0004655065.tif 000004
【図４】
0004655065.tif 000005
【図５】
0004655065.tif 000006
【図６】
0004655065.tif 000007
【図７】
0004655065.tif 000008
【図８】
0004655065.tif 000009
【図９】
0004655065.tif 000010
【図１０】
0004655065.tif 000011
【図１１】
0004655065.tif 000012
【図１２】
0004655065.tif 000013
【図１３】
0004655065.tif 000014