(57)【要約】【課題】携帯機器に表示されるビデオストリームに含まれている文字情報の表示を改善するシステムおよび方法を実現する。【解決手段】本発明に係るシステムおよび方法は、ある一様態において、文字情報がビデオストリームの複数フレームの中から識別されるとともに、視覚的可読性が改善するように文字情報を改善する。本発明に係るシステムおよび方法は、表示画面の他の部分と重なるようにビデオストリームのフレームのうち文字情報を含む部分を拡大することにより文字情報を改善してもよい。また、携帯機器の表示画面に表示するためにビデオストリームのフレームに含まれている文字情報を文字グリフに変換することにより文字情報を改善してもよい。文字情報の識別、および改善は、携帯機器の内部において行われても携帯機器の外部のシステムにおいて行われてもよく、自動処理で行われても携帯機器上でユーザが入力したことに応答して行われてもよい。【選択図】図１
2009089368.tif 000002
【特許請求の範囲】
【請求項１】
携帯機器に表示されるビデオストリームに含まれている文字コンテンツを表示する方法において、
上記ビデオストリームのフレームから文字情報を含む部分であってフレーム全体の一部を構成する部分を識別する識別工程と、
上記識別された部分の表示を改善して、上記携帯機器の表示画面の上記文字情報の視覚的可読性を改善する改善工程と、を含んでいることを特徴とする方法。
【請求項２】
上記識別工程には、上記フレームの上記部分を識別するための情報であってユーザにより入力された情報を受け取る工程が含まれていることを特徴とする請求項１に記載の方法。
【請求項３】
上記表示画面を論理的に所定の複数の部分に分割する工程をさらに含み、
上記ユーザにより入力された情報を受け取る工程において、上記部分を、上記所定の複数の部分のうちユーザに選択された部分として識別するための情報であってユーザから入力された情報を受け取ることを特徴とする請求項２に記載の方法。
【請求項４】
上記携帯機器は、複数のキーを有するキーパッドであって上記複数のキーの各々が上記所定の複数の部分の各々に対応するキーパッドを備えており、
上記ユーザにより入力された情報を受け取る工程において、上記表示画面のうち対応する部分を選択する上記キーパッドのキーを通じて、ユーザにより入力された情報を受け取ることを特徴とする請求項３に記載の方法。
【請求項５】
上記ユーザにより入力された情報を受け取る工程において、上記表示画面のうち対応する部分を選択する上記キーパッドの複数のキーを通じて、ユーザにより入力された情報を受け取ることを特徴とする請求項３に記載の方法。
【請求項６】
上記改善工程において、上記文字情報を含む上記識別された部分を拡大することにより、上記文字情報の視覚的可読性を改善することを特徴とする請求項１に記載の方法。
【請求項７】
上記改善工程において、上記識別された部分に含まれた上記文字情報を上記表示画面への表示のための対応する文字グリフに変換することにより、上記文字情報の視覚的可読性を改善することを特徴とする請求項１に記載の方法。
【請求項８】
上記改善工程において、上記文字情報がＵＲＬを示していると認識するとともに、上記携帯機器に上記ＵＲＬが示す場所に格納されているコンテンツを表示するためのリンクを上記ＵＲＬに作成することを特徴とする請求項１に記載の方法。
【請求項９】
ビデオストリームを表示するための携帯電子機器において、
上記ビデオストリームを表示する表示画面と、
上記ビデオストリームのフレームから文字情報を含む部分であってフレーム全体の一部を構成する部分を識別するとともに、上記部分の表示を改善することにより上記文字情報の視覚的可読性を改善するためのテキスト改善部と、を備えていることを特徴とする携帯電子機器。
【請求項１０】
ユーザから入力された情報を受け取るユーザ入力装置を備え、上記ユーザが入力したことに応答して、上記改善部が上記部分を識別することを特徴とする請求項９に記載の携帯電子機器。
【請求項１１】
上記ユーザ入力装置が、マトリックス状に配置されたスイッチからなるキーパッドであることを特徴とする請求項１０に記載の携帯電子機器。
【請求項１２】
上記改善部が、上記表示画面を論理的に所定の複数の部分に分割するとともに、
上記改善部が、上記キーパッドのうち固有のキーを上記所定の複数の部分の各々に関連づけた上で、
上記改善部が、上記部分を、上記所定の複数の部分のうち、ユーザに選択された部分であって上記関連づけられた動作中のキーに対応する部分として識別するため情報であって上記キーパッドを通じてユーザから入力された情報を受け取ることを特徴とする請求項１１に記載の携帯電子機器。
【請求項１３】
上記ユーザ入力装置は、上記表示画面に組み込まれたタッチスクリーンであることを特徴とする請求項１０に記載の携帯電子機器。
【請求項１４】
携帯機器においてビデオストリームを表示する方法であって、
初期ビデオストリームのコンテンツから文字情報を検出する検出工程と、
上記文字情報の視覚的可読性を改善するために、上記初期ビデオストリームに含まれている上記文字情報を改善することにより変更後ビデオストリームを生成する生成工程と、
上記携帯機器の表示画面に表示するために、上記初期ビデオストリーム、および上記変更後ビデオストリームのうち少なくとも一方を選択する表示選択工程と、を含んでいることを特徴とする方法。
【請求項１５】
上記生成工程において、上記文字情報を含む識別された部分を拡大することにより、上記文字情報の視覚的可読性を改善することを特徴とする請求項１４に記載の方法。
【請求項１６】
上記生成工程において、上記変更後ビデオストリームの１つ以上のフレームの部分に含まれている上記文字情報を上記表示画面への表示のための対応する文字グリフに変換することにより、上記部分が任意のフレームについて全体の一部を構成する上記文字情報の視覚的可読性を改善することを特徴とする請求項１４に記載の方法。
【請求項１７】
上記検出工程において、上記表示画面を論理的に複数の所定の部分に分割するとともに、上記所定の部分のうち文字情報を含む部分を判定することを特徴とする請求項１４に記載の方法。
【請求項１８】
上記携帯機器において上記変更後ビデオストリームの表示を要求する情報であってユーザが入力した情報を受信すると、上記検出、上記生成、および、上記表示選択の工程を行うことを特徴とする請求項１４に記載の方法。
【請求項１９】
ビデオストリームを表示するシステムであって、
初期ビデオストリームを生成するための初期ビデオストリームソースと、
上記初期ビデオストリームを受信するように接続され、上記初期ビデオストリームの１つ以上のフレームの部分に含まれている文字情報を検出するためのテキスト検出器と、
上記初期ビデオストリームを受信するために上記テキスト検出器に接続され、上記テキスト検出器により上記初期ビデオストリームから検出された上記文字情報の視覚的可読性を改善することにより変更後ビデオストリームを生成する変更後ビデオストリームソースと、
上記初期ビデオストリームと上記変更後ビデオストリームとのいずれかを選択してユーザに提示するように接続されている表示画面を備える携帯機器と、からなるシステム。
【請求項２０】
上記テキスト検出器、および上記変更後ビデオストリームソースが、上記携帯機器の内部に統合されていることを特徴とする請求項１９に記載のシステム。
【請求項２１】
上記テキスト検出器、および上記変更後ビデオストリームが上記携帯機器の外部に配置されていることを特徴とする請求項１９に記載のシステム。
【請求項２２】
上記携帯機器は、ユーザが入力した情報を受け取るユーザ入力装置をさらに備えており、上記ユーザが入力した情報には、上記表示画面に表示するために上記初期ビデオストリームまたは上記変更後ビデオストリームを選択するユーザの要求が含まれていることを特徴とする請求項１９に記載のシステム。
【請求項２３】
上記ユーザが入力した情報には、上記変更後ビデオストリームを生成するときに上記変更後ビデオストリームソースが改善する上記文字情報を含む上記表示画面中の部分を示す情報が含まれていることを特徴とする請求項２２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電子機器上のビデオストリーム表示に関する。より具体的には、本発明は、携帯電子機器の画面に表示されるビデオストリームに含まれる文字情報の表示を改善するシステムおよび方法に関する。
【背景技術】
【０００２】
携帯電子機器の性能および機能は、急速に向上している。現在、ミュージックプレーヤー、携帯電話機、およびＰＤＡ等の携帯機器は、ビデオストリームデータを表示する機能を一般的に備えている。たとえば、現代のミュージックビデオは、有線または無線の通信接続を利用して直接携帯機器に配信され、ユーザが携帯機器上でオンデマンドによりミュージックビデオを視聴できるようにしている。また、（ライブのテレビ放送と同様に）録画されたテレビ番組および／または映画もユーザの視聴のために携帯機器に直接配信される。現在では、多くの形態のビデオストリームコンテンツを、携帯電子機器上で表示できるようになっている。
【非特許文献１】Hua, Xian-Sheng他著、「EFFICIENT VIDEO TEXT RECOGNITION USING MULTIPLE FRAME INTEGRATION」
【非特許文献２】Wu, Victor他著、「FINDING TEXT IN IMAGES」
【発明の開示】
【発明が解決しようとする課題】
【０００３】
デスクトップコンピュータ、テレビ／ビデオ表示装置等の携帯性がない機器に比べ、携帯電子機器の表示画面は一般的に小さい。携帯性を望ましい水準に維持するために、このような携帯電子機器の表示画面が小さいのは止むを得ない。
【０００４】
ほとんどの携帯機器は表示画面のサイズが比較的小さい。そのため、ビデオ表示内に埋めこまれた文字情報を読む上で問題となる場合がある。たとえば、ビデオストリーム表示がスポーツのイベントである場合、他のスポーツイベントのスコアと共に表示中の試合のスコア情報が、ビデオストリームの連続するフレームの一部として一時的に表示されるかもしれない。あるいは、スコア情報が、常にビデオスクリーン表示の隅に表示され、他のスポーツイベントのスコアが、ディスプレイの他の隅に一時的に表示されるかもしれない。
【０００５】
ビデオストリームの表示が携帯機器の小さい表示画面に特別にデザインされていない場合、一般的なユーザにとって、そのような文字情報表示は小さすぎて容易に読むことが出来ない問題が生じる可能性がある。そのような表示の小さな文字は、携帯機器の表示画面上で２〜３ピクセルまで縮小されて、個々の文字が識別不可能になることがよくある。
【０００６】
その結果、携帯機器の小さな表示画面上に表示されるビデオストリーム内の文字情報を、視覚的可読性を十分にすることが、現在の課題となっている。とりわけ、携帯機器の小さな表示画面に表示するために特別にデザインされたものではないビデオストリームを表示する際に、文字情報を読みやすく表示することが課題となっている。
【０００７】
本発明は、携帯機器に備えられている表示画面上のビデオストリーム表示に含まれている文字情報の表示を改善するシステムおよび方法を提供することによって、上記や他の問題を解決し、それによって有用な技術の状態を向上させる。より具体的には、本発明の特徴および様態は、携帯機器上で表示されるビデオストリームに含まれるテキストコンテンツを表示する方法を含む。
【０００８】
上記方法は、文字情報を含むビデオストリーム内のフレームの一部を識別することを含み、識別される部分はフレーム全体より小さい。そして、上記方法は、携帯機器の表示画面上で文字情報の視覚的可読性を向上させるために識別される部分の表示を改善する。
【０００９】
本発明の他の特徴や様態は、携帯機器上のビデオストリームの表示方法を提供する。上記方法は、まず初期ビデオストリームコンテンツ内の文字情報を検出する。次に、初期ビデオストリーム内の文字情報を改善することによって変換後ビデオストリームを生成し、文字情報の視覚的可読性を向上させる。そして上記方法により、初期ビデオストリーム、および、変換後ビデオストリームから、携帯機器の表示画面に表示するビデオストリームを選択することが可能になる。
【課題を解決するための手段】
【００１０】
本発明に係る方法は、上記課題を解決するために、
携帯機器に表示されるビデオストリームに含まれている文字コンテンツを表示する方法において、上記ビデオストリームのフレームから文字情報を含む部分であってフレーム全体の一部を構成する部分を識別する識別工程と、上記識別された部分の表示を改善して、上記携帯機器の表示画面の上記文字情報の視覚的可読性を改善する改善工程と、を含んでいることを特徴としている。
【００１１】
本発明に係る方法では、さらに、
上記識別工程には、上記フレームの上記部分を識別するための情報であってユーザにより入力された情報を受け取る工程が含まれていることが望ましい。
【００１２】
本発明に係る方法では、さらに、
上記表示画面を論理的に所定の複数の部分に分割する工程をさらに含み、上記ユーザにより入力された情報を受け取る工程において、上記部分を、上記所定の複数の部分のうちユーザに選択された部分として識別するための情報であってユーザから入力された情報を受け取ることが望ましい。
【００１３】
本発明に係る方法では、さらに、
上記携帯機器は、複数のキーを有するキーパッドであって上記複数のキーの各々が上記所定の複数の部分の各々に対応するキーパッドを備えており、上記ユーザにより入力された情報を受け取る工程において、上記表示画面のうち対応する部分を選択する上記キーパッドのキーを通じて、ユーザにより入力された情報を受け取ることが望ましい。
【００１４】
本発明に係る方法では、さらに、
上記ユーザにより入力された情報を受け取る工程において、上記表示画面のうち対応する部分を選択する上記キーパッドの複数のキーを通じて、ユーザにより入力された情報を受け取ることが望ましい。
【００１５】
本発明に係る方法では、さらに、
上記改善工程において、上記文字情報を含む上記識別された部分を拡大することにより、上記文字情報の視覚的可読性を改善することが好ましい。
【００１６】
本発明に係る方法では、さらに、
上記改善工程において、上記識別された部分に含まれた上記文字情報を上記表示画面への表示のための対応する文字グリフに変換することにより、上記文字情報の視覚的可読性を改善することが望ましい。
【００１７】
本発明に係る方法では、さらに、
上記改善工程において、上記文字情報がＵＲＬを示していると認識するとともに、上記携帯機器に上記ＵＲＬが示す場所に格納されているコンテンツを表示するためのリンクを上記ＵＲＬに作成することが望ましい。
【００１８】
本発明に係る携帯電子機器は、上記の課題を解決するために、
ビデオストリームを表示するための携帯電子機器において、
上記ビデオストリームを表示する表示画面と、
上記ビデオストリームのフレームから文字情報を含む部分であってフレーム全体の一部を構成する部分を識別するとともに、上記部分の表示を改善することにより上記文字情報の視覚的可読性を改善するためのテキスト改善部と、を備えていることを特徴としている。
【００１９】
また、本発明に係る携帯電子機器では、さらに、
ユーザから入力された情報を受け取るユーザ入力装置を備え、上記ユーザが入力したことに応答して、上記改善部が上記部分を識別することが好ましい。
【００２０】
また、本発明に係る携帯電子機器では、さらに、
上記ユーザ入力装置が、マトリックス状に配置されたスイッチからなるキーパッドであることが好ましい。
【００２１】
また、本発明に係る携帯電子機器では、さらに、
上記改善部が、上記表示画面を論理的に所定の複数の部分に分割するとともに、
上記改善部が、上記キーパッドのうち固有のキーを上記所定の複数の部分の各々に関連づけた上で、
上記改善部が、上記部分を、上記所定の複数の部分のうち、ユーザに選択された部分であって上記関連づけられた動作中のキーに対応する部分として識別するため情報であって上記キーパッドを通じてユーザから入力された情報を受け取ることが好ましい。
【００２２】
また、本発明に係る携帯電子機器では、さらに、
上記ユーザ入力装置は、上記表示画面に組み込まれたタッチスクリーンであることが好ましい。
【００２３】
本発明に係る方法は、上記の課題を解決するために、
携帯機器においてビデオストリームを表示する方法であって、
初期ビデオストリームのコンテンツから文字情報を検出する検出工程と、
上記文字情報の視覚的可読性を改善するために、上記初期ビデオストリームに含まれている上記文字情報を改善することにより変更後ビデオストリームを生成する生成工程と、
上記携帯機器の表示画面に表示するために、上記初期ビデオストリーム、および上記変更後ビデオストリームのうち少なくとも一方を選択する表示選択工程と、を含んでいることを特徴としている。
【００２４】
また、本発明に係る方法では、さらに、
上記生成工程において、上記文字情報を含む識別された部分を拡大することにより、上記文字情報の視覚的可読性を改善することが好ましい。
【００２５】
また、本発明に係る方法では、さらに、
上記生成工程において、上記変更後ビデオストリームの１以上のフレームの部分に含まれている上記文字情報を上記表示画面への表示のための対応する文字グリフに変換することにより、上記部分が任意のフレームについて全体の一部を構成する上記文字情報の視覚的可読性を改善することが好ましい。
【００２６】
また、本発明に係る方法では、さらに、
上記検出工程において、上記表示画面を論理的に複数の所定の部分に分割するとともに、上記所定の部分のうち文字情報を含む部分を判定することが好ましい。
【００２７】
また、本発明に係る方法では、さらに、
上記携帯機器において上記変更後ビデオストリームの表示を要求する情報であってユーザが入力した情報を受信すると、上記検出、上記生成、および、上記表示選択の工程を行うことが好ましい。
【００２８】
本発明に係るシステムは、上記の課題を解決するために、
ビデオストリームを表示するシステムであって、
初期ビデオストリームを生成するための初期ビデオストリームソースと、
上記初期ビデオストリームを受信するように接続され、上記初期ビデオストリームの１以上のフレームの部分に含まれている文字情報を検出するためのテキスト検出器と、
上記初期ビデオストリームを受信するために上記テキスト検出器に接続され、上記テキスト検出器により上記初期ビデオストリームから検出された上記文字情報の視覚的可読性を改善することにより変更後ビデオストリームを生成する変更後ビデオストリームソースと、
上記初期ビデオストリームと上記変更後ビデオストリームとのいずれを選択してユーザに提示するように接続されている表示画面を備える携帯機器と、からなることを特徴としている。
【００２９】
また、本発明に係るシステムでは、さらに、
上記テキスト検出器、および上記変更後ビデオストリームソースが、上記携帯機器の内部に統合されていることが好ましい。
【００３０】
また、本発明に係るシステムでは、さらに、
上記テキスト検出器、および上記変更後ビデオストリームが上記携帯機器の外部に配置されていることが好ましい。
【００３１】
また、本発明に係るシステムでは、さらに、
上記携帯機器は、ユーザが入力した情報を受け取るユーザ入力装置をさらに備えており、上記ユーザが入力した情報には、上記表示画面に表示するために上記初期ビデオストリームまたは上記変更後ビデオストリームを選択するユーザの要求が含まれていることが好ましい。
【００３２】
また、本発明に係るシステムでは、さらに、
上記ユーザが入力した情報には、上記変更後ビデオストリームを生成するときに上記変更後ビデオストリームソースが改善する上記文字情報を含む上記表示画面中の部分を示す情報が含まれていることが好ましい。
【発明の効果】
【００３３】
本発明に係る方法は、ビデオストリームのフレームから文字情報を含む部分であってフレーム全体の一部を構成する部分を識別する識別工程と、上記識別された部分の表示を改善して、上記携帯機器の表示画面の上記文字情報の視覚的可読性を改善する改善工程とを含んでいるため、文字情報の視覚的可読性を向上できる効果を奏する。
【発明を実施するための最良の形態】
【００３４】
図１は、本発明の機能および様態に従って、高画質化された文字情報を有するビデオストリームを携帯機器１０８が表示する好適なシステム１００を示すブロック図である。図１に示すように、システム１００は、ビデオストリームソース１０２、文字検出部１０４、文字改善部１０６、および携帯機器１０８から構成されている。携帯機器１０８は、表示画面１１０およびユーザ入力装置１１２を備えている。
【００３５】
初期ビデオストリームは、ビデオストリームソース１０２において生成されるとともに、携帯機器１０８に供給されて携帯機器１０８の表示画面１１０上に表示される。本発明の機能および様態に従って、文字検出部１０４は、ビデオストリームソース１０２から供給されるビデオストリームを監視することにより、ビデオストリームのフレームの中から文字情報が存在する１つ以上の部分を検出する。
【００３６】
次に文字検出部１０４は、検出された文字情報の表示を改善するために、文字改善部１０６とやり取りする。具体的には、文字検出部１０４は、検出した文字情報をテキスト改善部１０６に出力する。テキスト改善部１０６は、携帯機器１０８が表示画面１１０に表示するように、ビデオストリームのフレームを変更する。携帯機器１０８のユーザ（不図示）は、ユーザ入力装置１１２を通じて、携帯機器１０８に改善前のビデオストリームを表示するよう指示したり、識別された文字情報の表示を改善するように指示したりする。
【００３７】
図２は、本発明の機能および様態に従って、文字情報を改善する好適な例を示すブロック図である。図２の上部は、表示画面１１０を示すものであり、改善前のビデオストリーム２０２のコンテンツを表示している。テキスト検出部１０４は、ビデオストリームの中から文字情報２０４を検出する。ユーザは、この文字情報を読みにくいと感じるかもしれない（たとえば、携帯機器１０８の表示画面１１０に表示される文字が小さすぎる場合）。あるいは、携帯機器１０８の内部または外部において行われる自動処理によって、改善する必要がある文字情報を識別してもよい。図１に示すシステム１００を使用して識別された文字情報を改善してもよい。
【００３８】
図２の下部は、改善済、すなわち変更済のビデオストリーム２０８が表示されている表示画像１１０であり、改善済の文字情報２０６が、読みやすくなった状態で表示されている。改善の詳細について以下に説明する。図示した改善は、主に、高品質化された文字コードグリフ、およびスペースを利用するための、単純な拡大または文字認識、および変換である。
【００３９】
文字情報を改善することにより、未改善のビデオストリームの標準的な表示に比べ、視覚的可読性が向上する。改善済の文字情報２０６は、ビデオストリーム表示の他の部分（未改善の部分）と重なる可能性がある。携帯機器１０８は、改善済の文字情報２０６を、予め定められた時間が経過するまで表示画面１１０に表示しても良い。または、ビデオストリームの標準的な表示、すなわち、改善されていない表示に戻るようにユーザが指示するまで表示してもよい。あるいは、改善済の文字情報２０６を、予め定められた時間が経過するか、改善されていない表示に戻るようにユーザが指示するときまで表示してもよい。
【００４０】
本明細書中で使用される「視覚的可読性」とは、表示画面上に表示される文字情報の表示品質を意味する。文字情報を読みやすくする要素としては、文字のサイズ、および表示される文字の質（すなわち、表示画面上にピクセルにより構成された文字の質）が挙げられる。本明細書中の文言により、文字の読みやすさに関する閾値は特に示されていないが、本発明は、視覚的な可読性を向上させることに関する。文字情報を改善することにより、「視覚的可読性」は向上する。
【００４１】
また、本明細書中で使用される、「改善」は、識別された部分を拡大したり引き伸ばしたりする操作を意味する。さらに「改善」とは、文字情報をビデオストリームのフレーム内の純粋な画像から文字コードに変換するための文字認識等の変換技術をも表す。また、文字情報の可読性を改善する対応のフォントグリフを生成するために変換された文字コードを使用してもよい。公知のテキスト認識方法の例は、上述した非特許文献１および非特許文献２に開示されている。さらに、「改善」の他の形式として、たとえば情報の他のソースを指すＵＲＬ等の文字情報が持つ意味を認識するために、変換された文字コードを使用してもよい。
【００４２】
ここで再び図１を参照して説明する。テキスト検出部１０４およびテキスト改善部１０６が、携帯機器１０８の内部に組み込まれた構成要素として動作可能であることは、当業者であれば容易に理解できる。同様に、テキスト検出部１０４およびテキスト改善部１０６が、携帯機器１０８の動作の範囲外にある（たとえば、外部サーバやシステムの内部の）構成要素として動作可能であることも、当業者であれば容易に理解できる。
【００４３】
さらに、ビデオストリームソース１０２は、有線および無線のいずれかの伝送媒体ならびに関連する通信プロトコルによって、携帯機器１０８に接続されている外部サーバまたはシステムとして具現化されている。さらに、ビデオストリームソース１０２は携帯機器１０８と一体化したものであってもよく、たとえば、携帯機器１０８に接続された適切な記憶媒体に予め格納されたビデオストリーム等とすることができる。
【００４４】
図３は、好適な一実施形態であるシステム３００を示す。この図に示すように、携帯機器１０８はテキスト検出部１０４およびテキスト改善部１０６を備えている。たとえば携帯機器１０８は、（適切な通信媒体およびプロトコルによって）ビデオストリームソース１０２からビデオストリームを受信する。そして、携帯機器１０８の処理部は、改善が必要な文字情報を検出し、ビデオストリームを適切に変更して、ビデオストリーム内の検出された文字情報の表示を改善する。
【００４５】
図４は、他の好適な一実施形態であるシステム４００を示す。システム４００の内部において、（携帯機器１０８の外部にある）外部ビデオストリームソース４０１が、ストリーム選択ロジック部（論理素子）を経由して、初期ビデオストリームソース４０２からの初期ビデオストリームと、変更済ビデオストリームソース４０６（たとえばテキスト改善部）からの変更済のビデオストリーム（改善済文字情報）とを携帯機器１０８に提供する。したがって、携帯機器１０８からビデオストリームソース４０１に要求することにより、変更されていない初期ビデオストリームと改善された文字情報を含む変更済ビデオストリームとのうちいずれかを、動的に選択して、携帯機器１０８の表示画面上に表示する。
【００４６】
図５は、本発明の機能および様態に従って携帯機器のユーザがビデオストリームに含まれている文字情報の表示を選択的に改善することを可能にする方法を説明するフローチャートである。図５に示す方法は、携帯機器１０８に供給されるビデオストリーム内の文字情報表示を改善するために行われる処理である。また、図３に描かれているような携帯機器の内部における処理の概略を説明している。
【００４７】
図５によると、ステップ５００において、表示された文字情報を含むビデオストリームのフレームうち１箇所以上の部分を識別する。ステップ５００は、ビデオストリーム内の文字情報を識別するために一連のフレームのグラフィックイメージを分析する携帯機器１０８内部の自動処理として実行されてもよい。識別された文字情報により、識別された文字情報と境を接する長方形領域、すなわち、文字情報を含む最小の長方形領域として境界ボックスを定義してもよい。そして、表示画面１１０のうち識別された文字情報を含む部分を識別するために、携帯機器１０８の表示画面のうち、１箇所以上の部分に該識別された文字情報の境界ボックスを配置してもよい。また、境界ボックスを配置するだけでなく、ビデオストリームのフレームのうち１箇所以上の部分を識別するために、携帯機器１０８上でユーザが入力操作をしてもよいし、境界ボックスを配置する代わりにユーザが当該入力操作を行ってもよい。
【００４８】
次に、ステップ５０２において、携帯機器１０８は、表示画面１１０の識別された部分にある文字情報の表示を改善し、ビデオストリームの残りの部分に重なっている改善済文字情報を選択表示する。携帯機器１０８は、改善済文字情報が含まれている変更後ビデオストリームは、携帯機器１０８上でユーザが行う入力に応答して選択表示してもよい。また、ユーザが行う入力に応答して選択表示するだけでなく、所定の第１の時間閾値の間に識別された文字情報がビデオストリーム内に存在する場合、携帯機器１０８は、改善済文字情報が含まれている変更後ビデオストリームを自動的に選択してもよいし、または、ユーザが行う入力に応答して選択表示せずに自動的に選択してもよい。次に、変更されたストリームは所定の第２の期間表示され、改善された文字コンテンツをユーザが読むことができるようする。
【００４９】
図６は、本発明の機能および様態に従って、ビデオストリームの各部において識別された文字情報を改善する方法の好適な別の実施形態を示すフローチャートである。より具体的には、図４に示す携帯機器の外部サーバまたはコンピュータシステム（たとえば、ストリーミングビデオサーバ）による処理の概略である。
【００５０】
外部サーバは、表示中の文字情報を含む識別された部分を改善するために、初期ビデオストリームを変更してもよい。ステップ６００において、初期ビデオストリームのフレームのうち文字情報を含む部分を識別する。初期ビデオストリームが、初期ビデオストリームのソース（例：携帯機器１０８の外部のサーバシステム）によって、携帯機器１０８に供給される。次にステップ６０２において、初期ビデオストリームの識別された部分に検出された文字情報を改善することによって、初期ビデオストリームから変更後ビデオストリームを生成する。ステップ６０４において、変更後ビデオストリームを携帯機器１０８に供給する。
【００５１】
ステップ６０６において、携帯機器１０８は、初期ビデオストリームおよび変更後ビデオストリームのうちいずれかを、携帯機器１０８上に表示するものとして選択する。携帯機器１０８の内部または外部に備えられている選択手段は、キーストローク、音声指示、タッチスクリーン操作、他の公知のユーザインタラクション等といったユーザの入力に応答して、携帯機器１０８に今表示するものとして初期ビデオストリームおよび変更後ビデオストリームのうちいずれかを選択してもよい。
【００５２】
このように、変更後ビデオストリームは、継続的にまたは選択的に、初期ビデオストリームと並行して生成されるので、携帯機器１０８の表示装置上でどちらかを選択することができる。さらに、上述のように、変更後ビデオストリームは、表示のために携帯機器１０８からのユーザの入力によって手動で選択してもよく、あるいは、所定の第１の時間閾値の間、ビデオストリームの中で識別された文字情報が表示されているときに自動的に選択してもよい。そして、改善された文字内容をユーザが読むことが出来るように、変更後ストリームは所定の第２の期間表示されてもよい。
【００５３】
様々な技術のうちいずれかにしたがって、ビデオストリームのフレームから文字情報を含む部分を識別してもよい（たとえば図５のステップ５００、および図６のステップ６００）。図７は、改善され得る文字情報を含むビデオストリームの部分を識別する３つの好適な方法を示すフローチャートである。これらの３つの方法は、他の同等の方法と同様に、本発明の機能および様態に係るシステムにおいて使用することができる。図７に示す方法は、携帯機器１０８の内部で処理されてもよいし、携帯機器１０８の外部にあるサーバシステムにおいて処理されてもよい。
【００５４】
ステップ７００は、周知の数多く存在する自動化された図形解析技術のうち任意のものが示す。この技術は、ビデオストリームのフレームの文字情報を含んでいる可能性のある部分を識別する図形解析技術である。
【００５５】
ステップ７００では、ビデオストリームのフレーム内のピクセルに対して図形解析（たとえば、境界検出、および／または、テキスト認識技術等）し、ビデオストリームの文字情報の境界ボックスを識別する。境界ボックスは一般的に、文字情報らしき箇所（ビデオストリームのフレームうち変化しない部分など）を検出するために、連続するフレームを解析することにより決定される。
【００５６】
ステップ７０２から７０６において、携帯機器１０８の表示画面１１０のうち改善され得る文字情報を含む部分を識別する方法の好適な別の例を示す。
【００５７】
まず、ステップ７０２において、境界ボックスの第１の角を識別するユーザ入力を受信する。ステップ７０４において、境界ボックスの（第１の角とは逆の対角線上にある）第２の角を識別するユーザ入力を受信する。ユーザ入力は、たとえば携帯機器１０８に付属のポインタデバイス、または携帯機器１０８の表示画面１１０に組み込まれたタッチスクリーン機能によって実現されてもよい。一般に知られているように、第２の角は、第１の角からボックスを「引き伸ばす」というユーザ入力により位置が決められる。そして、ステップ７０６において、ユーザ入力により位置が決定した角によって携帯機器１０８の表示画面１１０に作成された境界ボックスにより定義された部分が、表示画面１１０の中から識別される。
【００５８】
ステップ７０８において、改善し得る部分を併せて表示する表示画面１１０のうち、隣接する複数の部分を識別する方法の別の好適な方法を示す。たとえば、スイッチやセンサーなど携帯機器１０８のキーは、携帯機器１０８の表示画面の対応する部分に論理的に割り当てられる。このようにステップ７０８において、１つ以上のキー入力をユーザから受け取り（ユーザ入力）、改善し得る文字情報を含む部分であって表示画面１１０の対応する隣接部分が識別される。自動動作に加え、携帯機器１０８からのユーザ入力によって、ビデオストリームのフレームのうち文字情報を含む部分を検出してもよい。
【００５９】
図８は、携帯機器１０８の好適な一実施形態を示すブロック図である。携帯機器１０８は、１つ以上のユーザ入力キーを作動させることにより、改善すべき文字情報を含むビデオストリームの１箇所以上の部分を（たとえば、図７のステップ７０８の方法を使用して）識別する。
【００６０】
図８に示す好適な実施形態において、携帯機器１０８は、マトリクス状の８００．０〜８００．ｂのスイッチまたはセンサーからなるユーザ入力装置８００を備えている。各スイッチまたはセンサーは、携帯機器１０８の表示画面８０２の対応する部分を表している。したがって、表示画面８０２は、論理的に対応する８０２．０〜８０２．ｂからなる部分に分けられている。携帯機器１０８のユーザは、表示画面８０２に表示されるビデオストリームを見て、表示画面８０２のうち、改善したい文字情報を含む部分（８０２．０〜８０２．ｂ）を決定する。
【００６１】
次に、ユーザは、改善すべき文字情報を含む特定の部分を示すために、ユーザ入力装置８００のうち１つ以上の対応するスイッチまたはセンサー８００．０〜８００．ｂを作動させる。改善すべき文字情報の境界ボックスが、表示画面８０２の８０２．０〜８０２．ｂのうちの一箇所に完全に包含されている場合、ユーザは入力装置８００の８００．０〜８００．ｂのスイッチまたはセンサーのうち１つだけを作動させる必要がある。文字情報が表示画面８０２の複数の（通常隣接する）部分にわたる場合、ユーザは入力装置８００の複数の隣接するスイッチまたはセンサーを作動させる。
【００６２】
このように、図８は、ユーザ入力装置８００を通じて、ユーザが携帯機器１０８とやりとりすることにより表示画面８０２の中から改善すべき文字情報を含む部分を識別する一実施形態を表している。周知の多様なスイッチまたはセンサー部品のうちのいかなるものを用いても、ユーザ入力スイッチまたはセンサー（たとえば、キー）８００．０〜８００．ｂは実装可能である。たとえば、携帯電話の一般的なキーパッドとして設計された、機械スイッチ、薄膜スイッチ、または容量感知スイッチ等を使用して、表示画面８０２の対応する部分８０２．０〜８０２．ｂを識別してもよい。さらに、たとえば、ユーザ入力装置８００は、表示画面８０２と一体化したタッチスクリーンのバーチャルキーとして実装してもよい。
【００６３】
ユーザは、画面の１箇所以上の部分を「キー入力」として触れることにより単純に画面の領域を示して、改善すべき文字情報を含む対応部分を識別してもよい。さらに、ユーザ入力装置８００は、携帯機器１０８に音声認識機能として実装してもよい。これにより、ユーザは、音声指示を用いた仮想キー入力として、表示画面８０２のうち改善すべき文字情報を含む部分を識別してもよい。したがって、単に、ユーザ入力装置の好適な一実施形態と、携帯機器１０８の表示画面１１０上でビデオストリーム内の文字情報を含む画面の１箇所以上の部分を識別するためにユーザ入力装置を使用する方法とを説明することを目的として、図８は示されている。
【００６４】
図９は、ビデオストリームのうち文字情報を含む１箇所以上の部分を識別した後に、たとえば図５のステップ５０２や図６のステップ６０２のように改善を行う方法の好適な例を示すフローチャートである。通常、識別された部分は、十分な閾値の期間表示されると自動的に表示が改善される。さらに、あるいは、そのようにせずに、たとえばキー入力や音声指示といったユーザ入力により明確に要求してもよい。実際に文字情報を改善するために、識別された部分を単純に拡大したり引き伸ばしたりしてもよいし、より品質の高い（一般的にはより大きい）フォントグリフ（文字）に変換してもよい。そして、所定の閾値の期間、またはユーザ入力により直接改善前のビデオストリーム表示に変更するまで、ビデオストリーム表示の他の部分に重なった状態で、改善された文字情報を表示してもよい。
【００６５】
ステップ９００において、所定の閾値が示す期間の経過またはユーザ入力による改善の要求に応答して、識別された文字情報を含む１箇所以上の部分の改善を始める。２つの改善方法のうちいずれかが適用される。ステップ９０２は、表示画面１１０に表示されたビデオストリームのフレームうち識別された部分を拡大したり、引き伸ばしたりするための第１の方法である。ビデオストリーム表示内のフレーム画像のうち拡大したり引き伸ばしたりした部分は、この部分に含まれる文字情報を、より読みやすいサイズで表示する。
【００６６】
表示画面の１箇所以上の識別された部分の全体が拡大され、その結果、当該部分の文字情報および他の図形情報のコンテンツの視覚的可読性が改善される。また、文字情報を含む部分を拡大した画像よりもずっと読みやすいフォントイメージ（すなわち、文字コードグリフイメージ）を内蔵している携帯機器１０８もある。ステップ９０４において、携帯機器１０８の表示を改善するために、周知の文字認識技術を利用して表示画面１１０中の識別された部分に含まれる文字情報を対応する文字コードに変換する第２の方法が示されている。そして、文字コードは、（携帯機器１０８の内部に格納された、または、携帯機器１０８にダウンロードされた）対応する文字グリフとマッピングされる。
【００６７】
さらに任意の改善方法として、ステップ９０４において文字認識技術が適用された場合に、ステップ９０６において、変換された文字情報に対して任意の評価を行い、表示される別のデータソースのＵＲＬを示す文字情報であるかを判断してもよい。この任意のテストが行われても文字情報がＵＲＬとして認識されない場合、ステップ９１０から処理を継続する。もし、ステップ９０６において、変換された文字情報がＵＲＬを示す可能性があると判断されると、ステップ９０８において、識別されたＵＲＬを携帯機器１０８とリンクさせ、これによって携帯機器１０８の表示画面のデータ表示を変更する。
【００６８】
このように、携帯機器１０８のユーザは、ビデオストリーム表示内に検出されたリンクを通じて、効果的に閲覧または検索をすることができる。たとえば、スポーツイベントのビデオストリームは、話題となっていること（選手やチーム戦略等）の詳細をさらに入手可能なＵＲＬを表す文字情報を含んでいるかもしれない。あるいは、たとえば、ビデオストリームに広告が含まれており、広告内のＵＲＬが製品情報や企業情報を得られる業者のウェブサイトを示しているかもしれない。たとえば、携帯機器１０８のキースイッチ、携帯機器１０８のタッチスクリーン、携帯機器１０８の音声指示認識等を含め、いくつかの周知のユーザ指示技術はいずれも、ビデオストリームの文字情報内のＵＲＬを識別するため、さらに、ＵＲＬコンテンツへリンクするオプションを選択するために使用される。
【００６９】
図１０は、図９の方法により文字情報がＵＲＬを示すと判断された場合に、本発明の機能および様態に従って、文字情報を改善する好適な例を示している。図１０の上部には、初期ビデオストリーム１００２を表示している表示画面１１０が示されており、初期ビデオストリーム１００２のうち文字情報１００４を含む部分が識別されている。さらに、図９において説明した文字認識技術を使用することにより、テキストが別のリソースのＵＲＬを示すと判定されている。自動的に、またはユーザとの適切なやりとりにより、新しいＵＲＬを示す文字情報１００４は、図１０の下の図が示すように、表示画面１１０が表示する変更後ビデオストリームであって新しい「ＵＲＬ」ページに対応する変更後ビデオストリーム１００６（または他のコンテンツ）に「リンク」されてもよい。
【００７０】
図１および図３から図１０までに示す装置、システム、および方法は、本発明の機能および様態に従って実現可能な実施形態の好適な例に過ぎない。また、様々に工程を追加すること、および部材を同等なものに置き換えることは、当業者が容易に想到し得ることであるので、説明を簡潔にするため、ここでは省略する。
【００７１】
当業者であれば、ユーザが一時的に読みやすくしたいと思う文字情報を含むようなビデオストリーム表示には様々なものがあり、数えきれないほど存在することを容易に認識できる。したがって図２および図１０は、本発明の機能および様態に従って文字情報を改善する好適な例を示すものに過ぎない。
【００７２】
本発明は、各図により図示されるとともに上記の記述により説明されているが、図示および記述は、例示とみなされるべきであり、文字通り限定されるべきではない。本発明の多様な実施形態および微差を有する変形例が図示および記述されている。特に、上記の実施例が示す方法が、汎用または専用のプログラマブルプロセッサによって実行される適切にプログラムされた命令群として、または、組み合わせ論理素子および順次論理素子のうち少なくとも一方を含む同等のカスタム論理回路として実装可能であることは、当業者であれば容易に認識すると考えられる。本発明の思想の範囲内において行われる全ての変更および修正は保護されることが望ましい。
【００７３】
本発明の範囲内における上記の実施形態に対する変更は、当業者において自明である。したがって、本発明は上記の特定の例や図示に限定されるものではなく、請求項およびその均等物によってのみ制限されるものである。
【００７４】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【００７５】
本発明は、ミュージックプレーヤー、携帯電話機、およびＰＤＡ等の、ビデオストリームデータを表示する機能を備えた各種の携帯機器として実現できる。
【図面の簡単な説明】
【００７６】
【図１】本発明の機能および様態に従って、携帯機器の表示画面の文字情報表示を改善する好適なシステムを示すブロック図である。
【図２】本発明の機能および様態に従って、表示の一部に含まれる文字情報が識別され、識別された文字情報の表示が改善したビデオストリームの表示を好適に示す図である。
【図３】本発明の機能および様態に従って、携帯機器の表示画面の文字情報表示を改善する好適なシステムを示すブロック図である。
【図４】本発明の機能および様態に従って、携帯機器の表示画面の文字情報表示を改善する好適なシステムを示すブロック図であり、画面中の表示を改善すべき文字情報を含む部分を識別するために携帯機器上でユーザからの入力情報を受信する、一実施形態のブロック図である。
【図５】本発明の機能および様態に従って、表示画面の文字情報を含む部分を識別するとともに文字情報が識別されるように表示を改善する好適な方法を示すフローチャートである。
【図６】本発明の機能および様態に従って、表示画面の文字情報を含む部分を識別するとともに文字情報が識別されるように表示を改善する好適な方法を示すフローチャートである。
【図７】本発明の機能および様態に従って、表示画面の文字情報を含む部分を識別するとともに文字情報が識別されるように表示を改善する好適な方法を示すフローチャートである。
【図８】本発明の機能および様態に従って、表示の一部に含まれる文字情報を識別するためにユーザとやりとりを行い、識別された部分の表示を改善する要求をユーザが入力するためのユーザ入力装置を備えた好適な携帯機器を示すブロック図である。
【図９】本発明の機能および様態に従って、ビデオストリーム表示の文字情報を含む部分を識別し、ユーザが識別可能に文字情報の表示を改善する好適な方法を示すフローチャートである。
【図１０】本発明の機能および様態に従って、携帯機器の画面上の文字情報表示を改善する好適な方法を示すブロック図である。
【符号の説明】
【００７７】
１００  システム
１０２  ビデオストリームソース
１０４  文字検出部
１０６  文字改善部
１０８  携帯機器
１１０  表示画面
１１２  ユーザ入力装置
【図１】
2009089368.tif 000003
【図２】
2009089368.tif 000004
【図３】
2009089368.tif 000005
【図４】
2009089368.tif 000006
【図５】
2009089368.tif 000007
【図６】
2009089368.tif 000008
【図７】
2009089368.tif 000009
【図８】
2009089368.tif 000010
【図９】
2009089368.tif 000011
【図１０】
2009089368.tif 000012