(57)【要約】【課題】  マナーモードにおいても音声や音響によりもたらされている情報を得ることができる携帯移動端末装置を得る。【解決手段】  テレビ放送を受信するテレビ受信・復調部２と、テレビ放送中の音声情報を出力する音響出力部４と、テレビ放送中の映像情報を表示する画像・映像表示部５と、音響出力部４に対して音声情報の出力可否を設定するモード設定部１２と、音響出力部４において音声情報出力の禁止が設定されている場合、テレビ放送中の映像情報と音声情報に対応する字幕情報とを合成して字幕を表示する合成映像情報を生成し、当該合成映像情報を画像・映像表示部５が表示するように制御する信号処理部７とを備える。【選択図】        図１
2006180230.tif 000002
【特許請求の範囲】
【請求項１】
テレビ放送を受信するテレビ受信手段と、
前記テレビ放送中の音声情報を出力する発音手段と、
前記テレビ放送中の映像情報を表示する映像表示手段と、
前記発音手段に対して音声情報の出力可否を設定するモード設定手段と、
前記発音手段において音声情報出力の禁止が設定されている場合、前記テレビ放送中の映像情報と前記音声情報に対応する字幕情報とを合成して字幕を表示する合成映像情報を生成し、当該合成映像情報を前記映像表示手段が表示するように制御する処理制御手段とを備えた携帯移動端末装置。
【請求項２】
テレビ放送を受信するテレビ受信手段と、
前記受信したテレビ放送情報を蓄積するテレビ再生手段と、
前記テレビ放送情報中の音声情報を出力する発音手段と、
前記テレビ放送情報中の映像情報を表示する映像表示手段と、
前記発音手段に対して音声情報の出力可否を設定するモード設定手段と、
前記発音手段において音声情報出力の禁止が設定されている場合、前記映像情報と前記音声情報に対応する字幕情報とを合成して字幕を表示する合成映像情報を生成し、当該合成映像情報を前記映像表示手段が表示するように制御する処理制御手段とを備えた携帯移動端末装置。
【請求項３】
音声情報を字幕情報に変換する字幕生成手段を備えたことを特徴とする請求項１または請求項２記載の携帯移動端末装置。
【請求項４】
字幕生成手段に設定されて音声情報を認識し字幕情報に変換する音声認識アルゴリズムに従う音声認識ソフトウエアおよび／または前記音声認識アルゴリズムでの処理を最適化するパラメータを格納するサーバ装置と無線通信して、前記音声認識アルゴリズムおよび／または前記パラメータをダウンロードして前記字幕生成手段に設定するダウンロード手段を備えたことを特徴とする請求項３記載の携帯移動端末装置。
【請求項５】
テレビ放送を受信するテレビ受信手段と、前記テレビ放送中の音声情報を出力する発音手段と、前記テレビ放送中の映像情報を表示する映像表示手段と、前記発音手段に対して音声情報の出力可否を設定するモード設定手段とを備えた携帯移動端末装置でのテレビ表示方法において、
前記発音手段において音声情報出力の禁止が設定されているか否かを確認するステップと、
音声情報出力の禁止が設定されている場合に前記テレビ放送中の映像情報と前記音声情報に対応する字幕情報とを合成して字幕を表示する合成映像情報を生成し、当該合成映像情報を前記映像表示手段が表示するように制御するステップとを備えたことを特徴とするテレビ表示方法。
【請求項６】
テレビ放送を受信するテレビ受信手段と、前記受信したテレビ放送情報を蓄積するテレビ再生手段と、前記テレビ放送情報中の音声情報を出力する発音手段と、前記テレビ放送情報中の映像情報を表示する映像表示手段と、前記発音手段に対して音声情報の出力可否を設定するモード設定手段とを備えた携帯移動端末装置でのテレビ表示方法において、
前記発音手段において音声情報出力の禁止が設定されているか否かを確認するステップと、
音声情報出力の禁止が設定されている場合に前記映像情報と前記音声情報に対応する字幕情報とを合成して字幕を表示する合成映像情報を生成し、当該合成映像情報を前記映像表示手段が表示するように制御するステップとを備えたことを特徴とするテレビ表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、テレビなどの映像表示機能を保持し、音声等の出力を停止した場合でも映像に伴う音声情報の伝達が可能な携帯移動端末装置およびテレビ表示方法に関するものである。
【背景技術】
【０００２】
携帯移動端末装置、例えば携帯電話の使用者は、社会的に劇場、映画館、電車内などにおいて音声等の出力を自粛あるいは禁止することが求められている。携帯電話を含む携帯移動端末装置では、電話機としての機能の他にテレビ放送や衛星通信による各種画像・音声データの表示・出力を行う機能を有するものがあるが、上記音声出力の自粛あるいは禁止は、携帯移動端末装置の電話機としての機能のみならず、前述のようなテレビ放送や衛星通信による各種画像や音声データの表示・出力などの機能においても同様に要求されるものである。
【０００３】
以上のような社会的な要求に対応するため、特許文献１に、マナーモードにすることが必要である状態が検出されると、携帯移動端末装置が持つ機能の全てからの発音を禁止する機能（以後、マナーモード機能およびその機能が動作している状態をマナーモードと称する）を設ける携帯移動端末装置が開示されている。
【０００４】
従来技術においては、マナーモードに切り替えることのみで全ての機能における音声等の出力を停止することになるため、音声等の出力を自粛あるいは禁止することが求められているような場面で誤って音声を再生して使用者の不都合が発生するなどの間違いを防止することができ、携帯移動端末装置の利便性が向上するという効果があった。
【０００５】
【特許文献１】特開２００１−２６７９５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のように特許文献１に記載されるような電話以外の機能を搭載する携帯移動端末装置におけるマナーモードでは、電話以外の機能においても発音を禁止している。したがって、この従来技術をテレビ放送等の音声を伴った画像の視聴機能を搭載する携帯移動端末装置に適用する場合、マナーモードで視聴する際には音声が出力されないため、マナーモードであることが必要な場面においてはテレビ放送等がもたらす情報を十分に取得することができないという課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたものであり、マナーモードにおいても音声や音響によりもたらされている情報を得ることができる携帯移動端末装置およびテレビ表示方法を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る携帯移動端末装置は、テレビ放送を受信するテレビ受信手段と、テレビ放送中の音声情報を出力する発音手段と、テレビ放送中の映像情報を表示する映像表示手段と、発音手段に対して音声情報の出力可否を設定するモード設定手段と、発音手段において音声情報出力の禁止が設定されている場合、テレビ放送中の映像情報と音声情報に対応する字幕情報とを合成して字幕を表示する合成映像情報を生成し、当該合成映像情報を映像表示手段が表示するように制御する処理制御手段とを備えたものである。
【発明の効果】
【０００９】
この発明によれば、携帯移動端末装置が、テレビ放送を受信するテレビ受信手段と、テレビ放送中の音声情報を出力する発音手段と、テレビ放送中の映像情報を表示する映像表示手段と、発音手段に対して音声情報の出力可否を設定するモード設定手段と、発音手段において音声情報出力の禁止が設定されている場合、テレビ放送中の映像情報と音声情報に対応する字幕情報とを合成して字幕を表示する合成映像情報を生成し、当該合成映像情報を映像表示手段が表示するように制御する処理制御手段とを備えるように構成したので、使用者はマナーモードにおいても音声や音響によりもたらされている情報を得ることができるという効果が得られる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による携帯移動端末装置のブロック図である。図に示すように、携帯移動端末装置は、制御部１、テレビ受信・復調部（テレビ受信手段）２、電話送受信・変復調部３、音響出力部（発音手段）４、画像・映像表示部（映像表示手段）５、操作部６、信号処理部（処理制御手段）７を備える。
【００１１】
制御部１は、動作制御部（処理制御手段）１１、モード設定部（モード設定手段）１２を備え、使用者による操作部６からの入力、プログラム等にしたがって各構成要素を制御する。操作部６は、携帯移動端末装置の使用者が、電話を掛けるために電話番号を入力したり、テレビを視聴するためにテレビ機能を選択したり、あるいは携帯移動端末装置をマナーモードに設定したりするために使用するキーボード、ダイヤル等の入力装置である。
【００１２】
動作制御部１１は、例えば使用者により操作部６から電話を掛けるために電話番号を入力されると、電話送受信・変復調部３に電話機能を実現するように指示する。また、テレビを視聴するためにテレビ機能が選択されると、テレビ受信・復調部２にテレビ放送の受信、復調を開始させる。
【００１３】
モード設定部１２は、使用者により操作部６から、またはプログラム等によりマナーモードに設定されると、音響出力部４に対して音声を発しないように設定をする。また、マナーモードを解除されると音響出力部４に対して音声を発することを許可する。
【００１４】
テレビ受信・復調部２は、動作制御部１１からの制御信号に応答してテレビ放送を受信し、復調する。ここでのテレビ放送には字幕情報が多重されているとする。復調結果には映像情報、音声情報、字幕情報が含まれる。例えば、このテレビ受信・復調部２が対応するテレビシステムが地上デジタルテレビジョンである場合、テレビ受信・復調部２は映像、音声、および字幕のディジタル信号を出力する。また、この実施の形態１では、テレビ受信・復調部２が受信したテレビ放送から字幕情報を抽出し、画像・映像表示部５で表示する。この字幕情報は音声情報の内容を適切なタイミングで文字として読むことができるようにしたものである。
【００１５】
電話送受信・変復調部３は、動作制御部１１からの制御信号に応答して携帯移動端末装置の電話機能を実現する。電話送受信・変復調部３は携帯移動端末装置が接続すべきシステム、例えばＷ−ＣＤＭＡ（Wideband-Code Division Multiple Access）システム、ＰＤＣ（Personal Digital Cellular)システム等に接続し、音声のやり取り、デジタルデータのやり取り等を行う。
【００１６】
信号処理部７はテレビ受信・復調部２から出力される映像情報、音声情報、字幕情報を、音響出力部４および画像・映像表示部５で出力可能な音声信号、映像信号、字幕信号に変換する。このとき、モード設定部１２がマナーモードに設定されているか否かを確認し、設定されている場合は映像信号と字幕信号とを合成して合成映像信号を生成する。合成映像信号は一つの映像として画像・映像表示部５で表示される。
【００１７】
さらに動作制御部１１は、信号処理部７から音声、効果音、呼出し音等の音声信号を受け取ると音響出力部４に出力し、映像信号または合成映像信号を受け取ると画像・映像表示部５に出力する。音響出力部４は、音声信号を受け取ると、音声、効果音、呼出し音等を出力するスピーカ等である。画像・映像表示部５は映像信号を受け取ると、テレビの映像、待ち受け画面等を表示する液晶ディスプレー等である。
【００１８】
図２はこの発明の実施の形態１による携帯移動端末装置においてテレビを視聴する場合の制御部１の動作を説明するフローチャートである。
まず、使用者が操作部６からマナーモードに設定する操作を行った場合（ステップＳＴ１０１）、モード設定部１２は上記操作に応答して音響出力部４の発音を停止する（ステップＳＴ１０２）。続いて、使用者が操作部６からテレビ機能を選択すると、動作制御部１１はテレビ受信・復調部２を制御してテレビ放送の受信を開始させる（ステップＳＴ１０３）と共に、モード設定部１２がマナーモードに設定されているかどうかを確認する（ステップＳＴ１０４）。
【００１９】
マナーモードに設定されている場合、動作制御部１１は信号処理部７に対して映像信号と字幕信号とを合成するように指示する（ステップＳＴ１０５）。信号処理部７は上記指示にしたがって字幕情報を映像の適切な位置に挿入するように映像信号と字幕信号を合成し、合成映像信号として動作制御部１１に出力する。動作制御部１１は取得した合成映像信号を画像・映像表示部５に供給する。画像・映像表示部５は合成映像信号にしたがって映像を表示する（ステップＳＴ１０６）。一方、マナーモードに設定されていない場合は、信号処理部７は字幕情報を合成せずに映像信号、音声信号を動作制御部１１に供給し、動作制御部１１は映像信号、音声信号をそれぞれ画像・映像表示部５、音響出力部４に出力し、映像、音声を出力する（ステップＳＴ１０７）。
【００２０】
以上のように、この実施の形態１によれば、使用者がテレビ機能を選択する前にマナーモードに設定すれば、発音を自粛しなければならない、あるいは禁止される場所で発音してしまうことを防ぐことができ、かつ字幕を表示することで音声により伝えられている情報も取得できるので、使用者は電車内等で気兼ねなくテレビ視聴できるという効果が得られる。
【００２１】
なお、上記の説明では信号処理部７が映像信号と字幕信号とを合成したが、制御部１の動作制御部１１が合成するようにしてもよい。
【００２２】
実施の形態２．
図３はこの発明の実施の形態２による携帯移動端末装置のブロック図である。図１と共通する要素には同一符号を付し、その説明を省略する。
この実施の形態２は、テレビ放送に字幕情報が多重されていない場合においても本発明の目的を実現するための構成を示すものである。図３に示すように、この実施の形態２では実施の形態１に示した携帯移動端末装置に字幕生成部（字幕生成手段）８を加えた。字幕生成部８は、音声情報を認識して字幕情報に変換する音声認識アルゴリズムに従う音声認識ソフトウエアを予め保持しており、この音声認識アルゴリズムにしたがってテレビ受信・復調部２が生成した音声情報を字幕情報に変換し、信号処理部７に供給する。信号処理部７は、テレビ受信・復調部２からの映像情報と字幕生成部８からの字幕情報とを合成して合成映像信号を生成し、動作制御部１１に供給する。その他の動作については実施の形態１と同等とする。
【００２３】
以上のように、この実施の形態２によれば、音声認識アルゴリズムにしたがって音声情報を字幕情報に変換する字幕生成部８を備えるように構成したので、字幕情報が多重されていないテレビ放送を利用する場合でも字幕を表示でき、マナーモードの場合でもテレビ視聴時に音声により伝えられている情報もできるという効果が得られる。
【００２４】
なお、上記の説明では信号処理部７が映像信号と字幕信号とを合成したが、制御部１の動作制御部１１が合成するようにしてもよい。
【００２５】
実施の形態３．
図４はこの発明の実施の形態３による携帯移動端末装置のブロック図である。この実施の形態３による携帯移動端末装置は、実施の形態１の構成に加えてテレビ再生部（テレビ再生手段）９を備えたものである。図１と共通する構成要素には同一符号を付し、その説明を省略する。
【００２６】
テレビ再生部９は、テレビ受信・復調部２が受信・復調したテレビ放送中の映像情報、音声情報および字幕情報を蓄積しており、操作部６からの操作等に基づく動作制御部１１からの制御信号に応答して蓄積する情報を出力する。例えば、蓄積する映像情報、音声情報および字幕情報が地上デジタルテレビジョン放送のデータを録画したものであるとすると、映像、音声および字幕の各ディジタル信号を出力する。その他の動作については実施の形態１と同等とする。
【００２７】
図５はこの発明の実施の形態３による携帯移動端末装置において蓄積情報を再生する場合の制御部１の動作を説明するフローチャートである。
まず、使用者が操作部６からマナーモードに設定する操作を行った場合（ステップＳＴ２０１）、モード設定部１２は上記操作に応答して音響出力部４の発音を停止する（ステップＳＴ２０２）。続いて、使用者が操作部６からテレビ再生の開示指示を出すと、動作制御部１１はテレビ再生部９を制御して蓄積している映像情報、音声情報および字幕情報の出力を開始させる（ステップＳＴ２０３）と共に、モード設定部１２がマナーモードに設定されているかどうかを確認する（ステップＳＴ２０４）。
【００２８】
マナーモードに設定されている場合、動作制御部１１は信号処理部７に対して映像信号と字幕信号とを合成するように指示する（ステップＳＴ２０５）。信号処理部７は上記指示にしたがって字幕情報を映像の適切な位置に挿入するように映像信号と字幕信号を合成し、合成映像信号として動作制御部１１に出力する。動作制御部１１は取得した合成映像信号を画像・映像表示部５に供給する。画像・映像表示部５は合成映像信号にしたがって映像を表示する（ステップＳＴ２０６）。一方、マナーモードに設定されていない場合は、信号処理部７は字幕情報を合成せずに映像信号、音声信号を動作制御部１１に供給し、動作制御部１１は映像信号、音声信号をそれぞれ画像・映像表示部５、音響出力部４に出力し、映像、音声を出力する（ステップＳＴ２０７）。
【００２９】
以上のように、この実施の形態３によれば、使用者がテレビ再生指示を出す前にマナーモードに設定すれば、発音を自粛しなければならない、あるいは禁止される場所で発音してしまうことを防ぐことができ、かつ字幕を表示することで音声により伝えられている情報も取得できるので、使用者は電車内等で気兼ねなく録画情報等を視聴できるという効果が得られる。
【００３０】
なお、上記の説明では信号処理部７が映像信号と字幕信号とを合成したが、制御部１の動作制御部１１が合成するようにしてもよい。
【００３１】
実施の形態４．
図６はこの発明の実施の形態４による携帯移動端末装置の構成を示す図である。図に示すように、携帯移動端末装置の制御部１はダウンロード部（ダウンロード手段）１３を備える。この実施の形態４では、携帯移動端末装置が外部のデータサーバ（サーバ装置）２０から音声認識アルゴリズムでの処理を最適化するパラメータを取得する構成を説明する。図３と共通する構成要素には同一符合を付し、その説明を省略する。
【００３２】
電話機能を実現する電話送受信・変復調部３は、無線通信を介して電話基地局１０と接続する。電話基地局１０はインターネット等の有線通信を介してデータサーバ２０と接続する。データサーバ２０は、字幕生成部８が音声情報を認識して字幕情報に変換するための音声認識アルゴリズムに対するチャネル毎に最適なパラメータを保持する。このパラメータは、例えば音声アルゴリズムが字幕化対象とする音声の基準レベル等である。
【００３３】
字幕生成部８は、上記音声認識アルゴリズムが変更可能なパラメータを有する。パラメータは、テレビのチャネル毎に最適な値を持ち、最適な値を字幕生成部８に設定することによりテレビ視聴者により快適な字幕情報を提供できる。このパラメータは番組の種類等により常時更新されており、携帯移動端末装置においても更新する必要がある。
【００３４】
そこで、このパラメータを更新する動作について説明する。
使用者は操作部６から視聴するテレビチャネルを指定する。制御部１のダウンロード部１３は上記テレビチャネルの指定に応答して電話送受信・変復調部３に対して電話基地局１０と接続する指示を出す。電話送受信・変復調部３は上記チャネルを指定して電話基地局１０に接続する。電話基地局１０は、有線通信が可能なデータサーバ２０から指定されたチャネルに最適な音声認識アルゴリズムのパラメータを選択し、取得する。ダウンロード部１３は、電話送受信・変復調部３を介して電話基地局１０から選択されたパラメータをダウンロードする。
【００３５】
ダウンロード部１３は、ダウンロードしたパラメータを字幕生成部８に設定する。字幕生成部８は、設定されたパラメータを使用して音声認識アルゴリズムに従って音声情報を字幕情報に変換する。
【００３６】
また、ダウンロード部１３は上記以外に、携帯移動端末装置の周辺環境を常時検出するようにして環境の変化を検出したときに電話送受信・変復調部３を介して電話基地局１０に接続するようにしてもよいし、一定周期で接続するようにしてもよい。電話基地局１０に接続すると、ダウンロード部１３はデータサーバ２０から当該環境に最適なパラメータを選択してダウンロードする。ダウンロード部１３はダウンロードしたパラメータを記憶しておく。その後、使用者により操作部６から受信するチャネルの指定を受けると、ダウンロード部１３は記憶するパラメータの中から適当なパラメータを選択して字幕生成部８に設定する。
【００３７】
以上のように、この実施の形態４によれば、字幕生成部８において動作する音声認識アルゴリズムの最適なパラメータを電話送受信・変復調部３を介してデータサーバ２０からダウンロードするようにしたので、最適なパラメータの値が変更されても追従することが可能となり、使用者のテレビ視聴時に、より快適な字幕の表示を行うことができるという効果が得られる。
【００３８】
なお、データサーバ２０に最適な音声認識アルゴリズムに従う音声認識ソフトウエア自体を格納し、ダウンロード部１３が最適な音声認識ソフトウエアをダウンロードして字幕生成部８に設定するようにしてもよい。これにより、字幕生成部８で動作すべき最適な音声認識アルゴリズムが変更されても追従することが可能となり、使用者のテレビ視聴時に、より快適な字幕の表示を行うことができるという効果が得られる。
【図面の簡単な説明】
【００３９】
【図１】この発明の実施の形態１による携帯移動端末装置のブロック図である。
【図２】同実施の形態１による携帯移動端末装置の制御部の動作を説明するフローチャートである。
【図３】この発明の実施の形態２による携帯移動端末装置のブロック図である。
【図４】この発明の実施の形態３による携帯移動端末装置のブロック図である。
【図５】同実施の形態３による携帯移動端末装置の制御部の動作を説明するフローチャートである。
【図６】この発明の実施の形態４による携帯移動端末装置のブロック図である。
【符号の説明】
【００４０】
１  制御部、２  テレビ受信・復調部（テレビ受信手段）、３  電話送受信・変復調部、４  音響出力部（発音手段）、５  画像・映像表示部（映像表示手段）、６  操作部、７  信号処理部（処理制御手段）、９  テレビ再生部（テレビ再生手段）、１０  電話基地局、１１  動作制御部（処理制御手段）、１２  モード設定部（モード設定手段）、１３  ダウンロード部（ダウンロード手段）、２０  データサーバ（サーバ装置）。
【図１】
2006180230.tif 000003
【図２】
2006180230.tif 000004
【図３】
2006180230.tif 000005
【図４】
2006180230.tif 000006
【図５】
2006180230.tif 000007
【図６】
2006180230.tif 000008