(57)【要約】【課題】映像の表示レートに同期させ、入力映像データのコマに対応するタイミングで音声を出力させると共に字幕等を表示させる。【解決手段】表示部の表示制御を行うと共に、映像データが該映像データのコマ情報と共に入力され、入力された前記映像データを前記表示部に出力し、出力した前記映像データに対応する前記コマ情報を出力する表示制御部２８と、音声データが該音声データに対応する前記映像データのコマを特定する音声対応画像情報と共に入力され、前記音声データと前記音声対応画像情報とを関連付けて蓄積する音声情報蓄積部２５と、前記表示制御部からのコマ情報に基づいて、前記表示部に出力される前記映像データに対応する音声データを前記音声情報蓄積部から読み出して出力する音声・画像同調部２４とを具備したことを特徴とする。【選択図】図１
2010057096.tif 000002
【特許請求の範囲】
【請求項１】
表示部の表示制御を行うと共に、映像データが該映像データのコマ情報と共に入力され、入力された前記映像データを前記表示部に出力し、出力した前記映像データに対応する前記コマ情報を出力する表示制御部と、
音声データが該音声データに対応する前記映像データのコマを特定する音声対応画像情報と共に入力され、前記音声データと前記音声対応画像情報とを関連付けて蓄積する音声情報蓄積部と、
前記表示制御部からのコマ情報に基づいて、前記表示部に出力される前記映像データに対応する音声データを前記音声情報蓄積部から読み出して出力する音声・画像同調部と
を具備したことを特徴とする画像出力制御装置。
【請求項２】
映像データと文字データに基づく画像データとが入力され、前記映像データと前記文字データに基づく画像データとを合成して得た合成映像データを出力する合成部と、
表示部の表示制御を行うと共に、前記合成映像データが前記合成映像データのコマ情報と共に入力され、入力された前記合成映像データを前記表示部に出力し、出力した前記合成映像データに対応する前記コマ情報を出力する表示制御部と、
前記文字データが前記文字データに対応する前記映像データのコマを特定する文字対応画像情報と共に入力され、前記文字データに基づく画像データと前記文字対応画像情報とを関連付けて蓄積する文字情報蓄積部と、
前記表示制御部からのコマ情報に基づいて、前記合成部において合成される前記映像データに対応する文字データに基づく画像データを前記文字情報蓄積部から読み出して前記合成部に出力する文字画像同調部と
を具備したことを特徴とする画像出力制御装置。
【請求項３】
前記映像データのフレームレートと前記表示部の表示レートとは相互に異なることを特徴とする請求項１又は２に記載の画像出力制御装置。
【請求項４】
前記音声情報蓄積部は、前記音声データに対応する前記映像データのコマを特定する情報に代えて、前記音声データに対応する前記映像データのコマが存在するか否かを示す情報を前記音声対応画像情報として蓄積し、
前記音声・画像同調部は、前記表示制御部からのコマ情報に基づいて、前記表示部に出力される前記映像データに対応する音声データを前記音声情報蓄積部から読み出して出力することを特徴とする請求項１に記載の画像出力制御装置。
【請求項５】
前記映像データ及び音声データは、高速シリアルインタフェースを介して入力されることを特徴とする請求項１に記載の画像出力制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末の映像及び音声の提示に好適な画像出力制御装置に関する。
【背景技術】
【０００２】
近年、放送のデジタル化が進められており、地上デジタル放送、衛星デジタル放送のサービスが開始されている。更に、静止衛星からの送信信号をギャップフィラーによって再生中継することで、移動体における放送受信に適したモバイル衛星放送も行われている。
【０００３】
日本におけるこれらのデジタル放送システムは、ＡＲＩＢ（Association of Radio Industries and Business）の標準規格によって、伝送方式、符号化方式、受信機方式等の各種方式が規定されている。
【０００４】
日本の地上デジタル放送においては、ＩＳＤＢ−Ｔ方式が採用されている。ＩＳＤＢ−Ｔ方式においては、ＭＰＥＧ２規格で規定されたＴＳ（トランスポートストリーム）に、誤り訂正符号化、インターリーブ符号化、デジタル変調等の信号処理が施され、更に、ＯＦＤＭ変調されて放送信号が生成される。ＩＳＤＢ−Ｔ方式では、周波数領域ではキャリア本数１０８個のＯＦＤＭシンボルを１ブロックとし、モードに応じて１，２，４個のブロックで１セグメントを構成する。即ち、１セグメントのキャリア本数は、１０８、２１６又は４３２本である。そして、ＩＳＤＢ−Ｔ方式では、１３セグメント分の帯域で伝送を行う。
【０００５】
更に、地上デジタル放送においては、１３セグメントを用いた伝送だけでなく、中央部の１セグメントを用いた伝送が行われている。この１セグメントは、デインターリーブ処理を含む各処理がそのセグメント内のみで完結しており、１セグメントのみで受信可能な受信機を構成することができる。近年、この１セグメントの放送（以下、ワンセグ放送という）の放送信号を受信する携帯端末が普及している。例えば、携帯電話機においてワンセグ放送の受信機能を備えたものがある。
【０００６】
このような携帯電話機等はワンセグ放送信号を受信してデコード処理する受信処理部を有する。携帯電話機等においては、大画面化の要求から、液晶ディスプレイ等の表示モジュールは受信処理部等の他の機能部と別体に構成されることが多く、受信処理部等を構成するＣＰＵからの映像信号はケーブルを介して表示モジュールに供給される。また、受信処理部（ＣＰＵ）からの音声信号についても音声信号用のケーブルを介してスピーカに供給される。
【０００７】
そして、携帯端末用のＣＰＵのように比較的処理能力が小さいＣＰＵでは、表示モジュールを制御することは困難であり、一般的には表示モジュールは内蔵された表示コントローラによって表示が制御される。従って、ＣＰＵと表示モジュールとは相互に独立して動作しており、ＣＰＵから出力される映像信号のフレームレートと、表示モジュールのリフレッシュレート（表示レート）とは非同期である。
【０００８】
放送信号に含まれる音声データは、画像データのフレームレートに対応して生成されており、受信処理部によるデコード直後には音声信号と映像信号とは同期している。しかしながら、映像信号及び音声信号がケーブルによって伝送されて夫々表示モジュール又はスピーカから出力される時点では、映像信号と音声信号とは厳密には非同期となってしまう。
【０００９】
また、文字情報やワンセグ放送における字幕も、表示モジュールのリフレッシュレートとは非同期であり、対応する画像の映出タイミングとは異なるタイミングで表示されることがある。
【００１０】
なお、特許文献１においては、映像と字幕との再生データを保持し同期させて出力する技術が開示されている。しかしながら、この提案ではメモリ等の必要なハードウェア規模が大きく、携帯端末等に採用することは困難である。
【特許文献１】特開２００６−２１１６３６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、表示装置の表示レートに応じて映像出力、音声出力、字幕出力等を出力することができる画像出力制御装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一態様の画像出力制御装置は、表示部の表示制御を行うと共に、映像データが該映像データのコマ情報と共に入力され、入力された前記映像データを前記表示部に出力し、出力した前記映像データに対応する前記コマ情報を出力する表示制御部と、音声データが該音声データに対応する前記映像データのコマを特定する音声対応画像情報と共に入力され、前記音声データと前記音声対応画像情報とを関連付けて蓄積する音声情報蓄積部と、前記表示制御部からのコマ情報に基づいて、前記表示部に出力される前記映像データに対応する音声データを前記音声情報蓄積部から読み出して出力する音声・画像同調部とを具備したことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、表示装置の表示レートに応じて映像出力、音声出力、字幕出力等を出力することができるという効果を有する。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の一実施の形態に係る画像出力制御装置を示すブロック図である。また、図２は図１の画像出力制御装置が組み込まれた携帯端末の回路構成を示すブロック図である。
【００１５】
先ず、本実施の形態に係る画像出力制御装置が組み込まれる携帯端末について図２を参照して説明する。
【００１６】
図２の携帯端末は、例えば、携帯電話機を構成するものであり、ワンセグ放送等の放送信号を受信して復調し、表示部１７において放送番組を映出することができるようになっている。携帯端末は図示しない放送信号の受信部並びに受信信号を処理する映像及び音声処理部を有している。受信部によって受信された放送信号は映像及び音声処理部においてデコード処理される。ＣＰＵ１１は、映像及び音声処理部の各部を制御するためのものであり、デコード処理後の映像データ及び音声データを出力する。
【００１７】
一般的な携帯電話等の携帯端末においては、受信部並びに映像及び音声処理部はＩＣ化されている。一方、表示部１７は、ＩＣ化された受信部並びに映像及び音声処理部とは別体の表示モジュールとして構成される。一般的に、ＩＣ化された映像及び音声処理部と表示モジュールとは、フラットケーブル等で接続される。
【００１８】
本実施の形態においては、ＩＣ化された映像及び音声処理部と表示モジュールを構成する表示部１７との間は高速シリアルインタフェースを介して接続され、映像及び音声処理部と表示モジュールを構成する表示部１７との間に、画像出力制御部１３が設けられるようになっている。
【００１９】
映像及び音声処理部を構成するＣＰＵ１１の出力はＣＰＵインタフェース部１２に供給され、ＣＰＵインタフェース部１２は、ＣＰＵ１１からの出力を取り込んで画像出力制御部１３に出力する。音声出力インタフェース部１４は、画像出力制御部１３の出力をスピーカ１５に供給し、映像出力インタフェース部１６は、画像出力制御部１３からの出力を表示部１７に供給する。
【００２０】
ＣＰＵインタフェース部１２、音声出力インタフェース部１４及び映像出力インタフェース部１６は、高速シリアルインタフェースに対応する。ＣＰＵ１１からの映像及び音声データは、高速シリアル配線１１ａを介してＣＰＵインタフェース部１２に供給される。また、音声出力インタフェース部１４からの音声データは高速シリアル配線１４ａを介してスピーカ１５に供給され、映像出力インタフェース部１６からの映像データは高速シリアル配線１６ａを介して表示部１７に供給される。スピーカ１５は入力された音声データに基づく音響出力を行う。表示部１７は入力された映像データに基づく画像を映出する。
【００２１】
また、ワンセグ放送等においてはオンスクリーン表示によって字幕等の文字画像を表示するようになっており、映像及び音声処理部を制御するＣＰＵ１１からは、字幕データを含む文字データも出力される。この文字データについても、映像及び音声データと共に高速シリアル配線１１ａを介して出力される。
【００２２】
画像出力制御部１３はＣＰＵインタフェース部１２を介して取り込んだ映像データ、音声データ、文字データを、表示部１７のリフレッシュレート（表示レート）に応じて出力するようになっている。
【００２３】
本実施の形態においては、スピーカ１５にリフレッシュレートに対応した音声出力を供給すると共に、リフレッシュレートに対応した文字出力を可能にするために、ＣＰＵ１１は、映像出力と音声出力及び文字出力との対応を示す音声又は文字対応画像情報を出力する。ワンセグ放送等においては、デコード前の映像データ及び音声データにはタイムスタンプが挿入されている。このタイムスタンプの情報に基づいてデコードタイミングが決定されており、デコード直後においては、映像と音声とは同期がとれている。ＣＰＵ１１は、デコード時の情報を基に、音声データの各フレーム毎に、映像データのいずれのコマ（フレーム）に対応するかを示す音声対応画像情報を求めて出力する。また、ＣＰＵ１１は、映像データの各コマ毎にコマを特定するコマ情報を付加して出力する。
【００２４】
また、携帯端末として携帯電話に適用した場合には、映像データ無しで音声データのみが入力されることがある。この場合には、音声データに対応する映像データは存在しないので、表示部１７のリフレッシュレートに拘わらず音声データを出力する必要がある。そこで、ＣＰＵ１１は、音声対応画像情報として、映像データのコマ情報だけでなく、音声データの各フレームが対応する映像データを有しているか否かを示す対応画像有無フラグも出力する。
【００２５】
また、字幕を含む文字データについても、ＣＰＵ１１は文字データの各処理単位毎に、映像データのいずれのコマ（フレーム）に対応するかを示す文字対応画像情報を求めて出力する。
【００２６】
図１に示すように、ＣＰＵ１１からのデコード後の音声データ及び音声データに付加された音声対応画像情報は、ＣＰＵインタフェース部１２を介して、画像出力制御部１３の音声処理回路及びＤ／Ａ変換回路２１に供給される。音声処理回路及びＤ／Ａ変換回路２１は、音声データに対して適宜の音声データ処理を施した後、デジタルアナログ変換を行ってアナログの音声信号をスピーカ１５に出力することができるようになっている。また、音声処理回路及びＤ／Ａ変換回路２１は、音声データ処理後の音声データ及び音声対応画像情報を音声・画像同調回路２４に出力する。
【００２７】
ＣＰＵ１１からのデコード後の映像データ及び映像データに付加されたコマ情報は、ＣＰＵインタフェース部１２を介して、画像出力制御部１３の画像表示用メモリ２３に供給される。画像表示用メモリ２３は、入力された映像データに後述する文字画像同調回路２６からの映像データを合成して、コマ情報と共に表示制御回路２８に出力する。
【００２８】
表示制御回路２８は、画像表示用メモリ２３から各コマ（フレーム）の映像データが与えられ、表示部１７のリフレッシュレートに対応したレートで映像データを出力すると共に、出力中の映像データのコマ情報を音声・画像同調回路２４及び文字画像同調回路２６に出力するようになっている。また、表示制御回路２８は、表示部１７の同期信号等を出力して、表示部１７を駆動制御するようになっている。
【００２９】
表示部１７は映像出力インタフェース部１６を介して表示制御回路２８からの映像データ及び同期信号等が与えられ、表示レートに応じて、図示しない表示画面に映像を映出するようになっている。
【００３０】
図３は図１中の音声情報蓄積部２５に記憶される音声データ及び音声画像対応情報を示す説明図である。
【００３１】
音声・画像同調回路２４は、音声データ及び音声対応画像情報を音声情報蓄積部２５に与えて記憶させる。図３の各列は音声データの各フレームに対応している。図３に示すように、音声情報蓄積部２５には、各フレーム毎に、音声データ、対応画像有無フラグ及びコマ情報が関連付けられて記憶される。
【００３２】
音声・画像同調回路２４は、表示制御回路２８からコマ情報が与えられると、音声情報蓄積部２５に記憶された音声画像対応情報に基づいて、表示部１７において表示される映像データに対応する音声データを読み出して、スピーカ１５に出力するようになっている。即ち、音声・画像同調回路２４からは表示部１７のリフレッシュレートに応じたタイミングで音声データが出力される。スピーカ１５は音声出力インタフェース部１４を介して音声・画像同調回路２４からの音声データが与えられ、音声データに基づく音響を出力するようになっている。
【００３３】
これにより、映像データに基づく映像が表示部１７において映出されると共に、表示部１７において映出されている映像に対応し音声画像対応情報によって指定された音声データが、表示部１７のリフレッシュレートに応じてスピーカ１５から音響出力される。
【００３４】
また、ＣＰＵ１１から映像無しの音声データのみが出力される場合には、音声データの各フレームにはコマ情報は付加されておらず対応画像有無フラグのみが付加されている。音声・画像同調回路２４は、この対応画像有無フラグによって対応画像無しが示された場合には入力された音声データを出力制御することなく出力し、対応画像有無フラグによって対応画像有りが示された場合には入力された音声データを表示フレームに対応したタイミングで出力する。
【００３５】
これにより、例えば、対応画像有無フラグによって対応画像無しが示された音声データのフレームの次に対応画像有りの音声データが入力された場合に、この音声データを表示フレームに対応したタイミングで出力することができ、画像の表示前に音が出力されたり、画像の表示から遅れて音が出る等の不具合を防止することができる。
【００３６】
また、ＣＰＵ１１からの文字データ及び文字データに付加された文字対応画像情報は、ＣＰＵインタフェース部１２を介して、画像出力制御部１３の文字・字幕情報表示処理回路２２に供給される。文字・字幕情報表示処理回路２２は、入力された文字データに基づく画像データを生成して、文字対応画像情報と共に文字画像同調回路２６に出力する。
【００３７】
文字画像同調回路２６は、文字データに基づく画像データ及び文字対応画像情報を文字情報蓄積部２７に与えて記憶させる。文字情報蓄積部２７においても、図３と同様に、文字データの所定の処理単位毎に、文字データに基づく画像データ及びコマ情報が関連付けられて記憶されている。
【００３８】
文字画像同調回路２６は、表示制御回路２８からコマ情報が与えられると、文字情報蓄積部２７に記憶された文字画像対応情報に基づいて、画像表示用メモリ２３に記憶される映像データに対応する文字データに基づく画像データを読み出して、画像表示用メモリ２３に出力するようになっている。即ち、文字画像同調回路２６からは表示部１７のリフレッシュレートに応じたタイミングで文字データに基づく画像データが出力される。画像表示用メモリ２３は、ＣＰＵ１１からの映像データに文字画像同調回路２６からの文字データに基づく画像データを合成して、表示制御回路２８に出力する。
【００３９】
これにより、表示制御回路２８から出力される映像データに基づく映像は、この映像に対応する文字データに基づく画像が合成されたものとなる。
【００４０】
次に、このように構成された実施の形態の動作について図４及び図５を参照して説明する。図４及び図５は実施の形態の動作を説明するための説明図である。図４及び図５の上段の枠は表示フレームを示し、上段枠中の大きい文字は映像データに基づく画像を示し、小さい文字は字幕等の文字データに基づく画像を示している。また、図４及び図５の下段の枠はスピーカ１５から出力される音響を示している。
【００４１】
ＣＰＵ１１からワンセグ放送の映像、音声及び文字データが出力される例について説明する。ワンセグ放送のフレームレートは１５ｆｐｓ（フレーム／秒）である。これに対し、一般的な携帯電話の表示モジュールのリフレッシュレート（表示レート）は、６０フレーム／秒である。そこで、表示部１７は、ワンセグ放送の１フレーム（コマ）を４回連続して表示することで、ワンセグ放送の番組の表示を可能にしている。
【００４２】
ＣＰＵ１１からの音声データ及び音声対応画像情報は音声処理回路及びＤ／Ａ変換回路２１に供給される。ＣＰＵ１１からの文字データ及び文字対応画像情報は文字・字幕情報表示処理回路２２に供給される。また、ＣＰＵ１１からの映像データ及びコマ情報は画像表示用メモリ２３に供給される。
【００４３】
音声処理回路及びＤ／Ａ変換回路２１は、入力された音声データに所定の音声データ処理を施す。音声データ処理後の音声データは、音声・画像同調回路２４に与えられ、フレーム毎に音声対応画像情報と共に音声情報蓄積部２５に蓄積される。
【００４４】
文字・字幕情報表示処理回路２２は、入力された文字データに基づく画像データを生成して、文字画像同調回路２６に出力する。文字画像同調回路２６は、文字データに基づく画像データを、所定の処理単位毎に、対応する文字対応画像情報と共に文字情報蓄積部２７に蓄積する。
【００４５】
一方、映像データは画像表示用メモリ２３に供給される。画像表示用メモリ２３は、入力された映像データと文字画像同調回路２６からの文字データに基づく画像データとを合成し、ワンセグの番組映像に文字データに基づく画像が重畳された映像データを得る。画像表示用メモリ２３からの映像データは表示制御回路２８に出力される。
【００４６】
表示制御回路２８は、表示部１７を駆動制御するための同期信号等を出力する。表示制御回路２８は、同期信号等に同期させて画像表示用メモリ２３からの映像データを表示部１７に出力する。表示制御回路２８は表示部１７に対する映像データの出力時に、出力する映像データのコマ情報を音声・画像同調回路２４及び文字画像同調回路２６に出力する。
【００４７】
音声・画像同調回路２４は、コマ情報が入力されると、表示部１７に出力された映像データのコマ情報に対応する音声データを音声情報蓄積部２５から読み出してスピーカ１５に出力する。こうして、音声・画像同調回路２４からは、表示部１７に表示される映像に対応する音声データが、表示部１７のリフレッシュレートに同期して出力される。
【００４８】
また、文字画像同調回路２６は、コマ情報が入力されると、画像表示用メモリ２３に蓄積された映像データのコマ情報に対応する文字データに基づく画像データを文字情報蓄積部２７から読み出して画像表示用メモリ２３に出力する。こうして、文字画像同調回路２６からは、画像表示用メモリ２３に蓄積される映像データに対応する音声データが、表示部１７のリフレッシュレートに同期して出力される。
【００４９】
いま、受信したワンセグ放送の番組の連続する３コマの画像が「Ｚ」、「Ａ」、「Ｂ」であるものとする。そして、ＣＰＵ１１は、画像「Ｚ」、「Ａ」、「Ｂ」に夫々対応する字幕として、「こんにちは、」、「はじめまして．．．」、「ｚｚｚです．．」を設定するものとする。また、ＣＰＵ１１は、画像「Ｚ」、「Ａ」、「Ｂ」に夫々対応する音声として、「こんにちは、」、「はじめまして．．．」、「ｚｚｚです．．」を設定するものとする。
【００５０】
例えば、図４に示すように、表示制御回路２８によって、画像「Ｚ」は表示フレームｎ−３〜ｎに表示され、画像「Ａ」は表示フレーム０〜３に表示され、画像「Ｚ」は表示フレーム４〜７に表示されるものとする。なお、ワンセグ放送をリフレッシュレートが６０フレーム／秒の表示部１７に表示させる場合には、図４のｎは６０で、ｍは３である。
【００５１】
画像「Ｚ」が画像表示用メモリ２３に書き込まれる場合に、文字画像同調回路２６は、表示制御回路２８からのコマ情報によって、画像「Ｚ」に対応する文字データに基づく画像データ（「こんにちは、」）を画像表示用メモリ２３に出力する。また、同様に、文字画像同調回路２６は、画像「Ａ」が画像表示用メモリ２３に書き込まれる場合には、表示制御回路２８からのコマ情報によって、画像「Ａ」に対応する文字データに基づく画像データ（「はじめまして．．．」）を画像表示用メモリ２３に出力する。また、同様に、文字画像同調回路２６は、画像「Ｂ」が画像表示用メモリ２３に書き込まれる場合には、表示制御回路２８からのコマ情報によって、画像「Ｂ」に対応する文字データに基づく画像データ（「ｚｚｚです．．」）を画像表示用メモリ２３に出力する。
【００５２】
即ち、字幕等の文字データは、表示部１７のリフレッシュレートに同期し、入力映像のコマに対応したタイミングで文字画像同調回路２６から出力されることになる。表示制御回路２８から出力される映像データに基づく映像には、ＣＰＵ１１が各画像に設定した字幕が合成されている。図４に示すように、字幕等の文字は、本来意図された画像に重畳されて、表示部１７において映出される。
【００５３】
また、画像「Ｚ」が表示制御回路２８から出力される場合には、音声・画像同調回路２４は、表示制御回路２８からのコマ情報によって、画像「Ｚ」に対応する音声データ（「こんにちは、」）をスピーカ１５に出力する。また、同様に、音声・画像同調回路２４は、画像「Ａ」が表示制御回路２８から出力される場合には、表示制御回路２８からのコマ情報によって、画像「Ａ」に対応する音声データ（「はじめまして．．．」）をスピーカ１５に出力する。また、同様に、音声・画像同調回路２４は、画像「Ｂ」が画像表示用メモリ２３に表示制御回路２８から出力される場合には、表示制御回路２８からのコマ情報によって、画像「Ｂ」に対応する文字データに基づく画像データ（「ｚｚｚです．．」）をスピーカ１５に出力する。
【００５４】
即ち、音声データは、表示部１７のリフレッシュレートに同期し、入力映像のコマに対応したタイミングで音声・画像同調回路２４から出力されることになる。こうして、図４に示すように、各音声は、対応する映像が表示部１７において表示されるタイミングで、スピーカ１５から音響出力される。
【００５５】
図４の例は入力映像データのコマの切れ目で、音声及び文字の処理単位が切換る例を示している。即ち、本実施の形態では、音声及び字幕等の文字は、入力映像データのコマの切れ目に対応して出力され、音声及び文字が、対応する映像の表示タイミングとは異なるタイミングで出力されることはない。
【００５６】
また、図５の例は、入力映像データの複数のコマが同一の映像である場合において、音声及び文字の処理単位が入力映像データの所定のコマの切れ目で変化する例を示している。図５の例では、入力映像データの連続するコマの画像は、同一の画像「Ｆ」である。表示フレームｍと表示フレームｍ＋１との間がコマの切れ目である。このコマの切れ目の前のコマに対応して字幕「Ｈｅｌｌｏ．．．」が表示され、音声「Ｈｅｌｌｏ．．．」が音声出力される。また、表示フレームｍ＋１以降のコマに対応して、字幕「Ｈｏｗ  ａｒｅ  ｙｏｕ．．．」が表示され、音声「Ｈｏｗ  ａｒｅ  ｙｏｕ．．．」が音声出力される。
【００５７】
このように本実施の形態においては、音声データや文字データに付加された音声又は文字又対応画像情報を用い、表示する映像のコマに対応させて音声データ及び文字データを出力しており、表示部のリフレッシュレートに同期し、入力映像データのコマに対応したタイミングで音声を出力すると共に文字を重畳させることができる。
【００５８】
なお、上記実施の形態においては、ＣＰＵ１１から映像データの各フレーム（コマ）毎にコマ情報を出力する例について説明したが、ＣＰＵ１１からは所定のコマのタイミング情報のみを与え、表示制御回路２８の出力に基づく表示レートに応じてカウントアップするカウンタによって、画像出力制御部１３において映像のコマ情報を取得するようにしてもよい。
【００５９】
また、上記実施の形態においては、音声・画像同調回路２４及び文字画像同調回路２６の両方を設けた構成を示したが、いずれか一方のみを設けた構成であってもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施の形態に係る画像出力制御装置を示すブロック図。
【図２】図１の画像出力制御装置が組み込まれた携帯端末の回路構成を示すブロック図。
【図３】図１中の音声情報蓄積部２５に記憶される音声データ及び音声画像対応情報を示す説明図。
【図４】実施の形態の動作を説明するための説明図。
【図５】実施の形態の動作を説明するための説明図。
【符号の説明】
【００６１】
１３…画像出力制御部、２１…音声処理回路及びＤ／Ａ変換回路、２２…文字・字幕情報表示処理回路、２３…画像表示用メモリ、２４…音声・画像同調回路、２５…音声情報蓄積部、２６…文字画像同調回路、２７…文字情報蓄積部、２８…表示制御回路。
【図１】
2010057096.tif 000003
【図２】
2010057096.tif 000004
【図３】
2010057096.tif 000005
【図４】
2010057096.tif 000006
【図５】
2010057096.tif 000007