(57)【要約】【課題】音データおよび画像データを含むコンテンツデータ、および音データに応じた文字データを提供する場合に、処理負荷を軽減する。【解決手段】情報処理装置２には、コンテンツデータＤＡＶに含まれる、音データＤＡに基づいて文字データＤＣＨを生成する文字データ生成部２０９２と、コンテンツデータＤＡＶを基に、文字データＤＣＨを提供先でコンテンツデータＤＡＶと関連付けて表示させる指標となる指標データＤＩＤを生成する指標データ生成部２０９１と、文字データＤＣＨおよび指標データＤＩＤを含む字幕情報データＤＣＰ、およびコンテンツデータＤＡＶを送信する送受信部２１０とを設け、端末装置３には、それらデータを受信する送受信部３０１と、表示設定データＳ３０４、指標データＤＩＤに基づいて文字データＤＣＨを、コンテンツデータＤＡＶと同期させて出力部３０６に出力させる編集部３０３とを設ける。【選択図】図３
2005123984.tif 000002
【特許請求の範囲】
【請求項１】
画像データおよび前記画像データと同期した音データを含むコンテンツデータを提供する情報処理装置であって、
前記コンテンツデータに含まれる音データに基づいて文字データを生成する文字データ生成手段と、
前記コンテンツデータを基に、前記文字データ生成手段が生成した文字データを提供先で前記コンテンツデータと関連付けて表示させる指標となる指標データを生成する指標データ生成手段と、
前記文字データ生成手段が生成した文字データ、および前記指標データ生成手段が生成した指標データ、および前記コンテンツデータを送信する送信手段と
を有する情報処理装置。
【請求項２】
前記指標データ生成手段は、前記コンテンツデータに含まれる音データ、および予め設定された前記発音源を示す発音源データに基づいて前記音データの発音源を特定し、前記文字データ生成手段が生成した文字データが、前記特定した発音源から発音された音データであることを示す前記指標データ生成する
請求項１に記載の情報処理装置。
【請求項３】
前記指標データ生成手段は、前記コンテンツデータに含まれる前記画像データに基づいて、画像中の重要領域を示す指標となる前記指標データを生成する
請求項１に記載の情報処理装置。
【請求項４】
前記指標データ生成手段は、前記コンテンツデータに含まれる前記画像データの色データに基づいて、前記文字データの表示色データの指標となる前記指標データを生成する
請求項１に記載の情報処理装置。
【請求項５】
前記指標データ生成手段は、少なくとも、前記コンテンツデータに含まれる音データに基づいて、所定の時間毎に前記指標データを生成する
請求項１に記載の情報処理装置。
【請求項６】
画像データおよび前記画像データと同期した音データを含むコンテンツデータ、前記音データに応じた文字データ、および前記コンテンツデータと関連付けて表示させる指標となる指標データを受信する受信手段と、
前記文字データの表示に係る表示設定データ、および、前記受信手段が受信した指標データに基づいて前記文字データを、前記コンテンツデータと同期させて出力させる制御手段と
を有する情報処理装置。
【請求項７】
画像データおよび前記画像データと同期した音データを含むコンテンツデータを提供する情報処理装置に実行させるプログラムであって、
前記コンテンツデータに含まれる音データに基づいて文字データを生成する第１の手順と、
前記コンテンツデータを基に、前記第１の手順で生成した文字データを提供先で前記コンテンツデータと関連付けて表示させる指標となる指標データを生成する第２の手順と、
前記第１の手順で生成した文字データ、および前記第２の手順で生成した指標データ、および前記コンテンツデータを送信させる第３の手順と
を実行させるプログラム。
【請求項８】
前記第２の手順は、前記コンテンツデータに含まれる音データ、および予め設定された前記発音源を示す発音源データに基づいて前記音データの発音源を特定し、前記第１の手順で生成した文字データが、前記特定した発音源から発音された音データであることを示す前記指標データ生成する
請求項７に記載のプログラム。
【請求項９】
前記第２の手順は、前記コンテンツデータに含まれる前記画像データに基づいて、画像中の重要領域を示す指標となる前記指標データを生成する
請求項７に記載のプログラム。
【請求項１０】
情報処理装置に実行させるプログラムであって、
画像データおよび前記画像データと同期した音データを含むコンテンツデータ、前記音データに応じた文字データ、および前記コンテンツデータと関連付けて表示させる指標となる指標データを受信させる第１の手順と、
前記文字データの表示に係る表示設定データ、および、前記第１の手順で受信した前記指標データに基づいて前記文字データを、前記コンテンツデータと同期させて出力させる第２の手順と
を実行させるプログラム。
【請求項１１】
画像データおよび前記画像データと同期した音データを含むコンテンツデータを提供する情報処理システムの情報処理方法であって、
提供元の情報処理装置が、前記コンテンツデータに含まれる音データに基づいて文字データを生成する第１のステップと、
提供元の情報処理装置が、前記コンテンツデータを基に、前記第１のステップで生成した文字データを提供先で前記コンテンツデータと関連付けて表示させる指標となる指標データを生成する第２のステップと、
前記提供元の情報処理装置が、前記第１のステップで生成した文字データ、および前記第２のステップで生成した指標データ、および前記コンテンツデータを送信する第３のステップと、
前記提供先の情報処理装置が、前記文字データ、前記指標データ、および前記コンテンツデータを受信する第４のステップと、
前記提供先の情報処理装置が、前記文字データの表示に係る表示設定データ、および、前記第４のステップで受信した指標データに基づいて前記文字データを、前記コンテンツデータと同期させて出力させる第５のステップと
を有する情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、音データおよび画像データを含むコンテンツデータ、および音データに応じた文字データを、通信ネットワークを介して提供先の端末装置（情報処理装置）に提供する情報処理装置、プログラム、および情報処理方法に関するものである。
【背景技術】
【０００２】
従来、難聴者、高齢者、多言語利用者等のエンドユーザが、例えばネットワーク上のサーバ装置内に記憶するビデオコンテンツや音楽コンテンツを字幕付きで楽しみたい場合に、サーバ装置側で予め字幕付きコンテンツを作成し、その作成したコンテンツをネットワークを介してクライアント端末装置に送信し、クライアント端末装置はそのコンテンツを再生する方法が知られている（例えば、特許文献１参照）。
また、クライアントとしての端末装置で音声認識を行う場合には、端末装置はコンテンツデータを受信して、コンテンツデータに含まれる音データに基づいて音声認識処理を行い、字幕データを生成して表示を行う方法が知られている（例えば、特許文献２参照）。
【特許文献１】特開２００２−３７４４９４号公報
【特許文献２】特開２００３−１８４６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、例えば特許文献１に開示されている方法の場合には、ビデオコンテンツに字幕情報を合成して、新しく字幕付きのビデオコンテンツを生成する必要があり、その字幕付きビデオコンテンツを生成する時間が増大するという問題点がある。
また、字幕データを画像内にインポーズした場合には、ビデオコンテンツのデータ量が大きくなり、データ転送時間や処理速度等が増大し、画質が低下するという問題点がある。
【０００４】
また、例えば特許文献２に開示されている方法の場合には、端末装置がコンテンツデータを基に音声認識処理を行い字幕データを生成する必要があり、例えば端末装置として、演算処理能力が比較的低い携帯電話等の携帯型情報処理装置を用いた場合、音声認識処理を行うことは処理負荷が大きいので改善が望まれている。
【０００５】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、音データおよび画像データを含むコンテンツデータ、および音データに応じた文字データを提供する場合に、処理負荷を軽減することができる情報処理装置、プログラム、情報処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、本発明の第１の観点の情報処理装置は、画像データおよび前記画像データと同期した音データを含むコンテンツデータを提供する情報処理装置であって、前記コンテンツデータに含まれる音データに基づいて文字データを生成する文字データ生成手段と、前記コンテンツデータを基に、前記文字データ生成手段が生成した文字データを提供先で前記コンテンツデータと関連付けて表示させる指標となる指標データを生成する指標データ生成手段と、前記文字データ生成手段が生成した文字データ、および前記指標データ生成手段が生成した指標データ、および前記コンテンツデータを送信する送信手段とを有する。
【０００７】
本発明の第１の観点の情報処理装置によれば、文字データ生成手段では、コンテンツデータに含まれる音データに基づいて文字データを生成する。
指標データ生成手段では、前記コンテンツデータを基に、文字データ生成手段が生成した文字データを提供先でコンテンツデータと関連付けて表示させる指標となる指標データを生成する。
送信手段では、文字データ生成手段が生成した文字データ、および指標データ生成手段が生成した指標データ、およびコンテンツデータを送信する。
【０００８】
さらに、前記目的を達成するために、本発明の第２の観点の情報処理装置は、画像データおよび前記画像データと同期した音データを含むコンテンツデータ、前記音データに応じた文字データ、および前記コンテンツデータと関連付けて表示させる指標となる指標データを受信する受信手段と、前記文字データの表示に係る表示設定データ、および、前記受信手段が受信した指標データに基づいて前記文字データを、前記コンテンツデータと同期させて出力させる制御手段とを有する。
【０００９】
さらに、前記目的を達成するために、本発明の第３の観点のプログラムは、画像データおよび前記画像データと同期した音データを含むコンテンツデータを提供する情報処理装置に実行させるプログラムであって、前記コンテンツデータに含まれる音データに基づいて文字データを生成する第１の手順と、前記コンテンツデータを基に、前記第１の手順で生成した文字データを提供先で前記コンテンツデータと関連付けて表示させる指標となる指標データを生成する第２の手順と、前記第１の手順で生成した文字データ、および前記第２の手順で生成した指標データ、および前記コンテンツデータを送信させる第３の手順とを実行させる。
【００１０】
さらに、前記目的を達成するために、本発明の第４の観点のプログラムは、情報処理装置に実行させるプログラムであって、画像データおよび前記画像データと同期した音データを含むコンテンツデータ、前記音データに応じた文字データ、および前記コンテンツデータと関連付けて表示させる指標となる指標データを受信させる第１の手順と、前記文字データの表示に係る表示設定データ、および、前記第１の手順で受信した前記指標データに基づいて前記文字データを、前記コンテンツデータと同期させて出力させる第２の手順とを実行させる。
【００１１】
さらに、前記目的を達成するために、本発明の第５の観点の情報処理方法は、画像データおよび前記画像データと同期した音データを含むコンテンツデータを提供する情報処理システムの情報処理方法であって、提供元の情報処理装置が、前記コンテンツデータに含まれる音データに基づいて文字データを生成する第１のステップと、提供元の情報処理装置が、前記コンテンツデータを基に、前記第１のステップで生成した文字データを提供先で前記コンテンツデータと関連付けて表示させる指標となる指標データを生成する第２のステップと、前記提供元の情報処理装置が、前記第１のステップで生成した文字データ、および前記第２のステップで生成した指標データ、および前記コンテンツデータを送信する第３のステップと、前記提供先の情報処理装置が、前記文字データ、前記指標データ、および前記コンテンツデータを受信する第４のステップと、前記提供先の情報処理装置が、前記文字データの表示に係る表示設定データ、および、前記第４のステップで受信した指標データに基づいて前記文字データを、前記コンテンツデータと同期させて出力させる第５のステップとを有する。
【発明の効果】
【００１２】
本発明によれば、音データおよび画像データを含むコンテンツデータ、および音データに応じた文字データを提供する場合に、処理負荷を軽減することができる情報処理装置、プログラム、情報処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１３】
本発明に係る情報処理システムは、音データおよび画像データを含むコンテンツデータ（音付画像データともいう）を提供する情報処理装置が、その音データを基に音声認識処理を行い、字幕としての文字データを生成し、さらにコンテンツデータを基に文字データを提供先の情報処理装置でコンテンツデータと関連付けて表示させる指標となる指標データを生成して、コンテンツデータを通信ネットワークを介して提供先の情報処理装置に送信する。
【００１４】
提供先の情報処理装置（端末装置ともいう）では、文字データを、その文字データの表示に係る表示設定データおよび指標データに基づいて、コンテンツデータと同期して出力、詳細には表示および発音させる。以下、図面を用いて詳細に説明する。
【００１５】
図１は、本発明に係る情報処理装置を採用した情報処理システムの一実施形態を示す全体構成図である。
本実施形態に係る情報処理システム１は、例えば図１に示すように、情報処理装置（提供元の情報処理装置）２、および端末装置（提供先の情報処理装置、クライアント装置ともいう）３を有する。情報処理装置２と端末装置３は例えば通信ネットワーク４により接続されている。
【００１６】
端末装置３は、通信ネットワーク４を介して情報処理装置２とデータ通信を行う。通信ネットワーク４としては、例えば有線方式や無線方式のデータ通信路である。
本実施形態では端末装置３は、図１に示すように、携帯型端末装置（例えば携帯電話等）３１や、いわゆるパーソナルコンピュータ（ＰＣ）や、テレビジョン放送を表示可能なテレビジョン放送受信機能や通信機能を含む画像処理装置３２等の情報処理装置である。
【００１７】
情報処理装置２は、例えば、通信ネットワーク４を介して端末装置３からの要求を受けて、その要求に応じたコンテンツデータＤＡＶとしての音付画像データを通信ネットワーク４を介して要求元の端末装置３に出力することで、コンテンツデータＤＡＶを提供する。
コンテンツデータＤＡＶの配信方法は、この形態に限られるものではない。例えば予め登録された端末装置に定期的または非定期的にコンテンツデータＤＡＶを提供してもよい。
【００１８】
図２は、図１に示した情報処理装置２のハードウェア的な機能ブロック図である。
情報処理装置２は、例えば図２に示すように、送受信部２１、入力部２２、出力部２３、大容量記憶部（単に記憶部ともいう）２４、ＲＡＭ（Random Access Memory）２５、ＲＯＭ（Read Only Memory）２６、およびＣＰＵ（Central Processing Unit ）２７を有する。
例えば送受信部２１、入力部２２、出力部２３、記憶部２４、ＲＡＭ２５、ＲＯＭ２６、およびＣＰＵ２７はバスＢＳにより接続されている。
【００１９】
送受信部２１は、例えばＣＰＵ２７の制御により、通信ネットワーク４を介してデータ通信を行う。
入力部２２は、例えばユーザの操作に応じた信号Ｓ２２をＣＰＵ２７に入力する。ＣＰＵ２７は信号Ｓ２２に応じた本実施形態に係る処理を行う。例えば詳細には入力部２２は、キーボード、マウス、タッチパネル等の入力装置により構成される。
出力部２３は、ＣＰＵ２７の制御に応じた出力を行う。例えば出力部２３はディスプレイ等の表示装置や、スピーカ等の発音装置により構成され、ＣＰＵ２７の制御に応じた画像表示や発音等を行う。
【００２０】
記憶部２４は、例えば音データＤＡや画像データＤＶ等を含む複数の音付画像データＤＡＶや、プログラムＰＲＧ等を記憶し、必要に応じてＣＰＵ２７により読み出し処理や、書き込み処理が行われる。
音付画像データＤＡＶは、例えば字幕無しのコンテンツデータである。
また、記憶部２４は後述するように、音付画像データＤＡＶから抽出された音データＤＡを基に生成された文字データＤＣＨを記憶する。
【００２１】
ＣＰＵ２７は、例えば端末装置３からコンテンツデータＤＡＶに対応する文字データＤＣＨを含む字幕情報データＤＣＰの要求があった場合に、文字データＤＣＨを含む字幕情報データＤＣＰを生成し、生成した字幕情報データＤＣＰおよびコンテンツデータＤＡＶを出力してもよいし、予め字幕情報データＤＣＰを生成しておき、コンテンツデータＤＡＶと共に出力してもよい。
本実施形態では、字幕情報データＤＣＰは文字データＤＣＨおよび指標データＤＩＤを含む。
【００２２】
また、ＣＰＵ２７は、端末装置３からコンテンツデータＤＡＶに対応する字幕情報データＤＣＰの要求があった場合には、記憶部２４にそのコンテンツデータＤＡＶに対応するに字幕情報データＤＣＰが記憶されているか否かを判別し、記憶されていると判別した場合にはその字幕情報データＤＣＰを出力し、記憶されていない場合には、新たにコンテンツデータＤＡＶを基に字幕情報データＤＣＰを生成する。
【００２３】
プログラムＰＲＧは、例えば、本発明に係る機能を実現させる手順を含む。ＣＰＵ２７は、プログラムＰＲＧを実行することにより、本発明に係る機能を実現する。
【００２４】
ＲＡＭ２５は、例えばＣＰＵ２７のワークエリアとして機能する。例えばＣＰＵ２７はプログラムＰＲＧ等をＲＡＭ２５をワークエリアとして実行する。
ＲＯＭ２６は、例えば初期設定等のパラメータやプログラム等を記憶する。ＣＰＵ２７が所定の処理を行う際にそのデータが読み出される。
ＣＰＵ２７は、例えば記憶部が記憶するプログラムＰＲＧを実行し、本発明に係る機能を実現する。
【００２５】
ＣＰＵ２７は、例えば端末装置３から、記憶部２４が記憶するコンテンツデータＤＡＶに関するコンテンツ一覧情報ＤＬＩＳＴ、例えばコンテンツデータＤＡＶの一覧表示要求ＲＬＩＳＴを受信すると、その要求に応じてコンテンツデータＤＡＶの一覧を示すコンテンツ一覧情報ＤＬＩＳＴを生成し、送受信部２１を介して要求元である提供先の端末装置３に送信する。
【００２６】
端末装置３のハードウェア的な機能ブロックは、情報処理装置２と略同様であるので、端末装置３のハードウェア的な機能ブロックについては説明を省略する。
【００２７】
図３は、図１に示した情報処理システムの全体の動作を説明するための機能ブロック図である。
情報処理装置２は、例えばＣＰＵ２７がプログラムを実行することにより、画像抽出部２０１、音声抽出部２０２、画像色認識部２０３、画像位置認識部２０４、効果音認識部２０５、人物認識部２０６、翻訳部２０７、情報更新部２０８、字幕情報データ生成部２０９、および送受信部２１０の機能を実現する。送受信部２１０は本発明に係る送信手段に相当する。
【００２８】
画像抽出部２０１は、例えば記憶部２４が記憶する音データＤＡおよび画像データＤＶを含む音付画像データ（コンテンツデータ）ＤＡＶ、例えば字幕無しのコンテンツデータＤＡＶの内から画像データＤＶを抽出し、抽出した画像データＤＶを信号Ｓ２０１１として画像色認識部２０３に出力する。
また、画像抽出部２０１は、抽出した画像データＤＶを信号Ｓ２０１２として画像位置認識部２０４に出力する。
【００２９】
音声抽出部２０２は、例えば記憶部２４が記憶する、音データＤＡや、音データＤＡおよび画像データＤＶを含む音付画像データＤＡＶ、例えば字幕無しのコンテンツデータＤＡＶの内から音データＤＡを抽出し、抽出した音データＤＡを信号Ｓ２０２１として効果音認識部２０５に出力する。
また、音声抽出部２０２は、抽出した音データＤＡを信号Ｓ２０２２として人物認識部２０６に出力する。
【００３０】
画像色認識部２０３は、コンテンツデータＤＡＶに含まれる画像データＤＶの色データに基づいて、文字データＤＣＨの表示色データの指標となる指標データＤＩＤを生成する。
詳細には、例えば画像色認識部２０３は、画像抽出部２０１から出力された画像データを示す信号Ｓ２０３に基づいて、画像データの内の各画素の色データを抽出し、抽出結果を示すデータを信号Ｓ２０３として字幕情報データ生成部２０９に出力する。
【００３１】
例えば端末装置３において、音データＤＡを基に生成される文字データＤＣＨを画像データＤＶと重畳させて表示させる場合に、画像として表示される文字データＤＣＨの色と、その表示される文字データＤＣＨの周辺部の画素の色が同色や同系色の場合には、文字データＤＣＨが見づらくなる。
このため本実施形態では、画像色認識部２０３は、例えば所定時間毎に画像データＤＶを構成する画素の色データを抽出し、端末装置３で文字データＤＣＨを画像データＤＶと重畳して表示させる場合に、例えば色データを基に、その文字データＤＣＨの表示色データを、背景色と異なる色、例えば好ましくは背景色と反対色となるように設定する。
【００３２】
画像位置認識部２０４は、画像抽出部２０１から出力された画像データを示す信号Ｓ２０１２に基づいて、画像内の文字データＤＣＨの表示禁止領域を検出する。
例えば、後述する音データＤＡを基に生成される文字データＤＣＨを画像データＤＶと重畳させて表示させる場合に、画像内にテロップ等が表示されている場合に、そのテロップと文字データＤＣＨが重なってしまうと、テロップや文字データＤＣＨが見づらくなってしまう。
【００３３】
このため本実施形態では、例えば画像位置認識部２０４は、コンテンツデータＤＡＶに含まれる画像データＤＶに基づいて、画像中の文字データ表示禁止領域（重要領域）を示す指標となる指標データＤＩＤを生成する。
詳細には、画像位置認識部２０４は、画像内に字幕等の文字データＤＣＨの表示禁止領域、具体的には画像データＤＶ中からテロップや字幕等が表示されている領域を表示禁止領域（重要領域）として検出する。
画像位置認識部２０４は、画像内の表示禁止領域以外の領域を文字データの表示領域とする。
例えば端末装置３では、画像ＤＶ内に文字データＤＣＨを表示させる場合には、その表示禁止領域を示すデータを基に文字データＤＣＨの表示領域を決定し、表示領域内に文字データＤＣＨを表示させる。
【００３４】
効果音認識部２０５は、音声抽出部２０２から出力された音データＤＡを示す信号Ｓ２０２１に基づいて、その音データＤＡから効果音を抽出し、抽出結果を信号Ｓ２０５として、字幕情報データ生成部２０９や翻訳部２０７等に出力する。
また、効果音認識部２０５は、例えば高速フーリエ変換処理や、フィルタ処理、線形予測処理等の所定の処理により、特徴パターンを抽出し、予め設定されたパターンデータｆ２０５とのパターンマッチング処理を行い、効果音の発音源を特定し、その結果を示すデータを信号Ｓ２０５として出力する。
例えば、効果音認識部２０５は、予め複数の異なる発音源から発音された効果音の音パターンを含む効果音データｆ２０５と、被認識音データの音パターンとのパターンマッチング処理を行う。
【００３５】
人物認識部２０６は、音声抽出部２０２から出力された音データＤＡを示す信号Ｓ２０２２に基づいて、その音データＤＡから話者から発音された音データＤＡを抽出し、抽出結果を信号Ｓ２０６として、字幕情報データ生成部２０９や翻訳部２０７等に出力する。
また、人物認識部２０６は、例えば高速フーリエ変換処理や、フィルタ処理、線形予測処理等の所定の処理により、特徴パターンを抽出し、予め設定されたパターンデータｆ２０６とのパターンマッチング処理を行い、人物認識処理（話者認識ともいう）を行い、音データの発音源として話者を特定し、その結果を示すデータを信号Ｓ２０６として出力する。
【００３６】
翻訳部２０７は、例えば、効果音認識部２０５から出力された音データとしての信号Ｓ２０５や、人物認識部２０６から出力された音データとしての信号Ｓ２０６に基づいて言語変換処理を行い、処理結果を信号Ｓ２０７として字幕情報データ生成部２０９に出力する。
例えば、翻訳部２０７は、第１の言語から第２の言語に翻訳処理を行い、処理結果を信号Ｓ２０７として字幕情報データ生成部２０９に出力する。例えば翻訳処理としては、母国語から外国語、または外国語から母国語等の変換処理である。
【００３７】
情報更新部２０８は、例えば、画像色認識部２０３、画像位置認識部２０４、効果音認識部２０５、および人物認識部２０６等の各構成要素の最新のアルゴリズムに更新し、例えば効果音辞書や音声辞書等の最新の辞書データに更新する。例えば情報更新部２０８は、ネットワークを介して不図示の辞書データ（発音源データ等）や、本発明に係る処理を実現するアルゴリズムを提供する情報処理装置からダウンロードして最新のアルゴリズムや辞書データ等に更新する。
【００３８】
字幕情報データ生成部２０９は、画像色認識部２０３、画像位置認識部２０４、効果音認識部２０５、および人物認識部２０６からの出力信号Ｓ２０３、Ｓ２０４、Ｓ２０５、およびＳ２０６の少なくとも一に基づいて、文字データＤＣＨおよび指標データＳ２０９を生成し、送受信部２１０に出力する。
【００３９】
図４は、図３に示した情報処理装置の字幕情報データ生成部の一具体例を示す機能ブロック図である。
字幕情報データ生成部２０９は、例えば図４に示すように、指標データ生成部２０９１、文字データ生成部２０９２、および合成部２０９３を有する。指標データ生成部２０９１は本発明に係る指標データ生成手段に相当し、文字データ生成部２０９２は本発明に係る文字データ生成手段に相当する。
【００４０】
指標データ生成部２０９１は、コンテンツデータＤＡＶを基に、文字データ生成部２０９２が生成した文字データを提供先で前記コンテンツデータと関連付けて表示させる指標となる指標データＳ２０９１を生成する。
【００４１】
詳細には、指標データ生成部２０９１は、画像色認識部２０３から出力された信号Ｓ２０３を基に、文字データＤＣＨの表示色データの指標となる指標データＤＩＤを生成する。
【００４２】
また、指標データ生成部２０９１は、画像位置認識部２０４から出力された信号Ｓ２０４を基に、画像中の表示禁止領域（重要領域）を示す指標となる指標データＤＩＤを生成する。
【００４３】
また、指標データ生成部２０９１は、コンテンツデータＤＡＶに含まれる音データＤＡ、および予め設定された発音源を示す発音源データに基づいて音データの発音源を特定し、文字データ生成部２０９２が生成した文字データＤＣＨが、特定した発音源から発音された音データであることを示す指標データＤＩＤを生成する。
【００４４】
詳細には、例えば指標データ生成部２０９１は、効果音認識部２０５から出力された信号Ｓ２０５、および文字データ生成部２０９２からの文字データＤＣＨを示す信号Ｓ２０９２０に基づいて、文字データ生成部２０９２が生成した文字データＤＣＨが、効果音認識部２０５が特定した発音源から発音された音データであることを示す指標データをＤＩＤ生成する。
【００４５】
また、指標データ生成部２０９１は、人物認識部２０６から出力された信号Ｓ２０６、および文字データ生成部２０９２からの文字データＤＣＨを示す信号Ｓ２０９２０に基づいて、文字データ生成部２０９２が生成した文字データＤＣＨが、人物認識部２０６が特定した発音源（話者）から発音された音データであることを示す指標データＤＩＤを生成する。
【００４６】
文字データ生成部２０９２は、コンテンツデータＤＡＶに含まれる音データＤＡに基づいて文字データＤＣＨを生成し、信号Ｓ２０９２として出力する。
詳細には、文字データ生成部２０９２は、効果音認識部２０５から出力された信号Ｓ２０５、および人物認識部２０６から出力された信号Ｓ２０６に基づいて文字データＤＣＨを生成し、信号Ｓ２０９２および信号Ｓ２０９２０として出力する。
また、文字データ生成部２０９２は、文字データＤＣＨを、翻訳部２０７から出力された信号Ｓ２０７に基づいて、必要に応じて第１の言語から第２の言語に変換して出力する。
【００４７】
合成部２０９３は、指標データ生成部２０９１から出力された指標データＤＩＤを示す信号Ｓ２０９１、および文字データ生成部２０９２が生成した文字データＤＣＨを示す信号Ｓ２０９２に基づいて、指標データＤＩＤおよび文字データＤＣＨを関連付ける合成処理を行い、字幕情報データＤＣＰを生成し、信号Ｓ２０９として出力する。
【００４８】
送受信部２１０は、通信ネットワーク４を介して、端末装置３とデータ通信を行う。
具体的には、例えば送受信部２１０は、コンテンツデータＤＡＶ、および字幕情報データ生成部２０９が生成した字幕情報データＤＣＰ、具体的には、文字データＤＣＨ、およびコンテンツデータと文字データとを関連付ける指標データＤＩＤを送信する。
【００４９】
また、送受信部２１０は、通信ネットワーク４を介して、端末装置３からコンテンツデータの要求を示す信号や、コンテンツデータの一覧要求を示す信号ＲＬＩＳＴを受信する。例えばＣＰＵ２７は、送受信部２１０で信号ＲＬＩＳＴを受信した場合には、コンテンツの一覧を示すコンテンツ一覧情報ＤＬＩＳＴを送受信部２１０に出力させる。
【００５０】
図５は、図１に示した情報処理装置が出力するデータを説明するための図である。図５（ａ）は、音データおよび画像データを含む音付画像データ（コンテンツデータ）の一具体例を示す図である。図５（ｂ）は、文字表示設定データの一具体例を示す図である。
【００５１】
コンテンツデータＤＡＶは、例えば図５（ａ）に示すように、時間データＤＴ、画像データＤＶ、および音データＤＡが関連付けられている。つまり、音データＤＡは画像データＤＶと同期している。
時間データＤＴは、例えば画像データＤＶと音データを同期させるためのデータである。また、時間データＤＴは文字データＤＣＨをコンテンツデータＤＡＶと同期させて表示させる際に参照される。
【００５２】
字幕情報データＤＣＰは、例えば図５（ｂ）に示すように、指標データＤＩＤ、および文字データＤＣＨを有する。
指標データＤＩＤは、コンテンツデータＤＡＶを基に、文字データＤＣＨを提供先の端末装置でコンテンツデータＤＡＶと関連付けて表示させる指標となるデータである。
【００５３】
指標データＤＩＤは、例えば図５（ｂ）に示すように、時間データＤＴ、画像色データＤＣＲ、画像位置データＤＸＹ、人物データＤＳＰ、および効果音データＤＦ等を有する。
【００５４】
時間データＤＴは、例えばコンテンツデータと文字データＤＣＨを同期させるための時間データであり、例えばコンテンツデータの基準となる時間からの経過時間を示す。例えば指標データ生成部２０９１および文字データ生成部２０９２は、指標データＤＩＤおよび文字データＤＣＨを所定の時間毎に生成し、同期の指標として時間データＤＴを設定する。
【００５５】
画像色データＤＣＲは、コンテンツデータＤＡＶに含まれる画像データＤＶの色データに基づいて生成された、文字データＤＣＨの表示色データの指標となる指標データである。画像色データＤＣＲは、上述したように画像色認識部２０３および指標データ生成部２０９１により生成される。例えば画像色データＤＣＲは、図５（ｂ）に示すように、画像中の各画素の色データ、ＦＦ，００，７７，…等を有する。
【００５６】
画像位置データＤＸＹは、コンテンツデータＤＡＶに含まれる画像データＤＶに基づいて生成された、画像中の重要領域を示す指標となる指標データである。画像位置データＤＸＹは、上述したように画像位置認識部２０４および指標データ生成部２０９１により生成される。
画像位置データＤＸＹは、例えば画像中のテロップ等の重要領域を示す位置データである。本実施形態では例えばデータ量を少なくするために、重要領域を矩形領域として設定し、画像位置データＤＸＹを矩形領域の左上点と右下点のデータとして設定する。例えば画像位置データＤＸＹとして図５（ｂ）に示すように（１０，１５０）（１００，１６０）が設定される。
【００５７】
人物データＤＳＰは、文字データＤＣＨが、コンテンツデータＤＡＶに含まれる音データＤＡ、および予め設定された発音源を示す発音源データｆ２０６に基づいて特定された発音源から発音された音データであることを示す指標データである。人物データＤＳＰは、上述したように人物認識部２０６および文字データ生成部２０９２により生成される。
例えば、人物データＤＳＰは、図５（ｂ）に示すように、特定の人物（話者）毎に異なるデータが設定される。
【００５８】
効果音データＤＦは、文字データＤＣＨが、コンテンツデータＤＡＶに含まれる音データＤＡ、および予め設定された発音源を示す発音源データｆ２０５に基づいて特定された発音源から発音された音データであることを示す指標データである。効果音データＤＦは、上述したように効果音認識部２０５および文字データ生成部２０９２により生成される。
例えば、効果音データＤＦは、音データＤＡが犬の鳴き声で、発音源が犬であると特定された場合には、その発音源を示すデータが設定される。
【００５９】
文字データＤＣＨは、コンテンツデータＤＡＶに含まれる音データＤＡに基づいて生成された文字データである。文字データＤＣＨは、上述したように、音声抽出部２０２、効果音認識部２０５、人物認識部２０６、および文字データ生成部２０９２により生成される。
文字データＤＣＨは、例えば図５（ｂ）に示すように、おはよう、ワンワン（犬の鳴き声）、いい天気だ等が、指標データＤＩＤと関連付けられて設定される。
【００６０】
端末装置３のハードウェア的な機能ブロックの具体例は、図２に示したハードウェア的な機能ブロックと略同様であるので、説明を省略する。
端末装置３は、例えば図４に示すように、送受信部３０１、同期部３０２、編集部３０３、編集設定部３０４、入力部３０５、および出力部３０６を有する。
【００６１】
送受信部３０１は、例えば編集部３０３が不図示のプログラムを実行することにより制御され、通信ネットワーク４を介して情報処理装置とデータ通信を行う。
例えば送受信部３０１は、通信ネットワーク４を介して、コンテンツ一覧要求ＲＬＩＳＴを送信し、コンテンツ一覧情報ＤＬＩＳＴや、字幕情報データＤＣＰ、コンテンツデータＤＡＶ等を受信する。
【００６２】
また、送受信部３０１は、画像データＤＶおよび画像データＤＶと同期した音データＤＡを含むコンテンツデータＤＡＶ、音データＤＡに応じた文字データＤＣＨ、およびコンテンツデータＤＡＶと関連付けて表示させる指標となる指標データＤＩＤを受信する。
【００６３】
同期部３０２は、送受信部３０１から出力されたコンテンツデータＤＡＶと字幕情報データＤＣＰの同期処理を行い、編集部３０３に出力する。例えば、コンテンツデータＤＡＶと字幕情報データＤＣＰに含まれる時間データＤＴに基づいて同期処理を行う。
【００６４】
編集部３０３は、送受信部３０１を介して、情報処理装置２にコンテンツ情報の要求を示すデータＲＬＩＳＴを送信する。
また、編集部３０３は、情報処理装置２からのコンテンツ一覧を示すコンテンツ一覧情報ＤＬＩＳＴを出力部３０６に一覧表示させる。
【００６５】
また、編集部３０３は、例えば入力部３０５から、ユーザの操作により入力されたコンテンツデータを示すデータに応じて、情報処理装置２にコンテンツデータＤＡＶおよび字幕情報データＤＣＰの要求を示すデータを送受信部３０１を介して送信する。
また、編集部３０３は、文字データＤＣＨの表示に係る表示設定データ、および、送受信部３０１が受信した指標データＤＩＤに基づいて文字データＤＣＨを、コンテンツデータＤＡＶと同期させて出力部３０６に出力させる。
例えば編集部３０３は、ＣＰＵ（Central Processing Unit ）により構成され、不図示の本発明に係る機能を含むプログラムを実行することにより、上述の受信処理、および出力処理を行わせる。
【００６６】
編集設定部３０４は、文字データＤＣＨの表示に係る表示設定データを生成し、信号Ｓ３０４として編集部３０３に出力する。
例えば、表示設定データは、例えば出力部３０６の画面サイズや、発色情報、解像度等の出力部３０６の特性を示すデータや、文字データＤＣＨを、画像内に重畳して表示させるか、画像データと文字データＤＣＨを別々に表示させるか等の設定データである。
【００６７】
入力部３０５は、例えばユーザの操作に応じてコンテンツデータＤＡＶや、文字データの表示に係る設定の変更等に応じたデータを編集部３０３に出力する。編集部３０３はそのデータに応じて表示設定データ等を変更する。
また、入力部３０５は、例えばコンテンツの一覧の内から選択された、所望のコンテンツを示すデータを編集部３０３に出力する。編集部３０３は、そのデータに応じてコンテンツ要求を送受信部３０１から出力する。
例えば、入力部３０５は、キーボードやマウス等の入力装置である。
【００６８】
出力部３０６は、例えば、編集部３０３の制御に応じて、例えばコンテンツデータＤＡＶや文字データＤＣＨを同期して表示し、音データＤＡに応じて発音を行う。例えば出力部３０６は、液晶表示装置等のディスプレイ装置やスピーカ等の発音装置で構成される。
【００６９】
図６は、図３に示した端末装置の出力部の動作を説明するための図である。
出力部３０６は、画像出力として、例えばコンテンツビューア４０１、および字幕ビューア４０２を有する。
コンテンツビューア４０１は、コンテンツデータＤＡＶの画像データＤＶに基づいて、例えば図６に示すように、ディスプレイ装置の所定の画面内に画像表示を行う。また、コンテンツビューア４０１は不図示のスピーカ等からコンテンツデータに含まれる音データに基づいて発音を行う。
【００７０】
字幕ビューア４０２は、字幕情報データＤＣＰに基づいて、例えば図６に示すように、ディスプレイ装置の所定の画面内に画像表示を行う。この字幕情報データの表示は、例えば編集設定部３０４による設定に応じて、例えばコンテンツビューア４０１内に表示することが可能である。
また、図６に示すように字幕ビューア４０２は、指標データＤＩＤの人物データＤＳＰを示すデータと文字データＤＣＨを関連付けて、コンテンツデータＤＡＶと同期して表示する。
本実施形態では、例えば図６に示すように、字幕ビューア４０２は、発音源である人物（話者）「たろう」が「おはよう！」と発音したことを示す画像「たろう＞おはよう！」を表示する。
【００７１】
図７は、図３に示した端末装置の編集部および出力部の動作を説明するための図である。
編集部３０３は、表示設定データＳ３０４、コンテンツデータＤＡＶ、および字幕情報データＤＣＰに基づいて、出力部３０６に、例えば図７（ａ）に示すように、画像ＶＡ１内の所定の領域ＶＧ１に、文字データＤＣＨおよび人物データＤＳＰを表示する。
この際、編集部３０３は、画像色データＤＣＲ、および表示設定データＳ３０４に基づいて、文字データＤＣＨの表示色データを設定する。好ましくは編集部３０３は、表示色データとして、例えば周辺部の色と反対色を設定する。
【００７２】
編集部３０３は、例えば図７（ｂ）に示すように、画像ＶＡ２内にテロップが表示される画像を出力部３０６に出力させる場合には、画像位置データＤＸＹに基づいて、画像内で、画像位置データＤＸＹで指定される領域以外のＶＧ２領域に、文字データＤＣＨを表示させる。また、図７（ｃ）に示すように、テロップが消えた画像ＶＡ３になった場合には、予め設定された元の表示領域ＶＧ３に文字データＤＣＨを表示させる。
【００７３】
図８は、図２に示した情報処理システムの情報処理装置の動作を説明するためのフローチャートである。図８を参照しながら、情報処理装置の動作を、ＣＰＵ２７の動作を中心に説明する。
【００７４】
ＣＰＵ２７は、例えば送受信部２１０で、通信ネットワーク４を介して端末装置３から要求を受信すると（ＳＴ１）、その要求がコンテンツ情報の一覧を要求するデータＲＬＩＳＴの場合には（ＳＴ２）、記憶部２４に記憶するコンテンツデータＤＡＶの一覧を示すコンテンツ一覧情報ＤＬＩＳＴを生成して、送受信部２１０に送信させる（ＳＴ３）。
【００７５】
一方、ＣＰＵ２９は、送受信部２１０で受信した要求がコンテンツ要求の場合には、要求されたコンテンツデータＤＡＶに対応する字幕情報データＤＣＰが、記憶部２４に記憶しているか否かを判別し（ＳＴ４）、記憶している場合には、ステップＳＴ１２の処理に進み、コンテンツデータＤＡＶ、および字幕情報データＤＣＰを、送受信部２１０に要求元の端末装置３に送信させる。
【００７６】
一方、ステップＳＴ４において、ＣＰＵ２９は、要求されたコンテンツデータＤＡＶに対応する字幕情報データＤＣＰが、記憶部２４に記憶していないと判別した場合には、字幕情報データＤＣＰを生成する。
【００７７】
以下字幕情報データＤＣＰの生成処理を説明する。
ステップＳＴ５において、コンテンツデータＤＡＶから音抽出処理を行う場合には、後述する音処理を行う（ＳＴ６）。
詳細には、音処理としては、ステップＳＴ６１において、音声抽出部２０２は、字幕無しのコンテンツデータＤＡＶの内から音データＤＡを抽出し、抽出した音データＤＡを信号Ｓ２０２１として効果音認識部２０５、および信号２０２２として人物認識部２０６に出力する（ＳＴ６１）。
【００７８】
ステップＳＴ６２において、効果音認識部２０５は、音声抽出部２０２から出力された音データＤＡを示す信号Ｓ２０２１に基づいて、その音データＤＡから効果音を抽出し、抽出結果を信号Ｓ２０５として、字幕情報データ生成部２０９や翻訳部２０７等に出力する。
【００７９】
ステップＳＴ６３において、人物認識部２０６は、音声抽出部２０２から出力された音データＤＡを示す信号Ｓ２０２２に基づいて、その音データＤＡから話者から発音された音データＤＡを抽出し、抽出結果を信号Ｓ２０６として、字幕情報データ生成部２０９や翻訳部２０７等に出力する。
【００８０】
ステップＳＴ６４において、翻訳部２０７は、必要に応じて信号Ｓ２０５、信号Ｓ２０６に基づいて言語変換処理を行い、処理結果を信号Ｓ２０７として字幕情報データ生成部２０９に出力する。
【００８１】
ステップＳＴ６５において、文字データ生成部２０９２は、コンテンツデータＤＡＶに含まれる音データＤＡに基づいて文字データＤＣＨを生成し、信号Ｓ２０９２として出力する。
詳細には、文字データ生成部２０９２は、効果音認識部２０５から出力された信号Ｓ２０５、および人物認識部２０６から出力された信号Ｓ２０６に基づいて文字データＤＣＨを生成し、信号Ｓ２０９２および信号Ｓ２０９２０として出力する。
ステップＳＴ６１〜ＳＴ６３の処理の順番は、上述した順番でなくともよい。任意の順番で実行してもよい。
ステップＳＴ６１〜ＳＴ６５の処理は本発明に係る第１の手順および第１のステップに相当する。
【００８２】
ステップＳＴ７において、コンテンツデータＤＡＶから画像抽出処理を行う場合には、画像抽出部２０１は、コンテンツデータＤＡＶから画像データＤＶを抽出し、抽出した画像データＤＶを信号Ｓ２０１１として画像色認識部２０３、および信号Ｓ２０１２として画像位置認識部２０４に出力する（ＳＴ８）。
【００８３】
ステップＳＴ９において、画像色認識部２０３は、コンテンツデータＤＡＶに含まれる画像データＤＶの色データに基づいて、文字データＤＣＨの表示色データの指標となる指標データＤＩＤを生成する。
詳細には、例えば画像色認識部２０３は、画像抽出部２０１から出力された画像データを示す信号Ｓ２０３に基づいて、画像データの内の各画素の色データを抽出し、抽出結果を示すデータを信号Ｓ２０３として字幕情報データ生成部２０９に出力する。
【００８４】
ステップＳＴ１０において、画像位置認識部２０４は、コンテンツデータＤＡＶに含まれる画像データＤＶに基づいて、画像中に字幕等の文字データＤＣＨの表示禁止領域、具体的には画像データＤＶ中からテロップや字幕等が表示されている領域を、表示禁止領域（重要領域）として検出する。
【００８５】
ステップＳＴ１１において、字幕情報データ生成部２０９の指標データ生成部２９０１は、コンテンツデータＤＡＶを基に、文字データ生成部２０９２が生成した文字データを提供先で前記コンテンツデータと関連付けて表示させる指標となる指標データＳ２０９１を生成する。
詳細には、指標データ生成部２０９１は、画像色認識部２０３から出力された信号Ｓ２０３を基に、文字データＤＣＨの表示色データの指標となる指標データＤＩＤを生成する。
【００８６】
また、指標データ生成部２０９１は、画像位置認識部２０４から出力された信号Ｓ２０４を基に、画像中の重要領域を示す指標となる指標データＤＩＤを生成する。
【００８７】
また、指標データ生成部２０９１は、コンテンツデータＤＡＶに含まれる音データＤＡ、および予め設定された発音源を示す発音源データに基づいて音データの発音源を特定し、文字データ生成部２０９２が生成した文字データＤＣＨが、特定した発音源から発音された音データであることを示す指標データＤＩＤを生成する。
【００８８】
詳細には、例えば指標データ生成部２０９１は、効果音認識部２０５から出力された信号Ｓ２０５、および文字データ生成部２０９２からの文字データＤＣＨを示す信号Ｓ２０９２０に基づいて、文字データ生成部２０９２が生成した文字データＤＣＨが、効果音認識部２０５が特定した発音源から発音された音データであることを示す指標データをＤＩＤ生成する。
【００８９】
また、指標データ生成部２０９１は、人物認識部２０６から出力された信号Ｓ２０６、および文字データ生成部２０９２からの文字データＤＣＨを示す信号Ｓ２０９２０に基づいて、文字データ生成部２０９２が生成した文字データＤＣＨが、人物認識部２０６が特定した発音源（話者）から発音された音データであることを示す指標データＤＩＤを生成する。
【００９０】
合成部２０９３は、指標データ生成部２０９１から出力された指標データＤＩＤを示す信号Ｓ２０９１、および文字データ生成部２０９２が生成した文字データＤＣＨを示す信号Ｓ２０９２に基づいて、指標データＤＩＤおよび文字データＤＣＨを関連付ける合成処理を行い、字幕情報データＤＣＰを生成し、信号Ｓ２０９として出力する。
また、字幕情報デーおタ生成部２０９は、生成した字幕情報データＤＣＰを記憶部２４に記憶する。
【００９１】
ステップＳＴ１２において、文字データＤＣＨおよび指標データＤＩＤを含む字幕情報データＤＣＰ、およびコンテンツデータＤＡＶを送受信部２１０に、要求元の端末装置３に通信ネットワーク４を介して送信させる。
【００９２】
図９は、図２に示した情報処理システムの端末装置の動作を説明するためのフローチャートである。図９を参照しながら、端末装置の動作を、編集部３０３の動作を中心に説明する。
【００９３】
ステップＳＴ２０１において、編集部３０３は、画像データＤＶおよび画像データＤＶと同期した音データＤＡを含むコンテンツデータＤＡＶ、音データＤＡに応じた文字データＤＣＨ、およびコンテンツデータＤＡＶと関連付けて表示させる指標となる指標データＤＩＤを送受信部３０１で受信する。
【００９４】
ステップＳＴ２０２において、編集設定部３０４は、文字データＤＣＨの表示に係る表示設定データを生成し、信号Ｓ３０４として出力する。
ステップＳＴ２０３において、同期部３０２は、送受信部３０１から出力されたコンテンツデータＤＡＶと字幕情報データＤＣＰの同期処理を行い、詳細には時間データＤＴに基づいて同期処理を行い、編集部３０３に出力する。
【００９５】
ステップＳＴ２０４において、編集部３０３では、表示設定データＳ３０４、および、送受信部３０１が受信した指標データＤＩＤに基づいて文字データＤＣＨを、コンテンツデータＤＡＶと同期させて、出力部３０６に出力させる。
この際、編集部３０３では、上述したように入力部３０５から入力された表示設定変更データに基づいて、文字データの表示領域や、表示色、文字の大きさ等を変更可能する。
【００９６】
以上、説明したように、情報処理装置には、画像データＤＶおよび画像データＤＶと同期した音データＤＡを含むコンテンツデータＤＡＶに含まれる、音データＤＡに基づいて文字データＤＣＨを生成する文字データ生成部２０９２、コンテンツデータＤＡＶを基に、文字データ生成部２０９２が生成した文字データＤＣＨを提供先の端末装置でコンテンツデータＤＡＶと関連付けて表示させる指標となる指標データＤＩＤを生成する指標データ生成部２０９１と、文字データ生成部２０９２が生成した文字データＤＣＨ、および指標データ生成部２０９１が生成した指標データＤＩＤ、およびコンテンツデータＤＡＶを送信する送受信部２１０とを設け、提供先の端末装置３では、コンテンツデータＤＡＶ、文字データＤＣＨおよび指標データＤＩＤを含む字幕情報データＤＣＰを受信する送受信部３０１と、表示設定データＳ３０４、および、送受信部３０１が受信した指標データＤＩＤに基づいて文字データＤＣＨを、コンテンツデータＤＡＶと同期させて出力部３０６に出力させる編集部３０３とを設けたので、端末装置３の音声処理を行うことがなく、処理負担を軽減することができる。
【００９７】
また、情報処理装置２が、文字データを提供先でコンテンツデータと関連付けて表示させる指標となる指標データを生成して、文字データＤＣＨとコンテンツデータＤＡＶとを関連付けて送信し、提供先の端末装置では指標データに基づいて、コンテンツデータと文字データを表示するので、確実に同期してコンテンツデータと文字データとを表示できる。
【００９８】
また、指標データ生成部２０９１は、音データＤＡ、および予め設定された発音源を示す発音源データに基づいて音データの発音源を特定し、文字データ生成手段が生成した文字データが、特定した発音源から発音された音データであることを示す指標データＤＩＤ、例えば人物データＤＳＰや効果音データＤＦを生成し、編集部３０３では、その指標データＤＩＤに基づいて、文字データが発音源から発音された音データであることを示す表示を行うので、例えば誰がその文字データを話しているのかを、確実に出力部３０６に表示を行わせることができる。
【００９９】
また、指標データ生成部２０９１は、画像データＤＶに基づいて、画像中の重要領域を示す指標となる指標データＤＩＤ、具体的には画像位置データＤＸＹを生成し、編集部３０３では、その画像位置データＤＸＹに基づいて、その重要領域を除く領域に文字データを設定させることで、例えばテロップ等の重要な情報に、文字データＤＣＨを重なることなく出力部３０６に表示を行わせることができる。
【０１００】
指標データ生成部２０９１は、コンテンツデータＤＡＶに含まれる画像データＤＶの色データに基づいて、文字データＤＣＨの表示色データの指標となる指標データＤＩＤ、具体的には画像色データＤＣＲを生成し、編集部３０３では、その画像色データＤＣＲに基づいて、その色とは異なる表示色で、文字データＤＣＨを出力部３０６に表示させることができ、ユーザにとって文字データＤＣＨの表示が見やすい。
【０１０１】
また、指標データ生成部２０９１は、コンテンツデータＤＡＶに含まれる音データＤＡや画像データＤＶに基づいて、所定の時間毎に指標データＤＩＤを生成するので、例えば、各構成要素、具体的には画像抽出部２０１、音声抽出部２０２、画像色認識部２０３、画像位置認識部２０４、効果音認識部２０５、人物認識部２０６、翻訳部２０７、情報更新部２０８、および字幕情報データ生成部２０９それぞれの機能を、異なる情報処理装置それぞれで分散処理を行わせた場合であっても、それぞれの処理結果を簡単に同期をとって、字幕情報データを生成することができる。
【０１０２】
また、情報処理装置２で音声認識を行い、コンテンツデータＤＡＶと、別に字幕情報データＤＣＰを生成することで、クライアント側の端末装置３では通常の再生機器に加えて、上述した機能を有する字幕ビューアを設けるだけで、難聴者、高齢者、多言語利用者等のエンドユーザが携帯電話などの演算装置が非力なモバイル機器においても、ネットワーク上の情報処理装置２に記憶するすべてのコンテンツデータを母国語の字幕付（文字データ表示）で視聴できる。
【０１０３】
また、文字データの位置や表示色、表示言語、表示タイミングなどをユーザの好みで変更できるため、使い方によってはカラオケや他言語学習にも使えるようになる。
また、コンテンツデータそのものを変更しないので、コンテンツデータの画質の劣化がない。
【０１０４】
また、本発明に係る機能を搭載した端末装置でネットワーク上のサーバ内にあるコンテンツを、画質を劣化させずに字幕付コンテンツとして楽しむことができる。
【０１０５】
なお、本発明は本実施形態に限られるものではなく、任意好適な改変が可能である。
例えば、字幕情報データは、上述した形態に限られるものではない。
また、本実施形態に係る処理の順番は、上述した形態に限られるものではない。
また、コンテンツデータとして、音データＤＡのみの場合であってもよい。
【図面の簡単な説明】
【０１０６】
【図１】本発明に係る情報処理装置を採用した情報処理システムの一実施形態を示す全体構成図である。
【図２】図１に示した情報処理装置のハードウェア的な機能ブロック図である。
【図３】図１に示した情報処理システムの全体の動作を説明するための機能ブロック図である。
【図４】図３に示した情報処理装置の字幕情報データ生成部の一具体例を示す機能ブロック図である。
【図５】図１に示した情報処理装置が出力するデータを説明するための図である。（ａ）は、音データおよび画像データを含む音付画像データ（コンテンツデータ）の一具体例を示す図である。（ｂ）は、文字表示設定データの一具体例を示す図である。
【図６】図３に示した端末装置の動作を説明するための図である。
【図７】図３に示した端末装置の編集部および出力部の動作を説明するための図である。
【図８】図２に示した情報処理システムの情報処理装置の動作を説明するためのフローチャートである。
【図９】図２に示した情報処理システムの端末装置の動作を説明するためのフローチャートである。
【符号の説明】
【０１０７】
１…情報処理システム、２…情報処理装置、３…端末装置、４…通信ネットワーク、２１…送受信部、２２…入力部、２３…出力部、２４…記憶部、２０１…画像抽出部、２０２…音声抽出部、２０３…画像色認識部、２０３…画像色認識部、２０４…画像位置認識部、２０５…効果音認識部、２０６…人物認識部、２０７…翻訳部、２０８…情報更新部、２０９…字幕情報データ生成部、２１０…送受信部、３０１…送受信部、３０２…同期部、３０５…入力部、３０６…出力部、４０１…コンテンツビューア、４０２…字幕ビューア、２０９１…指標データ生成部、２０９２…文字データ生成部、ＢＳ…バス、ＤＡ…音データ、ＤＣ…コンテンツデータ、ＤＣＨ…文字データ、ＤＶ…画像データ、ＤＶＡ…音付画像データ、ＰＲＧ…プログラム。
【図１】
2005123984.tif 000003
【図２】
2005123984.tif 000004
【図３】
2005123984.tif 000005
【図４】
2005123984.tif 000006
【図５】
2005123984.tif 000007
【図６】
2005123984.tif 000008
【図７】
2005123984.tif 000009
【図８】
2005123984.tif 000010
【図９】
2005123984.tif 000011