(57)【要約】【課題】表示部に表示される１または複数のチャネルの映像の表示状態に応じた態様で字幕を生成することができる字幕生成装置を提供する。【解決手段】字幕生成装置は、映像取得部（要約字幕生成部４１〜４ｎ）と、字幕要約部４０３とを備える。映像取得部は映像を取得する。字幕要約部４０３は、表示部５に表示される映像の数、または表示部５に表示される映像の大きさを示す表示映像サイズに応じて、映像に関連するテキストデータを要約した要約字幕を生成する。【選択図】図１
2019169928.tif 000002
【特許請求の範囲】
【請求項１】
映像を取得する映像取得部と、
表示部に表示される映像の数、または前記表示部に表示される映像の大きさを示す表示映像サイズに応じて、映像に関連するテキストデータを要約した要約字幕を生成する字幕要約部と、
を備える字幕生成装置。
【請求項２】
前記映像が撮影された位置を示す位置情報を取得する位置取得部と、
前記表示部に表示される地図の縮尺を設定する地図縮尺設定部と、
前記地図の縮尺と前記位置情報とから、前記表示部に表示させる前記映像の数を判定する判定部と、
を備える請求項１に記載の字幕生成装置。
【請求項３】
映像を取得する映像取得部と、
表示部に表示される地図の縮尺を設定する地図縮尺設定部と、
前記地図の縮尺に応じて、映像に関連するテキストデータを要約した要約字幕を生成する字幕要約部と、
を備える字幕生成装置。
【請求項４】
音声データを取得する音声取得部と、
前記音声データに基づいて前記映像に関連するテキストデータを生成する音声認識部と、
を備える請求項１〜３のいずれか１項に記載の字幕生成装置。
【請求項５】
前記テキストデータは、前記映像と関連する各種の情報が記述されたメタデータである請求項１〜３のいずれか１項に記載の字幕生成装置。
【請求項６】
映像を取得する映像取得ステップと、
表示される映像の数、または前記表示される映像の大きさを示す表示映像サイズに応じて、映像に関連するテキストデータを要約した要約字幕を生成する字幕要約ステップと、
をコンピュータに実行させる字幕生成プログラム。
【請求項７】
映像を取得する映像取得ステップと、
表示される地図の縮尺を設定する地図縮尺設定ステップと、
前記地図の縮尺に応じて、映像に関連するテキストデータを要約した要約字幕を生成する字幕要約ステップと、
をコンピュータに実行させる字幕生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、字幕生成装置及び字幕生成プログラムに関する。
【背景技術】
【０００２】
近年、地上波または衛星によるテレビジョン放送、インターネット放送、動画配信ウェブサイト等、ユーザが見ることができる映像のチャネル数が増大している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２２３３９９号公報
【特許文献２】特開２０１０−８１１４９号公報
【特許文献３】特開２０１３−１８３２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
映像を表示部に表示する際に、映像に付随して送信される音声を字幕として表示部に表示することがある。また、表示部に、映像に加えて、映像を補足するための文字を字幕として表示することがある。表示部に表示される１または複数のチャネルの映像の表示状態に応じた態様で字幕を表示することが求められる。
【０００５】
本発明は、表示部に表示される１または複数のチャネルの映像の表示状態に応じた態様で字幕を生成することができる字幕生成装置及び字幕生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、映像を取得する映像取得部と、表示部に表示される映像の数、または前記表示部に表示される映像の大きさを示す表示映像サイズに応じて、映像に関連するテキストデータを要約した要約字幕を生成する字幕要約部とを備える字幕生成装置を提供する。
【０００７】
本発明は、映像を取得する映像取得部と、表示部に表示される地図の縮尺を設定する地図縮尺設定部と、前記地図の縮尺に応じて、映像に関連するテキストデータを要約した要約字幕を生成する字幕要約部とを備える字幕生成装置を提供する。
【０００８】
本発明は、映像を取得する映像取得ステップと、表示される映像の数、または前記表示される映像の大きさを示す表示映像サイズに応じて、映像に関連するテキストデータを要約した要約字幕を生成する字幕要約ステップとをコンピュータに実行させる字幕生成プログラムを提供する。
【０００９】
本発明は、映像を取得する映像取得ステップと、表示される地図の縮尺を設定する地図縮尺設定ステップと、前記地図の縮尺に応じて、映像に関連するテキストデータを要約した要約字幕を生成する字幕要約ステップとをコンピュータに実行させる字幕生成プログラムを提供する。
【発明の効果】
【００１０】
本発明の字幕生成装置及び字幕生成プログラムによれば、表示部に表示される１または複数の映像のチャネル数に応じた態様で字幕を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態の字幕生成装置を含んで構成される映像表示装置を示すブロック図である。
【図２】図１における要約字幕生成部の具体的な構成例を示すブロック図である。
【図３Ａ】表示部に映像を表示する１画面モードの一例を示す図である。
【図３Ｂ】表示部に映像を表示する２画面モードの一例を示す図である。
【図３Ｃ】表示部に映像を表示する４画面モードの一例を示す図である。
【図４Ａ】１画面モードにおけるチャネル重要度及び要約度合を表形式で示す図である。
【図４Ｂ】２画面モードにおけるチャネル重要度及び要約度合を表形式で示す図である。
【図４Ｃ】４画面モードにおけるチャネル重要度及び要約度合を表形式で示す図である。
【図５Ａ】表示部に映像を表示するピクチャ・イン・ピクチャモードの一例を示す図である。
【図５Ｂ】表示部に映像を表示するピクチャ・アウト・ピクチャモードの一例を示す図である。
【図６Ａ】ピクチャ・イン・ピクチャモードにおけるチャネル重要度及び要約度合を表形式で示す図である。
【図６Ｂ】ピクチャ・アウト・ピクチャモードにおけるチャネル重要度及び要約度合を表形式で示す図である。
【図７】第１実施形態の字幕生成装置の動作、及び第１実施形態の字幕生成プログラムがコンピュータに実行させる処理を示すフローチャートである。
【図８】第２実施形態の字幕生成装置を含んで構成される地図表示装置を備える映像送受信システムを示すブロック図である。
【図９】第２実施形態の字幕生成装置を含んで構成される地図表示装置の具体的な構成例を示すブロック図である。
【図１０Ａ】地図の縮尺を１万分の１から５万分の１に変更したときの表示状態の遷移の例を示す図である。
【図１０Ｂ】地図の縮尺を５万分の１から１０万分の１に変更したときの表示状態の遷移の例を示す図である。
【図１０Ｃ】地図の縮尺を１０万分の１から２０万分の１に変更したときの表示状態の遷移の例を示す図である。
【図１１】第２実施形態の字幕生成装置における字幕の他の表示方法を示す図である。
【図１２Ａ】地図の縮尺を１万分の１から５万分の１に変更したときの表示状態の遷移の他の例を示す図である。
【図１２Ｂ】地図の縮尺を５万分の１から１０万分の１に変更したときの表示状態の遷移の他の例を示す図である。
【図１２Ｃ】地図の縮尺を１０万分の１から２０万分の１に変更したときの表示状態の遷移の他の例を示す図である。
【図１３】地図内に表示されるカメラ映像の数である表示チャネル数に応じて要約度合を設定する場合の例を表形式で示す図である。
【図１４】地図の縮尺に応じて要約度合を設定する場合の例を表形式で示す図である。
【図１５】第２実施形態の字幕生成装置の動作、及び第２実施形態の字幕生成プログラムがコンピュータに実行させる処理を示すフローチャートである。
【図１６】第３実施形態の字幕生成装置を含んで構成される投稿動画像配信システムを示すブロック図である。
【図１７Ａ】投稿動画像配信システムのコンテンツサーバから配信される動画像等を受信するコンピュータが備える表示部の第１の表示状態を示す図である。
【図１７Ｂ】投稿動画像配信システムのコンテンツサーバから配信される動画像等を受信するコンピュータが備える表示部の第２の表示状態を示す図である。
【発明を実施するための形態】
【００１２】
以下、各実施形態の字幕生成装置及び字幕生成プログラムについて、添付図面を参照して説明する。
【００１３】
＜第１実施形態＞
図１は、第１実施形態の字幕生成装置を含んで構成される映像表示装置１０を示す。図１において、要約字幕生成部４１〜４ｎの入力端子４１ｔ〜４ｎｔには、それぞれ、チャネル１〜ｎのマルチメディアストリームが入力される。マルチメディアストリームは、映像ストリーム及び音声ストリームを含む。映像ストリームは映像データを含み、音声ストリームは音声データを含む。
【００１４】
要約字幕生成部４１〜４ｎのうちの任意の要約字幕生成部を要約字幕生成部４と称し、入力端子４１ｔ〜４ｎｔのうちの任意の入力端子を入力端子４ｔと称することとする。ｎは２以上の整数である。入力端子４１ｔ〜４ｎｔに入力されるマルチメディアストリームは、地上波または衛星によるテレビジョン放送、インターネット放送、動画配信ウェブサイト等の任意のコンテンツ配信元から配信される。
【００１５】
なお、要約字幕生成部４には映像ストリーム及び音声ストリームを含むマルチメディアストリームが入力されることから、要約字幕生成部４は映像を取得する映像取得部、または映像に関連する音声を取得する音声取得部として機能する。
【００１６】
チャネル数設定部１は、表示部５にマルチメディアストリームの映像データに基づく映像を表示するチャネル数を設定する。ユーザが操作部６を操作することによって、チャネル数設定部１がチャネル数を設定してもよい。チャネル数とは、チャネル１〜ｎの映像のうち表示部５に表示されるチャネル数であり、１から最大のチャネル数までで設定されるチャンネル数である。一例として、ここでは最大のチャネル数が４に設定されているとする。チャネル数は固定であってもよい。
【００１７】
チャネル重要度設定部２は、各チャネルの重要度を設定する。チャネル重要度設定部２には、予め全てのチャネルで同じ重要度が設定されていてもよい。チャネル重要度設定部２は、チャネルの番号が小さいほど重要度を大きく設定してもよい。ユーザが操作部６を操作することによって、チャネル重要度設定部２が各チャネルの重要度を設定してもよい。後述するように、ユーザが操作部６を操作して選択する表示モードに応じて、チャネル重要度設定部２が各チャネルの重要度を自動的に設定してもよい。
【００１８】
要約度合設定部３は、チャネル数設定部１で設定されたチャネル数と、チャネル重要度設定部２で設定された各チャネルの重要度とに応じて、表示部５に各チャネルの映像と併せて表示される字幕の要約度合を設定する。字幕の要約度合とは、表示部５に字幕として表示する対象のテキストデータの文字数の要約の程度を示す指標である。
【００１９】
要約度合を式（１）で定義する。第１実施形態及び後述する第２実施形態においては、理解を容易にするため、式（１）より分かるように、テキストデータの文字数を削減しない（要約しない）状態の要約度合を１００とし、文字数が削減される量が多くなるほど要約度合の数値が小さくなるようにしている。即ち、ここでの要約度合は、字幕として表示する対象のテキストデータの残存率を示す。
【００２０】
要約度合＝（要約されたテキストデータの文字数／テキストデータの文字数）×１００    …（１）
【００２１】
要約度合設定部３で設定された各チャネルの要約度合を示す要約度合設定信号は各要約字幕生成部４に供給される。ここではチャネル数が４に設定されているので、要約度合設定部３は要約字幕生成部４１〜４４に要約度合設定信号を供給すればよい。
【００２２】
各要約字幕生成部４は、マルチメディアストリームの映像データに付随する音声データに基づいて、表示部５に各チャネルの映像と併せて表示される字幕であるテキストデータ（字幕データ）を生成する。各要約字幕生成部４は、入力された要約度合設定信号に応じて、テキストデータを要約して要約字幕データを生成する。テキストデータの文字数を削減しない字幕データ及びテキストデータの文字数を削減した字幕データの双方を要約字幕データと称することがある。
【００２３】
各要約字幕生成部４は、マルチメディアストリームに含まれる映像データ及び音声データと要約字幕データとを表示部５に供給する。表示部５は、描画部５１、表示パネル５２、音声処理回路５３、スピーカ５４を有する。音声処理回路５３及びスピーカ５４が表示部５の外部に設けられていてもよい。
【００２４】
ここで、各要約字幕生成部４は、入力されたマルチメディアストリームと生成した要約字幕データとを記憶しておき、ＶＯＤ（Video on Demand）のように表示部５からの要求に応じて、記憶していたマルチメディアストリームと要約字幕データを表示部５に供給することもできる。
【００２５】
描画部５１は、各チャネルの映像データ及び要約字幕データを描画する。表示パネル５２は、描画部５１に描画された映像データ及び要約字幕データによる映像を表示する。各チャネルの映像データ及び要約字幕データによる映像は縮小されることがある。
【００２６】
音声処理回路５３はチャネル１〜４の音声データのうちの選択された音声データをＤ／Ａ変換してアナログ音声信号をスピーカ５４に供給する。スピーカ５４は入力されたアナログ音声信号に基づいて音声を出力する。スピーカ５４によって音声として出力される音声データはチャネル１の音声データで固定されていてもよいし、ユーザが操作部６によっていずれかのチャネルの音声データを選択するように構成されていてもよい。
【００２７】
ユーザが操作部６を操作することによって、表示部５は、要約字幕生成部４１〜４４から供給される映像データ及び要約字幕データのうちの選択された映像データ及び要約字幕データによる映像を表示する表示モードを切り替えることができる。例えば、表示部５は、１つの要約字幕生成部４からの映像データ及び要約字幕データによる映像のみを表示する表示モードと、複数の要約字幕生成部４からの映像データ及び要約字幕データによる複数の映像を同時に表示する表示モードとを切り替えることができる。表示モードの詳細については後述する。
【００２８】
図２を用いて、要約字幕生成部４の具体的な構成例を説明する。図２に示すように、要約字幕生成部４は、音声ストリーム取得部４０１、音声認識部４０２、字幕要約部４０３、多重化部４０４を備える。
【００２９】
音声ストリーム取得部４０１は、入力端子４ｔに入力されたマルチメディアストリームから音声ストリームを取得する。音声ストリーム取得部４０１は、入力されたマルチメディアストリームを多重化部４０４に供給し、音声ストリームを音声認識部４０２に供給する。
【００３０】
音声認識部４０２は、音声ストリームに含まれる音声データを音声認識してテキストデータを生成し、字幕要約部４０３に供給する。字幕要約部４０３には、要約度合設定信号が入力される。字幕要約部４０３は、要約度合設定信号が示す要約度合に応じてテキストデータを要約して要約テキストデータを生成する。字幕要約部４０３は、要約前のテキストデータ及び要約テキストデータの双方を要約字幕データとして多重化部４０４に供給する。
【００３１】
字幕要約部４０３は、要約の手法として代表的な抽出型要約を用いて要約字幕データを生成する。例えば、字幕要約部４０３は、テキストデータに含まれる出現頻度の高い単語を重要な単語として抽出して、要約字幕データを生成する。字幕要約部４０３は、抽出型要約の代わりに生成型要約を用いてもよい。生成型要約は、例えば、テキストデータの内容に基づき、テキストの言い換え、一般化または並び替えを行う等、テキストデータとは異なる表現を用いて要約字幕データを生成する。
【００３２】
多重化部４０４は、音声ストリーム取得部４０１から供給されたマルチメディアストリームに含まれる映像データ及び音声データと、字幕要約部４０３から供給された要約字幕データとを同期させて多重化する。多重化部４０４は、多重化データを表示部５に供給する。
【００３３】
図３Ａ〜図３Ｃを用いて、表示部５にチャネル１〜４の映像を表示する表示モードの例を説明する。図４Ａ〜図４Ｃは、図３Ａ〜図３Ｃの表示モードにおける各チャネルのチャネル重要度、要約度合、表示映像サイズの例を示している。各チャネルの映像データはフルＨＤであって水平方向１９２０画素、垂直方向１０８０画素を有するとし、表示パネル５２はフルＨＤのパネルであるとする。なお、表示映像サイズは、表示部５に表示される映像データの大きさを示す。
【００３４】
図３Ａは、チャネル１の映像Ｖ１のみを表示パネル５２に全画面表示する表示モードである。図３Ａに示す表示モードを１画面モードと称することとする。映像Ｖ１の下端部近傍には、チャネル１の要約字幕データに基づく字幕ＳＴ１が表示されている。字幕ＳＴ１は１または複数行で表示されている。字幕ＳＴ１及び後述する字幕ＳＴ２〜ＳＴ４の１行における文字数及び行数は、表示パネル５２の大きさ及び解像度に応じて、ユーザが字幕を認識できる文字数及び行数に設定される。
【００３５】
このとき、図４Ａに示すように、チャネル重要度設定部２はチャネル１の重要度を１００に設定し、チャネル２〜４は非表示であるためチャネル２〜４の重要度を０に設定する。要約度合設定部３は、チャネル１の字幕データの要約度合を１００に設定し、チャネル２〜４の字幕データの要約度合を０に設定する。
【００３６】
１画面モードでは、チャネル１の映像の表示映像サイズは水平方向１９２０画素、垂直方向１０８０画素である。１画面モードでは、音声認識部４０２が生成したテキストデータが削減されず字幕ＳＴ１として表示される。
【００３７】
図３Ｂは、チャネル１の映像Ｖ１及びチャネル２の映像Ｖ２の表示映像サイズを縮小して表示パネル５２に並べて表示する表示モードである。図３Ｂに示す表示モードを２画面モードと称することとする。映像Ｖ１の下端部近傍にはチャネル１の要約字幕データに基づく字幕ＳＴ１が表示され、映像Ｖ２の下端部近傍にはチャネル２の要約字幕データに基づく字幕ＳＴ２が表示されている。
【００３８】
このとき、図４Ｂに示すように、チャネル重要度設定部２はチャネル１及び２の重要度を１００に設定し、チャネル３及び４は非表示であるためチャネル３及び４の重要度を０に設定する。要約度合設定部３は、チャネル１及び２の字幕データの要約度合を７０に設定し、チャネル３及び４の字幕データの要約度合を０に設定する。
【００３９】
２画面モードでは、チャネル１及び２の映像の表示映像サイズは水平方向９６０画素、垂直方向５４０画素である。２画面モードでは、音声認識部４０２が生成したテキストデータを３０％削減した要約字幕データに基づく字幕ＳＴ１及びＳＴ２が表示される。
【００４０】
２画面モードでは、表示パネル５２に表示されている映像のチャネルが１画面モードにおけるそれよりも多い。これに伴って、２画面モードにおいて字幕ＳＴ１及びＳＴ２が表示されている領域は、１画面モードにおいて字幕ＳＴ１が表示されている領域よりも狭い。２画面モードにおける字幕ＳＴ１は、１画面モードにおける字幕ＳＴ１よりもテキストデータが削減された字幕である。
【００４１】
図３Ｃは、チャネル１〜４の映像Ｖ１〜Ｖ４の表示映像サイズを縮小して表示パネル５２に並べて表示する表示モードである。図３Ｃに示す表示モードを４画面モードと称することとする。映像Ｖ１〜Ｖ４の下端部近傍にはチャネル１〜４それぞれの要約字幕データに基づく字幕ＳＴ１〜ＳＴ４が表示されている。
【００４２】
このとき、図４Ｃに示すように、チャネル重要度設定部２はチャネル１〜４の重要度を１００に設定する。要約度合設定部３は、チャネル１〜４の字幕データの要約度合を２５に設定する。
【００４３】
４画面モードでは、チャネル１〜４の映像の表示映像サイズは２画面モードのチャネル１及び２の映像の表示映像サイズと同じであり、水平方向９６０画素、垂直方向５４０画素である。４画面モードでは、音声認識部４０２が生成したテキストデータを７５％削減した要約字幕データに基づく字幕ＳＴ１〜ＳＴ４が表示される。
【００４４】
４画面モードでは、表示パネル５２に表示されている映像のチャネルが２画面モードにおけるそれよりも多い。これに伴って、４画面モードにおいて字幕ＳＴ１〜ＳＴ４が表示されている領域は、２画面モードにおいて字幕ＳＴ１及びＳＴ２が表示されている領域よりも狭い。４画面モードにおける字幕ＳＴ１及びＳＴ２は、２画面モードにおける字幕ＳＴ１及びＳＴ２よりもテキストデータが削減された字幕である。
【００４５】
図５Ａ及び図５Ｂを用いて、表示部５にチャネル１〜４の映像を表示する表示モードの他の例を説明する。図６Ａ及び図６Ｂは、図５Ａ及び図５Ｂの表示モードにおける各チャネルのチャネル重要度、要約度合、表示映像サイズの例を示している。
【００４６】
図５Ａは、チャネル１の映像Ｖ１を表示パネル５２に全画面表示し、チャネル２の映像Ｖ２の表示映像サイズを縮小して映像Ｖ１に重畳する表示モードである。図５Ａに示す表示モードをピクチャ・イン・ピクチャモード（以下、ＰＩＰモード）と称することとする。映像Ｖ１の下端部近傍には、チャネル１の要約字幕データに基づく字幕ＳＴ１が表示され、映像Ｖ２の下端部近傍にはチャネル２の要約字幕データに基づく字幕ＳＴ２が表示されている。
【００４７】
このとき、図６Ａに示すように、チャネル重要度設定部２はチャネル１の重要度を１００に設定し、チャネル２の重要度を２５に設定し、チャネル３及び４は非表示であるためチャネル３及び４の重要度を０に設定する。要約度合設定部３は、チャネル１の字幕データの要約度合を１００に設定し、チャネル２の字幕データの要約度合を２５に設定し、チャネル３及び４の字幕データの要約度合を０に設定する。
【００４８】
図５Ａに示すＰＩＰモードでは、チャネル１の映像の表示映像サイズは水平方向１９２０画素、垂直方向１０８０画素であり、チャネル２の映像の表示映像サイズは水平方向９６０画素、垂直方向５４０画素である。但し、チャネル１の映像にチャネル２の映像が重畳されていることから、チャネル１の映像の水平方向９６０画素、垂直方向５４０画素の領域は非表示である。
【００４９】
ＰＩＰモードでは、音声認識部４０２が生成したチャネル１のテキストデータが削減されず字幕ＳＴ１として表示され、音声認識部４０２が生成したチャネル２のテキストデータを７５％削減した要約字幕データに基づく字幕ＳＴ２が表示される。
【００５０】
ＰＩＰモードでは、チャネル２の映像の表示映像サイズはチャネル１のそれよりも小さい。これに伴って、ＰＩＰモードにおいて字幕ＳＴ２が表示されている領域は字幕ＳＴ１が表示されている領域よりも狭い。ＰＩＰモードにおける字幕ＳＴ２は、字幕ＳＴ１よりもテキストデータが削減された字幕である。
【００５１】
図５Ｂは、チャネル１の映像Ｖ１の表示映像サイズを縮小して映像Ｖ１とし、チャネル２〜４の映像Ｖ２〜Ｖ４の表示映像サイズを縮小して映像Ｖ１の外側に表示する表示モードである。図５Ｂに示す表示モードをピクチャ・アウト・ピクチャモード（以下、ＰＯＰモード）と称することとする。映像Ｖ１の下端部近傍には、チャネル１の要約字幕データに基づく字幕ＳＴ１が表示され、映像Ｖ２〜Ｖ４の下端部近傍にはチャネル２〜４の要約字幕データに基づく字幕ＳＴ２〜ＳＴ４が表示されている。
【００５２】
このとき、図６Ｂに示すように、チャネル重要度設定部２はチャネル１の重要度を１００に設定し、チャネル２〜４の重要度を１１に設定する。要約度合設定部３は、チャネル１の字幕データの要約度合を５６に設定し、チャネル２〜４の字幕データの要約度合を６に設定する。
【００５３】
図６Ｂに示すＰＯＰモードでは、チャネル１の映像の表示映像サイズは水平方向１４４０画素、垂直方向８１０画素であり、チャネル２〜４の映像の表示映像サイズは水平方向４８０画素、垂直方向２７０画素である。
【００５４】
ＰＯＰモードでは、音声認識部４０２が生成したチャネル１のテキストデータを４４％削減した要約字幕データに基づく字幕ＳＴ１が表示され、チャネル２〜４のテキストデータを９４％削減した要約字幕データに基づく字幕ＳＴ２〜ＳＴ４が表示される。
【００５５】
ＰＯＰモードでは、チャネル１の映像の表示映像サイズは図３Ａの１画面モードまたは図５ＡのＰＩＰモードにおけるチャネル１のそれよりも小さい。これに伴って、ＰＯＰモードにおいて字幕ＳＴ１が表示されている領域は１画面モードまたはＰＩＰモードにおけるそれよりも狭い。ＰＯＰモードにおける字幕ＳＴ１は、１画面モードまたは図５ＡのＰＩＰモードにおける字幕ＳＴ１よりもテキストデータが削減された字幕である。
【００５６】
また、ＰＯＰモードでは、チャネル２〜４の映像の表示映像サイズはチャネル１のそれよりも小さい。これに伴って、ＰＯＰモードにおいて字幕ＳＴ２〜ＳＴ４が表示されている領域は字幕ＳＴ１が表示されている領域よりも狭い。ＰＯＰモードにおける字幕ＳＴ２〜ＳＴ４は、字幕ＳＴ１よりもテキストデータが削減された字幕である。
【００５７】
図７に示すフローチャートを用いて、第１実施形態の字幕生成装置の動作を説明する。図７において、処理が開始されると、チャネル数設定部１は、ステップＳ１０１にて、チャネル数を設定する。ここではチャネル数は固定であるとする。チャネル重要度設定部２は、ステップＳ１０２にて、各チャネルの重要度を設定する。要約度合設定部３は、ステップＳ１０３にて、要約度合を設定する。
【００５８】
音声ストリーム取得部４０１は、ステップＳ１０４にて、映像ストリームと音声ストリームとを分離して音声ストリームを取得する。音声ストリーム取得部４０１はステップＳ１０４にて映像ストリームを取得するので、ステップＳ１０４は映像取得ステップである。音声認識部４０２は、ステップＳ１０５にて、音声ストリームに含まれる音声データを音声認識してテキストデータを生成する。字幕要約部４０３は、ステップＳ１０６にて、設定された要約度合の要約字幕データを生成する。ステップＳ１０６は字幕要約ステップである。
【００５９】
多重化部４０４は、ステップＳ１０７にて、映像ストリームに含まれる映像データ、音声データ、要約字幕データを多重化する。表示部５は、ステップＳ１０８にて、多重化データに基づいて、映像を表示し、音声を出力する。
【００６０】
チャネル重要度設定部２及び要約度合設定部３は、ステップＳ１０９にて、表示モード変更の指示がなされたか否かを判定する。表示モード変更の指示がなされれば（YES）、ステップＳ１０２〜Ｓ１０９の処理が繰り返される。表示モード変更の指示がなされなければ（NO）、要約字幕生成部４は、ステップＳ１１０にて、マルチメディアストリームが継続的に入力されているか否かを判定する。
【００６１】
マルチメディアストリームが継続的に入力されていれば（YES）、ステップＳ１０４〜Ｓ１１０の処理が繰り返される。マルチメディアストリームが継続的に入力されていなければ（NO）、要約字幕生成部４は、処理を終了させる。
【００６２】
以上のように、第１実施形態の字幕生成装置は、要約度合設定部３及び字幕要約部４０３を備える。要約度合設定部３は、表示部５（表示パネル５２）に表示される１または複数のチャネルの映像のチャネル数または各チャネルの映像の表示映像サイズに応じて、各チャネルの映像と関連して表示部５に表示される各チャネルの字幕の要約度合を設定する。字幕要約部４０３は、要約度合設定部３で設定された各チャネルの字幕の要約度合に応じて、各チャネルの字幕を要約して要約字幕を生成する。
【００６３】
第１実施形態の字幕生成装置によれば、表示部５に表示される１または複数のチャネルの映像の表示状態に応じた態様で字幕を生成することができる。第１実施形態の字幕生成装置を備え、複数の表示モードのうちのいずれかの表示モードで各チャネルの映像を表示する映像表示装置１０は、１または複数のチャネルの映像の表示状態に応じた態様の字幕を表示することができる。
【００６４】
図１に示す映像表示装置１０の各部、図２に示す要約字幕生成部４の各部は、集積回路等のハードウェアで構成されていてもよいし、ソフトウェア（コンピュータプログラム）で構成されていてもよい。ハードウェアとソフトウェアとの使い分けは任意である。図７に示すフローチャートは、第１実施形態の字幕生成プログラムがコンピュータに実行させる処理であってもよい。
【００６５】
字幕生成プログラムはインターネット等のネットワークを介して映像表示装置１０に送信されてもよいし、非一時的な記憶媒体に記憶されて映像表示装置１０に提供されてもよい。
【００６６】
図１において、付加的に次のように構成することができる。例えば、チャネル数を１６とし、表示部５は１６チャネルの縮小した映像とそれに対応した字幕を表示する。視線検出装置は、ユーザの視線を検出することによってユーザが興味を持って見ていると判断される４チャネルを選択する。表示部５は、図３Ｃに示すように、選択された４チャネルの縮小した映像とそれに対応した字幕を表示する。
【００６７】
視線検出装置は、ユーザの視線を検出することによってユーザが興味を持って見ていると判断される１チャネルを選択する。表示部５は、図３Ａに示すように、選択された１チャネルの映像とそれに対応した字幕を表示する。
【００６８】
＜第２実施形態＞
図８は、第２実施形態の字幕生成装置を含んで構成される地図表示装置２０を備える映像送受信システムを示す。地図表示装置２０は、インターネット等のネットワーク５０に接続されている。ビデオカメラ３０１〜３０ｎと地図提供サーバ４０も、ネットワーク５０に接続されている。ここでもｎは２以上の整数である。ビデオカメラ３０１〜３０ｎのうちの任意のビデオカメラをビデオカメラ３０と称することとする。
【００６９】
１または複数のビデオカメラ３０によって撮影された映像は、１または複数のチャネルの映像である。
【００７０】
図９を用いて、地図表示装置２０の具体的な構成例及び動作を説明する。図９において、地図表示装置２０のネットワークインタフェース２０１は、ネットワーク５０と接続されている。地図表示装置２０は、地図提供サーバ４０より提供された地図データ、各ビデオカメラ３０が送信する映像データ及びメタデータを受信する。詳細には、地図表示装置２０は、各ビデオカメラ３０から、各ビデオカメラ３０によって撮影された映像データと、映像データに関連する情報を記述したデータであるメタデータとを受信する。
【００７１】
ここでは、地図表示装置２０は映像データとメタデータを、それぞれ各ビデオカメラ３０によって提供されるＷＥＢ  ＡＰＩ（WEB Application Programming INTERFACE）を用いて取得するものとする。なお、ＷＥＢ  ＡＰＩとは、ネットワークを介して、一方の装置のプログラムが提供する機能を、他方の装置のプログラムが呼び出して利用するインターフェイスである。また、各メタデータは各ビデオカメラ３０で生成されて記録されている。
【００７２】
メタデータには、映像データと関連する各種の情報がテキストデータで記述されている。メタデータには、例えば、ビデオカメラ３０の位置情報（即ち、撮影場所）、撮影日、撮影者情報、製作者情報、カメラ番号、カメラの優先順位、撮影目的、タイトル、撮影概要、キャスタ名、登場人物名等の任意に入力した文章等が含まれている。メタデータは少なくともビデオカメラ３０の位置情報を含む。ビデオカメラ３０の位置情報には、撮影場所の緯度・経度に加えて、東京駅、東京国際空港等の撮影場所の名称が含まれていてもよい。
【００７３】
詳細には、撮影日は、映像データが撮影された日時を示す情報である。撮影者情報は、例えば、撮影者の名前または撮影者を識別するＩＤである。製作者情報は、例えば、放送局の名前または放送局を識別するＩＤである。カメラ番号は、各ビデオカメラ３０に割り当てられた番号である。なお、カメラ番号は、例えばシリアルコードであってもよい。カメラの優先順位とは、表示させる映像データの優先度を示す情報である。撮影目的は、例えば、番組撮影、風景撮影またはインタビュー等である。タイトルは、例えば、映像データの番組名などである。
【００７４】
撮影概要には、位置情報（即ち、撮影場所）、撮影日、撮影者情報、製作者情報、カメラ番号、カメラの優先順位、カメラのシリアルコード、撮影目的、タイトル、キャスタ名、登場人物名がまとめられてその他の情報と共に記述されているものとする。キャスタ名、登場人物名には、それぞれの目的に合わせた人物名等が記載されている。なお、メタデータにはビデオカメラ３０の位置情報が含まれるとしたが、メタデータにビデオカメラ３０の位置情報を含まずに、ビデオカメラ３０の位置情報とその他の内容からなるメタデータとを別々のデータとしてもよい。
【００７５】
カメラ映像取得部２０２は、各ビデオカメラ３０から送信された映像データを取得する。メタデータ抽出部２０３は、メタデータを取得する。なお、前述のように、カメラ映像取得部２０２及びメタデータ抽出部２０３は、各ビデオカメラ３０によって提供されるＷＥＢ  ＡＰＩを用いて、各ビデオカメラ３０から送信された映像データ及びメタデータを取得してもよい。地図データ取得部２０９は地図データを取得する。ユーザは、操作部２１４を操作することによって、表示部２１３の表示パネル２１３１に表示される地図の中心位置を変更することもできるし、地図の縮尺を変更することもできる。
【００７６】
地図中心位置設定部２１６は、ユーザによる操作部２１４の操作に応じて表示パネル２１３１に表示される地図の中心位置を設定し、地図縮尺設定部２１７は、ユーザによる操作部２１４の操作に応じて表示パネル２１３１に表示される地図の縮尺を設定する。地図データ取得部２０９は、設定された中心位置及び縮尺の地図を地図提供サーバ４０より取得する。
【００７７】
メタデータ抽出部２０３が取得した各ビデオカメラ３０のメタデータは、カメラ位置取得部２０４及び字幕情報取得部２０５に供給される。カメラ位置取得部２０４は、メタデータの位置情報に含まれる撮影場所の緯度・経度を取得する。即ち、カメラ位置取得部２０４は、映像が撮影された位置を示す位置情報を取得する位置取得部である。字幕情報取得部２０５は、メタデータに記述されているテキストデータのうち、表示パネル２１３１に字幕として表示されるテキストデータを取得して、字幕要約部２０８に供給する。
【００７８】
なお、ビデオカメラ３０の位置情報はメタデータとは別の経路で取得することもできる。例えば、ＧＰＳ取得機能を有さないビデオカメラ３０がＧＰＳ取得機能を有するルータに接続されている場合には、ルータがメタデータとは別の経路で位置情報を地図表示装置２０に通知してもよい。この場合、メタデータ抽出部２０３が位置情報をルータによって提供されるＷＥＢ  ＡＰＩを用いて取得する。ここで、ビデオカメラ３０とルータとの接続状況はルータによって提供されるＷＥＢ  ＡＰＩの情報で提供され、地図表示装置２０においてビデオカメラ３０とルータとが関連付けされ、ルータの位置情報をビデオカメラ３０の位置情報とする。
【００７９】
字幕として表示されるテキストデータは、撮影場所の名称であってもよいし、撮影目的であってもよいし、任意に入力した文章でもあってもよく、任意である。字幕として表示されるテキストデータが予め定められていてもよいし、ユーザが操作部２１４を操作することにより選択できるように構成されていてもよい。メタデータがビデオカメラ３０の位置情報のみを含む場合には、撮影場所が字幕として表示される。
【００８０】
表示領域内外判定部２０６には、地図中心位置設定部２１６によって設定された地図の中心位置、及び、地図縮尺設定部２１７によって設定された地図の縮尺を示す情報が入力される。表示領域内外判定部２０６は、表示パネル２１３１の画面サイズの情報を有する。表示領域内外判定部２０６は、入力された地図の中心位置及び地図の縮尺を示す情報に基づいて、各ビデオカメラ３０が表示パネル２１３１に表示されている地図の表示領域内に位置しているか、表示領域外に位置しているかを判定する。表示領域内外判定部２０６は、地図の縮尺と映像が撮影された位置を示す位置情報とから、表示部２１３に表示させる映像の数を判定する判定部として機能する。
【００８１】
表示領域内外判定部２０６は、ビデオカメラ３０１〜３０ｎのうち、表示パネル２１３１に表示されている地図の表示領域内に位置しているビデオカメラ３０の数の情報を要約度合設定部２０７に供給する。要約度合設定部２０７は、地図の表示領域内に位置しているビデオカメラ３０の数に応じて要約度合を設定する。
【００８２】
字幕要約部２０８は、字幕情報取得部２０５から供給されたテキストデータを、要約度合設定部２０７で設定された要約度合に応じて要約して、要約字幕データを生成する。
【００８３】
第１実施形態において、字幕要約部４０３は、要約度合に応じて、抽出型要約または生成型要約を用いて要約字幕データを作成する。第２実施形態においては、字幕要約部２０８は、要約度合いに応じて、位置情報、撮影日、撮影者情報、製作者情報、カメラ番号、カメラの優先順位、撮影目的、タイトル、撮影概要、キャスタ名、登場人物名等の項目から１つ以上を選択して要約する。
【００８４】
例えば、字幕要約部２０８は、要約度合が１００であった場合には、上述した項目のうち１０の項目を選択する。字幕要約部２０８は、選択した１０の項目の情報を含む要約字幕データを生成する。また、字幕要約部２０８は、要約度合が２０であった場合には、上述した項目のうち２つの項目を選択する。字幕要約部２０８は、選択した２つの項目の情報を含む要約字幕データを生成する。
【００８５】
さらに、字幕要約部２０８またはその他の部分には、メタデータ等に含まれる各項目に対して予め優先順位が設定されていてもよい。字幕要約部２０８は、その優先順位に基づき、優先順位が高い項目を選択する構成にしてもよい。
【００８６】
第２実施形態においても、第１実施形態と同様に、字幕要約部２０８は、要約度合に応じて、抽出型要約または生成型要約を用いて要約字幕データを作成する構成であってもよい。特に、メタデータに撮影概要が含まれる場合、字幕要約部２０８は、撮影概要から、要約度合に応じて、抽出型要約または生成型要約を用いて要約字幕データを作成してもよい。
【００８７】
なお、第１実施形態と同様に、テキストデータの文字数を削減しないことがあってもよい。各ビデオカメラ３０から供給されたテキストデータに基づく要約字幕データは、画像合成部２１２に供給される。
【００８８】
映像縮小部２１０は、各ビデオカメラ３０から供給された映像データを縮小して縮小映像データ（サムネイル画像）を生成する。映像縮小率指示部２１１は、映像縮小部２１０に対して映像データの縮小率を指示する。縮小率は固定であってもよい。各ビデオカメラ３０からの映像データの１フレームの画素数が表示パネル２１３１の画素数よりも十分に小さいとき、映像データを縮小しないことがあってもよい。
【００８９】
映像縮小率指示部２１１には、表示領域内外判定部２０６から表示パネル２１３１に表示されている地図の表示領域内に位置しているビデオカメラ３０の数の情報が供給されてもよい。映像縮小率指示部２１１は、入力されたビデオカメラ３０の数の情報に応じて映像データの縮小率を変更することがあってもよい。
【００９０】
画像合成部２１２は、地図データ取得部２０９から供給された地図データと、映像縮小部２１０から供給された縮小映像データと、字幕要約部２０８から供給された要約字幕データとを画像合成する。ここで、縮小映像データはビデオカメラ３０の位置情報に基づいて地図データ上のビデオカメラ３０の位置情報が示す位置に配置されるように合成される。画像合成部２１２は、合成画像データを表示部２１３に供給する。
【００９１】
以上の構成及び動作により、表示パネル２１３１には、ユーザが表示パネル２１３１に表示させようと操作した所定の表示領域の所定の縮尺の地図に、表示領域内に位置しているビデオカメラ３０が送信した縮小映像データと、その映像と関連する要約字幕とが重畳されて表示される。これによって、地図上のどの位置で誰がどのような映像をどのような目的で撮影しているかを可視化することができる。
【００９２】
図９においては、音声データの受信及び音声の出力に関する構成の図示を省略している。地図表示装置２０は、各ビデオカメラ３０による撮影時に収音した音声の音声データを受信し、選択されたビデオカメラ３０の音声データを再生してスピーカより出力するように構成されていてもよい。
【００９３】
この場合、メタデータ抽出部２０３は、音声データを取得する音声取得部、及び取得した音声データに基づいて映像に関連するテキストデータを生成する音声認識部として機能する。即ち、各ビデオカメラ３０は、映像データの撮影時に収音した音声を、音声データとして記録する。各ビデオカメラ３０は、ネットワーク５０を介して、地図表示装置２０に映像データ及び音声データを送信する。メタデータ抽出部２０３は、各ビデオカメラ３０から送信された音声データを取得する。メタデータ抽出部２０３は、取得した音声データを音声認識してテキストデータを生成し、このテキストデータをメタデータとして、カメラ位置取得部２０４及び字幕情報取得部２０５に供給する。
【００９４】
このような構成とすることにより、映像データの撮影時に収音した音声からメタデータを作成することができ、メタデータを予め用意する必要がなくなるため、撮影者の負担が軽減される。
【００９５】
また、各ビデオカメラ３０は、映像データの撮影時に収音した音声を、音声データとして記録することに限定されない。各ビデオカメラ３０は、上述した映像データの撮影時に収音した音声とは別に、映像データの撮影時以外で収音した音声を音声データとして記録してもよい。例えば、ビデオカメラ３０は、撮影時以外で、撮影概要などの情報を含む音声を収音し、音声データとして記録する。メタデータ抽出部２０３は、この音声データを取得し、この音声データに基づいて、テキストデータを生成してもよい。即ち、メタデータ抽出部２０３は、映像データに関連づけられた音声データに基づき、テキストデータを生成すればよい。
【００９６】
表示順位設定部２１５は複数のビデオカメラ３０における縮小映像データが重なっている場合の表示順位を設定する。メタデータにビデオカメラ３０のカメラの優先順位が含まれている場合には、カメラの優先順位に基づいて優先順位の高いカメラで撮影された縮小映像データの表示順位を高くしてもよい。ユーザが操作部２１４を操作することによって、表示順位設定部２１５は表示順位を変更してもよい。
【００９７】
図１０Ａ〜図１０Ｃを用いて、地図の縮尺を変更した場合の表示状態の遷移の例を説明する。図１０Ａにおいて、表示パネル２１３１に縮尺１万分の１の地図Ｍ１が表示されている状態で、カメラ番号０１のビデオカメラ３０のみが地図Ｍ１内に位置している。地図Ｍ１には、カメラ映像Ｃｉ１と、カメラ映像Ｃｉ１の字幕ＣＳＴ１とが重畳されて表示されている。字幕ＣＳＴ１はカメラ映像Ｃｉ１の外側に表示されている。
【００９８】
表示パネル２１３１に縮尺１万分の１の地図Ｍ１が表示されている場合においては、例えば、要約度合を１００と設定する。要約度合に基づき、位置情報、撮影日、撮影者情報、製作者情報、カメラ番号、カメラの優先順位、撮影目的、タイトル、キャスタ名、登場人物名を選択し、１０の項目を含む要約字幕データを作成し、字幕として要約字幕データが表示される。なお、カメラ映像とは、上述した縮小映像データを示し、以降においても同様である。
【００９９】
ユーザが地図の縮尺を５万分の１に変更すると、表示パネル２１３１に縮尺５万分の１の地図Ｍ５が表示されている状態で、カメラ番号０１〜０３のビデオカメラ３０が地図Ｍ５内に位置する。ここでは、地図Ｍ１の中心位置は地図Ｍ５の右方向へと変位されている。地図Ｍ５には、カメラ映像Ｃｉ１〜Ｃｉ３と、カメラ映像Ｃｉ１〜Ｃｉ３の字幕ＣＳＴ１〜ＣＳＴ３とが重畳されて表示されている。
【０１００】
地図Ｍ５に表示されているビデオカメラ３０の映像の数は、地図Ｍ１に表示されているそれよりも多い。これに伴って、地図Ｍ５において字幕ＣＳＴ１〜ＣＳＴ３が表示されている領域は、地図Ｍ１において字幕ＣＳＴ１が表示されている領域よりも狭い。地図Ｍ５における字幕ＣＳＴ１は、地図Ｍ１における字幕ＣＳＴ１よりもテキストデータが削減された字幕である。
【０１０１】
表示パネル２１３１に縮尺５万分の１の地図Ｍ５が表示されている場合、例えば、要約度合を７０と設定し、位置情報、撮影日、撮影者情報、製作者情報、カメラ番号、撮影目的、タイトルの７つの項目を含む要約字幕データが字幕として表示される。
【０１０２】
図１０Ｂにおいて、さらに、ユーザが地図の縮尺を１０万分の１に変更すると、表示パネル２１３１に縮尺１０万分の１の地図Ｍ１０が表示されている状態で、カメラ番号０１〜０６のビデオカメラ３０が地図Ｍ１０内に位置する。ここでは、地図Ｍ５の中心位置は地図Ｍ１０の右方向へと変位されている。地図Ｍ１０には、カメラ映像Ｃｉ１〜Ｃｉ６と、カメラ映像Ｃｉ１〜Ｃｉ６の字幕ＣＳＴ１〜ＣＳＴ６とが重畳されて表示されている。
【０１０３】
地図Ｍ１０に表示されているビデオカメラ３０の映像の数は、地図Ｍ５に表示されているそれよりも多い。これに伴って、地図Ｍ１０において字幕ＣＳＴ１〜ＣＳＴ６が表示されている領域は、地図Ｍ５において字幕ＣＳＴ１〜ＣＳＴ３が表示されている領域よりも狭い。地図Ｍ１０における字幕ＣＳＴ１〜ＣＳＴ３は、地図Ｍ５における字幕ＣＳＴ１〜ＣＳＴ３よりもテキストデータが削減された字幕である。
【０１０４】
表示パネル２１３１に縮尺１０万分の１の地図Ｍ１０が表示されている場合、例えば、要約度合を２０と設定し、撮影者情報、タイトルの２つの項目を含む要約字幕データが字幕として表示される。
【０１０５】
地図Ｍ１０のように複数のビデオカメラ３０の映像が重なっている場合、ユーザが下側に位置する映像をクリックする等によって、表示順位設定部２１５は、下側に位置する映像を上側に位置させることができる。
【０１０６】
図１０Ｃにおいて、さらに、ユーザが地図の縮尺を２０万分の１に変更すると、表示パネル２１３１に縮尺２０万分の１の地図Ｍ２０が表示されている状態で、カメラ番号０１〜１０のビデオカメラ３０が地図Ｍ１０内に位置する。ここでは、地図Ｍ１０の中心位置は地図Ｍ２０の左方向へと変位されている。地図Ｍ２０には、カメラ映像Ｃｉ１〜Ｃｉ１０と、カメラ映像Ｃｉ１〜Ｃｉ１０の字幕ＣＳＴ１〜ＣＳＴ１０とが重畳されて表示されている。
【０１０７】
地図Ｍ２０に表示されているビデオカメラ３０の映像の数は、地図Ｍ１０に表示されているそれよりも多い。これに伴って、地図Ｍ２０において字幕ＣＳＴ１〜ＣＳＴ１０が表示されている領域は、地図Ｍ１０において字幕ＣＳＴ１〜ＣＳＴ６が表示されている領域よりも狭い。地図Ｍ２０における字幕ＣＳＴ１〜ＣＳＴ６は、地図Ｍ１０における字幕ＣＳＴ１〜ＣＳＴ６よりもテキストデータが削減された字幕である。
【０１０８】
表示パネル２１３１に縮尺２０万分の１の地図Ｍ２０が表示されている場合、例えば、要約度合を１０と設定し、タイトルである１つの項目を含む要約字幕データが字幕として表示される。
【０１０９】
地図Ｍ２０では、カメラ映像Ｃｉ１〜Ｃｉ１０の代わりに、それぞれのビデオカメラ３０を示すカメラ映像Ｃｉ１〜Ｃｉ１０よりも小さなアイコンを表示してもよい。ここでは、アイコンにカメラ番号を付与することによりビデオカメラ３０を識別できるようにしている。ここで、カメラ映像Ｃｉ１〜Ｃｉ１０の代わりに、アイコンを表示する場合には、各字幕を認識しやすいように各字幕をアイコンよりも大きく表示してもよい。
【０１１０】
また、カメラ映像を表示しない場合には、地図の縮尺が同じ場合（例えば、地図の縮尺が１０万分の１）であっても、カメラ映像を表示する場合よりも、カメラ映像の内容を補足して説明する必要がある。そこで、カメラ映像を表示しない場合には、カメラ映像を表示する場合よりも、要約字幕データが含むメタデータの項目数を増加させたり、要約字幕データの文字数を増加させたりする構成にしてもよい。
【０１１１】
即ち、カメラ映像を表示しない場合には、地図の縮尺が同じ場合であっても、カメラ映像を表示する場合よりも、要約度合を大きくする。例えば、カメラ映像を表示する場合であって、地図の縮尺を１０万分の１としたとき、要約度合を２０と設定し、撮影者情報、タイトルの２つの項目を含む要約字幕データが字幕として表示される。一方で、カメラ映像を表示しない場合であって、地図の縮尺を１０万分の１としたとき、要約度合を３０と設定し、撮影者情報、製作者情報、タイトルの３つの項目を含む要約字幕データが字幕として表示される。
【０１１２】
図１０Ａ〜図１０Ｃでは、字幕ＣＳＴ１〜ＣＳＴ１０をカメラ映像Ｃｉ１〜Ｃｉ１０に隣接するように表示している。図１１に示すように、地図Ｍ１及びＭ５の例えば右端部に字幕ＣＳＴ１〜ＣＳＴ３を表示する領域を設定し、字幕ＣＳＴ１〜ＣＳＴ３をカメラ映像Ｃｉ１〜Ｃｉ３と離隔させた状態で表示してもよい。地図Ｍ１０及びＭ２０においても同様である。
【０１１３】
また、図１０Ａ〜図１０Ｃのように、字幕ＣＳＴ１〜ＣＳＴ１０をカメラ映像Ｃｉ１〜Ｃｉ１０と隣り合うように外側に表示しつつ、図１１に示すように、地図Ｍ１及びＭ５の例えば右端部に字幕ＣＳＴ１〜ＣＳＴ３を表示する領域を設定し、字幕ＣＳＴ１〜ＣＳＴ３をカメラ映像Ｃｉ１〜Ｃｉ３と離隔させた状態で表示してもよい。この場合、カメラ映像と隣り合うように外側に表示する字幕要約データの要約度合と、カメラ映像と離隔させた状態で表示する字幕要約データの要約度合とを変えてもよい。
【０１１４】
以上のように、第２実施形態においては、図１０Ａ〜図１０Ｂで示したように、地図の縮尺に応じてカメラ映像の表示領域の大きさを変更することなく、字幕の表示領域の大きさを段階的に小さくして表示する字幕の種別を優先順位の低いものから段階的に表示しないようしている。これにより、第２実施形態によれば、地図上のどの位置で誰がどのような映像をどのような目的で撮影しているかを段階的に概念化して可視化することができる。
【０１１５】
また、第２実施形態においては、図１０Ｃで示したように、所定の縮尺になるとカメラ映像の代わりに簡易的なアイコンを表示して字幕の表示領域の大きさを直前の縮尺の字幕の表示領域の大きさよりも大きくしている。これにより、第２実施形態によれば、ビデオカメラ３０の映像の数が増加した場合でも、地図上のどの位置で誰がどのような映像をどのような目的で撮影しているかを字幕情報により補間的に可視化することができる。
【０１１６】
図１２Ａ〜図１２Ｃを用いて、地図の縮尺を変更した場合の表示状態の遷移の他の例を説明する。図１２Ａ〜図１２Ｃにおいては、地図Ｍ１〜Ｍ２０の全てで、各地図に表示されているビデオカメラ３０の映像の数に応じてカメラ映像の大きさを異ならせている。図１２Ａ〜図１２Ｃに示す例では、地図Ｍ２０に表示されているカメラ映像Ｃｉ１〜Ｃｉ１０を除き、各カメラ映像の内部に各字幕が表示されている。
【０１１７】
図１２Ａ〜図１２Ｃにおいても、図１０Ａ〜図１０Ｃと同様に各カメラ映像の外部に各カメラ映像と隣接させて各字幕を表示してもよいし、図１１と同様に各字幕を表示する領域を設定して、各字幕を各カメラ映像と離隔させた状態で表示してもよい。
【０１１８】
図１３は、地図内に表示されるカメラ映像の数である表示チャネル数に応じて要約度合を設定する場合の例を示している。図１３に示すように、表示チャネル数が１〜２、３〜５、６〜１０、１１〜２０、２１以上で、要約度合はそれぞれ１００、８０、４０、１０、５とされる。表示チャネル数が所定の数以上で要約度合を０とし、字幕を表示しないようにしてもよい。表示チャネル数が２１以上で要約度合を０としてもよい。
【０１１９】
図１４は、地図の縮尺に応じて要約度合を設定する場合の例を示している。図１４に示すように、地図の縮尺が１万分の１以下、１万分の１超で５万分の１以下、５万分の１超で１０万分の１以下、１０万分の１超で、要約度合はそれぞれ１００、７０、２０、１０とされる。同様に、地図の縮尺が所定の縮尺を超えたら、要約度合を０として字幕を表示しないようにしてもよい。
【０１２０】
図１５に示すフローチャートを用いて、第２実施形態の字幕生成装置の動作を説明する。図１５において、処理が開始されると、地図データ取得部２０９は、ステップＳ２０１にて、地図データを取得する。これと並行して、カメラ映像取得部２０２及びメタデータ抽出部２０３は、ステップＳ２０２にて、各ビデオカメラ３０から送信された映像データ及びメタデータを取得する。ステップＳ２０２は映像取得ステップである。
【０１２１】
表示領域内外判定部２０６は、ステップＳ２０３にて、表示部２１３（表示パネル２１３１）に表示される地図内に位置するビデオカメラ３０を検出する。要約度合設定部２０７は、ステップＳ２０４にて、表示部２１３に表示される地図内に位置するビデオカメラ３０の数に応じて要約度合を設定する。字幕要約部２０８は、ステップＳ２０５にて、メタデータに記述されたテキストデータを要約度合に応じて要約して要約字幕データを生成する。ステップＳ２０５は字幕要約ステップである。
【０１２２】
ステップＳ２０４及びＳ２０５と並行して、映像縮小部２１０は、ステップＳ２０６にて、表示部２１３に表示される地図内に位置するビデオカメラ３０から送信された映像データを縮小する。
【０１２３】
画像合成部２１２は、ステップＳ２０７にて、地図データ、縮小された映像データ、要約字幕データを画像合成する。表示部２１３は、ステップＳ２０８にて、合成画像を表示する。
【０１２４】
地図中心位置設定部２１６及び地図縮尺設定部２１７は、ステップＳ２０９にて、地図の中心位置または週尺が変更されたか否かを判定する。地図縮尺設定部２１７による地図の縮尺を設定する処理は、地図縮尺設定ステップである。地図の中心位置または週尺が変更されれば（YES）、ステップＳ２０１〜Ｓ２０９の処理が繰り返される。地図の中心位置または週尺が変更されなければ（NO）、ステップＳ２１０にて、地図表示装置２０は、操作部２１４によって地図表示終了の指示がなされたか否かを判定する。
【０１２５】
地図表示終了の指示がなされなければ（NO）、ステップＳ２０８〜Ｓ２１０の処理が繰り返される。地図表示終了の指示がなされれば（YES）、地図表示装置２０は処理を終了させる。
【０１２６】
図８に示す映像送受信システムにおいては、ビデオカメラ３０が動画像を地図表示装置２０に送信する場合を説明したが、ビデオカメラ３０が所定間隔で静止画像を地図表示装置２０に送信してもよい。この場合、ビデオカメラ３０が静止画像を撮影して地図表示装置２０に送信してもよいし、ビデオカメラ３０の代わりにスチルカメラが静止画像を撮影して地図表示装置２０に送信してもよい。即ち、カメラが被写体を撮影した映像が地図表示装置２０に送信されればよい。ここで、所定間隔は、例えば３秒であるとする。
【０１２７】
地図表示装置２０において、各地図に複数のカメラ映像が重畳されるとき、複数のカメラ映像を所定の時間ごとに順に表示して、複数のカメラ映像が同時に表示されないようにしてもよい。また、地図表示装置２０において、図１１に示すように、右端部に字幕と共にカメラ映像を表示する領域を設定してもよい。
【０１２８】
図９に示す地図表示装置２０の各部は、集積回路等のハードウェアで構成されていてもよいし、ソフトウェア（コンピュータプログラム）で構成されていてもよい。ハードウェアとソフトウェアとの使い分けは任意である。図１５に示すフローチャートは、第２実施形態の字幕生成プログラムがコンピュータに実行させる処理であってもよい。図９に示す地図表示装置２０は地図を見るためのソフトウェアであるブラウザによって構成することができる。
【０１２９】
同様に、字幕生成プログラムはネットワーク５０を介して地図表示装置２０に送信されてもよいし、非一時的な記憶媒体に記憶されて地図表示装置２０に提供されてもよい。
【０１３０】
＜第３実施形態＞
図１６は、第３実施形態の字幕生成装置を含んで構成される投稿動画像配信システムを示す。ネットワーク５０には、コンテンツサーバ６０と、コンピュータ７０とが接続されている。コンテンツサーバ６０は、投稿動画像を記憶する動画像記憶部６０１、投稿動画像のサムネイル画像を生成するサムネイル画像生成部６０２、各投稿動画像に付随するテキストデータを記憶するテキストデータ記憶部６０３を備える。
【０１３１】
また、コンテンツサーバ６０は、要約度合設定部６０４と、字幕要約部６０５を備える。
【０１３２】
テキストデータは、投稿動画像の内容の概略を記述する文字であってもよく、投稿動画像の内容を補足する文字であってもよく、投稿動画像に関連するコメントであってもよい。
【０１３３】
コンテンツサーバ６０が配信する投稿動画像または投稿動画像のサムネイル画像は、１または複数のチャネルの映像である。コンピュータ７０は、コンテンツサーバ６０が配信する投稿動画像またはサムネイル画像等を受信する。
【０１３４】
コンピュータ７０が備える記憶部７０１には、コンテンツサーバ６０が提供する投稿動画像を視聴するためのソフトウェアであるブラウザ７０２が記憶されている。コンピュータ７０は、ブラウザ７０２を実行させることによって、表示部７０３に投稿動画像を選択するためのサムネイル画像を表示させたり、サムネイル画像を選択することによって投稿動画像を表示させたりすることができる。
【０１３５】
図１７Ａは、コンピュータ７０が、コンテンツサーバ６０に、サイズの大きいサムネイル画像を表示させるように指示したときの表示部７０３の表示状態の一例を示している。投稿動画像００１のサムネイル画像Ｔｉ１に隣接して、サムネイル画像Ｔｉ１の字幕ＴＳＴ１が表示され、投稿動画像００２のサムネイル画像Ｔｉ２に隣接して、サムネイル画像Ｔｉ２の字幕ＴＳＴ２が表示されている。
【０１３６】
要約度合設定部６０４は、サイズの大きいサムネイル画像の表示指示に応答して、テキストデータの文字数を削減しないか文字数をさほど削減しない要約度合を設定する。字幕要約部６０５は、要約度合設定部６０４で設定された要約度合でテキストデータを要約して字幕ＴＳＴ１及びＴＳＴ２の要約字幕データを生成する。コンテンツサーバ６０は、サイズの大きいサムネイル画像Ｔｉ１及びＴｉ２の映像データと、字幕ＴＳＴ１及びＴＳＴ２の要約字幕データをコンピュータ７０へと配信する。
【０１３７】
図１７Ｂは、コンピュータ７０が、コンテンツサーバ６０に、サイズの小さいサムネイル画像を表示させるように指示したときの表示部７０３の表示状態の一例を示している。投稿動画像００１〜００９のサムネイル画像Ｔｉ１〜Ｔｉ９に隣接して字幕ＴＳＴ１〜ＴＳＴ９が表示されている。
【０１３８】
要約度合設定部６０４は、サイズの小さいサムネイル画像の表示指示に応答して、テキストデータの文字数を多く削減する要約度合を設定する。字幕要約部６０５は、要約度合設定部６０４で設定された要約度合でテキストデータを要約して字幕ＴＳＴ１〜ＴＳＴ９の要約字幕データを生成する。コンテンツサーバ６０は、サイズの小さいサムネイル画像Ｔｉ１〜Ｔｉ９の映像データと、字幕ＴＳＴ１〜ＴＳＴ９の要約字幕データをコンピュータ７０へと配信する。
【０１３９】
図１７Ａまたは図１７Ｂにおいて、いずれかのサムネイル画像が選択された投稿動画像の再生が指示されたら、コンテンツサーバ６０はコンピュータ７０に投稿動画像の動画像データを配信する。
【０１４０】
図１６に示す投稿動画像配信システムにおいては、要約度合設定部６０４及び字幕要約部６０５をコンテンツサーバ６０に設けているが、ブラウザ７０２に同様の機能を持たせて、図１７Ａ及び図１７Ｂの表示状態を実現することも可能である。
【０１４１】
以上のように、第１〜第３実施形態の字幕生成装置及び字幕生成プログラムによれば、表示部５、２１３、７０３に表示される１または複数の映像のチャネル数に応じた態様で字幕を生成することができる。第１〜第３実施形態の字幕生成装置を備えるか、第１〜第３実施形態の字幕生成プログラムを実行する映像表示装置１０、地図表示装置２０、投稿動画像配信システム（コンピュータ７０）によれば、映像のチャネル数が増加しても、ユーザは各チャネルの字幕を網羅的に把握すること可能となる。
【０１４２】
本発明は以上説明した第１〜第３実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【０１４３】
３，２０７，６０４  要約度合設定部
１０  映像表示装置
２０  地図表示装置
４０  地図提供サーバ
５０  ネットワーク
６０  コンテンツサーバ
７０  コンピュータ
２０６  表示領域内外判定部
２０８，４０３，６０５  字幕要約部
２１６  地図中心位置設定部
２１７  地図縮尺設定部
３０１〜３０ｎ  ビデオカメラ
４０２  音声認識部
【図１】
2019169928.tif 000003
【図２】
2019169928.tif 000004
【図３Ａ】
2019169928.tif 000005
【図３Ｂ】
2019169928.tif 000006
【図３Ｃ】
2019169928.tif 000007
【図４Ａ】
2019169928.tif 000008
【図４Ｂ】
2019169928.tif 000009
【図４Ｃ】
2019169928.tif 000010
【図５Ａ】
2019169928.tif 000011
【図５Ｂ】
2019169928.tif 000012
【図６Ａ】
2019169928.tif 000013
【図６Ｂ】
2019169928.tif 000014
【図７】
2019169928.tif 000015
【図８】
2019169928.tif 000016
【図９】
2019169928.tif 000017
【図１０Ａ】
2019169928.tif 000018
【図１０Ｂ】
2019169928.tif 000019
【図１０Ｃ】
2019169928.tif 000020
【図１１】
2019169928.tif 000021
【図１２Ａ】
2019169928.tif 000022
【図１２Ｂ】
2019169928.tif 000023
【図１２Ｃ】
2019169928.tif 000024
【図１３】
2019169928.tif 000025
【図１４】
2019169928.tif 000026
【図１５】
2019169928.tif 000027
【図１６】
2019169928.tif 000028
【図１７Ａ】
2019169928.tif 000029
【図１７Ｂ】
2019169928.tif 000030