(57)【特許請求の範囲】
【請求項１】
放送番組から音声と字幕をそれぞれ分離する情報分離手段と、
前記情報分離手段により分離された音声と該音声に対応する字幕の時間的ずれ幅を検出するずれ検出手段と、
前記ずれ検出手段により検出された時間的ずれ幅を、生映像における時間的ずれ幅の分布と録画映像における時間的ずれ幅の分布に基づいて予め設定された閾値と比較して、放送番組における生映像と録画映像の両方をそれぞれ、あるいは生映像と録画映像のいずれか一方を判定する判定手段を備えたことを特徴とする映像分類装置。
【請求項２】
放送番組における各ショットを検出するショット検出手段を備え、
前記判定手段は、放送番組における生映像と録画映像の両方をそれぞれ、あるいは生映像と録画映像のいずれか一方をショットごとに判定することを特徴とする請求項１に記載の映像分類装置。
【請求項３】
前記判定手段によるショットごとの判定結果を一覧表示する判定結果表示手段と、
前記判定結果表示手段の一覧表示上での利用者の操作指示に従って該操作指示に応じたショットの映像を選択して送出する選択手段を備えたことを特徴とする請求項２に記載の映像分類装置。
【請求項４】
前記判定手段は、少なくとも生映像を判定するものであり、
前記判定手段により生映像と判定されたショットを連結するショット結合手段を備えたことを特徴とする請求項２に記載の映像分類装置。
【請求項５】
前記判定手段は、少なくとも録画映像を判定するものであり、
前記判定手段により録画映像と判定されたショットを連結するショット結合手段を備えたことを特徴とする請求項２に記載の映像分類装置。
【請求項６】
前記判定手段は、生映像を判定するものであり、前記ずれ検出手段により検出された時間的ずれ幅が前記閾値を超えている場合に、生映像と判定することを特徴とする請求項１ないし５のいずれかに記載の映像分類装置。
【請求項７】
前記判定手段は、生映像と判定されなかった映像を録画映像と判定することを特徴とする請求項６に記載の映像分類装置。
【請求項８】
前記判定手段は、録画映像を判定するものであり、前記ずれ検出手段により検出された時間的ずれ幅が前記閾値以下である場合に、録画映像と判定することを特徴とする請求項１ないし５のいずれかに記載の映像分類装置。
【請求項９】
前記判定手段は、録画映像と判定されなかった映像を生映像と判定することを特徴とする請求項８に記載の映像分類装置。
【請求項１０】
放送番組から音声と字幕をそれぞれ分離する情報分離手段と前記情報分離手段により分離された音声と該音声に対応する字幕の時間的ずれ幅を検出するずれ検出手段と前記ずれ幅検出手段により検出された時間的ずれ幅を放送番組と共に送信する送信手段を備えた放送設備から送信された放送番組および時間的ずれ幅を受信する受信手段と、
前記ずれ検出手段により検出された時間的ずれ幅を、生映像における時間的ずれ幅の分布と録画映像における時間的ずれ幅の分布に基づいて予め設定された閾値と比較して、放送番組における生映像と録画映像の両方をそれぞれ、あるいは生映像と録画映像のいずれか一方を判定する判定手段を備えたことを特徴とする受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像分類装置および受信装置に関し、特に、放送番組を生映像と録画映像に、少ない処理量でかつ精度よく分類することができる映像分類装置および受信装置に関する。
【背景技術】
【０００２】
放送番組、特にニュース番組は、アナウンサなどのリアルタイムに放送される生映像と事前に用意された録画済み映像(以下、録画映像と称する)を組み合わせて構成される。放送番組をリアルタイムに放送される生映像と事前に用意された録画映像に分類することは、放送番組の柔軟な視聴を可能にするために有用である。
【０００３】
例えば、アナウンサなどのリアルタイムに放送される生映像は、一般的に、話題となっている内容を概要的に提供する情報部分であるので、放送される概要的な情報を視聴するのに有用であり、録画映像は、インタビューなどの事前取材を含む、話題となっている内容を詳細に提供する情報部分であるので、話題に関する詳細情報を視聴するのに有用である。また、生映像は、直近の情報を提供し、録画映像は、ある程度のタイムラグを持った情報を提供することが多いので、直近あるいはそれ以外の情報を分けて効率的に視聴しようとする点からも、放送番組を生映像と録画映像を分類することは有用である。
【０００４】
映像の分類に関しては、特許文献１に、家庭用ビデオデッキにおけるコマーシャルオートカットオフ録画装置が記載され、特許文献２に、動画像データの分類装置が記載され、特許文献３に、動画像の特徴場面検出装置が記載されている。
【０００５】
特許文献１のコマーシャルオートカットオフ録画装置では、音声多重放送の信号を基にコマーシャルを検出してカットする。特許文献２の動画像データの分類装置では、画像および音声情報をもとにシーンの種別を分類する。また、特許文献３の動画像の特徴場面検出装置では、画像情報をもとシーンの分野、例えばニュース、スポーツなどを判定する。
【０００６】
本発明では、字幕と音声との間の時間的ずれ幅を利用するが、字幕と音声との間の時間的ずれ幅の算出に関しては、特許文献４に、字幕スーパ・タイミング装置および字幕スーパ処理装置が記載され、特許文献５に、情報処理装置が記載されている。
【特許文献１】特開昭６０−１４９２７７号公報
【特許文献２】特開２００４−２６０７３４号公報
【特許文献３】特開平９−６５２８７号公報
【特許文献４】特開平１０−１３６２６０号公報
【特許文献５】特開２００５−２２９４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来、特許文献１−３で提案されている映像の分類に関する技術は、映像のシーンの特徴を抽出し、抽出された特徴に基づいて各シーンを分類するものであり、放送番組を生映像と録画映像に分類するというものではない。また、放送番組を生映像と録画映像に分類するために利用することは想定されていない。さらに、映像のシーンの特徴を抽出するという処理は、処理量が多く、精度もよくない。
【０００８】
また、特許文献４，５で提案されている字幕と音声との間の時間的ずれ幅の算出に関する技術は、いずれも、字幕と音声との間の時間的ずれ幅を推定し、映像再生時の両者のずれを補正するために用いられるにすぎない。
【０００９】
本発明の目的は、放送番組を生映像と録画映像に、少ない処理量で、かつ精度よく分類することができる映像分類装置および受信装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明に係る映像分類装置は、放送番組から音声と字幕をそれぞれ分離する情報分離手段と、前記情報分離手段により分離された音声と該音声に対応する字幕の時間的ずれ幅を検出するずれ検出手段と、前記ずれ検出手段により検出された時間的ずれ幅を、生映像における時間的ずれ幅の分布と録画映像における時間的ずれ幅の分布に基づいて予め設定された閾値と比較して、放送番組における生映像と録画映像の両方をそれぞれ、あるいは生映像と録画映像のいずれか一方を判定する判定手段を備えた点に第１の特徴がある。
【００１１】
また、本発明は、放送番組における各ショットを検出するショット検出手段を備え、前記判定手段は、放送番組における生映像と録画映像の両方をそれぞれ、あるいは生映像と録画映像のいずれか一方をショットごとに判定する点に第２の特徴がある。
【００１２】
また、本発明は、前記判定手段によるショットごとの判定結果を一覧表示する判定結果表示手段と、前記判定結果表示手段の一覧表示上での利用者の操作指示に従って該操作指示に応じたショットの映像を選択して送出する選択手段を備えた点に第３の特徴がある。
【００１３】
また、本発明は、前記判定手段が、少なくとも生映像を判定するものであり、前記判定手段により生映像と判定されたショットを連結するショット結合手段を備えた点に第４の特徴がある。
【００１４】
また、本発明は、前記判定手段が、少なくとも録画映像を判定するものであり、前記判定手段により録画映像と判定されたショットを連結するショット結合手段を備えた点に第５の特徴がある。
【００１５】
また、本発明は、前記判定手段が、生映像を判定するものであり、前記ずれ検出手段により検出された時間的ずれ幅が前記閾値を超えている場合に、生映像と判定する点に第６の特徴がある。
【００１６】
また、本発明は、前記判定手段が、生映像と判定されなかった映像を録画映像と判定する点に第７の特徴がある。
【００１７】
また、本発明は、前記判定手段が、録画映像を判定するものであり、前記ずれ検出手段により検出された時間的ずれ幅が前記閾値以下である場合に、録画映像と判定する点に第８の特徴がある。
【００１８】
また、本発明は、前記判定手段が、録画映像と判定されなかった映像を生映像と判定する点に第９の特徴がある。
【００２１】
本発明に係る受信装置は、放送番組から音声と字幕をそれぞれ分離する情報分離手段と、前記情報分離手段により分離された音声と該音声に対応する字幕の時間的ずれ幅を検出するずれ検出手段と、前記ずれ幅検出手段により検出された時間的ずれ幅を放送番組と共に送信する送信手段を備えた放送設備から送信された放送番組および時間的ずれ幅を受信する受信手段と、前記ずれ検出手段により検出された時間的ずれ幅を、生映像における時間的ずれ幅の分布と録画映像における時間的ずれ幅の分布に基づいて予め設定された閾値と比較して、放送番組における生映像と録画映像の両方をそれぞれ、あるいは生映像と録画映像のいずれか一方を判定する判定手段を備えた点に特徴がある。
【発明の効果】
【００２２】
本発明によれば、放送番組を生映像と録画映像に、少ない処理量で、かつ精度よく分類することができる。また、放送番組における各ショットを検出するショット検出手段を備えることにより、ショット毎の分類も可能となる。また、放送番組における生映像部分や録画映像部分を選択的に視聴することも可能となる。さらに、放送設備側に情報分離手段とずれ検出手段を設け、受信装置側に判定手段を設ければ、受信装置側で音声と字幕のずれ幅を検出する必要がないので、各受信装置に個別にずれ検出手段を設ける必要がなくなり、効率的な全体システムを構築できる。
【発明を実施するための最良の形態】
【００２３】
まず、本発明の原理を説明する。近年、放送番組に対して字幕を付与することが推奨されており、また、地上波デジタル放送が開始されるに伴って字幕付き放送番組を容易に視聴することが可能となった。これにより字幕付き放送番組が増加する傾向にある。
【００２４】
放送番組に付与される字幕は、映像化される出演者の発声と同期していることが望ましい。録画映像に対しては、放送する前に出演者の発声に同期して該発声の内容を表す字幕を付与できるので、出演者の発声と字幕とに時間的ずれなく放送されることが多い。図１は、この状態を示す。例えば、出演者が「こんにちは。朝のニュースです。・・・」と発声した場合、その発声と同期して該発声の内容が文字化された字幕が出力される。このように、放送番組が録画映像である場合に、出力される音声と字幕との時間的ずれは小さい。
【００２５】
一方、ニュースを中心とした生放送に字幕を付与する場合、一般的には、出演者の発声を視聴してその内容を文字化し、それを字幕として出力し、映像に付与するという手順が取られる。この場合、出演者の発声の内容を文字化して字幕を作成するのに時間がかかるため、字幕が出力される時刻は、出演者の発声よりも遅延する。このため、出演者の発声と字幕とは比較的大きな時間的ずれを持って放送されることになる。図２は、この状態を示す。例えば、出演者が「こんにちは。朝のニュースです。・・・」と発声した場合、その発声内容を文字化するの要する時間分だけ遅延されて字幕が出力される。このように、放送番組が生映像である場合に、出力される音声と字幕との時間的ずれは大きい。
【００２６】
本発明は、録画映像と生映像における音声と字幕との間の時間的ずれに着目し、この時間的ずれの差異に基づいて放送番組を録画映像と生映像に分類する。以上が本発明の原理である。  
【００２７】
上記の原理に従って構成した本発明の実施形態を説明する。図３は、本発明に係る映像分類装置の第１実施形態を示すブロック図である。第１実施形態の映像分類装置は、情報分離部31、ずれ検出部32および判定部33を備える。
【００２８】
情報分離部31には、放送番組が入力される。放送番組は、映像、音声および字幕を含む。放送番組において、音声と該音声の内容が文字化された字幕とは、録画映像では同期しており、生映像では、音声に対して字幕が遅れを持っている。
【００２９】
情報分離部31は、入力される放送番組から音声と字幕を別々に分離し、ずれ検出部32は、情報分離部31で分離された音声と字幕の時間的ずれ幅を検出する。時間的ずれ幅の検出には、例えば、特開2004-309504号公報に記載されているワードスポッティングの技術を利用できる。もちろん、時間的ずれ幅の検出は、ワードスポッティングの技術に限らず、他の手法によっても可能であり、本発明は、時間的ずれ幅の検出の手法が限定されるものではない。ずれ検出部32については、後で具体的に説明する。なお、時間的ずれ幅を、以下では単にずれ幅と称する。
【００３０】
判定部33は、ずれ検出部32で検出された音声と字幕のずれ幅に従って、入力された放送番組が録画映像か生映像かを判定する。判定部33についても、後で具体的に説明する。判定部33による判定結果を用いて放送番組を録画映像と生映像に分類することができる。
【００３１】
次に、ずれ検出部32について説明する。図４は、ずれ検出部の一例を示すブロック図である。本例のずれ検出部は、音声に対する分析部41、字幕に対する音素表記生成部42、音響モデル格納部43、標準パタン生成部44、照合部45およびずれ幅検出部46を備える。
【００３２】
分析部41は、情報分離部31(図３)で分離されて入力された音声の音響分析を行い、MFCCなどの音声の特徴を表す音響特徴量に変換する。この音響特徴量は、照合部45に送られる。一方、音素表記生成部42は、情報分離部31で分離されて入力された字幕が変換された音素表記(音素列)を送出するとともに、各字幕の開始時刻、終了時刻あるいは開始時刻と終了時刻の中間の時刻などの字幕時刻情報を送出する。
【００３３】
図５は、音素表記生成部42での処理を示す模式図である。音素列生成部42は、漢字仮名混じり文により記述されている字幕文字列の形態素解析を行い、それを品詞に分割すると共に読みを表す仮名文字列に変換し、さらに、仮名文字から発音記号への変換規則を記載した変換表を参照し、仮名文字列を音素列に変換する
【００３４】
例えば、漢字仮名混じり文により記述されている字幕文字列が「７時のニュースです」の場合、音素表記生成部42は、まず、形態素解析により「７」,「時」,「の」,「ニュース」,「です」の各品詞に分割する。次に、これらを、読みを表す仮名文字列「しち」,「じ」,「の」,「にゅーす」,「です」に変換し、さらに、仮名文字から発音記号への変換規則を記載した変換表を参照して、仮名文字列を音素列/sh/ /i/ /ch/ /i/ /j/ /i/ /n/ /o/ /ny/ /uu/ /s/ /u/ /d/ /e/ /s/ /u/に変換する。音素表記生成部42は、以上のようにして生成した音素列を標準パタン生成部44に送出する。また、音素表記生成部42は、各字幕の開始時刻、終了時刻あるいは開始時刻と終了時刻の中間の時刻などを検出し、それを字幕時刻情報としてずれ幅検出部46に送出する。
【００３５】
音響モデル格納部43は、日本語音声を構成する単位である音素ごとに用意したHMMなどの標準パタンを格納している。この標準パタンを日本語単語・文章を構成する音素列に即して接続することで任意の日本語単語・文章に対応する標準パタンを作成することができる。標準パタンの生成については、例えば、「鹿野ら著：「IT Text 音声認識システム」オーム社」に記載されている。
【００３６】
標準パタン生成部44は、音素表記生成部42からの音素列の前後に、任意の日本語音声を受理可能なように記述した日本語連続音節認識文法(ガーベージ文法)を接続したネットワークを作成し、ネットワーク上に出現する音素列に即して音響モデル格納部43に格納された各音素の標準パタンを結合することにより、字幕位置検出用標準パタンを作成する。
【００３７】
図６は、字幕位置検出用標準パタンの具体例を示し、ここでは、字幕音素列(/sh/ /i/ /ch/ /i/ /j/ /i/ ・・・ /d/ /e/ /s/ /u)の前後に、子音/b/,/d/,・・・と母音/a/,/i/,・・・の接続関係を規定する日本語連続音節認識文法(ガーベージ文法)が接続された字幕位置検出用標準パタンを示している。
【００３８】
照合部45は、分析部41から送出される音響特徴量と標準パタン生成部44から送出される字幕位置検出用標準パタンを、例えばViterbiアルゴリズムを用いて照合する。この照合の結果、両者の照合スコアおよび照合スコアを最大とする、音声区間と標準パタンの対応関係が得られる。
【００３９】
図７は、照合部45での処理を示す模式図である。照合部45は、音響特徴量と標準パタンの照合し、音声における字幕対応区間とその前後のガーベージ文法対応区間を判定する。この照合結果を基に、ガーベージ文法対応区間と字幕対応区間の境界、すなわち字幕に対応する音声区間の開始時刻および終了時刻を算出することができる。音響特徴量と標準パタンの照合については、例えば、中川聖一著「確率モデルによる音声認識(２版)」(社)電子情報通信学会，平成元年8月10日発行に記載されている。
【００４０】
図８は、ずれ幅検出部46での処理を示す模式図である。ずれ幅検出部46は、字幕と該字幕に対応する音声区間との対応関係を元に、音声と字幕のずれ幅を検出する。ずれ幅としては、(1)字幕の出力開始時刻と該字幕に対応する音声区間の開始時刻の時間差(ずれ幅1)、(2)字幕の出力終了時刻と該字幕に対応する音声区間の終了時刻の時間差(ずれ幅2)、(3)字幕の出力開始時刻、終了時刻の中間点と、該字幕に対応する音声区間の開始時刻、終了時刻の中間点の時間差(ずれ幅3)などを用いることができる。
【００４１】
次に、判定部33について説明する。判定部33は、ずれ検出部32から送出されるずれ幅の大小に基づいて、放送番組が生映像であるか録画映像であるかを判定する。具体的には、放送番組全体について、ずれ検出部32から送出されるずれ幅の平均値を算出し、以下の基準(1)〜(4)のいずれか(組み合わせも可)に従って、放送番組が生映像であるか録画映像であるかを判定する。なお、基準(2) によれば、字幕がない放送番組が録画映像と判定され、基準(4)によれば、字幕がない放送番組が生映像と判定されることになる。
(1)ずれ幅の平均値＞閾値の場合、生映像と判定
(2)ずれ幅の平均値＞閾値の場合、生映像と判定、それ以外は録画映像と判定
(3)ずれ幅の平均値＜閾値の場合、録画映像と判定
(4)ずれ幅の平均値＜閾値の場合、録画映像と判定、それ以外は生映像と判定
【００４２】
判定部33で用いる閾値は、生映像と録画映像それぞれにおけるずれ幅の分布から設定できる。例えば、図９に示すように、事前に大量の映像を基に、生映像と録画映像におけるずれ幅の分布を表す正規分布と推定し、両者の確率が等しくなるずれ幅に閾値を設定するといった手法を採用できる。
【００４３】
図１０は、本発明に係る映像分類装置の第２実施形態を示すブロック図である。図１０において、図３と同一あるいは同等部分には同じ符号を付している。第２実施形態の映像分類装置は、放送番組における各ショットごとに生映像か録画映像かを判定可能にしたものであり、第１実施形態の構成(情報分離部31、ずれ検出部32および判定部33)に加えて、ショット検出部101を備える。情報分離部31、ずれ検出部32および判定部33での処理は、第１実施形態と同様である。
【００４４】
ショット検出部101は、放送番組を複数のショットに分割し、各ショットの開始時点と終了点を算出して判定部33に送出する。判定部33は、各ショット内に開始時刻が含まれる全ての音声区間を対象に、音声区間の開始時刻と字幕の出力開始時刻のずれ幅の平均を算出し、その大小に基づいて、各ショットが生映像か録画映像かを判定する。放送番組からショットを検出する技術は公知であり、本発明はショット検出の具体的技術を特徴とするものでもないので、説明を省略するが、例えば、特開2007-142633号公報に記載されているショット境界検出の技術を利用できる。
【００４５】
図１１は、本発明に係る映像分類装置の第３実施形態を示すブロック図である。図１１において、図１０と同一あるいは同等部分には同じ符号を付している。第３実施形態の映像分類装置は、放送番組の各ショットが生映像か録画映像かの判定結果を一覧表示させ、この一覧表示から利用者が所望の映像を選択して視聴できるようにしたものであり、第２実施形態の構成(情報分離部31、ずれ検出部32、判定部33およびショット検出部101)に加えて、判定結果表示部111、選択部112および映像表示部113を備える。情報分離部31、ずれ検出部32、判定部33およびショット検出部101での処理は、第２実施形態と同様である。
【００４６】
判定結果表示部111は、判定部33による各ショットについての判定結果の一覧を映像選択表示画面として表示する。字幕の内容を解析し、この解析結果を基づいて要約映像を生成する技術は、例えば、特開2004-328478号公報や特開平11-331761号公報に記載されており、このような技術を、判定部33での判定結果一覧を映像選択表示画面として表示するために利用することができる。
【００４７】
図１２は、ショット列および映像選択表示画面の例を模式的に示す図である。同図は、ショット1(生映像),ショット2(録画映像),ショット3(生映像),ショット4(録画映像)のショット列に対して各ショットの先頭フレームの画像を選択用画像として一覧表示させた例である。なお、選択用画像に付随させて生映像か録画映像かの区別を表示させることもできる。
【００４８】
選択部112は、利用者の操作で指示されたショットを選択して映像表示部113に送出する。放送番組における各ショットは、当該ショットがどの時刻からどの時刻までの映像に相当するかという時刻情報を基に選択できる。図１２の例の場合、各ショットの選択用画像に対応して表示されている再生ボタンを操作(クリック)すると、該選択用画像を含むショットが選択部112で選択されて映像表示部113で表示される。これにより、利用者は、生映像か録画映像かの情報を基に所望の場面を選択して視聴できる。なお、判定結果表示部111と映像表示部113の表示画面は、物理的には１つのディスプレイで兼用でき、この場合、選択用画像が小さく表示され、選択されたショットの映像が大きく表示される。
【００４９】
図１３は、本発明に係る映像分類装置の第４実施形態を示すブロック図である。図１３において、図１１と同一あるいは同等部分には同じ符号を付している。第４実施形態の映像分類装置は、放送番組における生映像あるいは録画映像のショットを連続して視聴できるようにしたものであり、第２実施形態の構成(情報分離部31、ずれ検出部32、判定部33およびショット検出部101)に加えて、ショット結合部131および映像表示部113を備える。情報分離部31、ずれ検出部32、判定部33およびショット検出部101での処理は、第２実施形態と同様である。
【００５０】
ショット結合部131は、放送番組の各ショットが生映像か録画映像かの判定結果に基づいて、放送番組から生映像あるいは録画映像と判定されたショットを抽出し、連結して新たな閲覧用生映像あるいは閲覧用録画映像を作成する。放送番組における各ショットは、当該ショットがどの時刻からどの時刻までの映像に相当するかという時刻情報を基に抽出できる。映像表示部113は、ショット結合部131により作成された映像を再生する。これにより、利用者は、生映像あるいは録画映像を連続的に視聴できる。なお、ショット結合部113から映像表示部113に送出される映像を利用者が指定可能にしてもよい。
【００５１】
図１４は、ショット列および閲覧用生映像の例を模式的に示す図である。同図は、ショット1(生映像),ショット2(録画映像),ショット3(生映像),ショット4(録画映像)のショット列に対して生映像のショット1,3を連結して閲覧用生映像とした例である。
【００５２】
図１５は、ショット列および閲覧用録画映像の例を模式的に示す図である。同図は、ショット1(生映像),ショット2(録画映像),ショット3(生映像),ショット4(録画映像)のショット列に対して録画映像のショット2,4を連結して閲覧用録画映像とした例である。
【００５３】
図１６は、本発明に係る受信装置を示すブロック図である。図１６において、図３と同一あるいは同等部分には同じ符号を付している。本構成は、放送設備(中継設備を含む)側で音声と字幕のずれ幅を検出し、受信側で放送番組が生映像か録画映像かを判定するようにしたものであり、放送設備は、情報分離部31、ずれ検出部32および送信部161を備える。また、受信側(受信装置)は、受信部162および判定部33を備える。
【００５４】
放送設備側では、第１実施形態と同様に、情報分離部31およびずれ検出部32により音声と字幕のずれ幅を検出する。そして、放送番組(映像,音声,字幕)と共にずれ幅を送信部162より送信する。受信側では、送信側から送信される情報を受信部162で受信し、第１あるいは第２実施形態の判定部33と同様に、判定部33で放送番組の生映像と録画映像を判定する。
【００５５】
このように、放送設備側で音声と字幕のずれ幅を検出し、その情報を受信側に送信するので、各受信側で個別に音声と字幕のずれ幅を検出する必要がない。したがって、本構成は、効率の面で優れている。
【００５６】
以上実施形態を説明したが、本発明は、上記実施形態に限定させるものではなく、各請求項の記載で限定される事項の範囲内において変形された種々の形態も含む。
【図面の簡単な説明】
【００５７】
【図１】放送番組において出演者の発声と字幕とに時間的ずれない状態の説明図である。
【図２】放送番組において出演者の発声と字幕とに時間的ずれある状態の説明図である。
【図３】本発明に係る映像分類装置の第１実施形態を示すブロック図である。
【図４】ずれ検出部の一例を示すブロック図である。
【図５】音素表記生成部での処理を示す模式図である。
【図６】字幕位置検出用標準パタンの具体例を示す説明図である。
【図７】照合部での処理を示す模式図である。
【図８】ずれ幅検出部での処理を示す模式図である。
【図９】判定部で用いる閾値の設定の説明図である。
【図１０】本発明に係る映像分類装置の第２実施形態を示すブロック図である。
【図１１】本発明に係る映像分類装置の第３実施形態を示すブロック図である。
【図１２】ショット列および映像選択表示画面の例を模式的に示す図である。
【図１３】本発明に係る映像分類装置の第４実施形態を示すブロック図である。
【図１４】ショット列および閲覧用生映像の例を模式的に示す図である。
【図１５】ショット列および閲覧用録画映像の例を模式的に示す図である。
【図１６】本発明に係る本発明に係る受信装置を示すブロック図である。
【符号の説明】
【００５８】
31・・・情報分離部、32・・・ずれ検出部、33・・・判定部、41・・・分析部、42・・・音素表記生成部、43・・・音響モデル格納部、44・・・標準パタン生成部、45・・・照合部、46・・・ずれ幅検出部、101・・・ショット検出部、111・・・判定結果表示部、112・・・選択部、113・・・映像表示部、131・・・ショット結合部、161・・・送信部、162・・・受信部
【図１】
0004854030.tif 000002
【図２】
0004854030.tif 000003
【図３】
0004854030.tif 000004
【図４】
0004854030.tif 000005
【図５】
0004854030.tif 000006
【図６】
0004854030.tif 000007
【図７】
0004854030.tif 000008
【図８】
0004854030.tif 000009
【図９】
0004854030.tif 000010
【図１０】
0004854030.tif 000011
【図１１】
0004854030.tif 000012
【図１３】
0004854030.tif 000013
【図１６】
0004854030.tif 000014
【図１２】
0004854030.tif 000015
【図１４】
0004854030.tif 000016
【図１５】
0004854030.tif 000017