(57)【要約】【課題】  配信された多数の映像コンテンツを対象として利用者に対して有用な映像コンテンツを、迅速かつ適切に供給することができる映像情報提供システムを提供する。【解決手段】  配信された映像コンテンツの構成要素に基づき、同一の構成要素の出現頻度を判断する構成要素出現頻度判断手段と、構成要素出現頻度判断手段による判断に基づき、出現頻度が所定値以上の場合に構成要素が含まれる映像コンテンツを抽出する映像コンテンツ抽出手段と、映像コンテンツ抽出手段により抽出された映像を視聴者に提供する映像コンテンツ提供手段とを備える。【選択図】  図１
2019213038.tif 000002
【特許請求の範囲】
【請求項１】
配信された映像コンテンツの構成要素に基づき、同一の構成要素の出現頻度を判断する構成要素出現頻度判断手段と、前記構成要素出現頻度判断手段による判断に基づき、出現頻度が所定値以上の場合に前記構成要素が含まれる映像コンテンツを抽出する映像コンテンツ抽出手段と、前記映像コンテンツ抽出手段により抽出された映像を視聴者に提供する映像コンテンツ提供手段とを備えることを特徴とする映像情報提供システム。
【請求項２】
前記構成要素出現頻度判断手段は視聴者が登録した視聴希望に基づき前記構成要素の出現頻度を判断することを特徴とする請求項1記載の映像情報提供システム。
【請求項３】
前記構成要素は、文字、音声、前記映像コンテンツのテーマとなる映像対象物、登場人物又は映像対象物の背景であることを特徴とする請求項１に記載の映像情報提供システム。
【請求項４】
前記構成要素出現頻度判断手段は、映像画面内に文字により表示されたタイトル部を参照して構成要素の出現頻度を判断することを特徴とする請求項１、請求項２又は請求項３のいずれか１項に記載の映像情報提供システム。
【請求項５】
前記映像コンテンツは、電気通信回線を介してサーバから配信されることを特徴とする請求項１、請求項２、請求項３又は請求項４のいずれか１項に記載の映像情報提供システム。
【請求項６】
前記映像コンテンツは、電気通信回線を介して放送局から配信されることを特徴とする請求項１、請求項２、請求項３又は請求項４のいずれか１項に記載の映像情報提供システム。
【請求項７】
前記映像コンテンツについての各ビデオ信号から抽出した前記映像コンテンツにおける音声データ又は映像データをテキスト化して要約を作成する要約作成手段と、
前記要約作成手段で作成した要約の蓄積結果に基づいて最適な条件を学習しつつ、前記複数の映像コンテンツに対して前記要約に含まれる一つ以上の所定の条件に特化した重み付けを付与する重み付け付与手段とを備え、構成要素出現頻度判断手段は前記要約に基づき構成要素の出現頻度を判断することを特徴とする請求項１記載の映像情報提供システム。
【請求項８】
前記重み付け付与手段は、前記複数の映像コンテンツに含まれる音声データ又は映像データから重複するテキストを参照したうえで、その参照結果が所定値以上である場合に、そのテキストを前記所定の条件に合致した重要テキストであると判定して重み付けを付与することを特徴とする請求項７に記載の映像情報提供システム。
【請求項９】
前記重み付け付与手段は、予め設定された期間内における複数映像コンテンツを対象として重要テキストであるか否かを判定することを特徴とする請求項８に記載の映像情報提供システム。
【請求項１０】
前記重み付け付与手段は、新たな映像コンテンツを対象として、前記重要テキストを含む映像コンテンツであると判定した場合には、当該映像コンテンツの録画を開始することを特徴とする請求項８又は請求項９のいずれか１項に記載の映像情報提供システム。  
【請求項１１】
前記重み付け付与手段は、前記複数の映像コンテンツの前記音声データ又は前記映像データの少なくとも一方に含まれるテキストから特定の人・物を対象として、その出現頻度からＣＭ換算値を算出することを特徴とする請求項７に記載の映像情報提供システム。
【請求項１２】
前記重み付け付与手段は、前記複数の映像コンテンツの前記音声データ又は前記映像データの少なくとも一方に含まれるテキストから特定の法人名を対象とすることを特徴とする請求項７に記載の映像情報提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像情報提供システムに関し、特に、ＴＶ及びウェブに出現する映像コンテンツの出現頻度を判断し、出現頻度が高い映像コンテンツを適時にユーザーに提供する映像情報提供システムに関する。
【背景技術】
【０００２】
現在、多種多様な大量の映像情報がＴＶ及びウェブを介して視聴者、ユーザーに継続的に配信されている。このように２４時間、随時、自動的に提供されている大量の映像情報の中から、視聴者及びユーザーが自分に有用な映像コンテンツを適切、適時に抽出することは困難な状況になりつつある。
【０００３】
即ち、多忙な現代人は、従来のように、ＴＶ受像機の前において所定時間に亘って放送局から配信されてくる複数の番組、大量の映像情報を全て視認し、その中から自分に必要な映像コンテンツ、情報を入手することが次第に不可能となっている状況がある。
【０００４】
また、ウェブからの情報の入手に関しても同様の事情がある。即ち、ウェブから必要な情報を入手しようとする場合には、Ｇｏｏｇｌｅ（登録商標）等のインターネット検索エンジンを利用し、キーワード検索により情報を入手するが、キーワード検索により検索される情報には、いわゆる「ノイズ」と称される、希望する情報に類似する情報までもが大量に抽出される。
【０００５】
従って、ユーザーは、検索エンジンを使用した場合であっても、大量の関連情報の中から、自らが希望する情報をさらに抽出する必要があり、検索作業がなお煩雑である、という不具合があった。
【０００６】
ところで、従来、例えば、映像コンテンツとしてのテレビ放映等で出力している映像の中から、ある期間において予め登録した映像と類似する映像を探索する技術が知られている。
【０００７】
このような探索技術は、例えば、テレビ放映信号の中から特定のタイトルロールを検出してリアルタイム録画の開始・停止や、異なる時間・放送局で放送された同一ニュース素材を検出して映像の構造解析を行う等の技術に用いられている（例えば、特許文献１参照）。
【０００８】
また、このような探索技術は、テレビ放映に限定されず、例えば、インターネット回線を通じて受信した映像コンテンツ等の配信データを対象とすることも可能である（例えば、特許文献２参照）。
【０００９】
さらに、このような探索技術は、映像に限定されず、例えば、テキストへの対応も可能である。具体的には、映像コンテンツに含まれる字幕テキストの他、放送番組のコーナーごとの放送開始時刻、放送終了時刻、出演者、及び、コーナーの内容の要約等のメタデータを、放送番組の終了後に配信する有料サービス（番組メタデータサービスとも称される）のサービス提供者が提供するメタデータや、ユーザーがキーボード等を操作することによって入力する、映像コンテンツを説明するテキスト等を採用することができる（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１０−２６２４１３号公報
【特許文献２】特開２０１２−０３８２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、これらの技術は、例えば、一つの番組や映像コンテンツを対象としており、上記のような、視聴者やユーザーが、ＴＶにおいて提供されている全番組の中から重要度が高い、又は関心度が高い、有用な映像コンテンツを時間効率的に取得したい、という要請、及び、ウェブにおいてアップされている全映像コンテンツの中から重要な又は関心度の高い、有用な映像コンテンツを時間効率的に取得したい、という要請に応えられるものではなかった。
【００１２】
本発明の課題は、上述のような課題を解決するために、配信された多数の映像コンテンツの中から利用者にとって有用な映像コンテンツを、迅速かつ適切に供給することができる映像情報提供システムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明に係る映像情報提供システムは、上記目的を達成のため、配信された映像コンテンツの構成要素に基づき、同一の構成要素の出現頻度を判断する構成要素出現頻度判断手段と、前記構成要素出現頻度判断手段による判断に基づき、出現頻度が所定値以上の場合に前記構成要素が含まれる映像コンテンツを抽出する映像コンテンツ抽出手段と、前記映像コンテンツ抽出手段により抽出された映像を視聴者に提供する映像コンテンツ提供手段とを備える。
【００１４】
配信された映像コンテンツは、構成要素出現頻度判断手段により、映像コンテンツに含まれる構成要素が解析されて、過去に蓄積した映像コンテンツとの対比がされることにより同一の構成要素の出現頻度が判断される。ここで上記映像コンテンツは動画が主体となるが静止画も含まれる。また、動画の中に存在する映像構成要素としての音声やテキストも判断対象となる。
【００１５】
そして、構成要素出現頻度判断手段により所定の構成要素の出現頻度が所定期間において所定値に達したと判断された場合には、映像コンテンツ抽出手段によりその構成要素を含む映像コンテンツが、蓄積された多数の映像コンテンツから抽出される。
【００１６】
その後、映像コンテンツ提供手段により抽出された映像コンテンツは視聴者に提供される。この場合の映像コンテンツの提供には、映像コンテンツの表示による提供のみならず、映像コンテンツの記録・配信、その他の出力の態様が含まれる。
【００１７】
この場合、構成要素出現頻度判断手段及び映像コンテンツ抽出手段には、ＡＩ（人工知能：artificial intelligence）が使用され、高速でのデータ処理が行われる。
【００１８】
請求項２記載の発明にあっては、前記構成要素出現頻度判断手段は視聴者が登録した視聴希望に基づき前記構成要素の出現頻度を判断することを特徴とする。
【００１９】
従って、本システムのユーザーである視聴者は、自身が視聴を希望する映像、映像の分類、種類、ジャンル等を適宜の指定範囲において登録することができ、前記構成要素出現頻度判断手段はその希望に基づき構成要素の出現頻度の判断を行う。
【００２０】
請求項３記載の発明は、前記構成要素は、文字、音声、前記映像コンテンツのテーマとなる映像対象物、登場人物又は映像対象物の背景であることを特徴とする。
【００２１】
動画映像の場合に、構成要素出現頻度判断手段が特定の映像コンテンツ内の構成要素をいかに認識、特定するか、に関しては、「文字、音声、前記映像コンテンツのテーマとなる映像対象物、登場人物又は映像対象物の背景」の観点から行われる。
【００２２】
この場合、「文字」とは動画に現れるテロップ等の文字であり、いわゆる文字認識技術に基づき行われ、形態素解析技術が使用される。
【００２３】
また、「音声」とは、動画等に含まれる多様な音や人の声であり、背景音、テーマソング、登場人物の話し声、効果音等が含まれる。必要な場合には、その多様な音声の中から、当該映像のテーマとなる話題に関する特定の登場人物の話し声のみを抽出して構成要素出現頻度判断手段により出現頻度が判断される。
【００２４】
この場合、特定の映像の主題となる人物の話し声のみを特定する場合には、当該人物の声の周波数帯域を特定することにより、当該人物の話し声のみを抽出することが可能となる。
【００２５】
また、「テーマとなる映像対象物」とは、当該映像の主題となる対象物であり、「登場人物」とは映像のテーマに関連して主役として登場する人物又は脇役として登場する人物を含む。この場合、登場人物の特定に関しては顔認証技術等が使用される。また、「映像対象物の背景」とは、登場人物や映像の主題となる対象物の背景として映っているものを指し、例えば、建造物や、海、山、空、平原等である。
【００２６】
請求項４記載の発明にあっては、前記構成要素出現頻度判断手段は、映像画面内に文字により表示されたタイトル部を参照して構成要素の出現頻度を判断することを特徴とする。
即ち、ＴＶ放送局から配信されるニュース映像の場合には、画面に表示された映像内の右上等にテキストから成るタイトル部が表示される場合があり、構成要件出現頻度判断手段はこのタイトル部を参照して映像認識、音声認識、人物認識、背景認識等を行い、構成要件の出現頻度を判断する。
請求項５記載の発明は、前記映像コンテンツは、電気通信回線を介してサーバから配信されることを特徴とする。
【００２７】
従って、請求項５に係る発明においては、構成要素出現頻度判断手段は、ウェブを介して配信された動画を含む映像コンテンツを対象として同一の構成要素の出願頻度を判断する。ここで「ウェブを介して配信された動画」とは、ウェブにアップされている各種の動画、ＳＮＳ（ソーシャルネットワークサービス）上の動画、インターネットを通じて配信される動画（例えば、ＮＥＴＦＬＩＸ（登録商標）、ａｍａｚｏｎ ＦＩＲＥ ＴＶ）等の一切を含む。
また、以下の説明において、「ウェブ」とは、ブラウザで閲覧するウェブシステムの場合に限定されず、クラウドシステムの場合を含む。したがって、映像コンテンツは、ウェブサーバ或いはクラウドサーバの何れかに存在している場合を含んでいる。
【００２８】
請求項６に記載の発明は、前記映像コンテンツは、電気通信回線を介して放送局から配信されることを特徴とする。
【００２９】
従って、請求項６記載の発明においては、構成要素出現頻度判断手段は、ＴＶ映像として表示される全ての映像コンテンツを対象として同一の構成要素の出願頻度を判断する。
【００３０】
また、請求項７記載の発明に係る映像情報提供システムは、複数の映像コンテンツについての各ビデオ信号から抽出した前記複数の映像コンテンツにおける音声データ又は映像データをテキスト化して要約を作成する要約作成手段と、前記要約作成手段で作成した要約の蓄積結果に基づいて最適な条件を学習しつつ、前記複数の映像コンテンツに対して前記要約に含まれる一つ以上の所定の条件に特化した重み付けを付与する重み付け付与手段とを備え、前記構成要素出現頻度判断手段は前記要約に基づき構成要素の出現頻度を判断することを特徴とする。
【００３１】
請求項７記載の発明にあっては、前記構成要素出現頻度判断手段は映像コンテンツの要約を基礎として映像コンテンツの出現頻度、即ち重要度の判断を行う。
【００３２】
即ち、前記要約作成手段により、複数の映像コンテンツについての各ビデオ信号から抽出した前記複数の映像コンテンツにおける音声データ又は映像データをテキスト化された要約に基づき、構成要素の出現頻度が判断される。
【００３３】
この場合、要約作成手段で作成された要約は、重み付け付与手段によって複数の映像コンテンツを対象として少なくとも一つ以上の所定の条件に特化した重み付けを付与することにより、複数の映像コンテンツを対象として利用者に対して、重要度、関心度の高い、より有用な情報を供給する。
【００３４】
請求項８に記載の発明は、請求項７に記載の映像情報提供システムにおいて、前記重み付け付与手段は、前記複数の映像コンテンツに含まれる音声データ又は映像データから重複するテキストを参照したうえで、その参照結果が所定値以上である場合に、そのテキストを前記所定の条件に合致した重要テキストであると判定して重み付けを付与することを特徴とする。
【００３５】
例えば、日々放送されるニュース番組やウェブ、ＳＮＳ等においては、社会的に大きな報道価値を有する話題、事件や事故等の情報は社会的に重要度、関心度が高いといえる。その結果、そのような社会的事象に関する情報は複数のメディアにおいて、複数の映像コンテンツとして出現する場合が多い。
【００３６】
従って、複数の映像コンテンツにおいて、テキストの形態素解析等によって重複するテキストを同一の構成要素として判断するとともに、その出現頻度、例えば、出現回数、出現時間、出現率等に応じて、段階的等の重要度を適正に設定するものである。
【００３７】
請求項９記載の発明は、請求項８記載の映像情報提供システムにおいて、前記重み付け付与手段は、予め設定された期間内における複数映像コンテンツを対象として重要テキストであるか否かを判定することを特徴とする。
【００３８】
前記のような話題、事件又は事故等の情報の社会的な重要度の判断に要する期間を所定の期間内において判断するものである。
【００３９】
請求項１０記載の発明は、請求項８又は請求項９記載の映像情報提供システムにおいて、前記重み付け付与手段は、新たな映像コンテンツを対象として、前記重要テキストを含む映像コンテンツであると判定した場合には、当該映像コンテンツの録画を開始することを特徴とする。
【００４０】
日々放送されるニュース番組等においては、大きな事件や事故などは社会的な重要度、関心度が高いといえる。そこで、そのような事件・事故等を、例えば、要約作成用とは別個に、大容量記憶部に録画記憶しておけば、オペレータ等の編集、記録映像等として残しておくことができる。
【００４１】
請求項１１に記載の発明は、請求項６に記載の映像情報提供システムにおいて、前記重み付け付与手段は、前記複数の映像コンテンツの前記音声データ又は前記映像データの少なくとも一方に含まれるテキストから特定の人・物を対象として、その出現頻度からＣＭ換算値を算出することを特徴とする。
【００４２】
上述した特定の条件には、特定の人物・物・事件・事故を含ませることができる。ここで、特定の条件に、例えば、特定の人（法人名・各種団体等を含む）を対象とすることにより、複数の映像コンテンツから特定の人物の出現頻度、例えば、出現回数、出現時間、出現率等を割り出すことができる。
【００４３】
そして、その出現回数、出現時間、出現率等に基づいて、マスコミ、情報の世界においてどのくらいの人物価値（例えば、ギャラの設定など）があるかの目安となるＣＭ換算値を算出することができる。なお、特定の法人名を対象とした場合には、ＣＭ全体に対する提供割合、法人が販売する各種商品の重要度（力の入れ具合や新商品の特定）、株価変動との相互関係、といった解析（重み付け）等に利用することもできる。
【００４４】
請求項１２記載の発明にあっては、前記重み付け付与手段は、前記複数の映像コンテンツの前記音声データ又は前記映像データの少なくとも一方に含まれるテキストから特定の法人名を対象とすることを特徴とする。
【００４５】
従って、請求項１２記載の発明にあっては、特定の法人名が出現頻度判断の対象となる構成要素とされることから、特定の法人名が現れる映像コンテンツが抽出され、ユーザーとしての視聴者である当該法人に提供される。
【発明の効果】
【００４６】
請求項１乃至１２記載の発明にあっては、複数の映像コンテンツを対象として利用者に対してより有用な情報を、映像システム側から自動的に提供することができる。
【００４７】
即ち、配信された動画や静止画に係る映像コンテンツは、構成要素出現頻度判断手段により、映像コンテンツに含まれる要素が解析されて、過去に蓄積した映像コンテンツとの対比がされることにより同一の構成要素の出現頻度が判断され、所定の構成要素の出現頻度が所定期間において所定値に達したと判断された場合、映像コンテンツ抽出手段によりその構成要素を含む映像コンテンツを蓄積した多数の映像コンテンツから抽出され、映像コンテンツ提供手段により抽出した映像コンテンツは視聴者に提供されるように構成されていることから、視聴者はＴＶやウェブに配信される映像コンテンツを常時視聴する必要はなく、自動的に提供された所定の頻度以上にＴＶやウェブに出現する映像コンテンツのみを視聴することにより重要な情報のチェック、把握が可能となる。
【００４８】
その結果、出現頻度の高い映像コンテンツは重要な情報である場合、又はその時点においてトレンディな情報である場合が多いことから、視聴者は、常時、ＴＶの複数チャンネルの映像やウェブ情報をチェックする必要はなく、ＴＶ受像機、パソコンやスマートフォンに時間的に縛られることなく、本発明に係るシステムが提供してくれる重要な情報やその時点におけるトレンディな情報からなる映像コンテンツのみを時間効率的に視聴することができる。
【００４９】
従って、視聴者が多忙な環境にあっても、ＴＶ受像機により常にＴＶの番組を確認したり、パソコン、スマートフォンにより頻繁にウェブ情報をチェックすることなく、ＴＶ、パソコン、スマートフォン上において必要な重要情報を効率的に取得することができる、という効果を奏する。
【００５０】
請求項２記載の発明にあっては、前記構成要素出現頻度判断手段は視聴者が登録した視聴希望に基づき前記構成要素の出現頻度を判断するように構成されており、本システムのユーザーである視聴者は、自身が視聴を希望する映像、映像の分類、種類、ジャンル等を適宜の指定範囲において登録することができ、前記構成要素出現頻度判断手段はその希望に基づき出現頻度の判断を行うことができるため、ユーザーが自分が希望する映像コンテンツのジャンル、種類等を適宜、あらかじめシステムに登録しておき、そのジャンル、種類の範囲内において出現頻度の高い映像コンテンツを自動的に、効率よく視聴することが可能となる。
【００５１】
また、例えば、ユーザーである特定の会社が、ＴＶ又はウェブに現れる、自社に関連する情報を一括管理しておきたいと希望する場合には、当該会社名、コーポレーションアイデンティティ、社名の略称等を登録しておくことにより、当該会社に関連するＴＶ映像コンテンツ又はウェブにおける映像情報を全て自動的に収集して視聴し、様々な観点から会社の経営管理に役立てることが可能となる。
請求項４記載の発明にあっては、ＴＶ放送局から送信されてくる映像情報に関しては、例えば、ニュース番組の場合には、画面中において右上等の位置に当該ニュースのタイトル部が短いテキストにより表示される場合がある。このような場合には、構成要素の出現頻度を判断するための映像認識、音声認識、人物認識、背景認識を行う場合に、タイトル部を参照して行うこともできる。このようにタイトル部を参照して映像認識、音声認識、人物認識、背景認識を行った場合には、より精度の高い認識を行うことができ、より効率の良い構成要素の出現頻度の判断をすることが可能となる。
【００５２】
請求項５に係る発明においては、構成要素出現頻度判断手段は、ウェブにアップされている各種の動画、ＳＮＳ（ソーシャルネットワークサービス）上の一切の動画、インターネットを通じて配信されてくる各種の動画等を対象として出現頻度を判断することから、ウェブを介して世の中に出回る全ての映像コンテンツから重要度の高い映像コンテンツを抽出し、ユーザーである視聴者に対して重要度の高い映像コンテンツを網羅的に検索し、迅速かつ自動的に提供することが可能となる。
【００５３】
請求項６記載の発明は、構成要素出現頻度判断手段は、ＴＶ映像として表示される全ての映像コンテンツを対象として同一の構成要素の出願頻度を判断することから、ＴＶを介して世の中に出回る全ての映像コンテンツから重要度の高い映像コンテンツを抽出し、ユーザーである視聴者に対して重要度の高い映像コンテンツを網羅的に検索し、迅速かつ自動的に提供することが可能となる。
【００５４】
請求項７〜１２記載の発明にあっては、前記構成要素出現頻度判断手段は映像コンテンツの要約を基礎として映像コンテンツの出現頻度、即ち重要度の判断を行うように構成されていることから、直接に映像コンテンツから、顔認識技術、音声認識、形態認識技術等の各種の高度な技術を各映像の主題を絞り込む場合に比して、より迅速かつ正確に当該構成要素の出現頻度の判断を行うことが可能となる。
【００５５】
請求項７に記載の発明にあっては、社会的事象に関する情報は複数のメディアにおいて、複数の映像コンテンツとして出現する場合が多いことから、複数の映像コンテンツにおいて、テキストの形態素解析等によって重複するテキストを同一の構成要素として判断するとともに、その出現頻度、例えば、出現回数、出現時間、出現率等に応じて、段階的等の重要度を適正に設定するように構成されていることから、正確に構成要素の出現頻度、即ち、社会的重要度の判断が行われ、ユーザーに対して適切な重要度の動画コンテンツが提供される。
【００５６】
請求項９記載の発明は、社会的な重要度の判断に要する期間を所定の期間内において判断されることから、ユーザーに対して、迅速に、社会的に重要な映像コンテンツを提供することが可能となる。
【００５７】
請求項１０記載の発明は、社会的に重要な事件・事故等を、例えば、要約作成用とは別個に、大容量記憶部に録画記憶しておけば、オペレータ等の編集、記録映像等として残しておくことができ、収集した当該ユーザーにとって重要な映像コンテンツを適宜、分析等に再利用することができる映像情報提供システムを提供することができる。
【００５８】
請求項１１に記載の発明は、前記重み付け付与手段により算出されたＣＭ換算値を利用して様々な経済活動の分析指標として使用することができる映像情報算出システムを提供することができる。
【００５９】
請求項１２記載の発明にあっては、特定の法人名が出現頻度判断の対象となる構成要素とされることから、特定の法人名が現れる映像コンテンツが抽出され、ユーザーとしての視聴者である当該法人に提供されることから、例えば、自社の社会的評価、評判等に関する情報を迅速、適切、かつ網羅的に収集することができ、自社の経営に敏速に反映させることが可能となる。
【図面の簡単な説明】
【００６０】
【図１】本発明に係る映像情報提供システムの第一の実施の形態の全体構成を示すブロック図である。
【図２】本発明に係る映像情報提供システムの第二の実施の形態の全体構成を示すブロック図である。
【図３】本発明に係る映像情報提供システムの第二実施の形態に係る要約作成システムの全体構成を示すブロック図である。
【図４】本発明に係る映像情報提供システムの第二実施の形態において発話テキスト化部を示すブロック図であり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。
【図５】本発明に係る映像情報提供システムの第二実施の形態において要約作成システムのテロップテキスト化部を示すブロック図であり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。
【図６】本発明に係る映像情報提供システムの第二実施の形態において要約作成システムの背景画像テキスト化部を示すブロック図であり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。
【図７】本発明に係る映像情報提供システムの第二実施の形態において要約作成システムのロゴマークテキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。
【図８】本発明に係る映像情報提供システムの第二実施の形態において要約作成システムのテキスト統合部を示すブロック図である。
【図９】本発明に係る映像情報提供システムの第二実施の形態において要約作成システムの要約作成部を示すブロック図である。
【図１０】本発明に係る映像情報提供システムの第二実施の形態において要約作成システムの作動工程をしめすフローチャートである。
【図１１】本発明に係る映像情報提供システムの適用例を示し、（Ａ）は文字認識により所望の条件に適合していると判定した場合の説明図、（Ｂ）は音声認識によりにより所望の条件に適合していると判定した場合の説明図、である。
【発明を実施するための形態】
【００６１】
図１は、本発明に係る映像情報提供システム１を実現するための第一実施の形態を示すブロック図である。
本実施の形態に係る映像情報提供システム１は、配信された多数の映像コンテンツを対象として利用者にとって有用な映像コンテンツを、迅速かつ適切に供給することを目的として、配信された映像コンテンツの構成要素に基づき、同一の構成要素の出現頻度を判断する構成要素出現頻度判断手段５ａと、構成要素出現頻度判断手段５ａによる判断に基づき、出現頻度が所定値以上の場合に構成要素が含まれる映像コンテンツを抽出する映像コンテンツ抽出手段５ｂと、映像コンテンツ抽出手段５ｂにより抽出された映像を視聴者に提供する映像コンテンツ提供手段７とを備えている。
【００６２】
本実施の形態にあっては、図１に示すように、映像情報提供システム１は、例えば、１台のコンピュータ機能を備えるテレビ、パーソナルコンピュータ、スマートフォン、タブレット端末等の再生装置９のみでの利用を可能としたもので、テレビ局（テレビ放送局）若しくはウェブの映像配信サーバからコンテンツに関するビデオ信号を受信するチューナ等を備える受信部２と、再生装置９に装備の操作部（リモコン等を含む）３と、再生装置９としての各種機能を実現するためのアプリケーションを格納した記憶部４と、記憶部４に記憶したアプリケーションに基づいて各種機能を処理する制御回路部５と、映像メタデータを格納する大容量記憶部６と、音声出力用のスピーカや映像出力用のモニタを含む出力部７とを備えている。
【００６３】
受信部２は、衛星放送等を含むテレビ放送用の受信アンテナやインターネット回線等の電気通信回線用のモデム、並びに、チューナ等を含み、映像コンテンツに関するデータ全般を受信することができる。
【００６４】
操作部３は、再生装置９がテレビ等の受像機（ビデオデッキ等を含む）の場合には、主電源、チャネル選択操作、音量増減スイッチ、等の所望の映像コンテンツを視聴するためにユーザーが操作を行うためのもの（リモコン装置等を含む）である。また、操作部３は、再生装置９がパーソナルコンピュータ等である場合には、マウスやキーボード、或いはタッチパネル等の所望の映像コンテンツを視聴するためにユーザーが操作を行うためのものである。
【００６５】
記憶部４は、例えば、再生装置９が動作するために制御回路部５が実行する各種アプリケーションを格納している。また、記憶部４に格納したアプリケーションには、本実施形態が実現するための機能用のアプリケーションを含む。
【００６６】
制御回路部５は、記憶部４に記憶したアプリケーションに基づいて、受信した映像コンテンツの視聴を可能とするとともに、構成要素出現頻度判断手段５ａ、映像コンテンツ抽出手段５ｂを有している。
【００６７】
大容量記憶部６は、受信部２で受信した映像コンテンツのデータを格納する。また、大容量記憶部６は、制御回路部５で映像コンテンツを解析した結果を蓄積することができる。
【００６８】
具体的には、ウェブサーバ（クラウドサーバ）或いはテレビ放送局等から配信され、受信部２で受信した映像コンテンツは、大容量記憶部６に蓄積される。
【００６９】
そして、蓄積された映像コンテンツに含まれる文字、音声、映像コンテンツのテーマとなる映像対象物、登場人物又は画面の背景等の各構成要素は、記憶部４に格納したアプリケーションにしたがって構成要件出現頻度判断手段５ａによって各構成要素の出現頻度が判断される。
【００７０】
即ち、制御回路部５は、対象となる構成要素の出現頻度、例えば、出現回数、出現時間、出現率等を逐次算出するために、その算出結果と各構成要素とを対応させたデータを大容量記憶部１６に格納する。
【００７１】
制御回路部５は、構成要素出現頻度判断手段５ａ及び映像コンテンツ抽出手段５ｂを備えており、また、出力部７が備える表示画面は映像コンテンツ提供手段７を構成する。
【００７２】
制御回路部５は、逐次算出した各構成要素の出現頻度が所定値以上に達したか否か、を判定し、出現頻度が所定値以上に達したと判定した場合に、その構成要素が含まれる映像コンテンツを抽出し、コンテンツ提供手段である出力部７の表示画面に表示させる。
【００７３】
なお、出力部７は、例えば、図示を略す外部記録メディア（例えば、ＳＤメモリカードやＵＳＢメモリスティックなど）に抽出した映像コンテンツを記憶するためのストレージやスロットにより構成してもよい。
【００７４】
また、このような外部記録メディアに抽出した映像コンテンツデータを記録する場合、例えば、大容量記憶部６に記憶した映像コンテンツにおける映像データの解像度を低くしたバックアップ用映像データを生成して記憶部４に一時的に記憶したうえで、そのバックアップ用映像データを記録するように構成してもよい。
【００７５】
このような構成において、配信された映像コンテンツは、構成要素出現頻度判断手段５ａにより、映像コンテンツに含まれる構成要素が解析されて、過去に蓄積した映像コンテンツとの対比がされることにより同一の構成要素の出現頻度が判断される。ここで映像コンテンツは動画が主体となるが静止画も含まれる。
【００７６】
そして、構成要素出現頻度判断手段５ａにより所定の構成要素の出現頻度が所定期間において所定値に達したと判断された場合、映像コンテンツ抽出手段５ｂによりその構成要素を含む映像コンテンツが蓄積された多数の映像コンテンツから抽出される。
【００７７】
その後、映像コンテンツ提供手段７により抽出した映像コンテンツは視聴者に提供される。この場合の映像コンテンツの提供には、適宜のディスプレイを介しての映像コンテンツの表示のみならず、映像コンテンツの記録・配信、その他の出力の態様が含まれる。
【００７８】
この場合、構成要素出現頻度判断手段５ａ及び映像コンテンツ抽出手段５ｂには、ＡＩ（人工知能：artificial intelligence）が使用され、高速でのデータ処理が行われる。
【００７９】
即ち、配信された動画や静止画に係る映像コンテンツは、構成要素出現頻度判断手段５ａにより、映像コンテンツに含まれる要素が解析されて、過去に蓄積した映像コンテンツとの対比がされることにより同一の構成要素の出現頻度が判断され、所定の構成要素の出現頻度が所定期間において所定値に達したと判断された場合、映像コンテンツ抽出手段５ｂによりその構成要素を含む映像コンテンツを蓄積した多数の映像コンテンツから抽出され、映像コンテンツ提供手段７により抽出した映像コンテンツは視聴者に提供されるように構成されていることから、視聴者はＴＶやウェブに配信される映像コンテンツを常時視聴する必要はなく、自動的に提供された所定の頻度以上にＴＶやウェブに出現する映像コンテンツを視聴することができる。
【００８０】
その結果、出現頻度の高い映像コンテンツは重要な情報である場合、又はその時点においてトレンディな情報である場合が多いことから、視聴者は、常時、ＴＶの複数チャンネルの映像やウェブ情報をチェックする必要はなく、ＴＶ受像機、パソコンやスマートフォンに時間的に縛られることなく、本発明に係るシステムが提供してくれる重要な情報やその時点におけるトレンディな情報からなる映像コンテンツのみを時間効率的に視聴することができる。
【００８１】
従って、視聴者が多忙な環境にあっても、ＴＶ受像機により常にＴＶの番組を確認したり、パソコン、スマートフォンにより頻繁にウェブ情報をチェックすることなく、ＴＶ、パソコン、スマートフォン上において必要な重要情報を効率的に取得することができる、という効果を奏する。
【００８２】
また、本実施の形態にあっては、制御回路部５は希望映像登録手段５Ｃを備えている。従って、本システムのユーザーである視聴者は、操作部３を介して、ユーザー自身が視聴を希望する映像、映像の分類、種類、ジャンル等を適宜の指定範囲において、希望映像登録手段５Ｃにより登録することができ、構成要素出現頻度判断手段５ａは登録された希望映像に基づき構成要素の出現頻度の判断を行う。
【００８３】
本実施の形態にあっては、動画映像に関し構成要素出現頻度判断手段５ａが特定の映像コンテンツをいかに認識、特定するか、に関しては、「文字、音声、映像コンテンツのテーマとなる映像対象物、登場人物又は映像対象物の背景」の観点から行われる。
【００８４】
従って、本実施の形態にあっては、出現頻度の判断対象となる構成要素は、文字、音声、映像コンテンツのテーマとなる映像対象物、登場人物又は映像対象物の背景である。
【００８５】
この場合、「文字」とは動画に現れるテロップ等の文字であり、いわゆる文字認識技術に基づき行われ、形態素解析技術が使用される。
【００８６】
また、「音声」とは、動画等に含まれる多様な音声であり、背景音、テーマソング、登場人物の話し声、効果音等が含まれる。
【００８７】
必要な場合には、その多様な音声の中から、当該映像のテーマとなる話題に関する特定の登場人物の話し声のみを抽出して構成要素出現頻度判断手段５ａにより出現頻度が判断される。
【００８８】
この場合、特定の映像の主題となる人物の話し声のみを特定する場合には、当該人物の声の周波数帯域を特定することにより、当該人物の話し声のみを抽出することが可能となる。
【００８９】
また、「テーマとなる映像対象物」とは、当該映像の主題となる対象物であり、「登場人物」とは映像のテーマに関連して主役として登場する人物又は脇役として登場する人物を含む。この場合、登場人物の特定に関しては顔認証技術等が使用される。また、「映像対象物の背景」とは、登場人物や映像の主題となる対象物の背景として映っているものを指し、例えば、建造物や、海、山、空、平原等を指す。
【００９０】
これにより、構成要素出現頻度判断手段５ａは視聴者が登録した視聴希望に基づき構成要素の出現頻度を判断するように構成されており、本システムのユーザーである視聴者は、自身が視聴を希望する映像、映像の分類、種類、ジャンル等を適宜の指定範囲において登録することができ、構成要素出現頻度判断手段はその希望に基づき出現頻度の判断を行うことができるため、ユーザーが自分が希望する映像コンテンツのジャンル、種類等を適宜システムに登録しておき、そのジャンル、種類の範囲内において出現頻度の高い映像コンテンツを自動的に、効率よく視聴することが可能となる。
【００９１】
また、例えば、ユーザーである特定の会社が、ＴＶ又はウェブに現れる自社に関連する情報を一括管理しておきたいと希望する場合には、当該会社名、コーポレーションアイデンティティ、社名の略称等を登録しえておくことにより、当該会社に関連するＴＶ映像コンテンツ又はウェブにおける映像情報を全て自動的に収集して視聴し、様々な観点から会社の経営管理に役立てることが可能となる。
【００９２】
映像コンテンツは、電気通信回線を介してウェブサーバ（又はクラウドサーバ）から配信されたものである場合、構成要素出現頻度判断手段は、配信された動画等を含む映像コンテンツを対象として同一の構成要素の出願頻度を判断する。ここで「ウェブを介して配信された動画」とは、ウェブにアップされている各種の動画、ＳＮＳ（ソーシャルネットワークサービス）上の動画、インターネットを通じて動画を提供するサービス上の動画等の一切を対象とすることができる。
【００９３】
このように、構成要素出現頻度判断手段は、ウェブにアップされている各種の動画、ＳＮＳ（ソーシャルネットワークサービス）上の一切の動画、インターネットを通じて配信される動画を対象として出現頻度を判断することから、ウェブを介して世の中に出回る全ての映像コンテンツから重要度の高い映像コンテンツを抽出し、ユーザーである視聴者にとって重要度又は関心度の高い映像コンテンツを網羅的かつ自動的に提供することが可能となる。
【００９４】
また、映像コンテンツは、電気通信回線を介して放送局から配信されたものである場合には、構成要素出現頻度判断手段５ａは、ＴＶ映像として表示される全ての映像コンテンツを対象として同一の構成要素の出願頻度を判断する。
【００９５】
従って、構成要素出現頻度判断手段５ａは、ＴＶ映像として表示される全ての映像コンテンツを対象として同一の構成要素の出願頻度を判断することから、ＴＶを介して世の中に出回る全ての映像コンテンツから重要度又は関心度の高い映像コンテンツを抽出し、ユーザーである視聴者に対して重要度又は関心度の高い映像コンテンツを網羅的かつ自動的に提供することが可能となる。
【００９６】
なお、制御回路部５は、後述する各種の重み付けの条件下において構成要素の出現頻度を判断することも可能である。
また、本実施の形態にあっては、ＴＶ放送局から送信されてくる映像情報に関しては、
例えば、ニュース番組の場合には、画面中において右上等の位置に当該ニュースのタイトル部が短いテキストにより表示される場合がある。このような場合には、構成要素の出現頻度を判断するための映像認識、音声認識、人物認識、背景認識を行う場合に、タイトル部を参照して行うこともできる。
このようにタイトル部を参照して映像認識、音声認識、人物認識、背景認識を行った場合には、より精度の高い認識を行うことができ、より効率の良い構成要素の出現頻度の判断をすることが可能となる。
【００９７】
次に、映像コンテンツに基づいて要約を作成しその要約を利用して、構成要素の出現頻度を判断するように構成された第二の実施形態を説明する。
図２は本発明の実施形態に係る映像情報提供システムを実現するための映像情報提供システム１１の全体構成を示すブロック図である。システム全体としての構成は、基本的な構成は、前記第一の実施の形態と同様であるが、本実施の形態にあっては、要約作成システム１０を備えている点で異なる。
【００９８】
即ち、第二実施の形態に係る映像情報提供システムは、第一の実施の形態に係る映像情報提供システム１の構成を基本として、さらに、複数の映像コンテンツについての各ビデオ信号から抽出した複数の映像コンテンツにおける音声データ又は映像データをテキスト化して要約を作成する要約作成手段１０と、前記要約作成手段１０で作成した要約の蓄積結果に基づいて最適な条件を学習しつつ、複数の映像コンテンツに対して要約に含まれる一つ以上の所定の条件に特化した重み付けを付与する重み付け付与手段１５ｄとを備えており、構成要素出現頻度判断手段１５ａは前記要約に基づき構成要素の出現頻度を判断するように構成されている。
また、本実施の形態にあっては、制御回路部１５は希望映像登録手段１５ｃを有しており、ユーザーは適宜、操作部３を介して、ユーザー自身が視聴を希望する映像、映像の分類、種類、ジャンル等を適宜の指定範囲において、希望映像登録手段１５Ｃにより登録することができ、構成要素出現頻度判断手段１５ａは登録された希望映像に基づき構成要素の出現頻度の判断を行い、映像コンテンツ抽出手段１５ｂにより当該映像コンテンツが抽出され、映像コンテンツ出力手段を構成する出力部１７によりディスプレイ等に表示される点は第一実施の形態と同様である。
【００９９】
本実施の形態において、映像情報提供システム１１を構成する要約作成システム１０を再生装置１９内に設けることもでき、また、要約作成システム１０を専用の管理サーバ等によって構成することもでき、その管理サーバによって作成された要約に基づいて稼働する映像出力システム部分を、例えば、コンピュータ機能を備えるテレビ、パーソナルコンピュータ、スマートフォン、タブレット端末等（以下、「再生装置１９」と称する。）により実現することも可能である。なお、再生装置１９は、１台での利用のほか、複数台での利用も可能である。
【０１００】
また、以下の説明においては、テレビ放映の場合を主として説明するとともに、ウェブの映像配信の固有の場合は適宜説明し、テレビ放映の利用形態と同一若しくは実質的に同一のウェブの映像配信の利用形態に関してはその説明を省略する。
【０１０１】
テレビ放映には、地上波デジタル放送、衛星放送、ワンセグ放送、インターネット放送等が含まれ、放送形態や受信形態は問わない。
【０１０２】
図２及び図３に示すように、映像情報提供システム１１は、テレビ局３０若しくはウェブの映像配信サーバ４０から映像コンテンツに関するビデオ信号を受信するチューナ等を備える受信部１２と、再生装置９に装備の操作部（リモコン等を含む）１３と、再生装置１９としての各種機能を実現するためのアプリケーションを格納した記憶部１４と、記憶部１４に記憶したアプリケーションに基づいて各種機能を処理する制御回路部１５と、上述した要約作成システム１０と、作成された要約並びに映像コンテンツの録画用の各種データを記憶する大容量記憶部１６と、音声出力用のスピーカや映像出力用のモニタを含む出力部１７とを備えている。
【０１０３】
要約書作成システム１０は、ビデオ信号分離部２０、ビデオ信号処理部１８、テキスト統合部５００及び要約作成部６００により構成されており、ビデオ信号処理部１８は、図３に示すように、発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００により構成されている。
【０１０４】
図２に示すように、再生装置１９は、、受信部１２、操作部１３、記憶部１４、制御回路部１５、要約処理システム１１、大容量記憶部１６及び出力部１７を有している。
また、出力部１７は、例えば、重み付け付与手段としての制御回路部１５で算出した重み付け付与に基づく、付与結果をモニタ出力或いはプリンタ出力する機能を有する映像コンテンツ提供手段を構成している。
制御回路部１５は、構成要件出現頻度判断手段１５ａ、映像コンテンツ抽出手段１５ｂ、希望映像登録手段１５Ｃを有している点では第一実施の形態の場合と同様であり、本実施の形態にあっては、さらに、重み付け手段１５ｄを有している。
【０１０５】
＜要約（映像メタデータ）の作成＞
ここでは、要約としての映像メタデータを制作する場合の一例として、テレビ放送内容を日本語処理してデータベース化する場合を説明する。また、この場合に映像コンテンツとは、一つの番組又はコーナーを対象として例示する。
【０１０６】
テレビ番組において、特に、刻々と放送されるニュース・放送番組にあっては、「即時性」や「正確性」が重要となっている。
【０１０７】
その一方で、テレビ放送におけるこのようなニュース・放送番組にあっては、一部のニュース内容が時間帯の異なる他のニュース番組等（放送局の相違は問わない）で放送されることはあるものの、同一番組が異なる曜日に再放送されることはなく、消えゆく情報ともいえる。
【０１０８】
このような「即時性」や「正確性」を有する情報にあっては、ニュース内容によって、社会的な重要性やニーズ、或は、新情報が明らかになる、などの条件によって継続性を有する場合があるため、例えば、出現頻度が所定値に達するなどの重要度・ニーズ度等に応じてニュースが重み付けされるのが望ましい。なお、出現頻度には、例えば、出現回数、出現時間、出現率等を適用することができる。
【０１０９】
ここで、重要度・ニーズ度には、短期的、長期的、時期的な要素を有していることから、例えば、週間、月間、季間（旬間）、年間、別の統計によって重み付けしたグラフを作成することも可能である。この際、作成されたグラフは、出力部１７からモニタ出力又はプリンタ出力が可能である。
【０１１０】
これにより、短期間での重要度・ニーズ度は高いが年間を通じた場合に重要度・ニーズ度が低くなってしまうことを抑制することができるうえ、対応する時期における重要度・ニーズ度が高いという重み付けを付与することができる。
【０１１１】
具体的には、「桜の開花予想」、「桜の名所」、「オリンピック」などの特定の周期で重要度・ニーズ度が高くなる場合等に有効な重み付けを付与することができる。
【０１１２】
また、新たに放送されるビデオ情報に対するメタデータは、１０分程度のタイムラグで逐次更新することができ、最新の情報に基づいた重要度等に更新することができる。この際、複数の放送局の番組を同時に受信して最新の情報に更新することも可能である。
【０１１３】
メタデータには、放送局や放送時間等の基本情報に加え、ニュースのタイトル、内容の抄録、コメンテータの氏名や目立つロゴ、といったテキスト情報に加え、背景画像等の画像認証、キャスターの顔認証、声紋分析、等によってより細かい映像メタデータを制作・配信することができる。
【０１１４】
さらに、その結果は、ウェブやメールにより、ユーザー側で確認することも可能となっている。したがって、ユーザー側において、これらの映像メタデータをハードディスク等の大容量記憶媒体に保存・蓄積していけば、さまざまな活用場面に利用することができる。
【０１１５】
具体的には、日々のニュース放送から、特定のコメンテータの言動をクローズアップして詳細を完全収録し、追って、その内容を検証することも可能となる。
なお、その特定のコメンテータを条件とし、特定のコメンテータが出演している場合には、必ず、ユーザーに視聴を報知するように構成することもでき、現在放送中のニュース番組、或は、録画したニュース番組において、そのコメンテータがコメントしている際に、スポット的にボリュームを上げることによりユーザーに視聴を促す報知を行うように構成することも可能となる。
このように構成した場合には、ユーザーはＴＶの番組映像をすべて見る必要はなく、報知されて場合にのみ視聴すればよいことから、ユーザーの時間的自由度を確保しつつ、ユーザーにとって有用な情報の取得を可能とするものである。  
【０１１６】
なお、ユーザーに対して、ユーザーが多忙でＴＶを常時視聴する時間的余裕のない場合には、要約において所定の映像に対応する条件を設定し、当該条件に合致した場合に、映像が表示されている旨の報知をユーザーに対して行うように構成することもできる。
この場合、報知条件に適合した内容が含まれている場合に、出力中の映像コンテンツのユーザーである視聴者に対して報知には、上述したボリュームを上げる場合のほか、メッセージ等を発音するなどの利用者の聴覚に対して行うことができる。
また、利用者の聴覚に対する報知のほか、例えば、図１１に示す表示映像７ａの明暗反転の繰り返しや専用ランプの点灯・点滅など、利用者の視覚に対する報知でもよい。また、これら聴覚と視覚との併用でもよい。さらに、単なる報知にとどまらず、他の動作（例えば、録画）を開始するためのトリガー信号として利用することも可能である。
【０１１７】
また、例えば、ニュース番組において、利用者がスポーツニュースの結果のみを知りたい場合、ユーザーが希望映像登録手段１５Ｃによりその旨を登録しておいた場合には、ニュース番組全体を視聴するのではなく、制御回路部に設けられた構成要素出現頻度判定手段１５により、例えば、図１１（Ａ）に示すように、表示画面１７ａに「スポーツ」の文字がテロップ表示された場合や、図１１（Ｂ）に示すように、キャスターが「スポーツ」を含むアナウンス原稿を読み上げたときに、利用者に報知することができる。
【０１１８】
また、映像メタデータの利用の態様としては、番組中に流れる映像中の登場人物、例えば、上述した特定コメンテータのコメント時間や論調分析、放送された内容中（番組中）に紹介された政治家（政党）やスポーツ選手の映像等を含む放送時間といった、映像メタデータのデータベース化を行うとともに、クラスタリング（データを外的基準なしに自動的に分類する機能の意）を行うことにより、人・物のＣＭ換算値を算出するといった重み付けの付与も可能である。
【０１１９】
なお、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約作成システム１０の機能である要約作成処理（ＡＩ処理）を利用して上述したような重み付けを付与する場合、ＡＩ処理とは別に、視聴率、或は、新聞や雑誌等の映像メタデータに含まれていない情報に基づいたオペレータの手動入力により、ＣＭ換算値を人物毎に評価価格（単位時間当たりの単価）に変換してもよい。
【０１２０】
さらに、重み付けされたＣＭ換算値は、例えば、単一放送局、単一番組、複数放送局（例えば、関東エリアのキー局）等を対象として映像メタデータを制作し、週報／月報／旬報（四半期）／半期／通期／単位でまとめることができる。なお、まとめたデータはグラフや一覧表（例えば、上位１００人を対象として）等によって出力部７からモニタ出力又はプリンタ出力が可能である。
【０１２１】
さらに、テキスト化した映像メタデータは、同時放送中の文字放送として利用することができるうえ、例えば、テレビのニュース・放送番組、ワイドショー、討論番組、政治・経済番組、政治・経済バラエティなど、１日単位で延べ１００時間以上にもおよぶ国営放送局及び民放キー局の情報番組について、その内容や記事単位の詳細情報をオペレータによって作成するためのテキスト情報として利用することも可能である。
【０１２２】
＜再生装置１９＞
再生装置１９には、受信部２として、テレビ放送（地デジ・衛星放送・ワンセグを含む）用のチューナ機能、或は、インターネット配信映像を受信する受信機能、を有し、図１１に示すように、その映像を出力部７の表示画面１７ａに出力することが可能であることから、テレビ、パーソナルコンピュータ、スマートフォン、タブレット端末、等を利用することができる。
【０１２３】
受信部１２は、ＴＶ局からのＴＶ電波又はインターネットを介して発信される通信電波を受信する。また、再生装置１９外部で要約が作成される場合には、通信手段を介して供給された要約情報を受信する機能を有するように構成されていてもよい。受信部１２で受信した要約は、大容量記憶部１６に記憶、又は更新される。
【０１２４】
操作部１３は、テレビに付帯の各種スイッチ等、テレビに付属のリモートコントロール装置、コンピュータ用のマウスやキーボード、スマートフォンやタブレット端末に付帯の各種スイッチやタッチパネル、等を利用することができる。
【０１２５】
ところで、上述したテレビ放送において、ニュースでは、ある事件が起きると、複数局あるテレビ放送局が繰り返し同じシーンを放送する。このような場合、各テレビメディアが何をいつどう放送したか、一つ一つ把握しても全体像を容易に認識することはできない場合が多い。
【０１２６】
そこで、このような事件を所望の条件として設定すれば、指定した全てのニュース放送番組の内容を秒単位でテキストデータ化したうえでデータベース化し、要約を作成することができる。
【０１２７】
そして、その要約の内容を同一テーマ毎に分類（クラスター化）した結果を分析し、例えば、利用者や契約した専用会社のオペレータが処理すれば、なにが、いつ、どの局で、どのくらい放送されたか、定量化された情報を得ることも可能となる。
【０１２８】
そして、このような定量化された情報を、所望の条件として設定することにより、以降のニュース放送では、より最新の正確な条件を設定することも可能となり、上述した事件に関する放送の場合には報知による番組の部分的視聴、他のニュース放送に関しては番組全体を視聴する、といったような選択を行うことができる。
【０１２９】
この定量化に際し、例えば、事件の映像部分（例えば、原子力発電所の事故処理の経過に関する映像部分）を大容量記憶部１６に自動録画するなどの出力機能において重み付けを付与することも可能である。
【０１３０】
また、上述したように、このような事件・事故に関する放送がテレビメディアでどのくらい扱われたか、どの局がどのテーマを時間・回数的にどう扱ってきたかをグラフ化するといった利用形態において重み付けを付与することも可能である。
【０１３１】
さらに、このような要約には、ニュース放送に限らず、各種エンターテーメント番組の内容を多角的に分析することも可能である。
【０１３２】
これにより、例えば、網羅的に構築されたエンタメ・データベースを基に、ドラマ、映画、バラエティなどのエンターテーメント番組の内容やジャンル比較、時間帯把握など、多角的な観点で分析することができる。
【０１３３】
さらに、当該特定の出演者の出演時間を換算し、例えば、日・週・月単位での出演割合等からその演者価値を容易に算出することができる。
【０１３４】
また、上述した出演者の音声は、音声認識後のテキスト化のための形態素解析の際に、方言を標準語へと変換する重み付けを付与することも可能である。
【０１３５】
制御回路部１５は、要約作成システム１０によって作成した要約を適宜（又は逐次）受信して大容量記憶部１６に蓄積するとともに、その要約の蓄積結果に基づいて重み付け付与のための最適な条件を学習しつつ、複数の映像コンテンツに対して要約に含まれる一つ以上の所定の条件に特化した重み付けを付与することができる。
【０１３６】
このように、映像情報提供システム１１は、要約書作成手段で作成された要約は、重み付け付与手段によって複数の映像コンテンツを対象として少なくとも一つ以上の所定の条件に特化した重み付けを付与することにより、複数の映像コンテンツを対象として利用者により有用な情報を供給することができる。
【０１３７】
また、複数の映像コンテンツにおいて、出現頻度に応じて（段階的等の）重要度を適正に設定することができる。また、日々放送されるニュース番組等においては、大きな事件や事故などは社会的な重要度（又は関心度）が高いといえる。そこで、そのような事件・事故等の重要度の比較的短期間を対象とすることにより、自動的に所定の条件とすることができる。
【０１３８】
また、そのような事件・事故等を、例えば、要約作成用とは別に、大容量記憶部６に録画記憶しておけば、オペレータ等の編集、記録映像等として残しておくことができる。
【０１３９】
上述した特定の条件には、特定の人・物・事件・事故を含ませることができる。ここで、特定の条件に、例えば、特定の人物、会社、各種団体等を対象とすることにより、複数の映像コンテンツから特定の人物、会社、団体の出現頻度、例えば、出現回数、出現時間、出現率等を割り出すことができる。
【０１４０】
そして、その出現頻度に基づいて、どの程度の人物価値（例えば、ギャラの設定など）があるかの目安となるＣＭ換算値を算出することができる。
【０１４１】
なお、特定の法人名を対象とした場合には、ＣＭ全体に対する提供割合、法人が販売する各種商品の案分（力の入れ具合や新商品の特定）、株価変動との相互関係、といった解析（重み付け）等に利用することもできる。
【０１４２】
出現頻度は、日・週・月・年単位で集計することができるほか、ＴＶ放送局ごと、時間帯ごと、に分けて集計することもできる。
【０１４３】
また、出現頻度には、例えば、特定の番組において、番組単位で出現回数を１回とする場合と、番組内における出現回数を対象とする場合を、重み付けの条件として含ませることができる。
【０１４４】
ここで、番組内における出現回数には、映像として出現した回数や出現時間を対象とする場合と、例えば、司会者等から氏名を呼び掛けられた回数を対象とする場合と、を含ませることができる。
【０１４５】
なお、氏名での呼び掛けには、「○×△□」のフルネームの場合、「○×さん」等の氏だけの場合、「△□ちゃん」や「△ちゃん」等の名又は呼称の場合を条件とすることができる。
【０１４６】
さらに、その出演者がグループに所属している人であれば、グループ名での呼び掛けの場合と、氏名での呼び掛けの場合と、を（重み付けとして）含ませることができる。同様に、例えば、スポーツ等の分野において過去に好成績を残したことにより、後輩の選手に「○○２世」などと呼称されている場合も、先人と後人の両方を重み付け条件とすることができる。
【０１４７】
なお、例えば、「○×」の氏での呼び掛けの場合、同一番組中に同じ氏の人が含まれている場合は少ないものの、業界全体としては複数の人が存在する可能性が高い。したがって、このような場合には、番組に出演していない人を除き、番組中に出演している人のみを重み付けの条件として含ませることができる。
【０１４８】
これとは逆に、例えば、番組に出演はしていない人ではあるものの、出演者が所属するグループに所属する他の人物の氏名や映像等が出た場合には、その人物は出演しているものとして扱うこともできる。
【０１４９】
このように、本実施の形態においては、複数の映像コンテンツについての各ビデオ信号から抽出した複数の映像コンテンツにおける音声データ又は映像データをテキスト化して要約を作成する要約作成手段６００と、要約作成手段６００で作成した要約の蓄積結果に基づいて最適な条件を学習しつつ、複数の映像コンテンツに対して要約に含まれる一つ以上の所定の条件に特化した重み付けを付与する重み付け付与手段１５ｄとを備え、構成要素出現頻度判断手段１５ａは要約に基づき構成要素の出現頻度を判断するように構成されている。
【０１５０】
構成要素出現頻度判断手段１５ａは映像コンテンツの要約を基礎として映像コンテンツの出現頻度、即ち重要度の判断を行う。
【０１５１】
即ち、要約作成手段６００により、複数の映像コンテンツについての各ビデオ信号から抽出した複数の映像コンテンツにおける音声データ又は映像データをテキスト化された要約に基づき、映像コンテンツの構成要素の出現頻度が判断される。
【０１５２】
この場合、要約作成手段６００により作成された要約は、重み付け付与手段１５ｄによって複数の映像コンテンツを対象として少なくとも一つ以上の所定の条件に特化した重み付けを付与することにより、複数の映像コンテンツを対象として利用者に対して、重要度又は関心度の高いより有用な情報を供給する。
【０１５３】
従って、第二実施の形態に係る映像情報システム１１にあっては、構成要素出現頻度判断手段１５ａは映像コンテンツの要約を基礎として映像コンテンツの出現頻度、即ち重要度の判断を行うように構成されていることから、直接に映像コンテンツから、顔認識技術、音声認識、形態認識技術等の各種の高度な技術を各映像の主題を絞り込む場合に比して、より迅速かつ正確に当該構成要素の出現頻度の判断を行うことが可能となる。
【０１５４】
また、重み付け付与手段１５ｄは、複数の映像コンテンツに含まれる音声データ又は映像データから重複するテキストを参照したうえで、その参照結果が所定値以上である場合に、そのテキストを所定の条件に合致した重要テキストであると判定して重み付けを付与するものである。
【０１５５】
例えば、日々放送されるニュース番組やウェブ、ＳＮＳ等においては、社会的に大きな報道価値を有する話題、事件や事故等の情報は社会的に重要度、関心度が高いといえる。その結果、そのような社会的事象に関する情報は複数のメディアにおいて、複数の映像コンテンツとして出現する場合が多い。
【０１５６】
従って、複数の映像コンテンツにおいて、テキストの形態素解析等によって重複するテキストを同一の構成要素として判断するとともに、その出現頻度、例えば、出現回数、出現時間、出現率等に応じて、段階的等の重要度を適正に設定するものである。
【０１５７】
このように、社会的事象に関する情報は複数のメディアにおいて、複数の映像コンテンツとして出現する場合が多いことから、複数の映像コンテンツにおいて、テキストの形態素解析等によって重複するテキストを同一の構成要素として判断するとともに、その出現頻度、例えば、出現回数、出現時間、出現率等に応じて、段階的等の重要度を適正に設定するように構成されていることから、正確に構成要素の出現頻度、即ち、社会的重要度の判断が行われ、ユーザーに対して適切な動画コンテンツが提供される。
【０１５８】
また、重み付け付与手段１５ｄは、予め設定された期間内における複数映像コンテンツを対象として重要テキストであるか否かを判定するものである。
【０１５９】
このような話題、事件又は事故等の情報の社会的な重要度の判断に要する期間を所定の期間内において判断するものである。従って、社会的な重要度の判断に要する期間を所定の期間内において判断されることから、ユーザーに対して迅速に社会的に重要な映像コンテンツを提供することが可能となる。
【０１６０】
このように、社会的に重要な事件・事故等を、例えば、要約作成用とは別個に、大容量記憶部に録画記憶しておけば、オペレータ等の編集、記録映像等として残しておくことができ、収集した当該ユーザーにとって重要な映像コンテンツを適宜、分析等に再利用することができる映像情報提供システムを提供することができる。
【０１６１】
また、重み付け付与手段１５ｄは、新たな映像コンテンツを対象として、重要テキストを含む映像コンテンツであると判定した場合には、当該映像コンテンツの録画を開始するものである。
【０１６２】
日々放送されるニュース番組等においては、大きな事件や事故などは社会的な重要度、関心度が高いといえる。そこで、そのような事件・事故等を、例えば、要約作成用とは別個に、大容量記憶部に録画記憶しておけば、オペレータ等の編集、記録映像等として残しておくことができる。
【０１６３】
また、重み付け付与手段１５ｄは、複数の映像コンテンツの音声データ又は映像データの少なくとも一方に含まれるテキストから特定の人・物を対象として、その出現頻度からＣＭ換算値を算出するものである。
【０１６４】
上述した特定の条件には、特定の人物・物・事件・事故を含ませることができる。ここで、特定の条件に、例えば、特定の人（法人名・各種団体等を含む）を対象とすることにより、複数の映像コンテンツから特定の人物の出現頻度、例えば、出現回数、出現時間、出現率等を割り出すことができる。
【０１６５】
そして、その出現回数、出現時間、出現率等に基づいて、マスコミ、情報の世界においてどのくらいの人物価値（例えば、ギャラの設定など）があるかの目安となるＣＭ換算値を算出することができる。なお、特定の法人名を対象とした場合には、ＣＭ全体に対する提供割合、法人が販売する各種商品の案分（力の入れ具合や新商品の特定）、株価変動との相互関係、といった解析に利用することもできる。
【０１６６】
従って、重み付け付与手段１５ｄにより算出されたＣＭ換算値を利用して様々な経済活動の分析指標として使用することができる映像情報算出システムを提供することができる。
【０１６７】
また、重み付け付与手段１５ｄは、複数の映像コンテンツの音声データ又は映像データの少なくとも一方に含まれるテキストから特定の法人名を対象とするものである。
【０１６８】
従って、特定の法人名が出現頻度判断の対象となる構成要素とされることから、特定の法人名が現れる映像コンテンツが抽出され、ユーザーとしての視聴者である当該法人に提供される。
【０１６９】
従って、特定の法人名が出現頻度判断の対象となる構成要素とされることから、特定の法人名が現れる映像コンテンツが抽出され、ユーザーとしての視聴者である当該法人に提供されることから、例えば、自社の社会的評価、評判等に関する情報を迅速、適切、かつ網羅的に収集することができ、自社の経営に敏速に反映させることが可能となる。
【０１７０】
以下、第二実施の形態における要約作成システム１０について説明する。
＜要約作成システム１０の全体構成＞
図３に示すように、要約作成システム１０は、ビデオ信号分離部２０、発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００、テキスト統合部５００、及び要約作成部６００を備える。本実施形態では要約作成システム１０はビデオ信号をテレビ局３０からのテレビ放送から取得する。なお、ビデオ信号は、インターネットにおける映像から取得することができる。
【０１７１】
音声信号と映像信号を含むビデオ信号Ｖは、ビデオ信号分離部２０で音声信号Ａと映像信号Ｂとに分離される。音声信号Ａは発話テキスト化部１００に入力され、映像信号Ｂはテロップテキスト化部２００、背景画像テキスト化部３００、及びロゴマークテキスト化部４００に入力される。
【０１７２】
＜発話テキスト化部１００＞
図４に示すように、発話テキスト化部１００は音声信号Ａを受けて映像コンテンツにおける人の発話内容を記述したテキストである発話テキストを出力する。発話テキスト化部１００は、発話情報抽出部１１０、発話内容認識部１２０、発話内容テキスト化部１３０を備える。
【０１７３】
発話情報抽出部１１０は、ビデオ信号Ｖの音声信号Ａから発話情報を抽出する。すなわち、音声信号Ａ中の雑音を取り除き、人の発話音声の情報を抽出する。この発話情報として効果音や特徴的な音楽を含むことができる。
【０１７４】
発話内容認識部１２０は、発話情報から発話内容を認識する。すなわち、発話情報を音響的、文法的に解析して発話内容を言語として認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の音声テキストの生成データから機械学習により生成できる。
【０１７５】
発話内容テキスト化部１３０は発話内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の音声テキストの入力データ及び生成データから機械学習により生成できる。
【０１７６】
＜テロップテキスト化部２００＞
図５に示すように、テロップテキスト化部２００は映像信号Ｂを受けて映像コンテンツにおけるテロップ内容を記述したテキストであるテロップテキストを出力する。テロップテキスト化部２００は、テロップ情報抽出部２１０、テロップ内容認識部２２０、テロップ内容テキスト化部２３０を備える。
【０１７７】
テロップ情報抽出部２１０は、ビデオ信号Ｖの映像信号Ｂからテロップ情報を抽出する。すなわち、映像信号Ｂ中の背景を取り除き、テロップ画像だけの情報を抽出する。
【０１７８】
発話内容認識部１２０は、テロップ画像情報からテロップ内容を認識する。すなわち、テロップ情報を言語的、文法的に解析してテロップ表示内容を言語として認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のテロップテキストの入力データ及び生成データから機械学習により生成できる。
【０１７９】
テロップ内容テキスト化部２３０はテロップ内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のテロップテキストの入力データ及び生成データから機械学習により生成できる。
【０１８０】
＜背景画像テキスト化部３００＞
図６に示すように、背景画像テキスト化部３００は映像信号Ｂを受けて映像コンテンツにおける背景画像内容を記述したテキストである背景画像テキストを出力する。背景画像としては、人物、人物の持ち物、人物の表情、風景、建築物の状況、室内の状況、動物、乗物、その他の物品を挙げることができる。背景画像テキスト化部３００は、背景画像情報抽出部３１０、背景画像内容認識部３２０、背景画像内容テキスト化部３３０を備える。
【０１８１】
背景画像情報抽出部３１０は、ビデオ信号Ｖの映像信号Ｂから背景画像情報を抽出する。すなわち、映像信号Ｂ中のテロップや不鮮明な画像を取り除き、認識可能な背景画像だけの情報を抽出する。
【０１８２】
背景画像内容認識部３２０は、背景画像情報から背景画像の内容を認識する。すなわち、背景画像情報を解析して表されている人物、人物の持ち物、人物の表情、風景、建築物の状況、室内の状況、動物、乗物、その他の物品を認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の背景画像テキストの入力データ及び生成データから機械学習により生成できる。
【０１８３】
背景画像内容テキスト化部３３０は背景画像内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の背景画像テキストの入力データ及び生成データから機械学習により生成できる。
【０１８４】
＜ロゴマークテキスト化部４００＞
図７に示すように、ロゴマークテキスト化部４００は映像信号Ｂを受けて映像コンテンツにおけるロゴマーク内容を記述したテキストであるロゴマークテキストを出力する。ロゴマークとしては、商品の出所を表示する商標、その他の標章を挙げることができる。
【０１８５】
ロゴマークテキスト化部４００は、ロゴマーク画像情報抽出部４１０、ロゴマーク内容認識部４２０、ロゴマーク内容テキスト化部４３０を備える。
【０１８６】
ロゴマーク画像情報抽出部４１０は、ビデオ信号Ｖの映像信号Ｂからロゴマーク画像情報を抽出する。すなわち、映像信号Ｂ中のテロップや背景画像を取り除き、認識可能なロゴマーク画像だけの情報を抽出する。
【０１８７】
ロゴマーク内容認識部４２０は、ロゴマーク画像情報からロゴマークの内容を認識する。すなわち、ロゴマーク画像情報を解析して表されている商品、サービス、店舗、施設等を認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のロゴマークテキストの入力データ及び生成データから機械学習により生成できる。
【０１８８】
ロゴマーク内容テキスト化部４３０はロゴマーク画像内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のロゴマークテキストの入力データ及び生成データから機械学習により生成できる。
【０１８９】
＜テキスト統合部５００＞
図８に示すように、テキスト統合部５００は、発話テキスト化部１００からの発話テキスト、テロップテキスト化部２００からのテロップテキスト、背景画像テキスト化部３００からの背景テキスト、ロゴマークテキスト化部４００からの背景テキストを統合する。すなわち、各テキストにおける矛盾や誤りを訂正して、統合テキストを生成する。このテキストの統合に使用するパラメータ、条件等は後述するように蓄積された過去のテキスト統合の入力、出力データから機械学習により生成できる。
【０１９０】
＜要約作成部６００＞
図９に示すように、要約作成部６００は、テキスト統合部５００からの統合テキストを要約する。すなわち、要約テキストの内容を要約して指定された文字数とする。この要約に使用するパラメータ、条件等は後述するように蓄積された過去のようよう役処理の入力データ、出力データから機械学習により生成できる。
【０１９１】
次に、各部の機械学習処理について説明する。
＜発話テキスト化部１００の機械学習処理＞
図３は同要約作成システムの発話テキスト化部を示すブロック図である。発話テキスト化部１００は、発話情報抽出部１１０、発話内容認識部１２０、発話内容テキスト化部１３０の他、機械学習部１４０、内容認識テキスト作成設定部１５０、比較評価部１６０を備える。また発話テキスト化部１００には、既存データ格納部７００が接続されている。
【０１９２】
発話テキスト化部１００は既存データ格納部７００が格納する既存のビデオデータと既存の発話テキストに基づいて機械学習を行い、発話内容認識部１２０及び発話内容テキスト化部１３０を最適化する。既存データ格納部７００には、過去に人が発話テキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成した発話テキストを格納した既存発話テキスト格納部７２０を備える。これらのビデオデータ及び発話テキストは機械学習の教材となる。
【０１９３】
また、発話テキスト化部１００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部１７０、１８０を備える。
【０１９４】
内容認識テキスト作成設定部１５０は、発話内容認識部１２０の発話内容認識処理の設定と、発話内容テキスト化部１３０のテキスト化処理の設定が格納されている。発話内容認識部１２０及び発話内容テキスト化部１３０は内容認識テキスト作成設定部１５０の設定した条件、パラメータに従って発話内容の認識とテキスト化とを行う。
【０１９５】
比較評価部１６０は、比較部１６１と評価部１６２とを備える。比較部１６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けて発話内容テキスト化部１３０が作成した発話テキストと、既存発話テキスト格納部７２０からの既存発話テキストとを比較する。評価部１６２は比較部１６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【０１９６】
機械学習部１４０は、評価部１６２からの評価を受け、内容認識テキスト作成設定部１５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部１６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。
【０１９７】
このような機械学習を行うことにより、発話内容認識部１２０及び発話内容テキスト化部１３０の能力が向上する。所定の機械学習を終了した後、発話テキスト化部１００は新規ビデオデータを処理して、最適な発話テキストを出力できる状態となる。
【０１９８】
＜テロップテキスト化部２００の機械学習＞
図４は同要約作成システムのテロップテキスト化部を示すブロック図である。テロップテキスト化部２００は、テロップ情報抽出部２１０、テロップ内容認識部２２０、テロップ内容テキスト化部２３０の他、機械学習部２４０、内容認識テキスト作成設定部２５０、比較評価部２６０を備える。またテロップテキスト化部２００には、既存データ格納部７００が接続されている。
【０１９９】
テロップテキスト化部２００は既存データ格納部７００が格納する既存のビデオデータと既存のテロップテキストに基づいて機械学習を行い、テロップ内容認識部２２０及びテロップ内容テキスト化部２３０を最適化する。既存データ格納部７００には、過去に人がテロップテキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成したテロップテキストを格納した既存テロップテキスト格納部７３０を備える。これらのビデオデータ及び発話テキストは機械学習の教材となる。
【０２００】
また、テロップテキスト化部２００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部２７０、２８０を備える。
【０２０１】
内容認識テキスト作成設定部２５０は、テロップ内容認識部２２０のテキスト内容認識処理の設定と、テロップ内容テキスト化部２３０のテキスト化処理の設定が格納されている。テロップ内容認識部２２０及びテロップ内容テキスト化部２３０は内容認識テキスト作成設定部２５０の設定した条件、パラメータに従ってテロップの内容認識及びテキスト化を行う。
【０２０２】
比較評価部２６０は、比較部２６１と評価部２６２とを備える。比較部２６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けてテロップ内容テキスト化部２３０が作成したテロップテキストと、既存テロップテキスト格納部７３０からの既存テロップテキストとを比較する。評価部２６２は比較部２６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【０２０３】
機械学習部２４０は、評価部２６２からの評価を受け、内容認識テキスト作成設定部２５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部２６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。
【０２０４】
このような機械学習を行うことにより、テロップ内容認識部２２０及びテロップ内容テキスト化部２３０の能力が向上する。所定の機械学習を終了した後、テロップテキスト化部２００は新規ビデオデータを処理して、最適なテロップテキストを出力できる状態となる。
【０２０５】
＜背景画像テキスト化部３００の機械学習＞
図６は同要約作成システムの背景画像テキスト化部を示すブロック図である。背景画像テキスト化部３００は、背景画像情報抽出部３１０、背景画像内容認識部３２０、背景画像内容テキスト化部３３０の他、機械学習部３４０、内容認識テキスト作成設定部３５０、比較評価部３６０を備える。また背景画像テキスト化部３００には、既存データ格納部７００が接続されている。
【０２０６】
背景画像テキスト化部３００は既存データ格納部７００が格納する既存のビデオデータと既存の背景画像テキストに基づいて機械学習を行い、背景画像内容認識部３２０及び背景画像内容テキスト化部３３０を最適化する。既存データ格納部７００には、過去に人がテロップテキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成した背景画像テキストを格納した既存背景画像テキスト格納部７４０を備える。これらのビデオデータ及び背景画像テキストは機械学習の教材となる。
【０２０７】
また、背景画像テキスト化部３００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部３７０、３８０を備える。
【０２０８】
内容認識テキスト作成設定部３５０は、背景画像内容認識部３２０の背景画像内容認識処理の設定と、背景画像内容テキスト化部３３０のテキスト化処理の設定が格納されている。背景画像内容認識部３２０及び背景画像内容テキスト化部３３０は内容認識テキスト作成設定部３５０の設定した条件、パラメータに従って背景画像の内容認識及びテキスト化を行う。
【０２０９】
比較評価部３６０は、比較部３６１と評価部３６２とを備える。比較部３６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けて背景画像内容テキスト化部３３０が作成した背景画像テキストと、既存背景画像テキスト格納部７４０からの既存背景画像テキストとを比較する。評価部３６２は比較部３６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【０２１０】
機械学習部３４０は、評価部３６２からの評価を受け、内容認識テキスト作成設定部３５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部３６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。
【０２１１】
このような機械学習を行うことにより、背景画像内容認識部３２０及び背景画像内容テキスト化部３３０の能力が向上する。所定の機械学習を終了した後、背景画像テキスト化部３００は新規ビデオデータを処理して、最適な背景画像テキストを出力できる状態となる。
【０２１２】
＜ロゴマークテキスト化部４００の機械学習＞
図７は同要約作成システムのロゴマークテキスト化部を示すブロック図である。ロゴマークテキスト化部４００は、ロゴマーク画像情報抽出部４１０、ロゴマーク内容認識部４２０、ロゴマーク内容テキスト化部４３０の他、機械学習部４４０、内容認識テキスト作成設定部４５０、比較評価部４６０を備える。またロゴマークテキスト化部４００には、既存データ格納部７００が接続されている。
【０２１３】
ロゴマークテキスト化部４００は、既存データ格納部７００が格納する既存のビデオデータと既存のロゴマークテキストに基づいて機械学習を行い、ロゴマーク内容認識部４２０及びロゴマーク内容テキスト化部４３０を最適化する。既存データ格納部７００には、過去に人がロゴマークテキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成したロゴマークテキストを格納した既存ロゴマークテキスト格納部７５０を備える。これらのビデオデータ及びロゴマークテキストは機械学習の教材となる。
【０２１４】
また、ロゴマークテキスト化部４００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部４７０、４８０を備える。
【０２１５】
内容認識テキスト作成設定部４５０は、ロゴマーク内容認識部４２０のロゴマーク画像内容認識処理の設定と、ロゴマーク内容テキスト化部４３０のテキスト化処理の設定が格納されている。ロゴマーク内容認識部４２０及びロゴマーク内容テキスト化部４３０は内容認識テキスト作成設定部４５０の設定した条件、パラメータに従ってロゴマークの内容認識及びテキスト化を行う。
【０２１６】
比較評価部４６０は、比較部４６１と評価部４６２とを備える。比較部４６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けてロゴマーク内容テキスト化部４３０が作成したテキストと、既存ロゴマークテキスト格納部７５０からの既存背景画像テキストとを比較する。評価部４６２は比較部４６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【０２１７】
機械学習部４４０は、評価部４６２からの評価を受け、内容認識テキスト作成設定部４５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部４６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。
【０２１８】
このような機械学習を行うことにより、ロゴマーク内容認識部４２０及びロゴマーク内容テキスト化部４３０の能力が向上する。所定の機械学習を終了した後、ロゴマークテキスト化部４００は新規ビデオデータを処理して、最適な背景画像テキストを出力できる状態となる。
【０２１９】
＜テキスト統合部５００の機械学習＞
図８は同要約作成システムのテキスト統合部を示すブロック図である。テキスト統合部５００は、統合テキスト作成部５１０、統合テキスト作成設定部５２０、機械学習部５３０、比較評価部５４０を備える。テキスト統合部５００には、既存データ格納部７００が接続されている。
【０２２０】
テキスト統合部５００は、既存データ格納部７００が格納する既存の各種、すなわち、発話テキスト、テロップテキスト、背景テキスト及びロゴマークテキストと既存の統合テキストに基づいて機械学習を行い、統合テキスト作成部５１０の動作を最適化する。既存データ格納部７００には、過去に統合テキストを作成したときに使用した各種テキストデータを格納した既存各種テキスト格納部７６０と、この各種テキストから作成した統合テキストを格納した既存統合テキスト格納部７７０とを備える。これらの各種テキスト及び統合テキストは機械学習の教材となる。
【０２２１】
また、テキスト統合部５００には、機械学習を行うときと、新規の各種テキストから新たな統合テキストを作成するときにデータ出力の切り換えを行う切換部５７０、５８０を備える。
【０２２２】
統合テキスト作成設定部５２０は、統合テキスト作成部５１０のテキスト統合処理の設定が格納されている。統合テキスト作成部５１０は統合テキスト作成設定部５２０の設定した条件、パラメータに従ってテキスト統合処理を行う。
【０２２３】
比較評価部５４０は、比較部５４１と評価部５４２とを備える。比較部５４１は、既存各種テキスト格納部７６０からの既存各種テキストを受けて統合テキスト作成部５１０が作成した統合テキストと、既存統合テキスト格納部７７０からの既存統合テキストとを比較する。評価部５４２は比較部５４１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【０２２４】
機械学習部５３０は、評価部５４２からの評価を受け、統合テキスト作成設定部５２０の設定状態を変更する。この処理を同一の各種テキストデータについて繰り返し行い、評価部５４２の評価値をできるだけ高いものとする。この処理は複数の各種テキストデータについて繰り返し行うことができる。
【０２２５】
このような機械学習を行うことにより、統合テキスト作成部５１０の能力が向上する。所定の機械学習を終了した後、テキスト統合部５００は新規ビデオデータを処理して、最適な統合テキストを出力できる状態となる。
【０２２６】
＜要約作成部６００の機械学習＞
図９は同要約作成システムの要約作成部を示すブロック図である。要約作成部６００は、要約テキスト作成部６１０、要約作成設定部６２０、機械学習部６３０、比較評価部６４０を備える。要約作成部６００には、既存データ格納部７００が接続されている。
【０２２７】
要約作成部６００は既存データ格納部７００が格納する統合テキストと要約テキストに基づいて機械学習を行い、要約テキスト作成部６１０の動作を最適化する。既存データ格納部７００には、過去に要約テキストを作成したときに使用した統合テキストデータを格納した既存統合テキスト格納部７７０と、この統合テキストから作成した要約テキストを格納した既存要約テキスト格納部７８０とを備える。これらの統合テキスト及び要約テキストは機械学習の教材となる。
【０２２８】
また、要約作成部６００には、機械学習を行うときと、新規の統合テキストから新たな要約テキストを作成するときにデータ出力の切り換えを行う切換部６７０、６８０を備える。
【０２２９】
要約作成設定部６２０には、要約テキスト作成部６１０の要約処理の設定が格納されている。要約テキスト作成部６１０は要約作成設定部６２０の設定した条件、パラメータに従ってテキスト要約処理を行う。
【０２３０】
比較評価部６４０は、比較部６４１と評価部６４２とを備える。比較部６４１は、既存統合テキスト格納部７７０からの既存統合テキストを受けて要約テキスト作成部６１０が作成した要約テキストと、既存要約テキスト格納部７８０からの要約テキストとを比較する。評価部６４２は比較部６４１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【０２３１】
機械学習部６３０は、評価部６４２からの評価を受け、要約作成設定部６２０の設定状態を変更する。この処理を同一の各種テキストデータについて繰り返し行い、評価部６４２の評価値をできるだけ高いものとする。この処理は複数の統合テキストデータについて繰り返し行うことができる。
【０２３２】
このような機械学習を行うことにより、要約テキスト作成部６１０の能力が向上する。所定の機械学習を終了した後、要約作成部６００は新規ビデオデータを処理して、最適な要約テキストを出力できる状態となる。
【０２３３】
次に、要約作成システム１０の処理について説明する。図１０は同要約作成システムの動作を示すフローチャートである。
【０２３４】
まず、既存データ格納部７００の既存ビデオデータ格納部７１０、既存発話テキスト格納部７２０、既存テロップテキスト格納部７３０、既存背景画像テキスト格納部７４０、既存ロゴマークテキスト格納部７５０、既存各種テキスト格納部７６０、既存統合テキスト格納部７７０、既存要約テキスト格納部７８０に既存のビデオ信号、各種テキストデータを読み込む（ステップＳＴ１）。
【０２３５】
次いで発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００において、機械学習処理を行う（ステップＳＴ２ａ、ＳＴ２ｂ、ＳＴ２ｃ、ＳＴ２ｄ）。この学習処理は逐次的に行うこともできる。
【０２３６】
次に、テキスト統合部５００の既存データ格納部５５０、要約作成部６００の既存データ格納部６５０に既存の入力データ、出力データを読み込む（ステップＳＴ３）。次いで、テキスト統合部５００、要約作成部６００において機械学習処理を行う（ステップＳＴ３ａ、３ｂ）。この学習処理は逐次的に行うこともできる。なお、発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、及びロゴマークテキスト化部４００の機械学習処理と、及びテキスト統合部５００及び要約作成部６００の機械学習処理とは処理の順序を問わず、逆の順序で行うことができる。
【０２３７】
学習処理が終了すると（ステップＳＴ４のｙｅｓ）、処理対象となるビデオ信号をビデオ信号分離部２０に入力する（ステップＳＴ５）。これにより、発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００は、テキスト化処理を実行する（ステップＳＴ６ａ、ＳＴ６ｂ、ＳＴ６ｃ、ＳＴ６ｄ）。
【０２３８】
そして、各テキストをテキスト統合部５００で統合処理し（ステップＳＴ７）、更に統合されたテキストを要約作成部６００で要約処理し（ステップＳＴ８）、要約テキストを出力し、要約作成システム１０の処理は終了する。
【０２３９】
次の要約作成処理からは、機械学習処理（ステップＳＴ１〜ＳＴ４）は行わなくて直ちに要約作成の対象ビデオ信号の入力（ステップＳＴ５）をするだけで、最適な要約作成を行うことができる。また、機械学習処理は必要に応じて行うことができる。
【０２４０】
以上のシステムは、処理装置としてのＣＰＵ(Central Processing Unit)、記憶装置としてＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等を備えたコンピュータシステムでアプリケーションションソフトウエアを実行して実現できる。また、各部は同一ヶ所に配置される必要はなく、一部をウェブに配置してネットワークで接続して実現することができる。また、これらの処理は、多量のデータを対象とするためＧＰＵ（Graphics Processing Unit）を使用して処理することが好ましい。
【０２４１】
すなわち、統合テキストは、単に、音声、文字,背景映像等の文字化してものであり、膨大な文章についてのデータである。コのため、ＧＰＵをテキスト処理に特化することにより高速に処理できる。
【０２４２】
また、テキスト統合部５００によるテキスト入力は、発話テキスト、テロップテキスト、背景画像テキスト及びロゴマークテキストに限定されない。
【０２４３】
例えば、テレビ番組（地上デジタルテレビ放送番組）を対象とする場合、電子番組表（ＥＰＧ）、字幕放送、解説放送から取得した文字や音声をテキストとして取得して入力することができる。これにより、統合テキストの質と量とを向上させるとともに、テキストの汎用性や嗜好性を向上させることができる。
【０２４４】
同様に、インターネット映像配信を対象とする場合、第三者の評価（コメントを含む）や評判をテキストとして取得して入力できる。これにより、統合テキストの質と量とを向上させるとともに、テキストの汎用性や嗜好性を向上させることができる。
【０２４５】
なお、「重み付け」には、視聴回数（再生回数）や第三者の評価（ｇｏｏｄ・ｂａｄ）を利用して、視聴回数に対する評価割合、或いは、ｇｏｏｄ／ｂａｄの比率等を利用することも可能である。
【０２４６】
以上のように、第二の実施形態に係る映像情報提供システム１１にあっては、要約書作成手段６００により作成された要約は、重み付け付与手段１５ｄによって複数の映像コンテンツを対象として少なくとも一つ以上の所定の条件に特化した重み付けを付与されることにより、複数の映像コンテンツを対象として利用者により有用な情報を供給することができる。
【０２４７】
第二の実施の形態にあってはデータ処理をＡＩ（人工知能：artificial intelligence）処理により高速且つ適切に処理して要約化する。ＡＩ処理は、上述した機械学習（ＭＬ：machine learning）により実現できる。更に、機械学習として、既存データを正解とする教師有り学習が採用できる。また、機械学習としてディープラーニング（深層学習：ＤＬ：Deep Learning）により行うと効果的である。
【０２４８】
ディープラーニングでは、既存の多数のビデオデータ、各ビデオデータに対応する各種テキストデータ、統合テキスト、要約テキストをビッグデータとして学習を行う。この、各機械学習部は、入力層、複数の中間層、出力層を備え、多数のニューロンを備えたニューラルネットワークにより処理を行い。すなわち、本発明に係る要約作成システムに入力された新規ビデオデータ、このビデオデータによる各種テキスト、統合テキスト、要約を入力とした出力が、既存の各種テキスト、統合テキスト、要約に近づくように中間層のニューロンにおける重み、パラメータを最小二乗法等の手法で適正化する。
【０２４９】
本発明の権利範囲は、前記第一及び第二の実施の形態に記載された構成には限定されず、本発明の範囲内に含まれる全ての構成に及ぶものである。
【符号の説明】
【０２５０】
１：映像情報提供システム
２：受信部
３：操作部
４：記憶部
５：制御回路部
５ａ：構成要素出現頻度判断手段
５ｂ：映像コンテンツ抽出手段
５Ｃ：希望映像登録手段
６：大容量記憶部
７：出力部（映像コンテンツ提供手段、出力手段）
７ａ：表示映像対象物
９：再生装置
１０：要約作成システム（要約作成手段）
１１：映像情報提供システム
１２：受信部
１３：操作部
１４：記憶部
１５：制御回路部
１５ａ：構成要件出現頻度判断手段
１５ｂ：映像コンテンツ抽出手段
１５ｃ：希望映像登録手段
１５ｄ：重み付け付与手段
１６：大容量記憶部
１７：出力部（出力手段）
１７ａ：表示画面
１８：ビデオ信号処理部
１９：再生装置
２０：ビデオ信号分離部
３０：テレビ局
４０：インターネット
１００：発話テキスト化部
１１０：発話情報抽出部
１２０：発話内容認識部
１３０：発話内容テキスト化部
１４０：機械学習部
１５０：内容認識テキスト作成設定部
１６０：比較評価部
１６１：比較部
１６２：評価部
１７０：切換部
１８０：切換部
２００：テロップテキスト化部
２１０：テロップ情報抽出部
２２０：テロップ内容認識部
２３０：テロップ内容テキスト化部
２４０：機械学習部
２５０：内容認識テキスト作成設定部
２６０：比較評価部
２６１：比較部
２６２：評価部
２７０：切換部
２８０：切換部
３００：背景画像テキスト化部
３１０：背景画像情報抽出部
３２０：背景画像内容認識部
３３０：背景画像内容テキスト化部
３４０：機械学習部
３５０：内容認識テキスト作成設定部
３６０：比較評価部
３６１：比較部
３６２：評価部
３７０：切換部
３８０：切換部
４００：ロゴマークテキスト化部
４１０：ロゴマーク画像情報抽出部
４２０：ロゴマーク内容認識部
４３０：ロゴマーク内容テキスト化部
４４０：機械学習部
４５０：内容認識テキスト作成設定部
４６０：比較評価部
４６１：比較部
４６２：評価部
４７０：切換部
４８０：切換部
５００：テキスト統合部
５１０：統合テキスト作成部
５２０：統合テキスト作成設定部
５３０：機械学習部
５４０：比較評価部
５４１：比較部
５４２：評価部
５５０：既存データ格納部
５７０：切換部
５８０：切換部
６００：要約作成部（要約作成手段）
６１０：要約テキスト作成部
６２０：要約作成設定部
６３０：機械学習部
６４０：比較評価部
６４１：比較部
６４２：評価部
６５０：既存データ格納部
６７０：切換部
６８０：切換部
７００：既存データ格納部
７１０：既存ビデオデータ格納部
７２０：既存発話テキスト格納部
７３０：既存テロップテキスト格納部
７４０：既存背景画像テキスト格納部
７５０：既存ロゴマークテキスト格納部
７６０：既存各種テキスト格納部
７７０：既存統合テキスト格納部
７８０：既存要約テキスト格納部
【図１】
2019213038.tif 000003
【図２】
2019213038.tif 000004
【図３】
2019213038.tif 000005
【図４】
2019213038.tif 000006
【図５】
2019213038.tif 000007
【図６】
2019213038.tif 000008
【図７】
2019213038.tif 000009
【図８】
2019213038.tif 000010
【図９】
2019213038.tif 000011
【図１０】
2019213038.tif 000012
【図１１】
2019213038.tif 000013