(57)【要約】      （修正有）【課題】動画データ及び音声データを含む映像データから正確かつ最適な要約を生成する要約作成システム、及び要約作成方法を提供する。【解決手段】要約作成システム１０において、コンテンツから生成した発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキスト、を統合して統合テキストを出力するテキスト統合手段と、統合テキストを要約した要約テキストを出力する要約作成手段と、を備える。テキスト統合手段は、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習するテキスト統合設定手段を備え、要約作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備える。【選択図】図１
2019160071.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツについてのビデオ信号から抽出した前記コンテンツにおける人の発話内容を記述した発話テキスト、
前記ビデオ信号から抽出した前記コンテンツにおけるテロップの表示内容を記載したテロップテキスト、
前記ビデオ信号に現れる場面、状況、物品、及び事象のうち少なくとも一つの説明を記述した背景画像テキスト、
前記ビデオ信号に現れるロゴマーク、商標、記号、符号を含むマークについて記述するロゴマークテキスト、
のうち少なくとも２つのテキストを統合して統合テキストを出力するテキスト統合手段と、
前記統合テキストを要約した要約テキストを出力する要約作成手段と、
を備え、
前記テキスト統合手段は、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習するテキスト統合設定手段を備え、
前記要約作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備えることを特徴とする要約作成システム。
【請求項２】
前記コンテンツについての前記ビデオ信号の音声信号から発話情報を抽出する手段、前記発話情報から発話内容を認識する手段、及び、前記発話内容をテキスト化して発話テキストを出力する手段を備えた発話テキスト化部と、
前記ビデオ信号の映像信号から、テロップを表示するテロップ情報を抽出する手段、前記テロップ情報からテロップ内容を認識する手段、及び、前記テロップ内容をテキスト化してテロップテキストを出力する手段、を備えたテロップテキスト化部と、
前記ビデオ信号の映像信号から、背景画像情報を抽出する手段、前記背景画像情報から背景画像内容を認識する手段、及び前記背景画像内容をテキスト化して背景テキストを出力する手段、を備えた背景画像テキスト化部と、
前記ビデオ信号の映像信号から、ロゴマーク画像情報を抽出する手段、前記ロゴマーク画像情報からロゴマーク内容を認識する手段、及び前記ロゴマーク内容をテキスト化してロゴマークテキストを出力する手段を備えるロゴマークテキスト化部と、
から選択した少なくとも２つのテキスト化部を備えることを特徴とする請求項１に記載の要約作成システム。
【請求項３】
発話内容テキスト化部、テロップテキスト化部、背景画像テキスト化部、及びロゴマークテキスト化部のうち少なくとも一つは、蓄積された過去のテキスト化処理における入力データと出力データから最適なテキスト作成設定を学習するテキスト化学習手段を備えることを特徴とする請求項２に記載の要約作成システム。
【請求項４】
前記ビデオ信号は、テレビ放送局が放送する放送番組から取得することを特徴とする請求項１に記載の要約作成システム。
【請求項５】
前記ビデオ信号は、インターネットによって配信される動画映像から取得することを特徴とする請求項１に記載の要約作成システム。
【請求項６】
コンテンツについてのビデオ信号から抽出した前記コンテンツにおける人の発話内容を記述した発話テキスト、
前記ビデオ信号から抽出した前記コンテンツにおけるテロップの表示内容を記載したテロップテキスト、
前記ビデオ信号に現れる場面、状況、物品、及び事象のうち少なくとも一つの説明を記述した背景画像テキスト、
前記ビデオ信号に現れるロゴマーク、商標、記号、符号を含むマークについて記述するロゴマークテキスト、
のうち少なくとも２つのテキストを統合して統合テキストを出力するステップと、
前記統合テキストの要約を作成して要約テキストを出力するステップとを備え、
前記テキストを統合するステップには、蓄積された過去のテキスト統合処理の入力データと出力データとから最適なテキスト統合設定を予め学習するステップを含み、
前記要約を作成するステップには、蓄積された過去の要約作成結果の入力データと出力データとから最適な要約設定を予め学習するステップを含む、ことを特徴とする要約作成方法。
【請求項７】
前記コンテンツについての前記ビデオ信号の音声信号から発話情報を抽出し、前記発話情報から発話内容を認識し、前記発話内容をテキスト化し、発話テキストを出力するステップと、
前記ビデオ信号の映像信号から、テロップを表示するテロップ情報を抽出し、前記テロップ情報からテロップ内容を認識し、前記テロップ内容をテキスト化してテロップテキストを出力するステップと、
前記ビデオ信号の映像信号から、背景画像情報を抽出し、前記背景画像情報から背景画像内容を認識し、前記背景画像内容をテキスト化して背景テキストを出力するステップ、
前記ビデオ信号の映像信号から、ロゴマーク画像情報を抽出し、前記ロゴマーク画像情報からロゴマーク内容を認識し、前記ロゴマーク内容をテキスト化してロゴマークテキストを出力するステップと、
から選択した少なくとも２つのステップを備えることを特徴とする請求項６に記載の要約作成方法。
【請求項８】
発話内容をテキスト化するステップ、前記テロップをテキスト化するステップ、前記背景画像をテキスト化するステップ、及びロゴマークをテキスト化するステップのうち少なくとも一つのステップは、蓄積された過去のテキスト化処理における入力データと出力データから最適なテキスト作成設定を学習するステップを備えることを特徴とする請求項６に記載の要約作成方法。
【請求項９】
前記ビデオ信号は、テレビ放送局が放送する放送番組から取得することを特徴とする請求項１に記載の要約作成方法。
【請求項１０】
前記ビデオ信号は、インターネットによって配信される動画映像から取得することを特徴とする請求項６に記載の要約作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツについてのビデオ信号からコンテンツの要約テキストを作成する要約作成システム、及び要約作成方法に関する。
【背景技術】
【０００２】
テレビ放送番組やインターネット配信動画に関するメタデータの重要性が高まってきている。メタデータとは、あるデータそのものではなく、そのデータに関連する情報のことをいう。メタデータは、データの作成日時や作成者、データ形式、タイトル、注釈、要約を含む。これはデータを効率的に管理したり検索したりするために重要な情報である。
【０００３】
本件特許出願人は、映像を録画する録画ファイルを有する録画手段と、前記録画ファイルに録画された映像から文字情報を取得する文字情報取得手段と、前記文字情報取得手段によって取得された前記文字情報を集約して文章化する文字情報文章化手段と、前記文字情報文章化手段によって文章化された前記文字情報を前記録画ファイルに録画された映像のメタデータとしてメタデータ格納ファイルに格納するメタデータ格納手段とを備えるメタデータ生成システムを提案している（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−３３０４８公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術にあっては、映像に表示されたテキストや音声からの文字情報を照合してメタデータとして生成するものであるが、メタデータの生成の精度をより向上させたいという要望がある。
【０００６】
本発明は上述した課題に鑑みてなされたものであり、動画データ及び音声データを含む映像データから正確かつ最適な要約を生成する要約作成システム、及び要約作成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決する請求項１に記載の発明は、コンテンツについてのビデオ信号から抽出した前記コンテンツにおける人の発話内容を記述した発話テキスト、前記ビデオ信号から抽出した前記コンテンツにおけるテロップの表示内容を記載したテロップテキスト、前記ビデオ信号に現れる場面、状況、物品、及び事象のうち少なくとも一つの説明を記述した背景画像テキスト、前記ビデオ信号に現れるロゴマーク、商標、記号、符号を含むマークについて記述するロゴマークテキスト、のうち少なくとも２つのテキストを統合して統合テキストを出力するテキスト統合手段と、前記統合テキストを要約した要約テキストを出力する要約作成手段と、を備え、前記テキスト統合手段は、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習するテキスト統合設定手段を備え、前記要約作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備えることを特徴とする要約作成システムである。
【０００８】
本発明によれば、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキスト、のうち少なくとも２つのテキストはテキスト統合手段で統合されて統合テキストとして出力され、この統合テキストは要約作成手段で要約されて要約テキストが出力される。このときテキスト統合手段は、テキスト統合設定手段を備え、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習している。また、要約作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備え、最適な要約作製設定を学習している。このため、当該コンテンツの場面やシチュエーションに最適なテキスト統合設定及び要約作成状態とされている。
【０００９】
よって、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキストを統合した、コンテンツの場面やシチュエーションに最適な要約テキストを作成することができる。
【００１０】
同じく請求項２に記載の発明は、前記コンテンツについての前記ビデオ信号の音声信号から発話情報を抽出する手段、前記発話情報から発話内容を認識する手段、及び、前記発話内容をテキスト化して発話テキストを出力する手段を備えた発話テキスト化部と、前記ビデオ信号の映像信号から、テロップを表示するテロップ情報を抽出する手段、前記テロップ情報からテロップ内容を認識する手段、及び、前記テロップ内容をテキスト化してテロップテキストを出力する手段、を備えたテロップテキスト化部と、前記ビデオ信号の映像信号から、背景画像情報を抽出する手段、前記背景画像情報から背景画像内容を認識する手段、及び前記背景画像内容をテキスト化して背景テキストを出力する手段、を備えた背景画像テキスト化部と、前記ビデオ信号の映像信号から、ロゴマーク画像情報を抽出する手段、前記ロゴマーク画像情報からロゴマーク内容を認識する手段、及び前記ロゴマーク内容をテキスト化してロゴマークテキストを出力する手段を備えるロゴマークテキスト化部と、から選択した少なくとも２つのテキスト化部を備えることを特徴とする。
【００１１】
本発明によれば、発話内容テキスト化部では、ビデオ信号の音声信号から発話情報が抽出され発話内容が認識され発話テキストが生成される。また、テロップテキスト化部ではビデオ信号の映像信号からテロップ情報が抽出され、テロップの表示内容が認識され、テロップテキスト生成される。また、背景画像テキスト化部ではビデオ信号の映像信号から背景画像情報が抽出され、背景画像の内容が認識され、背景テキストが生成される。また、ロゴマークテキスト化部ではビデオ信号の映像信号からロゴマークテキスト情報が認識されロゴマークテキストが生成される。
【００１２】
よって、発話情報、テロップ情報、背景画像情報、及びロゴマーク情報からそれぞれテキストが生成され、コンテンツのビデオ信号から多様な情報をもとにテキストが生成され、コンテンツの場面やシチュエーションに最適な要約を作成できる。
【００１３】
同じく請求項３に記載の発明は、請求項２に記載の要約作成システムにおいて、発話内容テキスト化部、テロップテキスト化部、背景画像テキスト化部、及びロゴマークテキスト化部のうち少なくとも一つは、蓄積された過去のテキスト化処理における入力データと出力データから最適なテキスト作成設定を学習するテキスト化学習手段を備えることを特徴とする。
【００１４】
本発明によれば、各テキスト化部は、テキスト化学習手段により蓄積された過去のテキスト化処理の入力データと出力データに基づいて学習を行う。
【００１５】
よって、過去に実行された多数の要約作成から最適なテキスト化作成の設定を学習し、でき、設定に同様のコンテンツの場面やシチュエーションに最適な要約を作成できる。
【００１６】
同じく請求項４に記載の発明は、請求項１に記載の要約作成システムにおいて、前記ビデオ信号は、テレビ放送局が放送する放送番組から取得することを特徴とする。
【００１７】
同じく請求項５に記載の発明は、請求項１に記載の要約作成システムにおいて、前記ビデオ信号は、インターネットによって配信される動画映像から取得することを特徴とする。
【００１８】
同じく請求項６に記載の発明は、コンテンツについてのビデオ信号から抽出した前記コンテンツにおける人の発話内容を記述した発話テキスト、前記ビデオ信号から抽出した前記コンテンツにおけるテロップの表示内容を記載したテロップテキスト、前記ビデオ信号に現れる場面、状況、物品、及び事象のうち少なくとも一つの説明を記述した背景画像テキスト、前記ビデオ信号に現れるロゴマーク、商標、記号、符号を含むマークについて記述するロゴマークテキスト、のうち少なくとも２つのテキストを統合して統合テキストを出力するステップと、前記統合テキストの要約を作成して要約テキストを出力するステップとを備え、前記テキストを統合するステップには、蓄積された過去のテキスト統合処理の入力データと出力データとから最適なテキスト統合設定を予め学習するステップを含み、前記要約を作成するステップには、蓄積された過去の要約作成結果の入力データと出力データとから最適な要約設定を予め学習するステップを含む、ことを特徴とする要約作成方法である。
本発明によれば、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキスト、のうち少なくとも２つのテキストは統合されて統合テキストとされ、この統合テキストが要約されて要約テキストとされる。このときテキスト統合に際しては、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習している。また、要約作成に際しては蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習している。このため、当該コンテンツの場面やシチュエーションに最適なテキスト統合設定及び要約作成状態とされている。
【００１９】
よって、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキストを統合した、コンテンツの場面やシチュエーションに最適な要約テキストを作成することができる。
【００２０】
同じく請求項７に記載の発明は、請求項６に記載の要約作成方法において、前記コンテンツについての前記ビデオ信号の音声信号から発話情報を抽出し、前記発話情報から発話内容を認識し、前記発話内容をテキスト化し、発話テキストを出力するステップと、前記ビデオ信号の映像信号から、テロップを表示するテロップ情報を抽出し、前記テロップ情報からテロップ内容を認識し、前記テロップ内容をテキスト化してテロップテキストを出力するステップと、前記ビデオ信号の映像信号から、背景画像情報を抽出し、前記背景画像情報から背景画像内容を認識し、前記背景画像内容をテキスト化して背景テキストを出力するステップ、前記ビデオ信号の映像信号から、ロゴマーク画像情報を抽出し、前記ロゴマーク画像情報からロゴマーク内容を認識し、前記ロゴマーク内容をテキスト化してロゴマークテキストを出力するステップと、から選択した少なくとも２つのステップを備えることを特徴とする。
【００２１】
本発明によれば、ビデオ信号の音声信号から発話情報が抽出され発話内容が認識され発話テキストが生成される。また、ビデオ信号の映像信号からテロップ情報が抽出され、テロップの表示内容が認識され、テロップテキスト生成される。また、ビデオ信号の映像信号から背景画像情報が抽出され、背景画像の内容が認識され、背景テキストが生成される。
【００２２】
よって、発話情報、テロップ情報、背景画像情報、及びロゴマーク情報からそれぞれテキストが生成され、コンテンツのビデオ信号から多様な情報をもとにテキストが生成され、コンテンツの場面やシチュエーションに最適な要約を作成できる。
【００２３】
同じく請求項８に記載の発明は、請求項６に記載の要約作成方法において、発話内容をテキスト化するステップ、前記テロップをテキスト化するステップ、前記背景画像をテキスト化するステップ、及びロゴマークをテキスト化するステップのうち少なくとも一つのステップは、蓄積された過去のテキスト化処理における入力データと出力データから最適なテキスト作成設定を学習するステップを備えることを特徴とする。
【００２４】
本発明によれば、それぞれのテキスト化に際しては、蓄積された過去のテキスト化処理の入力データと出力データに基づいて学習を行う。
【００２５】
よって、過去に実行された多数の要約作成から最適なテキスト化作成の設定を学習し、でき、設定に同様のコンテンツの場面やシチュエーションに最適な要約を作成できる。
【００２６】
同じく請求項９に記載の発明は、請求項６に記載の要約作成方法において、前記ビデオ信号は、テレビ放送局が放送する放送番組から取得することを特徴とする。
【００２７】
同じく請求項１０に記載の発明は、請求項６に記載の要約作成方法において、前記ビデオ信号は、インターネットによって配信される動画映像から取得することを特徴とする。
【発明の効果】
【００２８】
本発明に係る要約作成システム、及び要約作成方法によれば、動画データ及び音声データを含む映像データから正確かつ最適な要約を生成することができる。
【００２９】
即ち、請求項１に記載の要約作成システムによれば、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキスト、のうち少なくとも２つのテキストはテキスト統合手段で統合されて統合テキストとして出力され。この統合テキストは要約作成手段で要約されて要約テキストが出力される。このときテキスト統合手段は、テキスト統合設定手段を備え、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習している。また、要約作成手段は、蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習する要約設定学習手段を備え、最適な要約作製設定を学習している。このため、当該コンテンツの場面やシチュエーションに最適なテキスト統合設定及び要約作成状態とされている。
【００３０】
よって、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキストを統合した、コンテンツの場面やシチュエーションに最適な要約テキストを作成することができる。
【００３１】
また、請求項２に記載の要約作成システムによれば、発話内容テキスト化部では、ビデオ信号の音声信号から発話情報が抽出され発話内容が認識され発話テキストが生成される。また、テロップテキスト化部ではビデオ信号の映像信号からテロップ情報が抽出され、テロップの表示内容が認識され、テロップテキスト生成される。また、背景画像テキスト化部ではビデオ信号の映像信号から背景画像情報が抽出され、背景画像の内容が認識され、背景テキストが生成される。また、ロゴマークテキスト化部ではビデオ信号の映像信号からロゴマークテキスト情報が認識されロゴマークテキストが生成される。
【００３２】
よって、発話情報、テロップ情報、背景画像情報、及びロゴマーク情報からそれぞれテキストが生成され、コンテンツのビデオ信号から多様な情報をもとにテキストが生成され、コンテンツの場面やシチュエーションに最適な要約を作成できる。
【００３３】
また、請求項３に記載の要約作成システムによれば、各テキスト化部は、テキスト化学習手段により蓄積された過去のテキスト化処理の入力データと出力データに基づいて学習を行う。
【００３４】
よって、過去に実行された多数の要約作成から最適なテキスト化作成の設定を学習し、でき、設定に同様のコンテンツの場面やシチュエーションに最適な要約を作成できる。
【００３５】
また、請求項４に記載の要約作成システムによれば、テレビ番組から要約を作成することができる。
【００３６】
また、請求項５に記載の要約作成システムによれば、インターネット動画番組から要約を作成することができる。
【００３７】
また、請求項６に記載の要約作成方法によれば、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキスト、のうち少なくとも２つのテキストは統合されて統合テキストとされ、この統合テキストが要約されて要約テキストとされる。
このときテキスト統合に際しては、蓄積された過去のテキスト統合処理の入力データと出力データとを教材として最適なテキスト統合設定を学習している。また、要約作成に際しては蓄積された過去の要約作成結果の入力データと出力データとを教材として最適な要約作成設定を学習している。このため、当該コンテンツの場面やシチュエーションに最適なテキスト統合設定及び要約作成状態とされている。
【００３８】
よって、発話テキスト、テロップテキスト、背景画像テキスト、ロゴマークテキストを統合した、コンテンツの場面やシチュエーションに最適な要約テキストを作成することができる。
【００３９】
更に、請求項７に記載の要約作成方法によれば、ビデオ信号の音声信号から発話情報が抽出され発話内容が認識され発話テキストが生成される。また、ビデオ信号の映像信号からテロップ情報が抽出され、テロップの表示内容が認識され、テロップテキスト生成される。また、ビデオ信号の映像信号から背景画像情報が抽出され、背景画像の内容が認識され、背景テキストが生成される。
【００４０】
よって、発話情報、テロップ情報、背景画像情報、及びロゴマーク情報からそれぞれテキストが生成され、コンテンツのビデオ信号から多様な情報をもとにテキストが生成され、コンテンツの場面やシチュエーションに最適な要約を作成できる。
【００４１】
そして、請求項８に記載の要約作成方法によれば、それぞれのテキスト化に際しては、蓄積された過去のテキスト化処理の入力データと出力データに基づいて学習を行う。
【００４２】
よって、過去に実行された多数の要約作成から最適なテキスト化作成の設定を学習し、でき、設定に同様のコンテンツの場面やシチュエーションに最適な要約を作成できる。
【００４３】
また、請求項９に記載の要約作成システムによれば、テレビ番組から要約を作成することができる。
【００４４】
また、請求項１０に記載の要約作成システムによれば、インターネット動画番組から要約を作成することができる。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施形態に係る要約作成システムの全体構成を示すブロック図である。
【図２】同要約作成システムの発話テキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。
【図３】同要約作成システムのテロップテキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。
【図４】同要約作成システムの背景画像テキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。
【図５】同要約作成システムのロゴマークテキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。
【図６】同要約作成システムのテキスト統合部を示すブロック図である。
【図７】同要約作成システムの要約作成部を示すブロック図である。
【図８】同要約作成システムの処理手順を示すフローチャートである。
【図９】同要約作成システムの処理例を示す図である。
【発明を実施するための形態】
【００４６】
［第１実施形態］
本発明を実施するための形態に係る要約作成システム、及び要約作成方法について説明する。まず第１実施形態に係る要約作成システムの全体構成について説明する。図１は本発明の実施形態に係る要約作成システムの全体構成を示すブロック図である。
【００４７】
＜要約作製システム１０の全体構成＞
図１に示すように、要約作製システム１０は、ビデオ信号分離部２０、発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００、テキスト統合手段であるテキスト統合部５００、及び要約作成手段である要約作成部６００を備える。本実施形態では要約作製システム１０はビデオ信号をテレビ放送局３０からの放送番組やインターネット４０で配信される動画映像から取得する。なお、ビデオ信号は、インターネットにおける動画から取得することができる。なお、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００、及びテキスト統合部５００から選択した少なくとも２つの部分を備えるものとすることができる。
【００４８】
音声信号と映像信号を含むビデオ信号Ｖは、ビデオ信号分離部２０で音声信号Ａと映像信号Ｂとに分離される。音声信号Ａは発話テキスト化部１００に入力され、映像信号Ｂはテロップテキスト化部２００、背景画像テキスト化部３００、及びロゴマークテキスト化部４００に入力される。
【００４９】
＜発話テキスト化部１００＞
発話テキスト化部１００は音声信号Ａを受けてコンテンツ中における人の発話内容を記述したテキストである発話テキストを出力する。発話テキスト化部１００は、発話情報抽出部１１０、発話内容認識部１２０、発話内容テキスト化部１３０を備える。
【００５０】
発話情報抽出部１１０は、ビデオ信号Ｖの音声信号Ａから発話情報を抽出する。即ち、音声信号Ａ中の雑音を取り除き、人の発話音声の情報を抽出する。この発話情報として効果音や特徴的な音楽を含むことができる。
【００５１】
発話内容認識部１２０は、発話情報から発話内容を認識する。即ち、発話情報を音響的、文法的に解析して発話内容を言語として認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の音声テキストの生成データから機械学習により生成できる。
【００５２】
発話内容テキスト化部１３０は発話内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の音声テキストの入力データ及び生成データから機械学習により生成できる。
【００５３】
＜テロップテキスト化部２００＞
テロップテキスト化部２００は映像信号Ｂを受けてコンテンツ中におけるテロップ内容を記述したテキストであるテロップテキストを出力する。テロップテキスト化部２００は、テロップ情報抽出部２１０、テロップ内容認識部２２０、テロップ内容テキスト化部２３０を備える。
【００５４】
テロップ情報抽出部２１０は、ビデオ信号Ｖの映像信号Ｂからテロップ情報を抽出する。即ち、映像信号Ｂ中の背景を取り除き、テロップ画像だけの情報を抽出する。
【００５５】
発話内容認識部１２０は、テロップ画像情報からテロップ内容を認識する。即ち、テロップ情報を言語的、文法的に解析してテロップ表示内容を言語として認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のテロップテキストの入力データ及び生成データから機械学習により生成できる。
【００５６】
テロップ内容テキスト化部２３０はテロップ内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のテロップテキストの入力データ及び生成データから機械学習により生成できる。
【００５７】
＜背景画像テキスト化部３００＞
背景画像テキスト化部３００は映像信号Ｂを受けてコンテンツ中における背景画像内容を記述したテキストである背景画像テキストを出力する。背景画像としては、場面、状況、物品、及び事象のうち少なくとも一つ、例えば、人物、人物の持ち物、人物の表情、風景、建築物の状況、室内の状況、動物、乗物、その他の物品を挙げることができる。背景画像テキスト化部３００は、背景画像情報抽出部３１０、背景画像内容認識部３２０、背景画像内容テキスト化部３３０を備える。
【００５８】
背景画像情報抽出部３１０は、ビデオ信号Ｖの映像信号Ｂから背景画像情報を抽出する。即ち、映像信号Ｂ中のテロップや不鮮明な画像を取り除き、認識可能な背景画像だけの情報を抽出する。
【００５９】
背景画像内容認識部３２０は、背景画像情報から背景画像の内容を認識する。即ち、背景画像情報を解析して表されている人物、人物の持ち物、人物の表情、風景、建築物の状況、室内の状況、動物、乗物、その他の物品を認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の背景画像テキストの入力データ及び生成データから機械学習により生成できる。
【００６０】
背景画像内容テキスト化部３３０は背景画像内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去の背景画像テキストの入力データ及び生成データから機械学習により生成できる。
【００６１】
＜ロゴマークテキスト化部４００＞
ロゴマークテキスト化部４００は映像信号Ｂを受けてコンテンツ中におけるロゴマーク内容を記述したテキストであるロゴマークテキストを出力する。ロゴマークとしては、商品の出所を表示する商標、記号、符号を含むマーク、その他の標章を挙げることができる。ロゴマークテキスト化部４００は、ロゴマーク画像情報抽出部４１０、ロゴマーク内容認識部４２０、ロゴマーク内容テキスト化部４３０を備える。
【００６２】
ロゴマーク画像情報抽出部４１０は、ビデオ信号Ｖの映像信号Ｂからロゴマーク画像情報を抽出する。即ち、映像信号Ｂ中のテロップや背景画像を取り除き、認識可能なロゴマーク画像だけの情報を抽出する。
【００６３】
ロゴマーク内容認識部４２０は、ロゴマーク画像情報からロゴマークの内容を認識する。即ち、ロゴマーク画像情報を解析して表されている商品、サービス、店舗、施設等を認識する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のロゴマークテキストの入力データ及び生成データから機械学習により生成できる。
【００６４】
ロゴマーク内容テキスト化部４３０はロゴマーク画像内容をテキスト化して出力する。この認識に使用するパラメータ、条件等は後述するように蓄積された過去のロゴマークテキストの入力データ及び生成データから機械学習により生成できる。
【００６５】
＜テキスト統合部５００＞
テキスト統合部５００は、発話テキスト化部１００からの発話テキスト、テロップテキスト化部２００からのテロップテキスト、背景画像テキスト化部３００からの背景テキスト、ロゴマークテキスト化部４００からの背景テキストを統合する。即ち、各テキストにおける矛盾や誤りを訂正して、統合テキストを生成する。このテキストの統合に使用するパラメータ、条件等は後述するように蓄積された過去のテキスト統合の入力、出力データから機械学習により生成できる。
【００６６】
＜要約作成部６００＞
要約作成部６００は、テキスト統合部５００からの統合テキストを要約する。即ち、要約テキストの内容を要約して指定された文字数とする。この要約に使用するパラメータ、条件等は後述するように蓄積された過去のようよう役処理の入力データ、出力データから機械学習により生成できる。
【００６７】
次に、各部の機械学習処理について説明する。
＜発話テキスト化部１００の機械学習処理＞
図２は同要約作成システムの発話テキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。同図（ａ）に示すように、発話テキスト化部１００は、発話情報抽出部１１０、発話内容認識部１２０、発話内容テキスト化部１３０の他、テキスト化学習手段である機械学習部１４０、内容認識テキスト作成設定部１５０、比較評価部１６０を備える。また発話テキスト化部１００には、既存データ格納部７００が接続されている。
【００６８】
発話テキスト化部１００は既存データ格納部７００が格納する既存のビデオデータと既存の発話テキストに基づいて機械学習を行い、発話内容認識部１２０及び発話内容テキスト化部１３０を最適化する。既存データ格納部７００には、過去に人が発話テキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成した発話テキストを格納した既存発話テキスト格納部７２０を備える。これらのビデオデータ及び発話テキストは機械学習の教材となる。
【００６９】
また、発話テキスト化部１００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部１７０、１８０を備える。
【００７０】
内容認識テキスト作成設定部１５０は、発話情報抽出部１１０の発話情報の抽出処理の設定と、発話内容認識部１２０の発話内容認識処理の設定と、発話内容テキスト化部１３０のテキスト化処理の設定とが格納されている。発話情報抽出部１１０、発話内容認識部１２０及び発話内容テキスト化部１３０は内容認識テキスト作成設定部１５０の設定した条件、パラメータに従って発話情報抽出と、発話内容の認識、テキスト化とを行う。
【００７１】
比較評価部１６０は、比較部１６１と評価部１６２とを備える。比較部１６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けて発話内容テキスト化部１３０が作成した発話テキストと、既存発話テキスト格納部７２０からの既存発話テキストとを比較する。評価部１６２は比較部１６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【００７２】
機械学習部１４０は、評価部１６２からの評価を受け、内容認識テキスト作成設定部１５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部１６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。
【００７３】
このような機械学習を行うことにより、発話内容認識部１２０及び発話内容テキスト化部１３０の能力が向上する。所定の機械学習を終了した後、発話テキスト化部１００は新規ビデオデータを処理して、最適な発話テキストを出力できる状態となる。
【００７４】
発話テキスト化部１００の処理について説明する。図２（ｂ）に示すように、まず内容認識テキスト作成設定部１５０に音声認識及びテキスト化の特徴量を設定する（ステップＳＡ１）。この設定は機械学習部１４０の学習結果により行う。
【００７５】
次いで、発話情報抽出部１１０が、設定された特徴に基づいて音声を大量の音声信号の中から抽出する（ステップＳＡ２）。
【００７６】
更に、発話内容認識部１２０が、設定された特徴に基づいて抽出した音声を解析する（ステップＳＡ３）。
【００７７】
そして、発話内容テキスト化部１３０が、設定された特徴に基づいて音声をテキスト化して発話テキストを出力する（ステップＳＡ４）。
【００７８】
＜テロップテキスト化部２００の機械学習＞
図３は同要約作成システムのテロップテキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。同図（ａ）に示すように、テロップテキスト化部２００は、テロップ情報抽出部２１０、テロップ内容認識部２２０、テロップ内容テキスト化部２３０の他、機械学習部２４０、内容認識テキスト作成設定部２５０、比較評価部２６０を備える。またテロップテキスト化部２００には、既存データ格納部７００が接続されている。
【００７９】
テロップテキスト化部２００は既存データ格納部７００が格納する既存のビデオデータと既存のテロップテキストに基づいて機械学習を行い、テロップ内容認識部２２０及びテロップ内容テキスト化部２３０を最適化する。既存データ格納部７００には、過去に人がテロップテキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成したテロップテキストを格納した既存テロップテキスト格納部７３０を備える。これらのビデオデータ及び発話テキストは機械学習の教材となる。
【００８０】
また、テロップテキスト化部２００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部２７０、２８０を備える。
【００８１】
内容認識テキスト作成設定部２５０は、テロップ情報抽出部２１０のテロップ情報抽出の設定と、テロップ内容認識部２２０のテキスト内容認識処理の設定と、テロップ内容テキスト化部２３０のテキスト化処理の設定とが格納されている。テロップ情報抽出部２１０、テロップ内容認識部２２０及びテロップ内容テキスト化部２３０は内容認識テキスト作成設定部２５０の設定した条件、パラメータに従ってテロップの抽出、内容認識、及びテキスト化を行う。
【００８２】
比較評価部２６０は、比較部２６１と評価部２６２とを備える。比較部２６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けてテロップ内容テキスト化部２３０が作成したテロップテキストと、既存テロップテキスト格納部７３０からの既存テロップテキストとを比較する。評価部２６２は比較部２６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【００８３】
機械学習部２４０は、評価部２６２からの評価を受け、内容認識テキスト作成設定部２５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部２６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。
【００８４】
このような機械学習を行うことにより、テロップ内容認識部２２０及びテロップ内容テキスト化部２３０の能力が向上する。所定の機械学習を終了した後、テロップテキスト化部２００は新規ビデオデータを処理して、最適なテロップテキストを出力できる状態となる。
【００８５】
テロップテキスト化部２００の処理について説明する。図３（ｂ）に示すように、まず内容認識テキスト作成設定部２５０にテロップ情報抽出、内容抽出、及びテキスト化の特徴量を設定する（ステップＳＢ１）。この設定は機械学習部２４０の学習結果により行う（ステップＳＢ２）。
【００８６】
次いで、テロップ情報抽出部２１０が、設定された特徴に基づいてテロップを大量の映像信号の中から抽出する（ステップＳＢ２）。
【００８７】
更に、テロップ内容認識部２２０が、設定された特徴に基づいて抽出したテロップを解析する（ステップＳＢ３）。
【００８８】
そして、テロップ内容テキスト化部２３０が、設定された特徴に基づいてテロップの内容をテキスト化してテロップテキストとして出力する（ステップＳＢ４）。
【００８９】
＜背景画像テキスト化部３００の機械学習＞
図４は同要約作成システムの背景画像テキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。同図（ａ）に示すように、背景画像テキスト化部３００は、背景画像情報抽出部３１０、背景画像内容認識部３２０、背景画像内容テキスト化部３３０の他、テキスト統合設定手段である機械学習部３４０、内容認識テキスト作成設定部３５０、比較評価部３６０を備える。また背景画像テキスト化部３００には、既存データ格納部７００が接続されている。
【００９０】
背景画像テキスト化部３００は既存データ格納部７００が格納する既存のビデオデータと既存の背景画像テキストに基づいて機械学習を行い、背景画像内容認識部３２０及び背景画像内容テキスト化部３３０を最適化する。既存データ格納部７００には、過去に人がテロップテキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成した背景画像テキストを格納した既存背景画像テキスト格納部７４０を備える。これらのビデオデータ及び背景画像テキストは機械学習の教材となる。
【００９１】
また、背景画像テキスト化部３００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部３７０、３８０を備える。
【００９２】
内容認識テキスト作成設定部３５０は、背景画像情報抽出部３１０の背景画像抽出処理の設定と、背景画像内容認識部３２０の背景画像内容認識処理の設定と、背景画像内容テキスト化部３３０のテキスト化処理の設定とが格納されている。背景画像情報抽出部３１０、背景画像内容認識部３２０及び背景画像内容テキスト化部３３０は内容認識テキスト作成設定部３５０の設定した条件、パラメータに従って背景画像の抽出、背景画像の内容認識及びテキスト化を行う。
【００９３】
比較評価部３６０は、比較部３６１と評価部３６２とを備える。比較部３６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けて背景画像内容テキスト化部３３０が作成した背景画像テキストと、既存背景画像テキスト格納部７４０からの既存背景画像テキストとを比較する。評価部３６２は比較部３６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【００９４】
機械学習部３４０は、評価部３６２からの評価を受け、内容認識テキスト作成設定部３５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部３６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。
【００９５】
このような機械学習を行うことにより、背景画像内容認識部３２０及び背景画像内容テキスト化部３３０の能力が向上する。所定の機械学習を終了した後、背景画像テキスト化部３００は新規ビデオデータを処理して、最適な背景画像テキストを出力できる状態となる。
【００９６】
背景画像テキスト化部３００の処理について説明する。図４（ｂ）に示すように、まず内容認識テキスト作成設定部３５０に背景画像情報抽出、背景画像認識、及びテキスト化の特徴量を設定する（ステップＳＣ１）。この設定は機械学習部３４０の学習結果により行う。
【００９７】
次いで、背景画像情報抽出部３１０が、設定された特徴に基づいて背景画像を大量の映像信号の中から抽出する（ステップＳＣ２）。
【００９８】
更に、背景画像内容認識部３２０が、設定された特徴に基づいて抽出した背景画像を解析する（ステップＳＣ３）。
【００９９】
そして、背景画像内容テキスト化部３３０が、設定された特徴に基づいて背景画像の内容をテキスト化して背景画像テキストとして出力する（ステップＳＣ４）。
【０１００】
＜ロゴマークテキスト化部４００の機械学習＞
図５は同要約作成システムのロゴマークテキスト化部を示すものであり、（ａ）はブロック図、（ｂ）は処理の流れを示す図である。ロゴマークテキスト化部４００は、ロゴマーク画像情報抽出部４１０、ロゴマーク内容認識部４２０、ロゴマーク内容テキスト化部４３０の他、機械学習部４４０、内容認識テキスト作成設定部４５０、比較評価部４６０を備える。またロゴマークテキスト化部４００には、既存データ格納部７００が接続されている。
【０１０１】
ロゴマークテキスト化部４００は既存データ格納部７００が格納する既存のビデオデータと既存のロゴマークテキストに基づいて機械学習を行い、ロゴマーク画像情報抽出部４１０、ロゴマーク内容認識部４２０及びロゴマーク内容テキスト化部４３０を最適化する。既存データ格納部７００には、過去に人がロゴマークテキストを作成したときに使用した多数のビデオデータを格納した既存ビデオデータ格納部７１０と、このビデオデータの発話内容から作成したロゴマークテキストを格納した既存ロゴマークテキスト格納部７５０を備える。これらのビデオデータ及びロゴマークテキストは機械学習の教材となる。
【０１０２】
また、ロゴマークテキスト化部４００には、機械学習を行うときと、新規のビデオデータから発話内容テキストを作成するときにデータ出力の切り換えを行う切換部４７０、４８０を備える。
【０１０３】
内容認識テキスト作成設定部４５０は、ロゴマーク内容認識部４２０のロゴマーク画像内容認識処理の設定と、ロゴマーク内容テキスト化部４３０のテキスト化処理の設定が格納されている。ロゴマーク画像情報抽出部４１０、ロゴマーク内容認識部４２０及びロゴマーク内容テキスト化部４３０は内容認識テキスト作成設定部４５０の設定した条件、パラメータに従ってロゴマークの抽出、内容認識及びテキスト化を行う。
【０１０４】
比較評価部４６０は、比較部４６１と評価部４６２とを備える。比較部４６１は、既存ビデオデータ格納部７１０からの既存ビデオデータを受けてロゴマーク内容テキスト化部４３０が作成したテキストと、既存ロゴマークテキスト格納部７５０からの既存背景画像テキストとを比較する。評価部４６２は比較部４６１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【０１０５】
機械学習部４４０は、評価部４６２からの評価を受け、内容認識テキスト作成設定部４５０の設定状態を変更する。この処理を同一のビデオデータについて繰り返し行い、評価部４６２の評価値をできるだけ高いものとする。この処理は複数のビデオデータについて繰り返し行うことができる。
【０１０６】
このような機械学習を行うことにより、ロゴマーク内容認識部４２０及びロゴマーク内容テキスト化部４３０の能力が向上する。所定の機械学習を終了した後、ロゴマークテキスト化部４００は新規ビデオデータを処理して、最適な背景画像テキストを出力できる状態となる。
【０１０７】
ロゴマークテキスト化部４００の処理について説明する。図５（ｂ）に示すように、まず内容認識テキスト作成設定部４５０にロゴマークの特徴量を設定する（ステップＳＣ１）。この設定は機械学習部３４０の学習結果により行う。
【０１０８】
次いで、ロゴマーク画像情報抽出部４１０が、設定された特徴に基づいてロゴマークを大量の映像信号の中から抽出する（ステップＳＤ２）。
【０１０９】
更に、ロゴマーク内容認識部４２０が、設定された特徴に基づいて抽出した背景画像を解析し、自動的に確認して登録する（ステップＳＤ３）。
【０１１０】
更に、ロゴマーク内容認識部４２０が、登録されたロゴマークや特定のロゴマークに合致したものをロゴマークとして認識する（ステップＳＤ４）。
【０１１１】
そして、ロゴマーク内容テキスト化部４３０が設定された特徴に基づいてロゴマークの内容をテキスト化してロゴマークテキストとして出力する（ステップＳＤ５）。
【０１１２】
＜テキスト統合部５００の機械学習＞
図６は同要約作成システムのテキスト統合部を示すブロック図である。テキスト統合部５００は、統合テキスト作成部５１０、統合テキスト作成設定部５２０、機械学習部５３０、比較評価部５４０を備える。テキスト統合部５００には、既存データ格納部７００が接続されている。
【０１１３】
テキスト統合部５００は既存データ格納部７００が格納する既存の各種、即ち、発話テキスト、テロップテキスト、背景テキスト及びロゴマークテキストと既存の統合テキストに基づいて機械学習を行い、統合テキスト作成部５１０の動作を最適化する。既存データ格納部７００には、過去に統合テキストを作成したときに使用した各種テキストデータを格納した既存各種テキスト格納部７６０と、この各種テキストから作成した統合テキストを格納した既存統合テキスト格納部７７０とを備える。これらの各種テキスト及び統合テキストは機械学習の教材となる。
【０１１４】
また、テキスト統合部５００には、機械学習を行うときと、新規の各種テキストから新たな統合テキストを作成するときにデータ出力の切り換えを行う切換部５７０、５８０を備える。
【０１１５】
統合テキスト作成設定部５２０は、統合テキスト作成部５１０のテキスト統合処理の設定が格納されている。統合テキスト作成部５１０は統合テキスト作成設定部５２０の設定した条件、パラメータに従ってテキスト統合処理を行う。
【０１１６】
比較評価部５４０は、比較部５４１と評価部５４２とを備える。比較部５４１は、既存各種テキスト格納部７６０からの既存各種テキストを受けて統合テキスト作成部５１０が作成した統合テキストと、既存統合テキスト格納部７７０からの既存統合テキストとを比較する。評価部５４２は比較部５４１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【０１１７】
機械学習部５３０は、評価部５４２からの評価を受け、統合テキスト作成設定部５２０の設定状態を変更する。この処理を同一の各種テキストデータについて繰り返し行い、評価部５４２の評価値をできるだけ高いものとする。この処理は複数の各種テキストデータについて繰り返し行うことができる。
【０１１８】
このような機械学習を行うことにより、統合テキスト作成部５１０の能力が向上する。所定の機械学習を終了した後、テキスト統合部５００は新規ビデオデータを処理して、最適な統合テキストを出力できる状態となる。
【０１１９】
＜要約作成部６００の機械学習＞
図７は同要約作成システムの要約作成部を示すブロック図である。要約作成部６００は、要約テキスト作成部６１０、要約作成設定部６２０、要約設定学習手段である機械学習部６３０、比較評価部６４０を備える。要約作成部６００には、既存データ格納部７００が接続されている。
【０１２０】
要約作成部６００は既存データ格納部７００が格納する統合テキストと要約テキストに基づいて機械学習を行い、要約テキスト作成部６１０の動作を最適化する。既存データ格納部７００には、過去に要約テキストを作成したときに使用した統合テキストデータを格納した既存統合テキスト格納部７７０と、この統合テキストから作成した要約テキストを格納した過去の要約作成結果である既存要約テキスト格納部７８０とを備える。これらの統合テキスト及び要約テキストは機械学習の教材となる。
【０１２１】
また、要約作成部６００には、機械学習を行うときと、新規の統合テキストから新たな要約テキストを作成するときにデータ出力の切り換えを行う切換部６７０、６８０を備える。
【０１２２】
要約作成設定部６２０には、要約テキスト作成部６１０の要約処理の設定が格納されている。要約テキスト作成部６１０は要約作成設定部６２０の設定した条件、パラメータに従ってテキスト要約処理を行う。
【０１２３】
比較評価部６４０は、比較部６４１と評価部６４２とを備える。比較部６４１は、既存統合テキスト格納部７７０からの既存統合テキストを受けて要約テキスト作成部６１０が作成した要約テキストと、既存要約テキスト格納部７８０からの要約テキストとを比較する。評価部６４２は比較部６４１の比較結果に基づいて評価を行い、よく一致した場合は高い点数を与える。
【０１２４】
機械学習部６３０は、評価部６４２からの評価を受け、要約作成設定部６２０の設定状態を変更する。この処理を同一の各種テキストデータについて繰り返し行い、評価部６４２の評価値をできるだけ高いものとする。この処理は複数の統合テキストデータについて繰り返し行うことができる。
【０１２５】
このような機械学習を行うことにより、要約テキスト作成部６１０の能力が向上する。所定の機械学習を終了した後、要約作成部６００は新規ビデオデータを処理して、最適な要約テキストを出力できる状態となる。
【０１２６】
次に要約作製システム１０の処理について説明する。図８は同要約作成システムの動作を示すフローチャートである。
まず、既存データ格納部７００の既存ビデオデータ格納部７１０、既存発話テキスト格納部７２０、既存テロップテキスト格納部７３０、既存背景画像テキスト格納部７４０、既存ロゴマークテキスト格納部７５０、既存各種テキスト格納部７６０、既存統合テキスト格納部７７０、既存要約テキスト格納部７８０に既存のビデオ信号、各種テキストデータを読み込む（ステップＳＴ１）。
【０１２７】
次いで発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００において、機械学習処理を行う（ステップＳＴ２ａ、ＳＴ２ｂ、ＳＴ２ｃ、ＳＴ２ｄ）。この学習処理は逐次的に行うこともできる。
【０１２８】
次に、テキスト統合部５００の既存データ格納部５５０、要約作成部６００の既存データ格納部６５０に既存の入力データ、出力データを読み込む（ステップＳＴ３）。次いで、テキスト統合部５００、要約作成部６００において機械学習処理を行う（ステップＳＴ３ａ、３ｂ）。この学習処理は逐次的に行うこともできる。なお、発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、及びロゴマークテキスト化部４００の機械学習処理と、及びテキスト統合部５００及び要約作成部６００の機械学習処理とは処理の順序を問わず、逆の順序で行うことができる。
【０１２９】
学習処理が終了すると（ステップＳＴ４のyes）、処理対象となるビデオ信号をビデオ信号分離部２０に入力する（ステップＳＴ５）。これにより、発話テキスト化部１００、テロップテキスト化部２００、背景画像テキスト化部３００、ロゴマークテキスト化部４００は、テキスト化処理を実行する（ステップＳＴ６ａ、ＳＴ６ｂ、ＳＴ６ｃ、ＳＴ６ｄ）
【０１３０】
そして、各テキストをテキスト統合部５００で統合処理し（ステップＳＴ７）、更に統合されたテキストを要約作成部６００で要約処理し（ステップＳＴ８）、要約テキストを出力し、要約作製システム１０の処理は終了する。
【０１３１】
次の要約作成処理からは、機械学習処理（ステップＳＴ１〜ＳＴ４）は行わなくて直ちに要約作成の対象ビデオ信号を入力（ステップＳＴ５）するだけで最適な要約作成を行うことができる。また、機械学習処理は必要に応じて行うことができる。
【０１３２】
以下、要約作製システム１０の処理の一例について説明する。図９は同要約作成システムの処理例を示す図である。図９にはビデオデータが記載されている。ビデオデータには、映像８１０を含む映像データとナレーション８５０を含む音声データが格納されている。この例は、テニストーナメントの結果を知らせるニュース番組の一部を例とする。
【０１３３】
まず、発話テキスト化部１００において、発話情報抽出部１１０が音声データからナレーション８５０を抽出し、発話内容認識部１２０が内容を認識する。そして、この認識された内容が発話内容テキスト化部１３０がテキスト化する。
【０１３４】
この例では、発話内容テキスト化部１３０は、発話テキストとして「▲▲で開催されている、××オープン選手権で○月○日、日本の○○選手は準決勝に勝利し決勝に進出しました。決勝は来る○日□時から行われます。△△テレビでは◆時からこのゲームを生中継します。」を出力する。
【０１３５】
また、テロップテキスト化部２００において、テロップ情報抽出部２１０が映像データからテロップ画像を抽出する。本例では、テロップ表示部８１１に表示されたテロップ、映像８１０上部に表示されたニュース名８１２、提供会社名８１３を抽出する。更に、テロップ内容認識部２２０がテロップの内容を認識し、テロップ内容認識部２２０がテロップの内容を認識する。そして、この認識した内容を背景画像内容テキスト化部３３０がテキスト化する。
【０１３６】
この例では、テロップ内容テキスト化部２３０は、テロップ表示部８１１の「速報  ○○選手    ××オープン決勝進出！」、ニュース名８１２として「△△ニュース」、提供会社名８１３として「提供◆◆株式会社」がテロップテキストとして出力する。
【０１３７】
更に、背景画像テキスト化部３００において、背景画像情報抽出部３１０が背景画像８２０から人物、物品、状況等を抽出する。本例では、テニスプレーヤー８３０、顔８３１、キャップ８３２、テニスウエア８３３、テニスパンツ８３４、ラケット８３５、ボール８３６、テニスコート８３７等の画像を抽出する。この抽出された画像に基づいて、背景画像内容認識部３２０が各背景画像の内容を認識する。たとえば、テニスプレーヤー８３０の画像及び顔８３１から性別、人種、年齢、表情を認識する。また、キャップ８３２、テニスウエア８３３、テニスパンツ８３４のスタイル、色等を認識する。更に、ラケット８３５、ボール８３６についてもそれらの色、型番等を認識する。そして、この認識した内容を背景画像内容テキスト化部３３０がテキスト化する。
【０１３８】
この例では、テニスプレーヤー８３０について「男性」、「○○系」、「２０代」等、顔８３１から「汗」、「苦しい」、キャップ８３２について「白色」、テニスウエア８３３について「白」、「半袖」、テニスパンツ８３４について「白色」、「半ズボン」、ラケット８３５について「メーカー」、「型番」、ボール８３６について「黄色」、テニスコート８３７について「クレイ」等が背景画像テキストとして出力される。
【０１３９】
そして、ロゴマークテキスト化部４００において、ロゴマーク画像情報抽出部４１０が映像８１０からロゴマークを抽出する。本例では、映像８１０の上部にニュース名８１２と共に付されたロゴマーク８４１、テニスウエア８３３に付されたロゴマーク８４２、テニスパンツ８３４に付されたロゴマーク８４３を抽出する。このとき、ロゴマーク８４２及びロゴマーク８４３は衣服に記載されているから、テニスプレーヤー８３０の運動により変形する。本例では、この変形も考慮して、抽出おこなう。そして、この抽出されたロゴマークに基づいて、背景画像内容認識部３２０が各ロゴマークの内容を認識する。そして、この認識したロゴマークの内容をロゴマーク内容テキスト化部４３０がテキスト化する。
【０１４０】
この例では、背景画像内容テキスト化部３３０は、ロゴマーク８４１について「△△Ｎ」の記載があり「△△テレビ株式会社」、ロゴマーク８４２について「ＡＡＡ」の記載であり「株式会社ＢＢＢ」の「ＡＡＡブランド」、ロゴマーク８４３について「ＢＢ」の記載であり「ＣＣ株式会社」の「ＢＢブランド」をロゴマークテキストとして出力する。
【０１４１】
テキスト統合部５００は、発話テキスト化部１００からの発話テキスト、テロップテキスト化部２００からのテロップテキスト、背景画像テキスト化部３００からの背景画像テキスト、ロゴマークテキスト化部４００からのロゴマークテキストを統合する。
【０１４２】
この例では、「▲▲で開催されている、××オープン選手権で○月○日、日本の○○選手は準決勝に勝利し決勝に進出しました。決勝は来る○日□時から行われます。△△テレビでは◆時からこのゲームを生中継します。」、速報  ○○選手    ××オープン決勝進出！」、「△△ニュース」、「提供◆◆株式会社」、「男性」、「○○系」、「２０代」、「汗」、「苦しい」、「キャップ白色」、「テニスウエア白」、「テニスウエア半袖」、「テニスパンツ白色」、「半ズボン」、「ラケットメーカー」、「型番」、「ボール黄色」、「テニスコートクレイ」、「△△Ｎ」、「△△テレビ株式会社」、「ロゴマークＡＡＡ」の記載であり「株式会社ＢＢＢ」、「ＡＡＡブランド」、「ロゴマークＢＢ」、「ＣＣ株式会社」、「ＢＢブランド」等のテキストを網羅的に統合して出力する。
この統合用テキストは膨大なデータとなるが、機械検索に適している。
【０１４３】
要約作成部６００はテキスト統合部５００からの統合テキストを受け、所定の文字数、例えば２００字以内に要約し出力する。この例では、要約作成部６００は、「日本の○○選手は○月○日、××オープン選手権の準決勝に勝利し、決勝に進出した。××オープン選手権は、▲▲で開催されており、クレーコートで行われる。○○選手は、白のキャップ、ＡＡＡブランドの白色のテニスウエアとＢＢブランドの白色のテニスパンツを着用し、勝利を得た。決勝戦は、○月○日、◆時から△△テレビで生中継される。」と出力する。要約は内容を把握しやすいため、人が一見して理解できる。
【０１４４】
以上のシステムは、処理装置としてのＣＰＵ(Central Processing Unit)、記憶装置としてＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等を備えたコンピュータシステムでアプリケーションションソフトウエアを実行して実現できる。また、各部は同一ヶ所に配置される必要はなく、一部をクラウド上に配置してネットワークで接続して実現することができる。また、これらの処理は、多量のデータを対象とするためＧＰＵ（Graphics Processing Unit）を使用して処理することが好ましい。
【０１４５】
即ち、統合テキストは、単に、音声、文字,背景映像等の文字化してものであり、膨大な文章についてのデータである。このため、ＧＰＵをテキスト処理に特化することにより高速に処理できる。
【０１４６】
更に、テキスト統合部５００には、発話テキスト、テロップテキスト、背景画像テキスト及びロゴマークテキストの他、テレビ番組を対象とするする場合、電子番組表データから取得したテキストを入力することができる。更に、インターネットで配信される動画映像の場合には第三者の評価や評判をテキストとしして取得して入力できる。これにより、統合テキストの質と量を向上させることができる。
【０１４７】
［他の実施形態］
本発明にあってはデータ処理をＡＩ（人工知能：artificial intelligence）により高速かつ適切に処理して要約化する。ＡＩ処理は、上述した機械学習（ＭＬ：machine Learning）により実現できる。更に、機械学習として、既存データを正解とする教師有り学習が採用できる。また、機械学習としてディープラーニング（深層学習：ＤＬ：Deep Learning）により行うと効果的である。
【０１４８】
ディープラーニングでは、既存の多数のビデオデータ、各ビデオデータに対応する各種テキストデータ、統合テキスト、要約テキストをビッグデータとして学習を行う。この、各機械学習部は、入力層、複数の中間層、出力層を備え、多数のニューロンを備えたニューラルネットワークにより処理を行い。即ち、本発明に係る要約作成システムに入力された新規ビデオデータ、このビデオデータによる各種テキスト、統合テキスト、要約を入力とした出力が、既存の各種テキスト、統合テキスト、要約に近づくように中間層のニューロンにおける重み、パラメータを最小二乗法等の手法で適正化する。
【産業上の利用可能性】
【０１４９】
本発明は、ビデオ信号に要約を作成してメタデータを付与するシステムや装置に広く適用可能であり、産業上の利用可能性がある。
【符号の説明】
【０１５０】
１０：要約作製システム
２０：ビデオ信号分離部
３０：テレビ放送局
４０：インターネット
１００：発話テキスト化部
１１０：発話情報抽出部
１２０：発話内容認識部
１３０：発話内容テキスト化部
１４０：機械学習部
１５０：内容認識テキスト作成設定部
１６０：比較評価部
１６１：比較部
１６２：評価部
１７０：切換部
１８０：切換部
２００：テロップテキスト化部
２１０：テロップ情報抽出部
２２０：テロップ内容認識部
２３０：テロップ内容テキスト化部
２４０：機械学習部
２５０：内容認識テキスト作成設定部
２６０：比較評価部
２６１：比較部
２６２：評価部
２７０：切換部
２８０：切換部
３００：背景画像テキスト化部
３１０：背景画像情報抽出部
３２０：背景画像内容認識部
３３０：背景画像内容テキスト化部
３４０：機械学習部
３５０：内容認識テキスト作成設定部
３６０：比較評価部
３６１：比較部
３６２：評価部
３７０：切換部
３８０：切換部
４００：ロゴマークテキスト化部
４１０：ロゴマーク画像情報抽出部
４２０：ロゴマーク内容認識部
４３０：ロゴマーク内容テキスト化部
４４０：機械学習部
４５０：内容認識テキスト作成設定部
４６０：比較評価部
４６１：比較部
４６２：評価部
４７０：切換部
４８０：切換部
５００：テキスト統合部
５１０：統合テキスト作成部
５２０：統合テキスト作成設定部
５３０：機械学習部
５４０：比較評価部
５４１：比較部
５４２：評価部
５５０：既存データ格納部
５７０：切換部
５８０：切換部
６００：要約作成部
６１０：要約テキスト作成部
６２０：要約作成設定部
６３０：機械学習部
６４０：比較評価部
６４１：比較部
６４２：評価部
６５０：既存データ格納部
６７０：切換部
６８０：切換部
７００：既存データ格納部
７１０：既存ビデオデータ格納部
７２０：既存発話テキスト格納部
７３０：既存テロップテキスト格納部
７４０：既存背景画像テキスト格納部
７５０：既存ロゴマークテキスト格納部
７６０：既存各種テキスト格納部
７７０：既存統合テキスト格納部
７８０：既存要約テキスト格納部
【図１】
2019160071.tif 000003
【図２】
2019160071.tif 000004
【図３】
2019160071.tif 000005
【図４】
2019160071.tif 000006
【図５】
2019160071.tif 000007
【図６】
2019160071.tif 000008
【図７】
2019160071.tif 000009
【図８】
2019160071.tif 000010
【図９】
2019160071.tif 000011