(57)【要約】【課題】処理対象の映像に対して，その映像を宣伝するための広告用映像に適した編集済み映像を自動生成する。【解決手段】シンボル抽出処理部１３は，処理対象の映像１０から映像を特徴づけるシンボル（タイトル，音楽）を抽出する。また，印象的発話区間抽出処理部１４は，平均的な発話から外れているような印象的な発話区間を映像１０から抽出する。印象的映像区間抽出処理部１５は，映像１０から印象的な映像区間を抽出する。再構成処理部１６は，映像１０から抽出されたシンボル，印象的な発話空間および印象的な映像区間を結合し，編集済み映像１７として出力する。【選択図】図１
2011254342.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像から，編集済み映像を自動生成する映像編集方法であって，
入力された映像から，その映像を象徴的に表すシンボルを抽出し，記憶装置に格納するシンボル抽出処理過程と，
前記映像から，発話区間に対する印象の強さを定める所定の評価尺度に従って印象的発話区間を抽出し，記憶装置に格納する印象的発話区間抽出処理過程と，
前記映像から，映像区間に対する印象の強さを定める所定の評価尺度に従って印象的映像区間を抽出し，記憶装置に格納する印象的映像区間抽出処理過程と，
前記記憶装置に格納されたシンボル，印象的発話空間および印象的映像区間を結合し，編集済み映像として出力する再構成処理過程とを有する
ことを特徴とする映像編集方法。
【請求項２】
請求項１記載の映像編集方法において，
前記シンボルは，タイトルロゴ，映像のテーマ音楽のうちいずれか一つ，またはその両方である
ことを特徴とする映像編集方法。
【請求項３】
請求項２記載の映像編集方法において，
前記シンボルは，少なくともタイトルロゴを含み，
前記シンボル抽出処理過程は，
入力された映像の所定の区間の中からテロップを含むテロップ区間を抽出するテロップ区間抽出処理過程と，
前記抽出されたテロップ区間の中から，テロップの特性に基づいてタイトルロゴを抽出するタイトルロゴ抽出処理過程とを含む
ことを特徴とする映像編集方法。
【請求項４】
請求項３記載の映像編集方法において，
前記テロップの特性は，テロップの高さである
ことを特徴とする映像編集方法。
【請求項５】
請求項２から請求項４までのいずれか１項に記載の映像編集方法において，
前記シンボルは，少なくとも映像のテーマ音楽を含み，
前記シンボル抽出処理過程は，
入力された映像中に含まれる音声信号から，音楽区間を抽出する音楽区間抽出処理過程と，
前記抽出された音楽区間の中から，音楽区間の特性に基づいて，候補音楽区間を抽出する候補音楽区間抽出処理過程と，
前記抽出された候補音楽区間の間の類似度を計算し，多くの候補音楽区間と類似度の高い音楽区間をテーマ音楽区間として抽出するテーマ音楽抽出処理過程とを含む
ことを特徴とする映像編集方法。
【請求項６】
請求項５記載の映像編集方法において，
前記音楽区間の特性は，音楽区間の長さである
ことを特徴とする映像編集方法。
【請求項７】
請求項１から請求項６までのいずれか１項に記載の映像編集方法において，
前記印象的発話区間抽出処理過程は，
映像中に含まれる音声信号から発話区間を検出する発話区間検出処理過程と，
当該検出された全ての発話区間に対して，その印象レベルを算出し，印象レベルが高い発話区間を候補発話区間として抽出する候補発話区間抽出処理過程と，
抽出された候補発話区間に含まれる発話以外の音声信号成分を除去して出力するノイズ除去処理過程とを含む
ことを特徴とする映像編集方法。
【請求項８】
請求項７記載の映像編集方法において，
前記候補発話区間抽出処理過程では，平均発話を平均発話モデルとしてモデル化し，
前記印象レベルは，前記発話区間の平均発話モデルに基づく負の尤度である
ことを特徴とする映像編集方法。
【請求項９】
請求項１から請求項８までのいずれか１項に記載の映像編集方法において，
前記印象的映像区間抽出処理過程は，
映像を区間分割する映像区間分割処理過程と，
当該全ての映像区間の中から，不要となる映像区間を除去する不要区間除去処理過程と，
当該不要区間を除去した全ての映像区間に対して，その印象レベルを算出し，印象レベルに基づいてクラスタリングを実施するクラスタリング処理過程と，
前記クラスタリング処理過程によって生成された各クラスタから，代表映像区間を一つ以上選定する代表映像区間選定処理過程とを含む
ことを特徴とする映像編集方法。
【請求項１０】
請求項９記載の映像編集方法において，
前記クラスタリング処理過程では，予め映像区間の印象をモデル化した印象モデルを保持し，
前記印象レベルは，前記映像区間の印象モデルに基づく印象の確率であり，
前記クラスタリングは，前記印象の確率の類似度と，入力映像における区間同士の時間的近さに基づく類似度によって実施する
ことを特徴とする映像編集方法。
【請求項１１】
請求項１から請求項１０までのいずれか１項に記載の映像編集方法において，
前記再構成処理過程では，予め映像区間の印象をモデル化した印象モデルを保持し，これに基づいて，抽出された前記印象的映像区間の系列に対する，インパクトの強さを定める評価関数を最大化する系列を求め，再構成映像として出力する
ことを特徴とする映像編集方法。
【請求項１２】
請求項１１記載の映像編集方法において，
前記インパクトの強さは，過去の印象的映像区間の特徴量に基づいて，現在の印象的映像区間の印象を予測する予測確率と，現在までの印象的映像区間の特徴量に基づいて，現在の印象的映像区間の印象を推定する推定確率との確率間偽距離の，系列全体の平均値である
ことを特徴とする映像編集方法。
【請求項１３】
請求項１から請求項１２までのいずれか１項に記載の映像編集方法において，
前記再構成処理過程では，さらに，事前に定めたルールに基づいて，出力する編集済み映像内におけるシンボルおよび印象的発話区間の再生時刻を決定する
ことを特徴とする映像編集方法。
【請求項１４】
入力された映像から，編集済み映像を自動生成する映像編集装置であって，
入力された映像から，その映像を象徴的に表すシンボルを抽出し，記憶装置に格納するシンボル抽出手段と，
前記映像から，発話区間に対する印象の強さを定める所定の評価尺度に従って印象的発話区間を抽出し，記憶装置に格納する印象的発話区間抽出手段と，
前記映像から，映像区間に対する印象の強さを定める所定の評価尺度に従って印象的映像区間を抽出し，記憶装置に格納する印象的映像区間抽出手段と，
前記抽出されたシンボル，印象的発話および印象的映像区間を結合し，編集済み映像として出力する再構成手段とを備える
ことを特徴とする映像編集装置。
【請求項１５】
請求項１４記載の映像編集装置において，
前記シンボルは，タイトルロゴ，映像のテーマ音楽のうちいずれか一つ，またはその両方であり，
前記シンボルがタイトルロゴである場合に，前記シンボル抽出手段は，
入力された映像の所定の区間の中からテロップを含むテロップ区間を抽出するテロップ区間抽出手段と，
前記抽出されたテロップ区間の中から，テロップの特性に基づいてタイトルロゴを抽出するタイトルロゴ抽出手段とを含み，
前記シンボルが映像のテーマ音楽である場合に，前記シンボル抽出手段は，
入力された映像中に含まれる音声信号から，音楽区間を抽出する音楽区間抽出手段と，
前記抽出された音楽区間の中から，音楽区間の特性に基づいて，候補音楽区間を抽出する候補音楽区間抽出手段と，
前記抽出された候補音楽区間の間の類似度を計算し，多くの候補音楽区間と類似度の高い音楽区間をテーマ音楽区間として抽出するテーマ音楽抽出手段とを含む
ことを特徴とする映像編集装置。
【請求項１６】
請求項１４または請求項１５記載の映像編集装置において，
前記印象的発話区間抽出手段は，
映像中に含まれる音声信号から発話区間を検出する発話区間検出手段と，
当該検出された全ての発話区間に対して，平均発話を平均発話モデルとしてモデル化した平均発話モデルに基づく負の尤度を印象レベルとして算出し，印象レベルが高い発話区間を候補発話区間として抽出する候補発話区間抽出手段と，
抽出された候補発話区間に含まれる発話以外の音声信号成分を除去して出力するノイズ除去手段とを含む
ことを特徴とする映像編集装置。
【請求項１７】
請求項１４，請求項１５または請求項１６記載の映像編集装置において，
前記印象的映像区間抽出手段は，
映像を区間分割する映像区間分割手段と，
当該全ての映像区間の中から，不要となる映像区間を除去する不要区間除去手段と，
当該不要区間を除去した全ての映像区間に対して，その印象レベルを算出し，印象レベルに基づいてクラスタリングを実施するクラスタリング手段と，
前記クラスタリング手段によって生成された各クラスタから，代表映像区間を一つ以上選定する代表映像区間選定手段とを含む
ことを特徴とする映像編集装置。
【請求項１８】
請求項１７記載の映像編集装置において，
前記クラスタリング手段は，予め映像区間の印象をモデル化した印象モデルを保持し，
前記印象レベルは，前記映像区間の印象モデルに基づく印象の確率であり，
前記クラスタリングは，前記印象の確率の類似度と，入力映像における区間同士の時間的近さとに基づく類似度によって実施する
ことを特徴とする映像編集装置。
【請求項１９】
請求項１４から請求項１８までのいずれか１項に記載の映像編集装置において，
前記再構成手段は，予め映像区間の印象をモデル化した印象モデルを保持し，これに基づいて，抽出された前記印象的映像区間の系列に対する，インパクトの強さを定める評価関数を最大化する系列を求め，再構成映像として出力する
ことを特徴とする映像編集装置。
【請求項２０】
請求項１９記載の映像編集装置において，
前記インパクトの強さは，過去の印象的映像区間の特徴量に基づいて，現在の印象的映像区間の印象を予測する予測確率と，現在までの印象的映像区間の特徴量に基づいて，現在の印象的映像区間の印象を推定する推定確率との確率間偽距離の，系列全体の平均値である
ことを特徴とする映像編集装置。
【請求項２１】
請求項１４から請求項２０までのいずれか１項に記載の映像編集装置において，
前記再構成手段は，さらに，事前に定めたルールに基づいて，出力する編集済み映像内におけるシンボルおよび印象的発話区間の再生時刻を決定する
ことを特徴とする映像編集装置。
【請求項２２】
請求項１から請求項１３までのいずれか１項に記載の映像編集方法を，コンピュータに実行させるための映像編集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，処理対象となる入力映像を自動編集し，広告用に適した編集済み映像を生成する映像編集方法，映像編集装置および映像編集プログラムに関する。
【背景技術】
【０００２】
ＶＯＤ（Video On Demand ），ＩＰＴＶ（Internet Protocol Television）などに代表されるように，通信を利用した映像配信サービスの利用が活発化し，多チャンネルで膨大な量の映像コンテンツが配信されるようになった。これに伴い，ユーザは，従来よりも多くの映像を消費することができるようになったことから，その嗜好や選好が多様化してきている。
【０００３】
このような変容に合わせて，製作者側はさらに多様な映像を多数制作し，スクリーンやＤＶＤ（Digital Versatile Disk），あるいは，上記の映像配信サービスといったように，マルチチャネルでの販売展開を実施するようになった。このことは，販売機会の拡大につながったものの，１）多数の映像を制作・配信する必要があること，２）一本当たりの映像に対する利益が低下していること，などの理由から，映像一本当たりの制作・配信のコストを抑えたいという要求が深刻なものとなっている。
【０００４】
一方，上記の映像配信サービスでは，新しいビジネスチャンスも創出されており，その代表的なものが映像広告である。映像広告は，宣伝対象に対する興味を惹き，消費者を購買へと動機づけるための重要な宣伝材料である。したがって，映像広告の良し悪しは，どれだけ視聴者にインパクトを与え，興味を惹けるかにかかっている。しかしながら，このような映像を作成することは，非常にコストがかかる。先に述べたように，映像製作者側は，映像制作にかけるコストを抑えたいという欲求を持っているため，このような映像広告を制作するコストもできる限り低く抑えられることが望ましい。このような現状から，昨今，映像広告を自動的に実施できる技術が求められている。
【０００５】
映像広告の中でも，歴史があり，とりわけ多く視聴されているのが，トレイラーと呼ばれるタイプの映像広告である。これは，“映像のための映像広告”であり，映画などのような映像作品を宣伝するために制作される。トレイラーは，これまで映画館などでのスクリーン上映が通常であったが，最近は，映像配信サービスを使って配信されることが主流となりつつある。あるレポートによれば，インターネットを通じて視聴される映像ジャンルのうち，ニュース，消費者生成メディアに次いで，３番目に視聴されることの多い映像であると報告されている。本発明は，映像からトレイラー，すなわちその映像のための広告用映像を，編集済み映像として自動的に生成する技術に関する。
【０００６】
本発明に関連する先行技術は，主に，映像広告配信と映像編集に関する。映像広告配信に係る先行技術として，特許文献１には，映像の広告枠を統一的に扱うためのシステムとプロトコルについて開示されている。この技術では，サーバによって映像と広告を一括管理し，インサーションポイント（広告挿入位置）情報を含むコンテンツメタデータを記憶するコンテンツメタデータによって，管理されている映像に対して自在に広告を挿入して映像配信することができる。
【０００７】
また，特許文献２には，効果的に広告を掲出する動画中継技術について開示されている。この技術では，一括管理された映像と広告とを複数多重化した映像データを生成し，複数の映像とともに広告を再生表示する。
【０００８】
また，特許文献３には，映像広告と映像とが一体となっている映像に対して，広告映像に対する他のユーザの評価を視聴することができる映像広告配信技術について開示されている。本技術は，広告映像の特徴量に基づいて，映像中に含まれる広告映像の累積再生回数を集計し，映像再生時に，再生中の映像に含まれる広告映像の累積再生回数を表示手段に表示するものである。
【０００９】
映像編集に係る先行技術として，下記の特許文献４には，映像の情報を分析して，感情的な区間を検出し，感情的な区間をわかりやすくユーザに提示して，編集を支援する映像編集技術が開示されている。
【００１０】
また，下記の特許文献５には，映像と静止画像からスライドショー映像を自動的に生成する映像編集技術について開示されている。この技術では，映像を区間に分割し，区間ごとにカラーの平均値を求め，これと類似するカラーを持つ静止画をその区間の前後に挿入して，スライドショー映像を作成する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００８−０２２２９８号公報
【特許文献２】特開２００５−３１１６９２号公報
【特許文献３】特開２００９−１３０５２９号公報
【特許文献４】特開２００９−１１１９３８号公報
【特許文献５】特開２００９−２７８２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１乃至３に開示されている映像広告配信技術は，効果的に広告情報を提示する技術について開示するものであった。しかしながら，依然として広告自体は人手によって制作することを前提としており，これを支援する技術は実現されていない。
【００１３】
また，特許文献４に開示されている映像編集技術は，重要な映像シーンの一つである，感情的な区間をわかりやすく提示することを実現するものであり，これによりユーザにとって利用しやすい映像編集支援手段を提供していた。しかしながら，この映像編集技術は，あるシーンが感情的であるか否かを判断し，これに基づいてシーンの選別をしているにすぎず，編集の結果生成される映像は，広告用映像として適切なものとなるか否かは，依然として人手にかかっているという問題があった。
【００１４】
また，特許文献５に開示されている映像編集技術は，スライドショー映像を自動生成する技術であり，編集の結果生成される映像は，必ずしも広告用映像として適切であるとは限らないものであった。
【００１５】
さらに，従来の映像編集技術は，以下の二つの観点で，広告用映像に適した編集済み映像の自動生成をなす技術とはなっていない。
【００１６】
（１）一般に，広告用映像には，宣伝すべき対象を顕著に表す情報が含まれているべきである。以下，本稿では，これらをシンボルと呼ぶこととする。例えば，映画やドラマなどのトレイラーの場合，その映画・ドラマのタイトル（ロゴ）や，その映画・ドラマに使われるテーマ音楽などがシンボルの代表的な例である。これらのシンボルは，広告用映像には必須となる重要な要素であるが，従来の映像編集技術では出力された映像にシンボルが含まれないことがあるという問題があった。
【００１７】
（２）広告用映像の目的は，映像の内容を分かりやすく伝えることよりもむしろ，購買へと動機づけることである。このため，広告用映像が視聴者に与えるインパクトが重要であり，印象的なシーンをインパクトのある順序に組み立て，構成されていることが望まれる。従来の映像編集技術は，映像をインパクトのある構成に編集するような技術ではなかった。
【００１８】
以上示したように，従来の技術では，映像から，その映像のための効果的な広告用映像を自動的に生成することはできなかった。本発明は，この課題を解決すべく，処理対象の映像に対して，その映像を宣伝するための広告用映像に適した編集済み映像を自動生成し，出力する映像編集技術の提供を目的とするものである。
【課題を解決するための手段】
【００１９】
この目的を達成するために，本発明は，映像からシンボル，印象的な発話区間，印象的な映像区間を抽出し，これら抽出した要素を，インパクトの高い構成となるように再構成し，編集済み映像として出力する。
【００２０】
そのため，本発明は，例えば，まず映像を特徴づけるシンボル（タイトルと音楽）を決める。タイトルは映像の冒頭部で大きなフォントのもの，音楽は長くて何回も利用されているものを選ぶ。次に，音声から印象的区間を求める。印象的区間とは平均的な発話から外れた区間である。映像からも印象的区間を求める。このようにして求めた印象的区間から高いインパクトを与える映像シーケンスを決めて，そこにシンボルと印象的発話を埋め込むことにより，その結果を編集済み映像として出力する。  
【００２１】
本発明の映像編集方法において，その第一の発明は，入力された映像から，編集済み映像を自動生成する映像編集方法であって，入力された映像から，その映像を象徴的に表すシンボルを抽出するシンボル抽出処理過程と，印象的な発話区間を抽出する印象的発話区間抽出処理過程と，印象的な映像区間を抽出する印象的映像区間抽出処理過程と，前記抽出されたシンボル，印象的発話，印象的映像区間を結合し，編集済み映像として出力する再構成処理過程とを含むことを特徴とする。
【００２２】
第二の発明は，前記第一の発明において，前記シンボルは，タイトルロゴ，映像のテーマ音楽のうちいずれか一つ，もしくはその両方であることを特徴とする。
【００２３】
第三の発明は，前記第二の発明において，前記シンボル抽出処理過程は，入力された映像の所定の区間の中からテロップを含むテロップ区間を抽出するテロップ区間抽出処理過程と，前記抽出されたテロップ区間の中から，テロップの特性に基づいてタイトルロゴを抽出するタイトルロゴ抽出処理過程とを含むことを特徴とする。
【００２４】
第四の発明は，前記第三の発明において，前記テロップの特性とは，テロップの高さであることを特徴とする。
【００２５】
第五の発明は，前記第二乃至第四の発明において，前記シンボル抽出処理過程は，入力された映像中に含まれる音声信号から，音楽区間を抽出する音楽区間抽出処理過程と，前記抽出された音楽区間の中から，音楽区間の特性に基づいて，候補音楽区間を抽出する候補音楽区間抽出処理過程と，前記抽出された候補音楽区間の間の類似度を計算し，多くの候補音楽区間と類似度の高い音楽区間をテーマ音楽区間として抽出するテーマ音楽抽出処理過程とを含むことを特徴とする。
【００２６】
第六の発明は，前記第五の発明において，前記音楽区間の特性は，音楽区間の長さであることを特徴とする。
【００２７】
第七の発明は，前記第一乃至第六の発明において，前記印象的発話区間抽出処理過程は，映像中に含まれる音声信号から発話区間を検出する発話区間検出処理過程と，当該検出された全ての発話区間に対して，その印象レベルを算出し，印象レベルが高い発話区間を候補発話区間として抽出する候補発話区間抽出処理過程と，抽出された候補発話区間に含まれる発話以外の音声信号成分を除去して出力するノイズ除去処理過程とを含むことを特徴とする。
【００２８】
第八の発明は，前記第七の発明において，前記候補発話区間抽出処理過程は，平均発話を平均発話モデルとしてモデル化し，前記印象レベルは，前記発話区間の平均発話モデルに基づく負の尤度であることを特徴とする。
【００２９】
第九の発明は，前記第一乃至第八の発明において，前記印象的映像区間抽出処理過程は，映像を区間分割する映像区間分割処理過程と，当該全ての映像区間の中から，不要となる映像区間を除去する不要区間除去処理過程と，当該不要区間を除去した全ての映像区間に対して，その印象レベルを算出し，印象レベルに基づいてクラスタリングを実施するクラスタリング処理過程と，前記クラスタリング処理過程によって生成された各クラスタから，代表映像区間を一つ以上選定する代表映像区間選定処理過程とを含むことを特徴とする。
【００３０】
第十の発明は，前記第九の発明において，前記クラスタリング処理過程は，予め映像区間の印象をモデル化した印象モデルを保持し，前記印象レベルは，前記映像区間の印象モデルに基づく印象の確率であり，前記クラスタリングは，前記印象の確率の類似度と，入力映像における区間同士の時間的近さとに基づく類似度によって実施することを特徴とする。
【００３１】
第十一の発明は，前記第一乃至第十の発明において，前記再構成処理過程は，予め映像区間の印象をモデル化した印象モデルを保持し，これに基づいて，抽出された前記印象的映像区間の系列に対する，インパクトの強さを定める評価関数を最大化する系列を求め，再構成映像として出力することを特徴とする。
【００３２】
第十二の発明は，前記第十一の発明において，前記インパクトの強さは，過去の印象的映像区間の特徴量に基づいて，現在の印象的映像区間の印象を予測する予測確率と，現在までの印象的映像区間の特徴量に基づいて，現在の印象的映像区間の印象を推定する推定確率との確率間偽距離の，系列全体の平均値であることを特徴とする。
【００３３】
第十三の発明は，前記第一乃至第十二の発明において，前記再構成処理過程は，さらに，事前に定めたルールに基づいて，出力する広告映像内における，シンボル，および，印象的発話区間の再生時刻を決定することを特徴とする。
【００３４】
以上の各処理過程によって実現される本発明の映像編集方法は，コンピュータとソフトウェアプログラムでも実現できるものであり，このソフトウェアプログラムは，適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり，ネットワークを介して提供されたりする。本発明を実施する際に，このソフトウェアプログラムがインストールされてＣＰＵなどの制御手段上で動作することにより，映像編集が行われることになる。
【発明の効果】
【００３５】
このように構成される映像編集装置において，第一の発明によれば，映像を入力するだけで，広告用映像に含まれるべきシンボル，印象的発話区間，および，印象的映像区間を含む編集済み映像を自動生成することができる。
【００３６】
第二乃至第六の発明によれば，シンボルとして代表的であるタイトルロゴ，および，テーマ音楽の二つを，高精度に抽出し，重要なシンボルをより正確に編集済み映像に含めることが可能となる。
【００３７】
第七および第八の発明によれば，印象的発話区間を高精度に抽出し，重要な発話区間をより正確に編集済み映像に含めることが可能となる。
【００３８】
第九および第十の発明によれば，印象的映像区間を高精度に抽出し，重要な映像区間をより正確に編集済み映像に含めることが可能となる。
【００３９】
第十乃至第十三の発明によれば，抽出したシンボル，印象的発話区間，印象的映像区間を，インパクトを高めるように組み立て，視聴者の強い興味を惹くことのできる編集済み映像を再構成して出力することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態に係る映像編集装置の構成例を示す図である。
【図２】本発明の一実施形態に係る映像編集処理のフローチャートである。
【図３】テロップの幅・高さと文字列長・フォントサイズの関係を説明する図である。
【図４】映像区間をクラスタリングし，印象的映像区間を抽出する一例を示す図である。
【図５】印象的映像区間を再構成する一例を示す図である。
【図６】ルールに基づく挿入方法の一例を示す図である。
【図７】音と映像の同期をとる処理の一例を示す図である。
【発明を実施するための形態】
【００４１】
以下，図面を用いて，本発明の実施の形態を詳細に説明する。
【００４２】
図１は，本発明の一実施形態に係る映像編集装置の構成例を示す図である。図１において，映像編集装置１は，ＣＰＵ，メモリ，外部記憶装置などからなるコンピュータのハードウェアとソフトウェアプログラムとによって，編集対象となる映像１０を入力し，編集結果の編集済み映像１７を出力する装置であり，映像入力部１１と，記憶部１２と，入力された映像から，その映像を象徴的に表すシンボルを抽出するシンボル抽出処理部１３と，印象的発話区間抽出処理部１４と，印象的映像区間抽出処理部１５と，再構成処理部１６とを備える。
【００４３】
映像入力部１１は，編集の処理対象となる映像１０を入力して，それを記憶部１２に格納する。シンボル抽出処理部１３は，処理対象の映像に対して，予め定めた種類のシンボルを抽出し，記憶部１２に格納する。印象的発話区間抽出処理部１４は，処理対象の映像の音情報を解析し，印象的であると判断された発話区間を抽出し，記憶部１２に格納する。印象的映像区間抽出処理部１５は，処理対象の映像情報を解析し，印象的であると判断された映像区間を抽出し，記憶部１２に格納する。再構成処理部１６は，記憶部１２に格納されたシンボル，印象的発話区間，印象的映像区間をつなぎ合わせて，編集済み映像１７を生成し，出力する。このようにして，映像編集装置１は，映像作成者や編集部の人手を介することなく，自動で広告用映像を生成するように処理する。
【００４４】
図２に，このように構成される映像編集装置１が実行する映像編集処理のフローチャートを示す。このフローチャートを用いて，映像編集装置１が行う映像編集処理の一例について詳述する。
【００４５】
〔ステップＳ１：映像入力処理〕
映像入力部１１が，映像１０を入力し，入力された処理対象となる元映像を，記憶部１２に格納する。
【００４６】
〔ステップＳ２：シンボル抽出処理〕
シンボル抽出処理部１３が，入力した映像を解析し，シンボルを抽出する。前述の通り，シンボルとは，その映像を象徴的に表す情報であり，広告用映像に含まれるべき要素を指す。例えば，映像のタイトルロゴや，テーマ音楽などが代表的である。以下，本実施形態では，これら２種のシンボルを抽出する処理の例について説明する。
【００４７】
まず，タイトルロゴの抽出の詳細について説明する。タイトルロゴは，テロップの一種とみなすことができる。したがって，例えば，参考文献１や参考文献２などに記載の，公知のテロップ検出技術を利用して，検出することが可能である。
［参考文献１］：桑野秀豪, 倉掛正治, 小高和己, “映像データ検索のためのテロップ文字抽出法”, 電子情報通信学会技術研究報告, PRMU, 96(385), pp.39-46, 1996 ．
［参考文献２］：長尾慈郎，嶌田聡，谷口行信，“映像インデクシングのためのテロップレイアウト情報抽出法”，画像センシングシンポジウム，2008．
しかしながら，映像に含まれるテロップは，タイトルロゴだけではなく，会話内容を書き下した字幕や，製作者などを示すスタッフロールなど，多種多様なものが存在するため，テロップ抽出単体のみを用いることによっては，タイトルロゴを正しく抽出・判別することができない。
【００４８】
そこで，本実施形態では，以下の２つの仮定に基づいてタイトルロゴを抽出する。
（１）  タイトルロゴは，映像の冒頭部分に出現する。
（２）  タイトルロゴは，他のテロップに比べてフォントサイズが大きい。
【００４９】
一般に，タイトルは映像の標題・題目であるため，映像の冒頭に近い時刻に出現することが多い。また，同時に，発話内容を書き下した字幕などに比べ，大きなフォントサイズで表示されることが多い。
【００５０】
タイトルロゴの抽出の処理手順は，以下の通りである。まず，映像の冒頭部分，例えば，映像の先頭から，映像全体の時間長に対して，α％（α＜１００）の長さの区間に対して，上記参考文献１，参考文献２などのような，公知のテロップ検出技術を適用し，テロップ出現区間を検出する。αは，例えば１０などとして設定すればよい。
【００５１】
その後，検出されたテロップ出現区間に対して，テロップ部分のフォントサイズを解析する。フォントサイズの解析は，テロップであると判断された領域に対して行う。テロップ領域からフォントサイズを抽出するためには，テロップ中の文字を一つ以上抽出し，その大きさを測ればよい。文字の抽出には，例えば，参考文献３に開示されているような，公知の文字抽出技術を用いることができる。
［参考文献３］：森  稔，倉掛  正治，杉村  利明，“画質劣化にロバストな映像中テロップ文字認識”，電子情報通信学会，信学技報，PRMU, 98, 490, pp.33-40, 1998 ．
しかしながら，文字を個別に抽出するためには，それだけ計算コストがかかり，また，一般に，テロップ全体の領域を抽出するよりも，文字単体を抽出するほうが困難である場合が多い。そこで，次のように，文字単体を抽出しなくとも，フォントサイズを推定することのできる方法について説明する。
【００５２】
図３に，検出されたテロップ出現区間の画像の一例を示す。この例では，「ＴＩＴＬＥ」というテロップが表示されている例について示している。通常，テロップ領域は，その領域の高さがフォントサイズに，幅が文字列の長さに対応することが多いため，テロップ領域の高さを見ることで，フォントサイズを推定することが可能である。したがって，これが最大となるテロップ出現区間を，タイトルロゴとして抽出することができる。
【００５３】
次に，テーマ音楽の抽出の詳細について説明する。テーマ音楽は，音楽であるため，例えば，参考文献４などに記載の，公知の音楽検出技術を利用して検出することが可能である。
［参考文献４］：K. Minami, A. Akutsu, H. Hamada, and Y. Tonomura，“Video Handling with Music and Speech Detection”，IEEE Multimedia, vol.5, no.3, pp.17-25, 1998．
しかしながら，映像に含まれる音楽は，テーマ音楽以外の音楽のこともあるため，音楽検出単体のみではテーマ音楽のみを正しく抽出することができない。そこで，本実施形態では，以下の二つの仮定に基づいてテーマ音楽を抽出する。
（１）  テーマ音楽は，他の音楽に比べて，長い時間再生される。
（２）  テーマ音楽は，繰り返し再生される。
【００５４】
一般に，テーマ音楽は映像の雰囲気や主題を伝えるために導入される重要な音楽であるため，その他の音楽に比べて長い時間挿入されていることが多い。また，映像の全編にわたって繰り返し挿入されることが多い。
【００５５】
テーマ音楽の抽出の処理手順は，以下の通りである。まず，映像中の音情報に対して，上記参考文献４などのような，公知の音楽区間検出技術を適用し，音楽区間を検出する。その後，検出された全ての音楽区間の時間長を算出し，長さが上位β％の音楽区間を，候補区間として抽出する。βは，例えば１０などと設定すればよい。
【００５６】
次に，候補区間の中で，繰り返し出現するメロディーを検出する。まず，各候補区間から，参考文献５に記載のクロマ特徴を抽出する。
［参考文献５］：M. Goto,“A Chorus Section Detection Method for Musical Audio Signals and Its Application to a Music Listening Station”， IEEE Transactions on Acoustic, Speech, and Language Processing, vol.14, no.5, pp.1783-1794, 2006 ．
クロマ特徴は，Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃，Ａ，Ａ＃，Ｂの１２音階（クロマ）について，それぞれのパワー成分の強さを表す１２次元のベクトルであり，音楽の音色をヒトの音階の認識に合わせて記述することのできる有効な特徴である。ある音楽区間ｌi において，フレームｔにおけるクロマ特徴をｖ（ｌi （ｔ））とおく。フレームは，例えば３０ｍｓなどの微小な区間として定めればよい。このとき，２つの音楽区間ｌi とｌj の，それぞれｔ番目，ｔ′番目におけるフレーム間の類似度は，次のように計算する。
【００５７】
【数１】
2011254342.tif 000003
【００５８】
ただし，ｖc （ｌi （ｔ））は，ｖ（ｌi （ｔ））のｃ番目の要素を表す。この類似度をもとに，音楽区間ｌi のフレームｔにおける「繰り返しスコア」ｒｅｌ（ｌi （ｔ））を，次式によって計算する。
【００５９】
【数２】
2011254342.tif 000004
【００６０】
ただし，Ｌは計算窓幅のパラメータであり，例えば，５秒分，あるいは，１５秒分などのフレーム数を指定すればよい。繰り返しスコアｒｅｌ（ｌi （ｔ））は，ｌi （ｔ）周辺の音色が，他の候補音楽区間に近ければ近いほど高い値をとる。すなわち，これが高いフレーム（とその前後Ｌフレーム）は，繰り返し出現するメロディーであるとみなすことができる。本実施形態では，これが最大の値をとる区間を，テーマ音楽区間として検出する。
【００６１】
検出したシンボルは，記憶部１２に格納する。以上が，ステップＳ２のシンボル抽出処理の一例である。
【００６２】
〔ステップＳ３：印象的発話区間抽出処理〕
印象的発話区間抽出処理部１４は，入力した映像に含まれる音情報を解析し，印象的な発話区間を抽出する。まず，音情報から発話区間を検出する。これには，例えば参考文献４などに記載の，公知の発話区間検出技術を利用して検出することが可能である。
【００６３】
続いて，検出された全ての発話区間から，印象的な発話区間のみを抽出する。印象的である発話区間を抽出するために，本実施形態では，発話区間ごとの印象レベルを計算する。以下，この処理の詳細について具体的に説明する。
【００６４】
印象的な発話であるということは，その分，平均的な発話とは異なる特徴をもった発話となっているはずである。そこで，全ての発話区間の音声信号の特徴に基づいて，平均発話モデルを構築し，このモデルに当てはまりのよくない（尤度の低い）発話ほど，印象的であると判断する。
【００６５】
まず，全ての発話区間から，音声特徴量を抽出する。特徴量としては，例えば，ピッチ，パワー，メル尺度ケプストラム係数（Mel Frequency Cepstral Coefficient：ＭＦＣＣ）のような公知のものを用いればよい。次に，この音声特徴量をモデル化する。モデルは，確率モデルであれば任意のものを用いてもよいが，好ましくは，混合正規分布，あるいは，隠れマルコフモデル（Hidden Markov Model:ＨＭＭ）を用いる。モデルのパラメータは，いずれも期待値最大化法（Expectation-Maximization Algorithm：ＥＭ Algorithm）などの公知の方法で推定することができる。このようにして得られた平均発話モデルをｐspeechと表すとする。このとき，フレームｔでの音声特徴量をｘs t の尤度ｐspeech（ｘs t ）に基づいて，印象レベルＡspeechを次式のように求める。
【００６６】
【数３】
2011254342.tif 000005
【００６７】
ここで，ｎt は，発話区間に含まれるフレーム数である。Ａspeechは，平均発話モデルに当てはまりがよい（より平均発話らしい）ほど低い値となり，逆の場合に高くなる。したがって，これが大きいものほど，平均とは異なる印象的な発話であるとみなすことができる。本実施形態では，これが大きい順に，例えばγ％分を，印象的な発話区間として選択する。γは，例えば１０などと設定すればよい。
【００６８】
以上の処理によって，印象的発話区間を抽出することができるが，本発明では，さらに抽出された発話区間に対して，発話成分以外の音声信号成分，すなわち，ノイズ成分を除去する処理を実施する場合もある。これは次の理由による。
【００６９】
抽出された印象的発話区間は，後の再構成処理の際，先に抽出されたシンボルの一つであるテーマ音楽などと重畳・合成されて用いられる場合がある。この際，当該発話区間に環境音などのノイズが含まれていると，音楽，および，発話の鮮明性を損ない，視聴者に強い違和感を与えてしまうばかりか，悪印象を与える結果につながりやすい。印象が重要となる広告用映像においては，悪印象を与える原因となるものは極力避けるべきであるため，本実施形態では，このノイズを予め除去しておく。
【００７０】
ノイズの除去方法としては，例えば，スペクトル減算法を用いることができる。スペクトル減算法は，発話信号に含まれるノイズのスペクトル成分を差し引くことによって音声信号をクレンジングするノイズ除去法である。ノイズのスペクトル成分が既知である場合には，単純にこれを差し引けばよいが，一般にはこのような場合は少ない。ノイズのスペクトル成分が未知である場合には，これを推定して減算する。例えば，参考文献６に記載の方法など，公知のものを用いることができる。
［参考文献６］：S.F. Boll,“Suppression of Acoustic Noise in Speech Using Spectral Subtraction”，IEEE Transactions on Acoustic, Speech, and Signal Processing, vol.27, no.2, pp.113-120, 1979．
最後に，ノイズ成分を除去した印象的発話区間を，記憶部１２に格納する。以上が，ステップＳ３の印象的発話区間抽出処理の一例である。
【００７１】
〔ステップＳ４：印象的映像区間抽出処理〕
次に，印象的映像区間抽出処理部１５は，入力した映像を解析し，印象的な映像区間を抽出する。まず，映像を区間分割する。この区間分割は，例えば，カットを境界として分割すればよい。カットの検出には，例えば，参考文献７に記載のカット点検出法を用いることができる。
［参考文献７］：Y. Tonomura, A. Akutsu, Y. Taniguchi, and G. Suzuki,“Structured Video Computing”，IEEE Multimedia, vol.1, no.3, pp.34-43, 1994．
続いて，分割された全ての映像区間の中から，不要区間，すなわち，広告用映像の印象的映像区間として，含まれるべきでない区間を除去する。例えば，先に別途検出しているタイトルロゴが存在する区間や，スタッフロール区間などがある。前者は，抽出されたタイトルロゴ区間，あるいは，その周辺のテロップ存在区間を除去することによって処理する。後者は，映像終了付近の画面の色が単調で，テロップが上下に流れている区間などとして検出し，除去することによって処理する。また，この他，画面の色数が著しく少数となっている区間や，コントラストのはっきりしていない区間などを除去してもよい。
【００７２】
続いて，不要区間を除去した全ての映像区間に対して，その印象レベルを算出し，印象レベルに基づいてクラスタリングを実施する。このクラスタリングの目的は，全ての映像区間から，印象の観点で代表的な映像区間を選定するために実施するものである。
【００７３】
図４は，映像区間をクラスタリングし，クラスタリングした中から印象的映像区間を選出した一例を示している。まず，クラスタリングするための印象レベルの計算には，例えば，参考文献８などに記載の，公知の方法を用いることができる。
［参考文献８］：G. Irie, K. Hidaka, T. Satou, A. Kojima, T. Yamasaki, K. Aizawa,“Latent Topic Driving Model for Movie Affective Scene Classification ”, Proceedings on ACM International Conference on Multimedia, pp.565-568, 2009 ．
この方法では，映像区間の特徴量を分析し，その区間の印象を９次元の確率ベクトルとして推定する方法が記載されているが，もちろん，この方法に限らずとも，印象の確率をベクトルとして求める技術であれば，いかなるものを用いてもかまわない。
【００７４】
以降は，参考文献８の技術を用いた場合について例示することとする。参考文献８における９次元の確率ベクトルは，９つの印象のカテゴリ“ｊｏｙ”，“ｓａｄｎｅｓｓ”, “ａｃｃｅｐｔａｎｃｅ”, “ｄｉｓｇｕｓｔ”, “ｆｅａｒ”, “ａｎｇｅｒ”, “ｓｕｐｒｉｓｅ”, “ａｎｔｉｃｉｐａｔｉｏｎ”, “ｎｅｕｔｒａｌ”について，各々の確率を格納したものである。
【００７５】
映像区間ｓi の特徴量をｘv i ，印象をｅv i と表す。このとき，ｐ（ｅv i ｜ｘv i ）を求めることで，各印象の確率ベクトルを計算する。以下，この例では，この確率ベクトルを印象レベルとみなす。
【００７６】
続いて，印象レベルに基づいて，映像区間をクラスタリングする。クラスタリングには，通常，任意の二つの映像区間同士の類似度を定義する必要がある。本実施形態では，印象レベルが確率ベクトルとして表現されているため，確率間の距離を測ることのできるＪｅｎｓｅｎ−Ｓｈａｎｎｏｎ  Ｄｉｖｅｒｇｅｎｃｅを用いて，類似度を定義する。具体的には，映像区間ｓi と映像区間ｓj の類似度ｓｉｍ（ｉ，ｊ）は，次の式（５）〜式（７）によって計算する。
【００７７】
【数４】
2011254342.tif 000006
【００７８】
ここで，式（６）はＪｅｎｓｅｎ−Ｓｈａｎｎｏｎ  Ｄｉｖｅｒｇｅｎｃｅであり，式（７）はＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ  Ｄｉｖｅｒｇｅｎｃｅと呼ばれる。式（５）におけるΔt （ｉ，ｊ）は，ｓi とｓj の，元の映像における時間差である。例えば，元の映像でｓi が時刻０秒に再生され，ｓj が時刻５秒に再生される区間であるとすると，Δt （ｉ，ｊ）は５となる。ｅｘｐ（−Δt （ｉ，ｊ））は，時間差が小さければ小さいほど大きい値をとり，逆の場合に小さい値をとる。通常，近い時刻に再生される映像区間同士は，互いに内容が似ており，その印象も近いことが多い。式（５）の類似度は，これをｅｘｐ（−Δt （ｉ，ｊ））の導入によって考慮しているのである。
【００７９】
クラスタリングの方法は，様々な公知の方法がある。代表的なものには，Ｋ−ｍｅａｎｓ法などがあるが，好ましくは，参考文献９あるいは参考文献１０に記載のものを用いる。
［参考文献９］：B.J. Frey, D. Deuck,“Clustering by Passing Messages between Data Points”, Science, 315, 972-976, 2007 ．
［参考文献１０］：Y. Jia, J. Wang, C. Zhang, X.-S. Hua, “Finding Image Exemplars Using Fast Sparse Affinity Propagation”, Proceedings of ACM International Conference on Multimedia, 2008 ．
これらの文献に開示されているクラスタリング法は，Ａｆｆｉｎｉｔｙ  Ｐｒｏｐａｇａｔｉｏｎと呼ばれるものであり，全ての映像区間をグラフ上のノードとして表現し，ノード間で２種類のメッセージを伝搬しあうことで，クラスタと各クラスタを代表する映像区間とを発見する。このクラスタリング手法は，Ｋ−ｍｅａｎｓ法と比べ，各クラスタの代表映像区間が決定しやすいこと，および，クラスタリング結果が初期値に依存しないことなどの優れた点を持っている。２種類のメッセージは，それぞれＡｖａｉｌａｂｉｌｉｔｙとＲｅｓｐｏｎｓｉｂｉｌｉｔｙと呼ばれる。Ａｖａｉｌａｂｉｌｉｔｙは，ａ（ｉ，ｊ）と表現され，ある映像区間ｓi がｓj を代表とするクラスタのメンバとしてどれだけ適切であるかを表す。Ｒｅｓｐｏｎｓｉｂｉｌｉｔｙは，ｒ（ｉ，ｊ）と表現され，映像区間ｓj がｓi の代表としてどれだけ適切であるかを表す。上記２種類のメッセージを各ノード（映像区間）間で次式のようにやりとりして行う。
【００８０】
【数５】
2011254342.tif 000007
【００８１】
続いて，前記クラスタリング処理によって生成された各クラスタから，代表映像区間を選定する。ここでは，上記参考文献９あるいは参考文献１０のクラスタリング手法を利用した場合の例について述べる。このクラスタリング方法を用いた場合，次のようにして代表映像区間を選定することができる。ある映像区間ｓi に対して，これを代表する映像区間ｒｅｐi を次のように決定する。
【００８２】
【数６】
2011254342.tif 000008
【００８３】
ここで，ａ（ｉ，ｊ），ｒ（ｉ，ｊ）は，ＡｖａｉｌａｂｉｌｉｔｙとＲｅｓｐｏｎｓｉｂｉｌｉｔｙである。式（１１）を満たす映像区間ｒｅｐi は映像区間ｓi を代表する映像区間となる。全ての映像区間に対して，それを代表する映像区間｛ｒｅｐi ｜ｉ＝１，２，…｝を求め，選ばれた代表映像区間のみを印象的映像区間として抽出するのである。なお，Ｋ−ｍｅａｎｓ法などを用いた場合には，各クラスタの重心に最も近い映像区間を代表ベクトルとして選定すればよい。
【００８４】
最後に，抽出された印象的映像区間を，記憶部１２に格納する。以上が，ステップＳ４の印象的映像区間抽出処理の一例である。
【００８５】
〔ステップＳ５：再構成処理〕
再構成処理部１６は，ステップＳ４までに格納されたシンボル，印象的発話区間，印象的映像区間を組み立て，広告用映像を再構成する。本実施形態では，まず印象的映像区間を再構成した後，そこにシンボルと印象的発話区間を挿入することで，再構成処理を行う。
【００８６】
まず，印象的映像区間の再構成方法について，以下に詳述する。広告用映像，特にトレイラーの場合には，視聴者に元映像の内容を理解させるよりもむしろ，視聴者の興味を惹くような，インパクトの高い構成にすることが求められる。そこで，本実施形態では，印象的映像区間を，インパクトの高い並び順に並べ替えて，つなぎ合わせる処理を実施する。
【００８７】
インパクトの高い並び順を実現するために，本実施形態では，映像区間のシーケンスに対して，そのインパクトの大きさを測る評価関数を定義し，この評価関数が最大となるように映像区間を並び替える。
【００８８】
本実施形態のステップＳ４では，ある映像区間ｓi の印象レベルｅv i と，その区間の特徴量ｘv i の関係をｐ（ｅv i ｜ｘv i ）という確率で表現した。加えて，ここでは，ある一つ前の映像区間ｓi-1 から，次の映像区間ｓi に遷移する際の，印象の遷移確率ｐ（ｅv i ｜ｅv i-1 ）を定義する。このとき，ベイズルールより以下が成り立つ。
【００８９】
【数７】
2011254342.tif 000009
【００９０】
ここで，Ｘv i ＝｛ｘ1 ，ｘ2 ，…，ｘi ｝，Ｅは，印象カテゴリの要素（“ｊｏｙ”など，９種類）である。式（１２）と式（１３）は，再帰式となっておりｉ＝１から順に，交互に計算することで，求めることが可能である。
【００９１】
上記式において，式（１２）の左辺ｐ（ｅv i ｜Ｘv i-1 ）は，映像（特徴）をｘ1 から順にｘi-1 に観測した下での，次の映像区間ｓi における印象の予測確率を表し，式（１３）の左辺ｐ（ｅv i ｜Ｘv i ）は，さらに次の映像区間ｓi まで観測した際に抱く実際の印象の（事後）確率を表している。すなわち，前者は「映像を最初からｘi-1 まで見た視聴者が，次の映像区間ｓi に対して抱く印象の予測」を表し，後者は，「実際にｓi を視聴した視聴者が抱いた印象」を表している。
【００９２】
ここで，インパクトは，予測を裏切られた場合に発生すること（参考文献１１）を仮定すると，ある映像区間ｓi-1 まで視聴した視聴者が，次の映像区間ｓi を視聴した際のインパクトの大きさｉｍｐ（ｉ−１，ｉ）は，次式によって評価できる。
【００９３】
【数８】
2011254342.tif 000010
【００９４】
［参考文献１１］：L. Itti, P. Baldi,“Bayesian Surprise Attracts Human Attention”, Vision Research, 49, pp.1295-1306, 2009 ．
したがって，ｍ個の区間によって構成される映像全体（映像区間シーケンス）Ｓ＝｛ｓ1 ，ｓ2 ，…，ｓm ｝を通じて，平均的に視聴者が得るインパクトは，次式によって求めることができる。
【００９５】
【数９】
2011254342.tif 000011
【００９６】
本実施形態では，式（１６）を最大にするようなＳを求め，これを印象的映像区間の再構成結果とする。これは組合せ最適化問題の一つであるが，この最大化をｂｒｕｔｅ−ｆｏｒｃｅで実施すると，少なくともＯ（ｍ！）の計算量が必要となる。このことは，ｍが非常に小さい場合には問題にはならないが，一般の場合には現実的な時間で求めることができない。そこで，例えば，ｇｒｅｅｄｙ−ｓｅａｒｃｈによって求めることを考える。図５を用いて説明する。この例では，映像区間が４つの場合について示している。以下の手順を繰り返す。
【００９７】
〔手順１〕：全ての印象的映像区間に対して，長さ２のシーケンスを作る。図５の例では，映像区間は４つであるので，生成されるシーケンスの数は， 4Ｐ2 ＝１２通りである。
【００９８】
〔手順２〕：生成されたシーケンスに対して，式（１６）を評価し，これが最大となるシーケンスを一つ選定する。
【００９９】
〔手順３〕：選ばれたシーケンスをまとめ，一つの映像区間であるとみなして，新たな印象的映像区間群を生成する。
【０１００】
〔手順４〕：全ての印象的映像区間が一つにまとまるまで繰り返す。
【０１０１】
この処理によれば，必要な計算量は高々Ｏ（ｍ3 ）に抑えることができ，多項式時間で求めることが可能となる。
【０１０２】
以上の処理によって印象的映像区間の再構成を実行できる。また，各映像区間の間に，フェードやディゾルブなどのトランジション効果をかけてもかまわない。以下，この再構成された印象的映像区間のシーケンスをベースシーケンスと呼ぶ。
【０１０３】
続いて，ベースシーケンスに対して，シンボルと印象的発話区間を挿入する。この処理は，事前に，どの部品を，どの位置に，どのように挿入するかを定めるルールを決定しておき，このルールに基づいて実施する。
【０１０４】
本実施形態では，シンボルとしてタイトルロゴ，テーマ音楽が抽出されており，これと印象的発話区間が抽出されている場合について，図６を用いて詳述する。図６は，ルールに基づく挿入方法の一例を示している。
【０１０５】
まず，タイトルロゴについては，通常，広告用映像では，最後に提示されることが多い。したがって，図６（ａ）に示すように，タイトルロゴはベースシーケンスの最後に挿入することとする。例えば，ルールは以下のように定める。
＜ルール１＞：タイトルロゴは，ベースシーケンスの最後に，δ秒間分挿入する。
δは任意でよいが，例えば５秒などと設定しておく。また，タイトルロゴの開始／終了に，フェード効果やディゾルブ効果などを付与してもかまわない。
【０１０６】
次に，テーマ音楽の場合である。テーマ音楽は，元映像の代表となる音楽であり，元映像の雰囲気をよく表す音楽であるため，より映像の雰囲気を盛り上げるために，ベースシーケンスの最後に挿入するほうがよい。したがって，図６（ｂ）に示すように，タイトルロゴを含めたベースシーケンスの最後に合わせて，テーマ音楽を挿入する。例えば，ルールは以下のように定める。
＜ルール２＞：テーマ音楽は，ベースシーケンス，および，タイトルロゴの最後に合わせて挿入する。
【０１０７】
テーマ音楽の挿入された区間については，ベースシーケンスに含まれる音は消音するほうが好ましい。テーマ音楽の開始／終了時に，フェード効果を付けてもかまわない。図６（ｂ）の例では，ベースシーケンスよりもテーマ音楽のほうが時間長が短いため，全体の途中からテーマ音楽が開始されている。しかしながら，場合によっては，ベースシーケンスよりも，テーマ音楽のほうが長い場合がある。この場合は，例えば，テーマ音楽の時間長をベースシーケンスに合わせてカットすることによって対応する。
【０１０８】
続いて，印象的発話区間を挿入する。印象的発話区間は，テーマ音楽と同様，映像の雰囲気を一層盛り上げ，視聴者にインパクトを与える効果がある。そこで，テーマ音楽の挿入されている区間に合わせて挿入する。ここで，印象的発話区間が複数登録されている場合には，その間に適当なインターバルを設けることが好ましい。そこで，次のようなルールを設ける。
＜ルール３＞：印象的発話区間は，合計時間長がテーマ音楽時間長を超えない範囲で，印象レベルの降順に最大数選定し，選定された印象的発話区間を，印象テーマ音楽の開始時刻から終了時刻まで，一定の間隔で，印象レベルの昇順に挿入する。
【０１０９】
ルール３に従う挿入は１通りに定まる。このことを，例を用いて説明する。例えば，テーマ音楽時間長が２０秒で，印象的発話区間の時間長が，印象レベルの降順に４秒，８秒，３秒，９秒と続くとする。このとき，テーマ音楽時間長を超えない時間長印象的発話区間を最大数選定すると，３つ目まで選定できる（４秒＋８秒＋３秒＝１５秒＜２０秒）。続いて，選定した３つの印象的発話区間を，一定間隔で挿入することを考える。テーマ音楽の時間長と，挿入される印象的発話区間の合計時間長は（２０秒−１５秒）＝５秒である。３つの印象的発話区間を挿入する場合，２つの間隔が存在するから，それぞれ２．５秒の間隔で３つを挿入すればよいことになる。
【０１１０】
上記処理によって，基本的な再構成は実施できるが，加えて，さらに以下のような再構成を実施してもよい。
＜ルール４＞：ベースシーケンス｛ｓj ｜ｊ＝１，２，…，ｍ｝の時間長を，関数ｆ（ｊ）に従ってリサイズする。
【０１１１】
例えば，広告用映像として，アクティブな，エキサイティングな印象を与えるものにしたいと考える場合もあるし，逆に，落ち着いた，安らぐような印象を与えるものにしたいと考える場合もある。一般に，映像区間の時間長が短く，高頻度に切り替わるほど，視聴者に興奮を喚起しやすく，逆に映像区間の時間が長く，切り替わりが低頻度であれば，視聴者に沈静を喚起しやすいといわれている。したがって，どのような印象を与える広告用映像としたいかに合わせ，ベースシーケンスに含まれる映像区間の時間長をリサイズしてもよい。
【０１１２】
ルール４では，リサイズのための関数ｆ（ｊ）を定めている。この関数は，任意のものを設定することができる。いくつかの例を挙げる。例えば，映像区間の時間長を短くリサイズしたい場合には，次式のように設定すればよい。
【０１１３】
ｆ（ｊ）＝θｄ（ｓj ）            …（１７）
ｄ（ｓj ）は，元の映像区間の時間長，θは，倍率である。例えば，θ＝０．９などと指定すると，元の時間長に対して１０％短い時間長を持つことになり，θ＝１．１などと指定すると，元の時間長に対して１０％長い時間長を持つこととなる。
【０１１４】
また，ｊに応じてリサイズする大きさを変化させてもよい。
【０１１５】
ｆ（ｊ）＝ｅｘｐ（−φｊ＋ψ）ｄ（ｓj ）      …（１８）
ｆ（ｊ）＝ｌｏｇ（φｊ＋ψ）ｄ（ｓj ）        …（１９）
式（１８）の場合には，ｊ＝１，２，…と進むに従って，縮尺する割合が大きくなっていく。逆に，式（１９）の場合には，拡大する割合が大きくなっていく。このようにすると，所々に映像の時間長が短くなったり，徐々に映像の時間長が長くなったりする傾向が表れ，より効果的な印象の喚起や注意の引き込みを実現することができる。
【０１１６】
さらに，次のようなルールを設定してもよい。
＜ルール５＞：各印象的発話区間の挿入されている区間では，一部，音と映像を同期させる。
【０１１７】
前述の通り，印象的発話区間はテーマ音楽の挿入された区間に挿入されており，また，テーマ音楽の挿入された区間は元のベースシーケンスの音は消音されているため，音と映像は同期していない（合っていない）。映画などのトレーラーにおいても，音と映像が同期していないことはよくある。しかしながら，適当なタイミングで音と映像を同期させることで，視聴者にとってはより自然に見え，印象がよくなる場合も多い。ルール５は，これを取り入れる目的で設定されるルールである。
【０１１８】
音と映像との同期をとる具体的な処理を図７を用いて説明する。図７の例では，テーマ音楽が重畳している区間について図示している。当該区間には，二つの印象的発話区間（Ａ，Ｂ），および，四つの印象的映像区間（１，２，３，４）が付帯している。まず，二つの印象的発話区間の終了時刻の位置にある印象的映像区間を調べる（図７（ａ））。この例では，印象的映像区間２と印象的映像区間４とが該当する。次に，終了時刻に合わせて，印象的映像区間をカットする（図７（ｂ））。カットした結果，印象的発話区間の終了時刻手前に，映像情報のないスペースができる。ここに，印象的発話区間の映像情報を，同期区間として同期させて挿入する（図７（ｃ））。こうすることで，印象的発話区間の終了付近では，音と映像とが同期するようになるのである。
【０１１９】
以上が，ステップＳ５における再構成処理の一例である。以上の処理によって，生成された再構成映像を，編集済み映像１７として出力する。
【０１２０】
以上，本発明の実施形態の一例における映像編集装置について詳細に説明した。上記映像編集方法は，ソフトウェアプログラムを用いてコンピュータ上で実施できることはいうまでもなく，また，本発明は，説明した実施形態の一例に限定されず，特許請求の範囲に記載した技術的範囲において各種の変形を行うことが可能である。
【０１２１】
例えば，本発明は，ＩＰＴＶやデジタルサイネージ，ＶＯＤ(Video On Demand) などといった様々な映像配信・通信サービスに用いることができる。
【符号の説明】
【０１２２】
１    映像編集装置
１０  映像
１１  映像入力部
１２  記憶部
１３  シンボル抽出処理部
１４  印象的発話区間抽出処理部
１５  印象的映像区間抽出処理部
１６  再構成処理部
１７  編集済み映像
【図１】
2011254342.tif 000012
【図２】
2011254342.tif 000013
【図３】
2011254342.tif 000014
【図４】
2011254342.tif 000015
【図５】
2011254342.tif 000016
【図６】
2011254342.tif 000017
【図７】
2011254342.tif 000018