(57)【要約】【課題】動画コンテンツを簡便に作成することを可能とするサーバおよびプログラムの提供。【解決手段】ユーザ端末に配信するための動画を作成するサーバにおいて、ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部と、シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部と、前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部と、を備え、前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、前記分割材料動画にシーンラベルを付する第１分類器と、前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、を備えることを特徴とする動画編集サーバ及びそのプログラム。【選択図】図２
2020129357.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末に配信するための動画を作成するサーバにおいて、
ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部と、
シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部と、
前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部と、を備え、
前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、
前記分割材料動画にシーンラベルを付する第１分類器と、
前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、を備えることを特徴とする動画編集サーバ。
【請求項２】
前記合成動画作成部が、前記分割材料動画に表示された物体名を表す物体名ラベルを付する第２分類器を備えることを特徴とする請求項１に記載の動画編集サーバ。
【請求項３】
前記分割動画結合部が、前記シーンラベルおよび前記物体名ラベルに基づき、前記テンプレートの各シーンに合致する分割材料動画を抽出することを特徴とする請求項２に記載の動画編集サーバ。
【請求項４】
前記推薦記事抽出部が、前記推薦記事を類似度情報に基づくリコメンド値を付して抽出すること、
前記分割動画結合部が、リコメンド値の高い推薦記事から得られた分割材料動画を優先して採用することを特徴とする請求項１ないし３のいずれかに記載の動画編集サーバ。
【請求項５】
前記合成動画作成部が、前記合成動画にテロップを挿入するテロップ挿入部を備えることを特徴とする請求項１ないし４のいずれかに記載の動画編集サーバ。
【請求項６】
前記テロップ挿入部が、前記推薦記事に記載された文字情報を要約して作成したテロップを前記合成動画に挿入することを特徴とする請求項５に記載の動画編集サーバ。
【請求項７】
前記テンプレートにおいて、各シーンの許容時間範囲が定義されており、
前記分割動画結合部が、前記許容時間範囲に合致する分割材料動画を抽出することを特徴とする請求項１ないし６のいずれかに記載の動画編集サーバ。
【請求項８】
前記動画分割部が、前記材料動画を複数の分割材料動画に分割するための材料用動画分割機能に加え、前記第１分類器の学習データを作成するための学習用動画分割機能を備えることを特徴とする請求項１ないし７のいずれかに記載の動画編集サーバ。
【請求項９】
インターネットを介してアクセスしたユーザ端末に動画コンテンツを配信するサーバ用の動画編集プログラムにおいて、
前記サーバを、
ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部、
シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部、および、
前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部、として機能させること、
前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、
前記分割材料動画にシーンラベルを付する第１分類器と、
前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、
を備えることを特徴とする動画編集サーバ用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ端末に配信する合成動画を自動で生成するサーバおよびプログラムに関する。
【背景技術】
【０００２】
従来、動画を複数のチャプタに分割すると共に、メタデータを付加することが行われている。
例えば、特許文献１には、複数のチャプタを有する動画から所望の瞬間のシーン画像を効率的に検索する動画処理装置であって、動画を所定の単位時間毎に複数の大ブロックに分割する大ブロック分割部と、各大ブロックの画像変化の複雑さを数値化する複雑さ分析部と、各大ブロックに係る再生時間を、複雑さに係る数値により複数の小ブロックにそれぞれ分割する小ブロック分割部と、複数の小ブロックを時系列に沿って所定数毎に順次区切ることでチャプタを作成するチャプタ作成部と、を備えてなる動画処理装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１３０００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動画コンテンツを作成することには多大な手間がかかるため、自動で動画コンテンツを作成することができるシステムの提供が求められていた。また、多大な手間をかけて作成した動画コンテンツであっても、ユーザの嗜好に合った内容でなければ、最後まで再生されないという問題もある。
また、社内のマニュアルや商品カタログなどの既存資料を動画化したいとのニーズもあるが、動画サーバ、専門技術を持った編集者などの動画編集環境を社内に構築することの敷居は高く、他方で外注した場合には外注コストが嵩むという問題がある。
【０００５】
そこで、本発明では、上記課題を解決するべく、動画コンテンツを自動で生成するサーバおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の動画編集サーバは、ユーザ端末に配信するための動画を作成するサーバにおいて、ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部と、シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部と、前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部と、を備え、前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、前記分割材料動画にシーンラベルを付する第１分類器と、前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、を備えることを特徴とする。
【０００７】
上記動画編集サーバにおいて、前記合成動画作成部が、前記分割材料動画に表示された物体名を表す物体名ラベルを付する第２分類器を備えることを特徴としてもよい。
上記動画編集サーバにおいて、前記分割動画結合部が、前記シーンラベルおよび前記物体名ラベルに基づき、前記テンプレートの各シーンに合致する分割材料動画を抽出することを特徴としてもよい。
上記動画編集サーバにおいて、前記推薦記事抽出部が、前記推薦記事を類似度情報に基づくリコメンド値を付して抽出すること、前記分割動画結合部が、リコメンド値の高い推薦記事から得られた分割材料動画を優先して採用することを特徴としてもよい。
上記動画編集サーバにおいて、前記合成動画作成部が、前記合成動画にテロップを挿入するテロップ挿入部を備えることを特徴としてもよい。
上記動画編集サーバにおいて、前記テロップ挿入部が、前記推薦記事に記載された文字情報を要約して作成したテロップを前記合成動画に挿入することを特徴としてもよい。
上記動画編集サーバにおいて、前記テンプレートにおいて、各シーンの許容時間範囲が定義されており、前記分割動画結合部が、前記許容時間範囲に合致する分割材料動画を抽出することを特徴としてもよい。
上記動画編集サーバにおいて、前記動画分割部が、前記材料動画を複数の分割材料動画に分割するための材料用動画分割機能に加え、前記第１分類器の学習データを作成するための学習用動画分割機能を備えることを特徴としてもよい。
【０００８】
本発明の動画編集サーバ用プログラムは、インターネットを介してアクセスしたユーザ端末に動画コンテンツを配信するサーバ用の動画編集プログラムにおいて、前記サーバを、ユーザの嗜好プロファイル情報に基づいて材料動画を含む推薦記事を抽出する推薦記事抽出部、シーンラベルが付された複数のシーンが規定されたテンプレートを作成するテンプレート作成部、および、前記材料動画および前記テンプレートに基づき合成動画を作成する合成動画作成部、として機能させること、前記合成動画作成部が、材料動画を複数の分割材料動画に分割する動画分割部と、前記分割材料動画にシーンラベルを付する第１分類器と、前記シーンラベルに基づき前記テンプレートの各シーンに合致する分割材料動画を抽出し、結合することで合成動画を作成する分割動画結合部と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ユーザの嗜好に合った動画コンテンツを自動で生成するサーバおよびプログラムを提供することが可能となる。また、動画編集環境を社内に構築しなくとも、簡便に社内のマニュアルや商品カタログなどの既存資料を動画化することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施形態例に係る動画編集システムの構成図である。
【図２】実施形態例に係る動画編集サーバの構成図である。
【図３】テンプレートの一例を説明する図である。
【図４】動画作成部の構成図である。
【図５】各シーンの条件に合致する分割材料動画の抽出を説明する図である。
【図６】動画編集処理のフローである。
【図７】動画分割処理の説明図である。
【図８】分割動画結合処理の説明図である。
【図９】要約文作成処理のフローである。
【発明を実施するための形態】
【００１１】
＜構成＞
実施形態例に係る本発明の動画編集システムは、図１に示すように、動画編集サーバ１と、管理者端末２と、複数台のユーザ端末３とを備えて構成される。なお、図１の例では、動画編集サーバ１を１台で構成する例を説明したが、複数台のサーバにより動画編集サーバ１を実現することも可能であり、ＧＰＵを搭載したハイスペックな装置を別途設けて、後述の分類器作成などの作業を行うことが作業効率の観点からは好ましい。
【００１２】
動画編集サーバ１は、ＣＰＵを有する処理部、ＨＤＤ等の記憶装置を有する記憶部、および、ＬＡＮポートを有する通信部を備えたサーバ装置に動画編集ソフトウェアおよびデータベースソフトウェアをインストールして構築されている。動画編集ソフトウェアは、閲覧履歴保存部１１と、推薦記事抽出部１２と、テンプレート作成部１３と、分類器作成部１４と、合成動画作成部１５と、を備えている。データベースソフトウェアは、閲覧記録ＤＢ２１と、推薦記事ＤＢ２２と、テンプレートＤＢ２３と、学習データＤＢ２４と、合成動画ＤＢ２５と、ラベルＤＢ２６と、を管理している。
【００１３】
閲覧履歴保存部１１は、ユーザがログイン状態で閲覧したＷｅｂ上の記事の閲覧記録を、閲覧記録ＤＢに記録する。ユーザが閲覧したＷｅｂ上の記事には一意の記事ＩＤが付与されており、ユーザＩＤおよび閲覧時間と紐付けて記録される。これとは異なり、匿名ユーザとして閲覧記録を記録する仕組みを取り入れてもよい。
【００１４】
推薦記事抽出部１２は、ユーザの嗜好プロファイルに基づいて推薦記事をＷｅｂ上から収集する作業を定期的に（例えば、毎週）実行する。実施形態例では、閲覧記録ＤＢ２１からユーザの閲覧履歴情報を取得し、ユーザが閲覧した記事に類似する動画付き記事を内容ベースフィルタリングにより抽出し、類似度情報に基づくリコメンド値を付して推薦記事ＤＢ２２に記録している。これとは異なり、協調フィルタリングにより類似度を判定してもよいし、内容ベースフィルタリングと協調フィルタリングを併用したハイブリッドフィルタリングを採用してもよい。推薦記事ＤＢ２２には、リコメンド値が高い数十件ないし百数十件の推薦記事が常時格納されている。
【００１５】
テンプレート作成部１３は、動画を構成するシーンに付する条件（ラベル、順序および各シーンの許容時間範囲）を定義するテンプレートを作成し、テンプレートＤＢ２３に格納する。テンプレートは、複数のシーンから構成され、各シーンには分割動画で表示したい対象物情報とその動きの特徴が定義されている。換言すれば、例えば、「建物廊下を移動」−＞「建物部屋のズームアウト」−＞「外観」といった具合に動画コンテンツの流れを定義するものであり、各シーンがつながった際に違和感がないことを意識して対象物情報とその動きの特徴を定義することが重要である。テンプレート作成部１３によるテンプレート作成は、定期（例えば、年数回）または必要時に実行される。図３は、４つのシーンからなるテンプレートの例であり、シーン１〜２には「調理中」のシーンラベルが付され、シーン３には「調理後」のシーンラベルが付され、シーン４には「内観／外観」のシーンラベルが付されている。なお、テンプレートの各シーンに後述の物体名ラベルを付することもできるが、物体名ラベルの上位概念の対象物情報を定義することで、多くの物体を適用可能とすることが好ましい。また、各シーンに挿入するテロップの許容文字数範囲が条件として設定されている場合もある。
【００１６】
分類器作成部１４は、学習データを学習データＤＢ２４から取得し、機械学習させることで、学習済モデルである第１分類器１５３および第２分類器１５４を作成する。第１分類器の作成は動画のデータセットを利用し、各シーンの時系列の特徴の依存関係を学習する。第２分類器は画像のデータセットをもとに、物体の特徴を学習する。分類器作成部１４による学習済モデルである分類器の作成は、例えば、年に数回程度行われる。学習データは、インターネットから収集したデータや自社のデータにラベルをつけたものを利用してもよいし、ラベルのついたデータセットを調達して利用してもよい。
【００１７】
合成動画作成部１５は、図４に示すように、推薦記事読込部１５１と、動画分割部１５２と、第１分類器１５３と、第２分類器１５４と、分割動画結合部１５５と、音楽挿入部１５６と、テロップ挿入部１５７とを備えている。
推薦記事読込部１５１は、合成動画を作成する際の材料となる材料動画を含む推薦記事を推薦記事ＤＢ２２から取得する。
【００１８】
動画分割部１５２は、材料動画をフレームに分割し、直前のフレームから色彩が大きく変化する箇所を区間とすることで分割位置を判定し、分割材料動画作成する（図７参照）。より詳細には、例えば、フレームの画像の全てのピクセルの色を数値化し、その全てのピクセルの色の平均色を算出し、前のフレームの平均色と比較して大きく変化した箇所で分割して分割材料動画を作成する。このような分割手法は、見た目のつながりがよいシーンを１つの分割動画としてまとめる際に役に立ち、比較的長く繋がった分割材料動画が生成される。
動画分割部１５２は、学習データとして利用される細かく分割された動画を作るためにも利用される。より詳細には、例えば、フレームの画像の全てのピクセルの色を数値化し、そのピクセルの明るさから黒色の色彩度の変化を判定し、ある程度暗くなると分割することで学習データ用分割動画を作成する。
このように、本実施形態の動画分割部１５２は、目的に応じて動画分割技術を使い分けている。
【００１９】
第１分類器１５３は、リカレントニューラルネットワークを利用した分類器であり、動画を入力すると、動きも判定した分類結果としてラベルを出力し、ラベルＤＢ２６に格納する。より詳細には、第１分類器１５３は、分割材料動画に、料理中、店内の内観などといったシーンの状況を表す単語（アノテーション単語）をシーンラベルとして付するために利用される。
第２分類器１５４は、畳み込みニューラルネットワークを利用した分類器であり、動画または画像を入力すると、動画または画像に映る物体名ラベルＤＢ２６に格納する出力し、ラベルＤＢ２６に格納する。より詳細には、第２分類器１５４は、分割材料動画に、魚介、焼肉、人物、家具などといった物体名を表す単語（アノテーション単語）を物体名ラベルとして付するために利用される。第２分類器１５４により得られたメタデータをもとに抽出する分割動画が選択される。例えば１つ目の動画から抽出された分割動画に魚介が含まれていると判定した場合、２つ目、３つ目の動画からも、魚介が映り込む分割動画を優先的に抽出する。
【００２０】
分割動画結合部１５５は、材料動画に最も親和性の高いテンプレートを選択し、選択されたテンプレートの各シーンの条件に合致する分割材料動画を抽出し、抽出した分割材料動画を結合する。図５は、各シーンの条件に合致する分割材料動画の抽出を説明する図であり、１０に分割された分割材料動画のうち、開始から６〜９番目の分割材料動画が条件に合致するとして抽出されている。
分割動画結合部１５５は、抽出された複数の推薦記事について、リコメンド値の高いものから順に分割材料動画の抽出を行う。最初の推薦記事によりテンプレートの全シーンに合致する分割材料動画が抽出されなかった場合には、次にリコメンド値の高い推薦記事について、歯抜けとなったシーンの条件に合致する分割材料動画のマッチングを行うことで、テンプレートで必要とされる全シーンを満たすための分割材料動画を抽出する。この際、各記事の動画から抽出した分割動画から、各シーンで類似した物体が映り込んだものが選択されるように第２分類器１５４から得られたメタデータが利用される。
【００２１】
音楽挿入部１５６は、分割動画結合部１５５が結合した合成動画（音楽無し）に音楽を挿入する。
テロップ挿入部１５７は、分割動画結合部１５５が結合した合成動画（テロップ無し）にテロップを挿入する。各シーンに挿入するテロップの許容文字数範囲が条件として設定されている場合は、当該条件を満たす文字数のテロップを挿入する。
【００２２】
管理者端末２およびユーザ端末３は、入力部、表示部、処理部、記憶部および通信部を備えたコンピュータであり、例えば、スマートフォン、タブレット端末（タブレットＰＣ）、ノートパソコン、デスクトップパソコンなどのＷｅｂブラウザが搭載されたコンピュータである。
管理者は、管理者端末２により動画編集サーバ１の設定変更やデータベースの運用管理などを行う。
ユーザは、ユーザ端末３により動画編集サーバ１にアクセスして、自動生成された動画コンテンツを閲覧することができる。
【００２３】
＜動作＞
図６を参照しながら、動画編集処理のフローを説明する。
動画生成エージェントは、合成動画作成部１５による動画自動生成プロセスを定期的に（例えば、週に１回）実行する（ＳＴＥＰ１）。合成動画作成部１５の推薦記事読込部１５１は、推薦記事ＤＢ２２に格納された推薦記事を、リコメンド値が高い方から順に読み込む（ＳＴＥＰ２）。
合成動画作成部１５の動画分割部１５２は、処理対象となる推薦記事に含まれる動画（材料動画）を複数の動画（分割材料動画）に分割する（ＳＴＥＰ３）。合成動画作成部１５は、第１分類器１５３および第２分類器１５４により各分割材料動画にラベルを付する（ＳＴＥＰ４）。なお、材料動画の分割位置は、推薦記事ＤＢ２２および／または学習データＤＢ２４に記憶するようにしてもよい。合成動画作成部１５は、選択されたテンプレートのラベルおよび許容時間に合致する分割材料動画を抽出する（ＳＴＥＰ５）。例えば、図８では、テンプレートの３番目のシーン条件が「調理後」、「２〜４秒」、４番目のシーン条件が「内観／外観」、「２〜４秒」とされているところ、これらの条件を満たす２つの分割材料動画が抽出されている。
【００２４】
全てのシーンについて分割材料動画が取得されなかった場合は、次の推薦記事に対して、ＳＴＥＰ２〜５の作業が繰り返される（ＳＴＥＰ６、ＳＴＥＰ７）。例えば、図８では、１番目および２番目のシーン条件を満たす分割材料動画が抽出されていないため、次の推薦記事にシーン条件を満たす分割材料動画を引き続き検索することが必要である。
【００２５】
全てのシーンについて分割材料動画が取得されると、合成動画作成部１５の分割動画結合部１５５は、抽出された分割材料動画を結合して合成動画を作成する（ＳＴＥＰ８）。合成動画作成部１５の音楽挿入部１５６は、予め用意されたＢＧＭを合成動画に挿入する（ＳＴＥＰ９）。合成動画作成部１５のテロップ挿入部１５７は、合成動画にテロップ挿入する（ＳＴＥＰ１０）。音楽およびテロップが挿入された動画は、完成動画として合成動画ＤＢ２５に格納され、ユーザは自己のユーザＩＤの権限内で完成動画を閲覧することが可能となる（ＳＴＥＰ１１）。  
【００２６】
以上に説明した実施形態例の動画編集システムによれば、ユーザの嗜好プロファイルに基づいてユーザの嗜好に合った動画コンテンツを自動で生成し、お勧め動画として定期的に配信することが可能となる。また、動画編集用ソフト、動画サーバ、専門技術を持った編集者などを自前で揃えなくとも、動画広告や動画プレスリリースを作成することも、マニュアルや商品カタログを動画化することも可能となる。
【００２７】
＜変形例＞
好ましい態様の動画編集サーバ１は、テロップとして挿入するための要約文書作成機能を備えている。図９を参照しながら要約文書作成のフローを説明する。
ＳＴＥＰ９１：段落分割・文書分割
テロップ挿入部１５７は、入力された文書を段落に分割し、各段落内の文書を文書に分割する。また、動画のテロップとして１シーンで表示すると長すぎて可読性を落とす文章については、特定の品詞、表記等の条件を満たす箇所で、さらに複数の文章に分割する。
ＳＴＥＰ９２：文書の形態素解析
テロップ挿入部１３６は、各文を形態素解析にかけ、構文解析の最小単位となるトークンを取り出す。
ＳＴＥＰ９３：不要語・不要段落の削除
テロップ挿入部１５７は、予め定義された無効な文の判定ルールより、無効と定義される文、段落を削除する。例えば、「■」、「▼」などの特定記号から始まる行、特定記号で囲まれた行、ＵＲＬ、メールアドレス、住所・電話番号などを削除する。
【００２８】
ＳＴＥＰ９４：ストップワード等の削除
テロップ挿入部１５７は、トークンから「に」、「から」、「これ」、「さん」などのあまり意味としては重要でないワード（ストップワード）や助詞などの特定品詞を削除する。
ＳＴＥＰ９５：トークンバイグラムの作成
特定の条件（例えば、予め定義された品詞条件）を満たす複数のトークンを繋げ、トークンバイグラムを得る。例えば、「２０１４年」（名詞、固有名詞、一般）と「６月」（名詞、固有名詞、一般）を繋げて「２０１４年６月」としたり、「「ヴェルディ」（固有名詞）と「協賛」（普通名詞）を繋げ、「ヴェルディ協賛」としたりする。
【００２９】
ＳＴＥＰ９６：重要文の抽出
トークンおよびトークンバイグラムを元にＴＦ−ＩＤＦスコア単語の重要度を評価する指標から特徴語となるトークンおよびトークンバイアグラムを抽出し、前述の単語類似度判定からセンテンスのセグメンテーションを行い、各セグメントから重要文を抽出することで要約とする。
ＳＴＥＰ９７：テンプレートへの当てはめ
要約（重要文）を構文解析にかけ、文節と構文木に別ける。上述のテンプレートは各シーンに求める文字数が定義されているところ、文節間の修飾関係から、文章として自然な区間が各テンプレートに収まるように文を切り、テンプレートに当てはめる。
以上に説明した要約文作成機能は、日本語のみならず、英語はじめとする多言語に対応が可能である。
【００３０】
以上、本発明の好ましい実施形態例について説明したが、本発明の技術的範囲は上記実施形態の記載に限定されるものではない。上記実施形態例には様々な変更・改良を加えることが可能であり、そのような変更または改良を加えた形態のものも本発明の技術的範囲に含まれる。
【符号の説明】
【００３１】
１  動画編集サーバ
２  管理者端末
３  ユーザ端末
１１  閲覧履歴保存部
１２  推薦記事抽出部
１３  テンプレート作成部
１４  分類器作成部
１５  合成動画作成部
２１  閲覧記録ＤＢ
２２  推薦記事ＤＢ
２３  テンプレートＤＢ
２４  学習データＤＢ
２５  合成動画ＤＢ
２６  ラベルＤＢ
１５１  推薦記事読込部
１５２  動画分割部
１５３  第１分類器
１５４  第２分類器
１５５  分割動画結合部
１５６  音楽挿入部
１５７  テロップ挿入部
【図１】
2020129357.tif 000003
【図２】
2020129357.tif 000004
【図３】
2020129357.tif 000005
【図４】
2020129357.tif 000006
【図５】
2020129357.tif 000007
【図６】
2020129357.tif 000008
【図７】
2020129357.tif 000009
【図８】
2020129357.tif 000010
【図９】
2020129357.tif 000011