(57)【要約】【課題】不自然さが抑制された動画を生成可能な動画生成装置を提供する。【解決手段】動画生成装置（１）は、動画シーンの種類ごとに区分された動画を示す情報、および、曲節ごとに区分された音楽を示す情報を取得する取得部（２３）と、音楽の曲節ごとに、動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する動画生成部（２４）とを備える。【選択図】図１
2020167473.tif 000002
【特許請求の範囲】
【請求項１】
動画シーンの種類ごとに区分された動画を示す情報、および、曲節ごとに区分された音楽を示す情報を取得する取得部と、
前記音楽の曲節ごとに、前記動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する動画生成部と
を備えることを特徴とする動画生成装置。
【請求項２】
前記動画生成部は、前記音楽の前記曲節の曲調を示す情報を参照して、前記音楽の曲節ごとに、前記動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する
ことを特徴とする請求項１に記載の動画生成装置。
【請求項３】
前記動画の色調を示す情報を参照して、予め定められた数のパターンのイメージのいずれかに前記動画を割り当てる解析部をさらに備えることを特徴とする請求項１または２に記載の動画生成装置。
【請求項４】
前記解析部は、前記予め定められた数のパターンのイメージのいずれかに割り当てられた前記動画と、前記音楽とを関連付け、
前記動画生成部は、前記解析部によって前記音楽と関連付けられた前記動画を参照して、前記音楽の曲節ごとに、前記動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する
ことを特徴とする請求項３に記載の動画生成装置。
【請求項５】
前記音楽はＢＧＭである
ことを特徴とする請求項１〜４のいずれか１項に記載の動画生成装置。
【請求項６】
請求項１〜５のいずれか１項に記載の動画生成装置に入力される、曲節ごとに区分された音楽を示す情報を生成する端末装置であって、
前記動画を参照し、前記曲節ごとに区分された音楽を示す情報を生成する音楽情報生成部を備える
ことを特徴とする端末装置。
【請求項７】
動画シーンの種類ごとに区分された動画を示す情報、および、曲節ごとに区分された音楽を示す情報を取得する取得工程と、
前記音楽の曲節ごとに、前記動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する動画生成工程と
を含むことを特徴とする動画生成方法。
【請求項８】
請求項１に記載の動画生成装置としてコンピュータを機能させるための動画生成プログラムであって、前記取得部および前記動画生成部としてコンピュータを機能させるための動画生成プログラム。
【請求項９】
請求項８に記載の動画生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画生成装置、端末装置、動画生成方法、動画生成プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
動画閲覧の要望が増えたことに伴い、動画を撮影する機会が増えている。その結果、撮影した動画に基づいて、ダイジェスト動画、ＣＭ広告の動画およびミニドラマなどの動画を生成する機会が増えている。
【０００３】
例えば、特許文献１には、シナリオに動画を対応付けていく（当てはめる）ことにより、動画を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０１６８７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のような従来技術によって動画を生成する場合、全体として不自然な動画が生成されてしまう可能性がある。
【０００６】
本発明の一態様は、不自然さが抑制された動画を生成可能な動画生成装置およびその関連技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る動画生成装置は、動画シーンの種類ごとに区分された動画を示す情報、および、曲節ごとに区分された音楽を示す情報を取得する取得部と、前記音楽の曲節ごとに、前記動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する動画生成部とを備える。
【０００８】
本発明の一態様に係る動画生成方法は、動画シーンの種類ごとに区分された動画を示す情報、および、曲節ごとに区分された音楽を示す情報を取得する取得工程と、前記音楽の曲節ごとに、前記動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する動画生成工程とを含む。
【発明の効果】
【０００９】
本発明の一態様によれば、不自然さが抑制された動画を生成可能な動画生成装置およびその関連技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係る動画生成装置の概略構成を示す機能ブロック図である。
【図２】動画生成部によるダイジェスト動画の生成の一例について説明するための図である。
【図３】一実施形態に係る動画生成装置による動画生成処理の流れの一例を示すシーケンス図である。
【図４】一実施形態に係る動画生成装置のサーバにおける解析部が実行する処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
＜実施形態＞
本実施形態に係る動画生成装置１および動画生成方法について、図１〜図３を用いて以下に説明する。
【００１２】
〔動画生成装置１〕
図１は、本実施形態に係る動画生成装置１の概略構成を示す機能ブロック図である。図１に示すように、動画生成装置１は、端末装置１０と、サーバ（動画生成装置）２０とを備えている。
【００１３】
〔端末装置１０〕
端末装置１０は、サーバ２０に入力される、曲節ごとに区分された音楽を示す情報を生成する。図１に示すように、端末装置１０は、解析部１１と、音楽情報生成部１２と通信部１３とを備えている。
【００１４】
ここで、サーバ２０に入力される音楽としては、例えば、ＢＧＭが挙げられる。音楽がＢＧＭであることにより、歌詞のある音楽に比べてイメージが漠然としたものになり、音楽の内容と動画シーン内容とが乖離しにくくなる。そのため、サーバ２０は、当該音楽の曲節ごとに動画シーンを無理なく好適に割り当てることができる。結果として、より不自然さが抑制された自然な動画を生成することができる。
【００１５】
（解析部１１）
解析部１１は、例えば、端末装置１０の撮影部（不図示）によって撮影された動画の色調を示す情報を参照して、予め定められた数のパターン（例えば、３２パターン）のイメージのいずれかに動画を割り当てる。これにより、解析部１１は、動画と音楽とを、より好適に関連付けることができる。結果として、動画生成部２４が、解析部１１によって音楽と関連付けられた動画を参照して、音楽の曲節ごとに、動画シーンを割り当ててダイジェスト動画を生成する場合に、より自然なダイジェスト動画を生成できる。
【００１６】
一例として、解析部１１は、動画の変量ヒストグラムを生成することによって、動画の色調を解析する。解析部１１は、当該解析によって得られた最近ベクトルが示す動画の色重心に対応する、３２パターンのイメージのいずれかに近い配色の動画を割り当てる。
【００１７】
ここで、３２パターンのイメージとは、例えば、異なる３×４個の異なる色の矩形に等分割された、１２色の異なる配色から想起される３２パターンの異なるイメージのことを指す。３２パターンのイメージとしては、例えば、ポップで楽しいイメージ、キュートでかわいいイメージ、ダイナミックで目を引くイメージ、ゴージャスで高級感があるイメージ、カジュアルで親しみやすいイメージ、サイケデリックなイメージ、明るく伸びやかなイメージ、メルヘンなイメージ、重厚でどっしりしたイメージ、刺激的でインパクトの強いイメージ、ストリートのイメージ、涼しげで透明感のあるイメージ、エレガントで優雅なイメージ、フレッシュでジューシーなイメージ、ぬくもりを感じるイメージ、癒しを感じる柔らかなイメージ、大人の男性を感じさせるイメージ、大人の女性を感じさせるイメージ、若い男性を感じさせるイメージ、若い女性を感じさせるイメージ、品のある知的なイメージ、さわやかで軽やかなイメージ、都会的でスタイリッシュなイメージ、ナチュラルで落ち着いたイメージ、春のイメージ、夏のイメージ、秋のイメージ、冬のイメージ、モダンな和のイメージ、ヨーロピアンなイメージ、北欧のイメージおよびエスニックなイメージが挙げられる。
【００１８】
また、解析部１１は、予め定められた数のパターンのイメージのいずれかに割り当てられた動画と、予め選択された音楽とを関連付ける（紐付ける）。例えば、解析部１１は、ポップで楽しいイメージに割り当てられた動画と、ＢＧＭ１−１、ＢＧＭ１−２およびＢＧＭ１−３から構成されるＢＧＭ１とを関連付ける。なお、解析部１１は、予め定められた数のパターンのイメージのいずれかに割り当てられた動画と関連付けられる音楽を、例えば、端末装置１０内で利用可能な複数の音楽から選択する。これにより、解析部１１は、予め定められた数のパターンのイメージのいずれかに割り当てられた動画と関連付けられた音楽（例えば、ＢＧＭ）を、動画用の音楽として選定する。
【００１９】
解析部１１は、通信部１３を介して、音楽と関連付けられた動画をサーバ２０の通信部２１に送信する。
【００２０】
（音楽情報生成部１２）
音楽情報生成部１２は、動画を参照し、曲節ごとに区分された音楽を示す情報を生成する。
【００２１】
具体的には、音楽情報生成部１２は、解析部１１によって動画用に選定された音楽を解析し、曲節ごとに区分することによって、曲節ごとに区分された音楽を示す情報を生成する。一例として、音楽情報生成部１２は、選定された音楽のｍｐ３ファイルにフーリエ変換を施し、ｍｐ３ファイルを周波数情報に分解することによって、時系列的に示されるスペクトログラムを生成する。続いて、音楽情報生成部１２は、生成されたスペクトログラムに対し、クラスタに分類するクラスタリング処理（ｋ＿ｍｅａｎｓ）、および、短いクラスタを時系列的に前のクラスタに結合する丸め処理を施す。これにより、音楽情報生成部１２は、イントロ（Ｉｎｔｒｏ）、Ａメロ（Ｖｅｒｓｅ）、Ｂメロ（Ｂｒｉｄｇｅ）、サビ（Ｃｈｏｒｕｓ）、ソロ（Ｓｏｌｏ）およびアウトロ（Ｅｎｄｉｎｇ）などの曲節ごとに、時間軸に沿って区分された音楽を示す情報（曲のセクションリスト）を好適に生成できる。結果として、動画生成部２４が、音楽の曲節ごとに、動画シーンを割り当ててダイジェスト動画を生成する際に、より自然なダイジェスト動画を生成できる。
【００２２】
音楽情報生成部１２は、通信部１３を介して、音楽を示す情報（曲のセクションリスト）をサーバ２０の通信部２１に送信する。
【００２３】
（通信部１３）
通信部１３は、サーバ２０の通信部２１との通信を行う。通信部１３は、インターネットなどのネットワークを介してサーバ２０の通信部２１との無線通信を行ってもよく、サーバ２０の通信部２１と有線接続され、有線通信を行ってもよい。端末装置１０の通信部１３と、サーバ２０の通信部２１とが有線接続される場合としては、例えば、端末装置１０とサーバ２０とが両方とも同一の建物内にある場合が挙げられる。
【００２４】
〔サーバ２０〕
図１に示すように、サーバ２０は、通信部２１と、解析部２２と、取得部２３と、動画生成部２４と配信部２５とを備えている。
【００２５】
（通信部２１）
通信部２１は、端末装置１０の通信部１３との通信を行う。上述した通り、通信部２１は、端末装置１０の通信部１３と無線通信を行ってもよく、有線通信を行ってもよい。
【００２６】
（解析部２２）
解析部２２は、端末装置１０の通信部１３から、通信部２１を介して受信した動画を解析することによって、動画シーンの種類ごとに区分された動画を示す情報を取得する。この間、端末装置１０の音楽情報生成部１２は、解析部２２による上述の解析と並行して、曲節ごとに区分された音楽を示す情報を生成する。
【００２７】
図１に示すように、解析部２２は、動画シーン解析部２２１、音声解析部２２２、登場人物解析部２２３及び登場動物解析部２２４を備えている。
【００２８】
動画シーン解析部２２１は、動画シーン解析用ＡＩによって動画を解析する。当該解析により、動画シーン解析部２２１は、例えば、運動会、マラソン、ダンスおよびコンサートなどの動画シーンの種類ごとに時間軸に沿って区分された動画シーンリストを生成する。また、音声解析部２２２は、音声解析用ＡＩによって動画の音声を解析する。当該解析により、音声解析部２２２は、音声テロップごとに時間軸に沿って区分された音声テロップリストを生成する。また、登場人物解析部２２３は、登場人物解析用ＡＩによって動画の登場人物を解析する。これにより、登場人物解析部２２３は、登場人物ごとに時間軸に沿って区分された登場人物リストを生成する。また、登場動物解析部２２４は、登場動物解析用ＡＩによって動画の登場動物を解析する。これにより、登場動物解析部２２４は、登場動物ごとに時間軸に沿って区分された登場動物リストを生成する。
【００２９】
なお、動画シーン解析部２２１による解析、音声解析部２２２による解析、登場人物解析部２２３による解析および登場動物解析部２２４による解析は、例えば、動画シーン解析部２２１による解析、音声解析部２２２による解析、登場人物解析部２２３による解析および登場動物解析部２２４による解析の順に行ったり、並行して行ったりしてもよい。
また、動画シーンリスト、音声テロップリスト、登場人物リストおよび登場動物リストは、それぞれ、時間軸に沿って区分されていることからも明らかなように、時間を示す情報を含む。
【００３０】
解析部２２における動画シーン解析部２２１、音声解析部２２２、登場人物解析部２２３及び登場動物解析部２２４による解析は、例えば、以下のような機械学習的手法のいずれか、または、それらの組み合わせを用いることができる。
・サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）
・クラスタリング（Ｃｌｕｓｔｅｒｉｎｇ）
・帰納論理プログラミング（ＩＬＰ：Ｉｎｄｕｃｔｉｖｅ  Ｌｏｇｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）
・遺伝的アルゴリズム（ＧＰ：Ｇｅｎｅｔｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）
・ベイジアンネットワーク（ＢＮ：Ｂａｙｅｓｉａｎ  Ｎｅｔｗｏｒｋ）
・ニューラルネットワーク（ＮＮ：Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）
ニューラルネットワークを用いる場合、データをニューラルネットワークへのインプット用に予め加工して用いるとよい。このような加工には、データの１次元的配列化、または多次元的配列化に加え、例えば、データオーギュメンテーション（Ｄａｔａ  Ａｕｇｕｍｅｎｔａｔｉｏｎ）などの手法を用いることができる。
【００３１】
また、ニューラルネットワークを用いる場合、畳み込み処理を含む畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いてもよいし、再帰的処理を含むリカレントニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いてもよい。ＣＮＮを用いる場合、より具体的には、ニューラルネットワークに含まれる１または複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディングなどの処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。
【００３２】
また、ニューラルネットワークとして、数十〜数千層に至る多層型または超多層型のニューラルネットワークを用いてもよい。
【００３３】
また、解析部２２における動画シーン解析部２２１、音声解析部２２２、登場人物解析部２２３及び登場動物解析部２２４による解析に用いられる機械学習は、教師あり学習であってもよいし、教師なし学習であってもよい。
【００３４】
（取得部２３）
取得部２３は、動画シーンの種類ごとに区分された動画を示す情報、および、曲節ごとに区分された音楽を示す情報を取得する。具体的には、取得部２３は、解析部２２から、動画シーンの種類ごとに区分された動画を示す情報を取得し、端末装置１０の通信部１３から、通信部２１を介して音楽を示す情報を取得する。
【００３５】
（動画生成部２４）
動画生成部２４は、音楽の曲節ごとに、動画シーンリストにおける動画シーンの少なくとも一部を割り当てる。これにより、動画生成部２４は、動画シーンの少なくとも一部が割り当てられた曲節が、当該動画シーンの少なくとも一部と共に再生されるダイジェスト動画を生成する。
【００３６】
具体的には、動画生成部２４は、音楽の曲節の曲調を示す情報を参照して、音楽の曲節ごとに、動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する。
【００３７】
換言すれば、動画生成部２４は、解析部１１によって音楽と関連付けられた動画を参照して、音楽の曲節ごとに、動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する。
【００３８】
ここで、特許文献１に示される従来技術のように、シナリオに動画シーンを割り当てる場合、動画に合うようにシナリオを製作したり、シナリオに動画シーンを合わせたりするのが難しいことから、シナリオの内容と動画シーンの内容とが乖離することがある。そのため、シナリオに動画シーンの少なくとも一部を無理に割り当てると、全体として、不自然な動画が生成されてしまう可能性がある。
【００３９】
これに対し、ＢＧＭなどの音楽には、文章によって規定されるシナリオほど明確なストーリーがなく、全体として漠然としたイメージしかない。そのため、本実施形態のように、動画生成部２４が、音楽の曲節ごとに、動画シーンの少なくとも一部を割り当てることによって、シナリオに割り当てた場合に比べて不自然さが抑制された動画を生成することができる。また、上述のように、音楽の曲節の曲調を示す情報（端末装置１０の解析部１１によって音楽と関連付けられた動画）を参照して、音楽の曲節ごとに、動画シーンの少なくとも一部を割り当てることによって、より自然なダイジェスト動画を生成できる。
【００４０】
以下に、図２を用いて動画生成部２４によるダイジェスト動画の生成の一例について説明する。図２は、動画生成部２４によるダイジェスト動画の生成の一例について説明するための図である。図２では、ある時間において動画に登場するか、動画と共に流れるものを、動画シーンリスト、音声テロップリスト、登場人物リストおよび登場動物リストのそれぞれの時間軸上に配置している。動画生成部２４は、まず、上述の動画シーンリストと、音声テロップリストと、登場人物リストと、登場動物リストとを、共通の情報である時間を示す情報によって関連付け（連結し）、動画リストＡ〜Ｆを生成する。次に、図２に示すように、動画生成部２４は、音声テロップリストと、登場人物リストと、登場動物リストと関連付けられた動画シーンリストにおける、運動会、マラソン、ダンス、コンサートなどの動画シーンの少なくとも一部である動画リストＡ〜Ｆを、曲のセクションリストにおけるＩｎｔｒｏ、Ｖｅｒｓｅ、Ｂｒｉｄｇｅ、Ｃｈｏｒｕｓ、ＳｏｌｏおよびＥｎｄｉｎｇなどの音楽の曲節ごとに割り当てることによってダイジェスト動画を生成する。換言すれば、動画生成部２４は、Ｉｎｔｒｏが動画リストＡと共に再生され、Ｖｅｒｓｅが動画リストＢと共に再生され、Ｂｒｉｄｇｅが動画リストＣと共に再生され、Ｃｈｏｒｕｓが動画リストＤと共に再生され、Ｓｏｌｏが動画リストＥと共に再生され、Ｅｎｄが動画リストＦと共に再生されるダイジェスト動画を生成する。
【００４１】
例えば、図２において、動画リストＡがＩｎｔｒｏに割り当てられた場合、運動会ａのシーンでは、Ｉｎｔｒｏと共に音声テロップａおよびｂの一部が流れるダイジェスト動画が生成される。ここで、人ａ〜ｎおよび犬については、登場人物リストおよび登場動物リストが作成されていなくても、運動会ａのシーンに登場する。そのため、ダイジェスト動画を鑑賞するだけでは、登場人物リストおよび登場動物リストが作成されているか否かをユーザは確認することができない。ただし、動画生成部２４が、運動会ａのシーンの登場人物および登場動物にビデオエフェクトおよびトランジションの少なくとも一方を施す際に、人ａ〜ｎおよび犬が運動会ａのシーンから検出される。そのため、ユーザは、ビデオエフェクトおよびトランジションの少なくとも一方を施す際に、登場人物リストおよび登場動物リストが生成されていることを確認することができる。
【００４２】
また、動画生成部２４は、生成されたダイジェスト動画にビデオエフェクトを施す。ビデオエフェクトは、ダイジェスト動画の視覚効果を変化させたり、ダイジェスト動画に特殊な表現を付加したりするものであれば特に限定されない。ビデオエフェクトとしては、例えば、オールドフィルム、点ガベージマット、カラーエンボス、ノイズ、モザイク、線描、波形ワープ、ミラー、ベンド、複製および照明効果などが挙げられる。
【００４３】
また、動画生成部２４は、生成されたダイジェスト動画にトランジションを施す。トランジションは、ある動画シーンから異なる動画シーンにスムーズに切り替えることができるものであれば特に限定されない。トランジションとしては、例えば、フェードインカーテン、キューブスピン、スイングアウト、スイングイン、ドア、フリップオーバー、ホールドアップ、回転、暗転、ページピールおよびクロックワイプなどが挙げられる。ここで、ホールドアップとは、前のクリップが折り畳まれて、次のクリップが下から現れる切り替え効果のことを指す。暗転とは、前のクリップが黒い背景にフェードアウトし、次のクリップにフェードインする切り替え効果のことを指す。ページピールとは、前のクリップがページのようにめくれていき、下から次のクリップが表示される切り替え効果のことを指す。クロックワイプとは、前のクリップが時計の針の動きのように消えていき、下から次のクリップが表示される切り替え効果のことを指す。
【００４４】
（配信部２５）
配信部２５は、ビデオエフェクトおよびトランジションが施されたダイジェスト動画をＷｅｂに配信（アップロード）する。これにより、端末装置１０のユーザは、端末装置１０からＷｅｂにアクセスすることによって、Ｗｅｂに配信されたダイジェスト動画を視聴することができる。
【００４５】
〔動画生成処理〕
次に、本実施形態に係る動画生成装置１による動画生成処理（動画処理方法）について、図３を参照して説明する。図３は、本実施形態に係る動画生成装置１による動画生成処理の流れの一例を示すシーケンス図である。
【００４６】
ステップＳ１０１：端末装置１０の撮影部（不図示）は動画を撮影する。
【００４７】
ステップＳ１０２：端末装置１０の解析部１１は、動画の色調を示す情報を参照して、予め定められた数のパターン（例えば、３２パターン）のイメージのいずれかに動画を割り当てる。具体的には、解析部１１は、まず、動画の変量ヒストグラムを生成することによって、動画の色調を解析する。次に、解析部１１は、解析によって得られた最近ベクトルが示す動画の色重心に対応する、３２パターンのイメージのいずれかに近い配色の動画を割り当てる。
【００４８】
ステップＳ１０３：端末装置１０の解析部１１は、予め定められた数のパターンのイメージのいずれかに割り当てられた動画と、音楽とを関連付ける。
【００４９】
ステップＳ１０４：端末装置１０の解析部１１は、通信部１３を介して、音楽と関連付けられた動画をサーバ２０の通信部２１に送信する。
【００５０】
ステップＳ１０５：サーバ２０の解析部２２は、端末装置１０の通信部１３から、通信部２１を介して動画を受信する。
【００５１】
ステップＳ１０６：サーバ２０の解析部２２は、動画を解析する。解析部２２による動画を解析の詳細は、図４を用いて詳細に説明する。
【００５２】
ステップＳ１０７：端末装置１０の解析部１１は、予め定められた数のパターンのイメージのいずれかに割り当てられた動画と関連付けられた音楽を、動画用の音楽として選定する。
【００５３】
ステップＳ１０８：端末装置１０の解析部１１は、サーバ２０の解析部２２による動画の解析と並行して、動画を参照し、曲節ごとに区分された音楽を示す情報を生成する。
【００５４】
ステップＳ１０９：端末装置１０の音楽情報生成部１２は、通信部１３を介して、音楽を示す情報（曲のセクションリスト）をサーバ２０の通信部２１に送信する。
【００５５】
ステップＳ１１０：サーバ２０の取得部２３は、動画シーンの種類ごとに区分された動画を示す情報、および、曲節ごとに区分された音楽を示す情報を取得する（取得工程）。具体的には、取得部２３は、解析部２２から、動画シーンの種類ごとに区分された動画を示す情報を取得し、端末装置１０の通信部１３から、通信部２１を介して音楽を示す情報を取得する。
【００５６】
ステップＳ１１１：サーバ２０の動画生成部２４は、音楽の曲節ごとに、動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する（動画生成工程）。具体的には、動画生成部２４は、端末装置１０の解析部１１によって音楽と関連付けられた動画を参照して、音楽（曲のセクションリスト）の曲節ごとに、動画シーンリストにおける動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する。
【００５７】
（解析処理）
図４は、一実施形態に係る動画生成装置１のサーバ２０における解析部２２が実行する処理の流れの一例を示すフローチャートである。図４に示す処理は、図３に示すステップＳ１０６の解析処理に対応する。
【００５８】
ステップＳ２０１：サーバ２０の解析部２２における動画シーン解析部２２１は、動画シーン解析用ＡＩによって動画を解析する。当該解析により、動画シーン解析部２２１は、例えば、運動会、マラソン、ダンスおよびコンサートなどの動画シーンの種類ごとに時間軸に沿って区分された動画シーンリストを生成する。
【００５９】
ステップＳ２０２：サーバ２０の解析部２２における音声解析部２２２は、動画シーン解析部２２１による解析の後に、音声解析用ＡＩによって動画の音声を解析する。当該解析により、音声解析部２２２は、音声テロップごとに時間軸に沿って区分された音声テロップリストを生成する。
【００６０】
ステップＳ２０３：サーバ２０の解析部２２における登場人物解析部２２３は、音声解析部２２２による解析の後に、登場人物解析用ＡＩによって動画の登場人物を解析する。これにより、登場人物解析部２２３は、登場人物ごとに時間軸に沿って区分された登場人物リストを生成する。
【００６１】
ステップＳ２０４：サーバ２０の解析部２２における登場動物解析部２２４は、登場人物解析部２２３による解析の後に、登場動物解析用ＡＩによって動画の登場動物を解析する。これにより、登場動物解析部２２４は、登場動物ごとに時間軸に沿って区分された登場動物リストを生成する。
【００６２】
なお、上述の例では、サーバ２０の解析部２２は、動画シーン解析部２２１による解析、音声解析部２２２による解析、登場人物解析部２２３による解析および登場動物解析部２２４による解析の順に動画の解析を行っている。ただし、本実施形態ではこれに限定されない。本実施形態では、動画シーン解析部２２１、音声解析部２２２、登場人物解析部２２３および登場動物解析部２２４は、それぞれ独立した解析用ＡＩを備えているため、これらの解析を任意の順に行うことができる。例えば、動画シーン解析部２２１、音声解析部２２２、登場人物解析部２２３および登場動物解析部２２４は、これらの解析を、登場動物解析部２２４による解析、登場人物解析部２２３による解析、音声解析部２２２による解析および動画シーン解析部２２１による解析の順に行ってもよいし、並行して行ってもよい。動画シーン解析部２２１、音声解析部２２２、登場人物解析部２２３および登場動物解析部２２４が、これらの解析を並行して行う場合、同時に行ってもよい。このように、動画シーン解析部２２１、音声解析部２２２、登場人物解析部２２３および登場動物解析部２２４は、それぞれ独立した解析用ＡＩを備えていることにより、状況に応じて適切な順番で動画を解析することができる。
【００６３】
＜変形例＞
上述の例では、動画生成装置１における端末装置１０が解析部１１および音楽情報生成部１２を備え、サーバ２０が通信部２１、解析部２２、取得部２３、動画生成部２４および配信部２５を備えているが、本実施形態ではこれに限定されない。本実施形態では、動画生成装置１は、端末装置１０およびサーバ２０のいずれかを備えていなくてもよい。
【００６４】
すなわち、全ての部材を端末装置１０が備えていてもよく、全ての部材をサーバ２０が備えていてもよい。例えば、端末装置１０が全ての部材を備えている場合、端末装置１０のアプリによって上述の動画生成処理を行ってもよい。
【００６５】
〔ソフトウェアによる実現例〕
動画生成装置１の制御ブロック（特に、解析部１１、音楽情報生成部１２、解析部２２、取得部２３および動画生成部２４）は、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００６６】
後者の場合、動画生成装置１は、各機能を実現するソフトウェアである動画生成プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記動画生成プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記動画生成プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）などの他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記動画生成プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記動画生成プログラムは、該動画生成プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波など）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記動画生成プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００６７】
〔まとめ〕
本発明の態様１に係る動画生成装置は、動画シーンの種類ごとに区分された動画を示す情報、および、曲節ごとに区分された音楽を示す情報を取得する取得部と、前記音楽の曲節ごとに、前記動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する動画生成部とを備える。
【００６８】
本発明の態様２に係る動画生成装置は、上記態様１において、前記動画生成部は、前記音楽の前記曲節の曲調を示す情報を参照して、前記音楽の曲節ごとに、前記動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成してもよい。
【００６９】
本発明の態様３に係る動画生成装置は、上記態様１または２において、前記動画の色調を示す情報を参照して、予め定められた数のパターンのイメージのいずれかに前記動画を割り当てる解析部をさらに備えていてもよい。
【００７０】
本発明の態様４に係る動画生成装置は、上記態様３において、前記解析部は、前記予め定められた数のパターンのイメージのいずれかに割り当てられた前記動画と、前記音楽とを関連付け、前記動画生成部は、前記解析部によって前記音楽と関連付けられた前記動画を参照して、前記音楽の曲節ごとに、前記動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成してもよい。
【００７１】
本発明の態様５に係る動画生成装置は、上記態様１〜４のいずれか１つにおいて、前記音楽はＢＧＭであってもよい。
【００７２】
本発明の態様６に係る端末装置は、上記態様１〜５のいずれか１つの動画生成装置に入力される、曲節ごとに区分された音楽を示す情報を生成する端末装置であって、前記動画を参照し、前記曲節ごとに区分された音楽を示す情報を生成する音楽情報生成部を備える。
【００７３】
本発明の態様７に係る動画生成方法は、動画シーンの種類ごとに区分された動画を示す情報、および、曲節ごとに区分された音楽を示す情報を取得する取得工程と、前記音楽の曲節ごとに、前記動画シーンの少なくとも一部を割り当てることによって、ダイジェスト動画を生成する動画生成工程とを含む。
【００７４】
本発明の各態様に係る動画生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記動画生成装置が備える各部（ソフトウェア要素）として動作させることにより上記動画生成装置をコンピュータにて実現させる動画生成装置の動画生成プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００７５】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００７６】
１  動画生成装置
１０  端末装置
１１、２２  解析部
１２  音楽情報生成部
１３、２１  通信部
２０  サーバ
２３  取得部
２４  動画生成部
２５  配信部
２２１  動画シーン解析部
２２２  音声解析部
２２３  登場人物解析部
２２４  登場動物解析部
【図１】
2020167473.tif 000003
【図２】
2020167473.tif 000004
【図３】
2020167473.tif 000005
【図４】
2020167473.tif 000006