(57)【特許請求の範囲】
【請求項１】
ストーリー映像制作方法であって、
複数の映像を収集する段階、
前記の収集された複数の映像それぞれからキャプション情報およびメタ情報を抽出する段階、
前記の抽出されたキャプション情報およびメタ情報に基づいて、前記の収集された複数の映像を分類し、前記の分類された映像に基づいて、制作しようとするストーリーのテーマを決定する段階、
前記の決定されたストーリーのテーマと関連する少なくとも１つのテンプレートのうちから１つのテンプレートを選択する段階であって、前記少なくとも１つのテンプレートそれぞれは、映像を配置するための複数のフレームを含み、前記複数のフレームそれぞれには、配置される映像のための少なくとも１つのキーワードまたは少なくとも１つの文章が対応する、段階、
前記複数のフレームそれぞれに対応する少なくとも１つのキーワードまたは少なくとも１つの文章と前記の抽出されたキャプション情報およびメタ情報とを比較し、前記の選択されたテンプレートが含む複数のフレームそれぞれのための映像を、前記の収集された複数の映像のうちから選択する段階、および
前記複数のフレームそれぞれに前記の選択された映像を配置してストーリー映像を生成する段階
を含み、
前記ストーリーのテーマを決定する段階は、
前記メタ情報が含む映像の生成時刻および生成位置を利用して前記複数の映像を複数のカテゴリに分類し、カテゴリ別の映像の数に基づいて選択されたカテゴリのテーマを前記ストーリーのテーマとして決定する、
ストーリー映像制作方法。
【請求項２】
前記の収集された複数の映像は、ユーザの端末が含むローカル格納場所に記録された映像、および前記ユーザのソーシャルネットワークサービスのアカウントと関連してウェブ上に記録された映像のうちのいずれか１つを含む、
請求項１に記載のストーリー映像制作方法。
【請求項３】
前記キャプション情報は、入力されたイメージから前記イメージと関連するテキストを生成する機械学習基盤のイメージ分析技術によって得られるテキスト情報を含む、
請求項１に記載のストーリー映像制作方法。
【請求項４】
前記ストーリーのテーマを決定する段階は、
前記テキスト情報をさらに利用して、前記の収集された複数の映像を複数のカテゴリに分類する、
請求項３に記載のストーリー映像制作方法。
【請求項５】
前記複数の映像のうちから選択する段階は、
前記複数のフレームのうちの第１フレームに対応するキーワードまたは文章を、前記選択されたカテゴリとして分類された映像のテキスト情報およびメタ情報によって抽出されたキーワードのうちの少なくとも１つと比較し、前記第１フレームに配置するための映像を、前記選択されたカテゴリとして分類された映像のうちから選択する、請求項１に記載のストーリー映像制作方法。
【請求項６】
ストーリー映像制作方法であって、
複数の映像を収集する段階、
前記の収集された複数の映像それぞれからキャプション情報およびメタ情報を抽出する段階、
前記の抽出されたキャプション情報およびメタ情報に基づいて、ストーリーを生成するか、または、予め定義されたストーリーのうちから１つのストーリーを選択する段階、
前記の生成または選択されたストーリーに対応するテンプレートを生成する段階であって、前記の生成されたテンプレートは、映像を配置するための複数のフレームを含み、前記複数のフレームそれぞれには、前記の生成または選択されたストーリーと関連する少なくとも１つのキーワードまたは文章が対応する、段階、
前記複数のフレームに対応する少なくとも１つのキーワードまたは文章と前記の抽出されたキャプション情報およびメタ情報とを比較し、前記の生成されたテンプレートが含む複数のフレームそれぞれのための映像を、前記の収集された複数の映像のうちから選択する段階、および
前記複数のフレームそれぞれに前記の選択された映像を配置してストーリー映像を生成する段階
を含み、
前記ストーリーを生成するか、または、予め定義されたストーリーのうちから１つのストーリーを選択する段階は、
前記メタ情報が含む映像の生成時刻および生成位置を利用して前記複数の映像を複数のカテゴリに分類し、カテゴリ別の映像の数に基づいて選択されたカテゴリのテーマを前記ストーリーのテーマとして決定する段階を含む、
ストーリー映像制作方法。
【請求項７】
前記キャプション情報は、入力されたイメージから前記イメージと関連するテキストを生成する機械学習基盤のイメージ分析技術によって得られるテキスト情報を含む、
請求項６に記載のストーリー映像制作方法。
【請求項８】
前記選択されたカテゴリのテーマを前記ストーリーのテーマとして決定する段階は、
前記テキスト情報をさらに利用して、前記の収集された複数の映像を複数のカテゴリに分類し、
前記ストーリーを生成するか、または、予め定義されたストーリーのうちから１つのストーリーを選択する段階は、
前記テーマおよび前記テキスト情報が含む少なくとも１つのキーワードを利用して、新たなストーリーを定義するか、または、予め定義されたストーリーを、前記テーマおよび前記少なくとも１つのキーワードと比較して、前記予め定義されたストーリーのうちから１つのストーリーを選択する、
請求項７に記載のストーリー映像制作方法。
【請求項９】
前記複数の映像のうちから選択する段階は、
前記複数のフレームのうちの第１フレームに対応するキーワードまたは文章を、前記選択されたカテゴリとして分類された映像のテキスト情報およびメタ情報によって抽出されたキーワードのうちの少なくとも１つと比較し、前記第１フレームに配置するための映像を、前記選択されたカテゴリとして分類された映像のうちから選択する、
請求項６に記載のストーリー映像制作方法。
【請求項１０】
前記予め定義されたストーリーは、予め生成されたストーリー映像に含まれる映像から抽出されたキャプション情報に基づいて生成される、
請求項６に記載のストーリー映像制作方法。
【請求項１１】
請求項１〜１０のうちのいずれか一項に記載のストーリー映像制作方法をコンピュータに実行させるコンピュータプログラム。
【請求項１２】
ストーリー映像制作システムであって、
コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
複数の映像を収集し、
前記の収集された複数の映像それぞれからキャプション情報およびメタ情報を抽出し、
前記の抽出されたキャプション情報およびメタ情報に基づいて、前記の収集された複数の映像を分類し、前記の分類された映像に基づいて、制作しようとするストーリーのテーマを決定し、
前記の決定されたストーリーのテーマと関連する少なくとも１つのテンプレートのうちから１つのテンプレートを選択し、ここで、前記少なくとも１つのテンプレートそれぞれは、映像を配置するための複数のフレームを含み、前記複数のフレームそれぞれには、配置される映像のための少なくとも１つのキーワードまたは少なくとも１つの文章が対応し、
前記複数のフレームそれぞれに対応する少なくとも１つのキーワードまたは少なくとも１つの文章と前記の抽出されたキャプション情報およびメタ情報とを比較し、前記の選択されたテンプレートが含む複数のフレームそれぞれのための映像を、前記の収集された複数の映像のうちから選択し、
前記複数のフレームそれぞれに前記の選択された映像を配置してストーリー映像を生成し、
ストーリーのテーマを決定するために、前記少なくとも１つのプロセッサは、
前記メタ情報が含む映像の生成時刻および生成位置を利用して前記複数の映像を複数のカテゴリに分類し、カテゴリ別の映像の数に基づいて選択されたカテゴリのテーマを前記ストーリーのテーマとして決定する、
ストーリー映像制作システム。
【請求項１３】
前記キャプション情報は、入力されたイメージから前記イメージと関連するテキストを生成する機械学習基盤のイメージ分析技術によって得られるテキスト情報を含む、
請求項１２に記載のストーリー映像制作システム。
【請求項１４】
前記少なくとも１つのプロセッサは、
前記テキスト情報をさらに利用して、前記の収集された複数の映像を複数のカテゴリに分類する、
請求項１３に記載のストーリー映像制作システム。
【請求項１５】
前記少なくとも１つのプロセッサは、
前記複数のフレームのうちの第１フレームに対応するキーワードまたは文章を、前記選択されたカテゴリとして分類された映像のテキスト情報およびメタ情報によって抽出されたキーワードのうちの少なくとも１つと比較し、前記第１フレームに配置するための映像を、前記選択されたカテゴリとして分類された映像のうちから選択する、
請求項１２に記載のストーリー映像制作システム。
【請求項１６】
ストーリー映像制作システムであって、
コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
複数の映像を収集し、
前記の収集された複数の映像それぞれからキャプション情報およびメタ情報を抽出し、
前記の抽出されたキャプション情報およびメタ情報に基づいて、ストーリーを生成するか、または、予め定義されたストーリーのうちから１つのストーリーを選択し、
前記の生成または選択されたストーリーに対応するテンプレートを生成し、ここで、前記の生成されたテンプレートは、映像を配置するための複数のフレームを含み、前記複数のフレームそれぞれには、前記の生成または選択されたストーリーと関連する少なくとも１つのキーワードまたは文章が対応し、
前記複数のフレームに対応する少なくとも１つのキーワードまたは文章と前記の抽出されたキャプション情報およびメタ情報とを比較し、前記の生成されたテンプレートが含む複数のフレームそれぞれのための映像を、前記の収集された複数の映像のうちから選択し、
前記複数のフレームそれぞれに前記の選択された映像を配置してストーリー映像を生成し、
前記少なくとも１つのプロセッサは、前記ストーリーを生成するか、または、予め定義されたストーリーのうちから１つのストーリーを選択するために、
前記メタ情報が含む映像の生成時刻および生成位置を利用して前記複数の映像を複数のカテゴリに分類し、カテゴリ別の映像の数に基づいて選択されたカテゴリのテーマを前記ストーリーのテーマとして決定する、
ストーリー映像制作システム。
【請求項１７】
前記キャプション情報は、入力されたイメージから前記イメージと関連するテキストを生成する機械学習基盤のイメージ分析技術によって得られるテキスト情報を含む、
請求項１６に記載のストーリー映像制作システム。
【請求項１８】
前記少なくとも１つのプロセッサは、
前記選択されたカテゴリのテーマを前記ストーリーのテーマとして決定するために、
前記テキスト情報をさらに利用して、前記の収集された複数の映像を複数のカテゴリに分類し、
前記少なくとも１つのプロセッサは、前記ストーリーを生成するか、または、予め定義されたストーリーのうちから１つのストーリーを選択するために、
前記テーマおよび前記テキスト情報が含む少なくとも１つのキーワードを利用して、新たなストーリーを定義するか、または、予め定義されたストーリーを前記テーマおよび前記少なくとも１つのキーワードと比較して、前記予め定義されたストーリーのうちから１つのストーリーを選択する、
請求項１７に記載のストーリー映像制作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
以下の説明は、ストーリー映像制作方法、ストーリー映像制作システム、ストーリー映像制作方法をコンピュータに実行させるコンピュータプログラム、およびその記録媒体に関する。
【背景技術】
【０００２】
ユーザの映像を収集し、この映像を編集してアニメーションや動画などを生成および提供する従来技術が存在する。例えば、このような従来技術は、端末に記録された映像や、ウェブ上にバックアップされた映像のうちからユーザが一部を選択すると、選択された映像を結合し、さらに音声や映像効果などを追加で結合してアニメーションや動画などを生成して提供する。例えば、韓国公開特許第１０−２０１０−０００１２７０号公報は、スライド動画生成装置および方法に関し、撮影された一定数の映像を撮影順に結合して１つの動画ファイルとして生成する技術を開示している。
【０００３】
しかしながら、このような従来技術は、記録された映像のうちからユーザによって選択された映像や所定の条件下で撮影された映像を一定の順（一例として、ユーザが映像を選択した順、映像が撮影された順、映像が記録された順、または映像のファイル名や撮影時刻にしたがって整列された順など）によって結合してアニメーションや動画を生成するだけのものに過ぎず、特定のストーリーによる映像を選別してストーリー映像を生成したり、現在存在する映像に適したストーリーを提供したりすることはできない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
収集した映像に適したストーリーのテーマを決定し、このようなテーマと関連するテンプレートのフレーム別に適した映像を選択して配置することにより、特定のストーリー映像を制作することができるストーリー映像制作方法およびシステムを提供する。
【０００５】
収集した映像に適したストーリーを生成するか、または、予め定義されたストーリーのうちから収集した映像に適したストーリーを選択し、生成または選択されたストーリーに対応するテンプレートのフレーム別に適した映像を選択して配置することにより、生成または選択されたストーリーに適したストーリー映像を制作することができるストーリー映像制作方法およびシステムを提供する。
【課題を解決するための手段】
【０００６】
ストーリー映像制作方法であって、複数の映像を収集する段階、前記の収集された複数の映像それぞれからキャプション情報およびメタ情報を抽出する段階、前記の抽出されたキャプション情報およびメタ情報に基づいて、前記の収集された複数の映像を分類し、前記の分類された映像に基づいて、制作しようとするストーリーのテーマを決定する段階、前記の決定されたストーリーのテーマと関連する少なくとも１つのテンプレートのうちから１つのテンプレートを選択する段階であって、前記少なくとも１つのテンプレートそれぞれは、映像を配置するための複数のフレームを含み、前記複数のフレームそれぞれには、配置される映像のための少なくとも１つのキーワードまたは少なくとも１つの文章が対応する、段階、前記複数のフレームそれぞれに対応する少なくとも１つのキーワードまたは少なくとも１つの文章と前記の抽出されたキャプション情報およびメタ情報とを比較し、前記の選択されたテンプレートが含む複数のフレームそれぞれのための映像を、前記の収集された複数の映像のうちから選択する段階、および前記複数のフレームそれぞれに前記の選択された映像を配置してストーリー映像を生成する段階を含む、ストーリー映像制作方法を提供する。
【０００７】
ストーリー映像制作方法であって、複数の映像を収集する段階、前記の収集された複数の映像それぞれからキャプション情報およびメタ情報を抽出する段階、前記の抽出されたキャプション情報およびメタ情報に基づいて、ストーリーを生成するか、または、予め定義されたストーリーのうちから１つのストーリーを選択する段階、前記の生成または選択されたストーリーに対応するテンプレートを生成する段階であって、前記の生成されたテンプレートは、映像を配置するための複数のフレームを含み、前記複数のフレームそれぞれには、前記の生成または選択されたストーリーと関連する少なくとも１つのキーワードまたは文章が対応する、段階、前記複数のフレームに対応する少なくとも１つのキーワードまたは文章と前記の抽出されたキャプション情報およびメタ情報とを比較し、前記の生成されたテンプレートが含む複数のフレームそれぞれのための映像を、前記の収集された複数の映像のうちから選択する段階、および前記複数のフレームそれぞれに前記の選択された映像を配置してストーリー映像を生成する段階を含む、ストーリー映像制作方法を提供する。
【０００８】
前記ストーリー映像制作方法をコンピュータに実行させるコンピュータプログラムを提供する。
【０００９】
前記ストーリー映像制作方法をコンピュータに実行させるコンピュータプログラムを記録しているコンピュータ読み取り可能な記録媒体を提供する。
【００１０】
ストーリー映像制作システムであって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、複数の映像を収集し、前記の収集された複数の映像それぞれからキャプション情報およびメタ情報を抽出し、前記の抽出されたキャプション情報およびメタ情報に基づいて、前記の収集された複数の映像を分類し、前記の分類された映像に基づいて、制作しようとするストーリーのテーマを決定し、前記の決定されたストーリーのテーマと関連する少なくとも１つのテンプレートのうちから１つのテンプレートを選択し、ここで、前記少なくとも１つのテンプレートそれぞれは、映像を配置するための複数のフレームを含み、前記複数のフレームそれぞれには、配置される映像のための少なくとも１つのキーワードまたは少なくとも１つの文章が対応し、前記複数のフレームそれぞれに対応する少なくとも１つのキーワードまたは少なくとも１つの文章と前記の抽出されたキャプション情報およびメタ情報とを比較し、前記の選択されたテンプレートが含む複数のフレームそれぞれのための映像を、前記の収集された複数の映像のうちから選択し、前記複数のフレームそれぞれに前記の選択された映像を配置してストーリー映像を生成する、ストーリー映像制作システムを提供する。
【００１１】
ストーリー映像制作システムであって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、複数の映像を収集し、前記の収集された複数の映像それぞれからキャプション情報およびメタ情報を抽出し、前記の抽出されたキャプション情報およびメタ情報に基づいて、ストーリーを生成するか、または、予め定義されたストーリーのうちから１つのストーリーを選択し、前記の生成または選択されたストーリーに対応するテンプレートを生成し、ここで、前記の生成されたテンプレートは、映像を配置するための複数のフレームを含み、前記複数のフレームそれぞれには、前記の生成または選択されたストーリーと関連する少なくとも１つのキーワードまたは文章が対応し、前記複数のフレームに対応する少なくとも１つのキーワードまたは文章と前記の抽出されたキャプション情報およびメタ情報とを比較し、前記の生成されたテンプレートが含む複数のフレームそれぞれのための映像を、前記の収集された複数の映像のうちから選択し、前記複数のフレームそれぞれに前記の選択された映像を配置してストーリー映像を生成する、ストーリー映像制作システムを提供する。
【発明の効果】
【００１２】
収集した映像に適したストーリーのテーマを決定し、このようなテーマと関連するテンプレートのフレーム別に適した映像を選択して配置することにより、特定のストーリー映像を制作することができる。
【００１３】
収集した映像に適したストーリーを生成するか、または、予め定義されたストーリーのうちから収集した映像に適したストーリーを選択し、生成または選択されたストーリーに対応するテンプレートのフレーム別に適した映像を選択して配置することにより、生成または選択されたストーリーに適したストーリー映像を制作することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における、ネットワーク環境の例を示した図である。
【図２】本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。
【図３】本発明の一実施形態における、ストーリー映像の制作環境の例を示した図である。
【図４】本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図である。
【図５】本発明の一実施形態における、サーバが実行することのできるストーリー映像制作方法の例を示したフローチャートである。
【図６】本発明の一実施形態における、ストーリーのテーマを決定する過程の例を示した図である。
【図７】本発明の一実施形態における、テンプレートが含むフレームそれぞれに配置される映像を選定する例を示した図である。
【図８】本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図だ。
【図９】本発明の一実施形態における、サーバが実行することのできるストーリー映像制作方法の例を示したフローチャートである。
【図１０】本発明の一実施形態における、ストーリーを生成する例を示した図である。
【発明を実施するための形態】
【００１５】
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
【００１６】
本発明の実施形態に係るストーリー映像制作システムは、以下で説明される電子機器やサーバによって実現されてよく、本発明の実施形態に係るストーリー映像制作方法は、上述した電子機器やサーバによって実行されてよい。このとき、電子機器またはサーバにおいては、本発明の一実施形態に係るコンピュータプログラムがインストールおよび実行されてよく、電子機器またはサーバは、実行されるコンピュータプログラムの制御にしたがって本発明の一実施形態に係るストーリー映像制作方法を実行してよい。上述したコンピュータプログラムは、コンピュータによって実現される電子機器またはサーバにストーリー映像制作方法を実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。
【００１７】
本発明の実施形態において、「映像」とは、写真、動画、アニメーションなどの視覚的コンテンツを包括する意味として使用されてよい。
【００１８】
図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。
【００１９】
複数の電子機器１１０、１２０、１３０、１４０は、コンピュータシステムによって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１（１１０）の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１（１１０）は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータシステムのうちの１つを意味してよい。
【００２０】
通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ  ａｒｅａ  ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ  ａｒｅａ  ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ  ａｒｅａ  ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ  ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
【００２１】
サーバ１５０、１６０それぞれは、ネットワーク１７０を介して複数の電子機器１１０、１２０、１３０、１４０と通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第１サービスを提供するシステムであってよく、サーバ１６０も、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０に第２サービスを提供するシステムであってよい。より具体的な例として、サーバ１５０は、複数の電子機器１１０、１２０、１３０、１４０においてインストールされて実行されるコンピュータプログラムであるアプリケーションを通じ、該当のアプリケーションが目的とするサービス（一例として、ストーリー映像制作サービス、メッセージングサービスメールサービス、コンテンツ送信サービスなど）を第１サービスとして複数の電子機器１１０、１２０、１３０、１４０に提供してよい。他の例として、サーバ１６０は、上述したアプリケーションのインストールおよび実行のためのファイルを複数の電子機器１１０、１２０、１３０、１４０に配布するサービスを第２サービスとして提供してよい。
【００２２】
図２は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図２では、電子機器に対する例として電子機器１１０の内部構成、およびサーバ１５０の内部構成について説明する。また、他の電子機器１２０、１３０、１４０やサーバ１６０も、上述した電子機器１１０またはサーバ１５０と同一または類似の内部構成を有してよい。
【００２３】
電子機器１１０およびサーバ１５０は、メモリ２１１、２２１、プロセッサ２１２、２２２、通信モジュール２１３、２２３、および入力／出力インタフェース２１４、２２４を含んでよい。メモリ２１１、２２１は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、ディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１１、２２１とは区分される別の永続的記録装置として電子機器１１０やサーバ１５０に含まれてもよい。また、メモリ２１１、２２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器１（１１０）においてインストールされて実行されるブラウザや特定のサービスの提供のために電子機器１（１１０）においてインストールされるアプリケーションなどのためのコード）が記録されてよい。このようなソフトウェア構成要素は、メモリ２１１、２２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール２１３、２２３を通じてメモリ２１１、２２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１６０）がネットワーク１７０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいてメモリ２１１、２２１にロードされてよい。
【００２４】
プロセッサ２１２、２２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１１、２２１または通信モジュール２１３、２２３によって、プロセッサ２１２、２２２に提供されてよい。例えば、プロセッサ２１２、２２２は、メモリ２１１、２２１のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
【００２５】
通信モジュール２１３、２２３は、ネットワーク１７０を介して電子機器１（１１０）とサーバ１５０とが互いに通信するための機能を提供してもよいし、電子機器１（１１０）および／またはサーバ１５０が他の電子機器（一例として、電子機器２（１２０））または他のサーバ（一例として、サーバ１６０）と通信するための機能を提供してもよい。一例として、電子機器１（１１０）のプロセッサ２１２がメモリ２１１のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール２１３の制御にしたがってネットワーク１７０を介してサーバ１５０に伝達されてよい。これとは逆に、サーバ１５０のプロセッサ２２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２２３とネットワーク１７０を経て電子機器１（１１０）の通信モジュール２１３を通じて電子機器１（１１０）に受信されてよい。例えば、通信モジュール２１３を通じて受信されたサーバ１５０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ２１２やメモリ２１１に伝達されてよく、コンテンツやファイルなどは、電子機器１（１１０）がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。
【００２６】
入力／出力インタフェース２１４は、入力／出力装置２１５とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードまたはマウスなどの装置を、出力装置は、ディスプレイまたはスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２１５は、電子機器１（１１０）と１つの装置で構成されてもよい。また、サーバ１５０の入力／出力インタフェース２２４は、サーバ１５０に接続するかサーバ１５０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。より具体的な例として、電子機器１（１１０）のプロセッサ２１２がメモリ２１１にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ１５０や電子機器２（１２０）が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２１４を通じてディスプレイに表示されてよい。
【００２７】
また、他の実施形態において、電子機器１（１１０）およびサーバ１５０は、図２の構成要素よりも多くの構成要素を含んでもよい。しかしながら、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１（１１０）は、上述した入力／出力装置２１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器１（１１０）がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、電子機器１（１１０）にさらに含まれるように実現されてよい。
【００２８】
図３は、本発明の一実施形態における、ストーリー映像の制作環境の例を示した図である。図３では、ストーリー映像制作サーバ３１０がＮ個のクライアント３２０にストーリー映像制作サービスを提供する実施形態を示している。例えば、ストーリー映像制作サーバ３１０は、Ｎ個のクライアント３２０のうちの特定のクライアント（一例として、クライアント１）の要求にしたがって該当のクライアントのためのストーリー映像を生成し、該当のクライアントに提供してよい。実施形態によって、ストーリー映像制作サーバ３１０は、クライアントから要求がなくても、ストーリー映像を任意で生成して該当のクライアントに勧めてもよい。ここで、ストーリー映像制作サーバ３１０は、上述したサーバ１５０に対応してよく、特定のクライアントは、上述した複数の電子機器１１０、１２０、１３０、１４０のうちの１つに対応してよい。
【００２９】
生成されるストーリー映像は、特定のクライアントと関連する映像のうちの少なくとも一部を利用して生成されてよい。例えば、特定のクライアントがインストールしてユーザの端末が含むローカル格納場所に記録された映像のうちの少なくとも一部、および／または該当のクライアントのユーザのソーシャルネットワークサービス（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ：ＳＮＳ）のアカウントと関連してウェブ上に記録された映像のうちの少なくとも一部を利用して、該当のクライアントのためのストーリー映像が生成されてよい。このために、ストーリー映像制作サーバ３１０は、必要となる複数の映像を収集してよい。例えば、ローカル格納場所に記録された映像は、クライアントからストーリー映像制作サーバ３１０のデータベースに自動でバックアップされてよい。この場合、ストーリー映像制作サーバ３１０は、データベースに記録された映像を利用して、該当のクライアントのためのストーリー映像を生成してよい。
【００３０】
図３の実施形態では、サーバ−クライアント環境においてストーリー映像を制作する例について説明したが、他の実施形態では、ユーザの端末に記録されたクライアントが直接ストーリー映像を制作するための機能を含むように実現されてもよい。例えば、クライアントは、端末が含むローカル格納場所に記録された映像のうちの少なくとも一部、またはユーザのソーシャルネットワークサービスのアカウントと関連してウェブ上に記録された映像のうちの少なくとも一部を利用して、ストーリー映像を制作するための機能を含んでよい。
【００３１】
図４は、本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図であり、図５は、本発明の一実施形態における、サーバが実行することのできるストーリー映像制作方法の例を示したフローチャートである。
【００３２】
本発明の実施形態に係るストーリー映像制作システムは、上述したサーバ１５０のようなコンピュータ装置の形態で実現されてよい。また、図４に示すように、サーバ１５０のプロセッサ２２２は、ストーリー映像制作システムを実現するための構成要素として、映像収集部４１０、情報抽出部４２０、テーマ決定部４３０、テンプレート選択部４４０、映像選択部４５０、およびストーリー映像生成部４６０を備えてよい。このようなプロセッサ２２２およびプロセッサ２２２の構成要素は、図５のストーリー映像制作方法に含まれる段階５１０〜５６０を実行してよい。このとき、プロセッサ２２２およびプロセッサ２２２の構成要素は、メモリ２２１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる制御命令を実行するように実現されてよい。ここで、プロセッサ２２２の構成要素は、サーバ１５０に記録されたコードが提供する制御命令にしたがってプロセッサ２２２によって実行される、プロセッサ２２２の互いに異なる機能の表現であってよい。例えば、プロセッサ２２２が上述した制御命令にしたがって映像を収集するようにサーバ１５０を制御するプロセッサ２２２の機能的表現として、映像収集部４１０が使用されてよい。
【００３３】
段階５１０において、映像収集部４１０は、複数の映像を収集してよい。複数の映像は、ユーザの端末が含むローカル格納場所に記録された映像、およびユーザのソーシャルネットワークサービスのアカウントと関連してウェブ上に記録された映像のうちのいずれか１つを含んでよい。一例として、ユーザの端末は、クライアントのためのコンピュータプログラムがインストールされた電子機器１（１１０）に対応してよく、サーバ１５０は、ネットワーク１７０を介して電子機器１（１１０）のローカル格納場所に記録された映像を収集してよい。他の例として、サーバ１５０は、ユーザのＳＮＳのアカウントに基づいて、該当のＳＮＳからネットワーク１７０を介して映像を収集してもよい。より具体的な例として、ユーザがＳＮＳにアップロードした映像は、ユーザのアカウントと関連してウェブ上に掲示されてよく、サーバ１５０は、該当のＳＮＳに掲示された映像のうち、ユーザのアカウントと関連して掲示された映像を収集してよい。
【００３４】
段階５２０において、情報抽出部４２０は、収集された複数の映像それぞれからキャプション情報およびメタ情報を抽出してよい。
【００３５】
ここで、キャプション情報は、入力されたイメージからイメージと関連するテキストを生成する機械学習基盤のイメージ分析技術によって得られるテキスト情報を含んでよい。入力されたイメージからイメージと関連するテキスト情報を取得する技術は、当業者であれば周知の技術から容易に理解することができるであろう。例えば、テンソルフロー（ＴｅｎｓｏｒＦｌｏｗ）は、グーグル（Ｇｏｏｇｌｅ）社が開発した機械学習エンジンであり、検索、音声認識、翻訳などのグーグルアプリに使用される機械学習エンジンであって、このようなテンソルフローを利用してイメージからテキスト情報をキャプション情報として抽出する技術が存在する。情報抽出部４２０は、このような周知の技術を利用して収集された映像からキャプション情報を抽出してよい。
【００３６】
また、メタ情報は、収集された映像に含まれる、該当の映像の生成時刻および生成位置に関する情報を含んでよい。例えば、スマートフォンに備えられたカメラを利用して写真を撮影することによって生成された映像ファイルには、該当の写真が撮影された時刻と該当の写真が撮影された時点のスマートフォンの地理的位置（一例として、ＧＰＳ座標）とが含まれてよい。すなわち、情報抽出部４２０は、このような収集された映像に含まれる生成時刻に関する情報および生成位置に関する情報を、メタ情報として、収集された映像から抽出してよい。
【００３７】
抽出されたキャプション情報およびメタ情報は、該当の映像と関連付けられて管理されてよい。例えば、収集された映像の識別子と該当の映像のキャプション情報およびメタ情報とは、互いに関連付けられてデータベースに記録されてよい。
【００３８】
段階５３０において、テーマ決定部４３０は、抽出されたキャプション情報およびメタ情報に基づいて、収集された複数の映像を分類し、分類された映像に基づいて、制作しようとするストーリーのテーマを決定してよい。例えば、テーマ決定部４３０は、段階５３０において、キャプション情報が含むテキスト情報、映像の生成時刻、および映像の生成位置のうちの少なくとも２つ以上を利用して、収集された複数の映像を複数のカテゴリに分類し、カテゴリ別の映像の数に基づいて選択されたカテゴリのテーマをストーリーのテーマとして決定してよい。
【００３９】
例えば、テーマ決定部４３０は、生成位置として確認された位置がショッピングモールＡ周辺であり、生成時刻が一定の時間間隔以内である映像を、「ショッピング」カテゴリとして分類してよい。他の例として、テーマ決定部４３０は、生成位置がスポーツ競技場Ｂ周辺であり、生成時刻が一定の時間間隔以内である映像を、「スポーツ観戦」カテゴリとして分類してよい。
【００４０】
また、必要に応じて、ユーザについて登録されたプロフィールや普段にユーザについて収集された個人情報が、このような映像の分類にさらに利用されてもよい。例えば、テーマ決定部４３０は、ユーザのプロフィールに記録された住所情報を利用し、生成位置が住所情報によって特定された位置周辺であり、生成時刻が一定の時間間隔以内である映像を、「日常」カテゴリとして分類してよい。さらに他の例として、生成位置が住所情報によって特定された位置から予め設定された距離以上に離れた地域であり、生成時刻が一定の時間間隔以内（一例として、２日以上の時間間隔）である映像を、「旅行」カテゴリとして分類してよい。
【００４１】
このようなユーザの個人情報を利用する場合、より多様なカテゴリの分類を可能にできる。例えば、ユーザＡの自宅の位置、学校の位置、ユーザの登校時間や下校時間などを特定することができれば、「登校」カテゴリや「下校」カテゴリとして映像を分類することも可能となるであろう。
【００４２】
また、映像のキャプション情報に基づいてスキーと関連するテキスト情報が抽出され、生成位置がスキー場の周辺である映像を、「スキー」カテゴリとして分類してもよいし、汽車と関連するテキスト情報が抽出され、生成位置が汽車駅の周辺である映像を、「汽車旅行」カテゴリとして分類してもよい。
【００４３】
また、カテゴリとして、予め設定されたカテゴリのうちから類似度が最も高い１つのカテゴリが選択されてもよく、他の実施形態では、キャプション情報やメタ情報から抽出されたキーワード（上述した「ショッピングモールＡ」、「スポーツ競技場Ｂ」、「スキー」、「汽車」など）に基づいて、予め設定されていない新たなカテゴリが生成されてもよい。
【００４４】
このように、キャプション情報およびメタ情報を利用して極めて多様なカテゴリの分類が可能であることは、当業者であれば容易に理解することができるであろう。
【００４５】
また、上述したように、テーマ決定部４３０は、分類された映像に基づいてストーリーのテーマを決定してよい。例えば、カテゴリ別の映像の数が最も多いカテゴリのテーマが、ストーリーのテーマとして決定されてよい。他の例として、カテゴリ別の映像の数が閾値以上であるカテゴリのテーマのうちの１つが、ストーリーのテーマとして決定されてもよい。より具体的な例として、カテゴリ別の映像の数が閾値以上であるカテゴリのテーマのリストをユーザに提供し、ユーザがリストから選択したテーマがストーリーのテーマとして決定されてよい。このために、サーバ１５０は、テーマのリストを、ネットワーク１７０を介して電子機器１（１１０）に送信してよい。この場合、電子機器１（１１０）は、テーマのリストを受信して画面に表示してよく、リストからテーマを選択することのできる機能をユーザに提供してよい。このようなテーマのリストの表示やテーマの選択機能は、電子機器１（１１０）においてインストールされたコンピュータプログラムの制御にしながってなされてよい。また、ユーザによって選択されたテーマに関する情報は、ネットワーク１７０を介してサーバ１５０に伝達されてよい。
【００４６】
段階５４０において、テンプレート選択部４４０は、決定されたストーリーのテーマと関連する少なくとも１つのテンプレートのうちの１つのテンプレートを選択してよい。このとき、少なくとも１つのテンプレートそれぞれは、映像を配置するための複数のフレームを含んでよく、複数のフレームそれぞれには、配置される映像のための少なくとも１つのキーワードおよび／または少なくとも１つの文章が対応してよい。
【００４７】
例えば、予め設定されたカテゴリには、該当のカテゴリのテーマと関連する少なくとも１つのテンプレートが予め生成および設定されていてよい。このとき、テンプレート選択部４４０は、決定されたストーリーのテーマと関連して予め生成および設定されたテンプレートのうちの１つのテンプレートを選択してよい。あるいは、決定されたストーリーのテーマと関連してユーザが直接テンプレートを生成および設定することも可能である。この場合、電子機器１（１１０）においてインストールされたコンピュータプログラムは、このようなテンプレートの生成および設定のための機能を提供してよい。例えば、コンピュータプログラムは、生成されるテンプレートが含むようになるフレームの数と各フレームに対応するキーワードおよび／または文章の入力を受けてよい。より具体的な例として、「旅行」というテーマと関連するテンプレートを生成するために、フレームの数を５に指定し、このような５という指定にしたがって生成される５つのフレームそれぞれに対してキーワードおよび／または文章の入力を受けるための機能がユーザに提供されてよい。ここで、フレームに対応するキーワードおよび／または文章は、該当のフレームに配置する映像を選択するために利用されてよい。
【００４８】
段階５５０において、映像選択部４５０は、複数のフレームそれぞれに対応する少なくとも１つのキーワードおよび／または少なくとも１つの文章と抽出されたキャプション情報およびメタ情報とを比較し、選択されたテンプレートが含む複数のフレームそれぞれのための映像を、収集された複数の映像のうちから選択してよい。例えば、映像選択部４５０は、複数のフレームのうちの第１フレームに対応するキーワードおよび／または文章を、選択されたカテゴリとして分類された映像のテキスト情報および／またはメタ情報から抽出されたキーワードと比較し、第１フレームに配置するための映像を、選択されたカテゴリとして分類された映像のうちから選択してよい。
【００４９】
より具体的な例として、第１フレームに対応する文章が「スキー」であり、第１映像のキャプション情報として含まれるテキスト情報が「男性がスキーをする」であり、第１映像の生成位置から識別された位置が「スキー場Ａ」である場合、第１フレームのための映像として第１映像が選択されてよい。
【００５０】
段階５６０において、ストーリー映像生成部４６０は、複数のフレームそれぞれに選択された映像を配置してストーリー映像を生成してよい。例えば、５つのフレームそれぞれに対して５つの映像が選択された場合、選択された５つの映像それぞれが該当するフレームに配置されてよく、このような映像によってストーリー映像が生成されてよい。このとき、５つの映像は、テンプレートが有するストーリーの順によって個別のフレーム別に選定されたものであるため、単に記録順や撮影順によって結合された映像よりも完成度の高いストーリー映像を提供することが可能となる。
【００５１】
上述したように、他の実施形態に係るストーリー映像制作システムは、上述した電子機器１（１１０）のようなコンピュータ装置の形態で実現されてもよい。この場合、上述した構成要素である映像収集部４１０、情報抽出部４２０、テーマ決定部４３０、テンプレート選択部４４０、映像選択部４５０、およびストーリー映像生成部４６０は、電子機器１（１１０）のプロセッサ２１２に含まれてよく、このような電子機器１（１１０）のプロセッサ２１２およびその構成要素によって図５のストーリー映像制作方法が実行されてよい。例えば、映像収集部４１０は、段階５１０において、電子機器１（１１０）のローカル格納場所に記録された映像を収集してもよいし、電子機器１（１１０）のユーザのＳＮＳアカウントを利用してＳＮＳから映像を収集してもよい。
【００５２】
図６は、本発明の一実施形態における、ストーリーのテーマを決定する過程の例を示した図である。図６は、ｎ個の映像６１０がｍ個の予め設定されたカテゴリ６２０に分類された例を示している。上述したように、ｎ個の映像６１０から抽出されたキャプション情報およびメタ情報に基づいて新たなカテゴリが追加されることも可能であるが、説明の便宜のために、ｎ個の映像６１０がｍ個の予め設定されたカテゴリ６２０に分類される例について説明する。
【００５３】
このとき、図６の実施形態は、分類された映像の数が１５と最も多いカテゴリ１（６２１）のテーマが、ストーリーのテーマとして決定される例を示している。上述したように、ストーリー映像制作システムは、映像の数が閾値以上であるカテゴリのテーマのリストをユーザに提供し、リストから選択されたテーマをストーリーのテーマとしてユーザから受信してもよい。
【００５４】
ストーリーのテーマが決定された後、決定されたテーマと関連するテンプレートが選択されてよく、テンプレートが含むフレームに配置される映像が選択されてよい。このとき、該当のフレームに配置される映像は、収集されたすべての映像から選択されてもよいが、演算量を減らすために、選択されたカテゴリである「カテゴリ１」に分類された映像のうちから選択されてもよい。
【００５５】
図７は、本発明の一実施形態における、テンプレートが含むフレームそれぞれに配置される映像を選定する例を示した図である。図７は、分類された映像の数が１５であるカテゴリ１（６２１）のテーマが、ストーリーＡ（７１０）のテーマ（テーマＢ）として決定された例を示している。このとき、テーマＢと関連するテンプレートＣ（７２０）が選択されてよい。
【００５６】
このようなテンプレートＣ（７２０）は、テーマＢに対して予め生成および設定されたテンプレートのうちの１つであってよく、実施形態によって、ユーザがテーマＢと関連して直接生成するテンプレートであってもよい。
【００５７】
図７の実施形態では、選択されたテンプレートＣ（７２０）がフレームａ（７２１）、フレームｂ（７２２）、およびフレームｃ（７２３）を含む例を説明している。１つのテンプレートが含むことのできるフレームの数が制限される必要はなく、必要に応じて適切な数が設定されてよいことは、当業者であれば容易に理解することができるであろう。
【００５８】
ストーリー映像制作システムは、このようなフレームａ（７２１）、フレームｂ（７２２）、およびフレームｃ（７２３）それぞれに配置される映像を、カテゴリ１（６２１）として分類された１５個の映像のうちから選択してよい。実施形態によって、フレームに配置される映像は、収集されたすべての映像全体から選択されることも可能であるが、ストーリーとの関連性をより高めながら演算量を減らすためには、図７の実施形態のように、選択されたカテゴリ（カテゴリ１（６２１））から選択されてよい。
【００５９】
フレームそれぞれに対して配置される映像が選択された後、ストーリー映像制作システムは、このようなフレームに映像を配置することによってストーリー映像を生成してよい。このとき、配置される映像は、ストーリーによるフレーム別に選択された映像であるため、撮影順や記録順などで配列された映像に比べて完成度の高いストーリー映像を制作することが可能となる。
【００６０】
このために、テンプレートが含むフレームには、ストーリーの進行によるキーワードおよび／または文章が含まれてよい。ストーリーの進行によるキーワードおよび／または文章は、既に制作されている（特に、人間による編集で制作されている）ストーリー映像のテーマと映像から抽出されたキャプション情報およびメタ情報とを利用して選定されてよい。例えば、予め制作されたストーリー映像のテーマが「旅行」であり、ストーリー映像の映像から抽出されたキャプション情報が映像の順に「人がショッピングをする」→「人が飛行機の座席に座っている」→「人が食べ物を食べる」→「人がビーチに立っている」→「人がベッドの上に座っている」である場合、５つのフレームに上述した５つのキャプション情報が文章で対応するテンプレート（ストーリープロット（ｐｌｏｔ））が生成されてよい。
【００６１】
個別フレームに対応するキーワードや文章に配置される映像の選択は、映像のキャプション情報および／またはメタ情報から抽出されたキーワードや文章によってなされてよい。このような映像の選択については、上で詳しく説明した。
【００６２】
以上では、収集された映像のテーマによって関連するテンプレートを選択および利用してストーリー映像を生成する実施形態について説明した。以下では、収集された映像を利用して先にストーリーを生成または選択し、生成または選択されたストーリーに対応するテンプレートを生成および利用してストーリー映像を生成する実施形態について説明する。言い換えれば、上述した実施形態では、選定されたテーマに適した映像を選択してストーリー映像を生成したが、以下の実施形態では、映像によってストーリーを生成または選択した後、生成または選択されたストーリーに合う映像を選択してストーリー映像を生成するものである。
【００６３】
図８は、本発明の一実施形態における、サーバのプロセッサが含むことのできる構成要素の例を示したブロック図であり、図９は、本発明の一実施形態における、サーバが実行することのできるストーリー映像制作方法の例を示したフローチャートである。
【００６４】
本実施形態に係るストーリー映像制作システムは、上述したサーバ１５０のようなコンピュータ装置の形態で実現されてよい。また、図８に示すように、サーバ１５０のプロセッサ２２２は、ストーリー映像制作システムを実現するための構成要素として、映像収集部８１０、情報抽出部８２０、ストーリー部８３０、テンプレート生成部８４０、映像選択部８５０、およびストーリー映像生成部８６０を備えてよい。このようなプロセッサ２２２およびプロセッサ２２２の構成要素は、図９のストーリー映像制作方法が含む段階９１０〜９６０を実行してよい。このとき、プロセッサ２２２およびプロセッサ２２２の構成要素は、メモリ２２１が含むオペレーティングシステムのコードと少なくとも１つのプログラムのコードとによる制御命令を実行するように実現されてよい。ここで、プロセッサ２２２の構成要素は、サーバ１５０に記録されたコードが提供する制御命令にしたがってプロセッサ２２２によって実行される、プロセッサ２２２の互いに異なる機能の表現であってよい。例えば、プロセッサ２２２が上述した制御命令にしたがって映像を収集するようにサーバ１５０を制御するプロセッサ２２２の機能的表現として、映像収集部８１０が使用されてよい。
【００６５】
段階９１０において、映像収集部８１０は、複数の映像を収集してよい。上述したように、複数の映像は、ユーザの端末が含むローカル格納場所に記録された映像、およびユーザのソーシャルネットワークサービスのアカウントと関連してウェブ上に記録された映像のうちのいずれか１つを含んでよい。一例として、ユーザの端末は、クライアントのためのコンピュータプログラムがインストールされた電子機器１（１１０）に対応してよく、サーバ１５０は、ネットワーク１７０を介して電子機器１（１１０）のローカル格納場所に記録された映像を収集してよい。他の例として、サーバ１５０は、ユーザのＳＮＳのアカウントに基づいて、該当のＳＮＳからネットワーク１７０を介して映像を収集してもよい。より具体的な例として、ユーザがＳＮＳにアップロードした映像は、ユーザのアカウントと関連してウェブ上に掲示されてよく、サーバ１５０は、該当のＳＮＳに掲示された映像のうち、ユーザのアカウントと関連して掲示された映像を収集してよい。
【００６６】
段階９２０において、情報抽出部８２０は、収集された複数の映像それぞれからキャプション情報およびメタ情報を抽出してよい。
【００６７】
ここで、キャプション情報は、入力されたイメージからイメージと関連するテキストを生成する機械学習基盤のイメージ分析技術によって得られるテキスト情報を含んでよい。入力されたイメージからイメージと関連するテキスト情報を取得する技術は、当業者であれば周知の技術から容易に理解することができるであろう。例えば、テンソルフロー（ＴｅｎｓｏｒＦｌｏｗ）は、グーグル（Ｇｏｏｇｌｅ）社が開発した機械学習エンジンであり、検索、音声認識、翻訳などのグーグルアプリに使用される機械学習エンジンであって、このようなテンソルフローを利用してイメージからテキスト情報をキャプション情報として抽出する技術が存在する。情報抽出部８２０は、このような周知の技術を利用することにより、収集された映像からキャプション情報を抽出してよい。
【００６８】
また、メタ情報は、収集された映像が含む該当の映像の生成時刻および生成位置に関する情報を含んでよい。例えば、スマートフォンに備えられたカメラを利用して写真を撮影することによって生成された映像ファイルには、該当の写真が撮影された時刻と該当の写真が撮影された時点のスマートフォンの地理的位置（一例として、ＧＰＳ座標）とが含まれてよい。すなわち、情報抽出部８２０は、このような収集された映像が含む生成時刻に関する情報および生成位置に関する情報を、メタ情報として、収集された映像から抽出してよい。
【００６９】
抽出されたキャプション情報およびメタ情報は、該当の映像と関連付けられて管理されてよい。例えば、収集された映像の識別子と該当の映像のキャプション情報およびメタ情報とは、互いに関連付けられてデータベースに記録されてよい。
【００７０】
段階９３０において、ストーリー部８３０は、抽出されたキャプション情報およびメタ情報に基づいて、ストーリーを生成するか、または、予め定義されたストーリーのうちから１つのストーリーを選択してよい。例えば、ストーリー部８３０は、キャプション情報が含むテキスト情報、メタ情報が含む生成時刻、および生成位置のうちの少なくとも２つ以上を利用して、収集された複数の映像を複数のカテゴリに分類してよく、カテゴリ別の映像の数に基づいて選択されたカテゴリのテーマおよびテキスト情報が含む少なくとも１つのキーワードを利用して、新たなストーリーを定義してよい。他の例として、ストーリー部８３０は、カテゴリ別の映像の数に基づいて選択されたカテゴリのテーマおよびテキスト情報が含む少なくとも１つのキーワードを、予め定義されたストーリーと比較し、予め定義されたストーリーのうちから１つのストーリーを選択してよい。言い換えれば、収集された映像に適したストーリーを新たに生成するか、または、予め生成されているストーリーのうちから、収集された映像に適したストーリーを選択してよい。
【００７１】
例えば、収集された映像において、生成時刻が一定の時間間隔内に存在する映像から抽出されたキャプション情報が、生成時刻の順に「人がショッピングをする」→「人が飛行機の座席に座っている」→「人が食べ物を食べる」→「人がビーチに立っている」→「人がベッドの上に座っている」である場合、このようなキャプション情報が新たなストーリーとして定義されてよい。あるいは、予め定義されたストーリーのうちから、このようなキャプション情報と類似する順の情報をもつストーリーが選択されてよい。
【００７２】
あるいは、映像の生成時刻の順による生成位置から、「韓国／ソウル」→「韓国／仁川空港」→「日本／成田空港」のようなキーワードが抽出された場合、このような生成時刻の順によるキーワードが新たなストーリーとして定義されてよい。
【００７３】
段階９４０において、テンプレート生成部８４０は、生成または選択されたストーリーに対応するテンプレートを生成してよい。このとき、生成されたテンプレートは、映像を配置するための複数のフレームを含み、複数のフレームそれぞれには、生成または選択されたストーリーと関連する少なくとも１つのキーワードおよび／または文章が対応してよい。上述したキーワードの例において、テンプレート生成部８４０は、「韓国／ソウル／地下鉄」に対応するフレーム１、「韓国／仁川空港」に対応するフレーム２、および「日本／成田空港」に対応するフレーム３を含むテンプレートを生成してよい。
【００７４】
段階９５０において、映像選択部８５０は、複数のフレームそれぞれに対応する少なくとも１つのキーワードおよび／または少なくとも１つの文章と抽出されたキャプション情報およびメタ情報とを比較し、選択されたテンプレートが含む複数のフレームそれぞれのための映像を、収集された複数の映像のうちから選択してよい。例えば、映像選択部８５０は、複数のフレームのうちの第１フレームに対応するキーワードおよび／または文章を、選択されたカテゴリとして分類された映像のテキスト情報および／またはメタ情報から抽出されたキーワードと比較し、第１フレームに配置するための映像を、選択されたカテゴリとして分類された映像のうちから選択してよい。
【００７５】
より具体的な例として、フレーム１に対応するキーワードが「韓国／仁川空港」である場合、選択されたカテゴリとして分類された映像（または、収集された映像）から該当のキーワードと関連する映像が選択されてよい。このような映像の選択は、キーワード「韓国／仁川空港」と映像のキャプション情報およびメタ情報から抽出されたキーワードとの比較によってなされてよい。
【００７６】
段階９６０において、ストーリー映像生成部８６０は、複数のフレームそれぞれに選択された映像を配置してストーリー映像を生成してよい。例えば、５つのフレームそれぞれに対して５つの映像が選択された場合、選択された５つの映像それぞれが該当するフレームに配置されてよく、このような映像によってストーリー映像が生成されてよい。このとき、５つの映像は、テンプレートが有するストーリーの順によってフレーム別に選定されたものであるため、記録順や撮影順によって結合された映像よりも完成度の高いストーリー映像を提供することが可能となる。また、本実施形態では、ストーリー自体が収集された映像に基づいて生成（または、予め定義されたストーリーのうちの類似のストーリーが選択）されたものであるため、完成度の高いストーリー映像を制作することが可能となる。
【００７７】
ストーリー映像制作方法が電子機器においてインストールされたコンピュータプログラムの機能によって実行されることについては、上で説明した。
【００７８】
図１０は、本発明の一実施形態における、ストーリーを生成する例を示した図である。図１０は、生成時刻順に整列されたＫ個の映像１０１０それぞれから生成位置およびキャプション情報を含む情報１０２０を抽出し、このうち生成位置に基づいて、キャプション情報を地域別に分類した情報１０３０を示している。本実施形態において、ストーリー映像制作システムは、このような生成時刻順に整列されて地域別に分類されたキャプション情報に基づいて、地域別に少なくとも１つのキーワードおよび／または少なくとも１つの文章を抽出して地域別ストーリーを生成することが可能である。図１０では、時刻および地域だけを利用してストーリーを生成する例について説明しているが、多様な分類によってキーワードや文章のシーケンスを抽出してストーリーを生成することも可能であることは、当業者であれば容易に理解することができるであろう。また、抽出されたキーワードや文章のシーケンスを利用して予め定義されたストーリーから類似のストーリーを選択および利用することも可能である。
【００７９】
以上のように、本発明の実施形態によると、収集した映像に適したストーリーのテーマを決定し、このようなテーマと関連するテンプレートのフレーム別に適した映像を選択して配置することにより、特定のストーリー映像を制作することができる。また、収集した映像に適したストーリーを生成するか、または、予め定義されたストーリーのうちから収集された映像に適したストーリーを選択し、生成または選択されたストーリーに対応するテンプレートのフレーム別に適した映像を選択して配置することにより、生成または選択されたストーリーに適したストーリー映像を制作することができる。
【００８０】
上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【００８１】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
【００８２】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このようなコンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。このような媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を記録して実行するように特別に構成されたハードウェア装置が含まれる。このような記録媒体は、単一または複数のハードウェアが結合された形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続される媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
【００８３】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能である。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
【００８４】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【図１】
0006902108.tif 000002
【図２】
0006902108.tif 000003
【図３】
0006902108.tif 000004
【図４】
0006902108.tif 000005
【図５】
0006902108.tif 000006
【図６】
0006902108.tif 000007
【図７】
0006902108.tif 000008
【図８】
0006902108.tif 000009
【図９】
0006902108.tif 000010
【図１０】
0006902108.tif 000011