(57)【要約】【課題】本発明は、複数の静止画像から動画を自動生成する装置において、対話文が付加された動画を生成可能な技術を提供する。を課題とする。【解決手段】本発明に係わる対話文動画の自動生成装置は、画像入力装置により入力された複数の静止画像における２枚の静止画像間の画像類似度合を演算する。また、該装置は、複数の静止画像の各々について、各静止画像に含まれるオブジェクトを識別するためのキーワードを抽出して、抽出されたキーワードに関連する対話文を生成する。そして、該装置は、画像類似度合と対話文のつながり度合とに基づいて、複数の静止画像の再生順序を決定し、その再生順序に従って複数の静止画像と各静止画像に対応する対話文の字幕又は音声とを出力することで、対話文動画を自動的に生成する。【選択図】図５
2018206110.tif 000002
【特許請求の範囲】
【請求項１】
複数の静止画像を入力する画像入力手段と、
前記画像入力手段により入力された複数の静止画像における２枚の静止画像間の画像類似度合を演算する画像類似度演算手段と、
前記画像入力手段により入力された複数の静止画像の各々について、各静止画像に含まれるオブジェクトを識別するためのキーワードを抽出するキーワード抽出手段と、
前記画像入力手段により入力された複数の静止画像の各々について、前記キーワード抽出手段により抽出されたキーワードに関連する対話文を生成する対話文生成手段と、
前記画像類似度演算手段により演算された画像類似度合と、前記対話文生成手段により生成された対話文のつながり度合とに基づいて、前記複数の静止画像の再生順序を決定する再生順序決定手段と、
前記再生順序決定手段により決定された再生順序に従って、前記複数の静止画像と各静止画像に対応する対話文の字幕又は音声とを出力する再生手段と、
を備える、対話文動画の自動生成装置。
【請求項２】
前記再生順序決定手段は、前記キーワード抽出手段により抽出されたキーワードをベクトル表現して、２枚の静止画像間におけるキーワードのベクトル差分を演算することで、２枚の静止画像間における対話文のつながり度合を求める、
請求項１に記載の対話文動画の自動生成装置。
【請求項３】
前記再生順序決定手段は、前記画像類似度演算手段により演算された画像類似度合に第１の重み係数を乗算した値と、前記対話文生成手段により生成された対話文のつながり度合に第２の重み係数を乗算した値と、を加算してコスト値を演算し、演算されたコスト値に基づいて前記複数の静止画像の再生順序を決定する、請求項１又は２に記載の対話文動画の自動生成装置。
【請求項４】
前記再生順序決定手段は、生成される動画の時間長が長い場合は短い場合に比べ、画像類似度合に対する対話文のつながり度合の重みが大きくなるように、前記第１の重み係数及び前記第２の重み係数を決定する、請求項３に記載の対話文動画の自動生成装置。
【請求項５】
前記再生順序決定手段は、生成される動画の途中で、画像類似度合に対する対話文のつながり度合の重みが変化するように、前記第１の重み係数及び前記第２の重み係数を決定する、請求項３に記載の対話文動画の自動生成装置。
【請求項６】
前記対話文生成手段は、１枚の静止画像に対して、前記キーワード抽出手段により抽出されたキーワードに関連する対話文の候補を複数生成するものであり、
前記再生順序決定手段は、前記対話文生成手段によって生成された複数の対話文候補の各々における単語の出現位置に基づいて、複数の対話文候補の中で当該静止画像に適した対話文を１つ選択する、請求項１〜５の何れか１項に記載の対話文動画の自動生成装置。
【請求項７】
複数の静止画像を入力するステップと、
入力された複数の静止画像における２枚の静止画像間の画像類似度合を演算するステップと、
入力された複数の静止画像の各々について、各静止画像に含まれるオブジェクトを識別するためのキーワードを抽出するステップと、
入力された複数の静止画像の各々について、抽出されたキーワードに関連する対話文を生成するステップと、
生成された対話文のつながり度合と前記画像類似度合とに基づいて、前記複数の静止画像の再生順序を決定するステップと、
決定された再生順序に従って、前記複数の静止画像と各静止画像に対応する対話文の字幕又は音声とを出力するステップと、
を含む、対話文動画の自動生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話文が付与された動画を自動生成する装置に関する。
【背景技術】
【０００２】
近年、複数の静止画像から動画を自動生成する装置が開発されている。例えば、特許文献１では、複数の静止画像から動画を自動生成する装置において、各静止画像のメタ情報から各静止画像のナレーションを生成して、生成されたナレーションと静止画像とを関連づけることにより、ナレーション付きの動画を生成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２８７５２１号公報
【特許文献２】特開２０１３−１０１４５０号公報
【特許文献３】特開２００８−２９９４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数の静止画像から動画を自動生成する分野では、生成された動画のクオリティや多様性に関するニーズが高まってきており、例えば、複数の静止画像から、対話形式の音声や字幕が付加された動画を生成する技術が望まれている。
【０００５】
本発明は、上記したような実情に鑑みてなされたものであり、その目的は、複数の静止画像から動画を自動生成する装置において、対話文が付加された動画を生成可能な技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係わる対話文動画の自動生成装置は、複数の静止画像から動画を自動的に生成する装置であって、各静止画像に関連した対話文を自動的に付加して動画を生成する装置である。
【０００７】
詳細には、本発明に係わる対話文動画の自動生成装置は、複数の静止画像を入力する画像入力手段と、前記画像入力手段により入力された複数の静止画像における２枚の静止画像間の画像類似度合を演算する画像類似度演算手段と、前記画像入力手段により入力された複数の静止画像の各々について、各静止画像に含まれるオブジェクトを識別するためのキーワードを抽出するキーワード抽出手段と、前記画像入力手段により入力された複数の静止画像の各々について、前記キーワード抽出手段により抽出されたキーワードに関連する対話文を生成する対話文生成手段と、前記画像類似度演算手段により演算された画像類似度合と、前記対話文生成手段により生成された対話文のつながり度合と、に基づいて、前記複数の静止画像の再生順序を決定する再生順序決定手段と、前記再生順序決定手段により決定された再生順序に従って、前記複数の静止画像と各静止画像に対応する対話文の字幕又は音声とを出力する再生手段と、を備える。
【０００８】
斯様な対話文動画の自動生成装置によれば、複数の静止画像から動画を生成する際に、各静止画像に含まれるオブジェクトに関連する対話文が自動的に生成される。そして、画像類似度合と対話文のつながり度合とに基づいて静止画像の再生順序が決定され、その再生順序に従って静止画像及びその静止画像に対応した対話文が出力される。その際、対話文は、字幕形式で出力されてもよく、又は音声形式で出力されてもよい。このようにして
生成される動画は、画像の連続性のみを考慮して生成される動画や画像の単なる説明文が付加された動画に比べ、クオリティが高く且つ多様性に富んだものとなる。
【０００９】
なお、ここでいう「対話文のつながり度合」は、２枚の静止画像間における対話文の類似度合である。静止画像間における対話文の類似度合は、例えば、各静止画像のキーワードをベクトル表現して、静止画像間のベクトル差分を演算することで求めてもよい。また、静止画像間における対話文の類似度合は、各静止画像の対話文に含まれるキーワード以外の単語をベクトル表現して、静止画像間のベクトル差分を演算することで求めてもよい。これらの方法においては、静止画像間のベクトル差分が小さいほど、それら静止画像間における対話文のつながり度合が高いとみなすようにしてもよい。
【００１０】
また、本発明における再生順序決定手段は、前記画像類似度演算手段により演算された画像類似度合に第１の重み係数を乗算した値と、前記対話文生成手段により生成された対話文のつながり度合に第２の重み係数を乗算した値と、を加算してコスト値を演算し、演算されたコスト値に基づいて前記複数の静止画像の再生順序を決定してもよい。斯様な構成によれば、より多様性に富んだ動画を生成することが可能となる。
【００１１】
ここで、再生順序決定手段は、生成される動画の時間長が長い場合は短い場合に比べ、画像類似度合に対する対話文のつながり度合の重みが大きくなるように、前記第１の重み係数及び前記第２の重み係数を決定してもよい。斯様な構成によれば、生成される動画の時間長が短い場合は、対話文のつながり度合に比して画像類似度合を重視して動画が生成されるため、画像の遷移に対して違和感の少ない動画を生成することができる。また、生成される時間長が長い場合は、画像類似度合に比して対話文のつながり度合を重視して動画が生成されるため、ストーリー性の高い動画を生成することができる。よって、動画のクオリティをより一層高めることが可能となる。
【００１２】
なお、再生順序決定手段は、生成される動画の途中で、画像類似度合に対する対話文のつながり度合の重みが変化するように、前記第１の重み係数及び前記第２の重み係数を決定してもよい。例えば、生成される動画の前半と後半とにおいて、画像類似度合に対する対話文のつながり度合の重みが異なるように、前記第１の重み係数及び前記第２の重み係数を決定してもよい。また、生成される動画の序盤、中盤、終盤において、画像類似度合に対する対話文のつながり度合の重みが異なるように、前記第１の重み係数及び前記第２の重み係数を決定してもよい。なお、画像類似度合に対する対話文のつながり度合の重みは、上記したように段階的に変更されてもよいが、動画の開始から終了へ向けて連続的に変更されてもよい。このように、１つの動画の途中で画像類似度合に対する対話文のつながり度合の重みが変更されると、より多様性に富んだ動画を生成することができる。
【００１３】
また、本発明における対話文生成手段は、１枚の静止画像に対して複数の対話文候補を生成してもよい。その場合、再生順序決定手段は、各対話文候補に含まれる単語の出現位置に基づいて、複数の対話文候補の中で当該静止画像に適した対話文を１つ選択してもよい。斯様な構成によれば、よりクオリティの高い対話文を各静止画像に割り付けることが可能となる。
【００１４】
本発明は、上記処理の少なくとも一部を含む対話文動画の自動生成方法として捉えることもできる。例えば、対話文動画の自動生成方法は、複数の静止画像を入力するステップと、入力された複数の静止画像における２枚の静止画像間の画像類似度合を演算するステップと、入力された複数の静止画像の各々について、各静止画像に含まれるオブジェクトを識別するためのキーワードを抽出するステップと、入力された複数の静止画像の各々について、抽出されたキーワードに関連する対話文を生成するステップと、生成された対話文のつながり度合と前記画像類似度合とに基づいて、前記複数の静止画像の再生順序を決
定するステップと、決定された再生順序に従って、前記複数の静止画像と各静止画像に対応する対話文の字幕又は音声とを出力するステップと、を含むようにしてもよい。
【００１５】
また、本発明は、上記した、対話文動画の自動生成方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００１６】
本発明によれば、複数の静止画像から動画を自動生成する装置において、対話文が付加された動画を生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係わる対話文動画の自動生成装置の概略構成を示すブロック図である。
【図２】画像入力装置により入力された静止画像の一例を示す図である。
【図３】静止画像に含まれるオブジェクトを特定する方法の一例を示す図である。
【図４】対話文から抽出される特徴単語と、特徴単語の対話文における出現位置の基準順位との相関を示すテーブルの一例を示す図である。
【図５】コンピュータにより対話文動画を自動作成する際の動作フローを示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施形態に記載される構成部品の寸法、材質、形状、相対配置等は、特に記載がない限り発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００１９】
図１は、本発明に係わる対話文動画の自動生成装置の概略構成を示すブロック図である。自動生成装置１は、図１に示すように、画像入力装置２、出力装置３、及びコンピュータ４を備えている。画像入力装置２は、静止画像を入力する装置であり、例えば、イメージスキャナやデジタルカメラ等である。なお、画像入力装置２は、ネットワークを介して静止画像を入力してもよく、又は記録メディア等から静止画像を入力してもよい。出力装置３は、対話文付きの動画を出力する装置であり、例えば、ディスプレイ、又はディスプレイとスピーカとを組み合わせて構成される。コンピュータ４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、ユーザインタフェース（例えば、キーボード、マウス、タッチパネル）等を備える、パーソナルコンピュータ又はワークステーション等である。
【００２０】
コンピュータ４は、画像類似度演算部４０、キーワード抽出部４１、対話文生成部４２、再生順序決定部４３、及び再生部４４を備える。これらの機能部は、例えば、ＣＰＵがハードディスク等の記憶装置に記憶されているプログラムを実行することにより実現される。
【００２１】
（画像類似度演算部４０）
画像類似度演算部４０は、画像入力装置２により入力された、複数の静止画像の各静止画像について、当該静止画像と他の静止画像との画像類似度合を演算する。この演算処理は、動画の素材となる複数の静止画像における２枚の静止画像の全ての組合せについて行われる。例えば、動画の素材としてＡ、Ｂ、Ｃの３枚の静止画像が画像入力装置２によって入力された場合は、（Ａ，Ｂ）の組合せにおける画像類似度合、（Ｂ，Ｃ）の組合せにおける画像類似度合、及び（Ａ，Ｃ）の組合せにおける画像類似度合が演算される。
【００２２】
なお、画像類似度合は、例えば、画素値の差分を用いて評価してもよい。その場合、２
枚の静止画像間における画素値の差分が小さいほど、それら２枚の静止画像の画像類似度合が高いと評価するものとする。なお、画像類似度合は、画素値以外の画像特徴量を用いて評価してもよい。このようにして求められた画像類似度合は、２枚の静止画像の組合せを識別する情報とともにＲＡＭ等の記憶装置に記憶される。
【００２３】
（キーワード抽出部４１）
キーワード抽出部４１は、画像入力装置２により入力された複数の静止画像の各々について、各静止画像に含まれる被写体（オブジェクト）を識別するためのキーワードを抽出する。例えば、図２に示すように、ある静止画像Ａのオブジェクトが赤色の自動車である場合は、該静止画像Ａのキーワードとして、「赤色の自動車」が抽出される。なお、１枚の静止画像に複数のオブジェクトが含まれる場合も想定される。そのため、図３に示すように、各静止画像を複数の領域（図３に示す例では、４つの領域）に分割して、領域毎にキーワードを抽出してもよい。例えば、図３に示す静止画像Ｂのキーワードとしては、「赤色の自動車」、「男性」、及び「信号機」等の複数のキーワードが抽出される。
【００２４】
上記したようなキーワードの抽出には、機械学習により作成された識別器を用いることができる。このような識別器は、静止画像と該静止画像に含まれるオブジェクト（「自動車」、「男性」、「信号機」等）との組合せからなる学習データを多数用意し、既存の機械学習アルゴリズムを適用することで作成することができる。
【００２５】
（対話文生成部４２）
対話文生成部４２は、キーワード抽出部４１により抽出されたキーワードに基づいて、各静止画像に対応する対話文を生成する。ここでいう「対話文」は、原則として複数の発話の組合せから構成されるが、１つの発話から１つの対話文が構成されてもよい。さらに、ここでいう「対話文」は、原則として、キーワード抽出部４１により抽出されたキーワード又は該キーワードに類似する単語を含む対話文である。例えば、前述の図２に例示した静止画像Ａについては、該静止画像のキーワードである「赤色の自動車」又は該キーワードに類似する「赤いクルマ」を含む対話文として、「赤色の自動車（赤いクルマ）は格好いいね」及び「そうだね」等の複数の発話から構成される対話文が生成される。また、前述の図３に例示した静止画像Ｂについては、「信号の傍にいる男性（男の人）は赤色の自動車（赤いクルマ）が好きみたいだね」及び「僕は白色の自動車（白いクルマ）が好きだよ」等の複数の発話から構成される対話文を作成する。
【００２６】
ここで、上記したような対話文の作成には、機械学習により作成された識別器を用いることができる。このような識別器は、キーワードと該キーワードに関連する対話文との組合せからなる学習データを多数用意し、既存の機械学習アルゴリズムを適用することで作成することができる。
【００２７】
（再生順序決定部４３）
再生順序決定部４３は、画像類似度演算部４０により演算された画像類似度合と、対話文生成部４２により生成された対話文のつながり度合と、に基づいて、画像入力装置２により入力された複数の静止画像を動画として連続的に再生する際の再生順序を決定する。例えば、再生順序決定部４３は、先ず、２枚の静止画像の全ての組合せについて、以下の式（１）に従ってコスト値を演算する。
コスト値＝ｗ１×（画像類似度合）＋ｗ２×（対話文つながり度合）・・・（１）
上記の式（１）におけるｗ１は第１の重み係数であり、ｗ２は第２の重み係数である。これら２つの係数ｗ１、ｗ２は、静止画像の遷移と対話文の遷移とを主観評価に基づいて重みづける係数である。これら２つの係数ｗ１、ｗ２は、固定値であってもよいが、生成される動画の時間長（より具体的には、画像入力装置２によって入力される静止画像の枚数）に応じて変更される可変値であってもよい。その際、生成される動画の時間長が長い
場合は、画像類似度合より対話文のつながり度合に重みを置くようにｗ１、ｗ２が決定されてもよい（ｗ１＜ｗ２）。一方、生成される動画の時間長が短い場合は、対話文のつながり度合より画像類似度合に重みを置くようにｗ１、ｗ２を決定してもよい（ｗ１＞ｗ２）。また、上記した２つの係数ｗ１、ｗ２は、１つの動画の途中で変更されてもよい。例えば、係数ｗ１、ｗ２は、動画の前半と後半とで異なる値に設定されてもよい。また、係数ｗ１、ｗ２は、動画の序盤、中盤、終盤で異なる値に設定されてもよい。さらに、係数ｗ１、ｗ２は、動画の開始から終了へ向けて、連続的に変更されてもよい。
【００２８】
上記した「対話文のつながり度合」は、静止画像間における対話文の類似度合である。静止画像間における対話文の類似度合は、例えば、各静止画像のキーワードをベクトル表現して、静止画像間のベクトル差分を演算することで求めてもよい。また、静止画像間における対話文の類似度合は、各静止画像の対話文に含まれるキーワード以外の単語をベクトル表現して、静止画像間のベクトル差分を演算することで求めてもよい。これらの方法においては、静止画像間のベクトル差分が小さいほど、それら静止画像間における対話文のつながり度合が高いとみなすものとする。
【００２９】
なお、対話文生成部４２によって各静止画像の対話文候補が複数生成される場合には、再生順序決定部４３は、上記の式（１）に基づく再生順序の決定処理を行う前に、それら複数の対話文候補の中から該静止画像に適した対話文を選択する処理を行う。詳細には、再生順序決定部４３は、先ず、各対話文候補に含まれる特徴単語を抽出する。ここでいう「特徴単語」は、原則として、上記のキーワード抽出部４１によって抽出されたキーワードであるが、キーワード以外の特徴的な単語が対話文に含まれている場合には該単語を特徴単語として抽出してもよい。次に、再生順序決定部４３は、各特徴単語の出現位置に基づく順位付けを行う。例えば、「信号の近くに止まっている自動車は、あの男性のものかな」という対話文候補の特徴単語として「信号」、「自動車」、及び「男性」が抽出された場合には、該対話文候補における各特徴単語の出現位置は、「信号」、「自動車」、「男性」の順であることから、「信号」の順位を“１”とし、「自動車」の順位を“２”とし、「男性」の順位を“３”とすればよい。一方、再生順序決定部４３は、各特徴単語の基準順位を特定する。ここでいう「基準順位」は、抽出された特徴単語を含む一般的な対話文における、各特徴単語の出現位置の平均的な順位である。このような基準順位は、特徴単語を含む対話文の多数の例から統計的に求められており、例えば、図４に示すようなテーブル形式でＲＯＭ等の記憶装置に格納されている。そして、再生順序決定部４３は、各特徴単語の順位と基準順位との差を演算し、且つその差の総和を演算することで、各対話文候補のスコアを求める。例えば、上記した「信号の近くに止まっている自動車は、あの男性のものかな」という対話文候補について、図４に示す基準順位に基づいてスコアを演算する場合は、当該対話文候補における「信号」の順位と基準順位との差が“０”となり、当該対話文候補における「自動車」の順位と基準順位との差が“１”となり、当該対話文候補における「男性」の順位と基準順位との差が“１”となるため、それらの差の総和が“２”となる。よって、「信号の近くに止まっている自動車は、あの男性のものかな」という対話文候補のスコアは、“２”となる。このような方法により、各静止画像に割り付けられた複数の対話文候補の各々についてスコアが求められると、再生順序決定部４３は、複数の対話文候補の中で最もスコアの小さい対話文候補を、当該静止画像に適した対話文として選択する。そして、再生順序決定部４３は、選択された対話文に基づいて、前述した「対話文のつながり度合」を求めるものとする。
【００３０】
再生順序決定部４３は、上記した方法によって静止画像の再生順序の決定処理、及び各静止画像に適した対話文の選択処理を実行し終えると、それらの情報を対話文に関連づけてハードディスク等の記憶装置に記憶させる。
【００３１】
（再生部４４）
再生部４４は、複数の静止画像を再生順序決定部４３により決定された再生順序に従って出力装置３から順次出力させるとともに、各静止画像に関連づけられた対話文を出力装置３から出力させる。その際、対話文が字幕形式のデータである場合は、各対話文に対応する静止画像が出力されている最中に、対話文の字幕データを出力させればよい。また、対話文が音声形式のデータである場合は、各対話文に対応する静止画像が出力されている最中に、対話文の音声データを出力させればよい。
【００３２】
次に、本実施形態のコンピュータ４における対話文動画の自動生成手順について、図５に沿って説明する。図５は、対話文動画を自動生成する際のコンピュータ４の動作フローを示す図である。
【００３３】
コンピュータ４は、画像入力装置２から複数の静止画像を入力する（ステップＳ１０１）。例えば、画像入力装置２がデジタルカメラである場合には、該デジタルカメラによって撮影された複数の静止画像を入力する。なお、画像入力装置２は、デジタルカメラで予め撮影された複数の静止画像をハードディスク等の記憶装置に記憶させておき、その記憶装置から複数の静止画像をピックアップするようにしてもよい。その場合、ユーザが記憶装置から任意に複数の静止画像を選択してもよい。
【００３４】
画像入力装置２によって複数の静止画像が入力されると、コンピュータ４は、入力された各静止画像について、該静止画像と他の静止画像との画像類似度合を演算する（ステップＳ１０２）。ここでは、コンピュータ４の画像類似度演算部４０が、前述したように、各静止画像と他の静止画像との画素値等の差分を演算して、その差分を画像類似度合として用いるものとする。
【００３５】
コンピュータ４は、画像入力装置２によって入力された複数の静止画像の各々からキーワードを抽出する（ステップＳ１０３）。ここでは、コンピュータ４のキーワード抽出部４１が、各静止画像に含まれる特徴的なオブジェクトを特定して、そのオブジェクトを識別するためのキーワードを抽出する。具体的には、キーワード抽出部４１は、前述したように、機械学習により作成された識別器を用いることで、各静止画像に含まれるオブジェクトを識別するためのキーワードを抽出する。
【００３６】
画像入力装置２によって入力された全ての静止画像についてキーワードの抽出処理が完了すると、コンピュータ４は、抽出されたキーワードに基づいて各静止画像に対応する対話文を生成する（ステップＳ１０４）。ここでは、コンピュータ４の対話文生成部４２が、キーワード抽出部４１によって抽出されたキーワードに基づいて、各静止画像に対応する対話文を生成する。具体的には、対話文生成部４２は、前述したように、機械学習により作成された識別器を用いることで、キーワードに対応した対話文を生成する。
【００３７】
画像入力装置２によって入力された全ての静止画像について対話文の生成処理が完了すると、コンピュータ４は、第１の重み係数ｗ１と第２の重み係数ｗ２とを決定する（ステップＳ１０５）。ここでは、コンピュータ４の再生順序決定部４３が、生成される動画の時間長に基づいて、第１の重み係数ｗ１と第２の重み係数ｗ２とを決定する。例えば、再生順序決定部４３は、生成される動画の時間長が長い場合は、生成される動画の時間長が短い場合に比べ、第１の重み係数ｗ１に対する第２の重み係数ｗ２の重みが大きくなるように、それらの係数ｗ１、ｗ２を決定する。
【００３８】
コンピュータ４は、ステップＳ１０５の処理と並行して、ステップＳ１０６の処理を実行する。このステップＳ１０６の処理は、１つの静止画像に対して複数の対話文候補が生成された場合に実行される処理であって、複数の対話文候補の中から該静止画像に適した対話文を選択する処理である。この処理は、前述したように、コンピュータ４の再生順序
決定部４３によって行われる。具体的には、再生順序決定部４３は、先ず、各対話文候補に含まれる特徴単語を抽出して、それら特徴単語の出現位置に基づく順位付けを行う。次いで、再生順序決定部４３は、図４に示したようなテーブルから各特徴単語の基準順位を導出し、各対話文候補における特徴単語の順位と基準順位との差の総和を演算することで、各対話文候補のスコアを求める。そして、再生順序決定部４３は、複数の対話文候補の中で最もスコアの小さい対話文候補を、静止画像に適した対話文として選択する。
【００３９】
コンピュータ４は、ステップＳ１０５〜Ｓ１０６の処理を実行し終えると、ステップＳ１０７の処理へ進む。ステップＳ１０７の処理では、コンピュータ４は、ステップＳ１０４で決定された第１の重み係数ｗ１及び第２の重み係数ｗ２を用いて、静止画像間のコスト値を演算する。この演算処理は、前述したように、コンピュータ４の再生順序決定部４３により行われる。具体的には、再生順序決定部４３は、先ず、静止画像間における対話文のつながり度合を演算する。この処理は、前述したように、各静止画像の対話文に含まれるキーワード等をベクトル表現して、静止画像間のベクトル差分を演算する処理である。次いで、再生順序決定部４３は、各静止画像と他の静止画像との組合せについて、前述の式（１）に基づくコスト値の演算を行う。
【００４０】
画像入力装置２によって入力された複数の静止画像における２枚の静止画像の全ての組合せについてコスト値の演算処理が完了すると、コンピュータ４は、それらのコスト値に基づいて、複数の静止画像の再生順序を決定する（ステップＳ１０８）。この処理は、前述したように、コンピュータ４の再生順序決定部４３により行われる。例えば、ある静止画像Ａ’の次に再生すべき静止画像を決定する場合には、先ず、該静止画像Ａ’と他の静止画像との組合せのうち、コスト値が最も小さい組合せを特定する。そして、特定された組合せにおける相手側の静止画像を、該静止画像Ａ’の次に再生する静止画像に決定すればよい。なお、生成される動画の最初に再生される静止画像については、ユーザが選択してもよく、又はコンピュータ４が所定のアルゴリズムに従って選択してもよい。最初に再生される静止画像をコンピュータ４によって選択させる方法としては、複数の静止画像のうち、撮像日時が最も古い又は新しい静止画像を選択する方法等を用いてもよい。
【００４１】
コンピュータ４は、ステップＳ１０８の処理を実行し終えると、ステップＳ１０９の処理へ進む。ステップＳ１０９の処理では、コンピュータ４は、複数の静止画像と各静止画像に関連づけられた対話文とを、ステップＳ１０８の処理で決定された再生順序に従って出力装置３から出力させることで、対話文動画の再生を行う。
【００４２】
図５に示す手順によれば、複数の静止画像から動画を生成する際に、各静止画像に含まれるオブジェクトに関連する対話文が自動的に生成される。そして、画像類似度合と対話文のつながり度合とに基づいて静止画像の再生順序が決定され、その再生順序に従って静止画像及びその静止画像に対応した対話文が出力される。このようにして生成される動画は、画像の連続性のみを考慮して生成される動画や画像の単なる説明文が付加された動画に比べ、クオリティが高く且つ多様性に富んだものとなる。
【００４３】
また、図５に示す手順によれば、生成される動画の時間長が長い場合は短い場合に比べ、画像類似度合に対する対話文のつながり度合の重み付けが大きくされる。そのため、生成される動画の時間長が短い場合は、対話文のつながり度合に比して画像類似度合を重視して動画が生成されることになり、画像の遷移に対して違和感の少ない動画を生成することができる。一方、生成される時間長が長い場合は、画像類似度合に比して対話文のつながり度合を重視して動画が生成されるため、ストーリー性の高い動画を生成することができる。よって、動画のクオリティをより一層高めることが可能となる。
【符号の説明】
【００４４】
１    自動生成装置
２    画像入力装置
３    出力装置
４    コンピュータ
４０  画像類似度演算部
４１  キーワード抽出部
４２  対話文生成部
４３  再生順序決定部
４４  再生部
【図１】
2018206110.tif 000003
【図２】
2018206110.tif 000004
【図３】
2018206110.tif 000005
【図４】
2018206110.tif 000006
【図５】
2018206110.tif 000007