(57)【要約】【課題】不慣れなユーザであっても楽曲に合った独自のスライドショーを容易に得られるスライドショー作成サーバ、ユーザ端末およびスライドショー作成方法を提供する。【解決手段】楽曲データの再生に応じて画像表示するスライドショーを作成するスライドショー作成サーバ１００であって、一連の画像データを特定する元スライドショーに対応させて、一連の画像データの画像特徴量として抽出された第１の画像特徴量を管理するテンプレート管理部１１０と、画像データ源から得られる画像データの画像特徴量を、第２の画像特徴量として抽出する第２の特徴量抽出部１３０と、抽出された第１および第２の画像特徴量を用いて類似性を判定し、元スライドショーにより特定される画像データを、これに類似する画像データ源の画像データで置き換えたスライドショーを生成するスライドショー生成部１４０と、を備える。【選択図】図１
2014075662.tif 000002
【特許請求の範囲】
【請求項１】
楽曲データの再生に応じて画像表示するスライドショーを作成するスライドショー作成サーバであって、
一連の画像データを特定する元スライドショーに対応させて、前記一連の画像データの画像特徴量として抽出された第１の画像特徴量を管理するテンプレート管理部と、
画像データ源から得られる画像データの画像特徴量を、第２の画像特徴量として抽出する第２の特徴量抽出部と、
前記抽出された第１および第２の画像特徴量を用いて類似性を判定し、前記元スライドショーにより特定される画像データを、これに類似する前記画像データ源の画像データで置き換えたスライドショーを生成するスライドショー生成部と、を備えることを特徴とするスライドショー作成サーバ。
【請求項２】
前記第２の特徴量抽出部は、前記画像データ源としてユーザＤＢに蓄積された画像データの画像特徴量を、前記第２の画像特徴量として抽出することを特徴とする請求項１記載のスライドショー作成サーバ。
【請求項３】
前記ユーザＤＢは、特定のユーザとして識別されたユーザのみ画像データのアップロードを許可されていることを特徴とする請求項２記載のスライドショー作成サーバ。
【請求項４】
前記スライドショー生成部は、前記ユーザＤＢに蓄積され、特定のユーザの識別情報に対応付けられた画像データから、置き換えるための画像データを選択することを特徴とする請求項２記載のスライドショー作成サーバ。
【請求項５】
前記スライドショー生成部は、前記第１および第２の画像特徴量を対比したときの類似度が所定の閾値より大きいときに前記元スライドショーで特定される画像データを置き換えたスライドショーを生成することを特徴とする請求項１から請求項４のいずれかに記載のスライドショー作成サーバ。
【請求項６】
前記スライドショー生成部は、前記元スライドショーで特定される画像データに対して設定されている置換可否パラメータを判定し、前記置換可否パラメータが置換可能と指定している画像データについては画像データを置き換えたスライドショーを生成し、前記置換可否パラメータが置換不可と指定している画像データについては画像データを置き換えたスライドショーを生成しないことを特徴とする請求項１から請求項５のいずれかに記載のスライドショー作成サーバ。
【請求項７】
前記第２の特徴量抽出部は、前記画像データ源としてのオンライン上の入手可能な画像データの画像特徴量を、第２の画像特徴量として抽出することを特徴とする請求項１から請求項６のいずれかに記載のスライドショー作成サーバ。
【請求項８】
前記スライドショー生成部は、前記抽出された第１および第２の画像特徴量を用いた類似性の判定に基づいて、前記画像データ源の画像データに類似する画像データを特定するスライドショーに対応付けられた楽曲データを選択することを特徴とする請求項１から請求項７のいずれかに記載のスライドショー作成サーバ。
【請求項９】
前記テンプレート管理部は、他のユーザにより作成されたスライドショーを前記元スライドショーとして扱うことを特徴とする請求項１から請求項８のいずれかに記載のスライドショー作成サーバ。
【請求項１０】
前記元スライドショーに由来するスライドショーをユーザ端末に送信し、前記送信されたスライドショーとともに置換候補の画像データまたは前記置換候補の画像データに対応するデータを送信するスライドショー配信部を更に備えることを特徴とする請求項１から請求項９のいずれかに記載のスライドショー作成サーバ。
【請求項１１】
前記スライドショー生成部は、前記送信されたスライドショーで特定される画像データを前記ユーザ端末から指示された置換候補の画像データに置き換えたスライドショーを生成することを特徴とする請求項１０記載のスライドショー作成サーバ。
【請求項１２】
前記ユーザ端末からの再生指示に従って、楽曲およびスライドショーをストリーミング配信するスライドショー配信部を更に備えることを特徴とする請求項１０または請求項１１記載のスライドショー作成サーバ。
【請求項１３】
請求項１０または請求項１１記載のスライドショー作成サーバから受信したスライドショーおよび前記置換候補の画像データまたは前記置換候補の画像データに対応するデータを用い、楽曲の区分に対応する画像を選択可能に表示することを特徴とするユーザ端末。
【請求項１４】
楽曲データの再生に応じて画像表示するスライドショーを作成するスライドショー作成方法であって、
一連の画像データを特定する元スライドショーに対応させて、前記一連の画像データの画像特徴量として抽出された第１の画像特徴量を準備するステップと、
画像データ源から得られる画像データの画像特徴量を、第２の画像特徴量として抽出するステップと、
前記抽出された第１および第２の画像特徴量を用いて類似性を判定し、前記元スライドショーにより特定される画像データを、これに類似する前記画像データ源の画像データで置き換えたスライドショーを生成するステップと、を含むことを特徴とするスライドショー作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲データの再生に応じて画像表示するスライドショーを作成するスライドショー作成サーバ、ユーザ端末およびスライドショー作成方法に関する。
【背景技術】
【０００２】
従来、楽曲に合わせてＷＥＢ上の画像を利用して楽曲スライドショーを生成する技術が知られている。たとえば、特許文献１記載の携帯情報端末は、楽曲再生時に、音声認識によって歌詞を抽出し、その抽出された歌詞から所定のルールに基づいてキーワードを抽出し、キーワードに基づいて、ローカルストレージやインターネット上のＷＥＢページから画像を検索し、楽曲再生時に画像を表示させている。
【０００３】
また、特許文献２記載のクエリ抽出装置は、歌詞を複数に区分し、優先的にキーワード群が選択される優先区分を決定して、全体的かつ局所的に歌詞に適合した画像を検索している。特許文献３記載の画像表示装置は、楽曲歌詞と画像を同期再生する場合に自動で適した表示時間を決定し、画像表示が極端に短くなったり極端に長くなったりすることを防止して画像表示を切り替えている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−８９５４号公報
【特許文献２】特開２０１１−０４８７２９号公報
【特許文献３】特開２０１１−１６６３８６号公報
【非特許文献】
【０００５】
【非特許文献１】舟澤慎太郎, 石先広海, 帆足啓一郎, 滝嶋康弘, 甲藤二郎: 歌詞特徴を考慮したWeb 画像と楽曲同期再生システムの提案, 第8 回情報科学技術フォーラム, E-034 (2009).
【非特許文献２】D. A. Shamma, B. Pardo, and K. J. Hammond: MusicStory: a Personalized Music VＩＤeo Creator, Proceedings of the 13th Annual ACM International Conference on Multimedia, pp.563-566 (2005).
【非特許文献３】R. Cai, L. Zhang, F. Jing, W. Lai, and W. -Y. Ma: Automated Music VＩＤeo Generation Using Web Image Resource, Proceedings of IEEE International Conference on Acoustic, Speech, and SignalProcessing, 2:pp.737-740 (2007).
【非特許文献４】舟澤慎太郎, 石先広海, 帆足啓一郎, 滝嶋康弘, 甲藤二郎: 歌詞の印象に基づく楽曲検索のための楽曲自動分類に関する検討, 第71 回情報処理学会全国大会, 5R-2 (2009).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような既存技術では、主にＷＥＢ上の多くの画像を利用して楽曲に合わせたスライドショーを生成しており、ユーザ個人の選択を十分に反映できていない。一方、ユーザ自身が楽曲に合わせた画像を一から選んでスライドショーを作成しようとしてもこれは不慣れな作業であり困難となる。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、不慣れなユーザであっても楽曲に合った独自のスライドショーを容易に得られるスライドショー作成サーバ、ユーザ端末およびスライドショー作成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）上記の目的を達成するため、本発明のスライドショー作成サーバは、楽曲データの再生に応じて画像表示するスライドショーを作成するスライドショー作成サーバであって、一連の画像データを特定する元スライドショーに対応させて、前記一連の画像データの画像特徴量として抽出された第１の画像特徴量を管理するテンプレート管理部と、画像データ源から得られる画像データの画像特徴量を、第２の画像特徴量として抽出する第２の特徴量抽出部と、前記抽出された第１および第２の画像特徴量を用いて類似性を判定し、前記元スライドショーにより特定される画像データを、これに類似する前記画像データ源の画像データで置き換えたスライドショーを生成するスライドショー生成部と、を備えることを特徴としている。
【０００９】
このように、本発明のスライドショー作成サーバは、元スライドショーで特定される画像データをこれに類似する画像データ源の画像データで置き換えるため、不慣れなユーザであっても楽曲に合った独自のスライドショーを容易に得られる。
【００１０】
（２）また、本発明のスライドショー作成サーバは、前記第２の特徴量抽出部が、前記画像データ源としてユーザＤＢに蓄積された画像データの画像特徴量を、前記第２の画像特徴量として抽出することを特徴としている。これにより、ユーザは、ユーザ独自の画像データを用いて作成されたスライドショーを利用できるようになる。
【００１１】
（３）また、本発明のスライドショー作成サーバは、前記ユーザＤＢが、特定のユーザとして識別されたユーザのみ画像データのアップロードを許可されていることを特徴としている。これにより、ユーザは個人でアップロードした画像データを用いてスライドショーを作成できる。
【００１２】
（４）また、本発明のスライドショー作成サーバは、前記スライドショー生成部が、前記ユーザＤＢに蓄積され、特定のユーザの識別情報に対応付けられた画像データから、置き換えるための画像データを選択することを特徴としている。これにより、ユーザは個人で撮影した写真画像データ等で置換された独自のスライドショーを作成できる。
【００１３】
（５）また、本発明のスライドショー作成サーバは、前記スライドショー生成部が、前記第１および第２の画像特徴量を対比したときの類似度が所定の閾値より大きいときに前記元スライドショーで特定される画像データを置き換えたスライドショーを生成することを特徴としている。これにより、楽曲の特徴に適合する画像として準備された元スライドショーから容易に独自のスライドショーの作成が可能になる。
【００１４】
（６）また、本発明のスライドショー作成サーバは、前記スライドショー生成部が、前記元スライドショーで特定される画像データに対して設定されている置換可否パラメータを判定し、前記置換可否パラメータが置換可能と指定している画像データについては画像データを置き換えたスライドショーを生成し、前記置換可否パラメータが置換不可と指定している画像データについては画像データを置き換えたスライドショーを生成しないことを特徴としている。
【００１５】
これにより、スライドショーの特定画像については置換の可否が設定され、置換可否パラメータにより置換不可と指定されているときには画像の置換を不可にできる。これにより、スライドショーで置換すべきでない画像はそのまま残すことができる。
【００１６】
（７）また、本発明のスライドショー作成サーバは、前記第２の特徴量抽出部が、前記画像データ源としてのオンライン上の入手可能な画像データの画像特徴量を、第２の画像特徴量として抽出することを特徴としている。これにより、オンライン上の入手可能な画像データで元スライドショーを準備することができる。
【００１７】
（８）また、本発明のスライドショー作成サーバは、前記抽出された第１および第２の画像特徴量を用いた類似性の判定に基づいて、前記画像データ源の画像データに類似する画像データを特定するスライドショーに対応付けられた楽曲データを選択することを特徴としている。これにより、ユーザは画像データに合った楽曲を容易に見つけることができる。
【００１８】
（９）また、本発明のスライドショー作成サーバは、前記テンプレート管理部が、他のユーザにより作成されたスライドショーを前記元スライドショーとして扱うことを特徴としている。これにより、他のユーザから提供されたスライドショーをもとにして、そのテンプレートを利用し、スライドショーを作成することができる。
【００１９】
（１０）また、本発明のスライドショー作成サーバは、前記元スライドショーに由来するスライドショーをユーザ端末に送信し、前記送信されたスライドショーとともに置換候補の画像データまたは前記置換候補の画像データに対応するデータを送信するスライドショー配信部を更に備えることを特徴としている。これにより、特定ユーザの端末では、置換候補の画像を選択可能に表示でき、特定ユーザはその選択可能に表示された画像から置換すべき画像を選択できる。
【００２０】
（１１）また、本発明のスライドショー作成サーバは、前記スライドショー生成部が、前記送信されたスライドショーで特定される画像データを前記ユーザ端末から指示された置換候補の画像データに置き換えたスライドショーを生成することを特徴としている。これにより、サーバは、スライドショーの画像を特定ユーザが指定した画像に置き換え、ユーザ独自のスライドショーを作成できる。
【００２１】
（１２）また、本発明のスライドショー作成サーバは、前記ユーザ端末からの再生指示に従って、楽曲およびスライドショーをストリーミング配信するスライドショー配信部を更に備えることを特徴としている。これにより、ユーザの再生指示によってサーバは作成されたスライドショーをストリーミング配信する。その結果、端末には負担をかけずにスライドショーを再生することができる。
【００２２】
（１３）また、本発明のユーザ端末は、上記のスライドショー作成サーバから受信したスライドショーおよび前記置換候補の画像データまたは前記置換候補の画像データに対応するデータを用い、楽曲の区分に対応する画像を選択可能に表示することを特徴としている。これにより、ユーザは端末を操作して楽曲に応じたスライドショーを作成できる。
【００２３】
（１４）また、本発明のスライドショー作成方法は、楽曲データの再生に応じて画像表示するスライドショーを作成するスライドショー作成方法であって、一連の画像データを特定する元スライドショーに対応させて、前記一連の画像データの画像特徴量として抽出された第１の画像特徴量を準備するステップと、画像データ源から得られる画像データの画像特徴量を、第２の画像特徴量として抽出するステップと、前記抽出された第１および第２の画像特徴量を用いて類似性を判定し、前記元スライドショーにより特定される画像データを、これに類似する前記画像データ源の画像データで置き換えたスライドショーを生成するステップと、を含むことを特徴としている。これにより、不慣れなユーザであっても楽曲に合った独自のスライドショーを容易に得られる。
【発明の効果】
【００２４】
本発明によれば、元スライドショーで特定される画像データをこれに類似する画像データ源の画像データで置き換えるため、不慣れなユーザであっても楽曲に合った独自のスライドショーを容易に得られる。
【図面の簡単な説明】
【００２５】
【図１】本発明のスライドショー作成システムを示すブロック図である。
【図２】テンプレート管理部を示すブロック図である。
【図３】楽曲ＤＢのデータ構造を示す図である。
【図４】テンプレートを示すテーブルである。
【図５】全体印象生成の処理を示すフローチャートである。
【図６】歌詞や推定キーワードを利用した画像選定処理を示すフローチャートである。
【図７】スライドショー作成処理を示すフローチャートである。
【図８】ユーザ端末における写真共有画面の例を示す図である。
【図９】画像アップロード画面の例を示す図である。
【図１０】画像アップロード画面の例を示す図である。
【図１１】楽曲選択のトップ画面の例を示す図である。
【図１２】再生可能な楽曲一覧の画面の例を示す図である。
【図１３】スライドショー再生準備画面の例を示す図である。
【図１４】スライドショー編集画面の例を示す図である。
【図１５】候補画像データ一覧の画面の例を示す図である。
【図１６】候補画像データ一覧の画面の例を示す図である。。
【図１７】アップロード済みの画像選択画面の例を示す図である。
【図１８】アップロード済みの画像選択画面の例を示す図である。
【図１９】変更確認画面の例を示す図である。
【図２０】ギャラリー画像選択画面の例を示す図である。
【図２１】保存スライドショー一覧の画面例を示す図である。
【発明を実施するための形態】
【００２６】
次に、本発明の実施の形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。
【００２７】
［スライドショー作成システム］
（システムの構成）
図１は、スライドショー作成システム１０を示すブロック図である。スライドショー作成システム１０は、スライドショー作成サーバ１００とユーザ端末２００とを含んで構成されている。スライドショー作成サーバ１００は、楽曲データの再生に応じて画像表示するスライドショーを作成する。ユーザ端末２００は、スライドショーの編集やスライドショーの再生を可能にしている。
【００２８】
（スライドショー作成サーバの構成）
図１に示すように、スライドショー作成サーバ１００は、テンプレート管理部１１０、ユーザＤＢ１２０、第２の特徴量抽出部１３０、スライドショー生成部１４０およびスライドショー配信部１５０を備えている。
【００２９】
テンプレート管理部１１０は、一連の画像データを特定する元スライドショーに対応させて、一連の画像データの画像特徴量として抽出された第１の画像特徴量を管理する。テンプレート管理部１１０の詳細は後述する。
【００３０】
ユーザＤＢ１２０は、ユーザにより撮影された画像データや、ユーザ端末の情報をユーザ情報と関連付けて格納する。ユーザＤＢ１２０は、特定のユーザとして識別されたユーザのみ画像データのアップロードを許可されていてもよい。これにより、ユーザは個人でアップロードした画像データを用いてスライドショーを作成できる。
【００３１】
第２の特徴量抽出部１３０は、画像選定処理により画像データ源から得られる画像データの画像特徴量を、第２の画像特徴量として抽出する。格納した画像データから事前に抽出された画像特徴量をユーザＤＢ１２０に格納しておき、それを利用してもよいし、リアルタイムで画像特徴量を抽出してもよい。
【００３２】
例えば、ＯｐｅｎＣＶを利用して、人物の有無（顔検出）、色情報（カラーモーメント：局所領域ごとの各色の平均・標準偏差）、エッジ情報（エッジ方向ヒストグラム：Canny Filterにより抽出したエッジ点での輝度勾配のヒストグラム）、テクスチャ情報（Local Binary Pattern）、ＢｏＶＷ（特徴点の形状のヒストグラム）等の画像特徴量を抽出することができる。
【００３３】
第２の特徴量抽出部１３０は、画像データ源としての特定のユーザに対応するユーザＤＢ１２０に蓄積された画像データの画像特徴量を、第２の画像特徴量として抽出する。これにより、ユーザは、ユーザ独自の画像データを用いて作成されたスライドショーを利用できるようになる。画像データ源は、ユーザに特有のものであることが好ましいが、ＷＥＢ上のものであってもよい。
【００３４】
第２の特徴量抽出部１３０は、画像データ源としてのオンライン上の入手可能な画像データの画像特徴量を、第２の画像特徴量として抽出してもよい。これにより、オンライン上の入手可能な画像データで元スライドショーを準備することができる。
【００３５】
スライドショー生成部１４０は、抽出された第１および第２の画像特徴量を用いて類似性を判定し、元スライドショーにより特定される画像データを、これに類似する画像データ源の画像データで置き換えたスライドショーを生成する。これにより、不慣れなユーザであっても楽曲に合った独自のスライドショーを容易に得られる。
【００３６】
類似性の判定は、画像テンプレートに保存された画像特徴と、個人写真の画像特徴を比較し、類似度を算出して行うことができる。例えば、ユーザＤＢ１２０に格納された画像特徴ベクトルと、テンプレート管理部１１０に保存された画像特徴ベクトルのベクトル類似度を計算する。そして、第１および第２の画像特徴量を対比したときの類似度が所定の閾値を超える画像データで元スライドショーで特定される画像データを置き換えたスライドショーを生成できる。これにより、楽曲の特徴に適合する画像として準備された元スライドショーから容易に独自のスライドショーの作成が可能になる。
【００３７】
ベクトル類似度は例えばコサイン類似度を利用することができる。類似度の閾値は、客観的に類似していると評価できる値として例えば、０．７０あるいはその近傍に設定でき、これを超える画像を利用することが可能である。ただし、類似度の値はユーザが任意に設定できることが好ましい。
【００３８】
スライドショー生成部１４０は、ユーザＤＢ１２０に蓄積され、特定のユーザの識別情報に対応付けられた画像データから、置き換えるための画像データを選択してもよい。これにより、ユーザは個人で撮影した写真画像データ等で置換された独自のスライドショーを作成できる。
【００３９】
また、スライドショー生成部１４０は、元スライドショーで特定される画像データに対して設定されている置換可否パラメータを判定する。置換可否パラメータは、画像データの置き換えの可否を示すものである。スライドショー生成部１４０は、置換可否パラメータが置換可能と指定している画像データについては画像データを置き換えたスライドショーを生成し、置換可否パラメータが置換不可と指定している画像データについては画像データを置き換えたスライドショーを生成しない。これにより、スライドショーで置換すべきでない画像はそのまま残しつつ、画像の置換が可能となる。なお、置換可否パラメータの置換可否は、ユーザにより設定可能であることが好ましい。
【００４０】
また、スライドショー生成部１４０は、ユーザ端末２００から特定の候補画像を指示された場合には、ユーザ端末２００へ送信されたスライドショーで特定される画像データを指示された置換候補の画像データに置き換えたスライドショーを生成する。これにより、スライドショーの画像をユーザの意思で指定した画像に置き換え、ユーザ独自のスライドショーを作成できる。
【００４１】
また、スライドショー生成部１４０は、ユーザＤＢ１２０に蓄積した画像データ群から抽出された特徴量と、楽曲データに紐付けられた特徴量のデータとの類似性を判定し、蓄積された画像データから楽曲データを選択可能にしてもよい。これにより、ユーザは個人で撮影した写真の画像データ群から楽曲を選択することが可能になる。また、スライドショー生成部１４０は、他のユーザのテンプレートを利用してスライドショーを作成することもできる。
【００４２】
スライドショー配信部１５０は、元スライドショーに由来するスライドショーをユーザ端末２００に送信する。そして、送信されたスライドショーとともに置換候補の画像データまたは置換候補の画像データに対応するデータも送信する。これにより、ユーザ端末２００では、置換候補の画像を選択可能に表示でき、ユーザはその選択可能に表示された画像から置換すべき画像を選択できる。なお、元スライドショーに由来するスライドショーには、元スライドショーだけでなく元スライドショーから作成したスライドショーやそこから派生したスライドショーを含む。
【００４３】
スライドショー配信部は、ユーザ端末２００からの再生指示に従って、楽曲およびスライドショーをストリーミング配信する。これにより、ユーザの再生指示によってサーバは作成されたスライドショーをストリーミング配信する。その結果、端末には負担をかけずにスライドショーを再生することができる。
【００４４】
（テンプレート管理部）
図２は、テンプレート管理部１１０を示すブロック図である。図２に示すように、テンプレート管理部１１０は、楽曲ＤＢ１１１、全体印象生成部１１２、元スライドショー生成部１１３、第１の特徴量抽出部１１４およびテンプレート作成部１１５を備えている。
【００４５】
楽曲ＤＢ１１１は、楽曲データの情報だけでなく、スライドショーのデータやテンプレートのデータを保存する。図３は、楽曲ＤＢ１１１のデータ構造を示す図である。楽曲ＤＢ１１１は、たとえば楽曲ごとに与えられたユニークなＩＤとして楽曲ＩＤ、歌詞の有無を示す楽曲種類、行ごとの歌詞が記述されている歌詞、歌詞の各行の開始時間と終了時間が記述されている同期情報、行ごとに表示されるテンプレート画像が記述されているスライドショー画像等の情報を格納できる。上記のうち、スライドショーは、楽曲ＩＤ、同期情報および画像特定情報を含んで構成される。
【００４６】
なお、楽曲ＤＢ１１１は、他のユーザの端末から受信したスライドショーも蓄積する。そして、そのスライドショーを元スライドショーとして、作成されたテンプレートを利用可能なテンプレートとして蓄積する。この場合、他のユーザの端末から受信したスライドショーから作成したテンプレートは、他のユーザのテンプレートとしてユーザ間で共有される。
【００４７】
全体印象生成部１１２は、歌詞が存在する楽曲を学習データとして、歌詞から受ける全体の印象を全体印象ラベルとして付与する。たとえば、以下のような処理により実現する。まず、事前に歌詞に対して全体印象のラベルが付与された教師データを準備する。楽曲の歌詞に対して形態素解析を適用し、歌詞を品詞へと分解する。分解した品詞から代表的な単語を歌詞特徴ベクトルの要素として抽出する。抽出した歌詞特徴ベクトルにより、全体印象語ごとに正、負の２クラス識別器を用いて作成し、新たに入力された歌詞に対してすべての全体印象語の正否を判断する。識別器により正として判断されたすべての全体印象語を、その楽曲の全体印象とする。
【００４８】
全識別器は、たとえばSupport Vector Machine（ＳＶＭ）を利用することができる。パラメータ作成のための教師データは、たとえば以下のようにして作成できる。まず、学習データとして２４０曲程度の楽曲を準備し、Music lyrics databaseより、これらの歌詞データを取得する。そして、１曲あたり５人くらいが回答するように曲を振り分けてアンケートを実施する。アンケートの結果より、使用する全体印象語を決定し、過半数の回答が得られた全体語印象語をその楽曲の全体語印象とする。ＳＶＭの特徴量は全楽曲から得られた単語の出現確率をもとにしたＴＦ  ＩＤＦ値を使用する。
【００４９】
単語は、形態素解析（ＰＯＳ Tagger、ＭＥＣＡＢ）などを使用して得ることができる。教師データにより全体印象語を付与する識別器を利用して、新規の楽曲歌詞に対して全体印象語を付与する。全体印象生成の全体の処理については後述する。
【００５０】
元スライドショー生成部１１３は、入力された楽曲データの歌詞もしくは、推定されたキーワードを用いて、該当する区分（たとえば行）に関連する画像データを選定する。そして、選定された画像を再生時に楽曲と連動して表示するためのスライドショーを生成する。画像選定の処理については後述する。
【００５１】
第１の特徴量抽出部１１４は、元スライドショーで特定される一連の画像データから各画像データに対応する画像特徴量を抽出する。画像データから画像特徴量を抽出する機能については、第２の特徴量抽出部１３０と同様である。
【００５２】
テンプレート作成部１１５は、元スライドショー生成部１１３によって得られた画像データ群に対して、第１の特徴量抽出部１１４を適用して得られた特徴量をテンプレートとして楽曲ＤＢ１１１に格納する。テンプレートは、ユーザが撮影した写真の特徴量（第２の特徴量）と比較するために作成し、テンプレートの特徴量に類似する画像データを自動で抽出することができる。なお、テンプレート作成部１１５は、元スライドショーに限らず楽曲ＤＢ１１１に蓄積されたスライドショーからもテンプレートを作成することができる。
【００５３】
図４は、テンプレートを示すテーブルである。行番号は歌詞の行番号、歌詞列には歌詞、表示時間列には表示開始及び終了時間、画像ＩＤには抽出された画像のＩＤ、画像特徴量列には画像特徴量、入れ替え可否列には、個人写真との置換可否パラメータが格納される。置換可否パラメータは任意に設定することができる。上記のように、テンプレートは、楽曲ＩＤ、同期情報および画像特徴量を含んで構成されている。
【００５４】
（ユーザ端末の構成）
ユーザ端末２００は、スライドショー作成サーバ１００から受信したスライドショーおよび置換候補の画像データまたは置換候補の画像データに対応するデータを用い、楽曲の区分に対応する画像を選択可能に表示する。これにより、ユーザはユーザ端末２００を操作して楽曲に応じたスライドショーを作成できる。
【００５５】
ユーザ端末２００は、たとえば携帯電話機やＰＣ等である。図１に示すように、ユーザ端末２００は、撮影部２１０、アップローダ２２０、スライドショー編集部２３０および再生部２４０を備えている。撮影部２１０は、カメラで写真を撮影し画像データとして保存する機能を有している。例えば、ユーザ向けにＧＵＩを提供するなどしたカメラアプリにより実現できる。
【００５６】
アップローダ２２０は、撮影写真およびギャラリー（過去撮影写真一覧）から、写真を一枚選択する機能やスライドショー作成サーバ１００へ画像データを送信する機能を有する。スライドショー作成サーバ１００にアップロードするための画像データは、カメラにて撮影してもよいが、すでにギャラリーとして登録されている写真を選択してもよい。また、選択された画像データをアップロードする共有機能や画像アップロード時、タグ情報を付与したり、端末固有情報を送信する機能も有している。
【００５７】
スライドショー編集部２３０は、ユーザ端末２００上でスライドショーを編集する機能を有する。例えば、ＧＵＩを利用して、スライドショーで特定される画像データを、自身が撮影した写真の画像データと入れ替えたり、スライドショーにおける画像データの順序を変更することなどができる。なお、このようにして作成されたスライドショーを他のユーザの元スライドショーとし、これから画像特徴量を抽出して他のユーザのテンプレートとして利用できる。
【００５８】
再生部２４０は、配信されたスライドショーを再生する機能を有する。なお、スライドショーは配信された楽曲とともに再生される。たとえば、ＧＵＩによりユーザの操作を受け付け、楽曲およびスライドショーを選択、再生、停止することができる。スライドショーの編集、再生の動作については後述する。
【００５９】
［スライドショー作成サーバの動作］
次に、上記のように構成されたスライドショー作成サーバ１００の動作を説明する。
【００６０】
（全体印象生成の処理）
図５は、全体印象生成の処理を示すフローチャートである。スライドショー作成サーバ１００は、楽曲に基づいてＷＥＢ画像を取得し、元スライドショーを作成する。まず、楽曲ＩＤを入力する（ステップＳ１）と、楽曲ＤＢ１１１より歌詞データを抽出し（ステップＳ２）、形態素解析および重要語抽出により歌詞特徴ベクトルを作成する（ステップＳ３）。教師データにより作成された識別器を用いて、歌詞特徴ベクトルに基づいて全体印象語の正否を出力させ、正であった単語に全体印象ラベルを最終的に付与する（ステップＳ４）。なお、全体印象語については日本語に限るものではない。
【００６１】
（画像選定の処理）
次に、このようにして得られた全体印象語と入力された楽曲の歌詞もしくは推定されたキーワードとを用いて、ＷＥＢ上で該当する行に関連する画像データを選定する。選定した画像データは、スライドショーで再生時に楽曲と連動して表示されるように特定される。入力された楽曲の歌詞もしくは推定キーワードを利用した画像選定は、以下のような処理で行なうことができる。
【００６２】
図６は、歌詞や推定キーワードを利用した画像選定処理を示すフローチャートである。まず、キーワード抽出処理では、楽曲の同期データとして歌詞をともなう場合には歌詞一行、歌詞なしの楽曲であれば、分割単位でのキーワードまたは重要語を抽出する（ステップＴ１）。重要語はたとえばＴＦ  ＩＤＦ値の高い単語を抽出することができる。また、形態素解析器により品詞分解を適用し、単語を品詞ごとに選別して画像検索のキーワードとして利用できる。
【００６３】
このようにして抽出した画像検索のキーワードを用いて画像を検索する（ステップＴ２）。画像検索対象としては、ＦＬＩＣＫＲ（登録商標）などのＷＥＢサービスや、個人の写真コレクションなどを利用することができる。そして検索して得られた画像群から、表示するための１枚を抽出することで各行や分割単位で表示する画像を抽出することができる（ステップＴ３）。このようにして、元スライドショーおよびテンプレートを生成することができる。
【００６４】
（スライドショー作成処理）
次に、元スライドショーおよびテンプレートを用いて画像を置き換えたスライドショーを作成する。図７は、スライドショー作成処理を示すフローチャートである。まず、一連の画像データを特定する元スライドショーに対応させたテンプレートとして、画像データの画像特徴量として抽出された第１の画像特徴量を準備する（ステップＰ１）。
【００６５】
その一方で、画像データ源から得られる画像データの画像特徴量を、第２の画像特徴量として抽出する（ステップＰ２）。上記のように準備された第１の画像特徴量および抽出された第２の画像特徴量との間の類似性を判定し（ステップＰ３）、元スライドショーにより特定される画像データを、これに類似する画像データ源の画像データで置き換えたスライドショーを生成する（ステップＰ４）。このようにして、ユーザ独自のスライドショーを作成することができる。
【００６６】
［画面表示例］
上記のスライドショー作成システム１０の動作を画面３００の表示例を参照しつつ説明する。図８は、ユーザ端末２００における写真共有画面の例を示す図である。ユーザ端末２００では、画面３００上の操作により「ギャラリー」ボタン３１０でギャラリーを選択でき、「撮影」ボタン３１５で撮影した写真を選択できるようになっており、その中から画像データＭ１０を選択可能になっている。
【００６７】
図９、図１０は、いずれも画像アップロード画面の例を示す図である。画面３００上では、選択された１枚の写真の画像データＭ１０を、スライドショー作成サーバ１００へアップロードするため、「共有」ボタン３２０によりアップローダアプリを起動可能になっている。ユーザ端末２００でアップローダアプリを起動すると、選択した画像データＭ１０が表示され、アップロードボタン３３０を押下することで、画像データをスライドショー作成サーバ１００にアップロードすることができる。また、サーバアップロード時に、タグ情報を付与する入力ボックス３３５を配置することで、ユーザがタグ情報を入力可能にできる。入力ボックス３３５には、ユーザがテキストを入力可能となっている。その場合、複数のタグを設定する場合は、半角カンマを区切り文字とするなどして区別することができる。
【００６８】
図１１は、楽曲選択のトップ画面の例を示す図である。図１１に示す画面３００は、楽曲スライドショー再生アプリを起動した直後に現れる画面である。画面３００には、ロゴや背景または楽曲スライドショーの表紙３４１とともに「ＳＴＡＲＴ」ボタン３４５が表示されている。例えば、「ＳＴＡＲＴ」ボタン３４５を押下すると、「楽曲選択画面」へ遷移する。
【００６９】
図１２、図１３は、それぞれ楽曲選択画面の例を示す図である。図１２では、再生が可能な楽曲の一覧が「楽曲選択画面」に表示されている。例えば、スライドショー作成サーバ１００から取得した楽曲一覧や、ユーザ端末２００に格納された楽曲リストが表示される。
【００７０】
「楽曲選択画面」では、楽曲名やアーティスト名のエリアをタップすることで楽曲を選択することができる。そのほかに検索機能やソート機能などを追加し、ボタンを新たに設置することなども可能である。また、保存したスライドショーボタン３４８を押下すると、「保存スライドショー一覧画面」へ遷移する。また、図１３のように楽曲ジャンルを表示することが可能である。ジャンル情報を選択することで、ジャンルカテゴリの中から楽曲を選択することや、ジャンルに該当する楽曲すべてを再生することも可能である。
【００７１】
図１４は、スライドショー編集画面の例を示す図である。図１４に示す画面表示では、選択された楽曲のスライドショーが表示される。楽曲（もしくはジャンル）選択後、選択された楽曲の再生が可能となる。「再生」ボタン３５０を押下すると、楽曲とともにスライドショーが再生される。また、「画像編集」ボタン３５５を押下すると、「画像編集画面」へ遷移する。
【００７２】
図１５は、スライドショーの画像編集画面の例を示す図である。図１５に示すように、例えば、シーン（同期データの行）ごとに、代表画像データＡ〜Ｃが表示される。ユーザはユーザ端末２００の画面３００上でスライドショーを編集できる。
【００７３】
例えば、ＧＵＩを利用して指定した画像データとスライドショーで特定される画像データを入れ替えたり、写真の順序を変更することができる。いずれかの画像を選択することで、画像選択画面へ遷移し、対象画像データの変更を可能としてもよい。編集終了ボタン３６０を押下すると、スライドショー再生画面へ遷移する。
【００７４】
画像編集画面で、特定の画像を選択すると、スライドショー作成サーバ１００にて選出された候補画像一覧画面へ遷移する。候補画像Ｂ２〜Ｂ１０はＦＬＩＣＫＲにより推奨されたものである。図１６は、候補画像一覧の画面の例を示す図である。各画像データは、スライドショー作成サーバ１００にてサムネイル化され、リサイズされたものＢ２〜Ｂ１０（置換候補の画像データに対応するデータ）を表示することもできる。いずれかの画像を選択すると、代表画像Ｂ（選択中の画面）が変更され、画像編集画面へ遷移する。
【００７５】
アップロードした画像およびギャラリーの画像選択画面への遷移が可能である。前ボタン３８４または次ボタン３８５を選択することで、シーン送りが可能となっている。デフォルトはＦＬＩＣＫＲ等のＷＥＢサービスから選出された画像が推奨されるが、「ｕｐｌｏａｄ画像から選択」ボタン３７０を押下すると、過去に自分がアップロードした画像からも選択できる。
【００７６】
図１７、図１８は、いずれもアップロード済みの画像選択画面の例を示す図である。図１８の画面表示例では、ギャラリーから、または受信した候補画像から選択画面へ遷移可能となっている。「ＦＬＩＣＫＲ画像から選択」ボタン３８０を押下するとＦＬＩＣＫＲ等のＷＥＢサービスから選出された画像からの選択が可能になる。さらに、前ボタン３８４または次ボタン３８５を選択することで、シーン送りが可能となっている。
【００７７】
図１９は、変更確認画面の例を示す図である。上記の図１７または図１８に示す画面において画像を1つ選択すると、図１９に示すような確認画面が表示され、画像の置き換えが可能となる。「この画像に変更」ボタン３９１を選択すると、画像が変更され、画像編集画面へ遷移する。また、「削除」ボタン３９２を選択すると、サーバから画像を削除することもできる(サムネイルも同時に削除)。また、「戻る」ボタン３９３は、選択により元の画像選択画面に戻ることを可能にしている。
【００７８】
図２０は、ギャラリー画像選択画面の例を示す図である。図２０に示す例では、端末にて撮影された写真の一覧を表示する。画面には撮影写真の画像データＭ４０とギャラリーの画像データＭ５０とが並列に表示されている。このうちの画像を選択すると、選択中の画像が変更され、画像編集画面へ遷移する。
【００７９】
再生アプリ終了後に保存されたスライドショーの一覧を表示することもできる。図２１は、保存スライドショー一覧の画面例を示す図である。保存されたスライドショー４０１〜４０３のいずれかを選択し、再生ボタン３９５を押下することで再生することができる。また、不要になったスライドショーは、削除ボタン３９６により削除することも可能になっている。また、スライドショーのタイトルをタップすると、タイトル名を編集することが可能となっている。
【符号の説明】
【００８０】
１０  スライドショー作成システム
１００  スライドショー作成サーバ
１１０  テンプレート管理部
１１１  楽曲ＤＢ
１１２  全体印象生成部
１１３  元スライドショー生成部
１１４  第１の特徴量抽出部
１１５  テンプレート作成部
１２０  ユーザＤＢ
１３０  第２の特徴量抽出部
１４０  スライドショー生成部
１５０  スライドショー配信部
２００  ユーザ端末
２１０  撮影部
２２０  アップローダ
２３０  スライドショー編集部
２４０  再生部
３００  画面
【図１】
2014075662.tif 000003
【図２】
2014075662.tif 000004
【図３】
2014075662.tif 000005
【図４】
2014075662.tif 000006
【図５】
2014075662.tif 000007
【図６】
2014075662.tif 000008
【図７】
2014075662.tif 000009
【図８】
2014075662.tif 000010
【図９】
2014075662.tif 000011
【図１０】
2014075662.tif 000012
【図１１】
2014075662.tif 000013
【図１２】
2014075662.tif 000014
【図１３】
2014075662.tif 000015
【図１４】
2014075662.tif 000016
【図１５】
2014075662.tif 000017
【図１６】
2014075662.tif 000018
【図１７】
2014075662.tif 000019
【図１８】
2014075662.tif 000020
【図１９】
2014075662.tif 000021
【図２０】
2014075662.tif 000022
【図２１】
2014075662.tif 000023