(57)【要約】【課題】曲解析に基づいて決定された画像の表示条件に最適な画像の領域抽出方法および画像選択方法を提供し、楽曲に同期するスライドショーの質を向上させる。【解決手段】Ｓ１３では、抽出領域ＤＢに位置情報の格納された物体領域の数Ｕ２と顔領域の数Ｕ１とを加えた数Ｕ１＋Ｕ２と、必要領域数Ｖとを比較する。そして、Ｕ１＋Ｕ２＜ＶであればＳ１５にそれぞれ移行する。Ｓ１５では、物体の抽出精度の閾値を所定の段階（ここでは１段階）だけ下げ、Ｓ１２に戻り、再び物体領域の抽出を行う。【選択図】  図３
2008084021.tif 000002
【特許請求の範囲】
【請求項１】
任意に入力された１または複数の画像から顔領域および物体領域のうち少なくとも１つを含む領域を、任意に設定された抽出精度の閾値に基づいて抽出するステップと、
楽曲の構成部分および楽曲の特徴点を含む楽曲の特徴を解析するステップと、
前記楽曲の構成部分と前記画像とを対応づけるステップと、
特定の楽曲の構成部分の特徴点のうち、前記特定の楽曲の構成部分に対応する特定の画像から抽出された領域を前記特定の楽曲の構成部分の再生中に表示させるタイミングとなる特徴点である表示点を規定するテンプレートを生成するステップと、
前記テンプレートで規定された特定の楽曲の構成部分における表示点の総数と前記特定の楽曲の構成部分に対応する画像から抽出された領域の総数とを比較した結果に応じ、前記表示点の総数と同数またはそれ以上の領域が抽出されるまで、前記閾値を変化させて前記特定の画像から前記領域を抽出することを繰り返すステップと、
前記楽曲の特定の構成部分の表示点と前記特定の画像から抽出された領域である抽出領域とを対応づけ、前記楽曲の再生中に前記特定の楽曲の構成部分の表示点が到来したことに応じ、前記到来した表示点に対応する抽出領域に所定の表示効果を付与しながら前記特定の画像を前記特定の楽曲の構成部分の再生の間に表示することで、前記楽曲の構成部分の再生に前記画像を同期して再生可能な動画シナリオを生成するステップと、
を含む動画シナリオ生成方法。
【請求項２】
前記表示点以上の領域が抽出された場合、前記抽出領域の特徴に基づいて前記抽出領域に優先度を設定し、前記抽出領域の総数が前記表示点の総数に達するまで、前記優先度の低い順に前記抽出領域を削除する請求項１に記載の動画シナリオ生成方法。
【請求項３】
前記抽出領域の特徴は、顔領域の大きさまたは物体領域の前記画像の中心までの距離のうち少なくとも一方を含む請求項２に記載の動画シナリオ生成方法。
【請求項４】
前記楽曲の構成部分と前記画像とを対応づけるステップは、
前記画像から抽出された顔領域の数に基づいて前記画像に優先度を設定するステップと、
前記楽曲の構成部分の表示点の総数に基づいて前記楽曲の構成部分に優先度を設定するステップと、
前記楽曲の構成部分に設定された優先度および前記画像に設定された優先度に基づいて前記楽曲の構成部分と前記画像とを対応づけるステップと、
を含む請求項１〜３のいずれかに記載の動画シナリオ生成方法。
【請求項５】
前記画像から抽出された顔領域の総面積に基づいて前記画像に優先度を設定するステップと、
前記楽曲の構成部分の特徴に対応した重要度に基づいて前記楽曲の構成部分に優先度を設定するステップと、
をさらに含む請求項４に記載の動画シナリオ生成方法。
【請求項６】
前記テンプレートで規定された特定の楽曲の構成部分における表示点の総数と前記特定の楽曲の構成部分に対応する画像から抽出された顔領域の総数とを比較した結果に応じ、前記表示点の総数と同数またはそれ以上の領域が抽出されるまで、前記閾値を変化させて前記特定の画像から前記物体領域を抽出することを繰り返すステップと、
前記特定の画像から抽出された顔領域および物体領域を含む抽出領域と前記楽曲の特定の構成部分の表示点とを対応づけ、前記楽曲の再生中に前記表示点が到来したことに応じて前記到来した表示点に対応する抽出領域を同期して再生可能な動画シナリオを生成するステップと、
を含む請求項１〜５のいずれかに記載の動画シナリオ生成方法。
【請求項７】
請求項１〜６のいずれかに記載の動画シナリオ生成方法を演算装置で実行するためのプログラム。
【請求項８】
請求項７に記載のプログラムを記憶する記憶部と、
前記記憶部に記憶されたプログラムを実行する演算装置と、
を備える動画シナリオ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は楽曲にシンクロした動画を生成する技術に関する。
【背景技術】
【０００２】
引用文献１は、少なくとも１つの画像データを取得した後、この画像のスライドショーを実行する場合に、画像の顔などの特徴領域を検出し、特徴領域の数および／またはサイズに基づいて、あらかじめ決定している複数の表示効果の中から、表示効果を選択する。この選択した表示効果に基づいて画像を時系列的に変化させて表示する。
【０００３】
引用文献２は、入力素材から記述子を分析し、それをもとにスタイル情報を定義し、入力素材・入力素材から得た記述子・スタイル情報を基に作業セットを作成し、それを実行することで出力データを生成するシステムである。入力・出力には少なくとも１つの映像・オーディオ各データが含まれており、記述子の取得は、入力素材を分析することで得られる。また、記述子はユーザからも受け取ることができる。
【特許文献１】特開２００５−１８２１９６号公報
【特許文献２】特表２００５−５０６６４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
引用文献１の技術を引用文献２に適用して、顔などの抽出領域を音楽に同調させ、より効果的な動画スライドショーを作成する場合、実際に抽出した領域数と、音楽解析結果とのずれが生じる可能性が高い。例えば、８拍のフレーズで１枚の画像に４タイミングで表示効果を付与したいが、抽出した領域数が３つしかない場合、音楽に同期して画像に表示効果が付与されない場面が出現する。
【０００５】
本発明の目的は、楽曲解析に基づいて決定された画像の表示条件に最適な画像の領域抽出方法および画像選択方法を提供し、楽曲に同期するスライドショーの質を向上させることにある。
【課題を解決するための手段】
【０００６】
本発明に係る動画シナリオ生成方法は、任意に入力された１または複数の画像から顔領域および物体領域のうち少なくとも１つを含む領域を、任意に設定された抽出精度の閾値に基づいて抽出するステップと、楽曲の構成部分および楽曲の特徴点を含む楽曲の特徴を解析するステップと、楽曲の構成部分と画像とを対応づけるステップと、特定の楽曲の構成部分の特徴点のうち、特定の楽曲の構成部分に対応する特定の画像から抽出された領域を特定の楽曲の構成部分の再生中に表示させるタイミングとなる特徴点である表示点を規定するテンプレートを生成するステップと、テンプレートで規定された特定の楽曲の構成部分における表示点の総数と特定の楽曲の構成部分に対応する画像から抽出された領域の総数とを比較した結果に応じ、表示点の総数と同数またはそれ以上の領域が抽出されるまで、閾値を変化させて特定の画像から領域を抽出することを繰り返すステップと、楽曲の特定の構成部分の表示点と特定の画像から抽出された領域である抽出領域とを対応づけ、楽曲の再生中に特定の楽曲の構成部分の表示点が到来したことに応じ、到来した表示点に対応する抽出領域に所定の表示効果を付与しながら特定の画像を特定の楽曲の構成部分の再生の間に表示することで、楽曲の構成部分の再生に画像を同期して再生可能な動画シナリオを生成するステップと、を含む。
【０００７】
この発明によると、抽出領域の抽出精度を変化させ、表示点の総数に抽出領域の総数が合致するかそれ以上となるまで、領域の抽出が繰り返されることで、楽曲の再生に同期して表示効果を付与すべき画像中の領域を、必要な数だけ確保でき、楽曲の再生途中で画像の表示効果が途絶えるようなことがなく、動画シナリオの価値が高まる。
【０００８】
また、表示点以上の領域が抽出された場合、抽出領域の特徴に基づいて抽出領域に優先度を設定し、抽出領域の総数が表示点の総数に達するまで、優先度の低い順に抽出領域を削除するとよい。
【０００９】
こうすると、重要度の低い抽出領域から優先的に削除し、抽出領域を過不足なく必要な数だけ確保できる。
【００１０】
抽出領域の特徴は、典型的には顔領域の大きさまたは物体領域の画像の中心までの距離のうち少なくとも一方を含む。ただし、抽出領域の特徴は、被写体のボケブレの度合や明るさなど何でもよい。
【００１１】
楽曲の構成部分と画像とを対応づけるステップは、画像から抽出された顔領域の数に基づいて画像に優先度を設定するステップと、楽曲の構成部分の表示点の総数に基づいて楽曲の構成部分に優先度を設定するステップと、楽曲の構成部分に設定された優先度および画像に設定された優先度に基づいて楽曲の構成部分と画像とを対応づけるステップと、を含むことが好ましい。
【００１２】
こうすると、ある楽曲の構成部分の再生に同期した表示効果の付与に必要な数と同一または近似した顔領域の抽出される画像を、その楽曲の構成部分と対応づけることができ、顔領域の配分を適正化できる。
【００１３】
画像から抽出された顔領域の総面積に基づいて画像に優先度を設定するステップと、楽曲の構成部分の特徴に対応した重要度に基づいて楽曲の構成部分に優先度を設定するステップと、をさらに含んでもよい。
【００１４】
こうすると、楽曲の重要な構成部分の再生に同期して、大きな顔領域に表示効果を付与して画像を再生でき、楽曲の進行および内容に合致した動画の再生ができる。
【００１５】
テンプレートで規定された特定の楽曲の構成部分における表示点の総数と特定の楽曲の構成部分に対応する画像から抽出された顔領域の総数とを比較した結果に応じ、表示点の総数と同数またはそれ以上の領域が抽出されるまで、閾値を変化させて特定の画像から物体領域を抽出することを繰り返すステップと、特定の画像から抽出された顔領域および物体領域を含む抽出領域と楽曲の特定の構成部分の表示点とを対応づけ、楽曲の再生中に表示点が到来したことに応じて到来した表示点に対応する抽出領域を同期して再生可能な動画シナリオを生成するステップと、を含んでもよい。
【００１６】
こうすると、顔領域の総数が必要数に満たない場合、物体領域の抽出精度を変化させて、必要な数の抽出領域を確保できる。
【００１７】
上記に記載の動画シナリオ生成方法を演算装置で実行するためのプログラムも本発明に含まれる。
【００１８】
上記プログラムを記憶する記憶部と、記憶部に記憶されたプログラムを実行する演算装置と、を備える動画シナリオ生成装置も本発明に含まれる。
【発明の効果】
【００１９】
この発明によると、抽出領域の抽出精度を変化させ、表示点の総数に抽出領域の総数が合致するまで、領域の抽出が繰り返されることで、楽曲の再生に同期して表示効果を付与すべき画像中の領域を、必要な数だけ確保でき、動画シナリオの価値が高まる。
【発明を実施するための最良の形態】
【００２０】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るスライドショー作成装置のブロック構成図である。スライドショー作成装置は、ＣＰＵ８、スライドショー生成部１、顔領域抽出部２、物体領域抽出部９、記憶部４、メモリ５、表示制御部３、表示装置６、入力装置７、楽曲解析部１０を備える。この装置は、典型的には、パソコン、ハードディスクレコーダ、デジタルカメラなどで実現される。
【００２１】
入力装置７は、静止画像や音楽データを外部から入力するための装置であり、ＤＶＤやフラッシュメモリといった可搬性記録媒体からのデータ読み取り装置、デジタルカメラと接続するネットワークアダプタやシリアルポートなどの通信インターフェースで構成される。
【００２２】
記憶部４は、入力装置７から入力された静止画像や音楽を蓄積するハードディスク（ＨＤＤ）などの記憶媒体である。記憶部４は、テンプレート、データベース、プログラムなどを記憶する。
【００２３】
メモリ５は、ＣＰＵ８のプログラムやプログラムの処理に必要なデータを一時的に格納する。
【００２４】
表示制御部３は、ＣＰＵ８の指令に従い、ディスプレイなどで構成された表示装置６へ出力する映像信号を生成し、表示装置６に出力する。表示装置はスライドショー作成装置に内蔵されていてもよいし外付けの装置であってもよい。
【００２５】
顔領域抽出部２は、記憶部４の画像における顔領域、すなわち人物の顔の部分の存在領域を抽出し、この抽出された顔領域を特定するためのデータ（位置座標など）を独立したデータとして記憶部４に記憶する。
【００２６】
顔領域抽出部２は、顔領域を抽出したか否かを示す信号をスライドショー生成部１に出力する。どのようにして顔領域を抽出するかは任意であるが、例えば、顔の輪郭パターンに類似の形状の領域を顔領域として抽出する、あるいは目、鼻、口の存在部分とそれを包含する肌色領域から顔全体の輪郭を推定し、それに相当する領域を顔領域として抽出することなどが挙げられる。
【００２７】
物体領域抽出部９は、犬や猫などの動物、自動車などの乗り物、その他顔領域以外の物体の存在領域を物体領域として抽出し、抽出された物体領域を特定する位置情報を記憶部４に記憶する。どのようにして物体を抽出するかは任意であるが、例えば、周辺画素領域と比較した色の変化が所定の閾値を超えているような画素領域や周波数成分が所定の精度の閾値を超えている画素領域を物体領域として抽出する。この閾値を上げ下げすることにより、抽出される領域の数が変わってくる。例えば、閾値を低く設定すればするほど、物体を抽出する可能性は高くなるが、その分余計な領域を誤抽出する確率が高くなる。
【００２８】
顔領域抽出部２が抽出対象とする顔領域は、目、鼻、口などの特定部位の存在を基準とすれば、比較的高い抽出精度が確保できる。一方、物体領域抽出部９が抽出対象とする物体領域は、物体の性質が一様でないし（例えば物体が犬である場合は、犬種によって身体的特徴の差異が大きく、人物の目、鼻、口などの特定部位を基準とするのが困難）、物体の抽出基準となる閾値が画一的であるため撮影条件によっては有効でなく、顔領域の抽出と比較すると抽出精度が低いことが一般的に言える。そうすると、物体をなるべく多く抽出するためには、その抽出閾値を低く設定する必要がある。
【００２９】
楽曲解析部１０は、入力された楽曲を解析する。楽曲の解析の詳細については後述する。
【００３０】
スライドショー生成部１は、記憶部４に蓄積された位置情報によって特定される顔領域あるいは物体領域（これらをまとめて抽出領域と称す）を含む画像のうち、楽曲解析部１０の結果に基づき、楽曲再生に連動したスライドショー再生に必要な画像を選択する。そして、選択した画像（元画像）と記憶部４に記憶されたテンプレートの中から選択された所望のテンプレートの規定する動作条件に基づき、抽出領域ごとに所定の表示効果が付与された元画像を、楽曲の再生時間軸に沿って設定された元画像ごとに固有の再生時点（後述する楽曲の構成部分）と関連づけ、楽曲の再生中における各画像再生時点の到来に合わせて、対応する元画像を順次再生する形式の動画データあるいは音声も含んだ動画データ（スライドショー）を生成する。
【００３１】
スライドショーに用いる元画像は、記憶部４に記憶された元画像全てでなくてもよい。あるいは、主要被写体、物体領域、顔領域が重複すると推定される画像群や、類似度が高い画像群は、その中から１つだけをスライドショーの元画像として用い、残りは切り捨ててもよい。
【００３２】
テンプレートの規定する動作条件の一つである抽出領域への所定の表示効果の一例を挙げると、画像中の特定の抽出領域を所定の速度で水平・垂直移動（パン・チルト）するよう表示させたり、特定の抽出領域を拡縮（ズームイン／ズームアウト）したり（図８（ａ）参照）、特定の抽出領域以外を隠す（マスキング、図２（ｂ）参照）ようにしたり、特定の抽出領域を強調するような画像を合成したり、特定の抽出領域を回転させるなどして、元画像の中に動きを作る「エフェクト」の種類がある。
【００３３】
生成された後の動画データの規格は何でもよく、例えばＭＰＥＧ２、Macromedia Flashである。あるいは、SMIL（Synchronized Multimedia Integration Language）などの言語により楽曲と画像との同期制御をしてもよい。
【００３４】
詳細は省略するが、テンプレートは、元画像の再生に付随する文書、キャラクタ、アイコンなどの各種オブジェクトの配置座標、サイズ、色などの表示状態も規定することができる。
【００３５】
図２は、楽曲の構成の解析結果の概念説明図である。楽曲解析部１０は、以下のようにして楽曲をいくつかの構成部分に分割する。
【００３６】
（１）まず、楽曲から特徴を抽出する。楽曲の特徴とは、楽曲の拍や裏拍、アクセント、テンポの変化点などを指す。
【００３７】
楽曲の特徴を抽出する方法は、従来の手法で可能であり、例えば、特開２００３−２６３１６２号公報、特開２００５−０２７７５１号公報などが挙げられる。フレーズを取得する方法は、例えば、特開平９−９０９７８号公報、特開２００４−１８４７６９号公報、特開２００４−２３３９６５号公報などに挙げられている。
【００３８】
（２）そして、抽出された特徴に基づいて、楽曲を複数の構成部分に分割する。
【００３９】
例えば、テンポの変化点で楽曲を複数の構成部分に分割する。あるいは、拍の頭から所定の拍数（例えば８拍）を１単位の区切りとして、楽曲を複数の構成部分に分割する。あるいは、抽出された特徴量に基づき、楽曲を、Ａメロ、Ｂメロ、サビなど一般的に「フレーズ」と呼ばれている構成部分に分割する。あるいは、ある閾値以上のテンポ（例えば１２０ＢＰＭ）を持つ曲に対しては、４拍を１構成部分とし、ある閾値以下のテンポを持つ曲に対しては、８拍を１構成部分とする。
【００４０】
図３は、スライドショー作成装置の実行するスライドショー生成処理の流れを示すフローチャートであり、図３（ａ）が領域抽出処理（メインルーチン）、図３（ｂ）がエフェクト生成処理（サブルーチン）を示す。
【００４１】
図３（ａ）のメインルーチンの処理の流れは次のようになる。
【００４２】
Ｓ１では、入力装置７が、楽曲データを入力する。
【００４３】
Ｓ２では、楽曲解析部１０が、入力装置７に入力された楽曲を解析する。
【００４４】
Ｓ３では、入力装置７が、画像を入力する。なお、入力される画像の数は、楽曲の構成部分の総数を下回ることはなく、十分に確保されているものとする。
【００４５】
Ｓ４では、スライドショー生成部１が、楽曲の解析結果に基づいて、楽曲の構成部分の特定の特徴点（例えば１番目の拍、３番目の拍、６番目の裏拍、８番目の拍。以下、表示点という）の到来に応じて表示効果を付与するのに必要な画像の抽出領域の総数（必要領域数）、および該楽曲の構成部分に対応する画像を規定したテンプレートを生成する。例えば、楽曲の解析結果からＡメロ、Ｂメロ、サビが取得された場合、イントロのＡメロには８拍ごとに４つの抽出領域、中休みのＢメロには８拍ごとに２つの抽出領域、サビには６つの抽出領域が必要とされるテンプレートを生成する（図４参照）。
【００４６】
テンプレートによってどの楽曲の構成部分にどの画像を対応づけるかは任意である。例えば、楽曲の構成部分の再生順と画像の入力順によって対応づけてもよい。
【００４７】
Ｓ５では、楽曲の各構成部分に対する下記Ｓ７〜Ｓ１６の処理単位の繰り返し実行回数Ｎを、Ｎ＝１に設定する。
【００４８】
Ｓ６では、ＣＰＵ８は、Ｎ＜ｎであるか否かを判断する。Ｎ＜ｎである場合はＳ７、Ｎ≧ｎである場合はサブルーチンＡ（図３（ｂ））に移行する。ｎは、楽曲の各構成部分の再生に同期した表示効果に必要な抽出領域である。
【００４９】
Ｓ７では、所定の順序（例えば楽曲の構成部分の再生順序）に従って、楽曲の構成部分に対応する画像をメモリ５に格納する。
【００５０】
Ｓ８では、顔領域抽出部９が、メモリ５に格納された画像から顔領域を抽出する。そして、抽出された顔領域を特定する位置情報をデータベース化し、これを抽出領域ＤＢとして記憶部４に格納する（図５参照）。
【００５１】
Ｓ９では、抽出領域ＤＢに位置情報の格納された顔領域の数Ｕ１と、テンプレートの規定する必要領域数Ｖとを比較する。そして、Ｕ１＝ＶであればＳ１６、Ｕ１＞ＶであればＳ１０、Ｕ１＜ＶであればＳ１１にそれぞれ移行する。
【００５２】
Ｓ１０では、抽出された顔領域のうち面積の小さいものの位置情報から優先的に抽出領域ＤＢから削除することで、Ｕ１＝Ｖとする。こうすれば、面積の小さい重要度の低い顔領域から優先的に除去し、スライドショーに必要な数の領域を確保できる。
【００５３】
Ｓ１１では、物体領域抽出部９が、画像からの物体の抽出精度の閾値を最高レベルの「５」に設定する。図６に例示するように、閾値は段階的な値をとり、ここでは最低レベルの１から最高レベルの５までを、任意に設定できるものとする。
【００５４】
Ｓ１２では、物体領域抽出部９が、メモリ５の画像から、設定された閾値の精度で物体領域を認識し、認識された物体領域を抽出する。そして、画像ごとに抽出された全ての顔領域・物体領域を特定する情報をデータベース化し、これを抽出領域ＤＢとして記憶部４に格納する（図７参照）。すでに抽出領域ＤＢが存在する場合は、物体領域の抽出結果に応じて内容を更新する。
【００５５】
Ｓ１３では、抽出領域ＤＢに位置情報の格納された物体領域の数Ｕ２と顔領域の数Ｕ１とを加えた数Ｕ１＋Ｕ２と、必要領域数Ｖとを比較する。そして、Ｕ１＋Ｕ２＝ＶであればＳ１６、Ｕ１＋Ｕ２＞ＶであればＳ１４、Ｕ１＋Ｕ２＜ＶであればＳ１５にそれぞれ移行する。
【００５６】
Ｓ１４では、抽出領域ＤＢに位置情報の格納された物体領域のうち、画像の中心から遠い位置に存在するものの位置情報から優先的に抽出ＤＢから削除することで、Ｕ１＋Ｕ２＝Ｖとする。こうすれば、中心から外れた重要度の低い物体領域から優先的に除去し、スライドショーの生成に必要な数の領域を確保できる。なお、中心からの距離が同一の領域が複数ある場合は、面積の小さい方、あるいはいずれか一方をランダムに選択するなどして、一方のみを削除するとよい。
【００５７】
Ｓ１５では、物体の抽出精度の閾値を所定の段階（ここでは１段階）だけ下げ、Ｓ１２に戻る。
【００５８】
Ｓ１６では、Ｎをインクリメントし、Ｓ６に戻る。
【００５９】
図３（ｂ）のサブルーチンの処理の流れは次のようになる。
【００６０】
Ｓ２１では、メモリ５に記憶された全ての画像について次のＳ２２を実行したか否かを判断する。全ての画像についてＳ２２を実行していない場合はその画像についてＳ２２、全ての画像についてＳ２２を実行した場合はＳ２３に移行する。
【００６１】
Ｓ２２では、スライドショー生成部１が、メモリ５の画像に対するエフェクト生成を行う。画像に対するエフェクト生成とは、特定の楽曲の構成部分の各表示点に対応する画像の顔領域または物体領域にズームやマスキングなどの各種の表示効果（図８参照）を付与するための動作条件を画像ごとに設定し、画像ごとに設定された動作条件をテンプレートに記述することである。どの抽出領域にどのような表示効果を付与するかは任意である。
【００６２】
Ｓ２３では、楽曲の構成部分に対応する画像、該楽曲の構成部分の表示点に対応する該画像の抽出領域、および該抽出領域に対応する動作条件（表示効果）を記述したテンプレートに基づき、スライドショー動画を生成する。
【００６３】
図９は、スライドショー動画の記述する楽曲の構成部分の表示点と画像の抽出領域との関連づけの一例を示す。スライドショー生成部１は、楽曲の構成部分の特定の特徴点（表示点）に、該楽曲の構成部分に対応する画像からの抽出領域を当てはめることで、楽曲の構成部分における表示点と個々の抽出領域とを関連づける。
【００６４】
この図では、楽曲の構成部分の分割の具体例として、楽曲をＡメロ、Ｂメロの２つのフレーズに区切り、さらにＡメロ、Ｂメロを拍および裏拍の総数８つずつの単位に区切ることで楽曲から構成部分Ａ１、Ａ２、・・あるいはＢ１、Ｂ２、・・を分割した場合を示している。
【００６５】
この図では、例えば、楽曲の構成部分Ａ１の特定の特徴点である「１番目の拍」、「３番目の拍」、「６番目の裏拍」および「８番目の拍」に、画像１からの抽出領域１、２、３、４が対応づけられている。
【００６６】
このように、楽曲の構成部分に画像を対応づけ、かつ、楽曲の構成部分の表示点にその画像からの抽出領域を対応づけることで、特定の楽曲の構成部分の表示点と特定の抽出領域とが１：１で対応する。シナリオは、この楽曲の表示点と抽出領域との対応および抽出領域に対する表示効果を規定している。シナリオは、楽曲の再生中に特定の楽曲の構成部分の表示点が到来したときに、その表示点に対応する抽出領域に所定の表示効果を付与した状態で、対応する特定の画像を表示する。これを楽曲の各構成部分の再生の間に順次行うことで、楽曲の各構成部分の再生に同期して、特定の領域に表示効果の付与された画像が表示される。
【００６７】
このように、図３（ａ）のメインルーチンによると、物体領域の抽出閾値の変化により抽出領域の数を調節でき、楽曲の特徴に対応した画像の表示効果の付与に必要な抽出領域の数を過不足なく確保でき、従来に比してスライドショー動画の質を上げることができる。
【００６８】
＜第２実施形態＞
図１０は第２実施形態に係るスライドショー生成処理の流れを示すフローチャートである。
【００６９】
Ｓ４１〜Ｓ４２は、それぞれＳ１〜２と同様である。
【００７０】
Ｓ４３では、楽曲の構成部分に対応する必要領域数が多い構成を優先して順に並べたうえ、並べられ替えた楽曲の構成部分と入力された画像とを対応づけテンプレートを生成する。
【００７１】
Ｓ４４は、Ｓ４と同様である。
【００７２】
Ｓ４５では、顔領域抽出部２は、入力された全ての画像に関して顔領域の抽出を行い抽出領域ＤＢを格納する（図１２参照）。そして、顔領域の抽出数が多いものを優先して順に画像を並べるとともに、楽曲の構成部分に対応する必要領域数が多い構成を優先して順に並べ、この両者の順位の合致により画像と楽曲構成を対応づけるようテンプレートを更新する（図１１参照）。
【００７３】
こうすれば、楽曲の構成部分の必要領域数と同一または近似した数の顔領域を含んだ画像を対応づけて顔領域の配分を適正化でき、ある楽曲の構成部分の必要領域数に対して過剰な顔領域を含んだ画像、あるいは僅少な顔領域しか含まない画像が、その楽曲の構成部分に対応づけられてしまうのを防げる。
【００７４】
なお、表示領域数が同じ楽曲構成が複数ある場合、楽曲の後の方の構成部分を優先するとよい。こうすると、楽曲の重要な構成部分に優先して顔領域を対応づけることができる。
【００７５】
また、顔領域の抽出数が同じ画像が複数ある場合、抽出された顔領域の面積の総計が大きいものを優先するとよい。こうすると、楽曲の重要な構成部分に大きい顔領域を対応づけることができる。
【００７６】
Ｓ４６〜Ｓ４８、Ｓ４９〜Ｓ５６はそれぞれＳ５〜Ｓ７、Ｓ９〜Ｓ１６と同様である。ただし、Ｓ４８では、Ｓ７とは異なり、Ｓ４５の並び替え順位に従って画像をメモリ５に格納することに注意を要する。
【００７７】
このように、本実施形態のシナリオ生成処理によると、楽曲の重要な構成部分に、顔領域を含んだ画像を対応づけ、かつその構成部分の各表示点に顔領域を対応づけることができ、楽曲の重要な構成部分の再生に同期して、顔領域に所定の表示効果が付与された画像を再生することができる。従って、楽曲の進行と内容に合致した動画の再生が可能となり、従来に比して価値の高いスライドショー画像を提供できる。
【図面の簡単な説明】
【００７８】
【図１】シナリオ作成装置のブロック図
【図２】楽曲構成の一例を示す図
【図３】第１実施形態に係るシナリオ生成処理の流れを示すフローチャート
【図４】テンプレートの一例を示す図
【図５】顔領域の抽出領域ＤＢの一例を示す図
【図６】段階的に設定可能な領域の閾値の一例を示す図
【図７】物体領域の抽出領域ＤＢの一例を示す図
【図８】抽出領域に付与される表示効果（エフェクト）の一例を示す図
【図９】楽曲の構成部分の表示点と抽出領域との関連づけの一例を示す図
【図１０】第２実施形態に係るシナリオ生成処理の流れを示すフローチャート
【図１１】所定の優先順に応じて並び替えられた楽曲の構成部分と画像との関連づけを示す図
【図１２】第２実施形態に係る抽出領域ＤＢの一例を示す図
【符号の説明】
【００７９】
１：スライドショー生成部、２：顔領域抽出部、３：表示制御部、４：記憶部、５：メモリ、６：表示装置、７：入力装置、８：ＣＰＵ、９：物体領域抽出部、１０：楽曲解析部
【図１】
2008084021.tif 000003
【図２】
2008084021.tif 000004
【図３】
2008084021.tif 000005
【図４】
2008084021.tif 000006
【図５】
2008084021.tif 000007
【図６】
2008084021.tif 000008
【図７】
2008084021.tif 000009
【図８】
2008084021.tif 000010
【図９】
2008084021.tif 000011
【図１０】
2008084021.tif 000012
【図１１】
2008084021.tif 000013
【図１２】
2008084021.tif 000014