(57)【要約】【課題】複数の素材データから多様な音楽を生成する。【解決手段】記憶装置２４は、音楽を示す複数の素材データＳを記憶する。特徴取得部３４は、相異なる画像の特徴量ｆkの数値を各々が含む複数の特徴データＦ[1]〜Ｆ[N]の時系列を取得する。素材選択部３６は、複数の素材データＳのうち特徴データＦ[n]の特徴量ｆkに応じた素材データＳ[n]を特徴データＦ[1]〜Ｆ[N]の各々について選択する。音楽生成部３８は、素材選択部３６が選択した複数の素材データＳ[1]〜Ｓ[N]を連結することで音響信号Ａを生成する。【選択図】図１
2011248067.tif 000002
【特許請求の範囲】
【請求項１】
音楽を示す複数の素材データを記憶する素材記憶手段と、
相異なる画像の特徴量の数値を各々が含む複数の特徴データの時系列を取得する特徴取得手段と、
前記複数の素材データのうち前記特徴データの前記特徴量に応じた前記素材データを前記特徴データ毎に選択する素材選択手段と、
前記素材選択手段が選択した複数の素材データから音響信号を生成する音楽生成手段と
を具備する音楽生成装置。
【請求項２】
前記特徴量の数値を含む参照データを前記各素材データについて記憶する参照値記憶手段を具備し、
前記素材選択手段は、前記特徴取得手段が時系列に取得する前記各特徴データについて、当該特徴データと前記参照データとの相関指標値を参照データ毎に算定し、当該相関指標値が示す相関が高い素材データを選択する
請求項１の音楽生成装置。
【請求項３】
前記素材選択手段は、前記複数の素材データのうち第１素材データとの音楽的な調和度が高い素材データを、前記第１素材データに後続する第２素材データとして選択する
請求項１または請求項２の音楽生成装置。
【請求項４】
前記素材選択手段は、前記複数の素材データのうち過去に選択した素材データについて選択の優先度を低下させる
請求項１から請求項３の何れかの音楽生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽を示す複数の素材データから音響信号を生成する技術に関する。
【背景技術】
【０００２】
複数の素材データを利用して音響信号を生成する技術が従来から提案されている。例えば特許文献１には、事前に用意された多数の素材データのうち１枚の画像（写真）から抽出された特徴量に応じた複数の素材データ（メロディ素片）を選択および連結することで音響信号を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１９３９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術のもとでは、１枚の画像の特徴のみに応じて素材データが選択されるから、多様な音楽の生成が困難であるという問題がある。以上の事情を考慮して、本発明は、複数の素材データから多様な音楽を生成することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の音楽生成装置は、音楽を示す複数の素材データを記憶する素材記憶手段（例えば記憶装置２４）と、相異なる画像の特徴量の数値を各々が含む複数の特徴データの時系列を取得する特徴取得手段と、複数の素材データのうち特徴データの特徴量に応じた素材データを特徴データ毎に選択する素材選択手段と、素材選択手段が選択した複数の素材データから音響信号を生成する音楽生成手段とを具備する。以上の構成においては、相異なる画像の複数の特徴データの各々に応じて選択された素材データから音響信号が生成されるから、１枚の画像の特徴のみに応じて音響信号を生成する構成と比較して多様な音楽を生成することが可能である。
【０００６】
本発明の好適な態様に係る音楽生成装置は、特徴量の数値を含む参照データを各素材データについて記憶する参照値記憶手段（例えば記憶装置２４）を具備し、素材選択手段は、特徴取得手段が時系列に取得する各特徴データについて、当該特徴データと参照データとの相関指標値を参照データ毎に算定し、当該相関指標値が示す相関が高い素材データを選択する。以上の態様においては、特徴データの各特徴量との相関が高い参照データに対応する素材データが選択されるから、参照データの各特徴量の数値を適切に選定することで、各画像の印象に合致した素材データを選択することが可能である。もっとも、特徴データの各特徴量との相関が低い参照データに対応する素材データを選択する構成も採用され得る。なお、相関指標値の典型例は距離や内積である。
【０００７】
本発明の好適な態様において、素材選択手段は、複数の素材データのうち第１素材データとの音楽的な調和度が高い素材データを、第１素材データに後続する第２素材データとして選択する。以上の態様においては、先行の第１素材データとの音楽的な調和度が高い第２素材データが選択されるから、音楽的に統一感のある音響信号を生成することが可能である。なお、以上の態様の具体例は例えば第４実施形態として後述される。
【０００８】
本発明の好適な態様において、素材選択手段は、複数の素材データのうち過去に選択した素材データについて選択の優先度を低下させる。例えば、素材選択手段は、過去に選択した素材データを選択の対象から除外する。以上の態様においては、１個の素材データが複数回にわたって選択される可能性が低減されるから、変化に富んだ多様な音響信号を生成できるという利点がある。なお、以上の態様の具体例は例えば第５実施形態として後述される。
【０００９】
以上の各態様に係る音楽生成装置は、音響信号の生成に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラム（ソフトウェア）との協働によっても実現される。本発明のプログラムは、音楽を示す複数の素材データを記憶する素材記憶手段を具備するコンピュータに、相異なる画像の特徴量の数値を各々が含む複数の特徴データの時系列を取得する特徴取得処理と、複数の素材データのうち特徴データの特徴量に応じた素材データを特徴データ毎に選択する素材選択処理と、素材選択処理で選択した複数の素材データから音響信号を生成する音楽生成処理とを実行させる。以上のプログラムによれば、本発明の音楽生成装置と同様の作用および効果が実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る音楽生成装置のブロック図である。
【図２】参照テーブルの模式図である。
【図３】第２実施形態における特徴データの模式図である。
【図４】第２実施形態の参照テーブルの模式図である。
【図５】第３実施形態における変数指示画面の模式図である。
【図６】第４実施形態における調和度テーブルの模式図である。
【図７】変形例のブロック図である。
【発明を実施するための形態】
【００１１】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音楽生成装置１００のブロック図である。図１に示すように、音楽生成装置１００には、表示装置１２と放音装置１４と入力装置１６とが接続される。表示装置１２は、音楽生成装置１００による制御のもとで複数の画像を時系列に表示する。音楽生成装置１００は、表示装置１２が時系列に表示する画像の印象に適合した音楽（BGM）の時間波形を表す音響信号Ａを生成する音響処理装置である。放音装置１４は、音響信号Ａに応じた音波を再生する。なお、音響信号Ａをデジタルからアナログに変換するＤ/Ａ変換器の図示は省略されている。入力装置１６は、利用者からの指示を受付ける。
【００１２】
図１に示すように、音楽生成装置１００は、演算処理装置２２と記憶装置２４とを含むコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムＰGMや演算処理装置２２が使用する各種のデータ（画像データＧ，素材データＳ，参照テーブルＴBL1）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置２４として任意に採用され得る。
【００１３】
図１に示すように、記憶装置２４は、複数の画像データＧと複数の素材データＳと参照テーブルＴBL1とを記憶する。複数の画像データＧの各々は、例えば１枚の写真の画像（静止画）を示すデータである。利用者は、入力装置１６を適宜に操作することで、表示装置１２に表示されるべきＮ個の画像データ（以下「指定画像データ」という）Ｇ[1]〜Ｇ[N]と指定画像データＧ[1]〜Ｇ[N]の表示の順番とを任意に指定することが可能である（Ｎは自然数）。指定画像データＧ[1]〜Ｇ[N]の個数Ｎは、例えば利用者が可変に指定し得る。
【００１４】
複数の素材データＳの各々は、音楽（楽音や音声の時系列）を示すデータである。複数の素材データは、任意の組合せで連結した場合に音楽的に自然な楽曲と認識されるように事前に作成される。例えば、複数の素材データＳの音楽はテンポ（リズム）が類似する。また、各素材データＳの時間長は共通である。例えば、各素材データＳは、所定のテンポの楽曲における所定個の小節（例えば１小節から２小節）に相当する時間長に設定される。第１実施形態の素材データＳは、MIDI（Musical Instrument Digital Interface）規格に準拠したSMF（Standard MIDI File）形式のファイルである。すなわち、素材データＳは、発音や消音を指示するイベントデータと、各イベントデータの処理の時点を指定するタイミングデータとの時系列で構成される。参照テーブルＴBL1は、素材データＳの選択に利用されるデータテーブルである。なお、参照テーブルＴBL1の詳細については後述する。
【００１５】
演算処理装置２２は、記憶装置２４に記憶されたプログラムＰGMの実行で複数の機能（表示制御部３２，特徴取得部３４，素材選択部３６，音楽生成部３８）として機能する。なお、演算処理装置２２の各機能を複数の装置（集積回路）に分散した構成や、専用の電子回路（DSP）が各機能を実現する構成も採用され得る。
【００１６】
表示制御部３２は、利用者が選択したＮ個の指定画像データＧ[1]〜Ｇ[N]を記憶装置２４から順次に取得して各々の画像を表示装置１２に時系列に表示させる。例えば、表示制御部３２は、所定の間隔をあけた各時点や利用者が指定した各時点で表示装置１２の画像を順次に変更する。
【００１７】
特徴取得部３４は、利用者が選択したＮ個の指定画像データＧ[1]〜Ｇ[N]に対応するＮ個の特徴データＦ[1]〜Ｆ[N]の時系列を生成する。図１に示すように、特徴データＦ[n]（ｎ＝１〜Ｎ）は、当該特徴データＦ[n]に対応する指定画像データＧ[n]の画像に関連するＫ種類の特徴量ｆ1〜ｆKの数値列（特徴ベクトル）である。各特徴量ｆk（ｋ＝１〜Ｋ）は、指定画像データＧ[n]の画像の印象を表す変数である。例えば、画像の平均的な明度や色温度（暖かみ），画像内の人物の人数や笑顔度（笑顔の程度）や属性（例えば性別，年齢）等を表す数値が、特徴量ｆ1〜ｆKとして各特徴データＦ[n]に設定される。指定画像データＧ[n]の画像の内容に関する特徴量ｆk（例えば画像内の人物の人数や笑顔度や属性）の抽出には、公知の画像処理技術（例えば顔検出技術や笑顔検出技術）が任意に採用され得る。
【００１８】
記憶装置２４に記憶される参照テーブルＴBL1は、図２に示すように、相異なる素材データＳに対応する複数の参照データＲ（レコード）の集合である。各参照データＲは、当該参照データＲに対応する素材データＳの識別子（番号）ｄと、特徴データＦ[n]と共通するＫ種類の特徴量ｆ1〜ｆKの数値列（特徴ベクトル）とを含んで構成される。素材データＳが示す音楽の印象と、当該素材データＳの参照データＲの特徴量ｆ1〜ｆKに応じた画像の印象とが合致するように、各参照データＲの特徴量ｆ1〜ｆKの数値は、素材データＳの音楽の曲調に応じて事前に設定される。例えば、画像の明度を示す特徴量ｆkに着目すると、明るい音楽の素材データＳの特徴量ｆkは、明度が高い画像から抽出される特徴量ｆkに近似した数値に設定され、暗い音楽の素材データＳの特徴量ｆkは、明度が低い画像から抽出される特徴量ｆkに近似した数値に設定される。
【００１９】
図１の素材選択部３６は、特徴取得部３４が生成したＮ個の特徴データＦ[1]〜Ｆ[N]の各々に応じた素材データＳ[n]（Ｎ個の素材データＳ[1]〜Ｓ[N]の時系列）を記憶装置２４内の複数の素材データＳから選択する。第１実施形態の素材選択部３６は、参照テーブルＴBL1内の参照データＲが特徴データＦ[n]に最も類似する素材データＳの識別子ｄ（以下「選択識別子ｄ[n]」という）を順次に特定する。すなわち、各指定画像データＧ[n]の画像の印象に合致する音楽の素材データＳ[n]がＮ個の指定画像データＧ[1]〜Ｇ[N]の各々について順次に選択される。素材選択部３６が特定したＮ個の選択識別子ｄ[1]〜ｄ[N]の時系列が音楽生成部３８に指示される。
【００２０】
具体的には、素材選択部３６は、Ｎ個の特徴データＦ[1]〜Ｆ[N]の各々（Ｆ[n]）について、当該特徴データＦ[n]と参照データＲとの相関（類否）の度合を示す相関指標値Ｃを参照テーブルＴBL1内の参照データＲ毎に算定し、複数の参照データＲのうち相関指標値Ｃが示す相関が高い参照データＲに含まれる識別子ｄを選択識別子ｄ[n]として特定する。例えば特徴データＦ[n]と参照データＲとの距離（ユークリッド距離）が相関指標値Ｃとして好適に採用される。相関指標値Ｃを距離とした場合には相関指標値Ｃが小さいほど特徴データＦ[n]と参照データＲとの相関が高いから、素材選択部３６は、相関指標値Ｃが最小値となる参照データＲの識別子ｄを選択識別子ｄ[n]として特定する。
【００２１】
音楽生成部３８は、素材選択部３６が選択したＮ個の素材データＳ[1]〜Ｓ[N]を利用して音響信号Ａを生成する。具体的には、音楽生成部３８は、素材選択部３６から指示される選択識別子ｄ[1]〜ｄ[N]の各々に対応する素材データＳ[1]〜Ｓ[N]（すなわち素材選択部３６が選択した素材データＳ）を記憶装置２４から取得して時間軸上で相互に連結し、連結後の素材データＳ[1]〜Ｓ[N]から音響信号Ａを生成する。素材データＳ[1]〜Ｓ[N]から音響信号Ａを生成する処理には、VST（Virtual Studio Technology）で規定されるVSTi（VST instrument）に準拠したソフトウェアシンセサイザ（シーケンサ）が好適に利用される（「ＶＳＴ」は登録商標）。なお、素材データＳ[1]〜Ｓ[N]の各々を音響信号に変換してから相互に連結する構成も採用され得る。
【００２２】
音楽生成部３８が生成した音響信号Ａは、表示制御部３２がＮ個の指定画像データＧ[1]〜Ｇ[N]を表示装置１２に表示させる動作に並行（同期）して、放音装置１４に供給されて音波として再生される。したがって、利用者が選択したＮ個の画像の表示（スライドショー）に並行して、各画像の印象に合致した音楽が放音装置１４から再生される。なお、素材選択部３６による素材データＳ[1]〜Ｓ[N]の選択や音楽生成部３８による音響信号Ａの生成は、Ｎ個の画像の表示に並行して実行され得る（リアルタイム処理）。ただし、素材データＳ[1]〜Ｓ[N]の選択や音響信号Ａの生成をＮ個の画像の表示前に予め実行しておく構成（非リアルタイム処理）も好適である。
【００２３】
以上に説明したように、第１実施形態においては、複数（Ｎ個）の画像の各々の特徴量ｆkに応じて時系列に選択されたＮ個の素材データＳ[1]〜Ｓ[N]を利用して音響信号Ａが生成されるから、１枚の画像の特徴のみから音楽を生成する特許文献１の技術と比較して多様な音楽を生成できるという利点がある。
【００２４】
＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００２５】
利用者は、入力装置１６を適宜に操作することで、Ｎ個の指定画像データＧ[1]〜Ｇ[N]の各々について、表示装置１２に時系列に表示される複数の画像の展開（スライドショーの全体的な流れ）における位置付け（以下「展開種別」という）Ｐを指定する。展開種別Ｐは、例えば、「起」，「承」，「転」，「結」および「ネタ」の何れかに設定される。「ネタ」は、通常の展開（起承転結）から外れた内容で鑑賞者の笑いを誘う画像を意味する。特徴取得部３４は、図３に示すように、指定画像データＧ[n]から抽出されたＫ種類の特徴量ｆ1〜ｆKの数値と、指定画像データＧ[n]に指定された展開種別Ｐとを含む特徴データＦ[n]を、Ｎ個の指定画像データＧ[1]〜Ｇ[N]の各々について生成する。
【００２６】
図４に示すように、第２実施形態における参照テーブルＴBL1の各参照データＲは、第１実施形態と同様の素材データＳの識別子ｄとＫ種類の特徴量ｆ1〜ｆKとに展開種別Ｐを追加した構成である。素材データＳが示す音楽の印象に合致した展開種別Ｐが参照データＲに事前に設定される。例えば、楽曲の開始に相応しい音楽の素材データＳの参照データＲの展開種別Ｐは「起」に設定され、鑑賞者の笑いを誘う音楽の素材データＳの参照データＲの展開種別Ｐは「ネタ」に設定される。
【００２７】
素材選択部３６は、特徴取得部３４が順次に生成する各特徴データＦ[n]について、参照テーブルＴBL1の複数の参照データＲのうち展開種別Ｐが当該特徴データＦ[n]と共通する複数の参照データＲのなかから、Ｋ種類の特徴量ｆ1〜ｆKの相関指標値Ｃが最大の相関を示す参照データＲを選択し、当該参照データＲの識別子ｄを選択識別子ｄ[n]として特定する。すなわち、素材選択部３６は、利用者が指定画像データＧ[n]について指定した展開種別Ｐ（特徴データＦ[n]内の展開種別Ｐ）に印象が合致する音楽の素材データＳを選択する。例えば、展開種別Ｐが「起」に設定された指定画像データＧ[n]については、「起」の印象に合致する音楽（例えば楽曲の始まりを連想させる音楽）の素材データＳ[n]が選択され、展開種別Ｐが「ネタ」に設定された指定画像データＧ[n]については、「ネタ」の印象に合致する音楽（例えば笑いを誘う音楽）の素材データＳ[n]が選択される。
【００２８】
素材データＳ[1]〜Ｓ[N]に応じた音響信号Ａを音楽生成部３８が生成する動作は第１実施形態と同様である。第２実施形態においては、第１実施形態と同様の効果が実現されるほか、表示装置１２に表示される画像の展開に合致した印象の音楽を生成できるという利点がある。
【００２９】
＜Ｃ：第３実施形態＞
第１実施形態においては特徴取得部３４が各指定画像データＧ[n]から特徴データＦ[n]（特徴量ｆk）を抽出した。第３実施形態においては、特徴データＦ[n]の特徴量ｆ1〜ｆKの各数値が利用者からの指示に応じて可変に設定される。
【００３０】
図５は、特徴データＦ[n]の特徴量ｆ1〜ｆKの数値を利用者が指示するために表示制御部３２が表示装置１２に表示させる画像（以下「変数指示画面」という）６０の模式図である。図５に示すように、変数指示画面６０の領域６１には、各特徴量ｆkの複数の候補値（−５〜＋５）と、展開種別Ｐの複数の選択肢とが表示される。利用者は、入力装置１６を適宜に操作することで、各特徴量ｆkの数値を複数の候補値から選択し、展開種別Ｐを複数の選択肢から選択することが可能である。
【００３１】
特徴量ｆ1〜ｆKおよび展開種別Ｐの指定後に利用者が操作子（追加）６４を操作すると、特徴取得部３４は、現段階で指定されている各特徴量ｆkと展開種別Ｐとを含む特徴データＦ[n]を生成して記憶装置２４に記憶する。以上の操作が反復されることでＮ個の特徴データＦ[1]〜Ｆ[N]の時系列が記憶装置２４に生成される。他方、表示制御部３２は、図５に示すように、特徴取得部３４が生成した特徴データＦ[n]の内容を変数指示画面６０の領域６２に表示する。
【００３２】
利用者が操作子（再生）６５を操作すると、表示制御部３２は、Ｎ個の指定画像データＧ[1]〜Ｇ[N]を順次に表示装置１２に供給して画像を表示させる。他方、特徴取得部３４は、利用者からの指示に応じて生成したＮ個の特徴データＦ[1]〜Ｆ[N]を記憶装置２４から順次に取得して素材選択部３６に指示する。素材選択部３６による素材データＳ[1]〜Ｓ[N]の選択や音楽生成部３８による音響信号Ａの生成は第１実施形態と同様である。以上の形態においては、利用者からの指示に応じて特徴データＦ[n]が生成されるから、第１実施形態や第２実施形態と比較して、利用者の意図を忠実に反映した音響信号Ａを生成できるという利点がある。
【００３３】
＜Ｄ：第４実施形態＞
第４実施形態に係る音楽生成装置１００の記憶装置２４は、以上の各形態で例示した要素（プログラムＰGM，画像データＧ，素材データＳ，参照テーブルＴBL1）に加えて図６の調和度テーブルＴBL2を記憶する。図６に示すように、調和度テーブルＴBL2は、記憶装置２４内の複数の素材データＳから２個の素材データＳを選択する全通りの組合せについて調和度Ｈ（Ｈab，Ｈac，……）が設定されたデータテーブルである。調和度Ｈは、各素材データＳの音楽的な調和の度合（時間軸上で前後に連結したときの音楽的な自然さ）の指標となる数値である。調和度テーブルＴBL2の各調和度Ｈは、各素材データＳの受聴の結果に応じて事前に設定される。例えば、音色やリズム等の音楽的な特性が相互に類似する各素材データＳの調和度Ｈは大きい数値に設定される。
【００３４】
第４実施形態の素材選択部３６は、参照テーブルＴBL1に加えて調和度テーブルＴBL2を利用して特徴データＦ[n]に応じた素材データＳ[n]を選択する。具体的には、素材選択部３６は、特徴データＦ[n]の各特徴量ｆkと相関（類似）する参照データＲに対応し、かつ、直前に選択した素材データＳ[n-1]に対して調和度テーブルＴBL2に設定された調和度Ｈが高い素材データＳ[n]を選択する。例えば、素材選択部３６は、特徴データＦ[n]との相関が高い順番（相関指標値Ｃ（距離）の昇順）で上位に位置する所定個の参照データＲの集合を参照テーブルＴBL1から特定し、当該集合内の各参照データＲに対応する素材データＳのうち直前の素材データＳ[n-1]との調和度Ｈが最大となる素材データＳの識別子ｄを選択識別子ｄ[n]として選択（すなわち素材データＳ[n]を選択）する。素材データＳ[1]〜Ｓ[N]を利用した音響信号Ａの生成は第１実施形態と同様である。
【００３５】
第４実施形態においても第１実施形態と同様の効果が実現される。また、第４実施形態においては、直前の素材データＳ[n-1]との音楽的な調和度Ｈが高い素材データＳ[n]が選択されるから、音楽的に統一感のある音響信号Ａを生成することが可能である。
【００３６】
＜Ｅ：第５実施形態＞
素材選択部３６が１個の素材データＳを複数の指定画像データＧ[n]について重複して選択し得る構成では、当該素材データＳが何度も反復される単調な音響信号Ａが生成される可能性がある。第５実施形態は、素材データＳの重複的な選択を抑制することで変化に富んだ音響信号Ａを生成する形態である。
【００３７】
第５実施形態に係る音楽生成装置１００の素材選択部３６は、記憶装置２４に記憶された複数の素材データＳのうち一連の指定画像データＧ[1]〜Ｇ[N]の処理のなかで過去に選択した素材データＳについて選択の優先度を低下させる。すなわち、過去に選択した素材データＳを選択され難くする。例えば、素材選択部３６は、記憶装置２４内の複数の素材データＳのうち過去に選択した素材データＳ（Ｓ[1]〜Ｓ[n-1]）を、今回の素材データＳ[n]の選択の候補から除外する。
【００３８】
以上の構成によれば、１個の素材データＳが複数の指定画像データＧ[n]について重複して選択される可能性が低減されるから、音響信号Ａにおける１個の素材データＳの反復が防止される。したがって、変化に富んだ多様な音響信号Ａを生成できるという利点がある。
【００３９】
＜Ｆ：変形例＞
以上の各形態は多様に変形される。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。
【００４０】
（１）変形例１  
第１実施形態から第５実施形態では１個の画像データＧについて１個の素材データＳを選択したが、１個の画像データＧについて複数の素材データＳを選択する構成も採用され得る。具体的には、指定画像データＧ[n]の特徴データＦ[n]との相関が高い順番で上位に位置する複数の素材データＳを選択および連結する構成が好適に採用される。以上の構成においては、１個の画像が表示装置１２に表示される期間内に複数の素材データＳを連結した音楽が再生される。
【００４１】
（２）変形例２  
以上の各形態においては、Ｎ個の指定画像データＧ[1]〜Ｇ[N]の各々について特徴データＦ[n]に応じた素材データＳ[n]を選択したが、例えば時系列の最初に位置する所定個の指定画像データＧ[n]（例えば最初の指定画像データＧ[1]）については、指定画像データＧ[n]の特徴データＦ[n]とは無関係に所定の素材データＳ（例えば楽曲の開始に相応しい音楽の素材データＳ）を選択する構成も採用され得る。同様に、時系列の最後に位置する所定個の指定画像データＧ[n]（例えば最後の指定画像データＧ[N]）について、特徴データＦ[n]とは無関係に所定の素材データＳ（例えば楽曲の最後に相応しい音楽の素材データＳ）を選択する構成も採用され得る。以上の構成によれば、音響信号Ａの途中の区間について各画像に相応しい音楽を選択しながら、最初の区間と最後の区間とにおける音楽的な違和感が少ない音響信号Ａを生成することが可能である。
【００４２】
（３）変形例３  
以上の各形態では、素材データＳ[n]を利用した音響信号Ａの生成の方法は適宜に変更される。具体的には、素材選択部３６が選択した各素材データＳ[n]に対して所定の加工を実行したうえで音響信号Ａを生成する構成も採用され得る。例えば、音楽生成部３８は、各素材データＳ[n]が示す音楽の特性（例えばキーやテンポ）を特徴データＦ[n]の各特徴量ｆkに応じて変更してから音響信号Ａを生成する。特徴データＦ[n]に応じた素材データＳ[n]の加工の方法は任意であるが、例えば、特徴データＦ[n]の特徴量ｆkが示す画像の明度が高い場合や、画像内の人物の人数が多い場合に、素材データＳ[n]が示す音楽のキーやテンポを上昇させるといった処理が例示される。
【００４３】
（４）変形例４  
相関指標値Ｃは、特徴データＦ[n]と参照データＲとの距離に限定されない。例えば、特徴データＦ[n]と参照データＲとの内積が相関指標値Ｃとして好適に採用される。相関指標値Ｃとして内積を採用した構成では、特徴データＦ[n]と参照データＲとの相関（類似度）が高いほど相関指標値Ｃが大きい数値となる。
【００４４】
（５）変形例５  
以上の各形態では、複数の素材データＳと複数の参照データＲ（参照テーブルＴBL1）とを単一の記憶装置２４に記憶したが、複数の素材データＳを記憶する記憶装置（素材記憶手段）と複数の参照データＲを記憶する記憶装置（参照値記憶手段）とを個別に設置した構成も採用され得る。また、第４実施形態の調和度テーブルＴBL2は、素材データＳや参照データＲとは別個の記憶装置に格納され得る。
【００４５】
（６）変形例６  
以上の各形態における音楽生成装置１００は、複数の端末装置（例えばパーソナルコンピュータ）に音楽生成のサービスを提供するサーバ装置としても利用され得る。例えば、図７に示すように、端末装置７０と音楽生成装置１００とが通信網（例えばインターネット）７２を介して相互に通信する通信システムでは、端末装置７０から送信されたＮ個の指定画像データＧ[1]〜Ｇ[N]の系列を音楽生成装置１００が受信し、指定画像データＧ[1]〜Ｇ[N]を利用して生成した音響信号Ａを音楽生成装置１００が端末装置７０に送信する構成が好適に採用される。
【００４６】
（７）変形例７  
以上の各形態ではＳＭＦ形式の素材データＳを例示したが、素材データＳの形式は任意に変更される。例えば、音楽の時間波形を表す素材データＳや音楽の特徴（例えば周波数スペクトル）の時系列を表す素材データＳを採用することも可能である。すなわち、以上の各例示における素材データＳは、音楽を示すデータとして包括される。
【００４７】
（８）変形例８  
以上の各形態においては、特徴取得部３４が指定画像データＧ[n]から特徴データＦ[n]を生成したが、特徴データＦ[n]が事前に用意された構成も採用され得る。例えば、記憶装置２４に格納された特徴データＦ[n]を特徴取得部３４が取得する構成や、他装置から送信された特徴データＦ[n]を特徴取得部３４が通信網を介して取得する構成も採用され得る。以上の例示から理解されるように、特徴取得部３４は、特徴データＦ[n]を取得する要素として包括され、指定画像データＧ[n]等の他のデータから特徴取得部３４が特徴データＦ[n]を生成するのか、事前に用意された特徴データＦ[n]を特徴取得部３４が取得するのかは不問である。
【符号の説明】
【００４８】
１００……音楽生成装置、１２……表示装置、１４……放音装置、１６……入力装置、２２……演算処理装置、２４……記憶装置、３２……表示制御部、３４……特徴取得部、３６……素材選択部、３８……音楽生成部。
【図１】
2011248067.tif 000003
【図２】
2011248067.tif 000004
【図３】
2011248067.tif 000005
【図４】
2011248067.tif 000006
【図５】
2011248067.tif 000007
【図６】
2011248067.tif 000008
【図７】
2011248067.tif 000009