(57)【要約】【課題】入力データにおける特定の効果に応じて、任意の音響データを生成する。【解決手段】本発明の音響データ生成装置は、任意の出力信号と共に音響データを生成する音響データ生成装置であって、任意の入力信号および、前記入力信号における印象または属性を入力し、前記印象または属性に応じた効果を前記出力信号に付与する効果付与部３０−２と、前記印象、属性または前記効果を付与した出力信号に基づいて、任意の音響データを生成する音響生成部３０−３と、を備える。【選択図】図２
2014029469.tif 000002
【特許請求の範囲】
【請求項１】
任意の出力信号と共に少なくとも一つの音響データを生成する音響データ生成装置であって、
任意の入力信号および、前記入力信号における印象または属性を入力し、
前記印象または属性に応じた効果を前記出力信号に付与する効果付与部と、
前記印象、属性または前記効果を付与した出力信号に基づいて、少なくとも一つの音響データを生成する音響生成部と、を備えることを特徴とする音響データ生成装置。
【請求項２】
任意の画像データおよび、前記画像データの印象または属性を入力し、
前記効果付与部は、前記印象または属性に応じた効果を前記画像データに基づく画像に付与し、
前記音響生成部は、前記印象、属性または前記効果の少なくとも一つを付与した画像に基づいて、少なくとも一つの音響データを生成することを特徴とする請求項１記載の音響データ生成装置。
【請求項３】
任意の入力信号を入力し、前記入力信号の印象または属性を判定する属性検出部を更に備えることを特徴とする請求項１または請求項２の音響データ生成装置。
【請求項４】
前記効果付与部で効果が付与された出力信号および前記音響生成部で生成された音響データを同時に再生する音響再生部を更に備えることを特徴とする請求項１から請求項３のいずれかに記載の音響データ生成装置。
【請求項５】
前記効果付与部で効果が付与された出力信号を表示する画面を有することを特徴とする請求項１から請求項４のいずれかに記載の音響データ生成装置。
【請求項６】
前記音響データは、ＰＣＭ（Pulse Code Modulation）、ＷＡＶ（Waveform Audio Format）、ＭＩＤＩ（Musical Instrument Digital Interface）、楽譜または歌詞のいずれかであることを特徴とする請求項１から請求項５のいずれかに記載の音響データ生成装置。
【請求項７】
前記画面は、スクリーン、ディスプレイ、テレビ、建築物の壁面、窓、ガラス、鏡またはパネルのいずれかであることを特徴とする請求項５記載の音響データ生成装置。
【請求項８】
前記効果付与部は、所定時間内に前記画像の大きさ、縦横比、コントラスト、明度、彩度の少なくとも一つを変化させ、または所定時間内に前記画像を回転させ、反転させ、縮小させ、拡大させる操作の少なくとも一つを行なうことを特徴とする請求項２から請求項７のいずれかに記載の音響データ生成装置。
【請求項９】
前記効果付与部で効果が付与された出力信号および前記音響生成部で生成された音響データの同期を取りながら再生する音響再生部を更に備えることを特徴とする請求項１から請求項３のいずれかに記載の音響データ生成装置。
【請求項１０】
前記効果付与部で効果が付与された出力信号および前記音響生成部で生成された音響データをサーバにアップロードする音響転送部を更に備えることを特徴とする請求項１から請求項９のいずれかに記載の音響データ生成装置。
【請求項１１】
任意の出力信号と共に音響データを生成するプログラムであって、
任意の入力信号および、前記入力信号における印象または属性を入力し、前記印象または属性に応じた効果を前記出力信号に付与する処理と、
前記印象、属性または前記効果を付与した出力信号に基づいて、少なくとも一つの音響データを生成する処理と、の一連の処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
前記効果が付与された出力信号および前記生成された音響データの同期を取りながら再生する処理を更に含むことを特徴とする請求項１１記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の効果に応じて、少なくとも一つの音響データを生成する音響データ生成装置およびプログラムに関する。
【背景技術】
【０００２】
従来から、テキストデータや画像データなど、任意の情報に基づいて、著作権を有しない任意の音響信号を自動的に生成する技術が知られている。例えば、特許文献１に開示されている技術では、写真、動画、嗜好など、ユーザの個人情報を予めサーバに登録し、それらの情報を基に自動作曲プログラムによって作曲されたユーザ固有の音楽を提供する。
【０００３】
また、特許文献２には、テキストデータまたは画像データから曲の素材選択に利用するパラメータを抽出し、それらのパラメータに基づいて、コード進行、メロディ、ベース及び飾りを選択して楽曲を生成する技術が開示されている。
【０００４】
さらに、特許文献３には、ユーザが演奏や歌唱等に基づいて音の入力をする際に、演奏操作や発声等がなされた時の時間的な位置に対して適切な音を再生する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２６６７２５号公報
【特許文献２】特開２００１−３５０４７２号公報
【特許文献３】特開２０１２−１３７７５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されている技術では、単一の写真を読み込んで一定長の音楽を作成する場合に限られている。このため、複数の写真を短時間に切り替えながら再生するスライドショー等のＢＧＭで利用する場合、再生される写真とは異なる写真に基づいて作成された音楽が再生されたり、音楽が最後まで行きつく前に次の音楽に切り替わったりしてしまう。また、自動作曲プログラムをサーバで実行しているため、ユーザ情報が更新された場合、瞬時に音楽を更新できないといった課題がある。
【０００７】
また、特許文献２に開示されている技術では、顔の輪郭、顔の長さ、目の間隔等の情報に基づいて、曲の素材選択に利用するパラメータを抽出しており、人物以外の画像が入力されると、実施できない場合がある。さらに、画像の再生と同時に生成された音楽を再生することが想定されていないため、任意時刻での画像の提示方法と楽曲の雰囲気が一致せず、利用者の満足度を低下させる可能性がある。
【０００８】
さらに、特許文献３に開示されている技術では、ユーザの入力と演奏する楽曲とで同期を保つために、楽曲データ、その楽曲データが再生されたときに時間的な再生位置を示す再生時刻データ、楽曲における小節線の時間的な位置を示す小節線時刻データを予め登録しておく必要があり、膨大な手間を要する。また、音信号のみの制御により、同期を保っているため、画像処理による動作遅延等、音以外の要因で同期のずれが生じると、実施できない場合がある。
【０００９】
本発明は、このような事情に鑑みてなされたものであり、入力データにおける特定の効果に応じて、少なくとも一つの音響データを生成させ、効果と音響データの同期を保ちながら再生することができる音響データ生成装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の音響データ生成装置は、任意の出力信号と共に少なくとも一つの音響データを生成する音響データ生成装置であって、任意の入力信号および、前記入力信号における印象または属性を入力し、前記印象または属性に応じた効果を前記出力信号に付与する効果付与部と、前記印象、属性または前記効果を付与した出力信号に基づいて、少なくとも一つの音響データを生成する音響生成部と、を備えることを特徴とする。
【００１１】
このように、任意の入力信号および、入力信号における印象または属性を入力し、印象または属性に応じた効果を出力信号に付与し、印象、属性または効果を付与した出力信号に基づいて、少なくとも一つの音響データを生成するので、連続して入力されるデータに対して、常に対応する音響データを連続的に生成することが可能となる。
【００１２】
（２）また、本発明の音響データ生成装置は、任意の画像データおよび、前記画像データの印象または属性を入力し、前記効果付与部は、前記印象または属性に応じた効果を前記画像データに基づく画像に付与し、前記音響生成部は、前記印象、属性または前記効果の少なくとも一つを付与した画像に基づいて、少なくとも一つの音響データを生成することを特徴とする。
【００１３】
このように、任意の画像データおよび、画像データの印象または属性を入力し、印象または属性に応じた効果を画像データに基づく画像に付与し、印象または属性または効果を付与した画像に基づいて、少なくとも一つの音響データを生成するので、連続して入力されるデータに対して、常に対応する音響データを連続的に生成することが可能となる。
【００１４】
（３）また、本発明の音響データ生成装置は、任意の入力信号を入力し、前記入力信号の印象または属性を判定する属性検出部を更に備えることを特徴とする。
【００１５】
このように、任意の入力信号を入力し、入力信号の印象または属性を判定するので、入力信号に対応する音響データを生成することが可能となる。
【００１６】
（４）また、本発明の音響データ生成装置は、前記効果付与部で効果が付与された出力信号および前記音響生成部で生成された音響データを同時に再生する音響再生部を更に備えることを特徴とする。
【００１７】
このように、効果が付与された出力信号および音響生成部で生成された音響データを同時に再生するので、ユーザに対して入力信号に応じた音を聴かせることが可能となる。
【００１８】
（５）また、本発明の音響データ生成装置は、前記効果付与部で効果が付与された出力信号を表示する画面を有することを特徴とする。
【００１９】
このように、効果が付与された出力信号を表示する画面を有するので、ユーザに対して入力信号に応じた画像を見せることが可能となる。
【００２０】
（６）また、本発明の音響データ生成装置において、前記音響データは、ＰＣＭ（Pulse Code Modulation）、ＷＡＶ（Waveform Audio Format）、ＭＩＤＩ（Musical Instrument Digtal Interface）、楽譜または歌詞のいずれかであることを特徴とする。
【００２１】
このように、音響データは、ＰＣＭ、ＷＡＶ、ＭＩＤＩ、楽譜または歌詞のいずれかであるので、種々の形式で音響データを生成することが可能となる。
【００２２】
（７）また、本発明の音響データ生成装置において、前記画面は、スクリーン、ディスプレイ、テレビ、建築物の壁面、窓、ガラス、鏡またはパネルのいずれかであることを特徴とする。
【００２３】
このように、画面は、スクリーン、ディスプレイ、テレビ、建築物の壁面、窓、ガラス、鏡またはパネルのいずれかであるので、ユーザに対して、種々の形態での表示を行なうことが可能となる。
【００２４】
（８）また、本発明の音響データ生成装置において、前記効果付与部は、所定時間内に前記画像の大きさ、縦横比、コントラスト、明度、彩度の少なくとも一つを変化させ、または所定時間内に前記画像を回転させ、反転させ、縮小させ、拡大させる操作の少なくとも一つを行なうことを特徴とする。
【００２５】
このように、所定時間内に画像の大きさ、縦横比、コントラスト、明度、彩度の少なくとも一つを変化させ、または所定時間内に画像を回転させ、反転させ、縮小させ、拡大させる操作の少なくとも一つを行なうので、種々の画像上の効果を与えることが可能となる。
【００２６】
（９）また、本発明の音響データ生成装置は、前記効果付与部で効果が付与された出力信号および前記音響生成部で生成された音響データの同期を取りながら再生する音響再生部を更に備えることを特徴とする。
【００２７】
このように、効果付与部で効果が付与された出力信号および前記音響生成部で生成された音響データの同期を取りながら再生するので、音響データが再生される時の時間的な再生位置を示す再生時刻データを予め登録しておかなくても、効果が付与された出力信号、生成された少なくとも一つの音響データの同期を保ちながら再生することが可能となる。
【００２８】
（１０）また、本発明の音響データ生成装置は、前記効果付与部で効果が付与された出力信号および前記音響生成部で生成された音響データをサーバにアップロードする音響転送部を更に備えることを特徴とする。
【００２９】
このように、効果付与部で効果が付与された出力信号および音響生成部で生成された音響データをサーバにアップロードするので、視覚効果が付与された写真データ群、生成した伴奏データ、旋律データを、例えば、クラウドサービス等で共有することが可能となる。
【００３０】
（１１）また、本発明のプログラムは、任意の出力信号と共に音響データを生成するプログラムであって、任意の入力信号および、前記入力信号における印象または属性を入力し、前記印象または属性に応じた効果を前記出力信号に付与する処理と、前記印象、属性または前記効果を付与した出力信号に基づいて、少なくとも一つの音響データを生成する処理と、の一連の処理をコンピュータに実行させることを特徴とする。
【００３１】
このように、任意の入力信号および、入力信号における印象または属性を入力し、印象または属性に応じた効果を出力信号に付与し、印象、属性または効果を付与した出力信号に基づいて、少なくとも一つの音響データを生成するので、連続して入力されるデータに対して、常に対応する音響データを連続的に生成することが可能となる。
【００３２】
（１２）また、本発明のプログラムは、前記効果が付与された出力信号および前記生成された音響データの同期を取りながら再生する処理を更に含むことを特徴とする。
【００３３】
このように、効果が付与された出力信号および生成された音響データの同期を取りながら再生するので、音響データが再生される時の時間的な再生位置を示す再生時刻データを予め登録しておかなくても、効果が付与された出力信号、生成された少なくとも一つの音響データの同期を保ちながら再生することが可能となる。
【発明の効果】
【００３４】
本発明によれば、連続して入力されるデータに対して、常に対応する音響データを連続的に生成することができる。さらに、入力データとして画像データを入力すれば、人物に限らず任意の画像データに対しても、常に対応する音響データを連続的に生成することが可能となる。
【図面の簡単な説明】
【００３５】
【図１】本実施形態に係る音響生成装置の概略構成を示す図である。
【図２】本実施形態に係る音響生成装置１の機能を示すブロック図である。
【図３】本実施形態に係る音響生成装置１の動作を示すフローチャートである。
【図４】視覚効果に基づいて形成した旋律の一例を示す図である。
【図５】視覚効果に基づいて形成した旋律の一例を示す図である。
【図６】視覚効果に基づいて形成した旋律の一例を示す図である。
【図７】視覚効果に基づいて形成した旋律の一例を示す図である。
【図８】視覚効果に基づいて形成した旋律の一例を示す図である。
【図９】視覚効果に基づいて形成した旋律の一例を示す図である。
【図１０】視覚効果に基づいて形成した旋律の一例を示す図である。
【図１１】視覚効果に基づいて形成した旋律の一例を示す図である。
【図１２】視覚効果に基づいて形成した旋律の一例を示す図である。
【図１３】視覚効果に基づいて形成した旋律の一例を示す図である。
【図１４】第２の実施形態に係る音響生成装置の概略構成を示す図である。
【図１５】本実施形態に係る音響生成装置１の機能を示すブロック図である。
【図１６】本実施形態に係る音響生成装置１の動作を示すフローチャートである。
【図１７】視覚効果に基づいて形成した旋律の一例を示す図である。
【図１８】視覚効果に基づいて形成した旋律の一例を示す図である。
【図１９】視覚効果に基づいて形成した旋律の一例を示す図である。
【図２０】視覚効果に基づいて形成した旋律の一例を示す図である。
【図２１】視覚効果に基づいて形成した旋律の一例を示す図である。
【図２２】視覚効果に基づいて形成した旋律の一例を示す図である。
【図２３】視覚効果に基づいて形成した旋律の一例を示す図である。
【図２４】視覚効果に基づいて形成した旋律の一例を示す図である。
【図２５】視覚効果に基づいて形成した旋律の一例を示す図である。
【図２６】視覚効果に基づいて形成した旋律の一例を示す図である。
【図２７】視覚効果に基づいて形成した旋律の一例を示す図である。
【図２８】視覚効果に基づいて形成した旋律の一例を示す図である。
【図２９】視覚効果に基づいて形成した旋律の一例を示す図である。
【図３０】視覚効果に基づいて形成した旋律の一例を示す図である。
【図３１】視覚効果に基づいて形成した旋律の一例を示す図である。
【図３２】視覚効果に基づいて形成した旋律の一例を示す図である。
【図３３】視覚効果に基づいて形成した旋律の一例を示す図である。
【図３４】視覚効果に基づいて形成した旋律の一例を示す図である。
【図３５】視覚効果に基づいて形成した旋律の一例を示す図である。
【図３６】視覚効果に基づいて形成した旋律の一例を示す図である。
【発明を実施するための形態】
【００３６】
（第１の実施形態）
本発明の第１の態に係る音響生成装置は、任意の画像データ群を入力し、各入力データにおける輝度を算出すると共に顔画像の検出を行ない、検出された顔画像の有無または属性に応じて視覚効果を付与し、算出された輝度に基づいて和音を選定すると共に付与された視覚効果に基づいて旋律を形成することで音楽データを生成し、視覚効果が付与された画像データおよび生成された音楽データを同時に再生する。これにより、本実施形態では、連続して入力される人物に限らない画像データに対して、常に対応する音楽データを連続的に生成することができる。また、任意時刻での写真の視覚効果と音楽の親和性が高まり、視聴者は魅力的な感覚を味わうことが可能となる。
【００３７】
本実施形態に係る音響生成装置では、入力として、画像を利用する。画像とは、動画・静止画のいずれを含む概念であるが、好ましくは、写真データを利用する。本明細書では、一例として、写真データを用いた音響生成装置を示すが、本発明の技術的思想は、写真データに限定されるわけではなく、任意の信号を入力することができる。また、出力信号も任意である。ここで、任意の信号とは、例えば、画像信号、音響信号、触覚的・臭覚的・味覚的な感度信号、運動信号、温度・湿度などを示す信号などを含む概念である。
【００３８】
また、本実施形態に係る音響生成装置では、入力される写真データにおける顔画像を検出し、検出された顔画像の有無または属性に応じて視覚効果を付与する。本明細書では、一例として、顔画像を検出し、検出された顔画像の有無または属性に応じて視覚効果を付与する方法を示すが、本発明の技術的思想は、これに限定されるわけではなく、任意の写真データに対して視覚効果を付与すれば十分である。
【００３９】
さらに、本実施形態に係る音響生成装置では、入力される写真データにおける輝度を算出すると共に顔画像の検出を行ない顔画像の有無または属性に応じて視覚効果を付与し、算出された輝度に基づいて和音を選定すると共に付与された視覚効果に基づいて旋律を形成することで音楽データを生成する。本明細書では、一例として、算出された輝度に基づいて和音を選定すると共に付与された視覚効果に基づいて旋律を形成する方法を示すが、本発明の技術的思想は、これに限定されるわけではなく、任意の写真データに対して音楽データを生成すれば十分である。
【００４０】
図１は、本実施形態に係る音響生成装置の概略構成を示す図である。図１に示すように、音響生成装置１は、ディスプレイ１０と、スピーカ２０と、ＰＣ（Personal Computer）３０とから構成されている。そして、ＰＣ３０に写真データ４０が入力される。なお、図１では、２つのスピーカ２０ａ、２０ｂが、ディスプレイ１０の両脇に設けられているが、本発明の技術的思想は、これに限定されるわけではなく、任意の写真データに対して音楽データを生成すれば十分である。
【００４１】
ＰＣ３０は、ケーブル３０ａを介して画像再生装置としてのディスプレイ１０に接続されている。また、ＰＣ３０は、ケーブル３０ｂを介して音響再生装置としてのスピーカ２０に接続されている。ＰＣ３０では、入力される写真データ４０における輝度を算出すると共に顔画像の検出を行ない、検出された顔画像の有無または属性に応じて視覚効果を付与し、算出された輝度に基づいて和音を選定すると共に付与された視覚効果に基づいて旋律を形成することで音楽データを生成する。そして、ＰＣ３０は、視覚効果が付与された画像の信号をディスプレイ１０に発信すると共に、生成された音楽の信号をスピーカ２０に発信する。その際、ＰＣ３０において視覚効果が付与された画像はディスプレイ１０にＡ１として映写され、生成された音楽はスピーカ２０からＡ２として放射される。なお、本発明の実施形態に係る音響生成装置では、視覚効果が付与された画像の信号をディスプレイ１０に、生成された音楽の信号をスピーカ２０にそれぞれ発信しなくても構わない。
【００４２】
図２は、本実施形態に係る音響生成装置１の機能を示すブロック図である。ＰＣ３０の属性検出部３０−１は、ユーザの入力操作を受け付けて、入力された任意の写真データ群から各データにおける画像情報を抽出する。すなわち、属性検出部３０−１は、入力される写真データ４０における輝度を算出すると共に顔画像の検出を行なう。また、ＰＣ３０の効果付与部３０−２は、予め定められたルールに基づいて、写真データに視覚効果を付与する。すなわち、効果付与部３０−２は、属性検出部３０−１が検出した顔画像の有無または属性に応じて視覚効果を付与する。ＰＣ３０の音響生成部３０−３は、予め定められたルールに基づいて、音楽データを生成する。すなわち、音響生成部３０−３は、属性検出部３０−１が算出した輝度に基づいて和音を選定すると共に効果付与部３０−２が付与した視覚効果に基づいて旋律を形成することで音楽データを生成する。また、音響再生部３０−４は、視覚効果と音楽を同時に再生する。すなわち、音響再生部３０−４は、効果付与部３０−２が視覚効果を付与した画像の信号をディスプレイ１０に発信すると共に、音響生成部３０−３が生成した音楽の信号をスピーカ２０に発信する。その他の構成については、図１で説明したとおりであるため、説明を省略する。
【００４３】
図３は、本実施形態に係る音響生成装置１の動作を示すフローチャートである。初めに、ＰＣ３０に、写真データ４０を入力する（ステップＳ１）。次に、ＰＣ３０において、入力される写真データ４０に対して、全画素における輝度値の総和を算出する（ステップＳ２）。ここで、入力される写真データをＩ、写真データＩの画素数をＵ×Ｖ、位置（ｉ，ｊ）における輝度値をＹ（ｉ，ｊ）と表す時、輝度値の総和Ｓは式（１）で示される。
【００４４】
【数１】
2014029469.tif 000003
次に、ＰＣ３０において、入力される写真データ４０に対して、顔画像を検出する（ステップＳ３）。写真データＩの全ての画素に対して、位置（ｘ，ｙ）における顔存在判定を行なう。ここで、走査領域の画素数をＭ×Ｎ、位置（ｉ，ｊ）における画素値をＰ（ｉ，ｊ）で表す時、式（２）を用いて、相互相関関数ＲMN（ｘ，ｙ）を算出する。
【００４５】
【数２】
2014029469.tif 000004
なお、ＴMNは、予め多数の顔画像から作成した大きさＭ×Ｎの平均顔テンプレートを示す。ただし、式（３）、式（４）の各文字は、式（５）に示すように領域内の平均値を示している。
【００４６】
【数３】
2014029469.tif 000005
【数４】
2014029469.tif 000006
【数５】
2014029469.tif 000007
【数６】
2014029469.tif 000008
ここで、式（６）が得られれば顔画像と判定し、位置（ｘ，ｙ）を起点とする領域Ｍ×Ｎを顔画像Ｆとして検出する。ただし、θは、顔画像かを判定する閾値を示す。
【００４７】
そして、走査領域のＭとＮを任意の値を変更し、写真データＩにおける全ての画素に対して、顔画像Ｆの検出を行なう。ここで、Ｚ番目に顔であると判定された顔画像をＦZ（ｚ＝１，２，…）、その際の走査領域の大きさをＭZ×ＮZで示す。また、顔画像ＦZの天頂部と顎部を結ぶ直線を顔画像の軸と定義し、ｃZで示す。加えて、顔画像のＦZの正面画像平面における法線ベクトルが表す方向を顔の向きと定義し、ｄZで示す。さらに、顔画像のＦZの笑顔を表す指標を笑顔度と定義し、ｌZで示す。
【００４８】
【数７】
2014029469.tif 000009
ここで、写真データＩにおける顔画像の総数Ｑを式（７）で定義し、この値を保持する。
【００４９】
【数８】
2014029469.tif 000010
また、写真データＩにおける顔画像の占有率Ｏを式（８）で定義し、この値を保持する。
【００５０】
【数９】
2014029469.tif 000011
加えて、写真データＩにおける顔画像の軸Ｃを式（９）で定義し、この値を保持する。
【００５１】
【数１０】
2014029469.tif 000012
さらに、写真データＩにおける顔画像の向きＤを式（１０）で定義し、この値を保持する。
【００５２】
【数１１】
2014029469.tif 000013
最後に、写真データＩにおける顔画像の笑顔度Ｌを式（１１）で定義し、この値を保持する。
【００５３】
次に、ＰＣ３０において、検出された顔画像の有無または属性に応じて視覚効果を付与する（ステップＳ４）。ここでは、一般的な画像エフェクトを用いて説明する。なお、以下に示す視覚効果は、あくまでも例示であって、本発明はこれらに限定されるわけではない。
【００５４】
写真データＩにおける顔画像の総数Ｑ、占有率Ｏ、軸Ｃ、向きＤ、笑顔度Ｌが、以下の条件が満たされたかどうかを判断する。
【００５５】
「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、画像を「ストレッチ」する視覚効果を付与する。ただし、Θｑは写真データＩの殆どが顔画像か否かを判定する閾値、ΘｌMINは泣き顔か否かを判定する閾値、ΘｌMAXは笑顔か否かを判定する閾値を示す。
【００５６】
「Ｑ＝１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｄが正面」かつ「Ｌ＜ΘｌMIN」が得られれば、Ｍz×Ｎzの中心座標に向かって「拡大」する視覚効果を付与する。
【００５７】
「Ｑ＝１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｄが正面」かつ「Ｌ＞ΘｌMAX」が得られれば、Ｍz×Ｎzの中心座標に向かって「収縮」する視覚効果を付与する。
【００５８】
「Ｑ＞１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｄが正面」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、「ターン」と呼ばれる視覚効果を付与する。
【００５９】
「Ｑ＞１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｄが正面でない」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、上方に向かって「移動」する視覚効果を付与する。
【００６０】
「Ｏ＜Θｑ」かつ「Ｄが画像の下向き」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、下方に向かって「移動」する視覚効果を付与する。
【００６１】
「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行でない」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、「ピンウィール」と呼ばれる視覚効果を付与する。
【００６２】
「Ｏ＞Θｑ」かつ「画像の縦軸とＣが平行」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、「フラッシュバルブ」と呼ばれる視覚効果を付与する。
【００６３】
「Ｑ＞１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｌ＞ΘｌMAX」が得られれば、「爆破」と呼ばれる視覚効果を付与する。
【００６４】
「Ｑ＞１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｌ＜ΘｌMIN」が得られれば、「フェードアウト」と呼ばれる視覚効果を付与する。
【００６５】
次に、ＰＣ３０において、算出された輝度に基づいて、予め和音テーブルに用意された和音を選定する（ステップＳ５）。この和音テーブルは、"明るい"、"暗い"、"黄昏"を連想させる複数の和音から構成される。写真データＩにおける顔画像の輝度Ｓが、以下の条件が満たされたかどうかを判断する。
【００６６】
「Ｓ＞ΦB」が得られれば、和音テーブルの「明るい」の欄から和音列をランダムに１つ選択する。ただし、ΦBは、写真データＩが明るいか否かを判定する閾値である。
【００６７】
「ΦD＜Ｓ＜ΦB」が得られれば、和音テーブルから「黄昏」の和音列をランダムに１つ選択する。ただし、ΦDは、写真データＩが明るいか否かを判定する閾値である。
【００６８】
「Ｓ＜ΦD」が得られれば、和音テーブルから「暗い」の和音列をランダム１1つ選択する。
【００６９】
次に、ＰＣ３０において、付与された視覚効果に基づいて旋律を形成する（ステップＳ６）。写真データＩに付与された視覚効果が、以下の条件が満たされたかどうかを判断する。なお、以下に示す旋律は、あくまでも例示であって、本発明はこれらに限定されるわけではない。
【００７０】
写真データＩに付与された視覚効果が「ピンウィール」である場合、図４で示すような強い音が出現する旋律を形成する。
【００７１】
写真データＩに付与された視覚効果が「フラッシュバルブ」である場合、図５で示すような同じ音の高さが連続する旋律を形成する。
【００７２】
写真データＩに付与された視覚効果が「ターン」である場合、図６で示すような同じ音高パターンが繰り返し出現する旋律を形成する。
【００７３】
写真データＩに付与された視覚効果が上方に向かって「移動」である場合、図７で示すような音の高さが連続して上昇する旋律を形成する。
【００７４】
写真データＩに付与された視覚効果が下方に向かって「移動」である場合、図８で示すような音の高さが連続して下降する旋律を形成する。
【００７５】
写真データＩに付与された視覚効果が「拡大」である場合、図９で示すような低い音が連続して出現する旋律を形成する。
【００７６】
写真データＩに付与された視覚効果が「収縮」である場合、図１０で示すような高い音が連続して出現する旋律を形成する。
【００７７】
写真データＩに付与された視覚効果が「爆破」である場合、図１１で示すような長い音が出現する旋律を形成する。
【００７８】
写真データＩに付与された視覚効果が「ストレッチアウト」である場合、図１２で示すような激しく音高が変化する旋律を形成する。
【００７９】
写真データＩに付与された視覚効果が「フェードアウト」である場合、図１３で示すような無音が出現する旋律を形成する。
【００８０】
次に、処理対処とするすべての写真を処理したかどうかを判断し（ステップＳ７）、すべての写真を処理していない場合は、入力するデータを次の写真に変更し（ステップＳ８）、ステップＳ２に遷移する。ステップＳ７において、すべての写真を処理した場合は、ＰＣ３０において、入力される全ての写真データ４０に対して旋律を形成し、音楽データを生成する（ステップＳ９）。なお、小節の最初の音を限定することにより、次小節との音楽的な繋がりが向上する場合があるため、これを考慮してもよい。
【００８１】
最後に、視覚効果が付与された画像データをディスプレイ１０に映写すると共に、生成された音楽データをスピーカ２０から放射する（ステップＳ１０）。
【００８２】
以上説明したように、本実施形態によれば、ＰＣ３０に入力される写真データ４０における輝度を算出すると共に顔画像の検出を行ない、検出された顔画像の有無または属性に応じて視覚効果を付与し、算出された輝度に基づいて和音を選定すると共に付与された視覚効果に基づいて旋律を形成することで音楽データを生成し、視覚効果が付与された画像データをディスプレイ１０に発信すると共に、生成された音楽データをスピーカ２０に発信する。その際、ＰＣ３０において生成された映像はディスプレイ１０にＡ１として映写され、任意の音響はスピーカ２０からＡ２として放射される。これにより、本実施形態では、連続して入力される人物に限らない画像データに対して、常に対応する音楽データを連続的に生成することができる。また、任意時刻での写真の視覚効果と音楽の親和性が高まり、視聴者は魅力的な感覚を味わうことが可能となる。
【００８３】
（第２の実施形態）
本発明の第２実施形態に係る音響生成装置は、任意の画像データ群を入力し、各入力データにおける輝度を算出すると共に顔画像の検出を行ない、検出された顔画像の有無または属性に応じて視覚効果を付与し、算出された輝度に基づいて伴奏を生成すると共に付与された視覚効果に基づいて旋律を生成し、視覚効果が付与された画像データ、生成された伴奏データ、旋律データの同期を取りながら再生する。これにより、本実施形態では、連続して入力される人物に限らない画像データに対して、常に対応する音楽データを連続的に生成することができる。また、サーバを介さないため、入力される画像データが突如変化した場合でも、その画像データに対応する音楽を生成することができる。
【００８４】
さらに、音楽データが再生される時の時間的な再生位置を示す再生時刻データを予め登録しておかなくても、効果が付与された画像データ、生成された伴奏データ、旋律データの同期を保ちながら再生することが可能となる。とりわけ、画像処理による動作遅延が生じても、効果が付与された画像データ、生成された伴奏データ、旋律データの同期を保ちながら再生することで、任意時刻での写真の視覚効果と音楽の親和性が高まり、視聴者は魅力的な感覚を味わうことが可能となる。
【００８５】
本実施形態に係る音響生成装置では、入力として、画像を利用する。画像とは、動画・静止画のいずれを含む概念であるが、好ましくは、写真データを利用する。本明細書では、一例として、写真データを用いた音響生成装置を示すが、本発明の技術的思想は、写真データに限定されるわけではなく、任意の信号を入力することができる。また、出力信号も任意である。ここで、任意の信号とは、例えば、画像信号、音響信号、触覚的・臭覚的・味覚的な感度信号、運動信号、温度・湿度などを示す信号などを含む概念である。
【００８６】
また、本実施形態に係る音響生成装置では、入力される写真データにおける顔画像を検出し、検出された顔画像の有無または属性に応じて視覚効果を付与する。本明細書では、一例として、顔画像を検出し、検出された顔画像の有無または属性に応じて視覚効果を付与する方法を示すが、本発明の技術的思想は、これに限定されるわけではなく、任意の写真データに対して視覚効果を付与すれば十分である。
【００８７】
さらに、本実施形態に係る音響生成装置では、入力される写真データにおける輝度を算出すると共に顔画像の検出を行い顔画像の有無または属性に応じて視覚効果を付与し、算出された輝度に基づいて伴奏を生成すると共に、付与された視覚効果に基づいて旋律を生成する。本明細書では、一例として、算出された輝度に基づいて伴奏を生成すると共に付与された視覚効果に基づいて旋律を生成する方法を示すが、本発明の技術的思想は、これに限定されるわけではなく、任意の写真データに対して音楽データを生成すれば十分である。
【００８８】
図１４は、第２の実施形態に係る音響生成装置の概略構成を示す図である。第１の実施形態と同様に、音響生成装置１は、ディスプレイ１０と、スピーカ２０と、ＰＣ（Personal Computer）３０とから構成されている。そして、ＰＣ３０に写真データ４０が入力される。なお、図１４では、２つのスピーカ２０ａ、２０ｂが、ディスプレイ１０の両脇に設けられているが、本発明の技術的思想は、これに限定されるわけではなく、任意の写真データに対して音楽データを生成すれば十分である。
【００８９】
ＰＣ３０は、ケーブル３０ａを介して画像再生装置としてのディスプレイ１０に接続されている。また、ＰＣ３０は、ケーブル３０ｂを介して音響再生装置としてのスピーカ２０に接続されている。ＰＣ３０では、入力される写真データ４０における輝度を算出すると共に顔画像の検出を行ない、検出された顔画像の有無または属性に応じて視覚効果を付与し、算出された輝度に基づいて伴奏を生成すると共に付与された視覚効果に基づいて旋律を生成する。そして、ＰＣ３０は、視覚効果が付与された画像、生成された伴奏、旋律の同期を保ちながらそれぞれの信号をディスプレイ１０及びスピーカ２０に発信する。その際、ＰＣ３０において視覚効果が付与された画像はディスプレイ１０にＡ１として映写され、生成された音楽はスピーカ２０からＡ２として放射される。
【００９０】
図１５は、本実施形態に係る音響生成装置１の機能を示すブロック図である。第２の実施形態では、第１の実施形態の構成に加え、時間調整部３０−５が設けられている。ＰＣ３０の属性検出部３０−１は、ユーザの入力操作を受け付けて、入力された任意の写真データ群から各データにおける画像情報を抽出する。すなわち、属性検出部３０−１は、入力される写真データ４０における輝度を算出すると共に顔画像の検出を行なう。また、ＰＣ３０の効果付与部３０−２は、予め定められたルールに基づいて、写真データに視覚効果を付与する。すなわち、効果付与部３０−２は、属性検出部３０−１が検出した顔画像の有無または属性に応じて視覚効果を付与する。
【００９１】
ＰＣ３０の音響生成部３０−３は、予め定められたルールに基づいて、音楽データを生成する。すなわち、音響生成部３０−３は、属性検出部３０−１が算出した輝度に基づいて伴奏データを生成すると共に効果付与部３０−２が付与した視覚効果に基づいて旋律データを生成する。また、音響再生部３０−４は、視覚効果、複数の音楽の同期を保ちながら、再生する。すなわち、音響再生部３０−４は、効果付与部３０−２が視覚効果を付与した写真データ、音響生成部３０−３が生成した伴奏データ、旋律データの同期を保ちながらそれぞれの信号をディスプレイ１０及びスピーカ２０に発信する。その他の構成については、図１４で説明したとおりであるため、説明を省略する。
【００９２】
図１６は、本実施形態に係る音響生成装置１の動作を示すフローチャートである。初めに、ＰＣ３０に、写真データ４０を入力する（ステップＴ１）。次に、ＰＣ３０において、入力される写真データ４０に対して、全画素における輝度値の総和を算出する（ステップＴ２）。ここで、入力される写真データをＩ、写真データＩの画素数をＵ×Ｖ、位置（ｉ，ｊ）における輝度値をＹ（ｉ，ｊ）と表す時、輝度値の総和Ｓは数１２で示される。
【００９３】
【数１２】
2014029469.tif 000014
【００９４】
次に、ＰＣ３０において、入力される写真データ４０に対して、顔画像を検出する（ステップＴ３）。写真データＩの全ての画素に対して、位置（ｘ，ｙ）における顔存在判定を行なう。ここで、走査領域の画素数をＭ×Ｎ、位置（ｉ，ｊ）における画素値をＰ（ｉ，ｊ）で表す時、数１３を用いて、相互相関関数ＲMN（ｘ，ｙ）を算出する。
【００９５】
【数１３】
2014029469.tif 000015
【００９６】
なお、ＴＭＮは、予め多数の顔画像から作成した大きさＭ×Ｎの平均顔テンプレートを示す。ただし、式（１４）、式（１５）の各文字は、式（１６）に示すように、領域内の平均値を示している。
【００９７】
【数１４】
2014029469.tif 000016
【数１５】
2014029469.tif 000017
【数１６】
2014029469.tif 000018
【数１７】
2014029469.tif 000019
【００９８】
ここで、数１７が得られれば顔画像と判定し、位置（ｘ，ｙ）を起点とする領域Ｍ×Ｎを顔画像Ｆとして検出する。ただし、θは、顔画像かを判定する閾値を示す。
【００９９】
そして、走査領域のＭとＮを任意の値を変更し、写真データＩにおける全ての画素に対して、顔画像Ｆの検出を行う。ここで、Ｚ番目に顔であると判定された顔画像をＦZ（ｚ＝１，２，…）、その際の走査領域の大きさをＭZ×ＮZで示す。また、顔画像ＦZの天頂部と顎部を結ぶ直線を顔画像の軸と定義し、ｃZで示す。加えて、顔画像のＦZの正面画像平面における法線ベクトルが表す方向を顔の向きと定義し、ｄZで示す。さらに、顔画像のＦZの笑顔を表す指標を笑顔度と定義し、ｌZで示す。
【０１００】
【数１８】
2014029469.tif 000020
【０１０１】
ここで、写真データＩにおける顔画像の総数Ｑを式（１８）で定義し、この値を保持する。
【０１０２】
【数１９】
2014029469.tif 000021
【０１０３】
また、写真データＩにおける顔画像の占有率Ｏを式（１９）で定義し、この値を保持する。
【０１０４】
【数２０】
2014029469.tif 000022
【０１０５】
加えて、写真データＩにおける顔画像の軸Ｃを式（２０）で定義し、この値を保持する。
【０１０６】
【数２１】
2014029469.tif 000023
【０１０７】
さらに、写真データＩにおける顔画像の向きＤを式（２２）で定義し、この値を保持する。
【０１０８】
【数２２】
2014029469.tif 000024
【０１０９】
最後に、写真データＩにおける顔画像の笑顔度Ｌを式（２２）で定義し、この値を保持する。
【０１１０】
次に、ＰＣ３０において、検出された顔画像の有無または属性に応じて視覚効果を付与する（ステップＴ４）。写真データＩにおける顔画像の総数Ｑ、占有率Ｏ、軸Ｃ、向きＤ、笑顔度Ｌが、以下の条件が満たされたかどうかを判断する。
【０１１１】
「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、「ストレッチ」する視覚効果を付与する。ただし、Θｑは写真データＩの殆どが顔画像か否かを判定する閾値、ΘｌMINは泣き顔か否かを判定する閾値、ΘｌMAXは笑顔か否かを判定する閾値を示す。
【０１１２】
「Ｑ＝１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｄが正面」かつ「Ｌ＜ΘｌMIN」が得られれば、Ｍz×Ｎzの中心座標に向かって「拡大」する視覚効果を付与する。
【０１１３】
「Ｑ＝１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｄが正面」かつ「Ｌ＞ΘｌMAX」が得られれば、Ｍz×Ｎzの中心座標に向かって「収縮」する視覚効果を付与する。
【０１１４】
「Ｑ＞１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｄが正面」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、「ターン」する視覚効果を付与する。
【０１１５】
「Ｑ＞１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｄが正面でない」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、上方に向かって「移動」する視覚効果を付与する。
【０１１６】
「Ｏ＜Θｑ」かつ「Ｄが画像の下向き」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、下方に向かって「移動」する視覚効果を付与する。
【０１１７】
「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行でない」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、「ピンウィール」する視覚効果を付与する。
【０１１８】
「Ｏ＞Θｑ」かつ「画像の縦軸とＣが平行」かつ「ΘｌMIN＜Ｌ＜ΘｌMAX」が得られれば、「フラッシュバルブ」する視覚効果を付与する。
【０１１９】
「Ｑ＞１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｌ＞ΘｌMAX」が得られれば、「爆破」する視覚効果を付与する。
【０１２０】
「Ｑ＞１」かつ「Ｏ＜Θｑ」かつ「画像の縦軸とＣが平行」かつ「Ｌ＜ΘｌMIN」が得られれば、「フェードアウト」する視覚効果を付与する。
【０１２１】
次に、ＰＣ３０において、算出された輝度に基づいて予め和音テーブルに用意された和音を選定することによって、伴奏データを生成する（ステップＴ５）。この和音テーブルは、"明るい"、"暗い"、"黄昏"を連想させる複数の和音から構成される。写真データＩにおける顔画像の輝度Ｓが、以下の条件が満たされたかどうかを判断する。
【０１２２】
「Ｓ＞ΦＢ」が得られれば、和音テーブルの「明るい」の欄から和音列をランダムに1つ選択する。ただし、ΦＢは、写真データＩが明るいか否かを判定する閾値である。
【０１２３】
「ΦＤ＜Ｓ＜ΦＢ」が得られれば、和音テーブルの「黄昏れ」の欄から和音列をランダムに1つ選択する。ただし、ΦＤは、写真データＩが明るいか否かを判定する閾値である。
【０１２４】
「Ｓ＜ΦＤ」が得られれば、和音テーブルの「暗い」の欄から和音列をランダムに1つ選択する。
【０１２５】
そして、選択された和音列をベースとして、ベースギター、ピアノ、ドラム等の楽器を自動演奏し、４小節分の伴奏データを生成する。また、伴奏データは、サンプル毎に、データ先頭からの時間的な位置情報αを併せて記録し、生成する。すなわち、伴奏データｉサンプル目におけるデータ先頭からの時間的な位置情報はα（ｉ）で示される。ここで、生成する伴奏における１小節の時間長（テンポ）、１つ右の和音に移るタイミングは、予め定めてあっても、ユーザが自由に指定してもどちらでも良い。
【０１２６】
次に、ＰＣ３０において、付与された視覚効果に基づいて旋律データを生成する（ステップＴ６）。写真データＩに付与された視覚効果が、以下の条件が満たされたかどうかを判断する。
【０１２７】
写真データＩに付与された視覚効果が「ピンウィール」の場合、図１７で示すような強い音が出現する旋律を定義する。
【０１２８】
そして、音長をランダムに付与すると共に、休符をランダムに設定し、図１８で示すような４小節分の旋律データを生成する。ただし、音高は、ステップＴ５で選択された和音列のうち、該当時刻における和音の何れかの音を使用する。
【０１２９】
写真データＩに付与された視覚効果が「フラッシュバルブ」の場合、図１９で示すような同じ音の高さが連続する旋律を定義する。
【０１３０】
そして、音長をランダムに付与すると共に、休符をランダムに設定し、図２０で示すような４小節分の旋律データを生成する。ただし、音高は、ステップＴ５で選択された和音列のうち、該当時刻における和音の何れかの音を使用する。
【０１３１】
写真データＩに付与された視覚効果が「ターン」の場合、図２１で示すような同じ音高パターンが繰り返し出現する旋律を定義する。
【０１３２】
そして、音長をランダムに付与すると共に、休符をランダムに設定し、図２２で示すような４小節分の旋律データを生成する。ただし、音高は、ステップＴ５で選択された和音列のうち、該当時刻における和音の何れかの音を使用する。
【０１３３】
写真データＩに付与された視覚効果が上方に向かって「移動」の場合、図２３で示すような音の高さが連続して上昇する旋律を定義する。
【０１３４】
そして、音長をランダムに付与すると共に、休符をランダムに設定し、図２４で示すような４小節分の旋律データを生成する。ただし、音高は、ステップＴ５で選択された和音列のうち、該当時刻における和音の何れかの音を使用する。
【０１３５】
写真データＩに付与された視覚効果が下方に向かって「移動」の場合、図２５で示すような音の高さが連続して下降する旋律を定義する。
【０１３６】
そして、音長をランダムに付与すると共に、休符をランダムに設定し、図２６で示すような４小節分の旋律データを生成する。ただし、音高は、ステップＴ５で選択された和音列のうち、該当時刻における和音の何れかの音を使用する。
【０１３７】
写真データＩに付与された視覚効果が「拡大」の場合、図２７で示すような低い音が連続して出現する旋律を定義する。
【０１３８】
そして、音長をランダムに付与すると共に、休符をランダムに設定し、図２８で示すような４小節分の旋律データを生成する。ただし、音高は、ステップＴ５で選択された和音列のうち、該当時刻における和音の何れかの音を使用する。
【０１３９】
写真データＩに付与された視覚効果が「収縮」の場合、図２９で示すような高い音が連続して出現する旋律を定義する。
【０１４０】
そして、音長をランダムに付与すると共に、休符をランダムに設定し、図３０で示すような４小節分の旋律データを生成する。ただし、音高は、ステップＴ５で選択された和音列のうち、該当時刻における和音の何れかの音を使用する。
【０１４１】
写真データＩに付与された視覚効果が「爆破」の場合、図３１で示すような長い音が出現する旋律を定義する。
【０１４２】
そして、音長をランダムに付与すると共に、休符をランダムに設定し、図３２で示すような４小節分の旋律データを生成する。ただし、音高は、ステップＴ５で選択された和音列のうち、該当時刻における和音の何れかの音を使用する。
【０１４３】
写真データＩに付与された視覚効果が「ストレッチ」の場合、図３３で示すような激しく音高が変化する旋律を定義する。
【０１４４】
そして、音長をランダムに付与すると共に、休符をランダムに設定し、図３４で示すような４小節分の旋律データを生成する。ただし、音高は、ステップＴ５で選択された和音列のうち、該当時刻における和音の何れかの音を使用する。
【０１４５】
写真データＩに付与された視覚効果が「フェードアウト」の場合、図３５で示すような無音が出現する旋律を定義する。
【０１４６】
そして、音長をランダムに付与すると共に、休符をランダムに設定し、図３６で示すような４小節分の旋律データを生成する。ただし、音高は、ステップＴ５で選択された和音列のうち、該当時刻における和音の何れかの音を使用する。
【０１４７】
【数２３】
2014029469.tif 000025
【０１４８】
次に、ＰＣ３０において、時間同期部３０−５は、視覚効果が付与された写真データ、生成された伴奏データ、旋律データの同期を保ちながら（ステップＴ７）、音響再生部３０−４は、それぞれの信号をディスプレイ１０及びスピーカ２０に発信し、視覚効果が付与された写真データをディスプレイ１０に映写すると共に、生成された伴奏データ及び旋律データをスピーカ２０から放射する（ステップＴ８）。ここで、ステップＴ６で生成された旋律データにおける音列をβj（ｊ＝１、２、…）、βjにおける音長をΒjで示す。いま、時刻ｔにおいて、ステップＴ５で生成された伴奏データのｉサンプル目の信号（ｔ＝αi）と、旋律データβjの信号がスピーカ２０に発信されようとしているとき、時間調整部３０−５は、βjにおける音長を式（２３）によって再形成する。式（２３）に示すように、現在の時刻を取得し、時刻のずれを音長に加減する。ただし、旋律データβj-1の信号がスピーカ２０に発信された時刻において、伴奏データのｉ’サンプル目の信号がスピーカ２０に発信されたとする。
【０１４９】
【数２４】
2014029469.tif 000026
【０１５０】
一方、ステップＴ４で効果が付与された写真データにおける変位指令をγk（ｋ＝１、２、…）、γkにおける時間長をΓjで示す。いま、時刻ｔにおいて、ステップＴ５で生成された伴奏データのｉサンプル目の信号（ｔ＝αi）がスピーカ２０に、写真データにおける変位指令γkの信号がディスプレイ１０に発信されようとしているとき、時間調整部３０−５は、γkにおける時間長を式（２４）によって再形成する。式（２４）に示すように、現在の時刻を取得し、時刻のずれを視覚効果の時間長に加減する。ただし、写真データにおける変位指令Γj-1の信号がディスプレイ１０に発信された時刻において、伴奏データのｉ’サンプル目の信号がスピーカ２０に発信されたとする。そして、音響再生部３０−４は、写真データにおける変位指令γk、伴奏データにおけるｉサンプル目、旋律データβjの各信号をディスプレイ１０及びスピーカ２０にそれぞれ発信し、視覚効果が付与された写真データをディスプレイ１０に映写すると共に、生成された伴奏データ及び旋律データをスピーカ２０から放射する（ステップＴ８）。
【０１５１】
その後、４小節分の伴奏データにおける任意の時刻に対して、同様の処理を施し、音響再生部３０−４は、視覚効果が付与された写真データをディスプレイ１０に映写すると共に、生成された伴奏データ及び旋律データをスピーカ２０から放射する（ステップＴ８）。
【０１５２】
次に、ＰＣ３０において、入力される全ての写真データ４０に対して、伴奏データ及び旋律データを生成する（ステップＴ９）。写真データＩにおける伴奏データ及び旋律データを生成した後、ステップＴ２に戻り、次の写真データに対しての処理を開始する。なお、視覚効果が付与された写真データ群、生成した伴奏データ、旋律データをクラウドサービス等で共有する場合には、それらをサーバにアップロードする。
【０１５３】
このように、本実施形態によれば、ＰＣ３０に入力される写真データ４０における輝度を算出すると共に顔画像の検出を行ない、検出された顔画像の有無または属性に応じて視覚効果を付与し、算出された輝度に基づいて伴奏を生成すると共に付与された視覚効果に基づいて旋律を生成し、視覚効果が付与された写真データ、生成された伴奏データ、旋律データの同期を保ちながら再生する。その際、ＰＣ３０において生成された映像はディスプレイ１０にＡ１として映写され、任意の音響はスピーカ２０からＡ２として放射される。これにより、本実施形態では、連続して入力される人物に限らない写真データに対して、常に対応する音楽データを連続的に生成することができる。また、サーバを介さないため、入力される写真データが突如変化した場合でも、その写真データに対応する音楽を生成することができる。さらに、伴奏データまたは旋律データが再生される時の時間的な再生位置を示す再生時刻データを予め登録しておかなくても、効果が付与された写真データ、生成された伴奏データ、旋律データの同期を保ちながら再生することが可能となる。とりわけ、画像処理による動作遅延が生じても、効果が付与された写真データ、生成された伴奏データ、旋律データの同期を保ちながら再生することで、任意時刻での写真の視覚効果と音楽の親和性が高まり、視聴者は魅力的な感覚を味わうことが可能となる。
【符号の説明】
【０１５４】
１  音響生成装置
１０  ディスプレイ
２０  スピーカ
２０ａ、２０ｂ  スピーカ
３０−１  属性検出部
３０−２  効果付与部
３０−３  音響生成部
３０−４  音響再成部
３０−５  時間調整部
３０ａ、３０ｂ  ケーブル
４０  写真データ
【図１】
2014029469.tif 000027
【図２】
2014029469.tif 000028
【図３】
2014029469.tif 000029
【図４】
2014029469.tif 000030
【図５】
2014029469.tif 000031
【図６】
2014029469.tif 000032
【図７】
2014029469.tif 000033
【図８】
2014029469.tif 000034
【図９】
2014029469.tif 000035
【図１０】
2014029469.tif 000036
【図１１】
2014029469.tif 000037
【図１２】
2014029469.tif 000038
【図１３】
2014029469.tif 000039
【図１４】
2014029469.tif 000040
【図１５】
2014029469.tif 000041
【図１６】
2014029469.tif 000042
【図１７】
2014029469.tif 000043
【図１８】
2014029469.tif 000044
【図１９】
2014029469.tif 000045
【図２０】
2014029469.tif 000046
【図２１】
2014029469.tif 000047
【図２２】
2014029469.tif 000048
【図２３】
2014029469.tif 000049
【図２４】
2014029469.tif 000050
【図２５】
2014029469.tif 000051
【図２６】
2014029469.tif 000052
【図２７】
2014029469.tif 000053
【図２８】
2014029469.tif 000054
【図２９】
2014029469.tif 000055
【図３０】
2014029469.tif 000056
【図３１】
2014029469.tif 000057
【図３２】
2014029469.tif 000058
【図３３】
2014029469.tif 000059
【図３４】
2014029469.tif 000060
【図３５】
2014029469.tif 000061
【図３６】
2014029469.tif 000062