(57)【要約】【課題】簡易な操作により楽曲の空間的な印象を操作する。【解決手段】特徴抽出部２１は、所定の数の音源を空間に配置し得るすべての空間配置と音源の定位感を操作する空間印象関数とを用いて、空間配置ごとに各音源に対応する空間印象関数をベクトル化した空間印象特徴量を生成する。音源配置選択部２２は、空間配置のすべての組み合わせについて空間印象特徴量の類似度を計算し、類似度が低い空間配置を選択する。音源配置結合部２３は、選択された空間配置のうち指定された音源位置に対応する空間配置を出力する音源配置出力関数を生成する。音源位置指定部２４は、一次元の操作手段により音源位置を指定する。音源配置出力部２５は、音源配置出力関数を用いて音源位置に対応する空間配置を各音源の音源配置として出力する。【選択図】図３
2017050794.tif 000002
【特許請求の範囲】
【請求項１】
所定の数の音源を空間に配置し得るすべての空間配置と音源の定位感を操作する空間印象関数とを用いて、上記空間配置ごとに各音源に対応する空間印象関数をベクトル化した空間印象特徴量を生成する特徴抽出部と、
上記空間配置のすべての組み合わせについて上記空間印象特徴量の類似度を計算し、上記類似度が低い空間配置を選択する音源配置選択部と、
選択された空間配置のうち指定された音源位置に対応する上記空間配置を出力する音源配置出力関数を生成する音源配置結合部と、
一次元の操作手段により上記音源位置を指定する音源位置指定部と、
上記音源配置出力関数を用いて上記音源位置に対応する上記空間配置を各音源の音源配置として出力する音源配置出力部と、
を含む音源配置決定装置。
【請求項２】
請求項１に記載の音源配置決定装置であって、
上記音源配置結合部は、上記選択された空間配置を用いて音源ごとに各座標軸を補間した空間配置を出力する音源配置出力関数を生成するものである、
音源配置決定装置。
【請求項３】
請求項１または２に記載の音源配置決定装置により生成された音源配置出力関数を記憶する音源配置出力関数記憶部と、
一次元の操作手段により音源位置を指定する音源位置指定部と、
上記音源配置出力関数を用いて上記音源位置に対応する空間配置を各音源の音源配置として出力する音源配置出力部と、
音源の定位感を操作する空間印象関数を用いて、各音源に対応する空間印象関数を出力する空間印象関数出力部と、
各音源の音響信号に対して上記各音源に対応する空間印象関数を畳み込むことで受聴信号を得る再合成部と、
上記受聴信号を再生する発音部と、
を含む楽曲印象操作装置。
【請求項４】
特徴抽出部が、所定の数の音源を空間に配置し得るすべての空間配置と音源の定位感を操作する空間印象関数とを用いて、上記空間配置ごとに各音源に対応する空間印象関数をベクトル化した空間印象特徴量を生成する特徴抽出ステップと、
音源配置選択部が、上記空間配置のすべての組み合わせについて上記空間印象特徴量の類似度を計算し、上記類似度が低い空間配置を選択する音源配置選択ステップと、
音源配置結合部が、選択された空間配置のうち指定された音源位置に対応する上記空間配置を出力する音源配置出力関数を生成する音源配置結合ステップと、
音源位置指定部が、一次元の操作手段により上記音源位置を指定する音源位置指定ステップと、
音源配置出力部が、上記音源配置出力関数を用いて上記音源位置に対応する上記空間配置を各音源の音源配置として出力する音源配置出力ステップと、
を含む音源配置決定方法。
【請求項５】
音源配置出力関数記憶部に、請求項４に記載の音源配置決定方法により生成された音源配置出力関数が記憶されており、
音源位置指定部が、一次元の操作手段により音源位置を指定する音源位置指定ステップと、
音源配置出力部が、上記音源配置出力関数を用いて上記音源位置に対応する空間配置を各音源の音源配置として出力する音源配置出力ステップと、
空間印象関数出力部が、音源の定位感を操作する空間印象関数を用いて、各音源に対応する空間印象関数を出力する空間印象関数出力ステップと、
再合成部が、各音源の音響信号に対して各音源に対応する空間印象関数を畳み込むことで受聴信号を得る再合成ステップと、
発音部が、上記受聴信号を再生する発音ステップと、
を含む楽曲印象操作方法。
【請求項６】
請求項１または２に記載の音源配置決定装置もしくは請求項３に記載の楽曲印象操作装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、楽曲の印象を操作する技術に関する。
【背景技術】
【０００２】
非特許文献１には、楽曲の空間的な印象（個々の音源信号の空間的な配置）を変化させる技術が記載されている。ここでは、楽曲とは、様々な楽器や歌声、音声等で構成された音源信号群の加算により表現されるものとする。
【０００３】
楽曲を構成する楽器や歌声、音声等の音源信号をsn(t)（n=1, …, N）と表す。ただし、Nは楽曲を構成する音源信号の数、tは時間のインデックスを表す。ここでは、sn(t)は、例えば、ミックスダウンされた楽曲を音源分離したり、ステレオやモノラル信号にミックスダウンする前の音源信号を手に入れたりして、あらかじめ用意されていることを想定する。sn(t)の周波数領域に展開された信号をSn(τ,ω)と表す。ここで、τは時間フレーム、ωは周波数のインデックスを表す。Sn(τ,ω)に対して空間印象操作した後、加算（再合成）することで、受聴信号を得ることができる。具体的には、次式により、左耳および右耳の受聴信号Y(L)(τ,ω), Y(R)(τ,ω)を得ることができる。
【０００４】
【数１】
2017050794.tif 000003
【０００５】
ただし、Hn(L)(ω), Hn(R)(ω)は、それぞれn番目の音源信号に対する左耳、右耳用の空間印象関数を表す。空間印象関数とは、個々の音源の定位感を操作するための関数である。例えば、両耳間の音量差だけを制御するパンニングであれば、以下のようにHn(L)(ω), Hn(R)(ω)を設計する。
【０００６】
【数２】
2017050794.tif 000004
【０００７】
パンニングにおける座標系の定義は、図１に示すように、受聴者Lから音源Sまでの距離rと、受聴者Lの正面を0°とした音源方向の角度θにより表わされる。上下前後方向を含めて空間印象を操作するためには、頭部伝達関数をH(L)n(ω), H(R)n(ω)として利用する方法がある。
【０００８】
図２を参照して、従来技術による楽曲印象操作装置の機能構成を説明する。空間印象関数記憶部１０には、左耳および右耳用の空間印象関数Hn(L)(ω), Hn(R)(ω)が記憶されている。音源信号記憶部１３には、楽曲を構成する楽器や歌声、音声等の音源信号を表すオーディオオブジェクトS1(τ,ω), …, SN(τ,ω)が記憶されている。音源位置指定部１１は、利用者の操作に応じて、各音源の位置p1, …, pNを設定する。空間印象関数出力部１２は、空間印象関数記憶部１０に記憶された空間印象関数Hn(L)(ω), Hn(R)(ω)を用いて、音源位置指定部１１により出力された各音源の位置p1, …, pNに対応する2×N個の空間印象関数H1(L)(ω), H1(R)(ω), …, HN(L)(ω), HN(R)(ω)を出力する。再合成部１４は、各オーディオオブジェクトS1(τ,ω) ,…, SN(τ,ω)に対して、それぞれ対応する空間印象関数H1(L)(ω), H1(R)(ω), …, HN(L)(ω), HN(R)(ω)を畳み込むことで空間印象操作を行った後、各信号を加算して左耳および右耳の受聴信号Y(L)(τ,ω), Y(R)(τ,ω)を生成し、発音部１５から出力する。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】K Niwa, T Nishino, and K Takeda, “Encoding large array signals into a 3D sound field representation for selective listening point audio based on blind source separation,” ICASSP 2008, pp. 181-184, 2008.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述した従来技術の課題は、システムの操作の困難さである。楽曲に含まれる音源数をNとし、各音源に対して二次元空間上のLか所から位置を決定する場合、利用者はM=LN通りの空間印象を選択することが可能となる。同時に、各音源を二次元平面上で操作するために、利用者は2×N個の操作軸を同時に操作する必要がある。例えば、楽曲に3音源しか含まれず、音像を配置する空間を10×10の格子とした場合に、利用者が最適な空間印象を探索するためには、6個の操作軸を同時に操作しながら、(10×10)6=100万通りの空間印象の中から最適なものを選択することとなる。このように従来技術の利用は容易なことではない。
【００１１】
この発明の目的は、このような点に鑑みて、簡易な操作により楽曲の空間的な印象を操作することができる楽曲印象操作技術を提供することである。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、この発明の第一の態様の音源配置決定装置は、所定の数の音源を空間に配置し得るすべての空間配置と音源の定位感を操作する空間印象関数とを用いて、空間配置ごとに各音源に対応する空間印象関数をベクトル化した空間印象特徴量を生成する特徴抽出部と、空間配置のすべての組み合わせについて空間印象特徴量の類似度を計算し、類似度が低い空間配置を選択する音源配置選択部と、選択された空間配置のうち指定された音源位置に対応する空間配置を出力する音源配置出力関数を生成する音源配置結合部と、一次元の操作手段により音源位置を指定する音源位置指定部と、音源配置出力関数を用いて音源位置に対応する空間配置を各音源の音源配置として出力する音源配置出力部と、を含む。
【００１３】
この発明の第二の態様の楽曲印象操作装置は、音源配置決定装置により生成された音源配置出力関数を記憶する音源配置出力関数記憶部と、一次元の操作手段により音源位置を指定する音源位置指定部と、音源配置出力関数を用いて音源位置に対応する空間配置を各音源の音源配置として出力する音源配置出力部と、音源の定位感を操作する空間印象関数を用いて、各音源に対応する空間印象関数を出力する空間印象関数出力部と、各音源の音響信号に対して各音源に対応する空間印象関数を畳み込むことで受聴信号を得る再合成部と、受聴信号を再生する発音部と、を含む。
【発明の効果】
【００１４】
この発明の楽曲印象操作技術は、例えば、音楽プレーヤに実装することができる。音楽プレーヤにおける楽曲の聴覚印象の操作は、周波数イコライザなど音量を制御することによるものが大半である。楽曲を構成する楽器や歌声、音声等の音源信号の位置を制御することで、楽曲に含まれる音源の音量のみならず空間配置も同時に制御することができるため、柔軟な聴覚印象の操作を行うことができる。しかしながら、従来の空間配置制御による楽曲印象操作方法では、多数の操作軸を操作する必要があるため、利用が容易ではない。この発明の楽曲印象操作技術を取り入れることにより、利用者は各音源の位置p1, p2, …, pNを個別に設定する必要がなくなり、操作軸上の一点pを指定するだけで楽曲の空間印象の操作を行うことができる。したがって、この発明によれば、簡易な操作により楽曲の空間的な印象を操作することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、パンニングの座標軸を示すための模式図である。
【図２】図２は、従来の楽曲印象操作装置の機能構成を例示する図である。
【図３】図３は、実施形態の音源配置決定装置の機能構成を例示する図である。
【図４】図４は、実施形態の音源配置決定方法の処理手続きを例示する図である。
【図５】図５は、実施形態の楽曲印象操作装置の機能構成を例示する図である。
【図６】図６は、実施形態の楽曲印象操作方法の処理手続きを例示する図である。
【発明を実施するための形態】
【００１６】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１７】
この発明の楽曲印象操作技術は、一次元の軸にしたがって、様々な楽曲の空間的な印象を効果的に変化させることが可能な手法である。これにより、利用者は多数の操作軸を同時に操作する必要がなくなり、つまみ等の直感的な操作により容易に楽曲の聴覚印象を操作することができるようになる。この技術は、類似した空間印象を持つ音源の空間配置を取り除くことで、多様な空間印象をより効率的に提示できるという仮説に基づく。
【００１８】
この発明の第一実施形態は、利用者が一次元の操作手段により一点を指定し、その一点に対応する各音源の音源配置を出力する音源配置決定装置および方法である。第二実施形態は、第一実施形態の音源配置決定技術を用いて楽曲の空間的な印象を操作する楽曲印象操作装置および方法である。
【００１９】
［第一実施形態］
第一実施形態の音源配置決定装置は、図３に示すように、空間印象関数記憶部１０、特徴抽出部２１、音源配置選択部２２、音源配置結合部２３、音源位置指定部２４、および音源配置出力部２５を含む。この音源配置決定装置が後述する各ステップの処理を行うことにより第一実施形態の音源配置決定方法が実現される。
【００２０】
音源配置決定装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。音源配置決定装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。音源配置決定装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、音源配置決定装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。音源配置決定装置の各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
【００２１】
空間印象関数記憶部１０には、個々の音源の定位感を操作するための空間印象関数が記憶されている。この実施形態の空間印象関数は、周波数領域の空間印象関数H(L)(ω,r,θ), H(R)(ω,r,θ)であってもよいし、時間領域の空間印象関数h(L)(t,r,θ), h(R)(t,r,θ)であってもよい。ただし、ωは周波数のインデックスであり、tは時間のインデックスである。以下に空間印象関数の具体例を五つ示す。
【００２２】
空間印象関数の第一の例は、パンニングである。パンニングは、左右の音量差により、空間印象を変化させる関数であり、次式により定義される。
【００２３】
【数３】
2017050794.tif 000005
【００２４】
空間印象関数の第二の例は、音源から受聴者の耳までの音響伝達関数である頭部伝達関数である。頭部伝達関数は、ダミーヘッドや人の実頭が存在するときの距離rかつ角度θの位置にある音源から外耳道入口に設置したマイクまでの音響伝達関数HE(L)(ω,r,θ), HE(R)(ω,r,θ)を、ダミーヘッドや実頭が存在しないときの距離rかつ角度θの位置にある音源から頭部中心位置に存在するマイクまでの音響伝達関数HO(ω,r,θ)で除した伝達関数H(L)(ω,r,θ), H(R)(ω,r,θ)である。音響伝達関数の測定には、波数が時間的に連続に変化する時間伸長信号（TSP: Time Stretched Pulse）を利用する。
【００２５】
空間印象関数の第三の例は、第二の例で示した頭部伝達関数の対数を計算した関数HLOG(L)(ω,r,θ), HLOG(R)(ω,r,θ)である。
【数４】
2017050794.tif 000006
【００２６】
空間印象関数の第四の例は、第二の例で示した頭部伝達関数の時間領域表現である頭部インパルス応答h(L)(t,r,θ), h(R)(t,r,θ)である。頭部インパルス応答は、頭部伝達関数を逆フーリエ変換することにより得られる。
【数５】
2017050794.tif 000007
【００２７】
空間印象関数の第五の例は、第四の例で示した頭部インパルス応答に対して聴覚フィルタバンクを作用させた関数hAUD(L)(t,r,θ), hAUD(R)(t,r,θ)である。聴覚フィルタバンクは次式に示すガンマチャープフィルタgc(t)の中心周波数ωcを変化させた聴覚フィルタを複数用意し並べたものである。
【数６】
2017050794.tif 000008
ただし、tは時間、ωcは中心周波数、ERBは周波数ωcにおける矩形等価帯域幅、φは位相、a, b, cはフィルタ形状を決定する係数である。等価矩形帯域幅は、ヒトの聴覚フィルタを矩形窓で近似した際の帯域幅である。このフィルタgc(t,fc)を、fcの値を様々に変化させながら、次式のように頭部インパルス応答に作用させる。
【数７】
2017050794.tif 000009
【００２８】
その後、これらを次式のように並べたものを空間印象関数hAUD(L)(t,r,θ), hAUD(R)(t,r,θ)とする。
【数８】
2017050794.tif 000010
ただし、Cは利用する中心周波数の数である。
【００２９】
図４を参照して、第一実施形態の音源配置決定方法の処理手続きを説明する。
【００３０】
ステップＳ１において、特徴抽出部２１は、M個の空間配置、音源数Nを入力とし、空間印象関数記憶部１０に記憶された空間印象関数を用いて、空間配置ごとに各音源に対応する空間印象関数を並べてベクトル化したM個の空間印象特徴量F1, …, FMを生成する。空間印象特徴量F1, …, FMは音源配置選択部２２へ送られる。
【００３１】
M個の空間配置は、楽曲に含まれる音源の空間配置であり、各音源がどの位置に配置されるかを表す。Mは考え得る音源配置パターンの数である。具体的には、空間配置は、空間中の絶対座標である。もしくは、受聴者からの距離および角度で示される相対座標である。
【００３２】
音源数Nは、楽曲に含まれる制御対象である音源の数である。
【００３３】
空間印象特徴量は、周波数領域の空間印象関数の場合、次式で表される。
【数９】
2017050794.tif 000011
ただし、mは音源配置のインデックス、Ωは周波数ビン数である。
【００３４】
時間領域の空間領域関数の場合、空間印象特徴量は次式で表される。
【数１０】
2017050794.tif 000012
ただし、mは音源配置のインデックス、Tは時間長である。
【００３５】
ステップＳ２において、音源配置選択部２２は、M個の空間印象特徴量F1, …, FMのすべての組み合わせについて類似度を計算し、その類似度が低いJ個の空間印象特徴量F'1, …, F'Jを選択して出力する。ただし、J<Mである。空間印象特徴量F'1, …, F'Jは音源配置結合部２３へ送られる。類似度の計算方法は、例えば、以下三つの具体例が挙げられる。
【００３６】
類似度計算の第一の例は、ベクトル間のユークリッド距離である。
【数１１】
2017050794.tif 000013
ただし、F(m,e)はベクトルFmのe番目の要素、EはベクトルFmの要素数である。
【００３７】
類似度計算の第二の例は、ベクトル間のマンハッタン距離である。
【数１２】
2017050794.tif 000014
【００３８】
類似度計算の第三の例は、ベクトル間の内積である。
【数１３】
2017050794.tif 000015
【００３９】
ステップＳ３において、音源配置結合部２３は、J個の空間印象特徴量F'1, …, F'Jに対応する空間配置を用いて、その空間配置を滑らかに補間および結合した結果を音源配置として出力する音源配置出力関数f(n,p)を生成する。ただし、pは補間および結合した経路上のある一点を表す。すなわち、音源配置出力関数は、音源配置選択部２２により選択された空間印象特徴量に対応する空間配置のうち、指定された音源位置pに対応する空間配置を出力する関数である。音源配置出力関数f(n,p)は音源配置出力部２５へ送られる。補間方法は、例えば、以下二つの具体例が挙げられる。
【００４０】
補間方法の第一の例は、線形補間である。音源ごと、軸方向ごとに個別に補間を行う。音源nのx軸方向について、音源配置選択部２２により[x1, x2, …, xJ]という系列が得られたものとする。線形補間では、次式に従って二点間の補間を行う。
【数１４】
2017050794.tif 000016
式（21）による補間をj=1, …, J-1まで行った後、それらの経路をすべて並べる。
【数１５】
2017050794.tif 000017
音源配置出力関数f(n,p)は音源ごとに各軸方向の結果を同時に出力する。
【数１６】
2017050794.tif 000018
ただし、Dは音源を配置する座標の次元数である。
【００４１】
補間方法の第二の例は、三次スプライン補間区間[xj,xj+1]のxを次式のような三次関数で補間する方法である。
【数１７】
2017050794.tif 000019
式（24）による補間をj=1, …, J-1まで行った後、それらの経路をすべて並べる。
【数１８】
2017050794.tif 000020
【００４２】
音源配置出力関数f(n,p)は音源ごとに各軸方向の結果を同時に出力する。
【数１９】
2017050794.tif 000021
【００４３】
ステップＳ４において、音源位置指定部２４は、一次元の操作手段に対する利用者の操作に応じて、一点pを音源位置として指定する。操作手段は、例えば、一次元のスライドバー（スライドバーのある一点がpに対応する）や、単一の操作つまみ（つまみのある角度がpに対応する）や、２つのボタン（あるボタンを押すとp-1、別のボタンを押すとp+1のように位置を遷移する）などが考えられる。音源位置pは音源配置出力部２５へ送られる。
【００４４】
ステップＳ５において、音源配置出力部２５は、音源配置出力関数f(n,p)へ利用者に指定された音源位置pを入力し、音源nごとに音源位置pに応じた音源配置f(1,p), …, f(N,p)を出力する。
【００４５】
［第二実施形態］
第二実施形態の楽曲印象操作装置は、図５に示すように、空間印象関数記憶部１０、音源信号記憶部１３、再合成部１４、および発音部１５を従来と同様に含み、音源位置指定部２４、音源配置出力部２５、音源配置出力関数記憶部３０、および空間印象関数出力部３１をさらに含む。この楽曲印象操作装置が後述する各ステップの処理を行うことにより第二実施形態の楽曲印象操作方法が実現される。
【００４６】
楽曲印象操作装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。楽曲印象操作装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。楽曲印象操作装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、楽曲印象操作装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。楽曲印象操作装置の各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
【００４７】
空間印象関数記憶部１０には、第一実施形態の音源配置決定装置と同様に、空間印象関数が記憶されている。
【００４８】
音源信号記憶部１３には、従来の楽曲印象操作装置と同様に、楽曲を構成する楽器や歌声、音声等の音源信号を表すオーディオオブジェクトS1(τ,ω), …, SN(τ,ω)が記憶されている。
【００４９】
音源配置出力関数記憶部３０には、第一実施形態の音源配置決定装置により生成された音源配置出力関数f(n,p)が記憶されている。
【００５０】
図６を参照して、第二実施形態の楽曲印象操作方法の処理手続きを説明する。以下では、上述の第一実施形態との相違点を中心に説明する。
【００５１】
ステップＳ４において、音源位置指定部２４は、一次元の操作手段に対する利用者の操作に応じて、一点pを音源位置として指定する。音源位置pは音源配置出力部２５へ送られる。
【００５２】
ステップＳ５において、音源配置出力部２５は、音源配置出力関数記憶部３０に記憶された音源配置出力関数f(n,p)へ、音源位置指定部２４より受け取った音源位置pを入力し、各音源に対応するN個の音源配置f(1,p), …, f(N,p)を出力する。音源配置f(1,p), …, f(N,p)は空間印象関数出力部３１へ送られる。
【００５３】
ステップＳ６において、空間印象関数出力部３１は、空間印象関数記憶部１０に記憶された空間印象関数H(L)n(ω,r,θ), H(R)n(ω,r,θ)へ、音源配置出力部２５より受け取った音源配置f(1,p), …, f(N,p)を入力して、各音源に対応する空間印象関数H(L)1(ω), H(R)1(ω), …, H(L)N(ω), H(R)N(ω)を出力する。空間印象関数H(L)1(ω), H(R)1(ω), …, H(L)N(ω), H(R)N(ω)は再結合部１４へ送られる。
【００５４】
ステップＳ７において、再合成部１４は、音源信号S1(τ,ω) ,…, SN(τ,ω)および各音源に対応する空間印象関数H(L)1(ω), H(R)1(ω), …, H(L)N(ω), H(R)N(ω)を入力とし、各音源に対して空間印象関数を畳み込むことで空間印象操作を行った後、各信号を加算して左耳および右耳の受聴信号Y(L)(τ,ω), Y(R)(τ,ω)を出力する。具体的には、周波数領域での周波数成分ごとの積による畳み込みを行い、その後各信号を足し合わせる。
【００５５】
【数２０】
2017050794.tif 000022
【００５６】
ステップＳ８において、発音部１５は、左耳および右耳の受聴信号Y(L)(τ,ω), Y(R)(τ,ω)を再生し、利用者の左耳および右耳に対応する信号を受聴させる。具体的には、発音部１５はヘッドホンであり、受聴信号Y(L)(τ,ω), Y(R)(τ,ω)を左右個別に再生することで、左右の耳に所望の信号を届ける。
【００５７】
従来の空間配置制御による楽曲印象操作方法では、多数の操作軸を利用する必要があるため、利用が容易ではない。この発明の楽曲印象操作技術を取り入れることにより、利用者は各音源の位置p1, p2, …, pNを個別に設定する必要がなくなり、操作軸上の一点pを指定するだけで楽曲の空間印象の操作を行うことができる。したがって、この発明の楽曲印象操作技術によれば、簡易な操作により楽曲の空間的な印象を操作することができる。
【００５８】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００５９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００６０】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６２】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００６３】
１０  空間印象関数記憶部
１１  音源位置指定部
１２  空間印象関数出力部
１３  音源信号記憶部
１４  再合成部
１５  発音部
２１  特徴抽出部
２２  音源配置選択部
２３  音源配置結合部
２４  音源位置指定部
２５  音源配置出力部
３０  音源配置出力関数記憶部
３１  空間印象関数出力部
【図１】
2017050794.tif 000023
【図２】
2017050794.tif 000024
【図３】
2017050794.tif 000025
【図４】
2017050794.tif 000026
【図５】
2017050794.tif 000027
【図６】
2017050794.tif 000028