(57)【要約】【課題】利用者が音情報を効率的に指示できるようにする。【解決手段】音情報設定装置１００は、音響信号Ｘの特徴量を複数の単位期間の各々について抽出する特徴抽出部２２と、複数の単位期間の各々に対応する単位画像を配置した解析画像を、各単位期間の特徴量が類似するほど当該各単位期間の単位画像の表示態様が近似するように、表示装置に表示させる表示制御部２４と、解析画像から利用者が選択した単位画像に対応する１以上の単位期間を含む設定期間について音情報を設定する情報設定部２６とを具備する。【選択図】図１
2018005171.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータシステムが、
音響信号の特徴量を複数の単位期間の各々について抽出し、
前記複数の単位期間の各々に対応する単位画像を配置した解析画像を、前記各単位期間の前記特徴量が類似するほど当該各単位期間の前記単位画像の表示態様が近似するように、表示装置に表示させ、
前記解析画像から利用者が選択した前記単位画像に対応する１以上の単位期間を含む設定期間について音情報を設定する
音情報設定方法。
【請求項２】
コンピュータシステムが、
音響信号の特徴量を複数の単位期間の各々について抽出し、
前記複数の単位期間の各々に対応する第１単位画像を時間軸に沿って配置した時系列画像と、前記複数の単位期間の各々に対応する第２単位画像を前記各単位期間の前記特徴量の距離に応じた間隔で座標平面に配置した分布画像とを、前記各単位期間の前記特徴量が類似するほど、当該各単位期間の前記第１単位画像の表示態様が近似するとともに当該各単位期間の前記第２単位画像の表示態様が近似するように、表示装置に表示させ、
前記時系列画像から利用者が選択した前記第１単位画像または前記分布画像から利用者が選択した前記第２単位画像に対応する１以上の単位期間を含む設定期間について音情報を設定する
音情報設定方法。
【請求項３】
前記時系列画像における前記第１単位画像が選択された場合に、当該第１単位画像の表示態様を変更するとともに、前記分布画像のうち当該第１単位画像と共通の単位期間に対応する前記第２単位画像の表示態様を変更する
請求項２の音情報設定方法。
【請求項４】
前記分布画像における前記第２単位画像が選択された場合に、当該第２単位画像の表示態様を変更するとともに、前記時系列画像のうち当該第２単位画像と共通の単位期間に対応する前記第１単位画像の表示態様を変更する
請求項２または請求項３の音情報設定方法。
【請求項５】
前記時系列画像の前記第１単位画像を利用者が選択した場合に、当該第１単位画像が表す単位期間を含む設定期間と、当該単位期間に特徴量が類似する単位期間を含む他の設定期間とを設定する
請求項２から請求項４の何れかの音情報設定方法。
【請求項６】
前記音情報は、コード名を含む
請求項１から請求項５の何れかの音情報設定方法。
【請求項７】
音響信号の特徴量を複数の単位期間の各々について抽出する特徴抽出部と、
前記複数の単位期間の各々に対応する単位画像を配置した解析画像を、前記各単位期間の前記特徴量が類似するほど当該各単位期間の前記単位画像の表示態様が近似するように、表示装置に表示させる表示制御部と、
前記解析画像から利用者が選択した前記単位画像に対応する１以上の単位期間を含む設定期間について音情報を設定する情報設定部と
を具備する音情報設定装置。
【請求項８】
音響信号の特徴量を複数の単位期間の各々について抽出する特徴抽出部と、
前記複数の単位期間の各々に対応する第１単位画像を時間軸に沿って配置した時系列画像と、前記複数の単位期間の各々に対応する第２単位画像を前記各単位期間の前記特徴量の距離に応じた間隔で座標平面に配置した分布画像とを、前記各単位期間の前記特徴量が類似するほど、当該各単位期間の前記第１単位画像の表示態様が近似するとともに当該各単位期間の前記第２単位画像の表示態様が近似するように、表示装置に表示させる表示制御部と、
前記時系列画像から利用者が選択した前記第１単位画像または前記分布画像から利用者が選択した前記第２単位画像に対応する１以上の単位期間を含む設定期間について音情報を設定する情報設定部と
を具備する音情報設定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号が表す音にコード名等の音情報を設定する技術に関する。
【背景技術】
【０００２】
例えば楽曲の再生音を聴取しながら楽曲の期間毎にコード名等の音情報を利用者が指定するためには、非常に煩雑で専門的な作業が必要である。そこで、音響信号の解析によりコードを推定する技術が例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２３５３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、音響信号の解析によりコード等の音情報を高精度に解析することは容易ではない。例えば歌唱音声や打楽器音等の複数の音響成分の混合音から高精度にコードを推定することは実際には困難である。以上の事情を考慮して、本発明は、利用者が音情報を効率的に指示できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の第１態様に係る音情報設定方法は、コンピュータシステムが、音響信号の特徴量を複数の単位期間の各々について抽出し、複数の単位期間の各々に対応する単位画像を配置した解析画像を、各単位期間の特徴量が類似するほど当該各単位期間の単位画像の表示態様が近似するように、表示装置に表示させ、解析画像から利用者が選択した単位画像に対応する１以上の単位期間を含む設定期間について音情報を設定する。以上の態様では、各単位期間の特徴量が類似するほど各単位画像の表示態様が近似する解析画像が表示装置に表示され、利用者が解析画像から選択した１個以上の単位期間を含む設定期間について音情報が設定される。したがって、利用者が音情報を効率的に指示することが可能である。
【０００６】
本発明の第２態様に係る音情報設定方法は、コンピュータシステムが、音響信号の特徴量を複数の単位期間の各々について抽出し、複数の単位期間の各々に対応する第１単位画像を時間軸に沿って配置した時系列画像と、複数の単位期間の各々に対応する第２単位画像を各単位期間の特徴量の距離に応じた間隔で座標平面に配置した分布画像とを、各単位期間の特徴量が類似するほど、当該各単位期間の第１単位画像の表示態様が近似するとともに当該各単位期間の第２単位画像の表示態様が近似するように、表示装置に表示させ、時系列画像から利用者が選択した第１単位画像または分布画像から利用者が選択した第２単位画像に対応する１以上の単位期間を含む設定期間について音情報を設定する。以上の態様では、各単位期間の特徴量が類似するほど、当該各単位期間の第１単位画像の表示態様が近似するとともに当該各単位期間の第２単位画像の表示態様が近似する画像が表示装置に表示され、利用者が選択した１個以上の単位期間を含む設定期間について音情報が設定される。したがって、利用者が音情報を効率的に指示することが可能である。
【０００７】
第２態様の好適例において、時系列画像における第１単位画像が選択された場合に、当該第１単位画像の表示態様を変更するとともに、分布画像のうち当該第１単位画像と共通の単位期間に対応する第２単位画像の表示態様を変更する。また、第２態様の好適例において、分布画像における第２単位画像が選択された場合に、当該第２単位画像の表示態様を変更するとともに、時系列画像のうち当該第２単位画像と共通の単位期間に対応する第１単位画像の表示態様を変更する。
【０００８】
第２態様の好適例において、時系列画像の第１単位画像を利用者が選択した場合に、当該第１単位画像が表す単位期間を含む設定期間と、当該単位期間に特徴量が類似する単位期間を含む他の設定期間とを設定する。以上の態様では、利用者が選択した第１単位画像が表す単位期間を含む設定期間と、当該単位期間に特徴量が類似する単位期間を含む他の設定期間とが一括的に設定される。したがって、各設定期間を利用者が個別に指定する必要がある構成と比較して、利用者が複数の設定期間を指定するための負荷を軽減することが可能である。
【０００９】
本発明の好適な態様に係る音情報設定装置は、音響信号の特徴量を複数の単位期間の各々について抽出する特徴抽出部と、複数の単位期間の各々に対応する単位画像を配置した解析画像を、各単位期間の特徴量が類似するほど当該各単位期間の単位画像の表示態様が近似するように、表示装置に表示させる表示制御部と、解析画像から利用者が選択した単位画像に対応する１以上の単位期間を含む設定期間について音情報を設定する情報設定部とを具備する。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る音情報設定装置の構成図である。
【図２】時系列画像の説明図である。
【図３】分布画像の説明図である。
【図４】分布画像における各単位画像の表示態様を選定するための色相環の説明図である。
【図５】設定期間の説明図である。
【図６】設定期間および音情報を設定する手順の説明図である。
【図７】音情報設定処理のフローチャートである。
【図８】第２実施形態において設定期間および音情報を設定する手順の説明図である。
【図９】変形例における彩色画像の説明図である。
【発明を実施するための形態】
【００１１】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る音情報設定装置１００の構成図である。第１実施形態の音情報設定装置１００は、制御装置１０と記憶装置１２と表示装置１４と入力装置１６とを具備するコンピュータシステムで実現される。例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の各種の情報処理装置が音情報設定装置１００として利用され得る。
【００１２】
記憶装置１２は、制御装置１０が実行するプログラムと制御装置１０が使用する各種のデータとを記憶する。例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体が記憶装置１２として利用され得る。相互に別体に構成された同種または異種の複数の記録媒体の組合せを記憶装置１２として利用することも可能である。音情報設定装置１００とは別体の記憶装置１２（例えばクラウドストレージ）を設置し、制御装置１０が通信網を介して記憶装置１２に対する書込や読出を実行してもよい。
【００１３】
第１実施形態の記憶装置１２は、楽音や音声等の各種の音を表す音響信号Ｘを記憶する。音響信号Ｘは、例えば、複数の楽器の演奏音の波形を表す時間領域の信号（複数のサンプルの系列）である。なお、例えば光ディスク等の記録媒体に記録された音響信号Ｘを再生する再生装置から音情報設定装置１００に音響信号Ｘを供給することも可能である。音響信号Ｘは任意の形式のファイルとして記憶装置１２に記憶される。
【００１４】
第１実施形態の音情報設定装置１００は、音響信号Ｘの特定の期間（以下「設定期間」という）について音情報Ｚを設定する情報処理装置である。音響信号Ｘを時間軸上で区分した複数の設定期間の各々について音情報Ｚが設定される。音情報Ｚは、音響信号Ｘが表す音の特性に関する情報である。第１実施形態では、音響信号Ｘが表す音のコード名を音情報Ｚとして例示する。
【００１５】
図１の表示装置１４は、例えば液晶表示パネルで構成され、制御装置１０による制御のもとで各種の画像を表示する。入力装置１６は、利用者からの指示を受付ける操作機器である。例えば利用者が操作する複数の操作子、または、表示装置１４の表示面に対する接触を検知するタッチパネルが入力装置１６として好適に利用される。
【００１６】
制御装置１０は、例えばＣＰＵ（Central Processing Unit）等の汎用の処理回路で構成され、音情報設定装置１００の各要素を統括的に制御する。第１実施形態の制御装置１０は、記憶装置１２に記憶されたプログラムを実行することで、音響信号Ｘの各設定期間に音情報Ｚを設定するための複数の機能（特徴抽出部２２，表示制御部２４，情報設定部２６）を実現する。なお、制御装置１０の機能を複数の装置に分散した構成、または、制御装置１０の機能の一部または全部を専用の電子回路が実現する構成も採用され得る。
【００１７】
特徴抽出部２２は、音響信号Ｘの特徴量Ｆを抽出する。第１実施形態の特徴抽出部２２は、音響信号Ｘを時間軸上で区分した複数の期間（以下「単位期間」という）の各々について特徴量Ｆを算定する。各単位期間は、例えば数十ミリ秒から数百ミリ秒程度の時間長の期間（フレーム）である。複数の連続する単位期間で構成される設定期間毎に音情報Ｚが設定される。なお、時間軸上で隣合う２個の単位期間は一部が重複していてもよい。
【００１８】
第１実施形態の特徴量Ｆは、音響信号Ｘが表す音のコード（和音）の特徴を表す指標である。第１実施形態ではクロマベクトルを特徴量Ｆとして例示する。クロマベクトルは、相異なる音階音（例えば平均律の１２半音の各々）に対応する複数の要素を含むベクトル（ＰＣＰ：Pitch Class Profile）である。クロマベクトルのうち任意の１個の音階音に対応する要素は、音響信号Ｘのうち当該音階音に対応する帯域成分の強度を複数のオクターブにわたり加算または平均した数値に設定される。したがって、クロマベクトルの複数の要素のうち単位期間内のコードの各構成音に対応する要素ほど大きい数値に設定される。
【００１９】
表示制御部２４は、表示装置１４に画像を表示させる。第１実施形態の表示制御部２４は、音響信号Ｘの複数の単位期間の各々に対応する画像（以下「単位画像」という）を配置した解析画像を表示装置１４に表示させる。第１実施形態では、図２の時系列画像ＧAと図３の分布画像ＧBとが解析画像として表示装置１４に表示される。時系列画像ＧAと分布画像ＧBとは、例えば相互に並列に表示（例えば同一の画面内に表示）される。
【００２０】
図２に例示される通り、時系列画像ＧAは、音響信号Ｘの複数の単位期間の各々に対応する単位画像ＵA（第１単位画像の例示）を時間軸に沿って配列した画像である。各単位画像ＵAは、音響信号Ｘの１個の単位期間を表す画像である。図２では、各単位画像ＵAを矩形状の図形とした場合が例示されている。
【００２１】
図３に例示される通り、分布画像ＧBは、音響信号Ｘの複数の単位期間の各々に対応する単位画像ＵB（第２単位画像の例示）を座標平面に配置した画像である。各単位画像ＵBは、音響信号Ｘの１個の単位期間を表す画像である。図３では、各単位画像を円形状の図形とした場合が例示されている。以上の説明から理解される通り、音響信号Ｘの複数の単位期間の各々について単位画像ＵAと単位画像ＵBとが表示装置１４に表示される。すなわち、時系列画像ＧAの各単位画像ＵAと分布画像ＧBの各単位画像ＵBとは１対１に対応する。
【００２２】
図３の分布画像ＧBにおける複数の単位画像ＵBは、各単位期間の特徴量Ｆの類似性（すなわち類否の度合）に応じた間隔で座標平面に配置される。具体的には、表示制御部２４は、音響信号Ｘの複数の単位期間から２個の単位期間を選択する全通りの組合せについて２個の単位期間の間の特徴量Ｆの距離を算定する。距離は、２個の単位期間の相互間における特徴量Ｆの類似性の指標であり、例えばユークリッド距離またはコサイン距離が好適例である。特徴量Ｆが類似する（すなわち距離が小さい）各単位期間の単位画像ＵBは近い位置に配置され、特徴量Ｆが乖離する各単位期間の単位画像ＵBは遠い位置に配置される。したがって、例えば相互に類似または共通するコードが演奏された各単位期間の単位画像ＵBは、座標平面内の特定の領域に集中する。座標平面に対する複数の単位画像ＵBの配置には、多次元尺度構成法（MDS：Multi Dimensional Scaling）等の公知の解析技術が任意に利用され得る。
【００２３】
図２および図３に例示される通り、第１実施形態の表示制御部２４は、時系列画像ＧAにおける各単位画像ＵAの表示態様と分布画像ＧBにおける各単位画像ＵBの表示態様とを、各単位期間の特徴量Ｆに応じて可変に設定する。表示態様とは、視覚的に弁別可能な画像の性状を意味する。例えば、色の三属性である彩度、明度（階調）または色相（色調）が表示態様の典型例である。
【００２４】
具体的には、表示制御部２４は、図３の分布画像ＧBについて、各単位期間の特徴量Ｆが相互に類似するほど各単位期間の単位画像ＵBの表示態様が近似するように、各単位画像ＵBの表示態様を選定する。すなわち、音響信号Ｘの任意の２個の単位期間の間で特徴量Ｆが類似するほど、各単位期間に対応する２個の単位画像ＵBの表示態様は相互に近似し、２個の単位期間の間で特徴量Ｆが相違するほど、各単位期間に対応する２個の単位画像ＵBの表示態様の相違は顕著となる。
【００２５】
具体的には、表示制御部２４は、複数の単位画像ＵBの重心Ｐ0を中心とした円周方向に沿って色相が変化し、かつ、重心Ｐ0を中心とした半径方向に沿って彩度が変化するように、各単位画像ＵBの表示態様を選定する。例えば、図４に例示される通り、円周方向に沿って色相が連続的に変化するとともに半径方向に沿って彩度が連続的に変化する色相環を想定する。表示制御部２４は、色相環の中心が複数の単位画像ＵBの重心Ｐ0に位置するように色相環を分布画像ＧBに重ねて配置し、色相環のうち各単位画像ＵBが位置する地点の色相および彩度を、当該単位画像ＵBの色相および彩度として選択する。したがって、音響信号Ｘの任意の２個の単位期間の間で特徴量Ｆが類似するほど、各単位期間に対応する２個の単位画像ＵBの色相および彩度が相互に近似する。以上に例示した分布画像ＧBを視認した利用者は、音響信号Ｘ内のコードの概略的な種類数や頻度を確認することが可能である。
【００２６】
また、表示制御部２４は、図２に例示される通り、時系列画像ＧA内で任意の１個の単位期間に対応する単位画像ＵAを、分布画像ＧB内で当該単位期間に対応する単位画像ＵBと同等の表示態様で表示する。すなわち、音響信号Ｘの共通の単位期間に対応する単位画像ＵAと単位画像ＵBとは同様の表示態様で表示される。したがって、時系列画像ＧAにおいても分布画像ＧBと同様に、音響信号Ｘの任意の２個の単位期間の間で特徴量Ｆが類似するほど、各単位期間に対応する２個の単位画像ＵAの表示態様は相互に近似し、２個の単位期間の間で特徴量Ｆが乖離するほど、各単位期間に対応する２個の単位画像ＵAの表示態様の相違は顕著となる。
【００２７】
以上の説明から理解される通り、第１実施形態の表示制御部２４は、各単位期間の特徴量Ｆが類似するほど、時系列画像ＧA内の各単位画像ＵAの表示態様が近似するとともに分布画像ＧB内の各単位画像ＵBの表示態様が近似するように、時系列画像ＧAと分布画像ＧBとを表示装置１４に表示させる。したがって、表示装置１４に表示された時系列画像ＧAを視認した利用者は、音響信号Ｘの時間軸上の各単位期間における特徴量Ｆの類否または異同を確認することが可能である。第１実施形態の特徴量Ｆはコードの特徴を反映したクロマベクトルであるから、時系列画像ＧAを視認した利用者は、音響信号Ｘにおけるコードの遷移（例えば任意の１個のコードが継続する期間）を把握することが可能である。
【００２８】
図１の情報設定部２６は、音響信号Ｘの各設定期間について音情報Ｚを設定する。利用者は、入力装置１６を適宜に操作することで、音響信号Ｘの設定期間と当該設定期間の音情報Ｚとを任意に指定することが可能である。具体的には、時系列画像ＧAに対する利用者からの指示で１個以上の設定期間が指定される。第１実施形態の情報設定部２６は、利用者が指定した各設定期間について、利用者が当該設定期間に対して指定した音情報Ｚを設定する。具体的には、情報設定部２６は、設定期間毎に音情報Ｚを示す設定データを利用者からの指示に応じて生成および更新する。設定データは、各設定期間の始点および終点と、当該設定期間に設定された音情報Ｚとの対応を規定するデータであり、記憶装置１２に格納される。
【００２９】
表示制御部２４は、音響信号Ｘの各設定期間と設定期間毎の音情報Ｚの内容（具体的にはコード名）とを解析画像に表示する。具体的には、表示制御部２４は、図５に例示される通り、時系列画像ＧAに各設定期間を表示（具体的には枠線により強調表示）するとともに当該設定期間の近傍に音情報Ｚを表示し、分布画像ＧBのうち設定期間に対応する１個以上の単位画像ＵBの近傍に音情報Ｚを表示する。第１実施形態では、利用者は、以下に詳述する通り、表示装置１４に表示された解析画像（時系列画像ＧA，分布画像ＧB）を入力装置１６により操作することで、任意の１個以上の単位期間を設定期間として指定するとともに当該設定期間の音情報Ｚを指定することが可能である。
【００３０】
まず、利用者は、時系列画像ＧAの複数の単位画像ＵAのうち１個以上の単位画像ＵAを設定期間として指定するとともに当該設定期間の音情報Ｚを指定することが可能である。図６は、時系列画像ＧAに対して設定期間および音情報Ｚを指定する手順の説明図である。図６に例示された手順ＰA1の通り、利用者は、時系列画像ＧAの複数の単位画像ＵAのうち任意の１個の単位画像ＵAを指定する。情報設定部２６は、利用者が選択した１個の単位画像ＵAが表す単位期間を暫定的な設定期間として指定し、表示制御部２４は当該設定期間を強調表示する。具体的には、設定期間を包囲する枠線が表示される。
【００３１】
図６に例示された手順ＰA2の通り、利用者は、入力装置１６を適宜に操作することで、手順ＰA1で指定した１個の単位画像ＵAの周囲（前方または後方）において表示態様が類似または一致する他の単位画像ＵAまで設定期間を拡張することが可能である。すなわち、手順ＰA1で選択した１個の単位期間の前後に、当該単位期間と特徴量Ｆが類似する範囲内で設定期間が拡張される。情報設定部２６は、利用者からの拡張の指示に応じて設定期間を更新するとともに、表示制御部２４は拡張後の設定期間を強調表示する。以上の操作により１個の設定期間が画定される。なお、１個の単位区間に属する各単位期間の単位画像ＵAまたは単位画像ＵBを共通の表示態様に更新することも可能である。
【００３２】
図６に例示された手順ＰA3の通り、利用者は、入力装置１６を適宜に操作することで、手順ＰA2で指定した設定期間に対して任意の音情報Ｚ（具体的にはコード名）を指定することが可能である。情報設定部２６は、利用者から指定された音情報Ｚを当該設定期間に設定するとともに、表示制御部２４は当該音情報Ｚを設定期間の近傍に表示する。時系列画像ＧAに対して設定期間および音情報Ｚが指定されると、表示制御部２４は、当該指定の内容を分布画像ＧBに反映させる。具体的には、図５に例示される通り、分布画像ＧB内で設定期間内の各単位期間に対応する複数の単位画像ＵBが強調表示される（具体的には複数の単位画像ＵBを包囲する枠線が表示される）とともに、当該設定期間の音情報Ｚを単位画像ＵBの近傍に表示させる。以上の説明から理解される通り、表示制御部２４は、時系列画像ＧA内の単位画像ＵAが選択された場合に、当該単位画像ＵAの表示態様を変更するとともに、分布画像ＧB内で当該単位画像ＵAと共通の単位期間に対応する単位画像ＵBの表示態様を変更する。なお、以上の説明では、設定期間の拡張（ＰA2）後に音情報Ｚを設定（ＰA3）したが、音情報Ｚの設定後に設定期間を拡張することも可能である。
【００３３】
また、利用者は、分布画像ＧB内の１個以上の単位画像ＵBを単位画像ＵBを、入力装置１６に対する指示で任意に指定できる。分布画像ＧB内の単位画像ＵBが指定された場合、表示制御部２４は、当該単位画像ＵBの表示態様を変更するとともに、時系列画像ＧAのうち利用者が指定した単位画像ＵBと共通の単位期間に対応する単位画像ＵAの表示態様を変更する。以上の説明から理解される通り、時系列画像ＧA内の単位画像ＵAおよび分布画像ＧB内の単位画像ＵBの一方の指定が他方の表示に反映される。すなわち、単位画像ＵAまたは単位画像ＵBの選択により利用者が指定した各単位期間について、単位画像ＵAおよび単位画像ＵBの双方が非選択時とは別個の表示態様で表示（すなわち強調表示）される。
【００３４】
以上の説明から理解される通り、第１実施形態では、音響信号Ｘの共通の単位期間に対応する単位画像ＵAおよび単位画像ＵBの表示態様が、単位画像ＵAおよび単位画像ＵBの一方の指定により相互に連動して変更（すなわち強調表示）される。したがって、時系列画像ＧAの各単位画像ＵAと分布画像ＧBの各単位画像ＵBとの対応関係（すなわち、共通の単位期間に対応する単位画像ＵAと単位画像ＵBとの組合せ）を、利用者が視覚的および直観的に把握することが可能である。
【００３５】
図７は、音情報設定装置１００が音響信号Ｘの各設定期間に音情報Ｚを設定するための処理（以下「音情報設定処理」という）のフローチャートである。記憶装置１２に記憶されたプログラムの起動の指示を契機として制御装置１０が図７の音情報設定処理を開始する。
【００３６】
音情報設定処理を開始すると、特徴抽出部２２は、音響信号Ｘの各単位期間について特徴量Ｆを抽出する（ＳA1）。表示制御部２４は、特徴量Ｆに応じた表示態様の複数の単位画像ＵAを配置した時系列画像ＧAと、特徴量Ｆに応じた表示態様の複数の単位画像ＵBを配置した分布画像ＧBとを表示装置１４に表示させる（ＳA2）。
【００３７】
情報設定部２６は、設定期間の指示を利用者から受付けたか否かを判定する（ＳA3）。設定期間の指示を受付けた場合（ＳA3：YES）、情報設定部２６は、利用者からの指示に応じて設定期間を設定し（ＳA4）、表示制御部２４は、利用者が選択した設定期間に対応する各単位画像ＵAおよび各単位画像ＵBの表示態様を変更する（ＳA5）。他方、設定期間が指示されない場合（ＳA3：NO）、情報設定部２６は、設定期間の指定が解除されたか否かを判定する（ＳA6）。設定期間の指定が解除された場合（ＳA6：YES）、情報設定部２６は、当該設定期間の指定を解除し（ＳA7）、表示制御部２４は、当該設定期間に対応する単位画像ＵAおよび単位画像ＵBの表示態様を初期的な態様に変更する（ＳA8）。
【００３８】
設定期間の指定または解除が指示されない場合（ＳA6：NO）、情報設定部２６は、音情報Ｚの指示を利用者から受付けたか否かを判定する（ＳA9）。音情報Ｚが指示された場合（ＳA9：YES）、音情報設定部２６は、利用者が指示した音情報Ｚを現在の選択状態の設定期間に設定し（ＳA10）、表示制御部２４は、利用者が指示した音情報Ｚを時系列画像ＧAおよび分布画像ＧBに表示させる（ＳA11）。他方、音情報Ｚが指示されない場合（ＳA9：NO）には、音情報Ｚの設定（ＳA10）および表示（ＳA11）は実行されない。
【００３９】
以上の処理が完了すると、制御装置１０は、音情報設定処理の終了が利用者から指示されたか否かを判定する（ＳA12）。音情報設定処理の終了が指示されない場合（ＳA12：NO）、制御装置１０は処理をステップＳA3に移行する。すなわち、利用者からの指示に応じた設定期間の設定（ＳA4，ＳA5）および解除（ＳA7，ＳA8）と音情報Ｚの設定（ＳA10，ＳA11）とが反復される。したがって、音響信号Ｘの複数の設定期間の各々について音情報Ｚが設定される。他方、利用者により終了が指示された場合（ＳA10：YES）、制御装置１０は図７の音情報設定処理を終了する。
【００４０】
以上に例示した通り、第１実施形態では、各単位期間の特徴量Ｆが類似するほど各単位画像（ＵA，ＵB）の表示態様が近似する解析画像が表示装置１４に表示され、利用者が解析画像から選択した１個以上の単位期間を含む設定期間について音情報Ｚが設定される。したがって、利用者が音情報Ｚを効率的に指示することが可能である。第１実施形態では特に、各単位期間に対応する単位画像ＵAを時間軸に沿って配置した時系列画像ＧAが表示される。したがって、各単位期間の特徴量Ｆの類否の時間的な遷移を確認しながら、利用者が所望の設定期間を選択できるという利点がある。また、第１実施形態では、各単位期間に対応する単位画像ＵBを特徴量Ｆの距離に応じた間隔で座標平面に配置した分布画像ＧBが表示される。したがって、各単位期間の特徴量Ｆの分布を視覚的および直観的に把握しながら、利用者が所望の設定期間を選択できるという利点もある。
【００４１】
ところで、音響信号Ｘの各期間に音情報Ｚを設定する構成としては、例えば、音情報Ｚ毎（例えばコード毎）に事前に用意された複数の基準値を利用する構成（以下「対比例」という）も想定される。各基準値は、特徴量Ｆとの比較対象となるテンプレートである。対比例では、任意の１個の単位期間の特徴量Ｆが複数の基準値の各々と比較され、単位期間の特徴量Ｆに最も類似する基準値に対応した音情報Ｚが当該単位期間に設定される。しかし、実際には、単位期間の特徴量Ｆに類似する基準値の音情報Ｚが適切な内容であるとは限らず、実際には他の音情報Ｚが適正である場合も発生し得る。以上に例示した対比例とは対照的に、第１実施形態では、利用者が指定した設定期間に対して当該利用者からの指示に応じた音情報Ｚが設定されるから、音響信号Ｘの各期間に不適切な音情報Ｚが設定されるという対比例の問題を抑制することが可能である。
【００４２】
＜第２実施形態＞
本発明の第２実施形態を説明する。第１実施形態では、音響信号Ｘの各設定期間を個別に指定するとともに音情報Ｚを設定期間毎に個別に設定した。第２実施形態では、利用者が１個の設定期間を指定した場合に、当該設定期間に特徴量Ｆが類似する他の設定期間も一括的に指定される。なお、以下に例示する各形態において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００４３】
図８は、第２実施形態における設定期間の選択の説明図である。図８の手順ＰB1において、時系列画像ＧA内の１個の単位画像ＵAを利用者が指定すると、情報設定部２６は、当該単位画像ＵAに対応する単位期間と、当該単位期間に特徴量Ｆが類似する他の単位期間とが、設定期間として一括的に指定される。具体的には、利用者が指定した１個の単位期間の特徴量Ｆに対して許容範囲内にある特徴量Ｆが抽出された各単位期間（例えば、利用者が指定した１個の単位期間の特徴量Ｆとの差分が閾値を下回る単位期間）の単位画像ＵAが指定される。すなわち、特徴量Ｆが相互に類似する複数の単位期間の各々が設定期間として一括的に選択される。表示制御部２４は、情報設定部２６が選択した各単位画像ＵAを強調表示する。
【００４４】
図８の手順ＰB2において、利用者は、手順ＰB1で指定された複数の設定期間のうち任意の１個の設定期間を、第１実施形態の手順ＰA2と同様に前方または後方に拡張することが可能である。時間軸上で隣合う各単位期間において特徴量Ｆは相違し得るから、設定期間を拡張する（設定期間内の単位期間の総数が増加する）と、当該設定期間内の各単位期間の特徴量Ｆの数値範囲は拡大する。音情報設定部２６は、拡張後の設定期間に含まれる複数の単位期間の特徴量Ｆの数値範囲まで許容範囲を拡大し、手順ＰB1で指定された単位期間の周辺において特徴量Ｆが拡大後の許容範囲内に含まれる複数の単位期間の範囲を、更新後の設定期間として画定する。すなわち、複数の単位期間を各々が含む複数の設定期間が一括的に指定される。
【００４５】
図８の手順ＰB2において、利用者は、手順ＰB2で指定された複数の設定期間のうち任意の１個の設定期間について音情報Ｚを指定することが可能である。音情報設定部２６は、手順ＰB1および手順ＰB2で指定された複数の設定期間について、利用者が指定した音情報Ｚを共通に設定する。すなわち、特徴量Ｆが類似する複数の設定期間について共通の音情報Ｚが一括的に設定される。
【００４６】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態においては、時系列画像ＧAの単位画像ＵAが指定された場合に、当該単位画像ＵAが表す単位期間を含む設定期間と、当該単位期間に特徴量Ｆが類似する他の設定期間とが一括的に設定される。したがって、各設定期間を個別に指定する必要がある構成と比較して、利用者が複数の設定期間を指定するための負荷を軽減することが可能である。
【００４７】
＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
【００４８】
（１）特徴量Ｆの抽出の単位となる単位期間の時間長は任意である。例えば、音響信号Ｘが表す楽曲の拍点を境界として音響信号Ｘを区分した各単位期間について特徴量Ｆを抽出する構成も採用され得る。複数拍に相当する時間長の期間を単位期間としてもよい。また、単位期間内の複数の期間について特徴量を抽出し、単位期間内の特徴量の代表値（例えば平均値）を当該単位期間の特徴量Ｆとして算定することも可能である。
【００４９】
（２）前述の各形態では、単位画像ＵAおよび単位画像ＵBの表示態様として色相および彩度を例示したが、単位画像ＵAまたは単位画像ＵBの表示態様は以上の例示に限定されない。例えば、色相、彩度および明度のうちの少なくともひとつでもよいし、これらの任意の組合せでもよい。また、模様や明暗（濃淡）等の表示態様で特徴量Ｆの類否を表現することも可能である。以上の説明から理解される通り、単位画像ＵAまたは単位画像ＵBの表示態様とは、視覚的に弁別可能な画像の性状を意味する。
【００５０】
（３）前述の各形態では、各設定期間に設定される音情報Ｚを利用者が指定する構成を例示したが、音情報Ｚを特定する方法は以上の例示に限定されない。例えば、音響信号Ｘの解析により音情報Ｚを特定することも可能である。例えば、公知のコード識別技術を利用して音響信号Ｘから自動的に推定されたコード名を音情報Ｚとして各設定期間に設定することも可能である。音響信号Ｘの解析で自動的に特定された音情報Ｚを初期値として利用者が任意に変更できる構成も好適である。
【００５１】
（４）前述の各形態では、音情報Ｚとしてコード名を例示したが、音情報Ｚの内容は以上の例示に限定されない。例えば、設定期間内で優勢に発音される楽器の種類（楽器名）、または、設定期間内で優勢に発音される音名を、音情報Ｚとして設定期間毎に設定することも可能である。また、人間の発声音を表す音響信号Ｘを想定すると、設定期間内で発音される音韻（発音内容）を音情報Ｚとして設定期間毎に設定することも可能である。以上の説明から理解される通り、音情報Ｚは、各設定期間に設定される各種の情報（ラベル）を包含する。
【００５２】
（５）前述の各形態では、多次元尺度構成法（MDS）を利用して分布画像ＧBを生成したが、分布画像ＧBを生成する方法は以上の例示に限定されない。例えば、前述の各形態では、分布画像ＧBの各単位画像ＵBの表示態様を選定するために色相環を利用したが、図９に例示される通り、相互に直交する２軸に沿って色相および彩度が変化する画像（以下「彩色画像」という）を各単位画像ＵBの表示態様の選定に利用することも可能である。具体的には、表示制御部２４は、彩色画像を分布画像ＧBに重ねて配置し、彩色画像のうち各単位画像ＵBが位置する地点の色相および彩度を、当該単位画像ＵBの色相および彩度として選択する。
【００５３】
また、例えば、特徴抽出部２２が抽出した複数の特徴量Ｆをk-means等の公知の技術で複数のクラスタに分類（クラスタリング）し、クラスタ毎に表示態様を選定することも可能である。例えば、相異なるクラスタに対応する複数の領域に色相環を分割し、各クラスタに属する特徴量Ｆが抽出された単位期間を表す単位画像ＵAおよび単位画像ＵBに対して、色相環のうち当該クラスタに対応する領域内の色を割当てることも可能である。以上の構成では、特徴量Ｆが共通のクラスタに分類された各単位期間の単位画像（ＵA，ＵB）は相互に近似する表示態様で表示される。
【００５４】
以上の例示から理解される通り、分布画像ＧBは、複数の単位期間の各々に対応する単位画像ＵBを、特徴量Ｆが類似する各単位期間の単位画像ＵBの間で表示態様が近似するように、各単位期間の特徴量Ｆの距離に応じた間隔で座標平面に配置した画像として包括的に表現される。
【００５５】
（６）前述の各形態で例示した音情報設定装置１００は、前述の各形態の例示の通り、制御装置１０とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、音響信号Ｘの特徴量Ｆを複数の単位期間の各々について抽出する特徴抽出部２２、複数の単位期間の各々に対応する単位画像（ＵA，ＵB）を配置した解析画像（ＧA，ＧB）を、各単位期間の特徴量Ｆが類似するほど当該各単位期間の単位画像の表示態様が近似するように、表示装置１４に表示させる表示制御部２４、および、解析画像から利用者が選択した単位画像に対応する１以上の単位期間を含む設定期間について音情報Ｚを設定する情報設定部２６、としてコンピュータを機能させる。
【００５６】
以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。
【符号の説明】
【００５７】
１００…音情報設定装置、１０…制御装置、１２…記憶装置、１４…表示装置、１６…入力装置、２２…特徴抽出部、２４…表示制御部、２６…情報設定部。
【図１】
2018005171.tif 000003
【図２】
2018005171.tif 000004
【図３】
2018005171.tif 000005
【図４】
2018005171.tif 000006
【図５】
2018005171.tif 000007
【図６】
2018005171.tif 000008
【図７】
2018005171.tif 000009
【図８】
2018005171.tif 000010
【図９】
2018005171.tif 000011