と  の比較

印象に基づく楽曲検索における

熊本 忠彦
太田 公子
独立行政法人 通信総合研究所 けいはんな情報通信融合研究センター（  年  月  日，通信総合研究所（）と通信・放送機構（ ）は統合され，情報通信研究機構（〒  京都府相楽郡精華町光台 表   が提示する印象尺度

まえがき
印象尺度

大量にあるマルチメディアコンテンツの中からユーザが持つ何らかの判断基準（嗜好や感性，気分など）に合致するデータを見つけるための手段として，印象に基づく検索方式が研究されている   ．本方式は，特定のデータを探し出すという目的には向かないが，ユーザ自身予想しなかったような意外なデータや全く知らないような新奇なデータを提示しうる発見的な検索手段と言える．
印象に基づく検索システムへの印象入力には，通常，グラフィカルユーザインタフェース（）が採用されており，システムが提示する（）複数個の印象語の中から  つあるいは複数個を選択する ，（）複数個の印象語に対する多段階評価 ，もしくは（）複数個の印象尺度（印象語の対）に対する多段階評価  といった形式で行われる．そのため，入力可能な印象語の数が多いと，その中から自分が見つけたい楽曲の印象を表現する語（もしくは語の組合せ）を決定するのに時間と労力を要してしまい，少ないと，適切な語（もしくは語の組合せ）を決定できなかったり，迷ったりする可能性が高くなってしまう．このような状況下においてユーザフレンドリーな検索を実現するためには，ユーザの自由かつ自然な印象入力を可能にする自然言語インタフェース（ ）が有効と考えられる  ．
 は，ユーザ自身の判断基準（嗜好や感性，気分など）をそのまま言葉にすればいいので，誰でも利用できる上，入力可能な印象語の数にも理論上は制約がなく，増やしても入力コストは増大しない．一方，は，入力可能な印象語が画面上に提示されるので直感性に優れ，操作も単に入力したい印象語をマウスで選択するだけという単純なものである．
過去，  と  の比較は数多くなされてきたが，感性検索シーンにおいての比較はまだ見当たらない．
意味（コマンド）体系の明確なパソコン操作などにおいては，現在， の方が優勢と考えられるが，入力項目がユーザの印象という明確な意味体系を構築できな
い感性検索シーンでは，  と  のどちらが優れているのか，またその優劣は何を基準に決められるのか明らかでない．そこで，本稿では，印象に基づく楽曲検索システムに
 と  を実装し，この  種類の楽曲検索システムの検索性能や使い勝手を比較することによって，  設計時に優先的に考慮すべき仕様について考察する．
なお，我々のスタンスに最も近い比較事例としては，原田らの文献  を挙げることができるが，彼らが行ったのは，  を有した印象に基づく画像検索システム）として生まれ変わります）

印象尺度を構成する印象語の対静かな  激しい
落ち着いた  忙しい
爽やかな  重苦しい
明るい  暗い荘厳な  軽々しい
ゆったりとした  窮屈な
綺麗な  綺麗でない
楽しい  悲しい
気持ちが落ち着く 気持ちが高揚する
心が癒される  心が傷つく

と  を有した内容（色相，彩度，輝度）に基づく画像検索システムとの比較であり，感性検索シーンにおいて と  を比較するものではなかった．

  種類の印象に基づく楽曲検索システム
本章では，本稿において比較される  種類の楽曲検索システム（ ベース，  ベース）の概要を述べる．なお，どちらのシステムもユーザインタフェース以外は共通のモジュールで動作する．
 ＧＵＩベースの楽曲検索システム  ベースのシステムへの印象入力は，システムが提示する  個の印象尺度（表  参照）の中から  個以上を選択し，それぞれを  段階評価するという形で行われる．すなわち，楽しい曲を見つけたい場合は，印象尺度  の「とても楽しい（ 点）楽しい（ 点）少
し楽しい（ 点）どちらとも言えない（ 点）少し悲しい（ 点）悲しい（ 点）とても悲しい（ 点）」の中から「楽しい」を選択すればよい．このとき，選択されなかった印象尺度には   項を意味する記号「 」が割り振られ， という  次元の印象ベクトルが検索条件として生成される．同様に，暗く悲しい曲を見つけたい場合は，印象尺度 の「暗い」と印象尺度  の「悲しい」を評価すればよく，その結果，
  という検索条件が生成される．なお，提示されていな
い印象を入力するためには，複数個の印象尺度を評価し，目的とする印象を合成する必要がある．
実際の  画面は図  のとおりであり，ユーザは入力したい印象語をマウスで選択すればよい．

表  印象語と検索条件の対応関係   の例
印象尺度
哀れな
懐かしい
優しい
印象尺度
哀れな
懐かしい
優しい

図  グラフィカルユーザインタフェース（）画面

図  自然言語インタフェース（）画面

ＮＬＩベースの楽曲検索システム 
まずはじめに，この楽曲検索システムの
 画面を図  に示す．画面中段の右側にあるテキスト領域がユーザが印象入力を行うための領域であり，日本語漢字かな混じり文を入力し，改行を行えば，文の解釈，検索条件への変換，検索が行われ，その結果が画面左下のテーブル領域に表示される．
この楽曲検索システムに入力可能な印象語は  語であり，印象に基づく楽曲検索時に高頻度で利用される印象語，音楽作品の感情的性格を測るための印象語（感情価測定尺度 ）， ベースのシステムにおいて提示される印象語（表  参照）の計  語と，その否定語½ の計  語からなっている．したがって， で入力可能な印象語はすべて でも入力できる．
印象語  語と検索条件との対応付けは，以下のような被験者実験（男性名，女性名）の結果に基づいて行われた．まず，各被験者にそれぞれの印象語と印象尺度（ 個  段階評価）を紙ベースで提示し，その½ 本稿では，肯定形に対してはその否定形を，否定形に対してはその肯定形を否定語と呼ぶ．例えば，「静かな」と「静かでない」はお互いに否定語の関係にある．

     

印象語で表現される曲（例えば「穏やかな曲」）はどのようなイメージの曲か，ということを  個以上の印象尺度に対する  段階評価という形で回答してもらった．
その結果，印象語と各印象尺度における  段階評価値との対応関係が得られたわけだが，このデータの中には被験者による変動が大きいものや，不適切な印象尺度と考えた被験者が多いものもあった．そこで，それぞれの印象尺度において，データの平均値  と標準偏差  を求め，区間     の間に含まれている被験者の数（被験者による得点分布を正規分布と仮定した場合の理論上の数）を計算し，この数が被験者の過半数（  名）以上であるデータだけを採用することにした．他のデータは除去し，記号「 」を付与した．以上の操作の結果が印象語と検索条件との対応関係（表 参照）を示しており，ある印象語が入力されると対応する検索条件が出力される仕組みとなっている．また，複数の印象語が入力された場合は，それぞれの印象語から検索条件が生成され，各要素毎に平均値を計算するという方法で合成される．例えば，印象語「楽しい」と「優しい」からは，それぞれ
      

という  つの検索条件が生成され，合成されると，




 

 

となる．

 ＮＬＩとＧＵＩの比較および考察
本章では，  ベースのシステムと  ベースのシステムを検索性能や使い勝手の面から比較し，その結果について考察する．
 検索性能評価実験の概要
まず，被験者  名に対し，「数多くのクラシック曲の中から，ホームページの  にしたいと思う曲を検索しようとするとき，あなたならどのような曲を検索しますか？曲名や作曲者名といった具体的な情報ではなく，どんな印象の曲か，どんな雰囲気の曲か，どんな感じの曲か，といったことについて教えてください．ただし，楽器名や演奏形式，ジャンル，テンポについては触れないでください．ホームページの種類については，適当に仮定してください．」というアンケート調査を行い，検索したい楽曲の印象を 文書き出してもらった．

加えて，その印象を印象尺度（表  参照）を用いて入力するとしたら，どの印象尺度に対しどのような評価を行えばよいと思うか，ということにも回答してもらった．  に入力する文や  に入力する印象尺度評価を先に決めてもらったのは，検索欲求が乏しい状況下で，なるべく自由かつ自然な印象入力文を考え出してもらうとともに，システムの性能や操作性に影響されないようにするための工夫であり，安易な印象入力文や印象尺度評価を考え出すのを防ぐ狙いもあった．
次に，この 文のうちの第  文と第  文を用いて，以下の手順で楽曲検索¾ を行ってもらった．すなわち，あらかじめ決定しておいた印象入力文や印象尺度評価をそれぞれ もしくは  を用いて入力してもらい，検索結果があれば，第  位の楽曲を聴取し，印象の適合度を 段階（適合している（ 点），少し適合している（ 点），どちらとも言えない（ 点），あまり適合していない（ 点），適合していない（ 点））で評価することとし，なければ（例えば，意味解釈に失敗した場合や検索条件に合う楽曲が存在しなかった場合），第 
文以降を用いて再度楽曲検索を行うこととした．なお，実験に用いる楽曲検索システムの利用順序を被験者によって変え，利用順序が被験者に与える影響を分散させた．被験者は男性  名，女性  名の計  名であり，年齢層は  代がもっとも多く（ 名），他  代から代までが数名ずつであった．
 実験の結果と考察
まず， 種類の楽曲検索システムの検索性能として，成功率（検索に失敗しなかった割合）と検索に成功した
場合の平均適合度（被験者毎の適合度の平均値をさらに平均した値）を調べた．その結果を表  に示す．
表  より，  ベースのシステムでは，全  回の検索に対し，成功した（何らかの検索結果が提示された）のは  回（）であり，残りの  回は失敗であった（ 回：検索条件の生成に失敗した， 回：検索条件に合う楽曲がなかった）．一方， ベースのシステムでは，全  回中  回（ ）が成功であり，失敗は 回だけであった．この割合の差は，統計的に有意であり（有意水準 ），  ベースのシステムの成功率が  ベースのシステムに比べ，低いことを示している．また，検索に成功した場合の平均適合度は，
 ベースのシステムで ， ベースのシステム
で   と，若干ながら
 ベースのシステムの方が高い値を示しているが，統計的に有意な差はなかった（有意水準 ）．つまり，検索に成功した場合の適合度という点では，両システムはほぼ同等と言える．
ここで，検索性能に関するアンケート調査の結果を図  に示す．この図より，適合度という点では， ベースのシステムも  ベースのシステムもほぼ同等¾ 検索の対象となる楽曲データベースは，数十秒から数分程度に短くアレンジされたクラシック系の   曲からなり，インターネット上で公開され，二次利用が認められている楽曲（入手先：，  ）をそのまま再利用した．検索結果としては，ユーザの印象入力との距離 !" が小さい ! 曲（ただし，距離  以下）が提示された．

表   種類の楽曲検索システムの検索性能

検索回数回
回

成功率（回数）（ 回） （  回）

平均適合度

 㪐㪏ⵍ 㪎㛎 㪍⠪ 㪌ᢙ 㪋㪊㪉㪈㪇㪇㪈㪇㪉㪇㪊㪇䌇䌕䌉䈏䈇䈇㪋㪇㪌㪇㪍㪇㪎㪇䈬䈤䉌䈫䉅⸒䈋䈭䈇㪏㪇㪐㪇 㪈㪇㪇䌎䌌䌉䈏䈇䈇図  検索性能に関するアンケート調査の結果
表  検索性能に関するランク別適合度と成功率

ランク
相関係数

平均適合度 差 成功率 差 


であったにもかかわらず，ユーザの印象としては，ベースのシステムの方が高く評価されていることがわかる．そこで，この検索性能に関するアンケート調査において，低い評価得点（ 点〜 点）を与えた人をランク ，中位の評価得点（ 点〜 点）を与えた人をランク ，高い評価得点（ 点〜 点）を与えた
人をランク  と分け，ランク毎に平均適合度と成功率を調べてみた．すると，表 のような結果が得られた．
表中，相関係数はランクとの単回帰分析の結果であり，各システムの絶対的な検索精度（つまり平均適合度）が検索性能に関する印象の良し悪しにはあまり影響を与えず，その一方で，両システムの相対的な検索精度（つまり平均適合度の差）が大きく影響していることがわかる．また，表 は，  ベースのシステムの成功率および両システムの成功率の差も重要な要素であることを示している．
以上のことから，検索性能に関する印象を良くするためには，絶対的な検索精度（平均適合度）を向上させることよりも，検索に失敗せず，常に何らかの結果を提示できるようロバスト性（成功率）を高めることの方が重要であると言える．
次に，システムの使い勝手に関して検討する．まず，
 ベースのシステムと  ベースのシステムの使い勝手を  点満点で評価してもらったところ，図 に示すような結果が得られた．平均値は，  ベースのシステムで ， ベースのシステムで  とほぼ同じであった．そこで，両システムの使い勝手を相対㪈㪋㪈㪉ⵍ㪈㪇㛎⠪ 㪏ᢙ 㪍㪋㪉㪇表  使い勝手に関するランク別適合度と成功率㩷䌎䌌䌉㩷㩷䌇䌕䌉㩷ランク㪉㪇 㪊㪇 㪋㪇 㪌㪇 㪍㪇 㪎㪇 㪏㪇 㪐㪇 㪈㪇㪇

相関係数  平均適合度    差

成功率 差ᓧὐ
図   と  の使い勝手㪐㪏ⵍ 㪎㛎 㪍⠪ 㪌ᢙ 㪋㪊㪉㪈㪇㪇㪈㪇㪉㪇䌇䌕䌉䈏䈇䈇㪊㪇㪋㪇㪌㪇㪍㪇䈬䈤䉌䈫䉅⸒䈋䈭䈇㪎㪇㪏㪇㪐㪇 㪈㪇㪇䌎䌌䌉䈏䈇䈇図  使い勝手に関するアンケート調査の結果的に評価してもらったところ，図 に示すような結果となった．「どちらとも言えない」から若干「  がいい」の方に偏っているのがわかるが，その一方で「がいい」と強く主張している被験者も多い．ここで，検索性能に関する考察のときと同様，評価得点に応じて つのランクを用意し，ランク毎に平均適合度と成功率を調べてみた．その結果を表 に示す．表 より，平均適合度との間には弱い相関があり，成功率との間には強い相関があるのがわかる．したがって，使い勝手に関しても，システムのロバスト性（成功率）が最も重要であると言えるが，検索性能に関する考察のときと異なり，検索精度（平均適合度）に関しては，良いに越したことはないという傾向が見られる．
使い勝手に関しては，評価得点をつけてもらうと同時に，その理由も記述してもらった． の使い勝手
に関しては，長所として，印象語が提示されているという点と入力可能な印象の多様性（ 印象尺度  段階
評価  ½¼  パターン）という点が挙げられており，逆に，欠点としては，入力したい印象を印象尺度に対する評価という形で表現することの難しさや，印象尺度の数や種類，評価段階数への不満，そしてマウス操作に関する不満などが挙げられている．一方，  の使い勝手に関しては，長所として，自由かつ自然な文形式で印象を入力できる点や，単に文章を入力するだけという操作性が評価され，逆に，文解釈におけるロバスト性の低さや頭の中のイメージを言葉にすることの難しさなどが欠点として挙げられている．
なお，我々が用意した楽曲検索システムは「音楽作品の感情的性格」と「楽曲聴取者の感情状態の変化」にタイプ分類されるような印象のみを対象としており，「心に感じ入る曲」のような楽曲聴取者の感想や評論や「凍てついた厳冬の空のような曲」のような情景的なイメージなどは対象としていない ．しかしながら，自由かつ自然な印象入力を行ってもらうという観点から，入力可能な印象についての制約条件を詳しく教示しなかった．そのため，文解釈に失敗する場合が比較的多かったものと思われる．実際，文解釈に失敗した  文を調べてみると，うち  文が対象外の印象入力であり，残りの  文のうち， 文がプログラムのバグによる解析失敗， 文が未登録語（入力可能な印象語を決定する際の基準から外れた語）の出現による解析失敗であった．
以上のことから，使い勝手のよりよい検索システムを構築するためには，検索に失敗しないロバストなシステムであることが第一で，この前提が満たされるなら，  の方が好ましいと考えられる．また，印象の言語化を補助するような発想支援的メカニズムの必要性も示唆されている．

 まとめ
本稿では， 種類の印象に基づく楽曲検索システム（  ベースと  ベース）を用意し，被験者  名による検索性能評価実験を行った．その結果，我々は，検索に失敗しないロバストな検索システムの実現が第一で，このロバスト性が保証されるなら，  の方が検索性能，使い勝手の両面において，より良い印象を得ることができる，という結論に達した．

参考文献
栗田多喜夫，加藤俊一，福田郁美，坂倉あゆみ，印
象語による絵画データベースの検索，情処学論，
 ， ，!!"，
 佐藤 聡，小川 潤，堀野義博，北上 始，感情に基づく音楽作品検索システムの実現に向けての検討，
信学技報， #$
%，!! " ， 熊本忠彦，太田公子，印象に基づく楽曲検索シス
テム：Ｎグラム統計量の利用，情報技術レターズ， ，  &%，!!" ， #'()*+,-,.,

/(0*1*-

21

,3.

+*-4,5,,0,2,3* 326-,72*86 4,96 :62-*68,(-,,39(,96<!2=39 ;',2%!!" 

熊本忠彦，太田公子，印象に基づく楽曲検索：自然言語インタフェースの実現，情処研報，8  %% ，3，!!"，  谷口高士，音楽と感情，北大路書房，京都，
