(57)【要約】【課題】実環境の中で非同期に発生する混合音の中からイライラする原因となる不快音を推定して除去すること。【解決手段】前記従来の課題を解決するために、本発明の音選択加工装置は、音取得部と音構造特徴抽出部と音分離部と不快感検知部と候補音選択決定部と候補音提示特定部と加工音構造特徴更新部と音加工部とを有し、不快感を検知すると、イライラする原因となる不快音を推定し、提示する数をできるだけ減らして対象音を確認の上で決定する。本構成によって、混合音の中からイライラする原因となる不快音を推定し、ユーザが提示された音を候補音の中から特定し加工することにより、すばやく不快感を低減させることができる。【選択図】図１
2007187748.tif 000002
【特許請求の範囲】
【請求項１】
利用者の周囲で発生する混合音から、利用者が不快に感じる音を選択的に取り除く音選択加工装置であって、
混合音を、音源ごとの音に分離する音分離手段と、
利用者が不快な状態にあることを検知する不快感検知手段と、
前記不快感検知手段によって利用者が前記状態にあることが検知されると、分離された音である各分離音間の関係を評価し、前記評価結果に基づいて、加工対象候補の分離音を推定する候補音選択決定手段と、
推定された加工対象候補の前記分離音を前記利用者に提示して、選択を受け付け、選択された分離音を特定する候補音提示特定手段と、
特定された前記分離音を加工して、混合音を再構成する音加工手段と
を備えることを特徴とする音選択加工装置。
【請求項２】
前記音分離手段は、前記混合音に含まれる音源ごとの音構造特徴を抽出することによって、前記混合音を分離し、
前記候補音選択決定手段は、
前記各分離音から形成された信号を比較することによって、前記各分離音間の関係を評価する音構造特徴比較部と、
前記評価結果に基づいて、前記各分離音のうち、支配的となる分離音又は支配的となる周波数帯域を推定することによって、前記加工対象候補の分離音を推定するマスカー分離音推定部と
を備えることを特徴とする請求項１記載の音選択加工装置。
【請求項３】
前記不快感検知手段は、入力音ラウドネス変化、皮膚電気抵抗の変動およびボタンの押下検知のいずれかを用いて、利用者が不快な状態にあることを検知する
ことを特徴とする請求項１記載の音選択加工装置。
【請求項４】
前記候補音提示特定手段は、取得された前記混合音から分離された分離音を前記利用者に提示して、提示された前記分離音の中から聞きたい音の選択を受け付け、
前記音加工手段は、選択された前記聞きたい音を増幅するように加工して、混合音を再構成する
ことを特徴とする請求項１記載の音選択加工装置。
【請求項５】
前記音構造特徴比較部は、所定の時間内に取得された混合音に含まれる前記各分離音から形成された信号の大きさを比較することによって、形成された前記信号の大きさがより大きい分離音を支配的な分離音として順番をつけ、
前記候補音提示特定手段は、支配的な分離音の前記順番に従って、加工対象候補の前記分離音または前記混合音から加工対象候補の前記分離音を差し引いた音を提示する
ことを特徴とする請求項２記載の音選択加工装置。
【請求項６】
前記音選択加工装置は、さらに、
過去に前記候補音提示特定手段において特定された分離音以外の分離音を蓄積する探索対象音構造特徴記憶手段と、
新たに前記候補音提示特定手段において特定された分離音を蓄積する音構造特徴記憶手段とを備え、
取得された混合音に、前記探索対象音構造特徴記憶手段に蓄積されている、場所に関連する分離音が含まれている場合、前記音構造特徴記憶手段は、新たに特定された分離音を蓄積しない
ことを特徴とする請求項１記載の音選択加工装置。
【請求項７】
前記音選択加工装置は、さらに、
前記候補音提示特定手段において特定された分離音の種別を識別する識別器を備え、
前記候補音提示特定手段は、推定された加工対象候補の前記分離音とともに、その種別を提示する
ことを特徴とする請求項１記載の音選択加工装置。
【請求項８】
周囲で発生する混合音を取得する音取得手段と、
前記候補音提示特定手段において特定された分離音の音構造を、他の音選択加工装置に送信する加工音構造送信部と、
他の音選択加工装置において特定された分離音の音構造を、前記他の音選択加工装置から受信する加工音構造受信部とを備え、
前記音取得手段は、前記候補音提示特定手段において特定された分離音が、前記他の音選択加工装置から受信した分離音と一致する場合、前記他の音選択加工装置の音取得手段とともにアレイマイクとして動作する
ことを特徴とする請求項１記載の音選択加工装置。
【請求項９】
利用者の周囲で発生する混合音から、利用者が不快に感じる音を選択的に取り除く音選択加工方法であって、
混合音を、音源ごとの音に分離する音分離ステップと、
利用者が不快な状態にあることを検知する不快感検知ステップと、
前記不快感検知ステップによって利用者が前記状態にあることが検知されると、分離された音である各分離音間の関係を評価し、前記評価結果に基づいて、加工対象候補の分離音を推定する候補音選択決定ステップと、
推定された加工対象候補の前記分離音を前記利用者に提示して、選択を受け付け、選択された分離音を特定する候補音提示特定ステップと、
特定された前記分離音を加工して、混合音を再構成する音加工ステップと
を含むことを特徴とする音選択加工方法。
【請求項１０】
利用者の周囲で発生する混合音から、利用者が不快に感じる音を選択的に取り除く音選択加工装置のためのプログラムであって、コンピュータに
混合音を、音源ごとの音に分離する音分離ステップと、利用者が不快な状態にあることを検知する不快感検知ステップと、前記不快感検知ステップによって利用者が前記状態にあることが検知されると、分離された音である各分離音間の関係を評価し、前記評価結果に基づいて、加工対象候補の分離音を推定する候補音選択決定ステップと、推定された加工対象候補の前記分離音を前記利用者に提示して、選択を受け付け、選択された分離音を特定する候補音提示特定ステップと、特定された前記分離音を加工して、混合音を再構成する音加工ステップとを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの周囲で非同期に発生している様々な音から構成される混合音から、特定の音を選択し、その音を加工することによって、ユーザにとって重要な聞きたい音は残しつつ、イライラする原因となる不快音を聞こえにくくする音選択加工装置に関する。
【背景技術】
【０００２】
我々は、様々な音の中で生活している。その雑多な音のうち、多くは、自らが発生源もしくは知り合いや友人が発生させている音でない限り、自ら音を抑えたリ、動作を止めて音を消すことができない性質のものである。たとえば、見知らぬ人が大きな声で話す声、公共交通機関の音などがそれに該当する。人は、このような制御できない音に対して、イライラして、不快に感じることがある。
【０００３】
図１８は、電車内で発生する音を模擬したシーンを描いた図である。電車内では、電車の走行に伴う、エンジン（モータ）音や、踏み切りの音、電車が線路をまたぐ音などの走行音や、乗客の会話や携帯電話の操作音、車掌のアナウンスなどさまざまな音が非同期に発生している。
【０００４】
このシーン例を用いて、人によって、聞きたい音、聞きたくない音が、立場が変わると異なるという状況例を説明する。
【０００５】
人Ａは電車内で本を集中して読んでいた。そこへさきほど停車した駅で新たに乗車してきた、人Ｂと人Ｃが、人Ａの真ん前に立ち大声で話し始めた。その結果、人Ａは、あまりの声の大きさのため本に集中できず、イライラし始める。また、主に聞き手役である人Ｃは、乗車するまでの駅構内での会話と違い、電車内では人Ｂの声が聞こえにくくなってしまい、会話の流れを掴むのに支障がおき困っている。一方、この路線には初めて乗車した人Ｄは、次の停車駅名を聞き取ろうと、車内アナウンスに集中している。しかし、人Ｄも、電車音、さらに人Ｂと人Ｃとの会話音のために、アナウンスがよく聞き取れず、次の駅が自分が降車する駅なのか判断できずに困っている。また、いつ駅に近づいて次のアナウンスが始まるのか判断できずに落ち着かない状態でもある。そんな人Ｄも携帯電話を操作してメイルを書いているのだが、その操作音に対して、人Ｂは気になって落ち着かないと感じている。
【０００６】
このシーンから、人をイライラさせる原因となる不快音は、さまざまであることが見出せる。
【０００７】
たとえば、人Ｂのように、電車内では、友人と話す会話音が大きくても、意外と、自らはあまり気にならないものである。それは、友人の声が聞きたい音の対象であり、電車の走行に伴う音によって話が聞こえにくくなると、余計に大きな声を出してしまうことがあるためである。一方、別の立場にいる人Ａや人Ｄにとっては、電車の音自体はそれほど気にならない音であり、人Ｂの大きな声の会話自体がうるさいと感じてしまうことがある。
【０００８】
図１９（ａ）は混合音から抽出された各分離音を示す図であり、（ｂ）は、図１８における、アナウンス、電車音、携帯電話操作音、人Ｂの声といった各音に対して、各人がそれぞれの主観によって、聞きたい音、どちらでもない音、聞きたくない音という主観を持っているかをまとめた図である。図に示したように、人Ａと人Ｄは、聞きたくない音つまりイライラさせられる音が共通であるのだが、人Ａは、聞きたい音があるわけではなく、人Ｄはアナウンスが聞きたいという違いがある。このことから、音を全部消すという方策だけでは十分ではないことがわかる。
【０００９】
人Ｂと人Ｃは、聞きたい音が人Ｂの声、携帯電話の音が聞きたくない点では共通しているものの、人Ｃは、人Ｂの声以外の音は、いずれも聞きたくない状態である。このことから、聞きたくない音だけを消すという方策だけでも不十分であることがわかる。
【００１０】
したがって、同じ時間と場所において同じ音環境を共有していても、その場と、その人のコンテキストによって、聞きたい音、聞きたくない音、どちらでもない音、といったその場の音環境に存在する各音に対する主観的感覚が異なってくることが不快音の要因であると言える。
【００１１】
さらに、人の聴覚機構の複雑さも、音にイライラする感覚に、影響を与えていると考えられる。人には、様々な音が鳴っている混合音の中から聴きたい音に注目して、音を聞くことができる、所謂カクテルパーティー効果と呼ばれる、音を取捨選択する機能が備わっている。また、人Ａのように電車内で本を読んでいるときに、先ほどまで聞こえていたはずのガタンゴトンという電車が線路の継ぎ目をまたぐ音やモータ音がいつの間にか聞こえなくなっていたなどというように、他のことに集中していると特に定常的なあまり変動しない音を選択的に聞こえなくするという現象である。したがって、一度イライラした音だと決めても、別の機会に同じようにイライラするかどうかは、分からないということになる。
【００１２】
このような自分では制御できない音のために生じた不快感を低減させるために、たとえば、耳栓をして周囲の音をシャットアウトするように試みたり、ヘッドホンで音楽を聴くことによって、特定の音環境を生成したりすることも一般的に行なわれている。
【００１３】
さらには、音楽など聞く際に妨害音となる周囲音を消すヘッドホンもある。例えば、特許文献１では、エンジン回転や車両の走行に伴って車室内に発生する不快な騒音に対し、逆位相かつ等振幅の信号を干渉させることでこの騒音を低減する能動型騒音低減装置が開示されている。特にこの発明では、騒音の低減誤差を検出するマイクロフォンからの出力信号の異常により正常な騒音低減動作が行われないことに起因する、異常音の発生を防止している。
【００１４】
しかし、このような対処策では、ヘッドフォンから出力される音楽等の音以外の周囲の音がほとんど聞こえなくなる。そのため、周囲音から受ける不快感を低減することはできるものの、周囲に聞きたい音が発生した場合に聞き漏らしてしまう可能性がある。従って、この手法は、聞きたい音や残したい音が定まっている場合にのみ有効な手法であって、図１８の状況のように、聞きたい音や不快音が次々と変わってゆく場合には、対処できないという課題があった。
【００１５】
そのため、上記のようなイライラする原因となる不快音のみを消したいという要望を実現するためには、混合音を音源ごとの音に分離して、その中から所望の音を選択し、加工する技術が必要である。図１９（ａ）は、実環境での混合音を、音分離技術を用いて、ｃｈ（チャネル）１からｃｈ３までの３つの音源ごとの音に分解したことを示す模式図である。このように分離した音のうち、どれがイライラする原因となる不快音かを特定する技術が必要となる。
【００１６】
従来の音分離技術には、複数の指向性マイク、アレイマイクやＩＣＡやビームフォーミングなどの技術により、推定した音源の方向性に基づいて、音を分離する方法や、周波数解析的な手法として、時間周波数領域の分解能を同時に独立に詳細に挙げる事で、時間周波数領域の音が重なりを減らすことで、対象とする音特徴を抽出できる音分析技術を用いた分離方法もある。また、Ｂｅｒｇｍａｎが提唱したヒトの聴覚機構に基づいた聴覚情景分析方法も提案されている。
【００１７】
一方、音を選択する従来技術には、モニタ内で発生する音源位置と、モニタ上に向けた視線方向とが一致する音を選択する手法（例えば、特許文献２）や、音源の重要度をもとに音を選択する手法（例えば、特許文献３）、さらに、現在地や状況に応じて利用者に伝えるべき音声合成内容を変更することで音声対話を行なう手法（例えば、特許文献４）が知られている。なお特許文献２から４に記載の方法はいずれも、入力される音源が音源方向や現在地や音源の重要度によって固定されているため、固定されていない音源からの音を分離する技術は含まれていない。
【特許文献１】特開２００４−３５２０７０号公報
【特許文献２】特開平９−０９０９６３号公報
【特許文献３】特開平９−２７５５３３号公報
【特許文献４】特開平１１−３５１９０１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
図２０（ａ）〜（ｄ）は、音によりイライラさせられる状況が生まれる主な要因を示す図である。音によりイライラさせられる状況が生まれる要因には、図２０に示すように、次の代表的な４つの要因が考えられる。この図では、周囲環境で発生する音が、ａ）聞きたい音、ｂ）どちらでもない音、ｃ）聞きたくない音、という利用者の主観によって分類されるとき、各音が発生する時間的関係により主観が影響を受けて変化し、その結果、単独では不快感を感じない音がｄ）不快感を感じさせられる音に変化することを示す。ここでは、各要因について図２０（ａ）−（ｄ）を用いて説明する。
【００１９】
図２０（ａ）では、要因１として、聞きたくない音が鳴っているためイライラする場合を示している。ここでは、ｃ）聞きたくない音が単独で鳴っているため，ｄ）不快感が生じ、その後に、ａ）聞きたい音、ｂ）どちらでもない音が発生し重なりが生じている。ｄ）不快感は聞きたくない音が鳴っている区間と一致している。
【００２０】
図２０（ｂ）では、要因２として、単独で聞こえている場合はイライラしなかったが、聞きたい音に重なってイライラする場合を示している。ここでは、単独では、ｂ）どちらでもない音が鳴っていたところに、ａ）聞きたい音が発生したために、聞きたい音が聞こえにくい状態になった。このように、音の重なり区間が一時的な、ｃ）聞きたくない音（点線）に相当するために、不快感が発生したことを示している。
【００２１】
図２０（ｃ）では、要因３として、複数の音が同時に発生し、音の取捨選択を利用者が自ら行なうことができないのでイライラする場合を示している。この例では、ａ）聞きたい音が３つほぼ同時に発生して、さらにｂ）どちらでもない音に重なり、どれを聞いてよいのか判断することができないため、この重なり区間が一時的なｃ）聞きたくない音に相当するために、不快感が発生したことを示している。
【００２２】
図２０（ｄ）では、要因４として、聞きたい情報は既に聞き取れたのに、その音がいつまでもなりつづけているのでイライラする場合を示している。この例では、ａ）聞きたい音が、ｂ）どちらでもない音がなり終わった後にも、引き続き鳴りつづけているため、聞きたい部分の後半部分が一時的に聞きたくない音に相当してイライラを感じていることを示している。
【００２３】
上記の要因の分析を行なうと、要因１では、単純に利用者個人にとって常に聞きたくない音が存在することであるのに対して、要因２から４では、混合音から分離される分離音と他の分離音との重なりや、他の分離音との関係によって、聞きたい音やどちらでもなかった音が一時的に聞きたくない音に変化して、不快感が発生することが分かる。
【００２４】
つまり、従来の音の重要度による方法、予め除去対象を決めてその音特性を学習する方法、場所や時間に応じて音を選択する方法を用いて、要因１では、常に利用者にとって聞きたくない分離音が学習できさえすれば、混合音中から聞きたくない音を分離音の中に含まれるかどうか検出分離しさえすればよい。しかし、要因２から４では、聞きたくない音を事前に学習しても、分離音の関係によって主観が変わるために、必ずしも現在地や音源の重要度から特定できるとはいえないという課題がある。
【００２５】
また、視線方向と一致する音源位置の音を選択する手法では、同じ方向から音が発生している場合や拡散音場のためそもそも音源の位置が精度よく求められないことがある。このような際には、イライラする音そのものを特定できないという課題がある。
【００２６】
そこで本発明は、前記従来の課題を解決し、音による不快感をすばやく低減させるために、周囲で非同期に発生している音から構成される様々な音の中からイライラの原因となる不快音を推定した上でユーザに提示することにより音を特定し、その音を加工することによって、重要な聞きたい音は残しつつ、イライラする原因となる不快音を聞こえにくくするための音選択加工装置を提供することを目的としている。
【課題を解決するための手段】
【００２７】
前記従来の課題を解決するために、ユーザの音に対する不快感の検知は、ユーザが音に対してイライラした場合にボタンを押すことにより行うことで、イライラする原因が音以外のことに起因するかどうかを判断する必要がない。
【００２８】
本構成によって、混合音の中からイライラする原因となる不快音として、推定・提示された音を候補音の中から、すばやく特定された音による不快感を低減させることができる。
【００２９】
前記構成に加えて、加工基準入力部と探索対象音構造特徴ＤＢを有した別の構成をもつ本発明の音選択加工装置は、探索対象音の音特徴構造をもとに、音分離を行ない、特定された不快音に対して、加工条件を入力することに自在に加工した音を聞くことができる。
【００３０】
本構成によって、混合音の中から、時間や場所に応じて決まった音が発生する場合にその音構造特徴を抽出しておくことで、それ以外の変動しやすく、不快感と感じる音をより精度高く抽出することができる。このとき、さらに、他の分離音の構成から表現される音環境と同じかどうか判断することにより、学習されたときの音構造から継続的にあるいは連続的に判断することができるようになる。
【００３１】
さらに、前記構成に加えて、他の音選択加工装置との間で、不快音の情報を送受信する。
【００３２】
本構成によって、自分だけでなく相手の推定不快音の情報をもとに、音を選択加工することで、より精度よく不快音を除去することができる。
【００３３】
なお、本発明は、このような音選択加工装置として実現することができるだけでなく、このような音選択加工装置が備える特徴的な手段をステップとする音選択加工方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３４】
本発明の音選択加工装置によれば、混合音の中からイライラする原因となる不快音をすばやく特定し不快感の原因となる音を聞こえにくいように音を加工することができるため、音に対する不快感やストレスを低減し、さらには自己管理しやすくすることができる。
【００３５】
また、本発明の音選択加工装置を複数用いて、不快音に関する情報を通信しあうことにより、通信間双方共通に不快音を消すための音構造特徴を共有することができるため、相手側の不快感をすばやく抑えることができる。
【発明を実施するための最良の形態】
【００３６】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００３７】
（実施の形態１）
図１は、本実施の形態である音選択加工装置１００の構成を示すブロック図である。音選択加工装置１００は、利用者の周囲で発生する混合音から、利用者が不快に感じる音を選択的に取り除く音選択加工装置であって、音取得部１０１、音構造特徴抽出部１０２、音分離部１０３、音加工部１０４、候補音選択決定部１０５、候補音提示特定部１０６、加工音構造特徴更新部１０７、加工音構造特徴ＤＢ（データベース）１０８および不快感検知部１３１を備える。候補音選択決定部１０５は、内部に音構造特徴比較部１３３およびマスカー分離音推定部１３４を備える。
【００３８】
音選択加工装置１００は、不快感検知部１３１においてユーザの不快感を検知すると、イライラする原因となる不快音の候補を推定し、ユーザに提示する候補の数をできるだけ減らして提示する。ユーザは提示された対象音の候補を確認の上で、候補の中から加工すべき音を選択し決定する。
【００３９】
この図１ように、混合音を音源ごとの音に分離して加工する分離音加工時の構成と、加工対象候補となる分離音をユーザに提示し、ユーザの選択を受け付ける分離音選択時の構成とに大きく２分できるので、流れ図では、これにそって、それぞれに該当する処理の流れを、図２、図３、図４、図５及び図６を用いて説明する。
【００４０】
まず、分離音加工時の処理の流れについて説明する。
音取得部１０１は、マイクを通じて入力される、利用者の周囲で発生する混合音をＡ／Ｄ変換することにより音を取得する。音取得部１０１として複数のマイクを用いて、方向に基づいて加工した音を取得してもよいし、取得した後データをハードディスクに一旦記録された音から取得してもよい。また、携帯電話などの受信部の音として捉えても構わない。
【００４１】
音構造特徴抽出部１０２は、音構造特徴として、時間周波数情報を表現するため、フーリエ変換を用いて、音の特徴を捕らえる。なお、ＦＦＴ（高速フーリエ変換：Fast Fourier Transform）に替えて、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform）などを用いてもよい。
【００４２】
音分離部１０３は、混合音を、音源ごとの音に分離する音分離手段に相当し、音分離部１０３では、従来の技術に示したように、音構造特徴により混合音を分離音のストリームに分解する。この実施の形態で用いる音分離手法には、複数の音源の音から構成される混合音から、音の特徴の連続性を評価することにより、混合音から複数の分離音を抽出し分解する手法（例えば、Ｎａｋａｔａｎｉ，  Ｔ．  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ａｕｄｉｔｏｒｙ  Ｓｃｅｎｅ  Ａｎａｌｙｓｉｓ  ｂａｓｅｄ  ｏｎ  Ｒｅｓｉｄｕｅ−  Ｄｒｉｖｅｎ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ａｎｄ  Ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｍｉｘｅｄ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ  ，  ｈｉｓ  Ｄｉｓｓｅｒｔａｔｉｏｎ．）を想定している。この手法は、音の開始終了をグループとしてまとめ、ピークの立ち上がり、立下りが同期しているピーク群として捉え、その遷移を追跡することにより、一つの音のストリームを抽出する。
【００４３】
音加工部１０４は、特定された前記分離音を加工して、混合音を再構成する音加工手段に相当し、音加工部１０４では、音選択時の処理の流れ（後述）に従って加工音構造特徴ＤＢ１０８に保存されている、聞きたくない音の音構造特徴を有する音を加工し、特許文献１等に記載されている手法に基づいて、特定した分離音の逆相信号などを生成することによって、特定した分離音を聞こえないように加工する。
【００４４】
図２（ａ）は、本実施の形態１における分離音加工時の処理の流れ図である。この図を用いて分離音加工時の処理を説明する。
【００４５】
Ｓ７０１において、音選択加工装置１００は、処理対象区間の設定を行ない、混合音の処理対象区間分の音構造特徴を準備する。この処理対象区間とは、音取得部１０１が混合音を取得して、音分離部１０３で混合音を分離し、音加工部１０４で混合音を再構成するまでの時間を言う。音選択加工装置１００は、例えば、３秒間の処理対象区間を設定し、その３秒間における混合音の音構造特徴を抽出する。処理対象区間の長さは、音選択加工装置１００の出荷時に、あらかじめ定められているとしてもよい。次いで、Ｓ７０２において音分離部１０３は、分離音の抽出を行なう。この実施の形態では、後述の図２（ｂ）に記載の方法を用いる。分離音の抽出処理が行なわれた後、Ｓ７０３において、分離可能な音ストリームが得られたかどうかを判断する。たとえば、混合音が結局１つのストリームにしかならない、つまり暗騒音しか得られなかった場合などが考えられる。このような場合には、Ｓ７０４において、混合音をそのまま出力し、分離音がある場合には、Ｓ７０５において既に特定された加工対象音を加工音構造特徴ＤＢ１０８から読み出して、聞こえにくくするように、例えば、その加工対象音の逆相を与えて、音の加工を行なう。
【００４６】
また、図２（ｂ）は、本実施の形態１における分離音抽出ピーク探索の流れ図である。音分離部１０３に対応するＳ７１１において、混合音の音構造特徴から代表的なピークを抽出し、そのピークを時間周波数方向に追跡を行なう。Ｓ７１２において、ピークの立ち上がりや立下りなどが同期して変動するピークをグルーピングし、一つの音ストリーム候補と見なす。Ｓ７１３において、音ストリーム候補に含まれるピーク数を検証し、閾値以上の数のピークが含まれていたら、それを１つの音として認める。Ｓ７１４において、グループごとに、抽出対象音をスペクトル波形から時間波形に変換し、Ｓ７１５において、混合音と抽出対象音との差分をとる。Ｓ７１２の結果、複数のグループが生じた場合には、Ｓ７１３からＳ７１５を繰り返して、グループ毎に分離音として抽出する。
【００４７】
なお、Ｓ７０５の分離音の加工の際に、加工音構造特徴ＤＢ１０８に保存されている、聞きたくないと特定された分離音が存在するかどうかを判定した上で、特定された分離音が存在する場合には、特定された分離音が混合音から減算されるように加工するようにしてもよい。
【００４８】
図２（ｃ）は、本実施の形態１における特定音の有無の判定を行う分離音加工の流れ図である。ここで、特定音とは、聞きたくないとして分離音選択時にあらかじめ特定された音をいう。Ｓ７１６において、加工音構造特徴ＤＢ１０８に保存されている聞きたくないとして特定された特定音の音構造特徴量に対応する入力分離音の音構造特徴量を求め、Ｓ７１７において、特徴量間のベクトルの距離を例えばユークリッド距離によって求める。Ｓ７１８において、この距離が所定の判定値内にある場合には、入力分離音は特定音と同じ音であると判定することができる。同じ音と判定された場合にはその場合には、Ｓ７１９において、入力分離音を波形に変換した上で，Ｓ７２０混合音から入力分離音を減算する。この操作を、特定音に対して入力分離音ごとに行うことで、特定音の有無を確認した上で、特定された聞きたくない音を低減させることができる。
【００４９】
なお距離尺度には、正規化した方向余弦を用いてもよい。さらに、所定時間方向にも考慮を加えて、前記距離所定値を、トラッキングを考慮した範囲に時間的に変動するように設定してもよい。
【００５０】
かかる構成によって、さらに、聞きたくない音として特定された分離音が一時的に止んだ場合にも、その有無を判断することによって、聞きたくない音として特定された分離音以外には影響が出ないように、音を加工することができる。
【００５１】
次に、分離音選択時に関わる構成について説明する。
不快感検知部１３１は、利用者が不快な状態にあることを検知する不快感検知手段に相当する。不快感検知部１３１では、利用者による不快感ボタンの押下を検知することにより、不快感を検知する。
【００５２】
候補音選択決定部１０５は、不快感検知手段によって利用者が不快な状態にあることが検知されると、分離された音である各分離音間の関係を評価し、評価結果に基づいて、加工対象候補の分離音を推定する候補音選択決定手段に相当する。候補音選択決定部１０５では、所定時間分記録しておいた分離された音同士の関係を評価することにより、不快音つまり聞きたくない音の候補を推定する。なお、本実施の形態の構成（図１）では、音構造特徴比較部１３３とマスカー分離音推定部１３４からなる。音構造特徴比較部１３３は、前記各分離音から形成された信号を比較することによって、前記各分離音間の関係を評価する。マスカー分離音推定部１３４は、前記評価結果に基づいて、前記各分離音のうち、支配的となる分離音又は支配的となる周波数帯域を推定することによって、前記加工対象候補の分離音を推定する。マスカー分離音推定部１３４のマスカーとは、比較される分離音のうち、支配的な音や帯域を指す。
【００５３】
加工音提示特定部１０６は、推定された加工対象候補の分離音を利用者に提示して、選択を受け付け、選択された分離音を特定する候補音提示特定手段に相当する。加工音提示特定部１０６では、候補音選択決定部１０５において決定した候補音を利用者に提示し、利用者に確認のボタンなどをおさせることによって候補音提示特定を行なう。
【００５４】
加工音構造特徴更新部１０７は、加工音提示特定部で特定された、イライラする原因となる不快音の特徴を加工音構造特徴ＤＢ１０８に保存あるいは更新する。ここでいう音特徴とは、Ｓ７１４においてグルーピングされたピークの周波数や時間波形を特徴量化した値を指すものとする。この加工音構造特徴ＤＢ１０８の保存分離音構造特徴を有している場合に、逆相波形を作成することによって音を消滅させるように加工を行う。
【００５５】
次に、分離音選択時の処理の流れについて説明する。
図３は、本実施の形態１における分離音選択時の処理の流れ図である。不快感検知部１３１に相当するＳ６０１において、利用者によるボタンの押下などを利用して、不快感を検知すると、候補音選択決定部１０５に相当するＳ６０２において、音分離部１０３から受け取った分離音の中から、分離音同士の関係を評価することによって、イライラする原因となる不快音の候補を推定する。加工音提示特定部１０６に相当するＳ６０３において、その候補音を提示し、利用者に確認のボタンなどをおさせることによって候補音の提示および特定を行なう。そして、加工音構造特徴更新部１０７に相当するＳ６０４において、特定された加工音構造特徴を、加工音構造特徴ＤＢ１０８に保存する。保存された加工音構造特徴は、分離音加工時に利用される。
【００５６】
なお、Ｓ６０２で決定された候補音が一つであれば、Ｓ６０３で確認せずにそのまま、Ｓ６０４でその音構造特徴を保存するようにしてもよい。
【００５７】
ここからは、図３の各ステップにおける処理の詳細について説明する。
図４（ａ）は、本実施の形態１における不快感検知部１３１の動作を示す流れ図である。ここでは、Ｓ３０１で、利用者による不快感ボタンの押下を検知すると、不快感を検知する簡単な構成である。利用者による不快感ボタンの押下を検知することにより、利用者の不快感を検知する方法は、簡単だが、実際に、利用者自身の主観を捕らえるためには、その利用者自身の主観が反映されるため、確実な手段といえる。複数の音が鳴っている際に不快感ボタン押されたとき、その数秒前までの音のみを対象に、不快音を選択することにも用いることができる。
【００５８】
図４（ｂ）は、不快感検知ボタンの押下タイミングから分離音の開始立ち上がり時点までの時間によって、候補音として分離音を選択することを説明する模式図である。同図では、不快感検知の下向きの矢印が、不快感検知ボタンの押されたタイミングを示している。
【００５９】
この例では、分離音Ａは、音の立ち上がりが不快感検知から所定時間以上離れているためイライラへの影響は薄れているものと捕らえて、イライラする原因となる不快音の候補は、分離音Ｂと分離音Ｃに限定することができる。
【００６０】
なお、この所定の時間は、人によって個人差があることも考えられるので、特定された不快音の立ち上がり時刻とボタン押下の時刻の差分時間をもとに、決定するなどして、可変的に設定できるようにしても良い。
【００６１】
また、このように決めた所定時間とは別に、利用者がうるさいと感じる音の大きさの基準値を設定して、分離音がこの基準値よりも大きい場合に、不快感検知の時刻から分離音の開始時刻である立ち上がりまでの時間を短く設定するようにして、候補音の絞込みを行ってもよい。これは、例えば驚かされるほどの極端に大きい音が発生した場合や暗騒音そのものがうるさいと感じるレベルにある場合には、より敏感に音を不快に感じる傾向があるものと推測できるためである。すなわち、驚かされるほどの極端に大きい音が発生した場合には、利用者がその音に対して不快に感じる可能性が高い。従って、不快感検知の時刻から長くさかのぼって不快感を招いていると思われる他の分離音を探さなくても、不快感検知の時刻の直前に発生した極端に大きい音が不快音であるとみなしても、その確実性が高いからである。
【００６２】
このような構成によって、大きな音に対して感度よく、候補音の絞込みができるようになるため、よりすばやく不快感を生じさせる音を特定することができる。
【００６３】
図５（ａ）は、本実施の形態１における候補音選択決定部１０５の処理の流れ図である。ここでは、分離音同士の関係を評価することにより、どの分離音が不快音つまり聞きたくない音であるかを推定する。
【００６４】
まず、Ｓ４０１において、不快感検知時の分離音の数が一つかどうかを判定する。分離音数が一つであれば、この分離音がイライラする原因である不快音であると特定し、終了する。分離音が１つ以上あった場合には、Ｓ４０２において変更が必要であれば、Ｓ４０３における分離音の選択に用いられる所定時間の指定を行い、Ｓ４０３において、図４（ｂ）に示すように、不快感検知時刻と各分離音の立ち上がり時刻の間隔が所定時間内（例えば１０秒）にあるかどうかの判定を行なうことにより、加工対象の選択候補とする分離音かどうかを判定する。なお、不快感検知時刻と各分離音の立ち上がり時刻の間隔を示す所定時間は、ユーザが不快な音を聞いてからボタンを押すまでに要する時間によっても変わってくる。従って、例えば、ユーザが前述の所定時間を示す秒数を手入力することなどにより、所定時間を設定できるようにしてもよい。この判定の結果、Ｓ４０４において、候補となる分離音が一つしかない場合には、その分離音が不快音であるとして特定する。この段階では、図２０の要因１と要因４の場合に分離音が単独であった場合が検出されていることになる。
【００６５】
そして、分離音が複数ある場合には、Ｓ４０５において、支配的分離音抽出ルーチンにおいて、支配的として算出された候補音を確定する。Ｓ４０６において支配的な候補音が見つかったかどうか判定を行ない、みつかったと判断された場合には、Ｓ４０７において、その音が聞きたくない音になる可能性が高いと判断して、聞きたくない音としてユーザに優先的に提示するように順番を入れ替える。また、逆に、支配的な候補音が決定されない、つまり各音がそれぞれの音に対してある帯域で支配的になっている場合には、これは図２０の要因の３に該当すると判断する。この場合、Ｓ４０７においては、一つずつ順番にユーザに提示を行ない、どれを残し、どれを消すかの指示を与えてもらう必要がある。この段階では、要因の１、２、４のいずれかで、複数の分離音が重なっている場合に該当する。
【００６６】
図５（ｂ）は、図５（ａ）中のＳ４０５の支配的分離音抽出における処理の手順を示す流れ図であり、マスカー分離音推定部１３４の機能に対応するものである。ここでは、分離音同士の関係を評価することにより支配的な音を決定する。
【００６７】
まず比較するＳ５０２で、分離音の周波数帯域ごとに、最大のパワーを持つ信号を選択し、Ｓ５０３において、１対の分離音が有する、帯域代表信号（帯域で最大のパワーを持つ信号のこと）同士を比較し、Ｓ５０４において、さらに時間方向の遷移をみることによって、Ｓ５０５でマスカー分離音を決定する。
【００６８】
ここで、図６は、この流れを具体例で示した、本実施の形態１におけるＳ４０５の支配的分離音決定の処理を説明するための図である。
【００６９】
ここでは、支配的な帯域または音を決定する処理の流れを、混合音が次の３つの種類の音（Ａ純音、Ｂ、音声、Ｃ，暗騒音）から構成されており、これらが分離音として抽出された例を用いて説明する。ここでは、後述のように波形を重ねて比較するため、それぞれを、実線、破線、および一点鎖線で表記する。また、この図では、簡単なため、それぞれの波形は横軸を周波数とした線スペクトルで表されている。例えば、純音の波形は、単一周波数の周波数スペクトルで表される。また、音声の波形は、基本周波数とその高調波成分でピークを持つ周波数スペクトルの集まりで表される。暗騒音は、周波数に関係なく概ね一様な大きさの周波数スペクトルの集まりで表される。
【００７０】
まず、図６ａ）の各分離音波形から、周波数軸Ｆを所定の幅を持つ帯域に区切って得られる音構造信号の所定帯域ごとの代表値（例えば、帯域の中でパワーが最大となる周波数スペクトルをさす。）をｂ）帯域代表信号として選択し、このｂ）帯域代表信号をｃ）音構造比較信号として得る。つまりここでは、ｂ）とｃ）は同一の信号波形であるが、図１５との比較を簡単にするため異なる名称を有している。ここで、図６ａ）の横軸は周波数、縦軸は該当周波数のスペクトルパワーを示している。また図６ｂ）からｄ）は、ともに同じスケールを持つ。
【００７１】
なお、この模式的な例では、所定帯域は５つの同一周波数帯幅の線形なバンド幅を想定している。しかし、ヒトの聴覚機構に関する知見として知られる、バークスケール等で記述される非線形なバンド幅を持つ臨界帯域をこの所定帯域として利用してもよい。また、帯域の代表値の選択方法は、帯域中でもっとも大きなパワーを持つ周波数成分にしてもよいし、帯域を臨界帯域とする場合には、その中心周波数のパワーを用いるようにしてもよい。
【００７２】
次に、図６d）支配の帯域の評価において、比較する分離音について、分離音の対応する帯域ごとに、どちらの振幅が大きいかなどによって支配的となるか否かの判定を行う。ここで、振幅差が例えば、３ｄＢ以内である場合には、支配的な帯域が存在しないと判断する。その結果として、支配的かどうか判定できない帯域は、図中では、"―"記号で示している。ここで波形Ａと波形Ｂとの比較を行う際、Ａ／Ｂのように表記し、以降同様に波形の比較の記号として用いるものとする。
【００７３】
この例では、Ａ／ＣおよびＡ／Ｂでの比較では、Ａが支配的であるのは、Ａの純音の散在する帯域だけであり、それ以外の帯域では、ＢとＣが支配的である。そこで、Ｂ／Ｃを比較すると、支配的な帯域数で比較すると、Ｂが２つ、Ｃが３つとＣが優位である。
【００７４】
そして、図６ｅ）マスカー音の決定において、分離音間の関係を全帯域で評価し、支配的な音の基準に基づいて、支配的な音を決定する。
【００７５】
この例では、時刻Ｔ−２から現在時刻Ｔにおける、分離音の支配帯域評価の結果を列挙して、変化がある帯域を抽出する。この結果、Ａ／ＣおよびＡ／Ｂでは、Ａが支配的であると判断できる。Ｂ／Ｃの比較の結果では、ＢとＣの変化の個数が同等であるため、支配的な分離音はないと判断できる。最終的には、Ａの音が支配的であると判断できる。
【００７６】
ここで、図６ｅ）の横軸には帯域ごとの支配的な分離音の識別子の系列が示されており、縦軸には、フレーム単位の時刻Ｔ−２、時刻Ｔ−１などが示されている。なお、フレーム単位の時刻Ｔ−２、時刻Ｔ−１の区切りは、例えば、３０ｍｓ程度が好ましい。
【００７７】
なお、上記とは異なる支配的な音の判断基準として、ある帯域における対応分離音と振幅差が極端に大きい場合（例えば、２０ｄＢ）には、帯域内の影響だけではなく、分離音全体に与える影響が大きいと考えられる。従って、少なくとも１つの帯域で対応する分離音との振幅差が極端に大きい分離音があれば、それを支配的な音として決定してもよい。また、別の支配的な音の判断基準として、（１）分離音の所定帯域の時間振幅変化が大きい場合（例えば、ある所定帯域で２０ｄＢ以上の振幅変化がある場合）や、（２）一定時間内に所定回数以上の大きい振幅変動がある場合（例えば１０ｄＢ以上の振幅変動が所定時間（例えば１０秒間）あたり所定回数（例えば５回）以上ある場合）には、音の大きさの変動が激しいと判断して、支配的と捉えることもできる。これらの基準は、ヒトがより大きな音や音の立ち上がりや立下りなどの変動により注目する特性があることに基づいている。
【００７８】
図６ｅ）のＢ／Ｃの波形の比較結果のように、優先的な順位が定められない候補音の場合、候補音提示特定部１０６で、支配的な帯域が多いほうの分離音から、先に提示しても良い。なお、時間方向に優位な帯域数をカウントしてもよい。すなわち、現時点により近い時刻（例えば、フレームなど）の分離音同士で、その分離音が支配的な帯域の数をカウントして、カウントされた帯域の数が多いものほど、加工対象の候補音として先に提示するようにしてもよい。また、このような場合、図４（ｂ）での不快感検知ボタン押下のタイミングからさかのぼって、より近い範囲内の分離音の優先度を上げるようにしてもよい。すなわち、図４（ｂ）の場合に、不快感検知ボタンの押下のタイミングからさかのぼって例えば、５秒の間に立ち上がりのある分離音を加工対象の候補としたとすると、この場合のように、支配的な帯域の数が多いものほど加工対象の候補音として優先する場合には、不快感検知ボタンの押下のタイミングからさかのぼって例えば、３秒の間だけ支配的な帯域の数を調べればよい。
【００７９】
あるいは、支配的な帯域を決め、その帯域に限り判定を行なうようにしても良い。その結果として、全ての帯域において、例えば、分離音Ｃが優位になった場合には、確実にＣがイライラの原因である不快音であると、判断することできるので、音を提示せずに候補を特定決定しても良い。支配的な帯域は、利用者の聴力、特に聞こえやすい帯域に基づいて決定しても良い。また、不快音として特定された音の帯域から決定するようにしても良い。かかる構成により、不快音推定に必要な帯域のみを計算することにより、推定精度を落とさずに推定に必要な処理を削減することができる。
【００８０】
図７は、本実施の形態１における候補音提示特定部１０６の処理を示す流れ図である。Ｓ４０８において、候補音選択決定部１０５において優先順位をつけて決定された候補音を、ユーザに提示し、イライラの原因となる音を特定する。このとき、イライラの原因となる音を特定するために選択ボタンを設けて、ユーザが、提示された候補音の中からイライラの原因となる音を選択するためにボタンを押すことにより決定する。
【００８１】
また、提示する音の内容は、候補音だけを聞かせても良いし、分離前の音から候補音の差分をとった音でも構わない。
【００８２】
さらに、Ｓ４０１やＳ４０４において候補音が一つに決まった場合においても、必ず候補音を提示してユーザに確認するようにさせることによって、不快音の音特徴の無駄な更新を行うことを防ぐことができる。
【００８３】
また、支配的な音の順位が決まらないときには、候補音となる分離音全てを取り除いた音を聞かせて、その状態のほうが好ましいかどうか一括してユーザに確認してもよい。こうすることによって、まずはユーザがうるささから開放されて静かにしたいという思いに対しては早く答えることができる。
【００８４】
かかる構成によれば、不快感検知時の直前の分離音同士の関係を評価することにより、イライラする原因となる不快音を推定することにより、すばやく音を特定することができ、不快感も低減させることができる。
【００８５】
また、候補音提示特定部１０６に、ユーザが聞きたい音を特定するための選択ボタンを設けるとしてもよい。この場合、候補音提示特定部１０６は、図７に示したＳ４０８の手順と同様にして、候補音選択決定部１０５で、例えば、不快音とは逆の優先順位をつけて決定された聞きたい音の候補音を、ユーザに提示する。そして、ユーザが、提示された候補音の中から聞きたい音を選択するためのボタンを押すことにより、ユーザが聞きたい音を決定する。このように決定された聞きたい音は、加工対象の候補音から除外され、ユーザは、聞きたい音が除外された不快音の候補から聞きたくない音を選択するとしてもよい。また、決定された聞きたい音は、加工音構造特徴更新部１０７によって音構造が抽出され、加工音構造特徴ＤＢ１０８の特定音とは別の領域に格納される。音加工部１０４は、加工音構造特徴ＤＢ１０８に格納されている聞きたい音の音構造特徴に基づいて、聞きたい音の同相波形を不快音が除去された混合音に加算する、又は、聞きたい音の分離音から生成される波形だけを増幅して混合音を再構成する。これによって、聞きたい音が利用者にとってより聞こえ易くなるようにすることができるという効果がある。
【００８６】
図８は、マセニーの心理モデルと本発明の対応関係を示す図である。以下では、図８に示すマセニーの心理モデル（新生理心理学  ３巻２章１２−１４ページ  北大路書房に記載）をもとに、本発明を対応付けることにより、本発明の効果について説明する。
【００８７】
このモデルによれば、「ストレスは、自己への要求、生活の変化、役割の要求、イライラすることからなる要求がストレスの開始点であり、恐怖感のように条件付けられた経験が意識的な気づきを伴わないで直接ストレス反応を引き起こすことを除いて、まず要求に気づき、その気づきがことの激しさや重要性を見積もり（一時的評価）、それらに対処するための資源と比較される（二次元評価）。もしその人の対処資源がその要求に対処されるものであれば、要求は挑戦とみなされ、健康状態を維持する。しかし、要求と資源の見積もりが一致せず、資源に対して要求があまりにも強ければ、その要求はストレッサーとみなされ、ストレス反応が生起し、最終的にストレス症状に導かれる。」としている。
【００８８】
このモデルを用いて、本発明を音によるストレスを低減させるものと対応付けることができることを説明する。ストレス源となる音の存在に気づいて上記のようにストレッサーとなりイライラし始めたとき、不快感を検知しイライラの原因となる不快音を特定しその音を加工することによって、図中の太い矢印のように、ストレスの反応を起こしていた状態から抜け出すことができるため、ストレス源となる不快音が原因であるストレスから回避し、またはストレスを低減することができる。
【００８９】
また、このことは、ストレス源となる音を特定し消すことによって、ストレス源回避をすることができるため、その人の対処資源を増加させる役目も果たしている。また、帯域の一部だけを変化させることによってストレス源となる不快音の音色を変えることによって、ストレス源の音に対する印象を変えることができる。また、ストレス源を他の音に置き換えることによって、対処資源を増強できる。
【００９０】
（実施の形態１における第二の構成図）
図９は、本実施の形態１の第２の構成である音選択加工装置１１００の構成を示すブロック図である。図９において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００９１】
図９において、音選択加工装置１１００は、図１の音選択加工装置１００の構成に加えて、加工基準入力部１３５と探索対象音構造特徴ＤＢ１３６とを有している。探索対象音構造特徴ＤＢ１３６は、上記の分離音抽出方法による抽出された分離音の音構造特徴を保存しておく保存部であって、音分離部１０３で対象とする分離音の音構造特徴を用いて音抽出を行なう。加工基準入力部１３５については、後に詳しく説明する。
【００９２】
探索対象音構造特徴ＤＢ１３６には、加工音構造特徴更新部１０７において、聞きたくない音が更新される際に、聞きたくない音として特定された分離音以外の分離音が、その音が取得された時間や場所に対応づけて蓄積されている。これにより、電車の中などでは、取得された混合音の中から、まず探索対象音構造特徴ＤＢ１３６に音構造特徴が格納されている電車の中の背景音を除去してしまい、聞きたくない音として加工対象となる候補音をあらかじめ削減しておくことができる。
【００９３】
図１０は、本実施の形態１の第二の構成である音選択加工装置１１００における音分離部１０３での分離音探索対象音の有判定を伴う分離音抽出を示す流れ図である。この図は、図２（ｃ）と同じ構成要素については、同じ符号を用い、説明を省略する。図２（ｃ）が特定音を分離音と一致しているかを判定するのに対して、図１０では探索対象音をもとに分離音を抽出するように目的が異なっているが、特徴量の距離によって２つの分離音の一致度を判定して音を加工するという点では共通している。
【００９４】
Ｓ７２１において、探索対象音と対応する混合音の音構造特徴量を算出する。Ｓ７１７において、混合音と抽出対象音の音構造特徴量との距離を求める。Ｓ７１８において、その距離が所定閾値以下であった場合、探索対象音が見つかったことを意味する。この場合、Ｓ７２２において探索対象音を時間波形に展開して、Ｓ７２３において、混合音から探索対象音との差分をとる。探索対象音ごとに、この操作を繰り返すことで、探索音として既に登録されている分離音を混合音から分離することができる。
【００９５】
図１１は、本実施の形態１の第二の構成である音選択加工装置１１００における分離音選択時の処理を示す流れ図である。図３と同じ処理についての説明は省略する。Ｓ６０１において不快感検知を行ない、検知されなかった場合の処理が図３に示した構成図の場合と異なる。このとき、Ｓ６２１において、探索対象音に該当する音構造特徴の有無を調べ、探索対象音が存在し、かつ、Ｓ６２２において混合音を構成する音構造特徴に変化があったかどうかを調べ、変化が認められている場合には、Ｓ６２３において探索対象音として、音構造特徴を更新する。
【００９６】
なお、上記音構造特徴の有無とは、図２（ｃ）および図１０にも記載したＳ７１８での特徴量間の距離を用いて判定を行う。一定時間分の距離を加算して判定するようにしてもよい。
【００９７】
また、上記音構造特徴の変化とは、上記一定時間の距離の尺度の総和が、探索音特徴量に一致している範囲であったとしても、例えば、周波数特性がスイープするようになったなどにより、一部の距離が特にずれているなどの場合を指すものである。所定距離と比較して探索対象音の更新とは、該当探索対象音の音構造特徴量自体を置き換えてもよいし、新たに別の探索対象音を追加しても良いし、当該探索対象音の変化の程度を表すように音構造特徴量の分布を持たせるようにして、その分布特徴を更新するようにしてもよい。また、実際に更新するかどうかは、利用者に確認させるようにしてもよい。
【００９８】
かかる構成によれば，以前聞きたくない音として、判定した音に基づいて混合音を分離した上で、例えば、暗騒音やその場に特有の背景音を対象音としてその音構造特徴を探索対象音構造特徴ＤＢ１３６に記録しておき、分離加工時の音分離で利用することにより、よりすばやく正確に分離を行なうことができるようになる。すなわち、過去に聞こえていた探索対象音が現在取得された混合音に含まれているとき、混合音から、まず、探索対象音構造特徴ＤＢ１３６に蓄積されている過去に聞こえていた対象音を分離してしまうので、混合音に含まれている新たな不快音を容易に推定し、提示することが可能となる。また、これにより、音選択加工装置１１００の計算負荷を低減することができる。
【００９９】
また、聞きたくない音が特定されて、その分離音の音構造特徴が加工音構造特徴ＤＢ１０８に保存される際に、現在保存されている音構造特徴量と、新たに保存しようとしている音構造特徴量の距離を、図２（ｃ）のＳ１７１のように判定して、所定閾値以下であった場合には、探索対象音構造特徴ＤＢ１３６への新たな保存をひかえるようにしてもよい。さらに同一の音源によるものかどうかをユーザに確認して、同じ不快音による音構造特徴を複数保存するようにしてもよい。さらには、その複数の不快音の遷移情報を含むようにしてもよい。
【０１００】
かかる構成によって、分離音の比較などの内部的な処理では、複数のストリームが加工音構造特徴ＤＢ１０８に登録されて、ユーザに対しては、一つの音源の音が聞きたくない音として提示加工されるようになる。
【０１０１】
また、聞きたくない音が特定されて、加工音構造特徴ＤＢ１０８にその音構造特徴量が保存される際に、さらに、分離音の音構造特徴と同時に探索対象音構造特徴ＤＢ１３６に記録しておくようにしてもよい。保存されている分離音の構成から表現される音環境と同じかどうかその分離音構成を比較した結果を記録してもよい。この判定により、たとえば、聞きたくない音が連続的に変化していたとき、その音特徴構造ＤＢに保存されている特定音構造特徴量との距離が所定値を外れていても、その他の分離音の構成（例えば１０）のうち大部分の（例えば８）が一致して同じ環境が続いているということが判定できる。その上で、例えばユーザに確認して、同じ音かどうか判断させることによって、ユーザにとって聞きたくない同じ音が変化しているという情報を保存することができるため、音特徴構造ＤＢの不要な更新を妨げる事ができる。
【０１０２】
さらに、図１０のように、探索対象音との比較により分離音抽出を行う際に、探索対象の音の情報として、加工音構造特徴ＤＢ１０８に保存していた音とともに、探索対象音構造特徴ＤＢ１３６に記録しておいた、ＧＰＳなどによって取得される場所や時刻などの情報をもとに、場所や時間の類似度を求めて、それによって、探索対象音を絞り込むようにしてもよい。
【０１０３】
かかる構成によれば，混合音の連続性や探索対象音の絞込みを行った上で探索対象音に基づく音分離ができるので、よりすばやく音分離を行なうことができるようになる。
【０１０４】
さらに、反射などの場面を考慮して、Ｓ７１７の距離尺度を求めるようにしてもよい。たとえば、Ｓ７１７の距離尺度判定を行う前に、入力音と探索対象音の時間波形あるいは特徴的な周波数成分について時間方向の相互相関関数を計算し、相互相関値に位相遅れを確認できたときには、音源からの到達時間の異なる反射波とみなして、入力音から直接波に対する影響分を差し引くことにより、反射波に対する距離計算を行うようにしてもよい。探索対象音との一定時間の距離が閾値以内つまり、同じとみなされる限り、反射波も、音構造特徴の変化とみなして、消去対象とすることができる。
【０１０５】
かかる構成によれば、拡散音場のため、音源方向が正確に取得できない状況であったとしても、時間遅延と若干の音特性が変化した反射音も、探索対象音との類似度で判定を行うことにより、より確実に消去することができるものと考えられる。
【０１０６】
人は緊張や不快感を感じるとき、交感神経機能を賦活化させ、たとえば、心拍率、血圧、呼吸率の上昇を招くことが知られている。そこで、皮膚電気抵抗などの生体信号を用いて、不快感を検知しても良い。例えば、音に対する主観的な評価を推定する技術として、聴収音に対する生体信号を用いて快不快音を推定する方法（例えば、特開２００４―３３７２９４号公報）がある。ここで注意したいのは、ストレス源が音によるものかどうかを判定する必要がある点である。そのため、ラウドネス変化を用いた聴覚的評価尺度（例えば、特開２００１―１６５７６６号公報）などを組み合わせることによって、音による不快を感じているかどうかを判断するようにしても良い。
【０１０７】
図１２は、本実施の形態１の第二の構成である音選択加工装置１１００における不快感検知の処理を示す流れ図である。図４と同じ処理に付いての説明は省略する。この流れ図では、所定値以上のラウドネス変化が所定時間（例えば１０秒）あたり所定回数（例えば５回）以上発生し、生体信号による不快感判定閾値以上かつボタン押下の時にのみ、不快感検知とし、いずれかの条件を満たさない場合には、不快感ボタンの誤押ではないかと判定する。
【０１０８】
かかる構成によれば、ボタンを誤って押した場合かどうか判定することができるので、探索対象音の無駄な計算を抑えることができるようになる。
【０１０９】
加工基準入力部１３５は、候補音提示特定部１０６において加工音として特定した音に対して，音の大きさの加工条件を入力する処理部である。このことによって、消すか残すかといったはっきりした加工方法ではなく、柔軟な音加工を行なうことができる。さらには、聞きたい音、どちらでもない音も、その加工対象とすることで、聞きたくない音を、それ以外の音のおよそ半分の大きさ−６ｄＢで加工することによって、聞きたくない音を制御しつつ実際の環境での音に近い環境の音を作ることができる。
【０１１０】
かかる構成によれば、特定の場所などに固有の音や利用者自身の声や利用者自身の所有物などが、音構造特徴として抽出しておくことにより、イライラとなりうる原因となる不快音をより絞り込むことが可能となるため、不快音の特定をより確実にできるようになる。
【０１１１】
なお、候補音提示特定部１０６において、提示する内容として、音自身に加え、探索対象音ＤＢに付与した、その音の種類等の属性を一緒に提示しても良い。また、その音の種類等の属性に応じて、提示の順番を変えるとしてもよい。探索対象ＤＢに含まれない分離音の場合には、ＧＭＭなどのモデルを通じて、その音を識別する手段を用いて、音情報を取得する。
【０１１２】
かかる構成によれば、一つ一つ提示された分離音を聞くことなく、例えば、人の声だけを全て、一度に選択消去することもできるようになるため、非常に、効率的になるといえる。
【０１１３】
さらに、加工音構造ＤＢ１０８を更新する際に聞きたくない音として特定された分離音の音構造特徴が、探索対象音構造特徴ＤＢ１３６に蓄積された音構造と距離とを求めて比較した上で更新するかどうかをユーザに提示して決定しても良い。また、今回特定された分離音と同時に発生した分離音群と探索対象ＤＢの類似性が認められた分離音と分離音群とを比較し、同じ環境か判断しても良い。なお、分離音群の比較や環境の比較には場所や時間や各分離音の音種別判定の結果を用いることができる。かかる構成によれば、聞きたくない音が入れ替わったことを検出できるようになると同時に、入れ替わることを考慮して音加工を行うことができるようになる。
【０１１４】
（実施の形態２）
図１３は、本実施の形態２の音選択加工装置１５００の構成を示すブロック図である。図１３において、図１および図９と同じ構成要素については同じ符号を用い、説明を省略する。
【０１１５】
図１３において、図９に示した構成に加え、音選択加工装置１５００は、加工音構造受信部１３７と加工音構造送信部１３８とを備えて構成をしている。また、候補音選択決定部１０５には、分離音マスキング概形決定部１３２をさらに有している。
【０１１６】
加工音構造受信部１３７は、他者が利用している、音選択加工装置において、他者がイライラする原因となる不快音であると特定した加工音を受信する。また、加工音構造送信部１３８は、同様に利用者自身が特定した加工音を相手に送信する。
【０１１７】
候補音選択決定部１０５に分離音マスキング概形決定部１３２を加えたことによって、候補音の選択を人の聴感上の音が別の音に与える影響を考慮してマスク音の推定を行なうことができるようになる。
【０１１８】
図１４は、本実施の形態２における候補音選択決定部１５０の処理を示す流れ図である。図７と同じ処理については説明を省略する。
【０１１９】
図７の構成との差異は、Ｓ５０２の音構造比較信号波形の形成において、Ｓ５１０で音構造比較のための帯域代表信号を選択した後、Ｓ５１１において、帯域ごとにその代表信号を推定マスキングレベル波形に変換し、Ｓ５１２において、各マスキングレベル概形を合成して、音構造比較信号を取得する点である。
【０１２０】
図１５は、本実施の形態２における候補音選択決定部１０５の比較の流れ図である。この図は、図６と同じ３つの種類の分離音から混合音が構成されており。図６と同じ処理については説明を省略するものとする。図１５では、ｃ）比較信号波形として、ｂ）帯域代表信号をｆ）マスキングレベル概形に変換し、その包落信号を得る点で異なる。
【０１２１】
このように、一旦、マスキングレベルに変換することは、聴覚上の聞こえを考慮したうえで、分離音の比較を行うことに相当する。そのため、図６での信号分析による分離音の比較に比べて、より利用者の聞こえに近い判断ができることが期待できる。
【０１２２】
図１６（ａ）は、特許文献（特開２０００―５０６６３１号公報  公報マスキングを用いた２つの音の評価方法）に掲載されたマスキング手法の図５を示す図である。図１６（ｂ）は、特許文献（特開２０００―５０６６３１号公報）に掲載されたマスキング手法の図１９を示す図である。なお、マスキングレベルは、図１６（ａ）に示される手法のように、知見で得られた同時マスキングに、さらに図１６（ｂ）に示されるような継時マスキングを考慮して概形を決定するようにしてもよい。
【０１２３】
図１６（ａ）は、１０００Ｈｚの正弦波を０ｄＢから１００ｄＢまで与えた際に、個々の音圧レベルが他の周波数領域に与える影響を調べるため、計測された減衰量のカーブである。この図は、外耳および中耳の伝達関数を考慮されている。図１６（ａ）に示す文献の図５の横軸は、Ｈｚ単位の周波数、縦軸は周波数領域全体にわたる耳の減衰量を表し、ｄＢ単位で示される。
【０１２４】
この図より、大きい音０ｄＢで与えた１０００Ｈｚの正弦波の影響が、１０００Ｈｚだけでなく、かなり広帯域に渡って影響が出ていることが分かる。また小さい音１００ｄＢで与えたときにも、低周波方向では、影響が出ることが分かる。このような影響がでるのは、蝸牛が音の伝播とともに進行方向に振動するという物理的な構造上の特性が現れているものと解釈されている。
【０１２５】
つまり、信号分析上の単一の周波数の音に対して、聴感上は、他の周波数帯域への影響（マスキング）を考慮するようにしたほうが、より聞こえに近い判定ができるようになるものと考えられる。
【０１２６】
なお、図１６（ａ）で示される周波数方向への音の影響は同時マスキングと呼ばれ、高い音は低い音で消されやすいという傾向をもち、さらに、図１６（ｂ）で示される継時マスキングは、時間的に接近する音は互いに影響しあう。という特性をもっている。このような人の聞こえを反映させることによって、より聞きたくない音の影響を考慮して音を選択できるようになる。つまり継時マスキングを考慮するためには、時間方向の成分も見る必要があるということになる。
【０１２７】
そこで、図１５のように、人の聞こえ特性を考慮して、支配的な音の推定処理ではマスキング変換した概形を用いて、支配的な帯域および時間遷移を考慮して、最終的に支配的な帯域あるいは、マスカーとなる分離音を決定する。
【０１２８】
また、分離音同士の関係を評価した結果、例えば３つの分離音がそれぞれに、マスカーと判定されるような支配的な音が存在しない場合には、いずれも同じ程度の大きさで、入れ子の状態になっている場合には、図２０のイライラ音の発生要因３の複数の音が同時になっている場合ということが想定される。そのため、そのことを考慮して、提示を行なうようにしても良い。
【０１２９】
なお、本実施の形態において、音取得部１０１を同時に連携させることによって、アレイマイクのように方向に対する抑圧効果を持たせるようにしても良い。
【０１３０】
かかる構成によって、相手の不快音が自分と同じであるかどうか判断し、同じであれば、アレイマイクとして動作させることによって、より指向性を用いて、音選択を行なうことができるため、別の切り口でも選択できるようになる。また、その要因となる音の、より音源に近い場所で収録された、音構造特徴を相手に送信することで、相手側でもより積極的に聞きたくない音として加工処理を行なうことが可能となる。
【０１３１】
また、加工音構造受信部１３７および加工音構造送信部１３８、送信しあうデータは、イライラする原因となる不快音として特定した音を送信することによって、相手が不快音と特定した音を、自ら聞いて、あるいは、相手から受信した音を、自分の探索対象音構造特徴ＤＢで該当する対象音があるかどうかを調べる構成をもたせてもよい。
【０１３２】
かかる構成によって、例えば、その相手からの不快音が、自分もしくは自分の所有物などが発生源である音であるとわかった場合、自ら、その音が出ないように努力するきっかけを得ることができる。
【０１３３】
図１７は、二人の人Ａと人Ｂが、不快音情報を通信しあう例を模擬的に示した図である。この例では、人Ａは、電車またぎ音と周囲の人Ｘの声を、人Ｂは、電車モータ音と同じく人Ｘの声を不快音と特定しており、その不快音の情報を互いに送っている。このとき、不快音同士を比較することによって共通な不快音として人Ｘの声があることが、お互いに分かる。そのため、人Ｘの声を消去するために、アレイマイクのように仮想マイク入力が増えたとみなして音分離抽出処理を行うことによって、より精度よく分離音を抽出することができるようになる。
【０１３４】
また、送られてきた人Ｂの不快な分離音に対して、人Ａの不快音以外の分離音と比較し、自分の周りで起きている分離音と一致している音があると判断される場合には、その音を人Ａに提示するようにしてもよい。このようにすることによって、人Ａは、その音が、例えば、人Ａが持つかばんに付けられた飾りが電車の揺れによって音を生じているものと分かる。この判断の結果、人Ａがその音が出ないように行動を起こすきっかけを与えることができるようになる。
【０１３５】
かかる構成によれば、通信ネットワークなどを介して、同じ音選択加工装置を使用している他者との間でアレイマイクのような共用音環境を構成することができる。これにより、相手の不快音と自分の不快音を踏まえて、不快音のない混合音を再構成できるため、より良い関係の音環境を構築することができる。
【０１３６】
また、加工音構造受信部１３７および加工音構造送信部１３８で、送信しあうデータは、イライラする原因となる不快音として特定した音そのものでなくとも、その特定音と同期するパルス音でもよい。さらに識別器によって、音の種別まで取得されている場合、方向などの情報が分かっている場合には、その音の種類や方向などの属性的な情報を送りあうようにしてもよい。
【０１３７】
かかる構成によれば、音響信号そのものよりも、音の種類や方向などの属性的な情報を上位の情報として与えることで、必要な計算量やデータ量を抑えることができる。例えば、直接相手側の利用者に、ＹＹの方向からのＸＸＸの音などと情報を伝えることで、相手ユーザ自身が新たに不快感ボタンを押すなどの判断から始める事ができるようになる。
【０１３８】
なお、ブロック図（図１、図９、図１３など）の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０１３９】
（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）
【０１４０】
ここでは、LSIとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１４１】
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー を利用しても良い。
【０１４２】
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１４３】
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
【産業上の利用可能性】
【０１４４】
本発明にかかる音選択加工装置は、イライラする原因となる不快音をすばやく選択する機構を有していることから、画像音を収録し、不要な音を編集することにより音の選択を必要とする機器において有用である。またＩＣレコーダ等において音を収録しながら、音の選択を行なうことで、リアルタイムに音のフィルタリング装置等の用途にも応用できる。たとえば、講義を録音していて、講演者や生徒が椅子や机をずらす音、咳やくしゃみなど、想定する音の対象音特徴構造として記録しておけば、講義内容にのみに音を選択して録音することができる。
【０１４５】
さらに、他者と不快音の情報を共有することで、携帯電話など遠隔地での通話に加え、騒音などの物理的に近い場所においても、互いに聞きたくない音を低減化させる補聴器などへの適用も有用である。
【図面の簡単な説明】
【０１４６】
【図１】本実施の形態１における音選択加工装置の構成図
【図２】本実施の形態１における分離音加工時の処理の流れ図
【図３】本実施の形態１における分離音選択時の処理の流れ図
【図４】本実施の形態１における不快感検知部の流れ図
【図５】本実施の形態１における候補音選択決定部の流れ図
【図６】本実施の形態１における候補音選択の処理の流れ図
【図７】本実施の形態１における候補音選択決定部の流れ図
【図８】ストレスモデルの対比による本発明の効果説明図
【図９】本実施の形態１の第二の構成における構成図
【図１０】本実施の形態１の第二の構成における分離音抽出対象音の比較の流れ図
【図１１】本実施の形態１の第二の構成における分離音選択時の処理の流れ図
【図１２】本実施の形態１の第二の構成における不快感検知の流れ図
【図１３】本実施の形態２における音選択加工装置の構成図
【図１４】本実施の形態２における候補音選択決定部の流れ図
【図１５】本実施の形態２における候補音選択決定部の比較の流れ図
【図１６】マスキング概形図
【図１７】本発明の適用例図
【図１８】電車内の音情景の用例図
【図１９】主観による聞きたい音の用例説明図
【図２０】音によるイライラする要因の例図
【符号の説明】
【０１４７】
１００  音選択加工装置
１０１  音取得部
１０２  音構造特徴抽出部
１０３  音分離部
１０４  音加工部
１０５、１５０  候補音選択決定部
１０６  候補音提示特定部
１０７  加工音構造特徴更新部
１０８  加工音構造特徴ＤＢ
１３１  不快感検知部
１３２  分離音マスキング概形決定部
１３３  音構造特徴比較部
１３４  マスカー分離音推定部
１３５  加工基準入力部
１３６  探索対象音構造特徴ＤＢ
１３７  加工音構造受信部
１３８  加工音構造送信部
１１００  音選択加工装置
【図１】
2007187748.tif 000003
【図２】
2007187748.tif 000004
【図３】
2007187748.tif 000005
【図４】
2007187748.tif 000006
【図５】
2007187748.tif 000007
【図６】
2007187748.tif 000008
【図７】
2007187748.tif 000009
【図８】
2007187748.tif 000010
【図９】
2007187748.tif 000011
【図１０】
2007187748.tif 000012
【図１１】
2007187748.tif 000013
【図１２】
2007187748.tif 000014
【図１３】
2007187748.tif 000015
【図１４】
2007187748.tif 000016
【図１５】
2007187748.tif 000017
【図１６】
2007187748.tif 000018
【図１７】
2007187748.tif 000019
【図１８】
2007187748.tif 000020
【図１９】
2007187748.tif 000021
【図２０】
2007187748.tif 000022