(57)【要約】【課題】リアルタイムに取得された音に対して所望の残響を付加し、聴取者が聴取できるようにする。【解決手段】本開示に係る音響出力装置は、周囲の音響による音声信号を取得する音響取得部と、前記音声信号に対し、リバーブ処理を行うリバーブ処理部と、前記リバーブ処理が行われた前記音声信号による音響を聴取者の耳の近傍に出力する音響出力部と、を備える。この構成により、リアルタイムに取得された音に対して所望の残響を付加し、聴取者が聴取することが可能となる。【選択図】図４
2017134973.tif 000002
【特許請求の範囲】
【請求項１】
周囲の音響による音声信号を取得する音響取得部と、
前記音声信号に対し、リバーブ処理を行うリバーブ処理部と、
前記リバーブ処理が行われた前記音声信号による音響を聴取者の耳の近傍に出力する音響出力部と、
を備える、音響出力装置。
【請求項２】
前記リバーブ処理部は、インパルス応答の直接音成分を除いて前記リバーブ処理を行う、請求項１に記載の音響出力装置。
【請求項３】
前記音響出力部は、一端が聴取者の外耳道入口付近に配置される中空構造の音導部の他端に音響を出力する、請求項１に記載の音響出力装置。
【請求項４】
前記音響出力部は、前記聴取者の耳を外部から密閉した状態で音響を出力する、請求項１に記載の音響出力装置。
【請求項５】
前記音響出力部は、聴取者の左右の耳のそれぞれの側で前記音声信号を取得し、
前記リバーブ処理部は、聴取者の左右の耳の一方の側で取得された前記音声信号をリバーブ処理する第１のリバーブ処理部と、聴取者の左右の耳の他方の側で取得された前記音声信号をリバーブ処理する第２のリバーブ処理部と、
前記第１のリバーブ処理部によりリバーブ処理された前記音声信号と、前記第２のリバーブ処理部によりリバーブ処理された前記音声信号を重畳する重畳部を備え、
前記音響出力部は、前記重畳部により重畳された前記音声信号による音響を出力する、請求項１に記載の音響出力装置。
【請求項６】
前記音響出力部は、コンテンツの音響を視聴者の耳に出力し、
前記リバーブ処理部は、前記コンテンツの音響環境に合わせて前記リバーブ処理を行う、請求項１に記載の音響出力装置。
【請求項７】
前記リバーブ処理部は、前記コンテンツの音響環境に基づいて選択されたリバーブ種別に基づいて前記リバーブ処理を行う、請求項６に記載の音響出力装置。
【請求項８】
前記コンテンツの音声信号を前記リバーブ処理後の前記音声信号に重畳する重畳部を備える、請求項６に記載の音響出力装置。
【請求項９】
通信相手の周囲の音響環境を表す音響環境情報を取得する音響環境情報取得部を備え、
前記リバーブ処理部は、音響環境情報に基づいて前記リバーブ処理を行う、請求項１に記載の音響出力装置。
【請求項１０】
通信相手から受信した音声信号を前記リバーブ処理後の前記音声信号に重畳する重畳部を備える、請求項９に記載の音響出力装置。
【請求項１１】
通信相手から受信した音声信号の音像位置を調整する音響環境調整部と、
前記音響取得部が取得した前記音声信号に対して、前記音響環境調整部により音像位置が調整された信号を重畳する重畳部と、を備え、
前記リバーブ処理部は、前記重畳部により重畳された音声信号をリバーブ処理する、請求項９に記載の音響出力装置。
【請求項１２】
通信相手から受信したモノラル音声信号の音像位置を調整する音響環境調整部と、
前記音響環境調整部により音像位置が調整された信号を前記リバーブ処理後の前記音声信号に重畳する重畳部を備える、請求項９に記載の音響出力装置。
【請求項１３】
周囲の音響による音声信号を取得することと、
前記音声信号に対し、リバーブ処理を行うことと、
前記リバーブ処理が行われた前記音声信号による音響を聴取者の耳の近傍に出力することと、
を備える、音響出力方法。
【請求項１４】
周囲の音響による音声信号を取得する手段と、
前記音声信号に対し、リバーブ処理を行う手段と、
前記リバーブ処理が行われた前記音声信号による音響を聴取者の耳の近傍に出力する手段と、
としてコンピュータを機能させるためのプログラム。
【請求項１５】
周囲の音響環境を表す音響環境情報を取得する音響取得部と、通信相手である第２の音響出力装置の周囲の音響環境を表す音響環境情報を前記第２の音響出力装置から取得する音響環境情報取得部と、前記音響環境情報に応じて、前記音響取得部で取得された音声信号に対してリバーブ処理を行うリバーブ処理部と、前記リバーブ処理が行われた音声信号による音響を聴取者の耳に出力する音響出力部と、を備える第１の音響出力装置と、
周囲の音響環境を表す音響環境情報を取得する音響取得部と、通信相手である前記第１の音響出力装置の周囲の音響環境を表す音響環境情報を取得する音響環境情報取得部と、前記音響環境情報に応じて、前記音響取得部で取得された音声信号に対してリバーブ処理を行うリバーブ処理部と、前記リバーブ処理が行われた音声信号による音響を聴取者の耳に出力する音響出力部と、を備える前記第２の音響出力装置と、
を備える、音響システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音響出力装置、音響出力方法、プログラム、音響システムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１に記載されているように、所定の環境下でインパルス応答を測定し、得られたインパルス応答に入力信号を畳み込むことで、インパルス応答による残響を再現する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−９７７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された技術は、残響音を付加したいデジタルオーディオ信号に対して、予め測定により取得したインパルス応答を畳み込んでいる。このため、特許文献１に記載された技術は、リアルタイムに取得された音に対して、所望の空間を模擬するような、空間模擬伝達関数処理（例えば、残響・リバーブ）を付加することは何ら想定していない。【０００５】
上記事情に鑑みれば、リアルタイムに取得された音に対して所望の空間模擬伝達関数（残響）を付加し、聴取者が聴取できるようにすることが望ましい。なお、以降、空間模擬伝達関数処理のことを、簡単のために「リバーブ処理」と表記する。なお、以降、空間模擬伝達関数処理のことを、簡単のために「リバーブ処理」と表記する。なお、必ずしも残響成分が過多の場合だけでなく、例えば小空間模擬のような残響成分が少ない場合でも、空間を模擬する目的で、空間の２点間の伝達関数をベースとしていれば、以降もリバーブ処理と表現する。
【課題を解決するための手段】
【０００６】
本開示によれば、周囲の音響による音声信号を取得する音響取得部と、前記音声信号に対し、リバーブ処理を行うリバーブ処理部と、前記リバーブ処理が行われた前記音声信号による音響を聴取者の耳の近傍に出力する音響出力部と、を備える、音響出力装置が提供される。【０００７】
また、本開示によれば、周囲の音響による音声信号を取得することと、前記音声信号に対し、リバーブ処理を行うことと、前記リバーブ処理が行われた前記音声信号による音響を聴取者の耳の近傍に出力することと、を備える、音響出力方法が提供される。【０００８】
また、本開示によれば、周囲の音響による音声信号を取得する手段と、前記音声信号に対し、リバーブ処理を行う手段と、前記リバーブ処理が行われた前記音声信号による音響を聴取者の耳の近傍に出力する手段と、としてコンピュータを機能させるためのプログラムが提供される。【０００９】
また、本開示によれば、周囲の音響環境を表す音響環境情報を取得する音響取得部と、通信相手である第２の音響出力装置の周囲の音響環境を表す音響環境情報を前記第２の音響出力装置から取得する音響環境情報取得部と、前記音響環境情報に応じて、前記音響取得部で取得された音声信号に対してリバーブ処理を行うリバーブ処理部と、前記リバーブ処理が行われた音声信号による音響を聴取者の耳に出力する音響出力部と、を備える第１の音響出力装置と、周囲の音響環境を表す音響環境情報を取得する音響取得部と、通信相手である前記第１の音響出力装置の周囲の音響環境を表す音響環境情報を取得する音響環境情報取得部と、前記音響環境情報に応じて、前記音響取得部で取得された音声信号に対してリバーブ処理を行うリバーブ処理部と、前記リバーブ処理が行われた音声信号による音響を聴取者の耳に出力する音響出力部と、を備える前記第２の音響出力装置と、を備える、音響システムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、リアルタイムに取得された音に対して所望の残響を付加し、聴取者が聴取することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る音響出力装置の構成を示す模式図である。
【図２】本開示の一実施形態に係る音響出力装置の構成を示す模式図である。
【図３】耳穴開放型の音響出力装置が聴取者の耳に音波を出力する様子を示す模式図である。
【図４】本開示の基本的なシステムを示す模式図である。
【図５】図４に示すシステムにおいて、音響出力装置を装着したユーザを示す模式図である。
【図６】カナル型等の通常の「密閉型」のヘッドホンとマイクを用いて、リバーブ処理後の音のユーザ体験を行わせる処理システムを示す模式図である。
【図７】図６の場合に、音源が発する音をインパルスとし、空間伝達はフラットとしたときの鼓膜上の音圧の応答イメージを示す模式図である。
【図８】「耳穴開放型」の音響出力装置を用い、図６及び図７と同じ音場環境でのインパルス応答ＩＲを用いた場合を示す模式図である。
【図９】図８の場合に、音源が発する音をインパルスとし、空間伝達はフラットとしたときの鼓膜上の音圧の応答イメージを示す模式図である。
【図１０】リバーブ処理の応用により、より臨場感を高めた例を示す模式図である。
【図１１】映像コンテンツをベースにＨＭＤ表示を組み合わせた例を示す模式図である。
【図１２】映像コンテンツをベースにＨＭＤ表示を組み合わせた例を示す模式図である。
【図１３】通話する相手の音響環境をシェアしながら通話する場合を示す模式図である。
【図１４】送話のための自分の声に関して、ビームフォーミング技術によりモノラルとして抽出した例を示す模式図である。
【図１５】仮想音像定位させた後の音声信号をリバーブ処理後のマイク信号に加算した例を示す模式図である。
【図１６】多人数による通話の例を示す模式図である。
【図１７】多人数による通話の例を示す模式図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．音響出力装置の構成例
２．本実施形態におけるリバーブ処理
３．本実施形態に係るシステムの応用例
【００１４】
１．音響出力装置の構成例
まず、図１を参照して、本開示の一実施形態に係る音響出力装置の概略構成について説明する。図１及び図２は、本開示の一実施形態に係る音響出力装置１００の構成を示す模式図である。ここで、図１は音響出力装置１００の正面図であり、図２は音響出力装置１００を左側から見た斜視図である。図１及び図２に示す音響出力装置１００は、左耳に装着するように構成されているが、右耳装着用の音響出力装置（不図示）はこれとは左右対称に構成されている。
【００１５】
図１及び図２に示す音響出力装置１００は、音響を発生する音響発生部（音響出力部）１１０と、音響発生部１１０から発生される音響を一端１２１から取り込む音導部１２０と、音導部１２０を他端１２２付近で保持する保持部１３０を備えている。音導部１２０は、内径が１〜５ｍｍの中空の管材からなり、その両端はともに開放端である。音導部１２０の一端１２１は、音響発生部１１０からの発生音の音響入力孔であり、他端１２２はその音響出力孔になっている。従って、一端１２１が音響発生部１１０に取り付けられることで、音導部１２０は片側開放状態となっている。
【００１６】
後述するように、保持部１３０は、外耳道の入り口付近（例えば、珠間切痕）と係合して、音導部１２０の他端１２２の音響出力孔が外耳道の奥側を向くように、音導部１２０をその他端１２２付近で支持する。音導部１２０の少なくとも他端１２２付近の外径は、耳穴の内径よりも小さくなるように形成されている。従って、音導部１２０の他端１２２が保持部１３０によって外耳道の入り口付近で保持されている状態でも、聴取者の耳穴を塞ぐことはない。すなわち、耳穴は開放されている。音響出力装置１００は、従来のイヤホンとは異なり、「耳穴開放型」ということができる。
【００１７】
また、保持部１３０は、音導部１２０を保持した状態でも、外耳道入口（耳穴）を外界に開放する開放部１３１を備えている。図１及び図２に示す例では、保持部１３０は、リング状の構造体であり、棒状の支持部材１３２でのみ音導部１２０の他端１２２付近と連結しているので、リング状構造体のそれ以外の部分は全て開口部１３１となる。なお、後述するように、保持部１３０は、リング状構造に限定されるものではなく、中空構造を備えていれば、音導部１２０の他端１２２を支持できる任意の形状で良い。
【００１８】
管状の音導部１２０は、音響発生部１１０から発生される音響をその一端１２１から管内に取り込むと、その空気振動を伝搬して、保持部１３０によって外耳道の入り口付近に保持された他端１２２から外耳道に向けて放射して、鼓膜に伝える。
【００１９】
上述したように、音導部１２０の他端１２２付近を保持する保持部１３０は、外耳道の入り口（耳穴）を外界に開放する開口部１３１を備えている。従って、音響出力装置１００を装着している状態でも、聴取者の耳穴を塞ぐことはない。聴取者は、音響出力装置１００を装着して音響発生部１１０から出力される音響を聴取している間も、開口部１３１を介して周囲音を十分に聴取することができる。
【００２０】
また、本実施形態に係る音響出力装置１００は、耳穴を開放しているが、音響発生部１００からの発生音（再生音）の外部への漏れを抑制することができる。音導部１２０の他端１２２が外耳道の入り口付近で奥を向くように取り付けられ、発生音の空気振動を鼓膜の近くで放射することから、音響出力部１００の出力を小さくしても十分な音質を得ることができるからである。
【００２１】
また、音導部１２０の他端１２２から放射される空気振動の指向性も、音漏れの防止に寄与する。図３には、耳穴開放型の音響出力装置１００が聴取者の耳に音波を出力する様子を示している。音導部１２０の他端１２２から外耳道の内部に向けて空気振動が放射される。外耳道３００は、外耳道入り口３０１から始まり鼓膜３０２の内側で終了する穴であり、一般的におよそ２５〜３０ｍｍの長さがある。外耳道３００は筒状をした閉空間である。このため、音響部１２０の他端１２２から外耳道３００の奥に向かって放射された空気振動は、参照符号３１１で示すように、指向性を以って鼓膜３０２まで伝搬する。また、空気振動は外耳道３００内では音圧が上がることから、とりわけ低域の感度（ゲイン）が向上する。他方、外耳道３００の外側すなわち外界は開空間である。このため、音導部１２０の他端１２２から外耳道３００の外に放射された空気振動は、参照符号３１２で示すように、外界では指向性がなく、急激に減衰する。
【００２２】
再び図１及び図２を参照しながら説明する。管状の音導部１２０は、中間部分に、耳穴の背面側から正面側に折り返す屈曲形状を有している。この屈曲部分は、開閉構造を有するピンチ部１２３となっており、ピンチ力を発生して耳垂を挟持することができるが、詳細については後述する。
【００２３】
また、音導部１２０は、外耳道の入り口付近に配設される他端１２２と、屈曲するピンチ部１２３の間に、変形部１２４をさらに有している。変形部１２４は、過度な外力が作用すると変形して、音導部１２０の他端１２２が必要以上に外耳道の奥に入り込まないようにする。
【００２４】
以上のように構成された音響出力装置１００によれば、聴取者は、音響出力装置１００を装着している最中にも、周囲音を自然に聴くことができる。従って、空間把握、危険察知、会話並びに会話時の微妙なニュアンスの把握といった、聴覚特性に依存した人間の機能を正常に利用することができる。
【００２５】
以上のように、音響出力装置１００は、再生のための構造物で耳穴近傍を塞がないことで周囲の音は音響的に透過と見なすことができ、通常のイヤホンを装着していない環境と同様、周囲の音はそのまま聞こえており、それに対してパイプやダクト形状を通じて目的とする音声情報や音楽も同時に再生することで、双方の音を聴取することができるものである。
【００２６】
現在一般に普及しているカナル型と言われるイヤホンデバイスの場合、基本的には外耳道を塞ぐ密閉構造となっているため、自分の発生する音声や自らの咀嚼音は、外耳道の開放時と比べて異なるように聴こえるため、違和感があり、ユーザの不快感の原因となることが多い。これは、自発声音や咀嚼音が骨や肉を通じて、密閉された外耳道に放射されるため、低域が増強された状態で、その音が鼓膜に通じるためと考えられている。音響出力装置１００ではこのような現象が起こらないため、目的とする音声情報を聞きながらでも、通常通りの会話を楽しむことが可能である。
【００２７】
以上のように、本実施形態の音響出力装置１００によれば、周囲の音はそのまま音波として通しつつ、提示させた音声や音楽を、管状の音導部１２０を通じて耳穴付近に送ることで、ユーザは周囲の音を聞きながら音声や音楽を体験することができる。
【００２８】
図４は、本開示の基本的なシステムを示す模式図である。図４に示すように、左右それぞれの音響出力装置１００に対してマイク（マイクロフォン（音響取得部））４００が搭載されている。このマイク４００出力されたマイク信号は、マイクアンプ・ＡＤＣ４０２で増幅され、ＡＤ変換された後、ＤＳＰ(またはＭＰＵ)４０４でＤＳＰ処理（リバーブ処理）されたのち、ＤＡＣ・アンプ(またはデジタルアンプ)４０６で増幅、ＤＡ変換され、音響出力装置１００にて再生される。これにより、音響発生部１１０から音響が発生し、音導部１２０を介してユーザの耳に音が聴こえることになる。図４では、左右独立でマイク４００が付いており、それぞれの側でマイク信号が独立リバーブ処理される。なお、マイクアンプ・ＡＤＣ４０２、ＤＳＰ４０４、ＤＡＣ・アンプ４０６等の各構成要素は、音響出力装置１００の音響発生部１１０に設けることができる。また、図４に示す各ブロックの構成要素は、回路（ハードウェア）、又はＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成されることができる。
【００２９】
図５は、図４に示すシステムにおいて、音響出力装置１００を装着したユーザを示す模式図である。この場合、ユーザ体験としては、図５に示すように、直接外耳道に入る周囲の音と、マイク４００で収音されて信号処理が施されて音導部１２０に入る音が、外耳道経路において空間音響的に加算されるため、両方の合成音が鼓膜に届き、この合成音に基づき音場や空間が認知される。
【００３０】
上述したように、ＤＳＰ４０４は、マイク信号に対してリバーブ処理を行うリバーブ処理部（残響処理部）として機能する。リバーブ処理としては、実際の任意の場所で音響測定した２点間のインパルス応答をそのまま畳み込む(周波数領域での演算は伝達関数を掛け算することと等価)、所謂「サンプリングリバーブ」が、臨場感効果が高いが、計算リソース簡略化のために、この一部または全部をＩＩＲ（Infinite  impulse  response）で近似したフィルタを用いても良い。このようなインパルス応答は、シミュレーションにより求めることもできる。図４に示すリバーブ種別データベース（ＤＢ）４０８には、例えば、コンサートホール、映画館等の任意の場所で音響測定した複数のリバーブ種別に対応するインパルス応答が格納されている。ユーザは、複数のリバーブ種別に対応するインパルス応答の中から、最適なものを選択することができる。なお、畳み込みは、前述の特許文献１と同様の手法で行うことができ、ＦＩＲデジタルフィルタまたはコンボルーバを使うことができる。この際、複数のリバーブのためのフィルタ係数を持つことができ、ユーザが任意で選択することが可能である。この時、ユーザは周囲で起こった音を発する事象(誰かが発話する、モノが落ちる、ユーザ自身が音を発する、など)に応じて、実際にいる場所の音場ではない、別の場所の音場を、あらかじめ測定またはシミュレートしたインパルス応答（ＩＲ：Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）を通じて体感することができる。空間の広さの認識などについても、聴感上から、そのＩＲを測定した場所そのものを体感することができる。
【００３１】
２．本実施形態におけるリバーブ処理
次に、本実施形態におけるリバーブ処理に関して詳細に説明する。最初に、図６及び図７に基づいて、カナル型等の通常の「密閉型」のヘッドホン５００とマイク４００を用いて、ユーザ体験を行わせる処理システムについて説明する。図６に示すヘッドホン５００の構成は、「密閉型」であること以外は、図４に示す音響出力装置１００と同様に構成されており、左右のヘッドホン５００の近傍にマイク４００が設けられている。この時、密閉型のヘッドホン５００は遮音性が高いものとする。ここでは、ある特定の音場空間をシミュレートするために、図６に示すようなインパルス応答ＩＲが測定済みであるものとする。図６に示すように、音源６００が発した音をマイク４００で集音し、この直接音成分を含むＩＲそのものをリバーブ処理として、ＤＳＰ４０４においてマイク４００からのマイク信号に畳み込むことで、ユーザはその特定の音場空間を感じることができる。なお、図６において、マイクアンプ・ＡＤＣ４０２、ＤＡＣ・アンプ４０６については、図示を省略する。
【００３２】
但し、ヘッドホン５００は密閉型であっても、特に低域においては遮音性が十分でないことが多く、一部の音はヘッドホン５００の筐体を通じて中に入り、遮音効果の残り成分としての音がユーザの鼓膜上で聞こえてしまうことが考えられる。
【００３３】
図７は、音源６００が発する音をインパルスとし、空間伝達はフラットとしたときの鼓膜上の音圧の応答イメージを示す模式図である。上述のように、密閉型のヘッドホン５００は遮音性が高いが、遮音できなかった部分に関しては空間伝達での直接音成分（遮音残り）が残り、ユーザに若干聞こえてしまう。そののちに、ＤＳＰ４０４での畳み込み(またはＦＩＲ)演算による処理時間やＡＤＣ、ＤＡＣで生じる「システム遅延」の時間を経て、図６に示したインパルス応答ＩＲの応答列が続いて観測されることになる。この場合、空間伝達の直接音成分が、遮音の残りとして聞こえてしまうことや、全体的なシステムの遅延で、体感として違和感の発生が起こる可能性がある。より具体的には、図７において、音源６００から時刻ｔ０で音が発生すると、音源６００から鼓膜までの空間伝達時間の経過後、空間伝達の直接音成分がユーザに聴こえる（時刻ｔ１）。ここで聴こえる音は、密閉型のヘッドホン５００で遮音できなかった遮音残りの音である。その後、上述した「システム遅延」の時間が経過すると、リバーブ処理後の直接音成分が聴こえる（時刻ｔ２）。このように、空間伝達の直接音成分がユーザに聴こえた後、リバーブ処理後の直接音成分が聴こえるため、ユーザに違和感が生じてしまう可能性がある。更に、その後にリバーブ処理後の初期反射音が聴こえ（時刻ｔ３）、時刻ｔ４以降にリバーブ処理後の残響成分が聴こえるため、「システム遅延」によりリバーブ処理後の音が全体として遅れるため、ユーザに違和感が生じてしまう可能性がある。また、ヘッドホン５００が外部の音を完全に遮音できたとしても、上述した「システム遅延」の発生により、ユーザの視覚と聴覚との間にズレが生じる可能性がある。図７では、音源６００からの音が時刻ｔ０で発生するのに対し、ヘッドホン５００が外部の音を完全に遮音できた場合にユーザが最初に聴く直接音成分はリバーブ処理後の直接音成分であり、ユーザの視覚と聴覚との間にズレが生じる。ユーザの視覚と聴覚との間に生じるズレの例として、会話している相手の実際の口の動きと、これに対応する音声とのズレが挙げられる（リップシンク）。
【００３４】
以上のような違和感が生じる可能性があるものの、図６及び図７に示した本実施形態に係る構成によれば、マイク４００でリアルタイムに取得された音に対して所望の残響を付加することができ、聴取者に対して異なる音響環境の音を聴取させることが可能である。
【００３５】
図８及び図９は、「耳穴開放型」の音響出力装置１００を用い、図６及び図７と同じ音場環境でのインパルス応答ＩＲを用いた場合を示す模式図である。ここで、図８は図６に対応し、図９は図７に対応する。先ず、図８に示すように、本実施形態では、ＤＳＰ４０４が畳み込む成分として、図６に示したインパルス応答ＩＲのうち直接音成分は使用しない。これは、本実施形態に係る「耳穴開放型」の音響出力装置１００を用いた場合は、そもそもの直接音の成分は、空間を通じてそのまま外耳道に入ってくるため、図６及び図７に示した密閉型のヘッドホン５００とは異なり、直接音成分をＤＳＰ４０４による演算とヘッドホン再生によって作り上げる必要がないためである。
【００３６】
このため、図８に示したように、実際に畳み込み演算で使用するインパルス応答ＩＲ’として、測定された直接音成分から初期反射音の間に生じる、ＤＳＰ処理演算時間を含むシステム遅延の時間分の情報を、本来の特定音場のインパルス応答ＩＲ（図６に示すＩＲ）から差し引いた部分(図８中に一点鎖線で囲んだ領域)を使うこととする。
【００３７】
図９は、図８の場合において、図７と同様に、音源６００が発する音をインパルス、空間伝達はフラットとしたときの鼓膜上の音圧の応答イメージを示す模式図である。図９に示すように、音源６００から時刻ｔ０で音が発生すると、音源６００から鼓膜までの空間伝達時間（ｔ０〜ｔ１）は図７と同様に生じるが、時刻ｔ１において、耳穴開放型であるため空間伝達の直接音成分が鼓膜上で観測される。その後、時刻ｔ５において、リバーブ処理による初期反射音が鼓膜上で観測され、時刻ｔ６以降にリバーブ処理による残響成分が鼓膜上で観測される。この際、図８に示したように、畳み込むＩＲ上で予めシステム遅延分に相当する時間を差し引いているので、ユーザは、直接音成分を聴いた後、リバーブ処理の初期反射音を適正なタイミングで聴くことができ、リバーブ処理の初期反射音は特定の音場環境に応じた音であるため、ユーザは特定の音場環境に対応するリアルな別の位置にいるような音場感を楽しむことができる。直接音成分から初期反射音の間に生じるシステム遅延の時間分の情報を本来の特定音場のインパルス応答ＩＲから差し引いたことにより、システム遅延分を吸収できるため、システム自体を低遅延性にする必要性や、ＤＳＰ４０４の計算リソースを高速に動作させる必要性が緩和される。従って、システム規模を小さくすることができ、システム構成をより簡素にできるため、製造コストを大幅に抑えることができるなどの大きな実用的効果を得ることができる。
【００３８】
また、本実施形態に係るシステムによれば、図８及び９に示したように、図６及び図７に示すシステムに比べて、直接音が２回続けて聴こえることがなく、全体的な遅延の整合性を大幅に向上できるのみならず、図６及び図７で生じていた、不要な遮音の残り成分とリバーブ処理による直接音成分との干渉による音質劣化も避けることができる。
【００３９】
また、人間は、残響成分に比べて、直接音成分の方が、分解能や周波数特性に起因して、現実音か人工的な音かをより容易に見分けることができる。換言すれば、直接音に関しては、現実音か人工的な音かの判別がし易いため、特に音のリアリティが重要となる。図８及び図９に示す本実施形態のシステムでは、「耳穴開放型」の音響出力装置１００を用いるため、ユーザの耳に聴こえる直接音は、音源６００が発生した直接的な「音」そのものであり、演算処理やＡＤＣ,ＤＡＣなどによる劣化は原理上存在しないため、ユーザは、現実音を聴くことにより、より臨場感を強く感じることが可能となる。
【００４０】
なお、図８及び図９に示したシステム遅延を考慮したインパルス応答ＩＲ’の構成は、図６に示すインパルス応答ＩＲ’における直接音成分と初期反射音成分の間にある時間を、ＤＳＰ演算処理やＡＤＣ,ＤＡＣの遅延時間として有効に使うことができるシステムともいえる。これは、耳穴開放型の音響出力装置１００により直接音をそのまま鼓膜に伝えることができるから成立するシステムであり、「密閉型」のヘッドホンを用いる場合はシステムの成立自体が困難である。さらに、高速処理が可能な低遅延なシステムを用いることができなくても、直接音成分から初期反射音の間に生じるシステム遅延の時間分の情報を本来の特定音場のインパルス応答ＩＲから差し引くことで、異なる空間にいるようなユーザ体験をもたらすことができるため、低コストで画期的システムを提供可能である。
【００４１】
３．本実施形態に係るシステムの応用例
次に、本実施形態に係るシステムの応用例について説明する。図１０は、リバーブ処理の応用により、より臨場感を高めた例を示している。図１０では、Ｒ（右）側のシステムを図示しているが、Ｌ（左）側にも図１０と対称なシステム構成があるものとする。通常は、Ｌ側とＲ側の再生デバイスは独立であり、かつ双方は有線で繋がっていない。図１０に示す構成例では、Ｌ側とＲ側の音響出力装置１００は、無線通信部４１２で接続されて双方向通信が可能とされている。なお、Ｌ側とＲ側の音響出力装置１００は、スマートフォン等を中継器として双方向通信が可能とされていても良い。
【００４２】
図１０のリバーブ処理は、ステレオリバーブを実現するものである。右側の音響出力装置１００の再生に関しては、右側のマイク４００と左側のマイク４００のマイク信号のそれぞれに異なるリバーブ処理を施して、その加算を再生出力とする。同様に、左側の音響出力装置１００の再生に関しては、左側のマイク４００と右側のマイク４００のマイク信号のそれぞれに異なるリバーブ処理を施して、その加算を再生出力とする。
【００４３】
図１０において、Ｌ側のマイク４００で聴取された音は、Ｒ側の無線通信部４１２で受信され、ＤＳＰ４０４ｂでリバーブ処理される。一方、Ｒ側のマイク４００で聴取された音は、マイクアンプ・ＡＤＣ４０２で増幅され、ＡＤ変換された後、ＤＳＰ４０４ａでリバーブ処理される。リバーブ処理された左右のマイク信号は、加算部（重畳部）４１４にて加算される。これにより、一方の耳の側で聴こえた音が他方の耳側に重畳されるため、例えば左右に反射する音を聴く場合などに臨場感を高めることができる。
【００４４】
図１０において、Ｌ側とＲ側のマイク信号の送受信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）（ＬＥ）、ＷｉＦｉ、独自９００ＭＨｚ等の通信方式、ＮＦＭＩ（補聴器などで使われている近接場電磁誘導）、赤外線通信等の方法で行うことができるが、有線での送受信でも構わない。また、Ｌ−Ｒ間では、マイク信号以外にも、ユーザが選択したリバーブ種に関する情報も共有(同期)しておくことが望ましい。
【００４５】
次に、映像コンテンツをベースにＨＭＤ（Head  Mounted  Display）表示を組み合わせた例について説明する。図１１及び図１２に示す例では、コンテンツは、例えばメディア(Ｍｅｄｉａ；ディスクやメモリ等)に格納されているものとし、またコンテンツがクラウドから送られてローカル側の機器で一時的に記憶されている場合も含むものとする。コンテンツは、ゲームのようにインタラクティブ性が高いものも含むものとする。コンテンツのうち、映像部分に関しては、映像処理部４２０を経由してＨＭＤ６００で表示される。この時、例えばコンテンツ上のシーンで、教会やホールのような残響の大きな場所に入った場合は、その場所の中での人物の声や物音に対して、コンテンツ制作時にオフラインでリバーブ処理を施していたり、または再生機器側でリバーブ処理(レンダリング)することが考えられる。しかし、この時にユーザ自身が発した声や、現実の周囲の音が聞こえてしまうと、コンテンツへの没入感を一気に阻害することになる。
【００４６】
本実施形態に係るシステムでは、コンテンツに含まれる映像や音声、もしくはメタデータを解析して、そのシーンで使われる音場環境を推定することで、ユーザ自身が発した声や、現実の周囲の音を、シーンに合わせた音場環境に適合させる。シーン制御情報生成部４２２は、推定された音場環境、またはメタデータで指定された音場環境に応じたシーン制御情報を生成する。そして、シーン制御情報に応じて音場環境に一番近いリバーブ種別がリバーブ種別データベース４０８から選択され、選択されたリバーブ種別に基づいてＤＳＰ４０４でリバーブ処理が行われる。リバーブ処理が行われたマイク信号は加算部４２６に入力され、音声・Ａｕｄｉｏ処理部４２４で処理されたコンテンツの音声に畳み込まれて音響出力装置１００により再生される。この時、コンテンツの音声に畳み込まれる信号は、コンテンツの音場環境に応じてリバーブ処理が成されたマイク信号であるため、コンテンツを視聴しながら自分の声を発する、周囲で現実の音が発生する、などの音事象が起こった場合に、コンテンツ内で提示される音場環境に応じた残響、反響を伴ってユーザ自身に聴取されることになる。従って、ユーザ自身が、提示されたコンテンツの音場環境内に存在するかのように感じることができ、よりコンテンツへ没入することが可能となる。
【００４７】
図１１では、ゲーム等を含む予め作成済みのコンテンツをＨＭＤ６００で表示する場合を想定している。一方、図１１に近いユースケースとして、ＨＭＤ６００にカメラ等を組み合わせたり、ハーフミラーを用いたりすることで、周囲の実際の情景(環境)をＨＭＤ６００に表示した上で、ＣＧで作られたオブジェクトをスーパーインポーズなどで合わせて表示するなどして、シースルー（See  Through）体験やＡＲシステムを提供できるシステムがある。
【００４８】
この場合でも、例えば周囲の状況の映像をベースとしつつ、音場を実際の場所とは異なる音場環境にしたい場合は、図１１と同様のシステムにより構築することができる。この場合は、図１２に示すように、図１１と異なり、周囲の状況(物を落とす、誰かが話をする)などがユーザに見えているため、周囲の状況（周囲環境）をベースとした音場表現が視覚とともに得られ、よりリアリティのあるものとなる。なおシステムとしては、図１１、図１２は同じものである。
【００４９】
次に、複数のユーザが本実施形態に係る音響出力装置１００を使用して、通信、通話する場合について説明する。図１３は、通話する相手の音響環境をシェアしながら通話する場合を示す模式図である。この機能は、ユーザの選択によりＯＮ／ＯＦＦの設定が可能とする。上述した構成例では、リバーブ種別はユーザ自身が指定したり、コンテンツにより指定、推定したりしていたが、図１３では、音響出力装置１００を使う２者での通話を想定して、双方の通話者が相手の音場環境をリアルに体験する。
【００５０】
この場合、相手側の音場環境情報が必要となるが、これは通話する相手側のマイク４００で聴取したマイク信号を解析して求めても良いし、ＧＰＳ経由の地図情報から相手のいる場所、建物を推定して残響の度合を求めても良い。このために、通信を行う両者は、自分の周辺の音響環境を示す情報を、通話音声とは別に相手に送信する。一方のユーザ側では、自分の声の反響を他方のユーザから取得した音響環境に基づいてリバーブ処理することで、他方のユーザ（通話相手）が存在する音場の中で自分の声を発したように体感することができる。
【００５１】
図１３において、ユーザが通話して自分の声を相手に送話するときには、左右２つのマイク４００Ｌ，４００Ｒを使って自分の声を周囲の音とともに聴取し、左右のマイクアンプ・ＡＤＣ４０２Ｌ，４０２Ｒで処理されたマイク信号を、無線通信部４１２を介して相手側に送信する。この際、音響環境取得部（音響環境情報取得部）４３０は、例えば、ＧＰＳ経由の地図情報から相手のいる場所、建物を推定して残響の度合を求め、音響環境情報として取得する。無線通信部４１２は、音響環境取得部４３０が取得した音響環境情報を、マイク信号とともに相手側に送信する。マイク信号を受信した相手側では、マイク信号とともに受信した音響環境情報に基づいて、リバーブ種別データベース４０８からリバーブ種別を選択して、自身のマイク信号に対して左右のＤＳＰ４０４Ｌ，４０４Ｒ４０４でリバーブ処理を行い、相手側から受信したマイク信号を加算部４２８Ｒ，４２８Ｌによりリバーブ処理後の信号に畳み込む。
【００５２】
これにより、一方のユーザは、自身の声を含む周囲音については、相手側の音響環境情報に基づいて相手側の音響環境に合わせたリバーブ処理が行われ、一方、相手側の音声については、相手側の音響環境に応じた音声が加算部４２８Ｒ，４２８Ｌにて加算されるため、相手側と同じ音場環境（例えば、教会、ホールなど）にあたかも自身が居て通話しているような感覚を得ることができる。
【００５３】
なお、図１３において、無線通信部４１２とマイクアンプ・ＡＤＣ４０２Ｌ，４０２Ｒとの接続、無線通信部４１２と加算部４２８Ｌ，４２８Ｒとの接続は、無線又は有線により接続する。無線の場合、例えばＢｌｕｅｔｏｏｔｈ（登録商標）（ＬＥ）、ＮＦＭＩなどの短距離無線でも良く、短距離無線は中継を挟んでも良い。
【００５４】
一方、図１４に示すように、送話のための自分の声に関しては、ビームフォーミング（Ｂｅａｍ  Ｆｏｒｍｉｎｇ）技術を使うなど、声に特化してモノラルとして抽出しても良い。ビームフォーミングは、ビームフォーミング部（ＢＦ）４３２により行われる。この場合には、モノラル化して送話が可能になるため、図１３と比較して無線帯域を使わないというメリットがある。この場合は、送話を受け取った側でＬＲの再生デバイスから、そのまま音声をモノラル再生すると、頭内定位してしまい、自然感が失われてしまう。このため、送話信号を受け取った側では、例えば、ＨＲＴＦ部４３４によりＨＲＴＦ(頭部伝達関数)を畳み込んで、任意の位置に仮想音像定位させることで、音像を頭外に定位させるようにすること等も可能である。相手の音像位置は、あらかじめプリセットされていても良いし、ユーザが任意に設定できるようにしても良いし、映像と合わせても良い。これにより、例えば、ユーザのすぐ隣で通話する相手の音像がする、などの体験が可能となる。もちろん通話する相手が隣に存在するかのような映像表現を伴っても良い。
【００５５】
図１４に示す例では、仮想音像定位させた後の音声信号を加算器４２８Ｌ，４２８Ｒでマイク信号に加算し、リバーブ処理を行っている。これにより、仮想音像定位させた音声を通信相手の音響環境の音声に戻すことができる。
【００５６】
一方、図１５に示す例では、仮想音像定位させた後の音声信号を加算器４２８Ｌ，４２８Ｒでリバーブ処理後のマイク信号に加算している。この場合、仮想音像定位させた音声は通信相手の音響環境に対応するものではないが、所望の位置に音像定位させることで、通信相手の音声を明確に区別することが可能となる。
【００５７】
図１４、図１５では、２人による通話を想定していたが、これを多人数化することも考えられる。図１６及び図１７は、多人数による通話の例を示す模式図である。例えば、この場合は、通話開始者を環境ハンドルユーザとして、そのハンドルユーザが指定する音場を、全員に付与することで、各人（環境ハンドルユーザ、ユーザＡ〜Ｇ）が特定の音場環境の中で会話するような体験をもたらすことが可能である。ここで設定する音場は、必ずしも通話対象の誰かの音場でなくても良く、完全な人工的な仮想空間の音場でも良い。ここで、システムとしての臨場感向上のため、各人がアバターを設定し、ＨＭＤ等による映像補助表現を使っても良い。
【００５８】
多人数化の場合、図１７に示すように、スマートフォンなどの電子機器７００を用いて、無線通信部４３６による通信を行うこともできる。図１７に示す例では、環境ハンドルユーザが各ユーザＡ，Ｂ，Ｃ，・・・の電子機器７００の無線通信部４４０へ音響環境を設定するための音響環境情報を送る。音響環境情報を受信したユーザＡの電子機器７００は、音響環境情報に基づいて、リバーブ種別データベース４０８の中から最適な音響環境を設定し、左右のマイク４００で集音したマイク信号に対してリバーブ処理部４０４Ｌ，４０４Ｒによりリバーブ処理を行う。
【００５９】
一方、ユーザＡ，Ｂ，Ｃ，・・・の電子機器７００は、無線通信部４３６を介して互いに通信を行う。ユーザＡの電子機器７００の無線通信部４３６が受信した他のユーザの音声は、音響環境伝達関数（ＨＲＴＦ  Ｌ,Ｒ）がフィルタ（音響環境調整部）４３８によって畳み込まれる。ＨＲＴＦを畳み込むことで音源４０６の音源情報を仮想的な空間に配置することができ、あたかも現実と同空間にその音源情報が存在するように音を空間配置することができる。音響環境伝達関数Ｌ,Ｒには、主に反射音、残響の情報が含まれており、理想的には、実際の再生環境を想定して、または実際の再生環境に近い環境を想定して、適切な２点間(例えば仮想スピーカの位置と耳の位置との２点間)の伝達関数(インパルス応答)などを使うことが望ましい。なお、音響環境伝達関数Ｌ,ＲのＬとＲは、同じ環境といえども、異なる２点間同士のものを使うなど、異なる関数とすることで、より音響環境のリアリティが増すものとなる。
【００６０】
例えば、ユーザＡ，Ｂ，Ｃ，・・・が室内で会議を行っている場合を想定して、音響環境伝達関数Ｌ,Ｒをフィルタ４３８によって畳み込むことで、ユーザＡ，Ｂ，Ｃ，・・・が遠隔地にいる場合であっても、あたかも一室で会議をしているような音声を聴くことができる。
【００６１】
他のユーザＢ，Ｃ，・・・の音声は、加算器４４２により加算され、更にリバーブ処理後の周囲音が加算されて、アンプ４４４により増幅されて、音響出力装置１００からユーザＡの耳に出力される。他のユーザＢ，Ｃ，・・・の電子機器７００においても、同様の処理が行われる。
【００６２】
図１７に示す例によれば、各ユーザＡ，Ｂ，Ｃ，・・・は、フィルタ４３８によって設定された音響環境で会話することができ、更に、自分の声や自身の周辺環境の音は、環境ハンドルユーザが設定した特定の音響環境の音として聴くことができる。
【００６３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００６５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  周囲の音響による音声信号を取得する音響取得部と、
前記音声信号に対し、リバーブ処理を行うリバーブ処理部と、
前記リバーブ処理が行われた前記音声信号による音響を聴取者の耳の近傍に出力する音響出力部と、
を備える、音響出力装置。
（２）  前記リバーブ処理部は、インパルス応答の直接音成分を除いて前記リバーブ処理を行う、前記（１）に記載の音響出力装置。
（３）  前記音響出力部は、一端が聴取者の外耳道入口付近に配置される中空構造の音導部の他端に音響を出力する、前記（１）又は（２）に記載の音響出力装置。
（４）  前記音響出力部は、前記聴取者の耳を外部から密閉した状態で音響を出力する、前記（１）又は（２）に記載の音響出力装置。
（５）  前記音響出力部は、聴取者の左右の耳のそれぞれの側で前記音声信号を取得し、
前記リバーブ処理部は、聴取者の左右の耳の一方の側で取得された前記音声信号をリバーブ処理する第１のリバーブ処理部と、聴取者の左右の耳の他方の側で取得された前記音声信号をリバーブ処理する第２のリバーブ処理部と、
前記第１のリバーブ処理部によりリバーブ処理された前記音声信号と、前記第２のリバーブ処理部によりリバーブ処理された前記音声信号を重畳する重畳部を備え、
前記音響出力部は、前記重畳部により重畳された前記音声信号による音響を出力する、前記（１）〜（４）のいずれかに記載の音響出力装置。
（６）  前記音響出力部は、コンテンツの音響を視聴者の耳に出力し、
前記リバーブ処理部は、前記コンテンツの音響環境に合わせて前記リバーブ処理を行う、前記（１）〜（５）のいずれかに記載の音響出力装置。
（７）  前記リバーブ処理部は、前記コンテンツの音響環境に基づいて選択されたリバーブ種別に基づいて前記リバーブ処理を行う、前記（６）に記載の音響出力装置。
（８）  前記コンテンツの音声信号を前記リバーブ処理後の前記音声信号に重畳する重畳部を備える、前記（６）に記載の音響出力装置。
（９）  通信相手の周囲の音響環境を表す音響環境情報を取得する音響環境情報取得部を備え、
前記リバーブ処理部は、音響環境情報に基づいて前記リバーブ処理を行う、前記（１）に記載の音響出力装置。
（１０）  通信相手から受信した音声信号を前記リバーブ処理後の前記音声信号に重畳する重畳部を備える、前記（９）に記載の音響出力装置。
（１１）  通信相手から受信した音声信号の音像位置を調整する音響環境調整部と、
前記音響取得部が取得した前記音声信号に対して、前記音響環境調整部により音像位置が調整された信号を重畳する重畳部と、を備え、
前記リバーブ処理部は、前記重畳部により重畳された音声信号をリバーブ処理する、前記（９）に記載の音響出力装置。
（１２）  通信相手から受信したモノラル音声信号の音像位置を調整する音響環境調整部と、
前記音響環境調整部により音像位置が調整された信号を前記リバーブ処理後の前記音声信号に重畳する重畳部を備える、前記（９）に記載の音響出力装置。
（１３）  周囲の音響による音声信号を取得することと、
前記音声信号に対し、リバーブ処理を行うことと、
前記リバーブ処理が行われた前記音声信号による音響を聴取者の耳の近傍に出力することと、
を備える、音響出力方法。
（１４）  周囲の音響による音声信号を取得する手段と、
前記音声信号に対し、リバーブ処理を行う手段と、
前記リバーブ処理が行われた前記音声信号による音響を聴取者の耳の近傍に出力する手段と、
としてコンピュータを機能させるためのプログラム。
（１５）  周囲の音響環境を表す音響環境情報を取得する音響取得部と、通信相手である第２の音響出力装置の周囲の音響環境を表す音響環境情報を前記第２の音響出力装置から取得する音響環境情報取得部と、前記音響環境情報に応じて、前記音響取得部で取得された音声信号に対してリバーブ処理を行うリバーブ処理部と、前記リバーブ処理が行われた音声信号による音響を聴取者の耳に出力する音響出力部と、を備える第１の音響出力装置と、
周囲の音響環境を表す音響環境情報を取得する音響取得部と、通信相手である前記第１の音響出力装置の周囲の音響環境を表す音響環境情報を取得する音響環境情報取得部と、前記音響環境情報に応じて、前記音響取得部で取得された音声信号に対してリバーブ処理を行うリバーブ処理部と、前記リバーブ処理が行われた音声信号による音響を聴取者の耳に出力する音響出力部と、を備える前記第２の音響出力装置と、
を備える、音響システム。
【符号の説明】
【００６６】
１００    音響出力装置
１１０    音響発生部
１２０    音導部
４００    マイク
４０４    ＤＳＰ
４１４，４２６，４２８Ｌ，４２８Ｒ
４３０    音響環境取得部
４３８    フィルタ
【図１】
2017134973.tif 000003
【図２】
2017134973.tif 000004
【図３】
2017134973.tif 000005
【図４】
2017134973.tif 000006
【図５】
2017134973.tif 000007
【図６】
2017134973.tif 000008
【図７】
2017134973.tif 000009
【図８】
2017134973.tif 000010
【図９】
2017134973.tif 000011
【図１０】
2017134973.tif 000012
【図１１】
2017134973.tif 000013
【図１２】
2017134973.tif 000014
【図１３】
2017134973.tif 000015
【図１４】
2017134973.tif 000016
【図１５】
2017134973.tif 000017
【図１６】
2017134973.tif 000018
【図１７】
2017134973.tif 000019
【国際調査報告】
2017134973.tif 000020
2017134973.tif 000021
2017134973.tif 000022