(57)【特許請求の範囲】
【請求項１】
生体情報および環境情報を取得する情報取得部と、
前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する状態判定部と、
オーディオ信号を入力する入力部と、
前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう信号処理部と、
を備えた信号処理装置であって、
前記信号処理は、音場支援における空間の大きさの変更、音場支援における反射音のレベルの変更、音場支援における模擬音場環境の切り替え、周波数特性の調整における高域カットの有無の変更、または周波数特性の調整における高域カットの遮断周波数の変更、のうち少なくともいずれかを含み、
前記信号処理のパラメータを補正する補正操作を受け付ける受付部を備え、
前記信号処理部は、前記補正操作に基づいて、前記信号処理の内容を補正し、
前記補正操作における第１補正量を記憶する記憶部を備え、
前記信号処理部は、前記記憶部に記憶されている前記第１補正量に所定の係数を乗算した第２補正量で、前記信号処理の内容を補正する、
信号処理装置。
【請求項２】
前記状態判定部は、前記生体情報および前記環境情報のそれぞれの正負を判定し、
前記信号処理部は、前記生体情報および前記環境情報の正負の組み合わせに基づいて前記信号処理を行なう、
請求項１に記載の信号処理装置。
【請求項３】
前記受付部は、次回の信号処理に前記補正操作の内容を反映させるフィードバック操作を受け付け、
前記信号処理部は、前記フィードバック操作を受け付けたか否かを判断し、前記フィードバック操作を受け付けたと判断した場合に、前記記憶部に記憶されている前記第１補正量に所定の係数を乗算した第２補正量で、前記信号処理の内容を補正する、
請求項１または請求項２に記載の信号処理装置。
【請求項４】
前記信号処理部は、位置情報に基づいて前記音場支援における反射音を付与する処理を行なう、
請求項１乃至請求項３のいずれかに記載の信号処理装置。
【請求項５】
前記信号処理部は、前記状態判定部の判定結果と、前記信号処理の内容と、の対応を学習し、学習結果に基づいて、前記信号処理を行なう、
請求項１乃至請求項４のいずれかに記載の信号処理装置。
【請求項６】
音場環境を測定する音場環境測定部を備え、
前記信号処理部は、測定した音場環境に基づいて前記音場支援を行なう、
請求項１乃至請求項５のいずれかに記載の信号処理装置。
【請求項７】
生体情報および環境情報を取得し、
取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定し、
オーディオ信号を入力し、
前記現在の状態の判定結果に応じて、入力した前記オーディオ信号に信号処理を行なう、
信号処理方法であって、
前記信号処理は、音場支援における空間の大きさの変更、音場支援における反射音のレベルの変更、音場支援における模擬音場環境の切り替え、周波数特性の調整における高域カットの有無の変更、または周波数特性の調整における高域カットの遮断周波数の変更を含み、
前記信号処理方法は、前記信号処理のパラメータを補正する補正操作を受け付け、
前記補正操作における第１補正量を記憶し、
前記信号処理は、前記補正操作に基づいて、前記信号処理の内容を補正することを含み、
記憶した前記第１補正量に所定の係数を乗算した第２補正量で、前記信号処理の内容を補正することを含む、
信号処理方法。
【請求項８】
前記状態の判定においては、前記生体情報および前記環境情報のそれぞれの正負を判定し、
前記信号処理は、前記生体情報および前記環境情報の正負の組み合わせに基づいて行なわれる、
請求項７に記載の信号処理方法。
【請求項９】
次回の信号処理に前記補正操作の内容を反映させるフィードバック操作を受け付け、
前記フィードバック操作を受け付けたか否かを判断し、前記フィードバック操作を受け付けたと判断した場合に、記憶されている前記第１補正量に所定の係数を乗算した第２補正量で、前記信号処理の内容を補正する、
請求項７または請求項８に記載の信号処理方法。
【請求項１０】
前記信号処理は、位置情報に基づいて前記音場支援における反射音を付与する処理を含む、
請求項７乃至請求項９のいずれかに記載の信号処理方法。
【請求項１１】
前記現在の状態の判定結果と、前記信号処理の内容と、の対応を学習し、
学習結果に基づいて、前記信号処理の内容を補正する、
請求項７乃至請求項１０のいずれかに記載の信号処理方法。
【請求項１２】
音場環境を測定し、
前記信号処理において、測定した音場環境に基づいて前記音場支援を行なう、
請求項７乃至請求項１１のいずれかに記載の信号処理方法。
【請求項１３】
情報処理装置に、
生体情報および環境情報を取得する情報取得部と、
前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する状態判定部と、
オーディオ信号を入力する入力部と、
前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう信号処理部と、
を実現させる、プログラムであって、
前記信号処理は、音場支援における空間の大きさの変更、音場支援における反射音のレベルの変更、音場支援における模擬音場環境の切り替え、周波数特性の調整における高域カットの有無の変更、または周波数特性の調整における高域カットの遮断周波数の変更を含み、
前記プログラムは、前記情報処理装置に、前記信号処理のパラメータを補正する補正操作を受け付けさせ、
前記補正操作における第１補正量を記憶させ、
前記信号処理は、前記補正操作に基づいて、前記信号処理の内容を補正することを含み、
前記信号処理は、記憶した前記第１補正量に所定の係数を乗算した第２補正量で、前記信号処理の内容を補正することを含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、オーディオ信号に種々の信号処理を行なう信号処理装置、信号処理方法およびプログラムに関するものである。
【背景技術】
【０００２】
特許文献１には、ユーザに関する情報をセンサで検出して、状況に応じた音楽を選択し再生を開始する構成が開示されている。【０００３】
また、特許文献２にも、ユーザの移動速度をセンサで検出して、再生音楽の速度を変更する構成が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１４−５１３６２８号公報
【特許文献２】特開２００６−５６３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザは、自身の状態に応じて、信号処理の内容（例えば、音場支援の有無、音場支援の強さ、または周波数特性の調整等）を変更したい場合がある。【０００６】
そこで、本発明は、現在の状態に適した信号処理を行なうことができる信号処理装置、信号処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明の信号処理装置は、情報取得部と、状態判定部と、入力部と、信号処理部と、を備えている。情報取得部は、生体情報および環境情報を取得する。状態判定部は、前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する。入力部は、オーディオ信号を入力する。信号処理部は、前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう。
【発明の効果】
【０００８】
本発明の信号処理装置は、現在の状態に適した信号処理を行なうことができる。
【図面の簡単な説明】
【０００９】
【図１】オーディオ信号処理システムを示す概略図である。
【図２】信号処理装置の構成を示すブロック図である。
【図３】信号処理装置の動作を示すフローチャートである。
【図４】オーディオ信号処理システムを示す概略図である。
【図５】信号処理部１２の機能的構成を示すブロック図である。
【図６】現在の状態と信号処理との関係を示す図である。
【図７】応用例１に係る信号処理装置の構成を示すブロック図である。
【図８】応用例１に係る信号処理装置の動作を示すフローチャートである。
【図９】現在の状態と信号処理との関係を示す図である。
【図１０】応用例２に係る信号処理装置の動作を示すフローチャートである。
【図１１】現在の状態と信号処理との関係を示す図である。
【図１２】応用例３に係る信号処理装置の構成を示すブロック図である。
【図１３】信号処理装置の動作を示すフローチャートである。
【図１４】応用例４に係る信号処理装置の構成を示すブロック図である。
【図１５】信号処理装置１Ｅの構成を示すブロック図である。
【図１６】ＧＵＩの一例を示す図である。
【発明を実施するための形態】
【００１０】
図１は、オーディオ信号処理システムを示す概略図（上面図）である。図２は、信号処理装置１の構成を示すブロック図である。図３は、信号処理装置１の動作を示すフローチャートである。
【００１１】
図１に示すように、オーディオ信号処理システムは、信号処理装置１と、ヘッドフォンユニット２Ｌと、ヘッドフォンユニット２Ｒと、を備えている。
【００１２】
信号処理装置１は、入力インタフェース（Ｉ／Ｆ）１１、信号処理部１２、出力インタフェース（Ｉ／Ｆ）１３、制御部１４、および記憶部１５を備えている。信号処理装置１は、ヘッドフォンの専用ユニット（ポータブルアンプまたはポータブル音楽再生装置）であってもよいが、一般的な情報処理装置（例えばスマートフォン）であってもよい。信号処理装置１における各構成は、ハードウェアであってもよいが、制御部１４の機能により構成されてもよい。制御部１４は、ＩＣ、ＣＰＵ、ＭＰＵ、ＬＳＩ、またはマイクロコントローラ、等と称されるハードウェアである。制御部１４は、記憶部１５に記憶されているプログラムを実行することにより、各構成をソフトウェアで実現することが可能である。記憶部１５は、プログラムを記憶するメモリ（記憶媒体）である。記憶部１５は、ＨＤＤ、ＳＳＤ、フラッシュメモリ、またはＥＥＰＲＯＭ、等と称されるハードウェアである。
【００１３】
入力Ｉ／Ｆ１１は、機能的に、入力部１０１および情報取得部１０２を備えている。入力部１０１は、オーディオプレーヤ等の他装置、または自装置の記憶部１５から、オーディオ信号を入力する。入力されたオーディオ信号は、信号処理部１２に入力される。入力されるオーディオ信号は、アナログ信号であってもデジタル信号であってもよい。また、入力部１０１は、コンテンツデータを入力してもよい。この場合、信号処理部１２がコンテンツデータをデコードして、オーディオ信号を生成する。
【００１４】
信号処理部１２は、例えばＤＳＰ（Digital Signal Processor）からなる。信号処理部１２は、入力したオーディオ信号に種々の信号処理を施す。なお、信号処理部１２は、制御部１４が実行するプログラムにより実現することも可能である。
【００１５】
情報取得部１０２は、センサ、またはセンサを備えた他装置から、各種情報を取得する（ｓ１１）。各種情報は、生体情報および環境情報が含まれる。
【００１６】
生体情報は、例えば心拍数、体温、または移動状態（加速度）等のユーザの生体に関する情報である。心拍数は、心拍センサまたはカメラによる血管の画像変化により取得される。体温は、温度センサにより取得される。加速度は、加速度センサにより取得される。
【００１７】
環境情報は、例えば天気、気温、湿度、明るさ、風の強さ、匂い、位置、または周囲の画像等である。天気は、気象情報サーバから取得される。気温は、温度センサにより取得される。湿度は、湿度センサにより取得される。明るさは、照度センサにより取得される。風の強さは、風圧センサまたは気象情報サーバから取得される。匂いは、匂いセンサにより取得される。位置は、ＧＰＳ等の位置情報取得センサにより取得される。周囲の画像は、カメラにより取得される。
【００１８】
生体情報および環境情報は、状態判定部１４１に入力される。状態判定部１４１は、制御部１４が実行するプログラムによって実現する機能である。状態判定部１４１は、入力された生体情報および環境情報に基づいて、現在の状態を判定する（ｓ１２）。現在の状態とは、ユーザ自身の状態を示す。例えば、状態判定部１４１は、入力された生体情報の心拍数が高く、環境情報として天気が晴れである情報を入力した場合には、ユーザ自身の状態は、強いポジティブ状態（正の状態）であると判定する。
【００１９】
そして、制御部１４は、状態判定部１４１の判定結果に応じて、信号処理部１２における信号処理の内容を決定する（ｓ１３）。信号処理部１２は、状態判定部１４１の判定結果に応じて、入力されたオーディオ信号に信号処理を行なう（ｓ１４）。
【００２０】
信号処理部１２は、音源の定位処理、音場支援処理、ノイズ除去処理、または周波数特性の調整処理等を含む、各種の信号処理を行なう。音源の定位処理は、例えば、所定の音源位置に音像が定位するように、頭部伝達関数（ＨＲＴＦ）を付与する処理を行う。また、信号処理部１２は、不図示の遅延器およびゲイン制御部で、遅延およびゲインの制御を行うことで、定位処理を行なってもよい。信号処理部１２は、ヘッドフォンユニット２Ｌおよびヘッドフォンユニット２Ｒに供給するそれぞれのオーディオ信号の音量バランスを調整することで、音源の方向感を制御することができる。例えば、ヘッドフォンユニット２Ｌおよびヘッドフォンユニット２Ｒに全く同じ音が入力されると、ユーザは、頭内に音源が定位する。同じ音であっても、ヘッドフォンユニット２Ｌ側の音が大きい場合には、ユーザは、自身の左側に音源を認識する。また、同じ音源の音でも、スピーカの位置が遠いほど、遅延が生じ、かつレベルが低下する。したがって、信号処理部１２は、オーディオ信号に遅延を付与して、レベルを低下させることで、仮想的に遠い位置のスピーカから音が発生したように聴取者に知覚させることもできる。この様にして、信号処理部１２は、ヘッドフォンユニット２Ｌおよびヘッドフォンユニット２Ｒに供給するそれぞれのオーディオ信号における時間差およびレベル差を制御することで、聴取者の周囲の所定の位置に、音源を仮想定位させることができる。
【００２１】
また、ＨＲＴＦは、ある位置に設置した仮想スピーカからそれぞれ左右の耳に至る音の大きさ、到達時間、および周波数特性の差を表現したインパルス応答である。信号処理部１２は、例えば、図４の上面図に示すように、右前方に位置する仮想スピーカＶＲ１および左前方に位置する仮想スピーカＶＬ１に定位させるＨＲＴＦを、オーディオ信号に付与する。これにより、ユーザは、仮想スピーカＶＲ１および仮想スピーカＶＬ１の位置における音源から、コンテンツに係る音が出力されている様に知覚することができる。
【００２２】
図５は、信号処理部１２の機能的構成を示すブロック図である。信号処理部１２は、フィルタ１２１Ｌ、フィルタ１２１Ｒ、フィルタ１２２Ｌ、フィルタ１２２Ｒ、加算器１２３Ｌ、および加算器１２３Ｒを備えている。
【００２３】
フィルタ１２１Ｌは、仮想スピーカＶＬ１から左耳に至る経路のＨＲＴＦを、左チャンネル（Ｌｃｈ）のオーディオ信号に付与する。フィルタ１２１Ｒは、仮想スピーカＶＬ１から右耳に至る経路のＨＲＴＦを、左チャンネル（Ｌ  ｃｈ）のオーディオ信号に付与する。
【００２４】
フィルタ１２２Ｌは、仮想スピーカＶＲ１から左耳に至る経路のＨＲＴＦを、右チャンネル（Ｌ  ｃｈ）のオーディオ信号に付与する。フィルタ１２２Ｒは、仮想スピーカＶＲ１から右耳に至る経路のＨＲＴＦを、右チャンネル（Ｒ  ｃｈ）のオーディオ信号に付与する。
【００２５】
加算器１２３Ｌは、フィルタ１２１Ｌおよびフィルタ１２２Ｌの出力信号を合成する。加算器１２３Ｒは、フィルタ１２１Ｒおよびフィルタ１２２Ｒの出力信号を合成する。
【００２６】
加算器１２３Ｌの出力信号は、出力部１３からヘッドフォンユニット２Ｌに出力される。これにより、ヘッドフォンユニット２Ｌには、Ｌチャンネルのオーディオ信号が入力される。加算器１２３Ｒの出力信号は、出力部１３からヘッドフォンユニット２Ｒに出力される。これにより、ヘッドフォンユニット２Ｒには、Ｒチャンネルのオーディオ信号が入力される。
【００２７】
これにより、ユーザは、仮想スピーカＶＬ１および仮想スピーカＶＲ１の位置における音源から、コンテンツに係る音が出力されている様に知覚することができる。
【００２８】
一方、音場支援処理は、所定の音場環境（コンサートホール、ラウンジ、またはスタジオ等）における間接音（反射音および残響音）を模擬した擬似間接音を付与する処理である。ヘッドフォンで音場支援を行なうためには、例えば、各反射音に対応する複数の音源位置に音像が定位するように、頭部伝達関数（ＨＲＴＦ）を付与する処理を行う。
【００２９】
信号処理部１２は、聴取者の周囲における複数の位置（図中のＶＲＩ）に、音源を定位させる。信号処理部１２は、入力されたオーディオ信号に対して、所定の音場環境における反射音（インパルス応答）に対応する、複数の音源位置ＶＲＩから左耳および右耳に至る経路のＨＲＴＦをそれぞれ付与する。これにより、信号処理部１２は、図４に示すように、ユーザの周囲に、所定の音場空間（Ｒｏｏｍ）を形成させる。この場合、信号処理部１２は、Ｌチャンネルオーディオ信号およびＲチャンネルオーディオ信号を合成してモノラル信号にする。信号処理部１２は、当該モノラル信号にＨＲＴＦを付与する。フィルタ１２１Ｌ（またはフィルタ１２２Ｌ）は、Ｒｏｏｍで発生する各間接音に対応する複数の音源位置から左耳に至る経路のＨＲＴＦを、モノラル信号に付与する。また、フィルタ１２１Ｒ（またはフィルタ１２２Ｒ）は、該Ｒｏｏｍで発生する各間接音に対応する複数の音源位置から右耳に至る経路のＨＲＴＦを、モノラル信号に付与する。これにより、信号処理部１２は、ユーザの周囲に所定の音場環境を提供する、音場支援を行なうことができる。
【００３０】
そして、上述の様に、制御部１４は、状態判定部１４１の判定結果に応じて、信号処理部１２における信号処理の内容を決定する（ｓ１３）。信号処理の内容とは、例えば上記の音場支援における空間の大きさ（Ｒｏｏｍ  Ｓｉｚｅ）、音場支援における反射音のレベルである。また、周波数特性の調整における高域のカット（ＬＰＦ）の有無、あるいは該ＬＰＦの遮断周波数の変更等も、信号処理の内容に含まれる。あるいは、模擬する音場環境の切り替えも、信号処理の内容に含まれる。模擬する音場環境を切り替えると、Ｒｏｏｍ  Ｓｉｚｅおよび反射音のレベルも変更される。また、音源の定位処理の変更も、信号処理の内容に含まれる。例えば、制御部１４は、定位処理をせずに頭内定位させる場合と、図４に示したようなユーザの前方の所定位置に定位させる場合と、さらに遠方の位置に定位させる場合と、を切り替える。
【００３１】
Ｒｏｏｍ  Ｓｉｚｅは、反射音の位置または残響音の長さ等に影響する。Ｒｏｏｍ  Ｓｉｚｅは、大きいほど反射音の位置が遠くなる、または残響音が長くなり、大きい空間の音場環境を模擬した状態となる。Ｒｏｏｍ  Ｓｉｚｅは、小さいほど反射音の位置が近くなる、または残響音が短くなり、小さい空間の音場環境を模擬した状態となる。反射音のレベルは、高いほど響きが強くなるため、派手な音場環境を表現することになる。反射音のレベルは、低いほど響きが弱くなるため、落ち着いた音場環境を表現することになる。同様に、ＬＰＦにより高域がカットされると、落ち着いた音場環境を表現することになる。ＬＰＦの遮断周波数は、低いほどカットされる高域成分が増えるため、より落ち着いた音場環境を表現することになる。
【００３２】
図６は、状態判定部１４１により判定された現在の状態と、信号処理と、の関係を示す図である。
【００３３】
図６の例に示すグラフの横軸は、生体情報に対応し、縦軸は、環境情報に対応する。状態判定部１４１は、生体情報および環境情報が、それぞれどの領域に属するかによって、現在の状態を判定する。状態判定部１４１は、例えば、心拍数が所定値以上の場合に、生体情報がポジティブ（正）であり、所定値未満の場合に生体情報がネガティブ（負）である、と判定する。また、状態判定部１４１は、天気が晴れである場合に、環境情報が正であり、曇りまたは雨である場合に、環境情報が負であると判定する。
【００３４】
あるいは、状態判定部１４１は、加速度センサから得られた加速度が所定値以上の場合に、生体情報が正であり、所定値未満の場合に生体情報が負である、と判定してもよい。また、状態判定部１４１は、気温が所定値以上である場合に、環境情報が正であり、所定値未満である場合に、環境情報が負であると判定してもよい。また、状態判定部１４１は、明るさ（照度）が所定値以上である場合に、環境情報が正であり、所定値未満である場合に、環境情報が負であると判定してもよい。また、状態判定部１４１は、湿度が所定値以上である場合に、環境情報が負であり、所定値未満である場合に、環境情報が正であると判定してもよい。
【００３５】
さらに、状態判定部１４１は、複数の生体情報（心拍数および加速度）を用いて、生体情報が正であるか、負であるかを判定してもよい。また、状態判定部１４１は、複数の環境情報（天気、気温、および明るさ）を用いて、環境情報が正であるか、負であるかを判定してもよい。なお、状態判定部１４１は、複数の生体情報または環境情報を用いる場合、各情報の寄与率を設定してもよい。例えば、天気の寄与率が４０％であり、気温の寄与率が３０％であり、明るさの寄与率が２０％であり、湿度の寄与率が１０％である場合に、明るさおよび湿度が正であったとしても、天気および気温が負である場合には、環境情報は負であると判定される。
【００３６】
制御部１４は、状態判定部１４１が判定した現在の状態（生体情報および環境情報がそれぞれどの領域に属するか）に基づいて、信号処理の内容を決定する。例えば、生体情報および環境情報がいずれも正である場合には、制御部１４は、Ｒｏｏｍ  Ｓｉｚｅを小さく、反射音レベルを小さく、かつＬＰＦにより高域をカットする内容を決定する。逆に、生体情報および環境情報がいずれも負である場合には、制御部１４は、Ｒｏｏｍ  Ｓｉｚｅを大きく、反射音レベルを大きく、かつＬＰＦをオフする内容を決定する。生体情報が負であり、環境情報が正である場合には、制御部１４は、Ｒｏｏｍ  Ｓｉｚｅを大きく、反射音レベルを中程度、かつＬＰＦをオフする内容を決定する。生体情報が正であり、環境情報が負である場合には、制御部１４は、Ｒｏｏｍ  Ｓｉｚｅを中程度、反射音レベルを中程度、かつＬＰＦにより高域をカットする内容を決定する。この例では、制御部１４は、生体情報の寄与率を大きくしている。すなわち、生体情報が正である場合、環境情報が負であっても、相対的に落ち着いた音場環境を表現する内容とする。
【００３７】
ただし、制御部１４は、環境情報だけが負であり、生体情報が正である場合に、相対的に落ち着いた音場環境を表現する内容としてもよい。また、この例では、制御部１４は、現在の状態が正である場合に相対的に落ち着いた音場環境を表現する内容として、ユーザの気持ちを落ち着かせる効果を生じさせ、現在の状態が負である場合に派手な音場環境を表現する内容として、ユーザの気持ちを持ち上げる効果を生じさせている。しかし、逆に、現在の状態が負である場合に相対的に落ち着いた音場環境を表現する内容とし、現在の状態が正である場合に、派手な音場環境を表現する内容としてもよい。
【００３８】
あるいは、生体情報および環境情報は、数値化されてもよい。この場合、制御部１４は、生体情報および環境情報の数値に応じて、音場支援の強さを変更する。例えば、制御部１４は、心拍数が高いほどＲｏｏｍ  Ｓｉｚｅを大きくしたり、気温が高いほど反射音のレベルを高くする。
【００３９】
また、制御部１４は、状態判定部１４１が判定した現在の状態（生体情報および環境情報がそれぞれどの領域に属するか）に基づいて、音源の定位処理の変更を行なってもよい。例えば、制御部１４は、生体情報および環境情報がいずれも負である場合には、ユーザがストレスを感じている状態であるとして、音源を遠方の位置に定位させて、ユーザの気持ちを落ち着かせる効果を生じさる。逆に、生体情報および環境情報がいずれも正である場合には、ユーザがコンテンツの音に集中し易いように、ＨＲＴＦの処理をせずに音源を頭内に定位させる。また、生体情報または環境情報がいずれか一方が正であり、他方が負である場合には、図４に示したように、ユーザの前方に音源を定位させる。
【００４０】
以上のようにして、信号処理装置１は、現在のユーザの状態に適した信号処理を行なう。特に、本実施形態の信号処理装置１は、ユーザの状態として、心拍数等の生体情報だけではなく、天気または気温等の周囲の環境情報も考慮して信号処理の内容を決定するため、従来よりも高精度にユーザの状態に応じた信号処理を行なうことができる。
【００４１】
次に、図７は、応用例１に係る信号処理装置１Ａの構成を示すブロック図である。図７において、図２に示した信号処理装置１のブロック図と同じ構成については同じ符号を付し、説明を省略する。図８は、応用例１に係る信号処理装置１Ａの動作を示すフローチャートである。図８において、図３のフローチャートにおける動作と同じ動作については同じ符号を付し、説明を省略する。
【００４２】
この例では、信号処理装置１Ａは、ユーザＩ／Ｆ１６を備えている。ユーザＩ／Ｆ１６は、例えばタッチパネルを備えた表示装置として実現される。図９は、ユーザＩ／Ｆ１６を介して、信号処理のパラメータを補正する補正操作を受け付ける例を示した図である。ユーザＩ／Ｆ１６は、信号処理のパラメータを補正する補正操作を受け付ける受付部に相当する。図９の例では、補正操作を受け付ける態様として、フェーダが表示されている。ユーザは、フェーダを上下させることで、信号処理のパラメータの補正を行なう。制御部１４は、補正操作を受け付けたか否かを確認し（ｓ２１）、補正操作を受け付けた場合には、信号処理のパラメータを補正する。
【００４３】
例えば、図９では、生体情報が正であり、環境情報が負であるため、制御部１４は、Ｒｏｏｍ  Ｓｉｚｅを中程度、反射音レベルを中程度、かつＬＰＦにより高域をカットする内容を決定している（ｓ１３）。しかし、ユーザＩ／Ｆ１６を介して、ユーザから音場支援を強くする補正を受け付けた場合（ｓ２１のＹｅｓ）、制御部１４は、受け付けた補正操作に応じて、信号処理のパラメータを補正する（ｓ２２）。例えば、図９では、ユーザがフェーダを上に移動させ、信号処理を強くする補正操作を行なっている。この場合、制御部１４は、より派手な音場環境を表現するように、信号処理のパラメータを補正する。例えば、制御部１４は、Ｒｏｏｍ  Ｓｉｚｅを大きく、反射音レベルを大きく、かつＬＰＦをオフする内容に補正している。つまり、図９の例では、制御部１４は、状態判定部１４１で判定された現在の状態よりも、より負の状態に対応する音場環境を表現する。図９のグラフでは、生体情報および環境情報ともに負の側に補正される場合に相当する。また、仮に、ユーザがフェーダを下に移動させ、信号処理を弱くする補正操作を行なった場合、制御部１４は、状態判定部１４１で判定された現在の状態よりも、より正の状態に対応する音場環境を表現する。例えば、制御部１４は、Ｒｏｏｍ  Ｓｉｚｅを小さく、反射音レベルを小さく、かつＬＰＦをオンする内容に補正する。
【００４４】
次に、図１０は、応用例２に係る信号処理装置１Ｂの動作を示すフローチャートである。応用例２に係る信号処理装置１Ｂのハードウェアは、図７に示した信号処理装置１Ａと同じ構成である。また、図１０において、図８のフローチャートにおける動作と同じ動作については同じ符号を付し、説明を省略する。図１１は、応用例２における現在の状態と信号処理との関係を示す図である。図１１に示すように、応用例２に係る信号処理装置１Ｂでは、ユーザＩ／Ｆ１６（この例では例えばタッチパネルを備えた表示装置）に、ＦＢ（フィードバック）ボタンと、ＨＯＬＤ（ホールド）ボタンと、が表示されている。ユーザがＨＯＬＤボタンをタッチすると、制御部１４は、ユーザの状態が変化しても、信号処理の内容を変更せずに、固定する。
【００４５】
信号処理装置１Ｂは、ユーザから補正操作を受け付けた後に、ＦＢ（フィードバック）操作を受け付けたか否かをさらに確認する（ｓ２３）。ユーザが、ＦＢボタンをタッチすると、制御部１４は、ユーザから受け付けた補正操作の補正量を記憶部１５に記憶する（ｓ２４）。例えば、図１１に示すように、現在の状態に応じて決定した音場効果の強さが「−４」であった場合において、ユーザが音場支援の効果を「＋８」まで強く補正した場合、制御部１４は、補正量を「＋１２」として、記憶部１５に記憶する。そして、次回、現在の状態に応じて信号処理の内容を決定した時、制御部１４は、ＦＢボタンがタッチされたか否かを判断し（ｓ２５）、ＦＢボタンがタッチされた場合には、記憶部１５に記憶された補正量（第１補正量）を読み出す（ｓ２６）。制御部１４は、読み出した第１補正量で、今回の補正量（第２補正量）を算出する（ｓ２７）。例えば、上述のように、第１補正量として「＋１２」が記憶されていた場合に、制御部１４は、読み出した第１補正量にさらに所定の係数（例えば０．８）を乗算して、「＋１０」の第２補正量を算出する。そして、制御部１４は、算出した第２補正量を用いて、信号処理のパラメータの補正を行なう（ｓ２８）。例えば、現在の状態により決定された音場効果の強さが「−４」であった場合には、算出した第２補正量「＋１０」を用いて、音場効果の強さとして「＋６」を決定する。
【００４６】
以上の構成により、信号処理装置１Ｂは、ユーザの状態を反映した信号処理の内容を決定するとともに、ユーザの補正操作の内容も反映させる。したがって、信号処理装置１Ｂは、よりユーザの意図に応じた信号処理を行なうことができる。
【００４７】
次に、図１２は、応用例３に係る信号処理装置１Ｃの構成を示すブロック図である。図７の信号処理装置１Ｂと同じ構成については、同じ符号を付し、説明を省略する。図１３は、信号処理装置１Ｃの動作を示すフローチャートである。
【００４８】
応用例３に係る信号処理装置１Ｃは、機能的に選出部１４２を備えている。選出部１４２は、制御部１４が実行するプログラムにより実現される。
【００４９】
選出部１４２は、再生対象のコンテンツを選出する。すなわち、上記の例では、再生対象のコンテンツは、ユーザが手動で指定していたが、応用例３においては、信号処理の内容が決定された後に（ｓ１３）、決定された信号処理の内容に適したコンテンツが自動選出される（ｓ３１）。例えば、制御部１４が、ユーザが落ち着いた状態であると判断し、落ち着いた音場効果を決定した場合には、選出部１４２は、ジャズまたはクラシックのジャンル等の落ち着いたジャンルのコンテンツを選出する。また、選出部１４２は、制御部１４が落ち着いた音場効果を決定した場合には、演奏テンポが低い、または音の情報量（楽器の数の多さ等）が少ないコンテンツを選出してもよい。
【００５０】
また、選出部１４２は、強い音場効果が決定された場合には、ロック等のジャンルのコンテンツを選択する。また、選出部１４２は、強い音場効果が決定された場合には、演奏テンポが高く、音の情報量が多いコンテンツを選出してもよい。
【００５１】
制御部１４は、選出部１４２が選出したコンテンツが自装置の記憶部１５に記憶されている場合には、記憶部１５からコンテンツを読み出して、信号処理部１２に再生処理を行なわせる。制御部１４は、選出部１４２が選出したコンテンツが自装置の記憶部１５に記憶されてない場合には、入力部１０１を介して、他装置から取得する。
【００５２】
応用例３に係る信号処理装置１Ｃでは、ユーザの状態に応じて、再生対象のコンテンツが自動で選出されるため、ユーザ自身でコンテンツを選出する手間が省かれる。例えば、ユーザがカフェでコーヒーを飲み、落ち着いた環境の場合、ラウンジ等の落ち着いた音場環境が自動的に再現され、さらに、ジャズまたはクラシックのジャンル等の落ち着いたジャンルのコンテンツが自動的に選出される。
【００５３】
図１４は、応用例４に係る信号処理装置１Ｄの構成を示したブロック図である。図１２と共通する構成については同じ符号を付し、説明を省略する。信号処理装置１Ｄは、第１センサ１７１および第２センサ１７２を備えている。第１センサ１７１は、生体情報を検出する。第２センサ１７２は、環境情報を検出する。情報取得部１０２は、第１センサ１７１から生体情報を取得し、第２センサ１７２から環境情報を取得する。
【００５４】
このように、生体情報または環境情報は、自装置に設けられたセンサで検出してもよい。
【００５５】
上述の様に、生体情報は、例えば心拍数、体温、または移動状態（加速度）等のユーザの生体に関する情報である。したがって、第１センサ１７１は、例えば心拍センサ、カメラ、温度センサ、または加速度センサである。環境情報は、例えば天気、気温、湿度、明るさ、風の強さ、匂い、位置、または周囲の画像等である。したがって、第２センサ１７２は、例えば温度センサ、湿度センサ、照度センサ、位置情報取得センサ、または匂いセンサである。なお、状態判定部１４１は、カメラで取得した周囲の画像を解析することで、周囲の環境（天気、明るさ、または位置等）を取得することができる。したがって、カメラも第２センサ１７２の一例である。さらに、状態判定部１４１は、マイクで取得した周囲の音を解析することで、周囲の環境情報を取得することもできる。例えば、状態判定部１４１は、雨音を取得した場合に、天気が雨であると判定することができる。したがって、マイクも第２センサ１７２の一例である。制御部１４は、マイクにより取得した音が雑踏などのノイズ音である場合に、信号処理の内容としてノイズ除去処理を行なってもよい。
【００５６】
状態判定部１４１は、加速度センサで、ユーザが走っている状態であると判定し、さらに走行ピッチに応じて、ユーザの気分を推定する。走行ピッチが速い場合には、ユーザが興奮状態であると推定する。走行ピッチが遅い場合には、ユーザが穏やかな状態であると推定する。例えば、選出部１７は、興奮状態であるときは、Ｒｏｏｍ  Ｓｉｚｅを小さく、反射音レベルを小さく、かつＬＰＦにより高域をカットする内容を決定する。また、例えば、選出部１７は、予めセンサの値と信号処理の内容とを対応付けて記憶部１５に記憶しておくことで、ユーザの状態に応じた信号処理を行なうこともできる。
【００５７】
なお、上述の実施形態では、環境情報として、落ち着いた環境であるか、派手な環境であるかを判断して、音場支援の強さを決定する例を示したが、例えば、制御部１４は、匂いセンサから匂いに関する情報を取得した場合には、当該匂いの情報に基づいて信号処理の内容を決定してもよい。例えば、制御部１４は、コーヒーの匂いの情報を取得した場合には、ラウンジ等の落ち着いた環境の音場を再現する。あるいは、信号処理装置１は、逆に、音場環境に応じた匂いを発生させてもよい。例えば、信号処理装置１は、カフェの音場環境を再現する場合には、コーヒーの匂いを発生させる。
【００５８】
さらに、信号処理装置１は、コンテンツまたは音場環境に応じた振動を生じさせてもよい。振動を生じさせる場合、信号処理装置１は、モータ等の振動子を備える。信号処理装置１は、例えば、落ち着いた環境の音場では振動を停止し、派手な環境の音場環境を再現する場合には、振動を生じさせる。
【００５９】
また、例えば、制御部１４は、位置情報に基づいて、信号処理の内容を決定してもよい。例えば、制御部１４は、現在の位置に最も近いコンサートホールに対応する音場環境を再現する。コンサートホール等の音場を模擬したインパルス応答に係るデータ（以下音場データと言う。）は、予め記憶部１５に記憶しておく。制御部１４は、該音場データが記憶部１５に記憶されていない場合には外部（例えばサーバ）からダウンロードしてもよい。制御部１４は、センサで取得した自装置の位置情報を用いて、記憶部１５または外部のサーバ等から、対応する音場データを取得する。この場合、複数の音場データは、それぞれの位置情報が対応付けられて、記憶部１５または外部のサーバ等に記憶されている。制御部１４は、センサで取得した自装置の位置情報に最も近い位置情報が対応付けられた音場データを読み出し、オーディオ信号に擬似間接音を付与する処理を行なう。これにより、現在の位置に最も近いコンサートホールに対応する音場環境が再現される。
【００６０】
例えば、ユーザが特定のコンサートイベントに参加した場合、ユーザは、そのコンサートイベントが行なわれている会場の音場環境を再現した音場データを取得することができる。この場合、後でユーザが該コンサートホールに戻ってきた場合に、制御部１４は、信号処理部１２を制御して、該コンサートホールに対応する音場環境を再現する。したがって、ユーザは、過去のコンサートイベントの音場環境を再現してコンテンツを聞くことができ、コンサートイベントに参加したことを思い出すことができる。
【００６１】
この場合、ユーザが特定のイベントに参加して、新たな音場データが記憶部１５に記憶されると、ユーザは、今まで利用できなかった音場環境を体感することができる。これにより、信号処理装置１は、例えば、ユーザのイベントへの参加意欲を向上させることができる。
【００６２】
あるいは、制御部１４は、その場の音場環境を測定することもできる。図１５は、音場環境を測定する場合の信号処理装置１Ｅの構成を示すブロック図である。信号処理装置１Ｅは、複数のマイク（マイク１５１およびマイク１５２）およびスピーカ２００を備えている。その他の構成は、図２に示した信号処理装置１と同じ構成である。
【００６３】
制御部１４は、記憶部１５からプログラムを読み出して、該プログラムを実行することにより音場測定部１４３を実現する。
【００６４】
音場測定部１４３は、信号処理部１２を介してスピーカ２００から測定音を発生させる。測定音は、例えばパルス音である。音場測定部１４３は、情報取得部１０２を介して、マイク１５１およびマイク１５２で取得した周囲の音、すなわちスピーカ２００から出力された測定音の直接音および反射音を入力する。なお、マイク１５１およびマイク１５２は、ヘッドフォンユニット２Ｌおよびヘッドフォンユニット２Ｒに対応して、聴取者の頭部に配置されていることが好ましい。聴取者の頭部に配置されることで、バイノーラル録音を実現することができる。したがって、後に信号処理部１２が仮想反射音を再現する場合には、信号処理部１２は、あらためてＨＲＴＦによる定位処理を行う必要がなく、ユーザの周囲の所定位置に音源を定位させることができる。これにより、音場測定部１４３は、実際のコンサートホールなどの音場環境に係るインパルス応答を取得することができる。
【００６５】
例えば、ユーザが特定のコンサートイベントに参加した場合、ユーザは、そのコンサートイベントが行なわれている会場の音場環境を取得することができる。これにより、ユーザは、後でコンサートホールを離れた場合でも、同じ音場環境でコンテンツの音を聴くことができる。あるいは、後でユーザがコンサートホールに戻ってきた場合に、制御部１４が、該コンサートホールに対応する音場環境を再現する。したがって、ユーザは、過去のコンサートイベントの音場環境を再現してコンテンツを聞くことができ、コンサートイベントに参加したことを思い出すことができる。また、この場合も、ユーザが特定のイベントに参加すると、今まで利用できなかった音場環境を利用することができる。これにより、例えば、イベントへの参加意欲を向上させることができる。さらには、取得した音場環境は、ユーザ間で共有してもよい。
【００６６】
なお、匂いの情報および位置情報は、環境情報の一例である。したがって、制御部１４は、匂いの情報、または位置情報等に基づいて、再現する音場環境を選択して、さらに生体情報に基づいて、当該音場環境のＲｏｏｍ  Ｓｉｚｅ、または反射音のレベル等を決定する。また、制御部１４は、匂いの情報、または位置情報等に基づいて、再現する音場環境を選択して、さらに生体情報に基づいて、ＬＰＦのオン、オフを行なったり、ＬＰＦのカットオフ周波数を変更したりしてもよい。
【００６７】
さらに、信号処理装置における一部の処理は、サーバ上で行なうようにしてもよい。例えば、信号処理装置は、生体情報をサーバに送信する。サーバは、気象情報サーバから環境情報として、天気情報を取得する。サーバは、受信した生体情報と、天気情報と、に基づいて、現在の状態を判定し、信号処理の内容を決定する。サーバは、決定した信号処理の内容を示す情報を信号処理装置に送信する。信号処理装置は、受信した情報に基づいて、信号処理を行なう。
【００６８】
また、制御部１４は、過去に検出したユーザの状態と、過去に行なった信号処理の内容と、の組み合わせを学習し、学習結果に基づいて信号処理を行なってもよい。
【００６９】
図１６は、学習を行なう場合に、信号処理装置が表示部（不図示）に表示するＧＵＩの一例である。制御部１４は、所定の音場環境の擬似間接音を付与する処理を行うとともに、ＧＵＩを介してユーザの評価を受け付ける。この例では、「Ｌｉｋｅ」または「Ｄｉｓｌｉｋｅ」を受け付ける。制御部１４は、ユーザＩ／Ｆ１６を介して、「Ｌｉｋｅ」の選択を受け付けた場合に、現在処理を行なっている音場支援の内容（Ｒｏｏｍ  Ｓｉｚｅ、反射音のレベル、ＬＰＦの有無、あるいは該ＬＰＦの遮断周波数）を記憶部１５に記憶する。制御部１４は、この時のセンサの値を、音場支援の内容と対応付けて記憶部１５に記憶する。センサの値は、心拍数、体温、または移動状態（加速度）等のユーザの生体に関する情報と、気温、湿度、照度、風速、または位置等の環境に関する情報である。制御部１４は、ユーザＩ／Ｆ１６を介して、「Ｄｉｓｌｉｋｅ」の選択を受け付けた場合に、別の信号処理（別の音場支援）を行ない、再度、「Ｌｉｋｅ」または「Ｄｉｓｌｉｋｅ」の選択を受け付ける。この様な評価を繰り返すことで、現在の状態に応じて、センサの値と、信号処理の内容と、が高精度に対応付けられる。
【００７０】
制御部１４は、センサの値が変化し、現在の状態が変化したとき、その時点のセンサの値で記憶部１５を参照し、対応する（例えば最も近い値の）信号処理の内容を読み出す。これにより、信号処理装置は、ユーザが現在の状態に適合すると判断した信号処理（音場）の内容を、自動的に再現することができる。
【００７１】
また、学習は、ニューラルネットワークを用いた人工知能により行ってもよい。ニューラルネットワークを用いる場合、センサの値が入力層になり、周囲の環境およびユーザの状態等の要素が中間層になる。信号処理の内容は、出力層になる。ニューラルネットワークは、センサの値を入力すると、対応する信号処理の内容を出力する。ここで、信号処理装置またはサーバは、他の複数のユーザが利用する信号処理装置から、センサの値と、選択された信号処理の内容と、を示すデータが入力される。ニューラルネットワークは、このデータに基づいてディープラーニングを行なう。これにより、学習が進む。制御部１４は、学習が進んだニューラルネットワークにセンサの値を入力するだけで、最適な信号処理の選出がなされる。
【００７２】
なお、本実施形態では、信号処理を行なったオーディオ信号をヘッドフォンに出力する例を示したが、例えばスピーカに出力してもよい。スピーカを用いてＨＲＴＦによる定位処理を行なう場合にはクロストークキャンセルの処理を行なう。クロストークキャンセル処理は、ある第１スピーカから放音され、右耳（または左耳）に至るクロストークの逆位相の成分を第２スピーカから放音して右耳（または左耳）の位置で音圧を打ち消すことにより、第１スピーカの音が右耳（または左耳）に聞こえるのを抑制する処理である。
【００７３】
また、複数のスピーカを用いて音場支援を行なう場合、信号処理部１２は、複数のスピーカに供給するオーディオ信号にそれぞれ遅延を付与することにより、仮想的に、複数のスピーカと聴取者との距離を変更することができる。したがって、信号処理部１２は、複数のスピーカに供給するそれぞれのオーディオ信号における時間差およびレベル差を制御することで、聴取者の周囲の所定の位置に、反射音を仮想定位させることができる。
【符号の説明】
【００７４】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ…信号処理装置
２Ｌ，２Ｒ…ヘッドフォンユニット
１１…入力Ｉ／Ｆ
１２…信号処理部
１３…出力部
１４…制御部
１５…記憶部
１６…ユーザＩ／Ｆ
１０１…入力部
１０２…情報取得部
１４１…状態判定部
１４２…選出部
１７１…第１センサ
１７２…第２センサ
【図１】
0006798561.tif 000002
【図２】
0006798561.tif 000003
【図３】
0006798561.tif 000004
【図４】
0006798561.tif 000005
【図５】
0006798561.tif 000006
【図６】
0006798561.tif 000007
【図７】
0006798561.tif 000008
【図８】
0006798561.tif 000009
【図９】
0006798561.tif 000010
【図１０】
0006798561.tif 000011
【図１１】
0006798561.tif 000012
【図１２】
0006798561.tif 000013
【図１３】
0006798561.tif 000014
【図１４】
0006798561.tif 000015
【図１５】
0006798561.tif 000016
【図１６】
0006798561.tif 000017