(57)【要約】【課題】物体の動きそのものを聴覚的に誇張して提示することが可能な信号処理装置を提供する。【解決手段】物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、前記音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させる制御部を備える、信号処理装置が提供される。信号処理装置は、物体の動作に基づき生じる信号の波形に対する音声信号処理することにより、物体の動きそのものを聴覚的に誇張して提示することを可能とする。【選択図】図２
2017097214.tif 000002
【特許請求の範囲】
【請求項１】
物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、前記音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させる制御部を備える、信号処理装置。
【請求項２】
前記制御部は、前記物体の特性に応じて前記音声信号処理の内容を変化させる、請求項１に記載の信号処理装置。
【請求項３】
前記制御部は、前記物体の認識結果を用いて前記物体の特性を推定する、請求項２に記載の信号処理装置。
【請求項４】
前記制御部は、前記物体の認識結果を学習し、該学習に応じて前記音声信号処理の内容を変化させる、請求項３に記載の信号処理装置。
【請求項５】
前記制御部は、前記物体の画像認識結果を用いて前記物体の特性を推定する、請求項３に記載の信号処理装置。
【請求項６】
前記制御部は、前記物体の特性として前記物体の質量に応じて前記音声信号処理の内容を変化させる、請求項５に記載の信号処理装置。
【請求項７】
前記制御部は、前記物体の特性として前記物体の大きさに応じて前記音声信号処理の内容を変化させる、請求項５に記載の信号処理装置。
【請求項８】
前記制御部は、前記物体の特性として該物体の動作に基づき生じる信号の周波数特性に応じて前記音声信号処理の内容を変化させる、請求項５に記載の信号処理装置。
【請求項９】
前記制御部は、前記物体の特性として前記物体の色に応じて前記音声信号処理の内容を変化させる、請求項５に記載の信号処理装置。
【請求項１０】
前記制御部は、前記物体の動作に基づき生じる信号を学習し、該学習に応じて前記音声信号処理の内容を変化させる、請求項１に記載の信号処理装置。
【請求項１１】
前記制御部は、前記物体と他の物体との接触により生じる信号の波形に対して前記音声信号処理を実行する、請求項１に記載の信号処理装置。
【請求項１２】
前記制御部は、前記物体が他の物体の表面を移動することにより生じる信号の波形に対して前記音声信号処理を実行する、請求項１に記載の信号処理装置。
【請求項１３】
前記制御部は、前記物体の動作に基づき生じる信号を、マイクにより集音される音声信号として取得する、請求項１に記載の信号処理装置。
【請求項１４】
前記制御部は、前記物体の動作に基づき生じる信号を、センサにより取得される波形信号として取得する、請求項１に記載の信号処理装置。
【請求項１５】
物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、前記音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させることを含む、信号処理方法。
【請求項１６】
コンピュータに、物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、前記音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させることを実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置、信号処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ユーザの動きに合わせてユーザが保持する物体の音色や音の変化をコントロールする技術が、例えば特許文献１で開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２２８４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１で開示されている技術は、ユーザの体の動きに応じてユーザが保持する物体である楽器の音色を変更するものであり、物体の動きそのものを聴覚的に誇張して提示するものでは無い。
【０００５】
そこで、本開示では、物体の動きそのものを聴覚的に誇張して提示することが可能な、新規かつ改良された信号処理装置、信号処理方法及びコンピュータプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、前記音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させる制御部を備える、信号処理装置が提供される。
【０００７】
また本開示によれば、物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、前記音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させることを含む、信号処理方法が提供される。
【０００８】
また本開示によれば、物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、前記音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させることをコンピュータに実行させる、コンピュータプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、物体の動きそのものを聴覚的に誇張して提示することが可能な、新規かつ改良された信号処理装置、信号処理方法及びコンピュータプログラムを提供することが出来る。
【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の実施の形態に係る信号処理装置が使用される態様の一例を示す説明図である。
【図２】本開示の実施の形態に係る信号処理装置１００の機能構成例を示す説明図である。
【図３】本開示の実施の形態に係る信号処理装置１００の動作例を示す流れ図である。
【図４】本開示の実施の形態の変形例を示す説明図である。
【図５】本開示の実施の形態の変形例を示す説明図である。
【図６】テーブルに設けられるマイク０やスピーカの位置の変形例を示す説明図である。
【図７】テーブルに設けられるマイクやスピーカの数の変形例を示す説明図である。
【図８】本開示の実施の形態の変形例を示す説明図である。
【図９】本開示の実施の形態の変形例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．概要
１．２．構成例
１．３．動作例
１．４．変形例
２．まとめ
【００１４】
＜１．本開示の実施の形態＞
［１．１．概要］
まず、本開示の実施の形態に係る信号処理装置の概要について説明する。本開示の実施の形態に係る信号処理装置は、物体の動きに基づき生じる信号の波形に対する音声信号処理を実行して、その音声信号処理に基づき生成される信号に応じた音を所定時間内に出力する装置である。物体の動きに基づき生じる信号とは、例えば、その物体の移動に伴い発生する風切音を集音して得られる信号、その物体と別の物体との接触により生じる音を集音して得られる信号、その物体が別の物体の表面を移動することにより生じる音を集音して得られる信号その物体の移動に伴い発生するセンシングデータ、等が含まれうる。
【００１５】
本開示の実施の形態に係る信号処理装置は、物体の動きに基づき生じる信号の波形に対する音声信号処理を実行して、その音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させることで、物体の動きそのものを聴覚的に誇張して提示することを可能とする。
【００１６】
図１は、本開示の実施の形態に係る信号処理装置が使用される態様の一例を示す説明図である。図１には、テーブル１０の天板の背面に、マイク２０、スピーカ３０、及び本開示の実施の形態に係る信号処理装置１００が設けられている例が示されている。
【００１７】
マイク２０は、テーブル１０の天板に物体が接触したり、テーブル１０の天板を物体が移動したりする際に発生する音を集音する。図１では、テーブル１０の天板を物体１（ボール）が弾んでいる様子が示されている。マイク２０は、テーブル１０の天板を物体１が弾んだ際に発生する音を集音する。マイク２０は、集音した音を信号処理装置１００に出力する。
【００１８】
信号処理装置１００は、マイク２０が集音した音に対して信号処理を実行する。信号処理装置１００は、マイク２０が集音した音に対する信号処理として、増幅やエフェクト（音響効果）などを行いうる。
【００１９】
そして信号処理装置１００は、マイク２０が集音した音に対して増幅やエフェクト（音響効果）などの信号処理を行って、テーブル１０の天板に物体が接触したり、テーブル１０の天板を物体が移動したりする際に発生する音を誇張して表した音を出力する。エフェクト処理には、例えばエコーやリバーブ、低周波による変調、速度の変化（タイムストレッチ）、音程の変化（ピッチシフト）などが含まれうる。なお、音の増幅処理もエフェクト処理の一種として捉えても良い。
【００２０】
本開示の実施の形態に係る信号処理装置１００は、マイク２０が集音した音に対して、エフェクトのような信号処理を行って、別の信号、すなわち、テーブル１０の天板に物体が接触したり、テーブル１０の天板を物体が移動したりする際に発生する音を誇張して表すための音声信号を生成することで、物体の動きそのものを聴覚的に誇張して提示することを可能とする。信号処理装置１００は、エフェクト処理として、ローパス、ハイパス、バンドパスなどのフィルタ効果、オシレータ（サイン波、ノコギリ波、三角波、矩形波など）との加算合成や減算合成を行いうる。
【００２１】
スピーカ３０は、信号処理装置１００での信号処理により生成された音声信号に基づく音を出力する。このように、テーブル１０の天板の背面にスピーカ３０が設けられていることで、テーブル１０の天板を物体が移動したりする際に発生する音を誇張して提示することが可能となる。
【００２２】
もちろん、信号処理装置１００は、テーブル１０に設けられていなくても良い。例えば、マイク２０で集音した音をスマートフォンやタブレット端末、パーソナルコンピュータ等の情報処理装置で受信し、マイク２０で集音した音を受信した情報処理装置が上述の信号処理を実行して、信号処理後の音声信号をスピーカ３０に送信してもよい。
【００２３】
以上、本開示の実施の形態に係る信号処理装置の概要について説明した。続いて、本開示の実施の形態に係る信号処理装置の機能構成例について説明する。
【００２４】
［１．２．構成例］
図２は、本開示の実施の形態に係る信号処理装置１００の機能構成例を示す説明図である。図２に示した信号処理装置１００は、物体の動きに基づき生じる信号の波形に対する音声信号処理を実行して、その音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させることで、物体の動きそのものを聴覚的に誇張して提示するための装置である。以下、図２を用いて本開示の実施の形態に係る信号処理装置１００の機能構成例について説明する。
【００２５】
図２に示したように、本開示の実施の形態に係る信号処理装置１００は、取得部１１０と、制御部１２０と、出力部１３０と、記憶部１４０と、通信部１５０と、を含んで構成される。
【００２６】
取得部１１０は、物体の動きに基づき生じる信号を外部から取得する。取得部１１０は、例えば、図１に示したマイク２０から、テーブル１０の天板に物体が接触したり、テーブル１０の天板を物体が移動したりする際に発生する音の音声信号を取得する。取得部１１０は、取得した信号を制御部１２０に出力する。
【００２７】
制御部１２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などのプロセッサや、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記憶媒体等で構成される。
【００２８】
制御部１２０は、取得部１１０が取得した信号に対する信号処理を行う。例えば制御部１２０は、テーブル１０の天板に物体が接触したり、テーブル１０の天板を物体が移動したりする際に発生する音の音声信号に対する信号処理を行う。制御部１２０は、取得部１１０が出力する音声信号に対する信号処理として、例えば少なくとも一部の周波数帯域に対する増幅処理や、所定のエフェクト処理などを行う。上述したように、増幅処理も、エフェクト処理の一種と捉えてもよい。制御部１２０は、取得部１１０が出力する音声信号に対して信号処理を行うと、信号処理後の信号を所定時間内、好ましくは、ほぼリアルタイムで出力部１３０に出力する。
【００２９】
制御部１２０は、テーブル１０の天板に接触したり、テーブル１０の天板上を移動したりする物体が何であるかが予め分かっていれば、その物体に応じて信号処理の内容を決定することが出来る。
【００３０】
例えば、テーブル１０の天板上を移動する物体が自動車のおもちゃであれば、制御部１２０は、その物体の移動に基づいて生じた音に対する信号処理を実行して、自動車が走行しているような音（例えば、エンジン音）をスピーカ３０から出力するための信号処理を実行しうる。
【００３１】
また例えば、テーブル１０の天板上を移動する物体が象のおもちゃであれば、制御部１２０は、その物体の移動に基づいて生じた音に対する信号処理を実行して、象が歩いているような「ドシン」という音をスピーカ３０から出力するための信号処理を実行しうる。
【００３２】
また例えば、テーブル１０の天板をボールが弾んだ場合であれば、制御部１２０は、その物体の接触（テーブル１０の天板とボールとの接触）に基づいて生じた音に対する信号処理を実行して、ボールが弾んだことを強調するような音をスピーカ３０から出力するための信号処理を実行しうる。
【００３３】
制御部１２０は、テーブル１０の天板に接触したり、テーブル１０の天板上を移動したりする物体が何であるかを、予めユーザから設定されてもよく、後述する画像認識の結果を用いて決定しても良い。
【００３４】
制御部１２０は、テーブル１０の天板に接触したり、テーブル１０の天板上を移動したりする物体が何であるかが予め分かっていても、その物体とは無関係の音をスピーカ３０から出力するような信号処理を行っても良い。
【００３５】
例えば、テーブル１０の天板上を移動する物体が自動車のおもちゃであっても、制御部１２０は、その物体の移動に基づいて自動車とは無関係な音（例えば、エンジン音のような重低音では無く、高音で構成される効果音）をスピーカ３０から出力するための信号処理を実行しうる。
【００３６】
制御部１２０は、取得部１１０が出力する音声信号に対する増幅量や増幅する周波数帯、エフェクト処理の内容を、ユーザが指定したものとしてもよく、自動的に決定しても良い。制御部１２０は、取得部１１０が出力する音声信号に対する増幅量や増幅する周波数帯、エフェクト処理の内容を自動的に決定する場合は、例えば物体の動きの内容に応じて決定しても良い。
【００３７】
制御部１２０は、同じ物体でも、動きの内容に応じて信号処理の内容を変化させてもよい。例えば、制御部１２０は、同じ物体でも、テーブル１０の天板上を移動する場合と、テーブル１０の天板をバウンドした場合とで信号処理の内容を変化させてもよい。
【００３８】
制御部１２０は、信号処理の際に、物体が発した音との合成波として、物体が発した音を誇張して聴取させるよう出力するための信号処理を行っても良く、物体の音をキャンセルした上で物体が発した音を誇張して聴取させるよう出力するための信号処理を行っても良い。
【００３９】
制御部１２０は、信号処理の際に、ハウリングを回避するために、取得部１１０が出力する音声信号に対して低周波数帯をカットする処理を行っても良い。
【００４０】
出力部１３０は、制御部１２０での信号処理後の信号を、外部の装置、例えば、図１に示したスピーカ３０に出力する。スピーカ３０は、出力部１３０から信号を受けることで、制御部１２０での信号処理後の信号に基づいた音を出力する。
【００４１】
記憶部１４０は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、信号処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１４０に記憶されているプログラム及びデータは、制御部１２０での信号処理の際に適宜読み出されうる。
【００４２】
記憶部１４０は、例えば、制御部１２０での信号処理の際に用いられるエフェクト処理のパラメータを記憶する。記憶部１４０が記憶するパラメータは、テーブル１０の天板に衝突したり、テーブル１０の天板上を移動したりする物体の特性に応じて複数存在してもよい。
【００４３】
通信部１５０は、信号処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１５０は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。他の装置から通信部１５０が受信したデータは取得部１１０に供給されうる。また出力部１３０が出力する信号は、通信部１５０から送信されうる。
【００４４】
本開示の実施の形態に係る信号処理装置１００は、図２に示したような構成を有することで、物体の動きに基づき生じる信号の波形に対する音声信号処理を実行して、その音声信号処理に基づき生成される信号に応じた音を所定時間内、好ましくは、ほぼリアルタイムで出力させることで、物体の動きそのものを聴覚的に誇張して提示することを可能とする。
【００４５】
以上、図２を用いて本開示の実施の形態に係る信号処理装置１００の機能構成例について説明した。続いて、本開示の実施の形態に係る信号処理装置の動作例について説明する。
【００４６】
［１．３．動作例］
図３は、本開示の実施の形態に係る信号処理装置１００の動作例を示す流れ図である。図３に示したのは、例えば、図１に示したマイク２０から、テーブル１０の天板に物体が接触したり、テーブル１０の天板を物体が移動したりする際に発生する音の音声信号を取得し、その音声信号に対する信号処理を行う際の、信号処理装置１００の動作例である。以下、図３を用いて本開示の実施の形態に係る信号処理装置１００の動作例について説明する。
【００４７】
信号処理装置１００は、物体の動きに基づき発せられる信号を取得部１１０で取得すると（ステップＳ１０１）、その取得した信号の波形を制御部１２０で解析する（ステップＳ１０２）。そして信号処理装置１００は、取得した信号の波形に応じた、動的な信号処理を制御部１２０で実行し（ステップＳ１０３）、信号処理の結果に基づく信号を出力部１３０から所定時間内に、好ましくは、ほぼリアルタイムで出力する（ステップＳ１０４）。
【００４８】
本開示の実施の形態に係る信号処理装置１００は、図３に示したような動作を実行することで、物体の動きに基づき生じる信号の波形に対する音声信号処理を実行して、その音声信号処理に基づき生成される信号に応じた音を所定時間内、好ましくは、ほぼリアルタイムで出力させることで、物体の動きそのものを聴覚的に誇張して提示することを可能とする。
【００４９】
［１．４．変形例］
続いて、本開示の実施の形態に係る信号処理装置の変形例を説明する。上述したように、制御部１２０は、テーブル１０の天板に接触したり、テーブル１０の天板上を移動したりする物体が何であるかが予め分かっていれば、その物体の特性に応じて信号処理の内容を決定することが出来る。そして制御部１２０は、そのテーブル１０の天板に接触したり、テーブル１０の天板上を移動したりする物体が何であるかを、例えば画像認識処理の結果を用いて知りうる。
【００５０】
図４は、本開示の実施の形態の変形例を示す説明図である。図４に示したのは、テーブル１０が設置されている部屋に、テーブル１０の天板上を撮像するための撮像装置４０を設けている例である。
【００５１】
信号処理装置１００は、撮像装置４０が撮像する動画像を撮像装置４０から取得する。信号処理装置１００は、撮像装置４０が撮像する動画像を制御部１２０で解析することで、テーブル１０の天板上の物体の有無、及び物体が存在する場合にその物体がどのような形状であるかを認識することが出来る。そして、信号処理装置１００は、認識した物体の形状からそのテーブル１０の天板上の物体が何であるかを推定し、その推定した物体に応じた、取得部１１０で取得した信号に対する信号処理を実行する。
【００５２】
信号処理装置１００は、画像処理を行って推定したテーブル１０の天板上の物体について、ユーザにフィードバックを求めても良い。画像処理を行って推定したテーブル１０の天板上の物体について、ユーザにフィードバックを求めることで、信号処理装置１００は、画像認識の結果からの物体の推定の精度を向上させることが可能となる。
【００５３】
信号処理装置１００は、撮像装置４０が撮像する動画像を解析した結果、画像に含まれる色の内容に応じて、取得部１１０で取得した信号に対する信号処理を実行してもよい。つまり、信号処理装置１００は、音を発生させたものが同じ物体であっても、その物体の色の違いに応じて、取得部１１０で取得した信号に対する信号処理を実行してもよい。
【００５４】
例えば、信号処理装置１００は、撮像装置４０が撮像する動画像を解析した結果、画像に含まれる色に赤色が多く含まれていれば、取得部１１０で取得した信号に対して、低音部を強調するような信号処理を実行してもよい。また例えば、信号処理装置１００は、撮像装置４０が撮像する動画像を解析した結果、画像に含まれる色に青色が多く含まれていれば、取得部１１０で取得した信号に対して、高音部を強調するような信号処理を実行してもよい。
【００５５】
制御部１２０は、そのテーブル１０の天板に接触したり、テーブル１０の天板上を移動したりする物体が何であるかを、例えばセンサによって得られる質量のデータから推定してもよい。
【００５６】
図５は、本開示の実施の形態の変形例を示す説明図である。図５に示したのは、テーブル１０の天板上に、テーブル１０の天板に接触した物体の質量を量るためのセンサ５０を設けている例である。
【００５７】
センサ５０は、物体１の表面への接触に応じて、その物体の質量を検知し、検知した質量のデータを信号処理装置１００に送信する。信号処理装置１００は、センサ５０が送信した質量のデータを制御部１２０で解析することで、テーブル１０の天板上の物体の有無、及び物体が存在する場合にその物体の質量であるかを知ることが出来る。そして、信号処理装置１００は、物体の質量からそのテーブル１０の天板上の物体が何であるかを推定し、その推定した物体に応じた、取得部１１０で取得した信号に対する信号処理を実行する。
【００５８】
信号処理装置１００は、物体の質量から推定したテーブル１０の天板上の物体や、その物体の動きに基づいて発せられた音に対する信号処理の結果について、学習のためにユーザにフィードバックを求めても良い。画像処理を行って推定したテーブル１０の天板上の物体や、その物体の動きに基づいて発せられた音に対する信号処理の結果について、ユーザにフィードバックを求めることで、信号処理装置１００は、物体の質量からの物体の推定の精度や、信号処理の精度を向上させることが可能となる。
【００５９】
もちろん信号処理装置１００は、物体の質量からその物体が何であるかを推定する際に、図４を用いて説明した物体の画像認識の結果を用いた物体の推定を組み合わせても良い。
【００６０】
信号処理装置１００は、画像処理を行って推定したテーブル１０の天板上の物体の大きさに応じて取得部１１０で取得した信号に対する信号処理を実行してもよい。つまり、信号処理装置１００は、音を発生させたものが同じ物体であっても、その物体の大きさの違いに応じて、取得部１１０で取得した信号に対する信号処理を実行してもよい。例えば、信号処理装置１００は、撮像装置４０が撮像する動画像を解析した結果、認識した物体が大きければ大きいほど、取得部１１０で取得した信号に対して、低音部を強調するような信号処理を実行してもよい。また例えば、信号処理装置１００は、撮像装置４０が撮像する動画像を解析した結果、認識した物体が小さければ小さいほど、取得部１１０で取得した信号に対して、高音部を強調するような信号処理を実行してもよい。
【００６１】
また、信号処理装置１００は、物体の動作に基づき生じる信号の周波数特性に応じて音声信号処理の内容を変化させてもよい。例えば、物体の動作に基づき生じる信号に低周波の音が多く含まれていれば、信号処理装置１００は、その低周波の音を増幅するような信号処理を行い、物体の動作に基づき生じる信号に高周波の音が多く含まれていれば、信号処理装置１００は、その高周波の音を増幅するような信号処理を行ってもよい。逆に、物体の動作に基づき生じる信号に低周波の音が多く含まれていれば、信号処理装置１００は、高周波の音を増幅するような信号処理を行い、物体の動作に基づき生じる信号に高周波の音が多く含まれていれば、信号処理装置１００は、低周波の音を増幅するような信号処理を行ってもよい。
【００６２】
テーブル１０に設けられるマイク２０やスピーカ３０の位置は、図１に示したものに限定されるものでは無い。
【００６３】
図６は、テーブル１０に設けられるマイク２０やスピーカ３０の位置の変形例を示す説明図である。図６に示したように、マイク２０は、テーブル１０の天板の表面に埋め込まれていてもよい。またスピーカ３０は、信号処理装置１００と一体になっていても良い。
【００６４】
マイクやスピーカの数は１つに限定されるものでは無い。図７は、テーブル１０に設けられるマイクやスピーカの数の変形例を示す説明図である。図７には、５つのマイク２０ａ〜２０ｅがテーブル１０の天板の表面に埋め込まれ、２つのスピーカ３０ａ、３０ｂが信号処理装置１００に設けられている例が示されている。
【００６５】
このようにテーブル１０の天板に複数のマイクを埋め込み、２つのスピーカ３０ａ、３０ｂから音を出力させることで、信号処理装置１００は、物体がテーブル１０の天板に接触した位置に近い方からより大きな音を出力する信号処理を実行することが出来る。
【００６６】
ここまでの説明では、テーブル１０の天板にマイクを設けて、物体がテーブル１０の天板に接触したりテーブル１０の天板上を移動したりする際の音をマイクで集音し、集音した音に対する信号処理を行う例を示した。続いて、物体の内部にマイクを設けて、その物体の移動に応じて生じる音をマイクで集音し、集音した音に対する信号処理を行う例を示す。
【００６７】
図８は、本開示の実施の形態の変形例を説明する説明図である。図８に示したのは、ボール１０１の表面にマイク２０及びスピーカ３０が設けられ、ボール１０１の内部に、図２に示した信号処理装置１００の構成要素である取得部１１０、制御部１２０、及び出力部１３０が設けられている例である。
【００６８】
図８に示したように、ボール１０１の表面にマイク２０及びスピーカ３０が設けられ、ボール１０１の内部に、取得部１１０、制御部１２０、及び出力部１３０が設けられていることで、ボール１０１は、動きを誇張して提示するための音をスピーカ３０から出力することが出来る。
【００６９】
図９は、本開示の実施の形態の変形例を説明する説明図である。図９に示したのは、ボール１０１の表面にスピーカ３０が設けられ、ボール１０１の内部に、センサ６０、図２に示した信号処理装置１００の構成要素である取得部１１０、制御部１２０、及び出力部１３０が設けられている例である。センサ６０は、例えば加速度センサ、角速度センサ、地磁気センサなどからなる。図９に示した制御部１２０は、センサ６０が出力する波形信号に対する信号処理を行って、ボール１０１の動きを誇張して提示するための音をスピーカ３０から出力するための音声信号を生成する。
【００７０】
図９に示したように、ボール１０１の表面にスピーカ３０が設けられ、ボール１０１の内部に、センサ６０、図２に示した信号処理装置１００の構成要素である取得部１１０、制御部１２０、及び出力部１３０が設けられていることで、ボール１０１は、動きを誇張して提示するための音をスピーカ３０から出力することが出来る。
【００７１】
図８及び図９では、ボール１０１の動きを誇張して提示するための音をスピーカ３０から出力するという変形例を示したが、もちろん、動きを誇張して提示するための音がスピーカ３０から出力される物体はボールに限定されるものでは無い。また、図８及び図９では、ボール１０１の内部に信号処理装置１００の構成要素である取得部１１０、制御部１２０、及び出力部１３０が設けられている例を示したが、本開示は係る例に限定されるものでは無い。ボール１０１は、図８に示したスピーカ３０が集音した音を無線通信によって信号処理装置１００に送信し、信号処理装置１００は、スピーカ３０が集音した音に対して信号処理を実行し、信号処理後の信号をボール１０１、またはボール１０１とは別の物体に送信してもよい。
【００７２】
＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、その音声信号処理に基づき生成される信号に応じた音を所定時間内、好ましくは、ほぼリアルタイムに出力させる信号処理装置１００が提供される。
【００７３】
上記実施の形態に係る信号処理装置１００は、物体の動作に基づき生じる信号として、例えば物体同士の接触や衝突などにより生じた音の信号を用いて、その信号の波形に対する音声信号処理を実行する。
【００７４】
上記実施の形態に係る信号処理装置１００は、物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、その音声信号処理に基づき生成される信号に応じた音を所定時間内、好ましくは、ほぼリアルタイムで出力させることで、物体の動きそのものを聴覚的に誇張して提示することを可能とする。
【００７５】
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００７６】
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
【００７７】
また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの一部又は全部は、たとえばインターネット等のネットワークを介して接続されるサーバ装置で実現されてもよい。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。
【００７８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、前記音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させる制御部を備える、信号処理装置。
（２）
前記制御部は、前記物体の特性に応じて前記音声信号処理の内容を変化させる、前記（１）に記載の信号処理装置。
（３）
前記制御部は、前記物体の認識結果を用いて前記物体の特性を推定する、前記（２）に記載の信号処理装置。
（４）
前記制御部は、前記物体の認識結果を学習し、該学習に応じて前記音声信号処理の内容を変化させる、前記（３）に記載の信号処理装置。
（５）
前記制御部は、前記物体の画像認識結果を用いて前記物体の特性を推定する、前記（３）に記載の信号処理装置。
（６）
前記制御部は、前記物体の特性として前記物体の質量に応じて前記音声信号処理の内容を変化させる、前記（５）に記載の信号処理装置。
（７）
前記制御部は、前記物体の特性として前記物体の大きさに応じて前記音声信号処理の内容を変化させる、前記（５）に記載の信号処理装置。
（８）
前記制御部は、前記物体の特性として該物体の動作に基づき生じる信号の周波数特性に応じて前記音声信号処理の内容を変化させる、前記（５）に記載の信号処理装置。
（９）
前記制御部は、前記物体の特性として前記物体の色に応じて前記音声信号処理の内容を変化させる、前記（５）に記載の信号処理装置。
（１０）
前記制御部は、前記物体の動作に基づき生じる信号を学習し、該学習に応じて前記音声信号処理の内容を変化させる、前記（１）〜（９）のいずれかに記載の信号処理装置。
（１１）
前記制御部は、前記物体と他の物体との接触により生じる信号の波形に対して前記音声信号処理を実行する、前記（１）〜（１０）のいずれかに記載の信号処理装置。
（１２）
前記制御部は、前記物体が他の物体の表面を移動することにより生じる信号の波形に対して前記音声信号処理を実行する、前記（１）〜（１１）のいずれかに記載の信号処理装置。
（１３）
前記制御部は、前記物体の動作に基づき生じる信号を、マイクにより集音される音声信号として取得する、前記（１）〜（１２）のいずれかに記載の信号処理装置。
（１４）
前記制御部は、前記物体の動作に基づき生じる信号を、センサにより取得される波形信号として取得する、前記（１）〜（１２）のいずれかに記載の信号処理装置。
（１５）
物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、前記音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させることを含む、信号処理方法。
（１６）
コンピュータに、物体の動作に基づき生じる信号の波形に対する音声信号処理を実行して、前記音声信号処理に基づき生成される信号に応じた音を所定時間内に出力させることを実行させる、コンピュータプログラム。
【符号の説明】
【００８１】
１０    テーブル
２０    マイク
３０    スピーカ
４０    撮像装置
１００    信号処理装置
１０１    ボール
【図１】
2017097214.tif 000003
【図２】
2017097214.tif 000004
【図３】
2017097214.tif 000005
【図４】
2017097214.tif 000006
【図５】
2017097214.tif 000007
【図６】
2017097214.tif 000008
【図７】
2017097214.tif 000009
【図８】
2017097214.tif 000010
【図９】
2017097214.tif 000011