(57)【要約】  本発明は利用者が常時身に付けて周囲の撮影および収音を行い続けるウェアラブル端末において、目的の音声を感度良く収音するために指向性マイクロホンを使っていても、歩行等による装置自体の揺れに起因するノイズや収音方向のずれの影響を軽減することを目的とする。そのために、揺れを検出するセンサを設置し、揺れが小さいときは、指向性マイクロホンを用い、揺れが大きいときは、ノイズの影響を受けにくい無指向性マイクロホンを用いるように、マイクロホンの指向性制御を行う。
2007099908.tif 000002
【特許請求の範囲】
【請求項１】
ウェアラブル端末であって、
少なくとも1方向に指向性を形成可能な収音部と、
前記ウェアラブル端末の揺れを検出する検出部と、
検出された前記揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を切り替える切替部とを備える
ことを特徴とするウェアラブル端末。
【請求項２】
前記収音部は、マイクロホンを含み、
前記切替部は、前記マイクロホンの基準軸方向の揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を切り替える
ことを特徴とする請求項1記載のウェアラブル端末。
【請求項３】
前記マイクロホンは音圧を感知する振動板を有し、
前記基準軸方向は、前記振動板が略軸対称である場合の軸方向であり、
前記検出部はピッチ方向の揺れを検出する
ことを特徴とする請求項2記載のウェアラブル端末。
【請求項４】
前記検出部は、自機のピッチ方向、ロール方向、ヨー方向の各角速度を出力するセンサと、
ピッチ方向、ロール方向、ヨー方向のうち、マイクロホンの基準軸の方向に、マイクロホンを変位させる角速度を変位量に変換する変換部とを備え、
前記切替部は、
変位量と閾値との比較を行う比較部を備え、
変位量が閾値を越えた場合に指向性を切り替える
ことを特徴とする請求項2記載のウェアラブル端末。
【請求項５】
前記切替部は、前記変位量が前記閾値を越えた場合に、
前記収音部の前記指向性を無指向性に切り替える
ことを特徴とする請求項4記載のウェアラブル端末。
【請求項６】
前記ウェアラブル端末は、カメラを更に備え、
前記切替部は、前記変位量が前記閾値を越えない場合に、
前記収音部の前記指向性を前記カメラの撮像方向に切り替える
ことを特徴とする請求項5記載のウェアラブル端末。
【請求項７】
前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、
前記検出手段は、前記カメラで撮影された第1の画像を、前記第1の画像より時間的に前に撮影された第2の画像と比較し、マイクロホンの基準軸の方向の揺れが発生したかどうかを検出する
ことを特徴をする請求項2記載のウェアラブル端末。
【請求項８】
前記切替部は、
前記第1の画像と前記第2の画像とに基づいて判定される自機のピッチ方向への変位量が閾値を越えた場合に、
前記収音部の前記指向性を無指向性に切り替える
ことを特徴とする請求項7記載のウェアラブル端末。
【請求項９】
前記切替部は、基準軸方向の変位量がインパルス性を有する出力である場合に、
前記収音部の前記指向性を無指向性に切り替える
ことを特徴とする請求項1及至4、7のいずれかに記載のウェアラブル端末。
【請求項１０】
前記検出部は、自機のピッチ方向、ロール方向、ヨー方向の各角速度を出力するセンサを備え、
前記インパルス性を有する出力は、ピッチ方向、ロール方向、ヨー方向の各角速度から算出される変位量の差分値としてそれぞれ表現され、
前記切替部は、
差分値と閾値との比較を行う比較部を備え、
差分値が閾値を越えた場合に指向性を切り替える
ことを特徴とする請求項9記載のウェアラブル端末。
【請求項１１】
前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、
前記インパルス性を有する出力は、カメラで撮影された画像におけるブレの度合いで表現される
ことを特徴とする請求項9記載のウェアラブル端末。
【請求項１２】
前記収音部は、指向性マイクロホンと無指向性マイクロホンとをそれぞれ少なくとも1つ以上含み、
前記切替部は、前記検出部により揺れが検出された場合に、指向性マイクロホンから入力される信号から、無指向性マイクロホンから入力される信号に、出力信号を切り替える
ことを特徴とする請求項1、7、9のいずれかに記載のウェアラブル端末。
【請求項１３】
前記収音部は、無指向性マイクロホンを少なくとも2つ以上含み、
無指向性マイクロホンからの入力信号を合成することにより感度に指向性をもたせる合成する合成部を備え、
前記切替部は、前記検出部により揺れが検出された場合に、前記合成部で合成された信号から、合成前の信号に、出力信号を切り替える
ことを特徴とする請求項1、7、9のいずれかに記載のウェアラブル端末。
【請求項１４】
前記比較部における変位量と閾値との比較は、揺れの方向ごとに個別に設定された閾値を用いてなされる
ことを特徴とする請求項4記載のウェアラブル端末。
【請求項１５】
前記切替部による指向性の切り替えは、クロスフェード処理により行われる
ことを特徴とする請求項1記載のウェアラブル端末。
【請求項１６】
ウェアラブル端末を制御するプロセッサであって、前記プロセッサは集積回路を含み、
前記ウェアラブル端末は、
少なくとも1方向に指向性を形成する収音部と、
前記ウェアラブル端末の基準軸方向の変位量を検出する検出部と、
前記収音部の指向性を切り替える切替部とを含み、
前記プロセッサは、前記集積回路を用いて前記検出部から入力される変位量を示す信号に応じて前記切り替え部を制御する信号を出力する
ことを特徴とするプロセッサ。
【請求項１７】
ウェアラブル端末を制御する方法であって、
少なくとも1方向に指向性を形成可能な収音ステップと、
前記ウェアラブル端末の揺れを検出する検出ステップと、
検出された前記揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を切り替える切替ステップとを備える
ことを特徴とする方法。
【請求項１８】
ウェアラブル端末の制御をプロセッサに実行させるプログラムであって、
少なくとも1方向に指向性を形成可能な収音ステップと、
前記ウェアラブル端末の揺れを検出する検出ステップと、
検出された前記揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を切り替える切替ステップとをプロセッサに実行させる
ことを特徴とするプログラム。
【請求項１９】
請求項18に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はウェアラブル端末においてマイクロホンにより収音する音声の品質向上に関する。
【背景技術】
【０００２】
近年、利用者が常時身体に装着し、利用者の体験する日常生活をライフログとして記録し続けることができるウェアラブル端末が登場しつつある。ここで、ウェアラブル端末とは、身体に着用できる小型の端末である。映像または音声を保存するために、機能として撮像部または収音部を備えるものを対象とする。ウェアラブル端末は、手や指による操作といった明示的な操作をしなくても、前述諸機能を継続する特性を有している。また、前記端末に取り付け部を備え、取り付け部にひも等をつけることにより首にぶら下げるなど身体の所定部位を基準として支持することや、または、着衣に固定することができる特性を有する携帯型の端末あるいは携帯型の撮影収音装置である。このようなウェアラブル端末に取り付けるマイクロホンは、収音方向をカメラが向いている正面方向に向け、向かい合って話している人物の声等を収音したり、収音方向を上に向け、利用者自身の声等を収音することができる。このような目的で用いられるウェアラブル端末は、屋外で騒音が存在する環境下においても明瞭に音声を録音する必要があるため、単一指向性マイクロホン等、特定方向から到来する音響信号を感度良く捉える指向性マイクロホンが用いられている。
【特許文献１】特開平1-39193号公報
【特許文献２】特開2005-37273号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、単一指向性マイクロホンは、特定の方向に対して感度が高い代わりに、それ以外の方向に対しては感度が低いので、ウェアラブル端末を装着した利用者が歩行等を行ったときに、揺れによって収音方向が変わってしまうという問題がある。図1は、単一指向性マイクロホンと無指向性マイクロホンの感度の指向特性を示した図である。無指向性マイクロホンは、どの方向からの音声も同じ感度で収音するのに対して、単一指向性マイクロホンは、正面方向からの音声を感度良く収音し、その他の方向からの音声は抑制されることを示している。従って、例えば、ウェアラブル端末を首からひもで吊り下げていて、マイクロホンが正面に向かいあって話している相手の声を収音するように設置されている場合に、利用者の動きによって首ひもがねじれてウェアラブル端末が正面方向から右に90度回転したとすると、本来想定している収音方向である正面方向からの音声は抑制され、抑制すべき右90度方向からの音声が高い感度で収音されてしまう。【０００４】
また、単一指向性マイクロホンはノイズに対しても弱いという問題がある。図2は、単一指向性マイクロホンと無指向性マイクロホンの感度の周波数特性を示した図である。図2では、単一指向性マイクロホンとして、距離dだけ離して設置することで2つの無指向性マイクロホンで収音した信号に位相差をつけ、それらを電気的に減算することで指向性を合成する方式、すなわち、音圧傾度型の指向性合成方式を用い、合成前の無指向性マイクロホンの感度と、合成後の単一指向性マイクロホンの感度とを比較したものである。高周波域では、単一指向性マイクロホンも無指向性マイクロホンもノイズに対して良好な感度を示している。しかし、無指向性マイクロホンの周波数依存性が小さいのに対して、単一指向性マイクロホンは低周波域で著しく感度が落ちることがわかる。特に、単一指向性マイクロホンのサイズを表すパラメータであるdが小さくなるにつれて、低周波感度が悪化することがわかる。ウェアラブル端末のように携帯する装置では、装置サイズを小さくすることが要求されるため、マイクロホンを離して設置することで感度の問題を克服することは困難である。利用者の動きに伴って発生するノイズは数Hz程度の低い周波数をもつので、低周波域でS/N比が小さくなる単一指向性マイクロホンでは、イコライザにより低周波域を増幅して感度を補正したときに、低周波のノイズ成分が相対的に強調されてしまう。【０００５】
単一指向性マイクロホンのノイズ対策を行った従来技術として特許文献1がある。特許文献1には、マイクロホンで収音された音響信号から、風がマイクロホンに当たる際に発生する風雑音を検出し、単一指向性マイクロホンと無指向性マイクロホンを切り替える装置が開示されている。しかし、特許文献1の装置は単一指向性マイクロホンにおいて風雑音を抑制する目的に好適な構成をとっており、装置の揺れにより発生する突発的なノイズを検知し適切に2つのマイクロホンの出力信号を切り替えることは困難である。【０００６】
ウェアラブル端末は常時身体に装着され、利用者の状態にかかわらず収音動作が継続されているために、利用者の動きに伴って、ウェアラブル端末が揺らされたり、利用者の身体に衝突したりする危険が常にあり、単一指向性マイクロホンを用いる場合、揺れに起因するノイズの影響や収音方向のずれが収音品質の著しい低下を招くため、何らかの対策を行うことが必要となる。【０００７】
本発明の目的は、ウェアラブル端末のような不安定な環境下で常時収音動作が継続される装置において、装置が揺れてもできるだけ音質を低下させることなく収音することができる装置を提供することである。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係るウェアラブル端末は、収音手段と、自機の揺れを検出する検出手段と、前記検出手段により検出される揺れの大きさに基づいて、収音手段における指向性の切り替えを行う切替手段とを備えることを特徴とするウェアラブル端末である。
【発明の効果】
【０００９】
本発明におけるウェアラブル端末によると、揺れが小さい安定な状態に装置があるか、あるいは、揺れが大きい不安定な状態に装置があるかを検出し、安定な状態にある場合には、目的とする音声を感度よく収音できるようにマイクロホンに指向性をもたせ、不安定な状態にある場合には、揺れに影響されにくいように無指向性マイクロホンからの入力を利用するように、マイクロホンの指向性を切り替えることができる。【００１０】
ここで、揺れとは、ウェアラブル端末の位置が、例えば、前後あるいは上下に連続的に変化することのみならず、端末位置が任意の方向に変位するベクトルを示す。揺れの大きさとは、前記ベクトルの絶対値で表されるスカラー量であり、揺れの有無とは、前記ベクトルの絶対値が0でないかあるかのいずれかを示す。所定の方向への揺れの大きさとは、前記ベクトルの前記所定の方向の成分値を示す。【００１１】
揺れの大きさによって、マイクロホンの指向性を切り替えるので、ウェアラブル端末のように常時携帯され収音が継続される装置であっても、利用者の行動によって引き起こされる揺れの影響を軽減して、目的とする音声を明瞭に収音することができる。
例えば、首ひもがねじれて収音方向がずれるような揺れの場合でも、揺れが小さければ指向性マイクロホンにより本来収音すべき音声を感度良く収音し、首ひもが90度ねじれて収音方向がずれてしまうような大きな揺れがあった場合は無指向性マイクロホンに切り替えることで、本来収音すべき音声に対して感度が低下することを防ぐ。【００１２】
また、利用者の動きに伴って低周波ノイズが発生したとしても、指向性マイクロホンから無指向性マイクロホンに切り替えると、感度の周波数依存性はなくなるので、イコライザにより低周波域を増幅する必要はなく、低周波のノイズ成分が相対的に強調されてしまう事態を防止できる。
ここで、前記収音部は、マイクロホンを含み、前記切替部は、前記マイクロホンの基準軸方向の揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を切り替えるとしてもよい。【００１３】
マイクロホンを基準軸の方向に大きく変位させる揺れが、最もノイズを発生させやすいため、マイクロホンの基準軸の方向の揺れに対して揺れの大小の判定を行うことで、指向性の切り替えを有効に行うことができる。
ここで、前記マイクロホンは音圧を感知する振動板を有し、前記基準軸方向は、前記振動板が略軸対称である場合の軸方向であり、前記検出部はピッチ方向の揺れを検出するとしてもよい。【００１４】
マイクロホンの振動板は通常、ほぼ軸対称の形状をしており、その対称軸を基準軸としたとき、基準軸方向をピッチ方向と呼ぶ。ピッチ方向の揺れは最もノイズとしての影響が大きいため、これを検出対象とすることで、効果的なノイズ対策を行うことができる。
ここで、前記検出手段は、自機のピッチ方向、ロール方向、ヨー方向の各角速度を出力するセンサと、ピッチ方向、ロール方向、ヨー方向のうち、マイクロホンの基準軸の方向に、マイクロホンを変位させる角速度を変位量に変換する変換手段とを備え、前記切替手段は、変位量と閾値との比較を行う比較手段を備え、変位量が閾値を越えた場合に指向性を切り替えるとしてもよい。【００１５】
装置の揺れの大きさを角速度から検出し、それと閾値とを比較することで、マイクロホンに指向性をもたせるかどうかの判定を行うことができる。揺れが閾値を越えた場合に無指向性マイクロホンを利用するように切り替えることで、揺れに起因するノイズの影響を軽減することができる。
ここで、前記切替部は、前記変位量が前記閾値を越えた場合に、前記収音部の前記指向性を無指向性に切り替えるとしてもよい。【００１６】
自機の揺れの大きさを表す変位量が閾値を越えたとき、収音部の指向性を無指向性にするので、揺れによるノイズの影響を軽減することができる。設計段階で決める閾値によって揺れに対する耐性を制御できる。
ここで、前記ウェアラブル端末は、カメラを更に備え、前記切替部は、前記変位量が前記閾値を越えない場合に、前記カメラの撮像方向に前記指向性を有するとしてもよい。【００１７】
自機の揺れの大きさを表す変位量が閾値を越えなければ、指向性マイクロホンでもノイズの影響は小さいと判断される。収音部の指向性をカメラの撮像方向に合わせることで、撮影している相手の音声をよりはっきりと収音することができる。
ここで、前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、前記検出手段は、前記カメラで撮影された第1の画像を、前記第1の画像より時間的に前に撮影された第2の画像と比較し、マイクロホンの基準軸の方向の揺れが発生したかどうかを検出するとしてもよい。【００１８】
音声と同時に映像を記録するためにカメラを備えているウェアラブル端末では、別途センサを設置しなくても、カメラで撮影された画像をもとに揺れの大きさを判定することができる。映像を解析することで、マイクロホンの基準軸の方向の揺れであるかどうかを判定することができる。
ここで、前記切替部は、前記第1の画像と前記第2の画像とに基づいて判定される自機のピッチ方向への変位量が閾値を越えた場合に、前記収音部の前記指向性を無指向性に切り替えるとしてもよい。【００１９】
カメラが撮影した画像を解析することにより、自機がどちらの方向に揺れているかを判定することができるので、最もノイズの影響が大きくなるピッチ方向の揺れを検出することができる。ピッチ方向の揺れの大きさを示す変位量が閾値を越えた場合に、指向性を無指向性に切り替えることで、ノイズの影響を軽減することができる。
ここで、前記切替部は、基準軸方向の変位量がインパルス性を有する出力である場合に、前記収音部の前記指向性を無指向性に切り替えるとしてもよい。【００２０】
ウェアラブル端末が身体などにぶつかった衝撃で発生するインパルス性の揺れを検出し、その場合に無指向性マイクロホンに切り替えることで、突発的なノイズの影響を軽減することができる。
ここで、前記検出手段は、自機のピッチ方向、ロール方向、ヨー方向の各角速度を出力するセンサを備え、前記インパルス出力は、ピッチ方向、ロール方向、ヨー方向の各角速度から算出される変位量の差分値としてそれぞれ表現され、前記切替手段は、差分値と閾値との比較を行う比較手段を備え、差分値が閾値を越えた場合に指向性を切り替えるとしてもよい。【００２１】
装置の揺れの大きさを角速度で検出し、揺れの変化の大きさを表す差分値をインパクト性の揺れの大きさとみなし、差分値が閾値よりも大きい場合に指向性のマイクロホンから無指向性マイクロホンに切り替えることで、突発的なノイズの影響を軽減することができる。
ここで、前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、前記インパルス出力は、カメラで撮影された画像におけるブレの度合いで表現されるとしてもよい。【００２２】
カメラで撮影された画像にブレがある場合に、インパルス性の揺れが発生したとみなし、その場合に無指向性マイクロホンに切り替えることで、突発的なノイズの影響を軽減することができる。
ここで、前記収音手段は、指向性マイクロホンと無指向性マイクロホンとをそれぞれ少なくとも1つ以上含み、前記切替手段は、前記検出手段により揺れが検出された場合に、指向性マイクロホンから入力される信号から、無指向性マイクロホンから入力される信号に、出力信号を切り替えるとしてもよい。【００２３】
指向性マイクロホンと無指向性マイクロホンをそれぞれ設置し、揺れの大きさに応じて両者を切り替えることができる。揺れが小さいときは、目的の音声を感度よく収音できるが指向性マイクロホンを用い、揺れが大きいときは、ノイズに対する耐性が強く収音方向によらず一定の感度をもつ無指向性マイクロホンを用いることで、利用者が移動しながら収音するような場合でも、音質の低下を防ぐことができる。【００２４】
ここで、前記収音手段は、無指向性マイクロホンを少なくとも2つ以上含み、無指向性マイクロホンからの入力信号を合成することにより感度に指向性をもたせる合成する合成手段を備え、前記切替手段は、前記検出手段により揺れが検出された場合に、前記合成手段で合成された信号から、合成前の信号に、出力信号を切り替えるとしてもよい。
無指向性マイクロホンを複数使って、それらの音響信号を合成することにより指向性を生み出すので、指向性マイクロホンを別途用意しなくても、目的の音声に対して感度良い収音を行うことができる。揺れが大きい場合は、いずれか一方の無指向性マイクロホンからの入力を用いることで、利用者が移動しながら収音するような場合でも、音質の低下を防ぐことができる。【００２５】
ここで、前記比較手段における変位量と閾値との比較は、揺れの方向ごとに個別に設定された閾値を用いてなされるとしてもよい。
揺れの大きさを表す角速度と閾値の比較は、揺れの方向ごとに設定された閾値を用いて、それぞれ個別に行われるので、マイクロホンの基準軸の方向のように小さな揺れでも大きなノイズを生む方向に対しては閾値を小さくし、マイクロホンを基準軸の方向に変位させずノイズを生みにくい揺れに対しては閾値を大きくするなどして、小さいゆれに対しても敏感に反応する指向性切り替えを行うことができる。【００２６】
ここで、前記切替手段による指向性の切り替えは、クロスフェード処理により行われるとしてもよい。
指向性を切り替える際に、瞬時に切り替えるのではなく、切り替え前の出力成分を徐々に下げ、同時に、切り替え後の出力成分を徐々に上げるというクロスフェード処理を行うことで、聴感上の違和感をより軽減することができる。
【図面の簡単な説明】
【００２７】
【図１】単一指向性マイクロホンおよび無指向性マイクロホンの感度の指向特性。
【図２】単一指向性マイクロホンおよび無指向性マイクロホンの感度の周波数特性。
【図３】ウェアラブル端末とその使用形態を示す図。
【図４】ウェアラブル端末に設置するマイクロホンの収音方向を示す図。
【図５】本発明の実施形態1におけるウェアラブル端末の構成を示すブロック図。
【図６】本発明の実施形態1におけるウェアラブル端末の回転方向を示す図。
【図７】本発明の実施形態1におけるウェアラブル端末の動作を示すタイミングチャート。
【図８】本発明の実施形態1におけるウェアラブル端末の指向性切り替え制御を説明する模式図。
【図９】本発明の実施形態1におけるウェアラブル端末の動作を示すフローチャート。
【図１０】本発明の実施形態2におけるウェアラブル端末の構成を示すブロック図。
【図１１】本発明の実施形態2におけるウェアラブル端末の指向性合成部の構成を示すブロック図。
【図１２】本発明の実施形態3におけるウェアラブル端末の構成を示すブロック図。
【図１３】本発明の実施形態3におけるウェアラブル端末のブレ画像検出部の構成を示すブロック図。
【図１４】本発明の実施形態3におけるウェアラブル端末のブレ画像検出方法を説明する図。
【図１５】本発明の実施形態4におけるウェアラブル端末の構成を示すブロック図。
【図１６】本発明の実施形態4におけるウェアラブル端末のインパルス検出部の構成を示すブロック図。
【図１７】本発明の実施形態5におけるウェアラブル端末の構成を示すブロック図。
【符号の説明】
【００２８】
110：単一指向性マイクロホン
120：無指向性マイクロホン
121：無指向性マイクロホン
200：ジャイロ
210：AD変換器
220：クロック
310：乗算器
311：乗算器
320：比較器
321：比較器
330：指向性選択部
340：指向性合成部
341：遅延器
342：スイッチ
343：減算器
344：イコライザ
350：インパルス検出部
351：算術演算器
352：レジスタ
360：遅延部
361：遅延部
400：符号化部
410：記録部
420：配信部
500：撮像装置
510：ブレ画像検出部
511：フレームメモリ
512：動きベクトル算出部
【発明を実施するための最良の形態】
【００２９】
〔実施形態1〕
本発明の実施形態1では、ジャイロにより検出した揺れの大きさに応じて指向性マイクロホンと無指向性マイクロホンの切り替えを行うウェアラブル端末について説明する。
図3(a)は、本発明の実施形態1におけるウェアラブル端末の外観図である。ウェアラブル端末は、正面の映像を取得するためのカメラと、音声等を収音するためのマイクロホンと、ウェアラブル端末自体の揺れを検出するためのジャイロを内蔵している。ウェアラブル端末は、カード型の薄い形状をしており、マイクロホンは基準軸をカメラの正面方向に向けて設置されているものとする。このウェアラブル端末は、図3(b)に示すように、利用者が首から吊り下げて使用されることを想定している。指向性マイクロホンの指向性の方向とマイクロホンの基準軸の方向は、必ずしも一致する必要はなく、図4に示すように、カメラの撮影対象となる話し相手の方向に向けてもよいし、自分の声を収音する目的で上向きにしてもよい。【００３０】
ここで、マイクロホンの基準軸と振動面の関係について述べておく。マイクロホンは、空気の振動である音波を検出し、それを電気信号に変換する装置であるが、音圧を感知するための振動面をもっている。この振動面は平面とは限らないが、通常、軸対称、もしくは軸対称に近い形状をしており、この対称軸を基準軸と呼ぶ。(IEC60050-801参照)マイクロホンは、基準軸方向において振動面と空気との接触面積が大きくなるような構造をしており、振動面が平面である場合は、基準軸と振動面とは互いに垂直になっている。以下では、振動面が平面でない場合でも、便宜上、基準軸に垂直な平面を振動面と呼んで説明する。【００３１】
図5は、本発明の実施形態1におけるウェアラブル端末の構成を示すブロック図である。本発明の実施形態1におけるウェアラブル端末は、ジャイロ200で検出した角速度を、AD変換器210を介してDSP(Digital Signal Processor)に入力し、揺れの大きさを判定して単一指向性マイクロホン110と無指向性マイクロホン120とを切り替えて収音する構成になっている。ジャイロ200、AD変換器210、DSPはクロック220で同期されている。収音された音声データは、符号化部400において符号化されたのち、SDカードなどの記録媒体への記録や、LAN内でのライブ配信などのために、記録部410や配信部420へと転送される。【００３２】
以下、各構成要素の詳細について説明する。
単一指向性マイクロホン110および無指向性マイクロホン120は、それぞれ、特定の方向からの音声に対して高い感度を示すマイクロホンと、どの方向からの音声に対しても同じ感度で収音するマイクロホンである。それらの指向特性は図1で示した通りである。マイクロホンに用いられるマイク素子は、コンデンサ型やダイナミック型など種々あるが、いずれにしても揺れに起因するノイズは問題となる。ダイナミック型マイクロホンは、ある程度の揺れに対する耐性をもってはいるが、感度の面でコンデンサ型マイクロホンよりも劣る。揺れの小さい安定状態において高い感度を得るためにはコンデンサ型マイクロホンを用いる方が望ましく、その場合、本発明による揺れ対策はいっそう重要なものとなる。【００３３】
ジャイロ200は、一般的な角速度センサである。ジャイロ200が検出する角速度の回転方向について、図6を参照しながら説明する。今、図3(b)のように、マイクロホンの振動面が正面方向になるように設置されたウェアラブル端末を首から吊り下げて使用する場合、図3(a)に示すように、正面方向にX軸、鉛直上向きにZ軸、X軸とZ軸に垂直な方向にY軸をとる。このとき、マイクロホンの振動面はYZ平面に平行であり、基準軸はX軸に平行となっている。ウェアラブル端末の揺れ方向は、ロール方向、ピッチ方向、ヨー方向の3種類に分類して考えられる。【００３４】
図6(a)は、X軸周りの回転であり、この回転方向をロール方向と呼ぶ。ロール方向の揺れは、首から吊り下げられたウェアラブル端末が、身体に平行に振動するような揺れである。このような揺れは、マイクロホンの振動面を基準軸方向に変位させないため、ノイズは発生しにくい。ロール方向の揺れに対して、ジャイロ200はX軸周りの回転の角速度を出力する。【００３５】
図6(b)は、Y軸周りの回転であり、この回転方向をピッチ方向と呼ぶ。ピッチ方向の揺れは、首から吊り下げられたウェアラブル端末が、身体に近づいたり遠ざかったりするような揺れである。このような揺れは、マイクロホンの振動面を基準軸方向に大きく変位させるため、小さな揺れであっても大きなノイズの原因となる。更に、身体との衝突によっても大きなノイズが発生するので、この方向の揺れに対するノイズ対策が最も重要となる。ピッチ方向の揺れに対して、ジャイロ200はY軸周りの回転の角速度を出力する。【００３６】
図6(c)は、Z軸周りの回転であり、この回転方向をヨー方向と呼ぶ。ヨー方向の揺れは、首から吊り下げられたウェアラブル端末が、首ヒモをねじらせて振動するような揺れである。このような揺れは、マイクロホンの振動面を基準軸方向に変位させるが、その変位は小さいので、それほど大きなノイズの原因にはならない。ヨー方向の揺れに対して、ジャイロ200はZ軸周りの回転の角速度を出力する。【００３７】
以上のように、揺れの方向によってノイズの発生しやすさが異なるため、どの方向の揺れを検出するかが重要となる。
なお、マイクロホンが複数あり、それらの基準軸が平行でない場合は、最もノイズを抑制したいマイクロホンを選び、そのマイクロホンの基準軸方向を考えてもよいし、複数のマイクロホン全体として最もノイズが発生しやすい方向を基準に考えてもよい。【００３８】
本発明の実施形態1におけるウェアラブル端末は、最もノイズを発生させやすいピッチ方向の揺れに対して、角速度を検出し指向性の切り替え制御を行うものとする。ジャイロ200は、ロール方向、ピッチ方向、ヨー方向の各角速度をすべて検出する3軸ジャイロであっても、ピッチ方向の角速度だけを検出する1軸ジャイロであってもよいが、3軸ジャイロの場合は、DSPにおいてピッチ方向の角速度だけを利用するものとする。ジャイロ200は、検出した角速度に対応する電圧値を出力し、AD変換器210に入力する。【００３９】
AD変換器210は、ジャイロ200が出力する電圧値を入力として、デジタル値に変換し、DSPに出力する。AD変換器210はクロック220が出力するクロック信号により駆動され、揺れの変化を検出できる程度のサンプリングフレームで電圧値を平均化したデジタル値を出力する。
これを、図7は、本発明の実施形態1におけるウェアラブル端末の、指向性切り替え制御を示すタイミングチャートを用いて説明する。図7における時間軸上の点t1,t2,...は、クロック周期の開始点を表している。ジャイロ200は、図7の第1段目に示すように、クロックの1周期に相当するフレームごとに角速度#1,#2,...を検出し、対応する電圧値を出力する。AD変換器210は、角速度#1から#5の5フレーム分の角速度を積算し、5フレーム分の時間長で平均化した値を乗算器310に出力する。【００４０】
DSPは、AD変換器210が出力するデジタル値を入力として、揺れの大きさが閾値より大きいかどうかを判定し、その結果に応じて、単一指向性マイクロホン110と無指向性マイクロホン120との切り替えを行う。DSPは、乗算器310、比較器320、指向性選択部330から構成される。
乗算器310は、AD変換器210から入力される5フレーム当たりの角速度を示すデジタル値に5フレームの時間長を乗じて、5フレームの時間に変化した平均的な角度を変位量として算出する。この変位量は、揺れの大きさの指標となる。乗算器310は、図7に第2段目に示すように、ジャイロ200の出力する角速度が5フレーム分蓄積された時刻t6において、変位量#1を算出し、比較器320に出力する。【００４１】
比較器320は、乗算器310で算出された変位量を予め決められた閾値と比較し、マイクロホン切り替え信号SS1を出力する。比較器320は、変位量が閾値より小さい間は、SS1=0を出力し、変位量が閾値より大きくなると、SS1=1を出力する。例えば、図7において、時刻t1では揺れが小さいとすると、マイクロホン切り替え信号SS1=0となっているとする。図7の第3段目に示すように、時刻t7において、変位量#1が閾値よりも大きいと比較器320が判定したとすると、時刻t8からは、マイクロホン切り替え信号SS1=1が出力される。【００４２】
指向性選択部330は、比較器320が出力するマイクロホン切り替え信号SS1が、SS1=0のときは単一指向性マイクロホン110を選択し、SS1=1のときは無指向性マイクロホン120を選択する。指向性選択部330は、選択されたマイクロホンからの入力信号をそのまま出力する。例えば、図7の第4段目に示すように、比較器320におけるマイクロホン切り替え信号の変更が完了する時刻t8までは、単一指向性マイクロホン110が選択され、時刻t8以降は、無指向性マイクロホン120が選択される。【００４３】
実際にウェアラブル端末が身体に装着されて使用される場合に生じる揺れと指向性切り替えの様子を模式的に表すと、図8のようになる。図8(a)には、利用者が静止している時間帯と移動している時間帯とが示されてある。図8(b)には、ジャイロ200で検出された角速度をもとに算出された変位量V1の時間変化がプロットされている。利用者が静止している間は、変位量V1は閾値αよりも小さな値をとっているのに対して、利用者が移動すると変位量V1はスパイク状の立ち上がりを示す。移動中にも変位量V1が、閾値α以下になる瞬間もあるが、短時間のうちにまた閾値α以上になる可能性が高いことを示している。図8(c)には、比較器320が出力するマイクロホン切り替え信号SS1の時間変化がプロットされている。最初、変位量V1は、閾値α以下であるので、比較器320はSS1=0を出力する。利用者の移動が始まり、最初に変位量V1が閾値αより大きくなる時刻T1において、比較器320はSS1=1に変更する。移動中、何度か変位量V1が閾値αより小さくなることもあるが、頻繁にマイクロホンの指向性を切り換えると聴感上の違和感を生じさせてしまうので、保持時間Tholdを設け、変位量V1が閾値αより小さくなっても、時間Tholdの間は、比較器320はSS1=1を出力し続ける。移動終了直前に、変位量V1が閾値αより小さくなる時刻T2から、時間Thold経過しても、変位量V1は閾値αより小さいままであるので、その時点で比較器320はSS1=0に切り替える。【００４４】
上で示した、指向性切り替え動作をフローチャートで示すと、図9のようになる。まず、ステップS101において、ジャイロ200が角速度を検出する。検出された角速度は、AD変換器210を介して乗算器310に入力される。次に、ステップS102において、乗算器310は、角速度とサンプリング時間から変位量V1を算出する。ステップS103では、比較器320が、変位量V1と閾値αを比較し、V1<αならステップS104に進み、V1>αならステップS106に進む。ステップS104ではV1<αとなってからの経過時間をTを取得する。ステップS105において、T<TholdならステップS106へ移り、T>TholdならステップS107へ進む。ステップS106では、比較器320は、マイクロホン切り替え信号SS1=1を出力し、ステップS108において、指向性選択部330は、無指向性マイクロホンを選択する。ステップS107では、比較器320は、マイクロホン切り替え信号SS1=0を出力し、ステップS109において、指向性選択部330は、単一指向性マイクロホンを選択する。【００４５】
以上のようにして、本発明の実施形態1におけるウェアラブル端末は、装置自体の揺れが小さいときは、目的の音声を感度よく収音できるように単一指向性マイクロホン110を用い、装置自体の揺れが大きいときは、ノイズの影響を受けにくく、感度が収音方向に依存しない無指向性マイクロホン120を用いることで、利用者の動作に影響されにくい収音を行うことができる。
〔実施形態2〕
本発明の実施形態2では、無指向性マイクロホンを2つ用い、ジャイロにより検出した揺れの大きさに応じて2つの無指向性マイクロホンが出力する音響信号から指向性を合成する方法の切り替えを行うウェアラブル端末について説明する。【００４６】
本発明の実施形態2におけるウェアラブル端末では、2つの無指向性マイクロホンを用いて一次音圧傾度型の指向性合成を行ない、図4に示すように、2つの無指向性マイクロホンはを距離dだけ離して設置する。無指向性マイクロホンの設置位置と距離dを調整することで指向性を制御し、話している相手の音声を感度良く収音するために、図4(a)のように収音方向を正面に向けることも、あるいは、利用者自身の音声を感度良く収音するたに、図4(b)のように収音方向を上に向けることもできる。このようにして、指向性を合成する場合でも、単一指向性マイクロホンのように、揺れに起因するノイズに対しては弱く、対策が必要となる。【００４７】
図10は、本発明の実施形態2におけるウェアラブル端末の構成を示すブロック図である。本発明の実施形態2におけるウェアラブル端末は、図5で示した実施形態1におけるウェアラブル端末の単一指向性マイクロホン110を無指向性マイクロホン121に、指向性選択部330を指向性合成部340に置き換えた構成となっている。
本発明の実施形態2におけるウェアラブル端末が、ジャイロ200で検出した角速度を乗算器310で変位量V1に変換し、比較器320で閾値αと比較することで指向性を切り替えるという点は、実施形態1と同じである。【００４８】
以下、本発明の実施形態2におけるウェアラブル端末の指向性合成部340について説明する。
本発明の実施形態2におけるウェアラブル端末の指向性合成部340は、比較器320が出力するマイクロホン切り替え信号SS1が0のときは、無指向性マイクロホン120と無指向性マイクロホン121から入力される信号を位相をずらして減算処理することにより指向性を合成した信号を出力する。また、マイクロホン切り替え信号SS1が1のときは、2つの無指向性マイクロホンから入力される信号のうちのいずれかの信号をそのまま出力する。【００４９】
図11は、本発明の実施形態2におけるウェアラブル端末の指向性合成部340の構成を示すブロック図である。指向性合成部340は、遅延器341、スイッチ342、減算器343、イコライザ344から構成される。
遅延器341は、無指向性マイクロホン120から入力される信号の位相を遅延させる。遅延時間τは、2つの無指向性マイクロホンの振動面の間の距離dと音速cとを用いてτ=d=cと定義される。ここで、音速cは、およそ340m/sの一定値とみなす。【００５０】
スイッチ342は、比較器320が出力するマイクロホン切り替え信号SS1に応じて、指向性の合成を行うかどうかを切り替えるスイッチである。SS1が0のときは、指向性を合成するために、遅延器341から入力される信号をそのまま減算器343へ出力する。SS1が1のときは、指向性を合成しないので、遅延器341から入力される信号を遮断する。
減算器343は、無指向性マイクロホン121から入力される信号と、スイッチ342を通過してくる信号に負号をつけた信号とを、加え合わせることにより減算処理を行う。無指向性マイクロホン120から入力される信号がスイッチ342で遮断されている場合は、減算器343は無指向性マイクロホン121から入力される信号をそのまま出力する。【００５１】
イコライザ344は、比較器320が出力するマイクロホン切り替え信号SS1に応じて、減算器343で減算処理された信号の低周波域の増幅を行う。SS1が0のときは、指向性合成が行われ、低周波感度が落ちているので、低周波域の増幅を行う。増幅する範囲や増幅の度合い等は、予め設計段階で定められている値を用いる。SS1が1のときは、指向性合成は行われていないので、増幅処理をする必要はなく、減算器343から入力される信号をそのまま出力する。【００５２】
以上のようにして、本発明の実施形態2におけるウェアラブル端末は、揺れが小さいときは、2つの無指向性マイクロホンからの信号を合成することで指向性を合成し、収音対象からの音声に対する感度を高め、揺れが大きいときは、無指向性マイクロホンから入力のいずれかを用いることで、収音対象からの音声に対する感度の低下を防ぐことができる。
〔実施形態3〕
本発明の実施形態3では、カメラにより撮影した画像により揺れの大きさを検出し、揺れの大きさに応じて指向性マイクロホンと無指向性マイクロホンの切り替えを行うウェアラブル端末について説明する。【００５３】
図12は、本発明の実施形態3におけるウェアラブル端末の構成を示すブロック図である。本発明の実施形態3におけるウェアラブル端末は、図5で示した実施形態1におけるウェアラブル端末のジャイロ200により検出する角速度の代わりに、撮像装置500により撮影した画像を用い、乗算器310において変位量を算出する代わりに、ブレ画像検出部510において画像にブレがないかどうかを検出する構成となっている。撮像装置500は、映像を撮影して電気信号として出力する装置であり、例えば、CCDカメラ等である。【００５４】
本発明の実施形態3におけるウェアラブル端末が、撮像装置500で一定の時間間隔で撮影され続ける画像をもとにブレ画像検出部510で画像のブレを検出したあと、比較器320が定量化されたブレと閾値αとを比較し、マイクロホン切り替え信号SS1に応じて、指向性選択部330が単一指向性マイクロホン110からの入力と無指向性マイクロホン120からの入力とを切り替えて出力する点は、実施形態1と同じである。【００５５】
以下、本発明の実施形態3におけるウェアラブル端末のブレ画像検出部510について説明する。
図13は、本発明の実施形態3におけるウェアラブル端末のブレ画像検出部510の構成を示すブロック図である。ブレ画像検出部510は、フレームメモリ511と動きベクトル算出部512から構成される。【００５６】
フレームメモリ511は、撮像装置500から入力される画像のうち、最新の2枚を記憶する。
動きベクトル算出部512は、フレームメモリ511に記憶されている最新の画像と直前の画像とを比較しすることによって、ウェアラブル端末自体の揺れを検出し、揺れの大きさを定量化する。画像から揺れの大きさを算出する方法は、例えば、特許文献2に開示されている方法がある。特許文献2の方法では、画像をメッシュに分割し、各ブロックごとに最新の画像と直前の画像との比較を行い、ブロック内の映像の動きを表す動きベクトルから、撮影対象物が揺れの大きさを算出する。撮影対象物が動いていないと仮定すると、これはウェアラブル端末自体が動いているものとみなすことができる。また、この方法に限らず、画像処理により揺れを検出できれば、他の方法であってもよい。【００５７】
例えば、図14のように首から吊りさげたウェアラブル端末が前後に揺れる場合で説明する。図14(a)のように、ウェアラブル端末が前方に揺れているときに撮影された画像は図14(b)のようになる。一方、図14(c)のように、ウェアラブル端末が鉛直方向に静止しているときに撮影された画像は図14(d)のようになる。これら2つの画像を比較すると、全体が上下にシフトしているので、このことから、ウェアラブル端末はピッチ方向に揺れていると判定される。また、シフトの大きさや撮影対象物の大きさの変化を解析することで、揺れの大きさを推定することができる。【００５８】
以上のようにして、撮像装置500で撮影した画像をもとに、ウェアラブル端末自体の揺れを検出し、揺れの大きさに応じてマイクロホンの指向性を切り替えることができる。
ウェアラブル端末では、一般的に撮影装置を備えており、音声の記録と同時に映像の記録も行われる。撮影した映像により揺れを検出する場合、揺れ検出のためジャイロ等を新たに設置する必要がないため、装置の小型にとって有利となる。
〔実施形態4〕
本発明の実施形態4では、身体に衝突した場合などに発生するインパルス性の揺れを検出し、衝撃の大きさに応じて2つの無指向性マイクが出力する音響信号から指向性を合成する方法の切り替えを行うウェアラブル端末について説明する。【００５９】
図15は、本発明の実施形態4におけるウェアラブル端末の構成を示すブロック図である。本発明の実施形態4におけるウェアラブル端末は、図2で示した実施形態2におけるウェアラブル端末の乗算器310と比較器320の間にインパルス検出部350を挿入し、遅延部360と遅延部361を追加した構成となっている。
本発明の実施形態4におけるウェアラブル端末は、ジャイロ200で検出した角速度を乗算器310で変位量V1に変換するまでと、比較器320が出力するマイクロホン切り替え信号SS1に応じて、2つの無指向性マイクロホンから出力される信号の間で減算処理を行って指向性を合成する点は、実施形態2と同じである。【００６０】
以下、本発明の実施形態4におけるウェアラブル端末のインパルス検出部350について説明する。
図16は、本発明の実施形態4におけるウェアラブル端末のインパルス検出部350の構成を示すブロック図である。インパルス検出部350は、算術演算器351レジスタ352とで構成される。【００６１】
算術演算器351は、乗算器310が出力する変位量V1の差分値を演算し、比較器320に出力する。時刻tにおいて、乗算器310が出力する変位量をVt、直前の時刻(t-1)において、乗算器310が出力した変位量をVt-1とすると、レジスタ352には、直前の変位量Vt-1が保持されている。算術演算器351は、乗算器310から入力される最新の変位量Vtと、レジスタ352に保持されている直前に変位量Vt-1との差(Vt-Vt-1)を比較器320に出力する。演算後、レジスタ352は最新の変位量Vtを保持するように更新される。【００６２】
図8でも示した通り、利用者が静止しているときは、変位量V1の変動は小さいので、差分値も小さくなる。しかし、利用者が移動を開始した直後や、移動中は、変位量V1が急激に変化するため、差分値も大きくなる。このようなインパルス性の揺れに対しては、閾値βと比較することにより揺れの大きさの判定を行う。
インパルス検出部350がインパルス性の揺れを検出するためには、変位量V1の差分をとるので、比較器320が出力するマイクロホン切り替え信号SS1は、マイクロホンが出力する信号に比べて遅延が生じる。この遅延を補正するために、マイクロホンからの出力に対して、遅延部360と遅延部361を挿入する。これらは、マイクロホンの出力信号を一定の遅延時間Timpだけ遅延して出力する。遅延時間Timpは、インパルス判定に要する時間に相当し、予め設定されているものとする。【００６３】
比較器320が出力するマイクロホン切替え信号SS1は、差分値が閾値βより大きいときSS1=1とし、差分値が閾値βより小さいときSS1=0とする点は、実施形態2と同じである。
インパルス性の揺れは通常の揺れに比べて大きなノイズを発生させやすいので、インパルス性の揺れに対する判定条件を緩く設定しておくことで、移動中でも収音品質の低下を防止することができる。
〔実施形態5〕
本発明の実施形態5では、揺れの方向ごとに異なる閾値を用いて判定を行い、各方向の揺れの大きさに応じて指向性マイクロホンと無指向性マイクロホンの切り替えを行うウェアラブル端末について説明する。【００６４】
図17は、本発明の実施形態5におけるウェアラブル端末の構成を示すブロック図である。本発明の実施形態5におけるウェアラブル端末は、図5で示した実施形態1におけるウェアラブル端末の乗算器310、比較器320が、ピッチ方向とロール方向とに別々に設置した構成となっている。ウェアラブル端末を図3(b)のように首から吊りさげて使う場合、首ひもの長さがあるために、図6で示した3つの方向のうち、ピッチ方向の揺れが最もマイクロホンの振動面を変位させる可能性が高いが、次にマイクロホンの振動面を変位させる可能性が高いのはロール方向である。そこで、本発明の実施形態5におけるウェアラブル端末は、ピッチ方向に加えて、それとは別にロール方向の揺れについても揺れの判定を行う。本発明の実施形態5におけるウェアラブル端末が、ジャイロ200で検出した角速度を、乗算器310および乗算器311で変位量に変換し、比較器320および比較器321で変位量と閾値と比較し、出力されるマイクロホン切り替え信号に応じて、指向性選択部330が、単一指向性マイクロホン110から入力される音響信号か、無指向性マイクロホン120から入力される音響信号のいずれかを選択して出力する点は、実施形態1と同じである。【００６５】
ただし、本発明の実施形態5におけるウェアラブル端末のジャイロ200は、ピッチ方向とロール方向の角速度を両方検出することのできる2軸ジャイロであるとする。また、ピッチ方向の閾値とロール方向の閾値とは個別に設定されている。ピッチ方向の揺れがマイクロホンの基準軸方向に揺れるのに対して、ロール方向の揺れはマイクロホンの基準軸に垂直な方向に揺れるので、ノイズの原因にはなりにくい。また、ピッチ方向の揺れは身体との衝突が起こりやすいのに対して、ロール方向の揺れは衝突は起こりにくいので、その点でも、ロール方向の揺れの方が、ノイズの原因になりにくい。従って、ピッチ方向の閾値をロール方向の閾値に比べて小さく設定しておくことで、ピッチ方向に対して敏感なノイズ対策を行うことができる。【００６６】
指向性選択部330は、比較器320から出力されるマイクロホン切り替え信号と、比較器321から出力されるマイクロホン切り替え信号との、いずれもが0のとき、揺れは小さいと判定し、単一指向性マイクロホン110からの入力信号を出力し、いずれかが1のとき、揺れが大きいと判定し、無指向性マイクロホン120からの入力信号を出力する。
以上のように、揺れがノイズを発生させやすい方向に対しては厳しい条件で判定を行い、揺れがノイズを発生させにくい方向に対しては緩い条件で判定を行うことで、できるだけ指向性マイクロホンを用いた感度の良い収音を継続しつつ、揺れが大きいときには無指向性マイクロホンに切り替えることで、ノイズの影響を軽減することができる。
〔その他の実施形態〕
上では、揺れの検出手段、揺れの大小の判定手段、指向性の制御手段を変えていくつかの組み合わせを説明したが、これら以外の組み合せで構成されたウェアラブル端末であってもよい。【００６７】
また、揺れの検出手段として、ジャイロによる角速度検出とカメラで撮影した映像解析とを説明したが、これら以外にも、例えば、加速度センサを用いて揺れを検出してもよい。
更に、指向性制御において、マイクロホン切り替え信号SS1が切り替わったときに、瞬間的に指向性を切り替えると聴感上の違和感が生じるので、クロスフェード処理で切り替えるようにしてもよい。クロスフェードとは、一方の指向性から他方の指向性へ切り替える際に、前者の音量を徐々に下げ、後者の音量を徐々に上げていくことをいう。【００６８】
また、指向性マイクロホンがもつ指向性は、単一指向性に限らず、二次音圧傾度型指向性や超指向性などであってもよい。
【産業上の利用可能性】
【００６９】
本発明にかかるウェアラブル端末は、装置自体の揺れを検出し、揺れが小さいときは、目的の方向からの音声を感度良く収音できるように指向性マイクロホンを用い、揺れが大きいときは、揺れに起因するノイズは収音方向のずれの影響を軽減して収音を継続できるように無指向性マイクロホンを用いるので、利用者が常時身に付けて周囲の音を記録し続けるような不安定な環境下でも、高品質な録音を行うことができる。このようなマイクロホンの指向性制御はウェアラブル端末の他にも、ビデオカメラ、音声レコーダー、車載用映像音声記録装置等にも利用することができる。
【図１】
2007099908.tif 000003
【図２】
2007099908.tif 000004
【図３】
2007099908.tif 000005
【図４】
2007099908.tif 000006
【図５】
2007099908.tif 000007
【図６】
2007099908.tif 000008
【図７】
2007099908.tif 000009
【図８】
2007099908.tif 000010
【図９】
2007099908.tif 000011
【図１０】
2007099908.tif 000012
【図１１】
2007099908.tif 000013
【図１２】
2007099908.tif 000014
【図１３】
2007099908.tif 000015
【図１４】
2007099908.tif 000016
【図１５】
2007099908.tif 000017
【図１６】
2007099908.tif 000018
【図１７】
2007099908.tif 000019
【手続補正書】
【提出日】平成20年8月7日(2008.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ウェアラブル端末であって、
少なくとも1方向に指向性を形成可能な収音部と、
前記ウェアラブル端末の揺れを検出する検出部と、
検出された前記揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を切り替える切替部とを備える
ことを特徴とするウェアラブル端末。
【請求項２】
前記収音部は、マイクロホンを含み、
前記切替部は、前記マイクロホンの基準軸方向の揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を切り替える
ことを特徴とする請求項1記載のウェアラブル端末。
【請求項３】
前記マイクロホンは音圧を感知する振動板を有し、
前記基準軸方向は、前記振動板が略軸対称である場合の軸方向であり、
前記検出部はピッチ方向の揺れを検出する
ことを特徴とする請求項2記載のウェアラブル端末。
【請求項４】
前記検出部は、自機のピッチ方向、ロール方向、ヨー方向の各角速度を出力するセンサと、
ピッチ方向、ロール方向、ヨー方向のうち、マイクロホンの基準軸の方向に、マイクロホンを変位させる角速度を変位量に変換する変換部とを備え、
前記切替部は、
変位量と閾値との比較を行う比較部を備え、
変位量が閾値を越えた場合に指向性を切り替える
ことを特徴とする請求項2記載のウェアラブル端末。
【請求項５】
前記切替部は、前記変位量が前記閾値を越えた場合に、
前記収音部の前記指向性を無指向性に切り替える
ことを特徴とする請求項4記載のウェアラブル端末。
【請求項６】
前記ウェアラブル端末は、カメラを更に備え、
前記切替部は、前記変位量が前記閾値を越えない場合に、
前記収音部の前記指向性を前記カメラの撮像方向に切り替える
ことを特徴とする請求項5記載のウェアラブル端末。
【請求項７】
前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、
前記検出手段は、前記カメラで撮影された第1の画像を、前記第1の画像より時間的に前に撮影された第2の画像と比較し、マイクロホンの基準軸の方向の揺れが発生したかどうかを検出する
ことを特徴をする請求項2記載のウェアラブル端末。
【請求項８】
前記切替部は、
前記第1の画像と前記第2の画像とに基づいて判定される自機のピッチ方向への変位量が閾値を越えた場合に、
前記収音部の前記指向性を無指向性に切り替える
ことを特徴とする請求項7記載のウェアラブル端末。
【請求項９】
前記切替部は、基準軸方向の変位量がインパルス性を有する出力である場合に、
前記収音部の前記指向性を無指向性に切り替える
ことを特徴とする請求項1及至4、7のいずれかに記載のウェアラブル端末。
【請求項１０】
前記検出部は、自機のピッチ方向、ロール方向、ヨー方向の各角速度を出力するセンサを備え、
前記インパルス性を有する出力は、ピッチ方向、ロール方向、ヨー方向の各角速度から算出される変位量の差分値としてそれぞれ表現され、
前記切替部は、
差分値と閾値との比較を行う比較部を備え、
差分値が閾値を越えた場合に指向性を切り替える
ことを特徴とする請求項9記載のウェアラブル端末。
【請求項１１】
前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、
前記インパルス性を有する出力は、カメラで撮影された画像におけるブレの度合いで表現される
ことを特徴とする請求項9記載のウェアラブル端末。
【請求項１２】
前記収音部は、指向性マイクロホンと無指向性マイクロホンとをそれぞれ少なくとも1つ以上含み、
前記切替部は、前記検出部により揺れが検出された場合に、指向性マイクロホンから入力される信号から、無指向性マイクロホンから入力される信号に、出力信号を切り替える
ことを特徴とする請求項1、7、9のいずれかに記載のウェアラブル端末。
【請求項１３】
前記収音部は、無指向性マイクロホンを少なくとも2つ以上含み、
無指向性マイクロホンからの入力信号を合成することにより感度に指向性をもたせる合成する合成部を備え、
前記切替部は、前記検出部により揺れが検出された場合に、前記合成部で合成された信号から、合成前の信号に、出力信号を切り替える
ことを特徴とする請求項1、7、9のいずれかに記載のウェアラブル端末。
【請求項１４】
前記比較部における変位量と閾値との比較は、揺れの方向ごとに個別に設定された閾値を用いてなされる
ことを特徴とする請求項4記載のウェアラブル端末。
【請求項１５】
前記切替部による指向性の切り替えは、クロスフェード処理により行われる
ことを特徴とする請求項1記載のウェアラブル端末。
【請求項１６】
ウェアラブル端末を制御するプロセッサであって、前記プロセッサは集積回路を含み、
前記ウェアラブル端末は、
少なくとも1方向に指向性を形成する収音部と、
前記ウェアラブル端末の基準軸方向の変位量を検出する検出部と、
前記収音部の指向性を切り替える切替部とを含み、
前記プロセッサは、前記集積回路を用いて前記検出部から入力される変位量を示す信号に応じて前記切り替え部を制御する信号を出力する
ことを特徴とするプロセッサ。
【請求項１７】
ウェアラブル端末を制御する方法であって、
少なくとも1方向に指向性を形成可能な収音ステップと、
前記ウェアラブル端末の揺れを検出する検出ステップと、
検出された前記揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を切り替える切替ステップとを備える
ことを特徴とする方法。
【請求項１８】
ウェアラブル端末の制御をプロセッサに実行させるプログラムであって、
少なくとも1方向に指向性を形成可能な収音ステップと、
前記ウェアラブル端末の揺れを検出する検出ステップと、
検出された前記揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を切り替える切替ステップとをプロセッサに実行させる
ことを特徴とするプログラム。
【請求項１９】
請求項18に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はウェアラブル端末においてマイクロホンにより収音する音声の品質向上に関する。
【背景技術】
【０００２】
近年、利用者が常時身体に装着し、利用者の体験する日常生活をライフログとして記録し続けることができるウェアラブル端末が登場しつつある。ここで、ウェアラブル端末とは、身体に着用できる小型の端末である。映像または音声を保存するために、機能として撮像部または収音部を備えるものを対象とする。ウェアラブル端末は、手や指による操作といった明示的な操作をしなくても、前述諸機能を継続する特性を有している。また、前記端末に取り付け部を備え、取り付け部にひも等をつけることにより首にぶら下げるなど身体の所定部位を基準として支持することや、または、着衣に固定することができる特性を有する携帯型の端末あるいは携帯型の撮影収音装置である。このようなウェアラブル端末に取り付けるマイクロホンは、収音方向をカメラが向いている正面方向に向け、向かい合って話している人物の声等を収音したり、収音方向を上に向け、利用者自身の声等を収音することができる。このような目的で用いられるウェアラブル端末は、屋外で騒音が存在する環境下においても明瞭に音声を録音する必要があるため、単一指向性マイクロホン等、特定方向から到来する音響信号を感度良く捉える指向性マイクロホンが用いられている。
【特許文献１】特開平1-39193号公報
【特許文献２】特開2005-37273号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、単一指向性マイクロホンは、特定の方向に対して感度が高い代わりに、それ以外の方向に対しては感度が低いので、ウェアラブル端末を装着した利用者が歩行等を行ったときに、揺れによって収音方向が変わってしまうという問題がある。図1は、単一指向性マイクロホンと無指向性マイクロホンの感度の指向特性を示した図である。無指向性マイクロホンは、どの方向からの音声も同じ感度で収音するのに対して、単一指向性マイクロホンは、正面方向からの音声を感度良く収音し、その他の方向からの音声は抑制されることを示している。従って、例えば、ウェアラブル端末を首からひもで吊り下げていて、マイクロホンが正面に向かいあって話している相手の声を収音するように設置されている場合に、利用者の動きによって首ひもがねじれてウェアラブル端末が正面方向から右に90度回転したとすると、本来想定している収音方向である正面方向からの音声は抑制され、抑制すべき右90度方向からの音声が高い感度で収音されてしまう。
【０００４】
また、単一指向性マイクロホンはノイズに対しても弱いという問題がある。図2は、単一指向性マイクロホンと無指向性マイクロホンの感度の周波数特性を示した図である。図2では、単一指向性マイクロホンとして、距離dだけ離して設置することで2つの無指向性マイクロホンで収音した信号に位相差をつけ、それらを電気的に減算することで指向性を合成する方式、すなわち、音圧傾度型の指向性合成方式を用い、合成前の無指向性マイクロホンの感度と、合成後の単一指向性マイクロホンの感度とを比較したものである。高周波域では、単一指向性マイクロホンも無指向性マイクロホンもノイズに対して良好な感度を示している。しかし、無指向性マイクロホンの周波数依存性が小さいのに対して、単一指向性マイクロホンは低周波域で著しく感度が落ちることがわかる。特に、単一指向性マイクロホンのサイズを表すパラメータであるdが小さくなるにつれて、低周波感度が悪化することがわかる。ウェアラブル端末のように携帯する装置では、装置サイズを小さくすることが要求されるため、マイクロホンを離して設置することで感度の問題を克服することは困難である。利用者の動きに伴って発生するノイズは数Hz程度の低い周波数をもつので、低周波域でS/N比が小さくなる単一指向性マイクロホンでは、イコライザにより低周波域を増幅して感度を補正したときに、低周波のノイズ成分が相対的に強調されてしまう。
【０００５】
単一指向性マイクロホンのノイズ対策を行った従来技術として特許文献1がある。特許文献1には、マイクロホンで収音された音響信号から、風がマイクロホンに当たる際に発生する風雑音を検出し、単一指向性マイクロホンと無指向性マイクロホンを切り替える装置が開示されている。しかし、特許文献1の装置は単一指向性マイクロホンにおいて風雑音を抑制する目的に好適な構成をとっており、装置の揺れにより発生する突発的なノイズを検知し適切に2つのマイクロホンの出力信号を切り替えることは困難である。
【０００６】
ウェアラブル端末は常時身体に装着され、利用者の状態にかかわらず収音動作が継続されているために、利用者の動きに伴って、ウェアラブル端末が揺らされたり、利用者の身体に衝突したりする危険が常にあり、単一指向性マイクロホンを用いる場合、揺れに起因するノイズの影響や収音方向のずれが収音品質の著しい低下を招くため、何らかの対策を行うことが必要となる。
【０００７】
本発明の目的は、ウェアラブル端末のような不安定な環境下で常時収音動作が継続される装置において、装置が揺れてもできるだけ音質を低下させることなく収音することができる装置を提供することである。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係るウェアラブル端末は、収音手段と、自機の揺れを検出する検出手段と、前記検出手段により検出される揺れの大きさに基づいて、収音手段における指向性の切り替えを行う切替手段とを備えることを特徴とするウェアラブル端末である。
【発明の効果】
【０００９】
本発明におけるウェアラブル端末によると、揺れが小さい安定な状態に装置があるか、あるいは、揺れが大きい不安定な状態に装置があるかを検出し、安定な状態にある場合には、目的とする音声を感度よく収音できるようにマイクロホンに指向性をもたせ、不安定な状態にある場合には、揺れに影響されにくいように無指向性マイクロホンからの入力を利用するように、マイクロホンの指向性を切り替えることができる。
【００１０】
ここで、揺れとは、ウェアラブル端末の位置が、例えば、前後あるいは上下に連続的に変化することのみならず、端末位置が任意の方向に変位するベクトルを示す。揺れの大きさとは、前記ベクトルの絶対値で表されるスカラー量であり、揺れの有無とは、前記ベクトルの絶対値が0でないかあるかのいずれかを示す。所定の方向への揺れの大きさとは、前記ベクトルの前記所定の方向の成分値を示す。
【００１１】
揺れの大きさによって、マイクロホンの指向性を切り替えるので、ウェアラブル端末のように常時携帯され収音が継続される装置であっても、利用者の行動によって引き起こされる揺れの影響を軽減して、目的とする音声を明瞭に収音することができる。
例えば、首ひもがねじれて収音方向がずれるような揺れの場合でも、揺れが小さければ指向性マイクロホンにより本来収音すべき音声を感度良く収音し、首ひもが90度ねじれて収音方向がずれてしまうような大きな揺れがあった場合は無指向性マイクロホンに切り替えることで、本来収音すべき音声に対して感度が低下することを防ぐ。
【００１２】
また、利用者の動きに伴って低周波ノイズが発生したとしても、指向性マイクロホンから無指向性マイクロホンに切り替えると、感度の周波数依存性はなくなるので、イコライザにより低周波域を増幅する必要はなく、低周波のノイズ成分が相対的に強調されてしまう事態を防止できる。
ここで、前記収音部は、マイクロホンを含み、前記切替部は、前記マイクロホンの基準軸方向の揺れの大きさに基づいて前記指向性の方向または前記指向性の有無を切り替えるとしてもよい。
【００１３】
マイクロホンを基準軸の方向に大きく変位させる揺れが、最もノイズを発生させやすいため、マイクロホンの基準軸の方向の揺れに対して揺れの大小の判定を行うことで、指向性の切り替えを有効に行うことができる。
ここで、前記マイクロホンは音圧を感知する振動板を有し、前記基準軸方向は、前記振動板が略軸対称である場合の軸方向であり、前記検出部はピッチ方向の揺れを検出するとしてもよい。
【００１４】
マイクロホンの振動板は通常、ほぼ軸対称の形状をしており、その対称軸を基準軸としたとき、基準軸方向をピッチ方向と呼ぶ。ピッチ方向の揺れは最もノイズとしての影響が大きいため、これを検出対象とすることで、効果的なノイズ対策を行うことができる。
ここで、前記検出手段は、自機のピッチ方向、ロール方向、ヨー方向の各角速度を出力するセンサと、ピッチ方向、ロール方向、ヨー方向のうち、マイクロホンの基準軸の方向に、マイクロホンを変位させる角速度を変位量に変換する変換手段とを備え、前記切替手段は、変位量と閾値との比較を行う比較手段を備え、変位量が閾値を越えた場合に指向性を切り替えるとしてもよい。
【００１５】
装置の揺れの大きさを角速度から検出し、それと閾値とを比較することで、マイクロホンに指向性をもたせるかどうかの判定を行うことができる。揺れが閾値を越えた場合に無指向性マイクロホンを利用するように切り替えることで、揺れに起因するノイズの影響を軽減することができる。
ここで、前記切替部は、前記変位量が前記閾値を越えた場合に、前記収音部の前記指向性を無指向性に切り替えるとしてもよい。
【００１６】
自機の揺れの大きさを表す変位量が閾値を越えたとき、収音部の指向性を無指向性にするので、揺れによるノイズの影響を軽減することができる。設計段階で決める閾値によって揺れに対する耐性を制御できる。
ここで、前記ウェアラブル端末は、カメラを更に備え、前記切替部は、前記変位量が前記閾値を越えない場合に、前記カメラの撮像方向に前記指向性を有するとしてもよい。
【００１７】
自機の揺れの大きさを表す変位量が閾値を越えなければ、指向性マイクロホンでもノイズの影響は小さいと判断される。収音部の指向性をカメラの撮像方向に合わせることで、撮影している相手の音声をよりはっきりと収音することができる。
ここで、前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、前記検出手段は、前記カメラで撮影された第1の画像を、前記第1の画像より時間的に前に撮影された第2の画像と比較し、マイクロホンの基準軸の方向の揺れが発生したかどうかを検出するとしてもよい。
【００１８】
音声と同時に映像を記録するためにカメラを備えているウェアラブル端末では、別途センサを設置しなくても、カメラで撮影された画像をもとに揺れの大きさを判定することができる。映像を解析することで、マイクロホンの基準軸の方向の揺れであるかどうかを判定することができる。
ここで、前記切替部は、前記第1の画像と前記第2の画像とに基づいて判定される自機のピッチ方向への変位量が閾値を越えた場合に、前記収音部の前記指向性を無指向性に切り替えるとしてもよい。
【００１９】
カメラが撮影した画像を解析することにより、自機がどちらの方向に揺れているかを判定することができるので、最もノイズの影響が大きくなるピッチ方向の揺れを検出することができる。ピッチ方向の揺れの大きさを示す変位量が閾値を越えた場合に、指向性を無指向性に切り替えることで、ノイズの影響を軽減することができる。
ここで、前記切替部は、基準軸方向の変位量がインパルス性を有する出力である場合に、前記収音部の前記指向性を無指向性に切り替えるとしてもよい。
【００２０】
ウェアラブル端末が身体などにぶつかった衝撃で発生するインパルス性の揺れを検出し、その場合に無指向性マイクロホンに切り替えることで、突発的なノイズの影響を軽減することができる。
ここで、前記検出手段は、自機のピッチ方向、ロール方向、ヨー方向の各角速度を出力するセンサを備え、前記インパルス出力は、ピッチ方向、ロール方向、ヨー方向の各角速度から算出される変位量の差分値としてそれぞれ表現され、前記切替手段は、差分値と閾値との比較を行う比較手段を備え、差分値が閾値を越えた場合に指向性を切り替えるとしてもよい。
【００２１】
装置の揺れの大きさを角速度で検出し、揺れの変化の大きさを表す差分値をインパクト性の揺れの大きさとみなし、差分値が閾値よりも大きい場合に指向性のマイクロホンから無指向性マイクロホンに切り替えることで、突発的なノイズの影響を軽減することができる。
ここで、前記ウェアラブル端末は、所定の時間間隔で撮影処理を行うカメラを備え、前記インパルス出力は、カメラで撮影された画像におけるブレの度合いで表現されるとしてもよい。
【００２２】
カメラで撮影された画像にブレがある場合に、インパルス性の揺れが発生したとみなし、その場合に無指向性マイクロホンに切り替えることで、突発的なノイズの影響を軽減することができる。
ここで、前記収音手段は、指向性マイクロホンと無指向性マイクロホンとをそれぞれ少なくとも1つ以上含み、前記切替手段は、前記検出手段により揺れが検出された場合に、指向性マイクロホンから入力される信号から、無指向性マイクロホンから入力される信号に、出力信号を切り替えるとしてもよい。
【００２３】
指向性マイクロホンと無指向性マイクロホンをそれぞれ設置し、揺れの大きさに応じて両者を切り替えることができる。揺れが小さいときは、目的の音声を感度よく収音できるが指向性マイクロホンを用い、揺れが大きいときは、ノイズに対する耐性が強く収音方向によらず一定の感度をもつ無指向性マイクロホンを用いることで、利用者が移動しながら収音するような場合でも、音質の低下を防ぐことができる。
【００２４】
ここで、前記収音手段は、無指向性マイクロホンを少なくとも2つ以上含み、無指向性マイクロホンからの入力信号を合成することにより感度に指向性をもたせる合成する合成手段を備え、前記切替手段は、前記検出手段により揺れが検出された場合に、前記合成手段で合成された信号から、合成前の信号に、出力信号を切り替えるとしてもよい。
無指向性マイクロホンを複数使って、それらの音響信号を合成することにより指向性を生み出すので、指向性マイクロホンを別途用意しなくても、目的の音声に対して感度良い収音を行うことができる。揺れが大きい場合は、いずれか一方の無指向性マイクロホンからの入力を用いることで、利用者が移動しながら収音するような場合でも、音質の低下を防ぐことができる。
【００２５】
ここで、前記比較手段における変位量と閾値との比較は、揺れの方向ごとに個別に設定された閾値を用いてなされるとしてもよい。
揺れの大きさを表す角速度と閾値の比較は、揺れの方向ごとに設定された閾値を用いて、それぞれ個別に行われるので、マイクロホンの基準軸の方向のように小さな揺れでも大きなノイズを生む方向に対しては閾値を小さくし、マイクロホンを基準軸の方向に変位させずノイズを生みにくい揺れに対しては閾値を大きくするなどして、小さいゆれに対しても敏感に反応する指向性切り替えを行うことができる。
【００２６】
ここで、前記切替手段による指向性の切り替えは、クロスフェード処理により行われるとしてもよい。
指向性を切り替える際に、瞬時に切り替えるのではなく、切り替え前の出力成分を徐々に下げ、同時に、切り替え後の出力成分を徐々に上げるというクロスフェード処理を行うことで、聴感上の違和感をより軽減することができる。
【発明を実施するための最良の形態】
【００２７】
〔実施形態1〕
本発明の実施形態1では、ジャイロにより検出した揺れの大きさに応じて指向性マイクロホンと無指向性マイクロホンの切り替えを行うウェアラブル端末について説明する。
図3(a)は、本発明の実施形態1におけるウェアラブル端末の外観図である。ウェアラブル端末は、正面の映像を取得するためのカメラと、音声等を収音するためのマイクロホンと、ウェアラブル端末自体の揺れを検出するためのジャイロを内蔵している。ウェアラブル端末は、カード型の薄い形状をしており、マイクロホンは基準軸をカメラの正面方向に向けて設置されているものとする。このウェアラブル端末は、図3(b)に示すように、利用者が首から吊り下げて使用されることを想定している。指向性マイクロホンの指向性の方向とマイクロホンの基準軸の方向は、必ずしも一致する必要はなく、図4に示すように、カメラの撮影対象となる話し相手の方向に向けてもよいし、自分の声を収音する目的で上向きにしてもよい。
【００２８】
ここで、マイクロホンの基準軸と振動面の関係について述べておく。マイクロホンは、空気の振動である音波を検出し、それを電気信号に変換する装置であるが、音圧を感知するための振動面をもっている。この振動面は平面とは限らないが、通常、軸対称、もしくは軸対称に近い形状をしており、この対称軸を基準軸と呼ぶ。(IEC60050-801参照)マイクロホンは、基準軸方向において振動面と空気との接触面積が大きくなるような構造をしており、振動面が平面である場合は、基準軸と振動面とは互いに垂直になっている。以下では、振動面が平面でない場合でも、便宜上、基準軸に垂直な平面を振動面と呼んで説明する。
【００２９】
図5は、本発明の実施形態1におけるウェアラブル端末の構成を示すブロック図である。本発明の実施形態1におけるウェアラブル端末は、ジャイロ200で検出した角速度を、AD変換器210を介してDSP(DigitalSignal Processor)に入力し、揺れの大きさを判定して単一指向性マイクロホン110と無指向性マイクロホン120とを切り替えて収音する構成になっている。ジャイロ200、AD変換器210、DSPはクロック220で同期されている。収音された音声データは、符号化部400において符号化されたのち、SDカードなどの記録媒体への記録や、LAN内でのライブ配信などのために、記録部410や配信部420へと転送される。
【００３０】
以下、各構成要素の詳細について説明する。
単一指向性マイクロホン110および無指向性マイクロホン120は、それぞれ、特定の方向からの音声に対して高い感度を示すマイクロホンと、どの方向からの音声に対しても同じ感度で収音するマイクロホンである。それらの指向特性は図1で示した通りである。マイクロホンに用いられるマイク素子は、コンデンサ型やダイナミック型など種々あるが、いずれにしても揺れに起因するノイズは問題となる。ダイナミック型マイクロホンは、ある程度の揺れに対する耐性をもってはいるが、感度の面でコンデンサ型マイクロホンよりも劣る。揺れの小さい安定状態において高い感度を得るためにはコンデンサ型マイクロホンを用いる方が望ましく、その場合、本発明による揺れ対策はいっそう重要なものとなる。
【００３１】
ジャイロ200は、一般的な角速度センサである。ジャイロ200が検出する角速度の回転方向について、図6を参照しながら説明する。今、図3(b)のように、マイクロホンの振動面が正面方向になるように設置されたウェアラブル端末を首から吊り下げて使用する場合、図3(a)に示すように、正面方向にX軸、鉛直上向きにZ軸、X軸とZ軸に垂直な方向にY軸をとる。このとき、マイクロホンの振動面はYZ平面に平行であり、基準軸はX軸に平行となっている。ウェアラブル端末の揺れ方向は、ロール方向、ピッチ方向、ヨー方向の3種類に分類して考えられる。
【００３２】
図6(a)は、X軸周りの回転であり、この回転方向をロール方向と呼ぶ。ロール方向の揺れは、首から吊り下げられたウェアラブル端末が、身体に平行に振動するような揺れである。このような揺れは、マイクロホンの振動面を基準軸方向に変位させないため、ノイズは発生しにくい。ロール方向の揺れに対して、ジャイロ200はX軸周りの回転の角速度を出力する。
【００３３】
図6(b)は、Y軸周りの回転であり、この回転方向をピッチ方向と呼ぶ。ピッチ方向の揺れは、首から吊り下げられたウェアラブル端末が、身体に近づいたり遠ざかったりするような揺れである。このような揺れは、マイクロホンの振動面を基準軸方向に大きく変位させるため、小さな揺れであっても大きなノイズの原因となる。更に、身体との衝突によっても大きなノイズが発生するので、この方向の揺れに対するノイズ対策が最も重要となる。ピッチ方向の揺れに対して、ジャイロ200はY軸周りの回転の角速度を出力する。
【００３４】
図6(c)は、Z軸周りの回転であり、この回転方向をヨー方向と呼ぶ。ヨー方向の揺れは、首から吊り下げられたウェアラブル端末が、首ヒモをねじらせて振動するような揺れである。このような揺れは、マイクロホンの振動面を基準軸方向に変位させるが、その変位は小さいので、それほど大きなノイズの原因にはならない。ヨー方向の揺れに対して、ジャイロ200はZ軸周りの回転の角速度を出力する。
【００３５】
以上のように、揺れの方向によってノイズの発生しやすさが異なるため、どの方向の揺れを検出するかが重要となる。
なお、マイクロホンが複数あり、それらの基準軸が平行でない場合は、最もノイズを抑制したいマイクロホンを選び、そのマイクロホンの基準軸方向を考えてもよいし、複数のマイクロホン全体として最もノイズが発生しやすい方向を基準に考えてもよい。
【００３６】
本発明の実施形態1におけるウェアラブル端末は、最もノイズを発生させやすいピッチ方向の揺れに対して、角速度を検出し指向性の切り替え制御を行うものとする。ジャイロ200は、ロール方向、ピッチ方向、ヨー方向の各角速度をすべて検出する3軸ジャイロであっても、ピッチ方向の角速度だけを検出する1軸ジャイロであってもよいが、3軸ジャイロの場合は、DSPにおいてピッチ方向の角速度だけを利用するものとする。ジャイロ200は、検出した角速度に対応する電圧値を出力し、AD変換器210に入力する。
【００３７】
AD変換器210は、ジャイロ200が出力する電圧値を入力として、デジタル値に変換し、DSPに出力する。AD変換器210はクロック220が出力するクロック信号により駆動され、揺れの変化を検出できる程度のサンプリングフレームで電圧値を平均化したデジタル値を出力する。
これを、図7は、本発明の実施形態1におけるウェアラブル端末の、指向性切り替え制御を示すタイミングチャートを用いて説明する。図7における時間軸上の点t1,t2,...は、クロック周期の開始点を表している。ジャイロ200は、図7の第1段目に示すように、クロックの1周期に相当するフレームごとに角速度#1,#2,...を検出し、対応する電圧値を出力する。AD変換器210は、角速度#1から#5の5フレーム分の角速度を積算し、5フレーム分の時間長で平均化した値を乗算器310に出力する。
【００３８】
DSPは、AD変換器210が出力するデジタル値を入力として、揺れの大きさが閾値より大きいかどうかを判定し、その結果に応じて、単一指向性マイクロホン110と無指向性マイクロホン120との切り替えを行う。DSPは、乗算器310、比較器320、指向性選択部330から構成される。
乗算器310は、AD変換器210から入力される5フレーム当たりの角速度を示すデジタル値に5フレームの時間長を乗じて、5フレームの時間に変化した平均的な角度を変位量として算出する。この変位量は、揺れの大きさの指標となる。乗算器310は、図7に第2段目に示すように、ジャイロ200の出力する角速度が5フレーム分蓄積された時刻t6において、変位量#1を算出し、比較器320に出力する。
【００３９】
比較器320は、乗算器310で算出された変位量を予め決められた閾値と比較し、マイクロホン切り替え信号SS1を出力する。比較器320は、変位量が閾値より小さい間は、SS1=0を出力し、変位量が閾値より大きくなると、SS1=1を出力する。例えば、図7において、時刻t1では揺れが小さいとすると、マイクロホン切り替え信号SS1=0となっているとする。図7の第3段目に示すように、時刻t7において、変位量#1が閾値よりも大きいと比較器320が判定したとすると、時刻t8からは、マイクロホン切り替え信号SS1=1が出力される。
【００４０】
指向性選択部330は、比較器320が出力するマイクロホン切り替え信号SS1が、SS1=0のときは単一指向性マイクロホン110を選択し、SS1=1のときは無指向性マイクロホン120を選択する。指向性選択部330は、選択されたマイクロホンからの入力信号をそのまま出力する。例えば、図7の第4段目に示すように、比較器320におけるマイクロホン切り替え信号の変更が完了する時刻t8までは、単一指向性マイクロホン110が選択され、時刻t8以降は、無指向性マイクロホン120が選択される。
【００４１】
実際にウェアラブル端末が身体に装着されて使用される場合に生じる揺れと指向性切り替えの様子を模式的に表すと、図8のようになる。図8(a)には、利用者が静止している時間帯と移動している時間帯とが示されてある。図8(b)には、ジャイロ200で検出された角速度をもとに算出された変位量V1の時間変化がプロットされている。利用者が静止している間は、変位量V1は閾値αよりも小さな値をとっているのに対して、利用者が移動すると変位量V1はスパイク状の立ち上がりを示す。移動中にも変位量V1が、閾値α以下になる瞬間もあるが、短時間のうちにまた閾値α以上になる可能性が高いことを示している。図8(c)には、比較器320が出力するマイクロホン切り替え信号SS1の時間変化がプロットされている。最初、変位量V1は、閾値α以下であるので、比較器320はSS1=0を出力する。利用者の移動が始まり、最初に変位量V1が閾値αより大きくなる時刻T1において、比較器320はSS1=1に変更する。移動中、何度か変位量V1が閾値αより小さくなることもあるが、頻繁にマイクロホンの指向性を切り換えると聴感上の違和感を生じさせてしまうので、保持時間Tholdを設け、変位量V1が閾値αより小さくなっても、時間Tholdの間は、比較器320はSS1=1を出力し続ける。移動終了直前に、変位量V1が閾値αより小さくなる時刻T2から、時間Thold経過しても、変位量V1は閾値αより小さいままであるので、その時点で比較器320はSS1=0に切り替える。
【００４２】
上で示した、指向性切り替え動作をフローチャートで示すと、図9のようになる。まず、ステップS101において、ジャイロ200が角速度を検出する。検出された角速度は、AD変換器210を介して乗算器310に入力される。次に、ステップS102において、乗算器310は、角速度とサンプリング時間から変位量V1を算出する。ステップS103では、比較器320が、変位量V1と閾値αを比較し、V1<αならステップS104に進み、V1>αならステップS106に進む。ステップS104ではV1<αとなってからの経過時間をTを取得する。ステップS105において、T<TholdならステップS106へ移り、T>TholdならステップS107へ進む。ステップS106では、比較器320は、マイクロホン切り替え信号SS1=1を出力し、ステップS108において、指向性選択部330は、無指向性マイクロホンを選択する。ステップS107では、比較器320は、マイクロホン切り替え信号SS1=0を出力し、ステップS109において、指向性選択部330は、単一指向性マイクロホンを選択する。
【００４３】
以上のようにして、本発明の実施形態1におけるウェアラブル端末は、装置自体の揺れが小さいときは、目的の音声を感度よく収音できるように単一指向性マイクロホン110を用い、装置自体の揺れが大きいときは、ノイズの影響を受けにくく、感度が収音方向に依存しない無指向性マイクロホン120を用いることで、利用者の動作に影響されにくい収音を行うことができる。
〔実施形態2〕
本発明の実施形態2では、無指向性マイクロホンを2つ用い、ジャイロにより検出した揺れの大きさに応じて2つの無指向性マイクロホンが出力する音響信号から指向性を合成する方法の切り替えを行うウェアラブル端末について説明する。
【００４４】
本発明の実施形態2におけるウェアラブル端末では、2つの無指向性マイクロホンを用いて一次音圧傾度型の指向性合成を行ない、図4に示すように、2つの無指向性マイクロホンはを距離dだけ離して設置する。無指向性マイクロホンの設置位置と距離dを調整することで指向性を制御し、話している相手の音声を感度良く収音するために、図4(a)のように収音方向を正面に向けることも、あるいは、利用者自身の音声を感度良く収音するたに、図4(b)のように収音方向を上に向けることもできる。このようにして、指向性を合成する場合でも、単一指向性マイクロホンのように、揺れに起因するノイズに対しては弱く、対策が必要となる。
【００４５】
図10は、本発明の実施形態2におけるウェアラブル端末の構成を示すブロック図である。本発明の実施形態2におけるウェアラブル端末は、図5で示した実施形態1におけるウェアラブル端末の単一指向性マイクロホン110を無指向性マイクロホン121に、指向性選択部330を指向性合成部340に置き換えた構成となっている。
本発明の実施形態2におけるウェアラブル端末が、ジャイロ200で検出した角速度を乗算器310で変位量V1に変換し、比較器320で閾値αと比較することで指向性を切り替えるという点は、実施形態1と同じである。
【００４６】
以下、本発明の実施形態2におけるウェアラブル端末の指向性合成部340について説明する。
本発明の実施形態2におけるウェアラブル端末の指向性合成部340は、比較器320が出力するマイクロホン切り替え信号SS1が0のときは、無指向性マイクロホン120と無指向性マイクロホン121から入力される信号を位相をずらして減算処理することにより指向性を合成した信号を出力する。また、マイクロホン切り替え信号SS1が1のときは、2つの無指向性マイクロホンから入力される信号のうちのいずれかの信号をそのまま出力する。
【００４７】
図11は、本発明の実施形態2におけるウェアラブル端末の指向性合成部340の構成を示すブロック図である。指向性合成部340は、遅延器341、スイッチ342、減算器343、イコライザ344から構成される。
遅延器341は、無指向性マイクロホン120から入力される信号の位相を遅延させる。遅延時間τは、2つの無指向性マイクロホンの振動面の間の距離dと音速cとを用いてτ=d=cと定義される。ここで、音速cは、およそ340m/sの一定値とみなす。
【００４８】
スイッチ342は、比較器320が出力するマイクロホン切り替え信号SS1に応じて、指向性の合成を行うかどうかを切り替えるスイッチである。SS1が0のときは、指向性を合成するために、遅延器341から入力される信号をそのまま減算器343へ出力する。SS1が1のときは、指向性を合成しないので、遅延器341から入力される信号を遮断する。
減算器343は、無指向性マイクロホン121から入力される信号と、スイッチ342を通過してくる信号に負号をつけた信号とを、加え合わせることにより減算処理を行う。無指向性マイクロホン120から入力される信号がスイッチ342で遮断されている場合は、減算器343は無指向性マイクロホン121から入力される信号をそのまま出力する。
【００４９】
イコライザ344は、比較器320が出力するマイクロホン切り替え信号SS1に応じて、減算器343で減算処理された信号の低周波域の増幅を行う。SS1が0のときは、指向性合成が行われ、低周波感度が落ちているので、低周波域の増幅を行う。増幅する範囲や増幅の度合い等は、予め設計段階で定められている値を用いる。SS1が1のときは、指向性合成は行われていないので、増幅処理をする必要はなく、減算器343から入力される信号をそのまま出力する。
【００５０】
以上のようにして、本発明の実施形態2におけるウェアラブル端末は、揺れが小さいときは、2つの無指向性マイクロホンからの信号を合成することで指向性を合成し、収音対象からの音声に対する感度を高め、揺れが大きいときは、無指向性マイクロホンから入力のいずれかを用いることで、収音対象からの音声に対する感度の低下を防ぐことができる。
〔実施形態3〕
本発明の実施形態3では、カメラにより撮影した画像により揺れの大きさを検出し、揺れの大きさに応じて指向性マイクロホンと無指向性マイクロホンの切り替えを行うウェアラブル端末について説明する。
【００５１】
図12は、本発明の実施形態3におけるウェアラブル端末の構成を示すブロック図である。本発明の実施形態3におけるウェアラブル端末は、図5で示した実施形態1におけるウェアラブル端末のジャイロ200により検出する角速度の代わりに、撮像装置500により撮影した画像を用い、乗算器310において変位量を算出する代わりに、ブレ画像検出部510において画像にブレがないかどうかを検出する構成となっている。撮像装置500は、映像を撮影して電気信号として出力する装置であり、例えば、CCDカメラ等である。
【００５２】
本発明の実施形態3におけるウェアラブル端末が、撮像装置500で一定の時間間隔で撮影され続ける画像をもとにブレ画像検出部510で画像のブレを検出したあと、比較器320が定量化されたブレと閾値αとを比較し、マイクロホン切り替え信号SS1に応じて、指向性選択部330が単一指向性マイクロホン110からの入力と無指向性マイクロホン120からの入力とを切り替えて出力する点は、実施形態1と同じである。
【００５３】
以下、本発明の実施形態3におけるウェアラブル端末のブレ画像検出部510について説明する。
図13は、本発明の実施形態3におけるウェアラブル端末のブレ画像検出部510の構成を示すブロック図である。ブレ画像検出部510は、フレームメモリ511と動きベクトル算出部512から構成される。
【００５４】
フレームメモリ511は、撮像装置500から入力される画像のうち、最新の2枚を記憶する。
動きベクトル算出部512は、フレームメモリ511に記憶されている最新の画像と直前の画像とを比較しすることによって、ウェアラブル端末自体の揺れを検出し、揺れの大きさを定量化する。画像から揺れの大きさを算出する方法は、例えば、特許文献2に開示されている方法がある。特許文献2の方法では、画像をメッシュに分割し、各ブロックごとに最新の画像と直前の画像との比較を行い、ブロック内の映像の動きを表す動きベクトルから、撮影対象物が揺れの大きさを算出する。撮影対象物が動いていないと仮定すると、これはウェアラブル端末自体が動いているものとみなすことができる。また、この方法に限らず、画像処理により揺れを検出できれば、他の方法であってもよい。
【００５５】
例えば、図14のように首から吊りさげたウェアラブル端末が前後に揺れる場合で説明する。図14(a)のように、ウェアラブル端末が前方に揺れているときに撮影された画像は図14(b)のようになる。一方、図14(c)のように、ウェアラブル端末が鉛直方向に静止しているときに撮影された画像は図14(d)のようになる。これら2つの画像を比較すると、全体が上下にシフトしているので、このことから、ウェアラブル端末はピッチ方向に揺れていると判定される。また、シフトの大きさや撮影対象物の大きさの変化を解析することで、揺れの大きさを推定することができる。
【００５６】
以上のようにして、撮像装置500で撮影した画像をもとに、ウェアラブル端末自体の揺れを検出し、揺れの大きさに応じてマイクロホンの指向性を切り替えることができる。
ウェアラブル端末では、一般的に撮影装置を備えており、音声の記録と同時に映像の記録も行われる。撮影した映像により揺れを検出する場合、揺れ検出のためジャイロ等を新たに設置する必要がないため、装置の小型にとって有利となる。
〔実施形態4〕
本発明の実施形態4では、身体に衝突した場合などに発生するインパルス性の揺れを検出し、衝撃の大きさに応じて2つの無指向性マイクが出力する音響信号から指向性を合成する方法の切り替えを行うウェアラブル端末について説明する。
【００５７】
図15は、本発明の実施形態4におけるウェアラブル端末の構成を示すブロック図である。本発明の実施形態4におけるウェアラブル端末は、図2で示した実施形態2におけるウェアラブル端末の乗算器310と比較器320の間にインパルス検出部350を挿入し、遅延部360と遅延部361を追加した構成となっている。
本発明の実施形態4におけるウェアラブル端末は、ジャイロ200で検出した角速度を乗算器310で変位量V1に変換するまでと、比較器320が出力するマイクロホン切り替え信号SS1に応じて、2つの無指向性マイクロホンから出力される信号の間で減算処理を行って指向性を合成する点は、実施形態2と同じである。
【００５８】
以下、本発明の実施形態4におけるウェアラブル端末のインパルス検出部350について説明する。
図16は、本発明の実施形態4におけるウェアラブル端末のインパルス検出部350の構成を示すブロック図である。インパルス検出部350は、算術演算器351レジスタ352とで構成される。
【００５９】
算術演算器351は、乗算器310が出力する変位量V1の差分値を演算し、比較器320に出力する。時刻tにおいて、乗算器310が出力する変位量をVt、直前の時刻(t-1)において、乗算器310が出力した変位量をVt-1とすると、レジスタ352には、直前の変位量Vt-1が保持されている。算術演算器351は、乗算器310から入力される最新の変位量Vtと、レジスタ352に保持されている直前に変位量Vt-1との差(Vt-Vt-1)を比較器320に出力する。演算後、レジスタ352は最新の変位量Vtを保持するように更新される。
【００６０】
図8でも示した通り、利用者が静止しているときは、変位量V1の変動は小さいので、差分値も小さくなる。しかし、利用者が移動を開始した直後や、移動中は、変位量V1が急激に変化するため、差分値も大きくなる。このようなインパルス性の揺れに対しては、閾値βと比較することにより揺れの大きさの判定を行う。
インパルス検出部350がインパルス性の揺れを検出するためには、変位量V1の差分をとるので、比較器320が出力するマイクロホン切り替え信号SS1は、マイクロホンが出力する信号に比べて遅延が生じる。この遅延を補正するために、マイクロホンからの出力に対して、遅延部360と遅延部361を挿入する。これらは、マイクロホンの出力信号を一定の遅延時間Timpだけ遅延して出力する。遅延時間Timpは、インパルス判定に要する時間に相当し、予め設定されているものとする。
【００６１】
比較器320が出力するマイクロホン切替え信号SS1は、差分値が閾値βより大きいときSS1=1とし、差分値が閾値βより小さいときSS1=0とする点は、実施形態2と同じである。
インパルス性の揺れは通常の揺れに比べて大きなノイズを発生させやすいので、インパルス性の揺れに対する判定条件を緩く設定しておくことで、移動中でも収音品質の低下を防止することができる。
〔実施形態5〕
本発明の実施形態5では、揺れの方向ごとに異なる閾値を用いて判定を行い、各方向の揺れの大きさに応じて指向性マイクロホンと無指向性マイクロホンの切り替えを行うウェアラブル端末について説明する。
【００６２】
図17は、本発明の実施形態5におけるウェアラブル端末の構成を示すブロック図である。本発明の実施形態5におけるウェアラブル端末は、図5で示した実施形態1におけるウェアラブル端末の乗算器310、比較器320が、ピッチ方向とロール方向とに別々に設置した構成となっている。ウェアラブル端末を図3(b)のように首から吊りさげて使う場合、首ひもの長さがあるために、図6で示した3つの方向のうち、ピッチ方向の揺れが最もマイクロホンの振動面を変位させる可能性が高いが、次にマイクロホンの振動面を変位させる可能性が高いのはロール方向である。そこで、本発明の実施形態5におけるウェアラブル端末は、ピッチ方向に加えて、それとは別にロール方向の揺れについても揺れの判定を行う。本発明の実施形態5におけるウェアラブル端末が、ジャイロ200で検出した角速度を、乗算器310および乗算器311で変位量に変換し、比較器320および比較器321で変位量と閾値と比較し、出力されるマイクロホン切り替え信号に応じて、指向性選択部330が、単一指向性マイクロホン110から入力される音響信号か、無指向性マイクロホン120から入力される音響信号のいずれかを選択して出力する点は、実施形態1と同じである。
【００６３】
ただし、本発明の実施形態5におけるウェアラブル端末のジャイロ200は、ピッチ方向とロール方向の角速度を両方検出することのできる2軸ジャイロであるとする。また、ピッチ方向の閾値とロール方向の閾値とは個別に設定されている。ピッチ方向の揺れがマイクロホンの基準軸方向に揺れるのに対して、ロール方向の揺れはマイクロホンの基準軸に垂直な方向に揺れるので、ノイズの原因にはなりにくい。また、ピッチ方向の揺れは身体との衝突が起こりやすいのに対して、ロール方向の揺れは衝突は起こりにくいので、その点でも、ロール方向の揺れの方が、ノイズの原因になりにくい。従って、ピッチ方向の閾値をロール方向の閾値に比べて小さく設定しておくことで、ピッチ方向に対して敏感なノイズ対策を行うことができる。
【００６４】
指向性選択部330は、比較器320から出力されるマイクロホン切り替え信号と、比較器321から出力されるマイクロホン切り替え信号との、いずれもが0のとき、揺れは小さいと判定し、単一指向性マイクロホン110からの入力信号を出力し、いずれかが1のとき、揺れが大きいと判定し、無指向性マイクロホン120からの入力信号を出力する。
以上のように、揺れがノイズを発生させやすい方向に対しては厳しい条件で判定を行い、揺れがノイズを発生させにくい方向に対しては緩い条件で判定を行うことで、できるだけ指向性マイクロホンを用いた感度の良い収音を継続しつつ、揺れが大きいときには無指向性マイクロホンに切り替えることで、ノイズの影響を軽減することができる。
〔その他の実施形態〕
上では、揺れの検出手段、揺れの大小の判定手段、指向性の制御手段を変えていくつかの組み合わせを説明したが、これら以外の組み合せで構成されたウェアラブル端末であってもよい。
【００６５】
また、揺れの検出手段として、ジャイロによる角速度検出とカメラで撮影した映像解析とを説明したが、これら以外にも、例えば、加速度センサを用いて揺れを検出してもよい。
更に、指向性制御において、マイクロホン切り替え信号SS1が切り替わったときに、瞬間的に指向性を切り替えると聴感上の違和感が生じるので、クロスフェード処理で切り替えるようにしてもよい。クロスフェードとは、一方の指向性から他方の指向性へ切り替える際に、前者の音量を徐々に下げ、後者の音量を徐々に上げていくことをいう。
【００６６】
また、指向性マイクロホンがもつ指向性は、単一指向性に限らず、二次音圧傾度型指向性や超指向性などであってもよい。
【産業上の利用可能性】
【００６７】
本発明にかかるウェアラブル端末は、装置自体の揺れを検出し、揺れが小さいときは、目的の方向からの音声を感度良く収音できるように指向性マイクロホンを用い、揺れが大きいときは、揺れに起因するノイズは収音方向のずれの影響を軽減して収音を継続できるように無指向性マイクロホンを用いるので、利用者が常時身に付けて周囲の音を記録し続けるような不安定な環境下でも、高品質な録音を行うことができる。このようなマイクロホンの指向性制御はウェアラブル端末の他にも、ビデオカメラ、音声レコーダー、車載用映像音声記録装置等にも利用することができる。
【図面の簡単な説明】
【００６８】
【図１】単一指向性マイクロホンおよび無指向性マイクロホンの感度の指向特性。
【図２】単一指向性マイクロホンおよび無指向性マイクロホンの感度の周波数特性。
【図３】ウェアラブル端末とその使用形態を示す図。
【図４】ウェアラブル端末に設置するマイクロホンの収音方向を示す図。
【図５】本発明の実施形態1におけるウェアラブル端末の構成を示すブロック図。
【図６】本発明の実施形態1におけるウェアラブル端末の回転方向を示す図。
【図７】本発明の実施形態1におけるウェアラブル端末の動作を示すタイミングチャート。
【図８】本発明の実施形態1におけるウェアラブル端末の指向性切り替え制御を説明する模式図。
【図９】本発明の実施形態1におけるウェアラブル端末の動作を示すフローチャート。
【図１０】本発明の実施形態2におけるウェアラブル端末の構成を示すブロック図。
【図１１】本発明の実施形態2におけるウェアラブル端末の指向性合成部の構成を示すブロック図。
【図１２】本発明の実施形態3におけるウェアラブル端末の構成を示すブロック図。
【図１３】本発明の実施形態3におけるウェアラブル端末のブレ画像検出部の構成を示すブロック図。
【図１４】本発明の実施形態3におけるウェアラブル端末のブレ画像検出方法を説明する図。
【図１５】本発明の実施形態4におけるウェアラブル端末の構成を示すブロック図。
【図１６】本発明の実施形態4におけるウェアラブル端末のインパルス検出部の構成を示すブロック図。
【図１７】本発明の実施形態5におけるウェアラブル端末の構成を示すブロック図。
【符号の説明】
【００６９】
110：単一指向性マイクロホン
120：無指向性マイクロホン
121：無指向性マイクロホン
200：ジャイロ
210：AD変換器
220：クロック
310：乗算器
311：乗算器
320：比較器
321：比較器
330：指向性選択部
340：指向性合成部
341：遅延器
342：スイッチ
343：減算器
344：イコライザ
350：インパルス検出部
351：算術演算器
352：レジスタ
360：遅延部
361：遅延部
400：符号化部
410：記録部
420：配信部
500：撮像装置
510：ブレ画像検出部
511：フレームメモリ
512：動きベクトル算出部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007099908.tif 000020
【図２】
2007099908.tif 000021
【図３】
2007099908.tif 000022
【図４】
2007099908.tif 000023
【図５】
2007099908.tif 000024
【図６】
2007099908.tif 000025
【図７】
2007099908.tif 000026
【図８】
2007099908.tif 000027
【図９】
2007099908.tif 000028
【図１０】
2007099908.tif 000029
【図１１】
2007099908.tif 000030
【図１２】
2007099908.tif 000031
【図１３】
2007099908.tif 000032
【図１４】
2007099908.tif 000033
【図１５】
2007099908.tif 000034
【図１６】
2007099908.tif 000035
【図１７】
2007099908.tif 000036
【国際調査報告】
2007099908.tif 000037
2007099908.tif 000038
2007099908.tif 000039
2007099908.tif 000040