(57)【要約】【課題】イヤホンを耳に装着した状態で、ユーザにとって必要性の高い周囲音をユーザが聴くことができる携帯端末および携帯端末システムを提供する。【解決手段】周囲音出力判定部１５は、第１マイク２および第２マイク３のうち少なくとも１つのマイクから入力される音声信号に基づいて、イヤホンに出力すべきか否かを判定する。音声出力制御部１３は、周囲音をイヤホンに出力すべきと判定された場合に、少なくとも１つのマイクから入力される音声信号をイヤホン１１に出力する。【選択図】図１
2015211267.tif 000002
【特許請求の範囲】
【請求項１】
１または複数のマイクと、
前記１または複数のマイクのうち、少なくとも１つのマイクから入力される音声信号に基づいて、周囲音をイヤホンに出力すべきか否かを判定する判定部と、
前記周囲音をイヤホンに出力すべきと判定された場合に、前記少なくとも１つのマイクから入力される音声信号をイヤホンに出力する音声出力制御部とを備えた、携帯端末。
【請求項２】
前記音声出力制御部は、前記周囲音をイヤホンに出力すべきと判定された場合に、前記携帯端末の内部で再生した音声信号と、前記少なくとも１つのマイクから入力される音声信号とを合成して前記イヤホンに出力する、請求項１記載の携帯端末。
【請求項３】
前記携帯端末は、複数の前記マイクを備え、
前記判定部は、複数の前記マイクから入力される音声信号のパワーを検出し、前記検出された音声信号のパワーの和またはパワーの平均値が閾値以上のときに、前記周囲音をイヤホンに出力すべきと判定する、請求項２記載の携帯端末。
【請求項４】
前記携帯端末は、２つのマイクを備え、
前記判定部は、前記２つのマイクからの音声信号の位相の差を検出し、前記検出された位相の差が閾値以上のときに、前記周囲音をイヤホンに出力すべきと判定する、請求項２記載の携帯端末。
【請求項５】
前記判定部は、前記１または複数のマイクのうち、少なくとも１つのマイクからの音声信号の瞬時周波数を検出し、前記検出された瞬時周波数が時間ともに減少する特性を示すときに、前記周囲音をイヤホンに出力すべきと判定する、請求項２記載の携帯端末。
【請求項６】
イヤホンと、携帯端末からなる携帯システムであって、
前記携帯端末は、
１または複数のマイクと、
前記１または複数のマイクのうち、少なくとも１つのマイクから入力される音声信号に基づいて、周囲音をイヤホンに出力すべきか否かを判定する判定部と、
前記携帯端末の内部で再生した音声信号を前記イヤホンに出力するとともに、前記周囲音をイヤホンに出力すべきと判定された場合に、前記少なくとも１つのマイクから入力される音声信号を前記イヤホンに出力する音声出力制御部とを備え、
前記イヤホンは、
前記音声出力制御部から出力される音声信号に基づいて振動することによって、気導音を外耳道を通じて鼓膜に与えるとともに、前記外耳道の周りの骨部または軟骨部を通じて振動音を前記鼓膜に与える圧電素子を含む、携帯端末システム。
【請求項７】
イヤホンと、携帯端末からなる携帯端末システムであって、
前記イヤホンは、
前記携帯端末から出力される音声信号に基づいて振動することによって、気導音を外耳道を通じて鼓膜に与える第１の圧電素子と、
前記携帯端末から出力される音声信号に基づいて振動することによって、前記外耳道の周りの骨部または軟骨部を通じて振動音を前記鼓膜に与える第２の圧電素子を含み、
前記携帯端末は、
１または複数のマイクと、
前記１または複数のマイクのうち、少なくとも１つのマイクから入力される音声信号に基づいて、周囲音をイヤホンに出力すべきか否かを判定する判定部と、
前記携帯端末の内部で再生した音声信号を第１の圧電素子に出力し、前記周囲音をイヤホンに出力すべきと判定された場合に、前記少なくとも１つのマイクから入力される音声信号を前記第２の圧電素子に出力する音声出力制御部とを備える、携帯端末システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末および携帯端末システムに関し、特にイヤホンに音声を出力する機能を有する携帯端末および携帯端末システムに関する。
【背景技術】
【０００２】
従来から、携帯端末にイヤホンが接続されたときに、ユーザが周囲音を聴くことができる技術が知られている。
【０００３】
たとえば、特許文献１（特表２００９−５２９２７５号公報）に記載のヘッドセットは、電子機器から音声信号を受信する入力部と、電気信号を可聴音に変換するための電気音響スピーカを有する少なくとも１つのイヤホンと、周囲音を受信し、この周囲音を周囲音信号に変換する少なくとも１つのマイクを備える。さらに、ヘッドセットは入力部と少なくとも１つのイヤホンとを備えた一体型ユニットとして形成される処理回路を含む。この処理回路は、電子機器から出される音声信号を少なくとも１つのマイクから得られる周囲音信号と合成し、少なくとも１つのイヤホンへこの合成信号を出力する回路を含み、それによって電気音響スピーカは、音声信号から得られる可聴音と組み合わされた周囲音を再生する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５２９２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、周囲音には、ユーザにとって必要なもの（たとえば、他者からの呼びかけ、車両のクラクション、緊急車両のサイレンなど）と、ユーザにとって不要なもの（ノイズや、他者間の会話など）がある。
【０００６】
しかしながら、特許文献１（特表２００９−５２９２７５号公報）に記載の装置では、ヘッドセットが電子機器に接続されたときには、ユーザにとって必要か否かに係らず、周囲音が必ず、イヤホンに出力されてしまう。
【０００７】
それゆえに、本発明の目的は、イヤホンを耳に装着した状態で、ユーザにとって必要性の高い周囲音をユーザが聴くことができる携帯端末および携帯端末システムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の携帯端末は、１または複数のマイクと、１または複数のマイクのうち、少なくとも１つのマイクから入力される音声信号に基づいて、周囲音をイヤホンに出力すべきか否かを判定する判定部と、周囲音をイヤホンに出力すべきと判定された場合に、少なくとも１つのマイクから入力される音声信号をイヤホンに出力する音声出力制御部とを備える。
【発明の効果】
【０００９】
本発明によれば、イヤホンを耳に装着した状態で、ユーザにとって必要性の高い周囲音をユーザが聴くことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態の携帯端末の構成を表わす図である。
【図２】携帯端末の外観を表わす図である。
【図３】携帯端末の外観を表わす図である。
【図４】第１の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。
【図５】第１の実施形態における周囲音を出力するときの音声信号の例を表わす図である。
【図６】第２の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。
【図７】第２の実施形態における周囲音を出力するときの音声信号の例を表わす図である。
【図８】第３の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。
【図９】第３の実施形態における周囲音を出力するときの音声信号の例を表わす図である。
【図１０】第４の実施形態のイヤホンの外観を表わす図である。
【図１１】第５の実施形態のイヤホンの外観を表わす図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を用いて説明する。
［第１の実施形態］
図１は、本発明の実施形態の携帯端末の構成を表わす図である。図２および図３は、携帯端末の外観を表わす図である。
【００１２】
図１に示すように、この携帯端末１は、アンテナ４と、タッチパネル５と、ディスプレイ６と、第１マイク２と、第２マイク３と、イヤホンジャック１０と、スピーカ９とを備える。
【００１３】
制御部１２は、ＣＰＵおよび記憶部などを備え、携帯端末１の他の構成要素を制御することによって、携帯端末１の動作を統括的に管理する。制御部１２は、マイク制御部１４と、音声出力制御部１３を含む。
【００１４】
アンテナ４は、無線基地局との間の無線通信に用いられる。
タッチパネル５は、ユーザからの操作入力を受け付ける。
【００１５】
ディスプレイ６は、文字、記号、図形などの各種情報を表示する。
第１マイク２および第２マイク３は、周囲音を音声信号に変換する。
【００１６】
第１マイク２は、図２および図３に示すように、携帯端末１の下面に設けられる。
第２マイク３は、図３に示すように、携帯端末１の背面に設けられる。
【００１７】
イヤホンジャック１０は、イヤホン１１と接続されたときに、音声出力制御部１３から音声信号をイヤホン１１へ出力する。
【００１８】
スピーカ９は、音声出力制御部１３から出力される音声信号に基づいて音圧を発生する。
【００１９】
マイク制御部１４は、イヤホン１１がイヤホンジャック１０に接続されたときには、第１マイク２および第２マイク３の音声入力をオンにして、第１マイク２からの音声信号および第２マイク３からの音声信号を受信する。
【００２０】
周囲音出力判定部１５は、第１マイク２および第２マイク３のうち、少なくとも１つのマイクから入力される音声信号に基づいて、周囲音をイヤホン１１に出力すべきか否かを判定する。
【００２１】
第１の実施形態では、周囲音出力判定部１５は、第１マイク２および第２マイク３から入力される音声信号のパワーを検出し、検出された音声信号のパワーの和が閾値以上のときに、周囲音をイヤホン１１に出力すべきと判定する。
【００２２】
音声出力制御部１３は、イヤホン１１がイヤホンジャック１０に接続されていないときには、アプリケーションプログラムなどによって携帯端末１の内部で再生した音声信号をスピーカ９に出力する。
【００２３】
音声出力制御部１３は、イヤホン１１がイヤホンジャック１０に接続されているときには、周囲音出力判定部１５によって、周囲音をイヤホン１１に出力すべきと判定されず、かつアプリケーションプログラムなどによって音声信号が再生されている場合には、アプリケーションプログラムなどによって携帯端末１の内部で再生した音声信号をイヤホンジャック１０からイヤホン１１へ出力する。
【００２４】
たとえば、ユーザが通話中に、通話相手が発声しており、かつユーザが発声していない場合には、通話アプリケーションで再生された通話相手の音声が、イヤホン１１へ出力される。
【００２５】
音声出力制御部１３は、イヤホン１１がイヤホンジャック１０に接続されているときに、周囲音出力判定部１５によって周囲音をイヤホン１１に出力すべきと判定され、かつアプリケーションプログラムなどによって音声信号が再生されていない場合には、第１マイク２から入力される音声信号をイヤホンジャック１０からイヤホン１１へ出力する。
【００２６】
たとえば、ユーザが通話中に、通話相手が発声しておらず、かつユーザが発声している場合には、ユーザの音声を含む周囲音がイヤホン１１へ出力される。
【００２７】
音声出力制御部１３は、イヤホン１１がイヤホンジャック１０に接続されているときに、周囲音出力判定部１５によって、周囲音をイヤホン１１に出力すべきと判定され、かつアプリケーションプログラムなどによって音声信号が再生されている場合には、第１マイク２から入力される音声信号と、アプリケーションプログラムなどによって再生された音声信号とを合成して、イヤホンジャック１０からイヤホン１１へ出力する。
【００２８】
たとえば、ユーザが通話中に、通話相手が発声し、かつユーザが発声している場合には、通話アプリケーションで再生された通話相手の音声と、ユーザの音声を含む周囲音とが合成されて、イヤホン１１へ出力される。
【００２９】
図４は、第１の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。
【００３０】
ステップＳ１０１において、イヤホン１１がイヤホンジャック１０に接続された場合に、（ステップＳ１０１：ＹＥＳ）、処理がステップＳ１０２に進む。
【００３１】
ステップＳ１０２において、マイク制御部１４は、第１マイク２および第２マイク３の音声入力をオンに設定する。
【００３２】
ステップＳ１０３において、第１マイク２から入力された音声信号のパワーと第２マイクから入力された音声信号のパワーの合計値が閾値ＴＨ１以上の場合には（ステップＳ１０３：ＹＥＳ）、処理がステップＳ１０４に進む。
【００３３】
ステップＳ１０４において、周囲音出力判定部１５が、周囲音をイヤホン１１に出力すべきと判定する。音声出力制御部１３は、第１マイク２から入力された音声信号をイヤホン１１へ出力する。なお、アプリケーションプログラムなどによって音声信号が再生されている場合には、第１マイク２から入力された音声信号と再生された音声信号とが合成されてイヤホンへ出力される。
【００３４】
図５に示すように、音声信号のパワーの合計値が閾値ＴＨ１以上となる期間には、第１マイクから入力された音声信号がイヤホン１１へ出力されるので、ユーザは、ユーザに対する他者の話し声、パトカーのサイレン音、車両のクラクション音などのような、ユーザの周囲の大きな音量の音声を、イヤホン１１を通じて聴くことができる。
【００３５】
ステップＳ１０５において、イヤホン１１がイヤホンジャック１０から切断されるまで（ステップＳ１０５：ＹＥＳ）、ステップＳ１０３およびＳ１０４の処理が繰り返される。
【００３６】
なお、本実施の形態では、第１マイク２から入力された音声信号のパワーと第２マイクから入力された音声信号のパワーの合計値が閾値ＴＨ１以上の場合に、周囲音出力判定部１５が、周囲音をイヤホン１１に出力すべきと判定したが、これに限定するものではない。周囲音出力判定部１５は、第１マイク２から入力された音声信号のパワーが閾値以上の場合、第２マイク３から入力された音声信号のパワーが閾値以上の場合、または第１マイク２から入力された音声信号のパワーと第２マイクから入力された音声信号のパワーの平均値が閾値以上の場合、周囲音をイヤホン１１に出力すべきと判定するものとしてもよい。
【００３７】
また、本実施の形態では、周囲音をイヤホン１１に出力すべきと判定された場合に、第１マイク２から入力される音声信号をイヤホン１１に出力するものとしたが、第１マイク２の代わりに第２マイク３から入力される音声信号をイヤホン１１に出力するものとしてもよい。あるいは、第１マイク２から入力される音声信号と第２マイク３から入力される音声信号を合成した信号をイヤホン１１に出力するものとしてもよい。後述の実施形態でも同様である。
【００３８】
以上のように、本実施の形態によれば、ユーザに対する他者の話し声、パトカーのサイレン音、または車両のクラクション音などのような音量の大きい周囲音は、ユーザにとって必要性が高く、ユーザは、このようなユーザにとって必要性の高い周囲音をイヤホンを通じて聴くことができる。
【００３９】
［第２の実施形態］
本実施の形態の携帯端末１の周囲音出力判定部１５は、第１の実施形態と相違する。
【００４０】
本実施の形態の周囲音出力判定部１５は、第１マイク２から入力される音声信号と第２マイク３から入力される音声信号の位相差を検出し、検出された位相差が閾値以上のときに、周囲音をイヤホン１１に出力すべきと判定する。
【００４１】
図６は、第２の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。
【００４２】
ステップＳ２０１において、イヤホン１１がイヤホンジャック１０に接続された場合に、（ステップＳ２０１：ＹＥＳ）、処理がステップＳ２０２に進む。
【００４３】
ステップＳ２０２において、マイク制御部１４は、第１マイク２および第２マイク３の音声入力をオンに設定する。
【００４４】
ステップＳ１０３において、第１マイク２から入力された音声信号と第２マイク３から入力された音声信号の位相差が閾値ＴＨ２以上の場合には（ステップＳ２０３：ＹＥＳ）、処理がステップＳ２０４に進む。
【００４５】
ステップＳ２０４において、周囲音出力判定部１５が、周囲音をイヤホン１１に出力すべきと判定する。音声出力制御部１３は、第１マイク２から入力された音声信号をイヤホン１１へ出力する。なお、アプリケーションプログラムなどによって音声信号が再生されている場合には、第１マイク２から入力された音声信号と再生された音声信号とが合成されてイヤホンへ出力される。
【００４６】
図７に示すように、第１マイク２から入力された音声信号と第２マイク３から入力された音声信号の位相差が検出される。この位相差は、たとえば、第１マイク２から入力された音声信号のピークの時刻と、第２マイク３から入力された音声信号のピークの時刻の差Δｔとして検出可能である。Δｔが大きい場合には、周囲の音源の移動速度が速いといえる。Δｔが閾値ＴＨ２以上となる期間には、第１マイクから入力された音声信号がイヤホン１１へ出力されるので、ユーザは、パトカーのサイレン音、車両のクラクション音などのような、ユーザの周囲の高速に移動する音源の音声をイヤホン１１を通じて聴くことができる。
【００４７】
ステップＳ２０５において、イヤホン１１がイヤホンジャック１０から切断されるまで（ステップＳ２０５：ＹＥＳ）、ステップＳ２０３およびＳ２０４の処理が繰り返される。
【００４８】
以上のように、本実施の形態によれば、パトカーのサイレン音、車両のクラクション音などのような、ユーザの周囲の高速に移動する音源の音声は、ユーザにとって必要性が高く、ユーザは、このようなユーザにとって必要性の高い周囲音をイヤホンを通じて聴くことができる。
【００４９】
［第３の実施形態］
本実施の形態の携帯端末１の周囲音出力判定部１５は、第１および第２の実施形態と相違する。
【００５０】
本実施の形態の周囲音出力判定部１５は、第１マイク２から入力された音声信号の瞬時周波数が時間とともに減少する特性を示すときに、周囲音をイヤホン１１に出力すべきと判定する。
【００５１】
図８は、第３の実施形態の携帯端末によるイヤホンへの周囲音の出力制御手順を表わすフローチャートである。
【００５２】
ステップＳ３０１において、イヤホン１１がイヤホンジャック１０に接続された場合に、（ステップＳ３０１：ＹＥＳ）、処理がステップＳ３０２に進む。
【００５３】
ステップＳ３０２において、マイク制御部１４は、第１マイク２および第２マイク３の音声入力をオンに設定する。
【００５４】
ステップＳ３０３において、第１マイク２から入力された音声信号の瞬時周波数が時間とともに減少する特性を示すときには（ステップＳ３０３：ＹＥＳ）、処理がステップＳ３０４に進む。たとえば、周囲音出力判定部１５は、連続する３期間において、瞬時周波数が連続して減少したときに、音声信号の瞬時周波数が減少する特性にあると判断する。瞬時周波数が減少する場合は、周囲の音源がユーザに接近している状態である。
【００５５】
ステップＳ３０４において、周囲音出力判定部１５が、周囲音をイヤホン１１に出力すべきと判定する。音声出力制御部１３は、第１マイク２から入力された音声信号をイヤホン１１へ出力する。なお、アプリケーションプログラムなどによって音声信号が再生されている場合には、第１マイク２から入力された音声信号と再生された音声信号とが合成されてイヤホンへ出力される。
【００５６】
図９に示すように、第１期間、第２期間、第３期間、第４期間では、第１マイク２から入力された音声信号の瞬時周波数は、それぞれｆ１、ｆ２、ｆ３、ｆ４である。ここで、ｆ１＞ｆ２＞ｆ３＞ｆ４である。連続する３期間において、瞬時周波数が連続して減少しているので、第１マイクから入力された音声信号がイヤホン１１へ出力される。これにより、ユーザは、パトカーのサイレン音、車両のクラクション音などのような、ユーザに接近してくる音源の音声をイヤホン１１を通じて聴くことができる。
【００５７】
ステップＳ３０５において、イヤホン１１がイヤホンジャック１０から切断されるまで（ステップＳ３０５：ＹＥＳ）、ステップＳ３０３およびＳ３０４の処理が繰り返される。
【００５８】
以上のように、本実施の形態によれば、パトカーのサイレン音、車両のクラクション音などのような、ユーザに接近してくる音源の音声は、ユーザにとって必要性が高く、ユーザは、このようなユーザにとって必要性の高い周囲音をイヤホンを通じて聴くことができる。
【００５９】
なお、本実施の形態では、周囲音出力判定部は、第１マイクからの音声信号の瞬時周波数を検出し、検出された瞬時周波数が時間ともに減少する特性を有する場合に、周囲音をイヤホン１１に出力すべきと判定したが、これに限定されるものではない。たとえば、第１マイクからの音声信号の代わりに、第２マイクからの音声信号を用いてもよい。あるいは、周囲音出力判定部は、第１マイクからの音声信号の瞬時周波数が時間ともに減少する特性を示し、かつ第２マイクからの音声信号の瞬時周波数が時間ともに減少する特性を示す場合に、周囲音をイヤホン１１に出力すべきと判定してもよい。
【００６０】
［第４の実施形態］
図１０は、第４の実施形態のイヤホンの外観を表わす図である。
【００６１】
このイヤホン９０は、イヤホンキャップ２２を備える。イヤホンキャップ２２には、圧電素子２３ａ，２３ｂが組み込まれている。
【００６２】
イヤホンキャップ２２内の圧電素子２３ａ，２３ｂは、外耳道の皮膚に接触するように耳に装着される。外耳道２４の入口の近くの部分は、周りを軟骨で囲まれている。外耳道２４の鼓膜の近い方の部分は、骨に囲まれている。
【００６３】
第１〜第３の実施形態のいずれかの携帯端末１の音声出力制御部１３が圧電素子２３に音声信号を出力する。
【００６４】
圧電素子２３ａ，２３ｂが、音声出力制御部１３から出力される音声信号に基づいて、振動することによって、外耳道２４を通じて気導音を鼓膜２５に与えられるともに、外耳道２４の周りの骨部または軟骨部を通じて振動音を鼓膜２５に与える。
【００６５】
［第５の実施形態］
図１１は、第５の実施形態のイヤホンの外観を表わす図である。
【００６６】
このイヤホン９２は、ハウジング２１、ハウジング２１に収容される圧電素子６３ａ，６３ｂ，６４を備える。
【００６７】
圧電素子６３ａ，６３ｂは、イヤホンキャップ７３ａ，７３ｂに組み込まれ、外耳道２４の皮膚に接触するように耳に装着される。
【００６８】
第１〜第３の実施形態のいずれかの携帯端末１の音声出力制御部１３は、携帯端末１のアプリケーションなどで再生した音声信号を圧電素子６４に出力する。圧電素子６４が、入力される音声信号に基づいて振動することによって、外耳道２４を通じて気導音を鼓膜２５に与えられる。
【００６９】
また、音声出力制御部１３は、周囲音出力判定部１５によって、周囲音をイヤホンに出力すべきと判定された場合に、第１マイク２から入力される音声信号を圧電素子６３ａ，６３ｂに出力する。圧電素子６３ａ，６３ｂが、入力される音声信号に基づいて振動することによって、外耳道２４の周りの骨部または軟骨部を通じて振動音が鼓膜２５に与えられる。
【００７０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７１】
１  携帯端末、２  第１マイク、３  第２マイク、４  アンテナ、５  タッチパネル、６  ディスプレイ、９  スピーカ、１０  イヤホンジャック、１１，９０，９１，９２  イヤホン、１２  制御部、１３  音声出力制御部、１４  マイク制御部、１５  周囲音出力判定部、２２，７３ａ，７３ｂ  イヤホンキャップ、２３ａ，２３ｂ，６３ａ，６３ｂ，６４  圧電素子、２４  外耳道、２５  鼓膜。
【図１】
2015211267.tif 000003
【図２】
2015211267.tif 000004
【図３】
2015211267.tif 000005
【図４】
2015211267.tif 000006
【図５】
2015211267.tif 000007
【図６】
2015211267.tif 000008
【図７】
2015211267.tif 000009
【図８】
2015211267.tif 000010
【図９】
2015211267.tif 000011
【図１０】
2015211267.tif 000012
【図１１】
2015211267.tif 000013