(57)【要約】【課題】ユーザの利用形態を問わず的確に音声に関する情報をユーザに認識させることを可能とする。【解決手段】音声分析部１１３は、音声入力部１２０に入力された音声信号を分析する。センサ部１７０は、装置の状態を検出する。モード判断部１１４は、センサ部１７０からの出力に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断する。表示制御部１１１は、モード判断部１１４の判断結果に基づき、載置モードである場合は音声分析部１１３において分析された音声信号に基づく表示を第1の時間表示させ、把持モードである場合は音声分析部１１３において分析された音声信号に基づく表示を第１の表示時間とは異なる第２の時間表示させる。【選択図】図２
2014106394.tif 000002
【特許請求の範囲】
【請求項１】
音声信号が入力される音声入力部、
前記音声入力部に入力された音声信号を分析する音声分析部、
装置の状態を検出するセンサ部、
前記センサ部からの出力に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断部、
前記モード判断部の判断結果に基づき、前記載置モードである場合は、前記音声分析部において分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記音声信号部において分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示制御部、
を備えることを特徴とする音声情報表示装置。
【請求項２】
前記表示制御部は、前記第１の時間を前記第２の時間より長い時間として、前記音声分析部において分析された音声信号に基づく表示を行う、
ことを特徴とする請求項１に記載の音声情報表示装置。
【請求項３】
前記表示制御部は、前記音声信号に基づく表示として、前記音声信号の履歴情報を表示させる、
ことを特徴とする請求項１または請求項２に記載の音声情報表示装置。
【請求項４】
前記音声入力部は、複数のマイクロフォンからの音声信号が入力され、
前記音声分析部は、前記音声入力部に入力された前記複数のマイクロフォンからの音声信号に基づき音声信号が発せられた音源方向を分析し、
前記表示制御部は、前記音声分析部において分析された音声信号の音源方向を示す表示を前記音声信号に基づく表示として表示させる、
ことを特徴とする、請求項１から請求項３のいずれか１項に記載の音声情報表示装置。
【請求項５】
装置の状況を検出する検出ステップ、
前記検出ステップにおいて検出された装置の状況に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断ステップ、
入力された音声信号を分析する分析ステップ、
前記モード判断ステップにおける判断結果に基づき、前記載置モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示ステップ、
を備えることを特徴とする音声情報表示方法。
【請求項６】
音声情報表示装置が備えるコンピュータに、
装置の状況を検出する検出ステップ、
前記検出ステップにおいて検出された装置の状況に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断ステップ、
入力された音声信号を分析する分析ステップ、
前記モード判断ステップにおける判断結果に基づき、前記載置モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示ステップ、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲の音声を取得して表示するための、音声情報表示装置、音声情報表示方法およびプログラムに関する。
【背景技術】
【０００２】
聴覚に障害がある場合や、健常者であってもヘッドフォンの利用により周辺の音声情報を認識できない場合がある。このような場合において、周辺の音声情報を取得して視覚等を用いてユーザに音声情報を報知する装置がある（特許文献１、特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５１９１６号公報
【特許文献２】特開２００５−９９４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザが、周辺の音声に関する情報を表示部における表示に基づいて認識する場合、表示部を見ていなかったために音声を認識できない状態が発生する。通常、周辺の音声に関する情報を表示させる装置は、音声の発生期間のみの表示ではなく、例えば音声の発生後３秒間などの時間、音声に関する情報を表示させる。
【０００５】
このような音声に関する情報を表示する装置の利用形態は様々である。例えば、装置を手に把持して利用している場合は、表示画面の確認頻度が高く、音声に関する表示に気付くことができるが、装置を載置して利用している場合、手に把持している場合よりは表示画面を確認せず、さらにユーザは装置を置いたまま移動することもある。
【０００６】
このように、様々な利用形態であっても、ユーザに適切に音声に関する情報を伝える必要がある。
【０００７】
本発明はこのような問題点に鑑みなされたものであり、ユーザの利用形態を問わず的確に音声に関する情報をユーザに認識させることを可能とする、音声情報表示装置、音声情報表示方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に関わる音声情報表示装置（１００）は、音声信号が入力される音声入力部（１２０）、前記音声入力部（１２０）に入力された音声信号を分析する音声分析部（１１３）、装置の状態を検出するセンサ部（１７０）、前記センサ部（１７０）からの出力に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断部（１１４）、前記モード判断部（１１４）の判断結果に基づき、前記載置モードである場合は、前記音声分析部（１１３）において分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記音声信号部（１１３）において分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示制御部（１１１）、を備えることを特徴とする。
【０００９】
また、本発明に係る音声情報表示方法は、装置の状況を検出する検出ステップ、前記検出ステップにおいて検出された装置の状況に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断ステップ、入力された音声信号を分析する分析ステップ、前記モード判断ステップにおける判断結果に基づき、前記載置モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示ステップ、を備えることを特徴とする。
【００１０】
また、本発明に係るプログラムは、音声情報表示装置（１００）が備えるコンピュータ（１１０）に、装置の状況を検出する検出ステップ、前記検出ステップにおいて検出された装置の状況に基づき、装置が載置された状態で使用されている場合の載置モードおよび装置が載置されていない状態で使用されている把持モードのいずれかであるかを判断するモード判断ステップ、入力された音声信号を分析する分析ステップ、前記モード判断ステップにおける判断結果に基づき、前記載置モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を第1の時間表示させ、前記把持モードである場合は、前記分析ステップにおいて分析された音声信号に基づく表示を前記第１の表示時間とは異なる第２の時間表示させる表示ステップ、を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ユーザの利用形態を問わず的確に音声に関する情報をユーザに認識させることを可能とする。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る音声情報表示装置の外観斜視図である。
【図２】本実施形態に係る音声情報表示装置の構成ブロック図である。
【図３】音声分析部の構成ブロック図である。
【図４】センサ部の構成ブロック図である。
【図５】第１の実施形態に係る音声情報表示装置の動作例を示すフローチャートである。
【図６】モード判断処理の例を示すフローチャートである。
【図７】モード判断処理の例を示すフローチャートである。
【図８】音声分析処理の例を示すフローチャートである。
【図９】音源方向の例を示す概念図である。
【図１０】音源方向分析処理の例を示すフローチャートである。
【図１１】表示例を示す図である。
【図１２】表示例を示す図である。
【図１３】表示処理の例を示すフローチャートである。
【図１４】表示例を示すグラフである。
【図１５】表示例を示すグラフである。
【図１６】表示例を示す図である。
【図１７】表示処理の例を示すフローチャートである。
【図１８】表示処理の例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態に係る音声情報表示装置１００の構成について、図１から図４を用いて説明する。
【００１４】
音声情報表示装置１００の一例として、図１に示すように表示機能を備えた小型の装置を用いる。具体的には、携帯電話端末やタブレット端末のように、小型で持ち運び容易であることが好ましい。また、音声情報表示装置１００は、専用の装置に加えて携帯電話や各種情報端末に音声情報表示装置１００として動作させるためのプログラムをインストールすることによって実現してもよい。この場合、音声情報表示装置１００として動作する携帯電話や各種情報端末には、複数のマイクロフォン２０を備えたユニット等を接続または装着し、マイクロフォン２０に入力された音声信号は携帯電話や各種情報端末に入力される。
【００１５】
音声情報表示装置１００は、図１に示すように、その筐体１０が構成する面に表示部１４０の表示面を備え、矩形の筐体１０の４隅に各々マイクロフォン２０を備える。
【００１６】
音声情報表示装置１００の４隅に備えられたマイクロフォン２０は、便宜的に、マイクロフォン２０Ａ、マイクロフォン２０Ｂ、マイクロフォン２０Ｃ、マイクロフォン２０Ｄとしてそれらの位置を示す。本実施形態においては、マイクロフォン２０は表示部１４０を囲うように４箇所配置しているが、マイクロフォン２０の配置位置や個数は、音源方向が特定できる構成であれば限定されない。また、音声情報表示装置１００の形状も矩形に限定されない。マイクロフォン２０は、各々が音声を検出する方向に対して指向性を有するものであることが好ましい。
【００１７】
音声情報表示装置１００は、その構成として図２に示すように、制御部１１０、音声入力部１２０、記憶部１３０、表示部１４０、操作部１５０、センサ部１７０、通信部１８０、マイクロフォン２０を備える。通信部１８０は、必要に応じて備えられていてもよい。また、音声情報表示装置１００は、例えば装置の各部を動作させる電源供給機能など他に図示しない各種必要な構成要素を備える。
【００１８】
制御部１１０は、音声情報表示装置１００を構成する各部の動作制御、各種データの処理または演算等を行う。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＤＳＰ（Digital Signal Processor）等により構成され、ＲＯＭに記憶された各種プログラムを実行することにより音声情報表示装置１００を構成する各部の動作制御や各部より入力された信号やデータの処理または演算、ファイルの処理等を行う。
【００１９】
制御部１１０は、実行されるプログラムによって各種機能を実現する。本実施形態において制御部１１０は、表示制御部１１１、操作制御部１１２、音声分析部１１３、モード判断部１１４、通信制御部１１５を実現する。
【００２０】
表示制御部１１１は、表示部１４０に対して各種情報を表示させる制御を行う。例えば、記憶部１３０に記憶されている各種表示形態や文字等の表示、図示しないタッチパネル操作部に連動した各種ＧＵＩ（Graphical User Interface）などを表示させる。
【００２１】
表示制御部１１１は、後述するモード判断部１１４において判断されるモードに基づいた異なる時間で、音声信号に基づく表示を表示させる。
【００２２】
操作制御部１１２は、操作部１５０が操作されることによって生成する操作信号に基づいた処理を実行させる制御を行う。
【００２３】
音声分析部１１３は、音声入力部１２０から入力された音声データに基づき、入力された音声の様々な分析処理を行う。音声分析部１１３は、実行されるプログラムによって図３に示すように、音圧分析部１１３１、周波数分析部１１３２、音方向分析部１１３３、音種別分析部１１３４が実現される。
【００２４】
音圧分析部１１３１は、音声入力部１２０から入力された音声データに対して、例えば入力信号のレベルに応じてパルス幅のＨレベルとＬレベルの比率を変えるＰＷＭ（Pulse Width Modulation）変換を行い、そのパルス幅により音圧を分析する。このＰＷＭ変換は、周波数帯域毎に行ってもよい。その場合は、ＰＷＭ変換前にＢＰＦ（Band Pass Filter）により、所望の周波数帯域毎に音声データを選別する。この分析処理は、複数のマイクロフォン２０からの入力信号毎に行ってもよく、複数のマイクロフォン２０からの入力信号が合成された音声データに対して行ってもよい。
【００２５】
周波数分析部１１３２は、音声入力部１２０から入力された音声データに対して、例えば一般的な高速フーリエ変換等により、周波数分布を分析する。この分析処理は、複数のマイクロフォン２０からの入力信号毎に行ってもよく、複数のマイクロフォン２０からの入力信号が合成された音声データに対して行ってもよい。
【００２６】
音方向分析部１１３３は、音声入力部１２０から入力された音声データに基づき、音声信号が発せられた方向である音源方向を分析する。具体例としては、複数のマイクロフォン２０の各々に入力された音声信号の音圧レベルを比較し、同一の音声信号における最大の音圧レベルの音声信号が入力されたマイクロフォン２０の方向を音源方向とする。
【００２７】
音種別分析部１１３４は、音声入力部１２０から入力された音声データに対して、例えば記憶部１３０に記憶されている各種音のパターンデータと照合し、入力された音声の特定を行う。音種別分析部１１３４による音声データの照合は、後述する通信制御部１１５の制御により通信部１８０を用いて外部のサーバ等により照合してもよい。
【００２８】
モード判断部１１４は、センサ部１７０からの出力に基づき、音声情報表示装置１００が載置された状態で使用されているか把持された状態で使用されているかを判断し、各々の使用状態に対応する載置モードまたは把持モードであるかを判断する。
【００２９】
通信制御部１１５は、通信部１８０による通信動作を制御する。具体的には、通信部１８０によるデータや制御情報等の送受信の制御等である。
【００３０】
音声入力部１２０は、制御部１１０の制御によりマイクロフォン２０から入力された音声信号を制御部１１０が処理するための音声データに変換し、制御部１１０に送出する。音声入力部１２０は、例えば、Ａ／Ｄ変換部１２１および増幅部１２２を備えて構成される。増幅部１２２は、マイクロフォン２０から入力される音声信号を増幅する、例えばオペアンプ等である。Ａ／Ｄ変換部１２１は、増幅部１２２が増幅した音声信号を、Ａ／Ｄ（Analog - Digital）変換し、制御部１１０に音声データを送出する。
【００３１】
記憶部１３０は、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）より構成され、音声情報表示装置１００に必要な各種データや、マイクロフォン２０等外部から入力される記録対象のデータが記憶され、制御部１１０の処理によって記憶動作や読み出し動作が行われる。記憶部１３０は音声情報表示装置１００に内蔵されるものに限らず、所定のインターフェースによって接続される外部の記憶デバイスであってもよい。外部の記憶デバイスの一例としては、ＵＳＢ（Universal Serial Bus）端子に接続されるＵＳＢメモリや外部ＨＤＤ装置、所定のメモリカードスロットにより接続されるメモリカードなどである。
【００３２】
表示部１４０は、例えば液晶表示素子や有機ＥＬ（Electro Luminescence）表示素子、およびそれらを駆動する回路ユニット等からなり、表示制御部１１１の制御により各種表示内容や表示形態が表示される。
【００３３】
操作部１５０は、音声情報表示装置１００に対してユーザが各種処理や動作指示を行うためのユーザインターフェースであり、例えば、押ボタン式や回転式の操作手段、または表示部１４０に重ねて設けられた図示しないタッチパネル操作部により構成される。操作部１５０が操作されることにより、操作に基づく信号が後述する操作制御部１１２に出力され、操作に基づく各部の動作や各種処理が実行される。
【００３４】
センサ部１７０は、音声情報表示装置１００において用いる各種センサにより構成され、各種センサにおける信号を制御部１１０に送出する。本実施形態においてセンサ部１７０は図４に示すように、加速度センサ１７１および照度センサ１７２を備える。センサ部１７０は、上記に加え、必要に応じて他のセンサを備えていてもよい。
【００３５】
センサ部１７０は、加速度センサ１７１または照度センサ１７２により、音声情報表示装置１００の状態を検出する。具体的には、加速度センサ１７１は音声情報表示装置１００の対地向きにおける重力加速度に加えて、ユーザが音声情報表示装置１００を手に把持している場合などに生じる複数方向の加速度を検出する。また、照度センサ１７２は、音声情報表示装置１００が載置される場合の載置面に対向する位置に備えられることにより、載置された場合の照度がゼロであることを検出する。
【００３６】
通信部１８０は、通信制御部１１５の制御により他の装置や基地局等との通信を行う装置であり、通信のためのアンテナも含む。通信部１８０の通信方式は、Ｗｉ−Ｆｉ方式、携帯電話向け通信方式に加えてブルートゥース方式等の短距離通信方式であってもよく、複数備えられていてもよい。
【００３７】
次に、図５から図１８を用いて、本実施形態における処理を説明する。
【００３８】
図５は、音声情報表示装置１００における本発明に係る処理の全体のフローであり、図５のフローによる処理は、音声情報表示装置１００の電源がＯＮとなっている間、または音声情報表示装置１００において、本実施形態の処理の実行が選択されている間は、逐次実行されている。
【００３９】
先ず、モード判断部１１４は、センサ部１７０からの入力信号に基づいてモード判断処理を実行する（ステップＳ１０）。ステップＳ１０におけるモード判断処理の例を図６および図７を用いて説明する。モード判断処理は、音声情報表示装置１００の使用状態が適切に判断可能であればその処理形態は限定されない。ここでは、モード判断処理の実施例として図６により第１のモード判断処理例、図７により第２のモード判断処理例を説明する。
【００４０】
図６において、モード判断部１１４は加速度センサ１７１からの出力信号を逐次分析しており、その分析結果に基づいて所定時間以上の加速度の変動があるか否かを判断する（ステップＳ１０１）。ここでいう所定時間とは、音声情報表示装置１００が物体上に載置されているか、ユーザによる把持等によって載置されていない状態で用いられているかを判断可能な時間であり、具体的には３秒以上などである。
【００４１】
ステップＳ１０１の判断において、所定時間以上の加速度の変動が無いと判断された場合（ステップＳ１０１：Ｎｏ）、モード判断部１１４は、載置モードであると判断する。ステップＳ１０１の判断において、所定時間以上の加速度の変動があると判断された場合（ステップＳ１０１：Ｙｅｓ）、モード判断部１１４は、把持モードであると判断する。
【００４２】
図７においては、図６におけるモード判断処理の例に加えて、ステップＳ１０１がＮｏの場合に、モード判断部１１４は音声情報表示装置１００の底面に配置されている照度センサ１７２が光を検出しているか否かを判断する（ステップＳ１１１）。音声情報表示装置１００の底面とは、一例としては図１における表示部１４０の表示面とは反対側の面であり、ユーザが音声情報表示装置１００を物体に載置したときに物体と接する面である。
【００４３】
ステップＳ１１１の判断において、照度センサ１７２が光を検出していないと判断された場合（ステップＳ１１１：Ｎｏ）、モード判断部１１４は、載置モードであると判断する。ステップＳ１１１の判断において、照度センサ１７２が光を検出していると判断された場合（ステップＳ１１１：Ｙｅｓ）、モード判断部１１４は、把持モードであると判断する。
【００４４】
ステップＳ１０におけるモード判断処理は、他の例として、音声情報表示装置１００の底面に、載置されることによって押圧される機械的スイッチを備え、機械的スイッチのオンとオフによってモードを判断する方法、ユーザが把持している場合に押圧される機械的スイッチや温度センサによる把持検出によるモード判断等でも可能である。
【００４５】
また、図６および図７によるモード判断処理においては、ステップＳ１０１において所定時間以上の加速度変動があった場合であっても、加速度センサ１７１が検出している重力加速度の方向が所定時間以上、表示部１４０の表示面とは反対方向を中心としている場合は、把持モードとしなくともよい。この場合は、例えば音声情報表示装置１００をユーザが運搬している状態ではあるが、表示部１４０の表示画面を見ていない場合である。
【００４６】
図５に戻り、ステップＳ１０においてモードが判断された後、音声分析部１１３は表示対象の音声信号がマイクロフォン２０に入力されたか否かを判断する（ステップＳ２０）。表示対象の音声信号とは、一例としては音圧分析部１１３１の解析に基づく所定音圧以上の音声信号であり、例えば音圧レベルが６０ｄＢ以上の音声信号を対象とする。この音圧レベルは任意に設定されてもよく、例えばユーザの聴覚レベルに合わせて設定されてもよい。
【００４７】
ステップＳ２０において入力されていないと判断された場合（ステップＳ２０：Ｎｏ）、ステップＳ１０に推移し、ステップＳ２０がＹｅｓとなるまで、モード判断（ステップＳ１０）および音声信号入力判断（ステップＳ２０）が繰り返される。ステップＳ２０において入力されたと判断された場合（ステップＳ２０：Ｙｅｓ）、音声分析部１１３は、ステップＳ２０において判断された音声信号に対して、音声分析処理を実行する（ステップＳ３０）。
【００４８】
図８は、ステップＳ３０における音声分析処理の例である。図８における各々の分析処理は、目的に応じて選択されて実行されてもよく、分析処理の順序は任意であり同時に実行されてもよい。本実施形態における最小限の構成は、ステップＳ３０３における音源方向分析処理である。
【００４９】
先ず、音声分析部１１３はステップＳ２０において判断された音声信号に対して、その最大音圧レベルを分析する（ステップＳ３０１）。ステップＳ３０１の分析処理は、ステップＳ２０の処理と同時に実行されてもよい。
【００５０】
次に、音声分析部１１３における周波数分析部１１３２は、ステップＳ２０において判断された音声信号の周波数分布を分析する（ステップＳ３０２）。ステップＳ３０２において周波数分析される範囲は、ステップＳ２０の判断に基づく所定音圧以上の音声信号が入力された範囲、またはその範囲を所定時間毎に分割した範囲などである。
【００５１】
次に、音声分析部１１３における音方向分析部１１３３は、ステップＳ２０において判断された音声信号に対して、音源方向を分析する（ステップＳ３０３）。ステップＳ３０３の分析処理について図９および図１０を用いて説明する。
【００５２】
マイクロフォン２０は、例えば図９のように音声情報表示装置１００の長辺を縦方向とした場合に、右上の角部にマイクロフォン２０Ａ、右下にマイクロフォン２０Ｂ、左下にマイクロフォン２０Ｃ、左上にマイクロフォン２０Ｄを備える。マイクロフォン２０の位置は、必ずしも筐体１０の４隅に限定されず、筐体１０の中心からみて４方向に備えられ、音源の方向が判別可能な配置であればよい。
【００５３】
図９における矢印が指す方向Ａ〜Ｈは、マイクロフォン２０によって音源の方向が特定される方向の例を示している。実際の利用形態は、表示部１４０が地面に対して水平となるように載置または把持されるため、方向Ａ〜Ｈは、音声情報表示装置１００を中心として地面と水平方向の向きとなる。
【００５４】
図９に示すようなマイクロフォン２０の配置である場合、例えば、マイクロフォン２０Ａは、Ｂ方向を中心に指向性を有し、マイクロフォン２０Ｂは、Ｄ方向を中心に指向性を有する。また、マイクロフォン２０Ｃは、Ｆ方向を中心に指向性を有し、マイクロフォン２０Ｄは、Ｈ方向を中心に指向性を有する。
【００５５】
ステップＳ３０３における音源方向分析処理としては、先ず、音声分析部１１３は音声入力部１２０から入力されたマイクロフォン２０Ａ〜２０Ｄの各々に対応する音声データに基づき、入力された音声信号の音圧が最大のマイクロフォンを特定する（ステップＳ３０３１）。ステップＳ３０３１の処理を行うときに比較する各マイクロフォン２０の音声データは、所定の時間幅における最大値を検出してもよく、所定の時間幅の積分値における最大値を検出してもよい。また、複数のマイクロフォン２０間の最大値の差が所定以上小さい場合、例えば最大音圧の差が２ｄＢ以内である場合は、それらのマイクロフォン２０の音圧は同一であるとしてもよい。
【００５６】
ステップＳ３０３１において、音圧が最大のマイクロフォン２０が特定できたと判断された場合（ステップＳ３０３１：Ｙｅｓ）、音声分析部１１３は音圧が最大と特定されたマイクロフォン２０の方向を音源方向であると判断する（ステップＳ３０３５）。図９における矢印が指す方向Ａ〜Ｈは、マイクロフォン２０によって音源の方向が特定される方向の例を示している。実際の利用形態は、表示部１４０が地面に対して水平となるように配置または把持されるため、方向Ａ〜Ｈは、音声情報表示装置１００を中心として地面と水平方向の向きとなる。例えば、図９においてマイクロフォン２０Ａが最大音圧の入力されたマイクロフォンであると特定された場合は、方向Ｂが音源方向であると判断される。同様に、マイクロフォン２０Ｂの場合は方向Ｄ、マイクロフォン２０Ｃの場合は方向Ｆ、マイクロフォン２０Ｄの場合は方向Ｈであると判断される。
【００５７】
ステップＳ３０３１において、音圧が最大のマイクロフォン２０が特定できないと判断された場合（ステップＳ３０３１：Ｎｏ）、音声分析部１１３は、音圧が他より大きい同一音圧の２つのマイクロフォン２０が特定できるか否かを判断する（ステップＳ３０３２）。ステップＳ３０３２の処理においても、同一音圧と判断する誤差はステップＳ３０３１と同様でよい。ステップＳ３０３２において、音圧が他より大きい同一音圧の２つのマイクロフォン２０が特定できた場合（ステップＳ３０３２：Ｙｅｓ）、音声分析部１１３は音圧が他より大きい同一音圧の２つのマイクロフォン２０の間の方向を音源方向であると判断する（ステップＳ３０３３）。
【００５８】
ステップＳ３０３３の判断は、例えば、図９においてマイクロフォン２０Ａとマイクロフォン２０Ｂが他より音圧の大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ｃが音源方向であると判断される。同様に、マイクロフォン２０Ｂとマイクロフォン２０Ｃが他より音圧の大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ｅが音源方向であると判断され、マイクロフォン２０Ｃとマイクロフォン２０Ｄが他より音圧の大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ｇが音源方向であると判断され、マイクロフォン２０Ｄとマイクロフォン２０Ａが他より音圧の大きい同一音圧の２つのマイクロフォン２０であると特定された場合は、方向Ａが音源方向であると判断される。
【００５９】
ステップＳ３０３２において、音圧が他より大きい同一音圧の２つのマイクロフォン２０が特定できなかった場合（ステップＳ３０３２：Ｎｏ）、音声分析部１１３は音源の方向が特定できないと判断する（ステップＳ３０３４）。
【００６０】
図８に戻り、次に音声分析部１１３はステップＳ２０において判断された音声信号の音種別を分析する（ステップＳ３０４）。ステップＳ３０４の分析処理は、音のパターン認識によるもので、パターンを照合するデータベースは、記憶部１３０または通信部１８０を介した通信によって利用可能となる外部サーバ等に格納されている。また、照合データベースにおける音のパターンは、ユーザによって追加されてもよい。具体的には、緊急車両のサイレン音、各種警報機の警報音、家庭内電気製品の報知音などが照合される。
【００６１】
図５に戻り、ステップＳ３０において音声信号が分析された後、表示制御部１１１は、ステップＳ１０において判断されたモードに基づき、ステップＳ３０における分析結果を、表示部１４０に表示させる（ステップＳ４０）。
【００６２】
ステップＳ４０における表示処理の例を図１１から図１８を用いて説明する。表示処理は、モードによってユーザが音声信号の存在を適切に視認できる表示処理であればその表示形態は限定されない。ここでは、表示処理の例として図１１から図１５により第１の表示処理例、図１６および図１７により第２の表示処理例、図１８により第３の表示処理例を説明する。
【００６３】
図１１は、ステップＳ３０３における音源方向分析処理において、音源方向が図９における方向Ｂであると判断された場合の表示例である。表示図形３００は音源方向から放射状に表示されており、音圧レベルを表示する表示図形３００Ａに加えて、順に表示が切り替わることによって音源方向を表現する表示図形３００Ｒ１〜３００Ｒ４から構成される。図１１においては、最大音圧レベルが８０ｄＢの音声信号が方向Ｂより入力されたことを示している。
【００６４】
図１２は、ステップＳ３０３における音源方向分析処理において、音源方向が図９における方向Ａであると判断された場合の表示例である。図１２においても表示図形３００は図１１と同様であり、さらに音種別分析部１１３４より図８におけるステップＳ３０４で分析された音源種別が表示情報３１０として表示されている。図１２においては、最大音圧レベルが８０ｄＢの救急車（Ａｍｂｕｌａｎｃｅ）のサイレン音と認識された音声信号が方向Ａより入力されたことを示している。
【００６５】
図１３により、第１の表示処理例を説明すると、先ず表示制御部１１１は、表示対象となる音声信号のモードが載置であるか把持モードであるかを判断する（ステップＳ４０１）。把持モードであると判断された場合（ステップＳ４０１：把持モード）、ステップＳ４０２からステップＳ４０６に示す把持モードに対応した表示を実行する。載置モードであると判断された場合（ステップＳ４０１：載置モード）、ステップＳ４０７からステップＳ４１１に示す載置モードに対応した表示を実行する。
【００６６】
ステップＳ４０１において把持モードであると判断された場合、表示制御部１１１は表示時間を設定するタイマのカウントを０にリセットしタイマのカウントを開始する（ステップＳ４０２）。次に、音源方向に該当する表示図形３００Ｒ１から３００Ｒ４を順に表示させる（ステップＳ４０３）。ステップＳ４０３の表示と同時に、表示図形３００Ａおよび表示情報３１０を表示させてもよい。
【００６７】
ステップＳ４０３の表示は、図１４における時間が０秒から８秒の表示に該当する。図１４に示す例においては、表示図形３００Ｒ１から３００Ｒ４を０．５秒間隔で順に表示させている。
【００６８】
次に、表示制御部１１１はタイマのカウントが時間ｔ１に達したか否かを判断する（ステップＳ４０４）。時間ｔ１は、把持モードとして予め設定されており、図１４に示す例においては８秒として設定されている。ステップＳ４０４において時間ｔ１に達していないと判断された場合（ステップＳ４０４：Ｎｏ）、時間ｔ１となるまでステップＳ４０３の表示を継続させる。ステップＳ４０４において時間ｔ１に達したと判断された場合（ステップＳ４０４：Ｙｅｓ）、表示制御部１１１はステップＳ４０３に基づく表示を終了させ、表示図形３００Ｒ４を継続的に表示させる（ステップＳ４０５）。
【００６９】
ステップＳ４０５の表示は、図１４における時間が８秒から１０秒の表示に該当する。図１４に示す例においては、表示図形３００Ｒ４を２秒間表示させている。
【００７０】
次に、表示制御部１１１はタイマのカウントが時間ｔ２に達したか否かを判断する（ステップＳ４０６）。時間ｔ２は、把持モードとして予め設定されており、図１４に示す例においては１０秒として設定されている。ステップＳ４０６において時間ｔ２に達していないと判断された場合（ステップＳ４０６：Ｎｏ）、時間ｔ２となるまでステップＳ４０５の表示を継続させる。ステップＳ４０６において時間ｔ２に達したと判断された場合（ステップＳ４０６：Ｙｅｓ）、表示制御部１１１はステップＳ４０５に基づく表示を終了させる。
【００７１】
ステップＳ４０１において載置モードであると判断された場合、表示制御部１１１は表示時間を設定するタイマのカウントを０にリセットしタイマのカウントを開始する（ステップＳ４０７）。次に、音源方向に該当する表示図形３００Ｒ１から３００Ｒ４を順に表示させる（ステップＳ４０８）。ステップＳ４０８の表示と同時に、表示図形３００Ａおよび表示情報３１０を表示させてもよい。
【００７２】
ステップＳ４０８の表示は、図１５における時間が０秒から２０秒の表示に該当する。図１５に示す例においては、表示図形３００Ｒ１から３００Ｒ４を０．５秒間隔で順に表示させている。
【００７３】
次に、表示制御部１１１はタイマのカウントが時間ｔ３に達したか否かを判断する（ステップＳ４０９）。時間ｔ３は、載置モードとして予め設定されており、図１５に示す例においては２０秒として設定されている。ステップＳ４０８において時間ｔ３に達していないと判断された場合（ステップＳ４０８：Ｎｏ）、時間ｔ３となるまでステップＳ４０８の表示を継続させる。ステップＳ４０９において時間ｔ３に達したと判断された場合（ステップＳ４０９：Ｙｅｓ）、表示制御部１１１はステップＳ４０８に基づく表示を終了させ、表示図形３００Ｒ４を継続的に表示させる（ステップＳ４１０）。
【００７４】
ステップＳ４１０の表示は、図１５における時間が２０秒から６０秒の表示に該当する。図１５に示す例においては、表示図形３００Ｒ４を４０秒間表示させている。
【００７５】
次に、表示制御部１１１はタイマのカウントが時間ｔ４に達したか否かを判断する（ステップＳ４１１）。時間ｔ４は、載置モードとして予め設定されており、図１５に示す例においては６０秒として設定されている。ステップＳ４１１において時間ｔ４に達していないと判断された場合（ステップＳ４１１：Ｎｏ）、時間ｔ４となるまでステップＳ４１０の表示を継続させる。ステップＳ４１１において時間ｔ４に達したと判断された場合（ステップＳ４１１：Ｙｅｓ）、表示制御部１１１はステップＳ４１０に基づく表示を終了させる。
【００７６】
図１６に示す表示例は、図１１に示す表示例に加えて音声履歴表示３２０が加えて表示されている。音声履歴表示３２０は、一例としてその横軸が時間であり縦軸が最大音圧レベルを示している。音声履歴表示３２０は、図５におけるステップＳ２０において入力されたと判断された音声信号の有無に関わらず、所定の時間幅の履歴について表示される。ここで表示される音声信号の履歴は、音声分析部１１３が分析した結果を入力された時間と対応付けて記憶部１３０に記憶されているものであり、音圧レベルや周波数分布、音源方向、音種別等が表示対象となる。
【００７７】
図１６に示す音声履歴表示３２０の例としては、横軸の時間幅が６０秒から１８０秒程度であることが好ましい。これ以上時間幅が長いと、表示対象となる履歴が多く表示され、視認困難となるためである。また、記憶部１３０には表示される時間幅に関わらずさらに長い時間帯に対する履歴が記憶されていてもよい。また、音声履歴表示３２０は、操作部１５０による操作により記憶部１３０に記憶されている履歴を任意に表示可能としてもよい。
【００７８】
図１６において、音声履歴表示３２０の時間幅を６０秒とし、音声履歴表示３２０の左方向が６０秒前であり右方向を現在時刻として説明すると、６０秒前から現在時刻までの間において、音声信号表示３２１ａから３２１ｄまでの履歴が表示されている。また、表示図形３００は音声信号表示３２１ｄに対する表示である。
【００７９】
第２の表示処理例は図１７に示すように、図１３における第１の表示処理例に加え、ステップＳ４０１において載置モードであると判断された場合に、表示制御部１１１は時間幅ｔ６の音声履歴表示３２０を表示させる（ステップＳ４２２）ことが異なる。
【００８０】
また、第３の表示処理例は、図１８に示すように、図１７における第２の表示処理例に加え、ステップＳ４０１において把持モードであると判断された場合に、表示制御部１１１は時間幅ｔ５の音声履歴表示３２０を表示させる（ステップＳ４２１）ことが異なる。この場合における時間幅ｔ５は時間幅ｔ６より短い時間幅であり、例えば１０秒から３０秒程度であることが好ましい。
【００８１】
このように、音声情報表示装置１００の状態に応じて、音声信号に関する表示の表示時間を変えた表示を行うことにより、表示部１４０に表示されたにも関わらず、ユーザがその音声信号の存在に気付かなかったという状態を低減することができる。
【００８２】
また、音声情報表示装置１００の利用状態が、配置モードであると判断されている場合は、把持モードであると判断されている場合に比べて長い時間、表示図形３００を表示したり、長い時間幅を持った音声履歴表示３２０を表示する。このため、ユーザは、音声情報表示装置１００を頻繁に視認せずに他の作業を行っているような状態であっても、音声信号の存在を的確に確認することができる。
【００８３】
本発明の実施の形態は、その要旨を逸脱しない限り、様々に変更可能である。例えば、表示制御部１１１による表示形態は、図１１や図１２の例に限定されず、例えば表示図形３００Ｒ１から３００Ｒ４は、表示対象となる音声信号を構成する周波数によって表示色を変更してもよい。この場合の構成周波数は、周波数分析部１１３２により図８におけるステップＳ３０２で行われる。
【００８４】
また、表示時間を設定する時間ｔ１から時間ｔ４や表示時間幅を設定するｔ５およびｔ６は、任意に設定可能であり、ユーザの操作によって変更可能としてもよい。また、上記実施形態においては、載置モードにおける表示時間および表示時間幅を把持モードにおける表示時間および表示時間幅より長く設定したが、ユーザの表示確認タイミングによっては、把持モードにおける表示時間よび表示時間幅を載置モードにおける表示時間より長く設定してもよい。
【００８５】
また、上記実施形態においては、図１３におけるステップＳ４０２からステップＳ４０６がＹｅｓまでの間、およびステップＳ４０７からステップＳ４１１がＹｅｓまでの間に、単一の音声信号が入力された場合について説明した。しかし、これらの間に連続的に複数の音声信号が入力されることもある。このような場合、各々の音声信号に基づくステップＳ４０５およびステップＳ４１０における表示図形３００Ｒ４の表示が複数重畳しているような表示としてもよい。
【符号の説明】
【００８６】
２０：マイクロフォン、１００：音声情報表示装置、１１０：制御部、１１１：表示制御部、１１２：操作制御部、１１３：音声分析部、１１４：モード判断部、１２０：音声入力部、１４０：表示部、１７０：センサ部
【図１】
2014106394.tif 000003
【図２】
2014106394.tif 000004
【図３】
2014106394.tif 000005
【図４】
2014106394.tif 000006
【図５】
2014106394.tif 000007
【図６】
2014106394.tif 000008
【図７】
2014106394.tif 000009
【図８】
2014106394.tif 000010
【図９】
2014106394.tif 000011
【図１０】
2014106394.tif 000012
【図１１】
2014106394.tif 000013
【図１２】
2014106394.tif 000014
【図１３】
2014106394.tif 000015
【図１４】
2014106394.tif 000016
【図１５】
2014106394.tif 000017
【図１６】
2014106394.tif 000018
【図１７】
2014106394.tif 000019
【図１８】
2014106394.tif 000020