(57)【要約】  視覚的に音声信号を提示する方法は、提示する音声信号を受信するステップと、音声信号から所定数の離散的な周波数成分を生成するステップと、周波数成分のそれぞれに図形オブジェクトを割り当てるステップであって、当該図形オブジェクトのそれぞれは、幾何学的形状、位置情報及びサイズ情報によって特定されるステップと、全ての周波数成分に関連付けられた図形オブジェクトの全ては、グラフィックディスプレイに同時に表示されるステップと、を含む。本発明に係るシステムは、音声信号を生成するマイク（１１０）と、音声信号をサンプリングし、デジタル信号に変換する音声インターフェース部（１２０）と、デジタル信号を所定数の離散的な周波数成分に変換し、離散的な周波数成分のそれぞれに図形オブジェクトを割り当てる処理部（１３０）と、図形オブジェクトに基づいて映像信号を生成する映像インターフェース部（１５０）と、映像信号に基づいて図形オブジェクトから成るソノグラムを表示するグラフィックディスプレイ（１６０）と、を含む。
2009543108.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を視覚的に提示する方法であって、前記方法は、
ａ）提示対象の音声信号を受信するステップと、
ｂ）前記音声信号から所定数の離散的な周波数成分を生成するステップと、
を含み、
前記方法は、さらに、
ｃ）前記周波数成分のそれぞれに図形オブジェクトを割り当てるステップであって、前記図形オブジェクトのそれぞれは、幾何学的形状、位置情報及びサイズ情報によって特定されるステップと、
ｄ）全ての前記周波数成分と関連付けられた前記図形オブジェクトが全てグラフィックディスプレイに同時に表示されるステップと、
を含む、方法。
【請求項２】
請求項１に記載の方法であって、色情報が前記周波数成分のそれぞれの前記図形オブジェクトに割り当てられる、方法。
【請求項３】
請求項１または２に記載の方法であって、前記図形オブジェクトのサイズは、関連付けられた周波数成分の強さの関数として決定される、方法。
【請求項４】
請求項１から３のいずれか1つに記載の方法であって、前記図形オブジェクトの位置及び色は、関連付けられた周波数成分の周波数の関数として決定される、方法。
【請求項５】
請求項１から４のいずれか1つに記載の方法であって、前記図形オブジェクトは、平面図形の形式で提示され、２つの図形オブジェクトが重なり合う場合、より低い周波数を有する周波数成分の図形オブジェクトが、より高い周波数を有する周波数成分の図形オブジェクトによって覆い隠される、方法。
【請求項６】
請求項１から５のいずれか1つに記載の方法であって、前記音声信号は、リアルタイムで複数の前記離散的な周波数成分に分離される、方法。
【請求項７】
請求項１から６のいずれか1つに記載の方法であって、前記図形オブジェクトは、リアルタイムで表示される、方法。
【請求項８】
請求項１から７のいずれか1つに記載の方法であって、前記図形オブジェクトの前記幾何学的形状は、正方形であり、前記サイズ情報は、前記正方形の面積を特定する、方法。
【請求項９】
請求項２から８のいずれか1つに記載の方法であって、各図形オブジェクトの前記色情報は、可視光のスペクトルから選択された色によって特定され、いずれの周波数成分の図形オブジェクトの色も、他の周波数成分の図形オブジェクトの色に対して、感知できる程度に異なる、方法。
【請求項１０】
音声信号を視覚的に提示するシステムであって、前記システムは、
ａ）音声信号を生成するマイク（１１０）と、
ｂ）前記音声信号をサンプリングし、デジタル信号に変換する音声インターフェース部（１２０）と、
を含み、
前記システムは、さらに、
ｃ）前記デジタル信号を所定数の離散的な周波数成分に分離し、前記離散的な周波数成分のそれぞれに図形オブジェクトを割り当てる処理部（１３０）と、
ｄ）前記図形オブジェクトに基づいて映像信号を生成する映像インターフェース部（１５０）と、
ｅ）前記映像信号に基づいてソノグラムを表示するグラフィックディスプレイ（１６０）であって、前記ソノグラムが前記図形オブジェクトから成ることを特徴とするグラフィックディスプレイ（１６０）と、
を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号を視覚的に提示するシステム及び方法であって、音声信号から生成された画像信号がグラフィカルに表示されるシステム及び方法に関する。
【背景技術】
【０００２】
聴覚を訓練するため、及び、深刻な難聴または全失聴を患っている患者の発声能力を発達させるため、これまで主に外科的な解決法が適用されてきた。このような聴覚訓練の外科的な方法は、蝸牛移植と呼ばれ、頭蓋に移植された電極によって、聴力を改善する。しかし、骨系統が未発達な状態であるため、乳児には、このような外科的な解決法を実質的に実施することはできない。その反面、脳の順応性は、若年齢、特に、１ヵ月または２、３ヶ月で大変高い。そのため、聴覚訓練を早く始めれば始めるほど、より完全な聴覚または発声能力を得ることができる。近年、様々な実験が、外科的な処置をしない聴覚訓練に焦点をあてており、その中で最も有望な方法は、聴覚に障害のある人に対する発話音声の視覚的提示である。音声映像変換装置と呼ばれる装置の適用は、特に若年齢において脳の可塑性が非常に高いことにより、聴覚機能を部分的に、または、完全に視覚機能と置き換えることができるという原理に基づいている。
【０００３】
米国特許第６，３５１，７３２号には、音声映像変換装置が開示されており、この音声映像変換装置においては、マイクによって録音された発話音声から生成された音声信号が、複数の離散的な周波数成分に分離され、周波数成分がそれぞれ発光ダイオードなどの光源アレイを制御する制御信号に変換される。光源を含むディスプレイが、患者の頭部に、実質的に患者の視野を妨げないように配置される。この装置の欠点は、別々の制御信号を用いて各光源または各光源アレイを制御するため、ハードウェアベースの実装により、音声信号から生成された視覚情報の表示フォーマットを設定できない、ということである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６，３５１，７３２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の1つの目的は、視覚情報の表示フォーマットが、固定されたハードウェア配置によって限定されない、すなわち、音声信号から生成されたソノグラムの表示フォーマットを、様々なパラメータによって、広範囲に設定することができる、音声映像変換システム及び方法を提供することである。
【０００６】
本発明の別の目的は、視覚機能の複雑な情報収集能力を、今までよりも効率的及び集中的に利用することを可能にする音声映像変換システム及び方法を提供することである。
【課題を解決するための手段】
【０００７】
これら及び他の目的は、音声信号を視覚的に提示する方法を提供することにより達成される。この方法は、提示する音声信号を受信するステップと、音声信号から所定の数の離散的な周波数成分を生成するステップと、周波数成分のそれぞれに図形オブジェクトを割り当てるステップであって、当該図形オブジェクトは幾何学的形状、位置情報及びサイズ情報によって特定されるステップと、を含み、全ての周波数成分と関連付けられた図形オブジェクトが全てグラフィックディスプレイに同時に表示される、方法である。
【０００８】
色情報が各周波数成分の図形オブジェクトに割り当てられることが好ましい。
【０００９】
図形オブジェクトの大きさは、関連付けられた周波数成分の強度の関数として決定されることが好ましいが、図形オブジェクトの位置及び色は、関連付けられた周波数成分の周波数の関数として決定されることが好ましい。
【００１０】
本発明に係る方法の実施形態において、図形オブジェクトは、平面図形で提示され、２つの図形オブジェクトが重なり合う場合、より低い周波数を有する周波数成分の図形オブジェクトは、より高い周波数を有する周波数成分の図形オブジェクトに覆い隠される（masked）。
【００１１】
音声信号の離散的な周波数成分への分離だけでなく、図形オブジェクトの表示も、リアルタイムで行われることが好ましい。
【００１２】
本発明に係る方法の好ましい実施形態において、図形オブジェクトの幾何学的形状は正方形であり、サイズ情報により正方形の面積が与えられる。
【００１３】
各図形オブジェクトの色情報は、いずれの周波数成分の図形オブジェクトの色も、他の周波数成分の図形オブジェクトの色と感知できる程度に異なるように、可視光のスペクトルから選択された色によって特定されてもよい。
【００１４】
上記の目的は、更に、音声信号を視覚的に提示するシステムを提供することによって達成される。このシステムは、音声信号を生成するマイクと、音声信号をサンプリングし、デジタル信号に変換する音声インターフェース部と、デジタル信号を所定数の離散的な周波数成分に分離し、離散的な周波数成分のそれぞれに図形オブジェクトを割り当てる処理部と、図形オブジェクトに基づいて映像信号を生成する映像インターフェース部と、映像信号に基づいて図形オブジェクトから成るソノグラムを表示するグラフィックディスプレイとを含む、システムである。
【発明の効果】
【００１５】
音声信号から生成された視覚情報が、グラフィックディスプレイにグラフィカルに表示されるので、あらゆる種類の抽象的な視覚情報を提示することができ、このシステムは、システムのハードウェア配置を変更する必要もなく、個人的な要求に応じて設定することができる。本発明の更なる効果は、ソノグラムのグラフィカルな提示が、位置情報及びサイズ情報に加えて、形状情報及び色情報の提供にも適しているので、より集中的に非常に複雑な視覚機能を活用することができることである。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る音声映像変換システムの概略ブロック図である。
【図２ａ】本発明に係るシステムによって表示される、様々な入力音声信号のためのソノグラムを示す図である。
【図２ｂ】本発明に係るシステムによって表示される、様々な入力音声信号のためのソノグラムを示す図である。
【図２ｃ】本発明に係るシステムによって表示される、様々な入力音声信号のためのソノグラムを示す図である。
【図２ｄ】本発明に係るシステムによって表示される、様々な入力音声信号のためのソノグラムを示す図である。
【発明を実施するための形態】
【００１７】
本発明を添付の図面を参照してより詳細に説明する。
【００１８】
図１は本発明に係る音声映像変換システム１００の概略ブロック図を示す。システム１００において、マイク１１０は一次音源として用いられる。マイク１１０によって生成された電気信号は、音声インターフェース部１２０によって受信され、音声インターフェース部１２０が、処理部１３０向けに、受信したアナログ電気信号からデジタル信号を生成する。処理する信号の最大帯域幅は、音声インターフェース部１２０で適用されるサンプリング周波数によって決定される。ナイキストサンプリング定理によると、帯域幅は、サンプリング周波数の半分と定義される。発話音声の対象帯域幅が１２５Ｈｚから３０００Ｈｚの周波数範囲であるという事実に対し、本発明に係るシステムで用いられるサンプリング周波数は、少なくとも６０００Ｈｚであることが好ましい。サンプリング周波数はこの値に限定されず、特定の用途によっては、この値と著しく異なってもよいことに留意されたい。
【００１９】
本発明に係るシステム１００は、較正のために二次音源（図示せず）を有してもよい。二次音響発生装置は、内蔵式の正弦波発生器であることが好ましい。二次音源を用いて、信号処理部１３０の動作を確認してもよいし、信号処理自体を調査してもよい。
【００２０】
音声インターフェース部１２０で適用されるサンプリング周波数は、システムを柔軟に利用できるようにするために、ある範囲内で変更できることが好ましい。音声インターフェース部１２０がサウンドカードの形式である場合、適用できるサンプリング周波数は、主にハードウェア構成またはサウンドカードのドライバによって定義される。
【００２１】
音声インターフェース部１２０によって生成されたデジタル信号は、処理部１３０によって、デジタル化音声信号の周波数スペクトルが得られるように高速フーリエ変換（ＦＦＴ）される。高速フーリエ変換により得られたスペクトルは、所定数の周波数範囲に分割され、例えば、特定の範囲の信号電力等に応じた特定の強さ（振幅）を有する周波数成分が、各周波数範囲に割り当てられる。本発明に係るシステム１００の好ましい実施形態において、発話音声に関して重要な周波数範囲、すなわち、１２５Ｈｚから３０００Ｈｚの範囲は、例えば、３０帯域に分割されるので、３０個の離散的な周波数成分が受信音声信号に割り当てられる。そのため、５つの周波数成分が１オクターブごとに視覚的に提示される。
【００２２】
本発明に係るシステム１００において、高速フーリエ変換は、以下に説明する４つの異なる方法で行われてもよい。
【００２３】
アプリケーション「ｉｎｔｅｇｅｒ  ＦＦＴ」は、所定数（２４，６４または８０）の入力ポイントを有するサンプルのみに対する処理に用いられ、整数ベースの計算を行う。
【００２４】
アプリケーション「ｇｓｌ  ＦＦＴ」は、ＧＮＵ  Ｓｃｉｅｎｔｉｆｉｃ  Ｌｉｂｒａｒｙで入手可能な混合基数実数ＦＦＴアルゴリズム（mixed radix real FFT algorithm）を用いる。このアプリケーションは、任意の数の入力ポイントのサンプルの処理に適しており、ＦＦＴを基数２，３，４，５，６、及び、可能であれば、基数７で、自動的に因数分解する。
【００２５】
アプリケーション「ｆｆｔｗ  ＦＦＴ」は、ＦＦＴＷ  Ｃ  Ｌｉｂｒａｒｙで入手可能な半複素数ＦＦＴ変換（half complex FFT transformation）を用いる。このアプリケーションは、最も高速なアルゴリズムを見つけるために、考えられる因数分解に対して詳細なテストを実施するので、より長い初期化期間を有する。この特徴は、サンプリング周波数または周波数成分の数を変更する予定がある場合、考慮されるべきである。
【００２６】
アプリケーション「ｒｅｆｅｒｅｎｃｅ  ＦＦＴ」は、離散フーリエ変換に基づく標準アプリケーションである。このアプリケーションは、最適化を行わないので、４つのアプリケーションの中で最も遅い。従って、アプリケーション「ｒｅｆｅｒｅｎｃｅ  ＦＦＴ」は、上記の３つのアプリケーションの結果の確認にのみ用いられる。
【００２７】
高速フーリエ変換によって生成されたスペクトルは、入力フィルタによって平滑化される。入力フィルタにより、システムの周波数解像度は低下するが、同時に、ＦＦＴ処理の間の情報損失（周波数漏洩（frequency leakage））も著しく低減する。本発明に係るシステムにおいて、３種類の入力フィルタ、すなわち、矩形窓、ハミング窓またはブラックマン窓が用いられてもよい。
【００２８】
「矩形窓」のフィルタの本質的特徴は、原信号の振幅を変更しないことである。この種類のフィルタは、最も高いフィルタ解像度を有するが、同時に、信号に大きな歪みを生成する。
【００２９】
「ハミング窓」のフィルタは、特別な式に従って入力ポイントの数を増やすので、画像のリフレッシュ速度と処理する信号の振幅との両方に影響を与える。「矩形窓」のフィルタと比べて、このフィルタでは、周波数解像度が大幅に低減する一方で、非主要周波数に対する感受性が大幅に低減するので、生成される信号歪みがわずかである。
【００３０】
「ブラックマン窓」のフィルタもまた、特別な式に従って入力ポイントの数を増やすので、画像のリフレッシュ速度と処理する信号の振幅との両方に影響を与える。この種類のフィルタでは、周波数解像度が最も低減するが、実質的に信号歪みを全く生成しない。
【００３１】
音声信号が雑音を過剰に含む場合、または、異なる周波数成分の振幅の変化が速すぎる場合、高速フーリエ変換により生成された周波数スペクトルの有用な信号内容を得るために、移動平均法を実行することによりフィルタリングを行ってもよい。移動平均化の間、所定数Ｎポイントが、それらの平均値に置き換えられる。Ｎ＝１である場合、移動平均化で、入力信号がフィルタにかけられないということは明らかである。移動平均化に用いられる窓の幅、すなわち、Ｎの値は、考えられる最も早い表示と、考えられる最も高い信号対雑音比と、の相互の影響に関して最適値が設定されるべきである。
【００３２】
本発明に係るシステムにおいて、出力ポイントを生成する、いわゆるリビニング（rebinning）フィルタを用いることも可能であり、出力ポイントの数は、ＦＦＴアルゴリズムで生成されるポイントの数と異なる。出力ポイントは、処理された入力ポイントのエネルギを再分配することによって生成される。リビニングフィルタリングは、必要であれば、処理部１３０によって行われる。
【００３３】
本発明に係るシステムの基本的な特徴は、音声信号を、とりわけ、話者の音程、音の強さ、音色などに関する情報を与える抽象的な画像に変換することである。本発明に係るシステムにおいて、抽象的な画像は、グラフィックディスプレイに提示される図形オブジェクトから成る。１つの図形オブジェクトが、各周波数成分と関連付けられていることが好ましいが、別の方法として、所与の実施においては、複数の異なる図形オブジェクトが、１つの特定の周波数成分と関連付けられていてもよい。本発明に係るシステム１００において、周波数成分の図形オブジェクトへのマッピングは、処理部１３０によって行われる。
【００３４】
各図形オブジェクトに、幾何学的形状、位置情報及びサイズ情報が割り当てられる。本発明の特に好ましい実施形態においては、色情報が、さらに、図形オブジェクトに割り当てられる。幾何学的形状は、点、線でもよいし、または正方形、円、正則(regular)または非正則(irregular)平面図形などの平面図形でもよい。サイズ情報は、図形オブジェクトの寸法（解釈できるのであれば）に関わる。すなわち、線の場合、線の長さ、平面図形の場合、その面積に関する。位置情報は、グラフィックディスプレイ上の図形オブジェクトの選択ポイントの位置を定義する。線の場合、選択ポイントは、例えば、線のどちらの終点でもよいのに対し、平面図形の場合、選択ポイントは、例えば、平面図形の中心点、または、その他の基準点でよい。音声信号の波形が入力フィルタリングの前後で表示される場合、図形オブジェクトは、点の形式で提示される。周波数成分が横線または縦線（柱状図）の形式で表される場合、行（または、列）の長さは、それぞれの周波数成分の強さを表す。図形オブジェクトを平面図形の形式、好ましくは、正方形のような正則平面図形の形式で表示する場合、本発明に係るシステムの能力を最大限活用することができる。
【００３５】
それぞれの周波数成分と関連付けられた図形オブジェクトは、連続的にソノグラムに、好ましくは、行及び／または列に配置される。図形オブジェクトが平面図形の形式で提示される場合、最低周波数を有する周波数成分の図形オブジェクトがソノグラムの左上隅に位置するように配置され、最高周波数を有する周波数成分の図形オブジェクトが画像の右下隅に位置するように配置されることが好ましい。図形オブジェクトが平面図形の形式で表される場合、平面図形の面積は、それぞれの周波数成分の強さ（振幅）によって定義される。前記の例に戻って、３０個の周波数成分が音声信号と関連付けられている場合、周波数成分の平面図形は、５行６列から成るマトリクス状に配置される。各平面図形の面積は、それぞれの周波数成分の強さに依存し、それらの色は、それぞれの周波数成分の周波数に依存する。このようにして得られた図形ソノグラムでは、発話音声または発話単語の画像どうしが十分に異なるので、類似した音声または単語の違いを見分けることができる。実際的経験によれば、３０個の周波数成分を表示するソノグラムが提示する画像は、詳細過ぎず、発話のリズムに従った画像変化は、単語または内容の理解を妨げない。
【００３６】
隣接した位置にある図形オブジェクトが重複可能であれば、より高い周波数を有する周波数成分の図形オブジェクトが、より低い周波数を有する周波数成分の図形オブジェクトを覆い隠すように、重複した図形オブジェクトを表示することが好ましい。周波数成分に色情報を割り当てることにより、異なる周波数成分に属する図形オブジェクトを異なる色で符号化することも実現可能である。
【００３７】
周波数成分に割り当てられた図形オブジェクトを提示するソノグラムに基づいて、映像信号が、映像インターフェース部１５０によって生成され、ソノグラムをグラフィカルに表示するグラフィックディスプレイ１６０へ送信される。グラフィックディスプレイ１６０は、患者の頭部に固定できる小さなディスプレイ、例えば、ビデオグラス（video glasses）であって、当該ディスプレイが、患者の正常な視野を著しく妨げずに、患者が相当な量の視覚情報を受信できるサイズを有することが好ましい。本発明に係るシステム１００の別の実施形態において、映像信号は、映像インターフェース部１５０とグラフィックディスプレイ１６０との間を、例えば、ブルートゥース（Bluetooth）などの無線相互接続を介して送信される。これは、主に乳児の場合、重要である。
【００３８】
図形ソノグラムを表示するために用いられるパラメータ（フィルタリング、信号処理、図形オブジェクト描写などのパラメータ）は、設定ファイルに記憶される。システムの動作及びグラフィカルな提示を指示するこれらのコンフィギュレーションパラメータは、システムの動作中であっても調整することができる。
【００３９】
本発明に係るシステムの好ましい実施形態において、音声信号、すなわち、発話音声は、リアルタイムでデジタル信号に変換され、グラフィックディスプレイの画像解像度、リフレッシュ速度などが許せば、周波数成分の図形オブジェクトから成るソノグラムもまた、リアルタイムで表示される。これにより、生の発話（live speech）の継続的な視覚的提示が実現されるので、個々の（静的な）音声画像だけでなく、音声画像の経時変化も視覚情報を伝える。
【００４０】
グラフィックディスプレイ１６０は、ビデオグラスのモニタの形式であることが好ましく、ディスプレイが、視界の上部外側の４分の１を覆い、患者の視界を妨害になる程度に狭めないことが好ましい。
【００４１】
当業者にとって、本発明に係るシステムが、特別にプログラムされた（すなわち、用途向けソフトウェア（application specific software）によって操作される）汎用のコンピュータデバイスを用いることによって、簡単に実現されることは、明らかである。この場合、音声信号を受信してサンプリングする、及び、これらの信号をデジタル信号に変換するための音声インターフェース部１３０は、一般的に、サウンドカードであり、処理部１３０は、一般的に、コンピュータデバイスのマイクロプロセッサであり、映像インターフェース部１５０は、一般的に、ビデオカードである。本発明に係るシステムにおいて、周波数成分の数、特に、幾何学的形状の図形オブジェクトの表示形式、図形オブジェクトの色および配置は、広い範囲内で自由に変更してもよい。システムは、最も簡単な場合、所定の形式を有するコンフィギュレーションデータファイルを読み込むことによって設定されてもよいし、より複雑な場合、例えば、パーソナルコンピュータを用いる場合、グラフィカル・ユーザ・インターフェースにより設定されてもよい。
【００４２】
図２ａから図２ｄは、様々な音及び音節のソノグラムを示す。図２ａは、男性が発音し、記録された音声「ａ」のソノグラムを示す。図２ａから分かるように、男性の音声「ａ」は、主により低い周波数の周波数成分から成る。図２ｂは、男性が発音し、記録された音節「ｔｅ」のソノグラムを示し、図２ｃは、男性が発音し、記録された音節「ｓｉ」のソノグラムを示す。図２ｂ及び図２ｃの両方から明確に分かるように、隣接した位置にあり、重なり合う図形オブジェクトの場合（図中の正方形に示される）、より高い周波数の周波数成分のオブジェクトがより低い周波数の周波数成分のオブジェクトに重なっている。図２ｄに、女性が発音し、記録された音節「ｉｓ」のソノグラムを示す。図２ｄからわかるように、女性の声においては、より高い周波数を有する周波数成分がより強いので、本発明に係るシステムにより、男性の声を女性の声と区別することもできる。
【００４３】
図２ａから図２ｄのソノグラムは、６０００Ｈｚのサンプリング周波数、「ブラックマン窓」の入力フィルタ、及び、「ｇｓｌ  ＦＦＴ」アルゴリズムを適用することによって記録された。このソノグラムにおいて、最低周波数の周波数成分は、波長が大きい色（赤）で表示され、最高周波数の周波数成分は、波長が小さい色（紫）で表示される。中間の周波数は、赤と紫の間の遷移の色、すなわち、黄色、緑、青などで表示される。
【００４４】
本発明のシステムは、音声信号の視覚提示を、ある範囲内で自由に設定できるという大きな効果を有するので、聴覚の訓練治療、または、聴覚機能の視覚機能との置き換えを、個人向けにカスタマイズでき、治療に対して最も効率的な提示モードが常に設定されるように、治療中いつでも変更できる。本発明の更なる効果は、グラフィックディスプレイに提示された抽象的な画像または一連の画像が、複雑な視覚情報を提供するので、今までよりもずっと効率的で集中的な方法で治療が可能になるということである。
【図１】
2009543108.tif 000003
【図２ａ】
2009543108.tif 000004
【図２ｂ】
2009543108.tif 000005
【図２ｃ】
2009543108.tif 000006
【図２ｄ】
2009543108.tif 000007
【手続補正書】
【提出日】平成19年12月12日(2007.12.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声信号を視覚的に提示する方法であって、前記方法は、
ａ）提示する音声信号を受信するステップと、
ｂ）前記音声信号から所定数の離散的な周波数成分を生成するステップであって、前記周波数成分のそれぞれは所定の周波数を有することを特徴とするステップと、
を含み、
前記方法は、さらに、
ｃ）前記周波数成分のそれぞれに平面図形を割り当てるステップであって、前記平面図形のそれぞれは、幾何学的形状、位置情報及びサイズ情報によって特定されるステップと、
ｄ）全ての前記周波数成分と関連付けられた前記平面図形が全てグラフィックディスプレイに同時に表示されるステップであって、前記平面図形のそれぞれは、当該平面図形の幾何学的形状に従った形で、当該平面図形の位置情報に従った位置に、当該平面図形のサイズ情報に従ったサイズで、提示されることを特徴とするステップと、
を含む、方法。
【請求項２】
請求項１に記載の方法であって、色情報は、さらに、前記周波数成分のそれぞれの前記平面図形に割り当てられ、前記平面図形のそれぞれは、前記平面図形の色情報に従った色で提示される、方法。
【請求項３】
請求項１または２に記載の方法であって、前記平面図形のサイズは、関連付けられた周波数成分の強さの関数として決定される、方法。
【請求項４】
請求項１から３のいずれか1つに記載の方法であって、前記平面図形の位置及び色は、関連付けられた周波数成分の周波数の関数として決定される、方法。
【請求項５】
請求項１から４のいずれか1つに記載の方法であって、少なくとも隣接した平面図形を重ね合わせることができ、２つの平面図形が重なり合う場合、より低い周波数を有する周波数成分の平面図形が、より高い周波数を有する周波数成分の平面図形によって覆い隠される、方法。
【請求項６】
請求項１から５のいずれか1つに記載の方法であって、前記音声信号は、リアルタイムで複数の前記離散周波数成分に分離される、方法。
【請求項７】
請求項１から６のいずれか1つに記載の方法であって、前記平面図形は、リアルタイムで表示される、方法。
【請求項８】
請求項１から７のいずれか1つに記載の方法であって、前記平面図形のそれぞれの前記幾何学的形状は、正方形であり、前記サイズ情報は、前記正方形の面積を特定する、方法。
【請求項９】
音声信号を視覚的に提示するシステムであって、前記システムは、
ａ）音声信号を生成するマイク（１１０）と、
ｂ）音声信号をサンプリングし、デジタル信号に変換する音声インターフェース部（１２０）と、を含み、
前記システムは、さらに、
ｃ）前記デジタル信号を、所定の周波数を有する所定数の離散的な周波数成分に分離し、前記平面図形のそれぞれの幾何学的形状、位置情報及びサイズ情報を特定しながら、前記離散的な周波数成分のそれぞれに平面図形を割り当てる処理部（１３０）と、
ｄ）前記平面図形に基づいて映像信号を生成する映像インターフェース部（１５０）と、
ｅ）前記映像信号に基づいてソノグラムを表示するグラフィックディスプレイ（１６０）であって、前記ソノグラムが前記平面図形から成ることを特徴とするグラフィックディスプレイ（１６０）と、
を含む、システム。
【国際調査報告】
2009543108.tif 000008
2009543108.tif 000009
2009543108.tif 000010