(57)【要約】【課題】入力音に応答してオブジェクト表示を行う場合に、入力音を多角的に解析することによって複数の意味を持ったオブジェクトを表示できるようにする。【解決手段】ＣＰＵ１は、音響センサ７から入力された音を解析することによって複数種の属性の各々に対応する属性値を算出し、この複数種の属性値に基づいて音響種別管理テーブル、属性表示管理テーブルを参照することによってオブジェクト表示に関する複数種の属性の各々に対応する表示形態を決定し、この属性毎の表示形態でオブジェクト表示を行う。【選択図】  図1
2005099418.tif 000002
【特許請求の範囲】
【請求項１】
入力音に応答してオブジェクト表示を行うオブジェクト表示装置において、
音に関する複数種の属性とオブジェクトに関する複数種の属性とを対応付けた属性対応情報を記憶管理する属性対応情報記憶手段と、
入力音を解析することによって複数種の属性の各々に対応する属性値を算出する算出手段と、
この算出手段によって算出された複数種の属性値と前記属性対応情報とに基づいてオブジェクト表示に関する複数種の属性の各々に対応する表示形態を決定する決定手段と、
この決定手段によって決定された属性毎の表示形態でオブジェクト表示を行う表示制御手段と、
を具備したことを特徴とするオブジェクト表示装置。
【請求項２】
前記音に関する複数種の属性は、音の種別、音の強弱、高低、長短、音源の方向、音源との距離、緊急度のうち、少なくとも、その何れかを含む情報である、
ことを特徴とする請求項1記載のオブジェクト表示装置。
【請求項３】
前記オブジェクトに関する複数種の属性は、オブジェクトの種類、形状、表示位置、サイズ、色合い、色の濃さ、透過度、点滅速度、動作変化のうち、少なくとも、その何れかを含む情報である、
ことを特徴とする請求項1記載のオブジェクト表示装置。
【請求項４】
前記属性対応情報は、少なくとも、音の種別をオブジェクトの種類またはその形状に対応させた情報である、
ことを特徴とする請求項1記載のオブジェクト表示装置。
【請求項５】
前記属性対応情報は、少なくとも、音の強弱／高低／長短をオブジェクトのサイズ／色／透過度／点滅速度／動作変化に対応させた情報である、
ことを特徴とする請求項1記載のオブジェクト表示装置。
【請求項６】
前記音に関する複数の属性は、音源との距離あるいは音源の方向に関する情報を含み、
前記算出手段は、複数のマイクロフォンからの入力音を解析することによって音源との距離あるいは音源の方向を含む複数種の属性値を算出する、
ようにしたことを特徴とする請求項1記載のオブジェクト表示装置。
【請求項７】
前記属性対応情報は、少なくとも、音源の方向あるいは音源との距離をオブジェクトの位置またはそのサイズに対応させた情報である、
ことを特徴とする請求項６記載のオブジェクト表示装置。
【請求項８】
前記音に関する複数種の属性とオブジェクトに関する複数種の属性とを対応付けた属性対応情報を任意に登録する登録手段を設け、
前記取得手段は、この登録手段によって登録された属性対応情報を取得する、
ようにしたことを特徴とする請求項1記載のオブジェクト表示装置。
【請求項９】
入力された音波形をサンプリングしてその特徴を抽出することによって得られた特徴データと、その種別を示す属性とを対応付けて任意に登録する登録手段を設け、
入力音を解析することによって得られた特徴データと前記登録されている種別毎の特徴データとを照合することによって当該入力音の種別を判定する、
ようにしたことを特徴とする請求項１記載のオブジェクト表示装置。
【請求項１０】
入力音を解析した際に、前記特徴データに一致する音が検出された場合には、報知用のバイブレーション機能を作動させる、
ようにしたことを特徴とする請求項９記載のオブジェクト表示装置。
【請求項１１】
前記バイブレーション機能を作動させる際に、緊急度に応じた強度または振動数でバイブレーション報知を行わせる、
ようにしたことを特徴とする請求項１０記載のオブジェクト表示装置。
【請求項１２】
コンピュータに対して、
音に関する複数種の属性とオブジェクトに関する複数種の属性とを対応付けた属性対応情報を記憶管理する機能と、
入力音を解析することによって複数種の属性の各々に対応する属性値を算出する機能と、
算出された複数種の属性値と前記属性対応情報とに基づいてオブジェクト表示に関する複数種の属性の各々に対応する表示形態を決定する機能と、
決定された属性毎の表示形態でオブジェクト表示を行う機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力音に応答してオブジェクト表示を行うオブジェクト表示装置およびプログラムに関する。
【背景技術】
【０００２】
従来、入力音に応答して画像表示を行うものとしては、例えば、着信音の種類や音階に基づいて画像の色彩を可変するようにした電話機が知られている（特許文献１参照）。
また、所定の入力音を認識することによって対応する画像マークを表示することで、ユーザの音の認識を助けるようにした情報処理装置が知られている（特許文献２参照）。
【特許文献１】特開２００１−２３７９２２号公報
【特許文献２】特開平１０−１７１６２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した特許文献１の電話機にあっては、例えば、相手先毎に、着信音の種類や音階が異なるように設定しておけば、着信時の表示される画像の色彩によって相手先が誰かを容易に確認することはできるが、表示を媒体として使用者に伝えることができる情報は、相手先の確認に限られてしまい、更には、画像の色彩変化だけでは使用者への伝達力（注意喚起力）も弱く、誤認混同のおそれもあった。
また、上述した特許文献２の情報処理装置にあっても上述した特許文献１の場合と同様、表示を媒体として使用者に伝えることができる情報は、極限られたものとなり、聴覚障害者に対する補助機能としては不充分なものであった。
【０００４】
この発明の課題は、入力音に応答してオブジェクト表示を行う場合に、入力音を多角的に解析することによって複数の意味を持ったオブジェクトを表示できるようにすることである。
【課題を解決するための手段】
【０００５】
請求項１記載の発明は、入力音に応答してオブジェクト表示を行うオブジェクト表示装置において、音に関する複数種の属性とオブジェクトに関する複数種の属性とを対応付けた属性対応情報を記憶管理する属性対応情報記憶手段と、入力音を解析することによって複数種の属性の各々に対応する属性値を算出する算出手段と、この算出手段によって算出された複数種の属性値と前記属性対応情報とに基づいてオブジェクト表示に関する複数種の属性の各々に対応する表示形態を決定する決定手段と、この決定手段によって決定された属性毎の表示形態でオブジェクト表示を行う表示制御手段とを具備したことを特徴とするオブジェクト表示装置である。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１１記載の発明）。
【０００６】
なお、請求項１記載の発明は次のようなものであってもよい。
前記音に関する複数種の属性は、音の種類、音の強弱、高低、長短、音源の方向、音源との距離、緊急度のうち、少なくとも、その何れかを含む情報である（請求項２記載の発明）。
【０００７】
前記オブジェクトに関する複数種の属性は、オブジェクトの種類、形状、表示位置、サイズ、色合い、色の濃さ、透過度、点滅速度、動作変化のうち、少なくとも、その何れかを含む情報である（請求項３記載の発明）。
【０００８】
前記属性対応情報は、少なくとも、音の種別をオブジェクトの種類またはその形状に対応させた情報である（請求項４記載の発明）。
【０００９】
前記属性対応情報は、少なくとも、音の強弱／高低／長短をオブジェクトのサイズ／色／透過度／点滅速度／動作変化に対応させた情報である（請求項５記載の発明）。
【００１０】
前記音に関する複数の属性は、音源との距離あるいは音源の方向に関する情報を含み、前記算出手段は、複数のマイクロフォンからの入力音を解析することによって音源との距離あるいは音源の方向を含む複数種の属性値を算出する（請求項６記載の発明）。
【００１１】
前記属性対応情報は、少なくとも、音源の方向あるいは音源との距離をオブジェクトの位置またはそのサイズに対応させた情報である（請求項７記載の発明）。
【００１２】
前記音に関する複数種の属性とオブジェクトに関する複数種の属性とを対応付けた属性対応情報を任意に登録する登録手段を設け、前記取得手段は、この登録手段によって登録された属性対応情報を取得する（請求項８記載の発明）。
【００１３】
入力された音波形をサンプリングしてその特徴を抽出することによって得られた特徴データと、その種別を示す属性とを対応付けて任意に登録する登録手段を設け、入力音を解析することによって得られた特徴データと前記登録されている種別毎の特徴データとを照合することによって当該入力音の種別を判定する（請求項９記載の発明）。
この場合、入力音を解析した際に、特徴データに一致する音が検出された場合には、報知用のバイブレーション機能を作動させるようにしてもよい（請求項１０記載の発明）。
また、バイブレーション機能を作動させる際に、緊急度に応じた強度または振動数でバイブレーション報知を行わせるようにしてもよい（請求項１１記載の発明）。
【発明の効果】
【００１４】
請求項１記載の発明によれば、音に関する複数種の属性とオブジェクトに関する複数種の属性とを対応付けた属性対応情報を記憶管理している状態において、入力された音を解析することによって複数種の属性の各々に対応する属性値を算出し、この複数種の属性値と属性対応情報とに基づいてオブジェクト表示に関する複数種の属性の各々に対応する表示形態を決定し、この属性毎の表示形態でオブジェクト表示を行うようにしたから、入力音を多角的に解析することによって複数の意味を持ったオブジェクトを表示することができ、例えば、聴覚障害者に対する補助機能として活用した場合には、１つの入力音から周囲のあらゆる状況を多義的に案内表示することができ、危険回避等にに極めて有効なものとなる。
【００１５】
請求項２記載の発明によれば、上述した請求項２記載の発明と同様の効果を有する他、音に関する複数種の属性は、音の種類、音の強弱、高低、長短、音源の方向、音源との距離、緊急度のうち、少なくとも、その何れかを含む情報であるから、この複数種の属性に基づいて入力音を属性毎に多角的に解析することができる。
【００１６】
請求項３記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、オブジェクトに関する複数種の属性は、オブジェクトの種類、形状、表示位置、サイズ、色合い、色の濃さ、透過度、点滅速度、動作変化のうち、少なくとも、その何れかを含む情報であるから、この複数種の属性に基づいて多義的なオブジェクトを表示することができる。
【００１７】
請求項４記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、属性対応情報は、少なくとも、音の種別をオブジェクトの種類またはその形状に対応させた情報であるから、利用者は、音とオブジェクトとの対応関係を直感的に判断することができる。
【００１８】
請求項５記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、属性対応情報は、少なくとも、音の強弱／高低／長短をオブジェクトのサイズ／色／透過度／点滅速度／動作変化に対応させた情報であるから、利用者は、音とオブジェクトとの対応関係を直感的に判断することができる。
【００１９】
請求項６記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、複数のマイクロフォンからの入力音を解析することによって音源との距離あるいは音源の方向を含む複数種の属性値を算出するようにしたから、音源との距離あるいは音源の方向を示すオブジェクト表示が可能となる。なお、音源との距離あるいは音源の方向は、複数のマイクロフォンからの入力音の位相差や音量差を解析することによって求められる。
【００２０】
請求項７記載の発明によれば、上述した請求項１、７記載の発明と同様の効果を有する他、属性対応情報は、少なくとも、音源の方向あるいは音源との距離をオブジェクトの位置またはサイズに対応させた情報であるから、利用者は、音源の方向あるいは音源との距離をオブジェクト表示によって直感的に判断することができる。
【００２１】
請求項８記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、音に関する複数種の属性とオブジェクトに関する複数種の属性とを対応付けた属性対応情報を任意に登録するようにしたから、利用者の好みや必要性に応じた入力音とオブジェクト表示との対応関係を任意に変更することができる。
【００２２】
請求項９記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、音の種別に対応してその音の特徴データを任意に登録するようにしたから、例えば、自分を呼ぶ声など、音の種別を利用者の好みや必要性に応じて任意に登録することができる。この場合、入力音を解析した際に、特徴データに一致する音が検出された場合に報知用のバイブレーション機能を作動させるようにすれば（請求項１０記載の発明）、オブジェクト表示の他、バイブレーション報知が可能となり、確実な報知を実現することができる。また、バイブレーション機能を作動させる際に、緊急度に応じた強度または振動数でバイブレーション報知を行わせるようにすれば（請求項１１記載の発明）、バイブレーション報知によっても緊急度合いを容易に知ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図１〜図９を参照して本発明の一実施例を説明する。
図１は、この実施例における聴覚障害者用携帯装置の全体構成の概要を示したブロック図である。
この携帯装置は、聴覚障害者に対する補助機能として、入力音に応答してオブジェクト表示を行うオブジェクト表示機能を有するもので、入力音を多角的に解析することによって複数の意味を持ったオブジェクトを表示することで、１つの入力音から周囲のあらゆる状況を多義的に案内可能としたものであり、携帯電話やＰＤＡ等に当該機能を組み込んだ構成となっている。すなわち、この聴覚障害者用携帯装置は、入力された音を解析することによって音に関する複数種の属性の各々に対応する属性値をそれぞれ算出し、この複数種の属性値に基づいてオブジェクト表示に関する複数種の属性の各々に対応する表示形態を決定し、この属性毎の表示形態でオブジェクト表示を行うようにしたものである。
なお、この実施例の特徴部分を詳述する前に、この実施例のハードウェア上の構成について以下、説明しておく。
【００２４】
図１は、聴覚障害者用携帯装置の基本的構成要素を示したブロック図である。
ＣＰＵ１は、記憶装置２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこの聴覚障害者用携帯装置の全体動作を制御する中央演算処理装置である。記憶装置２は、プログラム記憶領域２１とデータ記憶領域２２とを有し、磁気的／光学的メモリや半導体メモリ等の他、その駆動系を有する構成となっている。このプログラム記憶領域２１には、後述する図５〜図７に示す動作手順にしたがって本実施例を実現する為のアプリケーションプログラム（各種の管理テーブル登録処理、オブジェクト表示処理）が格納され、また、データ記憶領域には、後述する図３および図４に示すデータ（各種の管理テーブル）が格納されている。なお、記録装置２は、ハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体であってもよい。この記憶装置２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）３にロードされたり、このＲＡＭ３内のデータが記憶装置２内にセーブされる。なお、ＲＡＭ３は、プログラム実行領域３１と作業領域３２とを有している。
【００２５】
更に、ＣＰＵ１は、通信装置４を介して他の電子機器側のプログラム／データを直接アクセスしたり、通信装置４を介してダウンロード受信することもできる。一方、ＣＰＵ１には、その入出力周辺デバイスである通信装置４、入力装置５、表示装置６、音響センサ７、振動モータ８がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１は、これらの入出力デバイスの動作制御を行う。
【００２６】
音響センサ７は、図２に示すように、聴覚障害者用携帯装置の裏面側に配置された複数（３個）のマイクロフォン７１によって構成されたもので、音源との距離や音源の方向を検知する為に、３つのマイクロフォン７１は、距離的にずらして設置されている。この場合、入力音の位相差や音量差を加味して音源との距離や音源の方向を検知するようにしている。振動モータ８は、報知用のバイブレーション機能を構成するものであり、その強度や振動数を可変できるようになっている。
【００２７】
図３は、音響種別管理テーブル１１の内容を示した図である。
この音響種別管理テーブル１１は、音の種別とオブジェクト形状とを対応させた属性対応情報を記憶管理すると共に、音の種別に対応してその緊急度（重要度）を記憶管理するものである。すなわち、音響種別管理テーブル１１は、音の種類毎に、「識別名称」、「音の特徴データ」、「オブジェクト形状」、「緊急度（重要度）」の各項目を有し、これらは必要に応じて利用者が任意に登録したものである。つまり、聴覚障害者である利用者は、音の種類毎に好みに合ったオブジェクト表示が行われるように、音の種別とオブジェクト形状との対応関係を示す属性対応情報を任意に登録することができる他、音の種類毎にその緊急度（重要度）が視覚的に認知可能となるように、緊急度（重要度）を任意に登録することができる。
【００２８】
「識別名称」は、音の種別を識別する為の名称であり、図示の例では、「車」、「電車」、「踏み切り遮断機」、「警笛」、「サイレン」、「やかんの沸騰」、「危険の知らせ声」、「挨拶の声」、「自分を呼ぶ声」、‥‥が音の種類として登録されている場合を示している。
「音の特徴データ」は、予め入力された音波形をサンプリングしてその特徴を抽出することによって得られた特徴データを集録したものである。すなわち、この実施例では、音響スペクトラム手法に基づいて得られた時空間分布情報の中から特徴データを抽出したもので、自分が必要とする種類の音の特徴部分のみをサンプル集録したものである。ここで、図示の例では、「識別名称」が「車」の場合には、「車の走行音の特徴データ」が登録され、「電車」の場合には、「電車の走行音の特徴データ」、「踏み切り遮断機」の場合には、「遮断機の音の特徴データ」、‥‥、「危険の知らせ声」の場合には、「“あぶない”の発声の特徴データ」、「挨拶の声」の場合には、「“こんにちは”の発声の特徴データ」、「自分を呼ぶ声」の場合には、「山田○○の発声の特徴データ」、‥‥が登録されている場合を示している。
【００２９】
「オブジェクト形状」は、オブジェクトの種類（形状）を示すもので、図示の例では、上述した音の種別を示す各「識別名称」に対応して、「車の画像データ」、「電車の画像データ」、「遮断機の画像データ」、「警笛を示す画像データ」、「サイレンを示す画像データ」、「やかんの画像データ」、「“あぶない”の文字データ」、「“こんにちは”の文字データ」、「“山田○○”の文字データ」、‥‥登録されている場合を示している。
【００３０】
「緊急度（重要度）」は、音の緊急度合い（重要度合い）を判定するためのデータで、図示の例では、音の種別が“車”の場合には「接近方向に移動中かつ距離が５０ｍ程度で中度の危険」、音の種別が“警笛”の場合には「距離が５０ｍ程度かつ音量が５４ｄｂ程度で中度の危険」、音の種別が“挨拶の声”および“自分を呼ぶ声”の場合には「緊急性なし」となっている。なお、図示省略したが、「緊急度（重要度）」は、音の種別毎に複数登録可能であり、音の種別が“車”、“電車”、“遮断機”、“警笛”、“サイレン”、“やかん”、“危険の知らせ声”等の場合には、上述した“中度”の他に、例えば、“高度”なども登録することができる。
【００３１】
図４は、属性表示管理テーブル１２の内容を示した図である。
この属性表示管理テーブル１２は、音に関する複数種の属性とオブジェクトに関する複数種の属性とを対応付けた属性対応情報を記憶管理すると共に、各オブジェクト属性毎に、その表示形態（状態）を記憶管理するもので、「音に関する属性」、「オブジェクトに関する属性」、「オブジェクト表示形態（状態）」の各項目が対応付けられている。
この属性表示管理テーブル１２の内容は、予めデフォルト設定されたものであるが、利用者が任意にその内容を変更することもできるようになっている。すなわち、デフォルト設定されている複数種の音に関する属性に対応付けられているオブジェクト属性を任意に変更したり、その表示形態を変更することが可能となっている。
【００３２】
ここで、複数種の「音に関する属性」として、図示の例では、「音の種別」、「音量」、「音の高さ（音程）」、「音源との距離」、「音源の方向」、「緊急度」、‥‥がそれぞれデフォルト設定されている。また、「オブジェクトに関する属性」として、図示の例では、音属性が「音の種別」の場合にはオブジェクトの「形状」がデフォルト設定され、また、「音量」の場合には「色の濃さ」がデフォルト設定され、「音の高さ」の場合には「色合い」、「音源との距離」の場合には「大きさ（サイズ）」、「音源の方向」の場合には「表示位置」、「緊急度」の場合には「点滅速度」、‥‥がデフォルト設定されている。
【００３３】
「オブジェクト表示形態（状態）」として、図示の例では、音属性が“種別”で、オブジェクト属性が“形状”の場合には、上述した音響種別管理テーブル１１の内容で示される「指定形状」がデフォルト設定されている。また、音属性が“音量”で、オブジェクト属性が“色の濃さ”の場合には、「４０ｄｂで５０％濃度」が設定され、音属性が“音の高さ”がデフォルト設定され、オブジェクト属性が“色合い”の場合には、「１ＫＨｚで橙色」がデフォルト設定されている。更に、音属性が“音源との距離”で、オブジェクト属性が“大きさ”の場合には、「５ｍで２ｃｍ」が設定され、音属性が“音源の方向”で、オブジェクト属性が“表示位置”の場合には、「センタ方向で表示画面のセンタ位置」が設定され、音属性が“緊急度”で、オブジェクト属性が“点滅速度”の場合には、「中度の危険で毎秒２回の点滅」が設定されている。なお、図示省略したが、「オブジェクト表示形態（状態）」は、音の属性値に応じて複数設定可能であり、そのデフォルト設定値も任意に変更可能となっている。
【００３４】
図５は、この聴覚障害者用携帯装置を所持している利用者に向かって自動車が接近している場合を例示した図である。図６は、この場合におけるオブジェクト表示の具体例を示した図である。
この場合、自動車のオブジェクト画像が表示されていることから自動車が接近していることを知ることができ、また、オブジェクト画像の表示位置（画面左側）から携帯装置を向けている方向に対して自動車が左側から接近していることを知ることができる。更に、その表示サイズから距離が約５０ｍであることを知ることができ、しかも、その表示色や濃さから車種や速度などを推測することもできる。
【００３５】
次に、この実施例における聴覚障害者用携帯装置の動作概念を図７〜図９に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施例特有の動作を実行することもできる。
【００３６】
図７は、音響種別管理テーブル１１への登録処理を示したフローチャートであり、ＣＰＵ１は、この管理テーブルへの登録が指示されると、対話形式で利用者にデータ入力を促す案内表示を行いながら当該テーブル登録処理を実行する。
先ず、ＣＰＵ１は、音の種別を示す識別名称が入力されると、それを取り込んで音響種別管理テーブル１１内に登録する（ステップＡ１）。そして、この種別のサンプル音の入力を促す案内表示を行う。ここで、例えば、車、電車、踏み切り遮断機、警笛、自分の名前などのサンプル音が音響センサ７から入力されると、ＣＰＵ１は、音響スペクトラムの時空間分布情報を取得すると共に（ステップＡ２）、この時空間分布情報を必要に応じて編集加工すると共に、この中から登録対象の音種に関係する特徴部分を抽出し、この特徴データを当該識別名称に対応付けて音響種別管理テーブル１１内に登録する（ステップＡ３）。
【００３７】
そして、ＣＰＵ１は、予め用意されている各種のオブジェクト、例えば、「車、電車、踏み切り遮断機、警笛、サイレン、やかん」等のオブジェクト画像および「あぶない、こんにちは」等の文字列を読み出して一覧表示させると共に、オブジェクト一覧の中から任意のオブジェクトを選択指定すべきことを促す案内表示を行う。ここで、利用者は、このオブジェクト一覧の中に該当するオブジェクトが有れば、その中から任意のオブジェクトを選択指定し、また、自分の名前などのように該当するオブジェクトが無ければ、キー操作によってデータ入力を行う。すると、ＣＰＵ１は、一覧画面の中から選択されたオブジェクトあるいはキー操作によって入力されたオブジェクトを取り込み、これをオブジェクトの種類（形状）として、当該識別名称に対応付けて音響種別管理テーブル１１内に登録する（ステップＡ４）。
【００３８】
更に、緊急度のデータを入力すべきことを促す案内表示を行い、これによって緊急度合いを判定するためのデータが入力されると、この入力データを取り込み、当該識別名称に対応付けて音響種別管理テーブル１１内に登録する（ステップＡ５）。この場合、「中度」、「高度」のように複数のデータを登録する場合には、「中度」、「高度」別に入力されたデータは、当該識別名称に対応付けてそれぞれ音響種別管理テーブル１１内に登録される。
なお、この場合、今回登録した識別名称に関連するガイダンス情報として、例えば、「距離が○○ｍかつ音量が○○ｄｂで中度の危険」のようなガイダンス表示を行い、その空白部である○○への数値入力を促す入力支援を行うようにすれば、データ入力を確実かつ容易に行うことが可能となる。
【００３９】
図８は、属性表示管理テーブル１２への登録処理（編集登録）を示したフローチャートである。なお、この場合においても、ＣＰＵ１は、この管理テーブルへの登録編集が指示されると、対話形式で利用者にデータ入力を促す案内表示を行いながらテーブル登録処理を実行する。
先ず、ＣＰＵ１は、属性表示管理テーブル１２内に設定されているデフォルト値を読み出して案内表示する（ステップＢ１）。この状態において、利用者は、この表示画面から編集対象（音に関する属性）を任意に選択指定する（ステップＢ２）。ここで、デフォルト設定されている複数種の音属性の中から利用者にとって不要と思われる音属性が選択指定された場合には、属性表示管理テーブル１２内の各音属性のうち、選択指定された音属性が無効とし、他の全ての属性を有効なものとして機能させることができる。例えば、「音の高さ」が不要な属性として選択された場合には、「音の高さ」のみを無効とすることができる。
【００４０】
また、オブジェクト属性のデフォルト設定を編集するために、それに対応する音の属性が選択指定された場合には、当該オブジェクト属性のデフォルト設定が編集対象として指定される。この場合、デフォルト設定を変更するために、そのオブジェクト属性が任意に入力指定されると、このオブジェクト属性は、当該デフォルト値に代わって属性表示管理テーブル１２内に設定される（ステップＢ）。ここで、図４の例では、「音量」に対応するオブジェクト属性のデフォルト設定は「色の濃さ」であるが、これを「大きさ」に変更する場合には、「音量」に対応するオブジェクト属性として「大きさ」を指定すればよい。
なお、この場合の入力支援として、オブジェクト属性の一覧を表示し、その中から任意の属性を選択指定するようにしてもよい。また、例えば、「音量」に対応するオブジェクト属性のデフォルト「色の濃さ」と、「音の高さ」に対応するオブジェクト属性のデフォルト「色合い」とを相互に入れ換える場合には、その属性入れ換えを指示するようにしてもよい。
【００４１】
このようにして音属性対応のオブジェクト属性が変更されると、それに対応する表示形態の変更を促す案内表示を行う。この場合、上述したようにオブジェクト属性のデフォルトの相互入れ換えが指示された場合には、それに合わせて表示形態のデフォルト値を相互入れ換えが行われるが、音属性対応のオブジェクト属性を変更せず、それに対応する表示形態のデフォルト値のみを変更することもできる。この場合、任意の表示形態が入力されると、この表示形態は当該デフォルト値に代わって属性表示管理テーブル１２内に設定される（ステップＢ４）。なお、ここで、音の属性値に応じて変化する表示形態のデフォルト値を複数変更する場合には、その数分の表示形態の入力によって当該デフォルト値の変更が行われる。以下、上述の動作は、編集終了が指示されるまで繰り返される（ステップＢ１〜Ｂ５）。
【００４２】
図９は、入力音に応答して実行されるオブジェクト表示処理を示したフローチャートである。
先ず、ＣＰＵ１は、音響センサ７（３つのマイクロフォン７１）から入力された音響データを取り込んで時系列で記憶すると共に（ステップＣ１）、音響スペクトラムにしたがってその時空間分布を解析し（ステップＣ２）、この解析結果と音響種別管理テーブル１１内の各「特徴データ」とを比較し（ステップＣ３）、その中に一致するものが登録されているか否かを調べる（ステップＣ４）。ここで、全て不一致であれば、オブジェクト表示の対象外としてステップＣ１に戻るが、何れかの「特徴データ」に一致する場合には（ステップＣ３でＹＥＳ）、音響種別管理テーブル１１から当該「特徴データ」対応の「オブジェクト画像データ」を取得する（ステップＣ４）。例えば、「車の走行音の特徴データ」に一致する場合には、当該「特徴データ」対応のオブジェクト画像として、図６に示すような「車の画像データ」が読み出される。
【００４３】
次に、該一致部分の音量を判定し、この音量に基づいて属性表示管理テーブル１２をアクセスし、それに対応する「オブジェクト属性」を決定すると共に、音量の大きさに応じてオブジェクトの「表示形態」を決定する（ステップＣ５）。すなわち、音量に対応するオブジェクト属性として「色の濃さ」が決定されると共に、例えば、車の走行音の大きさが「４０ｄｂ」であれば、「５０％濃度」が属性表示管理テーブル１２から読み出される。
【００４４】
更に、該一致部分の音の高さ量を判定し、この音の高さに基づいて属性表示管理テーブル１２をアクセスし、それに対応する「オブジェクト属性」を決定すると共に、音の高さに大きさに応じてオブジェクトの「表示形態」を決定する（ステップＣ６）。すなわち、音の高さに対応するオブジェクト属性として「色合い」が決定されると共に、例えば、車の走行音の高さが「１ＫＨｚ」であれば、「橙色」が属性表示管理テーブル１２から読み出される。
【００４５】
そして、該一致部分の音源方向を各マイクロフォンに対応する音の位相差および音量差に基づいて判定し、この音源方向に基づいて属性表示管理テーブル１２をアクセスし、それに対応する「オブジェクト属性」を決定すると共に、音源方向に応じてオブジェクトの「表示形態」を決定する（ステップＣ７）。すなわち、音源方向に対応するオブジェクト属性として「表示位置」が決定されると共に、例えば、携帯装置を向けている方向に対して自動車が左側から接近して来る場合には、オブジェクトの表示位置として「左側」が属性表示管理テーブル１２から読み出される。
【００４６】
更に、該一致部分の音源の距離を各マイクロフォンに対応する音の位相差および音量差に基づいて判定し、この音源との距離に基づいて属性表示管理テーブル１２をアクセスし、それに対応する「オブジェクト属性」を決定すると共に、音源との距離に応じてオブジェクトの「表示形態」を決定する（ステップＣ８）。すなわち、音源との距離に対応するオブジェクト属性として「大きさ（サイズ）」が決定されると共に、例えば、自動車が５０ｍに位置であれば、オブジェクトサイズとして「５ｃｍ」が属性表示管理テーブル１２から読み出される。
【００４７】
次に、音響種別管理テーブル１１をアクセスし、上述した音量、音源の方向、音源との距離の判定結果などを参照して緊急度を判定し、この緊急度に基づいて属性表示管理テーブル１２をアクセスし、それに対応する「オブジェクト属性」を決定すると共に、緊急度に応じてオブジェクトの「表示形態」を決定する（ステップＣ９）。すなわち、緊急度に対応するオブジェクト属性として「点滅速度」が決定されると共に、例えば、自動車の接近方向に移動中であり、かつ、距離が５０ｍであれば、中度の危険であるため、「毎秒２回の点滅速度」が属性表示管理テーブル１２から読み出される。そして、緊急度が高いか否か調べ（ステップＣ１０）、高い場合には、緊急度に応じた強度または振動数で振動モータ８を駆動させてバイブレーションを発生させる（ステップＣ１２）。
【００４８】
このようにして音属性毎にオブジェクト属性および表示形態を決定すると、ＣＰＵ１は、上述のステップで取得した画像データを音属性毎の表示形態で表示させる（ステップＣ１１）。この場合、図６で示したように、表示画面上に自動車のオブジェクト画像が表示されていることから自動車が接近していることを知ることができ、また、その表示位置から自動車が左側から接近していることを知ることができ、更に、その表示サイズから距離が約５０ｍであることを知ることができ、しかも、その表示色や濃さから車種や速度などを推測することができる。
【００４９】
以上のように、この実施例における聴覚障害者用携帯装置は、入力された音を解析することによって複数種の音の属性の各々に対応する属性値を算出し、この複数種の属性値に基づいて音響種別管理テーブル１１、属性表示管理テーブル１２を参照することによってオブジェクト表示に関する複数種の属性の各々に対応する表示形態を決定し、この属性毎の表示形態でオブジェクト表示を行うようにしたから、入力音を多角的に解析することによって複数の意味を持ったオブジェクトを表示することができ、１つの入力音から周囲のあらゆる状況を多義的に案内表示することができ可能となり、危険回避等に極めて有効なものとなる。
【００５０】
この場合、音の種別をオブジェクト形状に対応させたから、音とオブジェクトとの対応関係を直感的に判断することができる。また、音量を色の濃さ、音の高さを色合い、音源との距離をサイズ、音源の方向を表示位置、緊急度を点滅速度に対応させたから、利用者は、音とオブジェクトとの対応関係を直感的に判断することができる。
また、属性表示管理テーブル１２にデフォルト設定されている内容を任意に変更可能としたから、利用者の好みや必要性に応じた入力音とオブジェクト表示との対応関係を任意に変更することができる。
【００５１】
また、音響種別管理テーブル１１において、音の種別に対応してその音の特徴データを任意に登録するようにしたから、例えば、自分を呼ぶ声など、音の種別を利用者の好みや必要性に応じて任意に登録することができる。更に、オブジェクト表示の他に、バイブレーション報知を行うようにしたから、確実な報知を実現することができる。この場合、バイブレーション機能を作動させる際に、緊急度に応じた強度または振動数でバイブレーション報知を行うようにしたから、バイブレーション報知によっても緊急度合いを容易に知ることができる。
【００５２】
なお、上述した実施例においては、複数種の音に関する属性として、「音の種別」、「音量」、「音の高さ（音程）」、「音源との距離」、「音源の方向」、「緊急度」を例示したが、その他に、「音の長短」、「リズム」、「メロディ」などであってもよい。
また、上述した実施例においては、複数種のオブジェクトに関する属性として、オブジェクトの「形状」、「色の濃さ」、「色合い」、「大きさ（サイズ）」、「表示位置」、「点滅速度」を例示したが、その他に「透過度」、「動作変化」などであってもよい。
また、上述した実施例においては、音の種別毎に中度、高度などの複数種の「緊急度」を登録しておき、音量、音源の方向、音源との距離などから緊急度を判定するようにしたが、音の種別毎に標準的な「緊急度に関する基準データ」だけを登録しておき、これを基準として「緊急度」を無段階的に自動判定するようにしてもよい。
その他に、聴覚障害者用携帯装置に適用する場合に限らず、一般用として、広く活用することも可能である。
【００５３】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フレキシブルデスク、ＲＡＭカード等）を提供するようにしてもよい。すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、音に関する複数種の属性とオブジェクトに関する複数種の属性とを対応付けた属性対応情報を取得する機能と、入力音を解析することによって複数種の属性の各々に対応する属性値を算出する機能と、算出された複数種の属性値と前記属性対応情報とに基づいてオブジェクト表示に関する複数種の属性の各々に対応する表示形態を決定する機能と、決定された属性毎の表示形態でオブジェクト表示を行う機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【図面の簡単な説明】
【００５４】
【図１】聴覚障害者用携帯装置の全体構成の概要を示したブロック図。
【図２】聴覚障害者用携帯装置の裏面側に配置された複数（３個）のマイクロフォン７１を示した図。
【図３】音響種別管理テーブル１１の内容を示した図。
【図４】属性表示管理テーブル１２の内容を示した図。
【図５】聴覚障害者用携帯装置を所持している利用者に向かって自動車が接近している場合を例示した図。
【図６】図５の場合におけるオブジェクト表示の具体例を示した図である。
【図７】音響種別管理テーブル１１への登録処理を示したフローチャート。
【図８】属性表示管理テーブル１２への登録処理（編集登録）を示したフローチャート。
【図９】入力音に応答して実行されるオブジェクト表示処理を示したフローチャート。
【符号の説明】
【００５５】
１  ＣＰＵ
２  記憶装置
４  通信装置
５  入力装置
６  表示装置
７  音響センサ
８  振動モータ
１１  音響種別管理テーブル
１２  属性表示管理テーブル
【図１】
2005099418.tif 000003
【図２】
2005099418.tif 000004
【図３】
2005099418.tif 000005
【図４】
2005099418.tif 000006
【図５】
2005099418.tif 000007
【図６】
2005099418.tif 000008
【図７】
2005099418.tif 000009
【図８】
2005099418.tif 000010
【図９】
2005099418.tif 000011