(57)【要約】【課題】  視覚障害者用の補助器具として、視覚情報の代わりに別の感覚神経から利用することができる変換装置が必要であった。  そこで、映像情報を可聴のための音波に変換する人工視覚装置と、音声情報を視覚のための色情報に変換する人工聴覚装置、及び、人工知能推論に基づくような情報伝達効率の高い波形変換アルゴリズムを提供する。【解決手段】すなわち、本発明は、複数色を可聴な音波波形に相互変換するための波形変換アルゴリズムであって、色成分から可聴(20kHz以下)のための高域周波数の波形に変換・出力するとともに、前記変換・出力は、前記複数色に対応して音程(16-1.6kHz)のための周波数を用いて連続処理するとともに、低域と高域の周波数帯域と重ならないための中域の周波数帯域を用いて推移し、さらに、更新間隔のための4-23Hzの低域周波数帯域を用いて前記連続処理を反復することを特徴とした波形変換アルゴリズム、及び、その装置に関する。【選択図】図１
2007175510.tif 000002
【特許請求の範囲】
【請求項１】
並列的な複数の色情報に対応して、逐次、可逆性色波形を算出して可聴域で再生又は逆算を行い視覚情報と聴覚情報とを可逆変換する視覚又は聴覚機能のための可逆性音波視覚化装置であって、
可聴域の中域周波数の１周期毎の時限処理として、単色成分に対応して波の回数と、その強弱・偏差からなる可逆性色波形を算出し、前記回数は可聴域の上域周波数に適用して再生又は逆算の何れかを完了すべくした可逆性音波処理手段と、
ユーザーのビジョン化効果を促すべく成される連続処理として、並列的な複数色における単色成分毎の左右位置情報に応じて該中域周波数を音程として可変し、ならびに、該連続処理は、常時更新のために低域周波数の脳波帯域において１周期毎時に反復し完了すべくしたビジョン化手段と、
を備えたことを特徴とした可逆性音波視覚化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、視覚障害、及び聴覚障害のための補助器具に関する。
【背景技術】
【０００２】
１．近年の視覚障害者用の装置には、障害物までの距離を検出して音波で知らせたり、あるいは障害者用のタイルや施設にICチップを埋め込み、専用のセンサーで検出することで音声案内を行うものが発明されている。
２．コンピューターにおける空間認識処理については、複数の視点のカメラを用いることにより、映像から立体化された数値を計算する方法がある。
３．音波を人工的に生成する装置としてシンセサイザーがある。
４．波形の分析方法としては、スペクトラムアナライザやオシロスコープがある。
５．脳波センサを用いて、特定の帯域を増幅してフィードバックするための光刺激装置がある。
６．利用者にとって単調なリズムを防ぎ、心地よいリズムに導くための1/fゆらぎ理論がある。
【特許文献１】特開２００３−３１０６７７号公報  （視覚障害者向け誘導装置及び誘導システム）
【特許文献２】特開２００４−１１８８２１号公報  （軌条式視覚障害者誘導システム）
【特許文献３】特開２００４−１９１９９４号公報  （３次元画像を得るための方法及びシステム ）
【特許文献４】特開平９−１８５７０９号公報  （三次元空間 映像情報入力システム）
【特許文献５】ＷＯ００／５７１２９  （３次元 物体認識 方法および同方法を使用したビンピッキングシステム ）
【特許文献６】特開平４−３４７１６８公報  光刺激装置
【発明の開示】
【発明が解決しようとする課題】
【０００３】
視覚障害者用の補助器具として、視覚情報の代わりに別の感覚神経から利用することができる変換装置が必要であった。
【０００４】
そこで、映像情報を可聴のための音波に変換する人工視覚装置と、音声情報を視覚のための色情報に変換する人工聴覚装置、及び、人工知能推論に基づくような情報伝達効率の高い波形変換方式、及び、その装置を提供する。
【課題を解決するための手段】
【０００５】
すなわち、本発明は、
複数色を可聴な音波波形に相互変換するための波形変換方式であって、
前記複数色の色成分から可聴(20kHz以下)のための高域周波数の波形に変換・出力し、
前記変換・出力は、音程(16-1.6kHz)のための周波数を用いて連続処理するとともに、特定の周波数帯域内で推移し、
さらに、
更新間隔のための脳波を想定した低域周波数で前記連続処理を反復する
ことを最も主要な特徴とする。
【発明の効果】
【０００６】
映像から連続的に変換された人工知能推論に基づく波形と音波により、聴覚から映像情報が得られるだけでなく、逆算方式により、視覚から音波情報を得られる。
【発明を実施するための最良の形態】
【０００７】
本発明を、以下の実施例を用いて詳細に説明する。
【実施例１】
【０００８】
本発明は、映像画面の「変換元情報」を入力し、「周波数帯域に変換」処理し、「音波波形」を出力したことにより、聴覚から映像情報が得られるものである。
【０００９】
この発明の特徴は、主に変換処理方法であって、コンピューターの内部プログラムに適用したことによる人工視覚装置、及び、当該処理の流れを逆転したことにより、視覚から音波情報を得られる人工聴覚装置がある。
【００１０】
よって本発明は、映像画面を取得して低域−高域の周波数（式１−式３）に変換出力することにより発明の効果を有する波形変換方式、及びその装置である。具体的には、図４の色情報に対応した高域の周波数（1/20ミリ秒＝20kHz、1ミリ秒＝1kHz）による波形を生成・出力（式３）し、さらに図３の前記色情報の個数に対応して、図５の音程（16-1.6kHz）を想定した中域の周波数（0.1/12秒の場合、約120Hz）で連続処理する（式２）ことであり、実際に人工視覚装置に適用して知覚するための更新間隔を低域の周波数（0.1秒＝10Hz）として有する（式１）。
（式１）  ０．５＜低域周波数＜４８Ｈｚ（知覚のための脳波帯域）
（式２）  １６Ｈｚ＜中域周波数＜１．６ＫＨｚ（連続処理のための音程帯域）
（式３）  高域周波数＜２０ＫＨｚ（可聴のための帯域）
【００１１】
また、図４で示す高域周波数における単色に対する波形変換には、彩度を波の回数、色相を波の高低（強弱）として生成し、さらに波形高さの最初の部分には明度に応じて強弱の変化をさらに有することで行うが、特定の彩度、又は色相だけでも生成可能であり、さらには波形変換のための３つの要素は、色情報や色空間を特定すべきではなく、人間工学的に決定されるべきであり、また、色空間に関しては完成された研究段階にあるとは言えないためである。この波形変換は、シンセサイザーにおいてオシレーターによる波形合成とそのフィルター、又はピアノのペダル部分に相当する。
【００１２】
なお、中域周波数が音程としての変化を有する帯域である理由は、色情報（特に変換範囲における横軸位置）を特徴づけて知覚しやすくするための工夫であり、また、低域周波数は単なる更新間隔であるから、本発明の核心的部分は高域周波数において色情報を波形に変換する波形変換方法にあると言える。
【実施例２】
【００１３】
図１は、人工視覚装置の想像図であり、左右の小型カメラと、左右の小型スピーカーと、ポインティングデバイスを備えた頭部装着型である。この時の波形変換には２通りがあり、左右別々のカメラで捕らえた映像を比較することによって距離値を算出した立体化画面において、変換範囲を有する方法と、もうひとつは、立体化を行わずに左右別々の画面内で、それぞれ同じ変換範囲位置を有するが左右別々に変換出力する方法である。後者は立体であるか否かを利用者は能力的に分析する必要があり、訓練を要すると思われる。
【００１４】
また、映像画面が１つである場合の変換範囲については、中央をゼロ位置としてその両端を左右にした場合、その決定は正負の２極に基づいて行われることが望ましい。中央と両端の位置と比例して左右の音量を決定することは望ましくなく、音量の差異により図４に示された色相と波長高さとの関係に混乱が生じてしまう恐れがあるためである。
【００１５】
また、ポインティングデバイスは、変換範囲の位置を入力するものであり、視点として上下することによりカメラの角度を動かすことなく、物体の特徴を効率的に調べることができる。魚眼レンズのようなカメラであれば、視界が広範囲となるため便利である。変換範囲は、映像画面が大きすぎるために第二の映像画面を特定するためのものであるから、例えばカメラではなく複数方向の距離センサーを用いる程度であれば、ポインティングデバイスや変換範囲の指定は不要である。
【実施例３】
【００１６】
図２は人工視覚装置におけるハンディータイプの想像図であり、手に持ったカメラを自由に動かすことができる。また、ポインティングデバイスはトラックボールであり、縦軸に加えて横軸にも動かすことができるが、利便性を考慮し、例えば横軸は拡大縮小することが望ましい。
また、色情報の配置間隔を中央部には小さく、外側部には大きくすることで、変換範囲は広いままで細かい物を判別することができると思われる。
【実施例４】
【００１７】
人工視覚装置における波形変換は、例えば色情報が左右ともに１２個とすれば、中域の周波数は１２階調となる。このときの偏移差を２倍とすれば、ちょうど鍵盤のように１オクターブ分の１２音階になる。
【００１８】
ところで、シンセサイザーには１２音階に対応した音程の周波数を合成して出力する装置であるが、自動演奏や音の強弱のほかに音色の加工を行うことができる機能がある。具体的には、音色の要素となる波形を音程の周波数に合成することで音色は決定される。つまり、音程のために用いられる16-1.6kHzの周波数に任意の波形を合成しても、音程には影響しないように工夫することができるのである。このような音色の加工は、ピアノのペダルを踏むことでも同様に得られるものである。
【００１９】
さて、人工視覚装置では、このように音程と音色を聞き分けられることを利用して、可聴域の音波への変換を行っている。例えば、映像画面の８ドット分の色情報を音に変換する場合には、ドの音から（黒鍵盤は無視するとして）１オクターブ上のドまでを、順番に弾く。
【００２０】
このときのドレミファソラシドが、８個分の色情報に対応する。さらに、音の強弱は色相に応じて変化し、青であればピアニシモのように小さく、白や黄色であればアクセントのように強くすることで表現することができる。前述した音色の加工は、明度や彩度などを表現するために用いることができる。具体的には、音色として合成可能な波形を高域周波数によって生成し、音程のための周波数に基づいて波形出力を行っている。つまり、中域周波数の出力は単にＳｉｎ波やパルス波のことではなく、高域周波数により生成された波形の出力間隔である。（例えば色相や色調ではなく単に白黒画像のような明度のみを変換するのであれば波形を高域周波数によって生成する必要はない。）
【００２１】
また、低域周波数においても同様に前述の変換処理に対する更新間隔を意味する。例えばテレビなどのように６０Ｈｚの更新間隔を設けることにより、映像から音波への変換を連続的に行うための周波数である。
よって、各周波数の時間軸の関係式４−５が理論的に成立する。例えば、中域周波数が１２階調（１２個）の鍵盤である場合、低域周波数は１回の音程を聞き分けられる最低必要な長さｘ１２回分が必要であり、これを周波数（ヘルツ）に換算すると必然的に式４が成立する。中域周波数に対して高域周波数との関係式は、式５で示すことができる。また、実施例１の上記式１−式２の時間軸の関係は、式６−式７であることが分かる。
（式４）  低域周波数≦中域周波数の平均値÷色情報の個数
（式５）  中域周波数≦高域周波数÷Ａ（分解能）
（式６）  ２秒＞更新間隔＞約２１ミリ秒
（式７）  音程の周波数に基づく１周期分の長さ＞波形の長さ
（式８）  ６２．５ミリ秒＞音程の周波数に基づく１周期分の長さ＞波形の長さ＞０．６２５ミリ秒
【００２２】
つまり、低域周波数や分解能を下げることで色情報の個数は追加することが可能である。実際には、可聴域を考慮して、より多くの色情報を変換するために更新間隔を低く設定する必要があり、脳波のα波低域までが人工知覚装置として適切であると思われる。また、そのため、状況に応じて自動的に増減することで利便性は高くなると考えられる。将来的な場合、利用者が能力的に（音楽家のように）音階を聞き分けられるようになるため、鍵盤が１オクターブ分増えるように、変換範囲を縦軸方向も含めて拡大することにより、より大量の視覚情報を認識できるようになると予想することができる。
【実施例５】
【００２３】
人工聴覚装置は、本発明の波形変換方式を逆算的に応用したものである。すなわち、光から音波に変換する法則が人工知能推論に基づくような人間工学的なものであれば、別の利用法においても可逆的に適応できるからである。
また、声紋を分析するためのフォルマント周波数に特化した人工聴覚装置であれば、視覚から得た情報で人間の声を聞き分けることができると考えられる。
【００２４】
例えば、１２個のフルカラーＬＥＤを表示するために、入力された音波から１２階調の音程を分析する。このとき、人間の知覚は低周波なので、やはり低域の周波数で更新し、さらにこれを左右の音波に対応することにより、まったく聞こえなかった次元の情報が目の前に現れることになる。眼鏡の縁に計２４個のフルカラーＬＥＤを付けるなどすれば、より実用化に近づくと予想されるが、カラー液晶画面のようなものでも良い。（波形分析精度が低いＣＰＵ媒体においては、高域周波数による波形分析を省略し、中域周波数の色相を明度に置き換える必要がある。）
なお、波形分析にはスペクトラムアナライザやオシロスコープを用いる方法の他に、コンピューターを用いて音声データから算出することにより前記分析方法を実現する方法がある。例えば、一定時間内に含まれる波の回数、平均値、高低差（変動差、偏移差）から波長成分を算出すれば、任意の色空間の色にも変換できる。また、色の出力段階においては人間工学的な色空間に変換することが望ましく、一例としてはマンセル色空間がある。
【実施例６】
【００２５】
実施例４−５で示された更新間隔のための低域周波数は、脳波に基づくものであるから、優勢脳波を検出して同期するために低域周波数を変調すれば、利用者の脳波に応じて最も適切な低域周波数を導くことができる。
【００２６】
また、この関連技術としては、検出された脳波をα波のために特定の周波数でフィルタし、光変換してバイオフィードバックする脳波誘導装置がある。つまり、人工視覚装置、人工聴覚装置、の更新間隔にバイオフィードバックの技術や、脳波を賦活するための脳波誘導方式を応用することは技術的に可能と考えられる。
【実施例７】
【００２７】
更新間隔のための低域周波数は、脳波に基づくものであるから、単調な波長によりストレスを伴うことがある。そのため、脳波賦活方法を用いて微妙な変化を有することによりこれらのストレスを軽減させることができる。
【００２８】
図７では、各工程a-eと休止時間ｆにおいて、徐徐に間隔を広げていく脳波の賦活方法の例を示している。この方法と効果は1/fゆらぎ理論に類似するものであり、さまざまな場面で取り入れることにより、従来の単調な刺激と比べ、ストレスを半減させることが可能である。例えば、脳波誘導におけるα波に応用した場合、またそれが５段階である場合、通常10Hzのみを用いるところを、8から13Hzまでの帯域を変調させて用いることにより、脳波誘導の有効率は高くなる。もちろん、図８に示すように、α波のみでなく全体的に実施することによって、結果的に脳波全体を賦活させることが可能である。
【実施例８】
【００２９】
図６は、映像画面における変換範囲を人間工学的に限定したものである。この有効範囲外については音波変換されないため、利用者が限定的に視界に対応したＸ軸とＹ軸を知ることができ、ひいては利用効率に繋がる可能性がある。
【実施例９】
【００３０】
マルチメディアにおいては、人間が知覚できる程度の周波数を元に製作されている。例えば、映画フィルムであれば２４Ｈｚ、音楽の場合であれば４分音符を１秒とした場合、３２分音符は８Ｈｚである。
【００３１】
しかしながら、脳波に近い周波数であると耐え難いチラツキや疲労を伴うために、実際の更新間隔は知覚できる範囲を少し超える程度が用いられていると言ってよい。脳波と干渉することで、一時的に脳波が矯正されるが更新周波数が一定であるので、結果的に疲労してしまうからである。
【００３２】
脳波への干渉を予防する別の方法としては、優勢脳波を検出（脳波フィルタ）したものと同期（フィードバック）することでも可能である。例えば、テレビの場合には現状６０Ｈｚで更新されるところを、優勢脳波を検出して同期することで省電力化や高輝度化を図ることができる。また、音楽でも特にクラシックの場合には、適切にテンポを変えて脳波に変化をもたらすことで、リラクゼーション効果があると思われる。
【００３３】
また、低域周波数を完全に脳波と同期（バイオフィードバック）することは理論的に難しいという問題がある。そこで、例えば１分おきに優勢脳波が検出された場合、ここに脳波誘導方式を用いたことにより周波数帯域を広めに取ることで、人間の知覚と理論的な同期を包容した中間的な技術的方法である。例えば優勢脳波が１０Ｈｚである場合には、脳波誘導方式を用いて１１−９Ｈｚで変化する更新周波数を有する。
【００３４】
この技術的方法を用いる装置は、更新周波数を有する表示端末だけでなく、音楽の再生装置などで優勢脳波を検出して再生速度を変化させることにも有用である。また、映像を聴覚から得るための音波に変換する人工視覚装置にも用いることができる。
【産業上の利用可能性】
【００３５】
人工視覚装置は、映像を10Kz以上の波形に変換できるCPUがあれば利用することができる。
【００３６】
人工聴覚装置は、音波を複数の波長で分析できるCPU、又は電子回路があれば利用することができる。
【図面の簡単な説明】
【００３７】
【図１】立体映像を音波に変換する人工網膜化音波装置の想像図である。
【図２】映像を音波に変換する映像インパルス音波装置の想像図である。
【図３】映像画面における変換範囲の状態を示した図である。
【図４】色情報を高周波帯域の波形に変換する図である。
【図５】左右に振り分けられた中域の変調周波数の図である。
【図６】人工知能推論に基づく有効範囲の図である。
【図７】脳波賦活方法を各工程a-eに適用した例である。
【図８】脳波賦活方法を脳波誘導に適用した例である。
【符号の説明】
【００３８】
１  本体
２  小型カメラ
３  小型スピーカー
４  ポインティングデバイス
５  パッド
６  小型端末装置
１０  映像画面
１１  波形変換範囲
１２  波形変換範囲の中央
Ａ-Ｃ  左側に並ぶ色情報
ａ-ｃ  右側に並ぶ色情報
【図１】
2007175510.tif 000003
【図２】
2007175510.tif 000004
【図３】
2007175510.tif 000005
【図４】
2007175510.tif 000006
【図５】
2007175510.tif 000007
【図６】
2007175510.tif 000008
【図７】
2007175510.tif 000009
【図８】
2007175510.tif 000010