(57)【要約】  、人工内耳装用者が音楽などを聴取したときの認知向上を可能にする。  音源装置１２からの楽曲のＭＩＤＩデータを音楽情報処理装置本体１４で処理する。まず、主旋律を抽出し、音階と音程を解析し、音階列と音程列とからなる音階セットを求め、人工内耳装用者が音楽の旋律を認識することができるように、原曲の音程を維持しつつより多くの異なる電極を刺激させるべく音階セットを移調し、音響信号発生器２４によりスピーカ２６を駆動させて、人工内耳装置３０へ提供する。
2012002467.tif 000002
【特許請求の範囲】
【請求項１】
蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力手段と、
前記入力手段により入力された音楽情報から主旋律を抽出する抽出手段と、
前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析手段と、
各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調手段と、
前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換手段と、
前記変換された拡張音階セットを出力する出力手段と、
を備えたことを特徴とする音楽情報処理装置。
【請求項２】
前記入力手段は、前記旋律に沿う歌詞情報をさらに含む音楽情報を入力し、
前記出力手段は、前記変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして出力する
ことを特徴とする請求項１に記載の音楽情報処理装置。
【請求項３】
前記出力手段から出力された拡張音階セットに基づいて楽音を生成し生成した楽音を発生する音発生手段をさらに備えたことを特徴とする請求項１または請求項２に記載の音楽情報処理装置。
【請求項４】
前記出力手段から出力された拡張音階セットに基づいて楽音データを生成し生成した楽音データを送信する送信手段をさらに備えたことを特徴とする請求項１〜請求項３の何れか１項に記載の音楽情報処理装置。
【請求項５】
蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力工程と、
前記入力手段により入力された音楽情報から主旋律を抽出する抽出工程と、
前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析工程と、
各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調工程と、
前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換工程と、
前記変換された拡張音階セットを出力する出力工程と、
を備えたことを特徴とする音楽情報処理方法。
【請求項６】
蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力ステップと、
前記入力手段により入力された音楽情報から主旋律を抽出する抽出ステップと、
前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析ステップと、
各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調ステップと、
前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換ステップと、
前記変換された拡張音階セットを出力する出力ステップと、
を含むことを特徴とする音楽情報処理プログラム。
【請求項７】
蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳装置と、
請求項１〜請求項４の何れか１項の音楽情報処理装置と
を備えた人工内耳用音楽情報処理システム。
【請求項８】
蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力工程と、
前記入力手段により入力された音楽情報から主旋律を抽出する抽出工程と、
前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析工程と、
各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調工程と、
前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換工程と、
前記変換された拡張音階セットを人工内耳用音楽情報として製造する製造工程と、
を含む人工内耳用音楽情報製造方法。
【請求項９】
前記製造工程は、前記変換された拡張音階セットに基づいて再生装置で再生可能な楽音を生成し、生成した楽音を人工内耳用音楽情報として製造する請求項８に記載の人工内耳用音楽情報製造方法。
【請求項１０】
前記入力工程は、前記旋律に沿う歌詞情報をさらに含む音楽情報を入力し、
前記製造工程は、前記変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして人工内耳用音楽情報を製造する
請求項８または請求項９に記載の人工内耳用音楽情報製造方法。
【請求項１１】
請求項８乃至請求項１０の何れか１項で製造した人工内耳用音楽情報が記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体に係り、特に、人工内耳装用者に対して音楽などの音響を提供するために音楽情報を処理する音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体に関する。
【背景技術】
【０００２】
人工内耳は、蝸牛内に複数の電極を設けて、マイクロフォンを介してサンプリングされた音声情報を、複数の帯域通過フィルターを用いて周波数帯域毎のチャネルに分類している。そして、チャネル毎の音声情報を、チャネルに対応する刺激命令として電極に送ることによって電気的な刺激パルスを生成し、この刺激パルスを蝸牛に与えることにより聴覚の補強を行うものである（例えば、文献１：米国特許第５，５９７，３８０号明細書を参照）。具体的には、人工内耳に設けられた音声プロセッサで、音声情報を刺激パルスに変換するという音声変換が行われる。これにより、人工内耳装用者は、読話を併用しなくても言葉を認識することが可能になってきている。【０００３】
近年、人工内耳には性能向上が求められている。具体的には、人工内耳装用者は、読話を併用しなくても言葉を認識することができるようになってきているものの、会話などの音声の認識であり、音楽の認識までは至っていない。例えば、音楽の聴取について、人工内耳による音声変換が行われた結果、音楽として認知できない場合がある。このことは、人工内耳における、蝸牛内に設けられた複数の電極による電気刺激が、音声を前提とした音声変換によるものであり、複数の電極に対応する音声情報の周波数帯が離散的かつ限定的な周波数域に偏っているためと考えられる。【０００４】
このため、人工内耳の性能改善について研究は進められているが、音声プロセッサの処理方式の改善であり、音楽の聴取を前提としたものが少ないことが現状である。この音楽の聴取を前提とした幾つかの文献がある。例えば、文献２：”人工内耳のための音楽情報処理”（北澤茂良他  日本音響学会議演論文集，平成２１年９月）では、電極の対応周波数に合致させた音階を生成することで、人工内耳装用者に音高を伝達することが記載されている。しかしながら、この文献２では、電極の対応周波数に合致させた音階は、音楽理論に合致しないため、楽曲の生成には適していない。【０００５】
文献３：”人工内耳装用者のための音楽変換”（北澤茂良他  日本音響学会議演論文集，平成２２年３月）では、原曲の主旋律の音程を保持しつつ電極の対応周波数に合致させた音階を生成することで、人工内耳装用者に音高を伝達することが記載されている。【０００６】
しかしながら、文献３でも、電極の対応周波数に合致させた音階を用いるため、楽曲の生成には不充分であった。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は上記事実を考慮して成されたものであり、人工内耳装用者が音楽などを聴取したときの認知向上を可能にすることができる音楽情報処理装置、方法、プログラム、人工内耳用音楽情報処理システム、人工内耳用音楽情報製造方法及び媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の第１の態様は、蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力手段と、前記入力手段により入力された音楽情報から主旋律を抽出する抽出手段と、前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析手段と、各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調手段と、前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換手段と、前記変換された拡張音階セットを出力する出力手段と、を備える音楽情報処理装置を提供する。【０００９】
この発明によれば、抽出したＭＩＤＩ（Musical Instrument Digital Interface、電子楽器デジタルインタフェース）によるＭＩＤＩデータ等の音楽情報からの主旋律を、予め定めた時間、小節またはフレーズなどの所定単位で分割し、その各分割旋律について音階と音程を解析して、時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める。求めた音階セットの音程列を略維持しつつ、人工内耳音階に含まれる異なる音階を数多く含むように、音階セットを移調する。この移調した音階セットを拡張音階セットとする。この場合、人工内耳音階を含む音階セットを複数探索し、人工内耳音階に含まれる異なる音階を最も多く含む移調した音階セットを拡張音階セットとすることが好ましい。またこのとき、音階を高調波及び低調波に展開した音階マップを用いることが好ましい。そして、求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換して、出力する。【００１０】
これにより、人工内耳装用者が音楽などを聴取したときの認知向上を可能にすることができる。【００１１】
なお、前記人工内耳は、複数の帯域通過フィルターを用いて音を周波数帯域毎のチャネルに分類し、対応するチャネル毎に信号を電極に送ることにより、該刺激パルスを発生させるものである。【００１２】
また、本発明の第２の態様は、前記入力手段は、前記旋律に沿う歌詞情報をさらに含む音楽情報を入力し、前記出力手段は、前記変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして出力する音楽情報処理装置を提供する。【００１３】
この発明によれば、旋律に沿う歌詞情報をさらに含む音楽情報が入力され、変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして出力する。これにより、音声の聴取を目的として開発された人工内耳に対して、歌詞情報を用いた音声を提供でき、人工内耳装用者が音楽などを聴取したときのさらなる認知向上を可能にすることができる。【００１４】
また、本発明の第３の態様は、前記出力手段から出力された拡張音階セットに基づいて楽音を生成し生成した楽音を発生する音発生手段をさらに備える音楽情報処理装置を提供する。【００１５】
この発明によれば、出力手段から出力された拡張音階セットに基づいて楽音を生成し生成した楽音を発生する。これにより、人工内耳装用者に対して確実に音楽などを聴取可能に提供できる。【００１６】
また、本発明の第４の態様は、前記出力手段から出力された拡張音階セットに基づいて楽音データを生成し生成した楽音データを送信する送信手段をさらに備える音楽情報処理装置を提供する。【００１７】
この発明によれば、出力手段から出力された拡張音階セットに基づいて楽音データを生成し生成した楽音データを送信する。これにより、人工内耳装用者に対して、無線通信及び有線通信の少なくとも一方の通信により音楽を提供することができる。なお、この場合の通信は、データ通信が好ましい。【００１８】
また、本発明の第５の態様は、蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力工程と、前記入力手段により入力された音楽情報から主旋律を抽出する抽出工程と、前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析工程と、各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調工程と、前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換工程と、前記変換された拡張音階セットを出力する出力工程と、を備える音楽情報処理方法を提供する。【００１９】
また、本発明の第６の態様は、蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力ステップと、前記入力手段により入力された音楽情報から主旋律を抽出する抽出ステップと、前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析ステップと、各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調ステップと、前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換ステップと、前記変換された拡張音階セットを出力する出力ステップと、を含む音楽情報処理プログラムを提供する。【００２０】
また、本発明の第７の態様は、蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳装置と、前記音楽情報処理装置と、を備える人工内耳用音楽情報処理システムを提供する。【００２１】
また、本発明の第８の態様は、蝸牛内に複数の電極を設け、入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成し、該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、複数の楽音が連続した旋律を含む音楽情報を入力する入力工程と、前記入力手段により入力された音楽情報から主旋律を抽出する抽出工程と、前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める解析工程と、各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする移調工程と、前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する変換工程と、前記変換された拡張音階セットを人工内耳用音楽情報として製造する製造工程と、を含む人工内耳用音楽情報製造方法を提供する。【００２２】
また、本発明の第９の態様は、前記製造工程は、前記変換された拡張音階セットに基づいて再生装置で再生可能な楽音を生成し、生成した楽音を人工内耳用音楽情報として製造する人工内耳用音楽情報製造方法を提供する。【００２３】
また、本発明の第１０の態様は、前記入力工程は、前記旋律に沿う歌詞情報をさらに含む音楽情報を入力し、前記製造工程は、前記変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして人工内耳用音楽情報を製造する人工内耳用音楽情報製造方法を提供する。【００２４】
また、本発明の第１１の態様は、前記製造した人工内耳用音楽情報が記録された記録媒体を提供する。
【発明の効果】
【００２５】
本発明によれば、人工内耳装用者が音楽などを聴取したときの認知向上を可能にすることができる、という効果がある。
【図面の簡単な説明】
【００２６】
【図１】音楽情報処理装置の概略構成図である。
【図２】人工内耳装置の概略構成図である。
【図３】人工内耳装置における電極と帯域の関係を示す対応図である。
【図４】音声プロセッサの帯域通過フィルタによる拡張人工内耳音階を示す対応図である。
【図５】楽音の系列について、基本周波数×（１／２，１／３，１／４，１／６，１／８）の周波数を持つ音階を示した音階図である。
【図６】音楽情報処理のフローチャートである。
【図７】移調処理を含む変換処理のフローチャートである。
【図８】移調処理における改善点の説明図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の音楽情報処理装置を、スピーカを作動させて楽音を人工内耳装用者へ向けて提供する装置に適用した場合について説明する。
【００２８】
本実施形態は、人工内耳装用者に対して聴取可能に音楽を提供するために、音楽のデータを、人工内耳用のデータに変換して、その変換されたデータに基づく音を発生させるものである。この音楽のデータとして、扱いを簡単にするために、ＭＩＤＩ（Musical Instrument Digital Interface、電子楽器デジタルインタフェース）によるデータ（ＭＩＤＩデータ）を音楽情報として入手し、変換する場合を説明する。
【００２９】
図１は、本実施形態に係る音楽情報処理装置１０の概略構成図である。図１に示すように、音楽情報処理装置１０は、ＭＩＤＩデータを出力する音源装置１２、音楽情報処理装置本体１４、音声情報処理装置２２、音響信号発生器２４、及びスピーカ２６を備えている。なお、音楽情報処理装置本体１４は、ＣＰＵ，ＲＯＭ，ＲＡＭを含むコンピュータで構成され、後述する音楽情報処理プログラムの実行により、音楽解析部１６，移調処理部１８，及び音階マップ２０として機能する構成を含んでいる。この音楽情報処理装置１０により、ＭＩＤＩデータから変換された音楽データは、スピーカ２６で楽音として供され、人工内耳装置３０へ提供される。この人工内耳装置３０は、人工内耳装用者のものをそのまま用いる場合を説明する。
【００３０】
なお、音楽情報処理装置１０の音楽情報処理装置本体１４は、図示を省略した各種操作ボタンおよびフレキシブルディスクやＣＤＲＯＭ、ＤＶＤディスク等の記録メディアにアクセスしてデータ等の書き込み及び読み込みするリードライト装置を備えることができる。後述する処理に用いる各種情報は、音楽情報処理装置本体１４内の図示しない記憶装置に対して読み書きしてもよく、図示しないリードライト装置に対して読み書きしてもよい。
【００３１】
音源装置１２は、人工内耳装用者用の楽曲作成のためのＭＩＤＩデータ等の音楽情報を出力する装置である。
【００３２】
音楽情報処理装置本体１４は、ＭＩＤＩデータ等の音楽情報を人工内耳装用者用のデータに変換する装置である。詳細には、後述するように、取得したＭＩＤＩデータ等の音楽情報から主旋律を抽出し、その主旋律を所定の分割単位（小節、フレーズ、時間など）で区切った分割旋律毎に、音楽解析（音階及び音程の解析）し、音階列と音程列からなる音階セットを求める。そして、音階セットを用いて、人工内耳装用者が音楽の旋律を認識することができるように、原曲の音程を維持しつつ音階を拡張人工内耳音階を用いて変換（移調）する、処理を実行する。
【００３３】
音声情報処理装置２２は、歌詞データを含む音楽情報を元にして声楽を作成し、音響信号発生器２４へ出力する装置である。なお、音声情報処理装置２２は、必ずしも構成として設けることを要求しない。すなわち、音声情報処理装置２２を設けることなく音楽情報処理装置本体１４により変換された人工内耳装用者用のデータを音響信号発生器２４へ出力するのみの構成でもよい。
【００３４】
音響信号発生器２４は、各音階のピッチでスピーカ２６を作動させる装置であり、入力される音階セットをスピーカ２６を駆動する電気信号に変換して、スピーカ２６が作動するように信号を出力する。
【００３５】
スピーカ２６は、音響信号発生器２４からの駆動信号により楽音を提供する装置である。
【００３６】
また、音楽情報処理装置本体１４には、操作卓１５が接続可能になっている。操作卓１５は、有線・無線・光等により音楽情報処理装置本体１４に接続し、データ入力や情報表示を行うためのものである。操作卓１５は、専門家または講習を受けた人工内耳装用者自身で操作し、人工内耳装用者の人工内耳音階と拡張人工内耳音階を調整することができる。また、操作卓１５は、主旋律の抽出から解析を行い音階セットを作成することもできる。これにより、人工内耳装用者自身での自分のイメージに合った好みの楽曲を制作することができる。
【００３７】
なお、本実施の形態では、音階として、１オクターブ内に１２個の半音階が存在する場合を想定している。具体的には、Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ａ，Ｂの７音を音階の構成音として、Ｃ，Ｃ＃，Ｄ，Ｄ＃，Ｅ，Ｆ，Ｆ＃，Ｇ，Ｇ＃，Ａ，Ａ＃，Ｂの半音の音高による音階を用いる。また、音程は、隣り合う音階の差を用いる。例えば、音階「Ｃ，Ｃ＃」は音程「１」であり、音階「Ｃ，Ｄ」は音程「２」であるとして説明する。
【００３８】
図２に示す人工内耳装置３０は、身体の外部に装着される外部装置３２と身体の内部に埋め込まれる内部装置３４とから構成される。この人工内耳装置３０は、蝸牛４８に電気的な刺激パルスを与えることにより、聴覚の補強を行うものである。具体的には、外部装置３２は、外部の音声を電気信号として取り込むマイクロフォン３６と、マイクロフォン３６を介してサンプリングされた音情報を、刺激命令に変換する音声処理をプログラム的に行う音声プロセッサ３８と、身体の外部のアンテナを成す外部コイル４０とを備え、内部装置３４は、身体の内部のアンテナを成す内部コイル４２と、外部コイル４０及び内部コイル４２を介して音声プロセッサ３８から送られてくる音情報である刺激命令を電気的な刺激パルスに変換する刺激ユニット４４と、蝸牛４８に設けられ実際に刺激パルスを出力する複数の電極からなる電極アレイ４６とを備えている。各電極が発する電流によって、聴神経の末端が刺激され、音として知覚されることになる。
【００３９】
電極アレイ４６の電極は、２２個設けられており、使用者の状態に応じて使い分けられる。電極４６−０１〜４６−２２は、全可聴音域をＭ個（Ｍは自然数）の帯域に分割してチャネルとし、そのチャネルにそれぞれ対応した電極となっている。なお、本実施形態では、２２個の電極が設けられた場合を説明するが、使用態様はこれに限られたものではない。例えば１７個設けたものでもよい。また、本実施形態の説明では、２２個の電極のうち、高周波帯域のチャネルに対応する電極４６−０１、０２を利用せずに、２０個の電極を使用した場合の説明を行うが、使用態様はこれに限られたものではない。
【００４０】
図３は、本実施形態に係る音楽情報処理装置１０で対象とした人工内耳装置３０における、電極と帯域の関係の一例を示す対応図である。図３に示すように、例えば、第２２番目の電極４６−２２は、チャネル２２の電極であり中心周波数が約２００Ｈｚで約１２０Ｈｚから約２８０Ｈｚの帯域を担当する。この帯域通過フィルタを音声プロセッサ３８が備える。他の電極も同様に図３の対応である。この帯域通過フィルタの中心周波数に対応する音または近傍の音の音階は、電極に対応する音階であり、これを人工内耳音階と捉えることができる。
【００４１】
しかし、２０個の電極による人工内耳音階は、楽音の系列（Ｇ３，Ｆ４，Ｃ５，Ｅ５，Ｇ＃５，Ｃ６，Ｄ６，Ｅ６，Ｆ＃６，Ａ６，Ｂ６，Ｄ７，Ｅ７，Ｇ７，Ａ７，Ｃ８，Ｄ＃８，Ｆ＃８，Ａ８，Ｂ８）となるが、高周波帯域に偏っているため、人工内耳音階により、そのまま人工内耳音階で音楽を表現するのには不向きであった。
【００４２】
＜拡張人工内耳音階＞
ところで、本発明者は、帯域通過フィルタ群の中心周波数とそれに対応する震音を用いて聴力測定したり、それを応用して楽音を生成し、楽曲を演奏することを試みる各種の実験行ってきた。このとき、人工内耳装用者には２０個の人工内耳音階による音楽が聴取されると考えられてきたが、各種の実験から、もう少し音楽らしく聴取されていることが推測できる、という知見を本発明者は得た。これは、同一のチャネルに属する音階群は相互の判別は困難ではあるが、全くできない訳ではない、という微妙に感覚的な結果に基づくものである。そこで、全ての音階を含む拡張人工内耳音階を採用した。
【００４３】
図４は、音声プロセッサの帯域通過フィルタによる拡張人工内耳音階を示す対応図である。この拡張人工内耳音階は、各帯域通過フィルタの中心周波数と、それに対応する音階の音（各チャネルすなわち各帯域通過フィルタの帯域内で当てはまる音階の何れかの複数の可能性の音、図４の音階に対応するSemitone欄の数の音）で構成される。この中心周波数に対応する音階の音は、楽曲の音の調律に適合するように組合せることによって適宜に選択決定することができる音の組をいう。図４に示すように、例えば、第２２番目の電極４６−２２は、チャネル２２の電極であり中心周波数が約２００Ｈｚで約１２０Ｈｚから約２８０Ｈｚの帯域を担当する。このチャネル２２には、音階２Ｂ〜４Ｃ＃の１５個の数の音が対応する。なお、図４では、人工内耳音階をＧ３と表記し、拡張人工内耳音階を３Ｇ（英文字・記号と数字を逆転させる）と表記している。
【００４４】
一般に、楽音は高さに対応する基本周波数成分と共に多数の高調波成分を含んでいる。つまり基本周波数成分が聴感覚的に相対的に優勢であることが必要である。従って、人工内耳装用者が捉えることのできる基本周波数成分が適切な間隔で配置された楽音の系列を人工内耳音階とする。人工内耳装用者にとって基本周波数が聴感覚的に相対的に優勢であるとは、かなり柔軟に解釈することができる。図５は、楽音の系列（Ｇ３，Ｆ４，Ｃ５，Ｅ５，Ｇ＃５，Ｃ６，Ｄ６，Ｅ６，Ｆ＃６，Ａ６，Ｂ６，Ｄ７，Ｅ７，Ｇ７，Ａ７，Ｃ８，Ｄ＃８，Ｆ＃８，Ａ８，Ｂ８）を人工内耳音階とした場合の、基本周波数×（１／２，１／３，１／４，１／６，１／８）の周波数を持つ音階を示したものである。なお、１／５及び１／７は１２音階からなる西洋音楽の系列には適合しないので用いない。図５では、半音づつ高くなるに従って「１」づつ増加するようにセル内に数値が当てはめられている。
【００４５】
図５では、人工内耳音階（Ｇ３，Ｆ４，Ｃ５，Ｅ５，Ｇ＃５，Ｃ６，Ｄ６，Ｅ６，Ｆ＃６，Ａ６，Ｂ６，Ｄ７，Ｅ７，Ｇ７，Ａ７，Ｃ８，Ｄ＃８，Ｆ＃８，Ａ８，Ｂ８）のセルは、太線で囲ってある。セル内の数値で言えば、４３，５３，６０，６４，６８，７２，７４，７６，７８，８１，８３，８６，８８，９１，９３，９６，９９，１０２，１０５，１０７である。図５から理解されるように、×１／２の周波数を持つ音階は、１オクターブ（１２半音）低い音であり、１つ左隣のセルに移動すればよい。また、×１／３の周波数を持つ音階は１９半音低い音であり、×１／４の周波数を持つ音階は２オクターブ（２４半音）低い音であり、×１／６の周波数を持つ音階は３１半音低い音であり、×１／８の周波数を持つ音階は、３オクターブ（３６半音）低い音である。従って、人工内耳音階を拡張することができる。さらに、本実施形態では、上述の拡張人工内耳音階を高調波による拡張に適用する。
【００４６】
なお、音声の声域は、男性が約８０〜４７０Ｈｚで、女性が約２５０〜１１００Ｈｚである。図５では、男性がセル内の値で「２８」〜「５８」、女性がセル内の値で「４８」〜「７２」が対応する。このとき、男性、女性に共通する声域は、セル内の値で「４８」〜「５８」が対応する。
【００４７】
また、上述の電極と帯域通過フィルタの関係は、これに限定されるものではなく、対象とする人工内耳装置の音声プロセッサに応じてチャネル及び音階を適宜選択し指定すればよい。
【００４８】
＜人工内耳装用者用楽曲作成＞
次に、人工内耳装用者用の楽曲作成について、音楽情報処理装置１０の音楽情報処理装置本体１４において実行される音楽情報処理と共に、図６及び図７に示すフローチャートを参照して説明する。ここでは、具体的な生成処理について一例として楽曲「さくらさくら」を用いて説明する。
【００４９】
まずステップ１００では、音楽情報処理装置本体１４が音源装置１２から原曲の楽曲「さくらさくら」を示すＭＩＤＩデータを音楽情報として取得する。次のステップ１０２では、取得したＭＩＤＩデータにより、主旋律を抽出する。なお、ＭＩＤＩデータは多数の識別データを有するが、ＭＩＤＩデータ内に主旋律を示す識別データが存在するときは、この識別データを参照して、自動的に、主旋律を抽出することができる。また、他のＭＩＤＩデータからの主旋律の抽出は、図示しない入力手段の旋律指示により、指示されたＭＩＤＩデータの旋律を抽出するようにすればよい。さらに、楽譜のＧＵＩを有する音楽ソフトウェアを用いて、旋律を指示して抽出するようにしてもよい。
【００５０】
次のステップ１０４では、変換対象期間を設定する。変換対象期間は、楽曲を時系列的に複数に分割して順次変換するための分割単位をいう。この分割単位としては、小節、フレーズ、時間がある。これらの分割単位は、予め定めた設定値により定めることができる。例えば一小節単位で主旋律を区切るための一小節単位を示す設定値やフレーズ単位で区切るためのフレーズ単位を示す設定値、そして所定時間毎に区切るための所定時間を示す設定値を採用することができる。設定値は、予め音楽情報処理装置本体１４内に記憶した値を読み取ったり、入力装置による入力値を読み取ったりすることができる。
【００５１】
次のステップ１０６では、上記設定された変換対象期間（分割単位）で区切られた何れか１つの分割旋律（単位メロディ）を選択し、抽出する。この選択は、主旋律の時系列に従って順次選択してもよく、任意の分割旋律を選択してもよい。任意の分割旋律を選択するには、分割旋律間の類似性による処理負荷の大小に従って選択することができる。例えば、類似性が高い分割旋律のうち何れか１つを代表分割旋律として選択し抽出し、類似性が高い分割旋律を代表分割旋律で代替することで、処理数を削減できる。この類似性が高い分割旋律の最も好ましい例は、分割旋律が一致する場合である。
【００５２】
次に、ステップ１０８において、分割旋律について音楽解析が行われる。この音楽解析は、分割旋律について何れの音階が使われているか、また音程はどれだけであるかを解析する。例えば、一例である楽曲「さくらさくら」をフレーズ単位で区切ると、使われている音階が４Ｂ，５Ｃ，５Ｅ，５Ｆ，５Ａ，５Ｂ，６Ｃであり、１，４，１，４，２，１半音である分割旋律がある。この時系列的にならぶ音階「４Ｂ，５Ｃ，５Ｅ，５Ｆ，５Ａ，５Ｂ，６Ｃ」を音階列とし、音程「１，４，１，４，２，１」を音程列として、音階列と音程列とからなる音階セットを求める。
【００５３】
次のステップ１１０では、上記の音階セットを用いて変換処理（図７）を実行する。このステップ１１０の処理は、人工内耳装用者が音楽の旋律を認識することができるように、原曲の音程を維持しつつ音階を移調する処理である。
【００５４】
ところで、分割旋律の音階セットは、音階列「４Ｂ，５Ｃ，５Ｅ，５Ｆ，５Ａ，５Ｂ，６Ｃ」、音程列「１，４，１，４，２，１」である。従来の人工内耳音階の音程は「１０，７，４，４，４，２，２，２，３，２，３，２，３，２，３，３，３，３，２」半音である。但し、上の２音と下の１音は、人工内耳装用者による音高の判別が悪いので使用しないこととする。これを原曲と出来るだけ近い音程を保持できるように、かつその中でも低い音を使用して人工内耳音階に基づき変換すると音程列「２，２，２，３，２，３」半音の音階、つまり音階列「６Ｃ，６Ｄ，６Ｅ，６Ｆ＃，６Ａ，６Ｂ，７Ｄ」に変換される。しかし、チャネルである電極の中心周波数に対応された音階になるため、原曲の情報が失われ、音楽表現には不充分である。すなわち、全ての旋律が個別に異なる電極を刺激するように割当てられるので、人工内耳装用者は音楽の旋律に伴う音程の傾向を認識することができる。しかし、人工内耳音階のみでは音程が変更されるため、やや音痴の印象があった。そこで、本実施形態では、拡張人工内耳音階を用いてさらに変換（移調）する。
【００５５】
図７のステップ２００では、上述のように求めた分割旋律の音階セットを読み取り、次のステップ２０２において移調処理を実行する。
【００５６】
移調処理は、楽曲の一定フレーズの音程列に近く且つ音程列の異なる音が異なる電極を刺激することに対応する音階を最も多く含む音程列を探し出す処理である。この異なる電極を刺激することは図４の拡張人工内耳音階を参照して確認する。すなわち、第１の処理として、楽曲が有する音程を維持した上で、できるだけ多くの音程が異なる電極を刺激するように移調する。第２の処理として、異なる音程が同一の電極に重なってしまった場合には最小の音程の移動で異なる電極に対応付ける。このとき、第３の処理として、異なる電極に対応付ける場合、電極間をまたがるように、すなわち隣り合う電極で音階が連続するように音階を定める。なお、移調処理は、第１の処理、第２の処理、そして第３の処理と順に行ってもよいが、第１の処理から第３の処理に移行してもよい。この場合、楽曲（原曲）の音程を優先させ、拡張人工内耳音階に割り当てる処理を実行することになる。
【００５７】
このように、拡張人工内耳音階を用いて異なる電極を刺激するように移調するので、原曲の音程を略維持した音階列及び音程列を得ることができる。例えば、上記の例では、音階列「６Ｃ，６Ｃ＃，６Ｆ，６Ｆ＃，６Ａ＃，７Ｃ，７Ｃ＃」、音程列「１，４，１，４，２，１」へと変換することができる。すなわち、全ての旋律が個別に異なる電極を刺激するように割当てられるので、人工内耳装用者は音楽の旋律を認識することができる。人工内耳音階のみでは音程が変更されるため、やや音痴の印象があったが、拡張人工内耳音階では全くそれが無くなる。
【００５８】
具体的には、上記の例では、第１及び第２の処理によって、音階列「６Ｃ，６Ｄ，６Ｅ，６Ｆ＃，６Ａ，６Ｂ，７Ｄ」、音程列「２，２，２，３，２，３」に移調される。そして、第３の処理によって、音階列「６Ｃ，６Ｃ＃，６Ｆ，６Ｆ＃，６Ａ＃，７Ｃ，７Ｃ＃」、音程列「１，４，１，４，２，１」へと変換される。すなわち、全ての旋律が個別に異なる電極を刺激するように割当てられると共に、音階をも維持されて、人工内耳装用者は音楽の旋律を認識することができる。この移調処理によって、人工内耳音階のみの音程変更によるやや音痴の印象から、拡張人工内耳音階では全くそれが無くなった。
【００５９】
この移調処理について、本発明者は、第１及び第２の処理から、第３の処理による有効性について、更なる改善を得ることができるというの知見を得ている。上記では、楽曲が有する音程を維持した上で多くの音程が異なる電極を刺激するように移調して、異なる音程が同一の電極に重なってしまった場合には最小の音程の移動で異なる電極に対応付けた。この異なる電極に対応付ける場合、電極間をまたがるように、すなわち隣り合う電極で音階が連続するように連続した音階を定めることが好ましいという結果を得た。
【００６０】
図８は、移調処理における改善点の説明図である。図８では、上述の第１と第２の処理である移調処理を、移調１と表記し、改善した第３の処理による移調処理を移調２と表記した。移調１の移調処理では、多くの音程が異なる電極を刺激するように移調しているが、音程が原曲と離間した箇所が生じた。そこで、移調２の移調処理では、まず原曲の音程を最大限維持するように、各電極（各チャネル）に属する音階群の中で音階を選択する。そして、この選択時に、隣り合う電極間で音階が跨るように（連続するように）音階を定める。ここでは、音階列「６Ｃ，６Ｃ＃，６Ｆ，６Ｆ＃，６Ａ＃，７Ｃ，７Ｃ＃」が定められる。これにより、原曲の音程を維持しつつ、異なる電極を刺激するように移調できた。これは、拡張人工内耳音階を採用した本発明の特徴であり、各チャネルすなわち各帯域通過フィルタの帯域内で当てはまる音階の何れかの複数の可能性の音を選択することで達成される。
【００６１】
すなわち、移調１の移調処理による音階セットの音階列により刺激される電極と、移調２の移調処理による音階セットの音階列により刺激される電極は一致する。さらに、移調２の移調処理による音階セットによる音程列は、音程列「１，４，１，４，２，１」となり、移調１の移調処理による音階セットによる音程列より改善され、原曲の音程列に近くなった（この場合は完全に一致した。）。この結果、より原曲に近い人工内耳用の楽曲が提供できた。このことは、同一電極内に属する複数の音階から、音程を維持できる任意の音階を選択することが、大きく寄与する。また、隣り合う電極で音階が連続するように音階を定めることも大きく寄与する。
【００６２】
ところで、ステップ２０２の移調処理を実行すると、かなり高い音に偏っている。このため、次のステップ２０４において、音声マッチング処理を実行する。この音声マッチング処理は、高調波による人工内耳音階の拡張を行う処理である。言い換えれば、高調波・低調波の効果により、ピッチの高さの周波数成分の整数倍または整数分の１ピッチの高さに移動する処理である。すなわち、拡張人工内耳音階に対応付けた音階列（メロディ）を移動して男性の声または女性の声の範囲に収める。これは、音階を、基本周波数×（１／２，１／３，１／４，１／６，１／８）の周波数を持つ音階に移動させることである。
【００６３】
例えば、上記の移調１による移調処理の例では、高調波による人工内耳音階の拡張を行い２オクターブ下げれば、音階列「４Ｃ，４Ｄ，４Ｅ，４Ｆ＃，４Ａ，４Ｂ，５Ｄ」となって、通常の音楽として聴取可能になる。また、移調２による移調処理の例でも、高調波による人工内耳音階の拡張を行い２オクターブ下げると、音階列「４Ｃ，４Ｃ＃，４Ｆ，４Ｆ＃，４Ａ＃，５Ｃ，５Ｃ＃」となって、通常の音楽として聴取可能になる。
【００６４】
次のステップ２０６では、上述のようにして男性の声または女性の声の範囲に収められた音階列による音階セットを拡張音階セットとして決定し、本ルーチンを終了する。これにより、原曲の音程を略維持した音階列及び音程列からなる拡張音階セットを得ることができる。
【００６５】
このようにして移調処理による変換が終了すると、図６のステップ１１２において、残存する分割旋律が有るか否かを判断する。移調処理していない分割旋律がある場合には、ステップ１１２で肯定され、ステップ１０６へ戻り、上記処理を繰り返し実行する。
【００６６】
一方、ステップ１１２で否定されると、主旋律の全てについて移調処理による変換が終了したので、ステップ１１４において、拡張音階セットを出力して本処理ルーチンを終了する。拡張音階セットが出力されると、拡張音階セットは音響信号発生器２４によりスピーカ２６を駆動する電気信号に変換されて、スピーカ２６が作動される。この場合、各音階のピッチで、スピーカ２６が作動されるので、ピッチに相当する高さの周波数成分のみならず高調波及び低調波を含む楽音が人工内耳装置３０へ供される。これによって、人工内耳装用者は、音楽を知覚することができる。
【００６７】
＜拡張人工内耳音階による歌唱の作成＞
ところで、歌詞を伴う音楽では、曲を歌って歌詞が伝わることは、その曲を理解する手助けになると考えられる。そこで、音声を人工内耳用の楽曲に変換して提供することで人工内耳装用者に音楽の聴取を実現させることができる。特に、人工内耳は音声の聴取を目的として開発されたものであるので、音声であれば誰の音声でも良好に聴取できる。談話の時の韻律に限られるのではなく、歌唱音声についても十分聴取が良好になる。歌唱の声域は、図５に示す音階図において、男性の声が約８０〜４７０Ｈｚ、女性の声が２５０〜１１００Ｈｚであるが、通常会話の音域近傍では、男女それぞれの音域でなるべく低い方の音階に割当てることが好ましい。男女それぞれの音域で低い方の音階に割当てることで、人工内耳装用者が音楽の聴取に改善が見られた、という良好な結果が得られている。
【００６８】
この音声を人工内耳用の楽曲に変換して提供することは、図６のステップ１１４において実行可能である。すなわち、音楽情報処理装置本体１４が音源装置１２から楽曲を示すＭＩＤＩデータと共に、楽曲の歌詞を示す歌詞データを音楽情報として取得するようにすればよい（ステップ１００）。この場合、音楽情報を音響信号発生器２４へ出力するのに代えて歌詞データを含む音楽情報を音声情報処理装置２２へ提供する。音声情報処理装置２２では、歌詞データを含む音楽情報を元にして声楽を作成し、音響信号発生器２４へ出力する。これにより、音響信号発生器２４は声楽によりスピーカ２６を駆動する電気信号に変換して、スピーカ２６が作動される。
【００６９】
なお、音声情報処理装置２２は、必ずしも構成として設けることを要求しない。従って、音響信号発生器２４には次の３種類のデータが入力される場合がある。第１は、音楽情報処理装置本体１４から男性の声または女性の声の範囲に収められた音階列による音階セットを拡張音階セットのみが入力される場合である。この場合、音響信号発生器２４により拡張音階セットがスピーカ２６を駆動する電気信号に変換される。第２は、上述のように、音楽情報を音響信号発生器２４へ出力するのに代えて歌詞データを含む音楽情報を音声情報処理装置２２へ提供する場合である。この場合、音声情報処理装置２２では、歌詞データを含む音楽情報を元にして声楽を作成し、音響信号発生器２４へ出力する。そして、音響信号発生器２４により声楽がスピーカ２６を駆動する電気信号に変換される。第３は、音響信号発生器２４に、音楽情報処理装置本体１４から拡張音階セットが入力され、かつ音声情報処理装置２２から歌詞データを含む音楽情報を元にして作成された声楽が入力される場合である。この場合、音響信号発生器２４により拡張音階セットと共に声楽がスピーカ２６を駆動する電気信号に変換される。これら３種類のデータ入力の切替は、予め設定するようにしてもよく、第１〜第３の何れかを選択するようにしてもよい。この選択は、選択スイッチを音響信号発生器２４または音楽情報処理装置本体１４或いは音響信号発生器２４と音楽情報処理装置本体１４の経路に設けることができる。
【００７０】
このように、本実施形態では、拡張人工内耳音階を用いて異なる電極を刺激するように移調するので、原曲の音程を略維持した音階列及び音程列を得ることができ、人工内耳装用者が音楽の旋律を認識することができるように、楽曲を提供することができる。また、健聴者においても違和感なく楽曲を聴取することができる。
【００７１】
また、音声を人工内耳用の楽曲に変換した声楽として提供することで、音声の聴取を目的として開発された人工内耳に好ましく作用し、人工内耳装用者に音楽の聴取を容易に実現させることができる。
【００７２】
原音の音形（立ち上がり、持続、減衰、余韻）を維持して信号処理を行うため、デジタルコード化された楽器音だけではなく、デジタルコード化された「人の声」を原音として用いることにより、つまり人の声を楽音として扱うことにより、人が歌う「歌唱」として認識させることができる。
【００７３】
なお、上記実施形態では、音楽情報処理装置本体１４が音源装置１２から原曲を示すＭＩＤＩデータを音楽情報として取得する場合を説明したが、本発明はこれに限定されるものではなく、少なくとも旋律を示す音楽データであればよい。また、音源装置１２として、マイクロフォン等の音入力装置とアナログデジタル変換装置を具備して、マイクロフォン等の音入力装置により音楽の原音を集音し、その原音をデジタルデータに変換して出力するようにしてもよい。
【００７４】
また、本実施形態では、音響信号発生器２４により各音階のピッチでスピーカ２６が作動されて、楽音が人工内耳装置３０へ供される場合を説明したが、スピーカ２６に代えて送信装置を具備するようにしてもよい。この場合、人工内耳装置３０のマイクロフォン３６近傍に送信装置からの信号を受信する受信装置を設けて、受信装置にスピーカを具備させ、受信した信号による楽音を、各音階のピッチで、作動させる。これによって、人工内耳装用者は、無線通信により音楽を知覚することができる。また、刺激命令を直接デジタル送信することもできる。
【００７５】
さらに、本実施形態では音楽情報処理装置１０と人工内耳装置３０とを別個に構成した場合を説明したが、音楽情報処理装置１０を音声プロセッサ３８に組み込み、音声プロセッサ３８において処理させるようにしてもよい。また、本実施形態では、図４に示す拡張人工内耳音階を用いた場合を説明したが、この拡張人工内耳音階のみに限定されるものではない。例えば、複数の相違する拡張人工内耳音階を用意しておき、何れか１つを選択するようにしてもよい。この場合、複数の相違する拡張人工内耳音階を外部装置（例えば外部メモリや、インターネット上のファイルバーバ等の記憶装置）に格納しておき、音楽情報処理装置１０が無線通信や有線通信により拡張人工内耳音階を入手するようにしてもよい。また、音楽情報処理装置１０を音声プロセッサ３８に組み込む場合、音声プロセッサ３８が無線通信や有線通信により拡張人工内耳音階を入手するようにしてもよい。この場合、人工内耳装置３０の装着者が拡張人工内耳音階を選択することにより、人工内耳装置３０の装着者の聴取に好適な拡張人工内耳音階を選択することができる。この拡張人工内耳音階を選択することで、人工内耳装置３０の装着者は相違を伴う楽曲と感じて、あたかも編曲したように聴取することができる。これらの選択のために、組込んだ音楽情報処理装置１０に適宜接続できる操作卓１５によって、人工内耳装置３０の外部から必要な操作と設定の確認を行うことができる。
【００７６】
なお、上記実施形態では、音楽情報処理装置１０によって、ＭＩＤＩデータから変換された音楽データがスピーカ２６で楽音として供されて人工内耳装置３０へ提供する場合を説明したが、本発明はこれに限定されるものではない。例えば、上述の音楽情報処理プログラムをコンピュータに実行させることによって、そのコンピュータを音楽情報処理装置や音楽情報処理装置本体として機能させることができる。また、上述の音楽情報処理プログラムをコンピュータで実行させるために記録媒体に格納しておき、その記録媒体から音楽情報処理プログラムを実行させて、音楽情報処理装置や音楽情報処理装置本体として機能させたり、記録媒体からコンピュータに音楽情報処理プログラムをインストールして、音楽情報処理プログラムをコンピュータで実行させて音楽情報処理装置や音楽情報処理装置本体として機能させたりすることができる。
【００７７】
また、健聴者が一般的に利用する楽曲としての音楽情報から人工内耳用の音楽情報を製造することができる。すなわち、蝸牛内に複数の電極を設けて入力音に対応する音信号を刺激命令として前記各電極に送ることによって電気的な刺激パルスを生成して該入力音を該刺激パルスとして該蝸牛に与える人工内耳のために、入力工程と、抽出工程と、解析工程と、移調工程と、変換工程と、製造工程と、を含む方法により、人工内耳用の音楽情報を製造できる。詳細には、入力工程は、複数の楽音が連続した旋律を含む音楽情報を入力する。抽出工程は、前記入力手段により入力された音楽情報から主旋律を抽出する。解析工程は、前記主旋律を所定単位で分割すると共に、前記分割された分割旋律の各々について、該分割旋律を構成する音階と音程を解析し、前記分割旋律の時系列に並ぶ音階の音階列と音程の音程列とからなる音階セットを求める。移調工程は、各々予め定めた周波数帯域の音を担当する前記人工内耳に具備した各電極に、周波数帯域の代表する周波数による音階を対応付け、前記複数電極の音階群を人工内耳音階として、前記人工内耳音階を含みかつ、複数の楽音の基本周波数成分の大きさに従った音階の並びを示す音階マップに基づいて、前記音階セットの音程列を略維持しつつ、前記人工内耳音階に含まれる異なる音階を数多く含むように、前記音階セットを移調し、移調した音階セットを拡張音階セットとする。変換工程は、前記求めた拡張音階セットの音階列を、予め定めた音声帯域に含まれる音階に対応するように変換する。製造工程は、前記変換された拡張音階セットを人工内耳用音楽情報として製造する。
【００７８】
この場合、前記製造工程は、前記変換された拡張音階セットに基づいて再生装置で再生可能な楽音を生成し、生成した楽音を人工内耳用音楽情報として製造することができる。この製造された人工内耳用音楽情報は、拡声器や再生装置等により楽音を発生させることができ、健聴者に違和感なく楽曲を提供できると共に、人工内耳装置の装着者に違和感なく楽曲を提供できる人工内耳用の音楽情報を製造できる。
【００７９】
また、前記入力工程において、前記旋律に沿う歌詞情報をさらに含む音楽情報を入力し、前記製造工程において、前記変換された拡張音階セットに前記旋律に沿う歌詞情報を関連づけた情報を拡張音階セットとして人工内耳用音楽情報を製造することができる。この製造された人工内耳用音楽情報は、メロディのみならず歌詞を含む歌詞情報として製造できるので、歌詞を伴う楽曲として、人工内耳用の音楽情報を提供できる。
【００８０】
なお、前記製造した人工内耳用音楽情報が記録された記録媒体は、人工内耳用音楽情報を容易に第三者に提供できるものである。例えば、人工内耳用音楽情報をＭＩＤＩデータ等の音楽情報として記録媒体に格納することで、人工内耳用音楽情報は第三者に提供可能になる。すなわち、人工内耳用音楽情報をＭＩＤＩデータ等の音楽情報とすることで、ＭＩＤＩデータ等の音楽情報を楽曲として再生するためのコンピュータ装置等により、人工内耳用音楽情報は楽曲として再生可能となり、人工内耳用音楽情報を第三者に提供できる。また、人工内耳用音楽情報を再生装置で再生可能な楽音として例えばコンパクトディスク等の記録媒体に格納することで、そのまま再生可能に人工内耳用音楽情報を第三者に提供できる。また、音楽情報処理装置１０や音楽情報処理装置本体１４を音声プロセッサ３８に組み込み、音声プロセッサ３８において処理させるようにしてもよい。
【００８１】
上述した人工内耳用音楽情報は、健聴者を対象に製作された楽音に用いることが好ましい。例えば、人工内耳装着者が聴取することが想定される楽音には、電話器が発する楽音（例えば保留時のメロディ）、電車や列車の乗降客に対して提供される楽音（例えば、ホームアナウンス時の冒頭に流れるメロディ）、家電製品の操作者や利用者に提供される楽音（例えば設定時や処理完了時のメロディ）などが採用できる。本実施形態の音楽情報処理装置を用いることにより、従来、考慮が不充分であった人工内耳装用者に対しても、十分に聴取可能に楽曲（メロディ）を提供することができる。
【符号の説明】
【００８２】
１０      音楽情報処理装置
１２      音源装置
１４      音楽情報処理装置本体
２２      音声情報処理装置
２４      音響信号発生器
２６      スピーカ
３０      人工内耳装置
３２      外部装置
３４      内部装置
３６      マイクロフォン
３８      音声プロセッサ
４０      外部コイル
４２      内部コイル
４４      刺激ユニット
４６      電極アレイ
４８      蝸牛
【図１】
2012002467.tif 000003
【図２】
2012002467.tif 000004
【図３】
2012002467.tif 000005
【図４】
2012002467.tif 000006
【図５】
2012002467.tif 000007
【図６】
2012002467.tif 000008
【図７】
2012002467.tif 000009
【図８】
2012002467.tif 000010
【国際調査報告】
2012002467.tif 000011
2012002467.tif 000012
2012002467.tif 000013
2012002467.tif 000014