(57)【特許請求の範囲】
【請求項１】
楽器を演奏してゲーム装置に所要の情報を入力するためのゲーム用インタフェース装置であって、
楽器の演奏情報を取得する取得手段と、
該取得手段で取得した演奏情報からリズムパターンを抽出する第１抽出手段と、
前記演奏情報からフィルインパターンを抽出する第２抽出手段と、
前記第１抽出手段で抽出したリズムパターン及び前記第２抽出手段で抽出したフィルインパターンの組み合わせに応じて、前記ゲーム装置へ入力する文字を特定するための文字情報及び／又は前記ゲーム装置へ入力する操作を特定するための操作情報を生成する情報生成手段と、
該情報生成手段で生成した文字情報及び／又は操作情報をゲーム装置へ出力する出力手段と
を備えることを特徴とするゲーム用インタフェース装置。
【請求項２】
楽器を演奏することで文字を含む情報を入力することができる入力インタフェース装置において、
楽器の演奏情報を取得する取得手段と、
該取得手段で取得した演奏情報からリズムパターンを抽出する第１抽出手段と、
前記演奏情報からフィルインパターンを抽出する第２抽出手段と、
前記第１抽出手段で抽出したリズムパターン及び前記第２抽出手段で抽出したフィルインパターンの組み合わせに応じて、文字を特定するための文字情報を生成する文字情報生成手段と、
該文字情報生成手段で生成した文字情報を出力する出力手段と
を備えることを特徴とする入力インタフェース装置。
【請求項３】
リズムパターンからフィルインパターンに移る時点の小節数を特定する特定手段を備え、
前記文字情報生成手段は、
前記特定手段で特定した小節数に応じて、文字を特定するための文字情報を生成するように構成してあることを特徴とする請求項２に記載の入力インタフェース装置。
【請求項４】
前記取得手段は、
ドラムの演奏情報を取得するように構成してあり、
前記第１抽出手段は、
少なくともスネアドラム及びハイハットの音符で構成されるリズムパターンを抽出するように構成してあることを特徴とする請求項２又は請求項３に記載の入力インタフェース装置。
【請求項５】
前記第２抽出手段は、
スネアドラム、バスドラム、ハイハット又はタムの音符の少なくとも１つで構成されるフィルインパターンを抽出するように構成してあることを特徴とする請求項４に記載の入力インタフェース装置。
【請求項６】
前記文字情報生成手段は、
前記第１抽出手段で抽出したリズムパターンの違いに応じて、文字を特定するための文字情報を生成するように構成してあることを特徴とする請求項２乃至請求項５のいずれか１つに記載の入力インタフェース装置。
【請求項７】
前記取得手段で取得した演奏情報からドラムの構成要素のうちの所定の構成要素の音符を抽出する第３抽出手段を備え、
前記文字情報生成手段は、
前記第１抽出手段で抽出したリズムパターン及び前記第３抽出手段で抽出した音符の組み合わせに応じて、数字を特定するための文字情報を生成するように構成してあることを特徴とする請求項２乃至請求項６のいずれか１つに記載の入力インタフェース装置。
【請求項８】
前記出力手段は、
画面上のカーソル操作のための操作情報を出力するように構成してあり、
前記第１抽出手段で抽出したリズムパターンに応じて、カーソル操作のための操作情報を生成するカーソル操作情報生成手段を備えることを特徴とする請求項２乃至請求項７のいずれか１つに記載の入力インタフェース装置。
【請求項９】
前記出力手段は、
画面上のマウス操作のための操作情報を出力するように構成してあり、
前記第３抽出手段で抽出した音符に応じて、マウス操作のための操作情報を生成するマウス操作情報生成手段を備えることを特徴とする請求項２乃至請求項８のいずれか１つに記載の入力インタフェース装置。
【請求項１０】
前記第２抽出手段で抽出したフィルインパターンに応じて、ひらがな入力、英字入力、数字入力、カーソル操作又はマウス操作のいずれかに切り替える切替手段を備えることを特徴とする請求項２乃至請求項９のいずれか１つに記載の入力インタフェース装置。
【請求項１１】
前記操作情報生成手段は、
前記第２抽出手段で抽出したフィルインパターンに応じて、実行キー、スペースキー又はバックスペースキーのうち少なくとも１つと同等の操作のための操作情報を生成するように構成してあることを特徴とする請求項２乃至請求項１０のいずれか１つに記載の入力インタフェース装置。
【請求項１２】
リズムパターン及びフィルインパターンの組み合わせと該組み合わせに関連付けた文字とを表示するための表示情報を生成する表示情報生成手段を備えることを特徴とする請求項１乃至請求項１１のいずれか１つに記載の入力インタフェース装置。
【請求項１３】
請求項２乃至請求項１２のいずれか１つのインタフェース装置と、該インタフェース装置で出力した文字情報又は操作情報を用いて所要の情報処理を行う情報処理部とを備えることを特徴とする情報処理装置。
【請求項１４】
コンピュータを、楽器の演奏情報から文字を含む情報を生成する手段として機能させるためのコンピュータプログラムにおいて、
コンピュータを、
楽器の演奏情報からリズムパターンを抽出する第１抽出手段と、
前記演奏情報からフィルインパターンを抽出する第２抽出手段と、
抽出したリズムパターン及びフィルインパターンの組み合わせに応じて、文字を特定するための文字情報を生成する文字情報生成手段として機能させることを特徴とするコンピュータプログラム。
【請求項１５】
コンピュータを、楽器の演奏情報から文字を含む情報を生成する手段として機能させるためのコンピュータプログラムが記録された記録媒体において、
前記コンピュータプログラムは、
コンピュータを、
楽器の演奏情報からリズムパターンを抽出する第１抽出手段と、
前記演奏情報からフィルインパターンを抽出する第２抽出手段と、
抽出したリズムパターン及びフィルインパターンの組み合わせに応じて、文字を特定するための文字情報を生成する文字情報生成手段として機能させることを特徴とする記録媒体。
【請求項１６】
楽器を演奏することで文字を含む情報を入力インタフェース装置で生成する情報生成方法において、
前記入力インタフェース装置は、
楽器の演奏情報を取得し、
取得した演奏情報からリズムパターンを抽出し、
前記演奏情報からフィルインパターンを抽出し、
抽出したリズムパターン及びフィルインパターンの組み合わせに応じて、文字を特定するための文字情報を生成することを特徴とする情報生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、楽器を演奏してゲーム装置に所要の情報を入力するためのゲーム用インタフェース装置、文字を含む情報を入力することができる入力インタフェース装置、該入力インタフェース装置を備える情報処理装置、前記入力インタフェース装置を実現するためのコンピュータプログラム、該コンピュータプログラムが記録された記録媒体及び情報生成方法に関する。
【背景技術】
【０００２】
電子鍵盤楽器に備えられた鍵盤を利用して文字情報の入力を行うことは、従来から知られている。しかし、各鍵に割り当てられた文字の配列を憶えることが困難であることから、各黒鍵にアルファベットの母音文字を割り当て、各白鍵にアルファベットの子音文字を割り当てることにより、文字の入力操作を効率的に行うことができる楽器鍵盤を使用する文字入力装置が開示されている（特許文献１参照）。
【特許文献１】特開２００４−１１８４２５号公報
【発明を実施するための最良の形態】
【０００３】
図１はインタフェース装置２０の構成の一例を示すブロック図である。インタフェース装置２０には、楽器（図１の例では、電子ドラム１０）を接続してある。電子ドラム１０は、クラッシュシンバル１１、ライドシンバル１２、ハイハット１３、ハイタム１４、ロータム１５、スネア１６、バスドラム１７、フロアタム１８、ハイハットペダル１９などを備えている。また、電子ドラム１０は、利用者の演奏に応じて演奏情報（例えば、ＭＩＤＩデータ）を出力する機能を備えている。なお、ハイタム１４及びロータム１５を合わせてタムタムと称するが、本実施の形態では、タムはタムタムとフロアタム１８を含めたものの少なくとも１つをいう。
【０００４】
インタフェース装置２０は、装置全体を制御する制御部２１、電子ドラム１０から出力されるＭＩＤＩデータを取得するＭＩＤＩデータ入力部２２、取得したＭＩＤＩデータを解析するＭＩＤＩデータ解析部２３、所定の情報を記憶するための記憶部２４、ＭＩＤＩデータ解析部２３での解析結果に応じて文字情報又は操作情報を生成する情報生成部２５、電子ドラム１０の演奏を支援する入力支援情報を生成する入力支援情報生成部２６、文字情報、操作情報又は入力支援情報などを出力する出力部２７などを備えている。
【０００５】
インタフェース装置２０は、利用者が電子ドラム１０を演奏することにより、電子ドラム１０から出力されたＭＩＤＩデータを取得し、取得したＭＩＤＩデータを解析することにより、文字情報又は操作情報などを生成し、生成した文字情報又は操作情報を出力する。文字情報は、例えば、ひらがな、英字又は数字などの文字を特定するための情報である。また、操作情報は、例えば、カーソルの移動操作、マウス操作、特殊コマンド（エンター、スペース、バックスペース等）、入力モードの切り替えなどの操作を特定するための情報である。
【０００６】
インタフェース装置２０が生成した情報は、例えば、パーソナルコンピュータ等の情報処理装置、ゲーム装置などの入力情報として用いることができる。なお、インタフェース装置２０は、情報処理装置又はゲーム装置に内蔵する構成でもよく、あるいは、別個の外部装置として構成することもできる。
【０００７】
ＭＩＤＩデータ入力部２２は、電子ドラム１０から出力されたＭＩＤＩデータを取得し、取得したＭＩＤＩデータをＭＩＤＩデータ解析部２３へ出力する。ＭＩＤＩデータは、楽器を演奏した場合のフレーズの各音符の位置や音の高さなどを記録したデータである。電子ドラム１０の場合、ＭＩＤＩデータは、電子ドラム１０を構成する各構成要素（例えば、ハイハット１３、スネア１６等）を示す音符の位置を記録している。
【０００８】
図２は電子ドラム１０の音符の例を示す説明図である。電子ドラム１０の場合、音の高さがない。そして、電子ドラム１０の各構成要素は五線譜上の決った位置に表わすことができる。図２の音符は、電子ドラム１０から出力されるＭＩＤＩデータを視覚的に表現したものといえる。
【０００９】
ＭＩＤＩデータ解析部２３は、リズムパターン抽出部２３１、フィルインパターン抽出部２３２などを備えている。ＭＩＤＩデータ解析部２３は、ＭＩＤＩデータから音符、リズムパターンやフィルインパターンなどを解析する。
【００１０】
リズムパターン抽出部２３１は、ＭＩＤＩデータから所定のリズムパターンを抽出する。電子ドラム１０（ドラム）は、ビートを刻んでリズムを作り出す楽器であり、ドラムの叩き方には、例えば、４ビート、８ビート、１６ビートのリズムを刻む叩き方がある。このため、電子ドラム１０は、コードを使って演奏するギターなどとは違って、リズム重視の演奏情報を得ることができる。リズムパターンは、このリズムを刻むドラムの叩き方のパターンを示すものである。
【００１１】
フィルインパターン抽出部２３２は、ＭＩＤＩデータから所定のフィルインパターンを抽出する。フィルインは、演奏が単調になるのを防ぐために場面転換や演奏の雰囲気を変えるために、ある一定のリズムの間に挿入されるフレーズである。
【００１２】
情報生成部２５は、文字情報生成部２５１、操作情報生成部２５２などを備えている。文字情報生成部２５１は、ＭＩＤＩデータ解析部２３の解析結果に基づいて、ひらがな、英字又は数字などの文字を特定するための文字情報を生成する。
【００１３】
操作情報生成部２５２は、ＭＩＤＩデータ解析部２３の解析結果に基づいて、カーソルの移動操作、マウス操作、特殊コマンド（エンター、スペース、バックスペース等）、入力モードの切り替えなどの操作を特定するための操作情報を生成する。
【００１４】
以下、文字情報を生成する方法について説明する。まず、文字情報として、ひらがなを生成する場合について説明する。ひらがなの生成は、所定の５つのリズムパターン及び５つのフィルインパターンの組み合わせと、リズムパターンからフィルインパターンに移る時点の小節数とにより行う。
【００１５】
より具体的には、５つのリズムパターンを１．５小節演奏してからフィルインに移るパターンと、３．５小節演奏してからフィルインに移るパターンの合計１０パターンでひらがなの子音の選択を行う。次に、５つのフィルインパターンにより母音の選択を行う。
【００１６】
図３はリズムパターンの一例を示す説明図である。図３に示すリズムパターンＲ１〜Ｒ５は、例えば、ひらがなの子音選択用として用いることができる。図３に示すように、リズムパターンは、Ｒ１〜Ｒ５の５つを使用する。これは演奏者がリズムパターンを憶えるのに要する労力を少なくするためである。なお、リズムパターンＲ１〜Ｒ５は、一例であって、これに限定されるものではない。
【００１７】
図４はフィルインパターンの一例を示す説明図である。図４に示すように、フィルインパターンは、Ｐ１〜Ｐ５の５つを使用する。なお、フィルインパターンＰ１〜Ｐ５は、一例であって、これに限定されるものではない。
【００１８】
図５はひらがなの文字対応表の一例を示す説明図であり、図６はひらがなの「あ」の生成方法を示す説明図である。図５及び図６に示すように、リズムパターンＲ１を１．５小節演奏してからフィルインパターンＰ１を演奏することにより、ひらがなの「あ」を生成することができる。他のひらがなの文字も同様に生成することができる。
【００１９】
上述の例では、リズムパターンを１．５小節演奏してからフィルインに移るパターンと、３．５小節演奏してからフィルインに移るパターンとの合計１０パターンでひらがなの子音の選択を行うものであったが、これに限定されるものではない。例えば、リズムパターンを０．５小節演奏してからフィルインに移るパターンと、１．５小節演奏してからフィルインに移るパターンとの合計１０パターンでひらがなの子音を選択してもよい。
【００２０】
図７はフィルインパターンの他の例を示す説明図である。図７のフィルインパターンは、それぞれ小文字、濁点、半濁点を生成するためのフィルインパターンである。小文字、濁点、半濁点用のフィルインは、ひらがなを生成するためのリズムパターンの前に挿入してもよく、あるいは、ひらがなを生成するためのフィルインの後に挿入してもよい。
【００２１】
次に英字を生成する場合について説明する。英字の生成は、所定の３つのリズムパターン及び５つのフィルインパターンの組み合わせと、リズムパターンからフィルインパターンに移る時点の小節数とにより行う。より具体的には、３つのリズムパターンを１．５小節演奏してからフィルインに移るパターンと、３．５小節演奏してからフィルインに移るパターンとの合計６パターン及び５つのフィルインパターンにより合計３０パターンが得られる。３０パターンのうちの２６パターンを用いて２６文字の英字を生成する。
【００２２】
図８はリズムパターンの他の例を示す説明図である。図８に示すリズムパターンＲ６〜Ｒ８は、英字用として用いることができる。図８に示すように、リズムパターンは、Ｒ６〜Ｒ８の３つを使用する。これは演奏者がリズムパターンを憶えるのに要する労力を少なくするためである。なお、リズムパターンＲ６〜Ｒ８は、一例であって、これに限定されるものではない。
【００２３】
図９は英字の文字対応表の一例を示す説明図であり、図１０は英字の「Ｗ」の生成方法を示す説明図である。図９及び図１０に示すように、リズムパターンＲ７を３．５小節演奏してからフィルインパターンＰ３を演奏することにより、英字の「Ｗ」を生成することができる。他の英字も同様に生成することができる。なお、フィルインパターンＰ１〜Ｐ５は、ひらがなの文字生成用に用いたものと同じものである。また、英字の小文字を生成する方法は、ひらがなの場合と同様である。
【００２４】
上述の例では、リズムパターンを１．５小節演奏してからフィルインに移るパターンと、３．５小節演奏してからフィルインに移るパターンとを用いる構成であったが、これに限定されるものではない。例えば、リズムパターンを０．５小節演奏してからフィルインに移るパターンと、１．５小節演奏してからフィルインに移るパターンとを用いることもできる。
【００２５】
次に数字を生成する場合について説明する。数字の生成は、ひらがな、英字とは異なり、リズムパターンとフィルインパターンとの組み合せを用いる代わりに、リズムパターンと電子ドラム１０の所定の構成要素との組み合せにより生成する。これは、数字の種類が０〜９の１０個で、ひらがな又は英字と違った方法を用いることで楽器の演奏に楽しさが増すからである。
【００２６】
数字の生成は、例えば、所定の５つのリズムパターン及びクラッシュシンバルの組み合わせと、クラッシュシンバルを叩く時点の小節数とにより行う。より具体的には、５つのリズムパターンを０．５小節演奏してからクラッシュシンバルを叩くパターンにすることにより、数字の「０」〜「４」を生成し、１．５小節演奏してからクラッシュシンバルを叩くことにより、数字の「５」〜「９」を生成する。
【００２７】
図１１はリズムパターンの他の例を示す説明図であり、図１２は数字の「９」の生成方法を示す説明図である。図１１及び図１２に示すように、リズムパターンＲ１４を１．５小節演奏してからクラッシュシンバルを叩く（演奏する）ことにより、数字の「９」を生成することができる。他の数字も同様に生成することができる。リズムパターンＲ１０〜Ｒ１４は、パッドを交互に叩くといった簡単なものになっており、素早く数字の生成（入力）を行うことができる。なお、リズムパターンＲ１０〜Ｒ１４は、一例であって、これに限定されるものではない。
【００２８】
次に、操作情報を生成する方法について説明する。まず、操作情報として特殊コマンドの生成方法について説明する。特殊コマンドは、例えば、エンター（Enter）、スペース（Space）、バックスペース（Back Space）等である。特殊コマンドの生成も、それぞれに対応したフィルインパターンを用いることができる。
【００２９】
図１３は特殊コマンド用のフィルインパターンの一例を示す説明図である。特殊コマンド用のフィルインは、文字生成用のフィルインの後に挿入することができる。生成した特殊コマンド（例えば、スペースコマンド）を、かな漢字変換プログラム等へ出力することにより、パーソナルコンピュータ等の入力装置としてのキーボードと同様に、電子ドラム１０を演奏するだけで入力したひらがなを漢字又はカタカナへ変換することができる。
【００３０】
また、ゲーム装置の操作ボタンや操作キーに割り当てられたコマンド（操作情報）に対応させてフィルインパターンを予め設定しておくことで、電子ドラム１０を演奏することでゲーム装置へのコマンド入力を行うゲーム用インタフェース装置として使用することができる。
【００３１】
次に、カーソル移動操作のための操作情報を生成する方法について説明する。図１４はカーソル移動操作用のリズムパターンの一例を示す説明図である。図１４に示すように、カーソルの移動（上、下、左、右）は、４つのリズムパターンにより決定する。カーソルを移動させる操作は、連続して入力されることが多いので、連続して演奏できるように所定のリズムパターンだけを用いて（フィルインパターンを使用しない）カーソル移動操作のための操作情報を生成する。演奏者が図１４に示すリズムパターンを演奏し続けると、それに伴ってカーソルが移動し続ける。
【００３２】
次に、マウス操作のための操作情報を生成する方法について説明する。図１５はマウス操作用の音符の一例を示す説明図である。マウスの操作は，移動量が多く、また連続して入力するため、リズムパターンやフィルインパターンを用いる代わりに電子ドラム１０のどの構成要素を演奏した（叩いた）かに応じて決定することができる。例えば、図１５に示すように、上移動はハイタム、下移動はロータム、左移動はハイハット、右移動はフロアタムとすることができる。この場合、１回叩くと所定の距離（例えば、２０ピクセル）移動するように設定することができる。また、左クリックはクラッシュシンバル、右クリックはライドシンバル、ドラッグのオン／オフはバスドラムとすることができる。この場合、ダブルクリックはクラッシュシンバルを連続して２回叩くことで生成することができ、バスドラムを１回叩くとドラッグし、もう１回叩くとドロップさせることができる。
【００３３】
次に入力モードの切り替え操作のための操作情報を生成する方法について説明する。図１６は入力モード切り替え用のフィルインパターンの一例を示す説明図である。入力モードは、例えば、ひらがな入力、英字入力、数字入力、カーソル操作入力、マウス操作入力の各モードである。初期設定された入力モードは、ひらがな入力であり、図１６に示すフィルインパターンを演奏することで、各入力モードへ切り替わる。ひらがな入力に切り替える場合、現在の入力モードに対応するフィルインパターンを演奏することにより、ひらがな入力に切り替わる。
【００３４】
入力支援情報生成部２６は、電子ドラム１０の演奏を支援する入力支援ツールとしての機能を備え、ひらがな、英字又は数字などの文字、あるいは、カーソルの移動操作、マウス操作、特殊コマンド、入力モードの切り替えなどの操作を行うために、電子ドラム１０をどのように演奏すればよいかを示す入力支援情報を生成する。生成された入力支援情報は、パーソナルコンピュータに備えられた液晶ディスプレイ等の表示装置でＧＵＩとして表示させることができる。
【００３５】
図１７は入力支援情報を表示する画面表示の一例を示す説明図である。入力支援情報として表示される情報は、表示部３１〜３６のように画面を分割して表示することができる。表示部３１は、電子ドラム１０を演奏することで生成（入力）された文字、コマンド又は操作を表示する。表示部３２は、小文字、濁点及び半濁点及び特殊コマンドを生成（入力）するためのフィルインパターンを表示する。表示部３３は、入力モードの切り替え用のフィルインパターンを表示する。表示部３４、３５、３６は、ひらがな、英字又は数字などの各文字に対応するリズムパターンとフィルインパターンとの組み合わせ、あるいは、リズムパターンとクラッシュシンバルとの組み合わせなどを表示する。また、演奏された部分の色を反転表示させることで、演奏者はどの部分を演奏しているかの判断を容易に行うことができる。
【００３６】
入力支援情報を生成することにより、演奏者は画面に表示されたリズムパターンやフィルインパターンなどの楽譜を見ることで容易に所要の文字又は所要の操作を行うための情報を生成することができる。生成された情報は、ゲーム装置やパーソナルコンピュータなどに入力することができるので、キーボードやマウスを使用する代わりに、電子ドラム１０のような楽器を演奏することで文字入力、コマンド入力、カーソル移動、マウス操作、入力モードの切り替えなどの所要の操作を行うことができる。
【００３７】
また、現在演奏しているフレーズを表示し、文字とパターンとの対応表を覚える必要性を軽減することができ、楽しく文字等の入力を行うことができる。
【００３８】
インタフェース装置２０は、専用のハードウエア回路で構成することもでき、あるいは、ＭＩＤＩデータ解析部２３、情報生成部２５、入力支援情報生成部２６、制御部２１などが行う処理手順を定めたコンピュータプログラムをＲＡＭにロードし、該コンピュータプログラムをＣＰＵで実行することにより、インタフェース装置２０の動作を実現することもできる。また、上述のコンピュータプログラムを記録した記録媒体としても実現することができる。
【００３９】
次に、インタフェース装置２０の動作について説明する。図１８、図１９、図２０、図２１及び図２２は情報生成の処理手順を示すフローチャートである。演奏者又は利用者が電子ドラム１０を演奏し、電子ドラム１０からＭＩＤＩデータが出力された場合、制御部２１は、ＭＩＤＩデータを取得し（Ｓ１１）、取得したＭＩＤＩデータを解析する（Ｓ１２）。なお、ＭＩＤＩデータの解析は、リズムパターン、フィルインパターン、電子ドラム１０の構成要素の音符などを抽出することにより行われる。
【００４０】
制御部２１は、入力モード切替のフィルインパターンの有無を判定し（Ｓ１３）、フィルインパターンがある場合（Ｓ１３でＹＥＳ）、入力モードを切り替える（Ｓ１４）。入力モード切替のフィルインパターンがない場合（Ｓ１３でＮＯ）、制御部２１は、ステップＳ１４の処理を行わずに、後述のステップＳ１５の処理を行う。
【００４１】
制御部２１は、入力モードがひらがな入力であるか否かを判定し（Ｓ１５）、ひらがな入力でない場合（Ｓ１５でＮＯ）、入力モードが英字入力であるか否かを判定する（Ｓ１６）。英字入力でない場合（Ｓ１６でＮＯ）、制御部２１は、入力モードが数字入力であるか否かを判定する（Ｓ１７）。
【００４２】
入力モードが数字入力でない場合（Ｓ１７でＮＯ）、制御部２１は、入力モードがカーソル操作であるか否かを判定し（Ｓ１８）、カーソル操作でない場合（Ｓ１８でＮＯ）、入力モードがマウス操作であるか否かを判定する（Ｓ１９）。
【００４３】
入力モードがマウス操作でない場合（Ｓ１９でＮＯ）、制御部２１は、特殊コマンドのフィルインパターンの有無を判定する（Ｓ２０）。フィルインパターンがある場合（Ｓ２０でＹＥＳ）、制御部２１は、コマンドの操作情報を生成する（Ｓ２１）。フィルインパターンがない場合（Ｓ２０でＮＯ）、制御部２１は、ステップＳ２１の処理を行わずに、後述のステップＳ２２の処理を行う。
【００４４】
制御部２１は、入力操作を継続するか否かを判定し（Ｓ２２）、継続する場合（Ｓ２２でＹＥＳ）、ステップＳ１１以降の処理を続け、継続しない場合（Ｓ２２でＮＯ）、処理を終了する。
【００４５】
入力モードがひらがな入力である場合（Ｓ１５でＹＥＳ）、又は入力モードが英字入力である場合（Ｓ１６でＹＥＳ）、制御部２１は、リズムパターンを抽出し（Ｓ２３）、フィルインパターンを抽出する（Ｓ２４）。制御部２１は、リズムパターンの小節数、すなわち、リズムパターンからフィルインパターンに移る時点の小節数を特定し（Ｓ２５）、パターンの組み合わせに応じた文字情報（ひらがな又は英字）を生成する（Ｓ２６）。
【００４６】
制御部２１は、リズムパターンが継続するか否かを判定し（Ｓ２７）、継続する場合（Ｓ２７でＹＥＳ）、ステップＳ２３以降の処理を続け、継続しない場合（Ｓ２７でＮＯ）、ステップＳ２０の処理を行う。
【００４７】
入力モードが数字入力である場合（Ｓ１７でＹＥＳ）、制御部２１は、リズムパターンを抽出し（Ｓ２８）、リズムパターンの後にクラッシュシンバルがあるか否かを判定する（Ｓ２９）。クラッシュシンバルがある場合（Ｓ２９でＹＥＳ）、制御部２１は、リズムパターンの小節数を特定し（Ｓ３０）、パターンに応じた文字情報（数字）を生成する（Ｓ３１）。
【００４８】
制御部２１は、リズムパターンが継続するか否かを判定し（Ｓ３２）、継続する場合（Ｓ３２でＹＥＳ）、ステップＳ２８以降の処理を続け、継続しない場合（Ｓ３２でＮＯ）、ステップＳ２０の処理を行う。クラッシュシンバルがない場合（Ｓ２９でＮＯ）、制御部２１は、ステップＳ２０の処理を行う。
【００４９】
入力モードがカーソル操作である場合（Ｓ１８でＹＥＳ）、制御部２１は、リズムパターンを抽出し（Ｓ３３）、抽出したリズムパターンに応じたカーソル移動の操作情報を生成する（Ｓ３４）。制御部２１は、リズムパターンが継続するか否かを判定し（Ｓ３５）、継続する場合（Ｓ３５でＹＥＳ）、ステップＳ３３以降の処理を続け、継続しない場合（Ｓ３５でＮＯ）、ステップＳ２０の処理を行う。
【００５０】
入力モードがマウス操作である場合（Ｓ１９でＹＥＳ）、制御部２１は、音符を抽出し（Ｓ３６）、抽出した音符に応じたマウスの操作情報を生成する（Ｓ３７）。制御部２１は、音符が継続するか否かを判定し（Ｓ３８）、継続する場合（Ｓ３８でＹＥＳ）、ステップＳ３６以降の処理を続け、継続しない場合（Ｓ３８でＮＯ）、ステップＳ２０の処理を行う。
【００５１】
次に、インタフェース装置２０を用いた評価試験について説明する。評価試験用の機器は以下のとおりである。すなわち、電子ドラムとして、ヤマハのＤＴＸＰＬＯＲＥＲを使用し、ＵＳＢ−ＭＩＤＩケーブルを介して電子ドラムのＭＩＤＩデータをパーソナルコンピュータへ出力する。パーソナルコンピュータには、インタフェース装置２０を実現するためのコンピュータプログラムをインストールした。また、被験者としては、ドラム演奏経験者８名を対象とし、電子ドラムを演奏して、ひらがな、英字、数字などの文字入力、カーソル移動、マウス操作、コマンド入力などの操作を自由に行った後、アンケート調査を行った。
【００５２】
図２３及び図２４はアンケート調査の結果を示す説明図である。図２３（ａ）に示すように、「楽しく操作することができたか？」という質問に対しては、すべての被験者が「ドラムでのパソコンの操作に楽しさを感じた」という結果が得られた。すなわち、従来、パーソナルコンピュータの入力インタフェース装置としては、キーボードやマウスが一般的である。しかし、電子ドラムのような楽器を演奏することで、キーボードやマウスの代わりとして文字入力や所要の操作を行うことができるインタフェース装置は、「面白さ」や「楽しさ」といった点で高い評価を得ることができた。
【００５３】
図２３（ｂ）に示すように、「操作方法を理解することができたか？」という質問に対しては、「理解できた」と答えた人は７人で、「どちらとも言えない」と答えた人は１人という結果が得られた。すなわち、電子ドラムのような楽器を演奏することで、キーボードやマウスの代わりとして文字入力や所要の操作を行うことができるインタフェース装置は、入力方法が簡単で理解し易いものであるといえる。
【００５４】
図２３（ｃ）に示すように、「演奏している感覚で操作できたか？」という質問に対して、「操作できた」と答えた人が３人で、「どちらとも言えない」と答えた人が５人という結果が得られた。否定的な回答をした人がいなかったことから、単に楽器を叩くという単純なものではなく、音楽性を損なわずに電子ドラムを演奏しながら文字入力や所要の操作を行うことができたといえる。これにより、楽器を演奏する楽しさや面白さを損なうことなく文字入力や所要の操作を行うことができる。
【００５５】
図２４（ａ）に示すように、「入力支援ツールは活用できたか？」という質問に対して、「活用できた」と答えた人は５人で、「どちらとも言えない」と答えた人が３人という結果が得られた。また、「活用できた」という人の意見の中で、「入力支援ツールがないと演奏が困難」という意見があった。これにより、例えば、文字とパターンとの対応表を覚える必要性を軽減することができ、入力支援ツールの必要性が証明される結果が得られた。また、入力支援ツールを使用することで、一層楽しく文字等の入力を行うことができる。
【００５６】
図２４（ｂ）に示すように、「自分の思った通りに操作することができたか？」という質問に対して、「できた」と答えた人はいなかったが、「まぁまぁできた」と全員が答えた。これにより、ドラム演奏の経験者にとっては、演奏しながら文字入力や所要の操作を比較的容易に行うことができ、簡単な入力方法を提供することができるといえる。
【００５７】
図２４（ｃ）に示すように、「今後このインタフェースを使用したいか？」という質問に対して、「使用したい」と答えた人は５人という結果が得られた。また、「ドラム自体の練習にも生かせるのではないかと考える」という意見があり、ドラムをうまく叩けない人でも、インタフェース装置２０を使用することでドラム演奏の勉強になると考えられる。
【００５８】
インタフェース装置２０は、パーソナルコンピュータ等の情報処理装置の入力装置として使用されているキーボードやマウスの代わりの入力インタフェースとして使用することができる。また、インタフェース装置２０は、ゲーム装置に備えられたコントローラ（操作用の端末）の代わりの入力インタフェースとしても使用することができる。ゲーム用の入力インタフェース装置として用いる場合には、ゲーム装置で受け付ける各種操作にリズムパターンとフィルインパターンとの組み合わせやドラムの音符との組み合わせなどを対応付ければよい。これにより、ドラムを演奏しながらゲームを行うことができ、楽しさが倍増するといえる。また、キーボード入力やタイピングなどを楽しむゲームにも適用することができる。
【００５９】
以上説明したように、上述の実施の形態によれば、音楽を演奏しながら文字入力や所要の操作（カーソル移動、マウス操作、コマンド入力、入力モードの切替など）を行うことができるとともに、例えば、音楽性を損なうことなく演奏しつつ所要の入力操作を行うことができる。また、例えば、電子ドラムを演奏する際のフレーズのパターンなどに注目し、リズムパターンとフィルインパターンなどの組み合わせの違いに応じて文字情報や操作情報を生成することで、単に異なる音に異なる文字を割り当てて文字入力するような従来の方法と異なり、ドラム演奏が有する音楽性を維持したままで入力操作も同時に行うことができ、従来に比べて面白さや楽しさが格段に優れた入力インタフェース機能を提供することができる。
【００６０】
上述の実施の形態では、電子ドラムを例として説明したが、演奏する楽器は電子ドラムに限定されるものではなく、他の打楽器でもよい。また、ピアノなどを使用することもできる。
【００６１】
上述の実施の形態では、リズムパターンやフィルインパターンの種類が多くならないようにして利用者がパターンを覚え易くするため、フィルインに移る小節数を変えたパターンを用いるものであったが、例えば、生成する文字情報がある程度制限されるような場合、あるいは、利用者がパターンを覚えるのに慣れたような場合には、フィルインに移る小節数を固定したリズムパターンを用いることもできる。
【００６２】
上述の実施の形態では、電子ドラムからＭＩＤＩデータを取得する構成であったが、取得するデータはＭＩＤＩデータに限定するものではなく、リズムパターンやフィルインパターンを抽出することができるものであれば、どのような形式のデータでもよい。また、楽器を演奏した音をマイクロホン等で録音したオーディオデータを用いることもできる。
【００６３】
上述の実施の形態で、リズムパターンとフィルインパターンとの組み合わせにより、ひらがな又は英字を生成する構成であったが、ひらがなの他にカタカナを生成するように構成することもできる。
【図面の簡単な説明】
【００６４】
【図１】インタフェース装置の構成の一例を示すブロック図である。
【図２】電子ドラムの音符の例を示す説明図である。
【図３】リズムパターンの一例を示す説明図である。
【図４】フィルインパターンの一例を示す説明図である。
【図５】ひらがなの文字対応表の一例を示す説明図である。
【図６】ひらがなの「あ」の生成方法を示す説明図である。
【図７】フィルインパターンの他の例を示す説明図である。
【図８】リズムパターンの他の例を示す説明図である。
【図９】英字の文字対応表の一例を示す説明図である。
【図１０】英字の「Ｗ」の生成方法を示す説明図である。
【図１１】リズムパターンの他の例を示す説明図である。
【図１２】数字の「９」の生成方法を示す説明図である。
【図１３】特殊コマンド用のフィルインパターンの一例を示す説明図である。
【図１４】カーソル移動操作用のリズムパターンの一例を示す説明図である。
【図１５】マウス操作用の音符の一例を示す説明図である。
【図１６】入力モード切り替え用のフィルインパターンの一例を示す説明図である。
【図１７】入力支援情報を表示する画面表示の一例を示す説明図である。
【図１８】情報生成の処理手順を示すフローチャートである。
【図１９】情報生成の処理手順を示すフローチャートである。
【図２０】情報生成の処理手順を示すフローチャートである。
【図２１】情報生成の処理手順を示すフローチャートである。
【図２２】情報生成の処理手順を示すフローチャートである。
【図２３】アンケート調査の結果を示す説明図である。
【図２４】アンケート調査の結果を示す説明図である。
【符号の説明】
【００６５】
１０  電子ドラム
２０  インタフェース装置
２１  制御部
２２  ＭＩＤＩデータ入力部
２３  ＭＩＤＩデータ解析部
２３１  リズムパターン抽出部
２３２  フィルインパターン抽出部
２４  記憶部
２５  情報生成部
２５１  文字情報生成部
２５２  操作情報生成部
２６  入力支援情報生成部
２７  出力部
【図１】
0004641550.tif 000002
【図２】
0004641550.tif 000003
【図３】
0004641550.tif 000004
【図４】
0004641550.tif 000005
【図５】
0004641550.tif 000006
【図６】
0004641550.tif 000007
【図７】
0004641550.tif 000008
【図８】
0004641550.tif 000009
【図９】
0004641550.tif 000010
【図１０】
0004641550.tif 000011
【図１１】
0004641550.tif 000012
【図１２】
0004641550.tif 000013
【図１３】
0004641550.tif 000014
【図１４】
0004641550.tif 000015
【図１５】
0004641550.tif 000016
【図１６】
0004641550.tif 000017
【図１７】
0004641550.tif 000018
【図１８】
0004641550.tif 000019
【図１９】
0004641550.tif 000020
【図２０】
0004641550.tif 000021
【図２１】
0004641550.tif 000022
【図２２】
0004641550.tif 000023
【図２３】
0004641550.tif 000024
【図２４】
0004641550.tif 000025