(57)【要約】【課題】楽しさや面白みのある入力インタフェース装置を提供する。【解決手段】電子機器用の入力インタフェースとして、本体に手を接触させることなく空間中の手の位置を変化させることでピッチ等を調整することが可能なMatryomin２００を使用する。電子機器４００は、Matryomin２００から発生される楽音のピッチに基づき、左クリックなどのマウス操作を制御する。
2008139550.tif 000002
【特許請求の範囲】
【請求項１】
電気楽器のピッチを検出するピッチ検出手段と、
ピッチと、電子機器に対する入力操作内容とを対応づけたテーブルを格納する記憶手段と、
検出されたピッチと、前記テーブルとに基づいて前記電子機器に対する入力操作内容を特定する特定手段と、
特定された入力操作内容に従って前記電子機器の動作を制御する制御手段と
を具備することを特徴とする入力インタフェース装置。
【請求項２】
前記ピッチ検出手段は、周囲の静電容量の変化を検出し、該静電容量の変化に応じてピッチの異なる楽音を発生させる電気楽器の前記ピッチを検出することを特徴とする請求項１に記載の入力インタフェース装置。
【請求項３】
前記テーブルを表示する表示手段をさらに具備することを特徴とする請求項１または２に記載の入力インタフェース装置。
【請求項４】
前記表示手段は、前記テーブルとともに検出されたピッチを表示することを特徴とする請求項３に記載の入力インタフェース装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力インタフェース装置に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータや携帯電話等の電子機器の普及に伴い、タッチペンやタッチパネルなどの入力インタフェース、マイクロフォンを利用した音声入力インタフェースなど、多種多様な入力インタフェースが利用されている。ユーザは、これらの入力インタフェースを利用することで効率的な入力が可能となる（例えば、特許文献１参照）。【０００３】
【特許文献１】特開２００３−１６３７４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、近時においてはユーザの多様化に伴い、入力インタフェースの在り方も多様化している。具体的には効率的な入力だけが入力インタフェースに求められるのではなく、面白さや楽しさといった要素も求められている。しかしながら、上述した入力インタフェースは、いずれも入力効率を重視して設計されたものであり、入力するときの楽しさや面白みなどに欠ける、という問題があった。【０００５】
本発明は以上説明した事情を鑑みてなされたものであり、楽しさや面白みのある入力インタフェース装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した問題を解決するため、本発明に係る入力インタフェース装置は、電気楽器のピッチを検出するピッチ検出手段と、ピッチと、電子機器に対する入力操作内容とを対応づけたテーブルを格納する記憶手段と、検出されたピッチと、前記テーブルとに基づいて前記電子機器に対する入力操作内容を特定する特定手段と、特定された入力操作内容に従って前記電子機器の動作を制御する制御手段とを具備することを特徴とする。【０００７】
かかる構成によれば、電子機器に対する入力操作について、電気楽器をインタフェースとして利用し、かつ、該電気楽器から発生される楽音のピッチに基づき入力操作を制御しているため、音を鳴らしながら楽しく電子機器を操作することが可能となる。【０００８】
ここで、上記構成にあっては、前記ピッチ検出手段は、周囲の静電容量の変化を検出し、該静電容量の変化に応じてピッチの異なる楽音を発生させる電気楽器の前記ピッチを検出する態様が好ましい。【０００９】
また、上記構成にあっては、前記テーブルを表示する表示手段をさらに具備する態様が好ましく、さらには、前記表示手段は、前記テーブルとともに検出されたピッチを表示する態様が好ましい。
【発明の効果】
【００１０】
以上説明したように、本発明によれば、楽しさや面白みのある入力インタフェース装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
Ａ．本実施形態
図１は、本実施形態に係る入力制御システムの構成を示す図であり、入力制御システム１００は、Matryomin２００と、Ａ／Ｄコンバータ３００と、電子機器４００とを備えて構成される。
本実施形態は電子機器用の入力インタフェースとしてMatryomin（登録商標）を利用する点に特徴がある。ここで、Matryominとは、電気楽器の一種であるテルミンの機能を搭載した小型の電気楽器である。テルミンは、本体に手を接触させることなく空間中の手の位置を変化させることで音程（ピッチ）と音量（ボリューム）を調整する楽器であり、ピッチやボリュームを可変するためのアンテナと、該アンテナに接続された発信器などを備えている。これらテルミンやMatryominは、周囲の静電容量の変化を検出し、該静電容量の変化に応じてピッチの異なる楽音を発生させる電気楽器である。【００１２】
Matryomin２００には、アンプやスピーカ（図示略）が内蔵されており、操作に対応した楽音を発生するとともに、該楽音に対応したアナログオーディオ信号をＡ／Ｄコンバータ３００に出力する。演奏者は、図２に示すようにMatryomin２００を片方の手ｈ１に載せ、もう一方の手ｈ２をMatryomin２００の頭部２０１に近づけたり遠ざけたりすることでピッチやボリュームを変化させ、演奏を行う。【００１３】
図３は、Matryomin２００の背面の部分拡大図である。
マトリミョン２００の背面には、電源・ボリューム調整つまみ２１０と、第１ピッチ調整つまみ（微調整用）２２０と、第２ピッチ調整つまみ２３０と、ラインアウト端子２４０とを備えている。本実施形態に係るMatryomin２００を利用して演奏するためには、まず、ピッチを正しくあわせる（チューニング）必要があるため、以下では、その設定方法について説明する。
まず、演奏者は座って足を組み、Matryomin２００をもつ手を膝の上に置き安定させる。つぎに、演奏者は第１ピッチ調整つまみ２２０を時計方向に回しきった後、電源・ボリューム調整つまみ２１０をＯＮにして発音可能な状態とする。演奏者は第２ピッチ調整つまみ２３０を操作することでゼロポイント（つまみを持った状態で音が下がりきって発音しなくなるポイント）を探す。さらに、演奏者はアンテナが内蔵されているMatryomin２００の後頭部２０１（図２参照）に利き手をつけた後、徐々に離していく。かかる操作を行うと、後頭部２０１から１０ｃｍ程度の位置でゼロポイントが出現する。演奏者は、ゼロポイントが後頭部２０１から４０ｃｍ程度の位置で現れるように、第１ピッチ調整つまみ２２０を反時計方向に回して調整する。演奏者はこのようにしてチューニングを行う。【００１４】
図１に戻り、Ａ／Ｄコンバータ３００は、Matryomin２００のラインアウト端子２４０から出力されるアナログオーディオ信号をデジタルオーディオ信号に変換する。
電子機器４００は、例えば周知のパーソナルコンピュータ等であり、図４に示すようにコントローラ５１０と、通信部５２０と、表示装置５３０とを備えて構成される。【００１５】
コントローラ５１０は、ＣＰＵ５１１、ＲＯＭ５１２、ＲＡＭ５１３等により構成され、ＲＯＭ５１２等に格納されている各種制御プログラム等を実行することにより、電子機器４００の各部を中枢的に制御する。
また、コントローラ５１０は、Ａ／Ｄコンバータ３００から出力されるデジタルオーディオ信号を解析することにより、音程に比例した数値（ピッチ）を検出し、検出したピッチに基づき電子機器４００への入力操作（本実施形態ではマウス操作を想定；詳細は後述）を制御する。【００１６】
通信部５２０は、様々な通信インタフェースにより構成され、Matryomin２００からＡ／Ｄコンバータ３００を介して出力されるデジタルオーディオ信号の受信等を行う。【００１７】
表示装置（表示手段）５３０は、液晶ディスプレイ等により構成され、コントローラ５１０による制御の下、電子機器４００への入力操作等を可視画像として表示する（図７等参照）。なお、本実施形態では、表示装置５３０が電子機器４００に組み込まれている場合を想定しているが、表示装置５３０と電子機器４００とを別体構成としても良いのはもちろんである。【００１８】
＜コントローラ５１０の機能構成＞
図５は、コントローラ５１０の機能ブロックを示す図である。
ピッチ検出手段６１０は、図６に示すように、Ａ／Ｄコンバータ３００から出力されるデジタルオーディオ信号Ｗ１を解析し、ピッチｍ２を検出する。なお、本実施形態では、ピッチｍ２のほかにボリュームｍ１も検出しているが、ピッチのみを検出しても良いのはもちろんである。
入力操作特定手段（特定手段）６２０は、ピッチ検出手段６１０によって検出されるピッチを検索キーとして、変換テーブルメモリ（記憶手段）Ｍに格納されているピッチ・入力操作変換テーブルを検索し、電子機器４００への入力操作（入力操作内容）を特定する。そして、入力操作特定手段６２０は、特定した入力操作を表示制御部６３０に通知する。【００１９】
図７は、変換テーブルメモリＭに格納されているピッチ・入力操作変換テーブルＴＡを例示した図である。
ピッチ・入力操作変換テーブルＴＡは、マウス操作を行う場合に利用されるテーブルであり、設定された各ピッチに対して「左クリック」、「左移動」、・・・「終了」などが割り当てられている。これら各入力操作の割り当てについて説明すると、図７に示すように「８」〜「４０」のピッチを４つのグループに分け、各々にマウスの上下左右の移動操作を割り当てる。また、無音（「０」のピッチ）に対しては左クリック操作を割り当てる一方、高音（「１５０」以上のピッチ）に対してはシステム終了操作を割り当てる。なお、本実施形態では、出力されたピッチを確実に発生できる音であり、かつ鮮明に聞こえる音である、ピッチ範囲「８」〜「４０」の音を例に説明したが、種々のピッチ範囲に適用可能である。【００２０】
表示制御手段（制御手段）６３０は、コード特定手段６２０から通知される入力操作に基づき、図８に示すような入力支援画像Ｐ１を表示装置５３０に表示する。
図８は、マウス操作時に表示装置５３０に表示される入力支援画像Ｐ１を例示した図である。
入力支援画像Ｐ１は、現在検出されているピッチをあらわすピッチ表示画像ｐ１と、検出されているピッチによって行われる入力操作をあらわす入力操作表示画像ｐ２と、ボリュームをあらわすボリューム表示画像ｐ３と、変換テーブルＴＡに示される入力操作候補を表示する候補表示画像ｐ４とを含んで構成されている。【００２１】
このような入力支援画像Ｐ１が表示装置５３０に表示されることで、演奏者は変換テーブルＴＡの内容を覚えていなくても、所望のマウス操作を行うことができる（詳細は後述）。以下、入力操作の詳細について図９等を参照しながら説明する。【００２２】
図９は、入力操作を示すフローチャートである。
Matryomin２００とＡ／Ｄコンバータ３００と電子機器４００が接続され、各装置等の電源がＯＮされると、電子機器４００の表示制御手段６３０は、図１０に示すような入力支援画像Ｐ１を表示装置５３０の下方に表示するとともに、入力画像Ｔを表示装置５３０の中央に表示する（ステップＳ１０１）。なお、マウス操作の対象となるポインタａは入力画像Ｔの左上に表示される。【００２３】
演奏者は、表示装置５３０に表示される入力支援画像Ｐ１を参照し、入力操作内容（ここでは、マウスの操作内容）を決定する。例えば、ポインタａを「右移動」させる場合には、演奏者は、Matryomin２００から発生される楽音のピッチが、「右移動」に対応するピッチ「３２」〜「４０」となるように、Matryomin２００の演奏を行う。【００２４】
かかる演奏が行われると、該楽音に対応するアナログオーディオ信号がMatryomin２００からＡ／Ｄコンバータ３００に出力される。Ａ／Ｄコンバータ３００は、Matryomin２００から出力されるアナログオーディオ信号をデジタルオーディオ信号に変換し、電子機器４００に出力する。電子機器４００のピッチ検出手段６１０は、デジタルオーディオ信号が供給されたか否かを判断する（ステップＳ１０２）。ピッチ検出手段６１０は、デジタルオーディオ信号が供給されるまで、ステップＳ１０２の処理を繰り返し実行する。その後、デジタルオーディオ信号が供給されると、ピッチ検出手段６１０は、該デジタルオーディオ信号を解析することにより、ピッチやボリュームを検出し（図６参照；ステップＳ１０２→ステップＳ１０３）、入力操作特定手段６２０に送る。【００２５】
入力操作特定手段６２０は、ピッチ検出手段６１０から出力されるピッチを検索キーとして変換テーブルＴＡを検索することにより、マウス操作（入力操作内容）を特定する（ステップＳ１０４）。そして、入力操作特定手段６２０は、特定したマウス操作が「終了」であるか否かを判断し（ステップＳ１０５）、マウス操作が「終了」でないと判断した場合にはステップＳ１０６に進む。例えば、特定したマウス操作が「右移動」であると特定した場合には、右移動すべき指示を表示制御手段６３０に通知する。表示制御手段６３０は、かかる通知を受け、図１１に示すようにポインタａを左上から中上に移動した入力画像Ｔを表示装置５３０に表示する（ステップＳ１０６）。操作に応じた入力画像Ｔを表示装置５３０に表示すると、ステップＳ１０２に戻り、上述した一連の処理を行う。一方、ステップＳ１０５において、特定したマウス操作が「終了」であると判断した場合には、上述した一連の処理を終了する。【００２６】
以上説明したように、本実施形態によれば、電子機器に対する入力操作について、Matryominをインタフェースとして利用し、かつ、該Matryominから発生される楽音のピッチに基づき入力操作を制御しているため、音を鳴らしながら楽しく電子機器を操作することが可能となる。
また、本実施形態では、入力支援画像が表示装置に表示されるため、演奏者はピッチから入力操作への変換をあらわす変換テーブルの内容を覚えていなくても、所望のマウス操作を行うことが可能となる。【００２７】
Ｂ．変形例
（１）上述した本実施形態では、電子機器用の入力インタフェースとしてMatryomin２００を例に説明したが、本発明はこれに限定する趣旨ではなく、ピッチ変動が可能であって、ピッチに応じたオーディオ信号を出力することができる電気楽器（テルミンやエレクトリックベースや電子ピアノなど）にも適用可能である。また、電気楽器のみならず、圧電素子やマイクロフォン等を取り付けたアコースティック楽器（クラシックギターやオルガンなど）にも適用可能である。具体的には、圧電素子やマイクロフォン等によってピッチ変動を検出するとともに、ピッチに応じたオーディオ信号を出力するようにしても良い。【００２８】
（２）上述した本実施形態では、ピッチに応じて入力操作内容を特定する構成としたが、ボリュームに応じて入力内容を特定するようにしても良い。もちろん、ピッチとボリュームの両パラメータを利用して入力操作内容を特定するようにしても良い。【００２９】
（３）上述した本実施形態では、電子機器の例としてパーソナルコンピュータを例示したが、これに限らず入力操作が可能なあらゆる電子機器に適用可能である。また、電子機器への入力操作の一例としてマウス操作を例示したが、例えば特定スイッチの押下操作や文字入力操作など、あらゆる入力操作に適用可能である。【００３０】
（４）上述した本実施形態では、マウス操作を行うまでを説明したが、実際にマウス操作が正しく行えたか否かを、評価用アプリケーションソフトを用いて評価するようにしても良い。具体的には、図１２に示すように、入力画像Ｔにポインタａが表示された状態において、左クリック操作（ピッチ「０」の場合）が行われるごとに、クリックした場所に１匹のひよこを模した画像（以下、ひよこ画像）Ｏ１を表示する評価用アプリケーションソフトを利用する。【００３１】
評価用アプリケーションソフトが起動されると、入力画像Ｔにポインタａが表示されるとともに、ひよこ画像を表示すべき位置に円Ｃ１〜Ｃ４が表示される（図１３参照）。演奏者は、上述した入力支援画像Ｐ１を参照しながら、Matryomin２００を操作することでポインタａを移動する（図１４参照）。演奏者は、ポインタａが希望する位置に移動したら、Matryomin２００を操作することで左クリックする（図１５参照）。クリック操作を行うことで、当該箇所にひよこ画像Ｏ１が表示される（図１６参照）。さらに、演奏者は、Matryomin２００を操作してポインタａを移動したり、左クリックすることで、前掲図１２に示した円Ｃ１〜Ｃ４に全てのひよこ画像を表示させる（図１７参照）。かかる評価用アプリケーションソフトを利用することで、より面白みのあるマウス操作が可能となる。
【図面の簡単な説明】
【００３２】
【図１】本実施形態に係る入力制御システムの構成を示す図である。
【図２】同実施形態に係るMatryominの演奏動作を説明するための図である。
【図３】同実施形態に係るMatryominの背面の部分拡大図である。
【図４】同実施形態に係る電子機器の構成を示すブロック図である。
【図５】同実施形態に係るコントローラの機能構成を示すブロック図である。
【図６】同実施形態に係るピッチ検出の動作を説明するための図である。
【図７】同実施形態に係るピッチ・入力操作変換テーブルを例示した図である。
【図８】同実施形態に係る入力支援画像を例示した図である。
【図９】同実施形態に係る入力操作を示すフローチャートである。
【図１０】同実施形態に係る表示画面を例示した図である。
【図１１】同実施形態に係る表示画面を例示した図である。
【図１２】変形例に係る評価用アプリケーションソフトを説明するための図である。
【図１３】変形例に係る評価用アプリケーションソフトを説明するための図である。
【図１４】変形例に係る評価用アプリケーションソフトを説明するための図である。
【図１５】変形例に係る評価用アプリケーションソフトを説明するための図である。
【図１６】変形例に係る評価用アプリケーションソフトを説明するための図である。
【図１７】変形例に係る評価用アプリケーションソフトを説明するための図である。
【符号の説明】
【００３３】
１００・・・入力制御システム、２００・・・Matryomin、３００・・・Ａ／Ｄコンバータ、４００・・・電子機器、５１０・・・コントローラ、５２０・・・通信部、５３０・・・表示装置、６１０・・・ピッチ検出手段、６２０・・・入力操作特定手段、６３０・・・表示制御手段、ＴＡ・・・ピッチ・入力操作変換テーブル。
【図１】
2008139550.tif 000003
【図２】
2008139550.tif 000004
【図３】
2008139550.tif 000005
【図４】
2008139550.tif 000006
【図５】
2008139550.tif 000007
【図６】
2008139550.tif 000008
【図７】
2008139550.tif 000009
【図８】
2008139550.tif 000010
【図９】
2008139550.tif 000011
【図１０】
2008139550.tif 000012
【図１１】
2008139550.tif 000013
【図１２】
2008139550.tif 000014
【図１３】
2008139550.tif 000015
【図１４】
2008139550.tif 000016
【図１５】
2008139550.tif 000017
【図１６】
2008139550.tif 000018
【図１７】
2008139550.tif 000019
【国際調査報告】
2008139550.tif 000020
2008139550.tif 000021
2008139550.tif 000022
2008139550.tif 000023