(57)【特許請求の範囲】
【請求項１】
鍵盤の上方空間を撮像するための複数の撮像装置と、
これら撮像装置により撮像された画像から、鍵盤上方における演奏者の指について押離鍵方向の位置及び鍵盤の鍵配列方向の位置を認識する位置認識手段と、
位置認識手段により認識された押離鍵方向の位置及び鍵配列方向の位置に基づいて楽音を制御する楽音制御手段であって、位置認識手段により認識された押離鍵方向の位置に応じて、楽音の発音開始又は消音を制御するものと
を具備することを特徴とする楽音制御装置。
【請求項２】
前記楽音制御手段は、前記位置認識手段により認識された鍵配列方向の位置に応じて、発音される楽音のピッチを制御することを特徴とする請求項１に記載の楽音制御装置。
【請求項３】
前記楽音制御手段は、前記位置認識手段により認識された押離鍵方向の位置又は鍵配列方向の位置に応じて、鍵盤の操作に基づいて発生される楽音の特性を制御することを特徴とする請求項１又は２に記載の楽音制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、鍵盤上方における演奏者の指の動きに応じて楽音を制御する機能を有する楽音制御装置に関する。
【背景技術】
【０００２】
電子鍵盤楽器において、鍵盤上方における演奏者の手や指の動きを検出し鍵盤の押鍵前或いは押鍵後の手の状態に応じて楽音の特性を制御する技術については、例えば、特許文献１や特許文献２により知られている。特許文献１の電子鍵盤楽器では、発光装置及び受光装置から成る光センサによって手指の落下速度パターンを検出したり、各鍵ごとに設けたインダクタンスコイル及び発振回路から成るインダクタンスセンサにより各鍵ごとの指の接近速度を検出している。また、特許文献２の電子鍵盤楽器では、撮像された画像を認識することで演奏時の指の形状を検出している。
【特許文献１】実開平３−２９９９４号公報
【特許文献２】実公平７−５３１１７号公報
【０００３】
しかしながら、特許文献１による技術では、光センサによっては左右（音高）方向の鍵位置を特定することができないし、各鍵ごとのインダクタンスセンサによれば左右（音高）方向位置は特定することができるものの、鍵ごとにセンサを設けるのでコストアップにつながる。また、特許文献２による技術では、左右（音高）方向の位置を特定することができない。このように、従来技術では、左右方向位置の特定ができないか、左右方向位置を特定するにはコストアップになってしまい、実用上、左右方向位置を特定して行う楽音制御には向いていない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は、このような事情に鑑み、簡単な構成により、特に、鍵盤上方の指の動きを各音高ごとの楽音に反映させることができる楽音制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明の主たる特徴に従うと、鍵盤（１４Ｋ）の上方空間を撮像するための複数の撮像装置（１８Ｃ；Ａ１，Ｂ１）と、これら撮像装置（１８Ｃ）により撮像された画像から、鍵盤上方（ｐ０〜ｐ２）における演奏者の指について押離鍵方向の位置及び鍵盤の鍵配列方向の位置を認識する位置認識手段（１０；Ａ２，Ｂ２）と、位置認識手段（１０）により認識された押離鍵方向の位置及び鍵配列方向の位置に基づいて楽音（第２楽音）を制御する楽音制御手段（１〜３；Ａ３〜Ａ１０，Ｂ３〜Ｂ１２）であって、位置認識手段（１０）により認識された押離鍵方向の位置に応じて、楽音（第２楽音）の発音開始又は消音を制御する（Ａ３〜Ａ６，Ｂ３〜Ｂ７）ものとを具備する楽音制御装置〔請求項１〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の対応する参照記号や用語等を表わす。
【０００６】
この発明による楽音制御装置において、楽音制御手段（１〜３）は、位置認識手段（１０）により認識された鍵配列方向の位置に応じて、発音される楽音（第２楽音）のピッチを制御する（Ａ４，Ｂ７）〔請求項２〕ように構成することができる。さらに、楽音制御手段（１〜３）は、位置認識手段（１０）により認識された押離鍵方向の位置又は鍵配列方向の位置に応じて、鍵盤（１４Ｋ）の操作（ｍ３，ｍ５）に基づいて発生される楽音（第１楽音）の特性を制御する（図８）〔請求項３〕ように構成することができる。
【発明の効果】
【０００７】
この発明の主たる特徴による楽音制御装置では（請求項１）、複数の撮像装置（１８Ｃ）により撮像した画像から、鍵盤（１４Ｋ）の上方（ｐ０〜ｐ２）における指の押離鍵方向位置（上下位置）及び鍵配列方向位置（左右位置／音高位置）を認識し（Ａ２，Ｂ２）、認識された押離鍵方向位置及び鍵配列方向位置に応じて楽音（第２楽音）を制御する（Ａ３〜Ａ６，Ｂ３〜Ｂ７）ように構成し、特に、鍵盤上方（ｐ０〜ｐ２）における指の押離鍵方向位置（上下位置）に応じて楽音（第２楽音）の発音開始又は消音を制御する（Ａ３〜Ａ６，Ｂ３〜Ｂ７）ように構成している。
【０００８】
従って、この発明によれば、鍵ごとにセンサを設けることなく、簡単な構成で、鍵盤の上方における指の動きを検出し、鍵配列方向位置即ち音高ごとに楽音を制御することが可能となり、鍵盤上方の指の動きを各音高ごとの楽音に反映させることができ、特に、鍵盤上方における指の上下位置に応じて発音開始又は消音を制御することができる。
【０００９】
この発明による楽音制御装置では、鍵盤上方（ｐ０〜ｐ２）における指の鍵配列方向位置に応じて発音される楽音（第２楽音）のピッチを制御する（Ａ４，Ｂ７）ように構成しているので、鍵盤上方における指の鍵配列方向（左右）の動きを楽音ピッチ制御に用いることができる（請求項２）。
【００１０】
さらに、この発明による楽音制御装置では、鍵盤上方（ｐ０〜ｐ２）における指（ｍ１，ｍ２，ｍ４）の押離鍵方向又は鍵配列方向位置（上下位置又は左右／音高位置）に応じて、鍵盤操作（ｍ３，ｍ５）に基づき発生される楽音（第１楽音）の特性を制御する（図８）ように構成しているので、鍵盤上方における指の上下又は左右の動きに応じて、鍵盤操作により発生される楽音の特性を制御することができる（請求項３）。
【発明を実施するための最良の形態】
【００１１】
〔システムの概要〕
この発明による楽音制御装置の機能が組み込まれる電子音楽装置は、楽音制御処理を含む音楽情報処理機能を有する一種のコンピュータであり、演奏操作入力装置（鍵盤装置）を備えた電子楽器などの音楽専用機器や、演奏操作入力装置が外付けされ所定の音楽情報処理機能を有するパーソナルコンピュータ等の汎用の情報処理装置が用いられる。
【００１２】
図１は、この発明の一実施例による電子音楽装置のハードウエア構成ブロック図を示す。この電子音楽装置は、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、外部記憶装置４、演奏操作検出回路５、設定操作検出回路６、表示回路７、音源回路８、効果回路９、指位置解析装置１０、ＭＩＤＩインターフェース（Ｉ／Ｆ）１１、通信インターフェース（Ｉ／Ｆ）１２などを備え、これらの要素１〜１２はバス１３を介して互いに接続される。
【００１３】
ＣＰＵ１は、ＲＡＭ２及ＲＯＭ３と共にデータ処理部を構成し、楽音制御プログラムを含む所定の制御プログラムに従い、タイマによるクロックを利用して楽音制御処理を含む種々の音楽情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ＲＯＭ３には、これらの処理を実行するために、楽音制御プログラムを含む各種制御プログラム、プリセットされた楽音制御用データや演奏データ等が予め記憶される。
【００１４】
外部記憶装置４は、ハードディスク（ＨＤ）等の内蔵記憶媒体の外に、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、スマートメディア（登録商標）等の小型メモリカード、等々、種々の可搬性の外部記録媒体を含み、任意の外部記憶装置４に任意の制御プログラムやデータを記憶することができる。
【００１５】
演奏操作検出回路５は、鍵盤（１４Ｋ：図２参照）などの演奏操作子（演奏操作入力装置）１４の操作内容を検出し、設定操作検出回路６は、スイッチやマウス等の設定操作子（パネル操作子）１５の操作内容を検出し、それぞれ、検出内容に対応する情報をデータ処理部に導入する。表示回路７は、演奏や設定に必要な各種画面を表示するＬＣＤ等のディスプレイ１６や、その他インジケータ／ランプを備え、これらの表示・点灯内容をデータ処理部からの指令に従って制御し、操作子１４，１５の操作に対する表示援助を行う。
【００１６】
音源回路８は、鍵盤に対する演奏操作に基いて操作鍵に対応する楽音信号を生成し、効果回路９は、効果付与ＤＳＰを有し、音源回路８からの楽音信号に効果を付与し、何れの回路もソフトウエアを含ませることができる。両回路８，９は、楽音信号生成部を構成し、各種楽音制御パラメータに基づいて楽音信号を制御することができる。効果回路９に後置されたサウンドシステム１７は、Ｄ／Ａ変換部やアンプ、スピーカを備え、効果回路９からの楽音信号に基づく楽音を発生する。
【００１７】
また、楽音信号生成部８，９は、記憶手段３，４に記憶された演奏データに基づいて自動演奏の楽音信号を生成したり、指位置解析装置１０からの指位置情報に応じて、所定の楽音特性パラメータに基づく所定の楽音信号を生成することができる。
【００１８】
指位置解析装置１０は、これに接続される指検出装置１８と共に、鍵盤上方における演奏者の各指の位置を検出する指位置検出部を構成する。指検出装置１８は、鍵盤上方空間における演奏者の動作を表わす指検出データを指位置解析装置１０に送り、指位置解析装置１０は、指検出データを解析し、鍵盤上方において演奏者の各指の左右方向（音高方向）の位置（鍵／音高位置）及び上下方向（押離鍵方向）の位置を表わす指位置情報をシステム本体に導入することができる。
【００１９】
指検出装置１８は、複数の撮像カメラ（図２：１８Ｃ）を備えた撮像装置で構成し、指位置解析装置１０は画像解析（画像認識）装置で構成することができる。この場合、これらの撮像カメラによって鍵盤の上方領域を撮像し、画像解析装置１０において、撮像された指の画像データを画像処理技術により解析し、鍵盤上方において演奏している指の位置を表わす指位置情報を得ることができる。
【００２０】
また、ＭＩＤＩＩ／Ｆ１１には他のＭＩＤＩ音楽機器３０が接続され、他の音楽機器３０との間でＭＩＤＩ演奏データを授受し、この電子音楽装置で利用することができる。さらに、通信Ｉ／Ｆ１２には、インターネットやローカルエリアネットワーク（ＬＡＮ）などの通信ネットワーク４０が接続され、外部のサーバコンピュータ５０等から制御プログラムや各種データ等を受信し外部記憶装置４に保存することができる。
【００２１】
〔指検出機構及びその設置例〕
この発明の一実施例による電子音楽装置においては、指位置検出部の検出機構に複数の撮像カメラを用い、鍵盤上方における演奏者の指の動作を複数の撮像カメラで撮像し、カメラから得られた撮像データに基づいて、指が位置する音高や指の動きを検出し、検出した音高や動きに応じて楽音を制御することができる。図２は、この発明の一実施例による電子音楽装置において指検出機構として用いられる撮像カメラの設置例を示す。
【００２２】
この電子音楽装置の撮像データ利用に関する特徴によれば、図２のように、複数の撮像手段（カメラ）１８Ｃにより鍵盤１４Ｋの上方における演奏者の各指を撮像し、撮像された画像データを画像処理することにより、鍵盤１４Ｋの上方における指の押離鍵方向（上下方向）及び鍵配列方向（左右方向／音高方向）の位置を認識し、認識された指の位置を表わす指位置情報に基づいて楽音を制御する。例えば、指位置情報の鍵配列方向位置（音高位置）に応じて、発音される楽音（第２楽音）の音高を指定すると共に、指位置情報から得られる押離鍵方向の指の動きに応じて、指定された音高をもつ楽音を発音させたり消音させたりする。また、鍵盤１４Ｋに対する押離鍵操作により発生される別の楽音（第１楽音）の特性を制御することもできる。
【００２３】
図２の撮像カメラの例について説明すると、電子音楽装置筐体の前面パネルの左右即ち鍵盤１４の両端近傍に設けられた２台の撮像カメラ１８Ｃを対にして指検出機構に用いる。両撮像カメラ１８Ｃは鍵盤面からやや上方に位置し、各カメラの光軸は、水平（鍵盤面に平行）で、鍵盤１４Ｋの中央方向に向けられており、２つのカメラそれぞれが鍵盤全域を撮像することができるように設置されている。
【００２４】
これに伴い、指位置解析装置１０には画像解析装置が用いられ、従来から知られている画像処理技術を応用して、２つの撮像カメラ１８Ｃで夫々撮像された２つの画像データを画像処理して各指の画像を解析し、演奏している指の左右方向（音高方向／鍵配列方向）及び上下方向（押離鍵方向／鍵盤面に垂直な方向）の位置を検出する。例えば、左右方向の位置については、同時に撮像された２つの画像データを解析することによって演奏者の各指が鍵盤１４Ｋのどの鍵に対応した音高方向位置にあるのかを認識することができる。
【００２５】
なお、指の位置を検出し易くするため、各撮像カメラ１８Ｃに、生体像を明確に撮影することができる赤外線カメラを用いたり、例えば、演奏者の指爪にマニキュアを塗る、或いは、指にアタッチメントを装着する、等々、演奏者の指に特定色等のマーキングを行ったりしてもよい。また、撮像カメラ１８Ｃは、鍵盤１４Ｋ上方の所定領域を全鍵域にわたり撮像可能であればよく、カメラの位置及び数は、上述した例に限らない。例えば、１オクターブ間隔等で多くのカメラを設置してもよく、このようにすることで、指位置の検出精度を向上させることができる。また、カメラの光軸は、水平に限らず、水平軸から若干傾斜していてもよい。
【００２６】
〔楽音制御の第１実施形態〕
この発明の一実施例による電子音楽装置においては、鍵盤上方における演奏者の指の動きを検出し、検出した指の動きに応じて鍵盤演奏に基づく楽音とは異なる音色特性の楽音を発生させることができる。図３及び図４は、この発明の一実施例による電子音楽装置における楽音制御の第１実施形態を説明するための図であり、第１実施形態では、鍵盤上方の指位置情報から得られる指の上下動に基づいて、鍵操作による所定特性の楽音のキーオンに先立ち、他の特性の楽音を発生させる。
【００２７】
この電子音楽装置による１操作２楽音発生に関する特徴によれば、指位置検出手段１８，１０により鍵１４Ｋの上方（ｐ０〜ｐ２）における指の押離鍵方向（上下方向）の位置及び動きを検出し、検出された位置及び動きに基づいて所定のタイミングで楽音の発音及び消音を制御する。つまり、図３及び図４に示すように、指が実質的に鍵１４Ｋに触れた（ａ）と見なし得るタイミングｔ１で第１音色（例えば、ストリングス系音色）をもつ楽音（第２楽音）の発音開始を楽音生成部８、９に指示し、押離鍵操作〔（ｂ），（ｃ）〕があると、第１音色とは楽音特性が異なる第２音色（例えば、ピアノ系音色）をもつ楽音（第１楽音）を発生させ（ｔａ，ｔｂ）、さらに、指が鍵１４Ｋから完全に離れる動きをした（ｄ）ことを確認したタイミングｔ２で、第１音色の楽音（第２楽音）を消音させる。これにより、１つの演奏操作により複数の音色を同時に発音させるレイヤー音色を簡単な構成で実現することができる。
【００２８】
この電子音楽装置では、楽音制御のために、鍵盤１４Ｋの鍵盤面上方に発音意図領域Ａｓが設定される。発音意図領域Ａｓは、この領域を指が通過した場合に発音の意図ありとみなす領域であり、図３に示すように、鍵盤面の位置ｐ０から所定距離だけ上方の下限位置ｐ１と上限位置ｐ２との間の空間をいう。例えば、位置ｐ０〜ｐ１間の距離は１ｃｍ程度、位置ｐ１〜ｐ２間の距離は２ｃｍ程度に選定される。また、楽音制御の際には、発音意図領域Ａｓを含む鍵盤１４Ｋの鍵盤面位置ｐ０から上の所定の領域（鍵盤上方領域という）について、複数の撮像カメラ１８Ｃによる同時撮影を進めていき、指位置解析装置（画像解析装置）１０は、同時撮影された鍵盤上方領域の両画像データを順次解析し、鍵盤上方領域での演奏者の各指の位置を認識する。そして、データ処理部１〜３は、指位置解析装置（画像解析装置）１０で認識された各指の位置を表わす指位置情報に基づいて、所定の楽音を発生するように楽音生成部８，９に指示する。
【００２９】
図３及び図４に例示される第１実施形態では、図４（１）に示すように、演奏者の各指による鍵盤１４Ｋに対する通常の押離鍵操作（ｔａ，ｔｂ）に基づいて楽音生成部８，９から発生される楽音は「第１楽音」と呼ばれ、例えば、ピアノ系の音色のように、音の立上り／立下りが速い特性をもつ音色が第１楽音に与えられる。また、演奏者の各指が発音意図領域Ａｓを通過することにより、図４（２）に示すように、第１楽音とは特性の異なる「第２楽音」が楽音生成部８，９から別個に発生され、例えば、ストリングス系の音色のように、音の立上り／立下りが遅い特性をもつ音色が第２楽音に与えられる。なお、立上り／立下りが速い／遅いとは、第１楽音と第２楽音との間の相対的な関係に基づくものである。また、少なくとも立上りの速さについて速い／遅いという関係があればよく、立下りについては速さの関係が逆になっていてもよい。
【００３０】
具体的にいうと、データ処理部１〜３は、図３（ａ）に示すように、演奏者の指が発音意図領域Ａｓを上から下へ通過して発音意図領域Ａｓの下限位置ｐ１を越したとき或いは鍵盤（例えば、白鍵であれば鍵盤面位置ｐ０）に到達（接触）したときに、図４（２）のように、この時点ｔ１から第２楽音を発生するように楽音生成部８，９に指示する。つまり、指が発音意図領域Ａｓを上から下に通過すると発音意図があったとみなして、発音意図領域Ａｓの下端ｐ１を通ったか或いは鍵盤面ｐ０に接触した時点ｔ１で、鍵盤の押鍵による第１楽音とは異なる第２楽音の発生を開始させる。ここで、第２楽音の音高は、領域Ａｓを上から下に通過する指の左右方向位置に対応する鍵盤１４Ｋの音高とされる。
【００３１】
なお、時点ｔ１は、図４に示すように、仮に第１楽音が押鍵タイミングｔａで発音を開始させるとした場合、第１楽音の立上りに合わせて第２楽音を立ち上がらせるに十分な第２楽音の発音開始タイミングであり、指が領域Ａｓを通過してから鍵盤１４Ｋに接触するまでの適当な指位置に対応し、この例では、上述のように、指が下限位置ｐ１を通って鍵１４Ｋに十分に近づき鍵１４Ｋに触れようとする時点或いは鍵１４Ｋに触れた時点が採用される。また、発音意図領域Ａｓ内での指の動き、例えば、下降速度や上下左右の揺れなどに応じて、第２楽音の発音時におけるアタック、音量、音色、ピッチ等の楽音特性パラメータを制御することができる。
【００３２】
さて、発音意図領域Ａｓの指通過（上→下）が検出された後、図３（ｂ）のように、鍵盤１４Ｋの押鍵（キーオン）が演奏操作検出回路５で検出されると、データ処理部１〜３は、当該押鍵の検出時点ｔａで第１楽音を発生するように楽音生成部８，９に指示する。さらに、図３（ｃ）のように、時点ｔｂで押鍵された鍵盤１４Ｋの離鍵があると、発音していた第１楽音が消音される。この場合、鍵盤によるキーオンに先立って発生させた他の楽音（第２楽音）は、図４（２）のように、発音を持続している。そして、図３（ｄ）のように、指が鍵盤１４Ｋから離れて領域Ａｓを下から上へ通過すると、消音意図があったとみなして発音意図領域Ａｓの上端ｐ２に達した時点ｔ２で第２楽音を消音する。
【００３３】
このように、鍵盤による第１楽音のキーオンに先立ち、発音意図領域Ａｓの通過により他の第２楽音を発生させるようにすると、例えば、第１楽音をアタックの早い「ピアノ」音色とし第２楽音をアタックの遅い「ストリングス」として、「ピアノ＋ストリングス」音色のような２音色をもつ楽音を１つの演奏操作で発音させることができる。この場合、アタックの遅い第２音色を先に発音させ、その後で第１楽音を発生させることにより、第１楽音のアタック位置と第２楽音のアタック位置とをほぼ揃えることが可能になる。
【００３４】
一方、図３（ａ’）→図３（ｄ）のように、鍵盤１４Ｋの押鍵がないまま指が発音意図領域Ａｓを上方向に通過した場合は、第１楽音の発音はなく、第２楽音のみが発音意図領域Ａｓの下方向通過時点ｔ１から発音され上方向通過時点ｔ２で消音される。つまり、演奏者は、意図的に、図４（２）のような第２楽音のみを発生させることができる。
【００３５】
この場合は、鍵に触れるタイミングｔ１から第２音色の第２楽音を発音開始させることができ、ストリングス系音色などのアタックの遅い第２音色をもつ第２楽音の発音タイミングを演奏者の操作感覚に合わせることができ、このような発音タイミングｔ１で発音された第２楽音を消音タイミングｔ２で違和感なく消音させることができる。
【００３６】
なお、第２楽音を発音させた後は、指が鍵盤から離れたとき或いは発音意図領域Ａｓの下端ｐ１を通ったときから後の指の動き、例えば、指の上昇速度や指の上下左右の揺れなどに応じて、発音中或いはリリース中（消音指示後）の第２楽音の楽音特性パラメータ（音量、音色、ピッチ等）を制御することができる。
【００３７】
また、離鍵によって第１楽音が消音された後、発音意図領域Ａｓを通過することなく再度押鍵が行われた場合は、第２楽音の発音を持続したまま第１楽音を再度発音させる。この場合、第２楽音の発音持続に代えて、第２楽音を一旦消音させ、第１楽音の発音と同時に第２楽音を再発音させてもよい。また、最初から発音意図領域Ａｓを通過することなく押鍵がなされた場合には、第１楽音及び第２楽音を同時に発音開始するようにしてもよいし、第１楽音のみを発音開始するようにしてもよい。これらの例のように、押鍵にて第２楽音を発音させた場合は、離鍵にて第２楽音を消音するのがよい。
【００３８】
〔楽音制御処理フロー例（１）〕
図６は、この発明の一実施例による電子音楽装置における第１実施形態の楽音制御処理の手順例を表わすフローチャートを示す。この電子音楽装置においては、設定操作子１５中の楽音制御処理開始スイッチの操作によりこの楽音制御処理がスタートし、撮像カメラ１８Ｃによる鍵盤上方領域の撮像が開始すると共に図６の処理フローが実行され、楽音制御処理停止スイッチの操作に基づく終了指示によってこの楽音制御処理が終了する。
【００３９】
まず、最初のステップＡ１では、ＣＰＵ１は、撮像装置１８から鍵盤上方領域の画像データを取り込むように画像解析装置１０に指示する。次のステップＡ２では、画像解析装置１０は、撮像装置１８からの画像データに対する画像処理により演奏者の各指の上下位置及び左右（音高）位置を認識し、ＣＰＵ１は、認識された各指の上下位置及び左右（音高）位置を表わす上下位置及び左右位置情報を画像解析装置１０から取得する。
【００４０】
次のステップＡ３では、上下位置情報に基づいて指が発音意図領域Ａｓを上から下への方向（上→下）に通過したか否かを判定し、或る指が上→下に通過したと判定されたときは（Ａ３＝ＹＥＳ）、ステップＡ４に進む。ステップＡ４では、当該指の上下位置及び左右位置情報に基づいて、当該指について認識された左右（音高）位置に対応する音高を求め、当該指が発音意図領域Ａｓの下端ｐ１を通るか又は鍵盤１４Ｋへの接触位置に到達するタイミング（ｔ１）で、当該音高をもつ第２楽音の発音を開始するように、楽音生成部８、９に指示する。
【００４１】
指が発音意図領域Ａｓを上→下に通過しないと判定されたとき（Ａ３＝ＮＯ）或いはステップＡ４で第２楽音の発音開始を指示した後は、ステップＡ５で、上下位置情報に基づいて、指が発音意図領域Ａｓを下から上への方向（下→上）に通過したか否かを判定する。ここで、指が下→上に通過したときは（Ａ５＝ＹＥＳ）、ステップＡ６に進んで、当該指の上下位置及び左右位置情報に基づいて、当該指が発音意図領域Ａｓの上端ｐ２に到達するタイミング（ｔ２）で、当該指について認識された音高をもつ第２楽音を消音するように、楽音生成部８、９に指示する。
【００４２】
指が発音意図領域Ａｓを下→上に通過しないと判定されたとき（Ａ５＝ＮＯ）或いはステップＡ６で第２楽音の消音を指示した後は、ステップＡ７で、鍵盤１４Ｋに対する押鍵操作があったか否かを判定する。ここで、押鍵操作があったときは（Ａ７＝ＹＥＳ）、ステップＡ８に進み、当該押鍵操作がなされたタイミング（ｔａ）で、操作鍵に対応する第１楽音の発音を開始するように楽音生成部８、９に指示する。
【００４３】
押鍵操作がないと判定されたとき（Ａ７＝ＮＯ）或いはステップＡ８で第１楽音の発音開始を指示した後は、ステップＡ９で、鍵盤１４Ｋに対する離鍵操作があったか否かを判定する。ここで、離鍵操作があったときは（Ａ９＝ＹＥＳ）、ステップＡ１０に進んで、当該離鍵操作がなされたタイミング（ｔｂ）で、操作鍵に対応する第１楽音を消音するように楽音生成部８、９に指示する。そして、離鍵操作がないと判定されたとき（Ａ９＝ＮＯ）或いはステップＡ１０で第１楽音の消音を指示した後は、ステップＡ１に戻り、終了指示があるまでステップＡ１〜Ａ１０の動作を繰り返す。
【００４４】
〔第２実施形態〕
この発明の一実施例による電子音楽装置においては、鍵盤上方における演奏者の指の動きを検出し、検出した指の動きに応じて鍵盤演奏に基づく楽音とは異なる奏法を表現する楽音を発生させることができる。図５は、この発明の一実施例による電子音楽装置における楽音制御の第２実施形態を説明するための図であり、第２実施形態では、鍵盤上方の指位置情報から得られる指の上下動に基づいて、指を鍵に触れた後に離す操作により、鍵盤演奏の楽音とは奏法が異なる他の楽音を発生させる。
【００４５】
この電子音楽装置による奏法対応の楽音発生に関する特徴によれば、図５に示すように、鍵１４Ｋの上方ｐ０〜ｐ２における演奏者の指の位置を検出し、検出された位置及び動きに基づいて、鍵盤演奏による楽音（第１楽音）とは異なる奏法を表現する他の楽音（第２楽音）を発生する。つまり、演奏者の指が鍵上方の所定空間ｐ２〜ｐ１を上から下に通過すると楽音発生の意図があるとみなされ、さらに、指が鍵１４Ｋに接触した後に鍵１４Ｋから離れた場合に（ｔ３）、ギター音色のハーモニクス音のように軽いタッチの特殊奏法を表現する第２楽音を発音させる（１ｂ，２ｂ）。演奏者の指が鍵１４Ｋから離れる前に押鍵された場合は（ｔａ）、ギター音色の通常音のように第２楽音とは奏法が異なり標準的な奏法を表現する第１楽音を発音させ、その後で指が鍵から離れても、第２楽音は発音しない（１ａ，２ａ）。
【００４６】
図５に例示される第２実施形態では、（２ａ）に示すように、演奏者の各指による鍵盤１４Ｋに対する通常の押離鍵操作（ｔａ，ｔｂ）に基づいて楽音生成部８，９から発生される楽音は「第１楽音」と呼ばれ、例えば、ギター音色の通常音のように、標準的な奏法を表現する。また、押鍵操作がなく演奏者の各指が鍵盤１４Ｋに触れただけの場合は、（２ｂ）に示すように、第１楽音とは異なる奏法の「第２楽音」が楽音生成部８，９から別個に発生される。第２楽音は、例えば、ギター音色のハーモニクス音のように、軽いタッチの奏法を表現する。
【００４７】
具体的にいうと、（１ａ）上部に示すように、鍵１４Ｋの押鍵（キーオン）があり、これが演奏操作検出回路５で検出されると、データ処理部１〜３は、演奏者の指が発音意図領域Ａｓを上から下へ通過したか否かに拘わらず、（２ａ）に示すように、当該押鍵の検出時点ｔａで第１楽音を発音するように楽音生成部８，９に指示する。その後、（１ａ）下部に示すように、押鍵された鍵１４Ｋの離鍵（キーオフ）があると、発音していた第１楽音は離鍵の時点ｔｂで消音される。
【００４８】
一方、（１ｂ）上部に示すように、演奏者の指が発音意図領域Ａｓを上から下へ通過すると、データ処理部１〜３は、指位置検出部１８，１０からの指位置情報に基づいて領域Ａｓの上→下通過があったと判定し、演奏者に第２楽音の発音意図があるとみなす。さらに、指が鍵盤に接触した後、（１ｂ）下部に示すように、演奏者が押鍵することなく指を鍵盤から離すと、（２ｂ）に示すように、指が鍵から離れた時点乃至発音意図領域Ａｓの上端ｐ２に達した時点ｔ３で、鍵盤の押鍵による第１楽音とは異なる第２楽音の発生を開始するように楽音生成部８，９に指示する。発生された第２楽音は、発音開始時点ｔ３から所定の時間（第２楽音発音設定時間）Ｔｄが経過した時点ｔ４で自動的に消音される。
【００４９】
例えば、上述のように、第１楽音がギターの通常音であり、第２楽音がギターのハーモニクス音であるとすると、演奏者は、通常のギター音を鳴らしたい場合は、鍵盤１４Ｋを押鍵する。また、通常ギター音に代えてギターのハーモニクス音を鳴らしたい場合には、発音意図領域Ａｓを通過させて一旦鍵盤に触れ、その後、指を鍵盤１４Ｋから離す操作をする。
【００５０】
自然楽器のギターにおいては、ハーモニクス音を鳴らす場合、弦振動の節になる弦の位置、例えば、弦長の１／２となる位置に指を軽く触れた状態でピッキングをすると同時に指を離す、という操作が一般的である。これに対して、鍵盤１４Ｋ軽く触れた後に離すという（１ｂ）の操作は、自然楽器のギターにおけるハーモニクス奏法と類似しており、演奏者の感覚と合うものである。
【００５１】
なお、第２楽音を鳴らす場合、指が鍵盤１４Ｋから離れた後の指の動き、例えば、指の上昇速度や指の上下左右の揺れ等に応じて、アタック、音量、音色、ピッチなどの第２楽音の楽音特性パラメータを制御するようにしてもよい。
【００５２】
〔楽音制御処理フロー例（２）〕
図７は、この発明の一実施例による電子音楽装置における第２実施形態の楽音制御処理の手順例を表わすフローチャートを示す。この電子音楽装置においては、設定操作子１５中の楽音制御処理開始スイッチの操作によりこの楽音制御処理がスタートし、撮像カメラ１８Ｃによる鍵盤上方領域の撮像が開始すると共に図７の処理フローが実行され、楽音制御処理停止スイッチの操作に基づく終了指示によってこの楽音制御処理が終了する。
【００５３】
まず、最初のステップＢ１では、ＣＰＵ１は、撮像装置１８から鍵盤上方領域の画像データを取り込むように画像解析装置１０に指示する。次のステップＢ２では、画像解析装置１０は、撮像装置１８からの画像データに対する画像処理により演奏者の各指の上下位置及び左右（音高）位置を認識し、ＣＰＵ１は、認識された各指の上下位置及び左右（音高）位置を表わす上下位置及び左右位置情報を画像解析装置１０から取得する。
【００５４】
次のステップＢ３では、上下位置情報に基づいて指が発音意図領域Ａｓを上から下への方向（上→下）に通過したか否かを判定し、或る指が上→下に通過したと判定されたときは（Ｂ３＝ＹＥＳ）、ステップＢ４に進む。ステップＢ４では、演奏者に第２楽音を発音する意図があるとみなし、当該指について、ＲＡＭ２上に第２楽音発音意図フラグ＝“１”を立てて「第２楽音発音意図あり」をセットする。
【００５５】
指が発音意図領域Ａｓを上→下に通過しないと判定されたとき（Ｂ３＝ＮＯ）或いはステップＢ４で「第２楽音発音意図あり」をセットした後は、ステップＢ５で、上下位置情報に基づいて、演奏者の指が鍵盤１４Ｋから離れたか否かを判定する。ここで、指が鍵盤１４Ｋから離れたときは（Ｂ５＝ＹＥＳ）、ステップＢ６に進んで、当該指の第２楽音発音意図フラグを調べ「第２楽音発音意図あり」がセットされているか否かを判定する。
【００５６】
ここで、「第２楽音発音意図あり」がセットされているときは（Ｂ６＝ＹＥＳ）、ステップＢ７に進んで、当該指が鍵盤１４Ｋから離れた時点或いは発音意図領域Ａｓの上端ｐ２に達した時点（ｔ３）で、当該指について認識された音高位置に対応する音高をもつ第２楽音の発音開始を楽音生成部８、９に指示する。なお、発音を開始した第２楽音は、楽音生成部８、９において、所定時間Ｔｄ後に（ｔ４）自動的に消音処理される。
【００５７】
指が鍵盤１４Ｋから離れたとはいえないと判定されたとき（Ｂ５＝ＮＯ）、「第２楽音発音意図あり」がセットされていないと判定されたとき（Ｂ６＝ＮＯ）或いはステップＢ７で第２楽音発音開始を指示した後は、ステップＢ８で、鍵盤１４Ｋに対する押鍵操作があったか否かを判定する。ここで、押鍵操作があったときは（Ｂ８＝ＹＥＳ）、ステップＢ９に進み、当該押鍵操作がなされた鍵１４Ｋに対応する音高位置の指の第２楽音発音意図フラグ＝“０”とし「第２楽音発音意図なし」とした上、更にステップＢ１０に進んで、当該押鍵操作のタイミング（ｔａ）で、操作鍵１４Ｋに対応する第１楽音の発音を開始するように楽音生成部８、９に指示する。
【００５８】
押鍵操作がないと判定されたとき（Ｂ８＝ＮＯ）或いはステップＢ１０で第１楽音の発音開始を指示した後は、ステップＢ１１で、鍵盤１４Ｋに対する離鍵操作があったか否かを判定する。ここで、離鍵操作があったときは（Ｂ９＝ＹＥＳ）、ステップＢ１０に進んで、当該離鍵操作がなされたタイミング（ｔｂ）で、操作鍵に対応する第１楽音を消音するように楽音生成部８、９に指示する。そして、離鍵操作がないと判定されたとき（Ｂ１１＝ＮＯ）或いはステップＢ１２で第１楽音の消音を指示した後は、ステップＢ１に戻り、終了指示があるまでステップＢ１〜Ｂ１２の動作を繰り返す。
【００５９】
〔他の実施形態〕
この発明の一実施例による電子音楽装置においては、他の実施形態として、カメラで撮像した鍵盤上方領域の画像データから画像処理によって鍵盤上方における演奏者の指の位置を認識し、認識した押離鍵方向及び音高方向位置を、押鍵によって発音する楽音の特性を制御するのに用いることができる。図８は、この発明の一実施例による電子音楽装置における楽音制御の他の実施形態を説明するための図であり、他の実施形態では、鍵盤上方の指位置情報から得られる指の動きに基づいて鍵盤操作による楽音の特性を制御する。
【００６０】
図８の例は、鍵盤操作による楽音に関する発音開始時の初期ピッチ及びその後のピッチ変化を鍵盤上方の指の動きに応じて制御するものであり、図８（１）では鍵盤上方の指位置情報がポルタメント奏法の制御に応用され、図８（２）ではピッチベンド奏法の制御に応用される。なお、各図における演奏モーションｍ１〜ｍ５は指の動きを表わす。
【００６１】
鍵盤操作による楽音についてポルタメント奏法を制御する図８（１）の例では、第１演奏（接触）モーションｍ１により、演奏者の指が発音意図領域Ａｓを上→下に通過して鍵Ｋ１に触れると、指の音高方向位置に対応する初期ピッチで楽音の発音を開始させる。次いで、第２演奏（移動）モーションｍ２により、指が発音意図領域Ａｓ内を左→右に移動すると、発音を開始した楽音のピッチが移動中の指の音高方向位置に対応する音高となるように制御し、指の動きに応じて発音のピッチを変化させる。そして、第３演奏（押鍵）モーションｍ３により鍵Ｋ３が押鍵操作されると、ピッチが順次変化してきた楽音に対して、操作鍵Ｋｂに対応する音高でピッチを確定する。
【００６２】
鍵盤操作による楽音についてピッチベンド奏法を制御する図８（２）の例では、第１演奏（振れ）モーションｍ４により、演奏者の指が発音意図領域Ａｓを音高方向に僅かに移動しつつ上→下に通過した後、第２演奏（押鍵）モーションｍ５により鍵Ｋ５が押鍵操作されると、押鍵ｍ５によって、所定のピッチでスタートし押鍵操作鍵Ｋ５のピッチ（押鍵ピッチ）まで変化する楽音の発音を開始させる。この場合、ピッチ変化時間は、指が発音意図領域Ａｓを通過した時間に応じて変化させることができる。また、スタートピッチは、例えば、指が発音意図領域Ａｓの上端ｐ２を通ったときの音高方向位置に相当するピッチでもよいし、予め定めた押鍵ピッチに対するピッチ変化値（例えば、押鍵ピッチより半音低い音）でもよい。
【００６３】
鍵盤上方の指位置情報は、上述のように、発音時のピッチ制御に用いることができるだけでなく、発音時におけるピッチ制御以外の楽音制御、例えば、音量、音色、アタック等の楽音特性パラメータの制御に応用したり、消音後即ちリリース中の各種楽音制御、例えば、ピッチ、音量、音色、リリース等の楽音特性パラメータの制御に利用することができる。例えば、指の上下方向の動きに応じて発音時の音量やアタックレートを制御したり、左右（音高）方向の動きに応じて発音時の音色を制御してもよい。また、指の上下方向の動きに応じて消音時（リリース時）の音量やリリースレートを制御したり、左右（音高）方向の動きに応じて消音時のピッチや音色を制御してもよい。
【００６４】
〔種々の実施態様〕
以上、図面を参照しつつこの発明の好適な実施の一形態について説明したが、これは単なる一例であって、この発明は、発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、指位置解析装置（１０）は、専用のハードウエアで構成してもよいし、ＣＰＵ（１）によるソフトウエア処理で指位置を解析してもよい。また、楽音制御処理（図６、図７）の開始、終了は、電子音楽装置の電源スイッチのオン、オフに基づいてもよい。
【図面の簡単な説明】
【００６５】
【図１】この発明の一実施例による楽音制御装置（電子音楽装置）のハードウエア構成を表わすブロック図である。
【図２】この発明の一実施例による撮像カメラの設置例を表わす図である。
【図３】この発明の第１実施形態における演奏アクションを表わす図である。
【図４】この発明の第１実施形態における発音タイミングの一例を表わす図である。
【図５】この発明の第２実施形態による楽音制御態様を説明するための図である。
【図６】この発明の第１実施形態による楽音制御処理例を表わすフローチャートである。
【図７】この発明の第２実施形態による楽音制御処理例を表わすフローチャートである。
【図８】この発明の他の実施形態を説明するための図である。
【符号の説明】
【００６６】
１８  撮像カメラ１８Ｃを有する撮像装置、
ｐ０  鍵盤１４Ｋの上面位置、
Ａｓ  鍵盤１４Ｋの上方の位置ｐ１〜ｐ２間に設定される発音意図領域、
ｔａ，ｔｂ  押鍵及び離鍵タイミング、
ｔ１，ｔ３  第２楽音の発音タイミング、
ｔ２，ｔ４  第２楽音の消音タイミング、
Ｔｄ  第２楽音発音設定時間、
ｍ１〜ｍ５  指の動き（演奏モーション）。
【図１】
0004765705.tif 000002
【図２】
0004765705.tif 000003
【図３】
0004765705.tif 000004
【図４】
0004765705.tif 000005
【図５】
0004765705.tif 000006
【図６】
0004765705.tif 000007
【図７】
0004765705.tif 000008
【図８】
0004765705.tif 000009