(57)【要約】      （修正有）【課題】鍵盤を操作している各手に対応する音域毎および／または各指に対応する音高毎に異なる楽音特性を制御することが可能となる楽音制御装置およびプログラムを提供する。【解決手段】演奏者の鍵盤の押鍵を鍵盤の両端近傍に設置された２台のカメラで撮像し、デジタルデータに変換された各画像データに所定の画像認識処理が施され、演奏者の各手や各指の所定方向（上下左右前後方向のうちの、少なくとも一方向）の位置が認識される。たとえば、手単位で各手の位置を認識する場合、左手と右手で独立して、各手の所定方向の位置が認識され、検出された手毎の位置に基づいて、左手に割り当てられた楽音特性と右手に割り当てられた楽音特性が独立に制御される。一方、指単位で各指の位置を認識する場合、各指で独立して、各指の所定方向の位置が認識され、検出された指毎の位置に基づいて、各指に割り当てられた楽音特性がそれぞれ独立に制御される。【選択図】図４
2007322683.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置から出力された、演奏者の手および／または指の画像データを入力する入力手段と、
該入力手段によって入力された、演奏者の手および／または指の画像データに基づいて、鍵盤上の演奏者の手および／または指の上下方向、左右方向および前後方向のうちの、少なくとも一方向の位置を認識する認識手段と、
該認識手段によって認識された、鍵盤上の演奏者の手および／または指の上下方向、左右方向および前後方向のうちの、少なくとも一方向の位置に基づいて、当該手および／または指に対応した音高グループ毎および／または音高毎独立に楽音特性を制御する制御手段と
を有することを特徴とする楽音制御装置。
【請求項２】
撮像装置から出力された、演奏者の手および／または指の画像データを入力する入力モジュールと、
該入力モジュールによって入力された、演奏者の手および／または指の画像データに基づいて、鍵盤上の演奏者の手および／または指の上下方向、左右方向および前後方向のうちの、少なくとも一方向の位置を認識する認識モジュールと、
該認識モジュールによって認識された、鍵盤上の演奏者の手および／または指の上下方向、左右方向および前後方向のうちの、少なくとも一方向の位置に基づいて、当該手および／または指に対応した音高グループ毎および／または音高毎独立に楽音特性を制御する制御モジュールと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鍵盤上の演奏者の手および／または指の動きを検出し、該検出した手および／または指の動きに応じて楽音特性を制御する楽音制御装置およびプログラムに関する。
【背景技術】
【０００２】
鍵盤上の演奏者の手の動きを検出し、該検出した手の動きに応じて楽音特性を制御する楽音制御装置は、従来から知られている。
【０００３】
このような楽音制御装置として、鍵盤の鍵に接触する、演奏者の指を撮像し、撮像した指の画像を認識することで、演奏者の指の形状を検出し、その検出した指の形状に基づいて音色パラメータを制御するものがある（たとえば、特許文献１参照）。また、特許文献１には、多くの時刻で、指を含む映像を撮像して、加速度や動きの変化等の複雑な指の動きを検出し、これに対応した音色や音量等を制御することも記載されている。
【特許文献１】実公平７−５３１１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の楽音制御装置では、楽音の音域毎あるいは音高毎に異なる楽音特性を制御することはできなかった。たとえば、鍵盤を操作している右手と左手とで異なる楽音特性を制御したり、鍵盤を操作している指毎に異なる楽音特性を制御したりすることはできなかった。
【０００５】
本発明は、この点に着目してなされたものであり、鍵盤を操作している各手に対応する音域毎および／または各指に対応する音高毎に異なる楽音特性を制御することが可能となる楽音制御装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１に記載の楽音制御装置は、撮像装置から出力された、演奏者の手および／または指の画像データを入力する入力手段と、該入力手段によって入力された、演奏者の手および／または指の画像データに基づいて、鍵盤上の演奏者の手および／または指の上下方向、左右方向および前後方向のうちの、少なくとも一方向の位置を認識する認識手段と、該認識手段によって認識された、鍵盤上の演奏者の手および／または指の上下方向、左右方向および前後方向のうちの、少なくとも一方向の位置に基づいて、当該手および／または指に対応した音高グループ毎および／または音高毎独立に楽音特性を制御する制御手段とを有することを特徴とする。
【０００７】
上記目的を達成するため、請求項２に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。
【発明の効果】
【０００８】
請求項１または２に記載の発明によれば、入力された、演奏者の手および／または指の画像データに基づいて、鍵盤上の演奏者の手および／または指の上下方向、左右方向および前後方向のうちの、少なくとも一方向の位置が認識され、該認識結果に基づいて、当該手および／または指に対応した音高グループ毎および／または音高毎独立に楽音特性が制御されるので、各手にそれぞれ対応した音高グループ毎および／または各指にそれぞれ対応した音高毎に、異なる楽音特性を制御することができる。たとえば、右手の位置に基づいて、発音中の楽音にビブラートをかけ、左手の位置に基づいて、発音中の楽音にトレモロをかける、などの制御が可能になる。あるいは、指毎（音高毎）にビブラートのかけ具合を変えることができる。なお、「異なる楽音特性を制御する」とは、種類の異なった楽音特性を制御するという意味だけではなく、同じ種類の楽音特性を異なった制御量で制御するという意味も含んでいる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１０】
図１は、本発明の一実施の形態に係る楽音制御装置の概略構成を示すブロック図である。
【００１１】
同図に示すように、本実施の形態の楽音制御装置は、音高情報を入力するための鍵盤１ａ（図２参照）を含む演奏操作子１と、各種情報を入力するための複数のスイッチを含む設定操作子２と、演奏操作子１の操作状態を検出する検出回路３と、設定操作子２の操作状態を検出する検出回路４と、主に演奏者の手や指を撮像する撮像装置５と、装置全体の制御を司るＣＰＵ６と、該ＣＰＵ６が実行する制御プログラムや、各種テーブルデータ等を記憶するＲＯＭ７と、演奏データ、各種入力情報および演算結果等を一時的に記憶するＲＡＭ８と、タイマ割込み処理における割込み時間や各種時間を計時するタイマ９と、各種情報等を表示する、たとえば液晶ディスプレイ（ＬＣＤ）および発光ダイオード（ＬＥＤ）等を備えた表示装置１０と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、各種データ等を記憶する外部記憶装置１１と、外部からのＭＩＤＩ（Musical Instrument Digital Interface）メッセージを入力したり、ＭＩＤＩメッセージを外部に出力したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１２と、通信ネットワーク１０１を介して、たとえばサーバコンピュータ（以下、「サーバ」と略して言う）１０２とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１３と、演奏操作子１から入力された演奏データや予め設定された演奏データ等を楽音信号に変換する音源回路１４と、該音源回路１４からの楽音信号に各種効果を付与するための効果回路１５と、該効果回路１５からの楽音信号を音響に変換する、たとえば、ＤＡＣ（Digital-to-Analog Converter）やアンプ、スピーカ等のサウンドシステム１６とにより構成されている。
【００１２】
上記構成要素３〜１５は、バス１７を介して相互に接続され、ＣＰＵ６にはタイマ９が接続され、ＭＩＤＩＩ／Ｆ１２には他のＭＩＤＩ機器１００が接続され、通信Ｉ／Ｆ１３には通信ネットワーク１０１が接続され、音源回路１４には効果回路１５が接続され、効果回路１５にはサウンドシステム１６が接続されている。ここで、通信Ｉ／Ｆ１３および通信ネットワーク１０１は、有線方式のものに限らず、無線方式のものであってもよい。また、両方式のものを備えていてもよい。
【００１３】
外部記憶装置１１としては、たとえば、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ−ＲＯＭドライブおよび光磁気ディスク（ＭＯ）ドライブ等を挙げることができる。そして、外部記憶装置１１には、前述のように、ＣＰＵ６が実行する制御プログラムも記憶でき、ＲＯＭ７に制御プログラムが記憶されていない場合には、この外部記憶装置１１に制御プログラムを記憶させておき、それをＲＡＭ８に読み込むことにより、ＲＯＭ７に制御プログラムを記憶している場合と同様の動作をＣＰＵ６にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。
【００１４】
通信Ｉ／Ｆ１３は、上述のように、たとえばＬＡＮ（Local Area Network）やインターネット、電話回線等の通信ネットワーク１０１に接続されており、該通信ネットワーク１０１を介して、サーバ１０２に接続される。外部記憶装置１１に上記各プログラムや各種パラメータが記憶されていない場合には、通信Ｉ／Ｆ１３は、サーバ１０２からプログラムやパラメータをダウンロードするために用いられる。クライアントとなる楽音制御装置は、通信Ｉ／Ｆ１３および通信ネットワーク１０１を介してサーバ１０２へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバ１０２は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク１０１を介して楽音制御装置へと配信し、楽音制御装置が通信Ｉ／Ｆ１３を介して、これらプログラムやパラメータを受信して外部記憶装置１１に蓄積することにより、ダウンロードが完了する。
【００１５】
撮像装置５は、本実施の形態では、図２に示すように、鍵盤１ａの両端近傍にそれぞれ設置された２台の小型カメラ５ａおよび５ｂによって構成されている。図２は、カメラ５ａおよび５ｂの設置の一例を示す図であり、鍵盤１ａを含む鍵盤近傍の外観を示している。そして、図２（ａ）は、その平面図であり、図２（ｂ）は、その正面図であり、図（ｃ）２は、その側面図である。
【００１６】
図２（ａ）に示すように、カメラ５ａおよび５ｂのそれぞれの光軸は鍵盤１ａの中央方向に向けられ、カメラ５ａおよび５ｂのそれぞれが鍵盤１ａの全域を撮像できるようになっている。なお、カメラ５ａおよび５ｂは、演奏者の手や指を撮像可能な、通常のものを用いればよいが、特殊なもの、たとえば赤外線カメラを用いてもよい。赤外線カメラを用いた場合、演奏者の手や指は熱を発しているため、撮像対象である演奏者の手や指がその周囲のものより浮き上がって撮像されるので、演奏者の手や指の位置の検出精度をより向上させることができる。また、検出精度を向上させるために、演奏者の手や指に特定の色などによるマーキングを行う（たとえば、爪にマニキュアを塗る、指にアタッチメントを装着する、腕輪をするなど）ようにしてもよい。なお、カメラ５ａおよび５ｂの位置や個数は、上記位置や個数に限らない。たとえば、１オクターブ間隔等で、数多くのカメラを設置してもよく、そのようにすることで、手や指の位置を検出する精度がさらに向上する。
【００１７】
以上のように構成された楽音制御装置が実行する制御処理を、まずその概要を説明し、次に図３および図４を参照して詳細に説明する。
【００１８】
各カメラ５ａおよび５ｂによってそれぞれ撮像され、デジタルデータに変換された各画像データは、前記バス１７を通って、前記ＲＡＭ８の所定位置に確保された画像データ格納領域（図示せず）に格納される。演奏者が前記鍵盤１ａの押鍵を開始すると、まず、前記ＣＰＵ６は、押鍵に対応するキーオンイベントデータを生成して前記音源回路１４に供給する。これに応じて、音源回路１４は、供給されたキーオンイベントデータに対応する楽音の発音を開始する。次に、ＣＰＵ６は、画像データ格納領域に格納された２つの画像データに対して、所定の画像認識処理を行い、演奏者の各手や各指の所定方向（上下方向＝鉛直方向、左右方向＝鍵盤１ａの長手（音高）方向および前後方向＝鍵盤１ａの短手（奥行き）方向のうちの、少なくとも一方向、好ましくは、複数方向）の位置を認識する。ここで、所定の画像認識処理とは、たとえば特開２００１−１３２３４０号公報で開示されているような、ある公知の画像認識処理を意味する。このような公知の画像認識処理を採用したのは、本発明の特徴は、画像認識処理自体にあるのではなく、画像認識処理結果の用い方にあるので、公知の画像認識処理を採用したとしても、本発明の特徴は変わらないからである。
【００１９】
このようにして、演奏者の各手や各指の位置が認識されると、ＣＰＵ６は、認識された演奏者の各手や各指の位置に基づいて、発音中の楽音の特性を制御するための楽音特性制御パラメータを生成し、音源回路１４に供給する。これに応じて、音源回路１４は、発音中の楽音の特性を制御する。なお、画像認識のレベルは、指単位であっても、手単位であってもよい。指単位で画像認識を行うと、指毎（＝音高毎）に異なった楽音特性を制御できるが、画像認識の高い精度が要求される。これに対して、手単位の画像認識であれば、手毎に異なった楽音特性を制御することになるが、画像認識の精度はそれほど高くなくてもよい。
【００２０】
次に、演奏者が鍵盤１ａの離鍵を行うと、ＣＰＵ６は、離鍵に対応するキーオフイベントデータを生成して音源回路１４に供給する。これに応じて、音源回路１４は、発音中の楽音の消音を開始する。
【００２１】
なお、本実施の形態では、カメラ５ａおよび５ｂから出力される画像データは、画像認識を行わないときにも画像データ格納領域に格納するようにしたが、これに限らず、画像認識を行うとき、つまり、鍵盤１ａの押鍵が検出されたときに、画像データ格納領域に格納するようにしてもよい。
【００２２】
次に、この制御処理を詳細に説明する。
【００２３】
図３は、本実施の形態の楽音制御装置、特にＣＰＵ６が実行する楽音特性制御処理の手順を示すフローチャートである。本楽音特性制御処理は、主として、
（１）押鍵に応じた楽音の発音開始処理（ステップＳ２）
（２）演奏者の手および／または指の位置認識処理（ステップＳ４）
（３）上記（２）の位置認識処理による認識結果に応じて楽音特性制御パラメータを生成し、前記音源回路１４に供給する楽音特性制御パラメータ生成・供給処理（ステップＳ５）
（４）離鍵に応じた楽音の消音処理（ステップＳ７）
を行う。
【００２４】
前記検出回路３によって、鍵盤１ａの押鍵が検出されると、ＣＰＵ６は、処理を上記（１）の押鍵に応じた楽音の発音開始処理に進め、検出された押鍵に応じたキーオンイベントデータ、具体的には、その押鍵鍵の音高に対応するキーコードデータ、その押鍵に応じたベロシティデータおよびキーオンデータからなるキーオンイベントデータを生成して、音源回路１４に供給する。これに応じて、音源回路１４は、供給されたキーオンイベントデータに対応する楽音信号を生成し始める、つまり、楽音の発音を開始する（ステップＳ２）。
【００２５】
そして、押鍵中は、ＣＰＵ６は、上記（２）の演奏者の手および／または指の位置認識処理および上記（３）の楽音特性制御パラメータ生成・供給処理を繰り返し行う。
【００２６】
上記（２）の演奏者の手および／または指の位置認識処理では、取り込んだ画像データ、つまり、前記ＲＡＭ８の画像データ格納領域に格納された、２つの画像データに前記所定の画像認識処理を施すことで、手毎および／または指毎独立に、手および／または指の上下方向、左右方向および前後方向のうち、少なくとも一方向の位置を認識する（ステップＳ４）。
【００２７】
図４は、上記（２）の演奏者の手および／または指の位置認識処理を説明するための図であり、同図（ａ）は、手単位での位置認識を示し、同図（ｂ）は、指単位での位置認識を示している。
【００２８】
手単位での位置認識処理では、図４（ａ）に示すように、左手と右手で独立して、手の上下方向、左右方向および前後方向のうち、少なくとも一方向の位置を認識する。このように、手毎に所定方向の位置が検出されると、検出された手毎の位置、つまり左手と右手の位置に基づいて、左手に割り当てられた楽音特性と右手に割り当てられた楽音特性を独立に制御することができる。
【００２９】
指単位での位置認識処理では、図４（ｂ）に示すように、各指で独立して、指の上下方向、左右方向および前後方向のうち、少なくとも一方向の位置を認識する。このように、指毎に所定方向の位置が検出されると、検出された指毎の位置に基づいて、各指に割り当てられた楽音特性をそれぞれ独立に制御することができる。
【００３０】
また、上記手単位での位置認識処理と上記指単位での位置認識処理を組み合わせることにより、手毎および指毎に、所定方向の位置を検出するようにしてもよい。この場合、所定方向は、手に対する方向と指に対する方向とで異なるようにしてもよい。たとえば、手に対しては、上下方向の位置のみ検出し、指に対しては、左右方向および前後方向の各方向の位置を検出するというようにである。
【００３１】
なお、本実施の形態では、前記カメラ５ａおよび５ｂから得られた、２つの画像データに基づいて、その時点の演奏者の手および／または指の位置を認識するようにしたが、所定時間に亘って認識した演奏者の手および／または指の位置を、たとえばＲＡＭ８に設けたリングバッファ（図示せず）に時系列データとして格納しておき、この時系列データの変化から、演奏者の手および／または指の速度や加速度を求め、これらの情報に基づいて楽音特性を制御するようにしてもよい。
【００３２】
図３に戻り、前記（３）の楽音特性制御パラメータ生成・供給処理では、認識した演奏者の手および／または指の位置に基づいて、楽音特性制御パラメータを生成し、この楽音特性制御パラメータを前記音源回路１４に供給する。以下、生成する楽音特性制御パラメータについて説明する。
（Ａ）手単位で位置認識を行う場合：手毎に異なる種類の楽音特性制御パラメータを生成する。たとえば、右手については、音高を制御する制御パラメータを生成し、左手については、音量を制御する制御パラメータを生成する。あるいは、手毎に同じ種類の楽音特性制御パラメータを生成する。たとえば、右手についても、左手についても、音高を制御する制御パラメータを生成する。ただし、同じ種類の楽音特性制御パラメータを生成するとしても、その制御量は、手毎独立に決めることができる。また、手毎に異なる種類の楽音特性制御パラメータを生成する制御態様と、手毎に同じ種類の楽音特性制御パラメータを生成する制御態様とを、演奏者が選択できるようにしてもよい。
（Ｂ）指単位で位置認識を行う場合：指毎に異なる種類の楽音特性制御パラメータを生成する。たとえば、親指については、音高を制御する制御パラメータを生成し、他の指については、音量を制御する制御パラメータを生成する。あるいは、指毎に同じ種類の楽音特性制御パラメータを生成する。たとえば、すべての指について、音高を制御する制御パラメータを生成する。ただし、同じ種類の楽音特性制御パラメータを生成するとしても、その制御量は、指毎独立に決めることができる。また、指毎に異なる種類の楽音特性制御パラメータを生成する制御態様と、指毎に同じ種類の楽音特性制御パラメータを生成する制御態様とを、演奏者が選択できるようにしてもよい。
（Ｃ）所定方向の位置として、複数方向の位置を認識する場合：方向毎に異なる種類の楽音特性制御パラメータを生成する。たとえば、左右方向については、音高を制御する制御パラメータを生成し、前後方向については、音量を制御する制御パラメータを生成する。あるいは、方向毎に同じ種類の楽音特性制御パラメータを生成する。たとえば、すべての方向について、音高を制御する制御パラメータを生成する。ただし、同じ種類の楽音特性制御パラメータを生成するとしても、その制御量は、方向毎独立に決めることができる。また、方向毎に異なる種類の楽音特性制御パラメータを生成する制御態様と、方向毎に同じ種類の楽音特性制御パラメータを生成する制御態様とを、演奏者が選択できるようにしてもよい。
【００３３】
制御する楽音特性の種類としては、音量、音高、音色などを挙げることができる。上記（Ａ）〜（Ｃ）のいずれの場合でも、手や指の１つの動作で、複数の特性を同時に制御するようにしてもよい。たとえば、左右方向の位置で、音高と音量を同時に制御するというようにである。また、手の位置と指の位置の双方を認識する場合、認識した手の位置と指の位置とで、異なる種類の楽音特性制御パラメータを生成するようにしてもよい。たとえば、認識した手の位置に対して、音量を制御する制御パラメータを生成し、認識した指の位置に対して、音高を制御する制御パラメータを生成するというようにである。
【００３４】
楽音特性制御パラメータを生成する方法としては、主として、
（ａ）認識した手や指の所定方向の位置に基づいて、目的の楽音特性を直接制御する楽音特性制御パラメータを生成する方法
（ｂ）認識した手や指の所定方向の位置に基づいて、目的の楽音特性を間接的に制御する楽音特性制御パラメータを生成する方法
の２種類の方法を挙げることができる。
【００３５】
具体的には、上記（ａ）の生成方法では、認識した手や指の所定方向の位置を、楽音の音高、音量、音色などを直接制御する制御パラメータに変換する。一方、上記（ｂ）の生成方法では、認識した手や指の所定方向の位置を、ＬＦＯ（Low Frequency Oscillator）やＥＧ（Envelope Generator）などを制御する制御パラメータに変換する。ここで、ＬＦＯやＥＧなどは、楽音の音高、音量、音色などを間接的に制御するデバイスであるので、手や指の所定方向の位置と、ＬＦＯやＥＧなどを制御する制御パラメータの種類や量とを所定のルールによって対応付け、認識した手や指の所定方向の位置から、制御パラメータの種類や量を決定し、これを音源回路１４に供給すれば、目的の楽音特性を間接的に制御できる。
【００３６】
なお、音源回路１４として、奏法対応音源（たとえば、ビブラート奏法などの各種奏法で、実楽器を演奏したときに、実楽器から発生する楽音、すなわち、楽音特性が変更制御されている楽音をサンプリングして収録し、発音時に、奏法種類を指定することで、指定された奏法に対応した波形サンプルを読み出して発音する音源）を採用した場合には、認識した手や指の所定方向の位置に基づいて奏法種類を指定し、これに応じて、音源回路１４から、楽音特性が制御された楽音を発生させるようにしてもよい。
【００３７】
次に、検出回路３によって、鍵盤１ａの離鍵が検出されると、ＣＰＵ６は、処理を前記（４）の離鍵に応じた楽音の消音処理に進め、検出された離鍵に応じたキーオフイベントデータ、具体的には、その離鍵鍵の音高に対応するキーコードデータ、その離鍵に応じたベロシティデータおよびキーオフデータからなるキーオフイベントデータを生成して、音源回路１４に供給する。これに応じて、音源回路１４は、供給されたキーオフイベントデータに対応する発音中の楽音を消音する（ステップＳ７）。
【００３８】
このように、本実施の形態では、撮像された画像に基づいて、各手にそれぞれ対応した音高グループ毎および／または各指にそれぞれ対応した音高毎に、異なる楽音特性を制御することができる。たとえば、右手の位置に基づいて、発音中の楽音にビブラートをかけ、左手の位置に基づいて、発音中の楽音にトレモロをかける、などの制御が可能になる。あるいは、指毎（音高毎）にビブラートのかけ具合を変えることができる。
【００３９】
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００４０】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４１】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【００４２】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施の形態に係る楽音制御装置の概略構成を示すブロック図である。
【図２】図１中の撮像装置を構成する２台のカメラの設置の一例を示す図である。
【図３】図１の楽音制御装置、特にＣＰＵが実行する楽音特性制御処理の手順を示すフローチャートである。
【図４】図３のステップＳ４の演奏者の手および／または指の位置認識処理を説明するための図である。
【符号の説明】
【００４５】
５…撮像装置，６…ＣＰＵ（入力手段、認識手段、制御手段），８…ＲＡＭ（入力手段）
【図１】
2007322683.tif 000003
【図２】
2007322683.tif 000004
【図３】
2007322683.tif 000005
【図４】
2007322683.tif 000006