(57)【要約】【課題】  特別な器具や道具を必要とすることなく、屋内および屋外を問わずどこででも簡単に仮想の楽器演奏を楽しめるようにする。【解決手段】  携帯通信機器において、ＣＰＵ１は、ＣＣＤカメラ６によって撮像された画像を表示部４に表示させて、その表示された画像が変位したときは、その変位方向を検出し、検出された画像の変位方向に対応する楽音を発生するように音源９に指示する。例えば、実施形態のように、検出された画像の変位方向に対応する音色の楽音を発生するように音源９に指示する。あるいは、変形例のように、ＣＰＵ１は、画像の変位量をさらに検出し、音源９は、ＣＰＵ１によって検出された画像の変位方向および変位量に対応する音高の楽音を発生する。【選択図】      図１
2008209669.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段によって撮像された画像を表示する画像表示手段と、
前記画像表示手段に表示された画像が変位したときは、その変位方向を検出する画像検出手段と、
前記画像検出手段によって検出された画像の変位方向に対応する楽音を発生する音源手段と、
を備えたことを特徴とする楽音発生装置。
【請求項２】
前記画像検出手段は、前記画像表示手段の特定の領域に表示された画像が操作に応じて指定された場合に、当該指定された画像の変位方向を検出することを特徴とする請求項１に記載の楽音発生装置。
【請求項３】
前記音源手段は、前記画像検出手段によって検出された画像の変位方向に対応する音色の楽音を発生することを特徴とする請求項１又は２に記載の楽音発生装置。
【請求項４】
前記画像検出手段は、画像の変位量をさらに検出し、前記音源手段は、前記画像検出手段によって検出された画像の変位方向および変位量に対応する音高の楽音を発生することを特徴とする請求項１又は２に記載の楽音発生装置。
【請求項５】
前記画像検出手段は、前記撮像手段の移動によって表示された画像が変位したことを検出することを特徴とする請求項１乃至４のいずれか１項に記載の楽音発生装置。
【請求項６】
撮像手段によって撮像された画像を表示手段に表示する第１のステップと、
前記表示手段に表示された画像が変位したときは、その変位方向を検出する第２のステップと、
前記第２のステップによって検出された画像の変位方向に対応する楽音を発生する第３のステップと、
を有することを特徴とする楽音発生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽音発生装置および楽音発生方法に関し、特に、仮想の楽器演奏の楽音を発生する楽音発生装置および楽音発生方法に関するものである。
【背景技術】
【０００２】
仮想の楽器の楽音を発生する装置等については、従来多くの提案がなされている。
ある提案の電子楽器においては、ドラムのスティックに圧電ジャイロセンサ又はマイクロ加速度センサを設け、この角速度センサから結線した回路により角速度を検出して、この角速度を制御信号に変換し、この制御信号により音量および音質を設定するシンセサイザを備えた構成になっている。この構成により、スティックを振るだけで打楽器の音を発生できる。（特許文献１参照）
また、ある提案の電子打楽器においては、中空状のスティック本体内に、発光素子および受光素子を有する光センサと、スティック本体の振り動作に応じて受光素子に入射する光量（反射光量、透過光量）を変化させる振動子を設けた構成になっている。この構成により、スティックを振ると、その振りに応じて振動子が振動し、この振動子の振動に応じて発光素子からの光の反射状態又は透過状態が変化し、この変化に応じた光量を受光素子が受光するため、スティック本体の振り操作を振動子の振動状態の波形として検出することができ、スティック本体の微妙な振動を精度よく検出することができ、しかも非接触方式であるから耐久性にも優れ、信頼性の高いものを得ることができる。（特許文献２参照）
また、ある提案の電子ドラムにおいては、電子ドラムのパッドの外周であるパッド枠の少なくとも一箇所を透明若しくは半透明とした導光板で形成し、その導光板に複数色の光源からの光を導光し発光させる構成とともに、所望の条件に従う点灯信号発生手段からの信号により点滅と発光色の切換とを行う構成になっている。この構成により、パッドに割り付けられた打楽器の種類など、演奏者が所望する情報を発光色、発光数などにより告知できる。（特許文献３参照）
また、ある提案の入力装置およびこれを用いた電子楽器においては、２本のワイヤが１点で固定されたスタンドと、それぞれのワイヤに固定された２本のスティックと、ワイヤに張力が生じたことを検知し、ワイヤが張った状態でこのワイヤが交わる線上での位置を検知するセンサと、位置を表す信号に応じた音色の信号を発生し得る音源装置と、センサが張力を検知したときに音源装置からの信号を出力する出力手段とを備えた構成になっている。この構成により、ワイヤが充分に伸びた瞬間のタイミングとその時の打点位置を電気信号として検出でき、それを用いて電子音源装置を操作することにより電子ドラムシステムの演奏が可能になる。（特許文献４参照）
また、ある提案の仮想楽器演奏装置においては、大型ＴＶ画面の表示装置およびその両脇にビデオカメラが設置された構成になっている。そして、画面に映っている演奏者の手が画面の上部の６つのボタンのいずれかに画面上で接触すると、発音を開始するようになっている。（特許文献５参照）
また、ある提案の運動特定装置、電子楽器、および入力デバイスにおいては、ユーザが紙などに描かれた木琴の絵を打鍵することで、スピーカから木琴の楽音が出力されるようになっている。（特許文献６参照）
また、ある提案の楽音生成装置、楽音生成プログラムおよび楽音生成方法においては、コンピュータの画面を縦方向に複数の区画に分割し、各区画に対して楽器を割り当てている。ドラムの区画においては、カメラで撮像した演奏者の手の画像が縦方向に動くと、その表示位置に応じてドラムの音色を変える構成になっている。（特許文献７参照）
また、ある提案の電子楽器システムにおいては、実際のドラムと同じような感覚で演奏することができるとともに、狭い場所でも演奏するために、例えば、図１に示すように、携帯通信機器５は、赤、緑、および青からなる原色系のカラーフィルタを有するとともに、スイッチ部からのテスト演奏指令および演奏開始指令に応じて、打楽器に対応する赤球１、青球２、緑球３、および緑球４の映像を光電変換してカラーの画像信号を出力し、各球の略中心位置の位置情報を検出し、各球の移動軌跡を示す位置情報に応じて、その球に対応する打楽器の楽音信号を発生して、ブルートゥース通信によって楽音信号をヘッドホン装置６に送信して発音させる。（特許文献８参照）
また、ある提案の携帯端末装置においては、装置の振動を検出する振動センサやバイブモータなどの振動検出手段、又は、傾斜センサや地磁気センサなどの加速度および傾き角度を検出する検出手段を内蔵して、携帯端末装置の振動に応じて楽音を発生させる。（特許文献９、特許文献１０参照）
【特許文献１】特開平６−７５５７１号公報
【特許文献２】特開平１０−５５１７５号公報
【特許文献３】特開平１１−３０９８３号公報
【特許文献４】特開２０００−１６３０４９号公報
【特許文献５】特開２００２−０４１０３８号公報
【特許文献６】特開２００４−１８５５６５号公報
【特許文献７】特開２００４−２０５７３８号公報
【特許文献８】特開２００６−１３５４６６号公報
【特許文献９】特開２００３−１２５４５５号公報
【特許文献１０】特開２００７−３４００２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１乃至特許文献８においては、仮想のドラム演奏の楽音を発生するために、特別な器具や道具が必要であるので、どこででも簡単に仮想のドラム演奏を楽しむことは困難である。特に、特許文献４の場合には、むしろ実際のドラム装置よりも大がかりなシステムになっているので、どこででも簡単に仮想のドラム演奏を楽しむことは無理である。また、上記特許文献９および特許文献１０の場合には、携帯端末装置の中に特別なセンサを組み込む必要があるので、現在のハード資源をそのまま利用することができない。
本発明は、このような従来の課題を解決するためのものであり、特別な器具や道具を必要とすることなく、且つ、現在のハード資源をそのまま利用して、屋内および屋外を問わずどこででも簡単に仮想の楽器演奏を楽しむことを目的とする。
【課題を解決するための手段】
【０００４】
請求項１に記載の楽音発生装置は、撮像手段と、前記撮像手段によって撮像された画像を表示する画像表示手段と、前記画像表示手段に表示された画像が変位したときは、その変位方向を検出する画像検出手段と、前記画像検出手段によって検出された画像の変位方向に対応する楽音を発生する音源手段と、を備えたことを特徴とする。
【０００５】
請求項１の楽音発生装置において、請求項２に記載したように、前記画像検出手段は、前記画像表示手段の特定の領域に表示された画像が操作に応じて指定された場合に、当該指定された画像の変位方向を検出することを特徴とする。
【０００６】
請求項１又は２の楽音発生装置において、請求項３に記載したように、前記音源手段は、前記画像検出手段によって検出された画像の変位方向に対応する音色の楽音を発生することを特徴とする。
【０００７】
請求項１又は２の楽音発生装置において、請求項４に記載したように、前記画像検出手段は、画像の変位量をさらに検出し、前記音源手段は、前記画像検出手段によって検出された画像の変位方向および変位量に対応する音高の楽音を発生することを特徴とする。
【０００８】
請求項１乃至４のいずれかにおいて、請求項５に記載したように、前記画像検出手段は、前記撮像手段の移動によって表示された画像が変位したことを検出することを特徴とする。
【０００９】
請求項６に記載の楽音発生方法は、撮像手段によって撮像された画像を表示手段に表示する第１のステップと、前記表示手段に表示された画像が変位したときは、その変位方向を検出する第２のステップと、前記第２のステップによって検出された画像の変位方向に対応する楽音を発生する第３のステップと、を有することを特徴とする。
【発明の効果】
【００１０】
本発明の楽音発生装置および楽音発生方法によれば、特別な器具や道具を必要とすることなく、且つ、現在のハード資源をそのまま利用して、屋内および屋外を問わずどこででも簡単に仮想の楽器演奏を楽しむことができるという効果が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明による楽音発生装置の実施形態について、携帯電話装置やＰＨＳなどのカメラ付きの携帯通信機器を例に採って説明する。
図１は、実施形態の携帯通信機器の内部構成を示すブロック図である。図１において、ＣＰＵ１は、そのシステムバスを介して、ＲＯＭ２、ＲＡＭ３、表示部４、通信部５、ＣＣＤカメラ６、デジタル画像変換回路７、操作部８、音源９、および、一定時間ごとにトリガ信号を出力するタイマなどからなるリズムクロック１０に接続され、これら各部との間でデータおよびコマンドの授受を行って、この携帯通信機器を制御する。
【００１２】
ＲＯＭ２は、ＣＰＵ１によって実行される電話およびメールの通信処理のプログラム、楽音発生処理のプログラム、楽音の音色および音高のパラメータなどを格納している。ＲＡＭ３は、ＣＰＵ１のワークエリアのメモリであり、メールのアドレス、電話番号、画像、およびその他のデータを記憶するエリアを有する。表示部４は、例えば、液晶表示パネルで構成され、ＣＰＵ１の表示制御により文字や画像を表示する。通信部５は、電話、メール、画像の送受信を行うと共に、インターネットなどのネットワークを介して、アプリケーション・プログラムのダウンロードを行う。ＣＣＤカメラ６は、操作部８の撮影のメニュー・キーの操作によって撮像した画像を取り込み、そのスルー画像を表示部４に表示する。デジタル画像変換回路７は、ＣＣＤカメラ６によって取り込まれた画像をアナログからデジタルの画像データに変換し、操作部８のスタート・キーの操作に応じて画像データをＲＡＭ３に記録する。操作部８は、種々のキースイッチ群で構成されている。音源９は、ＰＣＭ波形データ又は合成音声波形データを記憶した波形メモリ（図示せず）を内蔵し、ＣＰＵ１の発音指示およびその発音指示に伴ってＲＯＭ２から読み出される楽音の音色のパラメータに応じて、波形メモリから波形データを読み出して、サウンドシステム１１に出力して発音させる。サウンドシステム１１は、例えば、接続されたヘッドホン装置又は赤外線通信、ＦＭ無線通信、ブルートゥース（登録商標）通信などの近距離無線通信によってこの携帯通信機器と通信するオーディオ装置、パソコン、その他の音響機器で構成される。リズムクロック１０は、デフォルトとして又は操作部８のスイッチ操作に応じて設定された一定時間ごとに、トリガ信号を発生してＣＰＵ１に入力する。
【００１３】
次に、図１の携帯通信機器における楽音発生の動作について、図２乃至図４に基づいて説明する。図２は、図１のＣＰＵ１によって実行される楽音発生方法のフローチャートである。図３および図４は、図１のＣＣＤカメラ６によって撮像された画像が変化する状態を示す表示画面の図である。いま、操作部８の撮影のキースイッチの操作によってＣＣＤカメラ６が作動し、撮像されたスルー画像が表示部４に表示されており、且つ、デジタル画像変換回路７によって撮像されたスルー画像がアナログからデジタルの画像データにリアルタイムで変換されている。ただし、この段階では、デジタルの画像データはメモリすなわちＲＡＭ３には記録されていない。
【００１４】
図２において、スタート・キーが押されたか否かを判別し（ステップＳ１）、スタート・キーが押されたときは、ＣＣＤの中心部付近の特定小領域の画像データをメモリに記録する。その画像データを「データＤ０」とする（ステップＳ２）。特定小領域は、図３および図４の画面において点線で囲まれた領域である。したがって、図３の画面ａの状態でスタート・キーが押されたときは、点線で囲まれた特定小領域に表示されている特徴的な色および形状のイチゴの画像データが「データＤ０」としてメモリに記録される。ステップＳ２の後はステップＳ３に進む。そして、リズムクロック１０からトリガ信号が来る度に、ＣＣＤの中心部付近の特定領域の画像データをメモリに記録したデータＤ０と比較する。このトリガ信号は、ＣＣＤカメラ６のフレームの垂直同期信号に同期しており、例えば、１０フレームごとに発生する。
【００１５】
次に、メモリに記録した特定小領域の画像データであるデータＤ０と、リズムクロック１０からのトリガ信号に応じて取り込んだ特定小領域の画像データとの間に、所定値を超える大きなズレが生じたか、又は、ズレが生じていないか若しくは生じたズレが所定値以内の小さなものであるかを判別する（ステップＳ４）。ズレが生じていないか若しくはズレが小さな場合には、ステップＳ３における特定領域の画像データをメモリに記録する処理を続行する。
【００１６】
一方、所定値を超える大きなズレが生じたときは、ＣＣＤ全領域の読み出し画像データから、メモリに記録した画像データの位置を認識する（ステップＳ５）。そして、ズレた方向が左方向であるか、右方向であるか、上方向であるかを判別する（ステップＳ６）。すなわち、図３の画面ａの状態から、画面ｂのように左方向にズレたか、画面ｃのように右方向にズレたか、画面ｄのように上方向にズレたかを判別する。このズレ方向に応じて、予め設定されている打楽器の音色で発音する指示を音源９に指示する。
【００１７】
左方向にズレた場合にはスネアドラムの音色で発音を指示し（ステップＳ７）、右方向にズレた場合にはバスドラムの音色で発音を指示し（ステップＳ９）、上方向にズレた場合にはハイハットの音色で発音を指示する（ステップＳ８）。すなわち、ユーザが図３の画面を見ながら携帯通信機器を左方向に動かすとスネアドラムの楽音がサウンドシステム１１から発音され、携帯通信機器を右方向に動かすとバスドラムの楽音がサウンドシステム１１から発音され、携帯通信機器を上方向に動かすとハイハットの楽音がサウンドシステム１１から発音される。
【００１８】
この状態において、１秒又は数秒程度の一定時間が経過したか否かを判別する（ステップＳ１０）。この一定時間はプログラムの初期値あるいはユーザの操作によって設定される。一定時間が経過したときは、リズムクロック１０からトリガ信号が来た時に、ＣＣＤの中心部付近の特定領域の画像データをメモリに「データＤ０」として記録する（ステップＳ１１）。さらに、リズムクロック１０から次のトリガ信号が来た時に、ＣＣＤの中心部付近の特定領域の画像データをメモリに「データＤ１」として記録する（ステップＳ１２）。
【００１９】
次に、データＤ０とデータＤ１との間に所定値を超える大きなズレが生じたか、又は、ズレが生じていないか若しくは生じたズレが所定値以内の小さなものであるかを判別する（ステップＳ１３）。所定値を超える大きなズレが生じたときは、まだ携帯通信機器が移動中であるので、現在発音中である音色の打楽器の発音を続行する。一方、ズレが生じていないか若しくはズレが小さな場合には、携帯通信機器の移動が停止した状態であるので、発音中の打楽器の発音を停止する。そして、ステップＳ２に移行して、再びＣＣＤの中心部付近の特定小領域の画像データをメモリに記録して、その画像データを「データＤ０」とする。
【００２０】
図４は、携帯通信機器を左方向に動かしてスネアドラムの楽音を発生させた場合に、一定時間の経過ごとの特定領域の画像データを表す図である。この場合には、図の矢印の元の画面の画像データが「データＤ０」としてメモリに記録され、矢印の先の画面の画像データが「データＤ１」としてメモリに記録されていくことになる。図２のステップＳ２においてメモリに記録した画面ａから、携帯通信機器が左方向に移動し、画面ｂ、画面ｃと変化するとスネアドラムの楽音を発生させ、さらに、画面ｄ、画面ｅ、画面ｆ、画面ｇと変位する間は、「データＤ０」と「データＤ１」との間に大きなズレが生じているので、スネアドラムの楽音を続行する。画面ｇから画面ｈに変化したときは、画面ｇの画像データが「データＤ０」としてメモリに記録され、画面ｇの画像データが「データＤ１」としてメモリに記録されている。この場合には、「データＤ０」と「データＤ１」との間のズレが小さいので、携帯通信機器の移動が停止したと判断して、スネアドラムの楽音を停止する。そして、図２のステップＳ２において、画面ｉの画像データをメモリに記録して、その画像データを「データＤ０」とする。
【００２１】
したがって、ユーザが図４の画面ａから画面ｈまで、携帯通信機器を左方向に移動して元に戻す動作を反復すると、その反復動作に同期してスネアドラムの発音が断続的に発生し、あたかもその反復動作で実際のスネアドラムを演奏しているような感触が得られる。バスドラム又はハイハットの場合も同様に、携帯通信機器を右方向又は上方向に移動して元に戻す動作を反復すると、その反復動作に同期してバスドラム又はハイハットの発音が断続的に発生し、あたかもその反復動作で実際のバスドラム又はハイハットを演奏しているような感触が得られる。反復動作が速くなると、発生するドラムのリズムも速くなる。
【００２２】
図５は、実施形態の変形例を示す画面の推移を示す図である。ＣＰＵ１は、ＣＣＤの中心部付近の特定小領域の画像データをメモリに記録した図のスタートの画面から、携帯通信機器が左方向、右方向、上方向に移動されると、その移動方向および移動量に応じた音高を発音する指示を音源９に指示する。この移動方向および移動量と音高との関係、楽音の音色、調などは、デフォルトとしてＲＯＭ２のプログラムに予め組み込まれていると共に、ユーザの操作によって自在に設定できるようになっている。例えば、イチゴの画像が点線で示す矩形の位置、すなわちＣＣＤの中心部付近の特定小領域にあるスタートの画面で所定のキースイッチをオンにすると、基準の音高として「Ｃ４」で発音し、携帯通信機器が左方向、右方向、上方向に移動されると、その移動方向および移動量に応じた音高「Ｅ４」、「Ｆ４」、「Ｇ４」、「Ｃ５」、「Ａ４」の音高で発音する。
【００２３】
以上のように、本発明によれば、携帯通信機器は、ＣＣＤカメラ６、ＣＰＵ１、音源９、表示部４を備え、ＣＰＵ１は、ＣＣＤカメラ６によって撮像された画像を表示部４に表示させて、その表示された画像が変位したときは、その変位方向を検出し、検出された画像の変位方向に対応する楽音を発生するように音源９に指示する。例えば、実施形態のように、検出された画像の変位方向に対応する音色の楽音を発生するように音源９に指示する。あるいは、変形例のように、ＣＰＵ１は、画像の変位量をさらに検出し、音源９は、ＣＰＵ１によって検出された画像の変位方向および変位量に対応する音高の楽音を発生する。
したがって、特別な器具や道具を必要とすることなく、且つ、現在のハード資源をそのまま利用して、屋内および屋外を問わずどこででも簡単に仮想の楽器演奏を楽しむことができる。
【００２４】
この場合において、ＣＰＵ１は、表示部４の特定の領域に表示された画像が操作に応じて指定された場合に、その指定された画像の変位方向を検出する。
したがって、実施形態および変形例のイチゴの画像のように、特徴的な色および形状の画像をメモリに記録することで、ユーザは携帯通信機器の移動方向および移動量を容易に認識することができる。
【００２５】
また、ＣＰＵ１は、ＣＣＤカメラ６の移動すなわち携帯通信機器によって表示された画像が変位したことを検出する。
したがって、屋内および屋外を問わず、固定した任意の被写体を撮像してメモリに記録し、その被写体のスルー画像の表示画面を見ながら、その被写体の前で簡単に仮想の楽器演奏を楽しむことができる。
【００２６】
なお、上記実施形態においては、携帯電話装置やＰＨＳなどのカメラ付きの携帯通信機器を例に採って本発明を説明したが、本発明の楽音発生装置としては、デジタルカメラによっても容易に実現できることは言うまでもない。
また、上記実施形態においては、撮像手段としてＣＣＤカメラを用いた場合を説明したが、ＣＭＯＳカメラ付きの携帯通信機器にも本発明が適用できることは言うまでもない。ＣＭＯＳカメラの場合には、Ｘ−Ｙアドレスによって図３乃至図５の点線の領域のみを部分的に読み出せるので、より高速の画像検出が可能になる。
【００２７】
また、上記実施形態においては、携帯電話装置やＰＨＳなどのカメラ付きの携帯通信機器を例に採って物の発明を説明したが、図２に示したＣＰＵ１によって実行される楽音発生方法によって明らかなように、方法の発明を実現することができる。すなわち、本発明による楽音発生方法は、撮像手段によって撮像された画像を表示手段に表示する第１のステップと、表示手段に表示された画像が変位したときは、その変位方向を検出する第２のステップと、第２のステップによって検出された画像の変位方向に対応する楽音を発生する第３のステップと、を有する。
したがって、特別な器具や道具を必要とすることなく、且つ、現在のハード資源をそのまま利用して、屋内および屋外を問わずどこででも簡単に仮想の楽器演奏を楽しむことができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態における携帯通信機器の内部構成を示すブロック図。
【図２】図１のＣＰＵによって実行される楽音発生方法のフローチャート。
【図３】図１のＣＣＤカメラによって撮像された画像が変化する状態を示す表示画面の図。
【図４】図１のＣＣＤカメラによって撮像された画像が変化する状態を示す表示画面の図。
【図５】実施形態の変形例を示す画面の推移を示す図。
【符号の説明】
【００２９】
１  ＣＰＵ
２  ＲＯＭ
３  ＲＡＭ
４  表示部
５  通信部
６  ＣＣＤカメラ
７  デジタル画像変換回路
８  操作部
９  音源
１０  リズムクロック
１１  サウンドシステム
【図１】
2008209669.tif 000003
【図２】
2008209669.tif 000004
【図３】
2008209669.tif 000005
【図４】
2008209669.tif 000006
【図５】
2008209669.tif 000007