(57)【特許請求の範囲】
【請求項１】
被写体を連続的に撮像し、フレームごとに画像データとして入力する撮像手段と、
同撮像手段により入力された画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、
同動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、
同楽音生成手段により生成された楽音データを出力する手段と
を備えた楽音生成装置。
【請求項２】
前記動作部特定手段は、前記位置の特定を、複数のフレーム間の画像データの比較により行うものである請求項１記載の楽音生成装置。
【請求項３】
前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた楽器の音源により前記楽音データを生成するものである請求項１または２に記載の楽音生成装置。
【請求項４】
前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた音階により前記楽音データを生成するものである請求項１から３のいずれかに記載の楽音生成装置。
【請求項５】
前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた音量バランスにより前記楽音データを生成するものである請求項１から４のいずれかに記載の楽音生成装置。
【請求項６】
前記撮像手段により入力された画像データを、前記動作部特定手段により特定された位置に応じて画像処理する画像処理手段と、
同画像処理手段により画像処理された画像データを表示する表示手段と
を備えた請求項１から５のいずれかに記載の楽音生成装置。
【請求項７】
前記画像処理手段は、前記動作部特定手段により特定された位置に応じて前記画像データの配色を変えるものである請求項６記載の楽音生成装置。
【請求項８】
被写体を連続的に撮像し、フレームごとに画像データとして入力する撮像手段が接続されたコンピュータを、
前記撮像手段により入力された被写体の画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、
同動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、
同楽音生成手段により生成した楽音データを出力する手段
として機能させるための楽音生成プログラム。
【請求項９】
さらに前記コンピュータを、
前記撮像手段により入力された画像データを、前記動作部特定手段により特定された位置に応じて画像処理する画像処理手段
として機能させるための請求項８記載の楽音生成プログラム。
【請求項１０】
被写体を連続的に撮像し、フレームごとに画像データとして入力し、この入力された画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定し、この特定された位置に応じた楽音データを生成し、この生成された楽音データを出力する楽音生成方法。
【請求項１１】
さらに、前記フレームごとに入力された画像データを、前記特定された位置に応じて画像処理し、この処理された画像データを表示する請求項１０記載の楽音生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データに対応した楽音データを自動生成する楽音生成装置、楽音生成プログラムおよび楽音生成方法に関する。
【０００２】
【従来の技術】
画像に対応して演奏の制御を行う技術として、例えば特許文献１には、被写体の輪郭を利用してテンポ等を制御する技術が開示されている。この技術では、入力されたビデオ信号からＲ（赤）、Ｇ（緑）、Ｂ（青）の各色信号を分離し、各色毎にデジタルデータとして階調を表す階調データを生成する。そして、各色の階調データと予め定めた閾値データとに基づいて被写体を特定し、当該被写体の輪郭を検出し、この検出した輪郭の複雑さに応じて演奏を制御する。
【０００３】
しかしながら、この特許文献１に開示の技術では、被写体を特定し、輪郭を検出する必要があるため、処理にかかる負担が大きいという問題がある。そこで、この問題を解決するための技術として、例えば特許文献２には、供給された画像から複数の動きベクトルを抽出し、この抽出した複数の動きベクトルから一つの制御ベクトルを算出し、この算出した制御ベクトルに基づいて、演奏を制御する技術が開示されている。
【０００４】
【特許文献１】
特許第２６２９７４０号公報
【特許文献２】
特開２０００−２７６１３９号公報
【０００５】
【発明が解決しようとする課題】
上記特許文献１，２記載の技術は、いずれも別途供給された演奏の内容を示す演奏情報等から楽音を再生する際に、ビデオ画像に応じた制御を行うことにより、楽音にアレンジを加えるものである。すなわち、これらの技術は演奏情報が何もない状態から楽音を生成するものではない。したがって、これらの技術を利用するためには、予め演奏情報とビデオ画像の両方をそれぞれ準備しておく必要がある。
【０００６】
そこで、本発明においては、演奏情報などを予め準備することなく、入力した画像データから楽音データを自動生成する楽音生成装置、楽音生成プログラムおよび楽音生成方法を提供する。
【０００７】
【課題を解決するための手段】
本発明の楽音生成装置は、被写体を連続的に撮像し、フレームごとに画像データとして入力する撮像手段と、撮像手段により入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、楽音生成手段により生成された楽音データを出力する手段とを備えたものである。
【０００８】
本発明の楽音生成装置によれば、撮像手段により連続的に撮像され、フレームごとに入力された画像データに基づいて、動作部特定手段により、フレーム内で被写体の動きが有ったそれぞれの位置が特定される。そして、楽音生成手段により、この特定されたフレーム内の位置に応じた楽音データ、すなわち被写体の動く位置に応じた楽音データが生成され、出力手段により出力される。
【０００９】
動作部特定手段は、位置の特定を、複数のフレーム間の画像データの比較により行うものとするのが望ましい。複数のフレーム間の画像データを比較することにより、複数のフレーム間の画像データに変化があれば、その複数のフレーム間で被写体に動きが有ったことになるため、その変化があった位置を被写体に動きが有った部分として容易に特定することができる。
【００１０】
楽音生成手段は、動作部特定手段により特定された位置に応じた楽器の音源により楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、それぞれ異なる楽器の音源により生成した楽音データを得ることができる。
【００１１】
楽音生成手段は、動作部特定手段により特定された位置に応じた音階により楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、それぞれ異なる音階により生成した楽音データを得ることができる。
【００１２】
楽音生成手段は、動作部特定手段により特定された位置に応じた音量バランスにより楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、音量バランスを調整した楽音データを得ることができる。
【００１３】
また、本発明の楽音生成装置は、撮像手段により入力された画像データを、動作部特定手段により特定された動作部特定手段により特定された位置に応じて画像処理する画像処理手段と、画像処理手段により画像処理された画像データを表示する表示手段とを備えたものとすることが望ましい。例えば、画像処理手段は、動作部特定手段により特定された位置に応じて画像データの配色を変えるものとすることができる。
【００１４】
これにより、被写体の動く位置に応じて生成される楽音データに加えて、被写体の映像が、そのまま表示手段に表示されるのではなく、その被写体の動く位置に応じて配色が変えられる等のアレンジが施されて表示される。
【００１５】
上記本発明の楽音生成装置は、被写体を連続的に撮像し、フレームごとに画像データとして入力する撮像手段が接続されたコンピュータを、撮像手段により入力された被写体の画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置により特定する動作部特定手段と、動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と、楽音生成手段により生成した楽音データを出力する手段として機能させるための楽音生成プログラムの実行により実現可能である。
【００１６】
また、この楽音生成プログラムは、さらにコンピュータを、撮像手段により入力された画像データを、動作部特定手段により特定された位置に応じて画像処理する画像処理手段として機能させるためのものとすることもできる。
【００１７】
【発明の実施の形態】
図１は本発明の実施の形態における楽音生成装置の斜視図、図２は図１の楽音生成装置の構成を示すブロック図である。
【００１８】
図１および図２に示すように、本発明の実施の形態における楽音生成装置は、被写体を撮像するための撮像手段としてのカメラ１と、このカメラ１が接続され、カメラ１により入力された画像データに基づいて各種処理を行うコンピュータ２とにより構成される。カメラ１は、被写体を例えば１秒間に８フレーム連続的に撮像し、フレームごとに画像データとしてコンピュータ２へ入力するものである。
【００１９】
コンピュータ２は、カメラ１により入力された画像データからそれぞれのフレーム内で被写体の動きが有った部分を特定する動作部特定手段２１と、動作部特定手段２１により特定されたフレーム内の部分に応じた楽音データを生成する楽音生成手段２２と、楽音生成手段２２により生成された楽音データを出力する楽音出力手段２３と、カメラ１により入力された画像データを画像処理する画像処理手段２４と、画像処理手段２４により画像処理された画像データを表示する表示手段２５として機能する。
【００２０】
動作部特定手段２１は、カメラ１により入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置を特定するものである。例えば、動作部特定手段２１は、この被写体の動きがあった位置を予め分割されたフレーム内の区画の位置により特定する。図３および図４はフレームの分割例を示している。図３は横方向の分割例であり、横方向の区画をＡ，Ｂ，Ｃ，Ｄ，Ｅの５分割としている。図４は区画Ａの縦方向の分割例であり、縦方向の区画Ａに割り当てる楽器の音域を音階ごとに分割したものである。区画Ｂ〜Ｅの縦方向についても同様に各区画Ｂ〜Ｅに割り当てる楽器の音域を音階ごとに分割する。
【００２１】
動作部特定手段２１は、このフレーム内の縦横の区画の位置の特定を、複数のフレーム間の画像データの比較により行う。図５は、動作部特定手段２１による動きの判定の様子を示している。図５に示すように、動作部特定手段２１は、カメラ１により入力された画像データから、現在のフレームの画像とその直前のフレームの画像（または背景画像）のすべての画素（ピクセル）の明るさを比較し、その差が既定値以上ならば動き有りの画素であると判断する。このとき、動作部特定手段２１は、動き有りの画素群の重心（Ｘ座標，Ｙ座標）が縦横のどの区画に属するものであるかを判定する。
【００２２】
楽音生成手段２２は、動作部特定手段２１により特定されたフレーム内の縦横の区画の位置に応じた楽音データ（例えば、ＭＩＤＩ（Musical Instrument Digital Interface）規格のデータ）を生成するものである。図３に示すように、フレームが横方向に５分割されている場合、楽音生成手段２２は、これらの区画Ａ〜Ｅの中から被写体の動きが有った部分に対応する楽器（例えば、Ａ：ピアノ、Ｂ：ギター、Ｃ：ベース、Ｄ：ドラム、Ｅ：オルゴール等。）の音源により楽音データを生成する。
【００２３】
また、楽音生成手段２２は、各区画Ａ〜Ｅ中の縦方向の区画の中から被写体の動きがあった部分に対応する音階の音により楽音データを生成する。このとき、楽音生成手段２２は、基準となるコードを設定し、音楽理論に基づいてそのコード上の音階のみを選択する。例えば、コードが「Ｃ」の場合は、図６に示すように基準コード（ベース）は１２の倍数で、これに０，４，７を加えた値を音階（ノートナンバー）とする。なお、発音のタイミングは、毎回発音、２回ごとに発音、２回発音して４回休むなど、各楽器に応じて設定する。また、打楽器については特殊であるため、ノートナンバーは音階ではなく鳴らす打楽器の種類とする。すなわち、縦方向の動きの変化は打楽器の種類の変化となる。
【００２４】
なお、基準コードは時間の経過や何らかの動作をきっかけ（トリガー）として変化させる。この基準コードの変化（コード進行）によって音楽として美しく奏でられるようになる。この変化には、予め順番やタイミング等を指定しておく方法や、ランダムで進行させる方法などがある。変化のタイミングとしては、時間の経過による変化の他、被写体の動きの量によって切り替えるなど、被写体の動きに合わせて変化させることも可能である。
【００２５】
さらに、楽音生成手段２２は、フレーム内の区画の位置に応じた音量バランスにより楽音データを生成する。図７は音量バランスの設定例を示している。楽音生成手段２２は、図７に示すように、動作部特定手段２１により特定されたフレーム内の横の位置に応じた音量バランスで、後述する左右のスピーカ３ａ，３ｂから音が出力されるように楽音データを生成する。
【００２６】
図２に戻って、楽音出力手段２３は、本実施形態においては、図１に示すようにコンピュータ２の左右に配置され、それぞれ楽音生成手段２２により生成された楽音データを音として出力するスピーカ３ａ，３ｂとする。なお、楽音出力手段２３はスピーカ３ａ，３ｂのように直接音を出力するものでなくてもよい。例えば、楽音出力手段２３は、外部接続される音源（外部ＭＩＤＩ音源等）により音を出力するための音データを出力するものであってもよい。
【００２７】
画像処理手段２４は、カメラ１により入力された画像データを、動作部特定手段２１により特定された被写体の動き位置に応じて配色を変えることにより画像処理するものである。例えば、被写体の動きが有った部分だけ着色したり、動きが有った部分を着色して上から重ねて塗ったり、着色する色や順番を変えたりする。
【００２８】
表示手段２５は、本実施形態においては、コンピュータ２の正面に配置された内蔵ディスプレイ４とするが、外部接続されるディスプレイ、ＣＲＴ（陰極線管）、プロジェクタ、テレビジョン等であってもよい。
【００２９】
以下、上記構成の楽音生成装置による楽音生成手順について、図８のフロー図に基づき説明する。
【００３０】
（Ｓ１０１）初期設定として、生成する楽音のテンポ、楽器の数と種類、音楽コード進行、色の変化などの設定を行う。
（Ｓ１０２）カメラ１からコンピュータ２へ現在の画像データを入力する。
（Ｓ１０３）動作部特定手段２１により、動きを抽出（被写体の動きが有ったそれぞれの位置を特定）する。
【００３１】
（Ｓ１０４）音処理では、楽音生成手段２２により被写体の動きの位置と変化量を算出する。
（Ｓ１０５）被写体の動きの変化量が大きい場合には、コード進行に変化を付ける。なお、変化量が極小で続く場合には、動きがなくなったと判断（Ｓ１０８）し、（Ｓ１０１）へ戻る。
（Ｓ１０６）楽音生成手段２２は、被写体の動きの位置と変化量から楽音データ（ＭＩＤＩ規格データ）を生成する。このとき、楽音生成手段２２は、被写体の動きの変化量に応じて楽音データの音量を決定する。
（Ｓ１０７）生成されたＭＩＤＩ規格データは、楽音出力手段２３へ送り、スピーカ３ａ，３ｂから出力する。
【００３２】
（Ｓ１０９）画像処理では、カメラ１から入力された画像データの、画像処理手段２４により被写体の動きが有った部分の画素（ピクセル）を指定された色で塗る。
（Ｓ１１０）画像処理手段２４により画像処理された画像データをディスプレイ４（表示手段２５）へ表示する。
（Ｓ１０２）から（Ｓ１１０）のステップは、例えば１秒間に８回、初期設定により設定したテンポの速さで繰り返す。なお、このテンポは、上記処理の途中で被写体の動きに応じて変化させる構成とすることも可能である。
【００３３】
以上のように、本実施形態における楽音生成装置によれば、コンピュータ２に接続されたカメラ１により入力した画像データから楽音データが自動生成され、スピーカ３ａ，３ｂなどにより出力される。すなわち、従来のように演奏情報などを予め準備することなく、コンピュータ２に接続されたカメラ１の前で被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で演奏される。
【００３４】
また、本実施形態における楽音生成装置によれば、楽音の演奏とともに、カメラ１により入力された画像データが、被写体の動きに応じてアレンジされて、コンピュータ２のディスプレイ４に表示される。したがって、本実施形態における楽音生成装置は、生成された楽音を聴覚だけでなく視覚でも楽しむことができ、音と映像を合わせて様々な分野で利用することが可能である。
【００３５】
このような本実施形態における楽音生成装置は、例えば表１に挙げるような場面で利用することが可能である。
【表１】
0003643829.tif 000002
【００３６】
なお、本実施形態においては、楽音生成装置をカメラ１と汎用のコンピュータ２により構成する例について説明したが、本発明の楽音生成装置はコンピュータ２を楽音生成の専用機やゲーム機等により置き換えて構成することも可能である。カメラ１については、外部接続の他、機器に内蔵した構成とすることが可能である。また、カメラ１を複数台接続して複数の画像データを同時に入力し、同時演奏させることも可能である。このとき、カメラ１を複数の離れた場所にそれぞれ設置し、ネットワークを通じてコンピュータ２に接続することにより、複数の場所からの同時演奏を行わせることも可能である。
【００３７】
また、動作部特定手段２１によるフレームの分割については、本実施形態における分割方向を縦横入れ替えて構成することも可能である。さらに、縦横を組み合わせたり、斜め方向、半径方向、円周方向に分割したりすることも可能である。
【００３８】
【発明の効果】
本発明により、以下の効果を奏することができる。
【００３９】
（１）被写体を連続的に撮像し、フレームごとに画像データとして入力し、この入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置により特定し、この特定された位置に応じた楽音データを生成し、この生成された楽音データを出力する構成により、従来のように演奏情報などを予め準備することなく、被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、出力される。これにより、被写体の動作だけから自動的に生成された楽音を楽しむことが可能となる。
【００４０】
（２）さらに、フレームごとに入力された画像データを、特定された位置に応じて画像処理し、この処理された画像データを表示する構成により、被写体の動作に応じてアレンジされた被写体の画像が出力される。これにより、生成された楽音を映像でも楽しむことが可能となる。
【図面の簡単な説明】
【図１】  本発明の実施の形態における楽音生成装置の斜視図である。
【図２】  図１の楽音生成装置の構成を示すブロック図である。
【図３】  フレームの横方向の分割例を示す図である。
【図４】  フレームの縦方向の分割例を示す図である。
【図５】  動き判定の様子を示す図である。
【図６】  音楽理論に基づいた音階設定の例を示す図である。
【図７】  音量バランスの設定例を示す図である。
【図８】  本実施形態における楽音生成手順を示すフロー図である。
【符号の説明】
１  カメラ
２  コンピュータ
３ａ，３ｂ  スピーカ
４  ディスプレイ
２１  動作部特定手段
２２  楽音生成手段
２３  楽音出力手段
２４  画像処理手段
２５  表示手段
【図１】
0003643829.tif 000003
【図２】
0003643829.tif 000004
【図３】
0003643829.tif 000005
【図４】
0003643829.tif 000006
【図５】
0003643829.tif 000007
【図６】
0003643829.tif 000008
【図７】
0003643829.tif 000009
【図８】
0003643829.tif 000010