(57)【要約】【課題】演奏情報などを予め準備することなく、入力した画像データから楽音データを自動生成する楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セットの提供。【解決手段】被写体を連続的に撮像し、フレームごとに画像データとして入力する小型カメラ１１と、小型カメラ１１により入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置により特定する動作部特定手段２１と、動作部特定手段２１により特定された位置に応じた楽音データを生成する楽音生成手段２２と、楽音生成手段２２により生成された楽音データを出力する楽音出力手段２３とを備え、小型カメラ１１の前で被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で演奏される。【選択図】  図２
2005316300.tif 000002
【特許請求の範囲】
【請求項１】
被写体が連続的に撮像され、フレームごとに画像データとして入力された画像データから、フレーム内で前記被写体の動きが有ったそれぞれの位置を特定する動作部特定手段と、
同動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段と
を有する楽音生成機能を備えた半導体装置。
【請求項２】
前記動作部特定手段は、前記位置の特定を、複数のフレーム間の画像データの比較により行うものである請求項１記載の楽音生成機能を備えた半導体装置。
【請求項３】
前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた楽器の音源により前記楽音データを生成するものである請求項１または２に記載の楽音生成機能を備えた半導体装置。
【請求項４】
前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた音階により前記楽音データを生成するものである請求項１から３のいずれかに記載の楽音生成機能を備えた半導体装置。
【請求項５】
前記楽音生成手段は、前記動作部特定手段により特定された位置に応じた音量バランスにより前記楽音データを生成するものである請求項１から４のいずれかに記載の楽音生成機能を備えた半導体装置。
【請求項６】
請求項１から５のいずれかに記載の楽音生成機能を備えた半導体装置と、前記画像データを入力する撮像手段とを備えた携帯型電子機器。
【請求項７】
前記楽音生成手段により生成された楽音データを出力する手段を備えた請求項６記載の携帯型電子機器。
【請求項８】
前記撮像手段により入力された画像データを、前記動作部特定手段により特定された位置に応じて画像処理する画像処理手段と、
同画像処理手段により画像処理された画像データを表示する表示手段と
を備えた請求項６または７に記載の携帯型電子機器。
【請求項９】
前記画像処理手段は、前記動作部特定手段により特定された位置に応じて前記画像データの配色を変えるものである請求項８記載の携帯型電子機器。
【請求項１０】
請求項１から５のいずれかに記載の楽音生成機能を備えた半導体装置と、前記画像データを入力する撮像手段と、前記楽音生成手段により生成された楽音データを出力する手段とを備えた携帯電話装置。
【請求項１１】
請求項１から５のいずれかに記載の楽音生成機能を備えた半導体装置と、前記画像データを入力する撮像手段と、前記楽音生成手段により生成された楽音データを出力する手段とを備えた眼鏡器具。
【請求項１２】
請求項１から５のいずれかに記載の楽音生成機能を備えた半導体装置と、前記楽音生成手段により生成された楽音データを出力する楽音出力装置と、前記画像データを入力する撮像手段および同撮像手段により入力した画像データを前記半導体装置へ送信する手段とを備えた眼鏡器具からなる眼鏡器具セット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対応した楽音データを自動生成する楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セットに関する。
【背景技術】
【０００２】
画像に対応して演奏の制御を行う技術として、例えば特許文献１には、被写体の輪郭を利用してテンポ等を制御する技術が開示されている。この技術では、入力されたビデオ信号からＲ（赤）、Ｇ（緑）、Ｂ（青）の各色信号を分離し、各色毎にデジタルデータとして階調を表す階調データを生成する。そして、各色の階調データと予め定めた閾値データとに基づいて被写体を特定し、当該被写体の輪郭を検出し、この検出した輪郭の複雑さに応じて演奏を制御する。
【０００３】
しかしながら、この特許文献１に開示の技術では、被写体を特定し、輪郭を検出する必要があるため、処理にかかる負担が大きいという問題がある。そこで、この問題を解決するための技術として、例えば特許文献２には、供給された画像から複数の動きベクトルを抽出し、この抽出した複数の動きベクトルから一つの制御ベクトルを算出し、この算出した制御ベクトルに基づいて、演奏を制御する技術が開示されている。
【０００４】
【特許文献１】特許第２６２９７４０号公報
【特許文献２】特開２０００−２７６１３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１，２記載の技術は、いずれも別途供給された演奏の内容を示す演奏情報等から楽音を再生する際に、ビデオ画像に応じた制御を行うことにより、楽音にアレンジを加えるものである。すなわち、これらの技術は演奏情報が何もない状態から楽音を生成するものではない。したがって、これらの技術を利用するためには、予め演奏情報とビデオ画像の両方をそれぞれ準備しておく必要がある。
【０００６】
そこで、本発明においては、演奏情報などを予め準備することなく、入力した画像データから楽音データを自動生成する楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セットを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の楽音生成機能を備えた半導体装置は、被写体が連続的に撮像され、フレームごとに画像データとして入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置を特定する動作部特定手段と、動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段とを有するものである。
【０００８】
本発明の楽音生成機能を備えた半導体装置によれば、被写体が連続的に撮像され、フレームごとに入力された画像データに基づいて、動作部特定手段により、フレーム内で被写体の動きが有ったそれぞれの位置が特定される。そして、楽音生成手段により、この特定されたフレーム内の位置に応じた楽音データ、すなわち被写体の動く位置に応じた楽音データが生成される。
【０００９】
動作部特定手段は、位置の特定を、複数のフレーム間の画像データの比較により行うものとするのが望ましい。複数のフレーム間の画像データを比較することにより、複数のフレーム間の画像データに変化があれば、その複数のフレーム間で被写体に動きが有ったことになるため、その変化があった位置を被写体に動きが有った部分として容易に特定することができる。
【００１０】
楽音生成手段は、動作部特定手段により特定された位置に応じた楽器の音源により楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、それぞれ異なる楽器の音源により生成した楽音データを得ることができる。
【００１１】
楽音生成手段は、動作部特定手段により特定された位置に応じた音階により楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、それぞれ異なる音階により生成した楽音データを得ることができる。
【００１２】
楽音生成手段は、動作部特定手段により特定された位置に応じた音量バランスにより楽音データを生成するものであることが望ましい。これにより、被写体の動く位置に応じて、音量バランスを調整した楽音データを得ることができる。
【００１３】
上記本発明の楽音生成機能を備えた半導体装置を用いて、以下の携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セットを得ることができる。すなわち、本発明の携帯型電子機器は、上記本発明の楽音生成機能を備えた半導体装置と、画像データを入力する撮像手段とを備えた構成とすることができる。この携帯型電子機器によれば、撮像手段により入力された画像データにより撮像した被写体の動く位置に応じた楽音データが生成される。ここで、本発明の携帯型電子機器が、楽音生成手段により生成された楽音データを出力する手段を備えたものであれば、この携帯型電子機器により生成された楽音データを直接出力することができる。
【００１４】
また、本発明の携帯型電子機器は、撮像手段により入力された画像データを、動作部特定手段により特定された動作部特定手段により特定された位置に応じて画像処理する画像処理手段と、画像処理手段により画像処理された画像データを表示する表示手段とを備えたものとすることが望ましい。例えば、画像処理手段は、動作部特定手段により特定された位置に応じて画像データの配色を変えるものとすることができる。
【００１５】
これにより、被写体の動く位置に応じて生成される楽音データに加えて、被写体の映像が、そのまま表示手段に表示されるのではなく、その被写体の動く位置に応じて配色が変えられる等のアレンジが施されて表示される。
【００１６】
本発明の携帯電話装置は、上記本発明の楽音生成機能を備えた半導体装置と、画像データを入力する撮像手段と、楽音生成手段により生成された楽音データを出力する手段とを備えた構成とすることができる。この携帯電話装置によれば、撮像手段により入力された画像データにより撮像した被写体の動く位置に応じた楽音データが生成され、出力される。
【００１７】
本発明の眼鏡器具は、上記本発明の楽音生成機能を備えた半導体装置と、画像データを入力する撮像手段と、楽音生成手段により生成された楽音データを出力する手段とを備えた構成とすることができる。この眼鏡器具によれば、撮像手段により入力された画像データにより撮像した被写体の動く位置に応じた楽音データが生成され、出力される。
【００１８】
本発明の眼鏡器具セットは、上記本発明の楽音生成機能を備えた半導体装置と、楽音生成手段により生成された楽音データを出力する楽音出力装置と、画像データを入力する撮像手段および撮像手段により入力した画像データを半導体装置へ送信する手段とを備えた眼鏡器具からなる構成とすることができる。この眼鏡器具セットによれば、眼鏡器具の撮像手段により入力された画像データが半導体装置へ送信され、この半導体装置により撮像した被写体の動く位置に応じた楽音データが生成され、出力される。
【発明の効果】
【００１９】
（１）被写体が連続的に撮像され、フレームごとに画像データとして入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置を特定する動作部特定手段と、動作部特定手段により特定された位置に応じた楽音データを生成する楽音生成手段とを有する楽音生成機能を備えた半導体装置により、従来のように演奏情報などを予め準備することなく、被写体が動作をすることによって、その被写体の動作に応じた楽音データを自動的に生成することが可能な小型の楽音生成装置が得られる。これにより、生成された楽音データに基づいてスピーカや音源等により音を出力することができ、被写体の動作だけから自動的に生成された楽音を楽しむことが可能となる。
【００２０】
（２）被写体が連続的に撮像され、フレームごとに画像データとして入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置を特定し、この特定された位置に応じた楽音データを生成する楽音生成機能を備えた半導体装置と、画像データを入力する撮像装置とを備えた携帯型電子機器により、この携帯型電子機器を携帯して、その撮像装置により被写体を撮像すれば、その被写体の動作に応じた楽音データをどのような場所においても自動的に生成することができる。また、この携帯型電子機器が、楽音生成手段により生成された楽音データを出力する手段を備えることにより、この携帯型電子機器により生成された楽音データを直接出力して、楽しむことが可能となる。
【００２１】
（３）さらに、フレームごとに入力された画像データを、特定された位置に応じて画像処理し、この処理された画像データを表示する構成により、被写体の動作に応じてアレンジされた被写体の画像が出力される。これにより、生成された楽音を映像でも楽しむことが可能となる。
【００２２】
（４）被写体が連続的に撮像され、フレームごとに画像データとして入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置を特定し、この特定された位置に応じた楽音データを生成する楽音生成機能を備えた半導体装置と、画像データを入力する撮像手段と、楽音生成手段により生成された楽音データを出力する手段とを備えた携帯電話装置により、この携帯電話装置を携帯して、その撮像装置により被写体を撮像すれば、その被写体の動作に応じた楽音データをどのような場所においても自動的に生成し、出力して、楽しむことができる。
【００２３】
（５）被写体が連続的に撮像され、フレームごとに画像データとして入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置を特定し、この特定された位置に応じた楽音データを生成する楽音生成機能を備えた半導体装置と、画像データを入力する撮像手段と、楽音生成手段により生成された楽音データを出力する手段とを備えた眼鏡器具により、この眼鏡器具を着用して、その撮像装置により被写体を撮像すれば、その被写体の動作に応じた楽音データをどのような場所においても自動的に生成し、出力して、楽しむことができる。
【００２４】
（６）被写体が連続的に撮像され、フレームごとに画像データとして入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置を特定し、この特定された位置に応じた楽音データを生成する楽音生成機能を備えた半導体装置と、楽音生成手段により生成された楽音データを出力する楽音出力装置と、画像データを入力する撮像手段および撮像手段により入力した画像データを半導体装置へ送信する手段とを備えた眼鏡器具からなる眼鏡器具セットにより、この眼鏡器具セットを着用して、その撮像装置により被写体を撮像すれば、その被写体の動作に応じた楽音データをどのような場所においても自動的に生成し、出力して、楽しむことができる。
【発明を実施するための最良の形態】
【００２５】
（実施の形態１）
図１は本発明の第１の実施の形態における楽音生成機能を備えた携帯型電子機器の斜視図、図２は図１の携帯型電子機器の構成を示すブロック図である。
【００２６】
本発明の第１の実施の形態における楽音生成機能を備えた携帯型電子機器１は、図１に示すように、ＣＤ（コンパクトディスク）再生装置、ＭＤ（ミニディスク）再生装置、ＤＶＤ（デジタルビデオディスク）再生装置や、音楽ファイル再生装置等の携帯型音楽再生装置２とその楽音出力装置としてのイヤホン３との間に接続されるものである。この携帯型電子機器１は、被写体を撮像するための小型カメラ１１と、その筐体１０内に楽音生成機能を備えた半導体装置１２（図２参照。）と、表示装置１３とを有する。小型カメラ１１は、被写体を例えば１秒間に８フレーム連続的に撮像し、フレームごとに画像データとして半導体装置１２へ入力するものである。
【００２７】
図２に示すように、半導体装置１２は、小型カメラ１１により入力された画像データからそれぞれのフレーム内で被写体の動きが有った部分を特定する動作部特定手段２１と、動作部特定手段２１により特定されたフレーム内の部分に応じた楽音データを生成する楽音生成手段２２と、楽音生成手段２２により生成された楽音データを出力する楽音出力手段２３と、小型カメラ１１により入力された画像データを画像処理する画像処理手段２４と、画像処理手段２４により画像処理された画像データを表示装置１３に表示する表示手段２５とを備える。
【００２８】
動作部特定手段２１は、小型カメラ１１により入力された画像データから、フレーム内で被写体の動きが有ったそれぞれの位置を特定するものである。例えば、動作部特定手段２１は、この被写体の動きが有った位置を予め分割されたフレーム内の区画の位置により特定する。図３および図４はフレームの分割例を示している。図３は横方向の分割例であり、横方向の区画をＡ，Ｂ，Ｃ，Ｄ，Ｅの５分割としている。図４は区画Ａの縦方向の分割例であり、縦方向の区画Ａに割り当てる楽器の音域を音階ごとに分割したものである。区画Ｂ〜Ｅの縦方向についても同様に各区画Ｂ〜Ｅに割り当てる楽器の音域を音階ごとに分割する。
【００２９】
動作部特定手段２１は、このフレーム内の縦横の区画の位置の特定を、複数のフレーム間の画像データの比較により行う。図５は、動作部特定手段２１による動きの判定の様子を示している。図５に示すように、動作部特定手段２１は、小型カメラ１１により入力された画像データから、現在のフレームの画像とその直前のフレームの画像（または背景画像）のすべての画素（ピクセル）の明るさを比較し、その差が既定値以上ならば動き有りの画素であると判断する。このとき、動作部特定手段２１は、動き有りの画素群の重心（Ｘ座標，Ｙ座標）が縦横のどの区画に属するものであるかを判定する。なお、この動作部特定手段２１によるフレームの分割については、分割方向を縦横入れ替えて構成することも可能である。さらに、縦横を組み合わせたり、斜め方向、半径方向、円周方向に分割したりすることも可能である。
【００３０】
楽音生成手段２２は、動作部特定手段２１により特定されたフレーム内の縦横の区画の位置に応じた楽音データ（例えば、ＭＩＤＩ（Musical Instrument Digital Interface）規格のデータ）を生成するものである。図３に示すように、フレームが横方向に５分割されている場合、楽音生成手段２２は、これらの区画Ａ〜Ｅの中から被写体の動きが有った部分に対応する楽器（例えば、Ａ：ピアノ、Ｂ：ギター、Ｃ：ベース、Ｄ：ドラム、Ｅ：オルゴール等。）の音源により楽音データを生成する。
【００３１】
また、楽音生成手段２２は、各区画Ａ〜Ｅ中の縦方向の区画の中から被写体の動きがあった部分に対応する音階の音により楽音データを生成する。このとき、楽音生成手段２２は、基準となるコードを設定し、音楽理論に基づいてそのコード上の音階のみを選択する。例えば、コードが「Ｃ」の場合は、図６に示すように基準コード（ベース）は１２の倍数で、これに０，４，７を加えた値を音階（ノートナンバー）とする。なお、発音のタイミングは、毎回発音、２回ごとに発音、２回発音して４回休むなど、各楽器に応じて設定する。また、打楽器については特殊であるため、ノートナンバーは音階ではなく鳴らす打楽器の種類とする。すなわち、縦方向の動きの変化は打楽器の種類の変化となる。
【００３２】
なお、基準コードは時間の経過や何らかの動作をきっかけ（トリガー）として変化させる。この基準コードの変化（コード進行）によって音楽として美しく奏でられるようになる。この変化には、予め順番やタイミング等を指定しておく方法や、ランダムで進行させる方法などがある。変化のタイミングとしては、時間の経過による変化の他、被写体の動きの量によって切り替えるなど、被写体の動きに合わせて変化させることも可能である。
【００３３】
さらに、楽音生成手段２２は、フレーム内の区画の位置に応じた音量バランスにより楽音データを生成する。図７は音量バランスの設定例を示している。楽音生成手段２２は、図７に示すように、動作部特定手段２１により特定されたフレーム内の横の位置に応じた音量バランスで、左右のイヤホン３から音が出力されるように楽音データを生成する。
【００３４】
図２に戻って、楽音出力手段２３は、楽音生成手段２２により生成された楽音データをイヤホン３により音として再生するための信号へ変換し、イヤホン３へ出力するものである。なお、楽音出力手段２３は、イヤホン３のようなスピーカに対して出力する他、外部接続される音源（外部ＭＩＤＩ音源等）に対して音を出力するための音データを出力するものや、その他の外部機器に対して楽音データを出力するものであってもよい。
【００３５】
画像処理手段２４は、小型カメラ１１により入力された画像データを、動作部特定手段２１により特定された被写体の動き位置に応じて配色を変えることにより画像処理するものである。例えば、被写体の動きが有った部分だけ着色したり、動きが有った部分を着色して上から重ねて塗ったり、着色する色や順番を変えたりする構成とすることができる。
【００３６】
図８は本実施形態における携帯型電子機器１の使用状態を示す図である。図８に示すように、本実施形態における携帯型電子機器１は、着衣の胸の部分に小型カメラ１１が前方を向くように固定する。イヤホン３は、両耳に着用しておく。なお、図８において、携帯型音楽再生装置２は図示していない。以下、上記構成の携帯型電子機器１による楽音生成手順について、図９のフロー図に基づき説明する。
【００３７】
（Ｓ１０１）初期設定として、生成する楽音のテンポ、楽器の数と種類、音楽コード進行、色の変化などの設定を行う。
（Ｓ１０２）小型カメラ１１の前で被写体としての使用者の両手を動かすか、あるいは、被写体としての対面に居る他人が体を動かし、この様子を撮像した小型カメラ１１から半導体装置１２へ現在の画像データを入力する。
（Ｓ１０３）動作部特定手段２１により、動きを抽出（被写体の動きが有ったそれぞれの位置を特定）する。
【００３８】
（Ｓ１０４）音処理では、楽音生成手段２２により被写体の動きの位置と変化量を算出する。
（Ｓ１０５）被写体の動きの変化量が大きい場合には、コード進行に変化を付ける。なお、変化量が極小で続く場合には、動きがなくなったと判断（Ｓ１０８）し、（Ｓ１０１）へ戻る。
（Ｓ１０６）楽音生成手段２２は、被写体の動きの位置と変化量から楽音データ（ＭＩＤＩ規格データ）を生成する。このとき、楽音生成手段２２は、被写体の動きの変化量に応じて楽音データの音量を決定する。
（Ｓ１０７）生成されたＭＩＤＩ規格データは、楽音出力手段２３へ送り、イヤホン３から出力する。
【００３９】
（Ｓ１０９）画像処理では、小型カメラ１１から入力された画像データの、画像処理手段２４により被写体の動きが有った部分の画素（ピクセル）を指定された色で塗る。
（Ｓ１１０）画像処理手段２４により画像処理された画像データを表示手段２５により表示装置１３へ表示する。
（Ｓ１０２）から（Ｓ１１０）のステップは、例えば１秒間に８回、初期設定により設定したテンポの速さで繰り返す。なお、このテンポは、上記処理の途中で被写体の動きに応じて変化させる構成とすることも可能である。
【００４０】
以上のように、本実施形態における携帯型電子機器１によれば、半導体装置１２に接続された小型カメラ１１により入力した画像データから楽音データが自動生成され、イヤホン３により出力される。すなわち、従来のように演奏情報などを予め準備することなく、半導体装置１２に接続された小型カメラ１１の前で被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で演奏される。
【００４１】
この携帯型電子機器１は、小型であるため、携帯型音楽再生装置２とともに携帯して、その小型カメラ１１により被写体を撮像すれば、その被写体の動作に応じた楽音データをどのような場所においても自動的に生成することができる。また、この携帯型電子機器１は、楽音生成手段２２により生成された楽音データを音により出力するイヤホン３を備えるので、生成された楽音データを直接イヤホン３により出力して、楽しむことが可能となる。
【００４２】
また、本実施形態における携帯型電子機器１によれば、楽音の演奏とともに、小型カメラ１１により入力された画像データが、被写体の動きに応じてアレンジされて、表示装置１３に表示される。したがって、本実施形態における携帯型電子機器１は、生成された楽音を聴覚だけでなく視覚でも楽しむことができ、音と映像を合わせて様々な分野で利用することが可能である。
【００４３】
なお、本実施形態においては、小型カメラ１１を携帯型電子機器１に内蔵した構成について説明したが、小型カメラ１１を別体として外部接続する構成とすることも可能である。また、小型カメラ１１を複数台接続して複数の画像データを同時に入力し、同時演奏させることも可能である。
【００４４】
（実施の形態２）
図１０は本発明の第２の実施の形態における楽音生成機能を備えた携帯電話装置を示す図である。
【００４５】
図１０に示すように、本発明の第２の実施の形態における楽音生成機能を備えた携帯電話装置４は、第１実施形態と同様の小型カメラ４１と、その筐体４０内に第１実施形態と同様の楽音生成機能を備えた半導体装置（図示せず。）と、表示装置４２と、楽音出力装置としてのスピーカ（図示せず。）とを備える。
【００４６】
このような携帯電話装置４においても、小型カメラ４１により入力した画像データから楽音データが自動生成され、スピーカにより出力される。すなわち、従来のように演奏情報などを予め準備することなく、小型カメラ４１の前で被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で演奏される。携帯電話装置４は、持ち運びが容易であることから、この携帯電話装置４を携帯して小型カメラ４１により被写体を撮像すれば、その被写体の動作に応じた楽音データをどのような場所においても自動的に生成し、出力して、楽しむことができる。
【００４７】
また、携帯電話装置４は、通信機能を備えることから、同様の楽音生成機能を備えた携帯電話装置４を複数の離れた場所に配置し、互いにネットワークを通じて接続することにより、生成された楽音データを相互に交換して、複数の場所からの同時演奏を行わせることも可能である。
【００４８】
（実施の形態３）
図１１は本発明の第３の実施の形態における楽音生成機能を備えた眼鏡器具を示す図、図１２は図１１の眼鏡器具の着用状態を示す図である。
【００４９】
図１１に示すように、本発明の第３の実施の形態における楽音生成機能を備えた眼鏡器具５は、フレーム５０に固定された第１実施形態と同様の小型カメラ５１と、フレーム５０に内蔵した第１実施形態と同様の楽音生成機能を備えた半導体装置（図示せず。）と、フレーム５０に固定されたイヤホン５２とを備える。図１２に示すように、イヤホン５２は、眼鏡器具５を着用した際、ちょうど着用者の耳に配置される位置に固定されている。
【００５０】
このような眼鏡器具５においても、小型カメラ５１により入力した画像データから楽音データが自動生成され、イヤホン５２により出力される。すなわち、従来のように演奏情報などを予め準備することなく、小型カメラ５１の前で被写体が動作をすることによって、その被写体の動作に応じた楽音が自動的に生成され、様々な楽器の音色で演奏される。眼鏡器具５は、常時着用するものであることから、この眼鏡器具５を着用して小型カメラ５１により被写体を撮像すれば、その被写体の動作に応じた楽音データをどのような場所においても自動的に生成し、出力して、楽しむことができる。
【００５１】
（実施の形態４）
図１３は本発明の第４の実施の形態における楽音生成機能を備えた眼鏡器具セットを示す図である。
【００５２】
図１３に示すように、本発明の第４の実施の形態における楽音生成機能を備えた眼鏡器具セットは、第３実施形態と同様に小型カメラ６１がフレーム６０に固定された眼鏡器具本体６ａと、第１実施形態と同様の楽音生成機能を備えた半導体装置（図示せず。）が内蔵された制御ボックス６ｂと、制御ボックス６ｂに接続されたイヤホン６ｃとから構成される。眼鏡器具本体６ａの小型カメラ６１は、制御ボックス６ｂの半導体装置へ無線通信または有線通信により送信する機能を備える。
【００５３】
このような眼鏡器具セットにおいても、小型カメラ６１により入力した画像データから楽音データが自動生成され、イヤホン６ｃにより出力される。イヤホン６ｃおよび制御ボックス６ｂは、眼鏡器具本体６ａと別体に構成されているので、眼鏡器具本体６ａを軽量化することができ、着用時の軽快さを損なうことがない。また、楽音生成しない場合には、眼鏡器具本体６ａをそれ単体で単なる眼鏡器具としても使用することができる。
【産業上の利用可能性】
【００５４】
本発明の楽音生成機能を備えた半導体装置は、携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セット等の小型機器に内蔵して、これらの小型機器に、画像データに対応した楽音データを自動生成する楽音生成機能を付加する装置として有用である。
【図面の簡単な説明】
【００５５】
【図１】本発明の第１の実施の形態における楽音生成機能を備えた携帯型電子機器の斜視図である。
【図２】図１の携帯型電子機器の構成を示すブロック図である。
【図３】フレームの横方向の分割例を示す図である。
【図４】フレームの縦方向の分割例を示す図である。
【図５】動き判定の様子を示す図である。
【図６】音楽理論に基づいた音階設定の例を示す図である。
【図７】音量バランスの設定例を示す図である。
【図８】本実施形態における携帯型電子機器１の使用状態を示す図である。
【図９】本実施形態における楽音生成手順を示すフロー図である。
【図１０】本発明の第２の実施の形態における楽音生成機能を備えた携帯電話装置を示す図である。
【図１１】本発明の第３の実施の形態における楽音生成機能を備えた眼鏡器具を示す図である。
【図１２】図１１の眼鏡器具の着用状態を示す図である。
【図１３】本発明の第４の実施の形態における楽音生成機能を備えた眼鏡器具セットを示す図である。
【符号の説明】
【００５６】
１  携帯型電子機器
２  携帯型音楽再生装置
３，５２，６ｃ  イヤホン
４  携帯電話装置
５  眼鏡器具
６ａ  眼鏡器具本体
６ｂ  制御ボックス
１０，４０  筐体
５０，６０  フレーム
１１，４１，５１，６１  小型カメラ
１２  半導体装置
１３，４２  表示装置
２１  動作部特定手段
２２  楽音生成手段
２３  楽音出力手段
２４  画像処理手段
２５  表示手段
【図１】
2005316300.tif 000003
【図２】
2005316300.tif 000004
【図３】
2005316300.tif 000005
【図４】
2005316300.tif 000006
【図５】
2005316300.tif 000007
【図６】
2005316300.tif 000008
【図７】
2005316300.tif 000009
【図８】
2005316300.tif 000010
【図９】
2005316300.tif 000011
【図１０】
2005316300.tif 000012
【図１１】
2005316300.tif 000013
【図１２】
2005316300.tif 000014
【図１３】
2005316300.tif 000015