(57)【要約】【課題】意図的に作成した映像や意図せず撮影された映像又は風景等の可視光を、各色の明るさに応じた音程や音量等の可聴音に変換することにより、聴取者が光と音の協調した変化を楽しみ利用することができる色／音変換装置を提供する。【解決手段】色／音変換装置４を、入射した可視光を複数の色の光に分離するカラーフィルタ群５と、このカラーフィルタ群５によって分離された光をそれぞれ受光してその光量に応じた信号レベルの電気信号に変換する複数の光センサ群６と、第１の光センサ６ａが出力した電気信号の信号レベルに応じた音程と、第２の光センサ６ｂが出力した電気信号の信号レベルに応じた音量とを有する音響信号を発生する音響信号発生回路７と、この音響信号発生回路７が出力した音響信号を可聴音に変換するスピーカ８とを備えた構成とする。【選択図】図１
2010122566.tif 000002
【特許請求の範囲】
【請求項１】
入射した可視光を複数の色の光に分離する色分離手段と、
前記色分離手段によって分離された光をそれぞれ受光してその光量に応じた信号レベルの電気信号に変換する複数の光センサと、
少なくとも第１の光センサが出力した電気信号の信号レベルに応じた音程と、第２の光センサが出力した電気信号の信号レベルに応じた音量とを有する音響信号を発生する音響信号発生手段と、
前記音響信号発生手段が出力した音響信号を可聴音に変換するスピーカとを備えたことを特徴とする色／音変換装置。
【請求項２】
前記色分離手段が、各光センサの受光部の前方に配置された、色の異なる２種以上のカラーフィルタであことを特徴とする請求項１に記載の色／音変換装置。
【請求項３】
前記音響信号発生手段が発生する音響信号が、第３の光センサが出力した電気信号の信号レベルに応じた音色を有するものであることを特徴とする請求項１又は請求項２に記載の色／音変換装置。
【請求項４】
前記音響信号発生手段が、第１の光センサが出力した電気信号の信号レベルに応じて発振周波数を制御される周波数可変発振器と、この周波数可変発振器が出力した発振信号の信号レベルを第２の光センサが出力した電気信号の信号レベルに応じて変化させる音量可変回路と、この周波数可変発振器が出力した発振信号の信号波形を第３の光センサが出力した電気信号の信号レベルに応じて変形させる音色可変回路とを備えたことを特徴とする請求項３に記載の色／音変換装置。
【請求項５】
前記音響信号発生手段が、第４の光センサが出力した電気信号の信号レベルがしきい値以上又はしきい値以下に変化すると、音響信号の発生を停止するものであることを特徴とする請求項１乃至請求項４のいずれかに記載の色／音変換装置。
【請求項６】
前記全ての光センサを複数組に組分けし、各組ごとにそれぞれ前記音響信号発生手段を設けると共に、各組ごとにそれぞれ前記スピーカも設け、又は、前記スピーカが各組の音響信号発生手段から出力された音響信号を混合するミキサを備えたものであることを特徴とする請求項１乃至請求項５のいずれかに記載の色／音変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光の各色の明るさに応じた音程や音量等の可聴音を発する色／音変換装置に関するものである。
【背景技術】
【０００２】
オルゴールは、回転する円筒や円盤に形成されたピンや孔に応じて櫛状の金属板の各歯を弾いて音楽を奏でるようになっている。しかしながら、このようなオルゴールは、櫛状の金属板により離散的な音階に存在する音程の音しか発することができず、この金属板の各歯を弾いて音を出すので、音量や音色、音の長さも一定のものに限られていた。しかも、特に大型のディスク・オルゴールでは、回転する大きな円盤を聴取者が見て視覚的にも楽しめるようにしたものもあり、この場合、円盤のピンや孔の配列を見れば奏でる音楽を予想することも可能であるが、これは楽譜と同様に聴取者の理知的な思考の結果であって、情緒感情に訴え得るものではなかった。
【０００３】
また、従来から、音階を色で表す音階表記方法や、コンピュータ等を利用してこのように色で表した音階を音楽として再生する方法も提案されている（例えば、特許文献１参照。）。しかしながら、この場合も、色は楽譜の音階の離散的な音程に対応するだけであり、この色は音量や音色等には無関係なものであった。しかも、このような色の利用は、使用者の理知的な読譜作業等を補助する学習的なものであるため、情緒感情に訴え得るものではなかった。
【０００４】
さらに、搬送波としてレーザ光等を用い、この光を波長ごとに分割して、それぞれの波長の光について振幅変調や周波数変調、位相変調等の適宜の変調を加えることで、情報を多重に伝送する波長分割多重伝送方式も従来から用いられていて、このように伝送された音響信号を音声等として再生することも周知であった。しかしながら、このような伝送方式においては、再生音の聴取者が伝送される光を目で見てこれを利用するというような思想は全くなかった。また、複数の音声情報等の音響情報を異なる波長の光を用いて多重伝送することはあっても、一つの音響信号について、これを敢えて音程情報や音量情報等に分離し、各情報によって波長の異なる光を変調するというようなことを行う思想も全くなかった。
【特許文献１】特開２００２−２０７４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、意図的に作成した映像や意図せず撮影された映像又は風景等の可視光を、各色の明るさに応じた音程や音量等の可聴音に変換することにより、聴取者が光と音の協調した変化を楽しみ利用することができる色／音変換装置を提供しようとするものである。
【課題を解決するための手段】
【０００６】
請求項１の色／音変換装置は、入射した可視光を複数の色の光に分離する色分離手段と、前記色分離手段によって分離された光をそれぞれ受光してその光量に応じた信号レベルの電気信号に変換する複数の光センサと、少なくとも第１の光センサが出力した電気信号の信号レベルに応じた音程と、第２の光センサが出力した電気信号の信号レベルに応じた音量とを有する音響信号を発生する音響信号発生手段と、前記音響信号発生手段が出力した音響信号を可聴音に変換するスピーカとを備えたことを特徴とする。
【０００７】
請求項２の色／音変換装置は、前記色分離手段が、各光センサの受光部の前方に配置された、色の異なる２種以上のカラーフィルタであことを特徴とする。
【０００８】
請求項３の色／音変換装置は、前記音響信号発生手段が発生する音響信号が、第３の光センサが出力した電気信号の信号レベルに応じた音色を有するものであることを特徴とする。
【０００９】
請求項４の色／音変換装置は、前記音響信号発生手段が、第１の光センサが出力した電気信号の信号レベルに応じて発振周波数を制御される周波数可変発振器と、この周波数可変発振器が出力した発振信号の信号レベルを第２の光センサが出力した電気信号の信号レベルに応じて変化させる音量可変回路と、この周波数可変発振器が出力した発振信号の信号波形を第３の光センサが出力した電気信号の信号レベルに応じて変形させる音色可変回路とを備えたことを特徴とする。
【００１０】
請求項５の色／音変換装置は、前記音響信号発生手段が、第４の光センサが出力した電気信号の信号レベルがしきい値以上又はしきい値以下に変化すると、音響信号の発生を停止するものであることを特徴とする。
【００１１】
請求項６の色／音変換装置は、前記全ての光センサを複数組に組分けし、各組ごとにそれぞれ前記音響信号発生手段を設けると共に、各組ごとにそれぞれ前記スピーカも設け、又は、前記スピーカが各組の音響信号発生手段から出力された音響信号を混合するミキサを備えたものであることを特徴とする。
【発明の効果】
【００１２】
請求項１の発明によれば、複数の光センサに可視光が入射すると、この可視光における特定の色成分の明るさ（光量）に応じた音程で、別の特定の色成分の明るさに応じた音量の音を発することができる。そして、特定の色成分の明るさが変化すると音程が変化し、別の特定の色成分の明るさが変化すると音量が変化するので、入射光の変化に応じて発生する音も変化する。
【００１３】
従って、あらゆる可視光を可聴音に変換することができるので、意図的に作成した映像等によって音楽や環境音等を発生させることができ、この映像と音楽や環境音等との調和した変化を楽しむことができる。また、このような映像等を人等が遮ったり、人為的に別の光や映像をリアルタイムに重ね合わせることで、音を任意に変化させることができるので、この音の発生に参加したり介入する楽しみを与えたることもできる。さらに、半音よりさらに細かく分けられた音程の音を発したり、この音程を連続的に変化させることもできるので、独特の雰囲気の音を生み出すこともできる。さらに、現実の風景等やこれを撮影した映像等の変化に応じて音程や音量等が変化する音を発することもできるので、環境音やＢＧＭ等に用いたり、周囲の状況等を把握するために利用することもできる。
【００１４】
なお、音響信号発生手段が発生する音響信号は、音程と音量の他に、別の光センサが出力した電気信号の信号レベルに応じて変化する適宜の属性を有していてもよい。また、これらの音程や音量等の属性は、１つの光センサが出力した電気信号の信号レベルだけに応じて定まる場合に限らず、２つ以上の光センサが出力した電気信号の信号レベルに応じて定まるようになっていてもよい。即ち、第１の光センサや第２の光センサ（第３の光センサや第４の光センサも同様）は、それぞれ２つ以上の光センサを示している場合があり得る。
【００１５】
請求項２の発明によれば、光センサの受光部に配置したカラーフィルタによって色分離手段を実現できるので、ダイクロイックプリズムや分光プリズム等が不要となり、装置を小型軽量化し低コスト化することが可能となる。カラーフィルタは、可視光を複数の色の光に分離するために、色の異なる２種以上のものが必要であり、任意選択した２つの光センサのうちには必ず異なる色のカラーフィルタが配置されているものがある。
【００１６】
請求項３の発明によれば、音響信号発生手段が発生する音響信号は、音程と音量だけでなく音色も変化させることができるので、発する音が単調になるのを防ぎ豊かな音にすることができる。
【００１７】
なお、音色は、一般的には基音に重乗される倍音の強度を変える（強度を０にする場合も含む）ことによって変化するが、音程と音量が同じであるとした場合のその他全ての信号波形の変形によって変化するもの、例えば音響効果によるもの等も含むことができる。ここで、音程とは基音の周波数であり、音量の変化とは信号波形の特徴を維持したまま全体の強度を強弱方向に推移させることをいう。ただし、過渡的な音については、フーリエ変換が適用されないため、基音や倍音の概念がないが、例えば音響効果の一種として音の属性に加えるようにしてもよい。
【００１８】
請求項４の発明によれば、電圧制御発振器（ＶＣＯ）と電圧制御フィルタ（ＶＣＦ）と電圧制御増幅器（ＶＣＡ）とからなるアナログシンセサイザーと同様の簡単なアナログ回路で音響信号発生手段を構成することができる。
【００１９】
なお、周波数可変発振器が出力した発振信号は、音量可変回路が信号レベルを変化させてから音色可変回路が信号波形を変形させてもよいし、その逆であってもよい。
【００２０】
請求項５の発明によれば、音量に対応する色成分の明るさが０になっても音量が直ぐに０にならなかったり完全に０にならない場合があっても、第４の光センサが受光する光量を変化させることにより強制的に音を停止させることができるので、この音の停止を確実かつ迅速に行わせることができるようになり、音楽の場合には休符符号を確実に実現できる。なお、第３の光センサが用いられない場合には、この第４の光センサが３番目の光センサとなる。
【００２１】
請求項６の発明によれば、複数の音響信号発生手段から音程や音量等が異なる複数の音響信号が出力されるので、発する音に深みを加えることができる。
【００２２】
なお、各音響信号発生手段における第１の光センサと第２の光センサ（第３の光センサや第４の光センサも同様）は、光センサを組分けした各組ごとに定められるので、各音響信号発生手段の第１の光センサはそれぞれ異なる光センサであり、各音響信号発生手段の第２の光センサもそれぞれ異なる光センサである。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の最良の実施形態について図１〜図４を参照して説明する。
【００２４】
〔実施形態の構成〕
本実施形態では、図１に示すように、パーソナルコンピュータ１が出力した映像信号に基づいてプロジェクタ２が室内の壁面３に映像を投影し、この投影された映像の反射光（可視光）を色／音変換装置４が可聴音に変換する場合を示す。パーソナルコンピュータ１は、画面全体が同じ色であり、この色のＲＧＢの各成分の明るさがプログラムに従って変化するだけの映像信号を出力するようになっている。プロジェクタ２は、この映像信号の映像を壁面３に投影する。
【００２５】
色／音変換装置４は、カラーフィルタ群５と光センサ群６と音響信号発生回路７とスピーカ８とで構成されている。ここで、この色／音変換装置４は、入射した可視光のＲＧＢの各色成分のうち、赤色成分を音程に対応させ、緑色成分を音量に対応させ、青色成分を音色に対応させている。従って、カラーフィルタ群５は、このＲＧＢの各色成分に対応する赤色フィルタ５ａと緑色フィルタ５ｂと青色フィルタ５ｃの３種類のカラーフィルタからなる。また、光センサ群６も、このＲＧＢの各色成分に対応する３つの光センサ６ａ〜６ｃからなり、これらの光センサ６ａ〜６ｃは、受光部を壁面３に向けて並べて配置されている。
【００２６】
各光センサ６ａ〜６ｃは、受光部で受光した光をその光量に応じた信号レベルの電気信号に変換するものであり、ここでは光導電素子であるＣｄＳセル（フォトレジスタ）を用いているので、受光した光量に応じて抵抗値が変化するという電気信号に変換することになる。また、各光センサ６ａ〜６ｃの受光部の前面にはカラーフィルタ５ａ〜５ｃが取り付けられている。カラーフィルタ５ａ〜５ｃは、入射光のうち、特定の色成分のみを透過させるフィルタであり、実際には、特定の色の波長を中心としたある程度広がりのある帯域の光のみを透過させるようになっている。そして、赤色成分に対応する光センサ６ａには赤色成分のみを透過させる赤色フィルタ５ａが取り付けられ、緑色成分に対応する光センサ６ｂには緑色成分のみを透過させる緑色フィルタ５ｂが取り付けられ、青色成分に対応する光センサ６ｃには青色成分のみを透過させる青色フィルタ５ｃが取り付けられている。これらの光センサ６ａ〜６ｃが出力した電気信号は、音響信号発生回路７に送られるようになっている。
【００２７】
音響信号発生回路７は、周波数可変発振器７ａと音量可変回路７ｂと音色可変回路７ｃとで構成されている。周波数可変発振器７ａは、赤色成分に対応する光センサ６ａが出力した電気信号の信号レベルに応じて発振周波数を制御される発振器であり、これによって光センサ６ａが出力した電気信号の信号レベルに応じた音程の音響信号を発生することができる。音量可変回路７ｂは、この周波数可変発振器７ａが出力した発振信号の信号レベルを、緑色成分に対応する光センサ６ｂが出力した電気信号の信号レベルに応じて変化させる回路であり、これによって音響信号の音量を光センサ６ｂが出力した電気信号の信号レベルに応じて変化させることができる。音色可変回路７ｃは、この周波数可変発振器７ａが出力した発振信号の信号波形を青色成分に対応する光センサ６ｃが出力した電気信号の信号レベルに応じて変形させる回路であり、これによって音響信号の音色を光センサ６ｃが出力した電気信号の信号レベルに応じて変化させることができる。
【００２８】
上記周波数可変発振器７ａで音程が定められ（音量や音色は既定値となる）、音量可変回路７ｂで音量を変化され、音色可変回路７ｃで音色を変化された音響信号は、音響信号発生回路７から出力されてスピーカ８に送られるようになっている。なお、ここでは、音量可変回路７ｂが音響信号の音量を変化させてから、音色可変回路７ｃがこの音響信号の音色を変化させているが、この順序は逆にしてもよい。
【００２９】
上記音響信号発生回路７の具体的構成を示す簡単な回路例を図２に示す。周波数可変発振器７ａは、ウィーンブリッジ発振回路によって構成されている。なお、周波数可変発振器７ａにこのようなウィーンブリッジ発振回路を用いると、光センサ６ａが２つ必要となるので、この場合には、光センサ群６を、赤色成分に対応する２つの光センサ６ａ，６ａと、緑色成分に対応する１つの光センサ６ｂと、青色成分に対応する１つの光センサ６ｃとからなる４つの光センサ６ａ〜６ｃによって構成すればよい。また、２つの光センサ６ａ，６ａは、いずれも受光部の前面には赤色フィルタ５ａ，５ａが取り付けられる。
【００３０】
この周波数可変発振器７ａは、光センサ６ａ，６ａの抵抗値Ｒ１，Ｒ２が変化すると、これに応じて発振周波数が変化することになる。ここで、周波数可変発振器７ａに用いたウィーンブリッジ発振回路の発振周波数ｆを数１に示す。
【数１】
2010122566.tif 000003
この数１から、光センサ６ａが受光する光量が大きくなって抵抗値Ｒ１，Ｒ２が低くなるほど発振周波数ｆが高くなり、音響信号の音程も高くなることが分かる。
【００３１】
また、このウィーンブリッジ発振回路の発振条件を数２に示す。
【数２】
2010122566.tif 000004
この数２から、光センサ６ａ，６ａの抵抗値Ｒ１，Ｒ２が変化しても、２つの光センサ６ａ，６ａの特性に多少の相違があったところで、Ｒ２／Ｒ１の項はほぼ一定であるため、発振条件に影響はないことが分かる。従って、このような発振器を用いれば、抵抗値Ｒ１，Ｒ２次第で１オクターブから数十オクターブまでの非常に広範囲の音域をカバーでき、可聴域を全て網羅することも可能となるので、色／音変換装置の音域を広げることができる。
【００３２】
音量可変回路７ｂは、分圧回路によって構成されている。そして、光センサ６ｂの抵抗値Ｒ５が変化すると、分圧回路の分圧比が変わるので、周波数可変発振器７ａが出力した発振信号の信号レベルの減衰率を変化させることができる。具体的には、光センサ６ｂが受光する光量が大きくなって抵抗値Ｒ５が低くなるほど信号レベルの減衰率が小さくなり、音響信号の音量を大きくすることができる。なお、この音量可変回路７ｂは、発振信号の信号レベルを変化させるものであればよいので、分圧回路に代えて増幅回路等を用いることもできる。
【００３３】
音色可変回路７ｃは、高域通過フィルタ（低域遮断フィルタ）によって構成されている。そして、光センサ６ｃの抵抗値Ｒ７が変化すると、低域遮断周波数が変化するので、周波数可変発振器７ａが出力した発振信号の高調波成分の遮断特性を変化させることができる。具体的には、光センサ６ｂが受光する光量が大きくなって抵抗値Ｒ７が低くなるほど高調波成分がより多く遮断されるようになり、音響信号の倍音を弱めて音色を変化させることができる。なお、この音色可変回路７ｃは、発振信号の信号波形を変形させるものであればよいので、高域通過フィルタに代えて、低域通過フィルタや帯域通過フィルタ、帯域遮断フィルタ等を用いたり、これらを切り換えて用いることもできる。
【００３４】
ただし、周波数可変発振器７ａに用いるウィーンブリッジ発振回路は、基本的には正弦波を発生させる発振回路であり、もともとの発振信号が高調波成分の少ないものであるため、図２に示す音色可変回路７ｃによる音色の変化は効果の少ないものとなる。そこで、実際の周波数可変発振器７ａには、ノコギリ波や矩形波等のように高調波成分の多い発振信号を発生させる発振器を用いることが好ましい。また、アナログシンセサイザーのように、ノコギリ波と矩形波等の複数の発振回路とホワイトノイズ発生回路等を備え、音色可変回路７ｃによってこれらを切り換えたり組み合わせたりして用いるようにしてもよい。例えば、矩形波の音響信号は、偶数倍の倍音だけしかなく、この倍音の強度を少し変化させるだけで、木管楽器に近い音色にすることができる。また、ノコギリ波の音響信号は、全ての倍音を有し、この倍音の強度を少し変化させるだけで、弦楽器に近い音色や金管楽器に近い音色にすることができる。
【００３５】
スピーカ８は、音響信号発生回路７が出力した音響信号を可聴音に変換するものであり、少なくとも音響信号の音程と音量を表現可能なものであって、好ましくは音色等も表現可能なものであれば、必ずしもオーディオ用や音声用のものでなくてもよく、例えば圧電ブザー（電子ブザー）等を用いることもできる。
【００３６】
〔実施形態の作用・変形例〕
上記構成の色／音変換装置４は、プロジェクタ２が壁面３に投影した映像の反射光（可視光）がカラーフィルタ群５の各カラーフィルタ５ａ〜５ｃを通して光センサ群６の各光センサ６ａ〜６ｃの受光部に入射する。すると、光センサ６ａ，６ａでは、赤色フィルタ５ａを通して入射光のうちの赤色成分のみを受光し、この赤色成分の明るさ（受光光量）に応じた信号レベルの電気信号を出力する。即ち、この光量に応じて抵抗値Ｒ１，Ｒ２が変化する。そして、この抵抗値Ｒ１，Ｒ２の変化により、周波数可変発振器７ａの発振周波数が変化するので、赤色成分の光量に応じた音程の音響信号が出力される。
【００３７】
また、光センサ６ｂでは、緑色フィルタ５ｂを通して入射光のうちの緑色成分のみを受光し、この緑色成分の明るさ（受光光量）に応じた信号レベルの電気信号を出力する。即ち、この光量に応じて抵抗値Ｒ５が変化する。そして、この抵抗値Ｒ５の変化により、音量可変回路７ｂによって周波数可変発振器７ａが出力した音響信号の音量を変化させる。さらに、光センサ６ｃでは、青色フィルタ５ｃを通して入射光のうちの青色成分のみを受光し、この青色成分の明るさ（受光光量）に応じた信号レベルの電気信号を出力する。即ち、この光量に応じて抵抗値Ｒ７が変化する。そして、この抵抗値Ｒ７の変化により、音色可変回路７ｃによって周波数可変発振器７ａが出力した音響信号の音色を変化させる。
【００３８】
従って、各光センサ６ａ〜６ｃに可視光が入射すると、赤色成分の明るさに応じた音程で、緑色成分の明るさに応じた音量と、青色成分の明るさに応じた音色の音響信号が音響信号発生回路７から出力され、この音響信号がスピーカ８から音として発せられることになる。
【００３９】
そこで、例えばパーソナルコンピュータ１によって楽譜の音符等に対応した音程と音量と音色の情報をＲＧＢの各成分の明るさに変換した映像信号をプロジェクタ２に送るようにすれば、任意の意図通りの音楽をスピーカ８から流すようにすることができる。この際、音符の音の長さは、映像信号中の赤色成分の明るさ（音程）を一定に保つ時間によって制御することができる。また、このように音の情報を連続的に送っているので、赤色成分の明るさ（音程）を一定に保っている間に、緑色成分の明るさ（音量）や青色成分の明るさ（音色）を変化させれば、時間経過に伴う音量の変化の推移（エンベロープ）やビブラート、エコー等の音響効果を加えることができる。
【００４０】
ただし、パーソナルコンピュータ１から同じ映像信号を出力したとしても、壁面３とプロジェクタ２や色／音変換装置４との間の距離等が変わることによって各光センサ６ａ〜６ｃが受光する光量は変化する。このため、装置の配置によって、意図した音程や音量、音色の音ではなく、これらが全体に推移した音が発せられることになるので、例えば映像信号の最初には、所定の音程（音量や音色も加えてもよい）に対応する赤色成分の明るさの信号を出力し、この映像の反射光を入射した色／音変換装置４では、このときの光センサ６ａの受光光量による音程が所定のものとなるように調整する初期化処理を行うようにしてもよい。また、色／音変換装置４にバックグラウンドを管理する装置を設け、この装置によって色／音変換装置４が配置されている環境を把握することにより、光センサ６ａ〜６ｃの受光光量と音程や音量、音色との対応関係を動的に変化させるようにすれば、色／音変換装置４の使用中に装置を動かしたりしても、音程等がずれないようにすることができる。
【００４１】
この色／音変換装置４は、各色成分の明るさというアナログ量の変化に応じた音を発生するので、音量だけでなく、音程や音色も連続的に変化させることができ、音階による離散的な音程だけでなく、半音よりさらに細かく分けられた音程の音を発したり、この音程を連続的に変化させることもできるので、ヒーリング系の音楽等にもみられる独特の効果を醸し出すことができる。また、光センサ６ａ〜６ｃに用いられるＣｄＳセルは応答特性が良くないので、例えば映像の赤色成分が音階に従って段階的に変化しても、経過的にこれらの音階の間の音程が連続的に変化して聞こえる場合があり、これも音楽をマイルドにする特有の効果となり得る。
【００４２】
ただし、意図しない音量の連続的な変化は、楽譜上の休符を表現する上で不都合が生じる場合もある。休符は、通常は映像の緑色成分の明るさ（音量）を急激に０にすることで音量を下げて表現すればよいが、ＣｄＳセルを用いた場合は、音量が０になるまでの経過が音に現れるおそれがあるからである。また、色／音変換装置４の周囲の外光の影響があったり、その他の回路上の都合等により、入射光が十分に弱くなっても音量が完全に０にならない場合もある。
【００４３】
このような不都合を解消するためには、図３に示すように、音響信号発生回路７に休符回路７ｄを追加すればよい。この図３では、音色可変回路７ｃを省略して、青色成分に対応する光センサ６ｃをこの休符回路７ｄに用いている。また、応答特性を向上させるために、この光センサ６ｃだけは、光起電力素子であるフォトトランジスタを用いるようにしている。このフォトトランジスタも、受光光量に応じた信号レベルの電気信号を出力するものであり、具体的には受光光量に応じて電流を制御することができる。この休符回路７ｄは、映像の青色成分が暗くなって光センサ６ｃの受光光量が小さくなると、ベース電流が制限されてトランジスタＱが遮断されるので、これによって周波数可変発振器７ａのオペアンプＯＰの電源がＯＦＦとなり、音響信号の発生を停止させることができる。従って、この休符回路７ｄを用いれば、映像の青色成分を所定の明るさよりも暗くすることによって、フォトトランジスタからなる光センサ６ｃが速やかに応答して、音程や音量を過渡的に変化させることなく、音の発生を迅速に停止させることができる。
【００４４】
なお、図３では、音色可変回路７ｃを省略して休符回路７ｄを追加する場合を示したが、カラーフィルタ群５による入射光の色分離をＲＧＢの３色ではなく４色以上の光に分離するようにし、光センサもこれに応じて増やせば、音色可変回路７ｃを用いた音響信号発生回路７にこの休符回路７ｄを追加することもできる。
【００４５】
また、図４に示すように、図３に示した音響信号発生回路７を３組設けることにより、それぞれ音程と音量と休符が異なる３種類の音を同時に発することができるようになり、和音を発生したり、多重奏のようなことができるので、音の響きを複雑にして深みを加えることができる。
【００４６】
このように音響信号発生回路７を３組設けるためには、カラーフィルタ群５のカラーフィルタによる入射光の色分離を９色の光に分離するようにし、これに応じて光センサ群６の光センサ６ａ〜６ｉも９つに増やし、これらを光センサ６ａ〜６ｃと光センサ６ｄ〜６ｆと光センサ６ｇ〜６ｉの３つずつの３組に組分けする。ここで、赤色成分と橙色成分と黄色成分を第１組の音程と音量と休符に対応させ、緑色成分と青色成分と紫色成分を第２組の音程と音量と休符に対応させ、茶色成分と黄緑色成分と桃色成分を第３組の音程と音量と休符に対応させるものとし、それぞれの色成分に対応するカラーフィルタ群５のカラーフィルタを各光センサ６ａ〜６ｉの受光部の前面に取り付ける。そして、３組の各音響信号発生回路７の周波数可変発振器７ａと音量可変回路７ｂと音色可変回路７ｃに、それぞれの組の３つずつ（実際は周波数可変発振器７ａで２つの光センサ６ａ等を用いるので４つずつ）の光センサ６ａ〜６ｉを接続すればよい。
【００４７】
なお、図４では、３組の音響信号発生回路７の出力にそれぞれスピーカ８が接続されている場合を示したが、これらの音響信号発生回路７から出力される音響信号をミキサで混合して１つのスピーカ８で音を発するようにすることもできる。
【００４８】
〔実施形態の効果〕
以上説明した色／音変換装置４によれば、意図的に作成した映像（画面全体が同じ色でこの色が変化するだけの同一色の映像でもよいし、さまざまな色が種々のパターンで多数現れるものの、映像全体の色を平均すればこの同一色の映像と同になるようなものであってもよい）をプロジェクタ２で壁面３に投影し、この反射光を光センサ群６で受光することにより、意図通りの音楽等を奏でることができ、視聴者は壁面等の映像と音楽等の調和した変化を楽しむことができるので、ホテル等の公共施設や個人住宅等の室内のインテリア等として利用したり、視聴覚教育具や玩具等としても利用することができる。
【００４９】
特に人が懐中電灯やレーザーポインタ等を用いて壁面等に投影した映像に任意に光を当てたり、プロジェクタ２と壁面３との間を人や物等が遮ると、これによって音を変化させることができるので、単に予め記録された音楽付きの映像を再生しただけの場合とは異なり、視聴者に参加し介入する楽しみを与えたり偶然の意外性や驚きを与えることもできる。例えば、子供等が音程に対応する赤色のスポットライトを壁面３の映像に当てることで、奏でる音楽の音程を狂わせたり、このスポットライトを点滅させてトレモロのような効果を与えて遊ぶことができ、把手の付いた遮蔽版で映像を断続的に遮ることによりスタッカートのような効果を与えることもできる。しかも、フラッシュライトのような短い時間の経過中に音量や音色等に対応する色成分が急激に変化するような光源を用いれば、映像によって奏でられる音楽にタンバリンやカスタネット等のような音を加えることもでき、オーケストラのような多重奏の音楽の中で特定の楽器パートを視聴者がこれらの光を用いて担当するようなことも可能となる。
【００５０】
また、音に変換することを意図せず撮影された映像をプロジェクタ２で壁面３に投影したり、このようなプロジェクタ２や壁面３を利用することなく、実際の屋外の風景や室内の情景からの可視光をそのまま光センサ群６で受光すれば、これらの映像や風景、情景等の変化に応じて音程や音量等が変化するので、リラクゼーションのための環境音（環境音楽）やＢＧＭ等又は周囲の状況把握等に利用することができる。例えば自然の風景の場合には、風による木立のゆらぎや木漏れ日の変化、湖面のきらめき等に応じて音程や音量等を変化させることができ、街角の光景の場合には、街行く人や自動車の移動等に応じて音程や音量等を変化させることができ、室内の情景の場合には、人の動きや照明器具の点灯／消灯、台所での火の使用等に応じて音程や音量等を変化させることができる。さらに、例えば、水槽からの可視光を用いた場合、魚等の動きに応じて音程や音量等が変化するので、赤い金魚がゆらゆらと水槽内を横切ると、ちょうど風鈴のような涼しげな音を発生させることもできる。しかも、日差しが差し込んだり雲でかげったり、夕日による色調の変化や日没による明るさの変化等に応じて音程や音量等を変化させることもできる。
【００５１】
さらに、例えば映画や動画等の映像をプロジェクタ２で壁面３に投影するような場合、映像全体の平均的な色に応じた音を発することになるので、この平均的な色を楽譜の音符等に対応させて変化させれば、音楽を奏でることもできる。即ち、既存の映像について、その平均的な色が楽譜の音符等に対応するように、例えば音の情報に関与する色成分だけを巧妙に変化させたり、併せて音の情報に関与しない色成分を相補的に変化させ、また、画面の注目を集め難い周縁部分のみにこのような変化を加えれば、視聴者に気付かれずに映画や動画等の映像に音楽等の情報を埋め込むことが可能になる。また、このような色の変化を映像効果としての色合いの変化として視聴者に認識させるように加工して、音楽等の情報を埋め込むことも可能となる。従って、最初から音に変換することを意図して作成した映像ではなくて、意図せず撮影された映像等であっても、適宜の加工をすれば音楽を奏でるようにすることができる。
【００５２】
さらに、自動車等に上記色／音変換装置を搭載し、道路に楽譜の音符等に対応した色の塗装を施せば、メロディーロード（路面に凹凸を付けることにより、この上を走る自動車等の走行音が音楽として聞こえるようにしたもの）のように、この道路を自動車等が走行した際に音楽を奏でることができる。このようにすれば、メロディーロードの場合と同様に、走行速度が制限速度を過ぎると曲のテンポが早くなりすぎて耳障りになるので、速度超過を抑制することができる。また、メロディーロードの場合とは異なり、道路の周辺にとって不快な騒音を発生することがないだけでなく、道路の塗装を変更するだけで、容易に奏でる曲を変更できるので、例えば高速道路に新曲に対応した色の塗装を施せば、音楽産業の宣伝広告媒体とすることもでき、この広告料によって高速道路の利用者の高速料金を減額する等の幅広い利用が考えられる。
【００５３】
〔他の実施形態〕
なお、上記実施形態では、映像をプロジェクタ２で壁面３に投影する場合を示したが、投影する場所は壁面３には限定されず、スクリーンやカーテン、ビルの外壁面等の任意の場所に投影することができる。また、この映像は、プロジェクタ２で投影されたものに限らず、ディスプレイで再生されたものを用いることもできる。さらに、色／音変換装置４が受光する可視光は、光が変化するものであればどのようなものであってもよいので、上記のように自然の風景や室内の情景等をそのまま利用することもできる。
【００５４】
また、上記実施形態では、色分離手段としてカラーフィルタ群５を用いる場合を示したが、入射した可視光を複数の色の光に分離するものであればよいので、例えばダイクロイックプリズムを用いたり、分光プリズムや回折格子等の分光器を用いることもできる。分光器を用いる場合には、分光（分散）した光のスペクトル上の適宜位置に光センサを配置すればよい。
【００５５】
可視光を複数の色の光に分離するということは、可視光を特定の波長の光ごとに分離することであるが、現実には特定の波長の光のみを分離するのは困難なので、実際には特定の色の波長を中心としたある程度広がりのある帯域の光のみを分離することになる。そして、特にカラーフィルタのような場合には、帯域の端での光の透過率の減衰がなだらかになるので、他の色の帯域の端とある程度重なり合うことがあってもよい。ただし、このような帯域の端の重なりは、ノイズとなって音に現れるので、できるだけ避けることが好ましい。
【００５６】
また、上記実施形態では、光センサ６ａ〜６ｉとして、光導電素子であるＣｄＳセルと光起電力素子であるフォトトランジスタを用いる場合を示したが、応答特性や直線性等の精度が影響しない限り、いずれを用いることもできる。さらに、受光した光をその光量に応じた信号レベルの電気信号に変換するものであれば、ＣｄＳセルやフォトトランジスタに代えて、他の光導電素子や他の光起電力素子、その他の光電管等を用いることもできる。
【００５７】
また、上記実施形態では、音響信号発生回路７として、アナログシンセサイザーと同様のアナログ回路で構成する場合を示したが、光センサが出力した電気信号の信号レベルに応じた音程と、別の光センサが出力した電気信号の信号レベルに応じた音量等とを有する音響信号を発生するものであれば、このようなアナログ回路には限定されない。アナログシンセサイザーの場合、電圧によって制御される電圧制御発振器（ＶＣＯ）と電圧制御フィルタ（ＶＣＦ）と電圧制御増幅器（ＶＣＡ）とで構成されるので、受光光量に応じて起電力が変化する光センサを用いた場合や、その他の光センサであっても、抵抗値の変化等を電圧の変化に変換すれば、音響信号発生回路７としてこのアナログシンセサイザーを用いることも可能である。
【００５８】
さらに、音響信号発生回路７は、アナログ回路で構成する場合に限らず、ディジタル回路によって構成することもできる。この場合、受光光量に応じて信号レベルが変化する光センサの電気信号は、十分に細かいサンプリングと量子化を行ったディジタル値に変換することで、アナログ信号の連続性を損なうことはない。音響信号発生回路７をディジタル回路で構成すれば、ＰＣＭ音源のように予め設定した波形やサンプリングした波形を基本音色として利用することができる。そして、この場合には、最初にメモリに格納された基本音色の選択したり組合せを行う音色選択手段と、この基本音色の波形を加工して音程や音量を定める音程可変手段と音量可変手段とで構成されることになる。
【００５９】
以上説明したように、本発明の色／音変換装置は、単に可聴音の音程や音量等の属性情報を波長分割多重伝送して再び可聴音として再生するというだけのものではなく、搬送波として人が見ることができる可視光を用い、音程や音量等の属性情報も人が色あいや明暗の変化として感じることができる振幅変調を用いることにより、可視光の変化と可聴音の変化の調和を認識できるようにしたものなので、視覚と聴覚の相乗効果によってさまざまな目的での利用が可能となる。
【図面の簡単な説明】
【００６０】
【図１】本発明の一実施形態を示すものであって、色／音変換装置の構成とこの色／音変換装置の使用形態を示すブロック図である。
【図２】本発明の一実施形態を示すものであって、音響信号発生回路の構成を示す回路図である。
【図３】本発明の一実施形態を示すものであって、音響信号発生回路に休符回路を追加した場合の回路図である。
【図４】本発明の一実施形態を示すものであって、音響信号発生回路を３組設けた場合の回路図である。
【符号の説明】
【００６１】
１    パーソナルコンピュータ
２    プロジェクタ
３    壁面
４    音変換装置
５    カラーフィルタ群
５ａ  赤色フィルタ
５ｂ  緑色フィルタ
５ｃ  青色フィルタ
６    光センサ群
６ａ〜６ｉ  光センサ
７    音響信号発生回路
７ａ  周波数可変発振器
７ｂ  音量可変回路
７ｃ  音色可変回路
７ｄ  休符回路
８    スピーカ
【図１】
2010122566.tif 000005
【図２】
2010122566.tif 000006
【図３】
2010122566.tif 000007
【図４】
2010122566.tif 000008