(57)【要約】【課題】曲に対応した画像をディスプレイに表示させる方式においては、曲毎に適合した画像を事前に編集する必要がある。あるいは、曲に合わせて演出者が実時間で画像・照明を選定し、変化させ演出効果を付与する必要がある。この発明は、実時間で曲に適合した演出効果を付与することが出来る画像効果付与方法、画像効果付与装置およびプログラムを提供する。【解決手段】複数の画像データを記憶する画像記憶過程と、楽音の音高を指定する音高情報を含むＭＩＤＩ信号を受信する受信過程（ＳＰ２３０）と、前記複数の画像データの中から前記音高情報に対応する画像データを選択する画像選択過程（ＳＰ２４０）と、前記画像選択過程で選択された選択画像データを再生する画像再生過程（ＳＰ２４０）とを有する。【選択図】  図３
2004198807.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データを記憶する画像記憶過程と、
楽音の音高を指定する音高情報を含むシーケンス信号を受信する受信過程と、
前記複数の画像データの中から前記音高情報に対応する画像データを選択する画像選択過程と、
前記画像選択過程で選択された選択画像データを再生する画像再生過程と
を有することを特徴とする画像効果付与方法。
【請求項２】
前記画像データは、動画像データの中から一定間隔で選択された画像データである
ことを特徴とする請求項１記載の画像効果付与方法。
【請求項３】
前記シーケンス信号に含まれる強度情報によって、前記選択画像データに変化を与える過程を
さらに有することを特徴とする請求項１記載の画像効果付与方法。
【請求項４】
請求項１ないし３の何れかに記載の画像効果付与方法を実行することを特徴とする画像効果付与装置。
【請求項５】
請求項１ないし３の何れかに記載の画像効果付与方法を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＩＤＩ機器に用いて好適な画像効果付与方法、画像効果付与装置およびプログラムに関する。
【０００２】
【従来の技術】
コンサート、ダンスクラブ、各種展示会などのイベントにおいて、魅惑的な演出手段として、サウンドによる音響演出に加えて、ヴィジュアル的な画像演出を付加・融合することが行われている。たとえば、曲の変化に対応した画像をディスプレイに表示させたり、あるいは照明に変化を与えることなどが行われている。
【０００３】
【発明が解決しようとする課題】
しかし、曲に対応した画像をディスプレイに表示させる方式においては、曲毎に適合した画像を事前に編集する必要がある。あるいは、曲に合わせて演出者が実時間で画像・照明を選定し、変化させ演出効果を付与する必要がある。
この発明は、上述した事情に鑑みてなされたものであり、実時間で曲に適合した演出効果を付与することが出来る画像効果付与方法、画像効果付与装置およびプログラムを提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記課題を解決するため本発明にあっては、下記構成を具備することを特徴とする。なお、括弧内は例示である。
請求項１記載の画像効果付与方法にあっては、複数の画像データ（動画像データ、静止画像データ）を記憶する画像記憶過程と、楽音の音高を指定する音高情報（キーコード、ノート番号）を含むシーケンス信号（ＭＩＤＩ信号）を受信する受信過程（ＳＰ２３０）と、前記複数の画像データの中から前記音高情報に対応する画像データを選択する画像選択過程（ＳＰ２４０）と、前記画像選択過程で選択された選択画像データを再生する画像再生過程（ＳＰ２４０）とを有することを特徴とする。
さらに、請求項２記載の構成にあっては、請求項１記載の画像効果付与方法において、前記画像データは、動画像データの中から一定間隔で選択された画像データであることを特徴とする。
さらに、請求項３記載の構成にあっては、請求項１記載の画像効果付与方法において、前記シーケンス信号に含まれる強度情報（Velocity、タッチ情報）によって、前記選択画像データに変化（色調や明度の変化）を与える過程をさらに有することを特徴とする。
また、請求項４記載の画像効果付与装置にあっては、請求項１ないし３の何れかに記載の画像効果付与方法を実行することを特徴とする。
また、請求項５記載のプログラムにあっては、請求項１ないし３の何れかに記載の画像効果付与方法を実行させることを特徴とする。
【０００５】
【発明の実施の形態】
１．  実施形態の構成
本発明の一実施形態である画像効果付与装置の構成を図１を参照して説明する。
１０はＩ／Ｏインターフェースであり、ＭＩＤＩインターフェース、ＵＳＢインターフェースにより構成される。１５はＩ／Ｏ機器であり、各種スイッチ、表示パネルにより構成され、画像「取り込み開始」ボタン、「終了」ボタンが含まれる。２０は画像メモリであり、複数のフレーム画像が記憶される。ここで、フレーム画像とは１秒間３０コマの動画像を構成する１コマの静止画像をいう。３０はＡ／Ｄ変換器であり、テレビカメラ等によるアナログ映像信号をデジタル映像信号に変換する。４０はＤＳＰであり、画像メモリ２０に記憶されている画像データ、あるいはＡ／Ｄ変換器によるデジタル映像信号をデジタル信号処理する。５０はＤ／Ａ変換器であり、ＤＳＰ４０によって生成させられたデジタル映像信号をＤ／Ａ変換する。なお、Ａ／Ｄ変換器３０、ＤＳＰ４０、Ｄ／Ａ変換器５０は、テレビカメラ等が生成する映像信号（同期信号）に同期して動作する。６０はディスプレイであり、液晶パネルにより構成される。８０はＣＰＵシステムであり、ＣＰＵ、ＲＯＭ、ＲＡＭから構成され、ＲＯＭに格納されたプログラムに基づき各部を制御する。また、ＤＳＰ４０を介して取り込まれた画像データの修正・変更を行う。なお、ＲＡＭには画像データが圧縮されて記憶される。以上の要素により、画像効果付与装置１００が構成される。
【０００６】
また、２００はＭＩＤＩ鍵盤であり、ノートオンデータを含むＭＩＤＩ信号（シーケンス信号）を送出する。なお、ＭＩＤＩ鍵盤２００の鍵の数は「６１」である。３００は映像・画像ソースであり、テレビカメラ、ＶＴＲ、画像処理装置等が用いられる。ＭＩＤＩ鍵盤２００および映像・画像ソース３００は、画像効果付与装置１００に接続されている。
【０００７】
２．  実施形態の動作
本発明の一実施形態である画像効果付与装置１００は、ＭＩＤＩ鍵盤２００においてノートオンイベントが発生すると、当該ノートオンイベントに係るノートンデータに含まれるノート番号（キーコード）に対応した静止画像をディスプレイ６０に表示させるものである。そのために、複数の静止画像を事前に画像メモリ２０に取り込み、各キーコードに対して静止画像を割り当てておく必要がある。そこで、これらの動作について説明する。
【０００８】
（１）画像取り込み段階
画像取り込み段階においては、図２に示される画像取り込みルーチンが起動する。
ステップＳＰ１１０においては、取り込み条件の設定処理が行われる。具体的には、画像・映像ソースの選択および取り込み量の設定が行われる。画像・映像ソースの選択においては、テレビカメラ、ＶＴＲ等の選択が行われる。
【０００９】
取り込み量の設定においては、以下の３つの動作モードに対応して設定される。第１の動作モードは、テレビカメラ等によって取り込まれた動画像の全体をＣＰＵシステム８０内のＲＡＭに事前に圧縮・記憶し、ノートオンデータの受信によって記憶された動画像を伸長し、「必要なフレーム画像」のみを画像メモリ２０に転送・記憶し、該フレーム画像を再生する動作モードである。第２の動作モードは、撮像された動画像の全体をＣＰＵシステム８０内のＲＡＭに圧縮・記憶し、さらに動画像を伸長後「必要なフレーム画像」のみを画像メモリ２０に転送・記憶しておき、ノートオンデータの受信によって、画像メモリ２０に記憶された画像を再生する動作モードである。第３の動作モードは、動画像全体の中で「必要なフレーム画像」のみを取り込み、画像メモリ２０に記憶し、ノートオンデータの受信によって、再生する動作モードである。ここで、「必要なフレーム画像」とは、鍵盤の各鍵のキーコードに割り当てられ、再生に必要なフレーム画像をいう。なお、１秒間３０コマの動画像を１コマずつ鍵盤の各鍵に対応させ、再生すると、動きが細かくなり過ぎるので、再生されるフレーム画像が各鍵に、たとえば「５」コマのフレーム間隔で割り当てられる。なお、このフレーム間隔のことをＤframeという。
【００１０】
第１の動作モードおよび第２の動作モードにおいては、動画像の全体の取り込む時においてはフレーム間隔Ｄframeは未定であるから、必要な取り込み枚数は未定である。このため、数百枚程度の取り込み枚数あるいは取り込み時間がユーザにより設定される。第３の動作モードにおいては、鍵盤の鍵の数、例えば「６１」枚の取り込み枚数が設定され、Ｄframe間隔、例えば「５」コマのフレーム間隔で取り込まれる。そして、処理はステップＳＰ１３０に進む。
【００１１】
ステップＳＰ１３０においては、取り込み開始の指示があるか否かの判定が行われる。「取り込み開始」ボタンが押下されなければ「ＮＯ」と判定され、判定が繰り返される。一方、「取り込み開始」ボタンが押下されれば、「ＹＥＳ」と判定され、処理はステップＳＰ１４０に進み、ＤＳＰ４０およびＡ／Ｄ変換器３０に対して画像取り込みの指示が行われる。それにより、映像・画像ソース３００からのアナログ映像信号が、Ａ／Ｄ変換器３０によりデジタル映像信号に変換され、ＤＳＰ４０により、画像データとして取り込まれる。そして、取り込まれた画像データは、画像メモリ２０に記憶される。さらに、第１の動作モードおよび第２の動作モードについては、ＣＰＵシステム８０により、同期信号の帰線期間を利用してＣＰＵシステム８０内部のＲＡＭに圧縮・転送され記憶される。そして、処理はステップＳＰ１５０に進む。
【００１２】
ステップＳＰ１５０においては、画像取り込みが完了したか否かが判定される。必要枚数の画像取り込みが完了していなければ「ＮＯ」と判定され、判定が繰り返される。一方、画像取り込みが完了すれば、「ＹＥＳ」と判定され、処理はステップＳＰ１６０に進み、画像取り込みの完了表示が表示パネルにされる。そして、本ルーチンは終了する。さらに、複数種類の画像・映像データが取り込まれる場合においては、図２のルーチンが繰り返される。
【００１３】
（２）フレーム画像再生段階
ＭＩＤＩ鍵盤２００の押鍵により、キーコードに対応した画像を再生する場合においては、図３に示されるルーチンが起動する。
ステップＳＰ２１０においては、フレーム画像再生条件の設定処理が行われる。具体的には、複数種類取り込まれた画像・映像データの中から再生される選択が行われる。また、前述の第１の動作モードおよび第２の動作モードにおいては、半音当たりのフレーム間隔たとえば「５」コマがユーザによって指定され、その値が「Ｄframe」に設定される。但し、第３の動作モードにおいては、既に例えば「５」コマ毎に画像が取り込まれているので設定されない。さらに、取り込まれた動画像についての最初のフレーム画像が指定され、最低音鍵キーコードＫＣ「０」がスタートフレームframe［０］に割り当てられる。また、必要に応じて、タッチ情報（Velocity）と映像効果とを対応づけても良い。たとえば、タッチ情報に応じて、画像全体または一部の色調の濃度を変えたり、明度が変化するように、タッチ情報と色調や明度とを関連付けてもよい。そして、処理はステップＳＰ２２０に進む。
【００１４】
ステップＳＰ２２０においては、画像データがＣＰＵシステム８０内のＲＡＭから画像メモリ２０に転送され、記憶される。第１の動作モードにおいては、ノートオンデータの受信によって、この動作が行われるので、本ステップにおいては転送・記憶が行われない。第２の動作モードにおいては、ＲＡＭに記憶された動画像が伸長され、Ｄframeで設定されたコマ数の間隔で転送・記憶される。具体的にframe［０］からｘ番目の鍵に対応するフレーム画像frame［ｘ＊Ｄframe］が画像メモリ２０に転送・記憶される。第３の動作モードにおいては、既に画像取り込み段階で画像メモリ２０に記憶されているので、このステップの動作が行われない。そして、処理はステップＳＰ２３０に進む。
【００１５】
ステップＳＰ２３０においては、ＭＩＤＩキーイベントが発生したか否かが判定される。具体的には、ＭＩＤＩ信号としてノートオンデータを受信したか否かが判定される。ノートオンデータでなければ、「ＮＯ」と判定され判定が繰り返される。一方、ノートオンデータであれば、「ＹＥＳ」と判定され、処理はステップＳＰ２４０に進む。
【００１６】
ステップＳＰ２４０においては、キーイベントデータに対応するフレームの再生処理がＤＳＰ４０、Ｄ／Ａ変換器５０に指示される。ここで、第１の動作モードにおいては、ノートオンデータの受信によって、ＣＰＵシステム８０内のＲＡＭに記憶された動画像が、ＣＰＵシステム８０によって伸長され、キーコードＫＣｘに対応するフレームの画像frame［ＫＣｘ］すなわち（ｘ＊Ｄframe）番目のフレーム画像が画像メモリ２０に同期信号の帰線期間を利用して転送・記憶される。そして、画像メモリ２０からＤＳＰ４０によって、Ｄ／Ａ変換器５０に転送される。その結果、Ｄ／Ａ変換器５０によって映像信号に変換され、ディスプレイ６０により映像化される。第２の動作モードおよび第３の動作モードにおいては、ノートオンデータの受信によって、画像メモリ２０に記憶された画像frame［ＫＣｘ］がＤＳＰ４０によって、Ｄ／Ａ変換器５０に転送され、ディスプレイ６０に再生される。なお、ＤＳＰ４０、Ｄ／Ａ変換器５０、画像メモリ２０においてはこれらの再生処理が繰り返される。
【００１７】
なお、タッチ情報（Velocity）が強くなるほど明度が明るくなるように処理する等、タッチ情報に基づいて様々な効果を付与してもよい。これらの処理は、画像再生処理の前に同期信号の帰線期間を利用して、ＤＳＰ４０によって必要に応じて行われる。そして、処理はステップＳＰ２５０に進む。
【００１８】
ステップＳＰ２５０においては、フレーム画像の転送処理が完了したか否かが判定される。すなわち、第１の動作モードにおいて、必要な画像データがＲＡＭから画像メモリ２０に転送されたか否かが判定される。フレーム画像の転送処理が完了していなければ「ＮＯ」と判定され、判定が繰り返される。一方、フレーム画像の転送処理が完了すれば、「ＹＥＳ」と判定され、処理はステップＳＰ２６０に進む。なお、第２の動作モードおよび第３の動作モードにおいては、既に画像メモリ２０に転送されているので「ＹＥＳ」と判定される。ステップＳＰ２６０においては、フレーム再生動作終了の操作がされているか否かが判定される。Ｉ／Ｏ機器１５内の「終了」ボタンが押下されていなければ「ＮＯ」と判定され、ステップＳＰ２３０に戻る。一方、「終了」ボタンが押下されていれば「ＹＥＳ」と判定され本ルーチンが終了する。
【００１９】
以上のように本実施形態によれば、ＭＩＤＩ鍵盤２００の演奏操作と、再生画像とが同期化され、あるいは関連付けされる。すなわち、キーコードに割り当てられたフレーム画像が、ＭＩＤＩ鍵盤２００の押鍵により実時間で再生される。特に、鍵盤を低音から高音へ（あるいは高音から低音へ）押鍵することにより連続動画像が再生される。それにより、よりアトラクティブなサウンド・ヴィジュアル効果を演出することが出来る。
【００２０】
３．  変形例
本発明は上述した実施形態に限定されるものではなく、例えば以下のような種々の変形が可能であり、全て本発明の範疇に含まれる。
（１）上記実施形態においては、各動作モード共に動画像を「５」コマごとの等間隔に再生したが、必ずしも「５」コマでなくてもよく、等間隔でなくても良い。画像自体も時間的に連続した動画像でなくてもよく、独立した静止画像をデジタルカメラ、スキャナを用いて撮像し、画像メモリ２０に複数記憶し、これをキーコードに割当て、再生しても良い。
（２）上記実施形態においては、タッチ情報（Velocity）によって、色調や明度の変化を行う関連付けを行ったが、音色情報と画像の種類との関連付けを行っても良い。
（３）上記実施形態においては、取り込んだ画像をＣＰＵが圧縮してＲＡＭなどに記憶し、選択指示があったらＲＡＭから読み出して伸長するようにしたが、圧縮・伸長処理は必須のものではない。また、圧縮伸長処理はＤＳＰ４０で行ってもよい。さらに、画像メモリ２０から取り込んだ画像を他の記憶装置に転送することも必須ではなく、画像メモリ２０に所定量の画像データが取り込まれたら、そのデータをそのまま使うようにしてもよい。
（４）上記実施形態は、ＲＯＭに格納されたプログラムによって画像効果付与方法を実行したが、パーソナルコンピュータ上で動作するアプリケーションプログラムによっても実行することが出来る。アプリケーションプログラムをＣＤ−ＲＯＭ、フレキシブルディスク等の記憶媒体に格納して頒布し、あるいは電気通信回線を通じて頒布してもよい。
【００２１】
【発明の効果】
以上説明したように本発明の構成によれば、複数の画像データの中から、音高情報に対応して選択された選択画像データを再生することが出来る。
【図面の簡単な説明】
【図１】本発明による一実施形態である画像効果付与装置の構成図である。
【図２】画像取り込み時のフローチャートを示す図である。
【図３】画像フレーム再生時のフローチャートを示す図である。
【符号の説明】
１０…Ｉ／Ｏインターフェース、２０…画像メモリ、３０…Ａ／Ｄ変換器、４０…ＤＳＰ、５０…Ｄ／Ａ変換器、６０…ディスプレイ、８０…ＣＰＵシステム、１００…画像効果付与装置、２００…ＭＩＤＩ鍵盤、３００…映像・画像ソース
【図１】
2004198807.tif 000003
【図２】
2004198807.tif 000004
【図３】
2004198807.tif 000005