(57)【要約】【課題】顔画像の認識結果に基づいてＭＩＤＩメッセージを生成し、当該ＭＩＤＩメッセージによりＭＩＤＩ機器を制御することで、当該顔画像の変化に対応した音声出力をなすこと。【解決手段】本発明の制御システムは、入力された画像データの中で顔の所定部位の位置を検出し数値データとして出力する第１の機能と、この数値データを指定されたアルゴリズムを利用して変換処理しＭＩＤＩメッセージを生成する第２の機能と、予め所定の表現効果や所定のＭＩＤＩ機器の操作に係るパラメータをプリセットする第３の機能と、を備え、上顔の所定部位の位置の変化に基づいてＭＩＤＩ機器の音声出力を制御する制御手段を有し、制御手段は、ＭＩＤＩメッセージの少なくとも一部を顔の所定部位の位置の変化に連動して動的に変更し、上記第３の機能により所定のパラメータが指定された場合には上記ＭＩＤＩメッセージの生成に際して当該パラメータを参照する。【選択図】      図１
2006064973.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データの中で顔の所定部位の位置を検出し数値データとして出力する第１の機能と、この数値データを指定されたアルゴリズムを利用して変換処理しＭＩＤＩメッセージを生成する第２の機能と、予め所定の表現効果や所定のＭＩＤＩ機器の操作に係るパラメータをプリセットする第３の機能と、を備え、上顔の所定部位の位置の変化に基づいてＭＩＤＩ機器の音声出力を制御する制御手段を有し、
上記制御手段は、ＭＩＤＩメッセージの少なくとも一部を顔の所定部位の位置の変化に連動して動的に変更し、上記第３の機能により所定のパラメータが指定された場合には上記ＭＩＤＩメッセージの生成に際して当該パラメータを参照することを特徴とする制御システム。
【請求項２】
補間基準となる第１のフレームレートと使用する第２のフレームレートを設定し、補間用のアルゴリズムを指定し、上記第１及び第２のフレームレートの比率を算出し、当該比率に基づいて補間処理を行う機能を更に有することを特徴とする請求項１に記載の制御システム。
【請求項３】
予め設定された基準値と現在の特徴点の分布を基に母音を特定し、割り出された母音に対応する効果を発現するようにＭＩＤＩメッセージを生成することを更に特徴とする請求項１に記載の制御システム。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＩＤＩ機器等の出力を制御する制御システムに関する。
【背景技術】
【０００２】
従来、画像認識技術の向上により、当該認識結果に基づいて様々な制御を行う種々の技術が提案されている。例えば、特許文献１では、前処理部においてビデオカメラにより取り込まれた画像から入力パターンが作成され、比較処理部において入力パターンと関数学習記憶部に記憶されている基本パターンとが比較され、変形量が算出され、当該変形量の分析結果に基づいて標準パターンが更新される技術が開示されている。
【０００３】
一方、今日では、電子楽器をＭＩＤＩ(Musical Instrument Digital Interface)メッセージにより制御することが一般的になされているが、当該ＭＩＤＩメッセージは、入力された音をＭＩＤＩ規格に基づいてコード化したものであり、所定のアプリケーションソフトウェアにより生成されている。しかるに、ＭＩＤＩメッセージを電子楽器等に出力するにあたり、当該ＭＩＤＩメッセージを演奏者の顔画像の変化等に基づいて音声出力が可変となるように制御することは、独自のアプリケーションソフトウェアを要することから、前述したように顔画像の認識精度が向上されている今日においても、未だに実現されておらず、その実現が嘱望されているところである。
【特許文献１】特開平０６−０８９３４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述したように、例えば演奏者等の顔画像の変化等に基づいて音声出力が可変となるようにＭＩＤＩメッセージを生成することは、具体的にどのようにＭＩＤＩメッセージを生成すべきか未だに実現されていないのが実情である。
【０００５】
本発明は、顔画像の認識結果に基づいてＭＩＤＩメッセージを生成し、当該ＭＩＤＩメッセージによりＭＩＤＩ機器を制御することで、当該顔画像の変化に対応した音声出力をなすことを可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の第１の態様では、入力された画像データの中で顔の所定部位の位置を検出し数値データとして出力する第１の機能と、この数値データを指定されたアルゴリズムを利用して変換処理しＭＩＤＩメッセージを生成する第２の機能と、予め所定の表現効果や所定のＭＩＤＩ機器の操作に係るパラメータをプリセットする第３の機能と、を備え、上顔の所定部位の位置の変化に基づいてＭＩＤＩ機器の音声出力を制御する制御手段を有し、上記制御手段は、ＭＩＤＩメッセージの少なくとも一部を顔の所定部位の位置の変化に連動して動的に変更し、上記第３の機能により所定のパラメータが指定された場合には上記ＭＩＤＩメッセージの生成に際して当該パラメータを参照することを特徴とする制御システムが提供される。
【０００７】
本発明の第２の態様では、上記第１の態様において、補間基準となる第１のフレームレートと使用する第２のフレームレートを設定し、補間用のアルゴリズムを指定し、上記第１及び第２のフレームレートの比率を算出し、当該比率に基づいて補間処理を行う機能を更に有することを特徴とする制御システムが提供される。
【０００８】
本発明の第３の態様では、上記第１の態様において、予め設定された基準値と現在の特徴点の分布を基に母音を特定し、割り出された母音に対応する効果を発現するようにＭＩＤＩメッセージを生成することを更に特徴とする制御システムが提供される。
【発明の効果】
【０００９】
本発明によれば、顔画像の認識結果に基づいてＭＩＤＩメッセージを生成し、当該ＭＩＤＩメッセージによりＭＩＤＩ機器を制御することで、当該顔画像の変化に対応した音声出力をなすことを可能とする制御システムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明の実施の形態について説明する。
【００１１】
ここでは、制御システムの一例としてＭＩＤＩ機器制御システムを例に挙げて説明するが、当該システムの機能を有する組み込み機器も本発明に含まれる。
【００１２】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係るＭＩＤＩ機器制御システムの構成図である。
【００１３】
この図１に示されるように、制御システムは、全体の制御を司るコンピュータ１とビデオカメラ４、ビデオキャプチャーボード２、ＭＩＤＩメッセージ送信機器５、ＭＩＤＩインタフェース３、音源モジュール６からなる。そして、コンピュータ１には、詳細は後述するが、顔の画像データを解析し、その解析結果からＭＩＤＩメッセージを生成するためのアプリケーションソフトウェア（以下、アプリケーションと称する）１ａがインストールされている。この実施の形態で採用されるビデオキャプチャーボード２、ＭＩＤＩインタフェース３は、アプリケーション１ａ上で切り替え可能である。即ち、これらビデオキャプチャーボード２、ＭＩＤＩインタフェース３は共に、内蔵、外付けの別は問わないが、アプリケーション１ａがその機能を正常に使用できるものに限る。尚、請求項記載の制御手段とは例えば上記コンピュータ１に相当する。但し、これに限定されない。
【００１４】
このような構成において、アプリケーション１ａ上で使用する外部入力データは、ＭＩＤＩインタフェース３を介して送られてくるＭＩＤＩメッセージによる演奏情報（＃３）と、ビデオキャプチャーボード２に入力される顔の画像データ（＃２）である。
【００１５】
尚、画像データはアプリケーション１ａが顔として認識できるものに限るが、必ずしも演奏者の顔でなくても良い。画像データは、演奏者の顔を捉えたビデオカメラの画像データをコンピュータ１上で扱えるように、指定したビデオキャプチャーボード２の入力端子に入れ(＃１)、それをアプリケーション１ａ上で取得し解析する。
【００１６】
一方、ＭＩＤＩメッセージによる演奏情報は、演奏者がＭＩＤＩメッセージ送信能力を有する楽器等を演奏することにより発生する一連のＭＩＤＩメッセージを、コンピュータ１上で扱えるようにＭＩＤＩインタフェース３に受け取らせ（＃４）、そのＭＩＤＩメッセージを、アプリケーション１ａ上で映像解析の結果生成されたＭＩＤＩメッセージとマージし、ＭＩＤＩインタフェースのMIDI OUT端子よりＭＩＤＩ規格対応の音源モジュール６のMIDI IN端子にメッセージを送り（＃５）、最終的に音源モジュール６より波形データとして出力する。
【００１７】
このＭＩＤＩメッセージのマージ処理については、多数のＭＩＤＩケーブルの配線や機器設定等の手間や判りにくさを軽減するためのものであり、音源モジュール６に複数のMIDI IN端子が付いており、且つ同時に複数の端子からの処理ができる機器がある場合等には、不要である。
【００１８】
次に図２はアプリケーション１ａ内部の処理ルーチンを更に詳細に示した図である。
【００１９】
図２に示されるように、アプリケーション１ａは、顔画像解析ルーチン１ｂと顔のパーツデータからＭＩＤＩメッセージを生成するルーチン１ｃ、操作の為のパラメータを指定するルーチン１ｄ、使用アルゴリズム指定ルーチン１ｅからなる。
【００２０】
そして、アプリケーション１ａは、映像データ(図１の＃２)を顔画像解析のルーチン１ｂに送る。すると、顔画像解析ルーチン１ｂは、受け取った画像データから人間の顔の位置を把握し、さらにその中から、例えば“左目の瞳孔のＸ座標”、“右の鼻の穴のＹ座標”、“口の左端のＸ座標”等といった、顔の各パーツの位置情報を、主に数値データとして複数個出力する（図２においてデータＤ１，Ｄ２，Ｄ３…と図示）。
【００２１】
出力された数値データＤ１,Ｄ２，Ｄ３…は、顔のパーツデータからＭＩＤＩメッセージを生成するルーチン１ｃに送られる。このルーチン１ｃは、受け取ったデータを、操作の為のパラメータ指定ルーチン１ｄで指定されたパラメータ、使用アルゴリズム指定ルーチン１ｅで指定されたアルゴリズムの中で利用し、変換処理を行う。
【００２２】
そして、最終的な処理結果であるＭＩＤＩメッセージを、ここでは不図示のバッファ内に生成する。このＭＩＤＩメッセージを、ＭＩＤＩインタフェース３を介して音源モジュール６に対して出力する事で、一つの操作が完了することになる。
【００２３】
尚、上記ルーチン１ｃの処理の例として、「左目のＸ座標の位置の数値データを画面の左端を０（最小値）、右端を１２７（最大値）に割り当てた、ＭＩＤＩメッセージのボリュームの値に一次変換して出力する」等が挙げられる。また、以上は顔画像解析ルーチン１ｂと、顔パーツデータからＭＩＤＩメッセージを生成するルーチン１ｃを主に利用したものであるが、それらを変更もしくは追加することにより、更なる機能を実現できる。
【００２４】
ここで、前述したような解析に使用するための映像データの要件について説明する。
【００２５】
前述した解析に使用するためには、映像の中に、使用者の顔が「人間の顔」として認識できる位置・大きさで映っている事が要件として要求される。「人間の顔」として認識されるためのより具体的な要件は、顔画像認識で使用している解析エンジンの仕様により流動することは勿論である。
【００２６】
次に出力されるＭＩＤＩメッセージの構造について説明する。
【００２７】
最終的に出力されるデータはＭＩＤＩメッセージ形式である。本実施の形態で採用されるメッセージ型は、主にコントロールチェンジであるが、それ以外にシステムエクスクルーシブメッセージ等種々のMIDIメッセージ型の使用も考えられる。ここで例として説明するコントロールチェンジは１バイトのステータスバイトと、２バイトのデータバイトからなる計３バイトのＭＩＤＩメッセージである。その中で操作するパラメータを決めるのは第１データバイトであるため、ユーザーが任意の処理をリストの中から選択した場合、自動的に選択した処理と対応した既定の値が使用される事となる。
【００２８】
例えば、ユーザーが操作したい処理に「ボリューム」を選択したとすると、ＭＩＤＩ規格におけるコントロールチェンジのボリュームのパラメータ番号である7(07H)が、生成されるコントールチェンジの第１データバイトとなる。
【００２９】
一方、コントロールチェンジにおいて、処理の効果量を決めるのは第２データバイトである。この値は、顔パーツの変化と連動して、動的に変化する。詳しくは後述するが、内部処理上、顔パーツの変化は顔パーツの特徴点の座標により検出するため、座標値から第２データバイト値への変換アルゴリズムが必須となる。このようなアルゴリズムの違いにより、操作感が全く異なる事となるため、実用に際しては適切なアルゴリズム選択を行う事も必要である。尚、詳細は後述する第２の実施の形態のプリセットによる効率的な顔パーツの制御を実行すれば、この問題を緩和する事が出来る。
【００３０】
また、ステータスバイトは、コントロールチェンジを使用する限り0xBn（nはＭＩＤＩチャンネル0x00〜0x0F）を固定的に使用することとなる。つまり、ステータスバイト、第１データバイトはユーザーが処理を選択した時点で値は略固定され、第２データバイトはユーザーの顔パーツの動きに合わせ自由に変化させることになる。
【００３１】
以下、図３のフローチャートを参照して、本発明の第１の実施の形態に係るＭＩＤＩ機器制御システムによる全体処理の流れを詳細に説明する。
【００３２】
この処理を開始すると、先ず使用するビデオキャプチャーボード２の指定を行い（ステップＳ１）、続いて使用する顔パーツ、座標軸の指定を行う（ステップＳ２）。
【００３３】
最も基本的な顔画像情報の利用方法は、顔パーツの特徴点の座標位置の値をそのままＭＩＤＩ変換のパラメータとして利用することである。特徴点とは、例えば「上唇中央」の特徴点という場合、「上唇中央の座標位置を決定する点」を示すもので、この特徴点の変化を、その顔パーツの特定の部位の座標を決定する点の変化として考える。このような特徴点を複数利用する事で、例えば「下唇中央のＹ座標」と「上唇中央のＹ座標」との差を、「口の開き具合」等としてまとめる事もできる。
【００３４】
続いて、操作するＭＩＤＩ機器（ｍ．１）、ＭＩＤＩチャンネル（ｍｃ．１）の指定を行い（ステップＳ３）、操作するコントロールの指定を行う（ステップＳ４）。
【００３５】
そして、顔パーツ位置からＭＩＤＩメッセージへの変換用アルゴリズム（ａｇ．１）の指定を行う（ステップＳ５）。ここでは、顔パーツの特徴点の座標を、例としてコントロールチェンジの第２データバイトの値（Ｙ１）に変換するアルゴリズムを指定する。
【００３６】
例えば、指定した顔パーツの特徴点の座標（Ｘ１）が、ビデオカメラ３のフレームの右端に近いほど値が大きくなり、左端に近いほど値が小さくなる、というアルゴリズムは以下のようなものとなる。
【００３７】
Ｙ１＝Ｘ１＊１２７／Ｚ１[フレームの横長]
尚、Ｙ１は１２７以下であることが必要であり、キャプチャされる画像が３２０＊２４０ｄｐｉであるとき、Ｚ１の値は３２０となる。これは、最も単純なアルゴリズム例であり、事実上無数のアルゴリズムが考えられる。また、前述のように、望む操作や効果により、最適なアルゴリズム選択が行われるべきである。
【００３８】
以上のステップＳ１乃至Ｓ５は順不同であり、どの処理から開始してもよい。
【００３９】
さて、ビデオキャプチャーボード２より画像データがアプリケーション１ａ側に入力されると（ステップＳ６）、アプリケーション１ａでは、顔画像解析ルーチン１ｂが顔画像の解析処理を行う（ステップＳ７）。そして、画像データの中に顔が認識されたか否かを判定し（ステップＳ８）、顔が認識された場合には、使用する顔パーツ（ｐ．１）の座標位置（ｆｐ．１）を抽出し（ステップＳ９）、この抽出した座標値をアルゴリズム（ａｇ．１）に適用し（ステップＳ１０）、操作するＭＩＤＩ機器（ｍ．１）のＭＩＤＩチャンネル（ｍｃ．１）にＭＩＤＩメッセージを出力する（ステップＳ１１）。そして、トラック数分の処理が終わったか否かを判断し（ステップＳ１２）、トラック数分の処理が終わっていなければ次のトラック処理に移り（ステップＳ１３）、上記ステップＳ９に戻って上記同様の処理を繰り返し、トラック数分の処理が終わっていれば、続いて「停止」もしくは「終了」の命令が出ているかを検出し（ステップＳ１４）、いずれの命令も出ていない場合には上記ステップＳ６に戻り、上記同様の処理を繰り返し、いずれかの命令が出ている場合には、本処理を終了する。尚、上記ステップＳ８で画像の中に顔が認識されなかった場合も、このステップＳ１４に移行し、上記説明したとおりの処理を実行することになる。
【００４０】
ここで、上記ステップＳ２乃至Ｓ５の処理を１トラック分として、複数トラックの指定を可能にすることもできる。即ち、一度の顔画像解析結果により複数の処理を実現することもできる。この場合、異なるトラックで同一のパーツや効果を指定することも可能である。
【００４１】
以上説明したように、本発明の第１の実施の形態では、ビデオカメラ４で撮像されビデオキャプチャーボード２を介して入力された画像データの中で顔の位置がどこかを検出し数値データとして出力する顔画像解析ルーチン１ｂと、この数値データを指定されたアルゴリズムを利用して変換処理しＭＩＤＩメッセージを生成するルーチン１ｃとを有するアプリケーションソフトウェア１ａを実装したコンピュータ１により、演奏者の顔画像の所定部位の変化に基づいてＭＩＤＩ機器からの音声出力を制御することが可能となる。より詳細には、ＭＩＤＩメッセージのコントロールチェンジにおいて、第２データバイトの情報を顔パーツの変化に連動して動的に変更することで処理の効果量を可変することができる。顔の所定部位の変化は座標値により把握されることから、当該座標値から第２データバイト値への変換がなされることになる。
【００４２】
（第２の実施の形態）
前述した第１の実施の形態では、操作者側で音量、定位等、音楽の構成要素を一から指定していく必要があったが、第２の実施の形態に係るＭＩＤＩ機器制御システムでは、予め一般的な表現効果や任意の楽器の操作に特化した、いくつかの設定をプリセットしている。従って、第２の実施の形態では、ユーザーはプリセットされた複数の情報より所望とするものを選択することで、目的とする表現効果を使用することができる。また、実際の楽器で表現できる効果には様々なものがあり、楽器によってできる事とできない事が違うが、第２の実施の形態によれば、実際の楽器の操作に近づける事を高度な知識がなくても行うことができるようになる。さらに、より正確なシミュレートを行うためにはより多くの設定パラメータが必要とされる。その結果、インタフェースは入り組んでいく事となる。
【００４３】
しかし、第２の実施の形態では、固定されたフォーマットで固定された値を持っておき、それを読み込むだけで済むので、画面に表示されるコントロールの数は最低限のもので済みインタフェースの簡略化ができる。以下、詳述する。
【００４４】
先ず、図４を参照して、第２の実施の形態に係るＭＩＤＩ機器制御システムによるプリセットの構造及び特徴を具体的に説明する。ここでは、その一例として、エレクトリックギター(以下、Ｅギターと称する)の操作を考えることにする。
【００４５】
このＥギターの表現効果には、ベンディング、ハーモニクス、タッピング、チョーキング、ハンマリング、スライド等の多くの手法が存在する。これらは実際のＥギターの奏法上、重要なものであり、よりＥギターに近いシミュレートを行うためには必須のものである。しかしながら、ギターのことはよく分からないが、本発明によるＭＩＤＩ機器制御システムを使って手軽に演奏にギターらしさを出したいと所望するユーザーにとっては、その変換アルゴリズムやパラメータの構築は困難なものであり、ギターに熟練した人でも、手間がかかることは明白である。このような場合のため、予め図示の如き「Ｅギター奏法１」等のプリセットを用意し、ユーザーがそれを選択する事で、Ｅギターの演奏方法に最適化された変換アルゴリズムやパラメータ値が得られるようにする。従って、ユーザーは最小限の操作で最適な操作感を得る事ができる。この例では、トラック設定として対象とする顔のパーツ、変換アルゴリズム、出力されるコントロール対象を自動設定することができるようになっている。さらに、このアルゴリズムに関しては、ギターであれば、チョーキング用、スライド用等と複数のアルゴリズムが用意されている。
【００４６】
さらに、プリセットされるパラメータの一部として、ユーザの顔の特徴やカメラの撮影距離等を予め記憶しておけば、プリセットの選択によりユーザの個人差や使用される環境の違いが原因となる制御の誤差や精度低下を防ぐことが可能となる。
【００４７】
以下、図５のフローチャートを参照して、本発明の第２の実施の形態に係るＭＩＤＩ機器制御システムによる全体処理の流れを詳細に説明する。
【００４８】
尚、第２の実施の形態に係るＭＩＤＩ機器制御システムの基本的な構成は図１，２と略同様であるので、同一構成について同一符号を用いて、以下適宜引用する。
【００４９】
この処理を開始すると、先ず使用するビデオキャプチャーボード２の指定を行い（ステップＳ２１）、操作するＭＩＤＩ機器（ｍ．１）の指定を行い（ステップＳ２２）、使用するプリセットの指定（ｐｒ．１）を行う（ステップＳ２３）。そして、使用するプリセットを基にトラック毎のアルゴリズム、コントロール、ＭＩＤＩチャンネルの設定を行う（ステップＳ２４）。以降の処理は、図３のステップＳ６〜Ｓ１４と同様の処理であるので、ここでは重複した説明は省略する。
【００５０】
以上説明したように、本発明の第２の実施の形態では、前述した第１の実施の形態の効果に加えて、一般的な表現効果や任意の楽器の操作に特化した、いくつかの設定をプリセットし、当該プリセットされた情報より所望とするものを選択可能とすることで、目的とする表現効果を簡易に使用することが可能となっている。尚、このプリセットは、図２の操作の為のパラメータ設定ルーチン１ｄが図２では不図示であったプリセットに係るテーブルを参照することで実現されることになる。
【００５１】
（第３の実施の形態）
この第３の実施の形態に係るＭＩＤＩ機器制御システムは、フレームレート（画像解析処理が行われる時間周期）が低い場合における補間処理を更に加えたものである。
【００５２】
前述した第１の実施の形態では、画像解析処理が終了した時点で変換処理を開始しているため、図６に示されるように、フレームレートが低い環境であればある程、フレーム間毎の時間が開くことになり、その結果、あるフレームとその次のフレームの処理結果がより飛躍したものとなる場合が多く考えられる。図６（ｂ）と図６（ａ）とを比較すると、前者は後者の３分の１のフレームレート（低フレームレート）であるため、フレームＦ２とフレームＦ３の間の処理が発生せずに、値の変化が急激なものとなる。
【００５３】
従って、音楽の表現効果として連続した滑らかなもの（例えば、ギターの奏法の一つであるベンディング等）が要求された場合には、低フレームレート環境では人間の耳に満足な効果をもたらす事が難しくなる事がある。
【００５４】
そこで、第３の実施の形態に係るＭＩＤＩ機器制御システムでは、あるフレームを処理した時点で、その顔パーツの座標位置を保持しておき、次のフレームの処理で、保持した座標位置との座標の差を算出し、その値といくつかの設定を基にフレームの間にどのような動きがあったかをシミュレートし、ＭＩＤＩ機器操作に反映させることで、効果の跳躍による不自然な変化を防止する。
【００５５】
以下、図７のフローチャートを参照して、本発明の第３の実施の形態に係るＭＩＤＩ機器制御システムによる全体処理の流れを詳細に説明する。
【００５６】
ここでは、低フレームレート時の処理の補間を中心に説明する。
【００５７】
尚、第３の実施の形態に係るＭＩＤＩ機器制御システムの基本的な構成は図１，２と略同様であるので、同一構成について同一符号を用いて、以下適宜引用する。
【００５８】
この処理に入ると、先ず補間基準となるフレームレートの設定（ｆｒ．１）を行う（ステップＳ２１）。シミュレート時、生成するフレーム間の補間フレーム数を決定するために必要であるが、例えば単純に二つの比率の補間フレームを生成する設定で、この値を30(fps)とし、使用するフレームレートを10(fps)とすると、その商である３枚分の補間フレームがシミュレートによって生成される事となる。
【００５９】
続いて、使用するフレームレートの設定（ｆｒ．２）を行う（ステップＳ３２）。この設定は、ステップＳ２１と同様の理由で必要となるものであるが、補間するとの観点からｆｒ．２の値はｆｒ．１の値を上回ってはならないものとする。
【００６０】
次いで、補間シミュレート用アルゴリズムの指定（ａｇ．１）を行うことになる（ステップＳ３３）。例えば、あるフレームの指定された顔パーツ座標位置（例えば図３の（ｐ．１）等）が（０，５）、その次のフレームの座標位置(例えば図３の（ｐ．１）)が（０，２５）であった場合、その変化量は分かっても、変化の過程は何通りも考えられるため（例えば、等速で移動した場合、途中で加速した場合、減速した場合等）、そのシミュレートのために事前に関数式などで指定しておく必要があるのである。
【００６１】
これに続いて、図３のステップＳ１〜Ｓ７と同様の処理を実行する。
【００６２】
そして、基準フレームレート（ｆｒ．２）と使用フレームレート（ｆｒ．１）との比率を算出（ｖ．１）し（ステップＳ３５）、図３のステップＳ８〜Ｓ１０と同様の処理を実行する（ステップＳ３６）。これに続いて、フレームレート補間が有効になっているか否かを判断し（ステップＳ３７）、有効である場合には、図８の処理を実行しステップＳ３８に移行することになる（ステップＳ３９）。一方、無効である場合には、ステップＳ３８に移行する。そして、ステップＳ３８では、図３のステップＳ１１の処理を実行し、続いて「停止」もしくは「終了」の命令が出ているかを検出し（ステップＳ４０）、いずれの命令も出ていない場合には上記ステップＳ３６に戻り、上記同様の処理を繰り返し、いずれかの命令が出ている場合には、本処理を終了する。
【００６３】
ここで、図８を参照して、図７のステップＳ３９で実行される処理を詳述する。
【００６４】
この処理に入ると、先ずフラグＡが立っているか否かを判断する（ステップＳ５１）、当該フラグＡがたっていない場合には、フラグＡを立てて（ステップＳ６０）、ステップＳ６１に移行し、フラグＡが立っている場合には、ステップＳ５２以降の処理に入る。
【００６５】
即ち、変数ａ（つまり、１つ前のフレームのパーツ位置を保存したもの）から値を取得し（ステップＳ５２）、この変数ａと最新のフレームより画像上の顔パーツの座標値（例えば、図３の（ｐ．１））との差から、２つのフレーム間の移動距離を算出（ｖ．２）し（ステップＳ５３）、図７の（ｖ．１）個分の変数配列（ｈ．１）を生成し（ステップＳ５４）、この変数配列（ｈ．１）に、順次、図７で指定されたアルゴリズム（ａｇ．１）に（ｖ．１）、（ｖ．２）を適用して得られた結果を代入する（ステップＳ５５）。
【００６６】
そして、変数配列（ｈ．１）の値を順次ＭＩＤＩメッセージに変換（ｍ．ｘ）する（ステップＳ５６）。ここでは、シミュレートにより生成された顔パーツの変化過程は、ＭＩＤＩ変換アルゴリズム（図３の（ａｇ．１）)を解してＭＩＤＩメッセージへの変換が行われる。出力の際には、１フレーム毎の間隔数分のウェイトを取り出力される（ｗ．１）。
【００６７】
続いて、図７の（ｆｒ．１）のフレーム間隔の処理ウェイト（ｗ１）を設定する（ステップＳ５７）。すなわち、先に説明したステップＳ５６では、操作の為のＭＩＤＩメッセージ群が生成される。その各々を操作対象の機器に送信するに当たって、必要な分のウェイトを取る必要がある。基本的には、補間基準となるフレームレート数（図７の（ｆｒ．１））のウェイト(＝１ｓｅｃ／フレームレート数)を取る事となるが、ここでは任意の値を指定することも可能であり実装は自由である。例えば、図７の（ｆｒ．１）が３０(フレーム)、（ｆｒ．２）が１０(フレーム)である場合には、一度の処理で、（ｆｒ．１）と（ｆｒ．２）の商である３つの補間フレームがシミュレートされ、その分のＭＩＤＩメッセージが生成されるわけであるが、1つのＭＩＤＩメッセージを送信するに当たって、ステップＳ５７では、図７の（ｆｒ．１）のウェイトである１／３０秒の間隔を取る事となる。
【００６８】
こうして、１つのＭＩＤＩメッセージ（ｍ．ｘ）を出力し（ステップＳ５８）、続いて変数配列（ｈ．１）の配列分（ｍ．ｘ）を出力したか否かを判断し（ステップＳ５９）、配列分を出力するまでステップＳ５７〜Ｓ５９を繰り返し、配列分全てを出力すると、変数ａに図１の（ｆｐ．１）の値を代入して（ステップＳ６１）、本処理を終了して図７のステップＳ３８以降の処理にリターンすることになる。
【００６９】
以上は、低フレーム時の補間処理の説明であったが、次に高フレーム時の最適化処理について詳細に説明する。高フレームレート時には、低スペックの機器での使用の場合、高度な操作を行う時、解析―ＭＩＤＩ操作の一連の処理が追いつかず、処理落ちが発生する可能性がある。これを解決するためには、低フレームレート時の説明におけるフレームレートの比率（図７ ｖ.１）が１以下となるように設定した上で同様の処理を行うことによる画像解析フレームの間引きを行う方法の他に、顔パーツの動きの変化の基準を設け、その基準以上の変化の場合の時にのみ、ＭＩＤＩ機器の操作を行うという手法が考えられる。
【００７０】
例えば、口の縦幅（下唇中央のＹ座標値−上唇中央のＹ座標値）基準変化量を２に設定しておいた場合、あるフレームから次のフレームまでに口の縦幅が２以上の変化を起こさなくては、アサインしておいた各種演算処理が行われない為、余計な計算が行われず、処理落ちの可能性やその頻度を減らす事ができる。また、フレームレート毎の処理に、使用している機器のスペックでは追いつかないと判断した場合、アルゴリズムをより負荷のかからないものに切り替える事ができるようにするという方法もある。この判断は、ユーザーが直接行うようにしてもよく、また、端末側で自動識別するようにしてもよい。
【００７１】
以下、図９のフローチャートを参照して、本発明の第３の実施の形態に係るＭＩＤＩ機器制御システムによる高フレーム時の最適化処理について詳細に説明する。
【００７２】
尚、ここでもＭＩＤＩ機器制御システムの基本的な構成は図１，２と同一構成について同一符号を用いて、以下適宜引用する。
【００７３】
本処理に入ると、先ず基準となる変化値（ｃ．１）を設定し（ステップＳ７１）、フレームレート設定と機器のスペックに応じて最適なアルゴリズムを選択（図３のステップＳ５に相当）し（ステップＳ７２）、図３のステップＳ１〜ステップＳ４、Ｓ６〜Ｓ７と同様の処理を実行する（ステップＳ７３）。続いて、図３のステップＳ８〜Ｓ１０と同様の処理を実行し（ステップＳ７４）、基準値より変化量が上回っているか否かを判断する（ステップＳ７５）。そして、上回っていない場合にはステップＳ７７に移行し、上回っている場合には図１のステップＳ１１の処理を実行しステップＳ７７に移行する。こうして、「停止」もしくは「終了」の命令が出ているかを検出し（ステップＳ７７）、いずれの命令も出ていない場合には上記ステップＳ７４に戻り、上記同様の処理を繰り返し、いずれかの命令が出ている場合には、本処理を終了する。
【００７４】
以上説明したように、本発明の第３の実施の形態では、補間基準となるフレームレートの設定を行い、使用するフレームレートの設定を行い、補間シミュレート用アルゴリズムの指定を行い、基準フレームレートと使用フレームレートとの比率を算出し、当該比率に基づいて補間処理を行うので、滑らかな音楽の表現効果を得ることができる。
【００７５】
（第４の実施の形態）
この第４の実施の形態は、効率的に母音認識を行う機能も備えたものである。
【００７６】
すなわち、この第４の実施の形態に係るＭＩＤＩ機器制御システムでは、各母音（あ・い・う・え・お）発生時の口周りの特徴点の分布と、現在認識されている顔の中の、口のいくつかの特徴点の分布とを比較し、現在の口の形状がどの母音に近いかを判断する。
【００７７】
より精度の高い検出をする為には、それぞれの環境やユーザに合わせた、いくつかの基準値の登録が必要となる。口の大きさや形は人によって異なるし、カメラとの距離によって値は変化するからである。
【００７８】
例えば、次の値を基準値として登録する事が考えられる。
【００７９】
・平常時の口の縦幅
・平常時の口の横幅
これ以外にも、登録する値やポイントを増やす事で、より正確な母音判定が行える。
【００８０】
登録の方法としては、使用者の顔をカメラに写した状態で、任意のタイミングで「登録」の命令を出し、その時点で画像解析済みの最新の顔パーツの特徴点(主に唇周り)を記憶媒体に保存する手法がある。また、個人毎、環境毎に「あ・い・う・え・お」の各形状を基準値登録しておき、母音認識の際に各々それを参照すれば高精度の判定が行える。
【００８１】
ここで、母音の変化による効果として最もイメージしやすいものが、「音色に母音効果をつける」というものだと思われる。この効果はMIDI規格において、先に例に挙げたボリュームのように一般的なＭＩＤＩメッセージの一つとして定義されていないが、各ＭＩＤＩ機器毎に定義されたシステムエクスクルーシブメッセージにより詳細に制御可能であることが一般的である。
【００８２】
また、母音の割り出し方法について一例を述べると、母音「う」は、発声時、口の面積が小さくなり、かつ口の横幅（口右端−口左端）が縦幅（口下端−口上端）に対して小さい比率になるという特徴がある。そこで、口の横幅が縦幅より小さくなり、かつ、基準値以下の口の面積であった場合、「う」を発音していると見なす事とする。解析された顔画像の口の横幅が１０、縦幅が１５であり、かつ基準値が口横幅１０、縦幅１５であった場合、音の形状であると見なし、「う」の効果に切り替えるシステムエクスクルーシブメッセージをＭＩＤＩ機器に送る。
【００８３】
以下、図１０のフローチャートを参照して、本発明の第４の実施の形態に係るＭＩＤＩ機器制御システムによる全体処理の流れを詳細に説明する。
【００８４】
尚、第４の実施の形態に係るＭＩＤＩ機器制御システムの基本的な構成は図１，２と略同様であるので、同一構成について同一符号を用いて、以下適宜引用する。
【００８５】
この処理に入ると、先ず図３のステップＳ１〜Ｓ７と同様の処理を実行する（ステップＳ８１）。続いて、各母音に対しての効果をアサイン（ｖ．１）する（ステップＳ８２）。
【００８６】
続いて、画像データ中に顔が認識されたか否かを判断し（ステップＳ８３）、認識されない場合にはステップＳ９１に移行し、一方、認識された場合にはステップＳ８４以降の処理に進む。即ち、基準値設定コマンドが出ているか否かを判断し（ステップＳ８４）、出ている場合には基準値を設定する（ステップＳ８５）。つまり、このステップＳ８４，Ｓ８５では、ユーザーに合わせた母音割り出し基準設定を行うことになる。
【００８７】
次いで、基準値が設定されているか否かを判断し（ステップＳ８６）、基準値が設定されていない場合には処理しない、もしくはデフォルトの基準を基に母音を特定し（ステップＳ８７）、一方、基準値が設定されている場合には、基準値と現在の特徴点の分布を基に想定される母音を特定し（ステップＳ８８）、割り出された母音にアサインされた効果（ｖ．１）を発現するＭＩＤＩメッセージを生成し（ステップＳ８９）、ＭＩＤＩメッセージを出力する（ステップＳ９０）。そして、「終了」の命令が出ているかを検出し（ステップＳ９１）、命令が出ていない場合には上記ステップＳ８３に戻り、上記同様の処理を繰り返し、命令が出ている場合には、本処理を終了する。
【００８８】
以上説明したように、本発明の第４の実施の形態では、前述した第１の実施の形態による効果に加えて、母音認識結果に基づいた音楽の表現効果を併せて出力に加味することが可能となる。
【００８９】
（第５の実施の形態）
この第５の実施の形態では、顔パーツの変化からだけでなく、血液型や生年月日等の個人情報を用いて、音色の生成を行う。顔パーツの変化に基づく効果と、これら個人情報に対応するプリセットの効果とが競合する場合、どちらを優先させるかは予め決定しておく必要がある。個人情報からＭＩＤＩメッセージへの変換は、変換用テーブルを予め持たせておき、入力されたデータと照らし合わせ、任意のタイミングで行われる。
【００９０】
ＭＩＤＩメッセージの出力先は問わない。例えば、直接ＭＩＤＩ機器に送信しても、ＳＭＦ（Ｓｔａｎｄａｒｄ  ＭＩＤＩ  Ｆｉｌｅ）形式に代表されるＭＩＤＩシーケンスデータとして記憶媒体に保存しても良い。
【００９１】
ここで、より具体的に、生年月日から音色パラメータを生成する場合を説明する。
【００９２】
機能の一例として、設定者の生まれた年代の音の特徴をもった音色の作成が考えられる。例えば１９６０年代生まれの人は６０年代風の音色に、１９７０年代生まれの人は７０年代風の音色を生成するというものである。仮に、１９６０年代は現在ほど録音技術が発達していなかった為、現在の技術で録音された音に比べ音像がこもった印象であると定義する。この場合、一意にコントロールチェンジ（74(4AH)）で定義されるブライトネス（低域通過フィルタの遮断周波数）の設定値を生年に併せて下げることや、顔パーツによる制御対象として同コントロールチェンジ選ばれている際に、生年に併せて変換出力するブライトネス値の変化範囲を移動することでこの印象を付加することが可能となる。
【００９３】
以下、図１１のフローチャートを参照して、本発明の第５の実施の形態に係るＭＩＤＩ機器制御システムによる全体処理の流れを詳細に説明する。
【００９４】
尚、第５の実施の形態に係るＭＩＤＩ機器制御システムの基本的な構成は図１，２と略同様であるので、同一構成について同一符号を用いて、以下適宜引用する。
【００９５】
本処理に入ると、先ずユーザーの個人情報の入力を受け付け（ステップＳ１０１）、入力された個人情報の解析を行い（ステップＳ１０２）、この解析で得た個人情報の種別によりＭＩＤＩデータ変換アルゴリズムを決定する（ステップＳ１０３）。続いて、入力された情報を基にデータテーブルから適合するデータを取得し（ステップＳ１０４）、取得したデータを変換アルゴリズムに適用し、音色変更用のＭＩＤＩデータを生成し（ステップＳ１０５）、ＭＩＤＩデータを出力する（ステップＳ１０６）。こうして解析し終えていない個人情報項目があるか否かを判断し（ステップＳ１０７）、ある場合には上記ステップＳ１０２に戻り上記同様の処理を繰り返し、ない場合にはこの処理を終了する。
【００９６】
上記具体例をこの図１１の処理に当てはめて説明すると、「個人情報入力」の段階で、ユーザーに生年の入力をしてもらう。するとフォーマットやコントロール等から、入力された情報の種別＝生年と判断される。この時点で、使用するアルゴリズムが決定される。更に入力された情報が１９６７ならば、生年の１９６７をキーにデータテーブルよりデータを取り出す。選択されたアルゴリズムが、コントロールがブライトネスで、テーブルより取り出した値を第２データバイトとするアルゴリズムだった場合、取り出したデータの値が５０だとすると、「１９６７年生まれ」という情報からカットオフで第２データバイト値５０のコントロールチェンジデータというようにコンバートされることとなる。あるいは、同時に駆動される顔パーツによる制御対象としてブライトネスが使用されていた場合、その変換出力値のオフセットを取り出した値により制御すればよい。
【００９７】
以上は一例であり、実際には、生年月日・血液型・姓名等、使用できる個人情報は無数に存在する。さらにこれらの個人情報から関連付けされる情報も無限である。複数の情報を様々な効果に絡ませる事により、より個人特有の音色を生成することが出来ることとなる。
【００９８】
以上説明したように、本発明の第５の実施の形態では、上記第１の実施の形態の効果に加えて、顔パーツの変化からだけでなく、血液型や生年月日等の個人情報を用いて、ＭＩＤＩメッセージを生成し、ひいては所望とする音色の生成を行うことが可能となる。
【００９９】
（まとめ）
以上、本発明の第１乃至第５の実施の形態について説明したが、本発明はこれに限定される事なく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。例えば、音楽を演奏する時、視線は主に楽器の方に行くため、顔から離れた位置にあるカメラで操作者の顔を捉える方法では、正確な解析を行う事は困難である。また、演奏中は絶えず顔を動かすため、フレーム内に正確に顔を収めることも難しくなってくる。そこで、演奏しながらでも顔画像を正確に捉えられるよう、あらかじめカメラを顔の近くに固定しておき、撮影する事でこれらの問題を解決する事としてもよい。
【０１００】
また、上記実施の形態では、ＭＩＤＩ機器制御システムとしての実施の形態を例に挙げて説明したが、当該システムの機能を有する例えば携帯電話機の如き組み込み機器も本発明に含まれることは勿論である。
【図面の簡単な説明】
【０１０１】
【図１】本発明の第１の実施の形態に係るＭＩＤＩ(Music Instruments Digital Interface)機器制御システムの構成図である。
【図２】アプリケーション１ａ内部の処理ルーチンを更に詳細に示した図である。
【図３】本発明の第１の実施の形態に係るＭＩＤＩ機器制御システムによる全体処理の流れを詳細に説明するフローチャートである。
【図４】第２の実施の形態に係るＭＩＤＩ機器制御システムによるプリセットの構造及び特徴を具体的に説明する概念図である。
【図５】本発明の第２の実施の形態に係るＭＩＤＩ機器制御システムによる全体処理の流れを詳細に説明する。
【図６】（ａ）は通常のフレームレートで取得された画像データを示す図、（ｂ）は（ａ）に比して低フレームレートで取得された画像データを示す図である。
【図７】本発明の第３の実施の形態に係るＭＩＤＩ機器制御システムによる全体処理の流れを詳細に説明するフローチャートである。
【図８】図７のステップＳ３９で実行される処理を詳述するフローチャートである。
【図９】本発明の第３の実施の形態に係るＭＩＤＩ機器制御システムによる高フレーム時の最適化処理について詳細に説明するフローチャートである。
【図１０】本発明の第４の実施の形態に係るＭＩＤＩ機器制御システムによる全体処理の流れを詳細に説明するフローチャートである。
【図１１】本発明の第５の実施の形態に係るＭＩＤＩ機器制御システムによる全体処理の流れを詳細に説明するフローチャートである。
【符号の説明】
【０１０２】
１・・・コンピュータ、１ａ・・・アプリケーションソフトウェア、２・・・ビデオキャプチャーボード、３・・・ＭＩＤＩインタフェース、４・・・ビデオカメラ、５・・・ＭＩＤＩメッセージ送信機器、６・・・音源モジュール。
【図１】
2006064973.tif 000003
【図２】
2006064973.tif 000004
【図３】
2006064973.tif 000005
【図４】
2006064973.tif 000006
【図５】
2006064973.tif 000007
【図６】
2006064973.tif 000008
【図７】
2006064973.tif 000009
【図８】
2006064973.tif 000010
【図９】
2006064973.tif 000011
【図１０】
2006064973.tif 000012
【図１１】
2006064973.tif 000013