(57)【要約】【課題】四肢麻痺者や四肢不自由者が楽器演奏を楽しむには、既存の楽器や福祉楽器のように、演奏に手足を動かすことが不要な楽器が必要である。【解決手段】本楽器は、口唇部、舌、眼、鼻などの顔や表情の画像を解析して特徴量を抽出し、特徴量により楽音を制御する。また、本楽器は、映像信号から抽出した口唇部、舌、鼻、または、顔の一部の画像、または、画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に表示する。さらに、本楽器は、画像、または、図形の所定の部分を、楽音テンプレート上に配置する操作を受け付け、画像、あるいは、図形の大きさ、形状または図形の位置と発生する楽音の属性との関連付けを行う。【選択図】図１
2005099068.tif 000002
【特許請求の範囲】
【請求項１】
演奏者の顔またはその一部を撮影する撮像部と、
前記撮像部の出力する映像信号を解析して、特徴量を抽出する画像解析部と、
前記特徴量に基づき楽音信号を発生する楽音合成部を備える楽器。
【請求項２】
前記画像解析部は、
前記映像信号から、演奏者の口唇部を抽出し、前記特徴量として、前記口唇部の開口部分の高さ情報と幅情報を抽出し、
前記楽音合成部は、
前記高さ情報と前記幅情報により、前記楽音信号の発生を制御する請求項１記載の楽器。
【請求項３】
前記楽音合成部は、
前記高さ情報により、前記楽音信号の音高と音量の一方を制御し、前記幅情報により、他方を制御することを特徴とする請求項２記載の楽器。
【請求項４】
前記画像解析部は、
前記映像信号から、前記特徴量として、演奏者の鼻の位置情報を抽出し、
前記楽音合成部は、
前記鼻の位置情報により、前記楽音信号の発生を制御する請求項１記載の楽器。
【請求項５】
前記画像解析部は、
前記映像信号から、前記特徴量として、演奏者の鼻の縦方向と横方向の２次元の位置情報を抽出し、
前記楽音合成部は、
前記縦方向の位置情報により、前記楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御することを特徴とする請求項４記載の楽器。
【請求項６】
前記画像解析部は、
前記映像信号から、前記特徴量として、演奏者の舌の位置情報を抽出し、
前記楽音合成部は、
前記舌の位置情報により、前記楽音信号の発生を制御する請求項１記載の楽器。
【請求項７】
前記画像解析部は、
前記映像信号から、前記特徴量として、演奏者の舌の縦方向と横方向の２次元の位置情報を抽出し、
前記楽音合成部は、
前記縦方向の位置情報により、前記楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御する請求項６記載の楽器。
【請求項８】
前記画像解析部は、
演奏者の舌の縦方向、横方向、奥行き方向の３次元の位置情報を抽出し、
前記楽音合成部は、
各位置情報のいずれかにより、前記楽音信号の音高、音量、音色のいずれかを制御する請求項６記載の楽器。
【請求項９】
前記画像解析部は、
前記映像信号から、前記特徴量として、演奏者の瞼または口唇部の開閉パターン情報を抽出し、
前記楽音合成部は、
前記開閉パターン情報により、前記楽音信号の属性の制御、もしくは、前記楽器の操作の制御を行う請求項１記載の楽器。
【請求項１０】
表示部をさらに備え、
前記映像信号から抽出した口唇部、舌、鼻、または、顔の一部の画像、または、前記画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に前記表示部に表示する請求項１記載の楽器。
【請求項１１】
前記画像、または、前記図形の所定の部分を、前記楽音テンプレート上に配置する操作を受け付け、当該操作の受け付けにより、前記画像、あるいは、前記図形の大きさ、形状または前記図形の位置と発生する楽音の属性との関連付けを行う請求項１０記載の楽器。
【請求項１２】
演奏者の顔またはその一部を撮影する撮像ステップと、
前記撮像ステップにおける出力である映像信号を解析して、顔、または表情から特徴量を抽出する画像解析ステップと、
前記特徴量に基づき楽音信号を発生する楽音合成ステップを備える楽音制御方法。
【請求項１３】
前記映像信号から抽出した口唇部、舌、鼻、または、顔の一部の画像、または、前記画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に表示部に表示するステップをさらに有する請求項１２記載の楽音制御方法。
【請求項１４】
前記画像、または、前記図形の所定の部分を、前記楽音テンプレート上に配置する操作を受け付けるステップと、当該操作の受け付けにより、前記画像、あるいは、前記図形の大きさ、形状または前記図形の位置と発生する楽音の属性との関連付けを行うステップをさらに有することを特徴とする請求項１３記載の楽音制御方法。
【請求項１５】
コンピュータに、
演奏者の顔またはその一部の撮影を指示する撮像指示ステップと、
前記撮像指示ステップにおける指示に対する撮像結果である映像信号を解析して、特徴量を抽出する画像解析ステップと、
前記特徴量に基づき楽音信号を発生する楽音合成ステップを実行させるためのプログラム。
【請求項１６】
コンピュータに、
前記映像信号から抽出した口唇部、舌、鼻、または、顔の一部の画像、または、前記画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に表示するステップをさらに実行させるための請求項１５記載のプログラム。
【請求項１７】
前記画像、または、前記図形の所定の部分を、前記楽音テンプレート上に配置する操作を受け付けるステップと、当該操作の受け付けにより、前記画像、あるいは、前記図形の大きさ、形状または前記図形の位置と発生する楽音の属性との関連付けを行うステップをさらに実行させるための請求項１６記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、四肢麻痺者や四肢不自由者が楽器演奏を楽しむことができる福祉用の楽器で、演奏に四肢を用いなくともよく、演奏に必要な操作子を身体に装着しなくともよい楽器に関する。
【背景技術】
【０００２】
既存の楽器や福祉楽器では、演奏に手足を動かすことが不可欠である。四肢麻痺者や四肢不自由者が楽器演奏を楽しむことができるものは知られていない。一方、人体の手首、肘、肩および足などに取り付けられるセンサーで演奏制御用の情報を電子楽器に与える技術が知られている（例えば、特許文献１参照）。
【特許文献１】特開平１０−０９７２５０号公報（第１頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
四肢麻痺者や四肢不自由者が楽器演奏を楽しむには、既存の楽器や福祉楽器のように、演奏に手足を動かすことが不要な楽器が必要である。本発明では、演奏に四肢を用いず、演奏に必要な操作子を身体に装着しない楽器を提供する。
【課題を解決するための手段】
【０００４】
上記の課題を解決するために、本発明の楽器は、以下のような手段を採用する。
（１）演奏者の顔またはその一部を撮影する撮像部と、前記撮像部の出力する映像信号を解析して、特徴量を抽出する画像解析部と、前記特徴量に基づき楽音信号を発生する楽音合成部を備える楽器。
（２）前記映像信号から、演奏者の口唇部を抽出し、前記特徴量として、前記口唇部の開口部分の高さ情報と幅情報を抽出し、前記高さ情報と前記幅情報により、前記楽音信号の発生を制御する（１）記載の楽器。
（３）前記高さ情報により、前記楽音信号の音高と音量の一方を制御し、前記幅情報により、他方を制御することを特徴とする（２）記載の楽器。
（４）前記映像信号から、前記特徴量として、演奏者の鼻の位置情報を抽出し、前記鼻の位置情報により、前記楽音信号の発生を制御する（１）記載の楽器。
（５）前記映像信号から、前記特徴量として、演奏者の鼻の縦方向と横方向の２次元の位置情報を抽出し、前記縦方向の位置情報により、前記楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御することを特徴とする（４）記載の楽器。
（６）前記映像信号から、前記特徴量として、演奏者の舌の位置情報を抽出し、前記舌の位置情報により、前記楽音信号の発生を制御する（１）記載の楽器。
【０００５】
（７）前記映像信号から、前記特徴量として、演奏者の舌の縦方向と横方向の２次元の位置情報を抽出し、前記縦方向の位置情報により、前記楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御する、あるいは、演奏者の舌の縦方向、横方向、奥行き方向の３次元の位置情報を抽出し、各位置情報のいずれかにより、前記楽音信号の音高、音量、音色のいずれかを制御することを特徴とする（６）記載の楽器。
（８）前記映像信号から、前記特徴量として、演奏者の瞼または口唇部の開閉パターン情報を抽出し、前記開閉パターン情報により、前記楽音信号の属性の制御、もしくは、前記楽器の操作の制御を行うことを特徴とする（１）記載の楽器。
（９）表示部を備え、前記映像情報より抽出した口唇部、舌、鼻、または、顔の一部の画像、または、前記画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に前記表示部に表示することを特徴とする（１）記載の楽器。
（１０）前記画像、または、前記図形の所定の部分を、前記楽音テンプレート上に配置する操作を受け付け、前記画像、あるいは、前記図形の大きさ、形状または前記図形の位置と発生する楽音の属性との関連付けを行うようにしたことを特徴とする（９）記載の楽器。
【０００６】
（１１）顔またはその一部の映像信号を解析して、特徴量を抽出する画像解析手順、および、前記特徴量に基づき楽音信号の発生を制御する手順の組、または、前記映像信号から、口唇部を抽出し、特徴量として、前記口唇部の開口部分の高さ情報と幅情報のいずれかを抽出する手順、および、前記高さ情報と前記幅情報のいずれかにより楽音信号の発生を制御する手順の組、または、前記映像信号から、口唇部を抽出し、特徴量として、前記口唇部の開口部分の高さ情報と幅情報を抽出する手順、および、前記高さ情報により、楽音信号の音高と音量の一方を制御し、前記幅情報により、他方を制御する手順の組、または、前記映像信号から、特徴量として、演奏者の鼻の位置情報を抽出する手順、前記鼻の位置情報により、楽音信号の発生を制御する手順の組、または、前記映像信号から、特徴量として、演奏者の鼻の縦方向と横方向の２次元の位置情報を抽出する手順、および、前記縦方向の位置情報により、楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御する手順の組、または、前記映像信号から、特徴量として、演奏者の舌の位置情報を抽出手順、および、前記舌の位置情報により、前記楽音信号の発生を制御する手順の組、または、前記映像信号から、特徴量として、演奏者の舌の縦方向と横方向の２次元の位置情報を抽出する手順、および、前記縦方向の位置情報により、楽音信号の音高と音量の一方を制御し、前記横方向の位置情報により他方を制御する手順の組、または、前記映像信号から、特徴量として、演奏者の舌の縦方向、横方向、奥行き方向の３次元の位置情報を抽出する手順、および、各位置情報のいずれかにより、楽音信号の音高、音量、音色のいずれかを制御する手順の組、または、前記映像信号から、特徴量として、演奏者の瞼の開閉パターン情報を抽出する手順、および、前記開閉パターン情報により、楽音信号の属性の制御、もしくは、楽器の操作の制御する手順の組、の内の何れかの手順の組を実行する楽音制御方法。
（１２）前記映像情報より抽出した口唇部、舌、鼻、または、顔の一部の画像、または、前記画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に表示部に表示する手順を有することを特徴とする（１１）記載の楽音制御方法。
（１３）前記画像、または、前記図形の所定の部分を、前記楽音テンプレート上に配置する操作を受け付け、前記画像、あるいは、前記図形の大きさ、形状または前記図形の位置と発生する楽音の属性との関連付けを行う手順を有することを特徴とする（１２）記載の楽音制御方法。
（１４）上記（１１）、（１２）、（１３）何れか記載の手順をコンピュータに行わせるプログラム。
（１５）上記（１１）、（１２）、（１３）何れか記載の手順をコンピュータに行わせるプログラムを記載した記録媒体。
【発明の効果】
【０００７】
以上のような本発明における楽器によれば、四肢麻痺者や四肢不自由者が、手足を動かすことなく楽器演奏が可能になる。また、演奏に必要な操作子を身体に装着しなくともよい。四肢麻痺者や四肢不自由者が、歌を唄うようにして楽器演奏できる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の楽器の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素が同様の動作を行う場合には、再度の説明を省略する場合がある。
（実施の形態１）
図１は、本発明の楽器の実施の形態を示す図である。本発明は、演奏者１の顔またはその一部を撮影する撮像部２、前記撮像部の出力する映像信号を解析して、顔、または表情から特徴量を抽出する画像解析部３、および、前記特徴量に基づき楽音信号を発生する楽音合成部４を備える楽器である。
【０００９】
図１において、撮像部２は、演奏者１の顔を撮影し、顔の映像信号を画像解析部３に供給する。画像解析部３は、映像信号に対して後述するような顔の画像解析を行い、特徴量を検出して楽音合成部４に供給する。楽音合成部４は、特徴量に従って楽音信号を出力する。楽音信号は、ヘッドフォンスピーカやスピーカなどにより音に変換され、演奏者１や周囲の人が聴取する。なお、図１において、当該ヘッドフォンスピーカやスピーカなどは省略している。
まず、図１における表示部５と操作部６は無いものとして説明する。
画像解析部３は、画像解析により、演奏者１の口唇部分を認識し、口唇の位置、口唇に設定した各位置の各サンプル点、開口面積等をリアルタイムで計測して、その変位をピッチデータ、ボリュームデータに変換して演奏する。なお、口唇位置のみを利用して、演奏手段に用いても良い。
【００１０】
図２（Ａ）は、画像解析部３が抽出した口唇部の画像例である。口唇部１３のように口を開いている状態で、Ｗ１は、開口部の幅である。Ｈ１は開口部の高さである。この例では、口を横に広げた状態である。図２（Ｂ）の口唇部１４では、口を縦に広く開け、横にはややすぼめた場合で、幅、高さがそれぞれＷ２、Ｈ２である。画像解析部３は、このような口唇部分を認識抽出し、幅情報Ｗ、高さ情報Ｈのような特徴量を抽出する。
【００１１】
図３は、画像解析部３と楽音合成部４の例である。画像解析部３は、Ｈ検出部３１、Ｗ検出部３２、舌位置検出部３３、右目検出部３４、左目検出部３５を備えている。Ｈ検出部３１は、図２（Ａ）、（Ｂ）における開口部の高さＨを検出する。Ｗ検出部３２は、図２（Ａ）、（Ｂ）における口唇部１３、１４の画像の開口部の幅Ｗを検出する。開口部の高さＨデータは楽音合成部４の端子Ｔ１に供給され、楽音の音階を制御する。開口部の幅Ｗデータは楽音合成部４の端子Ｔ２に供給され、楽音の音量、すなわち、ボリュームを制御する。
【００１２】
開口部の高さＷを５ｍｍ毎に区分し、Ｈ＝５〜１０ｍｍをド、Ｈ＝１０〜１５ｍｍをレ、Ｈ＝１５〜２０ｍｍをミというふうに割り当てる。５〜４５ｍｍで１オクターブとなる。開口部の幅Ｈが３０ｍｍ以下を楽譜の強弱記号のメゾピアノ（ｍｐ）、３０〜４０ｍｍをメゾフォルテ（ｍｆ）、４０ｍｍ以上をフォルテ（ｆ）に割り当てる。楽音合成部４は、上記Ｈデータが、音階データとして、端子Ｔ１に印加されると対応する音階の楽音信号を発生する。Ｗデータは端子Ｔ２に印加されると、対応する強弱のついた楽音信号を発生する。Ｈ＝０〜５ｍｍ、すなわち、口をほぼ閉じている場合は、楽音信号の発生を停止する。なぜなら、楽音が出っ放しにならないように、Ｗを０にしたり、Ｗを小さい値に保つために口の左右をすぼめておいたりするのは、容易な動作ではないと思われるからである。
なお、幅情報Ｗにより音高を制御し、高さ情報Ｈにより音量を制御してもよい。この場合は、口を閉じると音量がゼロになる。
本実施の形態のように、口唇部の形状により楽音の発生を制御する場合、リズムに乗って顔を多少動かしても、口唇部をそのままに保てば、発生する楽音は変化しないようにでき、演奏者１が顔を拘束される感じは少なくてすむ。
【００１３】
図３において、舌位置検出部３３は、口を開いている状態での舌の位置を検出し、その位置情報を出力する。舌が開口部の中心位置を基準にして、上下、左右のどの位置にあるかを検出し、２次元の舌の位置情報である舌座標データを端子Ｔ３に供給する。舌座標データは、楽音信号の種々の特性を制御するのに使用できる。楽音信号の音色を柔らかくしたり硬くしたりするのに使用できる。舌を動かすとビブラートが掛かるようにできる。撮像部２を立体視カメラにして、舌が前に出ているか奥にあるかを検出し、舌の３次元の位置座標情報を供給して楽音の制御に使用してもよい。
【００１４】
図３において、右目検出部３４と左目検出部３５は、左右の眼の意識的な瞬きを検出する。眼を複数回瞬きしたとき、あるいは所定時間以上眼をつむったときに、検出信号を端子４と端子５に供給する。簡単なモールス符号のようなコードを決めておき、左右のコード検出信号によって、瞼の開閉パターン情報を得て、楽音信号の音色、楽器音を切り替えるようにできる。生理的に起きる瞬間的な短時間の瞬きは無視するようにする。片方の目が閉じているときには楽音の音量をゼロにするようにしてもよい。なお、瞼の開閉パターン情報は、楽音の属性の制御や選択だけでなく、楽器の各種機能の選択や切り替えにも使用できる。
画像解析部３が出力する連続的に変化するＨデータを、楽音合成部４において音階データに変換してもよいし、連続的に変化するＨデータを、画像解析部３において、音階名を表す音階データに変換してから、楽音合成部４に供給するようにしてもよい。得られる音階は、平均率に従った半音単位で隔たった音階になる。
なお、楽音合成部４における楽音の発生と制御の技術は、電子楽器の分野では周知であるので、詳細の説明を省く。
【００１５】
（実施の形態２）
つぎに、演奏者１が、口唇部の練習や、演奏中の確認を行えるように表示部５を設けた実施の形態について、図１を使用して説明する。
図１において、表示部５には、画像解析部３から顔の一部分の画像データと楽音テンプレートデータが供給され、表示部５は、これらを表示する。他の部分は、実施の形態１での場合と同様である。
【００１６】
図４（Ａ）は、表示部５に表示する画像の例である。図４（Ａ）において、縦横にメッシュ状の楽音テンプレートを表示する。楽音テンプレートには、その中心位置を基準にして、図４（Ａ）に示すように、第１象限に、縦方向に音階を割り振り、横方向には、ｐ、ｍｐ、ｍｆの強弱記号を割り振る。第２〜第４象限は、第１象限に対して左右上下対象になる。楽音テンプレート上に演奏者１の口唇部の画像を表示する。画像解析部３は、口唇部の中心位置を検出し、楽音テンプレートの中心位置に合わせるように表示データを供給し、口唇部を表示させる。図４（Ａ）の口唇部画像の場合、音階はレであり、強弱記号は、フォルテとなる。演奏者１は、表示部５の自分の口唇部の画像を見ながら。音階と音量を調節、修正して演奏ができる。どのくらい口をあけるとどの音階音になるかを確かめながら日頃の楽器演奏の訓練を行うこともできる。
なお、画像解析部３は、その内部で、口唇部の画像データと楽音テンプレートデータとを扱い、口唇部画像の中心点データを楽音テンプレートの中心点データに合わせて、開口の大きさを楽音テンプレート上で評価して、ＷとＨを算出し、音階と音量を判定するようにしてもよい。
なお、図４（Ａ）の楽音テンプレートでは、簡単にするために、音階はハ長調とし、シャープやフラットのついた半音階音は省略した。楽音テンプレートの行数を増やして、全ての半音階音を割り振ってもよい。
（実施の形態３）
【００１７】
つぎに、音階・強弱範囲設定モードにより、発生する楽音の音階範囲や強弱範囲を、演奏者１に合わせて設定する機能について説明する。すなわち、口唇部の画像の所定の部分を、楽音テンプレート上に配置する操作を受け付け、当該操作の受け付けにより、画像の大きさ、形状や画像の特定の部位と、発生する楽音の属性との関連付けを行う。
一般的に、演奏者の口唇部の大きさや口をあけられる範囲には個人差がある。演奏者１が、撮像部２との距離を調節してこの個人差を解消することができる。しかし、つぎのように口唇部のサイズの個人差を補正して、正規化するようにしてもよい。図１に示した操作部６を使用する場合について説明する。
【００１８】
まず、演奏者１は、操作部６上の音階・強弱範囲設定モードボタン（図示しない）を押し、画像解析部３を音階・強弱範囲設定モードにする。演奏者１が、口唇部を縦方向に最大に広げた状態で、操作部６の最高音階決定ボタン（図示しない）を押す。この操作により、画像解析部３は、口唇部画像の上唇を図４（Ａ）の楽音テンプレートの最上部位置に、下唇をテンプレートの最低部位置になるように配置する決定を行う。つぎに、演奏者１が、口唇部を横方向に最大に広げた状態で、操作部６の強弱記号決定ボタン（図示しない）を押す。この操作により、画像解析部３は、口唇部画像の右端を楽音テンプレートの右端位置に、口唇部画像の左端を楽音テンプレートの左端位置になるように配置する決定を行う。元の口唇部画像は、縦方向と横方向とではその倍率を変えた形で処理され、表示されることになる。以降、この倍率に従って口唇部画像が処理され、楽音テンプレート上に位置が判定され、音階と強弱が決まる。また、この倍率に従って口唇部画像が表示される。この操作により、演奏者１の口唇部の開き方の個性、個人差に合わせて、音階と強弱の制御ができるようになる。
口唇部表示の縦横の倍率差を変える代わりに、楽音テンプレートを縦または横方向に縮小、拡大して、演奏者１の口唇部のサイズに合わせるようにしてもよい。
音楽演奏を行う場合は、音階・強弱範囲設定モード解除ボタン（図示しない）を押して、音階・強弱範囲設定モードを解除すればよい。
四肢不自由者の場合、操作部６のボタン操作が困難であれば、介護者が操作してもよい。演奏者１の眼の瞬きの特定のパターンを画像解析部３が検出して、音階・強弱範囲設定モードの選択と、音階と強弱の設定操作を検知するようにすれば、操作部６の操作が無くとも、音階・強弱範囲設定ができる。
（実施の形態４）
【００１９】
上記実施の形態３において、撮像部２に自動焦点調節機能を設けておき、演奏者１が撮像部２に近づいたり離れたりしても、口唇部の画像がぼけないようにするのが好ましい。自動焦点調節機能から得た被写体との間の距離情報を、画像解析部３に供給して、演奏者１が撮像部２に近づいて口唇部画像が大きくなっても、音階が高く強い音になることがないように、口唇部画像の倍率をさらに補正してもよい。このように演奏者１と撮像部２の距離が音階や強弱に影響しないようにしておいた上で、前記距離情報により、楽音の音色やビブラートの深さなどのような、音階、強弱以外の音の性質を制御するようにしてもよい。
【００２０】
（実施の形態５）
実施の形態３や実施の形態４で説明した口唇部のサイズの個人差の正規化や距離情報による倍率補正を行わず、演奏者１が、撮像部２に顔を近づけたり、離したりすることにより、音階や音量を制御できるようにしておいてもよい。
【００２１】
（実施の形態６）
上記説明では、連続的に変化するＨデータをハ長調の長音階の音階音に割り付けて平均率音階による音楽を演奏するようにしたが、Ｈデータをそのまま連続的な音高に対応させて東洋的な、あるいは民族的な音楽を演奏できるようにしてもよい。
【００２２】
（実施の形態７）
実施の形態１で説明した舌座標データの内、舌の水平位置データを音階データに使用してもよい。舌を右側にすると高い音階音が出るようにすればよい。舌の前後方向の位置データで音量を制御し、舌が喉の奥の方にあるときは、小さい音とし、前に突き出すほど大きい音とすると、人の感覚に合致した操作になる。舌の上下方向は、音色などの音の種々の特性を制御するようにしてもよい。
前記実施の形態２において、口唇部の表示だけでなく、舌の先端部の位置を表示するようにし、実施の形態３において、口唇部の上下幅、左右幅の代わりに、舌の先端部の上下左右の位置設定ボタンにより、音階の範囲や強弱の範囲を設定するようにすればよい。
口の開口のコントロールよりも舌の先端位置のコントロールの方が容易な演奏者の場合、この方式が適している。
【００２３】
（実施の形態８）
図３の画像解析部３に鼻位置検出部を設け、映像信号から、演奏者の鼻の先端位置データを位置情報として抽出し、鼻の位置情報により、楽音信号の音高、または、音高と強弱を制御してもよい。演奏者の鼻の縦方向と横方向の２次元の位置情報を抽出して、それぞれを楽音の制御に使用する。
【００２４】
実施の形態２において、図４（Ｂ）に示すように、口唇部の画像の表示の代わりに、鼻先端部の画像、または、先端部を示す点Ｎを楽音テンプレート上に表示する。この場合の楽音テンプレートは、その中心位置を、１オクターブなり２オクターブの音階発生範囲の中央の音階の高さとし、かつ、強弱記号の中間、ｍｐ、あるいは、ｍｆとする。最も左の位置は、無音状態ｏｆｆとしてもよい。図４（Ｂ）の例では、鼻の先端部と認識している点Ｎの位置にＸ印も表示している。また、楽音テンプレートの中央の位置は、ファとソの境界、ｐとｍｐの境界になっている。
なお、図４（Ｂ）の楽音テンプレートでは、簡単にするために、音階はハ長調とし、シャープやフラットのついた半音階音は省略した。楽音テンプレートの行数を増やして、全ての半音階音を割り振ってもよい。
【００２５】
実施の形態３での口唇部サイズの正規化と同様の考え方により、鼻の画像の先端の部分を、楽音テンプレート上に配置する操作を行い、鼻の位置と発生する楽音の属性との関連付けを行う。最初に、演奏者１は、ベッドや車椅子の上で、顔を通常位置にして、このときの鼻の位置Ｎ０を、図４（Ｂ）の楽音テンプレートの中心位置になるように、画像解析部３において座標設定する。この設定が終わると、顔をやや上に向けて鼻を上方に移動させ、この位置Ｎｈを、最高音階音である上のソに対応する位置として設定する。この設定が終わると、つぎに、顔を通常位置からやや右方向へ向けて鼻を右へ移動させ、この位置Ｎｆを最大音量、強記号ｆｆに対応する位置として設定する。以上の設定で、音階・強弱範囲設定モードを終了する。操作部６には、これらの設定操作用のボタンを設けておけばよい。
この音階・強弱範囲設定モードを終了の後は、演奏者１は、顔を上下、左右に少し動かすことにより、音階や音の強弱を制御して音楽の演奏ができる。演奏が終われば、顔を少し左に向けて音を止めることもできる。図４（Ｂ）の例では、下のドがｍｆの強度で発音される。
なお、座標の左右方向を音高とし、上下方向を強弱記号に割り振ってもよい。
口唇部は、動かさなくともよい。口をずっと開けておき、さらに、開口具合を正確に制御するのが困難な場合は、この実施の形態によって、より楽に音楽演奏ができる。
【００２６】
口唇部のＷ、Ｈのデータや開口面積なども検出して、別の楽音制御に使用してもよい。強弱記号の制御は、鼻の位置によらず、開口具合により制御してもよい。鼻の位置の制御は、左右のみとして音階制御に使用し、大きな音を出すときは、口をやや大きく開けるようにする。顔の向きと口の大きさは、それぞれ独立に制御しやすい。また、人の音楽的感覚に割合に合致した動作感覚ともいえる。通常は口を閉じておいて、楽音を発生させるときだけ口を開けるようにして演奏することができる。
鼻の位置をある音階から別の音階へ瞬時に移動させるのは、一般的には困難であり、ポルタメントのように連続的な音高の変化が伴いがちになる。これはこれでひとつの音楽表現になる。ポルタメントが好ましくない場合は、口を一旦閉じて音を消してから、次の音階を発生するようにすることも容易にできる。
【００２７】
口を開けた後、瞬時に閉じるように演奏した場合、すぐに音を消すのではなく、徐々に減衰するようにしてもよい。ピアノやギターなどのパーカッシブな音を演奏することができる。口を開ける速度や閉じる速度により、音の立ち上がりや音の緊迫感や音色を制御するようにしてもよい。口を閉じて、前の音が残っている状態で、鼻の位置を変えて新たな音階の音を決め、口を開けて次の音を出すようにすれば、一時的であるが、和音が出せる。擬似的に２声や多声の音楽演奏もできる。
顔を左右に向けると、口唇部の画像が変わり、音の大きさに影響を与えるので、前を見たまま頭部を左右に移動させるように演奏してもよい。顔が左右に向いた場合、その角度を画像解析により検出して、楽音の制御に使用してもよい。逆に、その角度データにより、口唇部画像の変形を補正するようにしてもよい。
なお、鼻の位置データを半音階に離散的に割り振らず、前記実施の形態６の場合と同様に、連続的な音高を発生させるようにしてもよい。
なお、上記のような、鼻の位置による楽音テンプレート上での音階・強弱範囲設定を行わないで、撮像部２の位置を演奏者１の前で、前後左右の適切な位置に設定して、音階の範囲や強弱記号の範囲を決めるようにしてもよい。
【００２８】
（その他の実施の形態および補足）
上記各実施の形態において、画像解析部３の画像解析、画像認識の性能が不十分であったり、演奏者１の口唇部や舌や鼻の先端位置が認識困難な形状であったりする場合は、あまり望ましいことではないが、口唇部の上下左右の位置や舌、鼻の先端に小さな目印のラベルを貼り付けたり、目印をつけることにより、画像解析部３の画像解析、画像認識を容易にしてもよい。目印は、特定の波長に反応するが一般の人の目にはつかないような物質でもよい。
【００２９】
上記表示部５は、映像情報より抽出した口唇部、舌、鼻、または、顔の一部の画像を表示するようにしたが、実際の映像を表示せずに、演奏者１の顔の画像から、その大きさ、形状、あるいは位置を示す図形を作図して、人工的な図形を楽音テンプレートと共に表示するようにしてもよい。上記図形の所定の部分を、楽音テンプレート上に配置する操作により、図形の大きさ、形状または図形の位置と発生する楽音の属性との関連付けを行うようにすればよい。楽音テンプレートは、図４（Ａ）、（Ｂ）に示したものに限らない。
図３の画像解析部３が楽音合成部４に出力する楽音制御用の各信号は、電子楽器分野で周知のＭＩＤＩ信号の形で楽音合成部４に供給されるようにしてもよい。この場合、画像解析部３が出力する楽音制御用の各信号は、１つの信号に纏められるので、楽音合成部４のＴ１〜Ｔ５の端子は１つに集約される。
【００３０】
本発明の楽器は、ノートパソコンにカメラを接続し、画像解析部３の上記各実施の形態における動作をコンピュータプログラムの形にして、前記ノートパソコン上に構成することができる。楽音合成部４は、ノートパソコン上に設けられた楽音合成機能を使用することができる。ノートパソコンの液晶表示部に、図４（Ａ）、（Ｂ）のような表示を行える。また、携帯電話器には、カメラと楽音合成機能が搭載されていることが多いので、このような携帯電話器に、上記画像解析部３の機能をソフトウェアとして搭載することにより、携帯電話を本発明の楽器として使用することができる。
【００３１】
すなわち、上記のすべての実施の形態における本発明の楽器の処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。かかるソフトウェアは、コンピュータに、演奏者の顔またはその一部を撮影を指示する撮像指示ステップと、撮像指示ステップにおける指示に対する撮像結果である映像信号を解析して、特徴量を抽出する画像解析ステップと、当該特徴量に基づき楽音信号を発生する楽音合成ステップを実行させるためのプログラム、である。また、上記プログラムに対して、コンピュータに、映像信号から抽出した口唇部、舌、鼻、または、顔の一部の画像、または、画像の大きさ、形状、あるいは位置を示す図形を、楽音テンプレートと共に表示するステップをさらに実行させるプログラムでも良い。さらに、上記プログラムに対して、画像、または、図形の所定の部分を、楽音テンプレート上に配置する操作を受け付けるステップと、当該操作の受け付けにより、画像、あるいは、図形の大きさ、形状または図形の位置と発生する楽音の属性との関連付けを行うステップをさらに実行させるためのプログラムでも良い。
【産業上の利用可能性】
【００３２】
本発明にかかる楽器は、四肢麻痺者や四肢不自由者が楽器演奏を楽しむのに有用であり、また、種々の情報機器上に実現することができ、また、健常者が使用する楽器とすることも可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明の楽器の一実施形態のブロック図
【図２】本発明の楽器の演奏者の口の特徴量を説明する図
【図３】本発明の楽器の一実施形態の要部のブロック図
【図４】本発明の楽器の一実施形態の表示の例を示す図
【符号の説明】
【００３４】
１  演奏者
２  撮像部
３  画像解析部
４  楽音合成部
５  表示部
６  操作部
３１  Ｈ検出部
３２  Ｗ検出部
３３  舌位置検出部
３４  右目検出部
３５  左目検出部
Ｔ１〜Ｔ５  入力用の端子
【図１】
2005099068.tif 000003
【図２】
2005099068.tif 000004
【図３】
2005099068.tif 000005
【図４】
2005099068.tif 000006