(57)【要約】【課題】  譜面を見ながら演奏するときに、譜面の頁送り又は頁戻しには「譜めくり担当者」をおくのが一般的である。この譜面を電子ファイル化して、表示する譜面の頁送り又は頁戻しを、他人又は自分の手足によるスイッチの操作によらないで、テレビカメラで撮影された演奏者のボディーサインによって行おうとするものである。【解決手段】  演奏者の顔面表情などのボディーサインを、テレビカメラによる画像から画像処理により自動的に検知し、この信号により譜面の頁送り又は頁戻しを行う。【選択図】    図１  
2005037751.tif 000002
【特許請求の範囲】
【請求項１】
楽器を演奏する場合に電子ファイル化された譜面を表示する装置において、演奏者を撮像するテレビカメラを備え、演奏者が発するボディーサインを該テレビカメラで撮影した画像信号から検出することによって、譜面を前頁又は次頁へ変更する動作を自動的に行わせることを特徴とする電子譜面台。
【請求項２】
請求項１の電子譜面台において、マイクロホンを備え、譜面をめくりながら演奏をしたとき、譜面をめくるタイミングに同期した演奏音を録音することを特徴とする電子譜面台。
【請求項３】
請求項１の電子譜面台において、演奏者に演奏のテンポの指標を与えるメトロノーム機能を有することを特徴とする電子譜面台。
【請求項４】
請求項１の電子譜面台において、譜面に基づく演奏中に譜面を順次表示しながら、任意の二つの時点間を（ストップウォッチ的に）計測できる機能を備えたことを特徴とする電子譜面台。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽器演奏の際の譜面を電子的に表示するものであるが、譜面めくりを自動的に行う機能を持つと同時に、演奏を録音したり、演奏時間を確認するストップウォッチやテンポを合わせるためのメトロノーム機能を持たせた多機能型電子譜面を実現する技術に関する。
【背景技術】
【０００２】
従来、楽器演奏に際しては暗譜に頼る場合は別として、演奏の進行に合せて譜面をめくる作業が必要となる。特にリサイタル等ではピアノの演奏者には「譜面めくりの人」を用意する必要があるが、楽器の演奏にある程度の造詣がある人を探すことは演奏者にとって負担感の多いことである。
【０００３】
既に実用化されている装置には、電子ファイル化された譜面をパーソナルコンピュータのキー操作や押しボタンスイッチの操作によってページ送りをするものがある（例えば、特許文献１参照）。今回の提案は、演奏者が行う任意の動作やボディサインをカメラで捕らえ、その映像を画像処理で識別すること（画像監視分野での応用は、特許文献２参照）により、譜面をめくるタイミングを設定するように考案したものである。
【０００４】
なお演奏者はリサイタルでの演奏状況を録音する事が多く、録音機能を持たせることで簡単な操作での録音を可能にしている。
【０００５】
更に録音機能の他、時間の計測機能（ストップウォッチ機能やメトロノーム機能）を持たせることで、本機器の毎日の練習時での利便性も図ることが可能である。
【０００６】
上記の画像処理で得た識別信号を用いて、録音機能及び計測機能のＯＮ／ＯＦＦをしたり、譜面の頁ごとの演奏時間を計測することを可能にしている。
【０００７】
【特許文献１】特開２００３−１７７７４５「電子譜面提供装置」
【０００８】
【特許文献２】特開２００２−２６２２８２「画像監視方法及び画像監視装置」
【非特許文献１】なし。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
演奏者または補助者の手足によるハードウェアへの操作無しに、電子ファイル化された譜面をめくる動作を、機械に行わせようとするものである。同時に、譜面めくりに同期して演奏者による演奏音を録音して、演奏者自身及びこの演奏を学ぼうとする人に利便を供するものである。また、演奏者の演奏速度の参考になるようにメトロノーム機能や経過時間が計測できる機能も提供しようとするものである。
【課題を解決するための手段】
【００１０】
電子ファイル化された譜面をめくる操作を、演奏者が発するボディーサインによって機械に行わせようとするものである。このビデオ画像からのボディーサインの検出については、特開２００２−２６２２８２号公報に記載の原理を用いている。すなわち、ビデオ画面の一部の「変化を検出したい部分」に観測窓と呼ぶ小領域を設定し、この観測窓内の画像変化を平均明度値の比較や正規化相関関数値の比較等の手段により検出するものである。演奏者に向けるテレビカメラが、ボディーサインを発したい演奏者の身体部位、即ち演奏者の顔面の動きや手足の動きを撮像できるようにテレビカメラを固定する。こうして撮像したビデオ画面の中のボディーサインを読取りたい部分に上記の観測窓を設定する。
【００１１】
観測窓の設定によっては、例えば演奏者の顔面を中心とする画面を撮像し、画面の中で顔面が動いても顔面部分に観測窓が追従するようにして、その中で演奏者の口が開くかどうかを検出することはできる。
【発明の効果】
【００１２】
本発明による譜面めくり機能を用いれば、演奏者は紙による譜面をめくったり、譜面めくりのための補助者を同伴する必要が無くなると共に、電子化された譜面めくりの操作に際し、殊更のスイッチ操作を必要とせず、予め定めたボディーアクションを行うのみで電子化された譜面の表示が自由に頁送りや頁戻りが行える。従って、検出すべきボディーアクションを演奏中の手足の動作を若干拡張したもの、例えば頭や手足を少し余分に振ると言うように決めてこれを検出することにすれば、演奏中に手足でスイッチ操作を行うような煩わしい動作が不要になり、演奏中の演奏者の譜面めくりの負担は大幅に減少する。
【発明を実施するための最良の形態】
【００１３】
譜面台等の本来譜面を置く位置に、電子的表示装置（現在の実用機器では、フラットパネルディスプレイが適当である。）を備えて、その背面に制御部、マイクロホンやビデオカメラを電子的表示装置と一体化して設ける。
【実施例１】
【００１４】
図１は本提案によるシステムの構成の一例である。制御部１０１は各入力により各出力を制御するための機能を有し、マイクロホン１０２は演奏音を取り込み、テレビカメラ１０３は演奏者の身体の一部を撮像する機能を有するが、ここでは演奏者の顔面を撮像する例について説明する。液晶ディスプレイ１０４は電子譜面そのものの表示や装置全体が作動するための設定情報表示や状態表示を行う。手動操作部１０５は本装置への設定または動作のための信号を与えるもので、テレビカメラ１０３を経由して与えられるボディーサインによる信号と同じ効果を持つ信号も必要に応じ手動入力により与えられる。可動型メモリー１０６は制御部１０１に着脱可能なメモリー素子である。破線囲い１０７は装置全体が一体化されることを示している。
【００１５】
図２は図１に記載の制御部１０１の内部を概念的に記述したものである。制御部２０１は制御部１０１と同機能であるが、ここでは可動型メモリー２１１を内蔵した形で記載してある。図２の中でマイクロホン２０２、テレビカメラ２０３、液晶ディスプレイ２０４、手動操作部２０５は図１記載のものと同じである。音声取込みＩ／Ｆ２０６はマイクロホンの出力をマイクロコンピュータ２１３に取り込むためのインタフェースである。画像取込みＩ／Ｆ２０７はテレビカメラ２０３の出力をマイクロコンピュータ２１２に取り込むためのインタフェースであってテレビカメラの出力方式がＵＳＢ方式であれば、ここで言う画像取込みＩ／Ｆ２０７はＵＳＢインタフェースになり、カメラの出力形式がＬＡＮインタフェースであれば、画像取込みＩ／Ｆ２０７はＬＡＮインタフェースになる。ディスプレイＩ／Ｆ２０８はマイクロコンピュータ２１３の出力を液晶ディスプレイ２０４に表示するためのインタフェースである。制御信号Ｉ／Ｆ２０９は手動操作部２０５の出力をマイクロコンピュータ２１３に取り込むためのインタフェースである。メモリー２１２は本装置の機能を司るプログラミング及びデータが格納される。電源２１０は本装置全体の必要電力を供給する。
【００１６】
図３は本電子譜面台の位置から撮像した演奏者の顔面とその変化の一例である。平常の演奏シーンの一例が平常時画面３０１であり、演奏者がボディーサインの一つとして口を大きく開けた演奏シーンの一例がボディーサイン発信時画面３０２である。平常の演奏者の状況を示す顔面３０３，ボディーサインの一例を発信している状況を示す顔面３０４がそれぞれ平常時画面３０１とボディーサイン発信時画面３０２に表示される。
【００１７】
図４は、図３で示す画面群に観測窓を設定した模様を示している。観測窓群４１０は、３×３の観測窓であり観測窓４１１から観測窓４１９が図のように配列してある。観測窓群４１０を平常時画面４０１及びボディーサイン発信時画面４０２に設定した状況が、観測窓群４０５及び観測窓群４０６である。平常の演奏者の状況を示す顔面４０３，ボディーサインの一例を発信している状況を示す顔面４０４がそれぞれ平常時画面４０１とボディーサイン発信時画面４０２に表示される。
【００１８】
演奏者の性癖によるが、演奏中に顔面を上下又は左右に振ることがある。暗い背景と明るい顔面との明度の対比をするために、特に顔面の輪郭部分に対応する観測窓、本例でいうと観測窓４１１，４１２，４１３，４１４，４１６などの観測窓毎の平均明度値が一定範囲に収まるように、観測窓群の画面上での位置を自動的に上下左右に動かして調節する。
【００１９】
ボディーサインの検出は、観測窓４１５の平均明度値の時間軸についての変化を読みとり、変化幅が予め定めた一定値を超えたときボディーサイン発信とする。この平均明度値の時間軸についての変化は、平均明度値を時間軸についての微分処理を施すことで、ボディーサインの検出精度が高められる。
【００２０】
演奏者の顔面映像の状況によっては平均明度値の代わりに色度情報を用いる。
【産業上の利用可能性】
【００２１】
本発明による電子譜面台を用いれば、他人による譜面めくりに依存せねばならない独奏者のみならず、上級の演奏家の演奏を手本として、演奏スタイルを学ぼうとする修業中の演奏家にも有効な機器を供給できる。これらの需要を勘案すると新しい機器分野の展開が期待できる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施の概略構成を示すブロック図、
【図２】制御部の機能を説明するためのブロック図、
【図３】演奏者の表情の違いの一例を示す図
【図４】演奏者の表情の違いを検出する観測窓の設定を示す図
【符号の説明】
【００２３】
１０１、制御部
１０２、マイクロホン
１０３、テレビカメラ
１０４、液晶ディスプレイ
１０５、手動操作部
１０６、可動型メモリー
２０１、制御部
２０２、マイクロホン
２０３、テレビカメラ
２０４、液晶ディスプレイ
２０５、手動操作部
２０６、音声取込みＩ／Ｆ
２０７、画像取込みＩ／Ｆ
２０８、ディスプレイＩ／Ｆ
２０９、制御信号Ｉ／Ｆ
２１０、電源
２１１、可動型メモリー
２１２、メモリー
２１３、マイクロコンピュータ
３０１、平常時画面
３０２、ボディーサイン発信時画面
３０３、平常の演奏者の状況を示す顔面
３０４、ボディーサインの一例を発信している状況を示す顔面
４０１、平常時画面
４０２、ボディーサイン発信時画面
４０３、平常の演奏者の状況を示す顔面
４０４、ボディーサインの一例を発信している状況を示す顔面
４０５、観測窓群
４０６、観測窓群
４１０、観測窓群
４１１、観測窓
４１２、観測窓
４１３、観測窓
４１４、観測窓
４１５、観測窓
４１６、観測窓
４１７、観測窓
４１８、観測窓
４１９、観測窓
【図１】
2005037751.tif 000003
【図２】
2005037751.tif 000004
【図３】
2005037751.tif 000005
【図４】
2005037751.tif 000006