(57)【要約】【課題】指のような人体の可動部位の形状の変化を計測するセンサの出力値を補正するための処理を、当該処理を実行すべきタイミングをユーザに意識させることなく実行するための技術を提供する。【解決手段】信号処理部２０Ｌは、ユーザの手に装着される装着部材に設けられて当該ユーザの指の形状の変化を計測する歪みセンサ１２Ｌ−１〜１２Ｌ−５を備えるデータグローブ１０Ｌから、歪みセンサ１２Ｌ−１〜１２Ｌ−５の出力値を逐次取得する。信号処理部２０Ｌは、マイクロホン３０からの音信号や、データグローブ１０Ｌからのモーションデータに基づいて、ユーザの指の形状が所定の状態（例えば手を握った状態となったタイミングを特定する。信号処理部２０Ｌは、登録された値と、特定したタイミングにおいて取得された歪みセンサの出力値との差異に基づいて、この出力値の補正に用いる補正値を決定し、当該補正値を用いた補正により、歪み値を出力する。【選択図】図３
2017173589.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの手に装着される部材に設けられて当該ユーザの指の形状の変化を計測するセンサの出力値を逐次取得する取得手段と、
前記指の形状が所定の状態となったタイミングを特定する特定手段と、
起点となる値と、前記タイミングにおいて取得された前記出力値との差異に基づいて、前記出力値の補正に用いる補正値を決定する決定手段と
を備える信号処理装置。
【請求項２】
前記特定手段は、前記手又は指の状態を検知した結果に基づいて、前記タイミングを特定する
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記特定手段は、前記ユーザが置かれる環境を検知した結果に基づいて、前記タイミングを特定する
ことを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記指の形状が前記所定の状態となったときの前記センサの出力値を記憶する記憶手段を備え、
前記特定手段は、
逐次取得される前記出力値を、前記記憶手段に記憶された前記出力値と比較することで、前記タイミングを特定する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の信号処理装置。
【請求項５】
前記センサとして、第１の指の形状の変化を計測する第１のセンサと、第２の指の形状の変化を計測する第２のセンサとがあり、
前記決定手段は、前記第１のセンサから取得された前記出力値に基づいて、前記第２のセンサから取得される前記出力値の補正に用いる前記補正値を決定する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指のような人体の可動部位の形状を特定するための技術に関する。
【背景技術】
【０００２】
特許文献１には、人間の手や指の動きを計測するデータグローブについて記載されている。このデータグローブは、手や指の屈曲の状態を、抵抗パターンの抵抗値の変化として検知する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３２９５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のデータグローブは、手や指の屈曲の状態の相対的な変化を、抵抗パターンの抵抗値の変化として検知する。従って、基準状態での抵抗値が予め特定されていることで、この抵抗値から、手や指の屈曲の状態を特定することができる。
【０００５】
ところで、抵抗パターンの抵抗値は、様々な原因によって変化し得る。この原因として、例えば、ユーザの手に装着されたデータグローブの位置のずれや、温度等の外部要素による抵抗パターンの電気的な特性の変化がある。基準状態での値が一定となるようにその抵抗値を補正すれば、補正後の値から手や指の屈曲の状態を特定することができる。しかし、ユーザが補正のタイミングを判断する仕組みとした場合、的確なタイミングでこの補正が行われるとは限らない。
本発明は、上述した背景の下になされたものであり、指のような人体の可動部位の形状の変化を計測するセンサの出力値を補正するための処理を、当該処理を実行すべきタイミングをユーザに意識させることなく実行するための技術を提供することである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明の信号処理装置は、ユーザの手に装着される部材に設けられて当該ユーザの指の形状の変化を計測するセンサの出力値を逐次取得する取得手段と、前記指の形状が所定の状態となったタイミングを特定する特定手段と、起点となる値と、前記タイミングにおいて取得された前記出力値との差異に基づいて、前記出力値の補正に用いる補正値を決定する決定手段とを備える。
本発明において、前記特定手段は、前記手又は指の状態を検知した結果に基づいて、前記タイミングを特定してもよい。
本発明において、前記特定手段は、前記ユーザが置かれる環境を検知した結果に基づいて、前記タイミングを特定してもよい。
本発明において、前記指の形状が前記所定の状態となったときの前記センサの出力値を記憶する記憶手段を備え、前記特定手段は、逐次取得される前記出力値を、前記記憶手段に記憶された前記出力値と比較することで、前記タイミングを特定してもよい。
本発明において、前記センサとして、第１の指の形状の変化を計測する第１のセンサと、第２の指の形状の変化を計測する第２のセンサとがあり、前記決定手段は、前記第１のセンサから取得された前記出力値に基づいて、前記第２のセンサから取得される前記出力値の補正に用いる前記補正値を決定してもよい。
【発明の効果】
【０００７】
本発明によれば、指のような人体の可動部位の形状の変化を計測するセンサの出力値を補正するための処理を、当該処理を実行すべきタイミングをユーザに意識させることなく実行することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る電子楽器の外観を示す図。
【図２】同実施形態に係るデータグローブの構成を示す図
【図３】同実施形態に係る信号処理部の構成を示すブロック図。
【図４】同実施形態に係るテーブルの構成を示す図。
【図５】同実施形態に係る信号処理部が実行する処理を示すフローチャート。
【図６】同実施形態に係るキャリブレーションの実行タイミングの特定方法を説明する図。
【図７】同実施形態に係る補正値の決定方法を説明する図。
【図８】本発明の第２実施形態に係る撮像装置の配置を説明する図。
【図９】同実施形態に係る信号処理部の構成を示すブロック図。
【図１０】同実施形態に係る信号処理部が実行する処理を示すフローチャート。
【図１１】本発明の第４実施形態に係る信号処理部の構成を示すブロック図。
【図１２】同実施形態に係る信号処理部が実行する処理を示すフローチャート。
【図１３】本発明の変形例１に係る補正値決定部が実行するキャリブレーションを示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る電子楽器１の外観を示す図である。電子楽器１は、ここでは鍵盤楽器である。電子楽器１は、鍵盤１００と、筐体１１０と、複数のスピーカ１２０とを備える。筐体１１０は、ここではアップライトピアノを模した形状で、鍵盤１００、及び複数のスピーカ１２０を収容する。鍵盤１００は、複数の鍵を含み、ユーザ（つまり演奏者）の演奏操作を受け付ける操作子に相当する。電子楽器１は、鍵が操作されると、操作された鍵に応じた演奏情報を生成し、生成した演奏情報に基づいて音信号を発生させる。演奏情報は、例えばＭＩＤＩ（Musical Instrument Digital Interface：登録商標）形式である。この演奏情報は、ノートオンやノートオフ、音高、ペロシティ等の演奏を指示する情報を含む。スピーカ１２０は、音信号が表す音（楽音）が発する。
【００１０】
図２は、データグローブ１０Ｌ，１０Ｒの構成を示す模式図である。データグローブ１０Ｌ，１０Ｒは、手袋形状をしたデバイスで、ユーザの手に装着されて使用される。データグローブ１０Ｌは左手に、データグローブ１０Ｒは右手に装着される。データグローブ１０Ｌ，１０Ｒは、演奏操作を行うユーザの手、特に指の曲げ伸ばしを伴う動きに関するデータを収集する。この収集されたデータは、例えば、演奏操作中のユーザの指の動きを解析する等の目的で使用されるが、具体的な利用の目的については特に問わない。
なお、図２に示すユーザの指の形状（より詳細には、表面の形状）は、ユーザが演奏操作を開始する前に、鍵盤１００に指を触れさせたときの状態を示している。
【００１１】
データグローブ１０Ｌは、装着部材１１Ｌと、複数の歪みセンサ１２Ｌと、モーションセンサ１３Ｌと、インタフェース１４Ｌとを備える。装着部材１１Ｌは、柔軟で変形可能な素材により、手袋形状に形成されている。装着部材１１Ｌは、ユーザの手の動きに追従して変形する。
【００１２】
複数の歪みセンサ１２Ｌは、ユーザの指の形状の変化を計測するセンサに相当する。指の形状は、指（関節）の曲げ伸ばしによって変化する。歪みセンサ１２Ｌは、この曲げ伸ばしに起因して装着部材１１Ｌに生じた歪みを計測する。歪みとは、物質の形状の変形をいい、局所的には引っ張り又は圧縮を示す。歪みセンサ１２Ｌは、計測した歪みの大きさを示す値を、アナログ形式の信号により出力する。歪みセンサ１２Ｌの出力値は、ここでは，指の曲げ伸ばしの変化に対して線形的に変化するものとする。
なお、図２では、歪みセンサ１２Ｌは、五指の各指のＤＩＰ関節（第１関節）に重なる位置と、ＭＰ関節（指の付け根の関節）に重なる位置とにそれぞれ設けられている。ただし、歪みセンサ１２Ｌの数や位置は、図２の例に限られない。
【００１３】
モーションセンサ１３Ｌは、ユーザの手の動き（モーション）を計測するセンサである。モーションセンサ１３Ｌは、ここでは、手の甲又は腕に重なる位置に設けられている。モーションセンサ１３Ｌは、例えば３軸加速度、３軸角速度、及び３軸地磁気を計測するセンサ（つまり９軸モーションセンサ）で、計測した結果を示すデータを、モーションデータとして出力する。モーションセンサ１３Ｌは、ユーザの手全体の動きを計測するものとする。モーションセンサ１３Ｌは、ユーザの手又は指の状態を検知するための手段に相当する。
【００１４】
インタフェース１４Ｌは、信号処理部２０Ｌ（図３参照）と有線又は無線により接続するインタフェースである。インタフェース１４Ｌは、複数の歪みセンサ１２Ｌの出力値、及びモーションセンサ１３Ｌからのモーションデータを、信号処理部２０Ｌへ送信する。
【００１５】
信号処理部２０Ｌは、データグローブ１０Ｌから取得した複数の歪みセンサ１２Ｌの出力値、及びモーションデータ、並びにマイクロホン３０から取得された音信号に基づいて、所定の信号処理を実行する信号処理装置に相当する。この信号処理は、複数の歪みセンサ１２Ｌの出力値を補正し、補正後の値を歪み値として出力する処理である。
なお、信号処理部２０Ｌは、データグローブ１０Ｌの外部のコンピュータにより実現されてもよいし、データグローブ１０Ｌの機能の一部として実現されてもよい。また、信号処理部２０Ｌは、電子楽器１の機能の一部として実現されてもよい。
【００１６】
マイクロホン３０は、ユーザの周囲の音を収音する収音手段である。マイクロホン３０は、収音した音を音信号に変換して、インタフェース１４Ｌに出力する。マイクロホン３０は、ユーザが置かれる環境を検知するための手段に相当する。
【００１７】
データグローブ１０Ｒは、装着部材１１Ｒと、複数の歪みセンサ１２Ｒと、モーションセンサ１３Ｒと、インタフェース１４Ｒとを備える。データグローブ１０Ｒの構成は、データグローブ１０Ｌの説明のうち、「左」を「右」に読み替え、「Ｌ」を「Ｒ」に読み替えることで説明することができる。
【００１８】
図３は、信号処理部２０Ｌ，２０Ｒの構成を示すブロック図である。信号処理部２０Ｌ，２０Ｒは、例えばＡＳＩＣ（Application Specific Integrated Circuit）によって実現されるが、具体的な実現の方法については特に問わない。
信号処理部２０Ｌは、取得部２１Ｌ−１〜２１Ｌ−５と、インタフェース２２Ｌと、タイミング特定部２３Ｌと、補正値決定部２４Ｌと、メモリ２５Ｌと、補正処理部２６Ｌと、減算器２７Ｌ−１〜２７Ｌ−５と、出力部２８Ｌとを備える。
取得部２１Ｌ−１〜２１Ｌ−５は、歪みセンサ１２Ｌの出力値を逐次取得する取得手段に相当する。取得部２１Ｌ−１〜２１Ｌ−５は、例えばＡ／Ｄ変換器を含み、歪みセンサ１２Ｌの出力値を、アナログ形式からデジタル形式の信号に変換する。以下の説明では、親指、人差し指、中指、薬指、小指の形状の変化を計測する歪みセンサ１２Ｌを、順に、「１２Ｌ−１」、「１２Ｌ−２」、「１２Ｌ−３」、「１２Ｌ−４」、「１２Ｌ−５」と表す。取得部２１Ｌ−ｉ（ｉは自然数）は歪みセンサ１２Ｌ−ｉの出力値を取得するものとする。
【００１９】
インタフェース２２Ｌは、データグローブ１０Ｌ、及びマイクロホン３０と接続するインタフェースである。インタフェース２２Ｌは、モーションセンサ１３Ｌからのモーションデータ、及びマイクロホン３０からの音信号を取得する。
【００２０】
タイミング特定部２３Ｌは、ユーザの指の形状が所定の状態となったタイミングを特定する特定手段に相当する。ここにおいて、所定の状態は、演奏の準備状態に移行した後の指の形状を示す。タイミング特定部２３Ｌは、データグローブ１０Ｌのキャリブレーションの実行タイミングを特定する。キャリブレーションとは、ここでは、歪みセンサ１２Ｌの出力値の補正に用いる補正値を決定する処理をいう。タイミング特定部２３Ｌは、インタフェース２２Ｌにより取得されたモーションデータ、及び音信号に基づいて、キャリブレーションの実行タイミングを特定する。
【００２１】
メモリ２５Ｌは、不揮発性のメモリで、各種のデータを記憶する記憶手段に相当する。具体的には、メモリ２５Ｌは、図４に示すテーブルＴ１Ｌ，Ｔ２Ｌを記憶する。テーブルＴ１Ｌは、タイミング特定部２３Ｌにより特定されたタイミングにおいて取得部２１Ｌ−１〜２１Ｌ−５により取得された出力値を登録するためのテーブルである。テーブルＴ１Ｌに登録された出力値は、ユーザの指の形状が所定の状態となったときの歪みセンサ１２Ｌ−１〜１２Ｌ−５の出力値であり、補正値を算出する際の起点となる値となる。テーブルＴ２Ｌは、補正値決定部２４Ｌにより歪みセンサ１２Ｌ−１〜１２Ｌ−５の各々について決定された補正値を格納するためのテーブルである。
【００２２】
補正値決定部２４Ｌは、テーブルＴ１Ｌに登録された出力値と、タイミング特定部２３Ｌにより特定されたタイミングにおいて取得された歪みセンサ１２Ｌの出力値との差異となる差に基づいて、補正値を決定する決定手段に相当する。つまり、補正値決定部２４Ｌは、データグローブ１０Ｌのキャリブレーションを行う。補正値は、指の曲げ伸ばしが同じときは、五指の各指に対応する歪みセンサ１２Ｌから同じ歪み値が得られるように、決定される。補正値は、ここでは、歪みセンサ１２Ｌの出力値から減じられる値であるものとする。補正値決定部２４Ｌは、歪みセンサ１２Ｌ−１〜１２Ｌ−５の各々について補正値を決定し、決定した補正値をメモリ２５Ｌに記憶させる。また、補正値は、テーブルＴ１Ｌに登録された出力値と、タイミング特定部２３Ｌにより特定されたタイミングにおいて取得された歪みセンサ１２Ｌの出力値との差異として、起点となる値に対しての乗率としてもよい。
【００２３】
補正処理部２６Ｌは、補正値決定部２４Ｌにより決定された補正値に基づいて、歪みセンサ１２Ｌ−１〜１２Ｌ−５の出力値の補正処理を行う補正処理手段に相当する。補正処理部２６Ｌは、メモリ２５ＬのテーブルＴ２Ｌに格納された補正値を、補正値決定部２４Ｌを介して取得する。そして、補正処理部２６Ｌは、減算器２７Ｌ−ｉを用いて、取得部２１Ｌ−ｉからの出力値から、歪みセンサ１２Ｌ−ｉについて決定された補正値を減じる。
【００２４】
出力部２８Ｌは、減算器２７Ｌ−１〜２７Ｌ−５から出力された値を歪み値として出力する出力手段に相当する。出力部２８Ｌは、例えば、この歪み値を用いて処理を装置又はアプリケーションにこれを取得するが、具体的な出力先については特に問わない。
【００２５】
信号処理部２０Ｒは、取得部２１Ｒ−１〜２１Ｒ−５と、インタフェース２２Ｒと、タイミング特定部２３Ｒと、補正値決定部２４Ｒと、メモリ２５Ｒと、補正処理部２６Ｒと、減算器２７Ｒ−１〜２７Ｒ−５と、出力部２８Ｒとを備える。信号処理部２０Ｒの構成は、信号処理部２０Ｌの説明のうち、「Ｌ」の「Ｒ」を読み替えることによって説明することができる。
【００２６】
メモリ２５Ｒは、図４に示すテーブルＴ１Ｒ，Ｔ２Ｒを記憶する。テーブルＴ１Ｒは、タイミング特定部２３Ｒにより特定されたタイミングにおいて取得部２１Ｒ−１〜２１Ｒ−５により取得された出力値を登録するためのテーブルである。テーブルＴ１Ｒに登録された出力値は、ユーザの指の形状が所定の状態となったときの歪みセンサ１２Ｒ−１〜１２Ｒ−５の出力値である。テーブルＴ２Ｒは、補正値決定部２４Ｒにより歪みセンサ１２Ｒ−１〜１２Ｒ−５の各々について決定された補正値を格納するためのテーブルである。
【００２７】
次に、本実施形態の動作を説明する。
信号処理部２０Ｌ、及び信号処理部２０Ｒが実行する処理は大略同じであるから、以下では、前述した符号に含まれていた「Ｌ」及び「Ｒ」を省略して説明する。
図５は、信号処理部２０が実行する処理を示すフローチャートである。
まず、信号処理部２０は、事前登録処理を行う（ステップＳ１）。事前登録処理は、ユーザの指の形状が所定の状態になったときの歪みセンサ１２−１〜１２−５の出力値を登録する処理である。信号処理部２０（補正値決定部２４）は、ここでは、手が握られた状態のときの歪みセンサ１２−１〜１２−５の出力値を、メモリ２５のテーブルＴ１に登録する。
テーブルＴ１に登録された出力値は、ユーザの指の形状が既知の状態のときの出力値であればよい。よって、この出力値は、手が握られた状態に限られず、手が開かれた状態のときの出力値であってもよい。また、事前登録処理に採用された指の形状は、ユーザが演奏操作を開始する前にユーザが再現すると取り決められているものとする。
【００２８】
事前登録処理が完了した後、信号処理部２０は、ステップＳ２以降の処理を逐次実行する。
信号処理部２０は、マイクロホン３０から音信号を取得し（ステップＳ２）、モーションセンサ１３からモーションデータを取得する（ステップＳ３）。次に、信号処理部２０は、歪みセンサ１２−１〜１２−５の出力値を取得する（ステップＳ４）。
【００２９】
次に、信号処理部２０は、演奏の準備状態に移行したかどうかを判定する（ステップＳ５）。ここでは、信号処理部２０は、ステップＳ２で取得した音信号に基づいて、ユーザが置かれる環境が静寂状態であることを検知し、且つステップＳ３で取得したモーションデータに基づいて、ユーザの手が静止状態であることを検知した場合に、演奏準備状態に移行したと判定するものとする。静寂状態とは、ユーザの周囲が静寂な状態のことをいい、例えば、音信号の特定の周波数帯域（例えば音声帯域）のレベルが閾値未満となった状態をいう。静寂状態を条件とする理由は、演奏が開始される直前においては、演奏者及び聴衆が私語等せず、当該演奏者の周囲は静寂な状態になるからである。静止状態を条件とする理由は、演奏操作を開始する前において、ユーザの指の形状が事前登録処理に採用された状態となったとき、ユーザの手が静止した状態になるからである。
【００３０】
演奏の準備状態に移行したと判定するまでは、信号処理部２０はステップＳ５で「ＮＯ」と判定し、ステップＳ８に進む。そして、信号処理部２０は、歪みセンサ１２−１〜１２−５の出力値から、各歪みセンサについて決定された補正値を減じる補正処理を行い（ステップＳ８）、歪み値を出力する（ステップＳ９）。補正値の初期値は「０」であるものとする。
その後、信号処理部２０は、演奏の準備状態に移行したと判定すると（ステップＳ５；ＹＥＳ）、キャリブレーションの実行タイミングを特定する（ステップＳ６）。
【００３１】
図６は、キャリブレーションの実行タイミングの特定方法を説明する図である。図６の上段のグラフは、横軸が時間軸を表し、縦軸は各時点に取得された歪みセンサの出力値の一例を表す。図６の下段のグラフは、横軸が時間軸を表し、縦軸は各時点における補正値を表す。
【００３２】
図６に示す時間軸上において、時刻「０」〜「ｔ１」までの期間は、演奏の準備状態に移行する前の期間である。この期間においては、ユーザが置かれる環境が静寂状態にない可能性がある。また、ユーザが自身の手を動かしており、静止状態でもない可能性がある。時刻ｔ１において演奏の準備状態に移行すると、ユーザは事前登録処理時と同じ指の形状となるようにする。このとき、ユーザが置かれる環境は静寂状態で、且つユーザの手は静止状態を示す。信号処理部２０は、演奏の準備状態が行われている「ｔ１」〜「ｔ２」までの期間内の時刻ｔ１２を、キャリブレーションの実行タイミングとして特定する。なお、時刻ｔ１２は、演奏の準備状態に移行してから予め決められた時間後（例えば、装着部材１１が手になじむ０．５〜３秒後）であるものとする。
なお、図６に示す時刻「ｔ３」は、演奏操作が開始される時刻を示す。
【００３３】
図５に戻って説明する。信号処理部２０は、キャリブレーションの実行タイミングを特定すると、この実行タイミングにおいてキャリブレーションを実行する（ステップＳ７）。具体的には、信号処理部２０は、テーブルＴ１に登録された値と、歪みセンサ１２−１〜１２−５から取得した出力値との差異に基づいて、補正値を決定する。
【００３４】
図７は、補正値の決定方法を説明する図である。
図７の上段に示すように、歪みセンサ１２Ｌ−１〜１２Ｌ−５，１２Ｒ−１〜１２Ｒ−５は、指の形状の変化（つまり相対的な変化）を計測するものであるから、出力値のとりうる範囲が歪みセンサ毎に一致しない場合がある。この場合、歪みセンサの出力値から、指の形状を一意に特定することが困難である。そこで、補正値決定部２４は、複数の歪みセンサで、指の形状が同じときは同じ歪み値が得られるように、補正値を決定する。具体的には、信号処理部２０は、事前登録処理に採用された指の形状となったときの歪みセンサ１２−１〜１２−５の出力値であるテーブルＴ１に登録された値を目標値とし、今回歪みセンサ１２−１〜１２−５から取得した出力値を当該目標値に一致させるように、補正値を決定する。目標値は、ここでは、出力範囲の最大値である「Ｐｍａｘ」であり、五指で共通の値であるものとする。これにより、図７の下段に示すように、指が最も曲げられたとき歪み値は「Ｐｍａｘ」で揃えられ、その結果、歪み値がとりうる範囲も揃う。図６には、補正値を「０」から「Ｃ１」に調整する場合が示されている。
なお、事前登録処理において手を開いたときの出力値がテーブルＴ１に登録されていた場合は、例えば、目標値を出力範囲の最小値「Ｐｍｉｎ」（図７参照）にすればよい。
【００３５】
図５に戻り、信号処理部２０は、ステップＳ７で決定した補正値に基づいて、歪みセンサ１２−１〜１２−５の出力値から補正値を減じる補正処理を行い（ステップＳ８）、補正後の値を歪み値として出力する（ステップＳ９）。ここでは、ステップＳ７で決定された補正値を用いたことで、或る指の形状に変化に対する歪み値が、五指の各指で同じとなる。
【００３６】
以降においても、信号処理部２０は、ステップＳ２以降の処理を逐次実行する。つまり、信号処理部２０は、新たな補正値を決定するまでは、直前に決定した補正値に基づいて補正処理を行い、歪み値を出力する。そして、次のキャリブレーションの実行タイミングが到来すると、信号処理部２０は既に説明した方法で、補正値を決定する。図６には、時刻ｔ４において、補正値を「Ｃ１」から「Ｃ２」に調整する場合が示されている。
【００３７】
以上説明した実施形態によれば、信号処理部２０は、モーションセンサ１３やマイクロホン３０を用いて、演奏の準備状態に移行したかどうかを判定する。そして、信号処理部２０は、演奏の準備状態に移行したと判定した場合には、事前登録処理で登録された指の形状となったときの歪みセンサ１２−１〜１２−５の出力値を目標値とし、当該目標値と歪みセンサ１２−１〜１２−５から取得した出力値との差異に基づいて、補正値を決定する。ユーザは、演奏操作を開始する前に、事前登録処理時と同じ指の形状を再現すればよい。よって、キャリブレーションの実行タイミングをユーザ自身が判断する必要がない。
なお、本実施形態では、信号処理部２０は、マイクロホン３０、及びモーションセンサ１３を組み合わせて演奏の準備状態への移行を判定していたが、どちらか一方のみを用いて演奏の準備状態への移行を判定してもよい。
また、起点となる値は、登録された値に限られるものではない。起点となる値は、例えば、演算処理によって算出されてもよい。この場合、起点となる値は、複数の歪みセンサの出力の平均値であってもよい。
【００３８】
［第２実施形態］
この第２実施形態では、信号処理部２０が、撮像装置４０を用いて演奏の準備状態への移行を判定する点で、上述した第１実施形態とは異なる。
図８は、本実施形態の撮像装置４０の配置を説明する図である。撮像装置４０は、撮像素子及びレンズを有し、鍵盤１００及びその周辺を撮像するように配置されている。撮像装置４０の撮像範囲内には、電子楽器１を演奏するユーザであって、鍵盤１００の前に位置するユーザの手又は指も含まれるものとする。このように撮像装置４０は、演奏操作を行うユーザの手又は指の状態を検知するための手段に相当する。
【００３９】
図９は、信号処理部２０Ｌ，２０Ｒの構成を示すブロック図である。この実施形態において、インタフェース２２Ｌ，２２Ｒは、撮像装置４０によって撮像された画像である撮像画像を取得する。タイミング特定部２３Ｌ，２３Ｒは、撮像画像を解析し、ユーザの手の形状を検知して演奏の準備状態を示したタイミングを、キャリブレーションの実行タイミングとして特定する。
【００４０】
図１０は、信号処理部２０が実行する処理を示すフローチャートである。
信号処理部２０は、事前登録処理を行う（ステップＳ１１）。事前登録処理は、ユーザによる演奏の開始前に、ユーザの指の形状が所定の状態になったときの撮像画像を登録する処理である。事前登録処理に用いる指の形状は、上述した第１実施形態と同様に決められていればよい。
【００４１】
事前登録処理が完了した後、信号処理部２０は、ステップＳ１２以降の処理を逐次実行する。
信号処理部２０は、撮像装置４０から撮像画像を取得する（ステップＳ１２）。次に、信号処理部２０は、歪みセンサ１２−１〜１２−５の出力値を取得する（ステップＳ１３）。
【００４２】
次に、信号処理部２０は、ステップＳ２２で取得した撮像画像を解析し、演奏の準備状態に移行したかどうかを判定する（ステップＳ１４）。ここにおいて、信号処理部２０は、撮像画像の解析の結果に基づいて、事前登録処理に採用された指の形状となったことを検知した場合には、演奏の準備状態に移行したと判定とする。信号処理部２０は、演奏の準備状態に移行したと判定すると（ステップＳ１４；ＹＥＳ）、キャリブレーションの実行タイミングを特定する（ステップＳ１５）。そして、信号処理部２０は、この実行タイミングにおいて、キャリブレーションを実行する（ステップＳ１６）。ステップＳ１６の処理は、ステップＳ７と同じでよい。そして、信号処理部２０は、歪みセンサ１２−１〜１２−５の出力値から補正値を減じる補正処理を行い（ステップＳ１７）、歪み値を出力する（ステップＳ１８）。ステップＳ１７，Ｓ１８の処理は、ステップＳ８，Ｓ９と同じでよい。
なお、演奏の準備状態に移行するまでは、信号処理部２０はステップＳ１４で「ＮＯ」と判定して、ステップＳ１７の処理に進む。
なお、撮像画像を解析してユーザの手の形状を検知する機能は、信号処理部２０ではなく、撮像装置４０により実現されてもよい。
【００４３】
以上説明したように、信号処理部２０は、撮像画像が演奏の準備状態に移行したかどうかを判定し、移行したと判定した場合には、事前登録処理に採用された指の形状となったときの歪み値を目標値とするように補正値を決定する。よって、本実施形態においても、キャリブレーションの実行タイミングをユーザ自身が判断する必要がない。
【００４４】
［第３実施形態］
上述した第１実施形態及び第２実施形態で説明した事前登録処理に採用されるユーザの指の形状は、ユーザが演奏操作を開始する場合において、鍵盤１００に指を触れさせたときの形状を示してもよい（図２参照）。ユーザが演奏の開始に備えて、指を鍵盤１００の鍵に触れさせたとき、指の形状はユーザの癖によって、毎回決まった形状を示すと考えられる。そこで、信号処理部２０は、事前登録処理においては、演奏の準備状態の期間内の、ユーザが鍵盤１００に指を触れさせたときの形状となったときの歪みセンサの出力値を、テーブルＴ１に格納する。ユーザが鍵盤１００の鍵に指を触れさせたタイミングの特定の方法は、特に問わない。例えば、上述した第２実施形態で説明した撮像装置４０が設けられている場合は、信号処理部２０は、撮像装置４０の撮像画像を解析して、ユーザが鍵盤１００の鍵に指を触れさせたタイミングを特定してもよい。又は、鍵盤１００の各鍵に指の接触を検知する接触センサを設けておき、信号処理部２０は、この接触センサの検知結果に基づいて、ユーザが鍵盤１００の鍵に指を触れさせたタイミングを特定してもよい。そして、補正値を決定する際には、信号処理部２０は、キャリブレーションの実行タイミングにおいて、事前登録処理時と同じ指の形状になっているものとして、歪みセンサ１２−１〜１２−５について補正値を決定する。
この実施形態によっても、キャリブレーションの実行タイミングをユーザ自身が判断する必要がない。更に、本実施形態では、演奏操作を開始する前において、手を握る等の事前に取り決められた指の形状を、ユーザが意識して再現しなくてもよい。
【００４５】
［第４実施形態］
本実施形態では、キャリブレーションの実行タイミングを、ユーザによる演奏操作の開始後とする点で、上述した各実施形態と相違する。この第４実施形態では、信号処理部２０は、電子楽器１から演奏情報を取得してキャリブレーションの実行タイミングを特定する。演奏情報は、ユーザが行った演奏操作に応じて生成される。このため、演奏情報は、演奏操作を行うユーザの手又は指の状態を検知するための情報に相当する。
【００４６】
図１１は、信号処理部２０Ｌ，２０Ｒの構成を示すブロック図である。この実施形態において、インタフェース２２Ｌ，２２Ｒは、電子楽器１から演奏情報を取得する。そして、タイミング特定部２３Ｌ，２３Ｒは、取得された演奏情報に基づいて、特定の演奏操作が行われたと検知したタイミングを、キャリブレーションの実行タイミングとして特定する。
【００４７】
図１２は、信号処理部２０が実行する処理を示すフローチャートである。
信号処理部２０は、事前登録処理を行う（ステップＳ２１）。本実施形態の事前登録処理も、ユーザの指の形状が所定の状態になったときの歪みセンサ１２−１〜１２−５の出力値を、テーブルＴ１に登録する処理である。この登録は、特定の演奏操作を行ったときの手の形状に基づいて行われる。特定の演奏操作は、例えば和音を発せさせるための操作で、各演奏の機会で同じ指の形状となりやすい操作であることが望ましい。例えば和音を発せさせるための演奏操作では、五指の形状が毎回同じ又はほぼ同じ形状になりやすい。
【００４８】
事前登録処理が完了した後、信号処理部２０は、ステップＳ２２以降の処理を逐次実行する。
信号処理部２０は、電子楽器１から演奏情報を取得する（ステップＳ２２）。次に、信号処理部２０は、歪みセンサ１２−１〜１２−５の出力値を取得する（ステップＳ２３）。次に、信号処理部２０は、演奏情報に基づき特定の演奏操作が行われたかどうかを判定する（ステップＳ２４）。信号処理部２０は、特定の演奏操作が行われたことを検知すると、ステップＳ２４で「ＹＥＳ」と判定して、キャリブレーションの実行タイミングを特定する（ステップＳ２５）。そして、信号処理部２０は、この実行タイミングにおいてキャリブレーションを実行する（ステップＳ２６）。ステップＳ２６の処理は、ステップＳ７と同じでよい。そして、信号処理部２０は、歪みセンサ１２−１〜１２−５の出力値から補正値を減じる補正処理を行い（ステップＳ２７）、歪み値を出力する（ステップＳ２８）。ステップＳ２７，Ｓ２８の処理は、ステップＳ８，Ｓ９と同じでよい。
【００４９】
以上説明したように、信号処理部２０は、ユーザによる演奏操作の開始後においても、キャリブレーションの実行タイミングをユーザに判断させることなく、補正値を調整することができる。更に、本実施形態によれば、キャリブレーションが実行される頻度が、上述した第１〜第３実施形態よりも高くなりやすいため、歪み値からユーザの指の形状を特定する処理の精度の向上が期待できる。
【００５０】
［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
上述した実施形態では、補正値決定部２４は、或る歪みセンサの出力値に基づいて、その歪みセンサについての補正値を決定していた。これに代えて、補正値決定部２４は、或る歪みセンサの出力値に基づいて、他の歪みセンサの出力値の補正に用いられる補正値を決定してもよい。
【００５１】
図１３は、本変形例の補正値決定部２４が実行するキャリブレーションを示すフローチャートである。
補正値決定部２４は、まず、予め決められた一部の指（第１の指に相当）の歪みセンサ（第１のセンサに相当）の出力値に基づいて、その歪みセンサについての補正値を決定する（ステップＳ１０１）。ここにおいて、補正値決定部２４は、歪みセンサ１２−１，１２−２、つまり親指及び人差し指については、上述した実施形態と同じ方法で補正値を決定する。
【００５２】
次に、補正値決定部２４は、上記一部の指の歪みセンサの出力値と、メモリ２５のテーブルＴ１に格納された出力値とに基づいて、他の指（第２の指に相当）の歪みセンサ（第２のセンサに相当）についての補正値を決定する（ステップＳ１０２）。例えば、事前登録処理によりテーブルＴ１に登録された歪みセンサ１２−１，１２−２，１２−３，１２−４，１２−５の出力値が、「２．４」、「２．０」、「２．２」、「２．２」、「１．９」であったとする。また、キャリブレーションの実行タイミングにおいて、歪みセンサ１２−１，１２−２の出力値が「２．６」、「２．１６」であったとする。この場合、歪みセンサ１２−１，１２−２の出力値の比が、キャリブレーションの実行タイミングと、事前登録処理時とで同じ又はほぼ同じである。このため、キャリブレーションの実行タイミングにおいて、事前登録処理に採用された指の形状となっているものと推定される。そこで、補正値決定部２４は、事前登録処理により登録された五指に対応する歪みセンサ１２−１〜１２−５の出力値の比率に基づき、この比率と同じ又はほぼ同じ出力値となるように、歪みセンサ１２−３，１２−４，１２−５についての補正値を決定する。ここでは、信号処理部２０は、歪みセンサ１２−３，１２−４，１２−５の出力値が「２．３８」、「２．３８」、「２．０６」である場合の補正値を、歪みセンサ１２−３，１２−４，１２−５について決定することとなる。
【００５３】
（変形例２）
補正値決定部２４は、補正処理部２６の補正処理により得られた補正値（歪み値）を、テーブルＴ１に登録された値に置き換えて登録してもよい（つまり差し替えてもよい）。これにより、タイミング特定部２３により特定されるタイミングにおけるユーザの指の形状が、事前登録処理が行われたときの指の形状から変化した場合でも、その変化に対応した値を、テーブルＴ１に登録しておくことができる。
【００５４】
（変形例３）
キャリブレーションの実行タイミングは、上述した実施形態とは別の方法で特定されてもよい。信号処理部２０は、例えば、加速度センサやジャイロセンサ等の各種センサに基づいて、ユーザの手若しくは指の状態、又はユーザが置かれる環境を検知し、検知した結果に基づいて、キャリブレーションの実行タイミングを特定してもよい。
補正処理は、減算処理に限られず、例えば補正値を加算する加算処理や、減算処理及び加算処理が選択的に行われる処理であってもよい。もちろん、補正処理が、乗算処理や除算処理等の他の演算処理を含んでいてもよい。
上述した第２実施形態で説明した、演奏の準備状態への移行を判定する処理は、撮像画像の解析を伴う処理以外の処理に置き換えられてもよい。例えば、ユーザのジェスチャを認識する装置（例えば３Ｄセンサ）による、ユーザの手又は指のジェスチャの認識結果に基づいて、演奏の準備状態への移行が判定されてもよい。
【００５５】
（変形例４）
本発明は、ピアノ以外の楽器の演奏操作時のユーザの指の動きの特定にも適用可能である。この楽器として、例えば、ピアノ以外の鍵盤楽器、弦楽器、打楽器等がある。
本発明は、楽器の演奏操作以外によるユーザの手又は指の動きの特定にも適用可能である。例えば、ゴルフやテニス等のスポーツをしているときの手又は指の動きを含む、人体の可動部位の曲げ伸ばしを伴う種々の動きがある。
本発明は、ユーザの手又は指以外の人体の可動部位の動きの特定にも適用可能である。本発明は、例えば、腕、膝等の曲げ伸ばしが可能な人体の可動部位の動きの特定に適用可能である。
本発明は、手袋形状のデバイスに限られず、ブーツ等の履物形状、スーツ等の衣類形状をしたデバイスによって実現してもよい。
本発明の信号処理部は、補正値を決定する処理を行うと、この補正値を歪みセンサの出力値の補正を行う外部装置に出力するものであってもよい。
【００５６】
（変形例５）
上述した実施形態の信号処理部２０が実現する機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の連携によって実現され得る。信号処理部２０の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、信号処理方法として把握することも可能である。
【符号の説明】
【００５７】
１…電子楽器、１０Ｌ，１０Ｒ…データグローブ、１１Ｌ，１１Ｒ…装着部材、１２Ｌ，１２Ｌ，１２Ｌ−１〜１２Ｌ−５，１２Ｒ，１２Ｒ−１〜１２Ｒ〜５…歪みセンサ、１２Ｌ，１３Ｒ…モーションセンサ、１４Ｌ，１４Ｒ…インタフェース、２０Ｌ，２０Ｒ…信号処理部、２１Ｌ−１〜２１Ｌ−５，２１Ｒ−１〜２１Ｒ−５…取得部、２２Ｌ，２２Ｒ…インタフェース、２３Ｌ，２３Ｒ…タイミング特定部、２４Ｌ．２４Ｒ…補正値決定部、２５Ｌ，２５Ｒ…メモリ、２６Ｌ，２６Ｒ…補正処理部、２７Ｌ−１〜２７Ｌ−５，２７Ｒ−１〜２７Ｒ〜５…減算器、２８Ｌ，２８Ｒ…出力部，１００…鍵盤、１１０…筐体、１２０…スピーカ、３０…マイクロホン、４０…撮像装置。
【図１】
2017173589.tif 000003
【図２】
2017173589.tif 000004
【図３】
2017173589.tif 000005
【図４】
2017173589.tif 000006
【図５】
2017173589.tif 000007
【図６】
2017173589.tif 000008
【図７】
2017173589.tif 000009
【図８】
2017173589.tif 000010
【図９】
2017173589.tif 000011
【図１０】
2017173589.tif 000012
【図１１】
2017173589.tif 000013
【図１２】
2017173589.tif 000014
【図１３】
2017173589.tif 000015