(57)【要約】必要最低限の操作を少数の入力デバイスで確実に行うための制御システムを提供する。リズム入力部（１０１）は、ユーザが入力したリズムパターンを電気信号に変換して出力する。リズム辞書格納部（１０３）は、装置の制御内容と登録リズムパターンとを対応させたリズム辞書テーブルを格納する。登録リズムパターンは、制御内容を示す名称の発音パターンを類型化したものである。制御部（１０２）は、リズム入力部（１０１）からの電気信号を解析して、ユーザが入力した入力リズムパターンを認識し、それに対応する制御内容をリズム辞書格納部（１０３）を参照して認識し、車両内装置の動作を制御する。
2004019197.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１以上の装置の動作を制御するための制御システムであって、
前記装置の制御内容を表す名称の発音パターンに対応するユーザからのタップ入力に応じて、振幅レベルが変動する電気信号をリズム入力信号として出力するリズム入力部と、
前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを格納するリズム辞書格納部と、
前記装置の動作を制御する制御部とを備え、
前記制御部は、
前記リズム入力部から入力される前記リズム入力信号を解析して、入力リズムパターンを認識する入力リズムパターン認識手段と、
前記リズム辞書テーブルを参照して、前記入力リズムパターン認識手段が認識した入力リズムパターンと一致する登録リズムパターンを検索し、当該登録リズムパターンに対応する制御内容に基づいて、前記装置を制御する装置制御手段とを含む、制御システム。
【請求項２】
前記リズム辞書テーブルでは、前記制御内容を示す名称を少なくとも１以上の所定の単位に分割したときの分割後の単位毎に所定の単位リズムパターンを割り当てることによって、前記登録リズムパターンを定義しており、
前記入力リズムパターン認識手段は、前記リズム入力信号の振幅レベルの時間変化を単純化することによって入力リズムパターンを認識する、請求項１に記載の制御システム。
【請求項３】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記リズム入力部をユーザがタップした打拍タイミングおよび／または所定の時間の間タップしなかった休拍タイミングを、前記振幅レベルの時間変化に基づいて認識して、前記リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識する、請求項２に記載の制御システム。
【請求項４】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項３に記載の制御システム。
【請求項５】
前記入力リズムパターン認識手段は、さらに、前記リズム入力部をユーザが前記所定のインターバル時間押下し続けた場合、打拍タイミングおよび休拍タイミングがあったとして、入力リズムパターンを認識する、請求項３に記載の制御システム。
【請求項６】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを全て想定して、想定したリズムパターンの中から前記リズム入力信号の時間変化の傾向に最も合致するリズムパターンを探索し、探索されたリズムパターンを入力リズムパターンとして認識する、請求項２に記載の制御システム。
【請求項７】
前記入力リズムパターン認識手段は、想定したリズムパターンにおける隣接する二つの打拍の時間間隔と前記リズム入力信号における隣接する二つの打拍の時間間隔との差を求め、想定したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識する、請求項６に記載の制御システム。
【請求項８】
前記入力リズムパターン認識手段は、さらに、認識した前記入力リズムパターンにおける打拍の間隔が均等に配列している場合、前記打拍の間隔が所定のインターバル時間を超えるか否かを判断して、超える場合、入力リズムパターンは打拍と休拍とが連続するリズムパターンであると認識し直し、超えない場合、入力タップパターンは打拍のみが連続するリズムパターンであると認識し直す、請求項６に記載の制御システム。
【請求項９】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項６に記載の制御システム。
【請求項１０】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記リズム入力信号の時間変化の傾向に最も合致するリズムパターンを前記リズム辞書テーブルにおける登録リズムパターンの中から探索し、探索されたリズムパターンを入力リズムパターンとして認識する、請求項２に記載の制御システム。
【請求項１１】
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを前記リズム辞書テーブルにおける登録リズムパターンの中から探索し、探索したリズムパターンの中から前記時間変化の傾向に最も合致するリズムパターンをさらに探索して、最終的に探索されたリズムパターンを入力リズムパターンとして認識する、請求項１０に記載の制御システム。
【請求項１２】
前記入力リズムパターン認識手段は、前記時間変化の傾向に最も合致するリズムパターンをさらに検索する際、前記探索したリズムパターンにおける隣接する二つの打拍の時間間隔と前記リズム入力信号における隣接する二つの打拍の時間間隔との差を求め、前記探索したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識する、請求項１１に記載の制御システム。
【請求項１３】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項１０に記載の制御システム。
【請求項１４】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されたおり、
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、前記リズム入力信号において隣接する二つの打拍の時間間隔の内、最小の時間間隔を求め、当該最小の時間間隔と他の二つの打拍の時間間隔とを比較したときの相対値に基づいて、当該二つの打拍の間に休拍があるか否かを決定して、前記リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識する、請求項２に記載の制御システム。
【請求項１５】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項１４に記載の制御システム。
【請求項１６】
前記制御内容を示す名称を分割するための前記所定の単位は、モーラの単位であることを特徴とする、請求項２に記載の制御システム。
【請求項１７】
前記制御内容を示す名称を分割するための前記所定の単位は、音節の単位であることを特徴とする、請求項２に記載の制御システム。
【請求項１８】
前記制御部は、ユーザの指示に応じて、前記リズム辞書テーブルの登録内容を編集するリズムパターン編集手段をさらに含む、請求項２に記載の制御システム。
【請求項１９】
前記リズムパターン編集手段は、前記入力リズムパターン認識手段に、前記リズム入力部をタップしたユーザが意図している入力リズムパターンを認識させ、当該入力リズムパターンを前記リズム辞書テーブルにおける登録リズムパターンとして登録する、請求項１８に記載の制御システム。
【請求項２０】
前記リズムパターン編集手段は、ユーザが入力した文字情報によって表される制御名称を少なくとも１以上の所定の単位に分割し、分割後の単位毎に所定の単位リズムパターンを割り当てることによってリズムパターンを定義し、当該リズムパターンを前記リズム辞書テーブルにおける登録リズムパターンとして登録する、請求項１８に記載の制御システム。
【請求項２１】
前記リズムパターン編集手段は、前記登録リズムパターンの重複を確認しながら、前記リズム辞書テーブルの登録内容を編集する、請求項１８に記載の制御システム。
【請求項２２】
車両内に搭載されていることを特徴とする、請求項２に記載の制御システム。
【請求項２３】
前記リズム入力部は、前記車両内のステアリングハンドルに配置されており、触感による位置確認が可能な構造を有している、請求項２２に記載の制御システム。
【請求項２４】
前記リズム辞書テーブルでは、前記制御内容が階層構造に定義されており、
前記装置制御手段は、現在検索中の階層を記憶しており、現在検索中の階層内で前記入力リズムパターンと前記登録リズムパターンとの一致を検索し、
前記リズム入力部は、前記現在検索中の階層を前記装置制御手段に切り替えさせるための階層切り替え手段をさらに含む、請求項２に記載の制御システム。
【請求項２５】
前記リズム入力部は、ユーザのタップを入力するための２以上の入力デバイスからなり、
前記階層切り替え手段は、タップされる前記入力デバイスが切り替わったときに前記装置制御手段に前記現在検索中の階層を切り替えさせる、請求項２４に記載の制御システム。
【請求項２６】
前記リズム辞書テーブルでは、ユーザ別の登録リズムパターンが定義されており、
前記装置制御手段は、ユーザ毎に、一致する登録リズムパターンを検索する、請求項２に記載の制御システム。
【請求項２７】
前記入力リズムパターン認識手段は、前記リズム入力信号の時間変化を検知するために必要なパラメータをユーザ毎に記憶しており、当該パラメータに基づいて、ユーザ毎に前記リズム入力信号を解析する、請求項２に記載の制御システム。
【請求項２８】
一致する登録リズムパターンが存在したか否かの前記装置制御手段による検索結果を、ユーザに伝える出力部をさらに備える、請求項２に記載の制御システム。
【請求項２９】
ユーザの指示に応じて、前記リズム辞書テーブルに登録されているリズムパターンをユーザに体感させる体感出力部をさらに備える、請求項２に記載の制御システム。
【請求項３０】
前記入力リズムパターン認識手段は前記リズム入力信号の振幅が一定時間ローレベルである場合、入力が終了したとして、入力リズムパターンを認識する、請求項２に記載の制御システム。
【請求項３１】
少なくとも１以上の装置の動作をコンピュータ装置で制御するための方法であって、
前記コンピュータ装置に入力される電気信号を解析して、入力リズムパターンを前記コンピュータ装置が認識するステップと、
前記コンピュータ装置に格納されている前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを参照して、認識した前記入力リズムパターンと一致する登録リズムパターンを前記コンピュータ装置が検索するステップと、
検索された登録リズムパターンに対応する制御内容に基づいて、前記装置を前記コンピュータ装置が制御するステップとを備える、方法。
【請求項３２】
少なくとも１以上のソフトウエアの動作をコンピュータ装置に制御させるためのプログラムであって、
前記コンピュータ装置に入力される電気信号を解析して、入力リズムパターンを前記コンピュータ装置に認識させるステップと、
前記コンピュータ装置に格納されている前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを前記コンピュータ装置に参照させて、認識した前記入力リズムパターンと一致する登録リズムパターンを前記コンピュータ装置に検索させるステップと、
検索させた登録リズムパターンに対応する制御内容に基づいて、前記装置を前記コンピュータ装置に制御させるステップとを備える、プログラム。
【発明の詳細な説明】
【技術分野】  本発明は、各種装置の動作を制御するためのシステムに関し、より特定的には、少数の操作デバイスを用いて各種装置の動作を制御するためのユーザインターフェースを提供するシステムに関する。
【背景技術】  昨今の各種装置、特にテレビ、ビデオ、オーディオなどのＡＶ機器や、カーナビゲーション、カーオーディオなどの車載機器などは、非常に多機能になっている。それに伴い、装置本体やリモートコントローラに搭載されるキーやジョイスティックといった操作デバイスの数も増大している。操作デバイスの増大は、操作を複雑で分かりにくいものにする。
また、限られたスペースに、数十、数百もの機能に対応する入力デバイスを配置するのは困難である。
このような問題を解決するために、様々なシステムが提案されている。たとえば、機能を階層構造に分類することによって操作デバイスの数を減らすシステムが提案されている。このシステムでは、階層を選択する操作デバイスと、選択された階層内の機能を選択する操作デバイスとを備えるだけでよい。
また、音声認識を用いることによって操作デバイスの数を減らすシステムも提案されている。このシステムでは、音声認識開始を示す操作デバイスと、音声を入力するためのマイクとを備えるだけでよい。したがって、操作デバイスの数を飛躍的に減らすことができる。
しかし、機能を階層構造に分類するシステムにおいて、所望の機能を正しく選択するために、ユーザは、常に、現在どの階層の選択モードになっているかを認識しておく必要がある。すなわち、システムは、画像や音声、スイッチの状態等で、常時、現在の選択モードをユーザに知らせておく必要がある。また、所望の機能を選択するために、ユーザは、何度も操作デバイスを操作して、適切な階層を選択する必要がある。ユーザは、一度の操作で所望の機能を選択することができない。さらに、所望の機能を正しく選択するために、ユーザは、システムの持つ機能がどのように階層構造化されているのかを認識しておく必要がある。これらのことは、機械音痴なユーザがシステムを導入することの障壁となる。
音声認識によるシステムには、周囲の雑音や、バックミュージック、話者の声音、マイクの位置等の周囲の状況に応じて、音声認識率が悪化するという問題がある。音声認識率が悪化すると、結局、所望の機能が実行されないこととなる。すなわち、音声認識のバラツキによって、確実な操作ができない場合がある。また、音声認識を実行するためには、大容量のメモリおよび高速な計算速度を必要とする。したがって、メモリや計算速度の乏しいシステムでは、実用的な音声認識速度が得られないという問題もある。
それゆえ、本発明の目的は、少数の操作デバイスを利用したユーザからの操作指示によって、確実に所望の機能を実行することができるシステムを提供することである。
【発明の開示】
本発明は、上記のような目的を達成するために、以下に述べるような特徴を有している。
第１の局面は、少なくとも１以上の装置の動作を制御するための制御システムであって、
装置の制御内容を表す名称の発音パターンに対応するユーザからのタップ入力に応じて、振幅レベルが変動する電気信号をリズム入力信号として出力するリズム入力部と、
装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを格納するリズム辞書格納部と、
装置の動作を制御する制御部とを備え、
制御部は、
リズム入力部から入力されるリズム入力信号を解析して、入力リズムパターンを認識する入力リズムパターン認識手段と、
リズム辞書テーブルを参照して、入力リズムパターン認識手段が認識した入力リズムパターンと一致する登録リズムパターンを検索し、当該登録リズムパターンに対応する制御内容に基づいて、装置を制御する装置制御手段とを含む。
上記第１の局面によれば、ユーザがリズム入力部をタップするだけで、各種装置の動作が制御されることとなる。したがって、できるだけ少数の入力デバイス（典型的には、１つのスイッチやセンサ）によって、各種装置の動作を制御することができる制御システムが提供されることとなる。また、雑音による影響を受けることのない制御システムが提供されることとなる。さらに、ユーザは、自然言語のリズムに沿ってリズムパターンを入力するだけで各種装置を操作することができるので、操作性がよい制御システムが提供されることとなる。さらに、ユーザが、短期間で操作を習得することができることが期待できる。
好ましくは、リズム辞書テーブルでは、制御内容を示す名称を少なくとも１以上の所定の単位に分割したときの分割後の単位毎に所定の単位リズムパターンを割り当てることによって、登録リズムパターンを定義しており、
入力リズムパターン認識手段は、リズム入力信号の振幅レベルの時間変化を単純化することによって入力リズムパターンを認識する。
これにより、リズム入力信号の振幅レベルの時間変化を単純化することによって入力リズムパターンが認識されるので、認識した入力リズムパターンとユーザの意図するリズムパターンとが一致している可能性が高くなる。結果、ユーザの意図通りに各種装置の動作を制御することができる制御システムが提供されることとなる。
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
入力リズムパターン認識手段は、リズム入力部をユーザがタップした打拍タイミングおよび／または所定の時間の間タップしなかった休拍タイミングを、振幅レベルの時間変化に基づいて認識して、リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識するとよい。
これにより、所定の時間を超えるか否かを判断して打拍および／または休拍を認識するだけの単純なアルゴリズムによって、入力リズムパターンが認識されることとなるので、制御システムにおける処理負担増を軽減することが可能となる。また、消費メモリやプログラムサイズが最小限に抑えられることとなる。
さらに、単位リズムパターンでは、所定の単位における音の強弱が定義されており、
入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおけるタップの強弱を段階的に認識して、打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識してもよい。
これにより、音の強弱をも含めて、ユーザが意図する制御内容名が認識されることとなるので、アクセントやイントネーションの違いを重視する言語（たとえば、英語等）を使用するユーザにとっても使い勝手のよい制御システムが提供されることとなる。また、アクセントの違いを定義することによって、登録リズムパターンの数を増やすことができる。結果、より多くの種類の制御内容が定義されることとなる。
また、入力リズムパターン認識手段は、さらに、リズム入力部をユーザが所定のインターバル時間押下し続けた場合、打拍タイミングおよび休拍タイミングがあったとして、入力リズムパターンを認識してもよい。
これにより、リズム入力部が押下され続けた場合、制御システムは、長音が入力されたと判断することができる。
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
入力リズムパターン認識手段は、振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを全て想定して、想定したリズムパターンの中からリズム入力信号の時間変化の傾向に最も合致するリズムパターンを探索し、探索されたリズムパターンを入力リズムパターンとして認識するとよい。
これにより、制御システムは、リズム入力信号の全体的な時間変化の傾向に基づいて入力リズムパターンを認識するので、タップの速さ等の個人差を吸収して入力リズムパターンを認識することができる。したがって、より確実に各種装置を制御することができる制御システムが提供されることとなる。
この場合、入力リズムパターン認識手段は、想定したリズムパターンにおける隣接する二つの打拍の時間間隔とリズム入力信号における隣接する二つの打拍の時間間隔との差を求め、想定したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識するとよい。
これにより、制御システムは、時間間隔の差を求め、平均値を算出するだけで、最も時間変化の傾向が合致するリズムパターンを認識することができる。したがって、簡単なアルゴリズムでリズムパターンを認識することができる制御システムが提供されることとなる。
また、入力リズムパターン認識手段は、さらに、認識した入力リズムパターンにおける打拍の間隔が均等に配列している場合、打拍の間隔が所定のインターバル時間を超えるか否かを判断して、超える場合、入力リズムパターンは打拍と休拍とが連続するリズムパターンであると認識し直し、超えない場合、入力タップパターンは打拍のみが連続するリズムパターンであると認識し直すとよい。
これにより、制御システムは、入力リズムパターンが打拍のみによって構成されているのか、打拍と休拍との繰り返しによって構成されているのかをさらに認識し直すことができる。したがって、より正確に入力リズムパターンを認識することができる制御システムが提供されることなる。
また、単位リズムパターンでは、さらに、所定の単位における音の強弱が定義されており、
入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおけるタップの強弱を段階的に認識して、打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識してもよい。
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
入力リズムパターン認識手段は、リズム入力信号の時間変化の傾向に最も合致するリズムパターンをリズム辞書テーブルにおける登録リズムパターンの中から探索し、探索されたリズムパターンを入力リズムパターンとして認識するとよい。
これにより、制御システムは、登録リズムパターンの中から認識すべき入力リズムパターンを選び出すこととなる。したがって、認識した入力リズムパターンに一致する登録リズムパターンがリズム辞書テーブルに登録されていないといった事態が回避される。結果、ユーザの所望通りに確実に各種装置の動作を制御することができる制御システムが提供されることとなる。
この場合、入力リズムパターン認識手段は、振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンをリズム辞書テーブルにおける登録リズムパターンの中から探索し、探索したリズムパターンの中から時間変化の傾向に最も合致するリズムパターンをさらに探索して、最終的に探索されたリズムパターンを入力リズムパターンとして認識するとよい。
これにより、探索対象のリズムパターンが減ることとなるので、制御システムにおける処理負担が軽減する。
具体的には、入力リズムパターン認識手段は、時間変化の傾向に最も合致するリズムパターンをさらに検索する際、探索したリズムパターンにおける隣接する二つの打拍の時間間隔とリズム入力信号における隣接する二つの打拍の時間間隔との差を求め、探索したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識するとよい。
また、単位リズムパターンでは、さらに、所定の単位における音の強弱が定義されており、
入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおけるタップの強弱を段階的に認識して、打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識するとよい。
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
入力リズムパターン認識手段は、振幅レベルの大小に基づいて打拍の有無を検知し、リズム入力信号において隣接する二つの打拍の時間間隔の内、最小の時間間隔を求め、当該最小の時間間隔と他の二つの打拍の時間間隔とを比較したときの相対値に基づいて、当該二つの打拍の間に休拍があるか否かを決定して、リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識するとよい。
これにより、制御システムは、相対的な評価によって入力リズムパターンを認識することとなるので、タップの速さ等の個人差を吸収して入力リズムパターンを認識することができる。したがって、より確実に各種装置を制御することができる制御システムが提供されることとなる。
この場合、単位リズムパターンでは、さらに、所定の単位における音の強弱が定義されており、
入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおけるタップの強弱を段階的に認識して、打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識するとよい。
好ましくは、制御内容を示す名称を分割するための所定の単位は、モーラの単位であるとよい。
これにより、制御内容を示す名称がモーラの単位で分割されることとなるので、ユーザは、自然に発話するときのリズムに沿ってリズムを入力することができる。したがって、ユーザフレンドリーな制御システムが提供されることとなる。このようにモーラの単位に分割するのは、日本語のような言語において特に有効である。
また、好ましくは、制御内容を示す名称を分割するための所定の単位は、音節の単位であるとよい。
これにより、制御内容を示す名称が音節の単位で分割されることとなるので、ユーザは、自然に発話するときのリズムに沿ってリズムを入力することができる。したがって、ユーザフレンドリーな制御システムが提供されることとなる。このように音節の単位に分割するのは、英語のような言語において特に有効である。
好ましくは、制御部は、ユーザの指示に応じて、リズム辞書テーブルの登録内容を編集するリズムパターン編集手段をさらに含むとよい。
これにより、リズム辞書テーブルがカスタマイズされることとなる。
たとえば、リズムパターン編集手段は、入力リズムパターン認識手段に、リズム入力部をタップしたユーザが意図している入力リズムパターンを認識させ、当該入力リズムパターンをリズム辞書テーブルにおける登録リズムパターンとして登録するとよい。
これにより、ユーザが入力したリズムパターンに基づいてリズム辞書テーブルが編集されることとなるので、ユーザ毎の癖が取り込まれたリズム辞書テーブルが構築されることとなる。
また、リズムパターン編集手段は、ユーザが入力した文字情報によって表される制御名称を少なくとも１以上の所定の単位に分割し、分割後の単位毎に所定の単位リズムパターンを割り当てることによってリズムパターンを定義し、当該リズムパターンをリズム辞書テーブルにおける登録リズムパターンとして登録するとよい。
これにより、ユーザが制御内容名を指定することができるので、ユーザの覚えやすい制御内容名が採用されているリズム辞書テーブルが構築されることとなる。また、ユーザは、言葉とリズムとの間のルールを意識することなく、リズムパターンを登録することができる。
さらに、リズムパターン編集手段は、前記登録リズムパターンの重複を確認しながら、前記リズム辞書テーブルの登録内容を編集するとよい。
また、リズム辞書テーブルでは、制御内容が階層構造に定義されており、
装置制御手段は、現在検索中の階層を記憶しており、現在検索中の階層内で入力リズムパターンと登録リズムパターンとの一致を検索し、
リズム入力部は、現在検索中の階層を装置制御手段に切り替えさせるための階層切り替え手段をさらに含むとよい。
これにより、制御システムは、制御内容を階層構造に定義することで、限られた数の登録リズムパターンであっても、単一層の構造の場合と比べ、より多くの制御内容を定義することができる。また、階層構造に定義されていることによって、ユーザは、制御内容を容易に把握することができる。
この場合、リズム入力部は、ユーザのタップを入力するための２以上の入力デバイスからなり、
階層切り替え手段は、タップされる入力デバイスが切り替わったときに装置制御手段に前記現在検索中の階層を切り替えさせるとよい。
これにより、ユーザは、タップする入力デバイスを切り替えるだけで階層構造を切り替えることができる。したがって、操作が単純な制御システムが提供されることとなる。
好ましくは、リズム辞書テーブルでは、ユーザ別の登録リズムパターンが定義されており、
装置制御手段は、ユーザ毎に、一致する登録リズムパターンを検索するとよい。
これにより、登録リズムパターンがユーザ毎に定義されているので、制御システムは、ユーザ毎の癖に合わせて入力リズムパターンを認識することができる。
好ましくは、入力リズムパターン認識手段は、リズム入力信号の時間変化を検知するために必要なパラメータをユーザ毎に記憶しており、当該パラメータに基づいて、ユーザ毎にリズム入力信号を解析するとよい。
これにより、パラメータがユーザ毎に定義されているので、制御システムは、ユーザ毎の癖に合わせて入力リズムパターンを認識することができる。
好ましくは、一致する登録リズムパターンが存在したか否かの装置制御手段による検索結果を、振動や音声、視覚等によってユーザに伝える出力部をさらに備えるとよい。
これにより、ユーザは、リズム入力の成功・失敗を知ることができるので、安心する。
また、ユーザの指示に応じて、リズム辞書テーブルに登録されているリズムパターンをユーザに体感させる体感出力部をさらに備えるとよい。
これにより、ユーザは、登録リズムパターンを振動や画面表示、音声等によって体感することができるので、リズム入力を学習することができる。結果、ユーザは、登録リズムパターンを早期に習得することができる。
好ましくは、入力リズムパターン認識手段は、リズム入力信号の振幅が一定時間ローレベルである場合、入力が終了したとして、入力リズムパターンを認識するとよい。
これにより、制御システムは、自動的に入力の終了を認識することができる。したがって、ユーザは、入力終了のための操作をしなくてよい。
たとえば、制御システムは、車両内に搭載されているとよい。
この場合、リズム入力部は、車両内のステアリングハンドルに配置されており、触感による位置確認が可能な構造を有しているとよい。
第２の局面は、少なくとも１以上の装置の動作をコンピュータ装置で制御するための方法であって、
コンピュータ装置に入力される電気信号を解析して、入力リズムパターンをコンピュータ装置が認識するステップと、
コンピュータ装置に格納されている装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを参照して、認識した入力リズムパターンと一致する登録リズムパターンをコンピュータ装置が検索するステップと、
検索された登録リズムパターンに対応する制御内容に基づいて、装置をコンピュータ装置が制御するステップとを備える。
第３の局面は、少なくとも１以上のソフトウエアの動作をコンピュータ装置に制御させるためのプログラムであって、
コンピュータ装置に入力される電気信号を解析して、入力リズムパターンをコンピュータ装置に認識させるステップと、
コンピュータ装置に格納されている装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルをコンピュータ装置に参照させて、認識した入力リズムパターンと一致する登録リズムパターンをコンピュータ装置に検索させるステップと、
検索させた登録リズムパターンに対応する制御内容に基づいて、装置をコンピュータ装置に制御させるステップとを備える。
【図面の簡単な説明】  図１は、本発明の第１の実施形態に係る制御システム１００の構成およびそれが適用されるシステムの全体構成を示す図であり、
図２は、リズム入力部１０１の車内での取り付け位置の例を模式的に示す図であり、
図３は、リズム入力部１０１としてデジタル入力デバイスを用いたときのリズム入力信号の波形を模式的に示す図であり、
図４は、ルールテーブルの一例を示す図であり、
図５は、リズム辞書テーブルの一例を示す図であり、
図６は、ユーザがリズム入力部１０１をタップすることによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの動作を示すフローチャートであり、
図７は、入力リズムパターン認識処理（ステップＳ１０２）における制御部１０２の詳細な動作を示すフローチャートであり、
図８は、押下され続けている間、ハイレベルのリズム入力信号を出力し続ける入力デバイスを用いたときのリズム入力信号の波形を示す図であり、
図９は、リズム入力部１０１としてアナログ入力デバイスを用いたときのリズム入力信号の波形を模式的に示す図であり、
図１０は、第２の実施形態におけるリズム入力部１０１から出力されるリズム入力信号の波形を模式的に示す図であり、
図１１は、第２の実施形態におけるルールテーブルの一例を示す図であり、
図１２は、第２の実施形態におけるリズム辞書テーブルの一例を示す図であり、
図１３は、入力リズムパターン認識処理における第２の実施形態に係る制御部１０２の詳細な動作を示すフローチャートであり、
図１４は、入力リズムパターン認識処理における第３の実施形態に係る制御部１０２の詳細な動作を示すフローチャートであり、
図１５は、ステップＳ４０１において記憶されたタップインターバル時間の配列Ｔｉの一例を示す図であり、
図１６は、ステップＳ４０５において想定したリズムパターンが適切でなかった場合の時間分布の一例を示す図であり、
図１７は、ステップＳ４０５において想定したリズムパターンが適切であった場合の時間分布の一例を示す図であり、
図１８は、入力リズムパターン認識処理における第４の実施形態に係る制御部１０２の詳細な動作を示すフローチャートであり、
図１９は、入力リズムパターン認識処理における第５の実施形態に係る制御部１０２の詳細な動作を示すフローチャートであり、
図２０は、本発明の第６の実施形態に係る制御システム６００の構成およびそれが適用されるシステムの全体構成を示す図であり、
図２１は、ユーザがリズム入力部１０１をタップすることによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの制御部６０２の動作を示すフローチャートであり、
図２２は、ユーザがリズム辞書テーブルの内容を確認・編集するときの制御部６０２の動作を示すフローチャートであり、
図２３は、第７の実施形態に係るリズム入力部１０１として圧電センサからなるアナログ入力デバイスを用いたときの、車内での取り付け位置を模式的に示す図であり、
図２４は、リズム辞書格納部１０３に格納されているリズム辞書テーブルの一例を示す図であり、
図２５は、リズムパターン認識処理における制御部１０２の動作の詳細を示すフローチャートである。
発明を実施するため最良の形態
以下、本発明の実施の形態について、図面を参照しながら説明する。
まず、各実施形態の概要について説明する。
第１の実施形態では、ユーザが入力したリズムパターンに一致するリズムパーターンがリズム辞書に登録されているか否かを調べて、一致するリズムパターンが存在する場合、各種装置の動作を制御するシステムについて説明する。
第２の実施形態では、入力されたリズムパターンの強弱も認識して、一致するリズムパーターンがリズム辞書に登録されているか否かを調べて、一致するリズムパターンが存在する場合、各種装置の動作を制御するシステムについて説明する。
第３の実施形態では、入力されたリズムパターンにもっとも近いリズムパターンを、取り得る全てのリズムパターンを想定しながら探索していく制御システムについて説明する。
第４の実施形態では、相対的な評価によって、入力されたリズムパターンを認識する制御システムについて説明する。
第５の実施形態では、第３および第４の実施形態における制御システムにリズムパターンの強弱を認識する機能を付加させた制御システムについて説明する。
第６の実施形態では、ユーザに応じてリズムパターンの認識に必要なパラメータを切り替えることができる制御システムについて説明する。また、リズム辞書を編集することができる制御システムについても説明する。
第７の実施形態では、リズム辞書を階層的に構成することによって、多機能の操作を可能とする制御システムについて説明する。
以下、各実施形態について詳しく説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る制御システム１００の構成およびそれが適用されるシステムの全体構成を示す図である。本実施形態では、説明を分かり易くするため、制御システム１００は、車両内にあるエアコン、オーディオ等の装置を制御するためのシステムであるとする。
図１において、システム全体は、制御システム１００と、エアコン２０１と、オーディオ２０２と、テレビ２０３と、カーナビゲーション２０４とを備える。エアコン２０１、オーディオ２０２、テレビ２０３、およびカーナビゲーション２０４は、車両内に設置されている装置（以下、車両内装置という）である。ここに示す車両内装置は、一例である。図１に示す車両内装置以外の装置が、システムに備わっていてもよい。また、図１に示す車両内装置の一部のみが、システムに備わっていてもよい。
制御システム１００は、リズム入力部１０１と、制御部１０２と、リズム辞書格納部１０３とを含む。
ユーザは、車両内装置にある機能を実行させたい場合、その機能の名称の発音パターン（その機能の名称を音声として発するときのリズム）に対応するように、リズム入力部１０１を数回こつこつと叩く。以下、リズム入力部１０１を数回こつこつ叩くことを、「リズム入力部１０１をタップする」といい、タップによる入力を「タップ入力」ということにする。リズム入力部１０１は、タップ入力に応じて振幅レベルが変動する電気信号（以下、リズム入力信号という）を出力する。制御部１０２は、リズム入力部１０１から出力されるリズム入力信号を受信して、当該リズム入力信号の振幅レベルの時間分布を解析して、ユーザが意図しているリズムパターン（以下、入力リズムパターンという）を認識する。制御部１０２は、認識した入力リズムパターンに一致するリズムパターンがリズム辞書格納部１０３に登録されているか否か検索する。制御部１０２は、一致するリズムパターンがリズム辞書格納部１０３に登録されている場合、当該リズムパターンに対応する制御内容を認識して、当該制御内容に対応する車両内装置の動作を制御する。
リズム入力部１０１は、タッチパッドや接点式のスイッチ等のデジタル入力デバイスで構成される。リズム入力部１０１は、ユーザのタップ入力に応じて出力されるリズム入力信号を、制御部１０２に与える。
図２は、リズム入力部１０１の車内での取り付け位置の例を模式的に示す図である。リズム入力部１０１は、運転中のドライバがタップしやすいように、ステアリング３０１の上部に設けられており、接点式スイッチ３０２と、接点式スイッチ３０２が反応する箇所に設けられた突起物３０３とからなる。突起物３０３は、タップすべき場所が手探りでも見つけやすいように、ステアリング３０１から突出するような構造を有する。なお、突起物３０３は、触感による位置確認が可能な構造であれば、凹構造であってもよい。
図３は、リズム入力部１０１としてデジタル入力デバイスを用いたときのリズム入力信号の波形を模式的に示す図である。リズム入力部１０１は、デジタル入力デバイスであるので、図３に示すように、ユーザによるタップに伴って、休拍レベル（ローレベル）から打拍レベル（ハイレベル）に向かって矩形のパルスが発生する。第１の実施形態では、パルスが立ち上がるタイミングをキーダウンタイミングといい、パルスが下がるタイミングをキーアップタイミングということにする。隣接するキーダウンタイミング間の時間を、タップインターバル時間ということにする。
リズム辞書格納部１０３は、ＲＡＭやＲＯＭ、ハードディスク等の記憶装置である。リズム辞書格納部１０３には、車両内装置の制御内容とリズムパターンとを対応付けるためのリズム辞書が格納されている。リズム辞書は、制御内容名を類型化するための規則を定義したルールテーブルと、制御内容名とリズムパターンとを対応付けるためのリズム辞書テーブルとからなる。
ここで、本明細書上で用いるリズムパターンという語について説明しておく。単語を発する場合、ユーザは、一定のリズムで単語を発する。たとえば、一つの単語の中には、延ばして発音する部分があったり、短く発音する部分があったり、強く発音する部分があったり、弱く発音する部分があったりする。このような音の流れは、発音パターンということができる。リズムパターンとは、この発音パターンを類型化したもののことをいう。なお、発音パターンは、音声パターン（ボイスパターン）ということもできる。
図４は、ルールテーブルの一例を示す図である。ルールテーブルでは、日本語におけるモーラの単位と単位リズムパターンとの対応が示されている。ここで、単位リズムパターンとは、モーラの単位毎に、タップしたタイミング（打拍）とタップしなかったタイミング（休拍）とを単純な符号で表したものである。ここでは、符号として、「ｘ」と「−」とを用いる。「ｘ」は、打拍を表す。「−」は、休拍を表す。
モーラは、撥音（たとえば、日本語の「ん」）、促音（たとえば、日本語の「っ」等）、拗音（たとえば、日本語の「きゃ」、「きゅ」、「きょ」等）、長音（たとえば、日本語の「あー」、「けー」等）、二重母音（たとえば、日本語の「ああ」、「あい」、「えい」等）、その他上記以外の音（たとえば、母音のみ、母音＋子音等、以下、一般音という）の６通りに分類される。撥音および促音は、無音である。拗音および一般音は、有音である。長音および二重母音は、有音と無音とからなる。
図４に示すように、撥音には、単位リズムパターン「−」が割り当てられている。促音には、単位リズムパターン「−」が割り当てられている。拗音には、単位リズムパターン「ｘ」が割り当てられている。長音には、単位リズムパターン「ｘ−」が割り当てられている。二重母音には、単位リズムパターン「ｘ−」が割り当てられている。一般音には、単位リズムパターン「ｘ」が割り当てられている。
図５は、リズム辞書テーブルの一例を示す図である。リズム辞書テーブルでは、車両内装置の制御内容名とリズムパターンとの対応が示されている。以下、リズム辞書テーブルに登録されているリズムパターンを登録リズムパターンという。車両内装置の制御内容名は、起動させたい車両内装置の機能の名称を示す。ここでは、ユーザが理解しやすいように、地図を表示させたい場合は、制御内容名を「地図」と定義したり、電話を起動させた場合は、制御内容名を「電話」と定義したりするなど、より直感的な制御内容名を用いることとしているが、制御内容名の決め方はこれに限られるものではない。登録リズムパターンは、対応する制御内容を表す名称の発音パターン（対応する制御内容を表す名称を音声として発するときのリズム）を類型化することによって定義されている。第１の実施形態では、登録リズムパターンは、制御内容名をモーラの単位に分割したときの分割後の単位毎に、対応する単位リズムパターンを割り当てることによって定義されている。
たとえば、日本語の「地図」は、モーラの単位に分解した場合、「ち」と「ず」とに分解される。「ち」および「ず」は、それぞれ一般音である。したがって、制御内容名「地図」に対応する登録リズムパターンは、「ｘｘ」となる。
また、日本語の「電話」は、モーラに分解した場合、「で」、「ん」、および「わ」に分解される。「で」は一般音であり、「ん」は撥音であり、「わ」は一般音である。したがって、制御内容名「電話」に対応する登録リズムパターンは、「ｘ−ｘ」となる。
日本語の「エアコン」は、モーラに分解した場合、「え」、「あ」、「こ」、および「ん」に分解される。「え」、「あ」および「こ」は一般音であり、「ん」は撥音である。撥音は休拍であり、かつ「ん」は最終音であるので、制御内容名「エアコン」に対応する登録リズムパターンは、「ｘｘｘ」となる。
日本語の「温度設定」は、モーラに分解した場合、「お」、「ん」、「ど」、「せ」、「っ」、および「てー」に分解される。「ん」は撥音であり、「っ」は促音であり、長音である「てー」は最終音であるので、制御内容名「温度設定」に対応する登録リズムパターンは、「ｘ−ｘｘ−ｘ」となる。
日本語の「オーディオ」は、モーラに分解した場合、「おー」、「でぃ」、および「お」に分解される。「おー」は長音であるので、制御内容名「オーディオ」に対応する登録リズムパターンは、「ｘ−ｘｘ」となる。
上記例に示すように、登録リズムパターンは、制御内容名を１以上のモーラ単位に分割して、単位リズムパターンを割り当てることによって、定義される。このようにモーラ単位に分割することによって、リズムパターンを定義する方法は、日本語のように、アクセントを気にすることなく単語を発音することができる言語には、適している。たとえば、「地図」という語を発する場合、「トントン」という拍子になる。この拍子は、「ち」にアクセントがあっても、「ず」にアクセントがあってもどちらでも同じである。また、「電話」という語を発する場合、「トン・トン」と間を一拍あけた拍子になる。この拍子は、「で」にアクセントがあっても、「わ」にアクセントがあっても同じである。他の例についても同様である。
制御部１０２は、ＣＰＵやメモリ等で構成される。制御部１０２は、リズム入力部１０１から入力されるリズム入力信号の振幅レベルの時間変化を単純化することによって、入力リズムパターンを認識する。この認識方法については、後述する（図７参照）。制御部１０２は、リズム辞書格納部１０３に格納されているリズム辞書テーブルを参照して、認識した入力リズムパターンに一致する登録リズムパターンが存在するか否かを判断する。制御部１０２は、一致する登録リズムパターンが存在する場合、当該登録リズムパターンと対応している制御内容名を認識し、当該制御内容を実行する車両内装置の動作を制御する。
図６は、ユーザがリズム入力部１０１をタップすることによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの動作を示すフローチャートである。以下、図６を参照しながら、制御部１０２の動作について説明する。
まず、制御部１０２は、リズム入力部１０１からのリズム入力信号を受信するか否かによって、ユーザによる入力があるか否かを判断する（ステップＳ１０１）。ユーザによる入力がない場合、制御部１０２は、処理を終了する。一方、ユーザによる入力がある場合、制御部１０２は、リズム入力部１０１からのリズム入力信号を解析して、入力リズムパターンを認識する（ステップＳ１０２）。入力リズムパターン認識処理については、後述する（図７参照）。
次に、制御部１０２は、リズム辞書格納部１０３内のリズム辞書テーブルを参照し（ステップＳ１０３）、認識した入力リズムパターンに一致する登録リズムパターンがリズム辞書テーブルに登録されているか否かを判断する（ステップＳ１０４）。
一致する登録リズムパターンがない場合、制御部１０２は、処理を終了する。一方、一致する登録リズムパターンがある場合、制御部１０２は、当該登録リズムパターンに対応する制御内容を実行するよう該当する車両内装置に命令し（ステップＳ１０５）、処理を終了する
図７は、入力リズムパターン認識処理（ステップＳ１０２）における制御部１０２の詳細な動作を示すフローチャートである。以下、図７を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
まず、制御部１０２は、パターンの先頭を「ｘ」とする（ステップＳ２０１）。このようにするのは、次のタップとの間のインターバル時間を検出するためである。
次に、制御部１０２は、予め定められた終了インターバル時間内に、リズム入力部１０１がタップされるか否かを判断する（ステップＳ２０２）。具体的には、制御部１０２は、終了インターバル時間内に打拍レベルまで達するパルスがあるか否かに基づいて判断する。ここで、終了インターバル時間とは、この時間以上ユーザの入力がない場合に、ユーザによるリズム入力が終了したとみなすためのしきい値のことをいう。たとえば、終了インターバル時間は、６００ミリ秒であるなどと定められる。
終了インターバル時間内に次のタップが入力された場合、制御部１０２は、タップインターバル時間が予め定められた長音インターバル時間を超えるかか否かを判断する（ステップＳ２０３）。ここで、長音インターバル時間とは、タップインターバル時間の経過中のタップが、打拍と休拍との二拍であるのか、それとも、打拍のみの一拍であるのかを判定するためのしきい値である。たとえば、長音インターバル時間は、４００ミリ秒であると定められている。
タップインターバル時間が長音インターバル時間を超えない場合、制御部１０２は、次のパターンを「ｘ」と決定し（ステップＳ２０４）、ステップＳ２０２の動作に戻る。一方、タップインターバル時間が長音インターバル時間を超える場合、制御部１０２は、次のパターンを「−ｘ」と決定し（ステップＳ２０５）、ステップＳ２０２の動作に戻る。
一方、ステップＳ２０２において、終了インターバル時間内に次のタップが入力されない場合、制御部１０２は、ユーザによる入力が終了したものとして、ステップＳ２０１，Ｓ２０４，Ｓ２０５で決定したパターンに従って最終的な入力リズムパターンを認識して、図６に示すメインの動作に戻る。
このように、第１の実施形態における制御システムでは、ユーザのタップに応じて、リズム入力部からリズム入力信号が出力される。制御部は、リズム入力信号の振幅の時間変化を解析して、当該時間変化を打拍のあったタイミングと休拍のあったタイミングとに単純化して、入力リズムパターンを認識する。制御部は、認識した入力リズムパターンに一致する登録リズムパターンがリズム辞書テーブルに登録されているか否かを判断して、一致する登録リズムパターンがある場合、対応する制御内容を実行する。したがって、音声認識のように周りの雑音等の影響を受けることなく、少数の入力デバイスで操作指示を入力し、確実に操作指示内容を認識して、ブラインドタッチで各種装置の動作を制御することができる制御システムを提供することが可能となる。
たとえば、車両内の装置を操作するための制御内容としては、せいぜい２０〜３０通りである。この程度の数の制御内容であれば、全てリズムパターンを用いて表現することが期待できる。したがって、少数の入力デバイスで確実に最低限必要な操作を行うことができる制御システムを提供することが可能となる。
また、第１の実施形態において、登録リズムパターンは、制御内容を音声として発するときのリズムと対応するようになっているので、制御内容とリズムパターンとが直感的に一致することとなり、リズムパターンによる入力をより簡単に行うことが期待できる。
また、第１の実施形態において、制御システムは、ユーザによるリズム入力があれば、ユーザによる操作指示があったと認識する（ステップＳ１０１参照）ので、音声認識システムのように、ユーザが制御システムのモードを音声認識モードに切り替えるといった煩わしい操作が不要となる。
さらに、第１の実施形態では、タップインターバル時間を、終了インターバル時間および長音インターバル時間と比較するだけで、リズムパターンを決定することができるため、極めて単純なアルゴリズムによってリズムパターンを認識することができる。したがって、実装が容易であり、消費するプログラムサイズやメモリサイズがごく僅かで済むという利点もある。
なお、上記実施形態では、登録されている制御内容名を日本語であるとしたが、英語やドイツ語、フランス語、ロシア語、スペイン語、中国語、韓国語等、如何なる言語であってもよい。この場合も、制御内容名を音声として発したときの発音パターンを類型化したリズムパターンを登録リズムパターンとして登録しておけばよい。
なお、終了インターバル、長音インターバル時間は、ユーザの初期設定によって調節できるようにしておいてもよい。これにより、入力の速いユーザ、あるいは遅いユーザの個人差を緩和することが可能となる。初期設定をする場合、制御システムは、典型的なパターンをユーザに入力させて、自動的に、終了インターバルおよび長音インターバルを認識するようにするようにしてもよい。
なお、押下され続けている間、ハイレベルのリズム入力信号を出力し続けるデジタル入力デバイスをリズム入力部として用いてもよい。図８は、このような入力デバイスを用いたときのリズム入力信号の波形を示す図である。図８に示すように、押下している時間に応じて、打拍レベルに達している時間が異なる。リズム入力部を押下し続けることによって、ユーザは、入力した長音や二重母音等、有音と無音とによるリズムを入力することができる。入力リズムパターンを認識する際、制御部は、所定のインターバル時間以上リズム入力信号のハイレベルが継続する場合、有音と無音とによるリズムが入力された、すなわち打拍と休拍とがあったとして、入力リズムパターンを認識する。その後、制御部は、上記実施形態のように、入力リズムパターンと登録リズムパターンとの一致を判断して、車両内装置の動作を制御する。
なお、第１の実施形態では、リズム入力部１０１にデジタル入力デバイスを用いることとしたが、圧電センサ等のアナログ入力デバイスを用いてもよい。図９は、リズム入力部１０１としてアナログ入力デバイスを用いたときのリズム入力信号の波形を模式的に示す図である。リズム入力部１０１にアナログ入力デバイスを用いる場合、予め打拍レベルが設定されている。リズム入力部１０１は、アナログ入力デバイスであるので、図９に示すように、ユーザによるタップに伴って、出力信号の振幅の強弱レベルが変化する。ここでは、波形の振幅のレベルが打拍レベルを超えた場合におけるピーク時点をキーダウンタイミングという。また、キーダウンタイミング後、振幅レベルが最も下がりきった時点をキーアップタイミングということにする。隣接するキーダウンタイミング間の時間を、タップインターバル時間ということにする。このようにしてタップインターバル時間を定義すれば、図７に示したリズムパターン認識処理と同様にして、制御部は、リズムパターンを認識することができる。
（第２の実施形態）
本発明の第２の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第２の実施形態では、図１を援用することとする。以下、第１の実施形態と異なる点を中心に説明する。
第２の実施形態におけるリズム入力部１０１は、圧電センサ等のアナログ入力デバイスで構成される。
図１０は、第２の実施形態におけるリズム入力部１０１から出力されるリズム入力信号の波形を模式的に示す図である。第２の実施形態では、予め、強拍レベルおよび弱拍レベルが設定されている。リズム入力部１０１はアナログ入力デバイスであるので、図１０に示すように、ユーザによるタップの強弱に応じて、出力信号の振幅のレベルが変化する。第２の実施形態では、波形の振幅のレベルが強拍または弱拍レベルを超えた場合におけるピーク時点をキーダウンタイミングといい、キーダウンタイミング後、振幅レベルが最も下がりきった時点をキーアップタイミングということにする。隣接するキーダウンタイミング間の時間を、タップインターバル時間ということにする。
図１０において、リズム入力信号の振幅レベルが弱拍レベルを超える場合、打拍があったとする。リズム入力信号の振幅レベルが弱拍レベルと強拍レベルとの間のレベルである場合、弱拍があったとする。リズム入力信号の振幅レベルが強拍レベルを超える場合、強拍があったとする。
第２の実施形態におけるリズム辞書は、制御内容名をパターン化するための単位を定義したルールテーブルと、制御内容名と登録リズムパターンとを対応付けるためのリズム辞書テーブルとからなる。
図１１は、ルールテーブルの一例を示す図である。ルールテーブルでは、英語における音節の単位と単位リズムパターンとが対応付けられている。音節は、アクセントのある音節、アクセントのない音節、アクセントのある長音節、アクセントのない長音節、アクセントのある二重母音、アクセントのない二重母音の６通りに分類される。
図１１では、強拍を「Ａ」と表し、弱拍を「ｘ」と表し、休拍を「−」と表すことにする。図１１に示すように、アクセントのある音節には、単位リズムパターン「Ａ」が割り当てられている。アクセントのない音節には、単位リズムパターン「ｘ」が割り当てられている。アクセントのある長音節には、単位リズムパターン「Ａ−」が割り当てられている。アクセントのない長音節には、単位リズムパターン「ｘ−」が割り当てられている。アクセントのある二重母音には、単位リズムパターン「Ａ−」が割り当てられている。アクセントのない二重母音には、単位リズムパターン「ｘ−」が割り当てられている。
図１２は、リズム辞書テーブルの一例を示す図である。登録リズムパターンは、制御内容名を音節単位に分解したときの分割後の単位毎に対応する単位リズムパターンを割り当てることによって定義されている。ここでは、制御内容名の発音記号に基づいて、制御内容名を音節単位に分解している。
たとえば、英語の「Ｎａｖｉｇａｔｉｏｎ」は、音節単位に分解すると、「ｎａ」、「ｖｉ」、「ｇａ」、および「ｔｉｏｎ」に分解される。「ｎａ」、「ｖｉ」は、アクセントのない音節であり、「ｇａ」は、アクセントのある二重母音であり、「ｔｉｏｎ」は、アクセントのない音節であるので、制御内容名「ｎａｖｉｇａｔｉｏｎ」に対応する登録リズムパターンは、「ｘｘＡ−ｘ」となる。その他の制御内容名についても、同様に登録リズムパターンが定義されている。
次に、第２の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第２の実施形態では、入力リズムパターン認識処理が第１の実施形態と異なる。
図１３は、入力リズムパターン認識処理における第２の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図１３を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
まず、制御部１０２は、リズム入力信号の最初の振幅ピークが強拍であるか、それとも弱拍であるかを判断する（ステップＳ３０１）。強拍である場合、制御部１０２は、パターンの先頭を「Ａ」として（ステップＳ３０２）、ステップＳ３０４の動作に進む。一方、弱拍である場合、制御部１０２は、パターンの先頭を「ｘ」として（ステップＳ３０３）、ステップＳ３０４の動作に進む。
ステップＳ３０４において、制御部１０２は、予め定められた終了インターバル時間内に、リズム入力部１０１がタップされるか否かを判断する（ステップＳ３０５）。具体的には、制御部１０２は、終了インターバル時間内に弱拍レベルを超える電気信号が入力されるか否かに基づいて判断する。終了インターバル時間については、第１の実施形態と同様である。
ステップＳ３０４において、終了インターバル時間内に次のタップが入力されない場合、制御部１０２は、ユーザによる入力が終了したものとして、図６に示すメインの動作に戻る。
一方、終了インターバル時間内に次のタップが入力された場合、制御部１０２は、タップインターバル時間が予め定められた長音インターバル時間を超えるか否かを判断する（ステップＳ３０５）。長音インターバル時間については、第１の実施形態と同様である。
長音インターバル時間を超えない場合、制御部１０５は、キーダウンタイミングにおけるリズム入力信号の振幅レベルのピークが強拍であるか、それとも弱拍であるかを判断する（ステップＳ３０６）。強拍である場合、制御部１０５は、次のパターンを「Ａ」として（ステップＳ３０７）、ステップＳ３０４の動作に戻る。一方、弱拍である場合、制御部１０５は、次のパターンを「ｘ」として（ステップＳ３０８）、ステップＳ３０４の動作に戻る。
一方、ステップＳ３０５において、長音インターバル時間を超えると判断した場合、制御部１０５は、キーダウンタイミングにおけるリズム入力信号の振幅レベルのピークが強拍であるか、それとも弱拍であるかを判断する（ステップＳ３０９）。強拍である場合、制御部１０５は、次のパターンを「−Ａ」として（ステップＳ３１０）、ステップＳ３０４の動作に戻る。一方、弱拍である場合、制御部１０５は、次のパターンを「−ｘ」として（ステップＳ３１１）、ステップＳ３０４の動作に戻る。
このように、第２の実施形態において、制御システムは、英語などアクセントのある言語に対応するために、アナログ入力デバイスを用いてタップの強弱を判断し、音節およびアクセントによってリズムパターンを定義するリズム辞書を参照して、リズムパターンの一致を判断する。したがって、英語などの言語においても、音声認識のように周りの雑音等の影響を受けることなく、少数の入力デバイスで操作指示を入力し、確実に操作指示内容を認識して、ブラインドタッチで各種装置の動作を制御することができる制御システムを提供することが可能となる。
なお、制御システムは、日本語の制御内容名を音節に分解してリズム辞書を定義するようにして、リズムパターンの一致を認識するようにしてもよい。この場合、アクセントの位置を判定してもよいし、判定しなくてもよい。
なお、リズムパターンの認識方法は、上記の認識方法にとどまるものではない。タップインターバル時間は、隣接するキーアップタイミング間の時間と定義してもよい。また、振幅の大小を強弱の２種類だけでなく、さらに細かく段階的に定義してもよい。
（第３の実施形態）
本発明の第３の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第３の実施形態では、図１を援用する。第３の実施形態におけるリズム入力部１０１は、デジタル入力デバイスであってもよいし、アナログ入力デバイスであってもよい。
以下、第３の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第３の実施形態では、入力リズムパターン認識処理が第１の実施形態と異なる。
図１４は、入力リズムパターン認識処理における第３の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図１４を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
まず、制御部１０２は、リズム入力部１０１からのリズム入力信号を受信すると、キーダウンタイミングを計測して記憶し、１つ前のキーダウンタイミングからの経過時間（タップインターバル時間）を計測して記憶する（ステップＳ４０１）。ここで、初めてキーダウンタイミングが到来した場合、制御部１０２は、タップインターバル時間を計測できないので、そのままステップＳ４０１の動作に進むこととする。制御部１０２は、タップインターバル時間を配列Ｔｉとして、記憶することとする。
次に、制御部１０２は、リズム入力信号の振幅レベルに基づいて、予め定められた終了インターバル時間内に、次のタップが入力されるか否かを判断する（ステップＳ４０２）。具体的には、制御部１０２は、終了インターバル時間内にキーダウンタイミング（図３または図８参照）が到来するか否かに基づいて判断する。ここで、終了インターバル時間とは、第１の実施形態で説明したものと同様である。
終了インターバル時間内に、次のタップが入力された場合、制御部１０２は、ステップＳ４０１の動作に戻る。一方、入力されていない場合、すなわち、ユーザによるリズムの入力が終了した場合、制御部１０２は、ステップＳ４０３の動作に進む。
ステップＳ４０３において、制御部１０２は、ステップＳ４０１で記憶した情報を参照して、キーダウンタイミングが到来した回数（以下、タップ回数という）が一回だけであったか否かを判断する。一回だけであった場合、制御部１０２は、入力リズムパターンを「ｘ」として（ステップＳ４０４）、図６に示すメインの動作に戻る。一方、一回だけでなかった場合、制御部１０２は、ステップＳ４０５の動作に進む。
ステップＳ４０５において、制御部１０２は、タップ回数に応じたリズムパターンを一つ想定する（ステップＳ４０５）。ここでは、一回のタップインターバル時間内におけるリズムパターンは、一拍の打拍（すなわち、「ｘ」）のみであるか、二拍（すなわち、打拍と休拍とを表す「ｘ−」）である。また、最後のパターンは、必ず「ｘ」である。したがって、タップ回数がＮ回の場合、取りうるリズムパターンの総数は、２のＮ−１乗通りである。たとえば、タップ回数がＮ＝５の場合、取りうるリズムパターンの総数は、２の４乗通り、すなわち１６通りである。
次に、制御部１０２は、想定したリズムパターンの時間分布を求め、求めた時間分布が実際に測定したタップインターバル時間からどの程度ずれているかを算出する（ステップＳ４０６）。ステップＳ４０６における処理を図１５〜図１７を用いて詳述する。
図１５は、ステップＳ４０１において記憶されたタップインターバル時間の配列Ｔｉの一例を示す図である。図１５に示す例では、タップインターバル時間の配列Ｔｉには、タップ番号と対応するように、計測された実際のタップインターバル時間（ｍｓ）が登録されている。ここで、タップ番号は、タップの順番を示す。たとえば、タップ番号が「１」のタップインターバル時間は、リズム入力信号の最初のキーダウンタイミングから次のキーダウンタイミングまでのタップインターバル時間を示す。すなわち、各タップ番号に対応するタップインターバル時間は、そのタップ番号におけるキーアップタイミングから次のタップ番号におけるキーダウンタイミングまでの経過時間を示す。したがって、最後のタップ番号（図１５では、「５」）には、タップインターバル時間が対応しないこととなる。
図１６は、ステップＳ４０５において想定したリズムパターンが適切でなかった場合の時間分布の一例を示す図である。図１７は、ステップＳ４０５において想定したリズムパターンが適切であった場合の時間分布の一例を示す図である。以下、図１６および図１７を参照しながら、想定したリズムパターンの時間分布の求め方について説明する。
まず、制御部１０２は、リズムパターンを一つ想定する。たとえば、図１６では、「ｘ−ｘｘｘ−ｘ」が想定されている。次に、制御部１０２は、想定したリズムパターンの拍数をタップ番号毎にカウントし、その合計Σλｉを算出する。ここでは、制御部１０２は、「ｘ」を一拍として拍数をカウントし、「ｘ−」を二拍として拍数をカウントする。図１６の例では、想定したリズムパターンの拍数の合計Σλｉは、「６」となっている。
次に、制御部１０２は、実際のタップインターバル時間の合計ΣＴｉを求める。図１５の例では、実際のタップインターバル時間の合計ΣＴｉは、「２１００（ｍｓ）」となっている。
次に、制御部１０２は、実際のタップインターバル時間の合計ΣＴｉを拍数の合計Σλｉで割った値τを求める。すなわち、τ＝ΣＴｉ／Σλｉである。図１６の例では、τ＝２１００／６＝３５０（ｍｓ）となっている。値τは、想定したリズムパターンにおける一拍当たりの所要時間である。制御部１０２は、値τに対して、各タップ番号における拍数をかけて、タップ番号毎のタップインターバル時間を求める。図１５の例では、タップ番号「１」において想定されるタップインターバル時間は、３５０（ｍｓ）×２＝７００（ｍｓ）となる。また、タップ番号「２」において想定されるタップインターバル時間は、３５０（ｍｓ）×１＝３５０（ｍｓ）となる。
次に、制御部１０２は、タップ番号毎に、実際のタップインターバル時間と想定されるタップインターバル時間との偏差（ｍｓ）を求める。図１５の例では、タップ番号「１」における実際のタップインターバル時間は７６４（ｍｓ）であり、図１６の例では、想定されるタップインターバル時間は７００（ｍｓ）であるので、偏差は、＋６４（ｍｓ）となる。
次に、制御部１０２は、各タップ番号（最後のタップ番号は除く）における偏差の絶対値を合計して、平均値σを求める。すなわち、σ＝Σ｜Ｔｉ−τ＊λｉ｜である。図１６の例では、σ＝（６４＋３９＋３３４＋３５９）／４＝１９９となる。また、図１７の例では、σ＝（６４＋３９＋１６＋９）／４＝３２となる。σは、実際に測定されたタップインターバル時間の分布と、想定されたリズムパターンにおけるタップインターバル時間の分布とがどの程度ずれているかを示す値である。すなわち、σは、想定されたリズムパターンの妥当性の目安となる。σの値が小さいほど、想定されたリズムパターンが妥当であることを示すこととなる。以下、σのことをずれ指数と呼ぶことにする。
図１６に示すようなリズムパターンを想定した場合のずれ指数σは、１１９である。一方、図１７に示すようなリズムパターンを想定した場合のずれ指数σは、３２である。したがって、図１６に示すリズムパターンよりも図１７に示すリズムパターンの方が、ユーザが実際に入力したリズムパターンに近いことと予想される。
再び図１４を参照しながら、制御部１０２の動作を説明する。
上記のように、実際のタップインターバル時間と想定したリズムパターンに基づくタップインターバル時間とのずれ指数を求めた後、制御部１０２は、ステップＳ４０６で算出したずれ指数が、最小ずれ指数を超えるか否かを判断する（ステップＳ４０７）。ここで、最小ずれ指数とは、今まで想定したリズムパターンのずれ指数の中で、最も小さいずれ指数のことをいう。
ずれ指数が最小ずれ指数を超えない場合、制御部１０２は、このずれ指数を最小ずれ指数として記憶して、当該ずれ指数を示すリズムパターンを予想リズムパターンとして記憶し（ステップＳ４０８）、ステップＳ４０９の動作に進む。なお、初めてリズムパターンを想定した場合、制御部１０２は、最小ずれ指数を記憶していないので、必ずステップＳ４０８の動作に進む。
一方、最小ずれ指数を超える場合、制御部１０２は、最小ずれ指数を更新せずに、ステップＳ４０５の動作に戻り、別のリズムパターンを想定し直す。
ステップＳ４０９において、制御部１０２は、想定しうる全てのリズムパターンを想定したか否かを判断する。想定していない場合、制御部１０２は、ステップＳ４０５の動作に戻って、別のリズムパターンを想定し直す。このように、ステップＳ４０５の動作に戻ることによって、制御部１０２は、想定しうる全てのリズムパターンの中で、ずれ指数σが最小となるリズムパターンを求めることとなる。
一方、全てのリズムパターンの想定が終了している場合、制御部１０２は、最小ずれ指数となった予想リズムパターンが均等リズムパターンであるか否かを判断する（ステップＳ４１０）。ここで、均等リズムパターンとは、「ｘｘｘ」や「ｘ−ｘ−ｘ」のように、各タップインターバル時間が全て同じ拍数で構成されているリズムパターンのことをいう。
均等リズムパターンでない場合、制御部１０２は、当該予想リズムパターンがリズム入力信号から認識される入力リズムパターンであるとして、図６に示すメインの動作に戻り、入力リズムパターンと登録リズムパターンとの一致を判断して、車両内装置の動作を制御する。
一方、均等リズムパターンである場合、制御部１０２は、実際のリズムパターンが「ｘ」から構成される均等リズムパターンであるのか、「ｘ−」から構成される均等リズムパターンであるのかを区別することができない。なぜなら、均等リズムパターンのずれ指数は全て等しくなってしまうからである。
そのため、制御部１０２は、タップインターバル時間の平均値を求め、その平均値が長音インターバル時間以内であるか否かを判断する（ステップＳ４１１）。ここで、長音インターバル時間とは、第１の実施形態の場合と同様である。
タップインターバル時間の平均値が長音インターバル時間以内である場合、制御部１０２は、全てのリズムが一拍（すなわち、打拍「ｘ」）のみで構成されるリズムパターンが最終的に認識された入力リズムパターンであるとして（ステップＳ４１２）、図６に示すメインの動作に戻る。
一方、タップインターバル時間の平均値が長音インターバル時間よりも長い場合、制御部１０２は、全てのリズムが二拍（即ち、打拍＋休拍「ｘ−」、ただし最後のみ「ｘ」）で構成されるリズムパターンが最終的に認識された入力リズムパターンであるとして（ステップＳ４１３）、図６に示すメインの動作に戻る。
上記のように、制御システムは、取りうる全てのリズムパターンを想定し、実際入力されたリズム入力信号のタップインターバル時間の分布と、想定されたリズムパターンのタップインターバル時間の分布とを比較して、実際とのずれを求める。制御システムは、想定したリズムパターンの内、最もずれが小さいものを入力リズムパターンとして認識する。
このように、第３の実施形態において、制御システムは、タップインターバル時間の総和を考慮して入力リズムパターンを認識するので、入力されたリズムのテンポの速い遅いに関係なく、全体的な調子を考慮に入れて入力リズムパターンを認識することができる。したがって、制御システムは、ユーザの個人差を吸収して入力リズムパターンを認識することができるので、画一的に長音インターバルとの大小に基づいて入力リズムパターンを認識するのに比べて、より正確に各種装置の動作を制御することができる。
なお、終了インターバルや均等リズムパターンである場合に最終的なリズムパターンを判断するための長音インターバルについては、ユーザの初期設定によって調整できるようにしておいてもよい。
なお、第３の実施形態では、タップ回数から想定し得るリズムパターンを全て想定して、実際のリズム入力信号の時間変化の傾向に最も合致するリズムパターンを入力リズムパターンとして認識することとしたが、時間変化の傾向の合致を判断する方法は、これに限られるものではない。たとえば、制御部は、リズム辞書テーブルにおける登録リズムパターンすべての中から、実際のリズム入力信号の時間変化の傾向に最も合致する登録リズムパターンを探索して、最も合致する登録リズムパターンを入力リズムパターンとして認識するようにしてもよい。また、制御部は、タップ回数が一致する登録リズムパターンのみを対象に、実際のリズム入力信号の時間変化の傾向に最も合致する登録リズムパターンを探索して、最も合致する登録リズムパターンを入力リズムパターンとして認識してもよい。ここで、時間変化の傾向を調べる方法は、上記のようにずれ指数を比較する方法であるとよい。
（第４の実施形態）
本発明の第４の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第４の実施形態では、図１を援用する。第４の実施形態におけるリズム入力部１０１は、デジタル入力デバイスであってもよいし、アナログ入力デバイスであってもよい。
以下、第４の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第４の実施形態では、リズムパターン認識処理が第１の実施形態と異なる。
図１８は、入力リズムパターン認識処理における第４の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図１８を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
まず、制御部１０２は、第３の実施形態の場合と同様にして、タップインターバル時間を記憶して（ステップＳ５０１）、次のタップが入力されるか否かを判断する（ステップＳ５０２）。次のタップが入力される場合、制御部１０２は、ステップＳ５０１の動作に戻る。一方、入力されない場合、すなわち、ユーザによるリズムの入力が終了した場合、制御部１０２は、ステップＳ５０３の動作に進んで、リズムパターンを解析する。
ステップＳ５０３において、制御部１０２は、タップ回数が一回だけであったか否かを判断する。一回だけである場合、制御部１０２は、入力リズムパターンを「ｘ」であると認識して、図６に示すメインの動作に戻る。
一方、一回だけでない場合、制御部１０２は、求めたタップインターバル時間の中で最小のタップインターバル時間を求める（ステップＳ５０５）。次に、制御部１０２は、計測済みのタップインターバル時間の内、先頭から順に、一つだけタップインターバル時間を選択する（ステップＳ５０６）。次に、制御部１０２は、最小のタップインターバル時間を１として、選択したタップインターバル時間の相対値を求め、当該相対値が所定のしきい値を超えるか否かを判断する（ステップＳ５０７）。所定のしきい値は、打拍時間と休拍時間とを加えた値の相対値であり、たとえば、２であるとする。
相対値が所定のしきい値を超える場合、制御部１０２は、選択したタップインターバル時間中のパターンを「ｘ−」であるとして（ステップＳ５０８）、ステップＳ５０９の動作に進む。一方、相対値が所定のしきい値を超えない場合、制御部１０２は、選択したタップインターバル時間中のパターンを「ｘ」であるとして（ステップＳ５１０）、ステップＳ５０９の動作に進む。
たとえば、最小のタップインターバル時間が３００（ｍｓ）であり、ある一つのタップインターバル時間が６６０（ｍｓ）である場合、相対値は、６６０／３００＝２．２となる。所定のしきい値が２であると想定すると、６６０（ｍｓ）のタップインターバル時間が経過中のリズムパターンは「ｘ−」であるとして扱われる。
ステップＳ５０９において、制御部１０２は、計測済みの全てのタップインターバル時間について、相対値のしきい値判定が終了したか否かを判断する。終了していない場合、制御部１０２は、ステップＳ５０６の動作に戻って、次のタップインターバル時間について最小のタップインターバル時間との比較を行う。一方、終了した場合、制御部１０２は、ステップＳ５０８および／またはＳ５１０で決定したパターンに基づいて入力リズムパターンを決定し、図６に示すメインの動作に戻って、登録リズムパターンとの一致を判断して、車両内装置を制御する。
このように、第４の実施形態において、制御システムは、最小のタップインターバル時間を１として、各タップインターバル時間の相対値を求めることによって、タップインターバル時間中に休拍があったか否かを判断する。したがって、入力されたリズムのテンポの速い遅いに関係なく、全体的な全体的な調子を考慮に入れてリズムパターンを認識することができる。したがって、制御システムは、ユーザの個人差を吸収して入力リズムパターンを認識することができるので、画一的に長音インターバルとの大小に基づいて入力リズムパターンを認識するのに比べて、より正確に各種装置の動作を制御することができる。
（第５の実施形態）
本発明の第５の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第５の実施形態では、図１を援用する。第５の実施形態におけるリズム入力部１０１は、アナログ入力デバイスで構成されることとする。また、第５の実施形態では、アクセントの位置もリズムパターンの認識に用いられる。リズム辞書としては、図１１および図１２に示したような強弱をも定義されているものを用いる。
以下、第５の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第４の実施形態では、入力リズムパターン認識処理が第１の実施形態と異なる。
図１９は、入力リズムパターン認識処理における第５の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図１９を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
まず、制御部１０２は、リズム入力部１０１からのリズム入力信号を受信し、キーダウンタイミングにおける振幅レベルを記憶する（ステップＳ６０１）。次に、制御部１０２は、タップインターバル時間を計測して記憶する（ステップＳ６０２）。なお、初めてキーダウンタイミングが到来した場合、制御部１０２は、タップインターバル時間を計測せずに、次の動作に進む。
次に、制御部１０２は、終了インターバル時間内に次のタップが入力されるか否かを判断する（ステップＳ６０３）。次のタップが入力される場合、制御部１０２は、ステップＳ６０１の動作に戻る。次のタップが入力されない場合、制御部１０２は、ステップＳ６０４の動作に進む。
ステップＳ５０４において、制御部１０２は、タップの強弱を考慮に入れずに、入力リズムパターンを認識する。ここでの入力リズムパターンを認識するためのアルゴリズムは、上記第１、第３および第４の実施形態で示したいずれのアルゴリズムであってもよい。
次に、制御部１０２は、リズム入力信号の先頭から順番に、一つのキータウンタイミングにおける振幅レベルを選択し（ステップＳ６０５）、当該振幅レベルが強拍を示すものであるか、それとも弱拍を示すものであるか否かを判断する（ステップＳ６０６）。
振幅レベルが強拍を示す場合、制御部１０２は、強弱パターンを「強」であるとして（ステップＳ６０７）、ステップＳ６０８の動作に進む。ここで、強弱パターンとは、ステップＳ６０４で認識した入力リズムパターンの打拍部分が強拍であるか弱拍であるかを示すものである。一方、振幅レベルが弱拍を示す場合、制御部１０２は、強弱パターンを「弱」であるとして（ステップＳ６０９）、ステップＳ６０８の動作に進む。
ステップＳ６０８において、制御部１０２は、全てのキーダウンタイミングを選択したか否かを判断する。選択していない場合、制御部１０２は、ステップＳ６０５の動作に戻って、次の強弱パターンを決定する。一方、選択し終わっている場合、制御部１０２は、ステップＳ６０４で認識した入力リズムパターンとステップＳ６０７およびＳ６０９で認識した強弱パターンとを融合して、最終的な入力リズムパターンを決定して（ステップＳ６１０）、図６に示すメインの動作に戻り、強弱が定義されているリズム辞書を参照して、一致するリズムパターンが存在するか否か判断し、車両内装置の動作を制御する。
ステップＳ６１０における入力リズムパターンと強弱パターンとの融合は、リズムパターンの打拍部分に強弱パターンを先頭から順に当てはめていくことによって行われる。たとえば、入力リズムパターンが「ｘ−ｘｘｘｘ」であり、強弱パターンが「強弱強弱弱」である場合、制御部１０２は、入力リズムパターンの打拍部分に、順番に「強」または「弱」を当てはめて、「強」が当てはまる場合は、パターンを「Ａ」に変更する。このような融合によって、制御部１０２は、最終的な入力リズムパターン「Ａ−ｘＡｘｘ」を認識することができる。
このように、第５の実施形態では、打拍の強弱をも含めて入力リズムパターンを認識することができる。特に、第３および第４の実施形態で示した入力リズムパターン認識処理と組み合わせることによって、制御システムは、入力されたリズムのテンポの速い遅いに関係なく、全体的な調子を考慮に入れてリズムパターンを強弱を含めて認識することができる。
なお、打拍の強弱にも個人差があるので、制御システムは、最小の打拍レベルや最大の打拍レベルを基準にして相対的に打拍の強弱を判断するようにしてもよい。
（第６の実施形態）
発音パターンはユーザ毎に異なる場合があるので、入力リズムパターンもユーザ毎に異なる場合がある。第６の実施形態では、ユーザ毎に異なるリズムパターンが登録されているリズム辞書について説明すると共に、ユーザが自らの入力リズムパターンに合致するように登録リズムパターンを編集することができるシステムについて説明する。
図２０は、本発明の第６の実施形態に係る制御システム６００の構成およびそれが適用されるシステムの全体構成を示す図である。図２０において、第１の実施形態と同様の部分については、同一の参照符号を付し、説明を省略する。
図２０において、システム全体は、制御システム６００と、エアコン２０１と、オーディオ２０２と、テレビ２０３と、カーナビゲーション２０４とを備える。制御システム６００は、リズム入力部６０１と、制御部６０２と、個人データ／リズム辞書格納部６０３と、出力部６０４と、認証部６０５とを含む。
リズム入力部６０１は、デジタル入力デバイスであってもよいし、アナログ入力デバイスであってもよい。
個人データ／リズム辞書格納部６０３は、ＲＡＭ、ＲＯＭまたはハードディスク等の記憶装置で構成される。個人データ／リズム辞書格納部６０３は、ユーザ毎に、リズム辞書テーブル、入力リズムパターン認識のために必要なパラメータ、およびフィードバック方法に関する設定情報を格納している。
ここで、ユーザ毎に異なるリズム辞書テーブルは、予めユーザが制御内容名に合わせてリズムパターンを登録しておくことによって定義されているものとする。また、入力リズムパターン認識のために必要なパラメータ（以下、認識用パラメータという）とは、打拍、休拍レベルのしきい値（図３，図９参照）や、強拍、弱拍レベルのしきい値（図１０参照）、長音インターバル時間、終了インターバル時間など、リズム入力信号の時間変化を検知するために必要な情報のことをいう。
また、フィードバック方法に関する設定情報（以下、フィードバック設定情報という）とは、ユーザにフィードバックする内容が画面表示であるのか、音声出力であるのか、振動であるのかを示す情報のことをいう。
出力部６０４は、ディスプレイ等の画面装置、スピーカ、アンプ等の発声装置、バイブレータ等の振動装置などで構成され、ユーザの五感に何らかの刺激を与えるための体感装置である。
認証部６０５は、ユーザ個人の認証を行う装置であり、その構成は認証方法によって異なる。認証方法としては、ユーザがパスワードを入力して認証する方法や、顔や虹彩・指紋などを画像認識することによって認証する方法、筆跡や声を入力して認証する方法などが挙げられる。本実施形態では、特にセキュリティを問題としていないので、単に、使用する前にユーザリストから自分の名前を選ぶといった認証方法のみを用いることとする。認証部６０５は、制御部６０２からの要求に応じ、ユーザを認証して特定し、その結果を制御部６０２に返す。
制御部６０２は、ＣＰＵ、メモリなどで構成され、認証部６０５からの情報に基づいて使用するユーザを特定し、個人データ／リズム辞書格納部６０３に格納されている認識用パラメータを参照して、ユーザ毎に、リズム入力部６０１が出力したリズム入力信号を解析して入力リズムパターンを認識する。入力リズムパターンを認識するためのアルゴリズムは、上記第１〜第５の実施形態で用いたいずれのアルゴリズムであってもよい。制御部６０２は、個人データ／リズム辞書格納部６０３に格納されたユーザ別のリズム辞書テーブルを参照して、認識した入力リズムパターンに一致する登録リズムパターンが存在するか否かを判断する。一致する登録リズムパターンが存在する場合、制御部６０２は、その判断結果を出力部６０４を介してユーザにフィードバックし、車両内装置の動作を制御する。
図２１は、ユーザがリズム入力部１０１をタップすることによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの制御部６０２の動作を示すフローチャートである。以下、図２１を参照しながら、制御部６０２の動作について説明する。
まず、制御部６０２は、認証部６０５にユーザ個人を特定して認証するよう要求し、その認証結果を受け取る（ステップＳ７０１）。次に、制御部６０２は、リズム入力部６０１からの電気信号を受信するか否かに基づいて、ユーザによる入力があるか否かを判断する（ステップＳ７０２）。ユーザによる入力がない場合、制御部６０２は処理を終了する。一方、ユーザによる入力がある場合、制御部６０２は、個人データ／リズム辞書格納部６０３から、特定されたユーザに関する認識用パラメータを参照し（ステップＳ７０３）、ステップＳ７０４の動作に進む。
ステップＳ７０４において、制御部６０２は、リズム入力部６０１からのリズム入力信号および参照した認証用パラメータに基づいて、リズムパターンを認識する。リズムパターンを認識するためのアルゴリズムは、上記第１〜第５の実施形態で用いたいずれのアルゴリズムであってもよいであってもよい。ユーザ別の認証用パラメータを用いることによって、制御部６０２は、打拍するタイミングの個人差や、打拍する強さの個人差を緩和して入力リズムパターンを認識することができる。
次に、制御部６０２は、認識した入力リズムパターンに一致する登録リズムパターンが当該ユーザのリズム辞書テーブルに登録されているか否かを判断する（ステップＳ７０５）。一致する登録リズムパターンがある場合、制御部６０２は、そのリズムパターンに対応する制御内容を実行して、車両内装置の動作を制御し（ステップＳ７０６）、制御が成功したことを示すフィードバック信号をフィードバック設定情報と共に出力部６０４に出力し（ステップＳ７０７）、処理を終了する。一方、一致する登録リズムパターンがない場合、制御部６０２は認識に失敗したことを示すフィードバック信号をフィードバック設定情報と共に出力部６０４に出力し（ステップＳ７０８）、処理を終了する。出力部６０４は、制御部６０２からのフィードバック信号およびフィードバック設定情報に基づいて、認識に成功したか否かを音声や、映像、振動等によって、ユーザに伝える。
図２２は、ユーザがリズム辞書テーブルの内容を確認・編集するときの制御部６０２の動作を示すフローチャートである。以下、図２２を参照しながら、ユーザがリズム辞書テーブルの内容を確認・編集するときの制御部６０２の動作について説明する。
まず、制御部６０２は、リズム辞書の確認、編集作業に入ると、たとえば出力部６０４の画面上に「追加・修正」、「確認」、「削除」といった選択肢を表示させ、ユーザに項目を選択させる（ステップＳ８０１）。
ステップＳ８０１において、ユーザが「追加」を選択した場合、制御部６０２は、出力部６０４の画面上に「文字による入力」、「リズムによる入力」といった選択肢を表示させ、ユーザの入力を待つ（ステップＳ８０２）。
ステップＳ８０２において、ユーザがリズムによる入力を選んだ場合、制御部６０２は、リズム入力部６０１からのリズム入力信号を受信して（ステップＳ８０３）、入力リズムパターンを認識し（ステップＳ８０４）、ステップＳ８０７の動作に進む。ステップＳ８０４における入力リズムパターンの認識アルゴリズムは、第１〜第５の実施形態で説明したアルゴリズムのいずれであってもよい。
ステップＳ８０２において、ユーザが文字による入力を選んだ場合、制御部６０２は、キーボード、音声認識部などの文字入力部（図示せず）を介して、ユーザからの文字入力を受け付け（ステップＳ８０５）、文字をリズムパターンに変換し（ステップＳ８０６）、ステップＳ８０７の動作に進む。ステップＳ８０６において、制御部６０２は、第１または第２の実施形態で示したように、入力文字を所定の単位に分割して、分割後の単位毎に所定の単位リズムパターンを割り当てることによって、入力文字をリズムパターンに変換する。
ステップＳ８０７において、制御部６０２は、ステップＳ８０４またはＳ８０６で決定されたリズムパターンが、個人データ／リズム辞書格納部６０３に格納されている既存の登録リズムパターンと重複しているか否かをチェックする。取り得るリズムパターンの数は有限であるので、リズムパターンが重複する可能性がある。したがって、制御部６０２は、ステップＳ８０７のような判断を行う。
重複している登録リズムパターンがある場合、制御部６０２は、ステップＳ８０２に戻って、入力をやり直すようユーザに促す。一方、重複しているリズムパターンがない場合、制御部６０２は、個人データ／リズム辞書格納部６０３に、新たなリズムパターンと制御内容とを登録し（ステップＳ８０８）、処理を終了する。なお、修正を行う場合、制御部６０２は、登録されている制御内容名に対応するリズムパターンを新たなリズムパターンに変更する。ここで、制御内容は、ユーザによって指定されてもよいし、制御部６０２がユーザに選択させてもよい。このように、制御部６０２は、直接リズムをユーザにタップさせてリズムパターンを登録したり、ユーザに文字を入力させてリズムパターンを登録したりすることによって、リズム辞書テーブルの登録内容を編集する。
ステップＳ８０１以降の動作説明に戻る。ステップＳ８０１において、ユーザが「確認」を選択した場合、制御部６０２は、出力部６０４にユーザが選択した登録リズムパターンを体感させて（ステップＳ８０９）、処理を終了する。具体的には、出力部６０４は、登録リズムパターンの打拍（強弱がある場合は強拍、弱拍）および／または休拍のテンポに従って、画面上にアニメーションパターンを表示したり、音声パターンを出力したり、振動パターンを出力したりする。これにより、ユーザは、登録リズムパターンを体感することができる。
ステップＳ８０１において、ユーザが「削除」を選択した場合、制御部６０２は、選択されたリズムパターンが該当する項目を個人データ／リズム辞書格納部６０３から削除し（ステップＳ８１０）、処理を終了する。
このように、第６の実施形態において、制御システムは、ユーザ毎に、リズム辞書テーブル、認識用パラメータ、およびフィードバック設定情報を登録しており、ユーザに応じて、参照すべき情報を変更するので、リズムを叩く癖やテンポ等、ユーザの個人差によってリズムパターンが認識されないといった状況を減らすことができる。
また、制御システムはリズムパターンの認識結果をユーザに伝えることができるので、ユーザは、正しいリズムを入力したか否かを確認することができる。
また、制御システムはユーザに登録リズムパターンを体感させることができるので、ユーザは、登録リズムパターンを学習することができる。
さらに、制御システムは、ユーザによるリズム入力や文字入力に応じて、リズム辞書を編集することができる。したがって、カスタマイズされたリズム辞書の構築が可能となる。
（第７の実施形態）
次に、本発明の第７の実施形態について説明する。第７の実施形態に係る制御システムの構成およびそれが適用されるシステムの全体構成は、第１の実施形態と同様であるので、図１を援用することとする。第７の実施形態では、より多くの機能にリズムパターンを割り当てるために、機能が階層的に定義されている。
図２３は、第７の実施形態に係るリズム入力部１０１として圧電センサからなるアナログ入力デバイスを用いたときの、車内での取り付け位置を模式的に示す図である。本実施形態の特徴は、リズム入力部１０１が内部に２つ以上の入力デバイスを含んでいることである。ドライバが運転中に叩きやすいように、リズム入力部１０１は、ステアリング３０１の左部における圧電センサ３０２Ｌと、右部における圧電センサ３０２Ｒとを内蔵する。第１の実施形態と同様、圧電センサ３０２Ｌおよび３０２Ｒの反応する箇所に突起物が設けられている。なお、叩くべき場所が手探りでも見つけ出し易いような構造であれば、突起物でなくてもよい。なお、図２２に示すものは、あくまで一例である。二つの入力デバイスは、左右以外に、上下など他の位置に配置されていてもよい。
図２４は、リズム辞書格納部１０３に格納されているリズム辞書テーブルの一例を示す図である。ここでは、制御命令の内容を、大機能とその下に付随する小機能との２層の階層構造に分類している。
左部の圧電センサ３０２Ｌから入力されるリズムパターンは、大機能の入力に割り当てられている。右部の圧電センサ３０２Ｒから入力されるリズムパターンは、小機能の入力に割り当てられている。たとえば、左部でリズム「ｘ−ｘｘ−ｘｘ」をタップすることによって、大機能「経路探索」が選択される。続いて、右部でリズム「ｘｘｘ」をタップすることによって、大機能「経路探索」に付随する小機能「自宅」が選択されることとなる。制御部１０２は、この二つの入力の組み合わせを解釈して、たとえば、カーナビゲーションに自宅までの経路を探索させ案内を開始させるなど、車両内装置の動作を制御する。
図２５は、リズムパターン認識処理における制御部１０２の動作の詳細を示すフローチャートである。以下、図２５を参照しながら、リズムパターン認識処理における制御部１０２の動作について説明する。
制御部１０２は、先頭のパターンを「ｘ」とし（ステップＳ９０１）、終了インターバル時間内に次のタップが入力されるか否かを判断する（ステップＳ９０２）。入力されない場合、制御部１０２は、処理を終了する。一方、入力する場合、制御部１０２は、タップされたセンサが、前回タップされたセンサと同じ側のセンサであるか否かを判断する（ステップＳ９０３）。ここでセンサとは、圧電センサ３０２Ｌ，３０２Ｒのことをいう（以下同様）。
違う側のセンサがタップされた場合、制御部１０２は、次のパターンを「｜ｘ」と決定し（ステップＳ９０７）、ステップＳ９０２の動作に戻る。ここで「｜」は、単語の切れ目を表す符号であり、ユーザが叩くセンサを切り替えたタイミングを示している。
一方、叩かれたセンサが前回のタップと同じ側である場合、制御部１０２は、長音インターバル時間内であるか否かを判断し（ステップＳ９０４）、判断結果に応じて、パターンを「ｘ」または「−ｘ」として（ステップＳ９０５またはＳ９０６）、ステップＳ９０２の動作に戻る。
上記のようにして、タップするセンサが切り替わった場合、リズムパターンに「｜」が挿入される。制御部１０２は、一致パターンの有無を判断する際（、「｜」が挿入されているか否かを判断する。「｜」が挿入されている場合、制御部１０２は、大機能を実行中であるかそれとも小機能を実行中であるかを判断する。大機能を実行中の場合、制御部１０２は、小機能に登録されているリズムパターンとの一致を判断して、車両内装置を制御する。一方、小機能を実行中の場合、制御部１０２は、大機能に登録されているリズムパターンとの一致を判断して、車両内装置を制御する。
このように、第７の実施形態において、制御システムは、叩く側が切り替わった場合、階層の切り替えを示す符号を自動的に挿入する。制御システムは、階層切れ替えを示す符号が挿入されている場合、リズムパターンの一致を判断するためのリズム辞書を切り替えて、対応するリズム辞書を参照することによって、リズムパターンの一致を判断する。したがって、制御システムは、各階層の機能に応じた制御をすることが可能となる。また、機能が階層化されているので、制御システムが取り扱うことのできる制御内容の数を増やすことが可能となる。
なお、ここでは２層の階層構造の例を示したが、３層に分類することも可能である。その場合、たとえば、最上位の層を左部、第２層を右部、第３層を再び左部のセンサに割り当て、制御システムは、左部、右部、および左部を叩く順番に応じて、使用するリズム辞書を切り替えることとなる。たとえば、第１の階層での判断を実行中に左部から右部に切り替えられた場合、制御システムは、第１の階層から第２の階層に移行したと認識し、第２の階層での判断を実行中に右部から左部に切り替えられた場合、第２の階層から第３の階層に移行したと認識する。また、第３の階層での判断を実行中に左部から右部に切り替えられた場合、制御システムは、第３の階層から第１の階層に戻ったと認識する。
同様に、階層構造は４層以上であってもよい。この場合も、制御システムは、現在実行中の階層およびセンサの切り替え順番に基づいて、移行後の階層を認識し、当該階層に応じたリズム辞書を参照するようにすればよい。
なお、第７の実施形態では、センサを左部と右部との２箇所に設けることとしたが、本実施形態の本質は、センサの切り替えを検知することであるので、そのため、センサの設置数は複数であればよく、２個であるとは限らない。
なお、第７の実施形態に係る制御システムを、第６の実施形態と同様、ユーザ別の設定を記憶する機能、フィードバックする機能を更に備えた構成にしてもよい。
なお、第７の実施形態では、入力リズムパターンを認識するために、長音インターバル時間との比較に基づいた判断をする処理を示したが、当然、第２〜第５の実施形態で用いたような入力リズムパターン認識処理に階層構造を認識するための処理を施すこととしてもよい。
具体的には、第２の実施形態におけるリズムパターン認識処理において、制御システムは、終了インターバル時間内に次のタップが入力されたか否かを判断した（図１３、ステップＳ３０４参照）後、前回と同じセンサがタップされたか否かに基づいて、切り替えを判断し、打拍の強弱に応じて、リズムパターンを決定すればよい。
また、第３の実施形態における入力リズムパターン認識処理において、制御システムは、タップインターバル時間を記録する際（図１４、ステップＳ４０１参照）、センサの切り替えも判断して記録し、ステップＳ４０５以降の処理において、階層毎にリズムパターンを認識するようにすればよい。第４および第５の実施形態についても同様である。
（その他の実施形態）
本願発明は、上記各実施形態に記述された内容に限定して狭く解釈するものであってはならない。
まず、上記各実施形態では、操作デバイスとなるリズム入力部を構成する圧電センサや接点式のスイッチをステアリング上に設けることとしたが、リズム入力部を設置する場所はこれに限らない。たとえば、椅子の肘掛け部、インパネ内、後部座席など、リズム入力部は、従来の操作デバイス同様、あらゆる場所に設置されてよい。
さらに、上記各実施形態では、車両内装置の制御を例にとって説明したが、本発明の適用範囲は車載用のシステムにとどまるものではない。例えば、テレビやビデオなどの家庭内の機器にリズム入力部を設けることによっても、同様に、ユーザは、リズム入力でこれらの機器を操作することができる。
また、リズム入力部と機器との間の通信は、無線で行われてもよいし、有線で行われてもよい。たとば、無線で通信する場合、リズム入力部は、機器本体ではなく、リモートコントローラ上に設けられているとよい。
また、上記各実施形態では、制御システムは、各装置とは別個に存在することとしたが、各装置内部に組み込まれていてもよい。たとえば、コンピュータ上において、上記各実施形態における制御部をＣＰＵ上で制御プログラムを実行して実現するようにし、リズム入力部をマウスやキーボードおよび画面に表示される仮想的な入力パッドによって実現し、リズム辞書をハードディスクに格納して実現するようにしてもよい。そして、当該入力パッド上で、マウス等をクリックしてリズムを入力し、ＰＣ上で各種ソフトウェアの起動や命令の実行をするようにするとよい。
たとえば、ワープロソフトを起動させたい場合、ユーザは、仮想入力パッド上でマウスを「ワープロ」という言葉から発するリズムに従ってクリックする。制御プログラムを実行中のＣＰＵは、リズム辞書と比較して、その結果に応じてワープロソフトを起動させればよい。このＰＣ上の制御プログラムは、図６に示すような動作をＣＰＵにさせるためのプログラムである。即ち、図６におけるステップＳ１０５を、リズムパターンが一致する場合、該当するソフトウェアを実行するという動作に置き換えるだけでよい。この場合、制御システムは、リズムパターンの入力により、各種ソフトウェアを起動させたり、命令を実行させたりすることが可能な、コンピュータ装置上で実行される制御プログラムとして提供されることとなる。
【産業上の利用可能性】  以上のように、本発明に係る制御システムは、少数の操作デバイスを利用したユーザからの操作指示によって、確実に所望の機能を実行することができる。
【図１】
2004019197.tif 000003
【図２】
2004019197.tif 000004
【図３】
2004019197.tif 000005
【図４】
2004019197.tif 000006
【図５】
2004019197.tif 000007
【図６】
2004019197.tif 000008
【図７】
2004019197.tif 000009
【図８】
2004019197.tif 000010
【図９】
2004019197.tif 000011
【図１０】
2004019197.tif 000012
【図１１】
2004019197.tif 000013
【図１２】
2004019197.tif 000014
【図１３】
2004019197.tif 000015
【図１４】
2004019197.tif 000016
【図１５】
2004019197.tif 000017
【図１６】
2004019197.tif 000018
【図１７】
2004019197.tif 000019
【図１８】
2004019197.tif 000020
【図１９】
2004019197.tif 000021
【図２０】
2004019197.tif 000022
【図２１】
2004019197.tif 000023
【図２２】
2004019197.tif 000024
【図２３】
2004019197.tif 000025
【図２４】
2004019197.tif 000026
【図２５】
2004019197.tif 000027
【手続補正書】
【提出日】平成15年12月4日(2003.12.4)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１以上の装置の動作を制御するための制御システムであって、
前記装置の制御内容を表す名称の発音パターンに対応するユーザからのタップ入力に応じて、振幅レベルが変動する電気信号をリズム入力信号として出力するリズム入力部と、
前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを格納するリズム辞書格納部と、
前記装置の動作を制御する制御部とを備え、
前記制御部は、
前記リズム入力部から入力される前記リズム入力信号を解析して、入力リズムパターンを認識する入力リズムパターン認識手段と、
前記リズム辞書テーブルを参照して、前記入力リズムパターン認識手段が認識した入力リズムパターンと一致する登録リズムパターンを検索し、当該登録リズムパターンに対応する制御内容に基づいて、前記装置を制御する装置制御手段とを含む、制御システム。
【請求項２】
前記リズム辞書テーブルでは、前記制御内容を示す名称を少なくとも１以上の所定の単位に分割したときの分割後の単位毎に所定の単位リズムパターンを割り当てることによって、前記登録リズムパターンを定義しており、
前記入力リズムパターン認識手段は、前記リズム入力信号の振幅レベルの時間変化を単純化することによって入力リズムパターンを認識する、請求項１に記載の制御システム。
【請求項３】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記リズム入力部をユーザがタップした打拍タイミングおよび／または所定の時間の間タップしなかった休拍タイミングを、前記振幅レベルの時間変化に基づいて認識して、前記リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識する、請求項２に記載の制御システム。
【請求項４】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項３に記載の制御システム。
【請求項５】
前記入力リズムパターン認識手段は、さらに、前記リズム入力部をユーザが前記所定のインターバル時間押下し続けた場合、打拍タイミングおよび休拍タイミングがあったとして、入力リズムパターンを認識する、請求項３に記載の制御システム。
【請求項６】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを全て想定して、想定したリズムパターンの中から前記リズム入力信号の時間変化の傾向に最も合致するリズムパターンを探索し、探索されたリズムパターンを入力リズムパターンとして認識する、請求項２に記載の制御システム。
【請求項７】
前記入力リズムパターン認識手段は、想定したリズムパターンにおける隣接する二つの打拍の時間間隔と前記リズム入力信号における隣接する二つの打拍の時間間隔との差を求め、想定したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識する、請求項６に記載の制御システム。
【請求項８】
前記入力リズムパターン認識手段は、さらに、認識した前記入力リズムパターンにおける打拍の間隔が均等に配列している場合、前記打拍の間隔が所定のインターバル時間を超えるか否かを判断して、超える場合、入力リズムパターンは打拍と休拍とが連続するリズムパターンであると認識し直し、超えない場合、入力タップパターンは打拍のみが連続するリズムパターンであると認識し直す、請求項６に記載の制御システム。
【請求項９】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項６に記載の制御システム。
【請求項１０】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記リズム入力信号の時間変化の傾向に最も合致するリズムパターンを前記リズム辞書テーブルにおける登録リズムパターンの中から探索し、探索されたリズムパターンを入力リズムパターンとして認識する、請求項２に記載の制御システム。
【請求項１１】
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを前記リズム辞書テーブルにおける登録リズムパターンの中から探索し、探索したリズムパターンの中から前記時間変化の傾向に最も合致するリズムパターンをさらに探索して、最終的に探索されたリズムパターンを入力リズムパターンとして認識する、請求項１０に記載の制御システム。
【請求項１２】
前記入力リズムパターン認識手段は、前記時間変化の傾向に最も合致するリズムパターンをさらに検索する際、前記探索したリズムパターンにおける隣接する二つの打拍の時間間隔と前記リズム入力信号における隣接する二つの打拍の時間間隔との差を求め、前記探索したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識する、請求項１１に記載の制御システム。
【請求項１３】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項１０に記載の制御システム。
【請求項１４】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されたおり、
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、前記リズム入力信号において隣接する二つの打拍の時間間隔の内、最小の時間間隔を求め、当該最小の時間間隔と他の二つの打拍の時間間隔とを比較したときの相対値に基づいて、当該二つの打拍の間に休拍があるか否かを決定して、前記リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識する、請求項２に記載の制御システム。
【請求項１５】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項１４に記載の制御システム。
【請求項１６】
前記制御内容を示す名称を分割するための前記所定の単位は、モーラの単位であることを特徴とする、請求項２に記載の制御システム。
【請求項１７】
前記制御内容を示す名称を分割するための前記所定の単位は、音節の単位であることを特徴とする、請求項２に記載の制御システム。
【請求項１８】
（補正後）前記制御部は、ユーザの指示に応じて、前記リズム辞書テーブルの登録内容を編集するリズムパターン編集手段をさらに含む、請求項１に記載の制御システム。
【請求項１９】
前記リズムパターン編集手段は、前記入力リズムパターン認識手段に、前記リズム入力部をタップしたユーザが意図している入力リズムパターンを認識させ、当該入力リズムパターンを前記リズム辞書テーブルにおける登録リズムパターンとして登録する、請求項１８に記載の制御システム。
【請求項２０】
前記リズムパターン編集手段は、ユーザが入力した文字情報によって表される制御名称を少なくとも１以上の所定の単位に分割し、分割後の単位毎に所定の単位リズムパターンを割り当てることによってリズムパターンを定義し、当該リズムパターンを前記リズム辞書テーブルにおける登録リズムパターンとして登録する、請求項１８に記載の制御システム。
【請求項２１】
前記リズムパターン編集手段は、前記登録リズムパターンの重複を確認しながら、前記リズム辞書テーブルの登録内容を編集する、請求項１８に記載の制御システム。
【請求項２２】
（補正後）車両内に搭載されていることを特徴とする、請求項１に記載の制御システム。
【請求項２３】
前記リズム入力部は、前記車両内のステアリングハンドルに配置されており、触感による位置確認が可能な構造を有している、請求項２２に記載の制御システム。
【請求項２４】
（補正後）前記リズム辞書テーブルでは、前記制御内容が階層構造に定義されており、
前記装置制御手段は、現在検索中の階層を記憶しており、現在検索中の階層内で前記入力リズムパターンと前記登録リズムパターンとの一致を検索し、
前記リズム入力部は、前記現在検索中の階層を前記装置制御手段に切り替えさせるための階層切り替え手段をさらに含む、請求項１に記載の制御システム。
【請求項２５】
前記リズム入力部は、ユーザのタップを入力するための２以上の入力デバイスからなり、
前記階層切り替え手段は、タップされる前記入力デバイスが切り替わったときに前記装置制御手段に前記現在検索中の階層を切り替えさせる、請求項２４に記載の制御システム。
【請求項２６】
（補正後）前記リズム辞書テーブルでは、ユーザ別の登録リズムパターンが定義されており、
前記装置制御手段は、ユーザ毎に、一致する登録リズムパターンを検索する、請求項１に記載の制御システム。
【請求項２７】
（補正後）前記入力リズムパターン認識手段は、前記リズム入力信号の時間変化を検知するために必要なパラメータをユーザ毎に記憶しており、当該パラメータに基づいて、ユーザ毎に前記リズム入力信号を解析する、請求項１に記載の制御システム。
【請求項２８】
（補正後）一致する登録リズムパターンが存在したか否かの前記装置制御手段による検索結果を、ユーザに伝える出力部をさらに備える、請求項１に記載の制御システム。
【請求項２９】
（補正後）ユーザの指示に応じて、前記リズム辞書テーブルに登録されているリズムパターンをユーザに体感させる体感出力部をさらに備える、請求項１に記載の制御システム。
【請求項３０】
（補正後）前記入力リズムパターン認識手段は前記リズム入力信号の振幅が一定時間ローレベルである場合、入力が終了したとして、入力リズムパターンを認識する、請求項１に記載の制御システム。
【請求項３１】
少なくとも１以上の装置の動作をコンピュータ装置で制御するための方法であって、
前記コンピュータ装置に入力される電気信号を解析して、入力リズムパターンを前記コンピュータ装置が認識するステップと、
前記コンピュータ装置に格納されている前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを参照して、認識した前記入力リズムパターンと一致する登録リズムパターンを前記コンピュータ装置が検索するステップと、
検索された登録リズムパターンに対応する制御内容に基づいて、前記装置を前記コンピュータ装置が制御するステップとを備える、方法。
【請求項３２】
少なくとも１以上のソフトウエアの動作をコンピュータ装置に制御させるためのプログラムであって、
前記コンピュータ装置に入力される電気信号を解析して、入力リズムパターンを前記コンピュータ装置に認識させるステップと、
前記コンピュータ装置に格納されている前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを前記コンピュータ装置に参照させて、認識した前記入力リズムパターンと一致する登録リズムパターンを前記コンピュータ装置に検索させるステップと、
検索させた登録リズムパターンに対応する制御内容に基づいて、前記装置を前記コンピュータ装置に制御させるステップとを備える、プログラム。
【手続補正書】
【提出日】平成17年2月21日(2005.2.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１以上の装置の動作を制御するための制御システムであって、
前記装置の制御内容を表す名称の発音パターンに対応するユーザからのタップ入力に応じて、振幅レベルが変動する電気信号をリズム入力信号として出力するリズム入力部と、
前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを格納するリズム辞書格納部と、
前記装置の動作を制御する制御部とを備え、
前記制御部は、
前記リズム入力部から入力される前記リズム入力信号を解析して、入力リズムパターンを認識する入力リズムパターン認識手段と、
前記リズム辞書テーブルを参照して、前記入力リズムパターン認識手段が認識した入力リズムパターンと一致する登録リズムパターンを検索し、当該登録リズムパターンに対応する制御内容に基づいて、前記装置を制御する装置制御手段とを含む、制御システム。
【請求項２】
前記リズム辞書テーブルでは、前記制御内容を示す名称を少なくとも１以上の所定の単位に分割したときの分割後の単位毎に所定の単位リズムパターンを割り当てることによって、前記登録リズムパターンを定義しており、
前記入力リズムパターン認識手段は、前記リズム入力信号の振幅レベルの時間変化を単純化することによって入力リズムパターンを認識する、請求項１に記載の制御システム。
【請求項３】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記リズム入力部をユーザがタップした打拍タイミングおよび／または所定の時間の間タップしなかった休拍タイミングを、前記振幅レベルの時間変化に基づいて認識して、前記リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識する、請求項２に記載の制御システム。
【請求項４】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項３に記載の制御システム。
【請求項５】
前記入力リズムパターン認識手段は、さらに、前記リズム入力部をユーザが前記所定のインターバル時間押下し続けた場合、打拍タイミングおよび休拍タイミングがあったとして、入力リズムパターンを認識する、請求項３に記載の制御システム。
【請求項６】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを全て想定して、想定したリズムパターンの中から前記リズム入力信号の時間変化の傾向に最も合致するリズムパターンを探索し、探索されたリズムパターンを入力リズムパターンとして認識する、請求項２に記載の制御システム。
【請求項７】
前記入力リズムパターン認識手段は、想定したリズムパターンにおける隣接する二つの打拍の時間間隔と前記リズム入力信号における隣接する二つの打拍の時間間隔との差を求め、想定したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識する、請求項６に記載の制御システム。
【請求項８】
前記入力リズムパターン認識手段は、さらに、認識した前記入力リズムパターンにおける打拍の間隔が均等に配列している場合、前記打拍の間隔が所定のインターバル時間を超えるか否かを判断して、超える場合、入力リズムパターンは打拍と休拍とが連続するリズムパターンであると認識し直し、超えない場合、入力タップパターンは打拍のみが連続するリズムパターンであると認識し直す、請求項６に記載の制御システム。
【請求項９】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項６に記載の制御システム。
【請求項１０】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記リズム入力信号の時間変化の傾向に最も合致するリズムパターンを前記リズム辞書テーブルにおける登録リズムパターンの中から探索し、探索されたリズムパターンを入力リズムパターンとして認識する、請求項２に記載の制御システム。
【請求項１１】
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを前記リズム辞書テーブルにおける登録リズムパターンの中から探索し、探索したリズムパターンの中から前記時間変化の傾向に最も合致するリズムパターンをさらに探索して、最終的に探索されたリズムパターンを入力リズムパターンとして認識する、請求項１０に記載の制御システム。
【請求項１２】
前記入力リズムパターン認識手段は、前記時間変化の傾向に最も合致するリズムパターンをさらに検索する際、前記探索したリズムパターンにおける隣接する二つの打拍の時間間隔と前記リズム入力信号における隣接する二つの打拍の時間間隔との差を求め、前記探索したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識する、請求項１１に記載の制御システム。
【請求項１３】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項１０に記載の制御システム。
【請求項１４】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、前記リズム入力信号において隣接する二つの打拍の時間間隔の内、最小の時間間隔を求め、当該最小の時間間隔と他の二つの打拍の時間間隔とを比較したときの相対値に基づいて、当該二つの打拍の間に休拍があるか否かを決定して、前記リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識する、請求項２に記載の制御システム。
【請求項１５】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおけるタップの強弱を段階的に認識して、前記打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項１４に記載の制御システム。
【請求項１６】
前記制御内容を示す名称を分割するための前記所定の単位は、モーラの単位であることを特徴とする、請求項２に記載の制御システム。
【請求項１７】
前記制御内容を示す名称を分割するための前記所定の単位は、音節の単位であることを特徴とする、請求項２に記載の制御システム。
【請求項１８】
前記制御部は、ユーザの指示に応じて、前記リズム辞書テーブルの登録内容を編集するリズムパターン編集手段をさらに含む、請求項１に記載の制御システム。
【請求項１９】
前記リズムパターン編集手段は、前記入力リズムパターン認識手段に、前記リズム入力部をタップしたユーザが意図している入力リズムパターンを認識させ、当該入力リズムパターンを前記リズム辞書テーブルにおける登録リズムパターンとして登録する、請求項１８に記載の制御システム。
【請求項２０】
前記リズムパターン編集手段は、ユーザが入力した文字情報によって表される制御名称を少なくとも１以上の所定の単位に分割し、分割後の単位毎に所定の単位リズムパターンを割り当てることによってリズムパターンを定義し、当該リズムパターンを前記リズム辞書テーブルにおける登録リズムパターンとして登録する、請求項１８に記載の制御システム。
【請求項２１】
前記リズムパターン編集手段は、前記登録リズムパターンの重複を確認しながら、前記リズム辞書テーブルの登録内容を編集する、請求項１８に記載の制御システム。
【請求項２２】
車両内に搭載されていることを特徴とする、請求項１に記載の制御システム。
【請求項２３】
前記リズム入力部は、前記車両内のステアリングハンドルに配置されており、触感による位置確認が可能な構造を有している、請求項２２に記載の制御システム。
【請求項２４】
前記リズム辞書テーブルでは、前記制御内容が階層構造に定義されており、
前記装置制御手段は、現在検索中の階層を記憶しており、現在検索中の階層内で前記入力リズムパターンと前記登録リズムパターンとの一致を検索し、
前記リズム入力部は、前記現在検索中の階層を前記装置制御手段に切り替えさせるための階層切り替え手段をさらに含む、請求項１に記載の制御システム。
【請求項２５】
前記リズム入力部は、ユーザのタップを入力するための２以上の入力デバイスからなり、
前記階層切り替え手段は、タップされる前記入力デバイスが切り替わったときに前記装置制御手段に前記現在検索中の階層を切り替えさせる、請求項２４に記載の制御システム。
【請求項２６】
前記リズム辞書テーブルでは、ユーザ別の登録リズムパターンが定義されており、
前記装置制御手段は、ユーザ毎に、一致する登録リズムパターンを検索する、請求項１に記載の制御システム。
【請求項２７】
前記入力リズムパターン認識手段は、前記リズム入力信号の時間変化を検知するために必要なパラメータをユーザ毎に記憶しており、当該パラメータに基づいて、ユーザ毎に前記リズム入力信号を解析する、請求項１に記載の制御システム。
【請求項２８】
一致する登録リズムパターンが存在したか否かの前記装置制御手段による検索結果を、ユーザに伝える出力部をさらに備える、請求項１に記載の制御システム。
【請求項２９】
ユーザの指示に応じて、前記リズム辞書テーブルに登録されているリズムパターンをユーザに体感させる体感出力部をさらに備える、請求項１に記載の制御システム。
【請求項３０】
前記入力リズムパターン認識手段は前記リズム入力信号の振幅が一定時間ローレベルである場合、入力が終了したとして、入力リズムパターンを認識する、請求項１に記載の制御システム。
【請求項３１】
少なくとも１以上の装置の動作をコンピュータ装置で制御するための方法であって、
前記コンピュータ装置に入力される電気信号を解析して、入力リズムパターンを前記コンピュータ装置が認識するステップと、
前記コンピュータ装置に格納されている前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを参照して、認識した前記入力リズムパターンと一致する登録リズムパターンを前記コンピュータ装置が検索するステップと、
検索された登録リズムパターンに対応する制御内容に基づいて、前記装置を前記コンピュータ装置が制御するステップとを備える、方法。
【請求項３２】
少なくとも１以上のソフトウエアの動作をコンピュータ装置に制御させるためのプログラムであって、
前記コンピュータ装置に入力される電気信号を解析して、入力リズムパターンを前記コンピュータ装置に認識させるステップと、
前記コンピュータ装置に格納されている前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを前記コンピュータ装置に参照させて、認識した前記入力リズムパターンと一致する登録リズムパターンを前記コンピュータ装置に検索させるステップと、
検索させた登録リズムパターンに対応する制御内容に基づいて、前記装置を前記コンピュータ装置に制御させるステップとを備える、プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種装置の動作を制御するためのシステムに関し、より特定的には、少数の操作デバイスを用いて各種装置の動作を制御するためのユーザインターフェースを提供するシステムに関する。
【背景技術】
【０００２】
昨今の各種装置、特にテレビ、ビデオ、オーディオなどのＡＶ機器や、カーナビゲーション、カーオーディオなどの車載機器などは、非常に多機能になっている。それに伴い、装置本体やリモートコントローラに搭載されるキーやジョイスティックといった操作デバイスの数も増大している。操作デバイスの増大は、操作を複雑で分かりにくいものにする。
【０００３】
また、限られたスペースに、数十、数百もの機能に対応する入力デバイスを配置するのは困難である。
【０００４】
このような問題を解決するために、様々なシステムが提案されている。たとえば、機能を階層構造に分類することによって操作デバイスの数を減らすシステムが提案されている。このシステムでは、階層を選択する操作デバイスと、選択された階層内の機能を選択する操作デバイスとを備えるだけでよい。
【０００５】
また、音声認識を用いることによって操作デバイスの数を減らすシステムも提案されている。このシステムでは、音声認識開始を示す操作デバイスと、音声を入力するためのマイクとを備えるだけでよい。したがって、操作デバイスの数を飛躍的に減らすことができる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、機能を階層構造に分類するシステムにおいて、所望の機能を正しく選択するために、ユーザは、常に、現在どの階層の選択モードになっているかを認識しておく必要がある。すなわち、システムは、画像や音声、スイッチの状態等で、常時、現在の選択モードをユーザに知らせておく必要がある。また、所望の機能を選択するために、ユーザは、何度も操作デバイスを操作して、適切な階層を選択する必要がある。ユーザは、一度の操作で所望の機能を選択することができない。さらに、所望の機能を正しく選択するために、ユーザは、システムの持つ機能がどのように階層構造化されているのかを認識しておく必要がある。これらのことは、機械音痴なユーザがシステムを導入することの障壁となる。
【０００７】
音声認識によるシステムには、周囲の雑音や、バックミュージック、話者の声音、マイクの位置等の周囲の状況に応じて、音声認識率が悪化するという問題がある。音声認識率が悪化すると、結局、所望の機能が実行されないこととなる。すなわち、音声認識のバラツキによって、確実な操作ができない場合がある。また、音声認識を実行するためには、大容量のメモリおよび高速な計算速度を必要とする。したがって、メモリや計算速度の乏しいシステムでは、実用的な音声認識速度が得られないという問題もある。
【０００８】
それゆえ、本発明の目的は、少数の操作デバイスを利用したユーザからの操作指示によって、確実に所望の機能を実行することができるシステムを提供することである。
【課題を解決するための手段】
【０００９】
本発明は、上記のような目的を達成するために、以下に述べるような特徴を有している。
【００１０】
本発明は、少なくとも１以上の装置の動作を制御するための制御システムであって、
装置の制御内容を表す名称の発音パターンに対応するユーザからのタップ入力に応じて、振幅レベルが変動する電気信号をリズム入力信号として出力するリズム入力部と、
装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを格納するリズム辞書格納部と、
装置の動作を制御する制御部とを備え、
制御部は、
リズム入力部から入力されるリズム入力信号を解析して、入力リズムパターンを認識する入力リズムパターン認識手段と、
リズム辞書テーブルを参照して、入力リズムパターン認識手段が認識した入力リズムパターンと一致する登録リズムパターンを検索し、当該登録リズムパターンに対応する制御内容に基づいて、装置を制御する装置制御手段とを含む。
【００１１】
上記本発明によれば、ユーザがリズム入力部をタップするだけで、各種装置の動作が制御されることとなる。したがって、できるだけ少数の入力デバイス（典型的には、１つのスイッチやセンサ）によって、各種装置の動作を制御することができる制御システムが提供されることとなる。また、雑音による影響を受けることのない制御システムが提供されることとなる。さらに、ユーザは、自然言語のリズムに沿ってリズムパターンを入力するだけで各種装置を操作することができるので、操作性がよい制御システムが提供されることとなる。さらに、ユーザが、短期間で操作を習得することができることが期待できる。
【００１２】
好ましくは、リズム辞書テーブルでは、制御内容を示す名称を少なくとも１以上の所定の単位に分割したときの分割後の単位毎に所定の単位リズムパターンを割り当てることによって、登録リズムパターンを定義しており、
入力リズムパターン認識手段は、リズム入力信号の振幅レベルの時間変化を単純化することによって入力リズムパターンを認識する。
【００１３】
これにより、リズム入力信号の振幅レベルの時間変化を単純化することによって入力リズムパターンが認識されるので、認識した入力リズムパターンとユーザの意図するリズムパターンとが一致している可能性が高くなる。結果、ユーザの意図通りに各種装置の動作を制御することができる制御システムが提供されることとなる。
【００１４】
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
入力リズムパターン認識手段は、リズム入力部をユーザがタップした打拍タイミングおよび／または所定の時間の間タップしなかった休拍タイミングを、振幅レベルの時間変化に基づいて認識して、リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識するとよい。
【００１５】
これにより、所定の時間を超えるか否かを判断して打拍および／または休拍を認識するだけの単純なアルゴリズムによって、入力リズムパターンが認識されることとなるので、制御システムにおける処理負担増を軽減することが可能となる。また、消費メモリやプログラムサイズが最小限に抑えられることとなる。
【００１６】
さらに、単位リズムパターンでは、所定の単位における音の強弱が定義されており、
入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおけるタップの強弱を段階的に認識して、打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識してもよい。
【００１７】
これにより、音の強弱をも含めて、ユーザが意図する制御内容名が認識されることとなるので、アクセントやイントネーションの違いを重視する言語（たとえば、英語等）を使用するユーザにとっても使い勝手のよい制御システムが提供されることとなる。また、アクセントの違いを定義することによって、登録リズムパターンの数を増やすことができる。結果、より多くの種類の制御内容が定義されることとなる。
【００１８】
また、入力リズムパターン認識手段は、さらに、リズム入力部をユーザが所定のインターバル時間押下し続けた場合、打拍タイミングおよび休拍タイミングがあったとして、入力リズムパターンを認識してもよい。
【００１９】
これにより、リズム入力部が押下され続けた場合、制御システムは、長音が入力されたと判断することができる。
【００２０】
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
入力リズムパターン認識手段は、振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを全て想定して、想定したリズムパターンの中からリズム入力信号の時間変化の傾向に最も合致するリズムパターンを探索し、探索されたリズムパターンを入力リズムパターンとして認識するとよい。
【００２１】
これにより、制御システムは、リズム入力信号の全体的な時間変化の傾向に基づいて入力リズムパターンを認識するので、タップの速さ等の個人差を吸収して入力リズムパターンを認識することができる。したがって、より確実に各種装置を制御することができる制御システムが提供されることとなる。
【００２２】
この場合、入力リズムパターン認識手段は、想定したリズムパターンにおける隣接する二つの打拍の時間間隔とリズム入力信号における隣接する二つの打拍の時間間隔との差を求め、想定したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識するとよい。
【００２３】
これにより、制御システムは、時間間隔の差を求め、平均値を算出するだけで、最も時間変化の傾向が合致するリズムパターンを認識することができる。したがって、簡単なアルゴリズムでリズムパターンを認識することができる制御システムが提供されることとなる。
【００２４】
また、入力リズムパターン認識手段は、さらに、認識した入力リズムパターンにおける打拍の間隔が均等に配列している場合、打拍の間隔が所定のインターバル時間を超えるか否かを判断して、超える場合、入力リズムパターンは打拍と休拍とが連続するリズムパターンであると認識し直し、超えない場合、入力タップパターンは打拍のみが連続するリズムパターンであると認識し直すとよい。
【００２５】
これにより、制御システムは、入力リズムパターンが打拍のみによって構成されているのか、打拍と休拍との繰り返しによって構成されているのかをさらに認識し直すことができる。したがって、より正確に入力リズムパターンを認識することができる制御システムが提供されることなる。
【００２６】
また、単位リズムパターンでは、さらに、所定の単位における音の強弱が定義されており、
入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおけるタップの強弱を段階的に認識して、打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識してもよい。
【００２７】
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
入力リズムパターン認識手段は、リズム入力信号の時間変化の傾向に最も合致するリズムパターンをリズム辞書テーブルにおける登録リズムパターンの中から探索し、探索されたリズムパターンを入力リズムパターンとして認識するとよい。
【００２８】
これにより、制御システムは、登録リズムパターンの中から認識すべき入力リズムパターンを選び出すこととなる。したがって、認識した入力リズムパターンに一致する登録リズムパターンがリズム辞書テーブルに登録されていないといった事態が回避される。結果、ユーザの所望通りに確実に各種装置の動作を制御することができる制御システムが提供されることとなる。
【００２９】
この場合、入力リズムパターン認識手段は、振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンをリズム辞書テーブルにおける登録リズムパターンの中から探索し、探索したリズムパターンの中から時間変化の傾向に最も合致するリズムパターンをさらに探索して、最終的に探索されたリズムパターンを入力リズムパターンとして認識するとよい。
【００３０】
これにより、探索対象のリズムパターンが減ることとなるので、制御システムにおける処理負担が軽減する。
【００３１】
具体的には、入力リズムパターン認識手段は、時間変化の傾向に最も合致するリズムパターンをさらに検索する際、探索したリズムパターンにおける隣接する二つの打拍の時間間隔とリズム入力信号における隣接する二つの打拍の時間間隔との差を求め、探索したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識するとよい。
【００３２】
また、単位リズムパターンでは、さらに、所定の単位における音の強弱が定義されており、
入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおけるタップの強弱を段階的に認識して、打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識するとよい。
【００３３】
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
入力リズムパターン認識手段は、振幅レベルの大小に基づいて打拍の有無を検知し、リズム入力信号において隣接する二つの打拍の時間間隔の内、最小の時間間隔を求め、当該最小の時間間隔と他の二つの打拍の時間間隔とを比較したときの相対値に基づいて、当該二つの打拍の間に休拍があるか否かを決定して、リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識するとよい。
【００３４】
これにより、制御システムは、相対的な評価によって入力リズムパターンを認識することとなるので、タップの速さ等の個人差を吸収して入力リズムパターンを認識することができる。したがって、より確実に各種装置を制御することができる制御システムが提供されることとなる。
【００３５】
この場合、単位リズムパターンでは、さらに、所定の単位における音の強弱が定義されており、
入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおけるタップの強弱を段階的に認識して、打拍タイミングにおけるタップの強弱を区別できるように表すことによって入力リズムパターンを認識するとよい。
【００３６】
好ましくは、制御内容を示す名称を分割するための所定の単位は、モーラの単位であるとよい。
【００３７】
これにより、制御内容を示す名称がモーラの単位で分割されることとなるので、ユーザは、自然に発話するときのリズムに沿ってリズムを入力することができる。したがって、ユーザフレンドリーな制御システムが提供されることとなる。このようにモーラの単位に分割するのは、日本語のような言語において特に有効である。
【００３８】
また、好ましくは、制御内容を示す名称を分割するための所定の単位は、音節の単位であるとよい。
【００３９】
これにより、制御内容を示す名称が音節の単位で分割されることとなるので、ユーザは、自然に発話するときのリズムに沿ってリズムを入力することができる。したがって、ユーザフレンドリーな制御システムが提供されることとなる。このように音節の単位に分割するのは、英語のような言語において特に有効である。
【００４０】
好ましくは、制御部は、ユーザの指示に応じて、リズム辞書テーブルの登録内容を編集するリズムパターン編集手段をさらに含むとよい。
【００４１】
これにより、リズム辞書テーブルがカスタマイズされることとなる。
【００４２】
たとえば、リズムパターン編集手段は、入力リズムパターン認識手段に、リズム入力部をタップしたユーザが意図している入力リズムパターンを認識させ、当該入力リズムパターンをリズム辞書テーブルにおける登録リズムパターンとして登録するとよい。
【００４３】
これにより、ユーザが入力したリズムパターンに基づいてリズム辞書テーブルが編集されることとなるので、ユーザ毎の癖が取り込まれたリズム辞書テーブルが構築されることとなる。
【００４４】
また、リズムパターン編集手段は、ユーザが入力した文字情報によって表される制御名称を少なくとも１以上の所定の単位に分割し、分割後の単位毎に所定の単位リズムパターンを割り当てることによってリズムパターンを定義し、当該リズムパターンをリズム辞書テーブルにおける登録リズムパターンとして登録するとよい。
【００４５】
これにより、ユーザが制御内容名を指定することができるので、ユーザの覚えやすい制御内容名が採用されているリズム辞書テーブルが構築されることとなる。また、ユーザは、言葉とリズムとの間のルールを意識することなく、リズムパターンを登録することができる。
【００４６】
さらに、リズムパターン編集手段は、前記登録リズムパターンの重複を確認しながら、前記リズム辞書テーブルの登録内容を編集するとよい。
【００４７】
また、リズム辞書テーブルでは、制御内容が階層構造に定義されており、
装置制御手段は、現在検索中の階層を記憶しており、現在検索中の階層内で入力リズムパターンと登録リズムパターンとの一致を検索し、
リズム入力部は、現在検索中の階層を装置制御手段に切り替えさせるための階層切り替え手段をさらに含むとよい。
【００４８】
これにより、制御システムは、制御内容を階層構造に定義することで、限られた数の登録リズムパターンであっても、単一層の構造の場合と比べ、より多くの制御内容を定義することができる。また、階層構造に定義されていることによって、ユーザは、制御内容を容易に把握することができる。
【００４９】
この場合、リズム入力部は、ユーザのタップを入力するための２以上の入力デバイスからなり、
階層切り替え手段は、タップされる入力デバイスが切り替わったときに装置制御手段に前記現在検索中の階層を切り替えさせるとよい。
【００５０】
これにより、ユーザは、タップする入力デバイスを切り替えるだけで階層構造を切り替えることができる。したがって、操作が単純な制御システムが提供されることとなる。
【００５１】
好ましくは、リズム辞書テーブルでは、ユーザ別の登録リズムパターンが定義されており、
装置制御手段は、ユーザ毎に、一致する登録リズムパターンを検索するとよい。
【００５２】
これにより、登録リズムパターンがユーザ毎に定義されているので、制御システムは、ユーザ毎の癖に合わせて入力リズムパターンを認識することができる。
【００５３】
好ましくは、入力リズムパターン認識手段は、リズム入力信号の時間変化を検知するために必要なパラメータをユーザ毎に記憶しており、当該パラメータに基づいて、ユーザ毎にリズム入力信号を解析するとよい。
【００５４】
これにより、パラメータがユーザ毎に定義されているので、制御システムは、ユーザ毎の癖に合わせて入力リズムパターンを認識することができる。
【００５５】
好ましくは、一致する登録リズムパターンが存在したか否かの装置制御手段による検索結果を、振動や音声、視覚等によってユーザに伝える出力部をさらに備えるとよい。
【００５６】
これにより、ユーザは、リズム入力の成功・失敗を知ることができるので、安心する。
【００５７】
また、ユーザの指示に応じて、リズム辞書テーブルに登録されているリズムパターンをユーザに体感させる体感出力部をさらに備えるとよい。
【００５８】
これにより、ユーザは、登録リズムパターンを振動や画面表示、音声等によって体感することができるので、リズム入力を学習することができる。結果、ユーザは、登録リズムパターンを早期に習得することができる。
【００５９】
好ましくは、入力リズムパターン認識手段は、リズム入力信号の振幅が一定時間ローレベルである場合、入力が終了したとして、入力リズムパターンを認識するとよい。
【００６０】
これにより、制御システムは、自動的に入力の終了を認識することができる。したがって、ユーザは、入力終了のための操作をしなくてよい。
【００６１】
たとえば、制御システムは、車両内に搭載されているとよい。
【００６２】
この場合、リズム入力部は、車両内のステアリングハンドルに配置されており、触感による位置確認が可能な構造を有しているとよい。
【００６３】
また、本発明は、少なくとも１以上の装置の動作をコンピュータ装置で制御するための方法であって、
コンピュータ装置に入力される電気信号を解析して、入力リズムパターンをコンピュータ装置が認識するステップと、
コンピュータ装置に格納されている装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを参照して、認識した入力リズムパターンと一致する登録リズムパターンをコンピュータ装置が検索するステップと、
検索された登録リズムパターンに対応する制御内容に基づいて、装置をコンピュータ装置が制御するステップとを備える。
【００６４】
また、本発明は、少なくとも１以上のソフトウエアの動作をコンピュータ装置に制御させるためのプログラムであって、
コンピュータ装置に入力される電気信号を解析して、入力リズムパターンをコンピュータ装置に認識させるステップと、
コンピュータ装置に格納されている装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルをコンピュータ装置に参照させて、認識した入力リズムパターンと一致する登録リズムパターンをコンピュータ装置に検索させるステップと、
検索させた登録リズムパターンに対応する制御内容に基づいて、装置をコンピュータ装置に制御させるステップとを備える。
【発明の効果】
【００６５】
本発明によれば、少数の操作デバイスを利用したユーザからの操作指示によって、確実に所望の機能を実行することができるシステムを提供することができる。
【発明を実施するための最良の形態】
【００６６】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００６７】
まず、各実施形態の概要について説明する。
【００６８】
第１の実施形態では、ユーザが入力したリズムパターンに一致するリズムパターンがリズム辞書に登録されているか否かを調べて、一致するリズムパターンが存在する場合、各種装置の動作を制御するシステムについて説明する。
【００６９】
第２の実施形態では、入力されたリズムパターンの強弱も認識して、一致するリズムパターンがリズム辞書に登録されているか否かを調べて、一致するリズムパターンが存在する場合、各種装置の動作を制御するシステムについて説明する。
【００７０】
第３の実施形態では、入力されたリズムパターンにもっとも近いリズムパターンを、取り得る全てのリズムパターンを想定しながら探索していく制御システムについて説明する。
【００７１】
第４の実施形態では、相対的な評価によって、入力されたリズムパターンを認識する制御システムについて説明する。
【００７２】
第５の実施形態では、第３および第４の実施形態における制御システムにリズムパターンの強弱を認識する機能を付加させた制御システムについて説明する。
【００７３】
第６の実施形態では、ユーザに応じてリズムパターンの認識に必要なパラメータを切り替えることができる制御システムについて説明する。また、リズム辞書を編集することができる制御システムについても説明する。
【００７４】
第７の実施形態では、リズム辞書を階層的に構成することによって、多機能の操作を可能とする制御システムについて説明する。
【００７５】
以下、各実施形態について詳しく説明する。
【００７６】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る制御システム１００の構成およびそれが適用されるシステムの全体構成を示す図である。本実施形態では、説明を分かり易くするため、制御システム１００は、車両内にあるエアコン、オーディオ等の装置を制御するためのシステムであるとする。
【００７７】
図１において、システム全体は、制御システム１００と、エアコン２０１と、オーディオ２０２と、テレビ２０３と、カーナビゲーション２０４とを備える。エアコン２０１、オーディオ２０２、テレビ２０３、およびカーナビゲーション２０４は、車両内に設置されている装置（以下、車両内装置という）である。ここに示す車両内装置は、一例である。図１に示す車両内装置以外の装置が、システムに備わっていてもよい。また、図１に示す車両内装置の一部のみが、システムに備わっていてもよい。
【００７８】
制御システム１００は、リズム入力部１０１と、制御部１０２と、リズム辞書格納部１０３とを含む。
【００７９】
ユーザは、車両内装置にある機能を実行させたい場合、その機能の名称の発音パターン（その機能の名称を音声として発するときのリズム）に対応するように、リズム入力部１０１を数回こつこつと叩く。以下、リズム入力部１０１を数回こつこつ叩くことを、「リズム入力部１０１をタップする」といい、タップによる入力を「タップ入力」ということにする。リズム入力部１０１は、タップ入力に応じて振幅レベルが変動する電気信号（以下、リズム入力信号という）を出力する。制御部１０２は、リズム入力部１０１から出力されるリズム入力信号を受信して、当該リズム入力信号の振幅レベルの時間分布を解析して、ユーザが意図しているリズムパターン（以下、入力リズムパターンという）を認識する。制御部１０２は、認識した入力リズムパターンに一致するリズムパターンがリズム辞書格納部１０３に登録されているか否か検索する。制御部１０２は、一致するリズムパターンがリズム辞書格納部１０３に登録されている場合、当該リズムパターンに対応する制御内容を認識して、当該制御内容に対応する車両内装置の動作を制御する。
【００８０】
リズム入力部１０１は、タッチパッドや接点式のスイッチ等のデジタル入力デバイスで構成される。リズム入力部１０１は、ユーザのタップ入力に応じて出力されるリズム入力信号を、制御部１０２に与える。
【００８１】
図２は、リズム入力部１０１の車内での取り付け位置の例を模式的に示す図である。リズム入力部１０１は、運転中のドライバがタップしやすいように、ステアリング３０１の上部に設けられており、接点式スイッチ３０２と、接点式スイッチ３０２が反応する箇所に設けられた突起物３０３とからなる。突起物３０３は、タップすべき場所が手探りでも見つけやすいように、ステアリング３０１から突出するような構造を有する。なお、突起物３０３は、触感による位置確認が可能な構造であれば、凹構造であってもよい。
【００８２】
図３は、リズム入力部１０１としてデジタル入力デバイスを用いたときのリズム入力信号の波形を模式的に示す図である。リズム入力部１０１は、デジタル入力デバイスであるので、図３に示すように、ユーザによるタップに伴って、休拍レベル（ローレベル）から打拍レベル（ハイレベル）に向かって矩形のパルスが発生する。第１の実施形態では、パルスが立ち上がるタイミングをキーダウンタイミングといい、パルスが下がるタイミングをキーアップタイミングということにする。隣接するキーダウンタイミング間の時間を、タップインターバル時間ということにする。
【００８３】
リズム辞書格納部１０３は、ＲＡＭやＲＯＭ、ハードディスク等の記憶装置である。リズム辞書格納部１０３には、車両内装置の制御内容とリズムパターンとを対応付けるためのリズム辞書が格納されている。リズム辞書は、制御内容名を類型化するための規則を定義したルールテーブルと、制御内容名とリズムパターンとを対応付けるためのリズム辞書テーブルとからなる。
【００８４】
ここで、本明細書上で用いるリズムパターンという語について説明しておく。単語を発する場合、ユーザは、一定のリズムで単語を発する。たとえば、一つの単語の中には、延ばして発音する部分があったり、短く発音する部分があったり、強く発音する部分があったり、弱く発音する部分があったりする。このような音の流れは、発音パターンということができる。リズムパターンとは、この発音パターンを類型化したもののことをいう。なお、発音パターンは、音声パターン（ボイスパターン）ということもできる。
【００８５】
図４は、ルールテーブルの一例を示す図である。ルールテーブルでは、日本語におけるモーラの単位と単位リズムパターンとの対応が示されている。ここで、単位リズムパターンとは、モーラの単位毎に、タップしたタイミング（打拍）とタップしなかったタイミング（休拍）とを単純な符号で表したものである。ここでは、符号として、「ｘ」と「−」とを用いる。「ｘ」は、打拍を表す。「−」は、休拍を表す。
【００８６】
モーラは、撥音（たとえば、日本語の「ん」）、促音（たとえば、日本語の「っ」等）、拗音（たとえば、日本語の「きゃ」、「きゅ」、「きょ」等）、長音（たとえば、日本語の「あー」、「けー」等）、二重母音（たとえば、日本語の「ああ」、「あい」、「えい」等）、その他上記以外の音（たとえば、母音のみ、母音＋子音等、以下、一般音という）の６通りに分類される。撥音および促音は、無音である。拗音および一般音は、有音である。長音および二重母音は、有音と無音とからなる。
【００８７】
図４に示すように、撥音には、単位リズムパターン「−」が割り当てられている。促音には、単位リズムパターン「−」が割り当てられている。拗音には、単位リズムパターン「ｘ」が割り当てられている。長音には、単位リズムパターン「ｘ−」が割り当てられている。二重母音には、単位リズムパターン「ｘ−」が割り当てられている。一般音には、単位リズムパターン「ｘ」が割り当てられている。
【００８８】
図５は、リズム辞書テーブルの一例を示す図である。リズム辞書テーブルでは、車両内装置の制御内容名とリズムパターンとの対応が示されている。以下、リズム辞書テーブルに登録されているリズムパターンを登録リズムパターンという。車両内装置の制御内容名は、起動させたい車両内装置の機能の名称を示す。ここでは、ユーザが理解しやすいように、地図を表示させたい場合は、制御内容名を「地図」と定義したり、電話を起動させた場合は、制御内容名を「電話」と定義したりするなど、より直感的な制御内容名を用いることとしているが、制御内容名の決め方はこれに限られるものではない。登録リズムパターンは、対応する制御内容を表す名称の発音パターン（対応する制御内容を表す名称を音声として発するときのリズム）を類型化することによって定義されている。第１の実施形態では、登録リズムパターンは、制御内容名をモーラの単位に分割したときの分割後の単位毎に、対応する単位リズムパターンを割り当てることによって定義されている。
【００８９】
たとえば、日本語の「地図」は、モーラの単位に分解した場合、「ち」と「ず」とに分解される。「ち」および「ず」は、それぞれ一般音である。したがって、制御内容名「地図」に対応する登録リズムパターンは、「ｘｘ」となる。
【００９０】
また、日本語の「電話」は、モーラに分解した場合、「で」、「ん」、および「わ」に分解される。「で」は一般音であり、「ん」は撥音であり、「わ」は一般音である。したがって、制御内容名「電話」に対応する登録リズムパターンは、「ｘ−ｘ」となる。
【００９１】
日本語の「エアコン」は、モーラに分解した場合、「え」、「あ」、「こ」、および「ん」に分解される。「え」、「あ」および「こ」は一般音であり、「ん」は撥音である。撥音は休拍であり、かつ「ん」は最終音であるので、制御内容名「エアコン」に対応する登録リズムパターンは、「ｘｘｘ」となる。
【００９２】
日本語の「温度設定」は、モーラに分解した場合、「お」、「ん」、「ど」、「せ」、「っ」、および「てー」に分解される。「ん」は撥音であり、「っ」は促音であり、長音である「てー」は最終音であるので、制御内容名「温度設定」に対応する登録リズムパターンは、「ｘ−ｘｘ−ｘ」となる。
【００９３】
日本語の「オーディオ」は、モーラに分解した場合、「おー」、「でぃ」、および「お」に分解される。「おー」は長音であるので、制御内容名「オーディオ」に対応する登録リズムパターンは、「ｘ−ｘｘ」となる。
【００９４】
上記例に示すように、登録リズムパターンは、制御内容名を１以上のモーラ単位に分割して、単位リズムパターンを割り当てることによって、定義される。このようにモーラ単位に分割することによって、リズムパターンを定義する方法は、日本語のように、アクセントを気にすることなく単語を発音することができる言語には、適している。たとえば、「地図」という語を発する場合、「トントン」という拍子になる。この拍子は、「ち」にアクセントがあっても、「ず」にアクセントがあってもどちらでも同じである。また、「電話」という語を発する場合、「トン・トン」と間を一拍あけた拍子になる。この拍子は、「で」にアクセントがあっても、「わ」にアクセントがあっても同じである。他の例についても同様である。
【００９５】
制御部１０２は、ＣＰＵやメモリ等で構成される。制御部１０２は、リズム入力部１０１から入力されるリズム入力信号の振幅レベルの時間変化を単純化することによって、入力リズムパターンを認識する。この認識方法については、後述する（図７参照）。制御部１０２は、リズム辞書格納部１０３に格納されているリズム辞書テーブルを参照して、認識した入力リズムパターンに一致する登録リズムパターンが存在するか否かを判断する。制御部１０２は、一致する登録リズムパターンが存在する場合、当該登録リズムパターンと対応している制御内容名を認識し、当該制御内容を実行する車両内装置の動作を制御する。
【００９６】
図６は、ユーザがリズム入力部１０１をタップすることによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの動作を示すフローチャートである。以下、図６を参照しながら、制御部１０２の動作について説明する。
【００９７】
まず、制御部１０２は、リズム入力部１０１からのリズム入力信号を受信するか否かによって、ユーザによる入力があるか否かを判断する（ステップＳ１０１）。ユーザによる入力がない場合、制御部１０２は、処理を終了する。一方、ユーザによる入力がある場合、制御部１０２は、リズム入力部１０１からのリズム入力信号を解析して、入力リズムパターンを認識する（ステップＳ１０２）。入力リズムパターン認識処理については、後述する（図７参照）。
【００９８】
次に、制御部１０２は、リズム辞書格納部１０３内のリズム辞書テーブルを参照し（ステップＳ１０３）、認識した入力リズムパターンに一致する登録リズムパターンがリズム辞書テーブルに登録されているか否かを判断する（ステップＳ１０４）。
【００９９】
一致する登録リズムパターンがない場合、制御部１０２は、処理を終了する。一方、一致する登録リズムパターンがある場合、制御部１０２は、当該登録リズムパターンに対応する制御内容を実行するよう該当する車両内装置に命令し（ステップＳ１０５）、処理を終了する。
【０１００】
図７は、入力リズムパターン認識処理（ステップＳ１０２）における制御部１０２の詳細な動作を示すフローチャートである。以下、図７を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
【０１０１】
まず、制御部１０２は、パターンの先頭を「ｘ」とする（ステップＳ２０１）。このようにするのは、次のタップとの間のインターバル時間を検出するためである。
【０１０２】
次に、制御部１０２は、予め定められた終了インターバル時間内に、リズム入力部１０１がタップされるか否かを判断する（ステップＳ２０２）。具体的には、制御部１０２は、終了インターバル時間内に打拍レベルまで達するパルスがあるか否かに基づいて判断する。ここで、終了インターバル時間とは、この時間以上ユーザの入力がない場合に、ユーザによるリズム入力が終了したとみなすためのしきい値のことをいう。たとえば、終了インターバル時間は、６００ミリ秒であるなどと定められる。
【０１０３】
終了インターバル時間内に次のタップが入力された場合、制御部１０２は、タップインターバル時間が予め定められた長音インターバル時間を超えるか否かを判断する（ステップＳ２０３）。ここで、長音インターバル時間とは、タップインターバル時間の経過中のタップが、打拍と休拍との二拍であるのか、それとも、打拍のみの一拍であるのかを判定するためのしきい値である。たとえば、長音インターバル時間は、４００ミリ秒であると定められている。
【０１０４】
タップインターバル時間が長音インターバル時間を超えない場合、制御部１０２は、次のパターンを「ｘ」と決定し（ステップＳ２０４）、ステップＳ２０２の動作に戻る。一方、タップインターバル時間が長音インターバル時間を超える場合、制御部１０２は、次のパターンを「−ｘ」と決定し（ステップＳ２０５）、ステップＳ２０２の動作に戻る。
【０１０５】
一方、ステップＳ２０２において、終了インターバル時間内に次のタップが入力されない場合、制御部１０２は、ユーザによる入力が終了したものとして、ステップＳ２０１，Ｓ２０４，Ｓ２０５で決定したパターンに従って最終的な入力リズムパターンを認識して、図６に示すメインの動作に戻る。
【０１０６】
このように、第１の実施形態における制御システムでは、ユーザのタップに応じて、リズム入力部からリズム入力信号が出力される。制御部は、リズム入力信号の振幅の時間変化を解析して、当該時間変化を打拍のあったタイミングと休拍のあったタイミングとに単純化して、入力リズムパターンを認識する。制御部は、認識した入力リズムパターンに一致する登録リズムパターンがリズム辞書テーブルに登録されているか否かを判断して、一致する登録リズムパターンがある場合、対応する制御内容を実行する。したがって、音声認識のように周りの雑音等の影響を受けることなく、少数の入力デバイスで操作指示を入力し、確実に操作指示内容を認識して、ブラインドタッチで各種装置の動作を制御することができる制御システムを提供することが可能となる。
【０１０７】
たとえば、車両内の装置を操作するための制御内容としては、せいぜい２０〜３０通りである。この程度の数の制御内容であれば、全てリズムパターンを用いて表現することが期待できる。したがって、少数の入力デバイスで確実に最低限必要な操作を行うことができる制御システムを提供することが可能となる。
【０１０８】
また、第１の実施形態において、登録リズムパターンは、制御内容を音声として発するときのリズムと対応するようになっているので、制御内容とリズムパターンとが直感的に一致することとなり、リズムパターンによる入力をより簡単に行うことが期待できる。
【０１０９】
また、第１の実施形態において、制御システムは、ユーザによるリズム入力があれば、ユーザによる操作指示があったと認識する（ステップＳ１０１参照）ので、音声認識システムのように、ユーザが制御システムのモードを音声認識モードに切り替えるといった煩わしい操作が不要となる。
【０１１０】
さらに、第１の実施形態では、タップインターバル時間を、終了インターバル時間および長音インターバル時間と比較するだけで、リズムパターンを決定することができるため、極めて単純なアルゴリズムによってリズムパターンを認識することができる。したがって、実装が容易であり、消費するプログラムサイズやメモリサイズがごく僅かで済むという利点もある。
【０１１１】
なお、上記実施形態では、登録されている制御内容名を日本語であるとしたが、英語やドイツ語、フランス語、ロシア語、スペイン語、中国語、韓国語等、如何なる言語であってもよい。この場合も、制御内容名を音声として発したときの発音パターンを類型化したリズムパターンを登録リズムパターンとして登録しておけばよい。
【０１１２】
なお、終了インターバル、長音インターバル時間は、ユーザの初期設定によって調節できるようにしておいてもよい。これにより、入力の速いユーザ、あるいは遅いユーザの個人差を緩和することが可能となる。初期設定をする場合、制御システムは、典型的なパターンをユーザに入力させて、自動的に、終了インターバルおよび長音インターバルを認識するようにするようにしてもよい。
【０１１３】
なお、押下され続けている間、ハイレベルのリズム入力信号を出力し続けるデジタル入力デバイスをリズム入力部として用いてもよい。図８は、このような入力デバイスを用いたときのリズム入力信号の波形を示す図である。図８に示すように、押下している時間に応じて、打拍レベルに達している時間が異なる。リズム入力部を押下し続けることによって、ユーザは、入力した長音や二重母音等、有音と無音とによるリズムを入力することができる。入力リズムパターンを認識する際、制御部は、所定のインターバル時間以上リズム入力信号のハイレベルが継続する場合、有音と無音とによるリズムが入力された、すなわち打拍と休拍とがあったとして、入力リズムパターンを認識する。その後、制御部は、上記実施形態のように、入力リズムパターンと登録リズムパターンとの一致を判断して、車両内装置の動作を制御する。
【０１１４】
なお、第１の実施形態では、リズム入力部１０１にデジタル入力デバイスを用いることとしたが、圧電センサ等のアナログ入力デバイスを用いてもよい。図９は、リズム入力部１０１としてアナログ入力デバイスを用いたときのリズム入力信号の波形を模式的に示す図である。リズム入力部１０１にアナログ入力デバイスを用いる場合、予め打拍レベルが設定されている。リズム入力部１０１は、アナログ入力デバイスであるので、図９に示すように、ユーザによるタップに伴って、出力信号の振幅の強弱レベルが変化する。ここでは、波形の振幅のレベルが打拍レベルを超えた場合におけるピーク時点をキーダウンタイミングという。また、キーダウンタイミング後、振幅レベルが最も下がりきった時点をキーアップタイミングということにする。隣接するキーダウンタイミング間の時間を、タップインターバル時間ということにする。このようにしてタップインターバル時間を定義すれば、図７に示したリズムパターン認識処理と同様にして、制御部は、リズムパターンを認識することができる。
【０１１５】
（第２の実施形態）
本発明の第２の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第２の実施形態では、図１を援用することとする。以下、第１の実施形態と異なる点を中心に説明する。
【０１１６】
第２の実施形態におけるリズム入力部１０１は、圧電センサ等のアナログ入力デバイスで構成される。
【０１１７】
図１０は、第２の実施形態におけるリズム入力部１０１から出力されるリズム入力信号の波形を模式的に示す図である。第２の実施形態では、予め、強拍レベルおよび弱拍レベルが設定されている。リズム入力部１０１はアナログ入力デバイスであるので、図１０に示すように、ユーザによるタップの強弱に応じて、出力信号の振幅のレベルが変化する。第２の実施形態では、波形の振幅のレベルが強拍または弱拍レベルを超えた場合におけるピーク時点をキーダウンタイミングといい、キーダウンタイミング後、振幅レベルが最も下がりきった時点をキーアップタイミングということにする。隣接するキーダウンタイミング間の時間を、タップインターバル時間ということにする。
【０１１８】
図１０において、リズム入力信号の振幅レベルが弱拍レベルを超える場合、打拍があったとする。リズム入力信号の振幅レベルが弱拍レベルと強拍レベルとの間のレベルである場合、弱拍があったとする。リズム入力信号の振幅レベルが強拍レベルを超える場合、強拍があったとする。
【０１１９】
第２の実施形態におけるリズム辞書は、制御内容名をパターン化するための単位を定義したルールテーブルと、制御内容名と登録リズムパターンとを対応付けるためのリズム辞書テーブルとからなる。
【０１２０】
図１１は、ルールテーブルの一例を示す図である。ルールテーブルでは、英語における音節の単位と単位リズムパターンとが対応付けられている。音節は、アクセントのある音節、アクセントのない音節、アクセントのある長音節、アクセントのない長音節、アクセントのある二重母音、アクセントのない二重母音の６通りに分類される。
【０１２１】
図１１では、強拍を「Ａ」と表し、弱拍を「ｘ」と表し、休拍を「−」と表すことにする。図１１に示すように、アクセントのある音節には、単位リズムパターン「Ａ」が割り当てられている。アクセントのない音節には、単位リズムパターン「ｘ」が割り当てられている。アクセントのある長音節には、単位リズムパターン「Ａ−」が割り当てられている。アクセントのない長音節には、単位リズムパターン「ｘ−」が割り当てられている。アクセントのある二重母音には、単位リズムパターン「Ａ−」が割り当てられている。アクセントのない二重母音には、単位リズムパターン「ｘ−」が割り当てられている。
【０１２２】
図１２は、リズム辞書テーブルの一例を示す図である。登録リズムパターンは、制御内容名を音節単位に分解したときの分割後の単位毎に対応する単位リズムパターンを割り当てることによって定義されている。ここでは、制御内容名の発音記号に基づいて、制御内容名を音節単位に分解している。
【０１２３】
たとえば、英語の「Ｎａｖｉｇａｔｉｏｎ」は、音節単位に分解すると、「ｎａ」、「ｖｉ」、「ｇａ」、および「ｔｉｏｎ」に分解される。「ｎａ」、「ｖｉ」は、アクセントのない音節であり、「ｇａ」は、アクセントのある二重母音であり、「ｔｉｏｎ」は、アクセントのない音節であるので、制御内容名「ｎａｖｉｇａｔｉｏｎ」に対応する登録リズムパターンは、「ｘｘＡ−ｘ」となる。その他の制御内容名についても、同様に登録リズムパターンが定義されている。
【０１２４】
次に、第２の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第２の実施形態では、入力リズムパターン認識処理が第１の実施形態と異なる。
【０１２５】
図１３は、入力リズムパターン認識処理における第２の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図１３を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
【０１２６】
まず、制御部１０２は、リズム入力信号の最初の振幅ピークが強拍であるか、それとも弱拍であるかを判断する（ステップＳ３０１）。強拍である場合、制御部１０２は、パターンの先頭を「Ａ」として（ステップＳ３０２）、ステップＳ３０４の動作に進む。一方、弱拍である場合、制御部１０２は、パターンの先頭を「ｘ」として（ステップＳ３０３）、ステップＳ３０４の動作に進む。
【０１２７】
ステップＳ３０４において、制御部１０２は、予め定められた終了インターバル時間内に、リズム入力部１０１がタップされるか否かを判断する（ステップＳ３０５）。具体的には、制御部１０２は、終了インターバル時間内に弱拍レベルを超える電気信号が入力されるか否かに基づいて判断する。終了インターバル時間については、第１の実施形態と同様である。
【０１２８】
ステップＳ３０４において、終了インターバル時間内に次のタップが入力されない場合、制御部１０２は、ユーザによる入力が終了したものとして、図６に示すメインの動作に戻る。
【０１２９】
一方、終了インターバル時間内に次のタップが入力された場合、制御部１０２は、タップインターバル時間が予め定められた長音インターバル時間を超えるか否かを判断する（ステップＳ３０５）。長音インターバル時間については、第１の実施形態と同様である。
【０１３０】
長音インターバル時間を超えない場合、制御部１０２は、キーダウンタイミングにおけるリズム入力信号の振幅レベルのピークが強拍であるか、それとも弱拍であるかを判断する（ステップＳ３０６）。強拍である場合、制御部１０２は、次のパターンを「Ａ」として（ステップＳ３０７）、ステップＳ３０４の動作に戻る。一方、弱拍である場合、制御部１０２は、次のパターンを「ｘ」として（ステップＳ３０８）、ステップＳ３０４の動作に戻る。
【０１３１】
一方、ステップＳ３０５において、長音インターバル時間を超えると判断した場合、制御部１０２は、キーダウンタイミングにおけるリズム入力信号の振幅レベルのピークが強拍であるか、それとも弱拍であるかを判断する（ステップＳ３０９）。強拍である場合、制御部１０２は、次のパターンを「−Ａ」として（ステップＳ３１０）、ステップＳ３０４の動作に戻る。一方、弱拍である場合、制御部１０２は、次のパターンを「−ｘ」として（ステップＳ３１１）、ステップＳ３０４の動作に戻る。
【０１３２】
このように、第２の実施形態において、制御システムは、英語などアクセントのある言語に対応するために、アナログ入力デバイスを用いてタップの強弱を判断し、音節およびアクセントによってリズムパターンを定義するリズム辞書を参照して、リズムパターンの一致を判断する。したがって、英語などの言語においても、音声認識のように周りの雑音等の影響を受けることなく、少数の入力デバイスで操作指示を入力し、確実に操作指示内容を認識して、ブラインドタッチで各種装置の動作を制御することができる制御システムを提供することが可能となる。
【０１３３】
なお、制御システムは、日本語の制御内容名を音節に分解してリズム辞書を定義するようにして、リズムパターンの一致を認識するようにしてもよい。この場合、アクセントの位置を判定してもよいし、判定しなくてもよい。
【０１３４】
なお、リズムパターンの認識方法は、上記の認識方法にとどまるものではない。タップインターバル時間は、隣接するキーアップタイミング間の時間と定義してもよい。また、振幅の大小を強弱の２種類だけでなく、さらに細かく段階的に定義してもよい。
【０１３５】
（第３の実施形態）
本発明の第３の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第３の実施形態では、図１を援用する。第３の実施形態におけるリズム入力部１０１は、デジタル入力デバイスであってもよいし、アナログ入力デバイスであってもよい。
【０１３６】
以下、第３の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第３の実施形態では、入力リズムパターン認識処理が第１の実施形態と異なる。
【０１３７】
図１４は、入力リズムパターン認識処理における第３の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図１４を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
【０１３８】
まず、制御部１０２は、リズム入力部１０１からのリズム入力信号を受信すると、キーダウンタイミングを計測して記憶し、１つ前のキーダウンタイミングからの経過時間（タップインターバル時間）を計測して記憶する（ステップＳ４０１）。ここで、初めてキーダウンタイミングが到来した場合、制御部１０２は、タップインターバル時間を計測できないので、そのままステップＳ４０１の動作に進むこととする。制御部１０２は、タップインターバル時間を配列Ｔｉとして、記憶することとする。
【０１３９】
次に、制御部１０２は、リズム入力信号の振幅レベルに基づいて、予め定められた終了インターバル時間内に、次のタップが入力されるか否かを判断する（ステップＳ４０２）。具体的には、制御部１０２は、終了インターバル時間内にキーダウンタイミング（図３または図８参照）が到来するか否かに基づいて判断する。ここで、終了インターバル時間とは、第１の実施形態で説明したものと同様である。
【０１４０】
終了インターバル時間内に、次のタップが入力された場合、制御部１０２は、ステップＳ４０１の動作に戻る。一方、入力されていない場合、すなわち、ユーザによるリズムの入力が終了した場合、制御部１０２は、ステップＳ４０３の動作に進む。
【０１４１】
ステップＳ４０３において、制御部１０２は、ステップＳ４０１で記憶した情報を参照して、キーダウンタイミングが到来した回数（以下、タップ回数という）が一回だけであったか否かを判断する。一回だけであった場合、制御部１０２は、入力リズムパターンを「ｘ」として（ステップＳ４０４）、図６に示すメインの動作に戻る。一方、一回だけでなかった場合、制御部１０２は、ステップＳ４０５の動作に進む。
【０１４２】
ステップＳ４０５において、制御部１０２は、タップ回数に応じたリズムパターンを一つ想定する（ステップＳ４０５）。ここでは、一回のタップインターバル時間内におけるリズムパターンは、一拍の打拍（すなわち、「ｘ」）のみであるか、二拍（すなわち、打拍と休拍とを表す「ｘ−」）である。また、最後のパターンは、必ず「ｘ」である。したがって、タップ回数がＮ回の場合、取りうるリズムパターンの総数は、２のＮ−１乗通りである。たとえば、タップ回数がＮ＝５の場合、取りうるリズムパターンの総数は、２の４乗通り、すなわち１６通りである。
【０１４３】
次に、制御部１０２は、想定したリズムパターンの時間分布を求め、求めた時間分布が実際に測定したタップインターバル時間からどの程度ずれているかを算出する（ステップＳ４０６）。ステップＳ４０６における処理を図１５〜図１７を用いて詳述する。
【０１４４】
図１５は、ステップＳ４０１において記憶されたタップインターバル時間の配列Ｔｉの一例を示す図である。図１５に示す例では、タップインターバル時間の配列Ｔｉには、タップ番号と対応するように、計測された実際のタップインターバル時間（ｍｓ）が登録されている。ここで、タップ番号は、タップの順番を示す。たとえば、タップ番号が「１」のタップインターバル時間は、リズム入力信号の最初のキーダウンタイミングから次のキーダウンタイミングまでのタップインターバル時間を示す。すなわち、各タップ番号に対応するタップインターバル時間は、そのタップ番号におけるキーアップタイミングから次のタップ番号におけるキーダウンタイミングまでの経過時間を示す。したがって、最後のタップ番号（図１５では、「５」）には、タップインターバル時間が対応しないこととなる。
【０１４５】
図１６は、ステップＳ４０５において想定したリズムパターンが適切でなかった場合の時間分布の一例を示す図である。図１７は、ステップＳ４０５において想定したリズムパターンが適切であった場合の時間分布の一例を示す図である。以下、図１６および図１７を参照しながら、想定したリズムパターンの時間分布の求め方について説明する。
【０１４６】
まず、制御部１０２は、リズムパターンを一つ想定する。たとえば、図１６では、「ｘ−ｘｘｘ−ｘ」が想定されている。次に、制御部１０２は、想定したリズムパターンの拍数をタップ番号毎にカウントし、その合計Σλｉを算出する。ここでは、制御部１０２は、「ｘ」を一拍として拍数をカウントし、「ｘ−」を二拍として拍数をカウントする。図１６の例では、想定したリズムパターンの拍数の合計Σλｉは、「６」となっている。
【０１４７】
次に、制御部１０２は、実際のタップインターバル時間の合計ΣＴｉを求める。図１５の例では、実際のタップインターバル時間の合計ΣＴｉは、「２１００（ｍｓ）」となっている。
【０１４８】
次に、制御部１０２は、実際のタップインターバル時間の合計ΣＴｉを拍数の合計Σλｉで割った値τを求める。すなわち、τ＝ΣＴｉ／Σλｉである。図１６の例では、τ＝２１００／６＝３５０（ｍｓ）となっている。値τは、想定したリズムパターンにおける一拍当たりの所要時間である。制御部１０２は、値τに対して、各タップ番号における拍数をかけて、タップ番号毎のタップインターバル時間を求める。図１５の例では、タップ番号「１」において想定されるタップインターバル時間は、３５０（ｍｓ）×２＝７００（ｍｓ）となる。また、タップ番号「２」において想定されるタップインターバル時間は、３５０（ｍｓ）×１＝３５０（ｍｓ）となる。
【０１４９】
次に、制御部１０２は、タップ番号毎に、実際のタップインターバル時間と想定されるタップインターバル時間との偏差（ｍｓ）を求める。図１５の例では、タップ番号「１」における実際のタップインターバル時間は７６４（ｍｓ）であり、図１６の例では、想定されるタップインターバル時間は７００（ｍｓ）であるので、偏差は、＋６４（ｍｓ）となる。
【０１５０】
次に、制御部１０２は、各タップ番号（最後のタップ番号は除く）における偏差の絶対値を合計して、平均値σを求める。すなわち、σ＝Σ｜Ｔｉ−τ＊λｉ｜である。図１６の例では、σ＝（６４＋３９＋３３４＋３５９）／４＝１９９となる。また、図１７の例では、σ＝（６４＋３９＋１６＋９）／４＝３２となる。σは、実際に測定されたタップインターバル時間の分布と、想定されたリズムパターンにおけるタップインターバル時間の分布とがどの程度ずれているかを示す値である。すなわち、σは、想定されたリズムパターンの妥当性の目安となる。σの値が小さいほど、想定されたリズムパターンが妥当であることを示すこととなる。以下、σのことをずれ指数と呼ぶことにする。
【０１５１】
図１６に示すようなリズムパターンを想定した場合のずれ指数σは、１１９である。一方、図１７に示すようなリズムパターンを想定した場合のずれ指数σは、３２である。したがって、図１６に示すリズムパターンよりも図１７に示すリズムパターンの方が、ユーザが実際に入力したリズムパターンに近いことと予想される。
【０１５２】
再び図１４を参照しながら、制御部１０２の動作を説明する。
【０１５３】
上記のように、実際のタップインターバル時間と想定したリズムパターンに基づくタップインターバル時間とのずれ指数を求めた後、制御部１０２は、ステップＳ４０６で算出したずれ指数が、最小ずれ指数を超えるか否かを判断する（ステップＳ４０７）。ここで、最小ずれ指数とは、今まで想定したリズムパターンのずれ指数の中で、最も小さいずれ指数のことをいう。
【０１５４】
ずれ指数が最小ずれ指数を超えない場合、制御部１０２は、このずれ指数を最小ずれ指数として記憶して、当該ずれ指数を示すリズムパターンを予想リズムパターンとして記憶し（ステップＳ４０８）、ステップＳ４０９の動作に進む。なお、初めてリズムパターンを想定した場合、制御部１０２は、最小ずれ指数を記憶していないので、必ずステップＳ４０８の動作に進む。
【０１５５】
一方、最小ずれ指数を超える場合、制御部１０２は、最小ずれ指数を更新せずに、ステップＳ４０５の動作に戻り、別のリズムパターンを想定し直す。
【０１５６】
ステップＳ４０９において、制御部１０２は、想定しうる全てのリズムパターンを想定したか否かを判断する。想定していない場合、制御部１０２は、ステップＳ４０５の動作に戻って、別のリズムパターンを想定し直す。このように、ステップＳ４０５の動作に戻ることによって、制御部１０２は、想定しうる全てのリズムパターンの中で、ずれ指数σが最小となるリズムパターンを求めることとなる。
【０１５７】
一方、全てのリズムパターンの想定が終了している場合、制御部１０２は、最小ずれ指数となった予想リズムパターンが均等リズムパターンであるか否かを判断する（ステップＳ４１０）。ここで、均等リズムパターンとは、「ｘｘｘ」や「ｘ−ｘ−ｘ」のように、各タップインターバル時間が全て同じ拍数で構成されているリズムパターンのことをいう。
【０１５８】
均等リズムパターンでない場合、制御部１０２は、当該予想リズムパターンがリズム入力信号から認識される入力リズムパターンであるとして、図６に示すメインの動作に戻り、入力リズムパターンと登録リズムパターンとの一致を判断して、車両内装置の動作を制御する。
【０１５９】
一方、均等リズムパターンである場合、制御部１０２は、実際のリズムパターンが「ｘ」から構成される均等リズムパターンであるのか、「ｘ−」から構成される均等リズムパターンであるのかを区別することができない。なぜなら、均等リズムパターンのずれ指数は全て等しくなってしまうからである。
【０１６０】
そのため、制御部１０２は、タップインターバル時間の平均値を求め、その平均値が長音インターバル時間以内であるか否かを判断する（ステップＳ４１１）。ここで、長音インターバル時間とは、第１の実施形態の場合と同様である。
【０１６１】
タップインターバル時間の平均値が長音インターバル時間以内である場合、制御部１０２は、全てのリズムが一拍（すなわち、打拍「ｘ」）のみで構成されるリズムパターンが最終的に認識された入力リズムパターンであるとして（ステップＳ４１２）、図６に示すメインの動作に戻る。
【０１６２】
一方、タップインターバル時間の平均値が長音インターバル時間よりも長い場合、制御部１０２は、全てのリズムが二拍（即ち、打拍＋休拍「ｘ−」、ただし最後のみ「ｘ」）で構成されるリズムパターンが最終的に認識された入力リズムパターンであるとして（ステップＳ４１３）、図６に示すメインの動作に戻る。
【０１６３】
上記のように、制御システムは、取りうる全てのリズムパターンを想定し、実際入力されたリズム入力信号のタップインターバル時間の分布と、想定されたリズムパターンのタップインターバル時間の分布とを比較して、実際とのずれを求める。制御システムは、想定したリズムパターンの内、最もずれが小さいものを入力リズムパターンとして認識する。
【０１６４】
このように、第３の実施形態において、制御システムは、タップインターバル時間の総和を考慮して入力リズムパターンを認識するので、入力されたリズムのテンポの速い遅いに関係なく、全体的な調子を考慮に入れて入力リズムパターンを認識することができる。したがって、制御システムは、ユーザの個人差を吸収して入力リズムパターンを認識することができるので、画一的に長音インターバルとの大小に基づいて入力リズムパターンを認識するのに比べて、より正確に各種装置の動作を制御することができる。
【０１６５】
なお、終了インターバルや均等リズムパターンである場合に最終的なリズムパターンを判断するための長音インターバルについては、ユーザの初期設定によって調整できるようにしておいてもよい。
【０１６６】
なお、第３の実施形態では、タップ回数から想定し得るリズムパターンを全て想定して、実際のリズム入力信号の時間変化の傾向に最も合致するリズムパターンを入力リズムパターンとして認識することとしたが、時間変化の傾向の合致を判断する方法は、これに限られるものではない。たとえば、制御部は、リズム辞書テーブルにおける登録リズムパターンすべての中から、実際のリズム入力信号の時間変化の傾向に最も合致する登録リズムパターンを探索して、最も合致する登録リズムパターンを入力リズムパターンとして認識するようにしてもよい。また、制御部は、タップ回数が一致する登録リズムパターンのみを対象に、実際のリズム入力信号の時間変化の傾向に最も合致する登録リズムパターンを探索して、最も合致する登録リズムパターンを入力リズムパターンとして認識してもよい。ここで、時間変化の傾向を調べる方法は、上記のようにずれ指数を比較する方法であるとよい。
【０１６７】
（第４の実施形態）
本発明の第４の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第４の実施形態では、図１を援用する。第４の実施形態におけるリズム入力部１０１は、デジタル入力デバイスであってもよいし、アナログ入力デバイスであってもよい。
【０１６８】
以下、第４の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第４の実施形態では、リズムパターン認識処理が第１の実施形態と異なる。
【０１６９】
図１８は、入力リズムパターン認識処理における第４の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図１８を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
【０１７０】
まず、制御部１０２は、第３の実施形態の場合と同様にして、タップインターバル時間を記憶して（ステップＳ５０１）、次のタップが入力されるか否かを判断する（ステップＳ５０２）。次のタップが入力される場合、制御部１０２は、ステップＳ５０１の動作に戻る。一方、入力されない場合、すなわち、ユーザによるリズムの入力が終了した場合、制御部１０２は、ステップＳ５０３の動作に進んで、リズムパターンを解析する。
【０１７１】
ステップＳ５０３において、制御部１０２は、タップ回数が一回だけであったか否かを判断する。一回だけである場合、制御部１０２は、入力リズムパターンを「ｘ」であると認識して、図６に示すメインの動作に戻る。
【０１７２】
一方、一回だけでない場合、制御部１０２は、求めたタップインターバル時間の中で最小のタップインターバル時間を求める（ステップＳ５０５）。次に、制御部１０２は、計測済みのタップインターバル時間の内、先頭から順に、一つだけタップインターバル時間を選択する（ステップＳ５０６）。次に、制御部１０２は、最小のタップインターバル時間を１として、選択したタップインターバル時間の相対値を求め、当該相対値が所定のしきい値を超えるか否かを判断する（ステップＳ５０７）。所定のしきい値は、打拍時間と休拍時間とを加えた値の相対値であり、たとえば、２であるとする。
【０１７３】
相対値が所定のしきい値を超える場合、制御部１０２は、選択したタップインターバル時間中のパターンを「ｘ−」であるとして（ステップＳ５０８）、ステップＳ５０９の動作に進む。一方、相対値が所定のしきい値を超えない場合、制御部１０２は、選択したタップインターバル時間中のパターンを「ｘ」であるとして（ステップＳ５１０）、ステップＳ５０９の動作に進む。
【０１７４】
たとえば、最小のタップインターバル時間が３００（ｍｓ）であり、ある一つのタップインターバル時間が６６０（ｍｓ）である場合、相対値は、６６０／３００＝２．２となる。所定のしきい値が２であると想定すると、６６０（ｍｓ）のタップインターバル時間が経過中のリズムパターンは「ｘ−」であるとして扱われる。
【０１７５】
ステップＳ５０９において、制御部１０２は、計測済みの全てのタップインターバル時間について、相対値のしきい値判定が終了したか否かを判断する。終了していない場合、制御部１０２は、ステップＳ５０６の動作に戻って、次のタップインターバル時間について最小のタップインターバル時間との比較を行う。一方、終了した場合、制御部１０２は、ステップＳ５０８および／またはＳ５１０で決定したパターンに基づいて入力リズムパターンを決定し、図６に示すメインの動作に戻って、登録リズムパターンとの一致を判断して、車両内装置を制御する。
【０１７６】
このように、第４の実施形態において、制御システムは、最小のタップインターバル時間を１として、各タップインターバル時間の相対値を求めることによって、タップインターバル時間中に休拍があったか否かを判断する。したがって、入力されたリズムのテンポの速い遅いに関係なく、全体的な調子を考慮に入れてリズムパターンを認識することができる。したがって、制御システムは、ユーザの個人差を吸収して入力リズムパターンを認識することができるので、画一的に長音インターバルとの大小に基づいて入力リズムパターンを認識するのに比べて、より正確に各種装置の動作を制御することができる。
【０１７７】
（第５の実施形態）
本発明の第５の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第５の実施形態では、図１を援用する。第５の実施形態におけるリズム入力部１０１は、アナログ入力デバイスで構成されることとする。また、第５の実施形態では、アクセントの位置もリズムパターンの認識に用いられる。リズム辞書としては、図１１および図１２に示したような強弱をも定義されているものを用いる。
【０１７８】
以下、第５の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第５の実施形態では、入力リズムパターン認識処理が第１の実施形態と異なる。
【０１７９】
図１９は、入力リズムパターン認識処理における第５の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図１９を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
【０１８０】
まず、制御部１０２は、リズム入力部１０１からのリズム入力信号を受信し、キーダウンタイミングにおける振幅レベルを記憶する（ステップＳ６０１）。次に、制御部１０２は、タップインターバル時間を計測して記憶する（ステップＳ６０２）。なお、初めてキーダウンタイミングが到来した場合、制御部１０２は、タップインターバル時間を計測せずに、次の動作に進む。
【０１８１】
次に、制御部１０２は、終了インターバル時間内に次のタップが入力されるか否かを判断する（ステップＳ６０３）。次のタップが入力される場合、制御部１０２は、ステップＳ６０１の動作に戻る。次のタップが入力されない場合、制御部１０２は、ステップＳ６０４の動作に進む。
【０１８２】
ステップＳ６０４において、制御部１０２は、タップの強弱を考慮に入れずに、入力リズムパターンを認識する。ここでの入力リズムパターンを認識するためのアルゴリズムは、上記第１、第３および第４の実施形態で示したいずれのアルゴリズムであってもよい。
【０１８３】
次に、制御部１０２は、リズム入力信号の先頭から順番に、一つのキータウンタイミングにおける振幅レベルを選択し（ステップＳ６０５）、当該振幅レベルが強拍を示すものであるか、それとも弱拍を示すものであるか否かを判断する（ステップＳ６０６）。
【０１８４】
振幅レベルが強拍を示す場合、制御部１０２は、強弱パターンを「強」であるとして（ステップＳ６０７）、ステップＳ６０８の動作に進む。ここで、強弱パターンとは、ステップＳ６０４で認識した入力リズムパターンの打拍部分が強拍であるか弱拍であるかを示すものである。一方、振幅レベルが弱拍を示す場合、制御部１０２は、強弱パターンを「弱」であるとして（ステップＳ６０９）、ステップＳ６０８の動作に進む。
【０１８５】
ステップＳ６０８において、制御部１０２は、全てのキーダウンタイミングを選択したか否かを判断する。選択していない場合、制御部１０２は、ステップＳ６０５の動作に戻って、次の強弱パターンを決定する。一方、選択し終わっている場合、制御部１０２は、ステップＳ６０４で認識した入力リズムパターンとステップＳ６０７およびＳ６０９で認識した強弱パターンとを融合して、最終的な入力リズムパターンを決定して（ステップＳ６１０）、図６に示すメインの動作に戻り、強弱が定義されているリズム辞書を参照して、一致するリズムパターンが存在するか否か判断し、車両内装置の動作を制御する。
【０１８６】
ステップＳ６１０における入力リズムパターンと強弱パターンとの融合は、リズムパターンの打拍部分に強弱パターンを先頭から順に当てはめていくことによって行われる。たとえば、入力リズムパターンが「ｘ−ｘｘｘｘ」であり、強弱パターンが「強弱強弱弱」である場合、制御部１０２は、入力リズムパターンの打拍部分に、順番に「強」または「弱」を当てはめて、「強」が当てはまる場合は、パターンを「Ａ」に変更する。このような融合によって、制御部１０２は、最終的な入力リズムパターン「Ａ−ｘＡｘｘ」を認識することができる。
【０１８７】
このように、第５の実施形態では、打拍の強弱をも含めて入力リズムパターンを認識することができる。特に、第３および第４の実施形態で示した入力リズムパターン認識処理と組み合わせることによって、制御システムは、入力されたリズムのテンポの速い遅いに関係なく、全体的な調子を考慮に入れてリズムパターンを強弱を含めて認識することができる。
【０１８８】
なお、打拍の強弱にも個人差があるので、制御システムは、最小の打拍レベルや最大の打拍レベルを基準にして相対的に打拍の強弱を判断するようにしてもよい。
【０１８９】
（第６の実施形態）
発音パターンはユーザ毎に異なる場合があるので、入力リズムパターンもユーザ毎に異なる場合がある。第６の実施形態では、ユーザ毎に異なるリズムパターンが登録されているリズム辞書について説明すると共に、ユーザが自らの入力リズムパターンに合致するように登録リズムパターンを編集することができるシステムについて説明する。
【０１９０】
図２０は、本発明の第６の実施形態に係る制御システム６００の構成およびそれが適用されるシステムの全体構成を示す図である。図２０において、第１の実施形態と同様の部分については、同一の参照符号を付し、説明を省略する。
【０１９１】
図２０において、システム全体は、制御システム６００と、エアコン２０１と、オーディオ２０２と、テレビ２０３と、カーナビゲーション２０４とを備える。制御システム６００は、リズム入力部６０１と、制御部６０２と、個人データ／リズム辞書格納部６０３と、出力部６０４と、認証部６０５とを含む。
【０１９２】
リズム入力部６０１は、デジタル入力デバイスであってもよいし、アナログ入力デバイスであってもよい。
【０１９３】
個人データ／リズム辞書格納部６０３は、ＲＡＭ、ＲＯＭまたはハードディスク等の記憶装置で構成される。個人データ／リズム辞書格納部６０３は、ユーザ毎に、リズム辞書テーブル、入力リズムパターン認識のために必要なパラメータ、およびフィードバック方法に関する設定情報を格納している。
【０１９４】
ここで、ユーザ毎に異なるリズム辞書テーブルは、予めユーザが制御内容名に合わせてリズムパターンを登録しておくことによって定義されているものとする。また、入力リズムパターン認識のために必要なパラメータ（以下、認識用パラメータという）とは、打拍、休拍レベルのしきい値（図３，図９参照）や、強拍、弱拍レベルのしきい値（図１０参照）、長音インターバル時間、終了インターバル時間など、リズム入力信号の時間変化を検知するために必要な情報のことをいう。
【０１９５】
また、フィードバック方法に関する設定情報（以下、フィードバック設定情報という）とは、ユーザにフィードバックする内容が画面表示であるのか、音声出力であるのか、振動であるのかを示す情報のことをいう。
【０１９６】
出力部６０４は、ディスプレイ等の画面装置、スピーカ、アンプ等の発声装置、バイブレータ等の振動装置などで構成され、ユーザの五感に何らかの刺激を与えるための体感装置である。
【０１９７】
認証部６０５は、ユーザ個人の認証を行う装置であり、その構成は認証方法によって異なる。認証方法としては、ユーザがパスワードを入力して認証する方法や、顔や虹彩・指紋などを画像認識することによって認証する方法、筆跡や声を入力して認証する方法などが挙げられる。本実施形態では、特にセキュリティを問題としていないので、単に、使用する前にユーザリストから自分の名前を選ぶといった認証方法のみを用いることとする。認証部６０５は、制御部６０２からの要求に応じ、ユーザを認証して特定し、その結果を制御部６０２に返す。
【０１９８】
制御部６０２は、ＣＰＵ、メモリなどで構成され、認証部６０５からの情報に基づいて使用するユーザを特定し、個人データ／リズム辞書格納部６０３に格納されている認識用パラメータを参照して、ユーザ毎に、リズム入力部６０１が出力したリズム入力信号を解析して入力リズムパターンを認識する。入力リズムパターンを認識するためのアルゴリズムは、上記第１〜第５の実施形態で用いたいずれのアルゴリズムであってもよい。制御部６０２は、個人データ／リズム辞書格納部６０３に格納されたユーザ別のリズム辞書テーブルを参照して、認識した入力リズムパターンに一致する登録リズムパターンが存在するか否かを判断する。一致する登録リズムパターンが存在する場合、制御部６０２は、その判断結果を出力部６０４を介してユーザにフィードバックし、車両内装置の動作を制御する。
【０１９９】
図２１は、ユーザがリズム入力部６０１をタップすることによって入力したリズムを制御部６０２が認識して、車両内装置の動作を制御するときの制御部６０２の動作を示すフローチャートである。以下、図２１を参照しながら、制御部６０２の動作について説明する。
【０２００】
まず、制御部６０２は、認証部６０５にユーザ個人を特定して認証するよう要求し、その認証結果を受け取る（ステップＳ７０１）。次に、制御部６０２は、リズム入力部６０１からの電気信号を受信するか否かに基づいて、ユーザによる入力があるか否かを判断する（ステップＳ７０２）。ユーザによる入力がない場合、制御部６０２は処理を終了する。一方、ユーザによる入力がある場合、制御部６０２は、個人データ／リズム辞書格納部６０３から、特定されたユーザに関する認識用パラメータを参照し（ステップＳ７０３）、ステップＳ７０４の動作に進む。
【０２０１】
ステップＳ７０４において、制御部６０２は、リズム入力部６０１からのリズム入力信号および参照した認識用パラメータに基づいて、リズムパターンを認識する。リズムパターンを認識するためのアルゴリズムは、上記第１〜第５の実施形態で用いたいずれのアルゴリズムであってもよいであってもよい。ユーザ別の認識用パラメータを用いることによって、制御部６０２は、打拍するタイミングの個人差や、打拍する強さの個人差を緩和して入力リズムパターンを認識することができる。
【０２０２】
次に、制御部６０２は、認識した入力リズムパターンに一致する登録リズムパターンが当該ユーザのリズム辞書テーブルに登録されているか否かを判断する（ステップＳ７０５）。一致する登録リズムパターンがある場合、制御部６０２は、そのリズムパターンに対応する制御内容を実行して、車両内装置の動作を制御し（ステップＳ７０６）、制御が成功したことを示すフィードバック信号をフィードバック設定情報と共に出力部６０４に出力し（ステップＳ７０７）、処理を終了する。一方、一致する登録リズムパターンがない場合、制御部６０２は認識に失敗したことを示すフィードバック信号をフィードバック設定情報と共に出力部６０４に出力し（ステップＳ７０８）、処理を終了する。出力部６０４は、制御部６０２からのフィードバック信号およびフィードバック設定情報に基づいて、認識に成功したか否かを音声や、映像、振動等によって、ユーザに伝える。
【０２０３】
図２２は、ユーザがリズム辞書テーブルの内容を確認・編集するときの制御部６０２の動作を示すフローチャートである。以下、図２２を参照しながら、ユーザがリズム辞書テーブルの内容を確認・編集するときの制御部６０２の動作について説明する。
【０２０４】
まず、制御部６０２は、リズム辞書の確認、編集作業に入ると、たとえば出力部６０４の画面上に「追加・修正」、「確認」、「削除」といった選択肢を表示させ、ユーザに項目を選択させる（ステップＳ８０１）。
【０２０５】
ステップＳ８０１において、ユーザが「追加」を選択した場合、制御部６０２は、出力部６０４の画面上に「文字による入力」、「リズムによる入力」といった選択肢を表示させ、ユーザの入力を待つ（ステップＳ８０２）。
【０２０６】
ステップＳ８０２において、ユーザがリズムによる入力を選んだ場合、制御部６０２は、リズム入力部６０１からのリズム入力信号を受信して（ステップＳ８０３）、入力リズムパターンを認識し（ステップＳ８０４）、ステップＳ８０７の動作に進む。ステップＳ８０４における入力リズムパターンの認識アルゴリズムは、第１〜第５の実施形態で説明したアルゴリズムのいずれであってもよい。
【０２０７】
ステップＳ８０２において、ユーザが文字による入力を選んだ場合、制御部６０２は、キーボード、音声認識部などの文字入力部（図示せず）を介して、ユーザからの文字入力を受け付け（ステップＳ８０５）、文字をリズムパターンに変換し（ステップＳ８０６）、ステップＳ８０７の動作に進む。ステップＳ８０６において、制御部６０２は、第１または第２の実施形態で示したように、入力文字を所定の単位に分割して、分割後の単位毎に所定の単位リズムパターンを割り当てることによって、入力文字をリズムパターンに変換する。
【０２０８】
ステップＳ８０７において、制御部６０２は、ステップＳ８０４またはＳ８０６で決定されたリズムパターンが、個人データ／リズム辞書格納部６０３に格納されている既存の登録リズムパターンと重複しているか否かをチェックする。取り得るリズムパターンの数は有限であるので、リズムパターンが重複する可能性がある。したがって、制御部６０２は、ステップＳ８０７のような判断を行う。
【０２０９】
重複している登録リズムパターンがある場合、制御部６０２は、ステップＳ８０２に戻って、入力をやり直すようユーザに促す。一方、重複しているリズムパターンがない場合、制御部６０２は、個人データ／リズム辞書格納部６０３に、新たなリズムパターンと制御内容とを登録し（ステップＳ８０８）、処理を終了する。なお、修正を行う場合、制御部６０２は、登録されている制御内容名に対応するリズムパターンを新たなリズムパターンに変更する。ここで、制御内容は、ユーザによって指定されてもよいし、制御部６０２がユーザに選択させてもよい。このように、制御部６０２は、直接リズムをユーザにタップさせてリズムパターンを登録したり、ユーザに文字を入力させてリズムパターンを登録したりすることによって、リズム辞書テーブルの登録内容を編集する。
【０２１０】
ステップＳ８０１以降の動作説明に戻る。ステップＳ８０１において、ユーザが「確認」を選択した場合、制御部６０２は、出力部６０４にユーザが選択した登録リズムパターンを体感させて（ステップＳ８０９）、処理を終了する。具体的には、出力部６０４は、登録リズムパターンの打拍（強弱がある場合は強拍、弱拍）および／または休拍のテンポに従って、画面上にアニメーションパターンを表示したり、音声パターンを出力したり、振動パターンを出力したりする。これにより、ユーザは、登録リズムパターンを体感することができる。
【０２１１】
ステップＳ８０１において、ユーザが「削除」を選択した場合、制御部６０２は、選択されたリズムパターンが該当する項目を個人データ／リズム辞書格納部６０３から削除し（ステップＳ８１０）、処理を終了する。
【０２１２】
このように、第６の実施形態において、制御システムは、ユーザ毎に、リズム辞書テーブル、認識用パラメータ、およびフィードバック設定情報を登録しており、ユーザに応じて、参照すべき情報を変更するので、リズムを叩く癖やテンポ等、ユーザの個人差によってリズムパターンが認識されないといった状況を減らすことができる。
【０２１３】
また、制御システムはリズムパターンの認識結果をユーザに伝えることができるので、ユーザは、正しいリズムを入力したか否かを確認することができる。
【０２１４】
また、制御システムはユーザに登録リズムパターンを体感させることができるので、ユーザは、登録リズムパターンを学習することができる。
【０２１５】
さらに、制御システムは、ユーザによるリズム入力や文字入力に応じて、リズム辞書を編集することができる。したがって、カスタマイズされたリズム辞書の構築が可能となる。
【０２１６】
（第７の実施形態）
次に、本発明の第７の実施形態について説明する。第７の実施形態に係る制御システムの構成およびそれが適用されるシステムの全体構成は、第１の実施形態と同様であるので、図１を援用することとする。第７の実施形態では、より多くの機能にリズムパターンを割り当てるために、機能が階層的に定義されている。
【０２１７】
図２３は、第７の実施形態に係るリズム入力部１０１として圧電センサからなるアナログ入力デバイスを用いたときの、車内での取り付け位置を模式的に示す図である。本実施形態の特徴は、リズム入力部１０１が内部に２つ以上の入力デバイスを含んでいることである。ドライバが運転中に叩きやすいように、リズム入力部１０１は、ステアリング３０１の左部における圧電センサ３０２Ｌと、右部における圧電センサ３０２Ｒとを内蔵する。第１の実施形態と同様、圧電センサ３０２Ｌおよび３０２Ｒの反応する箇所に突起物が設けられている。なお、叩くべき場所が手探りでも見つけ出し易いような構造であれば、突起物でなくてもよい。なお、図２２に示すものは、あくまで一例である。二つの入力デバイスは、左右以外に、上下など他の位置に配置されていてもよい。
【０２１８】
図２４は、リズム辞書格納部１０３に格納されているリズム辞書テーブルの一例を示す図である。ここでは、制御命令の内容を、大機能とその下に付随する小機能との２層の階層構造に分類している。
【０２１９】
左部の圧電センサ３０２Ｌから入力されるリズムパターンは、大機能の入力に割り当てられている。右部の圧電センサ３０２Ｒから入力されるリズムパターンは、小機能の入力に割り当てられている。たとえば、左部でリズム「ｘ−ｘｘ−ｘｘ」をタップすることによって、大機能「経路探索」が選択される。続いて、右部でリズム「ｘｘｘ」をタップすることによって、大機能「経路探索」に付随する小機能「自宅」が選択されることとなる。制御部１０２は、この二つの入力の組み合わせを解釈して、たとえば、カーナビゲーションに自宅までの経路を探索させ案内を開始させるなど、車両内装置の動作を制御する。
【０２２０】
図２５は、リズムパターン認識処理における制御部１０２の動作の詳細を示すフローチャートである。以下、図２５を参照しながら、リズムパターン認識処理における制御部１０２の動作について説明する。
【０２２１】
制御部１０２は、先頭のパターンを「ｘ」とし（ステップＳ９０１）、終了インターバル時間内に次のタップが入力されるか否かを判断する（ステップＳ９０２）。入力されない場合、制御部１０２は、処理を終了する。一方、入力する場合、制御部１０２は、タップされたセンサが、前回タップされたセンサと同じ側のセンサであるか否かを判断する（ステップＳ９０３）。ここでセンサとは、圧電センサ３０２Ｌ，３０２Ｒのことをいう（以下同様）。
【０２２２】
違う側のセンサがタップされた場合、制御部１０２は、次のパターンを「｜ｘ」と決定し（ステップＳ９０７）、ステップＳ９０２の動作に戻る。ここで「｜」は、単語の切れ目を表す符号であり、ユーザが叩くセンサを切り替えたタイミングを示している。
【０２２３】
一方、叩かれたセンサが前回のタップと同じ側である場合、制御部１０２は、長音インターバル時間内であるか否かを判断し（ステップＳ９０４）、判断結果に応じて、パターンを「ｘ」または「−ｘ」として（ステップＳ９０５またはＳ９０６）、ステップＳ９０２の動作に戻る。
【０２２４】
上記のようにして、タップするセンサが切り替わった場合、リズムパターンに「｜」が挿入される。制御部１０２は、一致パターンの有無を判断する際、「｜」が挿入されているか否かを判断する。「｜」が挿入されている場合、制御部１０２は、大機能を実行中であるかそれとも小機能を実行中であるかを判断する。大機能を実行中の場合、制御部１０２は、小機能に登録されているリズムパターンとの一致を判断して、車両内装置を制御する。一方、小機能を実行中の場合、制御部１０２は、大機能に登録されているリズムパターンとの一致を判断して、車両内装置を制御する。
【０２２５】
このように、第７の実施形態において、制御システムは、叩く側が切り替わった場合、階層の切り替えを示す符号を自動的に挿入する。制御システムは、階層切れ替えを示す符号が挿入されている場合、リズムパターンの一致を判断するためのリズム辞書を切り替えて、対応するリズム辞書を参照することによって、リズムパターンの一致を判断する。したがって、制御システムは、各階層の機能に応じた制御をすることが可能となる。また、機能が階層化されているので、制御システムが取り扱うことのできる制御内容の数を増やすことが可能となる。
【０２２６】
なお、ここでは２層の階層構造の例を示したが、３層に分類することも可能である。その場合、たとえば、最上位の層を左部、第２層を右部、第３層を再び左部のセンサに割り当て、制御システムは、左部、右部、および左部を叩く順番に応じて、使用するリズム辞書を切り替えることとなる。たとえば、第１の階層での判断を実行中に左部から右部に切り替えられた場合、制御システムは、第１の階層から第２の階層に移行したと認識し、第２の階層での判断を実行中に右部から左部に切り替えられた場合、第２の階層から第３の階層に移行したと認識する。また、第３の階層での判断を実行中に左部から右部に切り替えられた場合、制御システムは、第３の階層から第１の階層に戻ったと認識する。
【０２２７】
同様に、階層構造は４層以上であってもよい。この場合も、制御システムは、現在実行中の階層およびセンサの切り替え順番に基づいて、移行後の階層を認識し、当該階層に応じたリズム辞書を参照するようにすればよい。
【０２２８】
なお、第７の実施形態では、センサを左部と右部との２箇所に設けることとしたが、本実施形態の本質は、センサの切り替えを検知することであるので、そのため、センサの設置数は複数であればよく、２個であるとは限らない。
【０２２９】
なお、第７の実施形態に係る制御システムを、第６の実施形態と同様、ユーザ別の設定を記憶する機能、フィードバックする機能を更に備えた構成にしてもよい。
【０２３０】
なお、第７の実施形態では、入力リズムパターンを認識するために、長音インターバル時間との比較に基づいた判断をする処理を示したが、当然、第２〜第５の実施形態で用いたような入力リズムパターン認識処理に階層構造を認識するための処理を施すこととしてもよい。
【０２３１】
具体的には、第２の実施形態におけるリズムパターン認識処理において、制御システムは、終了インターバル時間内に次のタップが入力されたか否かを判断した（図１３、ステップＳ３０４参照）後、前回と同じセンサがタップされたか否かに基づいて、切り替えを判断し、打拍の強弱に応じて、リズムパターンを決定すればよい。
【０２３２】
また、第３の実施形態における入力リズムパターン認識処理において、制御システムは、タップインターバル時間を記録する際（図１４、ステップＳ４０１参照）、センサの切り替えも判断して記録し、ステップＳ４０５以降の処理において、階層毎にリズムパターンを認識するようにすればよい。第４および第５の実施形態についても同様である。
【０２３３】
（その他の実施形態）
本願発明は、上記各実施形態に記述された内容に限定して狭く解釈するものであってはならない。
【０２３４】
まず、上記各実施形態では、操作デバイスとなるリズム入力部を構成する圧電センサや接点式のスイッチをステアリング上に設けることとしたが、リズム入力部を設置する場所はこれに限らない。たとえば、椅子の肘掛け部、インパネ内、後部座席など、リズム入力部は、従来の操作デバイス同様、あらゆる場所に設置されてよい。
【０２３５】
さらに、上記各実施形態では、車両内装置の制御を例にとって説明したが、本発明の適用範囲は車載用のシステムにとどまるものではない。例えば、テレビやビデオなどの家庭内の機器にリズム入力部を設けることによっても、同様に、ユーザは、リズム入力でこれらの機器を操作することができる。
【０２３６】
また、リズム入力部と機器との間の通信は、無線で行われてもよいし、有線で行われてもよい。たとば、無線で通信する場合、リズム入力部は、機器本体ではなく、リモートコントローラ上に設けられているとよい。
【０２３７】
また、上記各実施形態では、制御システムは、各装置とは別個に存在することとしたが、各装置内部に組み込まれていてもよい。たとえば、コンピュータ上において、上記各実施形態における制御部をＣＰＵ上で制御プログラムを実行して実現するようにし、リズム入力部をマウスやキーボードおよび画面に表示される仮想的な入力パッドによって実現し、リズム辞書をハードディスクに格納して実現するようにしてもよい。そして、当該入力パッド上で、マウス等をクリックしてリズムを入力し、ＰＣ上で各種ソフトウェアの起動や命令の実行をするようにするとよい。
【０２３８】
たとえば、ワープロソフトを起動させたい場合、ユーザは、仮想入力パッド上でマウスを「ワープロ」という言葉から発するリズムに従ってクリックする。制御プログラムを実行中のＣＰＵは、リズム辞書と比較して、その結果に応じてワープロソフトを起動させればよい。このＰＣ上の制御プログラムは、図６に示すような動作をＣＰＵにさせるためのプログラムである。即ち、図６におけるステップＳ１０５を、リズムパターンが一致する場合、該当するソフトウェアを実行するという動作に置き換えるだけでよい。この場合、制御システムは、リズムパターンの入力により、各種ソフトウェアを起動させたり、命令を実行させたりすることが可能な、コンピュータ装置上で実行される制御プログラムとして提供されることとなる。
【産業上の利用可能性】
【０２３９】
以上のように、本発明に係る制御システムは、少数の操作デバイスを利用したユーザからの操作指示によって、確実に所望の機能を実行することができる。
【図面の簡単な説明】
【０２４０】
【図１】本発明の第１の実施形態に係る制御システム１００の構成およびそれが適用されるシステムの全体構成を示す図
【図２】リズム入力部１０１の車内での取り付け位置の例を模式的に示す図
【図３】リズム入力部１０１としてデジタル入力デバイスを用いたときのリズム入力信号の波形を模式的に示す図
【図４】ルールテーブルの一例を示す図
【図５】リズム辞書テーブルの一例を示す図
【図６】ユーザがリズム入力部１０１をタップすることによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの動作を示すフローチャート
【図７】入力リズムパターン認識処理（ステップＳ１０２）における制御部１０２の詳細な動作を示すフローチャート
【図８】押下され続けている間、ハイレベルのリズム入力信号を出力し続ける入力デバイスを用いたときのリズム入力信号の波形を示す図
【図９】リズム入力部１０１としてアナログ入力デバイスを用いたときのリズム入力信号の波形を模式的に示す図
【図１０】第２の実施形態におけるリズム入力部１０１から出力されるリズム入力信号の波形を模式的に示す図
【図１１】第２の実施形態におけるルールテーブルの一例を示す図
【図１２】第２の実施形態におけるリズム辞書テーブルの一例を示す図
【図１３】入力リズムパターン認識処理における第２の実施形態に係る制御部１０２の詳細な動作を示すフローチャート
【図１４】入力リズムパターン認識処理における第３の実施形態に係る制御部１０２の詳細な動作を示すフローチャート
【図１５】ステップＳ４０１において記憶されたタップインターバル時間の配列Ｔｉの一例を示す図
【図１６】ステップＳ４０５において想定したリズムパターンが適切でなかった場合の時間分布の一例を示す図
【図１７】ステップＳ４０５において想定したリズムパターンが適切であった場合の時間分布の一例を示す図
【図１８】入力リズムパターン認識処理における第４の実施形態に係る制御部１０２の詳細な動作を示すフローチャート
【図１９】入力リズムパターン認識処理における第５の実施形態に係る制御部１０２の詳細な動作を示すフローチャート
【図２０】本発明の第６の実施形態に係る制御システム６００の構成およびそれが適用されるシステムの全体構成を示す図
【図２１】ユーザがリズム入力部１０１をタップすることによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの制御部６０２の動作を示すフローチャート
【図２２】ユーザがリズム辞書テーブルの内容を確認・編集するときの制御部６０２の動作を示すフローチャート
【図２３】第７の実施形態に係るリズム入力部１０１として圧電センサからなるアナログ入力デバイスを用いたときの、車内での取り付け位置を模式的に示す図
【図２４】リズム辞書格納部１０３に格納されているリズム辞書テーブルの一例を示す図
【図２５】リズムパターン認識処理における制御部１０２の動作の詳細を示すフローチャート
【符号の説明】
【０２４１】
１００，６００  制御システム
１０１，６０１  リズム入力部
１０２，６０２  制御部
１０３  リズム辞書格納部
６０３  個人データ／リズム辞書格納部
６０４  出力部
６０５  認証部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2004019197.tif 000028
【図２】
2004019197.tif 000029
【図３】
2004019197.tif 000030
【図４】
2004019197.tif 000031
【図５】
2004019197.tif 000032
【図６】
2004019197.tif 000033
【図７】
2004019197.tif 000034
【図８】
2004019197.tif 000035
【図９】
2004019197.tif 000036
【図１０】
2004019197.tif 000037
【図１１】
2004019197.tif 000038
【図１２】
2004019197.tif 000039
【図１３】
2004019197.tif 000040
【図１４】
2004019197.tif 000041
【図１５】
2004019197.tif 000042
【図１６】
2004019197.tif 000043
【図１７】
2004019197.tif 000044
【図１８】
2004019197.tif 000045
【図１９】
2004019197.tif 000046
【図２０】
2004019197.tif 000047
【図２１】
2004019197.tif 000048
【図２２】
2004019197.tif 000049
【図２３】
2004019197.tif 000050
【図２４】
2004019197.tif 000051
【図２５】
2004019197.tif 000052
【手続補正書】
【提出日】平成17年7月26日(2005.7.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
少なくとも１以上の装置の動作を制御するための制御システムであって、
前記装置の制御内容を表す名称の発音パターンに対応するユーザからのタップ入力に応じて、振幅レベルが変動する電気信号をリズム入力信号として出力するリズム入力部と、
前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを格納するリズム辞書格納部と、
前記装置の動作を制御する制御部とを備え、
前記制御部は、
前記リズム入力部から入力される前記リズム入力信号を解析して、入力リズムパターンを認識する入力リズムパターン認識手段と、
前記リズム辞書テーブルを参照して、前記入力リズムパターン認識手段が認識した入力リズムパターンと一致する登録リズムパターンを検索し、一致する登録リズムパターンが存在する場合は、当該登録リズムパターンに対応する制御内容に基づいて、前記装置を制御する装置制御手段とを含む、制御システム。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項３１
【補正方法】変更
【補正の内容】
【請求項３１】
少なくとも１以上の装置の動作をコンピュータ装置で制御するための方法であって、
前記コンピュータ装置に入力される電気信号を解析して、入力リズムパターンを前記コンピュータ装置が認識するステップと、
前記コンピュータ装置に格納されている前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを参照して、認識した前記入力リズムパターンと一致する登録リズムパターンを前記コンピュータ装置が検索するステップと、
一致する登録リズムパターンが存在する場合は、当該登録リズムパターンに対応する制御内容に基づいて、前記装置を前記コンピュータ装置が制御するステップとを備える、方法。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項３２
【補正方法】変更
【補正の内容】
【請求項３２】
少なくとも１以上のソフトウエアの動作をコンピュータ装置に制御させるためのプログラムであって、
前記コンピュータ装置に入力される電気信号を解析して、入力リズムパターンを前記コンピュータ装置に認識させるステップと、
前記コンピュータ装置に格納されている前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを前記コンピュータ装置に参照させて、認識した前記入力リズムパターンと一致する登録リズムパターンを前記コンピュータ装置に検索させるステップと、
一致する登録リズムパターンが存在する場合は、当該登録リズムパターンに対応する制御内容に基づいて、前記装置を前記コンピュータ装置に制御させるステップとを備える、プログラム。
【国際調査報告】
2004019197.tif 000053
2004019197.tif 000054
2004019197.tif 000055
2004019197.tif 000056