(57)【要約】【課題】  必要最低限の操作を少数の入力デバイスで確実に行うための制御システムを提供する。【解決手段】  リズム入力部１０１は、ユーザが入力したリズムパターンを電気信号に変換して出力する。リズム辞書格納部１０３は、装置の制御内容と登録リズムパターンとを対応させたリズム辞書テーブルを格納する。登録リズムパターンは、制御内容を示す名称の発音パターンを類型化したものである。制御部１０２は、リズム入力部１０１からの電気信号を解析して、ユーザが入力した入力リズムパターンを認識し、それに対応する制御内容をリズム辞書格納部１０３を参照して認識し、車両内装置の動作を制御する。【選択図】  図１
2005227628.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１以上の装置の動作を制御するための制御システムであって、
前記装置の制御内容を表す名称の発音パターンに対応するユーザの身体的動きに応じて、振幅レベルが変動する電気信号をリズム入力信号として出力するリズム入力部と、
前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを格納するリズム辞書格納部と、
前記装置の動作を制御する制御部とを備え、
前記制御部は、
前記リズム入力部から入力される前記リズム入力信号を解析して、入力リズムパターンを認識する入力リズムパターン認識手段と、
前記リズム辞書テーブルを参照して、前記入力リズムパターン認識手段が認識した入力リズムパターンと一致する登録リズムパターンを検索し、当該登録リズムパターンに対応する制御内容に基づいて、前記装置を制御する装置制御手段とを含む、制御システム。
【請求項２】
前記リズム入力部は、
指向性を有する電磁波を出力する電磁波出力部と、
前記電磁波出力部が出力した電磁波であって、ユーザによって反射された電磁波を受信して、前記リズム入力信号を出力する電磁波受信部とを含む、請求項１に記載の制御システム。
【請求項３】
前記電磁波出力部が出力する電磁波は、赤外線であることを特徴とする、請求項２に記載の制御システム。
【請求項４】
前記リズム入力部は、
超音波を出力する超音波出力部と、
前記超音波出力部が出力した超音波であって、ユーザによって反射された超音波を受信して、前記リズム入力信号を出力する超音波受信部とを含む、請求項１に記載の制御システム。
【請求項５】
前記リズム入力部は、
指向性を有する電磁波を出力する電磁波出力部と、
前記電磁波出力部と対向して配置されており、前記電磁波出力部が出力した電磁波を受信して、前記リズム入力信号を出力する電磁波受信部とを含む、請求項１に記載の制御システム。
【請求項６】
前記電磁波出力部が出力する電磁波は、赤外線であることを特徴とする、請求項５に記載の制御システム。
【請求項７】
前記リズム入力部は、
超音波を出力する超音波出力部と、
前記超音波出力部と対向して配置されており、前記超音波出力部が出力した超音波を受信して、前記リズム入力信号を出力する超音波受信部とを含む、請求項１に記載の制御システム。
【請求項８】
前記リズム入力部は、ユーザによる打撃音を電気信号に変換して、前記リズム入力信号として出力するマイク部を含む、請求項１に記載の制御システム。
【請求項９】
前記マイク部は、車両のステアリング内部に設けられており、ユーザがステアリングを打撃する打撃音を電気信号に変換することを特徴とする、請求項８に記載の制御システム。
【請求項１０】
前記リズム辞書テーブルでは、前記制御内容を示す名称を少なくとも１以上の所定の単位に分割したときの分割後の単位毎に所定の単位リズムパターンを割り当てることによって、前記登録リズムパターンを定義しており、
前記入力リズムパターン認識手段は、前記リズム入力信号の振幅レベルの時間変化を単純化することによって入力リズムパターンを認識する、請求項１に記載の制御システム。
【請求項１１】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、打拍タイミングおよび／または休拍タイミングを前記振幅レベルの時間変化に基づいて認識して、前記リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識する、請求項１０に記載の制御システム。
【請求項１２】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおける動作の強弱を段階的に認識して、前記打拍タイミングにおける動作の強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項１１に記載の制御システム。
【請求項１３】
前記入力リズムパターン認識手段は、さらに、前記リズム入力部からハイレベルの電気信号が所定の時間出力され続けた場合、打拍タイミングおよび休拍タイミングがあったとして、入力リズムパターンを認識する、請求項１１に記載の制御システム。
【請求項１４】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを全て想定して、想定したリズムパターンの中から前記リズム入力信号の時間変化の傾向に最も合致するリズムパターンを探索し、探索されたリズムパターンを入力リズムパターンとして認識する、請求項１０に記載の制御システム。
【請求項１５】
前記入力リズムパターン認識手段は、想定したリズムパターンにおける隣接する二つの打拍の時間間隔と前記リズム入力信号における隣接する二つの打拍の時間間隔との差を求め、想定したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識する、請求項１４に記載の制御システム。
【請求項１６】
前記入力リズムパターン認識手段は、さらに、認識した前記入力リズムパターンにおける打拍の間隔が均等に配列している場合、前記打拍の間隔が所定のインターバル時間を超えるか否かを判断して、超える場合、入力リズムパターンは打拍と休拍とが連続するリズムパターンであると認識し直し、超えない場合、入力リズムパターンは打拍のみが連続するリズムパターンであると認識し直す、請求項１４に記載の制御システム。
【請求項１７】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおける動作の強弱を段階的に認識して、前記打拍タイミングにおける動作の強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項１４に記載の制御システム。
【請求項１８】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記リズム入力信号の時間変化の傾向に最も合致するリズムパターンを前記リズム辞書テーブルにおける登録リズムパターンの中から探索し、探索されたリズムパターンを入力リズムパターンとして認識する、請求項１０に記載の制御システム。
【請求項１９】
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを前記リズム辞書テーブルにおける登録リズムパターンの中から探索し、探索したリズムパターンの中から前記時間変化の傾向に最も合致するリズムパターンをさらに探索して、最終的に探索されたリズムパターンを入力リズムパターンとして認識する、請求項１８に記載の制御システム。
【請求項２０】
前記入力リズムパターン認識手段は、前記時間変化の傾向に最も合致するリズムパターンをさらに検索する際、前記探索したリズムパターンにおける隣接する二つの打拍の時間間隔と前記リズム入力信号における隣接する二つの打拍の時間間隔との差を求め、前記探索したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識する、請求項１９に記載の制御システム。
【請求項２１】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおける動作の強弱を段階的に認識して、前記打拍タイミングにおける動作の強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項１８に記載の制御システム。
【請求項２２】
前記単位リズムパターンは、前記所定の単位における音の有無に打拍の有無を割り当てることで定義されており、
前記入力リズムパターン認識手段は、前記振幅レベルの大小に基づいて打拍の有無を検知し、前記リズム入力信号において隣接する二つの打拍の時間間隔の内、最小の時間間隔を求め、当該最小の時間間隔と他の二つの打拍の時間間隔とを比較したときの相対値に基づいて、当該二つの打拍の間に休拍があるか否かを決定して、前記リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識する、請求項１０に記載の制御システム。
【請求項２３】
前記単位リズムパターンでは、さらに、前記所定の単位における音の強弱が定義されており、
前記入力リズムパターン認識手段は、さらに、前記振幅レベルの強弱に基づいて、前記打拍タイミングにおける動作の強弱を段階的に認識して、前記打拍タイミングにおける動作の強弱を区別できるように表すことによって入力リズムパターンを認識する、請求項２２に記載の制御システム。
【請求項２４】
前記制御内容を示す名称を分割するための前記所定の単位は、モーラの単位であることを特徴とする、請求項１０に記載の制御システム。
【請求項２５】
前記制御内容を示す名称を分割するための前記所定の単位は、音節の単位であることを特徴とする、請求項１０に記載の制御システム。
【請求項２６】
前記制御部は、ユーザの指示に応じて、前記リズム辞書テーブルの登録内容を編集するリズムパターン編集手段をさらに含む、請求項１０に記載の制御システム。
【請求項２７】
前記リズムパターン編集手段は、前記入力リズムパターン認識手段に、動作したユーザが意図している入力リズムパターンを認識させ、当該入力リズムパターンを前記リズム辞書テーブルにおける登録リズムパターンとして登録する、請求項２６に記載の制御システム。
【請求項２８】
前記リズムパターン編集手段は、ユーザが入力した文字情報によって表される制御名称を少なくとも１以上の所定の単位に分割し、分割後の単位毎に所定の単位リズムパターンを割り当てることによってリズムパターンを定義し、当該リズムパターンを前記リズム辞書テーブルにおける登録リズムパターンとして登録する、請求項２６に記載の制御システム。
【請求項２９】
前記リズムパターン編集手段は、前記登録リズムパターンの重複を確認しながら、前記リズム辞書テーブルの登録内容を編集する、請求項２６に記載の制御システム。
【請求項３０】
車両内に搭載されていることを特徴とする、請求項１０に記載の制御システム。
【請求項３１】
前記リズム入力部は、前記車両内のステアリングハンドルに配置されており、触感による位置確認が可能な構造を有している、請求項３０に記載の制御システム。
【請求項３２】
前記リズム辞書テーブルでは、前記制御内容が階層構造に定義されており、
前記装置制御手段は、現在検索中の階層を記憶しており、現在検索中の階層内で前記入力リズムパターンと前記登録リズムパターンとの一致を検索し、
前記リズム入力部は、前記現在検索中の階層を前記装置制御手段に切り替えさせるための階層切り替え手段をさらに含む、請求項１０に記載の制御システム。
【請求項３３】
前記リズム入力部は、ユーザの動作を入力するための２以上の入力デバイスからなり、
前記階層切り替え手段は、動作の入力対象となる前記入力デバイスが切り替わったときに前記装置制御手段に前記現在検索中の階層を切り替えさせる、請求項３２に記載の制御システム。
【請求項３４】
前記リズム辞書テーブルでは、ユーザ別の登録リズムパターンが定義されており、
前記装置制御手段は、ユーザ毎に、一致する登録リズムパターンを検索する、請求項１０に記載の制御システム。
【請求項３５】
前記入力リズムパターン認識手段は、前記リズム入力信号の時間変化を検知するために必要なパラメータをユーザ毎に記憶しており、当該パラメータに基づいて、ユーザ毎に前記リズム入力信号を解析する、請求項１０に記載の制御システム。
【請求項３６】
一致する登録リズムパターンが存在したか否かの前記装置制御手段による検索結果を、ユーザに伝える出力部をさらに備える、請求項１０に記載の制御システム。
【請求項３７】
ユーザの指示に応じて、前記リズム辞書テーブルに登録されているリズムパターンをユーザに体感させる体感出力部をさらに備える、請求項１０に記載の制御システム。
【請求項３８】
前記入力リズムパターン認識手段は前記リズム入力信号の振幅が一定時間ローレベルである場合、入力が終了したとして、入力リズムパターンを認識する、請求項１０に記載の制御システム。
【請求項３９】
少なくとも１以上の装置の動作をコンピュータ装置で制御するための方法であって、
前記コンピュータ装置に入力される電気信号を解析して、入力リズムパターンを前記コンピュータ装置が認識するステップと、
前記コンピュータ装置に格納されている前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを参照して、認識した前記入力リズムパターンと一致する登録リズムパターンを前記コンピュータ装置が検索するステップと、
検索された登録リズムパターンに対応する制御内容に基づいて、前記装置を前記コンピュータ装置が制御するステップとを備える、方法。
【請求項４０】
少なくとも１以上のソフトウエアの動作をコンピュータ装置に制御させるためのプログラムであって、
前記コンピュータ装置に入力される電気信号を解析して、入力リズムパターンを前記コンピュータ装置に認識させるステップと、
前記コンピュータ装置に格納されている前記装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを前記コンピュータ装置に参照させて、認識した前記入力リズムパターンと一致する登録リズムパターンを前記コンピュータ装置に検索させるステップと、
検索させた登録リズムパターンに対応する制御内容に基づいて、前記装置を前記コンピュータ装置に制御させるステップとを備える、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各種装置の動作を制御するためのシステムに関し、より特定的には、少数の操作デバイスを用いて各種装置の動作を制御するためのユーザインターフェースを提供するシステムに関する。
【背景技術】
【０００２】
昨今の各種装置、特にテレビ、ビデオ、オーディオなどのＡＶ機器や、カーナビゲーション、カーオーディオなどの車載機器などは、非常に多機能になっている。それに伴い、装置本体やリモートコントローラに搭載されるキーやジョイスティックといった操作デバイスの数も増大している。操作デバイスの増大は、操作を複雑で分かりにくいものにする。
【０００３】
また、限られたスペースに、数十、数百もの機能に対応する入力デバイスを配置するのは困難である。
【０００４】
このような問題を解決するために、ユーザがスイッチを押すリズムを用いて、単一のスイッチに複数の機能を持たせるシステム（例えば、特許文献１）が提案されている。当該システムは、音声認識などに寄らずに単語を認識し、各種機能を実行することができる。
【０００５】
携帯電話などに搭載されているスイッチをユーザが単語の音声リズムに沿って入力すると、特許文献１に記載のシステムは、その有音時間および無音時間の長短などに基づいて、定められた音声パターンデータと照合し、ユーザが入力した単語を検出して、携帯電話などの機能を実行する
【特許文献１】特開２００２−２６８７９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載されているシステムには、リズムボタンと呼ばれるスイッチが必要となる。しかし、このようなスイッチを設置することができる場所は限定されているので、このようなシステムを構築することができない場合がある。また、装置の制御内容によっては、スイッチを押す動作よりも、身振り等の動作によって機能を表現した方が、直感的で分かり易い場合もある。たとえば、「バイバイ」（二重母音が２個の単語）というリズムを表現したい場合、スイッチを押す動作よりも、手を二度横に振る方が、直感的で分かりやすい。
【０００７】
それゆえ、本発明の目的は、ユーザが身振り等によって表現したリズムを解釈して、各種装置の機能を実行させることができるシステムを提供することである。
【課題を解決するための手段】
【０００８】
本発明は、上記のような目的を達成するために、以下に述べるような特徴を有している。本発明は、少なくとも１以上の装置の動作を制御するための制御システムであって、装置の制御内容を表す名称の発音パターンに対応するユーザの身体的動きに応じて、振幅レベルが変動する電気信号をリズム入力信号として出力するリズム入力部と、装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを格納するリズム辞書格納部と、装置の動作を制御する制御部とを備え、制御部は、リズム入力部から入力されるリズム入力信号を解析して、入力リズムパターンを認識する入力リズムパターン認識手段と、リズム辞書テーブルを参照して、入力リズムパターン認識手段が認識した入力リズムパターンと一致する登録リズムパターンを検索し、当該登録リズムパターンに対応する制御内容に基づいて、装置を制御する装置制御手段とを含む。
【０００９】
本発明によれば、ユーザがリズム入力部内で動作するだけで、各種装置の動作が制御されることとなる。したがって、できるだけ少数の入力デバイス（典型的には、１つのスイッチやセンサ）によって、各種装置の動作を制御することができる制御システムが提供されることとなる。また、雑音による影響を受けることのない制御システムが提供されることとなる。さらに、ユーザは、自然言語のリズムに沿ってリズムパターンを入力するだけで各種装置を操作することができるので、操作性がよい制御システムが提供されることとなる。さらに、ユーザが、短期間で操作を習得することができることが期待できる。
【００１０】
好ましくは、リズム入力部は、指向性を有する電磁波を出力する電磁波出力部と、電磁波出力部が出力した電磁波であって、ユーザによって反射された電磁波を受信して、リズム入力信号を出力する電磁波受信部とを含むとよい。
【００１１】
このように、反射型のリズム入力部を用いることによって、省スペースでリズム入力部を構成することができる。
【００１２】
たとえば、電磁波出力部が出力する電磁波は、赤外線であることとよい。
【００１３】
これにより、安価にリズム入力部を提供することができる。
【００１４】
好ましくは、リズム入力部は、超音波を出力する超音波出力部と、超音波出力部が出力した超音波であって、ユーザによって反射された超音波を受信して、リズム入力信号を出力する超音波受信部とを含むとよい。
【００１５】
このように、超音波の反射を利用することによって、リズムの検出の確実性が期待できる。
【００１６】
好ましくは、リズム入力部は、指向性を有する電磁波を出力する電磁波出力部と、電磁波出力部と対向して配置されており、電磁波出力部が出力した電磁波を受信して、リズム入力信号を出力する電磁波受信部とを含むとよい。
【００１７】
このように、照射受光型のリズム入力部を用いることによって、省スペースでリズム入力部を構成することができる。
【００１８】
たとえば、電磁波出力部が出力する電磁波は、赤外線であることとよい。
【００１９】
これにより、安価にリズム入力部を提供することができる。
【００２０】
好ましくは、リズム入力部は、超音波を出力する超音波出力部と、超音波出力部と対向して配置されており、超音波出力部が出力した超音波を受信して、リズム入力信号を出力する超音波受信部とを含むとよい。
【００２１】
このように、超音波を利用することによって、リズムの検出の確実性が期待できる。
【００２２】
好ましくは、リズム入力部は、ユーザによる打撃音を電気信号に変換して、リズム入力信号として出力するマイク部を含むとよい。
【００２３】
これにより、簡易な構成でリズム入力部を安価に提供することができる。
【００２４】
たとえば、マイク部は、車両のステアリング内部に設けられており、ユーザがステアリングを打撃する打撃音を電気信号に変換するとよい。
【００２５】
これにより、車両内のスペースを有効活用しつつ、ユーザの操作利便性が向上したリズム入力部が提供されることとなる。
【００２６】
好ましくは、リズム辞書テーブルでは、制御内容を示す名称を少なくとも１以上の所定の単位に分割したときの分割後の単位毎に所定の単位リズムパターンを割り当てることによって、登録リズムパターンを定義しており、入力リズムパターン認識手段は、リズム入力信号の振幅レベルの時間変化を単純化することによって入力リズムパターンを認識する。
【００２７】
これにより、リズム入力信号の振幅レベルの時間変化を単純化することによって入力リズムパターンが認識されるので、認識した入力リズムパターンとユーザの意図するリズムパターンとが一致している可能性が高くなる。結果、ユーザの意図通りに各種装置の動作を制御することができる制御システムが提供されることとなる。
【００２８】
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、入力リズムパターン認識手段は、打拍タイミングおよび／または休拍タイミングを振幅レベルの時間変化に基づいて認識して、リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識するとよい。
【００２９】
これにより、所定の時間を超えるか否かを判断して打拍および／または休拍を認識するだけの単純なアルゴリズムによって、入力リズムパターンが認識されることとなるので、制御システムにおける処理負担増を軽減することが可能となる。また、消費メモリやプログラムサイズが最小限に抑えられることとなる。
【００３０】
さらに、単位リズムパターンでは、所定の単位における音の強弱が定義されており、入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおける動作の強弱を段階的に認識して、打拍タイミングにおける動作の強弱を区別できるように表すことによって入力リズムパターンを認識してもよい。
【００３１】
これにより、音の強弱をも含めて、ユーザが意図する制御内容名が認識されることとなるので、アクセントやイントネーションの違いを重視する言語（たとえば、英語等）を使用するユーザにとっても使い勝手のよい制御システムが提供されることとなる。また、アクセントの違いを定義することによって、登録リズムパターンの数を増やすことができる。結果、より多くの種類の制御内容が定義されることとなる。
【００３２】
また、入力リズムパターン認識手段は、さらに、リズム入力部からハイレベルの電気信号が所定の時間出力され続けた場合、打拍タイミングおよび休拍タイミングがあったとして、入力リズムパターンを認識してもよい。
【００３３】
これにより、リズム入力部からハイレベルの電気信号が所定の時間出力され続けた場合、制御システムは、長音が入力されたと判断することができる。
【００３４】
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、入力リズムパターン認識手段は、振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンを全て想定して、想定したリズムパターンの中からリズム入力信号の時間変化の傾向に最も合致するリズムパターンを探索し、探索されたリズムパターンを入力リズムパターンとして認識するとよい。
【００３５】
これにより、制御システムは、リズム入力信号の全体的な時間変化の傾向に基づいて入力リズムパターンを認識するので、動作の速さ等の個人差を吸収して入力リズムパターンを認識することができる。したがって、より確実に各種装置を制御することができる制御システムが提供されることとなる。
【００３６】
この場合、入力リズムパターン認識手段は、想定したリズムパターンにおける隣接する二つの打拍の時間間隔とリズム入力信号における隣接する二つの打拍の時間間隔との差を求め、想定したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識するとよい。
【００３７】
これにより、制御システムは、時間間隔の差を求め、平均値を算出するだけで、最も時間変化の傾向が合致するリズムパターンを認識することができる。したがって、簡単なアルゴリズムでリズムパターンを認識することができる制御システムが提供されることとなる。
【００３８】
また、入力リズムパターン認識手段は、さらに、認識した入力リズムパターンにおける打拍の間隔が均等に配列している場合、打拍の間隔が所定のインターバル時間を超えるか否かを判断して、超える場合、入力リズムパターンは打拍と休拍とが連続するリズムパターンであると認識し直し、超えない場合、入力リズムパターンは打拍のみが連続するリズムパターンであると認識し直すとよい。
【００３９】
これにより、制御システムは、入力リズムパターンが打拍のみによって構成されているのか、打拍と休拍との繰り返しによって構成されているのかをさらに認識し直すことができる。したがって、より正確に入力リズムパターンを認識することができる制御システムが提供されることなる。
【００４０】
また、単位リズムパターンでは、さらに、所定の単位における音の強弱が定義されており、入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおける動作の強弱を段階的に認識して、打拍タイミングにおける動作の強弱を区別できるように表すことによって入力リズムパターンを認識してもよい。
【００４１】
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、入力リズムパターン認識手段は、リズム入力信号の時間変化の傾向に最も合致するリズムパターンをリズム辞書テーブルにおける登録リズムパターンの中から探索し、探索されたリズムパターンを入力リズムパターンとして認識するとよい。
【００４２】
これにより、制御システムは、登録リズムパターンの中から認識すべき入力リズムパターンを選び出すこととなる。したがって、認識した入力リズムパターンに一致する登録リズムパターンがリズム辞書テーブルに登録されていないといった事態が回避される。結果、ユーザの所望通りに確実に各種装置の動作を制御することができる制御システムが提供されることとなる。
【００４３】
この場合、入力リズムパターン認識手段は、振幅レベルの大小に基づいて打拍の有無を検知し、検知した打拍の数だけの打拍を有するリズムパターンをリズム辞書テーブルにおける登録リズムパターンの中から探索し、探索したリズムパターンの中から時間変化の傾向に最も合致するリズムパターンをさらに探索して、最終的に探索されたリズムパターンを入力リズムパターンとして認識するとよい。
【００４４】
これにより、探索対象のリズムパターンが減ることとなるので、制御システムにおける処理負担が軽減する。
【００４５】
具体的には、入力リズムパターン認識手段は、時間変化の傾向に最も合致するリズムパターンをさらに検索する際、探索したリズムパターンにおける隣接する二つの打拍の時間間隔とリズム入力信号における隣接する二つの打拍の時間間隔との差を求め、探索したリズムパターンの内、差の平均値が最も小さいリズムパターンを入力リズムパターンとして認識するとよい。
【００４６】
また、単位リズムパターンでは、さらに、所定の単位における音の強弱が定義されており、入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおける動作の強弱を段階的に認識して、打拍タイミングにおける動作の強弱を区別できるように表すことによって入力リズムパターンを認識するとよい。
【００４７】
好ましくは、単位リズムパターンは、所定の単位における音の有無に打拍の有無を割り当てることで定義されており、入力リズムパターン認識手段は、振幅レベルの大小に基づいて打拍の有無を検知し、リズム入力信号において隣接する二つの打拍の時間間隔の内、最小の時間間隔を求め、当該最小の時間間隔と他の二つの打拍の時間間隔とを比較したときの相対値に基づいて、当該二つの打拍の間に休拍があるか否かを決定して、リズム入力信号の時間変化を打拍および／または休拍タイミングで表すことによって入力リズムパターンを認識するとよい。
【００４８】
これにより、制御システムは、相対的な評価によって入力リズムパターンを認識することとなるので、動作の速さ等の個人差を吸収して入力リズムパターンを認識することができる。したがって、より確実に各種装置を制御することができる制御システムが提供されることとなる。
【００４９】
この場合、単位リズムパターンでは、さらに、所定の単位における音の強弱が定義されており、入力リズムパターン認識手段は、さらに、振幅レベルの強弱に基づいて、打拍タイミングにおける動作の強弱を段階的に認識して、打拍タイミングにおける動作の強弱を区別できるように表すことによって入力リズムパターンを認識するとよい。
【００５０】
好ましくは、制御内容を示す名称を分割するための所定の単位は、モーラの単位であるとよい。
【００５１】
これにより、制御内容を示す名称がモーラの単位で分割されることとなるので、ユーザは、自然に発話するときのリズムに沿ってリズムを入力することができる。したがって、ユーザフレンドリーな制御システムが提供されることとなる。このようにモーラの単位に分割するのは、日本語のような言語において特に有効である。
【００５２】
また、好ましくは、制御内容を示す名称を分割するための所定の単位は、音節の単位であるとよい。
【００５３】
これにより、制御内容を示す名称が音節の単位で分割されることとなるので、ユーザは、自然に発話するときのリズムに沿ってリズムを入力することができる。したがって、ユーザフレンドリーな制御システムが提供されることとなる。このように音節の単位に分割するのは、英語のような言語において特に有効である。
【００５４】
好ましくは、制御部は、ユーザの指示に応じて、リズム辞書テーブルの登録内容を編集するリズムパターン編集手段をさらに含むとよい。
【００５５】
これにより、リズム辞書テーブルがカスタマイズされることとなる。
【００５６】
たとえば、リズムパターン編集手段は、入力リズムパターン認識手段に、動作したユーザが意図している入力リズムパターンを認識させ、当該入力リズムパターンをリズム辞書テーブルにおける登録リズムパターンとして登録するとよい。
【００５７】
これにより、ユーザが入力したリズムパターンに基づいてリズム辞書テーブルが編集されることとなるので、ユーザ毎の癖が取り込まれたリズム辞書テーブルが構築されることとなる。
【００５８】
また、リズムパターン編集手段は、ユーザが入力した文字情報によって表される制御名称を少なくとも１以上の所定の単位に分割し、分割後の単位毎に所定の単位リズムパターンを割り当てることによってリズムパターンを定義し、当該リズムパターンをリズム辞書テーブルにおける登録リズムパターンとして登録するとよい。
【００５９】
これにより、ユーザが制御内容名を指定することができるので、ユーザの覚えやすい制御内容名が採用されているリズム辞書テーブルが構築されることとなる。また、ユーザは、言葉とリズムとの間のルールを意識することなく、リズムパターンを登録することができる。
【００６０】
さらに、リズムパターン編集手段は、前記登録リズムパターンの重複を確認しながら、前記リズム辞書テーブルの登録内容を編集するとよい。
【００６１】
また、リズム辞書テーブルでは、制御内容が階層構造に定義されており、装置制御手段は、現在検索中の階層を記憶しており、現在検索中の階層内で入力リズムパターンと登録リズムパターンとの一致を検索し、リズム入力部は、現在検索中の階層を装置制御手段に切り替えさせるための階層切り替え手段をさらに含むとよい。
【００６２】
これにより、制御システムは、制御内容を階層構造に定義することで、限られた数の登録リズムパターンであっても、単一層の構造の場合と比べ、より多くの制御内容を定義することができる。また、階層構造に定義されていることによって、ユーザは、制御内容を容易に把握することができる。
【００６３】
この場合、リズム入力部は、ユーザの動作を入力するための２以上の入力デバイスからなり、階層切り替え手段は、動作の入力対象となる入力デバイスが切り替わったときに装置制御手段に前記現在検索中の階層を切り替えさせるとよい。
【００６４】
これにより、ユーザは、動作の入力対象となる入力デバイスを切り替えるだけで階層構造を切り替えることができる。したがって、操作が単純な制御システムが提供されることとなる。
【００６５】
好ましくは、リズム辞書テーブルでは、ユーザ別の登録リズムパターンが定義されており、装置制御手段は、ユーザ毎に、一致する登録リズムパターンを検索するとよい。
【００６６】
これにより、登録リズムパターンがユーザ毎に定義されているので、制御システムは、ユーザ毎の癖に合わせて入力リズムパターンを認識することができる。
【００６７】
好ましくは、入力リズムパターン認識手段は、リズム入力信号の時間変化を検知するために必要なパラメータをユーザ毎に記憶しており、当該パラメータに基づいて、ユーザ毎にリズム入力信号を解析するとよい。
【００６８】
これにより、パラメータがユーザ毎に定義されているので、制御システムは、ユーザ毎の癖に合わせて入力リズムパターンを認識することができる。
【００６９】
好ましくは、一致する登録リズムパターンが存在したか否かの装置制御手段による検索結果を、振動や音声、視覚等によってユーザに伝える出力部をさらに備えるとよい。
【００７０】
これにより、ユーザは、リズム入力の成功・失敗を知ることができるので、安心する。
【００７１】
また、ユーザの指示に応じて、リズム辞書テーブルに登録されているリズムパターンをユーザに体感させる体感出力部をさらに備えるとよい。
【００７２】
これにより、ユーザは、登録リズムパターンを腕の動作や振動、画面表示、音声等によって体感することができるので、リズム入力を学習することができる。結果、ユーザは、登録リズムパターンを早期に習得することができる。
【００７３】
好ましくは、入力リズムパターン認識手段は、リズム入力信号の振幅が一定時間ローレベルである場合、入力が終了したとして、入力リズムパターンを認識するとよい。
【００７４】
これにより、制御システムは、自動的に入力の終了を認識することができる。したがって、ユーザは、入力終了のための操作をしなくてよい。
【００７５】
たとえば、制御システムは、車両内に搭載されているとよい。
【００７６】
この場合、リズム入力部は、車両内のステアリングハンドルに配置されており、触感による位置確認が可能な構造を有しているとよい。
【００７７】
また、本発明は、少なくとも１以上の装置の動作をコンピュータ装置で制御するための方法であって、コンピュータ装置に入力される電気信号を解析して、入力リズムパターンをコンピュータ装置が認識するステップと、コンピュータ装置に格納されている装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルを参照して、認識した入力リズムパターンと一致する登録リズムパターンをコンピュータ装置が検索するステップと、検索された登録リズムパターンに対応する制御内容に基づいて、装置をコンピュータ装置が制御するステップとを備える。
【００７８】
また、本発明は、少なくとも１以上のソフトウエアの動作をコンピュータ装置に制御させるためのプログラムであって、コンピュータ装置に入力される電気信号を解析して、入力リズムパターンをコンピュータ装置に認識させるステップと、コンピュータ装置に格納されている装置の制御内容と当該制御内容を表す名称の発音パターンを類型化した登録リズムパターンとを対応付けるためのリズム辞書テーブルをコンピュータ装置に参照させて、認識した入力リズムパターンと一致する登録リズムパターンをコンピュータ装置に検索させるステップと、検索させた登録リズムパターンに対応する制御内容に基づいて、装置をコンピュータ装置に制御させるステップとを備える。
【発明の効果】
【００７９】
本発明によれば、ユーザが身振り等によって表現したリズムを解釈して、各種装置の機能を実行させることができるシステムが提供されることとなる。
【発明を実施するための最良の形態】
【００８０】
以下、本発明の実施の形態について、図面を参照しながら説明する。まず、各実施形態の概要について説明する。
【００８１】
第１の実施形態では、ユーザが入力したリズムパターンに一致するリズムパーターンがリズム辞書に登録されているか否かを調べて、一致するリズムパターンが存在する場合、各種装置の動作を制御するシステムについて説明する。
【００８２】
第２の実施形態では、入力されたリズムパターンの強弱も認識して、一致するリズムパーターンがリズム辞書に登録されているか否かを調べて、一致するリズムパターンが存在する場合、各種装置の動作を制御するシステムについて説明する。
【００８３】
第３の実施形態では、入力されたリズムパターンにもっとも近いリズムパターンを、取り得る全てのリズムパターンを想定しながら探索していく制御システムについて説明する。
【００８４】
第４の実施形態では、相対的な評価によって、入力されたリズムパターンを認識する制御システムについて説明する。
【００８５】
第５の実施形態では、第３および第４の実施形態における制御システムにリズムパターンの強弱を認識する機能を付加させた制御システムについて説明する。
【００８６】
第６の実施形態では、ユーザに応じてリズムパターンの認識に必要なパラメータを切り替えることができる制御システムについて説明する。また、リズム辞書を編集することができる制御システムについても説明する。
【００８７】
第７の実施形態では、リズム辞書を階層的に構成することによって、多機能の操作を可能とする制御システムについて説明する。
【００８８】
以下、各実施形態について詳しく説明する。
【００８９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る制御システム１００の構成およびそれが適用されるシステムの全体構成を示す図である。本実施形態では、説明を分かり易くするため、制御システム１００は、車両内にあるエアコン、オーディオ等の装置を制御するためのシステムであるとする。
【００９０】
図１において、システム全体は、制御システム１００と、エアコン２０１と、オーディオ２０２と、テレビ２０３と、カーナビゲーション２０４とを備える。エアコン２０１、オーディオ２０２、テレビ２０３、およびカーナビゲーション２０４は、車両内に設置されている装置（以下、車両内装置という）である。ここに示す車両内装置は、一例である。図１に示す車両内装置以外の装置が、システムに備わっていてもよい。また、図１に示す車両内装置の一部のみが、システムに備わっていてもよい。
【００９１】
制御システム１００は、リズム入力部１０１と、制御部１０２と、リズム辞書格納部１０３とを含む。
【００９２】
ユーザは、車両内装置にある機能を実行させたい場合、その機能の名称の発音パターン（その機能の名称を音声として発するときのリズム）に対応するように、リズム入力部１０１付近で、体の一部を数回動かす。以下、この動作による入力を「動作入力」ということにする。リズム入力部１０１は、動作入力に応じて振幅レベルが変動する電気信号（以下、リズム入力信号という）を出力する。制御部１０２は、リズム入力部１０１から出力されるリズム入力信号を受信して、当該リズム入力信号の振幅レベルの時間分布を解析して、ユーザが意図しているリズムパターン（以下、入力リズムパターンという）を認識する。制御部１０２は、認識した入力リズムパターンに一致するリズムパターンがリズム辞書格納部１０３に登録されているか否か検索する。制御部１０２は、一致するリズムパターンがリズム辞書格納部１０３に登録されている場合、当該リズムパターンに対応する制御内容を認識して、当該制御内容に対応する車両内装置の動作を制御する。
【００９３】
リズム入力部１０１は、赤外線センサや超音波センサ、可視光センサ、可聴音センサ、レーダセンサ等によって構成される。リズム入力部１０１の具体的な構成については、後述する。ユーザによる動作入力に応じて、リズム入力部１０１のセンサに入力される光や音等が変化する。リズム入力部１０１０は、センサに入力された光や音などを電気信号に変換して出力する。したがって、リズム入力部１０１は、ユーザの動作入力に応じて、リズム入力信号を出力して、制御部１０２に与える。
【００９４】
図２は、リズム入力部１０１の具体的構成の一例を模式的に示す図である。図２において、リズム入力部１０１は、発光部４０１と、受光部４０２と、目印４０３とを含む。発光部４０１は、赤外線を発光する。受光部４０２は、発光部４０１と隣接して配置されているフォトダイオード等である。目印４０３は、ユーザが動作入力を行う場所を示す印である。
【００９５】
発光部４０１が発光する赤外線は、そのまま直進する。ユーザが目印４０３付近に手などをかざして、当該赤外線を遮った場合、当該赤外線は、反射する。このとき、受光部４０２は、若干量の赤外線を受光し、受光した赤外線の量応じて、振幅を増大させる電気信号を出力する。ユーザが目印４０３付近から手を離した場合、当該赤外線は反射することなく直進するので、受光部４０２が受光する赤外線の量は減少する。したがって、受光部４０２は、振幅を減少させる電気信号を出力する。なお、リズム入力部１０１の具体的構成は、これに限られるものではない。その他の例については、後述する。
【００９６】
図３は、図２に示すリズム入力部１０１から出力されるリズム入力信号の波形を模式的に示す図である。第１の実施形態では、予め打拍レベルが設定されている。リズム入力部１０１は、図３に示すように、ユーザによる動作に応じて、出力信号の振幅レベルを変化させる。第１の実施形態では、波形の振幅レベルが打拍レベルを超えた場合におけるピーク時点をキーダウンタイミングという。また、キーダウンタイミングの後、振幅レベルが最も下がりきった時点をキーアップタイミングということにする。隣接するキーダウンタイミング間の時間を、動作インターバル時間ということにする。図３において、リズム入力信号の振幅レベルが打拍レベルを超える場合、打拍があったとする。また、図３において、リズム入力信号の振幅レベルが休拍レベルに達した場合、休拍があったとする。
【００９７】
リズム辞書格納部１０３は、ＲＡＭやＲＯＭ、ハードディスク等の記憶装置である。リズム辞書格納部１０３には、車両内装置の制御内容とリズムパターンとを対応付けるためのリズム辞書が格納されている。リズム辞書は、制御内容名を類型化するための規則を定義したルールテーブルと、制御内容名とリズムパターンとを対応付けるためのリズム辞書テーブルとからなる。
【００９８】
ここで、本明細書上で用いるリズムパターンという語について説明しておく。単語を発する場合、ユーザは、一定のリズムで単語を発する。たとえば、一つの単語の中には、延ばして発音する部分があったり、短く発音する部分があったり、強く発音する部分があったり、弱く発音する部分があったりする。このような音の流れは、発音パターンということができる。リズムパターンとは、この発音パターンを類型化したもののことをいう。なお、発音パターンは、音声パターン（ボイスパターン）ということもできる。
【００９９】
図４は、ルールテーブルの一例を示す図である。ルールテーブルでは、日本語におけるモーラの単位と単位リズムパターンとの対応が示されている。ここで、単位リズムパターンとは、モーラの単位毎に、動作したタイミング（打拍）と動作しなかったタイミング（休拍）とを単純な符号で表したものである。ここでは、符号として、「ｘ」と「−」とを用いる。「ｘ」は、打拍を表す。「−」は、休拍を表す。
【０１００】
モーラは、撥音（たとえば、日本語の「ん」）、促音（たとえば、日本語の「っ」等）、拗音（たとえば、日本語の「きゃ」、「きゅ」、「きょ」等）、長音（たとえば、日本語の「あー」、「けー」等）、二重母音（たとえば、日本語の「ああ」、「あい」、「えい」等）、その他上記以外の音（たとえば、母音のみ、母音＋子音等、以下、一般音という）の６通りに分類される。撥音および促音は、無音である。拗音および一般音は、有音である。長音および二重母音は、有音と無音とからなる。
【０１０１】
図４に示すように、撥音には、単位リズムパターン「−」が割り当てられている。促音には、単位リズムパターン「−」が割り当てられている。拗音には、単位リズムパターン「ｘ」が割り当てられている。長音には、単位リズムパターン「ｘ−」が割り当てられている。二重母音には、単位リズムパターン「ｘ−」が割り当てられている。一般音には、単位リズムパターン「ｘ」が割り当てられている。
【０１０２】
図５は、リズム辞書テーブルの一例を示す図である。リズム辞書テーブルでは、車両内装置の制御内容名とリズムパターンとの対応が示されている。以下、リズム辞書テーブルに登録されているリズムパターンを登録リズムパターンという。車両内装置の制御内容名は、起動させたい車両内装置の機能の名称を示す。ここでは、ユーザが理解しやすいように、地図を表示させたい場合は、制御内容名を「地図」と定義したり、電話を起動させた場合は、制御内容名を「電話」と定義したりするなど、より直感的な制御内容名を用いることとしているが、制御内容名の決め方はこれに限られるものではない。登録リズムパターンは、対応する制御内容を表す名称の発音パターン（対応する制御内容を表す名称を音声として発するときのリズム）を類型化することによって定義されている。第１の実施形態では、登録リズムパターンは、制御内容名をモーラの単位に分割したときの分割後の単位毎に、対応する単位リズムパターンを割り当てることによって定義されている。
【０１０３】
たとえば、日本語の「地図」は、モーラの単位に分解した場合、「ち」と「ず」とに分解される。「ち」および「ず」は、それぞれ一般音である。したがって、制御内容名「地図」に対応する登録リズムパターンは、「ｘｘ」となる。
【０１０４】
また、日本語の「電話」は、モーラに分解した場合、「で」、「ん」、および「わ」に分解される。「で」は一般音であり、「ん」は撥音であり、「わ」は一般音である。したがって、制御内容名「電話」に対応する登録リズムパターンは、「ｘ−ｘ」となる。
【０１０５】
日本語の「エアコン」は、モーラに分解した場合、「え」、「あ」、「こ」、および「ん」に分解される。「え」、「あ」および「こ」は一般音であり、「ん」は撥音である。撥音は休拍であり、かつ「ん」は最終音であるので、制御内容名「エアコン」に対応する登録リズムパターンは、「ｘｘｘ」となる。
【０１０６】
日本語の「温度設定」は、モーラに分解した場合、「お」、「ん」、「ど」、「せ」、「っ」、および「てー」に分解される。「ん」は撥音であり、「っ」は促音であり、長音である「てー」は最終音であるので、制御内容名「温度設定」に対応する登録リズムパターンは、「ｘ−ｘｘ−ｘ」となる。
【０１０７】
日本語の「オーディオ」は、モーラに分解した場合、「おー」、「でぃ」、および「お」に分解される。「おー」は長音であるので、制御内容名「オーディオ」に対応する登録リズムパターンは、「ｘ−ｘｘ」となる。
【０１０８】
上記例に示すように、登録リズムパターンは、制御内容名を１以上のモーラ単位に分割して、単位リズムパターンを割り当てることによって、定義される。このようにモーラ単位に分割することによって、リズムパターンを定義する方法は、日本語のように、アクセントを気にすることなく単語を発音することができる言語には、適している。たとえば、「地図」という語を発する場合、「トントン」という拍子になる。この拍子は、「ち」にアクセントがあっても、「ず」にアクセントがあってもどちらでも同じである。また、「電話」という語を発する場合、「トン・トン」と間を一拍あけた拍子になる。この拍子は、「で」にアクセントがあっても、「わ」にアクセントがあっても同じである。他の例についても同様である。
【０１０９】
制御部１０２は、ＣＰＵやメモリ等で構成される。制御部１０２は、リズム入力部１０１から入力されるリズム入力信号の振幅レベルの時間変化を単純化することによって、入力リズムパターンを認識する。この認識方法については、後述する（図７参照）。制御部１０２は、リズム辞書格納部１０３に格納されているリズム辞書テーブルを参照して、認識した入力リズムパターンに一致する登録リズムパターンが存在するか否かを判断する。制御部１０２は、一致する登録リズムパターンが存在する場合、当該登録リズムパターンと対応している制御内容名を認識し、当該制御内容を実行する車両内装置の動作を制御する。
【０１１０】
図６は、ユーザがリズム入力部１０１内で動作することによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの動作を示すフローチャートである。以下、図６を参照しながら、制御部１０２の動作について説明する。
【０１１１】
まず、制御部１０２は、リズム入力部１０１からのリズム入力信号を受信するか否かによって、ユーザによる入力があるか否かを判断する（ステップＳ１０１）。ユーザによる入力がない場合、制御部１０２は、処理を終了する。一方、ユーザによる入力がある場合、制御部１０２は、リズム入力部１０１からのリズム入力信号を解析して、入力リズムパターンを認識する（ステップＳ１０２）。入力リズムパターン認識処理については、後述する（図７参照）。
【０１１２】
次に、制御部１０２は、リズム辞書格納部１０３内のリズム辞書テーブルを参照し（ステップＳ１０３）、認識した入力リズムパターンに一致する登録リズムパターンがリズム辞書テーブルに登録されているか否かを判断する（ステップＳ１０４）。
【０１１３】
一致する登録リズムパターンがない場合、制御部１０２は、処理を終了する。一方、一致する登録リズムパターンがある場合、制御部１０２は、当該登録リズムパターンに対応する制御内容を実行するよう該当する車両内装置に命令し（ステップＳ１０５）、処理を終了する。
【０１１４】
図７は、入力リズムパターン認識処理（ステップＳ１０２）における制御部１０２の詳細な動作を示すフローチャートである。以下、図７を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
【０１１５】
まず、制御部１０２は、パターンの先頭を「ｘ」とする（ステップＳ２０１）。このようにするのは、次の動作との間のインターバル時間を検出するためである。
【０１１６】
次に、制御部１０２は、予め定められた終了インターバル時間内に、リズム入力部１０１内でユーザが動作するか否かを判断する（ステップＳ２０２）。具体的には、制御部１０２は、終了インターバル時間内に打拍レベルまで達するパルスがあるか否かに基づいて判断する。ここで、終了インターバル時間とは、この時間以上ユーザの動作がない場合に、ユーザによるリズム入力が終了したとみなすためのしきい値のことをいう。たとえば、終了インターバル時間は、６００ミリ秒であるなどと定められる。
【０１１７】
終了インターバル時間内に次の動作が入力された場合、制御部１０２は、動作インターバル時間が予め定められた長音インターバル時間を超えるか否かを判断する（ステップＳ２０３）。ここで、長音インターバル時間とは、動作インターバル時間の経過中の動作が、打拍と休拍との二拍であるのか、それとも、打拍のみの一拍であるのかを判定するためのしきい値である。たとえば、長音インターバル時間は、４００ミリ秒であると定められている。
【０１１８】
動作インターバル時間が長音インターバル時間を超えない場合、制御部１０２は、次のパターンを「ｘ」と決定し（ステップＳ２０４）、ステップＳ２０２の動作に戻る。一方、動作インターバル時間が長音インターバル時間を超える場合、制御部１０２は、次のパターンを「−ｘ」と決定し（ステップＳ２０５）、ステップＳ２０２の動作に戻る。
【０１１９】
一方、ステップＳ２０２において、終了インターバル時間内に次の動作が入力されない場合、制御部１０２は、ユーザによる入力が終了したものとして、ステップＳ２０１，Ｓ２０４，Ｓ２０５で決定したパターンに従って最終的な入力リズムパターンを認識して、図６に示すメインの動作に戻る。
【０１２０】
このように、第１の実施形態における制御システムでは、ユーザの動作に応じて、リズム入力部からリズム入力信号が出力される。制御部は、リズム入力信号の振幅の時間変化を解析して、当該時間変化を打拍のあったタイミングと休拍のあったタイミングとに単純化して、入力リズムパターンを認識する。制御部は、認識した入力リズムパターンに一致する登録リズムパターンがリズム辞書テーブルに登録されているか否かを判断して、一致する登録リズムパターンがある場合、対応する制御内容を実行する。したがって、音声認識のように周りの雑音等の影響を受けることなく、少数の入力デバイスで操作指示を入力し、確実に操作指示内容を認識して、ブラインドタッチで各種装置の動作を制御することができる制御システムを提供することが可能となる。
【０１２１】
たとえば、車両内の装置を操作するための制御内容としては、せいぜい２０〜３０通りである。この程度の数の制御内容であれば、全てリズムパターンを用いて表現することが期待できる。したがって、少数の入力デバイスで確実に最低限必要な操作を行うことができる制御システムを提供することが可能となる。
【０１２２】
また、第１の実施形態において、登録リズムパターンは、制御内容を音声として発するときのリズムと対応するようになっているので、制御内容とリズムパターンとが直感的に一致することとなり、リズムパターンによる入力をより簡単に行うことが期待できる。
【０１２３】
また、第１の実施形態において、制御システムは、ユーザによるリズム入力があれば、ユーザによる操作指示があったと認識する（ステップＳ１０１参照）ので、音声認識システムのように、ユーザが制御システムのモードを音声認識モードに切り替えるといった煩わしい操作が不要となる。
【０１２４】
さらに、第１の実施形態では、動作インターバル時間を、終了インターバル時間および長音インターバル時間と比較するだけで、リズムパターンを決定することができるため、極めて単純なアルゴリズムによってリズムパターンを認識することができる。したがって、実装が容易であり、消費するプログラムサイズやメモリサイズがごく僅かで済むという利点もある。
【０１２５】
なお、上記実施形態では、登録されている制御内容名を日本語であるとしたが、英語やドイツ語、フランス語、ロシア語、スペイン語、中国語、韓国語等、如何なる言語であってもよい。この場合も、制御内容名を音声として発したときの発音パターンを類型化したリズムパターンを登録リズムパターンとして登録しておけばよい。
【０１２６】
なお、終了インターバル、長音インターバル時間は、ユーザの初期設定によって調節できるようにしておいてもよい。これにより、入力の速いユーザ、あるいは遅いユーザの個人差を緩和することが可能となる。初期設定をする場合、制御システムは、典型的なパターンをユーザに入力させて、自動的に、終了インターバルおよび長音インターバルを認識するようにするようにしてもよい。
【０１２７】
なお、図２に示すような反射型のリズム入力部において赤外線を遮断し続けている間、ハイレベルのリズム入力信号を出力し続ける入力デバイスをリズム入力部として用いてもよい。図８は、このような入力デバイスを用いたときのリズム入力信号の波形を示す図である。図８に示すように、赤外線を遮断し続けている時間に応じて、打拍レベルに達している時間が異なる。リズム入力部内において赤外線を遮断し続けることによって、ユーザは、入力した長音や二重母音等、有音と無音とによるリズムを入力することができる。入力リズムパターンを認識する際、制御部は、所定のインターバル時間以上リズム入力信号のハイレベルが継続する場合、有音と無音とによるリズムが入力された、すなわち打拍と休拍とがあったとして、入力リズムパターンを認識する。その後、制御部は、上記実施形態のように、入力リズムパターンと登録リズムパターンとの一致を判断して、車両内装置の動作を制御する。
【０１２８】
なお、上記では、発光部４０１および受光部４０２はそれぞれ一つであるとしたが、それぞれ複数個用いてもよい。これにより、動作を検出する範囲を広くすることができる。
【０１２９】
なお、上記では、発光部４０１から赤外線が照射され、受光部４０２が反射した赤外線を受光する反射型のリズム入力部を用いることとしたが、赤外線以外のものが反射されるようにしてもよい。たとえば、指向性のあるレーダ等の電磁波や超音波などを照射する照射部と、反射されたレーダや超音波などを検出する検出部とを含むリズム入力部が用いられてもよい。図９は、レーダや超音波などを利用したリズム入力部から出力されるリズム入力信号の波形を模式的に示す図である。このようなリズム入力部を用いる場合、リズム入力信号は、アナログ波形となる。この場合、図９に示すように、予め打拍レベルが設定されている。ユーザによる動作に伴って、出力信号の振幅の強弱レベルが変化する。ここでは、波形の振幅のレベルが打拍レベルを超えた場合におけるピーク時点をキーダウンタイミングという。また、キーダウンタイミング後、振幅レベルが最も下がりきった時点をキーアップタイミングということにする。隣接するキーダウンタイミング間の時間を、動作インターバル時間ということにする。このようにして動作インターバル時間を定義すれば、図７に示したリズムパターン認識処理と同様にして、制御部は、リズムパターンを認識することができる。
【０１３０】
なお、上記では、反射型のリズム入力部を用いることとしたが、ユーザの動作に応じて、振幅レベルが変化するリズム入力信号を出力する装置をリズム入力部１０１として用いるのであれば、リズム入力部１０１の構成はこれに限られるものではない。以下、リズム入力部１０１のその他の構成例について説明する。
【０１３１】
図１０は、照射受光型のリズム入力部の構成を模式的に示す図である。図１０において、リズム入力部は、発光部４０１ａと、受光部４０２ａと、目印４０３とを含む。図１０において、発光部４０１ａおよび受光部４０２ａは、それぞれ３つずつ示したが、２つ以下であってもよいし、４つ以上であってもよい。
【０１３２】
発光部４０１ａは、赤外線を発光する。受光部４０２ａは、発光部４０１ａが発光した赤外線を受光するフォトダイオード等である。ユーザによって赤外線が遮断されていない場合、受光部４０２ａは、ハイレベルの電気信号を出力する。ユーザによって赤外線が遮られた場合、受光部４０２ａから出力される電気信号は、ローレベルとなる。図１１は、受光部４０２ａから出力される電気信号の波形を示す図である。反転部４０４は、受光部４０２ａから出力される電気信号を反転するための装置である。つまり、反転部４０４は、ハイレベルの電気信号をローレベルとし、ローレベルの電気信号をレベルとする。したがって、反転部４０４からは、図３や図８に示すのと同様のリズム入力信号が出力されることとなる。これによって、制御部１０２は、上述に説明したのと同様にして、リズムパターンを認識することができる。
【０１３３】
なお、図１０に示すような照射反射型のリズム入力部の変形として、赤外線以外に指向性を有するレーダや超音波等を照射する照射部と、リーダや超音波等を検出する検出部とを用いるリズム入力部が考えられる。
【０１３４】
図１２は、カメラ型のリズム入力部の構成を模式的に示す図である。図１２において、リズム入力部は、カメラ部４０１ｂと、目印４０３と、画像認識部４０５とを含む。
【０１３５】
カメラ部４０１ｂは、ユーザの動きを撮像する。画像認識部４０５は、カメラ部４０１ｂが撮像した画像に基づいて、ユーザがカメラ部４０１ｂの前を遮ったタイミングを認識してリズム入力信号を出力する。なお、ユーザの動きがはっきりと分かるように、カメラ部４０１ｂの対向する領域に青色等のクロマキー処理用の膜や板等が配置されていても良い。
【０１３６】
図１３は、画像認識部４０５の動作を示すフローチャートである。以下、図１３を参照しながら、画像認識部４０５の動作について説明する。まず、画像認識部４０５は、カメラ部４０１ｂからの画像を色成分に基づいて、複数種類の色領域に分割する（ステップＳ２１）。色領域とは、ＹＵＶ色度空間上に表された領域である。たとえば、ＹＵＶ色度空間上の＋Ｙ、−Ｕ、−Ｖ象限の所定の領域を、ユーザの手の平の色と等価な肌色領域であると表す。
【０１３７】
次に、画像認識部４０５は、ＹＵＶ色度空間上の肌色領域に対応する所定の肌色テーブルと入力画像の各色領域とをそれぞれ比較する（ステップＳ２２）。この場合、入力画像の各色領域は、たとえば、ユーザの顔領域や手の平領域等の肌色領域と、服装部分の非肌色領域とに大きく分けられる。
【０１３８】
次に、画像認識部４０５は、肌色テーブルと入力画像の各色領域とをそれぞれ比較した結果、入力画像の中に肌色であると認められる肌色領域が存在するか否かを判断する（ステップＳ２３）。肌色領域が存在しないと判断した場合、画像認識部４０５は、ローレベルの電気信号を出力し（ステップＳ２８）、ステップＳ２９の動作に進み、次のフレームに移る。一方、肌色領域が存在すると判断した場合、画像認識部４０５は、ステップＳ２４の動作に進む。
【０１３９】
ステップＳ２４において、画像認識部４０５は，現フレームの入力画像における肌色領域の増加量を、現フレームと前フレームとの座標値の変化に基づいて検出する。次に、画像認識部４０５は、肌色領域の増加量がプラスであるか否かを判断する（ステップＳ２５）。
【０１４０】
肌色領域の増加量がプラスである場合（すなわち、肌色領域が前フレームと比較して増えている場合）、画像認識部４０５は、電圧がハイレベルとなるような電気信号を出力し（ステップＳ２６）、ステップＳ２９の動作に進む。一方、肌色領域の増加量がマイナスである場合（すなわち、肌色領域が前フレームと比較して減っている場合）、画像認識部４０５は、電圧がローレベルとなるような電気信号を出力し（ステップＳ２７）、ステップＳ２９の動作に進む。
【０１４１】
ステップＳ２９の動作において、画像認識部４０５は、カメラ部４０１ｂから入力される次のフレームの画像を取得して、ステップＳ２１の動作に戻り、処理を継続する。
【０１４２】
上記のような動作によって、画像認識部４０５からは、図３に示すように、カメラ部４０１ｂの前の手の動きによって、振幅が強弱するリズム入力信号が出力されることとなる。
【０１４３】
図１４は、上記の動作を具体的に説明する図である。図１４（ａ）に示すように、画像に肌色領域が存在しない場合は、ローレベルの電気信号が出力される。図１４（ｂ）に示すように、肌色領域が増加すれば、ハイレベルの電気信号が出力される。図１４（ｃ）に示すように、肌色領域がさらに増加すれば、ハイレベルの電気信号が出力される。図１４（ｄ）に示すように、肌色領域が減少すれば、ローレベルの電気信号が出力される。図１４（ｅ）に示すように、肌色領域が存在しなくなれば、ローレベルの電気信号が出力される。結果、図１４（ｆ）に示すようなリズム入力信号が、画像認識部４０５から出力されることとなる。
【０１４４】
図１５は、音声を用いるリズム入力部の構成を模式的に示す図である。図１５において、リズム入力部は、マイク部４０１ｃと、叩くべき場所４０６とを含む。たとえば、マイク部４０１ｃは、ステアリングの内部に内蔵されている。たとえば、叩くべき場所４０６は、ステアリングである。
【０１４５】
マイク部４０１ｃは、叩くべき場所４０６で叩かれた打撃音を検知して、電気信号に変換して、出力する。マイク部４０１ｃから出力される電気信号は、図９に示すような波形となるので、リズム入力信号として扱える。したがって、アナログ波形をリズム入力信号とする場合と同様にして、制御部１０２は、打拍レベルを超えている間の動作インターバル時間に基づいて、打拍および休拍を判断して、入力されたリズムを判断するとよい。
【０１４６】
なお、風切り音などのノイズを避けるために、マイク部４０１ｃにスポンジ状のウインドスクリーンを設置してもよい。また、既知の音源分離（Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ）の手法などを用いて、マイク部４０１ｃとして、特定の方向からの音のみを入力する指向性マイクを用いてもよい。
【０１４７】
なお、筋電位の変化によって、振幅レベルが変化する電気信号を出力するデバイスを、リズム入力部として用いてもよい。また、脳波の変化によって、振幅レベルが変化する電気信号を出力するデバイスを、リズム入力部として用いてもよい。
【０１４８】
なお、上記実施形態では、発音パターンと動作とを対応させることとしたが、「バイバイ」と手を横に二回振るようにすることによって、各種機器の動作がオフになるようなリズム辞書テーブルを定義してもよい。
【０１４９】
（第２の実施形態）
本発明の第２の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第２の実施形態では、図１を援用することとする。以下、第１の実施形態と異なる点を中心に説明する。
【０１５０】
第２の実施形態におけるリズム入力部１０１は、ユーザの手の動きの速さに応じて、振幅レベルが強弱するアナログのリズム入力信号を出力する。また、第２の実施形態におけるリズム入力部１０１は、音の強弱によってアナログのリズム入力信号を出力してもよい。とにかく、第２の実施形態におけるリズム入力部１０１は、ユーザの動きの速さや強弱によって、振幅レベルが強弱するリズム入力信号を出力するデバイスであればよい。
【０１５１】
図１６は、第２の実施形態におけるリズム入力部１０１から出力されるリズム入力信号の波形を模式的に示す図である。第２の実施形態では、予め、強拍レベルおよび弱拍レベルが設定されている。リズム入力部１０１はアナログ入力デバイスであるので、図１０に示すように、ユーザによる動作の速さや強弱に応じて、出力信号の振幅のレベルが変化する。第２の実施形態では、波形の振幅のレベルが強拍または弱拍レベルを超えた場合におけるピーク時点をキーダウンタイミングといい、キーダウンタイミング後、振幅レベルが最も下がりきった時点をキーアップタイミングということにする。隣接するキーダウンタイミング間の時間を、動作インターバル時間ということにする。
【０１５２】
図１６において、リズム入力信号の振幅レベルが弱拍レベルを超える場合、打拍があったとする。リズム入力信号の振幅レベルが弱拍レベルと強拍レベルとの間のレベルである場合、弱拍があったとする。リズム入力信号の振幅レベルが強拍レベルを超える場合、強拍があったとする。
【０１５３】
第２の実施形態におけるリズム辞書は、制御内容名をパターン化するための単位を定義したルールテーブルと、制御内容名と登録リズムパターンとを対応付けるためのリズム辞書テーブルとからなる。
【０１５４】
図１７は、ルールテーブルの一例を示す図である。ルールテーブルでは、英語における音節の単位と単位リズムパターンとが対応付けられている。音節は、アクセントのある音節、アクセントのない音節、アクセントのある長音節、アクセントのない長音節、アクセントのある二重母音、アクセントのない二重母音の６通りに分類される。
【０１５５】
図１７では、強拍を「Ａ」と表し、弱拍を「ｘ」と表し、休拍を「−」と表すことにする。図１７に示すように、アクセントのある音節には、単位リズムパターン「Ａ」が割り当てられている。アクセントのない音節には、単位リズムパターン「ｘ」が割り当てられている。アクセントのある長音節には、単位リズムパターン「Ａ−」が割り当てられている。アクセントのない長音節には、単位リズムパターン「ｘ−」が割り当てられている。アクセントのある二重母音には、単位リズムパターン「Ａ−」が割り当てられている。アクセントのない二重母音には、単位リズムパターン「ｘ−」が割り当てられている。
【０１５６】
図１８は、リズム辞書テーブルの一例を示す図である。登録リズムパターンは、制御内容名を音節単位に分解したときの分割後の単位毎に対応する単位リズムパターンを割り当てることによって定義されている。ここでは、制御内容名の発音記号に基づいて、制御内容名を音節単位に分解している。
【０１５７】
たとえば、英語の「Ｎａｖｉｇａｔｉｏｎ」は、音節単位に分解すると、「ｎａ」、「ｖｉ」、「ｇａ」、および「ｔｉｏｎ」に分解される。「ｎａ」、「ｖｉ」は、アクセントのない音節であり、「ｇａ」は、アクセントのある二重母音であり、「ｔｉｏｎ」は、アクセントのない音節であるので、制御内容名「ｎａｖｉｇａｔｉｏｎ」に対応する登録リズムパターンは、「ｘｘＡ−ｘ」となる。その他の制御内容名についても、同様に登録リズムパターンが定義されている。
【０１５８】
次に、第２の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第２の実施形態では、入力リズムパターン認識処理が第１の実施形態と異なる。
【０１５９】
図１９は、入力リズムパターン認識処理における第２の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図１９を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
【０１６０】
まず、制御部１０２は、リズム入力信号の最初の振幅ピークが強拍であるか、それとも弱拍であるかを判断する（ステップＳ３０１）。強拍である場合、制御部１０２は、パターンの先頭を「Ａ」として（ステップＳ３０２）、ステップＳ３０４の動作に進む。一方、弱拍である場合、制御部１０２は、パターンの先頭を「ｘ」として（ステップＳ３０３）、ステップＳ３０４の動作に進む。
【０１６１】
ステップＳ３０４において、制御部１０２は、予め定められた終了インターバル時間内に、リズム入力部１０１内で動作がなされるか否かを判断する（ステップＳ３０４）。具体的には、制御部１０２は、終了インターバル時間内に弱拍レベルを超える電気信号が入力されるか否かに基づいて判断する。終了インターバル時間については、第１の実施形態と同様である。
【０１６２】
ステップＳ３０４において、終了インターバル時間内に次の動作がなされた場合、制御部１０２は、ユーザによる入力が終了したものとして、図６に示すメインの動作に戻る。
【０１６３】
一方、終了インターバル時間内に次の動作がなされた場合、制御部１０２は、動作インターバル時間が予め定められた長音インターバル時間を超えるか否かを判断する（ステップＳ３０５）。長音インターバル時間については、第１の実施形態と同様である。
【０１６４】
長音インターバル時間を超えない場合、制御部１０５は、キーダウンタイミングにおけるリズム入力信号の振幅レベルのピークが強拍であるか、それとも弱拍であるかを判断する（ステップＳ３０６）。強拍である場合、制御部１０５は、次のパターンを「Ａ」として（ステップＳ３０７）、ステップＳ３０４の動作に戻る。一方、弱拍である場合、制御部１０５は、次のパターンを「ｘ」として（ステップＳ３０８）、ステップＳ３０４の動作に戻る。
【０１６５】
一方、ステップＳ３０５において、長音インターバル時間を超えると判断した場合、制御部１０５は、キーダウンタイミングにおけるリズム入力信号の振幅レベルのピークが強拍であるか、それとも弱拍であるかを判断する（ステップＳ３０９）。強拍である場合、制御部１０５は、次のパターンを「−Ａ」として（ステップＳ３１０）、ステップＳ３０４の動作に戻る。一方、弱拍である場合、制御部１０５は、次のパターンを「−ｘ」として（ステップＳ３１１）、ステップＳ３０４の動作に戻る。
【０１６６】
このように、第２の実施形態において、制御システムは、英語などアクセントのある言語に対応するために、アナログ入力デバイスを用いて動作の速度や強弱を判断し、音節およびアクセントによってリズムパターンを定義するリズム辞書を参照して、リズムパターンの一致を判断する。したがって、英語などの言語においても、音声認識のように周りの雑音等の影響を受けることなく、少数の入力デバイスで操作指示を入力し、確実に操作指示内容を認識して、ブラインドタッチで各種装置の動作を制御することができる制御システムを提供することが可能となる。
【０１６７】
なお、制御システムは、日本語の制御内容名を音節に分解してリズム辞書を定義するようにして、リズムパターンの一致を認識するようにしてもよい。この場合、アクセントの位置を判定してもよいし、判定しなくてもよい。
【０１６８】
なお、リズムパターンの認識方法は、上記の認識方法にとどまるものではない。動作インターバル時間は、隣接するキーアップタイミング間の時間と定義してもよい。また、振幅の大小を強弱の２種類だけでなく、さらに細かく段階的に定義してもよい。
【０１６９】
（第３の実施形態）
本発明の第３の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第３の実施形態では、図１を援用する。第３の実施形態におけるリズム入力部１０１は、パルス波形のリズム入力信号を出力するデジタル入力デバイスであってもよいし、アナログ波形のリズム入力信号を出力するアナログ入力デバイスであってもよい。
【０１７０】
以下、第３の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第３の実施形態では、入力リズムパターン認識処理が第１の実施形態と異なる。
【０１７１】
図２０は、入力リズムパターン認識処理における第３の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図２０を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
【０１７２】
まず、制御部１０２は、リズム入力部１０１からのリズム入力信号を受信すると、キーダウンタイミングを計測して記憶し、１つ前のキーダウンタイミングからの経過時間（動作インターバル時間）を計測して記憶する（ステップＳ４０１）。ここで、初めてキーダウンタイミングが到来した場合、制御部１０２は、動作インターバル時間を計測できないので、そのままステップＳ４０１の動作に進むこととする。制御部１０２は、動作インターバル時間を配列Ｔｉとして、記憶することとする。
【０１７３】
次に、制御部１０２は、リズム入力信号の振幅レベルに基づいて、予め定められた終了インターバル時間内に、次の動作が入力されるか否かを判断する（ステップＳ４０２）。具体的には、制御部１０２は、終了インターバル時間内にキーダウンタイミング（図３または図８参照）が到来するか否かに基づいて判断する。ここで、終了インターバル時間とは、第１の実施形態で説明したものと同様である。
【０１７４】
終了インターバル時間内に、次の動作が入力された場合、制御部１０２は、ステップＳ４０１の動作に戻る。一方、入力されていない場合、すなわち、ユーザによるリズムの入力が終了した場合、制御部１０２は、ステップＳ４０３の動作に進む。
【０１７５】
ステップＳ４０３において、制御部１０２は、ステップＳ４０１で記憶した情報を参照して、キーダウンタイミングが到来した回数（以下、動作回数という）が一回だけであったか否かを判断する。一回だけであった場合、制御部１０２は、入力リズムパターンを「ｘ」として（ステップＳ４０４）、図６に示すメインの動作に戻る。一方、一回だけでなかった場合、制御部１０２は、ステップＳ４０５の動作に進む。
【０１７６】
ステップＳ４０５において、制御部１０２は、動作回数に応じたリズムパターンを一つ想定する（ステップＳ４０５）。ここでは、一回の動作インターバル時間内におけるリズムパターンは、一拍の打拍（すなわち、「ｘ」）のみであるか、二拍（すなわち、打拍と休拍とを表す「ｘ−」）である。また、最後のパターンは、必ず「ｘ」である。したがって、動作回数がＮ回の場合、取りうるリズムパターンの総数は、２のＮ−１乗通りである。たとえば、動作回数がＮ＝５の場合、取りうるリズムパターンの総数は、２の４乗通り、すなわち１６通りである。
【０１７７】
次に、制御部１０２は、想定したリズムパターンの時間分布を求め、求めた時間分布が実際に測定した動作インターバル時間からどの程度ずれているかを算出する（ステップＳ４０６）。ステップＳ４０６における処理を図２１〜図２３を用いて詳述する。
【０１７８】
図２１は、ステップＳ４０１において記憶された動作インターバル時間の配列Ｔｉの一例を示す図である。図２１に示す例では、動作インターバル時間の配列Ｔｉには、動作番号と対応するように、計測された実際の動作インターバル時間（ｍｓ）が登録されている。ここで、動作番号は、動作の順番を示す。たとえば、動作番号が「１」の動作インターバル時間は、リズム入力信号の最初のキーダウンタイミングから次のキーダウンタイミングまでの動作インターバル時間を示す。すなわち、各動作番号に対応する動作インターバル時間は、その動作番号におけるキーアップタイミングから次の動作番号におけるキーダウンタイミングまでの経過時間を示す。したがって、最後の動作番号（図２１では、「５」）には、動作インターバル時間が対応しないこととなる。
【０１７９】
図２２は、ステップＳ４０５において想定したリズムパターンが適切でなかった場合の時間分布の一例を示す図である。図２３は、ステップＳ４０５において想定したリズムパターンが適切であった場合の時間分布の一例を示す図である。以下、図２２および図２３を参照しながら、想定したリズムパターンの時間分布の求め方について説明する。
【０１８０】
まず、制御部１０２は、リズムパターンを一つ想定する。たとえば、図２２では、「ｘ−ｘｘｘ−ｘ」が想定されている。次に、制御部１０２は、想定したリズムパターンの拍数を動作番号毎にカウントし、その合計Σλｉを算出する。ここでは、制御部１０２は、「ｘ」を一拍として拍数をカウントし、「ｘ−」を二拍として拍数をカウントする。図２２の例では、想定したリズムパターンの拍数の合計Σλｉは、「６」となっている。
【０１８１】
次に、制御部１０２は、実際の動作インターバル時間の合計ΣＴｉを求める。図２１の例では、実際の動作インターバル時間の合計ΣＴｉは、「２１００（ｍｓ）」となっている。
【０１８２】
次に、制御部１０２は、実際の動作インターバル時間の合計ΣＴｉを拍数の合計Σλｉで割った値τを求める。すなわち、τ＝ΣＴｉ／Σλｉである。図２３の例では、τ＝２１００／６＝３５０（ｍｓ）となっている。値τは、想定したリズムパターンにおける一拍当たりの所要時間である。制御部１０２は、値τに対して、各動作番号における拍数をかけて、動作番号毎の動作インターバル時間を求める。図２１の例では、動作番号「１」において想定される動作インターバル時間は、３５０（ｍｓ）×２＝７００（ｍｓ）となる。また、動作番号「２」において想定される動作インターバル時間は、３５０（ｍｓ）×１＝３５０（ｍｓ）となる。
【０１８３】
次に、制御部１０２は、動作番号毎に、実際の動作インターバル時間と想定される動作インターバル時間との偏差（ｍｓ）を求める。図２１の例では、動作番号「１」における実際の動作インターバル時間は７６４（ｍｓ）であり、図２２の例では、想定される動作インターバル時間は７００（ｍｓ）であるので、偏差は、＋６４（ｍｓ）となる。
【０１８４】
次に、制御部１０２は、各動作番号（最後の動作番号は除く）における偏差の絶対値を合計して、平均値σを求める。すなわち、σ＝Σ｜Ｔｉ−τ＊λｉ｜である。図２２の例では、σ＝（６４＋３９＋３３４＋３５９）／４＝１９９となる。また、図２３の例では、σ＝（６４＋３９＋１６＋９）／４＝３２となる。σは、実際に測定された動作インターバル時間の分布と、想定されたリズムパターンにおける動作インターバル時間の分布とがどの程度ずれているかを示す値である。すなわち、σは、想定されたリズムパターンの妥当性の目安となる。σの値が小さいほど、想定されたリズムパターンが妥当であることを示すこととなる。以下、σのことをずれ指数と呼ぶことにする。
【０１８５】
図２２に示すようなリズムパターンを想定した場合のずれ指数σは、１１９である。一方、図２３に示すようなリズムパターンを想定した場合のずれ指数σは、３２である。したがって、図２２に示すリズムパターンよりも図２３に示すリズムパターンの方が、ユーザが実際に入力したリズムパターンに近いことと予想される。
【０１８６】
再び図２０を参照しながら、制御部１０２の動作を説明する。
【０１８７】
上記のように、実際の動作インターバル時間と想定したリズムパターンに基づく動作インターバル時間とのずれ指数を求めた後、制御部１０２は、ステップＳ４０６で算出したずれ指数が、最小ずれ指数を超えるか否かを判断する（ステップＳ４０７）。ここで、最小ずれ指数とは、今まで想定したリズムパターンのずれ指数の中で、最も小さいずれ指数のことをいう。
【０１８８】
ずれ指数が最小ずれ指数を超えない場合、制御部１０２は、このずれ指数を最小ずれ指数として記憶して、当該ずれ指数を示すリズムパターンを予想リズムパターンとして記憶し（ステップＳ４０８）、ステップＳ４０９の動作に進む。なお、初めてリズムパターンを想定した場合、制御部１０２は、最小ずれ指数を記憶していないので、必ずステップＳ４０８の動作に進む。
【０１８９】
一方、最小ずれ指数を超える場合、制御部１０２は、最小ずれ指数を更新せずに、ステップＳ４０５の動作に戻り、別のリズムパターンを想定し直す。
【０１９０】
ステップＳ４０９において、制御部１０２は、想定しうる全てのリズムパターンを想定したか否かを判断する。想定していない場合、制御部１０２は、ステップＳ４０５の動作に戻って、別のリズムパターンを想定し直す。このように、ステップＳ４０５の動作に戻ることによって、制御部１０２は、想定しうる全てのリズムパターンの中で、ずれ指数σが最小となるリズムパターンを求めることとなる。
【０１９１】
一方、全てのリズムパターンの想定が終了している場合、制御部１０２は、最小ずれ指数となった予想リズムパターンが均等リズムパターンであるか否かを判断する（ステップＳ４１０）。ここで、均等リズムパターンとは、「ｘｘｘ」や「ｘ−ｘ−ｘ」のように、各動作インターバル時間が全て同じ拍数で構成されているリズムパターンのことをいう。
【０１９２】
均等リズムパターンでない場合、制御部１０２は、当該予想リズムパターンがリズム入力信号から認識される入力リズムパターンであるとして、図６に示すメインの動作に戻り、入力リズムパターンと登録リズムパターンとの一致を判断して、車両内装置の動作を制御する。
【０１９３】
一方、均等リズムパターンである場合、制御部１０２は、実際のリズムパターンが「ｘ」から構成される均等リズムパターンであるのか、「ｘ−」から構成される均等リズムパターンであるのかを区別することができない。なぜなら、均等リズムパターンのずれ指数は全て等しくなってしまうからである。
【０１９４】
そのため、制御部１０２は、動作インターバル時間の平均値を求め、その平均値が長音インターバル時間以内であるか否かを判断する（ステップＳ４１１）。ここで、長音インターバル時間とは、第１の実施形態の場合と同様である。
【０１９５】
動作インターバル時間の平均値が長音インターバル時間以内である場合、制御部１０２は、全てのリズムが一拍（すなわち、打拍「ｘ」）のみで構成されるリズムパターンが最終的に認識された入力リズムパターンであるとして（ステップＳ４１２）、図６に示すメインの動作に戻る。
【０１９６】
一方、動作インターバル時間の平均値が長音インターバル時間よりも長い場合、制御部１０２は、全てのリズムが二拍（即ち、打拍＋休拍「ｘ−」、ただし最後のみ「ｘ」）で構成されるリズムパターンが最終的に認識された入力リズムパターンであるとして（ステップＳ４１３）、図６に示すメインの動作に戻る。
【０１９７】
上記のように、制御システムは、取りうる全てのリズムパターンを想定し、実際入力されたリズム入力信号の動作インターバル時間の分布と、想定されたリズムパターンの動作インターバル時間の分布とを比較して、実際とのずれを求める。制御システムは、想定したリズムパターンの内、最もずれが小さいものを入力リズムパターンとして認識する。
【０１９８】
このように、第３の実施形態において、制御システムは、動作インターバル時間の総和を考慮して入力リズムパターンを認識するので、入力されたリズムのテンポの速い遅いに関係なく、全体的な調子を考慮に入れて入力リズムパターンを認識することができる。したがって、制御システムは、ユーザの個人差を吸収して入力リズムパターンを認識することができるので、画一的に長音インターバルとの大小に基づいて入力リズムパターンを認識するのに比べて、より正確に各種装置の動作を制御することができる。
【０１９９】
なお、終了インターバルや均等リズムパターンである場合に最終的なリズムパターンを判断するための長音インターバルについては、ユーザの初期設定によって調整できるようにしておいてもよい。
【０２００】
なお、第３の実施形態では、動作回数から想定し得るリズムパターンを全て想定して、実際のリズム入力信号の時間変化の傾向に最も合致するリズムパターンを入力リズムパターンとして認識することとしたが、時間変化の傾向の合致を判断する方法は、これに限られるものではない。たとえば、制御部は、リズム辞書テーブルにおける登録リズムパターンすべての中から、実際のリズム入力信号の時間変化の傾向に最も合致する登録リズムパターンを探索して、最も合致する登録リズムパターンを入力リズムパターンとして認識するようにしてもよい。また、制御部は、動作回数が一致する登録リズムパターンのみを対象に、実際のリズム入力信号の時間変化の傾向に最も合致する登録リズムパターンを探索して、最も合致する登録リズムパターンを入力リズムパターンとして認識してもよい。ここで、時間変化の傾向を調べる方法は、上記のようにずれ指数を比較する方法であるとよい。
【０２０１】
（第４の実施形態）
本発明の第４の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第４の実施形態では、図１を援用する。第４の実施形態におけるリズム入力部１０１は、デジタル入力デバイスであってもよいし、アナログ入力デバイスであってもよい。
【０２０２】
以下、第４の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第４の実施形態では、リズムパターン認識処理が第１の実施形態と異なる。
【０２０３】
図２４は、入力リズムパターン認識処理における第４の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図２４を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
【０２０４】
まず、制御部１０２は、第３の実施形態の場合と同様にして、動作インターバル時間を記憶して（ステップＳ５０１）、次の動作が入力されるか否かを判断する（ステップＳ５０２）。次の動作が入力される場合、制御部１０２は、ステップＳ５０１の動作に戻る。一方、入力されない場合、すなわち、ユーザによるリズムの入力が終了した場合、制御部１０２は、ステップＳ５０３の動作に進んで、リズムパターンを解析する。
【０２０５】
ステップＳ５０３において、制御部１０２は、動作回数が一回だけであったか否かを判断する。一回だけである場合、制御部１０２は、入力リズムパターンを「ｘ」であると認識して、図６に示すメインの動作に戻る。
【０２０６】
一方、一回だけでない場合、制御部１０２は、求めた動作インターバル時間の中で最小の動作インターバル時間を求める（ステップＳ５０５）。次に、制御部１０２は、計測済みの動作インターバル時間の内、先頭から順に、一つだけ動作インターバル時間を選択する（ステップＳ５０６）。次に、制御部１０２は、最小の動作インターバル時間を１として、選択した動作インターバル時間の相対値を求め、当該相対値が所定のしきい値を超えるか否かを判断する（ステップＳ５０７）。所定のしきい値は、打拍時間と休拍時間とを加えた値の相対値であり、たとえば、２であるとする。
【０２０７】
相対値が所定のしきい値を超える場合、制御部１０２は、選択した動作インターバル時間中のパターンを「ｘ−」であるとして（ステップＳ５０８）、ステップＳ５０９の動作に進む。一方、相対値が所定のしきい値を超えない場合、制御部１０２は、選択した動作インターバル時間中のパターンを「ｘ」であるとして（ステップＳ５１０）、ステップＳ５０９の動作に進む。
【０２０８】
たとえば、最小の動作インターバル時間が３００（ｍｓ）であり、ある一つの動作インターバル時間が６６０（ｍｓ）である場合、相対値は、６６０／３００＝２．２となる。所定のしきい値が２であると想定すると、６６０（ｍｓ）の動作インターバル時間が経過中のリズムパターンは「ｘ−」であるとして扱われる。
【０２０９】
ステップＳ５０９において、制御部１０２は、計測済みの全ての動作インターバル時間について、相対値のしきい値判定が終了したか否かを判断する。終了していない場合、制御部１０２は、ステップＳ５０６の動作に戻って、次の動作インターバル時間について最小の動作インターバル時間との比較を行う。一方、終了した場合、制御部１０２は、ステップＳ５０８および／またはＳ５１０で決定したパターンに基づいて入力リズムパターンを決定し、図６に示すメインの動作に戻って、登録リズムパターンとの一致を判断して、車両内装置を制御する。
【０２１０】
このように、第４の実施形態において、制御システムは、最小の動作インターバル時間を１として、各動作インターバル時間の相対値を求めることによって、動作インターバル時間中に休拍があったか否かを判断する。したがって、入力されたリズムのテンポの速い遅いに関係なく、全体的な全体的な調子を考慮に入れてリズムパターンを認識することができる。したがって、制御システムは、ユーザの個人差を吸収して入力リズムパターンを認識することができるので、画一的に長音インターバルとの大小に基づいて入力リズムパターンを認識するのに比べて、より正確に各種装置の動作を制御することができる。
【０２１１】
（第５の実施形態）
本発明の第５の実施形態に係るシステム全体の構成については、第１の実施形態の場合と同様であるので、第５の実施形態では、図１を援用する。第５の実施形態におけるリズム入力部１０１は、アナログ入力デバイスで構成されることとする。また、第５の実施形態では、アクセントの位置もリズムパターンの認識に用いられる。リズム辞書としては、図１７および図１８に示したような強弱をも定義されているものを用いる。
【０２１２】
以下、第５の実施形態に係る制御部１０２の動作について説明する。ユーザによってリズムが入力されたときの制御部１０２のメインの動作は、第１の実施形態の場合と同様であるので、図６を援用する。第４の実施形態では、入力リズムパターン認識処理が第１の実施形態と異なる。
【０２１３】
図２５は、入力リズムパターン認識処理における第５の実施形態に係る制御部１０２の詳細な動作を示すフローチャートである。以下、図２５を参照しながら、入力リズムパターン認識処理における制御部１０２の動作について説明する。
【０２１４】
まず、制御部１０２は、リズム入力部１０１からのリズム入力信号を受信し、キーダウンタイミングにおける振幅レベルを記憶する（ステップＳ６０１）。次に、制御部１０２は、動作インターバル時間を計測して記憶する（ステップＳ６０２）。なお、初めてキーダウンタイミングが到来した場合、制御部１０２は、動作インターバル時間を計測せずに、次の動作に進む。
【０２１５】
次に、制御部１０２は、終了インターバル時間内に次の動作が入力されるか否かを判断する（ステップＳ６０３）。次の動作が入力される場合、制御部１０２は、ステップＳ６０１の動作に戻る。次の動作が入力されない場合、制御部１０２は、ステップＳ６０４の動作に進む。
【０２１６】
ステップＳ５０４において、制御部１０２は、動作の速度や強弱を考慮に入れずに、入力リズムパターンを認識する。ここでの入力リズムパターンを認識するためのアルゴリズムは、上記第１、第３および第４の実施形態で示したいずれのアルゴリズムであってもよい。
【０２１７】
次に、制御部１０２は、リズム入力信号の先頭から順番に、一つのキータウンタイミングにおける振幅レベルを選択し（ステップＳ６０５）、当該振幅レベルが強拍を示すものであるか、それとも弱拍を示すものであるか否かを判断する（ステップＳ６０６）。
【０２１８】
振幅レベルが強拍を示す場合、制御部１０２は、強弱パターンを「強」であるとして（ステップＳ６０７）、ステップＳ６０８の動作に進む。ここで、強弱パターンとは、ステップＳ６０４で認識した入力リズムパターンの打拍部分が強拍であるか弱拍であるかを示すものである。一方、振幅レベルが弱拍を示す場合、制御部１０２は、強弱パターンを「弱」であるとして（ステップＳ６０９）、ステップＳ６０８の動作に進む。
【０２１９】
ステップＳ６０８において、制御部１０２は、全てのキーダウンタイミングを選択したか否かを判断する。選択していない場合、制御部１０２は、ステップＳ６０５の動作に戻って、次の強弱パターンを決定する。一方、選択し終わっている場合、制御部１０２は、ステップＳ６０４で認識した入力リズムパターンとステップＳ６０７およびＳ６０９で認識した強弱パターンとを融合して、最終的な入力リズムパターンを決定して（ステップＳ６１０）、図６に示すメインの動作に戻り、強弱が定義されているリズム辞書を参照して、一致するリズムパターンが存在するか否か判断し、車両内装置の動作を制御する。
【０２２０】
ステップＳ６１０における入力リズムパターンと強弱パターンとの融合は、リズムパターンの打拍部分に強弱パターンを先頭から順に当てはめていくことによって行われる。たとえば、入力リズムパターンが「ｘ−ｘｘｘｘ」であり、強弱パターンが「強弱強弱弱」である場合、制御部１０２は、入力リズムパターンの打拍部分に、順番に「強」または「弱」を当てはめて、「強」が当てはまる場合は、パターンを「Ａ」に変更する。このような融合によって、制御部１０２は、最終的な入力リズムパターン「Ａ−ｘＡｘｘ」を認識することができる。
【０２２１】
このように、第５の実施形態では、打拍の強弱をも含めて入力リズムパターンを認識することができる。特に、第３および第４の実施形態で示した入力リズムパターン認識処理と組み合わせることによって、制御システムは、入力されたリズムのテンポの速い遅いに関係なく、全体的な調子を考慮に入れてリズムパターンを強弱を含めて認識することができる。
【０２２２】
なお、打拍の強弱にも個人差があるので、制御システムは、最小の打拍レベルや最大の打拍レベルを基準にして相対的に打拍の強弱を判断するようにしてもよい。
【０２２３】
（第６の実施形態）
発音パターンはユーザ毎に異なる場合があるので、入力リズムパターンもユーザ毎に異なる場合がある。第６の実施形態では、ユーザ毎に異なるリズムパターンが登録されているリズム辞書について説明すると共に、ユーザが自らの入力リズムパターンに合致するように登録リズムパターンを編集することができるシステムについて説明する。
【０２２４】
図２６は、本発明の第６の実施形態に係る制御システム６００の構成およびそれが適用されるシステムの全体構成を示す図である。図２６において、第１の実施形態と同様の部分については、同一の参照符号を付し、説明を省略する。
【０２２５】
図２６において、システム全体は、制御システム６００と、エアコン２０１と、オーディオ２０２と、テレビ２０３と、カーナビゲーション２０４とを備える。制御システム６００は、リズム入力部６０１と、制御部６０２と、個人データ／リズム辞書格納部６０３と、出力部６０４と、認証部６０５とを含む。
【０２２６】
リズム入力部６０１は、デジタル入力デバイスであってもよいし、アナログ入力デバイスであってもよい。
【０２２７】
個人データ／リズム辞書格納部６０３は、ＲＡＭ、ＲＯＭまたはハードディスク等の記憶装置で構成される。個人データ／リズム辞書格納部６０３は、ユーザ毎に、リズム辞書テーブル、入力リズムパターン認識のために必要なパラメータ、およびフィードバック方法に関する設定情報を格納している。
【０２２８】
ここで、ユーザ毎に異なるリズム辞書テーブルは、予めユーザが制御内容名に合わせてリズムパターンを登録しておくことによって定義されているものとする。また、入力リズムパターン認識のために必要なパラメータ（以下、認識用パラメータという）とは、打拍、休拍レベルのしきい値（図３，図９参照）や、強拍、弱拍レベルのしきい値（図１６参照）、長音インターバル時間、終了インターバル時間など、リズム入力信号の時間変化を検知するために必要な情報のことをいう。
【０２２９】
また、フィードバック方法に関する設定情報（以下、フィードバック設定情報という）とは、ユーザにフィードバックする内容が画面表示であるのか、音声出力であるのか、振動であるのかを示す情報のことをいう。
【０２３０】
出力部６０４は、ディスプレイ等の画面装置、スピーカ、アンプ等の発声装置、バイブレータ等の振動装置などで構成され、ユーザの五感に何らかの刺激を与えるための体感装置である。
【０２３１】
認証部６０５は、ユーザ個人の認証を行う装置であり、その構成は認証方法によって異なる。認証方法としては、ユーザがパスワードを入力して認証する方法や、顔や虹彩・指紋などを画像認識することによって認証する方法、筆跡や声を入力して認証する方法などが挙げられる。本実施形態では、特にセキュリティを問題としていないので、単に、使用する前にユーザリストから自分の名前を選ぶといった認証方法のみを用いることとする。認証部６０５は、制御部６０２からの要求に応じ、ユーザを認証して特定し、その結果を制御部６０２に返す。
【０２３２】
制御部６０２は、ＣＰＵ、メモリなどで構成され、認証部６０５からの情報に基づいて使用するユーザを特定し、個人データ／リズム辞書格納部６０３に格納されている認識用パラメータを参照して、ユーザ毎に、リズム入力部６０１が出力したリズム入力信号を解析して入力リズムパターンを認識する。入力リズムパターンを認識するためのアルゴリズムは、上記第１〜第５の実施形態で用いたいずれのアルゴリズムであってもよい。制御部６０２は、個人データ／リズム辞書格納部６０３に格納されたユーザ別のリズム辞書テーブルを参照して、認識した入力リズムパターンに一致する登録リズムパターンが存在するか否かを判断する。一致する登録リズムパターンが存在する場合、制御部６０２は、その判断結果を出力部６０４を介してユーザにフィードバックし、車両内装置の動作を制御する。
【０２３３】
図２７は、ユーザがリズム入力部１０１内で動作することによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの制御部６０２の動作を示すフローチャートである。以下、図２７を参照しながら、制御部６０２の動作について説明する。
【０２３４】
まず、制御部６０２は、認証部６０５にユーザ個人を特定して認証するよう要求し、その認証結果を受け取る（ステップＳ７０１）。次に、制御部６０２は、リズム入力部６０１からの電気信号を受信するか否かに基づいて、ユーザによる入力があるか否かを判断する（ステップＳ７０２）。ユーザによる入力がない場合、制御部６０２は処理を終了する。一方、ユーザによる入力がある場合、制御部６０２は、個人データ／リズム辞書格納部６０３から、特定されたユーザに関する認識用パラメータを参照し（ステップＳ７０３）、ステップＳ７０４の動作に進む。
【０２３５】
ステップＳ７０４において、制御部６０２は、リズム入力部６０１からのリズム入力信号および参照した認証用パラメータに基づいて、リズムパターンを認識する。リズムパターンを認識するためのアルゴリズムは、上記第１〜第５の実施形態で用いたいずれのアルゴリズムであってもよいであってもよい。ユーザ別の認証用パラメータを用いることによって、制御部６０２は、打拍するタイミングの個人差や、打拍する強さの個人差を緩和して入力リズムパターンを認識することができる。
【０２３６】
次に、制御部６０２は、認識した入力リズムパターンに一致する登録リズムパターンが当該ユーザのリズム辞書テーブルに登録されているか否かを判断する（ステップＳ７０５）。一致する登録リズムパターンがある場合、制御部６０２は、そのリズムパターンに対応する制御内容を実行して、車両内装置の動作を制御し（ステップＳ７０６）、制御が成功したことを示すフィードバック信号をフィードバック設定情報と共に出力部６０４に出力し（ステップＳ７０７）、処理を終了する。一方、一致する登録リズムパターンがない場合、制御部６０２は認識に失敗したことを示すフィードバック信号をフィードバック設定情報と共に出力部６０４に出力し（ステップＳ７０８）、処理を終了する。出力部６０４は、制御部６０２からのフィードバック信号およびフィードバック設定情報に基づいて、認識に成功したか否かを音声や、映像、振動等によって、ユーザに伝える。
【０２３７】
図２８は、ユーザがリズム辞書テーブルの内容を確認・編集するときの制御部６０２の動作を示すフローチャートである。以下、図２２を参照しながら、ユーザがリズム辞書テーブルの内容を確認・編集するときの制御部６０２の動作について説明する。
【０２３８】
まず、制御部６０２は、リズム辞書の確認、編集作業に入ると、たとえば出力部６０４の画面上に「追加・修正」、「確認」、「削除」といった選択肢を表示させ、ユーザに項目を選択させる（ステップＳ８０１）。
【０２３９】
ステップＳ８０１において、ユーザが「追加」を選択した場合、制御部６０２は、出力部６０４の画面上に「文字による入力」、「リズムによる入力」といった選択肢を表示させ、ユーザの入力を待つ（ステップＳ８０２）。
【０２４０】
ステップＳ８０２において、ユーザがリズムによる入力を選んだ場合、制御部６０２は、リズム入力部６０１からのリズム入力信号を受信して（ステップＳ８０３）、入力リズムパターンを認識し（ステップＳ８０４）、ステップＳ８０７の動作に進む。ステップＳ８０４における入力リズムパターンの認識アルゴリズムは、第１〜第５の実施形態で説明したアルゴリズムのいずれであってもよい。
【０２４１】
ステップＳ８０２において、ユーザが文字による入力を選んだ場合、制御部６０２は、キーボード、音声認識部などの文字入力部（図示せず）を介して、ユーザからの文字入力を受け付け（ステップＳ８０５）、文字をリズムパターンに変換し（ステップＳ８０６）、ステップＳ８０７の動作に進む。ステップＳ８０６において、制御部６０２は、第１または第２の実施形態で示したように、入力文字を所定の単位に分割して、分割後の単位毎に所定の単位リズムパターンを割り当てることによって、入力文字をリズムパターンに変換する。
【０２４２】
ステップＳ８０７において、制御部６０２は、ステップＳ８０４またはＳ８０６で決定されたリズムパターンが、個人データ／リズム辞書格納部６０３に格納されている既存の登録リズムパターンと重複しているか否かをチェックする。取り得るリズムパターンの数は有限であるので、リズムパターンが重複する可能性がある。したがって、制御部６０２は、ステップＳ８０７のような判断を行う。
【０２４３】
重複している登録リズムパターンがある場合、制御部６０２は、ステップＳ８０２に戻って、入力をやり直すようユーザに促す。一方、重複しているリズムパターンがない場合、制御部６０２は、個人データ／リズム辞書格納部６０３に、新たなリズムパターンと制御内容とを登録し（ステップＳ８０８）、処理を終了する。なお、修正を行う場合、制御部６０２は、登録されている制御内容名に対応するリズムパターンを新たなリズムパターンに変更する。ここで、制御内容は、ユーザによって指定されてもよいし、制御部６０２がユーザに選択させてもよい。このように、制御部６０２は、直接リズムをユーザに動作させてリズムパターンを登録したり、ユーザに文字を入力させてリズムパターンを登録したりすることによって、リズム辞書テーブルの登録内容を編集する。
【０２４４】
ステップＳ８０１以降の動作説明に戻る。ステップＳ８０１において、ユーザが「確認」を選択した場合、制御部６０２は、出力部６０４にユーザが選択した登録リズムパターンを体感させて（ステップＳ８０９）、処理を終了する。具体的には、出力部６０４は、登録リズムパターンの打拍（強弱がある場合は強拍、弱拍）および／または休拍のテンポに従って、画面上にアニメーションパターンを表示したり、音声パターンを出力したり、振動パターンを出力したりする。これにより、ユーザは、登録リズムパターンを体感することができる。
【０２４５】
ステップＳ８０１において、ユーザが「削除」を選択した場合、制御部６０２は、選択されたリズムパターンが該当する項目を個人データ／リズム辞書格納部６０３から削除し（ステップＳ８１０）、処理を終了する。
【０２４６】
このように、第６の実施形態において、制御システムは、ユーザ毎に、リズム辞書テーブル、認識用パラメータ、およびフィードバック設定情報を登録しており、ユーザに応じて、参照すべき情報を変更するので、リズムを叩く癖やテンポ等、ユーザの個人差によってリズムパターンが認識されないといった状況を減らすことができる。
【０２４７】
また、制御システムはリズムパターンの認識結果をユーザに伝えることができるので、ユーザは、正しいリズムを入力したか否かを確認することができる。
【０２４８】
また、制御システムはユーザに登録リズムパターンを体感させることができるので、ユーザは、登録リズムパターンを学習することができる。
【０２４９】
さらに、制御システムは、ユーザによるリズム入力や文字入力に応じて、リズム辞書を編集することができる。したがって、カスタマイズされたリズム辞書の構築が可能となる。
【０２５０】
（第７の実施形態）
次に、本発明の第７の実施形態について説明する。第７の実施形態に係る制御システムの構成およびそれが適用されるシステムの全体構成は、第１の実施形態と同様であるので、図１を援用することとする。第７の実施形態では、より多くの機能にリズムパターンを割り当てるために、機能が階層的に定義されている。
【０２５１】
図２９は、第７の実施形態に係るリズム入力部１０１として、ステアリング３０１を叩くことによってアナログ波形のリズム入力信号を出力するアナログ入力デバイスを用いたときの、車内での取り付け位置を模式的に示す図である。本実施形態の特徴は、リズム入力部１０１が内部に２つ以上の入力デバイスを含んでいることである。ドライバが運転中に叩きやすいように、リズム入力部１０１は、ステアリング３０１の左部における叩くべき場所３０２Ｌと、右部における叩くべき場所３０２Ｒとを内蔵する。叩くべき場所３０２Ｌの近傍には、マイク部が内蔵されている。叩くべき場所３０２Ｒの近傍にも、別のマイク部が内蔵されている。なお、叩くべき場所が手探りでも見つけ出し易いように突起物や凹み部等が設けられていても良い。なお、図２９に示すものは、あくまで一例である。二つの入力デバイスは、左右以外に、上下など他の位置に配置されていてもよい。
【０２５２】
図３０は、リズム辞書格納部１０３に格納されているリズム辞書テーブルの一例を示す図である。ここでは、制御命令の内容を、大機能とその下に付随する小機能との２層の階層構造に分類している。
【０２５３】
左部の叩くべき場所３０２Ｌから入力されるリズムパターンは、大機能の入力に割り当てられている。右部の叩くべき場所３０２Ｒから入力されるリズムパターンは、小機能の入力に割り当てられている。たとえば、左部でリズム「ｘ−ｘｘ−ｘｘ」を叩くことによって、大機能「経路探索」が選択される。続いて、右部でリズム「ｘｘｘ」を叩くことによって、大機能「経路探索」に付随する小機能「自宅」が選択されることとなる。制御部１０２は、この二つの入力の組み合わせを解釈して、たとえば、カーナビゲーションに自宅までの経路を探索させ案内を開始させるなど、車両内装置の動作を制御する。
【０２５４】
図３１は、リズムパターン認識処理における制御部１０２の動作の詳細を示すフローチャートである。以下、図３１を参照しながら、リズムパターン認識処理における制御部１０２の動作について説明する。
【０２５５】
制御部１０２は、先頭のパターンを「ｘ」とし（ステップＳ９０１）、終了インターバル時間内に次の動作が入力されるか否かを判断する（ステップＳ９０２）。入力されない場合、制御部１０２は、処理を終了する。一方、入力する場合、制御部１０２は、叩かれた場所が、前回叩かれた場所と同じ側であるか否かを判断する（ステップＳ９０３）。
【０２５６】
違う側が叩かれた場合、制御部１０２は、次のパターンを「｜ｘ」と決定し（ステップＳ９０７）、ステップＳ９０２の動作に戻る。ここで「｜」は、単語の切れ目を表す符号であり、ユーザが叩く場所を切り替えたタイミングを示している。
【０２５７】
一方、叩かれた場所が前回と同じ側である場合、制御部１０２は、長音インターバル時間内であるか否かを判断し（ステップＳ９０４）、判断結果に応じて、パターンを「ｘ」または「−ｘ」として（ステップＳ９０５またはＳ９０６）、ステップＳ９０２の動作に戻る。
【０２５８】
上記のようにして、叩く場所が切り替わった場合、リズムパターンに「｜」が挿入される。制御部１０２は、一致パターンの有無を判断する際（、「｜」が挿入されているか否かを判断する。「｜」が挿入されている場合、制御部１０２は、大機能を実行中であるかそれとも小機能を実行中であるかを判断する。大機能を実行中の場合、制御部１０２は、小機能に登録されているリズムパターンとの一致を判断して、車両内装置を制御する。一方、小機能を実行中の場合、制御部１０２は、大機能に登録されているリズムパターンとの一致を判断して、車両内装置を制御する。
【０２５９】
このように、第７の実施形態において、制御システムは、叩く場所が切り替わった場合、階層の切り替えを示す符号を自動的に挿入する。制御システムは、階層切れ替えを示す符号が挿入されている場合、リズムパターンの一致を判断するためのリズム辞書を切り替えて、対応するリズム辞書を参照することによって、リズムパターンの一致を判断する。したがって、制御システムは、各階層の機能に応じた制御をすることが可能となる。また、機能が階層化されているので、制御システムが取り扱うことのできる制御内容の数を増やすことが可能となる。
【０２６０】
なお、ここでは２層の階層構造の例を示したが、３層に分類することも可能である。その場合、たとえば、最上位の層を左部、第２層を右部、第３層を再び左部の場所に割り当て、制御システムは、左部、右部、および左部を叩く順番に応じて、使用するリズム辞書を切り替えることとなる。たとえば、第１の階層での判断を実行中に左部から右部に切り替えられた場合、制御システムは、第１の階層から第２の階層に移行したと認識し、第２の階層での判断を実行中に右部から左部に切り替えられた場合、第２の階層から第３の階層に移行したと認識する。また、第３の階層での判断を実行中に左部から右部に切り替えられた場合、制御システムは、第３の階層から第１の階層に戻ったと認識する。
【０２６１】
同様に、階層構造は４層以上であってもよい。この場合も、制御システムは、現在実行中の階層および叩く場所の切り替え順番に基づいて、移行後の階層を認識し、当該階層に応じたリズム辞書を参照するようにすればよい。
【０２６２】
なお、第７の実施形態では、センサを左部と右部との２箇所に設けることとしたが、本実施形態の本質は、センサの切り替えを検知することであるので、そのため、センサの設置数は複数であればよく、２個であるとは限らない。
【０２６３】
なお、上記では、マイクを用いたリズム入力部をステアリングに設置することとしたが、第１の実施形態で示したその他のリズム入力部を車内の複数の場所に設置して、階層を切り替えるようにしてもよい。
【０２６４】
なお、第７の実施形態に係る制御システムを、第６の実施形態と同様、ユーザ別の設定を記憶する機能、フィードバックする機能を更に備えた構成にしてもよい。
【０２６５】
なお、第７の実施形態では、入力リズムパターンを認識するために、長音インターバル時間との比較に基づいた判断をする処理を示したが、当然、第２〜第５の実施形態で用いたような入力リズムパターン認識処理に階層構造を認識するための処理を施すこととしてもよい。
【０２６６】
具体的には、第２の実施形態におけるリズムパターン認識処理において、制御システムは、終了インターバル時間内に次の動作が入力されたか否かを判断した（図１３、ステップＳ３０４参照）後、前回と同じ場所が叩かれたか否かに基づいて、切り替えを判断し、打拍の強弱に応じて、リズムパターンを決定すればよい。
【０２６７】
また、第３の実施形態における入力リズムパターン認識処理において、制御システムは、動作インターバル時間を記録する際（図１４、ステップＳ４０１参照）、センサの切り替えも判断して記録し、ステップＳ４０５以降の処理において、階層毎にリズムパターンを認識するようにすればよい。第４および第５の実施形態についても同様である。
【０２６８】
（その他の実施形態）
本願発明は、上記各実施形態に記述された内容に限定して狭く解釈するものであってはならない。
【０２６９】
まず、リズム入力部を設置する場所は特に限定されるものではない。たとえば、椅子の肘掛け部、インパネ内、後部座席、ステアリングとインパネ部との間など、リズム入力部は、従来の操作デバイス同様、あらゆる場所に設置されてよい。
【０２７０】
さらに、上記各実施形態では、車両内装置の制御を例にとって説明したが、本発明の適用範囲は車載用のシステムにとどまるものではない。例えば、テレビやビデオなどの家庭内の機器にリズム入力部を設けることによっても、同様に、ユーザは、リズム入力でこれらの機器を操作することができる。
【０２７１】
また、リズム入力部と機器との間の通信は、無線で行われてもよいし、有線で行われてもよい。たとば、無線で通信する場合、リズム入力部は、機器本体ではなく、リモートコントローラ上に設けられているとよい。
【０２７２】
また、上記各実施形態では、制御システムは、各装置とは別個に存在することとしたが、各装置内部に組み込まれていてもよい。たとえば、コンピュータ上において、上記各実施形態における制御部をＣＰＵ上で制御プログラムを実行して実現するようにし、リズム入力部をマウスやキーボードおよび画面に表示される仮想的な入力パッドによって実現し、リズム辞書をハードディスクに格納して実現するようにしてもよい。そして、当該入力パッド上で、マウス等を上下左右等に動かしてリズムを入力し、ＰＣ上で各種ソフトウエアの起動や命令の実行をするようにするとよい。
【０２７３】
たとえば、ワープロソフトを起動させたい場合、ユーザは、仮想入力パッド上でマウスを「ワープロ」という言葉から発するリズムに従って上下に動かす。制御プログラムを実行中のＣＰＵは、リズム辞書と比較して、その結果に応じてワープロソフトを起動させればよい。このＰＣ上の制御プログラムは、図６に示すような動作をＣＰＵにさせるためのプログラムである。即ち、図６におけるステップＳ１０５を、リズムパターンが一致する場合、該当するソフトウエアを実行するという動作に置き換えるだけでよい。この場合、制御システムは、リズムパターンの入力により、各種ソフトウエアを起動させたり、命令を実行させたりすることが可能な、コンピュータ装置上で実行される制御プログラムとして提供されることとなる。
【産業上の利用可能性】
【０２７４】
以上のように、本発明に係る制御システムは、少数の操作デバイスを利用したユーザからの操作指示によって、確実に所望の機能を実行することができ、各種装置を制御するためのシステム等に有用である。
【図面の簡単な説明】
【０２７５】
【図１】本発明の第１の実施形態に係る制御システム１００の構成およびそれが適用されるシステムの全体構成を示す図
【図２】リズム入力部１０１の具体的構成の一例を模式的に示す図
【図３】図２に示すリズム入力部１０１から出力されるリズム入力信号の波形を模式的に示す図
【図４】ルールテーブルの一例を示す図
【図５】リズム辞書テーブルの一例を示す図
【図６】ユーザがリズム入力部１０１内で動作することによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの動作を示すフローチャート
【図７】入力リズムパターン認識処理（ステップＳ１０２）における制御部１０２の詳細な動作を示すフローチャート
【図８】ハイレベルのリズム入力信号を出力し続ける入力デバイスを用いたときのリズム入力信号の波形を示す図
【図９】レーダや超音波などを利用したリズム入力部から出力されるリズム入力信号の波形を模式的に示す図
【図１０】照射受光型のリズム入力部の構成を模式的に示す図
【図１１】受光部４０２ａから出力される電気信号の波形を示す図
【図１２】カメラ型のリズム入力部の構成を模式的に示す図
【図１３】画像認識部４０５の動作を示すフローチャート
【図１４】画像認識部４０５の動作を具体的に説明するための図
【図１５】音声を用いるリズム入力部の構成を模式的に示す図
【図１６】第２の実施形態におけるリズム入力部１０１から出力されるリズム入力信号の波形を模式的に示す図
【図１７】第２の実施形態におけるルールテーブルの一例を示す図
【図１８】第２の実施形態におけるリズム辞書テーブルの一例を示す図
【図１９】入力リズムパターン認識処理における第２の実施形態に係る制御部１０２の詳細な動作を示すフローチャート
【図２０】入力リズムパターン認識処理における第３の実施形態に係る制御部１０２の詳細な動作を示すフローチャート
【図２１】ステップＳ４０１において記憶された動作インターバル時間の配列Ｔｉの一例を示す図
【図２２】ステップＳ４０５において想定したリズムパターンが適切でなかった場合の時間分布の一例を示す図
【図２３】ステップＳ４０５において想定したリズムパターンが適切であった場合の時間分布の一例を示す図
【図２４】入力リズムパターン認識処理における第４の実施形態に係る制御部１０２の詳細な動作を示すフローチャート
【図２５】入力リズムパターン認識処理における第５の実施形態に係る制御部１０２の詳細な動作を示すフローチャート
【図２６】本発明の第６の実施形態に係る制御システム６００の構成およびそれが適用されるシステムの全体構成を示す図
【図２７】ユーザがリズム入力部１０１内で動作することによって入力したリズムを制御部１０２が認識して、車両内装置の動作を制御するときの制御部６０２の動作を示すフローチャート
【図２８】ユーザがリズム辞書テーブルの内容を確認・編集するときの制御部６０２の動作を示すフローチャート
【図２９】第７の実施形態に係るリズム入力部１０１として、ステアリング３０１を叩くことによってアナログ波形のリズム入力信号を出力するアナログ入力デバイスを用いたときの、車内での取り付け位置を模式的に示す図
【図３０】リズム辞書格納部１０３に格納されているリズム辞書テーブルの一例を示す図
【図３１】リズムパターン認識処理における制御部１０２の動作の詳細を示すフローチャート
【符号の説明】
【０２７６】
１００，６００  制御システム
１０１，６０１  リズム入力部
１０２，６０２  制御部
１０３  リズム辞書格納部
２０１  エアコン
２０２  オーディオ
２０３  テレビ
２０４  カーナビゲーション
４０１，４０１ａ  発光部
４０２，４０２ａ  受光部
４０３  目印
４０４  反転部
４０１ｂ  カメラ部
４０５  画像認識部
４０１ｃ  マイク部
４０６，３０２Ｌ，３０２Ｒ  叩くべき場所
６０３  個人データ／リズム辞書格納部
６０４  出力部
６０５  認証部
３０１  ステアリング
【図１】
2005227628.tif 000003
【図２】
2005227628.tif 000004
【図３】
2005227628.tif 000005
【図４】
2005227628.tif 000006
【図５】
2005227628.tif 000007
【図６】
2005227628.tif 000008
【図７】
2005227628.tif 000009
【図８】
2005227628.tif 000010
【図９】
2005227628.tif 000011
【図１０】
2005227628.tif 000012
【図１１】
2005227628.tif 000013
【図１２】
2005227628.tif 000014
【図１３】
2005227628.tif 000015
【図１４】
2005227628.tif 000016
【図１５】
2005227628.tif 000017
【図１６】
2005227628.tif 000018
【図１７】
2005227628.tif 000019
【図１８】
2005227628.tif 000020
【図１９】
2005227628.tif 000021
【図２０】
2005227628.tif 000022
【図２１】
2005227628.tif 000023
【図２２】
2005227628.tif 000024
【図２３】
2005227628.tif 000025
【図２４】
2005227628.tif 000026
【図２５】
2005227628.tif 000027
【図２６】
2005227628.tif 000028
【図２７】
2005227628.tif 000029
【図２８】
2005227628.tif 000030
【図２９】
2005227628.tif 000031
【図３０】
2005227628.tif 000032
【図３１】
2005227628.tif 000033