(57)【要約】【課題】  ユーザが複雑な装置や楽器などを操作・学習したりする際に、その操作を支援するガイド情報をプロジェクタから投影することができる操作支援システムを提供する。【解決手段】  ユーザが操作手段を用いて行う操作手順を支援する操作支援システムであって、カメラ（撮像手段）3が、あらかじめピアノ1の操作手段（鍵盤）を含む近傍の領域を撮像する。そして、プロジェクタ（投影手段）2が、カメラ（撮像手段）3によって撮像された画像情報からユーザの操作すべき操作手段（鍵盤）の位置を検出し、検出された操作手段（鍵盤）の位置に所与の情報（例えば、ライトスポット）を投影する。このとき、PC5は、CD-ROM4に記録されている楽譜情報に基づいて、プロジェクタ（投影手段）2やカメラ（撮像手段）3の位置を制御するので、プロジェクタ（投影手段）2はその楽譜情報に合わせて操作手段（鍵盤）の位置に所与の情報（ライトスポット）を投影することができる。【選択図】      図１
2005300971.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが操作手段を用いて行う操作手順を支援するための操作支援システムであって、
前記操作手段を含む近傍の領域を撮像する撮像手段と、
前記撮像手段によって撮像された画像情報からユーザの操作すべき前記操作手段の位置を検出し、検出された前記操作手段の位置に所与の情報を投影する投影手段と、
を備えることを特徴とする操作支援システム。
【請求項２】
前記投影手段は、操作手順に従ってユーザが操作する前記操作手段の位置に、順次、前記所与の情報を投影することを特徴とする請求項１に記載の操作支援システム。
【請求項３】
前記投影手段は、ユーザの操作結果に応じて前記操作手段の位置に所与の情報を投影することを特徴とする請求項１または請求項２に記載の操作支援システム。
【請求項４】
前記投影手段は、ユーザの操作結果があらかじめ期待された操作内容と異なるときは、その旨を明らかにする所与の情報を投影することを特徴とする請求項３に記載の操作支援システム。
【請求項５】
前記投影手段は、前記操作手段による操作手順を示す文字情報及び画像情報の少なくとも一方の情報を、該操作手段の位置またはその近傍に投影することを特徴とする請求項１乃至請求項４の何れかに記載の操作支援システム。
【請求項６】
前記文字情報及び前記画像情報は、操作手順の進行に伴って表示内容が変化することを特徴とする請求項５に記載の操作支援システム。
【請求項７】
前記文字情報及び前記画像情報は、楽譜またはその楽譜を含む文書及び画像であることを特徴とする請求項５または請求項６に記載の操作支援システム。
【請求項８】
前記所与の情報は、ライトアップされた照明によるガイド情報であることを特徴とする請求項１乃至請求項７の何れかに記載の操作支援システム。
【請求項９】
ユーザが操作手段を用いて行う操作手順を支援するための操作支援方法であって、
撮像手段が前記操作手段を含む近傍の領域を撮像する手順と、
前記撮像手段によって撮像された画像情報に画像処理を施し、投影対象となる投影位置を決定する手順と、
前記投影位置にガイド情報を投影するためのタイミングと位置情報とを定めた操作手順情報を取得する手順と、
前記投影位置の情報と前記操作手順情報とに基づいて、前記操作手段へ前記ガイド情報を投影する手順と
を含むことを特徴とする操作支援方法。
【請求項１０】
さらに、ユーザの操作内容を検知して画像処理を行い、操作結果によって発生する事象を検知・分析する手順を含むことを特徴とする請求項９に記載の操作支援方法。
【請求項１１】
前記ガイド情報は、前記操作手段における操作すべき位置を示す情報と、操作を支援するための文字情報及び画像情報の少なくとも一つであることを特徴とする請求項１０に記載の操作支援方法。
【請求項１２】
前記文字情報及び前記画像情報は、操作手順が進行するに従って自動的に変化して行くことを特徴とする請求項１１に記載の操作支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが操作を行う対象物にガイド情報を表示させて操作を支援する操作支援システム及び操作支援方法に関し、特に、ユーザが複雑な機械や楽器などを操作・学習する際に、その都度、ガイド情報を表示させて操作・学習を支援する操作支援システム及び操作支援方法に関する。
【背景技術】
【０００２】
従来、博物館や美術館などにおいて、床上に行き先案内の矢印などを投影して顧客に最適な観覧経路を指示する顧客案内システムが利用されている。また、行き先情報を記録した無線ＩＣカードを顧客に所持させることによりコンピュータがその無線ＩＣカードの情報を読み取り、プロジェクタが行き先に応じて進むべき方向を矢印などによって顧客の足元に投影して道案内を行う案内システムも実用化されている。例えば、大きな病院などにおいて、外来患者が内科の行き先案内を示す無線ＩＣカードを所持して病院内を歩くと、内科への道順をその外来患者の足元に投影するので、患者は迷うことなく目的の内科窓口へ辿り着くことができる。さらには、ハンディなプロジェクタを目標物に照らすとカメラがその場所を認識し、プロジェクタがその場所で行うべき操作内容（例えば、照らされた場所のコンセントにどの電子機器を差し込むかを示す操作内容）を表示する技術も報告されている。
【０００３】
また、近年は家電製品が多機能なものになっているので、家電製品本体やリモコン上の操作すべきボタン類は非常に多数になっている。したがって、ボタン自身が発光・点滅するようになっていて、次に操作すべきボタンを発光させたり点滅させたりすることによってユーザの操作を支援するような家電製品も広く市販されている。さらに、演奏内容に合わせて次に操作する鍵盤が光るように構成された電子ピアノや電子オルガンなどの技術も報告されている（例えば、特許文献１参照）。また、次に叩くべき鍵盤を示すだけでなく、音符の長さや音の強弱に関する情報などを提示できるような電子楽器の技術も報告されている（例えば、特許文献２参照）。
【特許文献１】特開平８−９５５６０号公報
【特許文献２】特開２００１−１８４０６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、床上に矢印を投影して道案内を行う案内システムは、あらかじめ設定されたパターンに沿って所定の道案内を行うだけの単純なシステムであるので、複雑な機械や楽器などの操作・学習を支援する技術に展開することはできない。当然のことながら、無線ＩＣカードを用いで道案内を行うシステムにおいても顧客の所望する複雑な操作を支援する技術に応用することはできない。つまり、無線ＩＣカードを用いで道案内を行うシステムでは、ユーザにボタン等の操作をさせたい場合に、それをわかりやすく表現する手段がないので、矢印の投影という限られた情報しか提示することができない。また、ボタンを発光・点滅させて操作を支援する家電製品においても、ボタン類自体に発光・点滅する仕組みが組み込まれていなければ、そのボタン類を発光・点滅させることはできない。しかも、このようなボタンの発光・点滅の方法では、光の色を変えたり点灯・点滅する時間間隔を変える程度の情報しかユーザに提示することができない。また、特許文献１や特許文献２に提示された電子楽器については、予め表示すべきパターンを複数用意しておいて、それを機械的に切り替えて情報を提示するという方法になっているため、極めて限定された情報しか提示することができない。同様にして、プロジェクタを目標物に照らしてその場所で行うべき操作内容を表示させる技術においても、コンセントに差し込む電子機器の種類を提示する程度の単純な情報しかユーザに提示することができない。
【０００５】
本発明は、以上のような問題点に鑑みてなされたものであり、ユーザが複雑な装置や楽器などを操作したり学習したりする際に、その操作を支援するガイド情報をプロジェクタから投影することのできるような操作支援システム及び操作支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、前記の目的を達成するために創案されたものであり、ユーザが操作手段を用いて行う操作手順を支援するための操作支援システムであって、操作手段を含む近傍の領域を撮像する撮像手段と、その撮像手段によって撮像された画像情報からユーザの操作すべき操作手段の位置を検出し、検出された操作手段の位置に所与の情報を投影する投影手段とを備えることを特徴とする。
【０００７】
本発明の操作支援システムによれば、撮像手段が、ユーザの操作する操作手段を含む近傍の領域をあらかじめ撮像すると、投影手段が、撮像手段によって撮像された画像情報からユーザの操作すべき操作手段（例えば、ピアノの鍵盤）の位置を検出してその位置に所与の情報を投影するので、ユーザは、所与の情報が投影された位置に従って操作手段（ピアノの鍵盤）を操作することができる。これによって、ユーザに対して正確な操作手順を示す情報を提供して操作の支援を行うことができる。
【０００８】
また、本発明においては、投影手段は、操作手順に従ってユーザが操作する操作手段の位置に、順次、所与の情報を投影することを特徴とする。つまり、本発明の操作支援システムによれば、ユーザが操作手段（例えば、ピアノの鍵盤）を所定の手順に従って順次操作（演奏）する際、操作手段（ピアノの鍵盤）の操作手順（例えば、鍵盤を押すタイミングや順序、以下これを「演奏順序」と説明する）に従って所与の情報が投影されるので、ユーザは投影された所与の情報に従って所望の操作（例えば、ピアノ演奏）を行うことができる。これによって、ユーザに対してピアノ練習などの支援を適切に行うことができる。
【０００９】
また、本発明においては、投影手段は、ユーザの操作結果に応じて操作手段の位置に所与の情報を投影することを特徴とする。例えば、操作手順（演奏順序）が正しければ次々と操作手段（ピアノの鍵盤）に所与の情報を投影して行き、操作結果（例えば、鍵盤の押し方）が誤っていたり、曖昧であったりする場合はその旨を示す内容の情報を投影するので、ユーザに対してきめ細かな操作支援（演奏支援）を行うことができる。
【００１０】
また、本発明においては、投影手段は、ユーザの操作結果があらかじめ期待された操作内容と異なるときは、その旨を明らかにする所与の情報を投影することを特徴とする。つまり、操作手順（演奏順序）が間違っているときは、その間違いを指摘するような所与の情報を投影するので、ユーザに対してきめ細かな操作支援（演奏支援）を行うことができる。
【００１１】
また、本発明においては、投影手段は、操作手段による操作手順を示す文字情報及び画像情報の少なくとも一方の情報を操作手段の位置またはその近傍に投影することを特徴とする。つまり、本発明の操作支援システムによれば、操作手段に所与の情報を投影するだけでなく、文字情報や画像情報（例えば、楽譜など）を併せて表示するので、さらにきめ細かな操作支援（演奏支援）を行うことができる。
【００１２】
また、本発明においては、文字情報及び画像情報は、操作手順の進行に伴って表示内容が変化することを特徴とする。例えば、演奏が進行するに従って譜面上の楽譜の表示内容を変えて行くので、ユーザは表示された楽譜に従って演奏練習を行うことができる。
【００１３】
また、本発明においては、文字情報及び画像情報は、楽譜またはその楽譜を含む文書及び画像であることを特徴とする。つまり、本発明によれば、ユーザがピアノなどの練習を行う場合に、操作手段（ピアノの鍵盤）に投影された所与の情報と共に、楽譜、文書、画像などが表示されるので、ユーザは手取り足取りの分かりやすい演奏練習を行うことができる。
【００１４】
また、本発明においては、所与の情報は、ライトアップされた照明によるガイド情報であることを特徴とする。つまり、操作手段（ピアノの鍵盤など）の操作位置にライトアップされた照明によるガイド情報が表示されるので、ユーザにとって使い勝手のよい操作支援（演奏支援）を行うことができる。
【００１５】
また、本発明の操作支援方法は、ユーザが操作手段を用いて行う操作手順を支援するための操作支援方法であって、撮像手段が操作手段を含む近傍の領域を撮像する手順と、撮像手段によって撮像された画像情報に画像処理を施し、投影対象となる投影位置を決定する手順と、投影位置にガイド情報を投影するためのタイミングと位置情報とを定めた操作手順情報を取得する手順と、投影位置の情報と操作手順情報とに基づいて操作手段へガイド情報を投影する手順とを含むことを特徴とする。このような操作支援方法により、ユーザにきめ細かな操作支援情報を提供することができる。
【００１６】
また、本発明の操作支援方法は、さらに、ユーザの操作内容を検知して画像処理を行い、操作結果によって発生する事象を検知・分析する手順を含むことを特徴とする。このようにして、操作結果を検知・分析してユーザにフィードバックすれば、ユーザは次の操作をより適切に行うことができる。
【００１７】
また、本発明の操作支援方法においては、ガイド情報は操作手段における操作すべき位置を示す情報と、操作を支援するための文字情報及び画像情報の少なくとも一つであることを特徴とする。このように、ガイド情報として操作手段の位置情報と共に文字情報及び画像情報を投影すれば、より適切なガイド情報をユーザに提供することができる。
【００１８】
また、本発明の操作支援方法においては、文字情報及び前記画像情報は、操作手順が進行するに従って自動的に変化して行くことを特徴とする。つまり、投影する文字情報及び画像情報の内容を操作の進行に従って適切に変えて行けば、より適切なガイド情報をユーザに提供することができる。
【発明の効果】
【００１９】
本発明の操作支援システム及び操作支援方法は、投影位置を決めるためにあらかじめカメラ（撮像手段）で投影対象を撮像し、その撮像内容を画像処理することによって投影位置を決めている。次に、どのタイミングでどの操作手段の位置にガイド情報を投影するかを定めた操作手順の情報を取得している。例えば、楽器演奏で言えば楽譜情報を取得する。そして、ユーザが投影されたガイド情報に従って操作した操作内容そのもの（例えば、楽器で言えば演秦内容）を画像として検知する。さらに、操作内容の検知結果を画像処理することによってユーザの手や指の動きを取得している。あるいは、ユーザの操作結果で発生した事象（例えば、楽器で言えば、操作の結果発せられた音の高さやタイミングなど）を検知・分析している。これによって、ユーザに対して適切な操作支援（演奏支援）を行うことができる。なお、操作対象となる操作手段を直接照らすだけでなく、楽譜のようなものをあわせて投影することもできる。この場合、演奏が進むにつれて自動的にページがめくられるように表示内容を変えることにより、一層使い勝手のよい操作支援システムを構築することができる。
【００２０】
また、本発明によれば、対象物が電気的、光学的な発光手段を持たない装置であっても、その操作方法などをプロジェクタによって投影して指示することができる。さらに、ユーザの操作内容を検知して視覚的なフィードバック情報を表示することもできる。また、プロジェクタを用いているためにその他の様々な情報もあわせて提示することもできる。これにより、ユーザにとっては極めて使い勝手のよい操作支援システムを構築することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照しながら、本発明における操作支援システムの実施の形態を詳細に説明するが、まず、本発明における操作支援システムの概要について述べる。本発明の操作支援システムは、複雑な機械を操作したりピアノなどの楽器の演奏を学習したりする際に、その操作や演奏学習を支援するために、プロジェクタを用いてその時点における操作対象の部品、ボタン、キー、鍵盤などをライトアップしたり、操作対象の位置に文字や絵などの付加情報を投影したりすることにより、ユーザにガイド情報を伝えるように構成されていることを特徴としている。つまり、本発明の操作支援システムでは、プロジェクタを単なるスクリーンへの投影装置として用いるのではなく、必要な情報を投影してユーザを導くというガイド情報提供の用途に用いている。
【００２２】
つまり、プロジェクタを用いてユーザの所望するガイド情報を投影するという観点から、一例として楽器演奏を例にたとえると、次のような幾つかのガイド情報をユーザに提供することができる。（１）操作対象である叩くべき鍵盤をプロジェクタでライトアップする。（２）ユーザの操作結果が正しかったか否かによって表示色を変えたり点滅させたりして表示内容を変える。（３）楽譜などの操作指示書と操作対象である叩くベき鍵盤とを共に投影して楽器の演奏補助を行う。なお、本発明における操作支援システムは楽器演奏の支援に限定するものではないが、以下の実施の形態では、理解を容易にするためにピアノを用いて楽器の演奏補助を行う場合を例にして説明を行う。つまり、本発明の操作支援システムとして、ピアノの楽譜情報から叩くべき鍵盤を明るく照らすことによって演奏補助を行う場合について幾つかの実施の形態を説明する。
【００２３】
＜第１の実施の形態＞
第１の実施の形態では、操作支援システムとして、ピアノ上の投影すべき位置を決める手法と投影された情報に基づいて鍵盤操作を行う手法につい説明する。なお、以下、各実施の形態で用いる図面において同一の構成要素は同一の符号を付すことにする。
【００２４】
図１は、本発明における第１の実施の形態の操作支援システムに適用されるピアノ演奏支援の構成を示す概念図である。この操作支援システムは、ユーザの操作対象であるピアノ１と、ピアノ１の鍵盤の近傍を照らすことができる位置に設置されたプロジェクタ２と、プロジェクタ２の投影範囲を撮像することができる位置に設置されたカメラ３と、これらのプロジェクタ２とカメラ３を制御しながら、ＣＤ−ＲＯＭ４などに記録された楽譜情報に基づいて、正確なタイミングでプロジェクタ２がピアノ１の所望の位置を照らような処理を実行するパーソナルコンピュータ（以下、ＰＣという）５とを含んだ構成となっている。
【００２５】
次に、図１に示す操作支援システムを用いた鍵盤の支援動作について簡単に説明する。図２は、図１に示す操作支援システムにおけるカメラの撮影範囲を示す図である。つまり、図1の操作支援システムにおいては、図２に示すように、カメラ３はユーザの操作対象である鍵盤１ａを撮影視野に納める位置に設置される。これにより、カメラ３は鍵盤１ａの何れが押されたかを常に撮像しながら監視することができる。
【００２６】
図３は、図１に示す操作支援システムにおけるプロジェクタの投影範囲を示す図である。図３では、わかりやすいように投影されているピアノ１の部分に影が付けてある。なお、プロジェクタ２は上からピアノ1を投影しているために、プロジェクタ２から遠い部分である床は投影範囲が広く、近い部分である鍵盤１ａの近傍は投影範囲が狭くなっている。
【００２７】
図４は、図１に示す操作支援システムにおいて、プロジェクタから５つの鍵盤に丸いガイドスポットを投影した状態を示す概念図である。ユーザはプロジェクタ２から鍵盤１ａに投影されたガイドスポットａ，ｂ，ｃ，ｄ，ｅに従って鍵盤１ａを叩くことによって希望する曲の演奏学習を行うことができる。例えば、ある曲に合わせて、ガイドスポットがａ→ｅ→ｃ→ｂ→ｄと云う順に点灯（または点滅）して行くので、ユーザに対して所望の曲の演奏学習を支援することができる。
【００２８】
図１に示す操作支援システムがこのような演奏学習の支援動作を行うためには、最初にプロジェクタ１の投影位置の校正を行う必要がある。そこで、プロジェクタ１の投影位置の校正を行う手法を以下に説明する。
【００２９】
図５は、本発明の操作支援システムにおいてプロジェクタの投影位置を校正するための構成を示すブロック図である。つまり、プロジェクタの投影位置を校正するためのユーザ操作支援システムは、プロジェクタ（投影手段）２とカメラ（撮像手段）３とＰＣ５とを備えた構成において、ＰＣ５は、ＰＣ全体の制御を行う制御部１１、撮像手段（カメラ）３が撮像した画像の処理を行って操作対象位置を決定する画像処理部１２、プロジェクタ（投影手段）２のスクリーン座標である操作手段投影位置情報を格納する操作手段投影位置情報ＤＢ１３、鍵盤１ａなどの操作手段の形状情報を格納する操作手段形状情報ＤＢ１４、及び撮像手段（カメラ）３で取り込んで校正用投影パターンを格納する校正用投影パターン情報ＤＢ１５を備えている。なお、ＤＢはデータベースの略である。
【００３０】
次に、プロジェクタ（投影手段）２の投影位置を校正するときの動作について説明する。図５において、まず、撮像手段（カメラ）３によって図２に示すように操作対象（鍵盤１ａ）の画像を撮像してＰＣ５へ送信する。すると、ＰＣ５は、制御部１１を介してその撮像情報を画像処理部１２へ転送する。これによって、画像処理部１２は、操作手段形状情報ＤＢ１４に格納されている操作手段（つまり、鍵盤１ａ）の形状情報に基づいて、撮像手段（カメラ）３によって撮像された画像から特徴点を抽出してマッチングを行い、撮像手段（カメラ）３の座標における操作対象の位置（つまり、鍵盤１ａの位置）を決定し、その位置座標を自己のメモリにマッピングする。このとき、制御部１１は、撮像手段（カメラ）３が撮像した操作手段（鍵盤１ａ）の位置座標が、プロジェクタ（投影手段）２における投影座標のどの画素に対応するかを調べ、撮像手段（カメラ）３による操作手段（鍵盤１ａ）の位置座標とプロジェクタ（投影手段）２の投影座標との対応関係を操作手段投影位置情報ＤＢ１３へ記録しておく。
【００３１】
図６は、図５に示す投影位置を校正するための構成図において、撮像手段（カメラ）が投影結果を取り込んで校正を行う状態を示す概念図である。つまり、図６に示すように、制御部１１は、操作手段（鍵盤１ａ）の校正用投影パターンを投影手段（プロジェクタ）２に投影させ、その投影結果を撮像手段（カメラ）３に取り込ませる。さらに詳しく説明すると、図６（ｂ）に示すように、投影手段（プロジェクタ）２の投影範囲であるピアノ１における鍵盤１ａの全体像を撮像手段（カメラ）３で撮像し、図６（ａ）に示すように、ハイライト部分Ｓを撮像手段（カメラ）３で取り込んで校正用投影パターン情報とする。
【００３２】
つまり、図６（ａ）は投影位置の校正を行うための校正用投影パターンであって、投影手段（プロジェクタ）２による投影範囲の所望の部分（つまり、ハイライト部分Ｓ）だけを明るくし、それを撮像手段（カメラ）３で撮像することによって、投影手段（プロジェクタ）２のスクリーン座標の明るい部分がカメラ座標のどの部分に対応し、かつ、その結果、操作手段（鍵盤１ａ）のどの部分に対応するかを決定することができる。このようにして、投影パターンの明色部分を図６（ｂ）の鍵盤１ａ上で順次スキャンして行くことによって、投影手段（プロジェクタ）２の座標と投影対象である操作手段（鍵盤１ａ）の位置の対応関係を調べることができる。例えば、図６（ｂ）の鍵盤１ａ上を１６分割してスキャンし、投影手段（プロジェクタ）２の座標と投影対象である操作手段（鍵盤１ａ）の位置の対応関係を校正して行く。このようにして、図５に示す制御部１１は、校正時において操作手段投影位置情報を操作手段投影位置情報ＤＢ１３に格納しておく。
【００３３】
図７は、本発明の第１の実施の形態において、操作支援システムを用いて鍵盤の支援動作を行うための構成を示すブロック図である。つまり、鍵盤の支援動作を行うための第１の実施の形態の操作支援システムは、プロジェクタ（投影手段）２とカメラ（撮像手段）３とＰＣ５とを備えた構成において、ＰＣ５は、ＰＣ全体の制御を行う制御部１１と、投影すべき画像に色・大きさ・形などの情報を付加して投影画像を生成する投影画像生成部１６と、プロジェクタ（投影手段）２のスクリーン座標である操作手段投影位置情報を格納する操作手段投影位置情報ＤＢ１３と、投影すべき画像の色や大きさや形などの情報を格納する表示用投影パターン情報ＤＢ１７とを備えている。
【００３４】
次に、図７のユーザ操作支援システムを用いて鍵盤の操作支援を行う動作について説明する。実際に鍵盤の支援動作を行うときには、まず、ユーザは、これから演奏しようとする楽譜情報を、例えばＭＩＤＩ（Musical Instrument Digital Interface）１８形式のデータフォーマットでＣＤ−ＲＯＭ等のメディアやネットワークから、ＰＣ５の制御部１１へ入力する。ＭＩＤＩデータ形式は、キーオン（鍵盤を押し下げて音を出し始める命令）やキーオフ（鍵盤を離して音を止める）などのイベントがとのタイミングで発生するかを記述する形式のデータであるため、鍵盤操作の支援情報としてふさわしいデータである。制御部１１は、入力された楽譜情報および校正時に操作手段投影位置情報ＤＢ１３に格納された操作手段投影位置情報に基づいて投影すべき画像を投影画像生成部１６で生成させる。そして、制御部１１を介して、投影手段（プロジェクタ）２から操作手段（鍵盤１ａ）へ、投影すべき画像（つまり、鍵盤１ａのガイドスポットなど）を投影する。
【００３５】
なお、投影画像生成部１６は、表示用投影パターン情報ＤＢ１７から色や大きさや形などのデータを取得して、投影すべき画像に色・大きさ・形などの情報を付加して投影させることもできる。また、動作時における撮像手段（カメラ）３は、ユーザが支援通りに操作を行ったか否かの監視を常時行っている。このようにして、操作支援システムを用いた鍵盤の支援動作においては、楽譜情報や校正時に生成された操作手段投影位置情報や表示用投影パターン情報などによって投影すべき画像を生成し、この画像をプロジェクタ（投影手段）２によって操作手段（鍵盤１ａ）に投影することにより鍵盤１ａの操作を適切に支援することができる。
【００３６】
＜第２の実施の形態＞
第２の実施の形態では、ユーザが演奏する鍵盤操作を検出してそれに応じた表示を行う例について説明する。鍵盤操作を検出する手段としては、撮像手段（カメラ）を用いて画像判定を行ってもよいし、鍵盤操作の結果である音を検出して周波数などを分析してもよい。
【００３７】
図８は、本発明における第２の実施の形態の操作支援システムに適用されるピアノ演奏の構成を示す概念図である。図８に示す第２の実施の形態の操作支援システムが図１に示す第１の実施の形態と異なるところは、マイク６が追加されているところのみである。従って、重複する部分の説明は省略する。図８において、カメラ３によって撮像された画像情報とマイク６によって収録された音情報との少なくとも一方の情報に基づいてユーザが演奏時に操作した鍵盤がどれであるかを検出する。
【００３８】
図９は、本発明の第２の実施の形態において、操作支援システムを用いて鍵盤の支援動作を行うための構成を示すブロック図である。つまり、鍵盤の支援動作を行うための第２の実施の形態の操作支援システムは、プロジェクタ（投影手段）２とカメラ３やマイク６などのセンサであるユーザ操作検出手段１９とＰＣ５とを備えた構成において、ＰＣ５は、ＰＣ全体の制御を行う制御部１１と、投影すべき画像に色・大きさ・形などの情報を付加して投影画像を生成する投影画像生成部１６と、プロジェクタ（投影手段）２のスクリーン座標である操作手段投影位置情報を格納する操作手段投影位置情報ＤＢ１３と、投影すべき画像の色や大きさや形などの情報を格納する表示用投影パターン情報ＤＢ１７と、ユーザによってどの鍵盤が操作されたかを判定するユーザ操作判定手段２０とを備えている。
【００３９】
なお、ユーザ操作判定手段２０は、画像情報が検出されたのであれば、あらかじめ保持されているユーザの手が写っていない参照用画像と検出された画像情報との差分を取ることにより、鍵盤操作中において何処に手があるか検出することができる。さらに、鍵盤のエッジの位置を画像情報から抽出することによって、どの鍵盤が操作されたかを計算することもできる。
【００４０】
一方、マイク６によって音情報を検出したのであれば、入力された音情報の周波数分析を行うと共に、その操作で用いられた楽譜情報から正しく操作された場合の周波数成分を推定し、音情報の周波数分析と楽譜情報から得られた周波数成分との差分を取ることにより、ユーザの鍵盤操作が正しいか誤っているかを判定することができる。なお、マイクやカメラ等でユーザの操作結果を取得してその操作が正しいか否かを判断し、その判断結果に応じて投影する画像内容を変えることもできる。
【００４１】
また、画像情報の検出と音情報の検出の組合せによってユーザによる鍵盤操作を検出し、その結果の誤りを発見した場合は（つまり、楽譜情報から推定する情報と手の動きや音による操作情報とが異なっている場合は）、誤った操作を行った鍵盤を投影する色を変えたり、楽譜として投影している部分の音符の色を変えたりすることもできる。
【００４２】
図１０は、本発明の操作支援システムにおいて、ピアノの鍵盤と共に楽譜情報も合わせて投影する状態を示すプロジェクタの投影画面を示す図である。図１０に示すように、鍵盤のスポットライト投影だけでなく、楽譜のイメージも併せて投影することによって、さらにきめ細かに鍵盤操作の支援を行うことができる。
【産業上の利用可能性】
【００４３】
本発明の操作支援システムによれば、楽器の演奏や練習の補助、複雑な機械装置の操作の補助、パソコンのキーボード操作の練習など、新人の教育用の用途などに広く利用することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明における第１の実施の形態の操作支援システムに適用されるピアノ演奏支援の構成を示す概念図である。
【図２】図１に示す操作支援システムにおけるカメラの撮影範囲を示す図である。
【図３】図１に示す操作支援システムにおけるプロジェクタの投影範囲を示す図である。
【図４】図１に示す操作支援システムにおいて、プロジェクタから５つの鍵盤に丸いガイドスポットを投影した状態を示す概念図である。
【図５】本発明の操作支援システムにおいてプロジェクタの投影位置を校正するための構成を示すブロック図である。
【図６】図５に示す投影位置を校正するための構成図において、撮像手段（カメラ）が投影結果を取り込んで校正を行う状態を示す概念図である。
【図７】本発明の第１の実施の形態において、操作支援システムを用いて鍵盤の支援動作を行うための構成を示すブロック図である。
【図８】本発明における第２の実施の形態の操作支援システムに適用されるピアノ演奏の構成を示す概念図である。
【図９】本発明の第２の実施の形態において、操作支援システムを用いて鍵盤の支援動作を行うための構成を示すブロック図である。
【図１０】本発明の操作支援システムにおいて、ピアノの鍵盤と共に楽譜情報も合わせて投影する状態を示すプロジェクタの投影画面を示す図である。
【符号の説明】
【００４５】
１  ピアノ、１ａ  鍵盤、２  プロジェクタ（投影手段）、３  カメラ（撮像手段）、４  ＣＤ−ＲＯＭ、５  ＰＣ、１１  制御部、１２  画像処理部、１３  操作手段投影位置情報ＤＢ、１４  操作手段形状情報ＤＢ、１５  校正用投影パターン情報ＤＢ、１６  投影画像生成部、１７  表示用投影パターン情報ＤＢ、１８  ＭＩＤＩデータを記録した記録媒体（ＣＤ−ＲＯＭ）、１９  ユーザ操作検出手段、２０  ユーザ操作判定手段
【図１】
2005300971.tif 000003
【図２】
2005300971.tif 000004
【図３】
2005300971.tif 000005
【図４】
2005300971.tif 000006
【図５】
2005300971.tif 000007
【図６】
2005300971.tif 000008
【図７】
2005300971.tif 000009
【図８】
2005300971.tif 000010
【図９】
2005300971.tif 000011
【図１０】
2005300971.tif 000012