(57)【要約】【課題】安価かつ簡易に楽器等の音声や画像等を出力させることのできる入出力装置を提供する。【解決手段】仮想スクリーンＳが設定されたシート載置台１１に、鍵盤５１を描いたシート２１を置き、このシート２１を撮像部１３で撮影して、各鍵５１ａごとに、シート表面の仮想スクリーンＳ上の座標領域を生成するとともに、鍵５１ａに応じた周波数の音を、各座標領域に関連付ける。鍵盤５１の鍵５１ａを発光部４１で指示する状態を撮像部１３で撮影し、発光部４１で指示された仮想スクリーンＳ上の座標領域に関連付けられた音を、鍵５１ａに応じた音として発生させる。【選択図】        図１
2004302768.tif 000002
【特許請求の範囲】
【請求項１】
出力情報を指定するための出力情報指定画像を保持するシートと、
このシートが載置され、その表面に重ねて仮想スクリーンが設定されるシート載置台と、
このシート載置台に載置されたシートを撮影する撮像部と、
前記出力情報を記憶するメモリを有し、かつ、前記撮像部による撮影画像が入力される制御部と、
前記出力情報を出力する出力部とを備え、
前記制御部は、前記撮像部による撮影画像と前記仮想スクリーンの座標とを対比するとともに、仮想スクリーン上での指示マークの座標を算出し、該座標が前記出力情報指定画像に対応する座標領域にある時、その出力情報指定画像に対応する出力情報を前記メモリから取り出して前記出力部に伝えることを特徴とする入出力装置。
【請求項２】
前記シートには前記出力情報の種類を識別させる識別マークが付与され、前記制御部は、該識別マークを識別し、識別マークに応じた出力情報を前記メモリ内から抽出することを特徴とする請求項１に記載の入出力装置。
【請求項３】
前記出力情報は画像または音声であることを特徴とする請求項１または２に記載の入出力装置。
【請求項４】
前記識別マークはバーコード等の情報形態であることを特徴とする請求項２に記載の入出力装置。
【請求項５】
前記撮像部には、その撮影光路に対し、特定波長の光のみを撮影可能とする光学フィルタが挿脱自在に具備され、前記指示マークは、該特定波長を含む光で発光する発光部であることを特徴とする請求項１〜４のいずれかに記載の入出力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像等の入力情報を認識して所望の画像や音声等の情報を手軽に出力させることのできる入出力装置に関する。
【０００２】
【従来の技術】
本出願人は、資料を撮影し、その撮影画像をスクリーン等の表示装置に表示するプレゼンテーション用の資料提示装置において、資料を置く資料載置台や、プレゼンター用のモニタに仮想スクリーンを生成し、この仮想スクリーンにライトペンで発光指示することにより、表示装置にポイント画像を表示してポインティングする技術を提案した（特願２００２−２１６４７０、特願２００３−５２３８４）。この場合の仮想スクリーンは、画像処理によってＸＹ座標が生成される二次元的空間であり、仮想スクリーン上でのライトペンの発光が撮像部で撮影され、その撮影画像を取り込んだ制御部により、仮想スクリーン上での発光位置が座標として求められ、該座標に対応するスクリーンの画像の座標に、所定のポイント画像が表示される。この方式によれば、レーザ光を投射するレーザポインタのように危険性は全く無く、表示画像に対し安全にポインティングすることができる。
【０００３】
【発明が解決しようとする課題】
ところで、本出願人は、上記のような仮想スクリーンへのポインティング方式を応用することにより、出力させる情報として単なるポイント画像にとどまらず、各種の情報、例えば楽器の音等の音声を出力する方式を鋭意検討した。その背景には、例えば楽器を演奏したり練習したりするには、実物の楽器を用いることが必要であり、また、近年では、音譜を電子楽譜にすることが行われているが、そのためには鍵盤を備えた専用の入力装置を用いている。ところが、ピアノや太鼓などのように楽器が高価であったり大きかったりすると、実物を演奏することが困難である。また、子供の場合、例えばピアノを演奏するには鍵の幅が大きかったり鍵を押す力が弱いなどといったように、体格的あるいは体力的に演奏しづらい場合がある。また、電子楽譜を作成するには、上記のように専用の入力装置が必要である。このように、実物の楽器を演奏したり、電子楽譜を作成したりすることが従来では困難な場合があり、したがってこのような希望を手軽に実現することができる装置の開発が望まれていた。
【０００４】
よって本発明は、安価かつ簡易に楽器等の音声や画像等を出力させることのできる入出力装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
本発明は、出力情報を指定するための出力情報指定画像を保持するシートと、このシートが載置され、その表面に重ねて仮想スクリーンが設定されるシート載置台と、このシート載置台に載置されたシートを撮影する撮像部と、出力情報を記憶するメモリを有し、かつ、撮像部による撮影画像が入力される制御部と、出力情報を出力する出力部とを備え、制御部は、撮像部による撮影画像と仮想スクリーンの座標とを対比するとともに、仮想スクリーン上での指示マークの座標を算出し、該座標が出力情報指定画像に対応する座標領域にある時、その出力情報指定画像に対応する出力情報をメモリから取り出して出力部に伝えることを特徴としている。本発明の出力情報としては、画像や音声が挙げられる。
【０００６】
本発明によれば、シート載置台にシートを載置することにより、シートの表面に仮想スクリーンが重なり、シートに保持された出力情報指定画像に指示マークで指示すると、出力情報指定画像に対応する出力情報が出力部から出力する。出力情報指定画像は、シートに対してある領域をもって保持されていてよく、その領域内に指示マークが指示されれば出力情報が出力されるようにすることができる。例えば、ピアノの鍵盤を書いたシートを撮像部で撮影し、あたかも演奏するようにして指示マークで鍵を指示していくと、鍵に応じたピアノの音が奏でられる、といったことが可能である。したがって、実物のピアノがなくとも、ピアノの演奏や練習を簡易に行うことができる。また、シートに書く鍵の幅を子供でも運指が容易なように小さくすれば、子供でも演奏が容易となり、その場合、鍵を押す力も関係なく音を発生させることができる。さらに、出力させる音をデジタルデータとして記憶すれば、電子楽譜を容易に作成することができる。
【０００７】
本発明では、シートに出力情報の種類を識別させる識別マークを付与し、制御部が、この識別マークを識別して識別マークに応じた出力情報をメモリ内から抽出して出力させる形態を含む。識別マークとしては、バーコード等の情報形態が挙げられる。具体例としては、ピアノ用や太鼓用等のシートを用意した場合、それら楽器の音が出力されなければならないので、楽器すなわちシートに応じた音が出力されるように、バーコード等でそのシートを判別し、出力する音を楽器に応じたものにする。
【０００８】
また、本発明では、撮像部の撮影光路に対し特定波長の光のみを撮影可能とする光学フィルタを挿脱自在に具備し、指示マークを、該特定波長を含む光で発光する発光部とする形態を含む。この形態では、出力情報指定画像を保持したシートの撮影時には光学フィルタを外し、出力情報指定画像を指示マークで指示する時には光学フィルタを挿入する。これにより、指示マークによって出力情報指定画像を指示する時には撮像部が発光部のみを撮影するので、指示マークを確実に識別することができ、安定した出力作用を得ることができる。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
図１は、一実施形態に係る入出力装置１を示しており、図２は、該装置１の構成ならびに機能を系統的に表したブロック図である。図１に示すように、入出力装置１は、上面に入力用シート２１が置かれるシート載置台１１と、このシート載置台１１にアーム１２を介して支持され、シート載置台１１に置かれたシート２１を撮影する撮像部１３とを備えている。シート２１の表面には、画像や音声等の出力情報を出力させるための所定の画像が出力情報指定画像として記入、印刷、貼付等の手段で保持される。シート載置台１１の適宜な位置には、入力開始スイッチ１４が設けられている。
【００１０】
撮像部１３は、図２に示すように、カメラ１３ａと、光学フィルタ１３ｂとを備えており、カメラ１３ａは、その光軸がシート載置台１１に直交するようアーム１２に支持されている。光学フィルタ１３ｂは、不可視光である赤外光のみを撮影可能とするフィルタで、カメラ１３ａの撮影光路に対して挿脱自在にセットされている。この場合、光学フィルタ１３ｂの挿脱は手動で行うようになされている。撮像部１３による撮影画像は制御部１５に取り込まれ、処理されてから表示装置（出力部）３１に出力される。表示装置３１は、スクリーンに画像を投影するプロジェクタや、ＣＲＴ、液晶等のディスプレイまたはヘッドフォン、スピーカ等の音響発生器である。制御部１５は、例えばシート載置台１１に内蔵されている。
【００１１】
制御部１５は、一般的な画像処理の手法により、撮像部１３で撮影しているシート載置台１１の表面に、仮想スクリーンＳのＸＹ座標を生成する。仮想スクリーンＳの生成法としては、シート載置台１１の四隅で赤外光を発光させ、これら４点の発光点を、光学フィルタ１３ｂをカメラ１３ａの撮影光路に挿入した状態の撮像部１３で撮影し、その画像データから各発光点の位置を認識するといった方法が挙げられる。
【００１２】
制御部１５は、シート２１に保持される出力情報指定画像に応じた多数の出力情報が記憶されるメモリを有している（図２の制御部１５内の出力データ記憶部）。撮像部１３によってシート２１が撮影されることにより、出力情報指定画像は制御部１５に取り込まれ、制御部１５は、仮想スクリーンＳ上での出力情報指定画像の領域を座標領域として生成する。そして制御部１５は、出力情報指定画像の座標領域と出力情報とを関連付けて記憶する。シート２１の出力情報指定画像に、光学フィルタ１３ｂを透過する赤外光を含む光を発光する指示マーク４１を当てて指示し、その状態を、光学フィルタ１３ｂをカメラ１３ａの撮影光路中に挿入した状態の撮像部１３で撮影すると、制御部１５は、仮想スクリーンＳ上での指示マーク４１の位置を算出して座標を生成し、その座標が存在する座標領域に関連付けられた出力情報を生成し、出力する、出力情報が画像の場合は表示装置３１に出力され、音声の場合はスピーカ等から発せられる。
【００１３】
指示マーク４１としては、図１に示すライトペン４２や発光指サック４３が備える発光部が好適である。ライトペン４２は先端に発光部４１を備え、押圧することでスイッチがＯＮになり発光部４１が発光する。発光指サック４３は指を嵌め込んで用いるもので、図３に示すように、先端部に、外側（爪側）の発光部４１と内側（指腹側）のスイッチ４４とが、それぞれ一対の状態で設けられ、中央部に発光用の電源である電池４５が組み込まれている。
【００１４】
出力情報が楽器の音声の場合には、楽器の種類に応じた音を出力する必要があるので、制御部１５には楽器の種類に応じた音色も記憶される。一方、シート２１の所定位置（図１では左上）には、楽器の種類を判別させるためのバーコード２２が、印刷やシールの貼付等の手段で保持される。バーコード２２は、画像データとして制御部１５に取り込まれ、そのバーコード２２が保有する固有情報を制御部１５が認識し、その音色で音を出力させる。バーコード２２の認識は、例えば、バーコード２２の表示領域のＸ方向におけるマイナス方向（左方向）およびプラス方向（右方向）を調べ、画像のコントラストからバーコード２２を英数字にコード変換し、それに基づくデータ固有情報を認識するといった方式を採ることができる。なお、このようにバーコード２２により音の種類を自動的に判別させる代わりに、シート載置台１１等に設けたスイッチによって使用者が楽器の種類を選択するようにしてもよい。
【００１５】
次に、上記入出力装置１の作用の具体例を、鍵盤楽器を演奏する場合を例にとって説明する。図１に示すように、シート載置台１１の上に、出力情報指定画像として鍵盤５１の絵が描かれたシート２１を置く。このシート２１の左上には、楽器の音色を“ピアノ”に判別させるバーコード２２が印刷されている。シート載置台１１の上面には、上記のようにして予め生成された仮想スクリーンＳに対応する基準位置を設けておき、この基準位置にシート２１を置くようにするとよい。
【００１６】
図４は、鍵盤楽器の演奏用として特に好適な発光手袋４６を示している。この発光手袋４６の各指における先端部には、発光指サック４３と同様に、発光部４１とスイッチ４４とがそれぞれ一対の状態で設けられ、開口部付近には、電池４５が組み込まれている。使用者はこの発光手袋４６をはめ、ピアノを演奏するように、シート２１に描かれた鍵盤５１に対し運指する。鍵盤５１の各鍵５１ａをタッチするとスイッチがＯＮになり、発光部４１が発光する。
【００１７】
入出力装置１を用いて演奏するには、シート載置台１１の入力開始スイッチ１４をＯＮにし、図５に示す入力動作を開始する。同図に示すように、はじめに使用者は撮像部１３の光学フィルタ１３ｂをカメラ１３ａの撮影光路から外す（ステップＳ１０１）。撮像部１３によってシート２１が撮影され、その撮影画像のデータが制御部１５に取り込まれる（ステップＳ１０２）。制御部１５は、画像データの中から、定められたバーコード２２の表示領域を検索してバーコード２２を読み、固有情報を認識して楽器の種類すなわち発生音をピアノに決定する（ステップＳ１０３）。次いで制御部１５は、仮想スクリーンＳ上での各鍵５１ａの位置（領域）を座標領域として生成し、それら鍵５１ａの位置と音の情報すなわちド，レ，ミ…といった音の周波数とを関連付け、記憶する（ステップＳ１０４）。
【００１８】
次に、使用者は光学フィルタ１３ｂをカメラ１３ａの撮影光路中に挿入する（ステップＳ１０５）。撮像部１３による撮影画像は制御部１５に取り込まれ（ステップＳ１０６）、この状態から、使用者は、ピアノを演奏するように発光手袋４６をはめた手の指でシート２１に描かれた鍵５１ａをタッチして指示する。このように鍵５１ａをタッチすることによりスイッチ４４がＯＮになり、発光部４１が発光する。制御部１５に取り込まれる撮影画像は、光学フィルタ１３ｂが挿入されていることにより発光部４１のみであり、制御部１５は、その発光部４１が撮影されたか否かを判断している（ステップＳ１０７）。そして、制御部１５は発光部４１を認識したら、仮想スクリーンＳ上でのその位置を算出して座標を生成し（ステップＳ１０８）、次いで、その座標が、生成したある鍵５１ａの座標領域内に該当するものであるか否かを判断し（ステップＳ１０９）、該当する座標であれば、その鍵に関連付けられた音を発生させる（ステップＳ１１０）。ステップＳ１０７およびステップＳ１０９でＮｏと判断したら、ステップＳ１０７に戻り、上記の動作を繰り返す。
【００１９】
以上のように、本実施形態の入出力装置１によれば、発光手袋４６をはめた指でシート２１の鍵５１ａをタッチし、発光部４１を発光させると、ピアノの音が発生して演奏や練習を行うことができる。したがって、実物のピアノがなくとも、ピアノの演奏や練習を簡易に行うことができる。また、シート２１に描く鍵５１ａの幅を小さくすれば、子供による演奏が容易となり、その場合、鍵５１ａを押す力も関係なく音を発生させることができる。また、出力させる音をデジタルデータとして記憶すれば、電子楽譜を容易に作成することができる。さらに、作曲した譜面にしたがってシート２１の鍵５１ａを指示し、電子譜面に起こし直すことで、正しく譜面記述ができたか否かを確認するといったこともできる。
【００２０】
上記の例は、本発明をピアノ等の鍵盤楽器の演奏に適用したものであるが、本発明は、楽器としては鍵盤楽器に限られず、木琴、太鼓等の楽器にも応用することができる。図６は、太鼓の演奏用シート２３の例を示しており、このシート２３には、出力情報指定画像として、太鼓の低音、中音、高音をそれぞれ示す楕円状の領域５２ａ，５２ｂ，５２ｃが、所定の大きさをもって描かれている。また、シート２３の所定位置（この場合、右上）には、楽器の音色を“太鼓”に判別させるバーコード２４が印刷されている。このシート２３の領域５２ａ，５２ｂ，５２ｃを指示して制御部１５にその位置を認識させるものとしては、図１に示したライトペン４２や発光指サック４３が好適である。
【００２１】
上記太鼓用シート２３を用いる場合も、鍵盤楽器用のシート２１と同様に入出力装置１のシート載置台１１に置き、光学フィルタ１３ｂを撮影光路から外した撮像部１３で撮影する。制御部１５は、各領域５２ａ，５２ｂ，５２ｃを仮想スクリーンＳ上での座標領域に生成するとともに、それら領域５２ａ，５２ｂ，５２ｃと太鼓の音の低音、中音、高音とを関連付けて記憶する。そして、光学フィルタ１３ｂを撮影光路中に挿入した撮像部１３で、シート２３の各領域５２ａ，５２ｂ，５２ｃをライトペン４２または発光指サック４３で発光指示することにより、指示した領域５２ａ，５２ｂ，５２ｃに応じた太鼓の音が出力する。
【００２２】
さて、本発明では、上記のように様々な楽器の音をシートを用いて出力させることができるが、さらに本発明では、楽器の音以外にも、出力情報指定画像に応じた画像や音を出力させることができる。以下に、そのような例を挙げる。
【００２３】
図７は、例えば幼児教育用の教材として用いるシートであって、動物の画像および鳴き声を出力させるシートを示している。このシート２５には、各種の動物が描かれ、それら動物ごとに矩形状の領域５３ａ，５３ｂ，５３ｃ，５３ｄが区画され、所定位置には、動物用シート２５として判別させるバーコード２６が印刷されている。一方、入出力装置１の制御部１５には、シート２５に描かれた動物の画像（静止画像または動画）および鳴き声が記憶されるとともに、バーコード２６が保有する固有情報が、動物用シート２５として認識するように記憶される。
【００２４】
このシートによれば、入出力装置１にセットし、上記のようにライトペン４２や発光指サック４３を用いてシート２５の動物の領域５３ａ，５３ｂ，５３ｃ，５３ｄを指示すると、指示した動物の画像が出力すると同時に、その動物の鳴き声を発生させることができる。このシート２５では、動物の動きや生態等を表示したり、鳴き声を発生させることで、幼児等の使用者に対し動物の特性等を教育したり興味を喚起させたりする教材として有用である。
【００２５】
図８は、例えば幼児教育用あるいは外国人用の日本語教材として用いるシートであって、日本語の五十音をそれぞれ発声させるシート２７である。このシート２７には格子状に区画された領域５４…に五十音の各文字が順に印刷され、所定位置には、五十音用シート２７として判別させるバーコード２８が印刷されている。一方、入出力装置１の制御部１５には、五十音の各文字の発声音が記憶されるとともに、バーコード２８が保有する固有情報が、五十音用シート２７として認識するように記憶されている。
【００２６】
このシート２７によれば、入出力装置１にセットし、上記のようにライトペン４２や発光指サック４３を用いて１つの領域５４を指示すると、指示した領域にある文字を発声させることができる。このシート２７では、日本語の五十音の文字をどう読むかを、幼児や外国人等の使用者に対し教育することができる教材として有用である。なお、ここでは日本語の文字を対象にしたが数字に適用することができ、さらに、アルファベット等の外国文字や数字にも適用することができる。また、教育用としては、問題と択一の回答が書かれたシートを用い、選択した回答の位置を指示すると正解か否かが画像や音で知らされるといったように、自習として好適な形態に発展させることもできる。
【００２７】
【発明の効果】
以上説明したように本発明によれば、シートに保持された出力情報指定画像を指示すると出力情報指定画像に対応する出力情報が出力されるので、安価かつ簡易に楽器等の音声や画像等を出力させることができるといった効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る入出力装置の斜視図である。
【図２】一実施形態の入出力装置の構成ならびに機能を系統的に表したブロック図である。
【図３】鍵盤楽器用のシートを指示する際に用いて好適な発光手袋の斜視図である。
【図４】発光指サックを示す斜視図である。
【図５】入出力装置の動作例を示すフローチャートである。
【図６】太鼓演奏用のシートを示す図である。
【図７】教育用シートの一例を示す図である。
【図８】教育用シートの他の例を示す図である。
【符号の説明】
１…入出力装置
１１…シート載置台
１３…撮像部
１３ｂ…光学フィルタ
１５…制御部
２１，２３，２５，２７…シート
２２，２４，２６，２８…バーコード
３１…表示装置（出力部）
４１…発光部（指示マーク）
５１…鍵盤（出力情報指定画像）
５２ａ〜５２ｃ，５３ａ〜５３ｄ，５４…領域（出力情報指定画像）
Ｓ…仮想スクリーン
【図１】
2004302768.tif 000003
【図２】
2004302768.tif 000004
【図３】
2004302768.tif 000005
【図４】
2004302768.tif 000006
【図５】
2004302768.tif 000007
【図６】
2004302768.tif 000008
【図７】
2004302768.tif 000009
【図８】
2004302768.tif 000010