(57)【要約】      （修正有）【課題】利用者による物を打撃する動作を認識してその動作に応じた種類の音を発音させる装置において、利用者の意図した通りの演奏を実現する。【解決手段】カメラ２１は利用者の右手ＲＨと打撃対象物ＯＢ−ｍ（ｍ＝１〜３）とを撮影する。マイクロホン１８は利用者が右手ＲＨにより打撃対象物ＯＢ−ｍを打撃した時に発生する打撃音を収音する。ＣＰＵは、打撃音が収音されると、カメラ２１から出力された画像データから右手ＲＨの指先Ｃの位置を認識し、その位置と重なっている打撃対象物ＯＢ−ｍに応じた種類の音信号をイヤホン２３に出力する。【選択図】図１
2012173297.tif 000002
【特許請求の範囲】
【請求項１】
打撃体を含む撮影範囲内を撮影する撮影手段と、
前記打撃体の挙動を示す物理量を検出する検出手段と、
前記検出手段が検出した物理量から前記打撃体による打撃の発生を認識した場合に、前記撮影手段が出力した画像データから当該打撃の作用点の位置を認識し、当該作用点の位置に応じた種類の音信号を出力する制御手段と
を具備することを特徴とする演奏装置。
【請求項２】
前記検出手段は、マイクロホンであり、前記制御手段は、前記マイクロホンが出力した音信号と閾値との比較により、または前記マイクロホンが出力した音信号の波形の形状から、前記打撃体による打撃の発生を認識することを特徴とする請求項１に記載の演奏装置。
【請求項３】
前記制御手段は、前記打撃体による打撃の発生を認識した場合に、打撃の発生を認識した時刻よりも前に前記撮影手段が出力した画像データを用いて前記打撃体による打撃の作用点の位置を予測し、この予測した位置に応じた種類の音信号を出力することを特徴とする請求項１または２に記載の演奏装置。
【請求項４】
前記制御手段は、前記打撃体による打撃の発生を認識した場合に、打撃の発生を認識した時刻から所定時間長の経過を待って前記音信号を出力することを特徴とする請求項１または２に記載の演奏装置。
【請求項５】
コンピュータに、
打撃体を含む撮影範囲内を撮影して得られた画像データから前記打撃体による打撃の作用点の位置を認識する位置認識機能と、
前記打撃体の挙動を示す物理量から前記打撃体による打撃の発生を認識する打撃発生認識機能と、
前記打撃発生認識機能によって前記打撃体よる打撃の発生が認識された場合に、前記位置認識機能によって認識された位置に応じた種類の音信号を出力する発音機能と
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者が物を打撃する動作に合わせて音を鳴らす技術に関する。
【背景技術】
【０００２】
特許文献１や特許文献２には、利用者をビデオカメラにより撮影して得られる撮影画像から利用者における楽器の演奏を模擬した動作を認識し、その動作に応じた音を発音させる技術の開示がある。特許文献１に開示された演奏システムは、電子楽器と電子カメラ装置とを有する。この演奏システムでは、演奏者は、緑球を左脚及び右脚に装着するとともに、赤球が固定されたスティック及び青球が固定されたスティックを左手及び右手により把持し、ドラムの演奏を模擬した動作を行う。電子カメラ装置は、演奏者によるドラムの演奏を模擬した動作を撮影し、その撮影画像を電子楽器に送る。電子楽器は、電子カメラ装置から送られる一連の撮影画像から、赤球、青球、緑球の移動軌跡を求め、各々の移動軌跡の軌跡パターンに応じた種類の音をスピーカから放音させる。特許文献２に開示された仮想楽器演奏装置は、ビデオカメラと、スピーカと、仮想楽器演奏装置部とを有する。この仮想楽器演奏装置では、ビデオカメラにより撮影した利用者の姿と楕円状の複数個のボタンの画像とを合成した合成画像をディスプレイに表示させる。また、この仮想楽器演奏装置では、合成画像内におけるボタンの画像を仮想的な演奏操作子とし、合成画像内におけるボタンの画像と利用者の身体（例えば、手）の画像とが重なった場合に、そのボタンに応じた種類の音をスピーカから発音させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１２１３５５号公報
【特許文献２】特開２００２−４１０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、本願発明者らは、利用者の撮影画像から利用者の手が物を打撃する動作を認識してその動作に応じた音を発音させる演奏装置の開発を試みている。この演奏装置において利用者の意図した通りの演奏を実現するためには、利用者が物を打撃したタイミングと打撃された物を正確に認識する必要がある。しかしながら、特許文献２の画像処理技術のように、画像内における利用者の手とその打撃対象である物の重なりの有無により打撃を判定する構成では、利用者の手が物に接した場合だけでなく、カメラから見て手の奥にある物とカメラとの間を手が横切った場合にも打撃が成されたと誤認識してしまう恐れがある。このため、打撃の判定に特許文献２の画像処理技術を採り入れただけでは、利用者の意図した通りの演奏を実現できないという問題があった。
【０００５】
本発明は、このような背景の下に案出されたものであり、利用者による物を打撃する動作を認識してその動作に応じた種類の音を発音させる装置において、利用者の意図した通りの演奏を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、打撃体を含む撮影範囲内を撮影する撮影手段と、前記打撃体の挙動を示す物理量を検出する検出手段と、前記検出手段が検出した物理量から前記打撃体による打撃の発生を認識した場合に、前記撮影手段が出力した画像データから当該打撃の作用点の位置を認識し、当該作用点の位置に応じた種類の音信号を出力する制御手段とを具備する演奏装置を提供する。
【０００７】
本発明では、打撃体による打撃の作用点の位置は打撃体を含む撮影範囲内の撮影画像データから認識し、打撃体による打撃が発生したことは打撃体の挙動を示す物理量から認識するため、利用者によって打撃が行われたタイミングとそのタイミングにおける打撃の作用点の位置の認識を正確に行うことができる。よって、本発明によると、利用者の意図した通りの演奏を実現することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態である演奏装置を有する端末装置の使用態様を示す図である。
【図２】同端末装置の構成を示すブロック図である。
【図３】同端末装置における演奏装置の動作を示すフローチャートである。
【図４】同演奏装置が実行する背景画像登録処理の内容を示す図である。
【図５】同演奏装置が実行する位置認識処理の内容を示す図である。
【図６】同演奏装置が実行する位置認識処理の内容を示す図である。
【図７】同演奏装置が実行する位置認識処理の内容を示す図である。
【図８】同演奏装置が実行する位置認識処理の内容を示す図である。
【図９】本発明の第２実施形態である演奏装置が実行する演奏制御処理の内容を示す図である。
【図１０】本発明の第３実施形態である演奏装置が実行する演奏制御処理の内容を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しつつ本発明の実施形態について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態である演奏装置としての機能とスマートフォンとしての機能（通話機能、ブラウジング機能、メーラ機能など）とを併有する端末装置１０の使用態様を示す図である。図２は、端末装置１０の構成を示すブロック図である。ここで、端末装置１０内におけるスマートフォンとしての機能を司る各部については、本発明との関係が希薄であるため、図示及びその説明を割愛する。
【００１０】
端末装置１０の筐体１１は、掌に収まるサイズの扁平な板状をなしている。筐体１１の表面１２には３つの開口１３，１４，及び１５が設けられている。これらのうち表面１２の大部分を占める中央の開口１３からはタッチパネルディスプレイ１６が露出している。筐体１１内における左側の開口１４の底の位置にはスピーカ１７が固定されている。筐体１１内における右側の開口１５の底の位置にはマイクロホン１８が固定されている。筐体１１の裏面１９の一角には開口２０が設けられている。筐体１１内における開口２０の底の位置には、カメラ２１がその撮影方向を開口２０に向けて固定されている。筐体１１の側面には音声出力端子２２が露出しており、この端子２２にはイヤホン２３が接続される。また、筐体１１には制御部２４が内蔵されている。制御部２４は、ＣＰＵ２５、ＲＡＭ２６、およびＲＯＭ２７を有する。本実施形態では、制御部２４と、カメラ２１と、マイクロホン１８とにより、演奏装置が構成される。ＣＰＵ２５は、端末装置１０を演奏装置として動作させる場合には、ＲＡＭ２６をワークエリアとして利用しつつ、ＲＯＭ２７内の演奏プログラムを実行する。演奏プログラムは次の３つの機能を有する。
ａ１．位置認識機能
これは、打撃体である利用者の右手ＲＨとその右手ＲＨにより打撃音を発生させる対象物であるＭ個の打撃対象物ＯＢ−ｍ（ｍ＝１，２…Ｍ）とが写り込んだ画像データＩＭ−ｋ（ｋ＝１，２…：ｋは時間を示すインデックスである）をカメラ２１から受け取り、この画像データＩＭ−ｋ（ｋ＝１，２…）からカメラ２１の撮影範囲内における右手ＲＨによる打撃の作用点である指先Ｃの位置を認識する機能である。
ｂ１．打撃認識機能
これは、マイクロホン１８の出力信号ＭＩを右手ＲＨの挙動を示す物理量を示す信号とし、このマイクロホン１８の出力信号ＭＩから右手ＲＨによる打撃の発生を認識する機能である。
ｃ１．発音機能
これは、打撃認識機能によって打撃の発生が認識された場合に、位置認識機能によって認識した指先Ｃの位置に応じた種類の音信号ＭＨを音声出力端子２２を介してイヤホン２３へ出力する機能である。
【００１１】
次に、本実施形態の動作について説明する。本実施形態では、端末装置１０の利用者は、端末装置１０を演奏装置として動作させる場合、端末装置１０のイヤホン２３を両耳に装着して演奏プログラムを起動させる。演奏プログラムが起動されると、ＣＰＵ２５は、所定時間が経過する度に撮像を行ってその撮像結果を示す画像データを出力するようにカメラ２１の作動制御を行うとともに、図３に示す処理を行う。
【００１２】
図３において、ＣＰＵ２５は、背景画像登録処理（ステップＳ１００）を行う。背景画像登録処理は、カメラ２１の撮影範囲内の背景画像を登録する処理である。この処理では、ＣＰＵ２５は、撮影指示ボタンとしての役割を果たすアイコンＩＣＮをタッチパネルディスプレイ１６に表示させるとともに、撮影を促すメッセージ音の音信号ＭＭを音声出力端子２２を介してイヤホン２３に出力し、イヤホン２３からこのメッセージ音を放音させる。図４に示すように、利用者は、端末装置１０を、カメラ２１の撮影範囲内に所望の個数Ｍ（例えば、Ｍ＝３とする）の打撃対象物ＯＢ−ｍ（ｍ＝１〜３）が収まるように位置決めして卓上に載置し、アイコンＩＣＮをタッチする。
【００１３】
ＣＰＵ２５は、カメラ２１から１フレーム分ずつ出力される画像データＩＭ−ｋのうちアイコンＩＣＮがタッチされた直後の画像データＩＭ−ｋを取り込み、取り込んだ画像データＩＭ−ｋを背景画像データＩＭＲＥＦとする。次に、ＣＰＵ２５は、この背景画像データＩＭＲＥＦから打撃対象物ＯＢ−ｍ（ｍ＝１〜３）の画像を切り出し、背景画像データＩＭＲＥＦ内における各打撃対象物ＯＢ−ｍの占有領域を示す領域情報ＡＲＤ−ｍを生成する。次に、ＣＰＵ２５は、予め準備されたＮ（Ｎ＞Ｍ）種類の音色の音データＭＤのうちから打撃対象物ＯＢ−ｍ（ｍ＝１〜３）と同数の音データＭＤを選び、選んだものを各打撃対象物ＯＢ−ｍが打撃された時に鳴らす音の音データＭＤ−ｍとする。ＣＰＵ２５は、背景画像データＩＭＲＥＦと、打撃対象物ＯＢ−ｍ毎の領域情報ＡＲＤ−ｍと音データＭＤ−ｍの組をＲＡＭ２６に記憶する。
【００１４】
次に、ＣＰＵ２５は、演奏制御処理を行う（ステップＳ２００）。演奏制御処理では、ＣＰＵ２５は、以下に示す３つの処理を並列に行う。
ａ２．位置認識処理（ステップＳ２００ａ）
この処理は、上述した位置認識機能の働きによって実行される処理である。位置認識処理では、ＣＰＵ２５は、カメラ２１から画像データＩＭ−ｋが出力される度にその画像データＩＭ−ｋを取り込み、画像データＩＭ−ｋを処理対象として次のような処理を行う。まず、ＣＰＵ２５は、図５に示すように、画像データＩＭ−ｋをなす各画素ｐ（Ｘ，Ｙ）（Ｘは主走査方向の座標値であり、Ｙは副走査方向の座標値である）の画素値と背景画像データＩＭＲＥＦをなす各画素ｐ（Ｘ，Ｙ）の画素値との差分を各々求め、画素ｐ（Ｘ，Ｙ）毎の差分を示す差分画像データＩＭ’−ｋを生成する。ここで、端末装置１０のカメラ２１の撮影範囲は固定されている。よって、背景画像の登録時と異なる物（図５の例では、利用者の右手ＲＨと背景画像の登録後に机の上に置かれた鉛筆ＯＥ）がカメラ２１の撮影範囲内に写り込んでいる場合、差分画像データＩＭ’−ｋにおけるその物の占有領域の画素ｐ（Ｘ，Ｙ）の画素値は０（黒）より明るい画素値となり、残りの領域の画素ｐ（Ｘ，Ｙ）の画素値は０（黒）となる。
【００１５】
次に、ＣＰＵ２５は、図６に示すように最新の画像データＩＭ’−ｋ及びその前の複数フレーム分の画像データＩＭ’−ｋに適応型２値化処理（Adaplive Binarizing）を施し、画像データＩＭ’−ｋの表示内容を０（黒）と１（白）の２種類の画素値により表す２値画像データＩＭ”−ｋを生成する。そして、この２値画像データＩＭ”−ｋから同じ種類の画素のみにより占められた閉領域である１個または複数個（図６の例では２個）の連続領域ＡＲを抽出する。
【００１６】
次に、ＣＰＵ２５は、図７に示すように、２値画像データＩＭ”−ｋから抽出した連続領域ＡＲが次の２つの条件ａ１−１及びａ１−２を満たすか否かを判定し、条件ａ１−１及びａ１−２を満たす連続領域ＡＲがある場合には、その連続領域ＡＲを利用者の右手ＲＨの画像の占有領域として選択する。
ａ１−１：当該連続領域ＡＲが２値画像データＩＭ”−ｋの縁をなす４辺ＳＵ，ＳＤ，ＳＬ，ＳＲのいずれかと接していること
ａ１−２：当該連続領域ＡＲの面積が２値画像データＩＭ”−ｋ内における他のどの連続領域ＡＲの面積よりも大きいこと
【００１７】
次に、ＣＰＵ２５は、図８に示すように、２値画像データＩＭ”−ｋの４辺ＳＵ，ＳＤ，ＳＬ，ＳＲにおける選択した連続領域ＡＲと接する部分ＳＳを求め、この部分ＳＳの両端の中点を基準点Ｒとする。そして、連続領域ＡＲの外延における基準点Ｒから最も離れた点を右手ＲＨによる打撃の作用点である指先Ｃとみなし、この指先Ｃの位置の主走査方向の座標値Ｘ及び副走査方向の座標値Ｙを打点位置データＰＤ−ｋとして出力する。
【００１８】
ｂ２．打撃認識処理（ステップＳ２００ｂ）
この処理は、上述した打撃検出機能の働きによって実行される処理である。打撃認識処理では、ＣＰＵ２５は、マイクロホン１８から出力される音信号ＭＩと閾値ＴＨとを比較する。ここで、右手ＲＨが何かを打撃すると、その打撃による打撃音が発生し、音信号ＭＩの振幅が大きくなる。ＣＰＵ２５は、音信号ＭＩが閾値ＴＨを超えた場合、その時点において右手ＲＨによる打撃が発生したとみなし、発音処理の実行を促すトリガ信号ＴＲを発生する。
【００１９】
ｃ２．発音処理（ステップＳ２００ｃ）
この処理は、上述した発音機能の働きによって実行される処理である。発音処理では、ＣＰＵ２５は、打撃認識処理においてトリガ信号ＴＲが発生された場合、位置認識処理において打撃の発生の直後に出力された打点位置データＰＤ−ｋを参照し、この打点位置データＰＤ−ｋが示す位置が打撃対象物ＯＢ−ｍ（ｍ＝１〜３）の各々の領域情報ＡＲＤ−ｍが示す占有領域の中にあるかを個別に判定する。ＣＰＵ２５は、打点位置データＰＤ−ｋが示す位置がいずれかの打撃対象物ＯＢ−ｍ（例えば、打撃対象物ＯＢ−１とする）の占有領域の中にある場合、その打撃対象物ＯＢ−１が打撃されたとみなす。この場合、ＣＰＵ２５は、打撃された打撃対象物ＯＢ−１の音データＭＤ−１をデジタル形式からアナログ形式に変換し、変換した音信号ＭＨを音声出力端子２２からイヤホン２３に出力し、イヤホン２３から放音させる。一方、ＣＰＵ２５は、打点位置データＰＤ−ｋが示す位置がいずれの占有領域の中にもない場合、打撃対象物ＯＢ−ｍ（ｍ＝１〜３）が打撃されなかったとみなす。この場合、ＣＰＵ２５は、音信号ＭＨの出力を行うことなく、次のトリガ信号ＴＲの発生を待つ。
【００２０】
また、ＣＰＵ２５は、これら３つの処理の実行中に演奏プログラムの終了を指示する操作が行われると（Ｓ３００：Ｙｅｓ）、処理を終了する。
【００２１】
以上説明したように、本実施形態では、右手ＲＨによる打撃の作用点である指先Ｃの位置は画像データＩＭ−ｋ（ｋ＝１，２…）から認識し、右手ＲＨによる打撃が発生したことはマイクロホン１８の出力信号ＭＩから認識するため、利用者によって打撃が行われたタイミングとそのタイミングにおける指先Ｃの位置の認識を正確に行うことができる。よって、利用者の意図した通りの演奏を実現することができる。
【００２２】
また、本実施形態では、カメラ２１の撮影範囲内にある打撃対象物ＯＢ−ｍ（ｍ＝１〜３）の各々に異なる種類の音データＭＤ−ｍを割り当て、打撃の発生時における指先Ｃの位置が重なっている打撃対象物ＯＢ−ｍの音データＭＤ−ｍを音信号ＭＨとしてイヤホン２３に出力する。これにより、利用者がその右手ＲＨにより打撃する打撃対象物ＯＢ−ｍを変える度にイヤホン２３から聴こえる音の種類が変化する。よって、より興趣性に富んだ曲を演奏することができる。
【００２３】
（第２実施形態）
次に、本発明の第２実施形態について説明する。上記第１実施形態では、ＣＰＵ２５は、右手ＲＨによる打撃の発生を認識した場合、最新の画像データＩＭ−ｋを解析して得られた位置を打撃の発生時における指先Ｃの位置とし、この位置に応じた種類の音信号ＭＨを出力した。しかし、この構成では、カメラ２１の処理能力が低い、あるいは位置認識処理に時間がかかる、などといった理由によってカメラ２１の撮像素子の光電変換から画像データＩＭ−ｋの生成までに遅延が生じたり、カメラ２１の撮影範囲内における右手ＲＨの指先Ｃによる打撃が発生した瞬間とカメラ２１の撮像素子の出力信号のサンプリング時刻とが合わない場合、打撃が発生した瞬間よりも前や後の撮影画像内における指先Ｃの位置から音信号ＭＨの種類が選択されてしまう問題が起こり得る。そこで、本実施形態では、ＣＰＵ２５は、マイクロホン１８の出力信号ＭＩが閾値ＴＨを超えた時点において得られている画像データＩＭ−ｋを使って、その時点よりも時間長Ｔ１（時間長Ｔ１は画像データＩＭ−ｋのフレーム間隔Ｔより短い時間長とする）だけ後の時刻における指先Ｃの位置を予測し、この予測した位置から音信号ＭＨの種類を選択する。
【００２４】
より具体的に説明すると、図９に示すように、ＣＰＵ２５は、マイクロホン１８の出力信号ＭＩが閾値ＴＨを超えた場合、その時点における最新の画像データＩＭ−（ｋ’−１）、その１つ前の画像データＩＭ−（ｋ’−２）、さらにその１つ前の画像データＩＭ−（ｋ’−３）の合計３つの打点位置データに対してモーショントラッキング処理（より具体的には、平均値シフトやカルマンフィルタなどを利用したモーショントラッキング処理）を施すことにより、マイクロホン１８の出力信号ＭＩが閾値ＴＨを超えた時点から時間長Ｔ１の経過後の指先Ｃの位置を計算する。ＣＰＵ２５は、この指先Ｃの位置がいずれかの打撃対象物ＯＢ−ｍ（例えば、打撃対象物ＯＢ−１とする）の占有領域の中にある場合、その打撃対象物ＯＢ−１が打撃されたとみなす。そして、この場合、ＣＰＵ２５は、打撃された打撃対象物ＯＢ−１の音データＭＤ−１をデジタル形式からアナログ形式に変換し、変換した音信号ＭＨを音声出力端子２２からイヤホン２３に出力し、イヤホン２３から放音させる。
【００２５】
本実施形態によると、カメラ２１の撮像素子の光電変換から画像データＩＭ−ｋの生成までに遅延が生じたり、カメラ２１の撮影範囲内における右手ＲＨの指先Ｃによる打撃が発生した瞬間とカメラ２１の撮像素子の出力信号のサンプリング時刻とが合わない場合でも、利用者の意図した通りの演奏を実現することができる。
【００２６】
（第３実施形態）
次に、本発明の第３実施形態について説明する。上記第１実施形態では、ＣＰＵ２５は、右手ＲＨによる打撃の発生を認識した場合、最新の画像データＩＭ−ｋを解析して得られた位置を打撃の発生時における指先Ｃの位置とし、この位置に応じた種類の音信号ＭＨを出力した。しかし、カメラ２１からはフレーム間隔Ｔ毎の画像データＩＭ−ｋが周期的に出力されるのに対し、利用者の右手ＲＨによる打撃は画像データＩＭ−ｋの出力の周期とは無関係になされる。よって、ある画像データＩＭ−ｋの出力時刻ｔから時間長Ｔ２（Ｔ２＜Ｔ）が経過した時刻ｔ＋Ｔ２に打撃がなされた場合と出力時刻ｔから時間長Ｔ３（Ｔ３＜Ｔ２）が経過した時刻ｔ＋Ｔ３に打撃がなされた場合とでは打撃時点における指先Ｃの位置の決定に用いる画像データＩＭ−ｋが得られるまでの所要時間がばらつき、右手ＲＨが打撃対象物ＯＢ−ｍを打撃してから音が鳴るまでの時間が不均一になって利用者が不自然に感じる、という問題が生じ得る。そこで、本実施形態では、ＣＰＵ２５は、右手ＲＨによる打撃の発生を認識した場合に、打撃の発生を認識した時刻と画像データＩＭ−ｋの出力の時刻との間の時間軸上の位置関係に拘わらず、打撃の発生を認識した時刻から時間長Ｔ４（時間長Ｔ４は画像データＩＭ−ｋのフレーム間隔Ｔとほぼ同じ時間長とする）が経過するのを待って音信号ＭＨを出力する。
【００２７】
より具体的に説明すると、図１０に示すように、ＣＰＵ２５は、マイクロホン１８の出力信号ＭＩが閾値ＴＨを超えた場合、信号ＭＩが閾値ＴＨを超えた時刻の直後の画像データＩＭ−ｋ’に第１実施形態と同様の解析処理を施して指先Ｃの位置を求める。ＣＰＵ２５は、この指先Ｃの位置がいずれかの打撃対象物ＯＢ−ｍ（例えば、打撃対象物ＯＢ−１とする）の占有領域の中にある場合、その打撃対象物ＯＢ−１が打撃されたとみなし、打撃対象物ＯＢ−１の音データＭＤ−１を選択する。そして、ＣＰＵ２５は、マイクロホン１８の出力信号ＭＩが閾値ＴＨを超えた時刻から時間長Ｔ４の経過を待ち、時間長Ｔ４が経過した経過した時刻において音データＭＤ−１を音信号ＭＨとして出力する。
【００２８】
本実施形態によると、右手ＲＨによる打撃が発生した時刻と画像データＩＭ−ｋの出力の周期Ｔとの時間軸上の位置関係に拘わらず、右手ＲＨによる打撃が発生した時刻から音が鳴る時刻までの所要時間が一定になる。よって、利用者に不自然な印象を与えないような演奏を実現することができる。
【００２９】
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
（１）上記第１乃至第３実施形態では、ＣＰＵ２５は、マイクロホン１８の出力信号ＭＩが閾値ＴＨを超えた場合に、打撃が発生したとみなした。しかし、マイクロホン１８の出力信号ＭＩの波形の形状から打撃の発生を認識してもよい。たとえば、マイクロホン１８の出力信号ＭＩの振幅がピークを描いた後に指数関数的に減衰している場合に打撃が発生したとみなしてもよい。このように、マイクロホン１８の出力信号ＭＩの波形の形状から打撃の有無を検出するようにすれば、閾値ＴＨを上回るような大音量で楽音が奏でられているよう状況下においても、それら楽音と打撃音とを正確に弁別することが可能になる。また、利用者による打撃対象物ＯＢ−ｍの打撃により生じた音のみを検出するようにするため、マイクロホン１８として指向性マイクロホンを用い、その指向軸をカメラ２１の撮像方向に向けるようにしてもよい。
【００３０】
（２）上記第１乃至第３実施形態において、右手ＲＨが打撃対象物ＯＢ−ｍを打撃したと判定した後のカメラ２１の出力画像データＩＭ−ｋ中に右手ＲＨが継続的に写っている場合、音信号ＭＨを連続的に出力してもよい。この場合において、画像データＩＭ−ｋ中から右手ＲＨが消えるか、別の打撃対象物ＯＢ−ｍを打撃したと判定したときに音信号ＭＨの出力を停止するとよい。
【００３１】
（３）上記第１乃至第３実施形態において、右手ＲＨが打撃対象物ＯＢ−ｍを打撃したと判定した後の右手ＲＨの動きをトレースし、画像データＩＭ−ｋ内における右手ＲＨの位置の移動方向に応じて音信号ＭＨの音程やレベルを変化させてもよい。例えば、右手ＲＨの位置が上下方向に移動した場合にはその移動量に合わせて音信号ＭＨのピッチ（音程）を上下させ、右手ＲＨの位置が左右方向に移動した場合にはその移動量に合わせて音信号ＭＨのレベル（音量）を変化させるなどするとよい。
【００３２】
（４）上記第１乃至第３実施形態では、画像データＩＭ−ｋから認識した右手ＲＨの指先Ｃの位置と打撃対象物ＯＢ−ｍ（ｍ＝１〜３）の各々の占有領域との重なりの有無により音信号ＭＨの種類を決定した。しかし、マイクロホン１８によって収音された打撃音の大きさやその打撃音の音質に基づいて音信号ＭＨの種類を決定してもよい。
【００３３】
（５）上記第１乃至第３実施形態では、画像データＩＭ−ｋに対して、図５，図６，図７，図８に示す一連の画像処理を施すことにより、右手ＲＨの指先Ｃの位置を認識した。しかし、画像データＩＭ−ｋに対して別の画像処理を施すことによってこの位置を認識してもよい。例えば、画像データＩＭ−ｋと背景画像データＩＭＲＥＦの差分画像データＩＭ’−ｋから右手ＲＨの色とほぼ同じ色（すなわち、肌色）の画素値をもった画素からなる連続領域を切り出し、この連続領域を右手ＲＨの占有領域としてもよい。
【００３４】
（６）上記第１乃至第３実施形態では、利用者の右手ＲＨを打撃体とし、利用者の右手ＲＨの指先Ｃによる打撃の動作に応じた音をイヤホン２３から放音させた。しかし、利用者の左手やそれ以外のものを打撃体とし、これによる打撃の動作に応じた音をイヤホン２３から放音させてもよい。例えば、利用者の右手や左手に把持されたスティックを打撃体とし、スティックによる打撃の作用点であるスティックの先端部分の位置に応じて音信号ＭＨの種類を決定してもよい。この場合において、スティックの先端にその認識精度を高める色を有するマーカを付してもよい。
【００３５】
（７）上記第１乃至第３実施形態において、音信号ＭＨをイヤホン２３から放音させずに、スピーカ１７から放音させてもよい。また、音信号ＭＨをメモリスティックなどの記録媒体に書き込むようにしてもよい。また、音信号ＭＨをＭＩＤＩ（Musical Instrument Digital Interface）イベントデータに変換し、それらの一連のＭＩＤＩイベントデータを記した音楽ファイルを記憶媒体に書き込むようにしてもよい。この場合において、記録媒体に曲として記録された音信号ＭＨや音楽ファイルを音楽再生プレーヤにより再生してもよい。
【００３６】
（８）上記第１乃至第３実施形態において、タッチパネルディスプレイ１６内における右手ＲＨの指先Ｃの位置に、その位置に応じて選択された音信号ＭＨの種類を示す画像（例えば、音符の画像）を重ねて表示させてもよい。この実施形態によると、利用者は、タッチパネルディスプレイ１６を視ることにより、自身の指先Ｃによる打撃が成された位置を了解することができる。
【００３７】
（９）上記第１乃至第３実施形態は、本発明をスマートフォンの端末装置１０に適用したものであった。しかし、本発明を、パーソナルコンピュータ、携帯音楽プレーヤ、携帯電話機などの他の装置に適用してもよい。この場合において、上記実施形態におけるタッチパネルディスプレイ１６の表示画面と同様の画面を小型の液晶プロジェクタなどを使って壁面に映写するようにしてもよい。
【００３８】
（１０）上記第１乃至第３実施形態では、マイクロホン１８の出力信号ＭＩを打撃体である右手ＲＨの挙動を示す物理量を示す信号とし、この信号が閾値ＴＨを超えた場合に右手ＲＨによる打撃が発生したとみなした。しかし、打撃体の挙動を示す他の種類の物理量から打撃の発生を認識してもよい。例えば、打撃体である右手ＲＨに加速度センサを固定し、この加速度センサにより検出された加速度値が閾値を超えた場合に右手ＲＨによる打撃が発生したと認識するようにしてもよい。この加速度センサの出力信号の波形パターンから打撃の発生を認識してもよい。また、打撃体である右手ＲＨの指先Ｃに圧力センサを固定し、この圧力センサにより検出された圧力値が閾値を超えた場合に右手ＲＨによる打撃が発生したと認識するようにしてもよい。
【００３９】
（１１）上記第１乃至第３実施形態では、ＣＰＵ２５が、打撃対象物ＯＢ−ｍ（ｍ＝１〜３）の各々に割り当てる音データＭＤ−ｍを決定した。しかし、利用者が操作子の操作によって打撃対象物ＯＢ−ｍ（ｍ＝１〜３）の各々に割り当てる音データＭＤ−ｍを決定してもよい。
【００４０】
（１２）上記第１及び第３実施形態において、最新の画像データＩＭ’−ｋ及びその前の複数フレーム分の画像データＩＭ’−ｋに適応型２値化処理を施して２値画像データＩＭ”−ｋを生成する処理を行なわずに、最新の画像データＩＭ’−ｋのみからの右手ＲＨの画像の占有領域を切り出すようにしてもよい。
【００４１】
（１３）上記第１乃至第３実施形態の背景画像登録処理では、ＣＰＵ２５は、アイコンＩＣＮがタッチされた直後の画像データＩＭ−ｋを背景画像データＩＭＲＥＦとした。しかし、この背景画像画像データＩＭＲＥＦの取り込みをＣＰＵ２５が自動で行ってもよい。例えば、ＣＰＵ２５は、カメラ２１から画像データＩＭ−ｋが出力される度に、最新の画像データＩＭ−ｋとその直前の画像データＩＭ−ｋとの間の差分を求め、差分が所定値以下である時間が所定時間（例えば、３秒間）以上に亘って継続した場合に、その時点における画像データＩＭ−ｋを背景画像データＩＭＲＥＦとしてもよい。
【００４２】
（１４）上記第１乃至第３実施形態において、時間長Ｔを固定長とせずに、この時間長Ｔを打撃時刻と画像データＩＭ−（ｋ’−１）の取得時刻との時間差と等しくなるように変動させてもよい。
【符号の説明】
【００４３】
１０…端末装置、１１…筐体、１２…表面、１３，１４，１５，２０…開口、１６…タッチパネルディスプレイ、１７…スピーカ、１８…マイクロホン、１９…裏面、２１…カメラ、２２…音声出力端子、２３…イヤホン、２４…制御部、２５…ＣＰＵ、２６…ＲＡＭ、２７…ＲＯＭ。
【図１】
2012173297.tif 000003
【図２】
2012173297.tif 000004
【図３】
2012173297.tif 000005
【図４】
2012173297.tif 000006
【図５】
2012173297.tif 000007
【図６】
2012173297.tif 000008
【図７】
2012173297.tif 000009
【図８】
2012173297.tif 000010
【図９】
2012173297.tif 000011
【図１０】
2012173297.tif 000012