(57)【要約】【課題】  様々な種類の楽器の演奏において演奏者が手を使わずに楽譜のページを捲ることができる楽譜ビューワプログラムを提供する。【解決手段】  楽譜ビューワプログラムPには、モニター２の表示面側に設けられた正面カメラ３aによってリアルタイムに捉えられる動画画像から一定時間間隔で繰り返し取り込まれるコマ画像内の人の顔画像を検出し、コマ画像内の人の顔画像に左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、または、笑顔の５つの顔状態のうち設定されたページ戻し方法に対応する顔状態が検出された場合にモニター２に表示中の楽譜画像を前のページの楽譜画像に切り換え、コマ画像内の人の顔画像に右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、または、笑顔の５つの顔状態のうち設定されたページ送り方法に対応する顔状態が検出された場合にモニター２に表示中の楽譜画像を後のページの楽譜画像に切り換える、顔状態検出及びページ捲り手段MPが設けられている。【選択図】図１
2018072559.tif 000002
【特許請求の範囲】
【請求項１】
記憶装置と、表示装置と、この表示装置の表示面側に設けられた撮像装置とを備えたコンピューターに搭載される楽譜ビューワプログラムであって、
表示装置の表示面側に設けられた撮像装置によってリアルタイムに捉えられる動画画像から一定時間間隔で繰り返し取り込まれるコマ画像内の人の顔画像を検出し、
コマ画像内の人の顔画像に左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、または、笑顔の５つの顔状態のうち楽譜画像のページ戻し方法として設定されたページ戻し方法に対応する顔状態が検出された場合に表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換え、
コマ画像内の人の顔画像に右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、または、笑顔の５つの顔状態のうち楽譜画像のページ送り方法として設定されたページ送り方法に対応する顔状態が検出された場合に表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える、
顔状態検出及びページ捲り手段が設けられていることを特徴とする楽譜ビューワプログラム。
【請求項２】
記憶装置と、表示装置と、この表示装置の表示面側に設けられた撮像装置とを備えたコンピューターに搭載される楽譜ビューワプログラムであって、
記憶装置の記憶領域にページ順序とインデックス順序とを対応させて画像配列変数のデータとして記憶された複数の楽譜画像データを有して、
画像配列変数内の特定のインデックスに対応する楽譜画像を表示装置に表示させる第１の楽譜表示手段を備え、インデックスの値を１だけ減少させることにより表示装置に表示される楽譜画像のページを前のページに切り換えるページ戻し手段と、
画像配列変数内の特定のインデックスに対応する楽譜画像を表示装置に表示させる第２の楽譜表示手段を備え、インデックスの値を１だけ増加させることにより表示装置に表示される楽譜画像のページを後のページに切り換えるページ送り手段と、
撮像装置によって捉えられる映像を動画画像データとしてリアルタイムに取得する動画画像取得手段と、
動画画像データを一定時間間隔で繰り返し取り込み、動画画像を構成するコマ画像をコマ画像データとして取得するコマ画像取得手段と、
上記一定時間間隔で繰り返し取得されるコマ画像内の人の顔画像を検出し、人の顔画像が笑顔か否かの情報、左目を閉じたか否かの情報、右目を閉じたか否かの情報、人の顔の傾斜角の情報および人の顔の位置の情報の５つの顔情報を取得する顔情報検出手段と、
顔情報検出手段により上記一定時間間隔で繰り返し取得される５つの顔情報に基づいて、
コマ画像内の人の顔の左目が閉じかつ右目が開いている場合にページ戻し手段により表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換える左ウインク検出及びページ戻し手段、
コマ画像内の人の顔が左に傾いた場合にページ戻し手段により表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換える左顔傾斜検出及びページ戻し手段、
コマ画像内の人の顔の位置がコマ画像の中央位置から左に移動した場合にページ戻し手段により表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換える左顔位置検出及びページ戻し手段、
コマ画像内の人の顔の左目と右目との両方が閉じている場合にページ戻し手段により表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換える瞬き検出及びページ戻し手段、
コマ画像内の人の顔が笑顔である場合にページ戻し手段により表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換える笑顔検出及びページ戻し手段、
を備え、
上記一定時間間隔の繰り返し処理において楽譜画像のページ戻し方法として設定された左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、笑顔の５つの顔状態に対応して、各々、左ウインク検出及びページ戻し手段、左顔傾斜検出及びページ戻し手段、左顔位置検出及びページ戻し手段、瞬き検出及びページ戻し手段、笑顔検出及びページ戻し手段による各処理を振り分けて実行する顔状態検出及びページ戻し手段と、
上記顔情報検出手段により上記一定時間間隔で繰り返し取得される５つの顔情報に基づいて、
コマ画像内の人の顔の右目が閉じかつ左目が開いている場合にページ送り手段により表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える右ウインク検出及びページ送り手段、
コマ画像内の人の顔が右に傾いた場合にページ送り手段により表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える右顔傾斜検出及びページ送り手段、
コマ画像内の人の顔の位置がコマ画像の中央位置から右に移動した場合にページ送り手段により表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える右顔位置検出及びページ送り手段、
コマ画像内の人の顔の左目と右目との両方が閉じている場合にページ送り手段により表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える瞬き検出及びページ送り手段、
コマ画像内の人の顔が笑顔である場合にページ送り手段により表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える笑顔検出及びページ送り手段、
を備え、
上記一定時間間隔の繰り返し処理において楽譜画像のページ送り方法として設定された右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、笑顔の５つの顔状態に対応して、各々、右ウインク検出及びページ送り手段、右顔傾斜検出及びページ送り手段、右顔位置検出及びページ送り手段、瞬き検出及びページ送り手段、笑顔検出及びページ送り手段による各処理を振り分けて実行する顔状態検出及びページ送り手段と、
を有して、
表示装置の表示面側に設けられた撮像装置によってリアルタイムに捉えられる動画画像から上記一定時間間隔で繰り返し取り込まれるコマ画像内の人の顔画像を検出し、
コマ画像内の人の顔画像に左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、または、笑顔の５つの顔状態のうち上記設定されたページ戻し方法に対応する顔状態が検出された場合に表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換え、
コマ画像内の人の顔画像に右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、または、笑顔の５つの顔状態のうち上記設定されたページ送り方法に対応する顔状態が検出された場合に表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える、
顔状態検出及びページ捲り手段が設けられていることを特徴とする楽譜ビューワプログラム。
【請求項３】
上記ページ戻し方法を上記人の顔の左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、笑顔の５つの顔状態のうち１つの顔状態から設定可能とするページ戻し方法設定手段と、
上記ページ送り方法を上記人の顔の右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、笑顔の５つの顔状態のうち１つの顔状態から設定可能とするページ送り方法設定手段と、
を有して、
上記ページ戻し方法と上記ページ送り方法とを上記各５つの顔状態から各々設定可能とするページ捲り方法設定手段が設けられていることを特徴とする請求項２に記載の楽譜ビューワプログラム。
【請求項４】
上記画像配列変数内の複数の楽譜画像データを楽譜画像として楽譜のページ順序で上記表示装置に一覧表示させる楽譜一覧表示手段と、
上記楽譜画像として一覧表示された画像配列変数内の複数の楽譜画像データのうちユーザーにより選択された１つの楽譜画像に対応する楽譜画像データのカット、コピー、または、ペースト処理を可能にするカット/コピー/ペースト手段と、
上記楽譜画像として一覧表示された複数の楽譜画像の表示順序を変更可能とし、変更された複数の楽譜画像の表示順序に対応して画像配列変数のインデックス順序を変更する楽譜表示順序変更手段と、
を有して、
表示装置に一覧表示された複数の楽譜画像に対するカット、コピーまたはペーストによる編集および/または表示順序の編集を可能とする楽譜編集手段が設けられていることを特徴とする請求項２または請求項３に記載の楽譜ビューワプログラム。
【請求項５】
上記顔情報検出手段により上記一定時間間隔で繰り返し取得される５つの顔情報に基づいて上記表示装置に表示される楽譜画像を前のページに切り換える顔状態検出及びページ戻し手段による処理を戻しスキップ回数設定値で設定される回数だけスキップするページ戻しスキップ手段と、
上記顔情報検出手段により上記一定時間間隔で繰り返し取得される５つの顔情報に基づいて上記表示装置に表示される楽譜画像を後のページに切り換える顔状態検出及びページ送り手段による処理を送りスキップ回数設定値で設定される回数だけスキップするページ送りスキップ手段と、
を有して、
上記表示装置に表示中のページが上記ページ戻し手段により前のページに切り換わった後、上記ページ戻しスキップ手段により上記戻しスキップ回数設定値で設定される回数だけ上記顔状態検出及びページ戻し手段による処理をスキップすることにより連続的なページ戻し処理を防止する連続ページ戻し防止手段と、
上記表示装置に表示中のページが上記ページ送り手段により後のページに切り換わった後、上記ページ送りスキップ手段により上記送りスキップ回数設定値で設定される回数だけ上記顔状態検出及びページ送り手段による処理をスキップすることにより連続的なページ送り処理を防止する連続ページ送り防止手段と、
を備えていることを特徴とする請求項２ないし請求項４に記載の楽譜ビューワプログラム。
【請求項６】
上記戻しスキップ回数設定値と上記送りスキップ回数設定値とが各々独立に設定可能なことを特徴とする請求項５に記載の楽譜ビューワプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピューターに搭載される楽譜ビューワプログラムに関する。
【背景技術】
【０００２】
従来から手を使わずにページを捲る電子譜面台が知られている（特許文献１等参照）。
この電子譜面台はペダルスイッチを足で操作することによりページを捲るようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2008-292966号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
楽器の演奏において、それが練習であっても、本番であっても、演奏者自身が演奏途中に自らの手で楽譜を捲るのが一般的である。
【０００５】
本番の演奏で演奏者自身が楽譜を捲ることができない場合、例えばピアノの本番の演奏時には、楽譜のページを捲るための専門要員（ページターナー）を依頼する必要があった。
【０００６】
また、多数の演奏者からなるオーケストラなどの演奏では、演奏者が他の演奏者の演奏中にページを捲ることができるように事前に演奏する楽曲を編曲しておく必要があり、そのためには大変な時間や労力が必要であった。
【０００７】
練習時においては、楽譜捲りのために演奏が度々中断され、そのことが煩わしいだけでなく、ページ捲りのためにスムーズな演奏が妨げられるという問題があった。
【０００８】
これらの問題を解決するために従来例の電子譜面台などがあったが、従来例の電子譜面台はペダルスイッチの操作によって楽譜を捲るため、演奏自体に足を使う楽器を演奏する場合には使用できなかった。
【０００９】
そこで本発明では、様々な種類の楽器の演奏において演奏者が手を使わずに楽譜のページを捲ることができる楽譜ビューワプログラムを提供する。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１に記載の発明は、記憶装置と、表示装置と、この表示装置の表示面側に設けられた撮像装置とを備えたコンピューターに搭載される楽譜ビューワプログラムであって、表示装置の表示面側に設けられた撮像装置によってリアルタイムに捉えられる動画画像から一定時間間隔で繰り返し取り込まれるコマ画像内の人の顔画像を検出し、コマ画像内の人の顔画像に左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、または、笑顔の５つの顔状態のうち楽譜画像のページ戻し方法として設定されたページ戻し方法に対応する顔状態が検出された場合に表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換え、コマ画像内の人の顔画像に右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、または、笑顔の５つの顔状態のうち楽譜画像のページ送り方法として設定されたページ送り方法に対応する顔状態が検出された場合に表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える顔状態検出及びページ捲り手段が設けられている楽譜ビューワプログラムを特徴としている。
【００１１】
そして、請求項２に記載の発明は、記憶装置と、表示装置と、この表示装置の表示面側に設けられた撮像装置とを備えたコンピューターに搭載される楽譜ビューワプログラムであって、記憶装置の記憶領域にページ順序とインデックス順序とを対応させて画像配列変数のデータとして記憶された複数の楽譜画像データを有して、画像配列変数内の特定のインデックスに対応する楽譜画像を表示装置に表示させる第１の楽譜表示手段を備え、インデックスの値を１だけ減少させることにより表示装置に表示される楽譜画像のページを前のページに切り換えるページ戻し手段と、画像配列変数内の特定のインデックスに対応する楽譜画像を表示装置に表示させる第２の楽譜表示手段を備え、インデックスの値を１だけ増加させることにより表示装置に表示される楽譜画像のページを後のページに切り換えるページ送り手段と、撮像装置によって捉えられる映像を動画画像データとしてリアルタイムに取得する動画画像取得手段と、動画画像データを一定時間間隔で繰り返し取り込み、動画画像を構成するコマ画像をコマ画像データとして取得するコマ画像取得手段と、上記一定時間間隔で繰り返し取得されるコマ画像内の人の顔画像を検出し、人の顔画像が笑顔か否かの情報、左目を閉じたか否かの情報、右目を閉じたか否かの情報、人の顔の傾斜角の情報および人の顔の位置の情報の５つの顔情報を取得する顔情報検出手段と、顔情報検出手段により上記一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔の左目が閉じかつ右目が開いている場合にページ戻し手段により表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換える左ウインク検出及びページ戻し手段、コマ画像内の人の顔が左に傾いた場合にページ戻し手段により表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換える左顔傾斜検出及びページ戻し手段、コマ画像内の人の顔の位置がコマ画像の中央位置から左に移動した場合にページ戻し手段により表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換える左顔位置検出及びページ戻し手段、コマ画像内の人の顔の左目と右目との両方が閉じている場合にページ戻し手段により表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換える瞬き検出及びページ戻し手段、コマ画像内の人の顔が笑顔である場合にページ戻し手段により表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換える笑顔検出及びページ戻し手段、を備え、上記一定時間間隔の繰り返し処理において楽譜画像のページ戻し方法として設定された左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、笑顔の５つの顔状態に対応して、各々、左ウインク検出及びページ戻し手段、左顔傾斜検出及びページ戻し手段、左顔位置検出及びページ戻し手段、瞬き検出及びページ戻し手段、笑顔検出及びページ戻し手段による各処理を振り分けて実行する顔状態検出及びページ戻し手段と、上記顔情報検出手段により上記一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔の右目が閉じかつ左目が開いている場合にページ送り手段により表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える右ウインク検出及びページ送り手段、コマ画像内の人の顔が右に傾いた場合にページ送り手段により表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える右顔傾斜検出及びページ送り手段、コマ画像内の人の顔の位置がコマ画像の中央位置から右に移動した場合にページ送り手段により表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える右顔位置検出及びページ送り手段、コマ画像内の人の顔の左目と右目との両方が閉じている場合にページ送り手段により表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える瞬き検出及びページ送り手段、コマ画像内の人の顔が笑顔である場合にページ送り手段により表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える笑顔検出及びページ送り手段、を備え、上記一定時間間隔の繰り返し処理において楽譜画像のページ送り方法として設定された右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、笑顔の５つの顔状態に対応して、各々、右ウインク検出及びページ送り手段、右顔傾斜検出及びページ送り手段、右顔位置検出及びページ送り手段、瞬き検出及びページ送り手段、笑顔検出及びページ送り手段による各処理を振り分けて実行する顔状態検出及びページ送り手段と、を有して、表示装置の表示面側に設けられた撮像装置によってリアルタイムに捉えられる動画画像から上記一定時間間隔で繰り返し取り込まれるコマ画像内の人の顔画像を検出し、コマ画像内の人の顔画像に左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、または、笑顔の５つの顔状態のうち上記設定されたページ戻し方法に対応する顔状態が検出された場合に表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換え、コマ画像内の人の顔画像に右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、または、笑顔の５つの顔状態のうち上記設定されたページ送り方法に対応する顔状態が検出された場合に表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える顔状態検出及びページ捲り手段が設けられている楽譜ビューワプログラムを特徴としている。
【００１２】
また、請求項３に記載の発明は、上記ページ戻し方法を上記人の顔の左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、笑顔の５つの顔状態のうち１つの顔状態から設定可能とするページ戻し方法設定手段と、上記ページ送り方法を上記人の顔の右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、笑顔の５つの顔状態のうち１つの顔状態から設定可能とするページ送り方法設定手段と、を有して、上記ページ戻し方法と上記ページ送り方法とを上記各５つの顔状態から各々設定可能とするページ捲り方法設定手段が設けられている請求項２に記載の楽譜ビューワプログラムを特徴としている。
【００１３】
さらに、請求項４に記載の発明は、上記画像配列変数内の複数の楽譜画像データを楽譜画像として楽譜のページ順序で上記表示装置に一覧表示させる楽譜一覧表示手段と、上記楽譜画像として一覧表示された画像配列変数内の複数の楽譜画像データのうちユーザーにより選択された１つの楽譜画像に対応する楽譜画像データのカット、コピー、または、ペースト処理を可能にするカット/コピー/ペースト手段と、上記楽譜画像として一覧表示された複数の楽譜画像の表示順序を変更可能とし、変更された複数の楽譜画像の表示順序に対応して画像配列変数のインデックス順序を変更する楽譜表示順序変更手段と、を有して、表示装置に一覧表示された複数の楽譜画像に対するカット、コピーまたはペーストによる編集および/または表示順序の編集を可能とする楽譜編集手段が設けられている請求項２または請求項３に記載の楽譜ビューワプログラムを特徴としている。
【００１４】
そして、請求項５に記載の発明は、上記顔情報検出手段により上記一定時間間隔で繰り返し取得される５つの顔情報に基づいて上記表示装置に表示される楽譜画像を前のページに切り換える顔状態検出及びページ戻し手段による処理を戻しスキップ回数設定値で設定される回数だけスキップするページ戻しスキップ手段と、上記顔情報検出手段により上記一定時間間隔で繰り返し取得される５つの顔情報に基づいて上記表示装置に表示される楽譜画像を後のページに切り換える顔状態検出及びページ送り手段による処理を送りスキップ回数設定値で設定される回数だけスキップするページ送りスキップ手段と、を有して、上記表示装置に表示中のページが上記ページ戻し手段により前のページに切り換わった後、上記ページ戻しスキップ手段により上記戻しスキップ回数設定値で設定される回数だけ上記顔状態検出及びページ戻し手段による処理をスキップすることにより連続的なページ戻し処理を防止する連続ページ戻し防止手段と、上記表示装置に表示中のページが上記ページ送り手段により後のページに切り換わった後、上記ページ送りスキップ手段により上記送りスキップ回数設定値で設定される回数だけ上記顔状態検出及びページ送り手段による処理をスキップすることにより連続的なページ送り処理を防止する連続ページ送り防止手段と、を備えている請求項２ないし請求項４に記載の楽譜ビューワプログラムを特徴としている。
【００１５】
また、請求項６に記載の発明は、上記戻しスキップ回数設定値と上記送りスキップ回数設定値とが各々独立に設定可能な請求項５に記載の楽譜ビューワプログラムを特徴としている。
【発明の効果】
【００１６】
このように構成された請求項１または２に記載の発明では、表示装置の表示面側に設けられた撮像装置によってリアルタイムに捉えられる動画画像から一定時間間隔で繰り返し取り込まれるコマ画像内の人の顔画像を検出し、コマ画像内の人の顔画像に左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、または、笑顔の５つの顔状態のうち楽譜画像のページ戻し方法として設定されたページ戻し方法に対応する顔状態が検出された場合に表示装置に表示中の楽譜画像を前のページの楽譜画像に切り換え、コマ画像内の人の顔画像に右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、または、笑顔の５つの顔状態のうち楽譜画像のページ送り方法として設定されたページ送り方法に対応する顔状態が検出された場合に表示装置に表示中の楽譜画像を後のページの楽譜画像に切り換える顔状態検出及びページ捲り手段が設けられているので、演奏者（ユーザー）はウインク、顔の傾斜、顔の移動、瞬き、または、笑顔の動作によって楽譜のページを前後に捲ることができる。
【００１７】
これにより演奏者は手を使わずに楽譜を捲ることができるので、ページ捲りの煩わしさから解放されるだけでなく、ページ捲りによって演奏が中断されることがないのでスムーズに演奏を続けることができる。
また、演奏者自身が楽譜のページを捲ることができるので、楽譜を捲るための専門要員を依頼する必要がなくなる。
【００１８】
そして、請求項３に記載の発明では、上記ページ戻し方法と上記ページ送り方法とを上記各５つの顔状態から各々設定可能とするページ捲り方法設定手段が設けられているので、演奏者は、これらの方法の中から自分に最も適したページ捲り方法を利用することができ、様々な種類の楽器の演奏において演奏者は手を使わずに楽譜を捲ることができる。
【００１９】
例えば、ヴァイオリンの演奏者は顎で楽器を支えるので顔の傾斜を変えるのは困難であるが、そのような場合には顔の傾斜以外、例えば「ウインク」や「まばたき」などの顔状態をページ捲り方法として選択することができる。
また、楽器固有の特性に依らずとも、例えばウインクが苦手な人はその他のページ捲り方法から自分に最も適した方法を利用することができる。
【００２０】
さらに、請求項４に記載の発明では、表示装置に一覧表示された複数の楽譜画像に対するカット、コピーまたはペーストによる編集や表示順序の編集を可能とする楽譜編集手段が設けられているので、楽譜の繰り返し記号などを考慮してカット、コピーまたはペースト操作および表示順序の変更操作を行い、予め楽譜の表示順序が演奏するページ順序になるように編集しておくことにより、演奏者は楽譜画像を前のページに切り換えることなく、後のページに切り換えるだけで全ての楽譜を見ることができる。
【００２１】
これにより、演奏者は演奏中に繰り返し記号などの指示によって何ページも連続して前のページに戻したり後のページに送ったりする煩わしい操作をする必要がなくなり、スムーズに演奏を続けることができる。
【００２２】
また、請求項５に記載の発明では、上記表示装置に表示中のページが上記ページ戻し手段により前のページに切り換わった後、上記ページ戻しスキップ手段により上記戻しスキップ回数設定値で設定される回数だけ上記顔状態検出及びページ戻し手段による処理をスキップすることによって連続的なページ戻し処理を防止する連続ページ戻し防止手段と、上記表示装置に表示中のページが上記ページ送り手段により後のページに切り換わった後、上記ページ送りスキップ手段により上記送りスキップ回数設定値で設定される回数だけ上記顔状態検出及びページ送り手段による処理をスキップすることによって連続的なページ送り処理を防止する連続ページ送り防止手段と、を備えているので、これらの回数を設定する戻しスキップ回数設定値と送りスキップ回数設定値との値を適宜の値に設定すれば、ページ捲りを意図しない演奏者の顔の不要な連続的動作によってページが切り換わるのを防止することができる。
【００２３】
そして、請求項６に記載の発明では、上記戻しスキップ回数設定値と上記送りスキップ回数設定値とが各々独立に設定可能なので、送りスキップ回数設定値を比較的大きめに設定し、戻しスキップ回数設定値を比較的小さめに設定することにより、ページ捲りを意図しない演奏者の顔の不要な連続的動作によってページが後に送られるのを防止でき、仮に意図せずページを進めてしまいページを戻す必要がある場合には素早くページを戻すことができる。
【００２４】
例えば、請求項４に記載の楽譜編集手段などを用いて楽譜の表示順序が演奏するページ順序になるように予め編集されている場合には、後のページに切り換えるだけで全ての楽譜を見ることができるが、このような場合、一度ページを進めた後は１ページ分の演奏が終了するまで暫くページを進める必要がなく、通常ページ送りが連続的に行われることはないので、送りスキップ回数設定値を比較的大きめに設定することによりページ捲りを意図しない演奏者の顔の不要な連続的動作によってページが後に送られるのを防止することができ、戻しスキップ回数設定値を比較的小さめに設定することにより、仮に意図せずページを進めてしまった場合には素早くページを戻すことができる。
【００２５】
本発明の楽譜ビューワプログラムPが搭載されたコンピューターの性能などにも依存するが、具体的に上記の繰り返し処理の一定の時間間隔が約０.１秒の場合、戻しスキップ回数設定値を５に設定し、送りスキップ回数設定値を２０に設定すれば、一度ページを進めてから約２秒経過しないと次のページに進めることができないので、ページ捲りを意図しない演奏者の顔の不要な連続的動作によってページが進むのを防止でき、一方で意図せずページを進めてしまい、至急ページを戻す必要がある場合には約０．５秒で素早くページを戻すことができる。
【図面の簡単な説明】
【００２６】
【図１】実施例１および２に係るタブレット型コンピューターの内部構成を示す概略図であり、ストレージに搭載された楽譜ビューワプログラムのプログラム構成を示す構成図を含む。
【図２】実施例１および２に係る楽譜ビューワプログラムの起動画面を示す。
【図３】実施例１および２に係る楽譜ビューワプログラムのライブラリ画面を示す。
【図４】実施例１および２に係る楽譜ビューワプログラムの楽譜表示画面を示す。
【図５】実施例１および２に係る楽譜ビューワプログラムの楽譜撮影画面を示す。
【図６】実施例１および２に係る楽譜ビューワプログラムのスクリーンショット画像選択画面を示す。
【図７】実施例１および２に係る楽譜ビューワプログラムの表示順序編集画面を示す。
【図８】実施例１および２に係る楽譜ビューワプログラムの楽譜表示画面で「ページ戻し方法設定」ウィンドウと「ページ送り方法設定」ウィンドウとが表示された状態を示す。
【図９】実施例１および２に係る楽譜ビューワプログラムの表示順序編集画面でポップアップメニューが表示された状態を示す。
【図１０】実施例１および２に係る楽譜ビューワプログラムの表示順序編集画面で１つの楽譜画像をドラッグしている状態を示す。
【図１１】実施例１および２に係るページ捲り方法設定手段の処理の流れを示すフローチャート。
【図１２】実施例１に係る顔状態検出及びページ捲り手段の処理の流れを示すフローチャート。
【図１３】実施例１および２に係る顔状態検出及びページ戻し手段（図の(a)）および顔状態検出及びページ送り手段（図の(b)）の各々の処理の流れを示すフローチャート。
【図１４】実施例１および２に係る左ウインク検出及びページ戻し手段（図の(a)）および右ウインク検出及びページ送り手段（図の(b)）の各々の処理の流れを示すフローチャート。
【図１５】実施例１および２に係る左顔傾斜検出及びページ戻し手段（図の(a)）および右顔傾斜検出及びページ送り手段（図の(b)）の各々の処理の流れを示すフローチャート。
【図１６】実施例１および２に係る左顔位置検出及びページ戻し手段（図の(a)）および右顔位置検出及びページ送り手段（図の(b)）の各々の処理の流れを示すフローチャート。
【図１７】実施例１および２に係る瞬き検出及びページ戻し手段（図の(a)）および瞬き検出及びページ送り手段（図の(b)）の各々の処理の流れを示すフローチャート。
【図１８】実施例１および２に係る笑顔検出及びページ戻し手段（図の(a)）および笑顔検出及びページ送り手段（図の(b)）の各々の処理の流れを示すフローチャート。
【図１９】実施例１に係るページ戻し手段（図の(a)）およびページ送り手段（図の(b)）の各々の処理の流れを示すフローチャート。
【図２０】実施例２に係る顔状態検出及びページ捲り手段の処理の流れを示すフローチャート。
【図２１】実施例２に係るページ戻し手段（図の(a)）およびページ送り手段（図の(b)）の各々の処理の流れを示すフローチャート。
【発明を実施するための形態】
【００２７】
本発明に係る実施の形態の実施例に基づいて本発明を説明する。
【実施例】
【００２８】
［実施例１］
本明細書において「手段」という語は、サブルーチン、サブプログラムなどのプログラムを示し、そのプログラムにより実行される主な「処理」の名称も「手段」の名称と同一名称とする。例えば「ページ戻し方法設定手段（プログラム）」によって実行される主な処理を「ページ戻し方法設定処理」などとする。
【００２９】
〈タブレット型コンピューター〉
図１の符号１は本発明の楽譜ビューワプログラムを搭載したタブレット型コンピューターであり、図１はタブレット型コンピューター１の内部構成を示す概略図である。
《タブレット型コンピューター１の構成》
タブレット型コンピューター１は、タッチパネル式のモニター２と、モニター２の表示面側に設けられた正面カメラ３aと、タブレット型コンピューター１本体の背面側に設けられた背面カメラ３ｂとを備えている。
【００３０】
タブレット型コンピューター１は、CPU（中央演算処理装置）４、作業用のメモリー５、不揮発性の大容量ストレージ６、モニター２およびその制御装置等を含む画像表示装置７、カメラ３a,３ｂおよびその制御装置等を含む撮像装置８、モニター２のタッチパネルおよびその制御装置等を含む入力装置９、有線または無線通信により他のコンピューターとの通信を行う通信装置１０、および、電源としての充電池１１などを有している。
【００３１】
《タブレット型コンピューター１の機能》
ストレージ６には、OS（オペレーションシステム）のプログラムファイルと、実施例１の楽譜ビューワプログラムPを含む複数のプログラムファイルとが搭載され、搭載された複数のプログラムはOSを介して実行可能になっている。
また、ストレージ６には本プログラム用のデータ保存領域が確保されている。
【００３２】
なお、以下の説明では、複数の楽譜画像により構成される楽譜画像データ（楽譜ファイル）が、楽譜のページ順序とインデックス順序とを対応させた画像配列変数データとしてメモリー５の記憶領域に予め記憶されているものとする。
【００３３】
〈楽譜ビューワプログラムPの表示画面〉
図２の符号SAは、実施例１の楽譜ビューワプログラムPの起動画面であり、本プログラムの起動時には起動画面SAがモニター２に表示される。
《楽譜ビューワプログラムPの表示画面の構成》
楽譜ビューワプログラムPは、その表示画面として起動画面SAの他に、図３に示すライブラリ画面SBと、図４に示す楽譜表示画面SCと、図５に示す楽譜撮影画面SDと、図６に示すスクリーンショット画像選択画面SEと、図７に示す表示順序編集画面SFとを有している。
【００３４】
《起動画面SAの構成と機能》
図２に示す起動画面SAには、「ライブラリを表示」タブSA１と、「楽譜をカメラで撮影」タブSA２と、「楽譜をスクリーンショットから取得」タブSA３とが設けられている。
起動画面SAにおいて「ライブラリを表示」タブSA１をタップすると図３に示すライブラリ画面SBが、「楽譜をカメラで撮影」タブSA２をタップすると図５に示す楽譜撮影画面SDが、「楽譜をスクリーンショットから取得」タブSA３をタップすると図６に示すスクリーンショット画像選択画面SEがモニター２に表示される。
【００３５】
《ライブラリ画面SBの構成と機能》
図３に示すライブラリ画面SBには、「曲名・アーティスト名」リストSB１と、「外部アプリからのインポートファイル」リストSB２と、「楽譜を表示」タブSB３と、「表示順序を編集」タブSB４とが設けられている。
【００３６】
リストSB１には図７に表示順序編集画面SFにおいて編集後に保存された楽譜ファイルの曲名およびアーティスト名が表示され、リストSB２には本プログラム以外のプログラムから本プログラムにインポートされた電子ブックまたは画像ファイルのファイル名が表示される。
そして、「楽譜を表示」タブSB３をタップすると図４に示す楽譜表示画面SCが、「表示順序を編集」タブSB４をタップすると図７に示す表示順序編集画面SFがモニター２に表示される。
【００３７】
《楽譜表示画面SCの構成と機能》
図４に示す楽譜表示画面SCには、楽譜表示部SC１と、ページ情報表示部SC２と、「フェイススキャン開始/停止」タブSC３と、「ページ戻し方法設定」タブSC４Lおよび「ページ送り方法設定」タブSC４Rと、戻しスキップ回数セレクターSC５Lおよび送りスキップ回数セレクターSC５Rとが設けられている。
【００３８】
楽譜表示部SC１には、上述の画像配列変数として記憶された楽譜ファイルの複数の楽譜画像のうち１ページが表示され、ページ情報表示部SC２には表示中の楽譜が楽譜ファイルの全ページ中何ページ目であるかが表示される。
【００３９】
そして、図８に示すように、「ページ戻し方法設定」タブSC４Lをタップすると楽譜表示画面SCの左側に「ページ戻し方法設定」ウィンドウSC６Lが表示され、「ページ送り方法設定」タブSC４Rをタップすると楽譜表示画面SCの右側に「ページ送り方法設定」ウィンドウSC６Rが表示される。
【００４０】
なお、戻しスキップ回数セレクターSC５Lおよび送りスキップ回数セレクターSC５Rの機能については、実施例２で説明する。
【００４１】
《ウィンドウSC６L,SC６Rの構成と機能》
図８に示すウィンドウSC６L,SC６Rには、各々「ウインク」タブSC６L１,SC６R１、「顔の傾斜」タブSC６L２,SC６R２、「顔の位置」タブSC６L３,SC６R３、「まばたき（瞬き）」タブSC６L４,SC６R４、および、「スマイル（笑顔）」タブSC６L５,SC６R５が設けられている。
【００４２】
ウィンドウSC６Lが表示された状態で５つのタブSC６L１〜SC６L５のうち何れか１つのタブをタップすると、タップしたタブのラベルが示すページ戻し方法がページ戻し方法としてページ戻し変数に設定され、ウィンドウSC６Lは閉じる。
【００４３】
同様に、ウィンドウSC６Rが表示された状態で５つのタブSC６R１〜SC６R５のうち何れか１つのタブをタップすると、タップしたタブのラベルが示すページ送り方法がページ送り方法としてページ送り変数に設定され、ウィンドウSC６Rは閉じる。
【００４４】
《「フェイススキャン開始/停止」タブSC３の機能》
「フェイススキャン開始/停止」タブSC３をタップするとフェイススキャン（顔状態検出及びページ捲り処理）が開始されて、正面カメラ３aによってリアルタイムに捉えられる動画画像から一定時間間隔で繰り返し取り込まれるコマ画像内の人の顔画像が検出され、コマ画像内の人の顔画像に左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、または、笑顔の５つの顔状態のうち「ページ戻し方法設定」ウィンドウSC６Lで設定されたページ戻し方法に対応する顔状態が検出された場合に楽譜表示部SC１に表示中の楽譜画像が前のページの楽譜画像に切り換わり、コマ画像内の人の顔画像に右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、または、笑顔の５つの顔状態のうち「ページ送り方法設定」ウィンドウSC６Rで設定されたページ送り方法に対応する顔状態が検出された場合に楽譜表示部SC１に表示中の楽譜画像が後のページの楽譜画像に切り換わる。
【００４５】
そして、フェイススキャンの実行中に再び「フェイススキャン開始/停止」タブSC３をタップするとフェイススキャンが停止して、楽譜画像の切り換え処理（ページ捲り処理）も停止する。
【００４６】
《表示順序編集画面SFの構成と機能》
図７に示す表示順序編集画面SFには、縮小画像表示部SF１、「ライブラリに保存」タブSF２、「楽譜を表示」タブSF３、および、「前の画面に戻る」タブSF４が設けられている。
【００４７】
表示順序編集画面SFは、図３に示すライブラリ画面SBにおいて「表示順序を編集」タブSB４をタップした場合、図５に示す楽譜撮影画面SDにおいて「撮影完了」タブSD５をタップした場合、または、図６に示すスクリーンショット画像選択画面SEにおいて複数のサムネイル画像SE１a,…のうち何れか１つの画像をタップした場合の何れかの場合にモニター２に表示される。
【００４８】
図７に示す縮小画像表示部SF１には、画像配列変数に記憶された複数の楽譜画像データに対応する楽譜画像SF１a,…が画像配列変数のインデックス順でタイル状に左上から横並びに表示される。
【００４９】
〔楽譜画像のカット/コピー/ペースト方法〕
複数の楽譜画像SF１a,…のうち何れか１つの画像、例えば楽譜画像SF１dを指１本で長押しタップすると、図９に示すようにタップされた楽譜画像SF１dの上部にポップアップメニューSF６が表示されて、ポップアップメニューSF６には「カット」、「コピー」、「ペースト」の３つのラベルが表示される。
【００５０】
この状態で「カット」ラベルまたは「コピー」ラベルをタップした場合には楽譜画像SF１dがカットまたはコピーされる。
【００５１】
また、「ペースト」ラベルをタップした場合には、すでにカットまたはコピーされた画像が楽譜画像SF１dの前、すなわち楽譜画像SF１cと楽譜画像SF１dとの間に挿入配置され、楽譜画像SF１d以降の画像はタイル状に再配置される。
【００５２】
〔楽譜の表示順序の編集方法〕
図１０に示すように、複数の楽譜画像SF１a,…のうち何れか１つの楽譜画像、例えば楽譜画像SF１gを楽譜画像SF１aと楽譜画像SF１bとの間に指２本でドラッグすると、楽譜画像SF１gは楽譜画像SF１aと楽譜画像SF１bとの間に挿入配置され、楽譜画像SF１b以降の画像はタイル状に再配置される。
【００５３】
カット/コピー/ペースト操作および表示順序の編集操作を行うと、楽譜画像の総数および、それらの表示順序は最初に複数の楽譜画像が表示順序編集画面SFに表示された状態とは異なるが、編集後に縮小画像表示部SF１に最終的に表示される楽譜画像の順序と画像配列変数のインデックスの順序とは一対一に対応している。
【００５４】
〔楽譜ファイルのライブラリへの保存方法〕
図７に示す「ライブラリに保存」タブSF２をタップすると表示順序編集画面SFの中央にファイル保存用の入力ダイアログ（不図示）が表示される。
【００５５】
この状態でOS標準のソフトウエアキーボードによって入力ダイアログの曲名欄およびアーティスト名欄（不図示）に各々曲名およびアーティスト名を入力すると、縮小画像表示部SF１に表示中の複数の楽譜画像に対応する楽譜画像データが楽譜ファイルとしてストレージ６の本プログラム用データ保存領域に保存される。
【００５６】
《楽譜撮影画面SDの構成と機能》
図５に示す楽譜撮影画面SDには、ビューファインダー部SD１、シャッタータブSD２、撮影画像表示部SD３、サムネイル表示部SD４、および、「撮影完了」タブSD５が設けられている。
【００５７】
楽譜撮影画面SDは、図２に示す起動画面SAにおいて「楽譜をカメラで撮影」タブSA２をタップした場合にモニター２に表示される。
図５に示す楽譜撮影画面SDがモニター２に表示されると、ビューファインダー部SD１には背面カメラ３ｂにより捉えられる映像がリアルタイムに表示される。
【００５８】
そして、シャッタータブSD２をタップすると、その時点にビューファインダー部SD１に表示中の画像が画像データとして画像配列変数の最初のインデックスに記憶され、撮影画像表示部SD３およびサムネイル表示部SD４にその画像が表示される。
【００５９】
また、シャッタータブSD２を再びタップすると、その時点にビューファインダー部SD１に表示中の画像が画像データとして画像配列変数の次のインデックスに記憶され、撮影画像表示部SD３にはその画像が表示され、サムネイル表示部SD４にはその画像が前の画像に追加して表示される。
【００６０】
同様にして、シャッタータブSD２のタップを繰り返すと、その時点にビューファインダー部SD１に表示中の画像が画像データとして画像配列変数の第３，４，５，…のインデックスに各々記憶される。
【００６１】
また、図５に示すように、サムネイル表示部SD４にはシャッタータブSD２を繰り返しタップする度に、撮影された楽譜画像が楽譜画像SD４a,…としてタイル状に左上から横並びに追加して表示される。
【００６２】
そして、楽譜の撮影が終了した後「撮影完了」タブSD５をタップすると、図７に示す表示順序編集画面SFが表示され、撮影された複数の画像が縮小画像表示部SF１に楽譜画像SF１a,…としてタイル状に左上から横並びで表示される。
【００６３】
《スクリーンショット画像選択画面SEの構成と機能》
以下の説明では、OS自体が有するスクリーンショット機能により、ストレージ６のスクリーンショット用データ保存領域に複数の楽譜画像が予め保存されているものとする。
【００６４】
図６に示すスクリーンショット画像選択画面SEにはサムネイル表示部SE１が設けられている。
スクリーンショット画像選択画面SEは、図２に示す起動画面SAにおいて「楽譜をスクリーンショットから取得」タブSA３をタップした場合にモニター２に表示される。
スクリーンショット画像選択画面SEがモニター２に表示されると、サムネイル表示部SE１にはストレージ６のスクリーンショット用データ保存領域に予め保存された複数の楽譜画像データが、図６に示すようにサムネイル画像SE１a,…としてタイル状に左上から横並びで表示される。
【００６５】
これらのサムネイル画像SE１a,…のうち何れか１つの画像をタップすると、タップされた画像に対応するストレージ６のスクリーンショット用データ保存領域内の画像データが画像配列変数の最初のインデックスに記憶された後、図７に示す表示順序編集画面SFが表示され、縮小画像表示部SF１にタップされた画像に対応する楽譜画像が表示される。
【００６６】
そして、表示順序編集画面SFの「前の画面に戻る」タブSF４をタップすると再び図６に示すスクリーンショット画像選択画面SEが表示され、ここで再びサムネイル画像SE１a,…のうち何れか１つの画像をタップすると、タップされた画像に対応する画像データが画像配列変数の第２のインデックスに記憶された後、図７に示す表示順序編集画面SFが表示され、縮小画像表示部SF１にタップされた画像に対応する画像が追加表示される。
【００６７】
同様に上記の操作を繰り返すと、タップされた複数の画像が画像データとして画像配列変数の第３，４，５，…のインデックスに各々記憶され、これらの複数の楽譜画像データに対応する楽譜画像SF１a,…が縮小画像表示部SF１にタイル状に左上から横並びで表示される。
【００６８】
〈楽譜ビューワプログラムP〉
《楽譜ビューワプログラムPの構成》
図１に示すように、実施例１の楽譜ビューワプログラムPは、顔状態検出及びページ捲り手段MP、楽譜編集手段PG、楽譜撮影手段PH、スクリーンショット画像取得手段PI、および、ファイルインポート手段PJによって構成されている。
【００６９】
《顔状態検出及びページ捲り手段MPの構成》
顔状態検出及びページ捲り手段MP（その処理を図１２に示す。以下では対応する処理を図番号のみで記す。）は、動画画像取得手段PL１、コマ画像取得手段PL２、顔情報検出手段PL３、楽譜表示手段PALを備えたページ戻し手段PBL（図１９(a)）、楽譜表示手段PARを備えたページ送り手段PBR（図１９(b)）、顔状態検出及びページ戻し手段PCL（図１３(a)）、顔状態検出及びページ送り手段PCR（図１３(b)）、および、ページ捲り方法設定手段PE（図１１）を有している。
【００７０】
《動画画像取得手段PL１、コマ画像取得手段PL２、顔情報検出手段PL３の機能》
動画画像取得手段PL１は、正面カメラ３aによって捉えられる映像を動画画像データとしてリアルタイムに取得し、コマ画像取得手段PL２は、動画画像データを短い一定時間間隔で繰り返し取り込み、動画画像を構成するコマ画像をコマ画像データとして取得する。
【００７１】
顔情報検出手段PL３は、コマ画像取得手段PL２により一定時間間隔で繰り返し取得されるコマ画像内に人の顔画像が含まれているか否かを検出し、顔画像が含まれている場合には、その人の顔に関する５つの顔情報、すなわち、その人の顔が笑顔か否かの情報（笑顔データ）、左目を閉じたか否かの情報（左ウインクデータ）、右目を閉じたか否かの情報（右ウインクデータ）、コマ画像の上下方向からの人の顔の傾斜角の情報（顔角度データ）、および、コマ画像内での人の顔の位置の情報（顔位置データ）を取得し、それらの情報を各々、真偽値（笑顔のとき真値）、真偽値（左目が閉じているとき真値）、真偽値（右目が閉じているとき真値）、角度値、および、座標値として、対応する各変数、すなわち、笑顔変数、左ウインク変数、右ウインク変数、顔角度変数、および、顔位置変数に返す。
【００７２】
《楽譜表示手段PAL，PAR、ページ戻し手段PBL、ページ送り手段PBRの機能》
楽譜表示手段PAL，PARは、各々画像配列変数内の特定のインデックスに対応する楽譜画像を図４に示す楽譜表示部SC１に表示させる。
【００７３】
ページ戻し手段PBL（図１９(a)）は、楽譜表示手段PALを備えており、画像配列変数のインデックスの値を１だけ減少させた後、楽譜表示手段PALにより楽譜を表示させることによって、図４に示す楽譜表示部SC１に表示される楽譜画像のページを前のページに切り換える。
【００７４】
同様に、ページ送り手段PBR（図１９(b)）は、楽譜表示手段PARを備えており、画像配列変数のインデックスの値を１だけ増加させた後、楽譜表示手段PARにより楽譜を表示させることによって、図４に示す楽譜表示部SC１に表示される楽譜画像のページを後のページに切り換える。
【００７５】
《ページ戻し手段PBL、ページ送り手段PBRの処理》
図１９(a)に示すページ戻し処理では、処理開始時において図４に示す楽譜表示部SC１に表示中の楽譜画像に対応する画像配列変数のインデックスの値を取得し、
【００７６】
そのインデックスが最小値であるか否か（楽譜の最初のページであるか否か）を判定し、
それが最小値である場合には楽譜表示部SC１に表示中のページが最初のページである旨を図４に示すページ情報表示部SC２に表示して処理を終了し、
【００７７】
それが最小値でない場合にはインデックスの値を１だけ減らした後、そのインデックスの値が示す画像配列変数内の画像データ、すなわち１ページ前の楽譜画像を楽譜表示部SC１に表示して処理を終了する。
【００７８】
図１９(b)に示すページ送り処理では、画像配列変数のインデックスの最大値を取得した後、図４に示す楽譜表示部SC１に表示中の楽譜画像に対応する画像配列変数のインデックスの値を取得し、
【００７９】
そのインデックスが最大値であるか否か（楽譜の最後のページであるか否か）を判定し、
それが最大値である場合には楽譜表示部SC１に表示中のページが最後のページである旨を図４に示すページ情報表示部SC２に表示して処理を終了し、
【００８０】
それが最大値でない場合にはインデックスの値を１だけ増した後、そのインデックスの値が示す画像配列変数内の画像データ、すなわち１ページ後の楽譜画像を楽譜表示部SC１に表示して処理を終了する。
【００８１】
《顔状態検出及びページ戻し手段PCLの構成》
図１に示すように、顔状態検出及びページ戻し手段PCL（図１３(a)）は、左ウインク検出及びページ戻し手段PCL１（図１４(a)）、左顔傾斜検出及びページ戻し手段PCL２（図１５(a)）、左顔位置検出及びページ戻し手段PCL３（図１６(a)）、瞬き検出及びページ戻し手段PCL４（図１７(a)）、および、笑顔検出及びページ戻し手段PCL５（図１８(a)）を有している。
【００８２】
《左ウインク検出及びページ戻し手段PCL１の機能》
左ウインク検出及びページ戻し手段PCL１（図１４(a)）は、顔情報検出手段PL３により一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔の左目が閉じかつ右目が開いている場合にページ戻し手段PBL（図１９(a)）により図４に示す楽譜表示部SC１に表示中の楽譜画像を前のページの楽譜画像に切り換える。
【００８３】
《左顔傾斜検出及びページ戻し手段PCL２の機能》
左顔傾斜検出及びページ戻し手段PCL２（図１５(a)）は、顔情報検出手段PL３により一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔画像の傾斜が演奏者から見て所定角度以上左に傾いた場合にページ戻し手段PBL（図１９(a)）により図４に示す楽譜表示部SC１に表示中の楽譜画像を前のページの楽譜画像に切り換える。
【００８４】
《左顔位置検出及びページ戻し手段PCL３の機能》
左顔位置検出及びページ戻し手段PCL３（図１６(a)）は、顔情報検出手段PL３により一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔画像の位置座標が演奏者から見てコマ画像の中央位置から所定変位量以上左に移動した場合にページ戻し手段PBL（図１９(a)）により図４に示す楽譜表示部SC１に表示中の楽譜画像を前のページの楽譜画像に切り換える。
【００８５】
《瞬き検出及びページ戻し手段PCL４の機能》
瞬き検出及びページ戻し手段PCL４（図１７(a)）は、顔情報検出手段PL３により一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔の左目と右目との両方が閉じている場合にページ戻し手段PBL（図１９(a)）により図４に示す楽譜表示部SC１に表示中の楽譜画像を前のページの楽譜画像に切り換える。
【００８６】
《笑顔検出及びページ戻し手段PCL５の機能》
笑顔検出及びページ戻し手段PCL５（図１８(a)）は、顔情報検出手段PL３により一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔が笑顔である場合にページ戻し手段PBL（図１９(a)）により図４に示す楽譜表示部SC１に表示中の楽譜画像を前のページの楽譜画像に切り換える。
【００８７】
《顔状態検出及びページ戻し手段PCLの機能》
顔状態検出及びページ戻し手段PCL（図１３(a)）は、上述の一定時間間隔の繰り返し処理において、楽譜画像のページ戻し方法として設定された左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、笑顔の５つの顔状態に対応して、各々、左ウインク検出及びページ戻し手段PCL１、左顔傾斜検出及びページ戻し手段PCL２、左顔位置検出及びページ戻し手段PCL３、瞬き検出及びページ戻し手段PCL４、笑顔検出及びページ戻し手段PCL５による各処理を振り分けて実行する。
【００８８】
《左ウインク検出及びページ戻し手段PCL１の処理》
図１４(a)に示す左ウインク検出及びページ戻し処理では、上述の左目を閉じたか否かの情報（左ウインクデータ、すなわち左ウインク変数の値）と右目を閉じたか否かの情報（右ウインクデータ、すなわち右ウインク変数の値）とに基づいて、左目は閉じかつ右目は開いている場合にはページ戻し処理を実行し、それ以外の場合には処理を終了する。
【００８９】
《左顔傾斜検出及びページ戻し手段PCL２の処理》
図１５(a)に示す左顔傾斜検出及びページ戻し処理では、上述のコマ画像の上下方向からの顔の傾斜角情報（顔角度データ）としての顔角度変数の値が所定角度以上演奏者から見て左に傾いた場合にはページ戻し処理を実行し、それ以外の場合には処理を終了する。
【００９０】
《左顔位置検出及びページ戻し手段PCL３の処理》
図１６(a)に示す左顔位置検出及びページ戻し処理では、上述のコマ画像内での顔の位置情報（顔位置データ、すなわち顔位置変数の値）に基づいて、顔画像の横方向の位置がコマ画像の中央位置から所定変位量以上演奏者から見て左に移動した場合にはページ戻し処理を実行し、それ以外の場合には処理を終了する。
【００９１】
《瞬き検出及びページ戻し手段PCL４の処理》
図１７(a)に示す瞬き検出及びページ戻し処理では、上述の左目を閉じたか否かの情報（左ウインクデータ、すなわち左ウインク変数の値）と右目を閉じたか否かの情報（右ウインクデータ、すなわち右ウインク変数の値）とに基づいて、左目と右目との両方が閉じている場合にはページ戻し処理を実行し、それ以外の場合には処理を終了する。
【００９２】
《笑顔検出及びページ戻し手段PCL５の処理》
図１８(a)に示す笑顔検出及びページ戻し処理では、上述の検出されたコマ画像内の顔が笑顔か否かの情報（笑顔データ、すなわち笑顔変数の値）に基づいて、笑顔が検出された場合にはページ戻し処理を実行し、それ以外の場合には処理を終了する。
【００９３】
《顔状態検出及びページ戻し手段PCLの処理》
図１３(a)に示す顔状態検出及びページ戻し処理では、上述の戻し方法変数に設定されたページ戻し方法としての顔状態が、ウインク、顔の傾斜、顔の位置、まばたき、スマイルのうち何れかを判定して、これらに対応して各々、左ウインク検出及びページ戻し処理、左顔傾斜検出及びページ戻し処理、左顔位置検出及びページ戻し処理、瞬き検出及びページ戻し処理、笑顔検出及びページ戻し処理を実行する。
【００９４】
《顔状態検出及びページ送り手段PCRの構成》
図１に示すように、顔状態検出及びページ送り手段PCR（図１３(b)）は、右ウインク検出及びページ送り手段PCR１（図１４(b)）、右顔傾斜検出及びページ送り手段PCR２（図１５(b)）、右顔位置検出及びページ送り手段PCR３（図１６(b)）、瞬き検出及びページ送り手段PCR４（図１７(b)）、および、笑顔検出及びページ送り手段PCR５（図１８(b)）を有している。
【００９５】
《右ウインク検出及びページ送り手段PCR１の機能》
右ウインク検出及びページ送り手段PCR１（図１４(b)）は、顔情報検出手段PL３により一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔の右目が閉じかつ左目が開いている場合にページ送り手段PBR（図１９(b)）により図４に示す楽譜表示部SC１に表示中の楽譜画像を後のページの楽譜画像に切り換える。
【００９６】
《右顔傾斜検出及びページ送り手段PCR２の機能》
右顔傾斜検出及びページ送り手段PCR２（図１５(b)）は、顔情報検出手段PL３により一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔画像の傾斜が演奏者から見て所定角度以上右に傾いた場合にページ送り手段PBR（図１９(b)）により図４に示す楽譜表示部SC１に表示中の楽譜画像を後のページの楽譜画像に切り換える。
【００９７】
《右顔位置検出及びページ送り手段PCR３の機能》
右顔位置検出及びページ送り手段PCR３（図１６(b)）は、顔情報検出手段PL３により一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔画像の位置座標が演奏者から見てコマ画像の中央位置から所定変位量以上右に移動した場合にページ送り手段PBR（図１９(b)）により図４に示す楽譜表示部SC１に表示中の楽譜画像を後のページの楽譜画像に切り換える。
【００９８】
《瞬き検出及びページ送り手段PCR４の機能》
瞬き検出及びページ送り手段PCR４（図１７(b)）は、顔情報検出手段PL３により一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔の左目と右目との両方が閉じている場合にページ送り手段PBR（図１９(b)）により図４に示す楽譜表示部SC１に表示中の楽譜画像を後のページの楽譜画像に切り換える。
【００９９】
《笑顔検出及びページ送り手段PCR５の機能》
笑顔検出及びページ送り手段PCR５（図１８(b)）は、顔情報検出手段PL３により一定時間間隔で繰り返し取得される５つの顔情報に基づいて、コマ画像内の人の顔が笑顔である場合にページ送り手段PBR（図１９(b)）により図４に示す楽譜表示部SC１に表示中の楽譜画像を後のページの楽譜画像に切り換える。
【０１００】
《顔状態検出及びページ送り手段PCRの機能》
顔状態検出及びページ送り手段PCR（図１３(b)）は、上述の一定時間間隔の繰り返し処理において、楽譜画像のページ送り方法として設定された右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、笑顔の５つの顔状態に対応して、各々、右ウインク検出及びページ送り手段PCR１、右顔傾斜検出及びページ送り手段PCR２、右顔位置検出及びページ送り手段PCR３、瞬き検出及びページ送り手段PCR４、笑顔検出及びページ送り手段PCR５による各処理を振り分けて実行する。
【０１０１】
《右ウインク検出及びページ送り手段PCR１の処理》
図１４(b)に示す右ウインク検出及びページ戻し処理では、上述の左目を閉じたか否かの情報（左ウインクデータ、すなわち左ウインク変数の値）と右目を閉じたか否かの情報（右ウインクデータ、すなわち右ウインク変数の値）とに基づいて、右目は閉じかつ左目は開いている場合にはページ送り処理を実行し、それ以外の場合には処理を終了する。
【０１０２】
《右顔傾斜検出及びページ送り手段PCR２の処理》
図１５(b)に示す右顔傾斜検出及びページ送り処理では、上述のコマ画像の上下方向からの顔の傾斜角情報（顔角度データ）としての顔角度変数の値が所定角度以上演奏者から見て右に傾いた場合にはページ送り処理を実行し、それ以外の場合には処理を終了する。
【０１０３】
《右顔位置検出及びページ送り手段PCR３の処理》
図１６(b)に示す右顔位置検出及びページ送り処理では、上述のコマ画像内での顔の位置情報（顔位置データ、すなわち顔位置変数の値）に基づいて、顔画像の横方向の位置がコマ画像の中央位置から所定変位量以上演奏者から見て右に移動した場合にはページ送り処理を実行し、それ以外の場合には処理を終了する。
【０１０４】
《瞬き検出及びページ送り手段PCR４の処理》
図１７(b)に示す瞬き検出及びページ送り処理では、上述の左目を閉じたか否かの情報（左ウインクデータ、すなわち左ウインク変数の値）と右目を閉じたか否かの情報（右ウインクデータ、すなわち右ウインク変数の値）とに基づいて、左目と右目との両方が閉じている場合にはページ送り処理を実行し、それ以外の場合には処理を終了する。
【０１０５】
《笑顔検出及びページ送り手段PCR５の処理》
図１８(b)に示す笑顔検出及びページ送り処理では、上述の検出されたコマ画像内の顔が笑顔か否かの情報（笑顔データ、すなわち笑顔変数の値）に基づいて、笑顔が検出された場合にはページ送り処理を実行し、それ以外の場合には処理を終了する。
【０１０６】
《顔状態検出及びページ送り手段PCRの処理》
図１３(b)に示す顔状態検出及びページ送り処理では、上述の送り方法変数に設定されたページ送り方法としての顔状態が、ウインク、顔の傾斜、顔の位置、まばたき、スマイルのうち何れかを判定して、これらに対応して各々、右ウインク検出及びページ送り処理、右顔傾斜検出及びページ送り処理、右顔位置検出及びページ送り処理、瞬き検出及びページ送り処理、笑顔検出及びページ送り処理を実行する。
【０１０７】
《顔状態検出及びページ捲り手段MPの機能》
顔状態検出及びページ捲り手段MP（図１２）は、モニター２の表示面側に設けられた正面カメラ３aによってリアルタイムに捉えられる動画画像から一定時間間隔で繰り返し取り込まれるコマ画像内の人の顔画像を検出し、コマ画像内の人の顔画像に左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、または、笑顔の５つの顔状態のうち設定されたページ戻し方法に対応する顔状態が検出された場合に図４に示す楽譜表示部SC１に表示中の楽譜画像を前のページの楽譜画像に切り換え、コマ画像内の人の顔画像に右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、または、笑顔の５つの顔状態のうち設定されたページ送り方法に対応する顔状態が検出された場合に図４に示す楽譜表示部SC１に表示中の楽譜画像を後のページの楽譜画像に切り換える。
【０１０８】
〈顔状態検出及びページ捲り手段MPの処理（フェイススキャン）〉
図４に示す楽譜表示画面SCが表示されている状態で「フェイススキャン開始/停止」タブSC３をタップすると、フェイススキャン（図１２）が開始される。
【０１０９】
フェイススキャンが開始されると、Step A１では、動画画像取得処理によって、正面カメラ３aにより捉えられる映像が動画画像データとしてリアルタイムに取得され、
【０１１０】
Step A２では、コマ画像取得処理によって、リアルタイムに取得される動画画像データから動画画像データを構成するコマ画像の画像データ（コマ画像データ）が非同期に取得され、
【０１１１】
Step A３では、顔情報検出処理によって、取得されたコマ画像内の顔画像に対して顔の傾斜角、顔の位置、笑顔の有無、左右の目の閉成状態などの顔情報の検出が行われ、検出結果が上述の顔角度データ、顔位置データ、笑顔データ、左ウインクデータ、右ウインクデータとして、対応する各変数、すなわち、顔角度変数、顔位置変数、笑顔変数、左ウインク変数、右ウインク変数に一時記憶され、
【０１１２】
Step A４では、顔状態検出及びページ戻し処理において、ページ戻し方法として予め設定された顔状態（ウインク、顔の傾斜、顔の位置、まばたき、または、スマイルのうち何れか１つの顔状態）が検出されかつ図４に示す楽譜表示部SC１に表示中の楽譜のページが最初のページでない場合には、実施例１のページ戻し処理（図１９(a)）により図４に示す楽譜表示部SC１に表示中の楽譜の１ページ前のページが表示される。
【０１１３】
また、顔状態検出及びページ戻し処理において、ページ戻し方法として予め設定された顔状態が検出されない場合には実施例１のページ戻し処理は実行されず、図４に示す楽譜表示部SC１に表示中の楽譜はそのまま表示される。
【０１１４】
Step A５では、顔状態検出及びページ送り処理において、ページ送り方法として予め設定された顔状態（ウインク、顔の傾斜、顔の位置、まばたき、または、スマイルのうち何れか１つの顔状態）が検出されかつ図４に示す楽譜表示部SC１に表示中の楽譜のページが最後のページでない場合には、実施例１のページ送り処理（図１９(b)）により図４に示す楽譜表示部SC１に表示中の楽譜の１ページ後のページが表示される。
【０１１５】
また、顔状態検出及びページ送り処理において、ページ送り方法として予め設定された顔状態が検出されない場合には実施例１のページ送り処理は実行されず、図４に示す楽譜表示部SC１に表示中の楽譜はそのまま表示される。
【０１１６】
Step A６では、図４に示す「フェイススキャン開始/停止」タブSC３が再びタップされたか否かが判定され、「フェイススキャン開始/停止」タブSC３がタップされない場合には、コマ画像取得処理(Step A２)に戻り、リアルタイムに取得される動画画像データからコマ画像取得処理の処理時点のコマ画像データが非同期に取得され、以降Step A２〜Step A６の処理が繰り返され、「フェイススキャン開始/停止」タブSC３がタップされた場合にはフェイススキャンを終了する。
【０１１７】
なお、Step A２〜Step A６のループ処理は、タブレット型コンピューター１の性能などにも依存するが、約０.１秒毎の短い時間間隔で繰り返される。
【０１１８】
また、実施例１の楽譜ビューワプログラムPを使用する場合、モニター２に表示される楽譜画像を見るために演奏者の顔は正面カメラ３aから約３０cm〜１m程度の距離にあると想定されるので、本実施例ではStep A３の顔情報検出処理においてカメラ３aで捉えられる映像内には演奏者の顔だけが写り込んでいることを前提にしているが、複数の人物の顔がカメラ３aの映像に写り込む場合であっても、複数の顔の中から予め設定された使用者の顔を選択的に認識することは技術的に可能である。
【０１１９】
《ページ捲り方法設定手段PEの構成》
図１に示すように、ページ捲り方法設定手段PE（図１１）はページ戻し方法設定手段PELとページ送り方法設定手段PERとによって構成されている。
【０１２０】
《ページ捲り方法設定手段PEの機能》
ページ戻し方法設定手段PEL（図１１(a)）は、図８に示す「ページ戻し方法設定」ウィンドウSC６Lの５つのタブSC６L１〜SC６L５のうち何れか１つのタブが演奏者によりタップされた場合に、これらのタブのラベルに対応した人の顔の左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、笑顔の５つの顔状態のうち１つの顔状態をページ戻し方法として戻し方法変数に設定する。
【０１２１】
同様に、ページ送り方法設定手段PER（図１１(b)）は、図８に示す「ページ送り方法設定」ウィンドウSC６Rの５つのタブSC６R１〜SC６R５のうち何れか１つのタブが演奏者によりタップされた場合に、これらのタブのラベルに対応した人の顔の右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、笑顔の５つの顔状態のうち１つの顔状態をページ送り方法として送り方法変数に設定する。
【０１２２】
そして、フェイススキャンが実行されると、上述の一定時間間隔の繰り返し処理において、これらの設定された戻し方法変数と送り方法変数とが顔状態検出及びページ戻し手段PCL（図１３(a)）と顔状態検出及びページ送り手段PCR（図１３(b)）とにより各々参照されて、これらの変数に設定されたページ戻し方法とページ送り方法とに応じて顔状態の検出処理の種類（ウインク、顔の傾斜、顔の移動、瞬き、笑顔）が振り分けられる。
【０１２３】
このように、ページ捲り方法設定手段PEにより、演奏者はページ戻し方法とページ送り方法とを各５つの顔状態から設定することができる。
【０１２４】
《ページ戻し方法設定手段PELの処理》
図４に示す楽譜表示画面SCが表示された状態で「ページ戻し方法設定」タブSC４Lをタップすると、図８に示すように「ページ戻し方法設定」ウィンドウSC６Lが表示され、ページ戻し方法設定処理（図１１(a)）が開始される。
【０１２５】
ページ戻し方法設定処理では、図８に示す「ページ戻し方法設定」ウィンドウSC６Lの５つのタブ、すなわち、「ウインク」タブSC６L１、「顔の傾斜」タブSC６L２、「顔の位置」タブSC６L３、「まばたき」タブSC６L４、「スマイル」タブSC６L５のうち何れがタップされたかが判定され、
【０１２６】
これらのタブのラベルに対応した各々５つの顔状態「ウインク」、「顔の傾斜」、「顔の位置」、「まばたき」、「スマイル」がページ戻し方法として（具体的には各々の顔状態に対応する整数値として）戻し方法変数に設定される。
【０１２７】
ページ戻し方法とページ送り方法との両方で同時に「まばたき」を選択できないようにするために、「まばたき」がページ戻し方法として選択された場合には、「ページ送り方法設定」ウィンドウSC６Rでは、ウィンドウSC６Rの「まばたき」タブSC６R４が機能しない状態（タップに反応しない状態）に設定して処理を終了し、
【０１２８】
ページ戻し方法とページ送り方法との両方で同時に「スマイル」を選択できないようにするために、「スマイル」がページ戻し方法として選択された場合には、「ページ送り方法設定」ウィンドウSC６Rでは、ウィンドウSC６Rの「スマイル」タブSC６R５が機能しない状態（タップに反応しない状態）に設定して処理を終了し、
【０１２９】
「ウインク」、「顔の傾斜」、「顔の位置」の何れかが選択された場合には、「ページ送り方法設定」ウィンドウSC６Rの「まばたき」タブSC６R４または「スマイル」タブSC６R５が機能しない設定（タップに反応しない設定）を解除して処理を終了する。
【０１３０】
《ページ送り方法設定手段PERの処理》
図４に示す楽譜表示画面SCが表示された状態で「ページ送り方法設定」タブSC４Rをタップすると、図８に示すように「ページ送り方法設定」ウィンドウSC６Rが表示され、ページ送り方法設定処理（図１１(ｂ)）が開始される。
【０１３１】
ページ送り方法設定処理では、図８に示す「ページ送り方法設定」ウィンドウSC６Rの５つのタブ、すなわち、「ウインク」タブSC６R１、「顔の傾斜」タブSC６R２、「顔の位置」タブSC６R３、「まばたき」タブSC６R４、または「スマイル」タブSC６R５のうち何れがタップされたかを判定して、
【０１３２】
これらのタブのラベルに対応した各々５つの顔状態「ウインク」、「顔の傾斜」、「顔の位置」、「まばたき」、「スマイル」がページ送り方法として（具体的には各々の顔状態に対応する整数値として）送り方法変数に設定される。
【０１３３】
ページ戻し方法とページ送り方法との両方で同時に「まばたき」を選択できないようにするために、「まばたき」がページ送り方法として選択された場合には、「ページ戻し方法設定」ウィンドウSC６Lでは、ウィンドウSC６Lの「まばたき」タブSC６L４が機能しない状態（タップに反応しない状態）に設定して処理を終了し、
【０１３４】
ページ戻し方法とページ送り方法との両方で同時に「スマイル」を選択できないようにするために、「スマイル」がページ送り方法として選択された場合には、「ページ戻し方法設定」ウィンドウSC６Lでは、ウィンドウSC６Lの「スマイル」タブSC６L５が機能しない状態（タップに反応しない状態）に設定して処理を終了し、
【０１３５】
「ウインク」、「顔の傾斜」、「顔の位置」の何れかが選択された場合には、「ページ戻し方法設定」ウィンドウSC６Lの「まばたき」タブSC６L４または「スマイル」タブSC６L５が機能しない設定（タップに反応しない設定）を解除して処理を終了する。
【０１３６】
なお、実施例１の楽譜ビューワプログラムPでは、ページ捲り方法として、戻し方法変数と送り方法変数とに各々「顔の傾斜」がデフォルト値として設定されているので、演奏者がページ捲り方法を設定していない場合でも、フェイススキャンが開始されると演奏者の「顔の傾斜」を検出して楽譜のページ捲りが実行される。
【０１３７】
〈楽譜編集手段PG〉
《楽譜編集手段PGの構成》
図１に示すように、楽譜編集手段PGは、楽譜一覧表示手段PG１、カット/コピー/ペースト手段PG２、楽譜表示順序変更手段PG３、および、楽譜ファイル保存手段PG４を有している。
【０１３８】
《楽譜一覧表示手段PG１の機能》
楽譜一覧表示手段PG１は、画像配列変数内の複数の楽譜画像データを楽譜のページ順序で図７に示す縮小画像表示部SF１に楽譜画像として一覧表示させる。
【０１３９】
《カット/コピー/ペースト手段PG２の機能》
カット/コピー/ペースト手段PG２は、楽譜画像として一覧表示された画像配列変数内の複数の楽譜画像データのうち、演奏者により選択された１つの楽譜画像に対応する楽譜画像データのカット、コピー、または、ペースト処理を可能にする。
【０１４０】
《楽譜表示順序変更手段PG３の機能》
楽譜表示順序変更手段PG３は、楽譜画像として一覧表示された複数の楽譜画像の表示順序を変更可能とし、変更された複数の楽譜画像の表示順序に対応して画像配列変数のインデックス順序を変更する。
【０１４１】
《楽譜ファイル保存手段PG４の機能》
楽譜ファイル保存手段PG４は、カット/コピー/ペースト手段PG２および楽譜表示順序変更手段PG３により編集された複数の楽譜画像をストレージ６の本プログラム用データ保存領域に楽譜画像ファイルとして保存する。
【０１４２】
《楽譜編集手段PGの機能》
楽譜編集手段PGは、楽譜一覧表示手段PG１、カット/コピー/ペースト手段PG２、および、楽譜表示順序変更手段PG３により、図７に示す縮小画像表示部SF１に一覧表示された複数の楽譜画像SF１a,…に対するカット、コピーまたはペーストによる編集や表示順序の編集を可能にする。
【０１４３】
また、楽譜編集手段PGは、楽譜ファイル保存手段PG４によって、編集された複数の楽譜画像SF１a,…を楽譜画像ファイルとしてストレージ６の本プログラム用データ保存領域に保存可能にする。
【０１４４】
《楽譜編集手段PGの処理》
図７に示す表示順序編集画面SFがモニター２に表示されると、楽譜編集手段PGは、楽譜一覧表示手段PG１によって、画像配列変数に記憶されている複数の楽譜画像をその画像配列変数のインデックス順序で縮小画像表示部SF１に楽譜画像SF１a,…としてタイル状に左上から横並びで表示させる。
【０１４５】
そして、複数の楽譜画像SF１a,…のうち何れか１つの楽譜画像が指１本で長押しタップされた場合に、楽譜編集手段PGは、カット/コピー/ペースト手段PG２によって、その画像の上部にポップアップメニューSF６を表示させ、ポップアップメニューSF６に「カット」、「コピー」、「ペースト」の３つのラベルを表示させる。
【０１４６】
そして、この状態で「カット」ラベル、または、「コピー」ラベルのうち何れか一方がタップされた場合に、楽譜編集手段PGは、カット/コピー/ペースト手段PG２によって、そのタップされた画像の画像データを一時記憶用の画像変数に記憶させる。
【０１４７】
特に「カット」ラベルがタップされた場合には、そのタップされた画像の画像データが、カット/コピー/ペースト手段PG２によって上記の画像変数に記憶された後、楽譜一覧表示手段PG１によって縮小画像表示部SF１から消去され、その他の画像はタイル状に再配置される。
【０１４８】
また、「ペースト」ラベルがタップされた場合には、楽譜一覧表示手段PG１によって、上記の画像変数に予め記憶された画像データの画像がタップされた画像の前に挿入して表示され、それ以降の画像はタイル状に再配置され表示されるとともに、画像配列変数のその挿入位置に対応するインデックスに、その画像の画像データが追加して記憶され、それ以降のインデックスに対応する画像データのインデックスはすべて１だけ増加（インデックスの値が１だけ大きい方にシフト）する。
【０１４９】
図１０に示すように、縮小画像表示部SF１において、複数の楽譜画像SF１a,…のうち１つの楽譜画像、例えば楽譜画像SF１gが楽譜画像SF１aと楽譜画像SF１bと画面との間に指２本でドラッグされた場合には、楽譜表示順序変更手段PG３および楽譜一覧表示手段PG１によって、画像SF１gが画面SF１aと画面SF１bとの間に挿入して表示され、画像配列変数のインデックス順序もこの表示順序に対応して入れ替えられる。
【０１５０】
したがって、楽譜編集手段PGによって編集された後に、最終的に縮小画像表示部SF１に表示される楽譜順序と画像配列変数のインデックス順序とは一対一に対応する。
【０１５１】
〈楽譜撮影手段PH〉
《楽譜撮影手段PHの構成》
図１に示すように、楽譜撮影手段PHは、動画画像取得手段PH１、動画画像表示手段PH２、静止画像取得手段PH３、撮影画像表示手段PH４、サムネイル画像表示手段PH５、および、画像配列記憶手段PH６を有している。
【０１５２】
《動画画像取得手段PH１の機能》
動画画像取得手段PH１は、背面カメラ３bによって捉えられる映像を動画画像データとしてリアルタイムに取得する。
【０１５３】
《動画画像表示手段PH２の機能》
動画画像表示手段PH２は、動画画像取得手段PH１により取得された動画画像を図５に示す楽譜撮影画面SDのビューファインダー部SD１に表示させる。
【０１５４】
《静止画像取得手段PH３の機能》
静止画像取得手段PH３は、背面カメラ３ｂによって捉えられる映像のある瞬間の静止画像を静止画像データとして取得する。
【０１５５】
《撮影画像表示手段PH４の機能》
撮影画像表示手段PH４は、静止画像取得手段PH３により取得された静止画像を楽譜撮影画面SDの撮影画像表示部SD３に表示させる。
【０１５６】
《サムネイル画像表示手段PH５の機能》
サムネイル画像表示手段PH５は、静止画像取得手段PH３により取得された複数の画像を楽譜撮影画面SDのサムネイル表示部SD４に表示させる。
【０１５７】
《画像配列記憶手段PH６の機能》
画像配列記憶手段PH６は、静止画像取得手段PH３により取得された複数の画像の画像データを画像配列変数に記憶させる。
【０１５８】
《楽譜撮影手段PHの機能》
図５に示すように、楽譜撮影画面SDがモニター２に表示されると、楽譜撮影手段PHは、背面カメラ３bにより捉えられる映像を動画画像取得手段PH１によって取得し、取得された動画画像を動画画像表示手段PH２によってビューファインダー部SD１にリアルタイムに表示させる。
【０１５９】
そして、シャッタータブSD２がタップされると、楽譜撮影手段PHは、静止画像取得手段PH３によってタップされた時点にビューファインダー部SD１に表示中の画像の静止画像データを取得し、撮影画像表示手段PH４によって撮影画像表示部SD３に表示させ、サムネイル画像表示手段PH５によってサムネイル表示部SD４に表示させるとともに、画像配列記憶手段PH６によって静止画像データを画像配列変数に記憶させる。
【０１６０】
撮影が繰り返して行われた場合には、画像配列記憶手段PH６によって撮影された画像の静止画像データが順次画像配列変数に撮影順序で記憶され、サムネイル画像表示手段PH５によって撮影された複数の画像がサムネイル表示部SD４に楽譜画像SD４a,…としてタイル状に左上から横並びで表示される。
【０１６１】
そして、「撮影完了」タブSD５がタップされると、図７に示す表示順序編集画面SFが表示され、画像配列変数に記憶された画像データに対応する楽譜画像が縮小画像表示部SF１に楽譜画像SF１a,…としてタイル状に左上から横並びで表示される。
【０１６２】
〈スクリーンショット画像取得手段PI〉
以下の説明では、タブレット型コンピューター１のOS自体が有するスクリーンショット機能により、複数の楽譜画像がストレージ６のスクリーンショット用データ保存領域に予め保存されているものとする。
【０１６３】
《スクリーンショット画像取得手段PIの構成》
図１に示すように、スクリーンショット画像取得手段PIは、スクリーンショット画像表示手段PI１、スクリーンショット画像選択手段PI２、および、画像配列記憶手段PI３を有している。
【０１６４】
《スクリーンショット画像表示手段PI１の機能》
スクリーンショット画像表示手段PI１は、スクリーンショット用データ保存領域に保存されたスクリーンショット画像を、図６に示すスクリーンショット画像選択画面SEのサムネイル表示部SE１に表示させる。
【０１６５】
《スクリーンショット画像選択手段PI２の機能》
スクリーンショット画像選択手段PI２は、サムネイル表示部SE１に表示された複数のスクリーンショット画像のうち何れか１つの画像がタップされた場合に、そのタップされた画像の画像データを取得する。
【０１６６】
《画像配列記憶手段PI３の機能》
画像配列記憶手段PI３は、スクリーンショット画像選択手段PI２によって取得された画像データを画像配列変数に記憶させる。
【０１６７】
《スクリーンショット画像取得手段PIの機能》
図６に示すようにスクリーンショット画像選択画面SEがモニター２に表示されると、スクリーショット画像取得手段PIは、スクリーンショット画像表示手段PI１によってストレージ６のスクリーンショット用データ保存領域に保存された複数のスクリーンショット画像をサムネイル表示部SE１にタイル状に左上から横並びで表示させる。
【０１６８】
そして、複数のサムネイル画像SE１,‥のうち何れか１つの画像がタップされた場合には、スクリーンショット画像選択手段PI２によってタップされた画像の画像データを取得し、画像配列記憶手段PI３によって取得された画像データを画像配列変数に記憶させ、図７に示す表示順序編集画面SFを表示して、そのタップされた画像を表示順序編集画面SFの縮小画像表示部SF１に表示させる。
【０１６９】
〈ファイルインポート手段PJ〉
《ファイルインポート手段PJの構成》
図１に示すように、ファイルインポート手段PJは、ファイルインポート検出手段PJ１、インポートファイル表示手段PJ２、および、画像配列記憶手段PJ３を有している。
【０１７０】
《ファイルインポート検出手段PJ１の機能》
ファイルインポート検出手段PJ１は、タブレット型コンピューター１に搭載された他のプログラムが本プログラムに対して画像ファイルをエクスポートした場合に、その画像ファイルが本プログラム用データ保存領域にコピーされたか否かを検出する。
【０１７１】
《インポートファイル表示手段PJ２の機能》
インポートファイル表示手段PJ２は、他のプログラムによりコピーされた画像ファイルのファイル名を図３に示すライブラリ画面SBの「外部アプリからのインポートファイル」リストSB２に表示させる。
【０１７２】
《画像配列記憶手段PJ３の機能》
画像配列記憶手段PJ３は、タップによりリストSB2から選択された画像ファイルに含まれる複数の画像データを画像配列変数に記憶させる。
【０１７３】
《ファイルインポート手段PJの機能》
他のプログラムから本プログラムに画像ファイルがエクスポートされると、その画像ファイルのデータはOSの機能によって他のプログラム用データ保存領域から本プログラム用データ保存領域にコピーされる。
【０１７４】
楽譜ファイルインポート手段PJは、ファイルインポート検出手段PJ１によって本プログラム用データ保存領域に画像ファイルがコピーされたことを検出した場合に、図３に示すライブラリ画面SBを表示し、インポートファイル表示手段PJ２によってインポートされた画像ファイルのファイル名を「外部アプリからのインポートファイル」リストSB２に表示させる。
【０１７５】
そして、リストSB２に表示されているファイル名がタップされた場合に、ファイルインポート手段PJは、画像配列記憶手段PJ3によって、タップにより選択されたファイル名に対応する画像ファイル内の複数の画像を画像配列変数に記憶させた後、図７に示す表示順序編集画面SFを表示し、そのファイル名に対応する楽譜画像を表示順序編集画面SFの縮小画像表示部SF１に楽譜画像SF１a,…として
表示される。
【０１７６】
〈楽譜ビューワプログラムPの動作の一例〉
〔ライブラリ画面SBにおける楽譜画像ファイルの選択方法〕
図２に示す起動画面SAにおいて「ライブラリを表示」タブSA１をタップすると図３に示すライブラリ画面SBが表示される。
【０１７７】
ライブラリ画面SBには、左右に２つのリストSB１,SB２が表示される。
左側のリストSB１には、ストレージ６の本プログラム用データ保存領域に保存されている楽譜画像ファイルの曲名およびアーティスト名の一覧が表示され、右側のリストSB２にはタブレット型コンピューター１に搭載されている他のプログラムからインポートされた電子ブックまたは画像ファイルのファイル名の一覧が表示される。
【０１７８】
ライブラリ画面SBにおいて、例えば「曲名・アーティスト名」リストSB１に表示されている曲名およびアーティスト名欄のうち１つを選んでタップすると、その曲名およびアーティスト名に対応する楽譜画像ファイルが選択された状態になる。
【０１７９】
この状態で「楽譜を表示」タブSB３をタップすると、選択された楽譜画像ファイル内の複数の楽譜画像データが、この楽譜のページ順序に対応したインデックス順序で画像配列変数に記憶された後、図４に示す楽譜表示画面SCがモニター２に表示される。
【０１８０】
楽譜表示画面SCが表示された直後は、選択された楽譜画像ファイルの１ページ目に対応する楽譜画像が楽譜表示部SC１に表示される。
【０１８１】
〔ページ捲り方法の選択方法〕
図４に示す楽譜表示画面SCが表示された状態で「ページ戻し方法設定」タブSC４Lをタップすると、図８に示すように「ページ戻し方法設定」ウィンドウSC６Lが楽譜表示画面SCの左側に表示され、「ページ送り方法設定」タブSC４Rをタップすると、「ページ送り方法設定」ウィンドウSC６Rが楽譜表示画面SCの右側に表示される。
【０１８２】
ウィンドウSC６L,SC６Rには、各々「ウインク」タブSC６L１,SC６R１、「顔の傾斜」タブSC６L２,SC６R２、「顔の位置」タブSC６L３,SC６R３、「まばたき」タブSC６L４,SC６R４、および、「スマイル」タブSC６L５,SC６R５が表示される。
【０１８３】
この状態で、５つのタブSC６L１〜SC６L５のうち１つのタブをタップすると、タップしたタブのラベルが示すページ戻し方法がページ戻し方法として設定され、「ページ戻し方法設定」ウィンドウは閉じる。
【０１８４】
同様に、ウィンドウSC６Rの５つのタブSC６R１〜SC６R５のうち１つのタブをタップすると、タップしたタブのラベルが示すページ送り方法がページ送り方法として設定され、「ページ送り方法設定」ウィンドウは閉じる。
【０１８５】
例えば「ページ戻し方法設定」ウィンドウSC６Lを表示させた状態で「ウインク」タブSC６L１をタップし、「ページ送り方法設定」ウィンドウSC６Rを表示させた状態で「ウインク」タブSC６R１をタップした後に「フェイススキャン開始/停止」タブSC３をタップすると、フェイススキャンが開始され、演奏者が左目でウインクしたときには表示中の楽譜のページが１ページ戻り、演奏者が右目でウインクしたときには表示中の楽譜のページが１ページ進む。
【０１８６】
また、例えば「ページ戻し方法設定」ウィンドウSC６Lを表示させた状態で「まばたき」タブSC６L４をタップし、「ページ送り方法設定」ウィンドウSC６Rを表示させた状態で「スマイル」タブSC６R５をタップした後に「フェイススキャン開始/停止」タブSC３をタップすると、フェイススキャンが開始され、演奏者が瞬きをしたときに表示中の楽譜のページが１ページ戻り、演奏者が笑顔になったときに表示中の楽譜のページが１ページ進む。
【０１８７】
「ウインク」、「顔の傾斜」、「顔の位置」については、左右の目のウインク、顔の左右への傾斜、顔の左右への移動のように、これらの左右方向の動作とページの戻りと送りとを各々対応させることができるが、「まばたき」および「スマイル」については、それらの動作に方向性がないので、これらについてはページ捲り方法設定手段PE（図１１）によりページ戻し方法とページ送り方法との両方で同時には設定できないようになっている。
【０１８８】
例えば「ページ戻し方法設定」ウィンドウSC６Lにおいて「まばたき」タブSC６L４をタップして選択した場合は、「ページ送り方法設定」ウィンドウSC６Rにおいては「まばたき」タブSC６R４はタップできないようになっている。
【０１８９】
このように一部のページ捲り方法の組合せは選択不可となっているが、その他の様々なページ戻し方法とページ送り方法との組み合わせは可能になっている。
なお、フェイススキャンを停止するには、もう一度「フェイススキャン開始/停止」タブSC３をタップする。
【０１９０】
〔楽譜画像ファイルを他のパーソナルコンピューターから取得する方法〕
実施例１の楽譜ビューワプログラムPが搭載されたタブレット型コンピューター１には、他のパーソナルコンピューターとの間でデータ通信を可能にする通信装置１０を有しているので、例えばタブレット型コンピューター１とデスクトップパソコンとを通信装置１０により接続して、デスクトップパソコンにおいて用意された楽譜ファイルをストレージ６の本プログラム用データ保存領域にインストールすることができる。
【０１９１】
この場合、インストール後に本プログラムを起動すると、インストールされた楽譜ファイルは図３に示すライブラリ画面SBの「曲名・アーティスト名」リストSB１上に表示される。
【０１９２】
〈作用効果〉 
実施例１の楽譜ビューワプログラムPでは、モニター２の表示面側に設けられた正面カメラ３aによってリアルタイムに捉えられる動画画像から一定時間間隔で繰り返し取り込まれるコマ画像内の人の顔画像を検出し、コマ画像内の人の顔画像に左目のウインク、左への顔の傾斜、左への顔の移動、瞬き、または、笑顔の５つの顔状態のうち楽譜画像のページ戻し方法として設定されたページ戻し方法に対応する顔状態が検出された場合にモニター２に表示中の楽譜画像を前のページの楽譜画像に切り換え、コマ画像内の人の顔画像に右目のウインク、右への顔の傾斜、右への顔の移動、瞬き、または、笑顔の５つの顔状態のうち楽譜画像のページ送り方法として設定されたページ送り方法に対応する顔状態が検出された場合にモニター２に表示中の楽譜画像を後のページの楽譜画像に切り換える顔状態検出及びページ捲り手段MPが設けられているので、演奏者はウインク、顔の傾斜、顔の移動、瞬き、または、笑顔の動作によって楽譜のページを前後に捲ることができる。
【０１９３】
これにより楽器の演奏者は手を使わずに楽譜を捲ることができるので、ページ捲りの煩わしさから解放されるだけでなく、ページ捲りによって演奏が中断されることがないのでスムーズに演奏を続けることができる。
【０１９４】
また、演奏者自身が楽譜のページを捲ることができるので、楽譜を捲るための専門要員を依頼する必要がなくなる。
【０１９５】
そして、実施例１の楽譜ビューワプログラムPでは、ページ戻し方法とページ送り方法とを上述の各５つの顔状態から各々設定可能とするページ捲り方法設定手段PEが設けられているので、演奏者はこれらの方法の中から自分に最も適したページ捲り方法を利用することができ、様々な種類の楽器の演奏において演奏者は手を使わずに楽譜を捲ることができる。
【０１９６】
例えばヴァイオリンの演奏者は顎で楽器を支えるので顔の傾斜を変えるのは困難であるが、そのような場合には顔の傾斜以外、例えば「ウインク」や「まばたき」などの顔状態をページ捲り方法として選択することができる。
【０１９７】
また、楽器固有の特性に依らずとも、例えばウインクが苦手な人はその他のページ捲り方法から自分に最も適した方法を利用することができる。
【０１９８】
さらに、実施例１の楽譜ビューワプログラムPでは、モニター２に一覧表示された複数の楽譜画像に対するカット、コピーまたはペーストによる編集や表示順序の編集を可能とする楽譜編集手段PGが設けられているので、楽譜の繰り返し記号などを考慮してカット、コピーまたはペースト操作および表示順序の変更操作を行い、予め楽譜の表示順序が演奏するページ順序になるように編集しておくことにより、演奏者は楽譜画像を前のページに切り換えることなく、後のページに切り換えるだけで全ての楽譜を見ることができる。
【０１９９】
これにより、演奏者は演奏中に繰り返し記号などの指示によって何ページも連続して前のページに戻したり後のページに送ったりする煩わしい操作をする必要がなくなり、スムーズに演奏を続けることができる。
【０２００】
〈その他の作用効果〉
外部から楽譜画像をインストールする手段として楽譜撮影手段PHを有しているので、演奏者は自身が所有する楽譜を楽譜撮影手段PHにより楽譜画像データとして取り込み、楽譜編集手段PGの楽譜ファイル保存手段PG４によりストレージ６に保存することができるので、スキャナーなどを使わずに手軽に楽譜画像を楽譜ビューワプログラムPにインストールすることができる。
【０２０１】
また、外部から楽譜画像をインストールする手段としてスクリーンショット画像取得手段PIを有しているので、OSのスクリーンショット機能によって、タブレット型コンピューター１のモニター２に表示される画像をストレージ６のスクリーンショット用データ保存領域に予め保存しておくことにより、モニター２に表示可能な如何なる画像も楽譜ビューワプログラムPにインストールすることができる。
【０２０２】
例えば、インターネットで配布されている楽譜画像をブラウザーに表示させ、この楽譜画像をOSのスクリーンショット機能を介して楽譜ビューワプログラムPに画像ファイルとしてインストールすることができるので、インターネット上に配布されている楽譜画像を手軽に楽譜ビューワプログラムPにインストールすることができる。
【０２０３】
さらに、外部から楽譜画像をインストールする手段としてファイルインポート手段PJを有しているので、タブレット型コンピューター１に搭載された他のプログラムから楽譜ビューワプログラムPに対してエクスポートされた画像ファイルを楽譜ビューワプログラムPにインストールすることができる。
【０２０４】
例えば、他のプログラムとしてのスキャナードライバーやブックビューワプログラムなどから直接画像ファイルを楽譜ビューワプログラムPにインストールすることができる。
【０２０５】
また、楽譜ビューワプログラムPが搭載されたタブレット型コンピューター１には、他のパーソナルコンピューターとの間でデータ通信を可能にする通信装置１０を有しているので、例えばタブレット型コンピューター１とデスクトップパソコンとを通信装置１０により接続して、デスクトップパソコンにおいて用意された楽譜ファイルをストレージ６の本プログラム用データ保存領域にインストールすることができる。
【０２０６】
しかも、本発明の楽譜ビューワプログラムPから通信装置１０により接続された他のパーソナルコンピューターに楽譜画像のデータを転送して保存することもできる。
【０２０７】
例えば、他のパーソナルコンピューターとしてストレージのサイズが大きいデスクトップパソコンを利用すれば、大量の楽譜データであっても他のパーソナルコンピューターに保存し管理することができる。
【０２０８】
［実施例２］
以下、実施例２の楽譜ビューワプログラムPについて、実施例１とは異なる部分を中心に説明し、実施例１と共通する部分はその説明を省略する。
なお、実施例１と実施例２とでは顔状態検出及びページ捲り手段MPの構成および機能が異なっている。
〈実施例２の顔状態検出及びページ捲り手段MP〉
《実施例２の顔状態検出及びページ捲り手段MPの構成》
実施例２の顔状態検出及びページ捲り手段MPは、実施例１の構成に加えて、図１に示す連続ページ戻し防止手段PFLと連続ページ送り防止手段PFRとを備えている。
【０２０９】
《連続ページ戻し防止手段PFL、連続ページ送り防止手段PFRの構成》
図１に示すように、連続ページ戻し防止手段PFLは、戻しスキップ回数設定手段PFL１、ページ戻しスキップ手段PFL２、戻しスキップ変数増加手段PFL３、および、戻しスキップ変数初期化手段PFL４によって構成され、連続ページ送り防止手段PFRは、送りスキップ回数設定手段PFR１、ページ送りスキップ手段PFR２、送りスキップ変数増加手段PFR３、および、送りスキップ変数初期化手段PFR４によって構成されている。
【０２１０】
《連続ページ戻し防止手段PFL、連続ページ送り防止手段PFRの機能》
連続ページ戻し防止手段PFLは、楽譜表示部SC１に表示中のページがページ戻し手段PBL（図２１(a)）により前のページに切り換わった後、ページ戻しスキップ手段PFL２によって戻しスキップ回数設定値で設定される回数だけ顔状態検出及びページ戻し処理（図１３(a)）をスキップすることにより、短い時間間隔での連続的なページ戻し処理を防止し、連続ページ送り防止手段PFRは、楽譜表示部SC１に表示中のページがページ送り手段PBR（図２１(b)）により後のページに切り換わった後、ページ送りスキップ手段PFR２によって送りスキップ回数設定値で設定される回数だけ顔状態検出及びページ送り処理（図１３(b)）をスキップすることにより、短い時間間隔での連続的なページ送り処理を防止する。
【０２１１】
実施例２の顔状態検出及びページ捲り手段MPでは、上述の戻しスキップ回数設定値および送りスキップ回数設定値を記憶する２つの正整数変数が定義され、これらの変数にデフォルト値として各々５および２０が設定される。
【０２１２】
これらの値は、図４に示す戻しスキップ回数セレクターSC５Lおよび送りスキップ回数セレクターSC５Rの各「＋」「−」タブをタップすることによって演奏者により設定可能になっている。
演奏者により戻しスキップ回数設定値および送りスキップ回数設定値が設定されない場合には上記のデフォルト値が適用される。
【０２１３】
《戻しスキップ回数設定手段PFL１、送りスキップ回数設定手段PFR１の機能》
戻しスキップ回数設定手段PFL１（図２０のStep B１）は、整数変数として戻しスキップ変数を定義し、この変数の値に予め設定された戻しスキップ回数設定値を設定し、送りスキップ回数設定手段PFR１（図２０のStep B２）は、整数変数として送りスキップ変数を定義し、この変数の値に予め設定された送りスキップ回数設定値を設定する。
【０２１４】
《ページ戻しスキップ手段PFL２、ページ送りスキップ手段PFR２の機能》
ページ戻しスキップ手段PFL２（図２０のStep B６）は、戻しスキップ変数の値が戻しスキップ回数設定値以上の場合には上述の顔状態検出及びページ戻し手段PCLによる処理を実行し、それ以外の場合には、この処理をスキップする。
【０２１５】
ページ送りスキップ手段PFR２（図２０のStep B８）は、送りスキップ変数の値が送りスキップ回数設定値以上の場合には上述の顔状態検出及びページ送り手段PCRによる処理を実行し、それ以外の場合には、この処理をスキップする。
【０２１６】
《戻しスキップ変数増加手段PFL３、送りスキップ変数増加手段PFR３の機能》
戻しスキップ変数増加手段PFL３（図２０のStep B１０）は、戻しスキップ変数の値を１だけ増加させ、送りスキップ変数増加手段PFR３（図２０のStep B１１）は、送りスキップ変数の値を１だけ増加させる。
【０２１７】
《戻しスキップ変数初期化手段PFL４、送りスキップ変数初期化手段PFR４の機能》
戻しスキップ変数初期化手段PFL４は、実施例２のページ戻し手段（図２１(a)）において、インデックス減少処理および楽譜画像表示処理が実行された後、すなわち楽譜のページが１ページ戻された後に、戻しスキップ変数の値を−１に初期化する。
【０２１８】
同様に、送りスキップ変数初期化手段PFR４は、実施例２のページ送り手段（図２１(b)）において、インデックス増大処理および楽譜画像表示処理が実行された後、すなわち楽譜のページが１ページ送られた後に、送りスキップ変数の値を−１に初期化する。
【０２１９】
《連続ページ戻し防止手段PFLおよび連続ページ送り防止手段PFRの処理》
図２０に示す実施例２の顔状態検出及びページ捲り処理（フェイススキャン）が開始されると、戻しスキップ回数設定処理および送りスキップ回数設定処理（Step B１,B２）において戻しスキップ変数および送りスキップ変数の値が、予め設定された戻しスキップ回数設定値および送りスキップ回数設定値に設定されるので、Step B４からStep B１２のループ処理中にページ捲り方法として予め設定された顔状態が検出されない場合には、顔状態検出及びページ戻し処理および顔状態検出及びページ送り処理（Step B７,B９）内で図２１に示すページ戻し処理およびページ送り処理が実行されず、戻しスキップ変数および送りスキップ変数の値は初期化されないので、これらの変数の値は図２０に示す戻しスキップ変数増加処理および送りスキップ変数増加処理（Step B１０,B１１）により各々増加を繰り返し、ページ捲り方法として予め設定された顔状態が検出されない間は、それらの値は各々戻しスキップ回数設定値および送りスキップ回数設定値以上となり、上記のループ処理の度に顔状態検出及びページ戻し処理および顔状態検出及びページ送り処理（Step B７,B９）が実行される。
【０２２０】
ループ処理中にページ捲り方法として予め設定された顔状態が検出された場合には、顔状態検出及びページ戻し処理および顔状態検出及びページ送り処理（Step B７,B９）内で図２１に示すページ戻し処理およびページ送り処理が実行され、表示中の楽譜のページが最初または最後のページでない場合には、戻しスキップ変数および送りスキップ変数の値が各々−１に初期化されるので、その後、戻しスキップ変数および送りスキップ変数の値は、戻しスキップ変数増加処理および送りスキップ変数増加処理（Step B１０,B１１）により上記のループ処理の度に１ずつ増大し、これらの値が戻しスキップ回数設定値および送りスキップ回数設定値に達するまでは、顔状態検出及びページ戻し処理および顔状態検出及びページ送り処理（Step B７,B９）がスキップされる。
【０２２１】
このように、連続ページ戻し防止手段PFLは、楽譜表示部SC１に表示中のページが前のページに切り換わった後、上述の一定時間間隔の繰り返し処理のうち、戻しスキップ回数設定値で設定される回数だけ楽譜画像のページを前のページに切り換える処理（顔状態検出及びページ戻し処理（図１３(a)））をスキップし、連続ページ送り防止手段PFRは、楽譜表示部SC１に表示中のページが後のページに切り換わった後、上述の一定時間間隔の繰り返し処理のうち、送りスキップ回数設定値で設定される回数だけ楽譜画像のページを後のページに切り換える処理（顔状態検出及びページ送り処理（図１３(b)））をスキップする。
【０２２２】
例えば、戻しスキップ回数設定値および送りスキップ回数設定値を各々１０に設定した場合には、ページ捲り方法として予め設定された顔状態が検出されてページが捲られた後、上述のループ処理を１０回繰り返すまでは顔状態検出及びページ戻し処理または顔状態検出及びページ送り処理がスキップされるので、ループ処理の繰り返し時間間隔を約０．１秒として、時間にして約１秒間は再びページを捲ることができないようになっている。
【０２２３】
なお、上述したように実施例２の楽譜ビューワプログラムPでは、図４に示す戻しスキップ回数セレクターSC５Lおよび送りスキップ回数セレクターSC５Rを操作することによって、演奏者により戻しスキップ回数設定値と送りスキップ回数設定値とが各々独立に設定可能になっている。
【０２２４】
《実施例２のページ戻し手段PBLの処理》
図２１(a)に示す実施例２のページ戻し処理では、処理開始時に図４に示す楽譜表示部SC１に表示中の楽譜画像に対応する画像配列変数のインデックスの値を取得し、そのインデックスの値が最小値であるか否か（楽譜の最初のページであるか否か）を判定し、それが最小値である場合には楽譜表示部SC１に表示中のページが最初のページである旨を図４に示すページ情報表示部SC２に表示して処理を終了し、それ以外の場合にはインデックスの値を１だけ減少させ、そのインデックスの値に対応する画像配列変数内の画像データ、すなわち１ページ前の楽譜画像を楽譜表示部SC１に表示し、戻しスキップ変数初期化処理により戻しスキップ変数の値を−１に初期化して処理を終了する。
【０２２５】
《実施例２のページ送り手段PBRの処理》
図２１(b)に示す実施例２のページ送り処理では、画像配列変数のインデックスの最大値を取得した後、図４に示す楽譜表示部SC１に表示中の楽譜画像に対応する画像配列変数のインデックスの値を取得し、そのインデックスの値が最大値であるか否か（楽譜の最後のページであるか否か）を判定し、それが最大値である場合には楽譜表示部SC１に表示中のページが最後のページである旨を図４に示すページ情報表示部SC２に表示して処理を終了し、それ以外の場合にはインデックスの値を１だけ増大させ、そのインデックスの値に対応する画像配列変数内の画像データ、すなわち１ページ後の楽譜画像を楽譜表示部SC１に表示し、送りスキップ変数初期化処理により送りスキップ変数の値を−１に初期化して処理を終了する。
【０２２６】
《実施例２の顔状態検出及びページ捲り手段MPの処理》
図４に示す楽譜表示画面SCが表示された状態で「フェイススキャン開始/停止」タブSC３をタップすると、実施例２の顔状態検出及びページ捲り処理（フェイススキャン）（図２０）が開始される。
【０２２７】
フェイススキャンが開始されると、Step B１では、戻しスキップ回数設定処理によって、整数変数として戻しスキップ変数が定義され、予め設定された戻しスキップ回数設定値の値が戻しスキップ変数に設定される。
【０２２８】
Step B２では、送りスキップ回数設定処理によって、整数変数として送りスキップ変数が定義され、予め設定された送りスキップ回数設定値が送りスキップ変数に設定される。
【０２２９】
Step B３〜Step B５の処理は、各々実施例１の顔状態検出及びページ捲り処理（図１２）のStep A１〜Step A３に対応しており、これらの処理では、正面カメラ３aにより捉えられる動画画像データからコマ画像データが取得され、取得されたコマ画像内の顔画像に対して顔の傾斜角、顔の位置、笑顔の有無、および、左右の目の閉成状態などの顔情報の検出が行われ、検出結果が上述の顔角度データ、顔位置データ、笑顔データ、左ウインクデータ、右ウインクデータとして、対応する各変数、すなわち、顔角度変数、顔位置変数、笑顔変数、左ウインク変数、右ウインク変数に一時記憶される。
【０２３０】
Step B６では、ページ戻しスキップ処理によって、戻しスキップ変数の値がStep B１で設定された戻しスキップ回数設定値以上であるか否かが判定され、戻しスキップ回数設定値以上の場合にはStep B７の顔状態検出及びページ戻し処理（図１３(a)）が実行され、それ以外の場合にはStep B７の顔状態検出及びページ戻し処理（図１３(a)）がスキップされてStep B８に進む。
【０２３１】
Step B７では、顔状態検出及びページ戻し処理において、ページ戻し方法として予め設定された顔状態が検出されかつ図４に示す楽譜表示部SC１に表示中の楽譜のページが最初のページでない場合には実施例２のページ戻し処理（図２１(a)）が実行され、この処理において戻しスキップ変数初期化処理が実行され、戻しスキップ変数の値が−１に初期化された後、図４に示す楽譜表示部SC１に表示中の楽譜の１ページ前のページが表示される。
【０２３２】
また、顔状態検出及びページ戻し処理において、ページ戻し方法として予め設定された顔状態が検出されない場合には実施例２のページ戻し処理（図２１(a)）は実行されず、図４に示す楽譜表示部SC１に表示中の楽譜はそのまま表示され、戻しスキップ変数初期化処理が実行されないので戻しスキップ変数の値は初期化されない。
【０２３３】
Step B８では、ページ送りスキップ処理によって、送りスキップ変数の値がStep B２で設定された送りスキップ回数設定値以上であるか否かが判定され、送りスキップ回数設定値以上の場合にはStep B９の顔状態検出及びページ送り処理（図１３(b)）が実行され、それ以外の場合にはStep B９の顔状態検出及びページ送り処理（図１３(b)）がスキップされてStep B１０に進む。
【０２３４】
Step B９では、顔状態検出及びページ送り処理において、ページ送り方法として予め設定された顔状態が検出されかつ図４に示す楽譜表示部SC１に表示中の楽譜のページが最後のページでない場合には実施例２のページ送り処理（図２１(b)）が実行され、この処理において送りスキップ変数初期化処理が実行され、送りスキップ変数の値が−１に初期化された後、図４に示す楽譜表示部SC１に表示中の楽譜の１ページ後のページが表示される。
【０２３５】
また、顔状態検出及びページ送り処理において、ページ送り方法として予め設定された顔状態が検出されない場合には実施例２のページ送り処理（図２１(b)）は実行されず、図４に示す楽譜表示部SC１に表示中の楽譜はそのまま表示され、送りスキップ変数初期化処理が実行されないので送りスキップ変数の値は初期化されない。
【０２３６】
Step B１０では、戻しスキップ変数増加処理によって戻しスキップ変数の値が１だけ増加し、Step B１１では、送りスキップ変数増加処理によって送りスキップ変数の値が１だけ増加する。
【０２３７】
Step B１２では、図４に示す「フェイススキャン開始/停止」タブSC３が再びタップされたか否かが判定され、「フェイススキャン開始/停止」タブSC３がタップされない場合にはコマ画像取得処理(Step B４)に戻り、リアルタイムに取得される動画画像データからコマ画像取得処理の処理時点のコマ画像データが非同期に取得され、以降Step B４〜Step B１２の処理が繰り返され、「フェイススキャン開始/停止」タブSC３がタップされた場合にはフェイススキャンが終了する。
【０２３８】
なお、タブレット型コンピューター１の性能などにも依存するが、Step B４〜Step B１２のループ処理は約０.１秒毎の短い時間間隔で繰り返されるので、ページ捲り方法として予め設定された顔状態が長時間検出されない状態が続くと、Step B１０, B１１の戻しスキップ変数増加処理および送りスキップ変数増加処理により戻しスキップ変数および送りスキップ変数の値は時間の経過とともに増大して非常に大きな値になる。
【０２３９】
そこで、実施例２の楽譜ビューワプログラムPでは、本プログラムの通常の使用時間において、これらの変数がプログラム上で許容される上限には達しないように、これらの変数にビット数の大きい整数変数を使用する。
【０２４０】
〈作用効果〉
実施例２の楽譜ビューワプログラムPでは、モニター２に表示中のページがページ戻し手段PBL（図２１(a)）により前のページに切り換わった後、ページ戻しスキップ手段PFL２により戻しスキップ回数設定値で設定される回数だけ顔状態検出及びページ戻し処理（図１３(a)）をスキップすることによって連続的なページ戻し処理を防止する連続ページ戻し防止手段PFLと、モニター２に表示中のページがページ送り手段PBR（図２１(b)）により後のページに切り換わった後、ページ送りスキップ手段PFR２により送りスキップ回数設定値で設定される回数だけ顔状態検出及びページ送り処理（図１３(b)）をスキップすることによって連続的なページ送り処理を防止する連続ページ送り防止手段PFRと、を備えているので、戻しスキップ回数設定値と送りスキップ回数設定値との値を適宜の値に設定すれば、ページ捲りを意図しない演奏者の顔の不要な連続的動作によってページが切り換わるのを防止することができる。
【０２４１】
また、実施例２の楽譜ビューワプログラムPでは、戻しスキップ回数設定値と送りスキップ回数設定値とが各々独立に設定可能なので、送りスキップ回数設定値を比較的大きめに設定し、戻しスキップ回数設定値を比較的小さめに設定することにより、ページ捲りを意図しない演奏者の顔の不要な連続的動作によってページが後に送られるのを防止でき、仮に意図せずページを進めてしまいページを戻す必要がある場合には素早くページを戻すことができる。
【０２４２】
例えば、実施例１の楽譜編集手段PGなどを用いて楽譜の表示順序が演奏するページ順序になるように予め編集されている場合には、後のページに切り換えるだけで全ての楽譜を見ることができるが、このような場合、一度ページを進めた後は１ページ分の演奏が終了するまで暫くページを進める必要がないので、通常ページ送りが連続的に行われることはなく、送りスキップ回数設定値を比較的大きめに設定することにより、ページ捲りを意図しない演奏者の顔の不要な連続的動作によってページが後に送られるのを防止することができ、戻しスキップ回数設定値を比較的小さめに設定することにより、仮に意図せずページを進めてしまった場合には素早くページを戻すことができる。
【０２４３】
実施例２の楽譜ビューワプログラムPが搭載されたタブレット型コンピューター１の性能などにも依存するが、例えば、上述の繰り返し処理の一定の時間間隔が約０.１秒の場合、例えば戻しスキップ回数設定値を５に設定し、送りスキップ回数設定値を２０に設定すれば、一度ページを進めてから約２秒経過しないと次のページに進めることができないのでページ捲りを意図しない演奏者の顔の不要な連続的動作によってページが進むのを防止でき、仮に意図せずページを進めてしまい、至急ページを戻す必要がある場合には約０．５秒で素早くページを戻すことができる。
【０２４４】
以上、図面を参照して、本発明に係る実施の形態の実施例を詳述してきたが、具体的な構成は、この実施の形態に限らず、本発明の要旨を逸脱しない程度の設計的変更は本発明に含まれる。
【０２４５】
なお、本実施例では楽譜ビューワプログラムPをタブレット型コンピューター１に搭載しているが、本プログラムを搭載するコンピューターは、どのようなタイプのコンピューターであってもよい。
例えばモニター側にカメラを備えたデスクトップ型のコンピューターでも、モニター側にカメラを備えた携帯端末機器であってもよい。
また、カメラは必ずしもコンピューターと一体である必要はなく、演奏者の顔を捉えられる配置であればコンピューターと別体のものであってもよい。
【産業上の利用可能性】
【０２４６】
本発明の楽譜ビューワプログラムPは楽譜画像の閲覧において著しい効果を奏するが、例えばモニター側にカメラを備えた携帯端末機器に搭載して、楽譜以外の電子ブックを閲覧する場合でも利用でき、通勤などにおいて荷物と携帯端末とで両手が塞がっているような場合に手を使わずに電子ブックのページを捲ることができる。
また、手が不自由な身障者や高齢の人が手を使わずに電子ブックのページを捲るのに使用することもできる。
【符号の説明】
【０２４７】
１  ：  タブレット型コンピューター（コンピューター）
２  ：  モニター（表示装置）
３a  ：  カメラ（撮像装置）
５  ：  メモリー（記憶装置）
P  ：  楽譜ビューワプログラム
MP  ：  顔状態検出及びページ捲り手段
PAL  ：  楽譜表示手段（第１の楽譜表示手段）
PAR  ：  楽譜表示手段（第２の楽譜表示手段）
PBL  ：  ページ戻し手段
PBR  ：  ページ送り手段
PCL  ：  顔状態検出及びページ戻し手段
PCL１  ：  左ウインク検出及びページ戻し手段
PCL２  ：  左顔傾斜検出及びページ戻し手段
PCL３  ：  左顔位置検出及びページ戻し手段
PCL４  ：  瞬き検出及びページ戻し手段
PCL５  ：  笑顔検出及びページ戻し手段
PCR  ：  顔状態検出及びページ送り手段
PCR１  ：  右ウインク検出及びページ送り手段
PCR２  ：  右顔傾斜検出及びページ送り手段
PCR３  ：  右顔位置検出及びページ送り手段
PCR４  ：  瞬き検出及びページ送り手段
PCR５  ：  笑顔検出及びページ送り手段
PE  ：  ページ捲り方法設定手段
PEL  ：  ページ戻し方法設定手段
PER  ：  ページ送り方法設定手段
PFL  ：  連続ページ戻し防止手段
PFR  ：  連続ページ送り防止手段
PFL２  ：  ページ戻しスキップ手段
PFR２  ：  ページ送りスキップ手段
PG  ：  楽譜編集手段
PG１  ：  楽譜一覧表示手段
PG２  ：  カット/コピー/ペースト手段
PG３  ：  楽譜表示順序変更手段
PL１  ：  動画画像取得手段
PL２  ：  コマ画像取得手段
PL３  ：  顔情報検出手段
【図１】
2018072559.tif 000003
【図２】
2018072559.tif 000004
【図３】
2018072559.tif 000005
【図４】
2018072559.tif 000006
【図５】
2018072559.tif 000007
【図６】
2018072559.tif 000008
【図７】
2018072559.tif 000009
【図８】
2018072559.tif 000010
【図９】
2018072559.tif 000011
【図１０】
2018072559.tif 000012
【図１１】
2018072559.tif 000013
【図１２】
2018072559.tif 000014
【図１３】
2018072559.tif 000015
【図１４】
2018072559.tif 000016
【図１５】
2018072559.tif 000017
【図１６】
2018072559.tif 000018
【図１７】
2018072559.tif 000019
【図１８】
2018072559.tif 000020
【図１９】
2018072559.tif 000021
【図２０】
2018072559.tif 000022
【図２１】
2018072559.tif 000023