(57)【要約】【課題】楽譜が正しく認識された画像データのみを記録する。【解決手段】楽譜撮影モードに設定された場合、楽譜の検出領域を示す案内用フレーム６１をスルー画６２に重畳して表示させる。楽譜検出部３３は、楽譜辞書３１ａを参照してパターン認識によって楽譜６０を検出する。音声処理部３４は、検出された楽譜に対応する音声データを生成して、スピーカ１９から出力させる。システムコントローラ３０は、スピーカ１９からの出力音が楽譜と適合することを示す操作信号を取得した時に、撮像処理を実行し、さらに、画像データ及び音データの記録処理を実行する。【選択図】図４
2008242714.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換して撮像する撮像手段を備え、前記撮像手段によって得られた画像データを記録する撮影装置において、
前記画像データをスルー画として表示する表示手段と、
前記スルー画用の画像データから楽譜を検出する楽譜検出手段と、
前記楽譜検出手段によって検出された楽譜に対応する音データを生成する音データ生成手段と、
前記音データ生成手段によって生成された前記音データを出力する音声出力手段と、
前記音声出力手段の出力音の適否を入力する入力操作手段と、
前記入力操作手段から適合を示す操作信号を取得した場合、前記画像データの記録処理を実行する制御手段とを備えていることを特徴とする撮影装置。
【請求項２】
前記制御手段は、前記画像データとともに前記音データの記録処理を実行することを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記表示手段は、前記楽譜を検出する検出領域を示す案内用フレームを前記スルー画に重ねて表示することを特徴とする請求項１または２に記載の撮影装置。
【請求項４】
前記楽譜を検出するための参照用画像データが多数登録された楽譜辞書を記憶する記憶手段を備え、前記楽譜検出手段は、前記楽譜辞書を参照してパターン認識によって前記楽譜を検出することを特徴とする請求項１ないし３のいずれか１項に記載の撮影装置。
【請求項５】
前記入力操作手段から適合を示す操作信号を取得した場合、前記制御手段は、前記撮像手段を制御して通常撮影時よりも高画素の画像データを取得させることを特徴とする請求項１ないし４のいずれか１項に記載の撮影装置。
【請求項６】
前記画像データに対して信号処理を施す画像信号処理手段を備え、
前記入力操作手段から適合を示す操作信号を取得した場合、前記制御手段は、前記画像信号処理手段を制御して、通常撮影時よりも前記画像データのシャープネスを強くすることを特徴とする請求項１ないし５のいずれか１項に記載の撮影装置。
【請求項７】
前記入力操作手段から適合を示す操作信号を取得した場合、前記制御手段は、前記画像データをモノクロで記録することを特徴とする請求項１ないし６のいずれか１項に記載の撮影装置。
【請求項８】
前記楽譜検出手段によって検出できなかった未検出部がある場合、前記制御手段は、前記表示手段を制御して前記未検出部を表示させ、前記撮像手段及び前記楽譜検出手段を制御して、前記未検出部の楽譜を検出させることを特徴とする請求項１ないし７のいずれか１項に記載の撮影装置。
【請求項９】
前記楽譜を撮影した画像データを再生する場合、前記音データも再生することを特徴とする請求項１ないし８のいずれか１項に記載の撮影装置。
【請求項１０】
前記撮像手段によって前記楽器が撮像された場合、前記制御手段は、前記楽器を特定するとともに、前記音声データ生成手段を制御して、特定された楽器の音で再生するように設定を変更することを特徴とする請求項１ないし９のいずれか１項に記載の撮影装置。
【請求項１１】
前記記憶手段には、前記楽器を検出するための楽器画像データと各楽器画像データに対応する楽器音データとが多数登録された楽器データ辞書が記憶され、
前記制御手段は、前記楽器データ辞書を参照して前記楽器を特定し、特定された楽器に対応する前記楽器音データを再生音に設定することを特徴とする請求項１０に記載の撮影装置。
【請求項１２】
被写体像を光電変換して撮像する撮像手段を備えた撮影装置によって、楽譜を撮影する楽譜撮影方法において、
前記撮像手段によって得られた画像データをスルー画として表示する表示ステップと、
前記スルー画用の画像データから楽譜を検出する楽譜検出ステップと、
前記楽譜検出ステップにて検出された楽譜に対応する音データを生成する音データ生成ステップと、
前記音データ生成ステップにて生成された音データを出力する出力ステップと、
前記出力ステップにて出力される出力音の適否を示す操作信号を取得する取得ステップと、
前記取得ステップにて適合を示す操作信号を取得した時に、前記楽譜を撮像して得られた画像データを記録する記録ステップとを有することを特徴とする楽譜撮影方法。
【請求項１３】
被写体像を光電変換して撮像する撮像手段を備えた撮影装置に楽譜の撮影処理を実行させる楽譜撮影プログラムにおいて、
前記撮像手段によって得られた画像データをスルー画として表示する表示ステップと、
前記スルー画用の画像データから楽譜を検出する楽譜検出ステップと、
前記楽譜検出ステップにて検出された楽譜に対応する音データを生成する音データ生成ステップと、
前記音データ生成ステップにて生成された音データを出力する出力ステップと、
前記出力ステップにて出力される出力音の適否を示す操作信号を取得する取得ステップと、
前記取得ステップにて適合を示す操作信号を取得した時に、前記楽譜を撮像して得られた画像データを記録する記録ステップとを有することを特徴とする楽譜撮影プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽譜を検出して撮影を行う撮影装置、及びこれに用いられる楽譜撮影方法、並びに楽譜撮影プログラムに関する。
【背景技術】
【０００２】
従来、音符を解読する能力がなくて楽譜を読めない人を支援するための装置として様々な装置が提案されている。このような装置として、楽譜を撮像して得られた画像データに基づいて、音データを生成する楽譜認識装置が知られている（例えば、特許文献１及び２参照）。また、五線の位置を正確に検出することによって、楽譜を高速且つ的確に認識することを可能にした楽譜認識装置も知られている（例えば、特許文献３参照）。
【特許文献１】特開平０６−３３２４４３号公報
【特許文献２】特開２００１−５１６７７号公報
【特許文献３】特開平０５−３５９２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１〜３に記載の楽譜認識装置では、楽譜の画像データを記録する前に、楽譜が正しく認識されたか否かを確認することができないため、楽譜が正しく認識されていない画像データが記録されてしまうという問題があった。
【０００４】
本発明は、上記事情に鑑みてなされたものであり、楽譜が正しく認識された画像データのみを記録することが可能な撮影装置、及びこれに用いられる楽譜撮影方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の撮影装置は、被写体像を光電変換して撮像する撮像手段を備え、前記撮像手段によって得られた画像データを記録する撮影装置であり、前記画像データをスルー画として表示する表示手段と、前記スルー画用の画像データから楽譜を検出する楽譜検出手段と、前記楽譜検出手段によって検出された楽譜に対応する音データを生成する音データ生成手段と、前記音データ生成手段によって生成された前記音データを出力する音声出力手段と、前記音声出力手段の出力音の適否を入力する入力操作手段と、前記入力操作手段から適合を示す操作信号を取得した場合、前記画像データの記録処理を実行する制御手段とを備えていることを特徴とするものである。
【０００６】
また、前記制御手段は、前記画像データとともに前記音データの記録処理を実行することが好ましい。さらに、前記表示手段は、前記楽譜を検出する検出領域を示す案内用フレームを前記スルー画に重ねて表示することが好ましい。
【０００７】
また、前記楽譜を検出するための参照用画像データが多数登録された楽譜辞書を記憶する記憶手段を備え、前記楽譜検出手段は、前記楽譜辞書を参照してパターン認識によって前記楽譜を検出することが好ましい。
【０００８】
さらに、前記入力操作手段から適合を示す操作信号を取得した場合、前記制御手段は、前記撮像手段を制御して通常撮影時よりも高画素の画像データを取得させることが好ましい。
【０００９】
また、前記画像データに対して信号処理を施す画像信号処理手段を備え、前記入力操作手段から適合を示す操作信号を取得した場合、前記制御手段は、前記画像信号処理手段を制御して、通常撮影時よりも前記画像データのシャープネスを強くすることが好ましい。さらに、前記入力操作手段から適合を示す操作信号を取得した場合、前記制御手段は、前記画像データをモノクロで記録することが好ましい。
【００１０】
また、前記楽譜検出手段によって検出できなかった未検出部がある場合、前記制御手段は、前記表示手段を制御して前記未検出部を表示させ、前記撮像手段及び前記楽譜検出手段を制御して、前記未検出部の楽譜を検出させることが好ましい。さらに、前記楽譜を撮影した画像データを再生する場合、前記音データも再生することが好ましい。
【００１１】
また、前記撮像手段によって前記楽器が撮像された場合、前記制御手段は、前記楽器を特定するとともに、前記音声データ生成手段を制御して、特定された楽器の音で再生するように設定を変更することが好ましい。
【００１２】
さらに、前記記憶手段には、前記楽器を検出するための楽器画像データと各楽器画像データに対応する楽器音データとが多数登録された楽器データ辞書が記憶され、前記制御手段は、前記楽器データ辞書を参照して前記楽器を特定し、特定された楽器に対応する前記楽器音データを再生音に設定することが好ましい。
【００１３】
本発明の楽譜撮影方法は、被写体像を光電変換して撮像する撮像手段を備えた撮影装置によって、楽譜を撮影する楽譜撮影方法であり、前記撮像手段によって得られた画像データをスルー画として表示する表示ステップと、前記スルー画用の画像データから楽譜を検出する楽譜検出ステップと、前記楽譜検出ステップにて検出された楽譜に対応する音データを生成する音データ生成ステップと、前記音データ生成ステップにて生成された音データを出力する出力ステップと、前記出力ステップにて出力される出力音の適否を示す操作信号を取得する取得ステップと、前記取得ステップにて適合を示す操作信号を取得した時に、前記楽譜を撮像して得られた画像データを記録する記録ステップとを有することを特徴とするものである。
【００１４】
本発明の楽譜撮影プログラムは、被写体像を光電変換して撮像する撮像手段を備えた撮影装置に楽譜の撮影処理を実行させる楽譜撮影プログラムであり、前記撮像手段によって得られた画像データをスルー画として表示する表示ステップと、前記スルー画用の画像データから楽譜を検出する楽譜検出ステップと、前記楽譜検出ステップにて検出された楽譜に対応する音データを生成する音データ生成ステップと、前記音データ生成ステップにて生成された音データを出力する出力ステップと、前記出力ステップにて出力される出力音の適否を示す操作信号を取得する取得ステップと、前記取得ステップにて適合を示す操作信号を取得した時に、前記楽譜を撮像して得られた画像データを記録する記録ステップとを有することを特徴とするものである。
【発明の効果】
【００１５】
本発明によれば、スルー画用の画像データから楽譜を検出して、この楽譜に対応する音声データを生成して出力し、この出力音が楽譜と適合することを示す操作信号を取得してから楽譜の画像データを記録するので、撮影者が出力音を確認して、楽譜と適合する画像データのみを記録することができる。このため、楽譜が正しく認識できていない楽譜の画像データが記録されることを防止できる。
【００１６】
また、画像データの記録時に、音データも同時に記録するので、画像データの再生時に、音データも同時に再生可能である。また、スルー画に重ねて案内用フレームが表示されるので、撮影者が楽譜の検出領域を確認しながらフレーミングを行うことが可能である。
【００１７】
操作入力手段から適合を示す操作信号を取得した場合、通常撮影時よりも高画素の画像データを撮像するので、撮影後に画像データから楽譜を検出する時に楽譜を認識しやすい。また、通常撮影時よりも画像データのシャープネスを強くすることによって、同様に楽譜を認識しやすくなる。また、画像データをモノクロで記録するので、同様に楽譜を認識することが容易である。
【００１８】
また、楽譜検出手段によって検出できなかった未検出部がある場合、未検出部を表示して楽譜検出手段が未検出部を再検出するので、楽譜を確実に検出することが可能である。
【００１９】
楽器が撮像された場合、この楽器を特定して、この楽器の音で再生されるように設定を変更するので、面倒な操作をせずに所望の楽器音で再生することができる。
【発明を実施するための最良の形態】
【００２０】
図１に示すデジタルカメラ（撮影装置）１０は、カメラ本体１１の前面に、スライド操作可能なレンズバリア１２を備えている。このレンズバリア１２を開放位置にスライドさせることによって、撮影レンズ１３、及びストロボ発光部１４が前面に露呈される。このレンズバリア１２は、電源操作部材を兼用しており、前述の開放位置にスライド操作された時に、カメラ本体１１の電源がＯＮとなり、撮影レンズ１３及びストロボ発光部１４が遮蔽される遮蔽位置に移動された時に、カメラ本体１１の電源がＯＦＦとなる。また、カメラ本体１１の前面には、ファインダ対物窓１５が設けられている。
【００２１】
図２に示すように、カメラ本体１１の背面には、画像を表示する表示手段であるＬＣＤ１６と、ファインダ接眼窓１７と、複数の操作ボタンで構成される操作部１８と、スピーカ（音声出力手段）１９とが設けられている。また、カメラ本体１１の上面には、シャッタボタン２１が設けられており、側面には、記録メディアスロット２２が設けられている。記録メディアスロット２２には、画像データが記憶される記録メディア２３が着脱自在に装填される。
【００２２】
また、このデジタルカメラ１０は、撮影モードと再生モードとを有している。さらに、この撮影モードは、通常撮影モードと楽譜撮影モードとの２つの撮影モードを備えている。通常撮影モードは、被写体を撮像して得られた画像データのみを記録するモードであり、楽譜撮影モードは、楽譜を撮像して得られた画像データとともに、その楽譜に対応する音データを記録するモードである。
【００２３】
次に、図３を参照して、上記構成のデジタルカメラ１０の電気的構成について説明する。デジタルカメラ１０は、カメラ本体１１の全体を制御する制御手段であるシステムコントローラ３０を備えている。このシステムコントローラ３０内には、ＲＯＭ（記憶手段）３１、ＲＡＭ３２、楽譜検出部３３、及び音声処理部３４が設けられている。
【００２４】
ＲＯＭ３１には、カメラ本体１１内の各部を制御するための制御プログラムや、各種制御パラメータが記憶されている。システムコントローラ３０は、これらの制御プログラムや各種制御データに基づいて各部を制御する。また、ＲＡＭ３２には、システムコントローラ３０が各種処理を行う際の作業用データが一時的に記憶される。
【００２５】
さらに、前述のＲＯＭ３１には、楽譜辞書３１ａ、及び楽器データ辞書３１ｂが記憶されている。楽器辞書３１ａには、楽譜を認識するための音符等のパターン画像データが多数登録されている。楽器データ辞書３１ｂには、楽器を識別するための楽器画像データと、各楽器に対応する楽器音データとが多数登録されている。また、楽譜検出部３３は、後述するように、画像データから楽譜を検出する。音声処理部３４は、音声データ生成手段であり、楽譜検出部３３によって検出された楽譜に対応する音声データを生成する。
【００２６】
システムコントローラ３０には、操作部１８、シャッタボタン２１、及びスピーカ１９が接続されている。システムコントローラ３０は、これらが操作された時に操作信号を取得し、各操作信号に対応する処理を実行する。また、システムコントローラ３０は、スピーカ１９を制御することによって音を出力させる。
【００２７】
撮影レンズ１３の背後には、ＣＣＤイメージセンサ（以下、単にＣＣＤと称する）４１が設けられており、撮影レンズ１３を透過した被写体光が、ＣＣＤ４１の受光面に入射する。このＣＣＤ４１は、ＣＣＤドライバ４２を介してシステムコントローラ３０に接続されている。システムコントローラ３０は、ＣＣＤドライバ４２を制御してＣＣＤ４１を駆動するための駆動信号を生成させる。ＣＣＤ４１は、この駆動信号によって駆動されて、被写体像を撮像してアナログ信号である撮像信号を出力する。
【００２８】
ＣＣＤ４１には、相関二重サンプリング回路（ＣＤＳ）４３が接続されており、撮像信号が入力される。ＣＤＳ４３は、撮像信号のノイズを除去して、この撮像信号をＡＭＰ４４に出力する。ＡＭＰ４４は、システムコントローラ３０によって設定される撮影感度に応じたゲインで撮像信号を増幅した後、撮像信号をＡ／Ｄ変換器４５に出力する。
【００２９】
Ａ／Ｄ変換器４５は、撮像信号をアナログ信号からデジタル信号に変換して、画像データとして出力する。このＡ／Ｄ変換器４５には、画像入力コントローラ４６が接続されており、画像データが画像入力コントローラ４６に出力される。画像入力コントローラ４６は、データバス４７を介してＳＤＲＡＭ４８が接続されており、ＳＤＲＡＭ４８に画像データを記憶させる。なお、ＳＤＲＡＭ４８には、撮影処理が実行される前に、スルー画用の低解像度の画像データが記憶され、撮影処理時には、スルー画の画像データよりも高解像度の画像データが記憶される。
【００３０】
データバス４７には、画像入力コントローラ４６及びＳＤＲＡＭ４８の他に、システムコントローラ３０、画像信号処理部４９、ＬＣＤドライバ５０、圧縮伸長処理部５１、及びメディアコントローラ５２が接続されている。システムコントローラ３０は、データバス４７を介してこれらを制御するとともに、相互間でデータの授受が可能である。
【００３１】
画像信号処理部４９は、画像データがＳＤＲＡＭ４８に一時的に記憶されている時に、画像データに対して、ホワイトバランス補正処理や、シャープネス補正処理や、階調変換処理や、ＹＣ変換処理等の各種画像処理を施す。
【００３２】
撮影指示が入力される前に、システムコントローラ３０は、ＬＣＤドライバ５０を制御して、各種画像処理が施された画像データをスルー画としてＬＣＤ１６に表示させる。また、シャッタボタン２１が操作されて撮影指示を取得すると、システムコントローラ３０は、圧縮伸長処理部５１を制御して、各種画像処理が施された画像データに対して、ＪＰＥＧ等の圧縮形式にて圧縮処理を施し、さらに、メディアコントローラ５２を制御して、圧縮後の画像データを記録メディア２３に記録する。
【００３３】
また、記録メディア２３に記録された画像データを再生する場合、システムコントローラ３０は、メディアコントローラ５２を制御して、記録メディア２３から画像データを読み出させ、さらに、圧縮伸長処理部５１を制御して、画像データに対して伸長処理を実行させる。その後、システムコントローラ３０は、ＬＣＤユニット１６を制御して、伸長処理後の画像データを再生画像として表示させる。
【００３４】
次に、楽譜検出部３３、及び音声処理部３４について説明する。楽譜検出部３３は、楽譜撮影モードに設定されて、スルー画の画像データがＳＤＲＡＭ４８に記憶されている時に、楽譜辞書３１ａを参照して、この画像データ内に含まれる楽譜をパターン認識によって検出する。なお、楽譜の認識及び検出方法は、例えば、顔認識及び検出方法等の公知の方法によって行う。
【００３５】
音声処理部３４は、前述したように、楽譜検出部３３によって検出された楽譜に対応する音データを生成するとともに、スピーカ１９から音を出力させる。また、この音声処理部３４は、楽器データ辞書に登録された楽器音データに基づいて音データを更新する。
【００３６】
また、前述のシャッタボタン２１は、スピーカ１９の出力音の適否を入力する入力操作手段である。撮影者は、出力音が楽譜と適合すると判断した時に、シャッタボタン２１を押圧操作する。また、撮影者は、出力音が楽譜と適合しないと判断した場合や、出力音が意図した曲ではない場合は、シャッタボタン２１を押圧操作しない。
【００３７】
シャッタボタン２１が押圧操作された場合、シャッタボタン２１から適合を示す操作信号がシステムコントローラ３０に入力される。システムコントローラ３０は、この操作信号を取得した時に、楽譜の画像データの記録処理を実行する。また、シャッタボタン３０が一定時間操作されない場合、システムコントローラ３０は、出力音が適合していないと判断して記録処理を行わない。
【００３８】
次に、図４のフローチャートを参照して、上記構成のデジタルカメラの楽譜撮影処理について説明する。撮影者が操作部１８を操作して楽譜撮影モードを選択すると、楽譜撮影モードに設定される。
【００３９】
楽譜撮影モードに設定されると、システムコントローラ３０は、ＬＣＤドライバ５０を制御して、スルー画をＬＣＤ１６に表示させるとともに、図５に示すように、楽譜６０を検出する検出領域を示す案内用フレーム６１をスルー画６２に重ねて表示させる。なお、図５（Ａ）に示すように、案内用フレーム６１内に楽譜６０が収まっていない場合、図５（Ｂ）に示すように、案内用フレーム６１内に楽譜６０が入るように、撮影者がフレーミングを行う。
【００４０】
その後、楽譜検出部３３は、楽譜６０が案内用フレーム６１内に存在するか否かを判定する。なお、この判定は、例えば、案内用フレーム６１内の画像データに基づいて、等間隔の水平線が５本あるか否かに基づいて行われる。楽譜６０が存在しないと判定された場合、この判定処理を繰り返し実行する。
【００４１】
また、楽譜６０が存在すると判定された場合、楽譜検出部３３は、楽譜辞書３１ａを参照してパターン認識によって楽譜６０を検出する。音声処理部３４は、この検出によって取得された楽譜データに基づいて音声データを生成して、スピーカ１９から出力させる。
【００４２】
その後、システムコントローラ３０は、スピーカ１９の出力音の適否を判定する。なお、この判定は、適合を示す操作信号を取得したか否かに基づいて行われる。出力音が楽譜と適合しないと判定された場合、楽譜６０が案内用フレーム６１内に存在するか否かを判定する処理に戻って同様の処理を繰り返し行う。
【００４３】
また、出力音が楽譜と適合すると判定された場合、システムコントローラ３０は、メディアコントローラ５２を制御して、画像データとともに音データを記録メディア２３に記録して、楽譜撮影処理を終了する。
【００４４】
なお、音データを記録する場合、画像データに関連付けしてから記録することが好ましい。また、画像データを記録する場合、スルー画の画像データをそのまま記録しても良いし、新たに撮像処理を実行して、スルー画よりも高画素の画像データを記録しても良い。また、記録時に、音データを記録せずに画像データのみを記録しても良い。この場合、画像を再生する時に、音データを作成すれば良い。
【００４５】
次に、図６のフローチャートを参照して、案内用フレーム６１内に楽譜６０が検出された時に、通常よりも高画素で撮像する場合の楽譜撮影処理について説明する。なお、この場合、楽譜６０が案内用フレーム６１内に存在するか否かを判定する処理までは、前述の楽譜撮影処理と同様であるので説明を省略する。
【００４６】
楽譜６０が案内用フレーム６１内に存在すると判定された場合、システムコントローラ３０は、ＣＣＤ４１を制御して、スルー画を通常撮影時よりも高画素に設定して撮像する。このスルー画表示状態にて、楽譜検出部３３が楽譜を検出する。音声処理部３４は、この検出によって取得された楽譜データに基づいて音声データを生成して、スピーカ１９から出力させる。
【００４７】
その後、システムコントローラ３０は、スピーカ１９の出力音の適否を判定する。出力音が楽譜と適合しないと判定された場合、楽譜６０が案内用フレーム６１内に存在するか否かを判定する処理に戻って同様の処理を繰り返し行う。また、出力音が楽譜と適合すると判定された場合、システムコントローラ３０は、ＣＣＤ４１を制御して、通常撮影時よりも高画素での撮像処理を実行するとともに、メディアコントローラ５２を制御して、画像データを記録メディアに記録して、楽譜撮影処理を終了する。
【００４８】
上記楽譜撮影処理の説明において、楽譜６０が案内用フレーム６１内に存在すると判定された時に、スルー画を通常撮影時よりも高画素にする設定する場合について説明したが、スルー画を高画素に変更せずに、記録時のみに高画素で撮像しても良い。
【００４９】
また、高画素での撮像処理を実行して画像データのみを記録する場合について説明したが、これに限るものではなく、音データを同時に記録しても良い。この場合、後で音データを作成する必要がないので、記録時に撮像処理を実行せずに、スルー画の画像データを記録しても良い。この場合、スルー画を必ず高画素に設定する。
【００５０】
次に、図７のフローチャートを参照して、案内用フレーム６１内に楽譜６０が検出された時に、画像データのシャープネスを通常撮影時よりも強くする場合の楽譜撮影処理について説明する。なお、この場合も、楽譜６０が案内用フレーム６１内に存在するか否かを判定する処理までは、前述の楽譜撮影処理と同様であるので説明を省略する。
【００５１】
楽譜６０が案内用フレーム６１内に存在すると判定された場合、システムコントローラ３０は、スルー画のシャープネスを通常撮影時よりも強くなるように設定する。このスルー画表示状態にて、楽譜検出部３３が楽譜を検出する。音声処理部３４は、この検出によって取得された楽譜データに基づいて音声データを生成して、スピーカ１９から出力させる。
【００５２】
その後、システムコントローラ３０は、スピーカ１９の出力音の適否を判定する。出力音が楽譜と適合しないと判定された場合、楽譜６０が案内用フレーム６１内に存在するか否かを判定する処理に戻って同様の処理を繰り返し行う。また、出力音が楽譜と適合すると判定された場合、システムコントローラ３０は、各部を制御して通常撮影時よりもシャープネスを強くした画像を撮像して、この画像データを記録する。これにより、楽譜撮影処理を終了する。
【００５３】
上記楽譜撮影処理の説明において、楽譜６０が案内用フレーム６１内に存在すると判定された時に、通常撮影時よりもスルー画のシャープネスを強くする場合について説明したが、スルー画のシャープネスを変更せずに、記録用の画像データのみのシャープネスを変更しても良い。
【００５４】
また、シャープネスを強くした画像データのみを記録する場合について説明したが、これに限るものではなく、音データを同時に記録しても良い。この場合、後で音データを作成する必要がないので、記録時に撮像処理を実行せずに、スルー画の画像データを記録しても良い。この場合、スルー画のシャープネスを必ず強くする。
【００５５】
次に、図８のフローチャートを参照して、案内用フレーム６１内に楽譜６０が検出された時に、モノクロで撮像する場合の楽譜撮影処理について説明する。なお、この場合も、楽譜６０が案内用フレーム６１内に存在するか否かを判定する処理までは、前述の楽譜撮影処理と同様であるので説明を省略する。
【００５６】
楽譜６０が案内用フレーム６１内に存在すると判定された場合、システムコントローラ３０は、スルー画をモノクロで撮像するように設定する。このスルー画表示状態にて、楽譜検出部３３が楽譜を検出する。音声処理部３４は、この検出によって取得された楽譜データに基づいて音声データを生成してスピーカ１９から出力させる。
【００５７】
その後、システムコントローラ３０は、スピーカ１９の出力音の適否を判定する。出力音が楽譜と適合しないと判定された場合、楽譜６０が案内用フレーム６１内に存在するか否かを判定する処理に戻って同様の処理を繰り返し行う。また、出力音が楽譜と適合すると判定された場合、システムコントローラ３０は、各部を制御して撮像処理を実行して、モノクロの画像データを記録する。これにより、楽譜撮影処理を終了する。
【００５８】
上記楽譜撮影処理の説明において、楽譜６０が案内用フレーム６１内に存在すると判定された時に、スルー画をモノクロにする場合について説明したが、スルー画をモノクロに変更せずに、記録用の画像データのみをモノクロに変更しても良い。
【００５９】
また、モノクロの画像データのみを記録する場合について説明したが、これに限るものではなく、音データを同時に記録しても良い。この場合、後で音データを作成する必要がないので、記録時に撮像処理を実行せずに、スルー画の画像データを記録しても良い。この場合、スルー画を必ずモノクロにする。
【００６０】
次に、図９のフローチャートを参照して、楽譜撮影処理後に行う楽譜の検出抜けの補正処理について説明する。楽譜が検出されて、画像データ及び音データが記録された後、楽譜検出部３３は、記録済みの画像データを参照して検出抜けがないか否かを判定する。この検出抜けとは、検出できなかった場所や認識できなかった音符である。
【００６１】
検出抜けがないと判定された場合、検出抜けの補正処理を終了する。また、検出抜けがあると判定された場合、システムコントローラ３０は、ＬＣＤドライバ５０を制御して、図１０（Ａ）に示すように、検出抜けのある楽譜画像６５をＬＣＤ１６に再生表示させるとともに、検出抜け箇所に枠６６を表示させる。
【００６２】
その後、システムコントローラ３０は、ＬＣＤドライバ５０を制御して、図１０（Ｂ）に示すように、スルー画用のフレーム６７を楽譜画像６５に重ねて表示させ、このフレーム６７内にスルー画を表示させる。また、このフレーム６７内には、再検出用フレーム６８が表示される。撮影者は、この再検出用フレーム６８内に検出抜け箇所の音符が入るようにフレーミングを行う。この再検出用フレーム６８内に検出抜け箇所の音符がある時に、楽譜検出部３３は、楽譜辞書３１ａを参照して、再検出用フレーム６８内の画像データから音符を検出する。
【００６３】
この音符の検出後に、この画像データに基づいて記録済みの画像データが更新され、さらに、検出された音符に基づいて音データも更新される。なお、記録済みの画像データを更新する場合、再検出された音符の画像データを記録済みの画像データに合成すれば良い。また、音符の検出後に再度撮像処理を実行しても良い。
【００６４】
その後、システムコントローラ３０は、全ての再検出が終了したか否かを判定する。終了していないと判定された場合、検出抜け箇所を表示する処理に戻って同様の処理を繰り返し行う。また、全ての再検出が終了したと判定された場合、検出抜けの補正処理を終了する。
【００６５】
次に、図１１のフローチャートを参照して再生処理について説明する。撮影者が操作部１８を操作することによって再生モードに設定すると、システムコントローラ３０は、各部を制御して記録メディア２３に記録された画像データをＬＣＤ１６に再生表示する。
【００６６】
その後、システムコントローラ３０は、再生画像が楽譜を検出した画像データか否かを判定する。楽譜を検出した画像データではないと判定された場合、再生処理を終了する。また、楽譜を検出した画像データであると判定された場合、システムコントローラ３０は、撮影時に画像データのみが記録されているか否かを判定する。
【００６７】
画像データだけでなく、音声データも記録されていると判定された場合、音データを再生する処理に進む。また、画像データのみが記録されていると判定された場合、楽譜検出部３３は、楽譜辞書３１ａを参照して画像データから楽譜を検出し、さらに、音声処理部３４が、検出された楽譜データに基づいて音データを生成する。
【００６８】
また、システムコントローラ３０は、メディアコントローラ５２を制御して、この音データを記録メディア２３に記録する。なお、この音データを記録する場合、画像データに関連付けして記録する。その後、音データを再生する処理に進む。
【００６９】
音データを再生する処理では、音声処理部３４が、音データに基づいてスピーカ１９を制御して出力させる。これにより、再生処理が終了する。
【００７０】
次に、図１２のフローチャートを参照して、音データ再生時の楽器音を選択する楽器選択処理について説明する。撮影者が操作部１８を操作して楽器選択モードに設定すると、システムコントローラ３０は、各部を制御してスルー画をＬＣＤ１６に表示させる。撮影者は、図１３に示すように、スルー画７０内に所望の楽器（例えば、ピアノ）７１が入るようにフレーミングを行う。
【００７１】
その後、システムコントローラ３０は、スルー画７０内に楽器が存在するか否かを判定する。なお、この判定は、システムコントローラ３０が、楽器データ辞書３１ｂを参照してパターン認識によって、スルー画７０の画像データ内に一致する楽器があるか否かに基づいて行われる。楽器が存在しないと判定された場合、この判定処理を繰り返し行う。
【００７２】
また、楽器が存在すると判定された場合、この楽器を選択楽器として検出するとともに、システムコントローラ３０が各部を制御して、この選択楽器の画像データを記録する。この時、楽器７１を含む枠７２内の画像データのみを記録する。さらに、システムコントローラ３０は、この選択楽器で音データを再生するように設定を変更して、楽器選択処理を終了する。
【００７３】
上記楽器選択処理の説明において、楽器そのものを撮像して検出する場合を説明したが、これに限るものではなく、楽器の絵や楽器名が含まれる画像を撮像することによって、楽器を検出しても良い。
【００７４】
なお、上記実施形態において、システムコントローラ内に、楽譜検出部及び音声処理部を設ける場合を例に説明したが、ＲＯＭ内に記憶されたプログラムでこれらの処理を実行する場合は、これらを設けなくても良い。
【００７５】
また、上記実施形態において、本発明をデジタルカメラに適用した場合を例に説明したが、これに限るものではなく、例えば、カメラ付き携帯電話やデジタルビデオカメラに本発明を適用しても良い。
【図面の簡単な説明】
【００７６】
【図１】デジタルカメラの前面側の構成を示す斜視図である。
【図２】デジタルカメラの背面側の構成を示す斜視図である。
【図３】デジタルカメラの電気的構成を示すブロック図である。
【図４】楽譜撮影処理を説明するフローチャートである。
【図５】案内用フレームを示す説明図である。
【図６】通常撮影時よりも高画素で撮像する場合の楽譜撮影処理を説明するフローチャートである。
【図７】画像データのシャープネスを通常撮影時よりも強くする場合の楽譜撮影処理を説明するフローチャートである。
【図８】モノクロで撮像する場合の楽譜撮影処理を説明するフローチャートである。
【図９】楽譜の検出抜けの補正処理を説明するフローチャートである。
【図１０】楽譜の検出抜け箇所の再検出方法を説明する説明図である。
【図１１】再生処理を説明するフローチャートである。
【図１２】楽器選択処理について説明するフローチャートである。
【図１３】スルー画内の楽器検出を説明する説明図である。
【符号の説明】
【００７７】
１０  デジタルカメラ
１６  ＬＣＤ
１８  操作部
１９  スピーカ
２４  記録メディア
３０  システムコントローラ
３１  ＲＯＭ
３１ａ  楽譜辞書
３１ｂ  楽器データ辞書
３３  楽譜検出部
３４  音声処理部
６０  楽譜
６１  案内用フレーム
６２，７０  スルー画
７１  楽器
【図１】
2008242714.tif 000003
【図２】
2008242714.tif 000004
【図３】
2008242714.tif 000005
【図４】
2008242714.tif 000006
【図５】
2008242714.tif 000007
【図６】
2008242714.tif 000008
【図７】
2008242714.tif 000009
【図８】
2008242714.tif 000010
【図９】
2008242714.tif 000011
【図１０】
2008242714.tif 000012
【図１１】
2008242714.tif 000013
【図１２】
2008242714.tif 000014
【図１３】
2008242714.tif 000015