(57)【要約】【課題】楽譜等の文書内における撮像画像の位置を適切に特定する。【解決手段】画像処理装置１００は、撮像装置１３が順次に生成する撮像画像から特徴点を抽出する抽出部２１と、撮像画像から抽出された特徴点の個数が閾値を上回るか否かを判定する判定部２３と、撮像画像から抽出された特徴点の個数が閾値を上回る場合に、複数の候補画像のうち撮像画像に対応する候補画像を特定する特定部２２と、撮像画像から抽出された特徴点の個数が閾値を下回る場合に、撮像画像よりも過去に生成された基準画像に対する撮像画像の位置を特定する解析部２４とを具備する。【選択図】図１
2019207614.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が順次に生成する撮像画像から特徴点を抽出し、
第１撮像画像から抽出された特徴点の個数が閾値を上回るか否かを判定し、
前記第１撮像画像から抽出された特徴点の個数が前記閾値を上回る場合に、複数の候補画像のうち前記第１撮像画像に対応する候補画像を特定し、
前記第１撮像画像から抽出された特徴点の個数が前記閾値を下回る場合に、前記第１撮像画像よりも過去に生成された第２撮像画像に対する前記第１撮像画像の位置を特定する
コンピュータにより実現される画像処理方法。
【請求項２】
前記第２撮像画像は、前記特徴点の個数が前記閾値を上回る撮像画像である
請求項１の画像処理方法。
【請求項３】
前記第２撮像画像は、前記特徴点の個数が前記閾値を上回る、前記第１撮像画像の直近の撮像画像である
請求項２の画像処理方法。
【請求項４】
撮像装置が順次に生成する撮像画像から特徴点を抽出する抽出部と、
第１撮像画像から抽出された特徴点の個数が閾値を上回るか否かを判定する判定部と、
前記第１撮像画像から抽出された特徴点の個数が前記閾値を上回る場合に、複数の候補画像のうち前記第１撮像画像に対応する候補画像を特定する特定部と、
前記第１撮像画像から抽出された特徴点の個数が前記閾値を下回る場合に、前記第１撮像画像よりも過去に生成された第２撮像画像に対する前記第１撮像画像の位置を特定する解析部と
を具備する画像処理装置。
【請求項５】
前記第２撮像画像は、前記特徴点の個数が前記閾値を上回る撮像画像である
請求項４の画像処理装置。
【請求項６】
前記第２撮像画像は、前記特徴点の個数が前記閾値を上回る、前記第１撮像画像の直近の撮像画像である
請求項５の画像処理装置。
【請求項７】
撮像装置が順次に生成する撮像画像から特徴点を抽出する抽出部、
第１撮像画像から抽出された特徴点の個数が閾値を上回るか否かを判定する判定部、
前記第１撮像画像から抽出された特徴点の個数が前記閾値を上回る場合に、複数の候補画像のうち前記第１撮像画像に対応する候補画像を特定する特定部、および、
前記第１撮像画像から抽出された特徴点の個数が前記閾値を下回る場合に、前記第１撮像画像よりも過去に生成された第２撮像画像に対する前記第１撮像画像の位置を特定する解析部
としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽譜または書籍等の書面を撮像した画像を解析する技術に関する。
【背景技術】
【０００２】
利用者の所望の楽曲を検索する技術が従来から提案されている。例えば特許文献１には、利用者が順次に指定した音符の時系列を含む楽曲を複数の候補から検索する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−１１０９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数頁で構成される楽譜を撮像装置により撮像した画像（以下「撮像画像」という）を、当該楽譜内の相異なるページを表す複数の候補画像の各々と対比することで、楽譜内における撮像画像の位置（例えば頁番号）を特定することが可能である。しかし、撮像装置による撮影倍率が充分に高い状態（例えば撮像装置が楽譜の紙面に充分に接近した状態）では、撮像画像と候補画像とを適切に対比することが阻害される。したがって、楽譜内における撮像画像の位置を高精度に推定することは困難である。なお、以上の説明では、楽譜を撮像した撮像画像を例示したが、例えば小説等の文書を撮像した画像を解析する場合にも同様の問題が発生し得る。以上の事情を考慮して、本発明の好適な態様は、楽譜等の文書内における撮像画像の位置を適切に特定することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る画像処理方法は、撮像装置が順次に生成する撮像画像から特徴点を抽出し、第１撮像画像から抽出された特徴点の個数が閾値を上回るか否かを判定し、前記第１撮像画像から抽出された特徴点の個数が前記閾値を上回る場合に、複数の候補画像のうち前記第１撮像画像に対応する候補画像を特定し、前記第１撮像画像から抽出された特徴点の個数が前記閾値を下回る場合に、前記第１撮像画像よりも過去に生成された第２撮像画像に対する前記第１撮像画像の位置を特定する。
【０００６】
本発明の好適な態様に係る画像処理装置は、撮像装置が順次に生成する撮像画像から特徴点を抽出する抽出部と、第１撮像画像から抽出された特徴点の個数が閾値を上回るか否かを判定する判定部と、前記第１撮像画像から抽出された特徴点の個数が前記閾値を上回る場合に、複数の候補画像のうち前記第１撮像画像に対応する候補画像を特定する特定部と、前記第１撮像画像から抽出された特徴点の個数が前記閾値を下回る場合に、前記第１撮像画像よりも過去に生成された第２撮像画像に対する前記第１撮像画像の位置を特定する解析部とを具備する。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】撮像装置の撮影倍率と撮像画像の範囲との関係を例示する模式図である。
【図３】特徴点の個数が閾値を上回る場合における表示装置の表示例である。
【図４】特徴点の個数が閾値を上回る場合における表示装置の表示例である。
【図５】制御装置が実行する処理の具体的な手順を例示するフローチャートである。
【図６】楽譜を構成する譜表の説明図である。
【図７】解析データの説明図である。
【図８】第２実施形態における画像解析処理のフローチャートである。
【発明を実施するための形態】
【０００８】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る画像処理装置１００の構成を例示するブロック図である。図１に例示される通り、第１実施形態の画像処理装置１００は、制御装置１１と記憶装置１２と撮像装置１３と表示装置１４とを具備するコンピュータシステムで実現される。例えば携帯電話機もしくはスマートフォン等の可搬型の情報端末、またはパーソナルコンピュータ等の可搬型または据置型の情報端末が、画像処理装置１００として好適に利用され得る。
【０００９】
撮像装置１３は、被写体を撮像した画像（以下「撮像画像」という）を生成する画像入力機器である。具体的には、撮像装置１３は、撮影レンズ等の光学系の画角に応じた撮像範囲内の被写体を撮像する撮像素子を具備する。撮像画像は、任意の形式の画像データで表現される。第１実施形態の撮像装置１３は、撮像画像を所定の周期で順次に生成する。すなわち、複数の撮像画像の時系列で構成される動画像が生成される。なお、第１実施形態では撮像装置１３が画像処理装置１００に搭載された構成を例示するが、画像処理装置１００とは別体の撮像装置１３を画像処理装置１００に有線または無線で接続してもよい。すなわち、画像処理装置１００から撮像装置１３を省略してもよい。
【００１０】
利用者は、撮像装置１３を利用して任意の楽曲の楽譜を撮像する。利用者は、撮像装置１３を楽譜の紙面に対して任意に接近または離間させることが可能である。すなわち、図２に例示される通り、楽譜のうち撮像画像が表す範囲は経時的に変化する。図２においては、撮像装置１３を楽譜の紙面に対して徐々に接近させる過程で撮像装置１３が順次に生成する撮像画像の時系列が、図面の左方から右方に向けて配列されている。図２に例示される通り、撮像装置１３が楽譜の紙面に接近するほど、撮影倍率が増加して楽譜内の撮像範囲は縮小する。なお、撮像装置１３の撮影倍率は、撮影レンズ等の光学系を操作することで光学的に調整することも可能である。また、撮像画像の画像データに対する画像処理により撮影倍率を電子的に調整してもよい。
【００１１】
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、画像処理装置１００の各要素を統括的に制御する。第１実施形態の制御装置１１は、撮像装置１３が順次に生成する撮像画像を解析することで楽譜情報と頁番号とを特定する。楽譜情報は、撮像画像が表す楽譜を識別するための情報である。例えば楽譜が表す楽曲の名称、または楽譜に一意に付与された識別番号が、楽譜情報として利用される。頁番号は、楽譜を構成する複数頁のうち撮像画像が表す頁の番号である。すなわち、頁番号は、楽譜内において撮像画像が表す部分の位置を表す。
【００１２】
記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として任意に採用され得る。
【００１３】
第１実施形態の記憶装置１２は、事前に用意された複数の画像（以下「候補画像」という）の各々について参照データＲを記憶する。複数の候補画像の各々は、楽譜情報と頁番号とが既知である楽譜の１頁分を表す画像である。相異なる候補画像に対応する複数の参照データＲが複数の楽曲の各々について記憶装置１２に記憶される。任意の１個の候補画像に対応する参照データＲは、当該候補画像を表す画像データＣと、当該候補画像に関する付属データＤとを含んで構成される。各候補画像の付属データＤは、当該候補画像が表す楽譜の楽譜情報と頁番号とを指定する。
【００１４】
表示装置１４は、制御装置１１による制御のもとで各種の画像を表示する。例えば液晶表示パネルまたは有機ＥＬ（Electroluminescence）表示パネルが表示装置１４として好適に利用される。第１実施形態の表示装置１４は、図３に例示される通り、撮像装置１３が順次に生成する撮像画像を、撮像装置１３による撮像に並行して実時間的に表示する。すなわち、撮像画像のライブビュー表示が実行される。また、表示装置１４は、撮像画像とともに情報領域Ｑを表示する。情報領域Ｑは、撮像画像が表す楽譜の楽譜情報（Book）と、当該撮像画像に対応する頁番号（Page）とを含む。
【００１５】
記憶装置１２に参照データＲが記憶された複数の候補画像のうち、撮像画像に対応する１個の候補画像の付属データＤが表す楽譜情報および頁番号が、情報領域Ｑに表示される。撮像画像に対応する候補画像とは、例えば撮像画像に類似する部分を含む候補画像である。利用者は、表示装置１４の情報領域Ｑを視認することで、撮像装置１３が現に撮像している楽譜の楽譜情報と頁番号とを把握できる。
【００１６】
図１に例示される通り、第１実施形態の制御装置１１は、撮像装置１３が順次に生成する撮像画像を解析するための複数の機能（抽出部２１，特定部２２，判定部２３，解析部２４，表示制御部２５）を実現する。なお、制御装置１１の機能を複数の装置の集合（すなわちシステム）で実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。
【００１７】
抽出部２１は、撮像装置１３が順次に生成する撮像画像から複数の特徴点を抽出する。特徴点は、撮像画像内の特徴的な地点である。特徴点の抽出は、撮像画像毎に順次に実行される。特徴点の抽出には、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、ＫＡＺＥ（KAZE Features）、またはＡＫＡＺＥ（Accelerated KAZE）等の公知の画像解析技術が任意に採用される。各撮像画像から抽出される特徴点の個数Ｎは撮像画像毎に相違する。具体的には、図２に例示される通り、撮像装置１３の撮影倍率が増加するほど（すなわち、楽譜内の撮像範囲が縮小するほど）、特徴点の個数Ｎは減少するという傾向がある。
【００１８】
図１の特定部２２は、複数の候補画像のうち撮像画像に対応する候補画像を特定する。具体的には、特定部２２は、複数の候補画像の各々について当該候補画像と撮像画像とを対比することで類似指標を算定し、複数の候補画像のうち類似指標が最大となる候補画像を特定する。類似指標は、候補画像と撮像画像との類似の度合を示す指標である。例えば、候補画像の特徴点の分布と撮像画像の特徴点の分布との類似の度合を示す類似指標が算定される。候補画像と撮像画像との対比には公知の画像処理技術が任意に採用される。撮像画像に対応する候補画像（例えば撮像画像に類似する部分を含む候補画像）が特定されることで、当該候補画像の付属データＤが指定する楽譜情報および頁番号が、当該撮像画像の楽譜情報および頁番号として特定される。以上の説明から理解される通り、特定部２２は、撮像画像の楽譜情報および頁番号を特定する要素として機能する。
【００１９】
前述の通り、撮像装置１３の撮影倍率が増加するほど特徴点の個数Ｎは減少する。特徴点の個数Ｎが少ない状態では、撮像画像と各候補画像とを適切に対比することが困難である。すなわち、撮像画像と候補画像との間の類似の度合を適切に表現する類似指標を算定することが困難となる。以上の事情を考慮して、第１実施形態では、撮像画像の特徴点の個数Ｎに応じて、撮像画像と各候補画像との対比の有無を制御する。
【００２０】
図１の判定部２３は、撮像画像から抽出された特徴点の個数Ｎが所定の閾値Ｎthを上回るか否かを判定する。閾値Ｎthは、候補画像と適切に対比され得る候補画像の特徴点の個数の最小値を上回るように、統計的または実験的に設定される。特定部２２は、撮像画像の特徴点の個数Ｎが閾値Ｎthを上回る場合に、当該撮像画像と各候補画像との対比を実行する。他方、特徴点の個数Ｎが閾値Ｎthを下回る場合、特定部２２は、撮像画像と各候補画像との対比を実行しない。すなわち、撮像画像の楽譜情報および頁番号は特定されない。
【００２１】
解析部２４は、撮像画像から抽出された特徴点の個数Ｎが閾値Ｎthを下回る場合に、特定の基準画像に対する当該撮像画像の位置を特定する。基準画像は、例えば撮像画像よりも過去に撮像装置１３が生成した撮像画像（第２撮像画像の例示）である。具体的には、特徴点の個数Ｎが閾値Ｎthを上回る直近（すなわち最新）の撮像画像が基準画像として利用される。図２に例示される通り、撮影倍率の増加（すなわち楽譜の拡大）により特徴点の個数Ｎが減少するから、特徴点の個数Ｎが閾値Ｎthを下回る撮像画像は、基準画像の一部に相当する。第１実施形態の解析部２４は、基準画像に対する撮像画像の位置を表す位置情報を生成する。位置情報は、基準画像に対する撮像画像の相対的な位置を表す情報であり、例えば相互に直交する２軸が設定された座標平面内の座標で表現される。
【００２２】
表示制御部２５は、表示装置１４に各種の画像を表示させる。第１実施形態の表示制御部２５は、撮像装置１３が順次に生成する撮像画像と当該撮像画像に関する情報領域Ｑとを、撮像装置１３による撮像に並行して表示装置１４に表示させる。具体的には、特徴点の個数Ｎが閾値Ｎthを上回る撮像画像については、図３の例示の通り、各候補画像との対比により特定部２２が特定した楽譜情報と頁番号とを含む参照情報が表示装置１４に表示される。他方、特徴点の個数Ｎが閾値Ｎthを下回る撮像画像については、図４に例示される通り、基準画像について特定された楽譜情報および頁番号と、当該撮像画像について解析部２４が生成した位置情報（具体的にはＸ座標およびＹ座標）とが表示される。したがって、利用者は、撮像装置１３による撮影倍率が充分に高い状態（例えば撮像装置１３が楽譜の紙面に充分に接近した状態）でも、撮像画像の位置を把握することが可能である。
【００２３】
図５は、画像処理装置１００が実行する処理（画像処理方法の例示）の具体的な手順を例示するフローチャートである。撮像装置１３による撮像画像の撮像毎に図５の処理が実行される。図５の処理を開始すると、抽出部２１は、撮像画像（第１撮像画像の例示）から特徴点を抽出する（Ｓa1）。判定部２３は、特徴点の個数Ｎが閾値Ｎthを上回るか否かを判定する（Ｓa2）。
【００２４】
個数Ｎが閾値Ｎthを上回ると判定部２３が判定した場合（Ｓa2：YES）、特定部２２は、複数の候補画像のうち撮像画像に対応する撮像画像を特定する（Ｓa3）。具体的には、特定部２２は、複数の候補画像の各々を撮像画像と対比することで候補画像毎に類似指標を算定し、複数の候補画像のうち類似指標が最大となる候補画像を特定する。表示制御部２５は、撮像画像に対応する候補画像の付属データＤが指定する楽譜情報および頁番号を、撮像画像の楽譜情報および頁番号として情報領域Ｑに表示する（Ｓa4）。
【００２５】
また、個数Ｎが閾値Ｎthを上回る場合、特定部２２は、記憶装置１２に記憶された基準画像を今回の撮像画像に更新する（Ｓa5）。すなわち、特徴点の個数Ｎが閾値Ｎthを上回る撮像画像が撮像されるたびに基準画像が更新される。以上の説明から理解される通り、特徴点の個数Ｎが閾値Ｎthを上回る最新の撮像画像が基準画像として記憶される。
【００２６】
他方、個数Ｎが閾値Ｎthを下回ると判定部２３が判定した場合（Ｓa2：NO）、解析部２４は、記憶装置１２に記憶された基準画像に対する撮像画像の位置を特定する（Ｓa6）。すなわち、基準画像に対する撮像画像の位置を表す位置情報が生成される。表示制御部２５は、基準画像について特定された楽譜情報および頁番号と、現時点の撮像画像の位置情報とを含む情報領域Ｑを表示装置１４に表示させる（Ｓa7）。なお、個数Ｎが閾値Ｎthと等しい場合には、候補画像の検索（Ｓa3）および位置情報の生成（Ｓa6）の何れを実行してもよい。
【００２７】
以上に説明した通り、第１実施形態では、撮像画像から抽出された特徴点の個数Ｎが閾値Ｎthを上回る場合、すなわち撮像画像と各候補画像とを適切に対比できる場合には、複数の候補画像のうち撮像画像に対応する候補画像が特定される。他方、撮像画像から抽出された特徴点の個数Ｎが閾値Ｎthを下回る場合、すなわち、撮像装置１３の撮像倍率が充分に高いため撮像画像と各候補画像とを適切に対比できない場合には、撮像画像よりも過去に生成された基準画像に対する当該撮像画像の位置が特定される。したがって、撮像画像の位置を利用者が適切に把握できる。
【００２８】
また、特徴点の個数Ｎが閾値Ｎthを上回る撮像画像、すなわち各候補画像と適切に対比され得る過去の撮像画像を基準画像として、当該基準画像に対する撮像画像の位置が特定される。したがって、楽譜内における撮像画像の位置を利用者が適切に把握できるという利点がある。第１実施形態では特に、特徴点の個数Ｎが閾値Ｎthを上回る直近の撮像画像が基準画像として利用される。したがって、撮像画像が生成された時点と基準画像が生成された時点とが時間軸上で乖離する構成と比較して、楽譜内における撮像画像の位置を適切に特定できるという利点がある。
【００２９】
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００３０】
撮像装置１３により撮像される楽譜は、複数頁で構成される。図６に例示される通り、楽譜の各頁は、相互に間隔をあけて縦方向に並列された複数の譜表Ｆを含む。複数の譜表Ｆの各々は、相異なる音高を表す横方向の複数の直線で構成される。具体的には、各譜表Ｆは、５本の直線で構成される五線譜である。ト音記号またはへ音記号等の音部記号と音符または休符等の符号とを含む複数の楽譜要素が、複数の譜表Ｆの各々に対して配置される。
【００３１】
図７は、第２実施形態における候補画像の画像データＣを説明するための模式図である。図７には、候補画像から抽出された複数の特徴点Ｐaと、当該候補画像の譜表Ｆを構成する複数の直線Ｌに沿う基準線Ｌrefとが図示されている。図７の射影点Ｐbは、１個の特徴点Ｐaを基準線Ｌrefに射影（詳細には正射影）した地点である。すなわち、射影点Ｐbは、１個の特徴点Ｐaを通過する基準線Ｌrefの垂線と当該基準線Ｌrefとの交点（垂線の足）である。第２実施形態における各候補画像の画像データＣは、候補画像の相異なる譜表Ｆに対応する複数の解析データＺを含んで構成される。候補画像内の任意の１個の譜表Ｆに対応する解析データＺは、当該譜表Ｆに対応する基準線Ｌrefに対して候補画像の複数の特徴点Ｐaをそれぞれ射影した複数の射影点Ｐbの集合を表すベクトルデータである。
【００３２】
第２実施形態の特定部２２は、撮像装置１３が撮像した撮像画像を解析することで解析データＺを生成し、相異なる候補画像について記憶装置１２に記憶された複数の解析データＺの各々と撮像画像の解析データＺとを相互に対比することで、撮像画像に対応する候補画像を特定する。
【００３３】
図８は、第２実施形態の制御装置１１が撮像画像に対応する候補画像を特定する処理（以下「画像解析処理」という）の具体的な手順を例示するフローチャートである。図５のステップＳa3において図８の画像解析処理が実行される。画像解析処理を開始すると、特定部２２は、撮像画像の解析により解析データＺを生成する（Ｓb1〜Ｓb4）。
【００３４】
特定部２２は、撮像画像について基準線Ｌrefを設定する（Ｓb1）。具体的には、特定部２２は、譜表Ｆを構成する各直線Ｌを撮像画像から抽出し、複数の直線Ｌに平行な基準線Ｌrefを設定する。例えば、特定部２２は、撮像画像から抽出された横方向の複数の直線Ｌを譜表Ｆ毎に区分（クラスタリング）し、縦方向における譜表Ｆの中点を通過するとともに当該譜表Ｆの各直線Ｌに沿って横方向に延在する基準線Ｌrefを設定する。
【００３５】
特定部２２は、撮像画像からステップＳa1で抽出した複数の特徴点Ｐaを譜表Ｆ毎に複数の集合（クラスタ）に区分する（Ｓb2）。複数の特徴点Ｐaの区分には公知のクラスタリング技術が任意に採用される。なお、撮像画像に１個の譜表Ｆのみが含まれる場合には、ステップＳb2の処理を省略してもよい。
【００３６】
特定部２２は、撮像画像に含まれる譜表Ｆ毎に、複数の特徴点Ｐaを基準線Ｌrefに射影することで複数の射影点Ｐbを特定する（Ｓb3）。すなわち、特定部２２は、任意の１個の譜表Ｆの付近から抽出された複数の特徴点Ｐaの各々を基準線Ｌrefに正射影することで、複数の射影点Ｐbを特定する。特定部２２は、以上の処理で特定した複数の射影点Ｐbを表す解析データＺを生成する（Ｓb4）。なお、各候補画像の解析データＺは、以上に例示した処理（Ｓb1〜Ｓb4）を候補画像について実行することで生成されて記憶装置１２に格納される。
【００３７】
以上の処理により撮像画像の解析データＺを生成すると、特定部２２は、相異なる候補画像について記憶装置１２に記憶された複数の解析データＺの各々と、撮像画像の解析データＺとを相互に対比することで、撮像画像に対応する候補画像を特定する（Ｓc1〜Ｓc4）。具体的な処理の手順は以下の通りである。
【００３８】
特定部２２は、複数の候補画像の何れかを選択し（Ｓc1）、当該候補画像の解析データＺと撮像画像の解析データＺとの間で類似指標を算定する（Ｓc2）。例えば、候補画像の解析データＺと撮像画像の解析データＺとの間の距離または相関を示す任意の指標が類似指標として好適である。以下の説明では、候補画像の解析データＺと撮像画像の解析データＺとが類似するほど類似指標が大きい数値となる場合を想定する。
【００３９】
特定部２２は、全部の候補画像について撮像画像との間の類似指標を算定したか否かを判定する（Ｓc3）。類似指標を算定していない候補画像がある場合（Ｓc3：NO）、特定部２２は、未選択の候補画像を新たに選択したうえで、当該候補画像の解析データＺと撮像画像の解析データＺとの類似指標を算定する（Ｓc2）。
【００４０】
以上に例示した処理が反復されることで全部の候補画像について類似指標を算定すると（Ｓc3：YES）、特定部２２は、複数の候補画像のうち類似指標が最大となる候補画像を特定する（Ｓc4）。すなわち、複数の候補画像のうち撮像画像に対応する候補画像が特定される。画像解析処理の具体的な手順は以上の通りである。
【００４１】
第２実施形態においても第１実施形態と同様の効果が実現される。第２実施形態では、撮像画像から抽出された複数の特徴点Ｐaを基準線Ｌrefに射影した結果を表す解析データＺが、相異なる候補画像に対応する複数の解析データＺの各々と対比される。したがって、撮像画像に対応する候補画像を高精度に特定できる。また、撮像画像に含まれる直線Ｌに対応した基準線Ｌrefが設定されるから、例えば利用者が基準線Ｌrefを設定する必要がないという利点もある。ただし、利用者が基準線Ｌrefを指定してもよい。なお、撮像画像に対応する候補画像を特定する方法は、第２実施形態の画像解析処理に限定されない。
【００４２】
＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
【００４３】
（１）前述の各形態では、特徴点の個数Ｎが閾値Ｎthを上回る直近の撮像画像を基準画像として利用したが、基準画像は以上の例示に限定されない。例えば、画像処理装置１００の入力装置（図示略）に対して利用者が所定の操作を付与した時点で撮像装置１３が撮像した撮像画像を基準画像として利用してもよい。
【００４４】
（２）例えばインターネット等の通信網を介して端末装置（例えば携帯電話機またはスマートフォン）と通信するサーバ装置により画像処理装置１００を実現してもよい。例えば、画像処理装置１００は、撮像画像を端末装置から受信し、当該撮像画像の解析により特定された位置情報を端末装置に送信する。
【００４５】
（３）前述の各形態では、撮像装置１３が楽譜を撮像する場合を例示したが、撮像画像が表す被写体は楽譜に限定されない。例えば、書籍等の文書を撮像した撮像画像から候補画像（例えば文書の１頁分）を特定するために、本発明を適用してもよい。以上の説明から理解される通り、本発明の好適な態様は、平面状に形成された被写体（例えば楽譜または文書）を撮像した撮像画像を解析することで、複数の候補画像のうち当該撮像画像に対応する候補画像を特定する画像処理方法である。
【００４６】
（４）前述の各形態に係る画像処理装置１００は、各形態の例示の通り、制御装置１１とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。
【００４７】
（５）以上に例示した形態から、例えば以下の構成が把握される。
【００４８】
本発明の好適な態様（第１態様）に係る画像処理方法は、撮像装置が順次に生成する撮像画像から特徴点を抽出し、第１撮像画像から抽出された特徴点の個数が閾値を上回るか否かを判定し、前記第１撮像画像から抽出された特徴点の個数が前記閾値を上回る場合に、複数の候補画像のうち前記第１撮像画像に対応する候補画像を特定し、前記第１撮像画像から抽出された特徴点の個数が前記閾値を下回る場合に、前記第１撮像画像よりも過去に生成された第２撮像画像に対する前記第１撮像画像の位置を特定する。以上の態様では、第１撮像画像から抽出された特徴点の個数が閾値を上回る場合、すなわち、例えば第１撮像画像と各候補画像とを適切に対比できる場合には、複数の候補画像のうち第１撮像画像に対応する候補画像が特定される。他方、第１撮像画像から抽出された特徴点の個数が閾値を下回る場合、すなわち、例えば撮像装置が被写体に充分に近接しているため第１撮像画像と各候補画像とを適切に対比できない場合には、第１撮像画像よりも過去に生成された第２撮像画像に対する第１撮像画像の位置が特定される。したがって、楽譜等の文書内における撮像画像の位置を適切に特定できる。
【００４９】
第１態様の好適例において、前記第２撮像画像は、前記特徴点の個数が前記閾値を上回る撮像画像である。以上の態様では、閾値を上回る個数の特徴点が抽出された第２撮像画像、すなわち候補画像と適切に対比され得る過去の撮像画像に対する第１撮像画像の位置が特定される。したがって、楽譜等の文書内における撮像画像の位置を適切に特定できる。
【００５０】
第２態様の好適例において、前記第２撮像画像は、前記特徴点の個数が前記閾値を上回る、前記第１撮像画像の直近の撮像画像である。以上の態様では、閾値を上回る個数の特徴点が抽出され、かつ、第１撮像画像の直近に位置する過去の撮像画像を第２撮像画像として、当該第２撮像画像に対する第１撮像画像の位置が特定される。したがって、第１撮像画像が生成された時点と第２撮像画像が生成された時点とが時間軸上で乖離する構成と比較して、楽譜等の文書内における撮像画像の位置を適切に特定できる。
【００５１】
以上に例示した各態様の画像処理方法を実行する画像処理装置、または、以上に例示した各態様の画像処理方法をコンピュータに実行させるプログラムとしても、本発明の好適な態様は実現される。
【００５２】
１００…画像処理装置、１１…制御装置、１２…記憶装置、１３…撮像装置、１４…表示装置、２１…抽出部、２２…特定部、２３…判定部、２４…解析部、２５…表示制御部、Ｆ…譜表、Ｌref…基準線、Ｐa…特徴点、Ｐb…射影点。
【図１】
2019207614.tif 000003
【図２】
2019207614.tif 000004
【図３】
2019207614.tif 000005
【図４】
2019207614.tif 000006
【図５】
2019207614.tif 000007
【図６】
2019207614.tif 000008
【図７】
2019207614.tif 000009
【図８】
2019207614.tif 000010