(57)【特許請求の範囲】
【請求項１】
撮影装置が楽譜の撮影で順次に生成する各楽譜画像の歪みを前記撮影装置による撮影に並行して順次に補正して補正画像を生成する補正処理部と、
前記楽譜画像と前記補正画像とを表示装置に表示させ、前記撮影装置による撮影に並行して前記楽譜画像および前記補正画像の表示を順次に更新する表示制御部と
を具備する画像補正装置。
【請求項２】
前記補正処理部は、
前記楽譜画像から複数の線分を検出する線分検出部と、
前記楽譜の表面形状を近似する形状近似線を、前記線分検出部が検出した前記複数の線分から特定する形状特定部と、
前記形状特定部が特定した形状近似線を利用した前記楽譜画像の補正により前記補正画像を生成する画像補正部とを含む
請求項１の画像補正装置。
【請求項３】
前記表示制御部は、前記楽譜画像と前記補正画像とを相異なる領域に表示させる
請求項１または請求項２の画像補正装置。
【請求項４】
前記撮影装置の撮影方向の適否の指標である姿勢指標を、前記撮影装置による撮影に並行して順次に算定する指標算定部を具備し、
前記表示制御部は、前記指標算定部が算定した姿勢指標が所定の条件を充足する場合に前記補正画像を強調表示させる
請求項１から請求項３の何れかの画像補正装置。
【請求項５】
前記指標算定部は、
相互に並列に配置された複数の譜表と前記各譜表に対して所定の位置に配置された楽譜記号とを含む楽譜を撮影した前記楽譜画像から複数の楽譜記号を検出する記号検出部と、
前記記号検出部が検出した前記複数の楽譜記号の配列である楽譜記号列に前記楽譜記号の位置で交差する段領域内の前記譜表の割合に応じた第１指標と、前記楽譜記号列の角度に応じた第２指標とを利用して前記姿勢指標を算定する解析処理部とを含む
請求項４の画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽譜を撮影した画像を補正する技術に関する。
【背景技術】
【０００２】
各種の情報が記載された書籍や印刷物等の書類を撮影した画像では、書類の表面の変形（典型的には湾曲）に起因して紙面の表記に歪みが発生し得る。特許文献１には、撮影範囲内の複数点で書籍の表面との距離を測距装置により測定し、書籍の表面の変形に起因した表記の歪みを測距結果に応じて補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−９３７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術では、撮影画像の歪みが補正されるとともに補正後の画像が表示されるに過ぎず、補正前の画像と比較した場合の補正の効果を利用者が容易には確認できないという問題がある。以上の事情を考慮して、本発明は、撮影装置が撮影した画像に対する補正の効果を利用者が容易に確認できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る画像補正装置は、撮影装置が楽譜の撮影で順次に生成する各楽譜画像の歪みを撮影装置による撮影に並行して順次に補正して補正画像を生成する補正処理部と、楽譜画像と補正画像とを表示装置に表示させ、撮影装置による撮影に並行して楽譜画像および補正画像の表示を順次に更新する表示制御部とを具備する。以上の構成によれば、楽譜画像と当該楽譜画像の歪みを補正した補正画像とが表示装置に表示され、撮影装置による撮影に並行して楽譜画像および補正画像の表示が実時間的に更新される。したがって、楽譜画像と補正画像との対比により、楽譜画像に対する補正の効果を楽譜の撮影に並行して利用者が容易に確認できるという利点がある。
【０００６】
本発明の好適な態様において、補正処理部は、楽譜画像から複数の線分を検出する線分検出部と、楽譜の表面形状を近似する形状近似線を、線分検出部が検出した複数の線分から特定する形状特定部と、形状特定部が特定した形状近似線を利用した楽譜画像の補正により補正画像を生成する画像補正部とを含む。以上の態様では、楽譜画像から検出された複数の線分の分布に応じた形状近似線が特定され、当該形状近似線を利用して楽譜画像が補正される。したがって、例えば書籍の表面との距離を複数点で測距する構成が必須である特許文献１の技術と比較して、楽譜表面の変形に起因した画像の歪みを簡便な構成および処理で補正できるという利点がある。
【０００７】
本発明の好適な態様において、表示制御部は、楽譜画像と補正画像とを相異なる領域に表示させる。以上の態様では、楽譜画像と補正画像とが相異なる領域に表示されるから、利用者が楽譜画像と補正画像とを容易に対比できるという利点がある。
【０００８】
本発明の好適な態様において、撮影装置の撮影方向の適否の指標である姿勢指標を、撮影装置による撮影に並行して順次に算定する指標算定部を具備し、表示制御部は、指標算定部が算定した姿勢指標が所定の条件を充足する場合に補正画像を強調表示させる。以上の態様では、撮影装置の撮影方向の適否の指標である姿勢指標が所定の条件を充足する場合に補正画像が強調表示されるから、撮影方向の適否を利用者が直観的に把握できるという利点がある。
【０００９】
本発明の好適な態様において、指標算定部は、相互に並列に配置された複数の譜表と各譜表に対して所定の位置に配置された楽譜記号とを含む楽譜を撮影した楽譜画像から複数の楽譜記号を検出する記号検出部と、記号検出部が検出した複数の楽譜記号の配列である楽譜記号列に楽譜記号の位置で交差する段領域内の譜表の割合に応じた第１指標と、楽譜記号列の角度に応じた第２指標とを利用して姿勢指標を算定する解析処理部とを含む。以上の態様では、複数の楽譜記号の配列である楽譜記号列に楽譜記号の位置で交差する段領域内の譜表の割合に応じた第１指標と、当該楽譜記号列の角度に応じた第２指標とに応じた姿勢指標が算定される。したがって、楽譜の法線方向に対する撮影装置の傾斜方向と楽譜の法線を軸線とした撮影装置の回転方向との適否を定量的に評価可能な姿勢指標を算定することが可能である。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る画像補正装置の構成図である。
【図２】楽譜画像の説明図である。
【図３】補正確認画面の模式図である。
【図４】補正処理部の構成図である。
【図５】線分検出処理のフローチャートである。
【図６】線分検出処理の説明図である。
【図７】線分検出処理の説明図である。
【図８】形状近似線を特定する処理の説明図である。
【図９】撮影画像を補正する処理の説明図である。
【図１０】楽譜画像処理のフローチャートである。
【図１１】複数の線分の偏在による問題の説明図である。
【図１２】第２実施形態の形状特定部が形状近似線を特定する処理の説明図である。
【図１３】第２実施形態における形状近似線を特定する処理のフローチャートである。
【図１４】調整値の説明図である。
【図１５】第３実施形態に係る画像補正装置の構成図である。
【図１６】第３実施形態における補正確認画面の模式図である。
【図１７】第３実施形態における指標算定部の構成図である。
【図１８】第３実施形態における第１指標の算定の説明図である。
【図１９】第３実施形態における解析処理のフローチャートである。
【図２０】変形例における線分検出処理のフローチャートである。
【発明を実施するための形態】
【００１１】
＜第１実施形態＞
図１は、第１実施形態に係る画像補正装置１００の構成図である。図１に例示される通り、第１実施形態の画像補正装置１００は、撮影装置１２と制御装置１４と記憶装置１６と表示装置１８とを具備するコンピュータシステムで実現される。例えば携帯電話機またはスマートフォン等の可搬型の情報処理装置、あるいはパーソナルコンピュータ等の可搬型または据置型の情報処理装置が画像補正装置１００として利用され得る。また、静止画や動画像の撮影に専用される撮影機器（例えばデジタルカメラやデジタルカムコーダ等）で画像補正装置１００を実現することも可能である。
【００１２】
撮影装置１２は、画像を撮影するための画像入力装置であり、被写体からの入射光を電気信号に変換する撮像素子を含んで構成される。第１実施形態の撮影装置１２は、楽曲の内容を表記した楽譜の動画像を撮影し、動画像を構成する複数の画像（以下「楽譜画像」という）ＧAを順次に生成および出力する。なお、第１実施形態では撮影装置１２が画像補正装置１００に搭載された構成を例示するが、画像補正装置１００とは別体の撮影装置１２を画像補正装置１００に有線または無線で接続することも可能である。また、楽譜画像ＧAを表す画像データの形式は任意である。
【００１３】
図２は、楽譜画像ＧAの模式図である。図２に例示される通り、撮影装置１２が撮影する楽譜は、相互に間隔をあけて縦方向に並列に配置された複数の譜表５４（図２の例示では五線譜）を包含する。複数の譜表５４の各々は、相異なる音高を表象する横方向の複数の直線で構成される。複数の譜表５４の各々に対して所定の位置（例えば左端付近）にト音記号やヘ音記号等の楽譜記号（音部記号）５２が配置され、楽曲を表現する音符や休符や変化記号等の符号は各譜表５４の任意の位置に配置される。
【００１４】
図２に例示される通り、撮影装置１２が撮影した楽譜画像ＧAの楽譜には、楽譜表面の変形（例えば湾曲）に起因した歪みが発生し得る。図２では、撮影対象の楽譜のうち横方向の途中の部分が縦方向の全域にわたり手前側に凸となるように曲面状に湾曲した状態が例示されている。画像補正装置１００は、撮影装置１２が順次に生成する各楽譜画像ＧAの歪みを補正した画像（以下「補正画像」という）ＧBを、撮影装置１２による撮影に並行して順次に生成する画像処理装置である。すなわち、楽譜画像ＧAと比較して楽譜の歪みが低減（理想的には解消）された補正画像ＧBが生成される。
【００１５】
図１の表示装置１８（例えば液晶表示パネル）は、制御装置１４が指示した画像を表示する。具体的には、撮影装置１２が生成した補正前の楽譜画像ＧAと、楽譜の歪みが補正された補正画像ＧBとが表示装置１８に表示される。記憶装置１６は、磁気記録媒体や半導体記録媒体等の公知の記録媒体または複数種の記録媒体の組合せで構成され、制御装置１４が実行するプログラムや制御装置１４が使用する各種のデータを記憶する。
【００１６】
制御装置１４は、例えばＣＰＵ（Central Processing Unit）等の演算処理装置で構成され、記憶装置１６に記憶されたプログラムを実行することで、図１に例示される通り、楽譜画像ＧAを補正画像ＧBに補正して表示装置１８に表示させるための複数の機能（補正処理部２０，表示制御部３０）を実現する。なお、制御装置１４の一部の機能を画像処理の専用の電子回路で実現した構成や、制御装置１４の機能を複数の装置に分散した構成も採用され得る。
【００１７】
補正処理部２０は、撮影装置１２が楽譜の撮影で順次に生成する各楽譜画像ＧAを順次に補正して補正画像ＧBを生成する。補正処理部２０による補正画像ＧBの生成（楽譜画像ＧAの補正）は、撮影装置１２による楽譜の撮影に並行して順次に実行される。具体的には、撮影装置１２による楽譜画像ＧAの生成毎に、当該楽譜画像ＧAの補正による補正画像ＧBの生成が逐次的（すなわち実時間的）に実行される。なお、撮影装置１２が時系列に生成する複数の画像から例えば所定の周期で選択（キャプチャ）された各画像を楽譜画像ＧAとして補正処理部２０が補正することも可能である。
【００１８】
表示制御部３０は、表示装置１８に画像を表示させる。第１実施形態の表示制御部３０は、撮影装置１２が撮影した楽譜画像ＧAと補正処理部２０が生成した補正画像ＧBとを表示装置１８に表示させる。第１実施形態では、補正処理部２０による補正前の楽譜画像ＧAと補正後の補正画像ＧBとが表示装置１８に並列（すなわち同時）に表示される。図３は、第１実施形態の表示制御部３０が表示装置１８に表示させる画像（以下「補正確認画面」という）３２の模式図である。図３に例示される通り、補正確認画面３２は、第１領域３４Aおよび第２領域３４Bを包含する。表示制御部３０は、楽譜画像ＧAを第１領域３４Aに表示させるとともに補正画像ＧBを第２領域３４Bに表示させる。すなわち、第１実施形態の表示制御部３０は、楽譜画像ＧAと補正画像ＧBとを相異なる領域に表示させる。
【００１９】
表示制御部３０は、楽譜画像ＧAおよび補正画像ＧBの表示を撮影装置１２による撮影に並行して順次に更新する。具体的には、第１領域３４Aに表示される楽譜画像ＧAは、撮影装置１２による楽譜画像ＧAの生成毎に最新の楽譜画像ＧAに順次に更新され、第２領域３４Bに表示される補正画像ＧBは、補正処理部２０による補正画像ＧBの生成毎（したがって、撮影装置１２による楽譜画像ＧAの生成毎）に最新の補正画像ＧBに順次に更新される。すなわち、表示装置１８による楽譜画像ＧAおよび補正画像ＧBの表示は、撮影装置１２による楽譜の撮影に並行して実時間的に順次に更新される。
【００２０】
以上の説明から理解される通り、第１実施形態では、楽譜画像ＧAと当該楽譜画像ＧAの歪みを補正した補正画像ＧBとが表示装置１８に表示され、撮影装置１２による撮影に並行して楽譜画像ＧAおよび補正画像ＧBの表示が実時間的に更新される。したがって、楽譜画像ＧAと補正画像ＧBとを相互に対比することで、利用者は、楽譜画像ＧAに対する補正の効果（楽譜画像ＧAと補正画像ＧBとの相違）を楽譜の撮影に並行して容易に確認することが可能である。そして、利用者は、表示装置１８の表示を確認しながら、適切な補正画像ＧBが生成されるように撮影装置１２の姿勢（位置や角度）を随時に調整することが可能である。
【００２１】
＜補正処理部２０＞
図４は、補正処理部２０の構成図である。図４に例示される通り、第１実施形態の補正処理部２０は、線分検出部２２と形状特定部２４と画像補正部２６とを包含する。前述の通り、補正処理部２０による補正画像ＧBの生成は、撮影装置１２による撮影に並行して楽譜画像ＧA毎に順次に実行されるが、以下の説明では便宜的に１個の楽譜画像ＧAに着目する。
【００２２】
図４の線分検出部２２は、撮影装置１２が生成した楽譜画像ＧAから、楽譜に対応する複数の線分Ｌを検出する。線分検出部２２による線分Ｌの検出には、例えば確率的ハフ変換等の公知の特徴抽出（直線検出）が任意に採用される。
【００２３】
図５は、線分検出部２２が楽譜画像ＧAから複数の線分Ｌを検出する処理（以下「線分検出処理」という）のフローチャートであり、図６および図７は、線分検出処理の説明図である。例えば撮影装置１２による楽譜画像ＧAの生成毎に図５の線分検出処理が開始される。
【００２４】
線分検出処理を開始すると、線分検出部２２は、楽譜画像ＧAから複数の線分Ｌを検出する（ＳA11）。図６に例示される通り、楽譜画像ＧAの楽譜内の各譜表５４を構成する多数の線分Ｌが検出される。実際には各音符の譜幹および譜尾や小節線等の直線部分も検出されるが、各譜表５４を構成する線分Ｌが多数である。線分検出部２２は、楽譜画像ＧAから検出した複数の線分Ｌを譜表５４毎に分類する（ＳA12）。複数の線分Ｌを分類する方法は任意であるが、各譜表５４に対して所定の位置に配置された楽譜記号５２を利用して複数の線分Ｌを譜表５４毎に分類する方法が好適である。具体的には、線分検出部２２は、楽譜画像ＧAに対する公知の画像認識で複数の楽譜記号５２（ト音記号およびヘ音記号）を認識し、楽譜画像ＧAから検出した複数の線分Ｌを公知のクラスタリング技術（例えばk-means法）で楽譜記号５２と同数の集合（クラスタ）に分類する。楽譜記号５２は基本的に譜表５４毎に配置されるから、分類数を楽譜記号５２と同数に設定することで、楽譜画像ＧAの複数の線分Ｌを譜表５４毎に高精度に分類することが可能である。
【００２５】
線分検出部２２は、楽譜画像ＧAの楽譜内で縦方向に相互に隣合う２段の譜表５４の組に対応する複数の領域（以下「単位領域」という）Ｕを画定する（ＳA13）。第１実施形態の単位領域Ｕは、図６に例示される通り、ト音記号が配置された譜表５４Aとへ音記号が配置された譜表５４Bとの２段を相互に間隔をあけて縦方向に並列した大譜表に相当する領域である。以上の説明から理解される通り、第１実施形態の線分検出部２２は、楽譜画像ＧA内の複数の単位領域Ｕの各々に包含される複数の線分Ｌを検出する。
【００２６】
線分検出部２２は、図７に例示される通り、相互に直交するｘ軸とｙ軸とを各単位領域Ｕ内に設定する（ＳA14）。ｙ軸は、楽譜画像ＧAの縦方向に平行な軸線であり、ｘ軸は、楽譜画像ＧAの横方向に平行な軸線である。図７に例示される通り、単位領域Ｕのうち左端に位置するｙ軸に平行な縁辺における中点が、ｘ軸とｙ軸との交差点（すなわち原点）に設定される。したがって、ト音記号が配置された譜表５４Aに対応する線分Ｌの多数はｘ軸からみてｙ軸の正側の領域に分布し、ヘ音記号が配置された譜表５４Bに対応する線分Ｌの多数はｘ軸からみてｙ軸の負側の領域に分布する。すなわち、ト音記号が配置された譜表５４Aの線分Ｌとへ音記号が配置された譜表５４Bの線分Ｌとはｘ軸を挟んで相互に反対側に位置する傾向がある。以上に例示した線分検出処理を線分検出部２２が実行することで、楽譜画像ＧAの複数の単位領域Ｕの各々について（すなわち大譜表毎に）、ｘ-ｙ平面に分布する複数の線分Ｌが特定される。なお、以下の説明では、任意の１個の単位領域ＵにＪ個の線分Ｌが包含される場合を想定する。線分Ｌの総数Ｊは単位領域Ｕ毎に相違し得る。
【００２７】
図４の形状特定部２４は、撮影装置１２が撮影した楽譜の表面形状を近似する形状近似線Ｑを、線分検出部２２が検出した複数の線分Ｌから特定する。形状近似線Ｑは、楽譜内で横方向に延在する１本の直線が湾曲した状態を表象する曲線である。第１実施形態の形状特定部２４は、楽譜画像ＧAの複数の単位領域Ｕの各々について当該単位領域Ｕ内の複数の線分Ｌから形状近似線Ｑを特定する。任意の１個の単位領域Ｕの形状近似線Ｑは、当該単位領域Ｕ内の楽譜の表面形状を近似する。
【００２８】
形状近似線Ｑは、ｘ-ｙ平面内の関数ｆ(x)で表現される。関数ｆ(x)の具体的な形式は任意であるが、例えば三角関数を含む以下の数式(1)の関数ｆ(x)で形状近似線Ｑが表現され得る。なお、数式(1)の変数θk（ｋ＝０,１,２,……）は、所定の範囲内の数値（例えば−１＜θk＜１）に制限される。
【数１】
0006540436.tif 000002
【００２９】
図８は、形状特定部２４が形状近似線Ｑ（関数ｆ(x)）を特定する処理の説明図である。図８は、関数ｆ(x)で表現される形状近似線Ｑと単位領域Ｕ内の任意の１個の線分Ｌとが図示されている。線分Ｌの一方の端点Ｅ1は座標(ｘE1,ｙE1)に位置し、他方の端点Ｅ2は座標(ｘE2,ｙE2)に位置する。
【００３０】
図８に例示される通り、任意の１個の線分Ｌ上の特定の地点（以下「特定点」という）Ｍを通過する直線Ｖが、形状近似線Ｑに交点Ｐで交差する場合を想定する。直線Ｖは、具体的には線分Ｌの垂線である。また、第１実施形態の特定点Ｍは、線分Ｌの中点であり、座標(ｘM,ｙM)に位置する（ｘM＝(ｘE1＋ｘE2)/２，ｙM＝(ｙE1＋ｙE2)/２）。また、直線Ｖと形状近似線Ｑとの交点Ｐは、座標(ｘP,ｆ(xP))に位置する。
【００３１】
第１実施形態の形状特定部２４は、線分Ｌ上の特定点Ｍと形状近似線Ｑ上の交点Ｐとの間の距離Ｄを単位領域Ｕ内のＪ個の線分Ｌについて加算した指標（以下「距離指標」という）Ｚ(x)が最小化されるように形状近似線Ｑ（関数ｆ(x)）を特定する。すなわち、形状特定部２４は、形状近似線Ｑに対する各線分Ｌの隔たり（距離Ｄ）が複数の線分Ｌについて全体的に低減されるように形状近似線Ｑを特定する。具体的には、第１実施形態の形状特定部２４が形状近似線Ｑを特定する処理は、以下の数式(2)および数式(3)で表現される。
【数２】
0006540436.tif 000003
【００３２】
以上の説明から理解される通り、第１実施形態の形状特定部２４は、数式(3)の条件のもとで距離指標Ｚ(x)が最小化されるように交点Ｐの座標（ｘP,ｆ(ｘP)）と関数ｆ(x)の変数θkとを選定することで、形状近似線Ｑを表現する関数ｆ(x)を特定する。数式(2)の右辺の第１項は、Ｊ個の線分Ｌにわたる距離Ｄ（Ｄ＝(ｘP−ｘM)2＋(ｆ(xP)−ｙM)2）の総和であり、第２項は、距離指標Ｚ(x)の最適解の発散を抑制するための正規化項である。また、数式(3)は、図８の線分Ｌと直線Ｖとが直交するという条件を意味する。形状近似線Ｑの特定（数式(2)および数式(3)の演算）には公知の最適化方法が任意に採用され得るが、ラグランジュ（Lagrange）の未定乗数法等の解析的な最適化方法が好適である。
【００３３】
図４の画像補正部２６は、形状特定部２４が特定した形状近似線Ｑ（関数ｆ(x)）を利用して楽譜画像ＧAを補正する。例えば、画像補正部２６は、各単位領域Ｕの形状近似線ＱがＸ軸に平行な直線に変換される（すなわち、各譜表５４の湾曲が解消される）ように楽譜画像ＧAのうち当該単位領域Ｕ内の各画素をｘ-ｙ平面内で移動することで、補正画像ＧBを生成する。具体的には、例えば図９に例示される通り、関数ｆ(x)の関数値（関数ｆ(x)と直線ｙ＝０との差分）に相当する距離だけ楽譜画像ＧAの単位領域Ｕ内の各画素をｙ軸の方向に移動することで補正画像ＧBが生成される。ただし、形状近似線Ｑを利用した楽譜画像ＧAの補正方法は以上の例示に限定されない。
【００３４】
以上に説明した通り、第１実施形態では、楽譜を撮影した楽譜画像ＧAから複数の線分Ｌが検出され、複数の線分Ｌの分布に応じた形状近似線Ｑが特定されて、当該形状近似線Ｑを利用して楽譜画像ＧAが補正される。したがって、書籍との距離を複数点で測距する特許文献１の測距装置を必要とせずに、楽譜表面の変形に起因した楽譜の歪みを簡便な構成および処理で補正することが可能である。
【００３５】
また、第１実施形態では、線分Ｌと形状近似線Ｑとの距離ＤをＪ個の線分Ｌについて加算した距離指標Ｚ(x)が最小化されるように形状近似線Ｑが特定される（すなわち複数の線分Ｌの分布が形状近似線Ｑに反映される）から、楽譜の表面形状を高精度に近似する適切な形状近似線Ｑを特定できるという利点がある。第１実施形態では、相互に隣合う２段の譜表５４（すなわち大譜表）に対応する複数の線分Ｌから形状近似線Ｑが特定されるから、譜表５４の１段分のみから形状近似線Ｑを特定する構成と比較して、楽譜の表面形状を高精度に近似する適切な形状近似線Ｑを特定することが可能である。
【００３６】
図１０は、第１実施形態の画像補正装置１００が楽譜画像ＧAから補正画像ＧBを生成して表示装置１８に表示させる処理（以下「楽譜画像処理」）のフローチャートである。利用者からの指示を契機として、撮影装置１２による動画像の撮影と図１０の楽譜画像処理とが開始される。
【００３７】
撮影装置１２から１個の楽譜画像ＧAが供給されると、制御装置１４（線分検出部２２）は、図５に例示した線分検出処理により、撮影装置１２が撮影した楽譜に対応する複数の線分Ｌを楽譜画像ＧAから検出する（ＳA1）。具体的には、楽譜内の大譜表に対応する複数の単位領域Ｕの各々に包含される複数の線分Ｌが検出される。
【００３８】
制御装置１４は、楽譜画像ＧA内の複数の単位領域Ｕから１個の単位領域（以下「選択単位領域」という）Ｕを選択する（ＳA2）。そして、制御装置１４（形状特定部２４）は、選択単位領域Ｕ内の複数の線分Ｌを利用して、選択単位領域Ｕ内の楽譜の表面形状を近似する形状近似線Ｑ（関数ｆ(x)）を特定する（ＳA3）。また、制御装置１４（画像補正部２６）は、形状特定部２４が選択単位領域Ｕについて特定した形状近似線Ｑを利用して楽譜画像ＧAのうち当該選択単位領域Ｕを補正する（ＳA4）。
【００３９】
制御装置１４は、楽譜画像ＧAの全部の単位領域Ｕについて以上の処理が完了したか否かを判定する（ＳA5）。判定結果が否定である場合（ＳA5：NO）、制御装置１４は、未処理の単位領域Ｕを新たな選択単位領域Ｕとして選択したうえで（ＳA2）、当該選択単位領域Ｕ内の複数の線分Ｌを利用した形状近似線Ｑの特定（ＳA3）と当該形状近似線Ｑを利用した楽譜画像ＧAの補正（ＳA4）とを実行する。すなわち、楽譜画像ＧAの単位領域Ｕ毎（楽譜の大譜表毎）に形状近似線Ｑの特定と楽譜画像ＧAの補正とが順次に実行される。他方、形状近似線Ｑの特定（ＳA3）と楽譜画像ＧAの補正（ＳA4）とを全部の単位領域Ｕについて実行すると（ＳA5：YES）、制御装置１４（表示制御部３０）は、楽譜画像ＧAの各単位領域Ｕを当該単位領域の形状近似線Ｑで補正した補正画像ＧBを補正前の楽譜画像ＧAとともに表示装置１８に表示させる（ＳA6）。具体的には、補正確認画面３２の第１領域３４Aに楽譜画像ＧAが表示されるとともに第２領域３４Bに補正画像ＧBが表示される。
【００４０】
利用者は、任意の時点で撮影の終了を指示することが可能である。利用者が撮影の終了を指示しない場合（ＳA7：NO）、撮影装置１２から直後に供給される楽譜画像ＧAについて、同様にステップＳA1からステップＳA6までの処理が実行される。すなわち、撮影装置１２による撮影に並行して実時間的に（具体的には楽譜画像ＧAの生成毎に）、楽譜画像ＧAを補正した補正画像ＧBの生成（ＳA1〜ＳA5）と、楽譜画像ＧAおよび補正画像ＧBの表示の更新（ＳA6）とが順次に実行される。利用者から撮影の終了が指示された場合（ＳA7：YES）、撮影装置１２による撮影と楽譜画像処理とが終了する。
【００４１】
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００４２】
第１実施形態では、縦方向に相互に隣合う２段の譜表５４に対応する複数の線分Ｌの分布に応じた形状近似線Ｑを特定した。前掲の図７の例示の通り、大譜表のうちト音記号に対応する譜表５４Aとへ音記号に対応する譜表５４Bとについて線分Ｌが均等に検出される場合には、楽譜の表面形状を適切に近似する形状近似線Ｑが譜表５４Aと譜表５４Bとの間に特定される。しかし、線分検出処理による線分Ｌの高精度な検出は実際には困難である。例えば、図１１に例示される通り、単位領域Ｕのうちｘ軸方向の特定の区間ｕ1では、譜表５４Aの線分Ｌは検出されるが譜表５４Bの線分Ｌは適切に検出されず、ｘ軸方向の他の区間ｕ2では、譜表５４Bの線分Ｌは検出されるが譜表５４Aの線分Ｌは適切に検出されないという具合に、線分Ｌの偏在が発生し得る。以上に例示した線分Ｌの偏在が第１実施形態のもとで発生すると、図１１に例示される通り、線分Ｌの局所的な分布が反映されるように形状近似線Ｑが特定され、楽譜の表面形状を適切に近似する形状近似線Ｑ（図１１の鎖線）を特定できない可能性がある。以上の事情を考慮して、第２実施形態では、線分Ｌが譜表５４A側および譜表５４B側の一方に偏在する場合でも、楽譜の表面形状を適切に近似する形状近似線Ｑが特定されるように、距離指標Ｚ(x)を調整する。
【００４３】
図１２は、第２実施形態の形状特定部２４が選択単位領域Ｕの形状近似線Ｑを特定する処理の説明図であり、図１３は、第２実施形態の形状特定部２４の動作のフローチャートである。図１０のステップＳA3にて図１３の処理が実行される。
【００４４】
図１３の処理を開始すると、第２実施形態の形状特定部２４は、選択単位領域Ｕ内で線分検出部２２が検出した複数の線分Ｌを複数のクラスタに分類する分類処理を実行する（ＳA31）。具体的には、形状特定部２４は、図１２に例示される通り、各線分Ｌ上の特定の地点（以下「解析点」という）Ａを、ｘ-ｙ平面内で相互に近接するもの同士で複数のクラスタに分類するとともに、各クラスタを表象する楕円Ｃを画定する。解析点Ａは、例えば特定点Ｍと同様に線分Ｌの中点である。また、任意の１個のクラスタを表象する楕円Ｃは、当該クラスタに分類された複数の線分Ｌの解析点Ａを最小面積で内包するように画定される。図１２から理解される通り、譜表５４A側（ｙ軸の正側）および譜表５４B側（ｙ軸の負側）の一方に偏在する複数の線分Ｌの集合が１個のクラスタに分類される。複数の線分Ｌの分類には、k-means法等の公知のクラスタリング技術が任意に採用され得る。
【００４５】
形状特定部２４は、選択単位領域Ｕ内の複数の線分Ｌの各々について調整値δを算定する演算処理を実行する（ＳA32）。任意の１個の線分Ｌの調整値δは、図１２に例示される通り、当該線分Ｌが属するクラスタの楕円Ｃの接線Ｔと当該線分Ｌとの距離Ｒに応じた数値に設定される。楕円Ｃの接線Ｔは、当該楕円Ｃが自身の短軸と交差する地点における接線（すなわち楕円Ｃの長軸に平行な接線）であり、楕円Ｃの中心からみてｘ軸側に位置する。楕円Ｃの接線Ｔと線分Ｌとの距離Ｒは、当該線分Ｌ上の解析点Ａから接線Ｔまでの距離である。具体的には、形状特定部２４は、所定の係数αを距離Ｒに乗算した数値を調整値δとして算定する（δ＝αＲ）。係数αは、１を上回る所定の正数である。
【００４６】
選択単位領域Ｕ内の各線分Ｌについて調整値δを算定すると、形状特定部２４は、距離指標Ｚ(x)が最小化されるように形状近似線Ｑを特定する近似処理を実行する（ＳA33）。第２実施形態の距離指標Ｚ(x)は、以下の数式(4)で表現される。
【数３】
0006540436.tif 000004
数式(4)から理解される通り、第２実施形態の距離指標Ｚ(x)は、線分Ｌの特定点Ｍと形状近似線Ｑ上の交点Ｐとの距離Ｄ（Ｄ＝(ｘP−ｘM)2＋(ｆ(xP)−ｙM)2）と、演算処理（ＳA32）で算定した当該線分Ｌの調整値δとを、Ｊ個の線分Ｌについて加算した数値を包含する。形状特定部２４は、前掲の数式(3)の条件のもとで数式(4)の距離指標Ｚ(x)が最小化されるように交点Ｐの座標（ｘP,ｆ(ｘP)）と数式(1)の関数ｆ(x)の変数θkとを選定することで、形状近似線Ｑ（関数ｆ(x)）を特定する。
【００４７】
図１４に例示される通り、任意の１個の譜表５４Aにおけるｙ軸の方向の中点ＰC1から譜表５４Aと譜表５４Bとの間の中点ＰC2までの距離ＹAは、中点ＰC1から譜表５４Aのｙ軸の負側の外縁までの距離（すなわち譜表５４Aの幅の半分）ＹBの２倍程度である（ＹA＝２ＹB）。以上の仮定のもとでは、調整値δ（δ＝αＲ）の算定時に距離Ｒに乗算される係数αを例えば２に設定することで、譜表５４Aと譜表５４Bとの間に位置する適切な形状近似線Ｑを特定することが可能である。線分検出部２２による線分検出処理（ＳA1）や画像補正部２６が形状近似線Ｑを利用して楽譜画像ＧAを補正する処理（ＳA4）は第１実施形態と同様である。
【００４８】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、距離Ｄと調整値δとをＪ個の線分Ｌについて加算した距離指標Ｚ(x)が最小化されるように形状近似線Ｑが特定されるから、譜表５４A側および譜表５４B側の一方に複数の線分Ｌが偏在する場合（例えば線分検出処理の精度が低い場合）でも、楽譜の表面形状を高精度に近似する形状近似線Ｑを特定できるという利点がある。また、第２実施形態では、クラスタを表象する楕円Ｃの接線Ｔと当該クラスタ内の線分Ｌとの距離Ｒに所定の係数αを乗算する簡便な演算で調整値δを算定できるという利点もある。
【００４９】
＜第３実施形態＞
図１５は、第３実施形態の画像補正装置１００の構成図である。図１５に例示される通り、第３実施形態の画像補正装置１００の制御装置１４は、第１実施形態と同様の要素（補正処理部２０，表示制御部３０）に加えて指標算定部４０として機能する。補正処理部２０が楽譜画像ＧAを補正画像ＧBに補正する処理は第１実施形態や第２実施形態と同様である。
【００５０】
指標算定部４０は、撮影装置１２の撮影方向の適否の指標である姿勢指標Ｗを算定する。指標算定部４０による姿勢指標Ｗの算定は、撮影装置１２による撮影に並行して楽譜画像ＧA毎に順次に実行される。利用者は撮影装置１２の撮影方向を随時に調整するから、指標算定部４０が順次に算定する姿勢指標Ｗは経時的に変動する。なお、以下の説明では、撮影装置１２の撮影方向が適切であるほど姿勢指標Ｗが増加する場合を想定する。
【００５１】
第３実施形態の表示制御部３０は、第１実施形態と同様に補正前の楽譜画像ＧAと補正後の補正画像ＧBとを表示装置１８に並列に表示させるほか、指標算定部４０が算定した姿勢指標Ｗが所定の条件を充足する場合に補正画像ＧBを強調表示させる。具体的には、表示制御部３０は、姿勢指標Ｗが所定の閾値ＷTHを上回る場合に（Ｗ＞ＷTH）、図１６に例示される通り、補正画像ＧBの表示サイズ（具体的には第２領域３４Bの面積）を拡大させる。他方、姿勢指標Ｗが閾値ＷTHを下回る状態では、図３の例示の通り、楽譜画像ＧAと補正画像ＧBとが略同等の表示サイズで表示される。なお、補正画像ＧBの強調表示の方法は以上の例示に限定されない。例えば、補正画像ＧBやその枠線の表示態様（例えば色彩や階調）を変更することで補正画像ＧBを強調表示することも可能である。
【００５２】
以上に説明した通り、第３実施形態では、撮影装置１２の撮影方向の適否の指標である姿勢指標Ｗが所定の条件を充足する場合（Ｗ＞ＷTH）に補正画像ＧBが強調表示されるから、撮影方向の適否を利用者が直観的に把握できるという利点がある。
【００５３】
＜指標算定部４０＞
図１７は、指標算定部４０の構成図である。図１７に例示される通り、第１実施形態の指標算定部４０は、記号検出部４２と解析処理部４４とを包含する。なお、指標算定部４０による姿勢指標Ｗの算定は、撮影装置１２による撮影に並行して楽譜画像ＧA毎に順次に実行されるが、以下の説明では便宜的に１個の楽譜画像ＧAに着目する。また、以下の説明では、楽譜画像ＧAの横方向をＸ方向と表記するとともに縦方向をＹ方向と表記する。
【００５４】
図１７の記号検出部４２は、図１８に例示される通り、楽譜画像ＧAから複数（Ｎ個）の楽譜記号５２(1)〜５２(N)を検出する。記号検出部４２による各楽譜記号５２(n)（ｎ＝１〜Ｎ）の検出には、公知の画像認識技術（パターン認識）が任意に採用され得る。
【００５５】
撮影方向が楽譜の法線方向に平行となり、かつ、楽譜画像ＧAのＸ方向が楽譜の横方向に平行となる基準状態（すなわち適正な撮影方向）では、Ｎ個の楽譜記号５２(1)〜５２(N)がＹ軸方向に平行に配列する。しかし、撮影方向が楽譜の法線方向に対して傾斜した傾斜状態や、撮影装置１２の撮影範囲が楽譜の法線を軸線として基準状態から回転した回転状態では、図１８に例示される通り、Ｙ方向に対して傾斜した方向にＮ個の楽譜記号５２(1)〜５２(N)が配列する。以上の事情を考慮して、第３実施形態の解析処理部４４は、記号検出部４２が検出したＮ個の楽譜記号５２(1)〜５２(N)の配列（以下「楽譜記号列」という）５６を解析することで姿勢指標Ｗを算定する。
【００５６】
図１９は、解析処理部４４が姿勢指標Ｗを算定する処理（以下「解析処理」という）のフローチャートである。図１９に例示される通り、解析処理は、第１指標ｗ1を算定する第１処理ＳB1と第２指標ｗ2を算定する第２処理ＳB2とを包含する。
【００５７】
第１処理ＳB1を開始すると、解析処理部４４は、図１８に例示される通り、記号検出部４２が検出した各楽譜記号５２(n)に対応するＮ個の段領域５８(1)〜５８(N)を設定する（ＳB11）。すなわち、楽譜記号５２(n)毎（譜表５４毎）に段領域５８(n)が設定される。図１８から理解される通り、任意の１個の楽譜記号５２(n)の段領域５８(n)は、当該楽譜記号５２(n)の位置で楽譜記号列５６に交差する矩形状の領域である。具体的には、段領域５８(n)は、楽譜記号５２(n)を端点として楽譜記号列５６に直交する方向に延在する。
【００５８】
解析処理部４４は、Ｎ個の段領域５８(1)〜５８(N)の各々について割合λ(n)（λ(1)〜λ(N)）を算定する（ＳB12）。任意の１個の段領域５８(n)について算定される割合λ(n)は、線分検出部２２が楽譜画像ＧAから検出（ＳA11）した複数の線分Ｌのうち、図５のステップＳA12で第ｎ番目の譜表５４(n)に分類された複数の線分Ｌが当該段領域５８(n)に包含される割合である。具体的には、譜表５４(n)から検出された複数の線分Ｌの各端点のうち段領域５８(n)に内包される端点の個数の比率が割合λ(n)として算定される。
【００５９】
基準状態では、各譜表５４(n)はＸ方向に延在する一方、Ｎ個の楽譜記号５２(1)〜５２(N)がＹ方向に略平行に配列することで各段領域５８(n)はＸ方向に略平行な方向（すなわち第ｎ番目の譜表５４(n)に平行な方向）に延在する。したがって、第ｎ番目の譜表５４(n)から検出された複数の線分Ｌの大多数は段領域５８(n)に内包され、結果的に割合λ(n)は大きい数値となる。他方、撮影方向が楽譜に対して傾斜した傾斜状態では、例えば図１８に例示される通り、各譜表５４(n)はＸ方向に延在する一方、Ｎ個の楽譜記号５２(1)〜５２(N)がＹ方向に対して傾斜することで各段領域５８(n)はＸ方向に対して傾斜した方向に延在する。したがって、図１８から理解される通り、譜表５４(n)から検出された線分Ｌの端点のうち段領域５８(n)に内包されない端点の比率が基準状態と比較して増加し、結果的に割合λ(n)は小さい数値となる。すなわち、撮影装置１２の撮影方向が楽譜の法線方向に対して傾斜する度合の指標として割合λ(n)が利用され得る。
【００６０】
解析処理部４４は、相異なる段領域５８(n)について算定したＮ個の割合λ(1)〜λ(N)に応じた第１指標ｗ1を算定する（ＳB13）。具体的には、解析処理部４４は、Ｎ個の割合λ(1)〜λ(N)の総和や加重和を第１指標ｗ1として算定する。以上の説明から理解される通り、撮影方向が楽譜の法線方向に対して傾斜するほど第１指標ｗ1は小さい数値となる。以上が第１処理ＳB1の具体例である。
【００６１】
図１９の第２処理ＳB2では、解析処理部４４は、Ｘ方向またはＹ方向に対する楽譜記号列５６の角度に応じた第２指標ｗ2を算定する。例えば、楽譜記号列５６に平行な所定長のベクトルにおけるＹ方向の成分の絶対値が第２指標ｗ2として算定される。以上の説明から理解される通り、楽譜記号列５６がＹ方向に対して傾斜するほど第２指標ｗ2は小さい数値となる。すなわち、傾斜状態において撮影方向が楽譜の法線方向に対して傾斜する度合、および、回転状態において撮影範囲が基準状態から回転する度合の指標として、第２指標ｗ2が利用され得る。
【００６２】
以上に例示した第１処理ＳB1および第２処理ＳB2を実行すると、解析処理部４４は、第１処理ＳB1で算定した第１指標ｗ1と第２処理ＳB2で算定した第２指標ｗ2とに応じて姿勢指標Ｗを算定する（ＳB3）。例えば第１指標ｗ1と第２指標ｗ2との乗算値や加重和が姿勢指標Ｗとして算定される。前述の通り、撮影方向が基準状態に近付くほど、第１指標ｗ1および第２指標ｗ2は増加するから、姿勢指標Ｗは大きい数値となる。すなわち、姿勢指標Ｗは、撮影装置１２の撮影方向が基準状態に近いか否か（すなわち撮影方向の適否）の指標として利用され得る。以上に例示した解析処理で解析処理部４４が楽譜画像ＧA毎に算定した姿勢指標Ｗが所定の閾値ＷTHを上回ることを条件として、第３実施形態の表示制御部３０は、補正処理部２０が生成した補正画像ＧBを表示装置１８に強調表示させる。
【００６３】
以上に説明した通り、第３実施形態では、各楽譜記号５２(n)の位置で楽譜記号列５６に交差する段領域５８(n)に包含される譜表５４(n)の割合に応じた第１指標ｗ1と、当該楽譜記号列５６の角度に応じた第２指標ｗ2とに応じた姿勢指標Ｗが算定される。したがって、楽譜の法線方向に対する撮影装置１２の傾斜方向と楽譜の法線を軸線とした撮影装置１２の回転方向との適否を定量的に評価可能な姿勢指標Ｗを算定することが可能である。
【００６４】
＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
【００６５】
（１）前述の各形態では、楽譜画像ＧAと補正画像ＧBとを相異なる領域（第１領域３４A，第２領域３４B）に表示したが、楽譜画像ＧAと補正画像ＧBとを並列に表示させる方法は以上の例示に限定されない。例えば、楽譜画像ＧAおよび補正画像ＧBの一方を半透明の画像に加工して他方に重複させる（すなわち楽譜画像ＧAと補正画像ＧBとを共通の領域に配置する）ことも可能である。楽譜画像ＧAと補正画像ＧBとを重ねて表示する構成によれば、両者間の相違を利用者が容易に把握できるという利点がある。また、前述の各形態では、撮影画像ＧAと補正画像ＧBとを表示装置１８に並列に表示させたが、撮影画像ＧAと補正画像ＧBとを時分割で表示装置１８に表示させることも可能である。すなわち、撮影画像ＧAと補正画像ＧBとの並列的（同時的）な表示は本発明において必須ではない。
【００６６】
（２）前述の各形態では、楽譜画像ＧAの全域を対象として複数の線分Ｌを検出したが、楽譜画像ＧAの単位領域Ｕ毎に線分検出部２２が線分Ｌを検出することも可能である。例えば、図２０に例示される通り、楽譜画像ＧAの全域を対象として検出した複数の線分Ｌを分類する（ＳA11，ＳA12）ことで譜表５４毎の単位領域Ｕを画定すると（ＳA13，ＳA14）、線分検出部２２は、複数の単位領域Ｕの各々について、楽譜画像ＧAのうち当該単位領域Ｕを探索対象として複数の線分Ｌを順次に検出する（ＳA15）。すなわち、楽譜画像ＧAの全域を対象とした線分Ｌの検出（ＳA11）と各単位領域Ｕを対象とした線分Ｌの検出（ＳA15）との２段階で複数の線分Ｌが検出される。単位領域Ｕを探索対象とした線分Ｌの検出によれば、楽譜画像ＧAの全域を対象とした検出と比較して高精度に線分Ｌを検出することが可能である。もっとも、単位領域Ｕの画定（ＳA13）に線分Ｌの検出は必須ではない。例えば、利用者からの指示に応じて単位領域Ｕを画定する等の任意の方法（線分Ｌを利用しない方法）で複数の単位領域Ｕを画定し、線分検出部２２が単位領域Ｕ毎に複数の線分Ｌを検出することも可能である。
【００６７】
（３）形状近似線Ｑを表現する関数ｆ(x)の形式は前述の数式(1)に限定されない。例えば、一次関数や二次関数等の任意の形式の関数ｆ(x)を形状近似線Ｑの記述に採用することが可能である。また、複数種の関数のうち利用者が選択した関数ｆ(x)を形状近似線Ｑに利用することも可能である。
【００６８】
（４）前述の各形態では、譜表５４の２段分（すなわち大譜表）に相当する単位領域Ｕを例示したが、例えば譜表５４の１段分に相当する単位領域Ｕ毎に形状近似線Ｑの特定（ＳA3）と楽譜画像ＧAの補正（ＳA4）とを実行することも可能である。
【００６９】
（５）第３実施形態では、相異なる段領域５８(n)に対応するＮ個の割合λ(1)〜λ(N)の総和や加重和を第１指標ｗ1として算定したが、第１指標ｗ1の算定方法は以上の例示に限定されない。例えば、１個の段領域５８(n)における割合λ(n)を第１指標ｗ1として算定する構成や、Ｎ個の割合λ(1)〜λ(N)の中央値を第１指標ｗ1として算定する構成も採用され得る。
【００７０】
（６）第３実施形態では、第１指標ｗ1および第２指標ｗ2に応じた姿勢指標Ｗを算定したが、第１指標ｗ1を姿勢指標Ｗとして算定する構成（第２処理ＳB2は省略される）や、第２指標ｗ2を姿勢指標Ｗとして算定する構成（第１処理ＳB1は省略される）も採用され得る。また、撮影装置１２の撮影方向が基準状態に近付くほど姿勢指標Ｗが増加する場合を第３実施形態では例示したが、撮影方向の適否と姿勢指標Ｗ（第１指標ｗ1，第２指標ｗ2）の大小との関係は反転され得る。すなわち、撮影方向が基準状態に近付くほど姿勢指標Ｗが減少するように姿勢指標Ｗ（さらには第１指標ｗ1や第２指標ｗ2）を算定することも可能である。
【００７１】
（７）第３実施形態の記号検出部４２が検出する楽譜記号５２(n)はト音記号やへ音記号に限定されない。例えば、ト音記号およびへ音記号の一方やハ音記号を楽譜記号５２(n)として検出することも可能である。また、例えば弦楽器の各弦に対応する複数の直線で構成される譜表５４に奏法（具体的には運指）を表記したタブ譜を撮影装置１２で撮影する場合には、各譜表５４の左端に縦書きされた「ＴＡＢ」の文字列を楽譜記号５２(n)として検出することが可能である。
【００７２】
（８）第３実施形態では、姿勢指標Ｗが閾値ＷTHを上回る場合に補正画像ＧBを強調表示したが、補正画像ＧBを強調表示すべき姿勢指標Ｗの条件は以上の例示に限定されない。例えば、所定の閾値ＷTHを上回る範囲で姿勢指標Ｗが所定の時間にわたり安定に推移することを条件として表示制御部３０が補正画像ＧBを強調表示させることも可能である。例えば、時系列に算定される複数の姿勢指標Ｗの散布度（例えば分散）が所定値を下回る場合に姿勢指標Ｗが安定した状態と判定できる。また、姿勢指標Ｗの時間的な変動を監視し、姿勢指標Ｗが極大となったことを検出した場合に補正画像ＧBを強調表示する構成も採用される。以上の説明から理解される通り、表示制御部３０は、姿勢指標Ｗが所定の条件を満たす場合に補正画像ＧBを強調表示させる要素として包括的に表現され、強調表示の条件の具体的な内容は不問である。
【００７３】
（９）相互に別体で構成された複数の装置（すなわちシステム）で画像補正装置１００を実現することも可能である。具体的には、移動体通信網やインターネット等の通信網を介して相互に通信する端末装置（例えば携帯電話機やスマートフォン）とサーバ装置とで画像処理装置１００が実現される。例えば、端末装置の撮影装置１２で撮影された楽譜画像ＧAを端末装置から受信して補正画像ＧBを生成する補正処理部２０がサーバ装置に搭載され、補正処理部２０が生成した補正画像ＧBをサーバ装置から受信して楽譜画像ＧAとともに表示装置１８に表示させる表示制御部３０が端末装置に搭載される。なお、画像補正装置１００を構成する複数の装置にわたる機能の分担は任意である。
【００７４】
（１０）前述の各形態で例示した画像補正装置１００は、前述の各形態の例示の通り、制御装置１４とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、撮影装置１２が楽譜の撮影で順次に生成する各楽譜画像ＧAの歪みを撮影装置１２による撮影に並行して順次に補正して補正画像ＧBを生成する補正処理部２０、および、楽譜画像ＧAと補正画像ＧBとを表示装置１８に表示させ、撮影装置１２による撮影に並行して楽譜画像ＧAおよび補正画像ＧBの表示を順次に更新する表示制御部３０としてコンピュータを機能させる。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。
【００７５】
（１１）本発明は、前述の各形態に係る画像補正装置１００の動作方法（画像補正方法）としても特定される。例えば、本発明の一態様に係る画像補正方法は、撮影装置１２が楽譜の撮影で順次に生成する各楽譜画像ＧAの歪みを撮影装置１２による撮影に並行して順次に補正して補正画像ＧBを生成する一方（ＳA1〜ＳA5）、楽譜画像ＧAと補正画像ＧBとを表示装置１８に表示させ、撮影装置１２による撮影に並行して楽譜画像ＧAおよび補正画像ＧBの表示を順次に更新する（ＳA6）。
【符号の説明】
【００７６】
１００……画像補正装置、１２……撮影装置、１４……制御装置、１６……記憶装置、１８……表示装置、２０……補正処理部、２２……線分検出部、２４……形状特定部、２６……画像補正部、３０……表示制御部、４０……指標算定部、４２……記号検出部、４４……解析処理部。
【図１】
0006540436.tif 000005
【図２】
0006540436.tif 000006
【図３】
0006540436.tif 000007
【図４】
0006540436.tif 000008
【図５】
0006540436.tif 000009
【図６】
0006540436.tif 000010
【図７】
0006540436.tif 000011
【図８】
0006540436.tif 000012
【図９】
0006540436.tif 000013
【図１０】
0006540436.tif 000014
【図１１】
0006540436.tif 000015
【図１２】
0006540436.tif 000016
【図１３】
0006540436.tif 000017
【図１４】
0006540436.tif 000018
【図１５】
0006540436.tif 000019
【図１６】
0006540436.tif 000020
【図１７】
0006540436.tif 000021
【図１８】
0006540436.tif 000022
【図１９】
0006540436.tif 000023
【図２０】
0006540436.tif 000024