(57)【特許請求の範囲】
【請求項１】
被写体を順次に撮影した複数の撮影画像の各々について、当該撮影画像のうち前記被写体の相異なる領域に対応する部分画像毎に、前記被写体の変形度合の指標である評価指標を算定する指標算定部と、
前記評価指標に応じて前記部分画像を前記複数の撮影画像から選択する画像選択部と、
前記被写体を撮像した基準画像における前記選択された部分画像に対応する位置に、前記画像選択部により選択された複数の部分画像の各々を合成する画像合成部と
を具備する画像処理装置。
【請求項２】
前記指標算定部は、相互に並列に配置された複数の譜表を含む楽譜を前記被写体として撮影した前記撮影画像を、相互に隣合う所定個の譜表の集合毎に前記部分画像に区画し、当該部分画像毎に前記評価指標を算定する
請求項１の画像処理装置。
【請求項３】
前記指標算定部は、前記複数の譜表と前記各譜表に対して所定の位置に配置された楽譜記号とを含む楽譜を撮影した前記撮影画像から複数の楽譜記号を検出し、前記複数の楽譜記号の配列である楽譜記号列に前記楽譜記号の位置で交差する段領域内の前記譜表の割合に応じた前記評価指標を前記部分画像毎に算定する
請求項２の画像処理装置。
【請求項４】
前記画像合成部は、前記基準画像から抽出される特徴点と前記部分画像から抽出される特徴点とで相互に対応するもの同士が合致するように、前記複数の部分画像の各々を前記基準画像に合成する
請求項１から請求項３の何れかの画像処理装置。
【請求項５】
前記指標算定部は、前記被写体を撮影した動画像を構成する複数の撮影画像の各々について、前記部分画像毎の前記評価指標を前記動画像の撮影に並行して順次に算定し、
前記画像選択部は、前記評価指標に応じた部分画像の選択を前記動画像の撮影に並行して順次に実行し、
前記画像合成部は、前記基準画像に対する前記部分画像の合成を前記動画像の撮影に並行して順次に実行する
請求項１から請求項４の何れかの画像処理装置。
【請求項６】
被写体を順次に撮影した複数の撮影画像の各々について、当該撮影画像のうち前記被写体の相異なる領域に対応する部分画像毎に、前記被写体の変形度合の指標である評価指標を算定し、
前記評価指標に応じて前記部分画像を前記複数の撮影画像から選択し、
前記被写体を撮像した基準画像における前記選択された部分画像に対応する位置に、前記選択された複数の部分画像の各々を合成する
画像処理方法。
【請求項７】
被写体を順次に撮影した複数の撮影画像の各々について、当該撮影画像のうち前記被写体の相異なる領域に対応する部分画像毎に、前記被写体の変形度合の指標である評価指標を算定する指標算定部、
前記評価指標に応じて前記部分画像を前記複数の撮影画像から選択する画像選択部、および、
前記被写体を撮像した基準画像における前記選択された部分画像に対応する位置に、前記画像選択部により選択された複数の部分画像の各々を合成する画像合成部
としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽譜等の被写体を撮影した画像を補正する技術に関する。
【背景技術】
【０００２】
利用者が撮影した画像を処理する技術が従来から提案されている。例えば、特許文献１には、利用者がデジタルカメラ等の撮影装置を利用して書籍を撮影する場合に、当該書籍の表面の変形（典型的には湾曲）を反映した撮影画像の歪みを補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−９３７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に開示された画像処理で撮影画像の歪みを低減することも可能ではあるが、例えば被写体の表面が大きく湾曲した状態では、撮影画像の歪みを充分に補正することは実際には困難である。したがって、本来的には、例えば書籍等の被写体の表面を利用者が手等で押圧することにより当該表面の変形を低減した状態で撮影することが望ましい。しかし、被写体のうち利用者が押圧した箇所は利用者の手の背後に隠れるから、被写体の広い範囲（例えば書類の１頁全体）を撮影できないという問題がある。以上の事情を考慮して、本発明は、被写体の表面の広範囲にわたり撮影状態が良好な画像を生成することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る画像処理装置は、被写体を順次に撮影した複数の撮影画像の各々について、当該撮影画像のうち被写体の相異なる領域に対応する部分画像毎に、撮影状態の適否の指標である評価指標を算定する指標算定部と、被写体の相異なる領域に対応する複数の部分画像を、各部分画像の評価指標に応じて複数の撮影画像から選択する画像選択部と、画像選択部が選択した複数の部分画像の各々を、被写体を撮影した基準画像のうち当該部分画像に対応した位置に合成する画像合成部とを具備する。以上の態様では、複数の撮影画像から評価指標に応じて選択された複数の部分画像が、基準画像のうち各部分画像に対応する位置に合成される。したがって、楽譜の広範囲にわたり撮影状態が良好な画像を生成することが可能である。
【０００６】
本発明の好適な態様において、指標算定部は、相互に並列に配置された複数の譜表を含む楽譜を被写体として撮影した撮影画像を、相互に隣合う所定個の譜表の集合毎に部分画像に区画し、当該部分画像毎に評価指標を算定する。以上の態様では、楽譜内の所定個の譜表の集合毎に撮影画像を区画した部分画像を単位として評価指標の算定と部分画像の選択および合成とが実行されるから、撮影画像内の１個の譜表が複数の部分画像に分断される可能性が低減される。したがって、１個の譜表内の分断や途切れ（例えば直線の不連続）が抑制された自然な楽譜の画像を生成することが可能である。
【０００７】
本発明の好適な態様において、指標算定部は、複数の譜表と各譜表に対して所定の位置に配置された楽譜記号とを含む楽譜を撮影した撮影画像から複数の楽譜記号を検出し、複数の楽譜記号の配列である楽譜記号列に楽譜記号の位置で交差する段領域内の譜表の割合に応じた評価指標を部分画像毎に算定する。以上の態様では、複数の楽譜記号の配列である楽譜記号列に各楽譜記号の位置で交差する段領域内の譜表の割合に応じて評価指標Ｗが算定される。したがって、撮影方向の適否を定量的に評価可能な評価指標Ｗを算定することが可能である。
【０００８】
本発明の好適な態様において、画像合成部は、基準画像から抽出される特徴点と部分画像から抽出される特徴点とで相互に対応するもの同士が合致するように、複数の部分画像の各々を基準画像に合成する。以上の態様では、基準画像の特徴点と部分画像の特徴点とで相互に対応するもの同士が合致するように基準画像に対する各部分画像の位置が選定されるから、被写体を忠実に反映した画像を生成することが可能である。
【０００９】
本発明の好適な態様において、指標算定部は、被写体を撮影した動画像を構成する複数の撮影画像の各々について、部分画像毎の評価指標を動画像の撮影に並行して順次に算定し、画像選択部は、評価指標に応じた部分画像の選択を動画像の撮影に並行して順次に実行し、画像合成部は、基準画像に対する部分画像の合成を動画像の撮影に並行して順次に実行する。以上の態様では、被写体を撮影した動画像を構成する複数の撮影画像の各々について、指標算定部による部分画像毎の評価指標の算定と、画像選択部による部分画像の選択と、画像合成部による部分画像の合成とが、動画像の撮影に並行して順次に実行される。したがって、複数の撮影画像の各々について利用者が撮影を指示することなく、動画像の撮影の進行に並行して画像を生成することが可能である。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る画像処理装置の構成図である。
【図２】被写体の例示である楽譜の説明図である。
【図３】画像処理装置の概略的な動作の説明図である。
【図４】指標算定処理のフローチャートである。
【図５】指標算定処理の説明図である。
【図６】撮影画像に複数の部分画像を区画する処理の説明図である。
【図７】画像合成処理のフローチャートである。
【図８】第２実施形態における画像処理装置の構成図である。
【図９】画像補正処理のフローチャートである。
【図１０】画像補正処理の説明図である。
【図１１】形状近似線を特定する処理の説明図である。
【図１２】形状近似線を利用した画像補正の説明図である。
【発明を実施するための形態】
【００１１】
＜第１実施形態＞
図１は、第１実施形態に係る画像処理装置１００の構成図である。図１に例示される通り、第１実施形態の画像処理装置１００は、撮影装置１２と制御装置１４と記憶装置１６と表示装置１８とを具備するコンピュータシステムで実現される。例えば携帯電話機またはスマートフォン等の可搬型の情報処理装置、あるいはパーソナルコンピュータ等の可搬型または据置型の情報処理装置が画像処理装置１００として利用され得る。また、静止画や動画像の撮影に専用される撮影機器（例えばデジタルカメラやデジタルカムコーダ等）で画像処理装置１００を実現することも可能である。
【００１２】
撮影装置１２は、画像を撮影するための画像入力装置であり、被写体からの入射光を電気信号に変換する撮像素子を含んで構成される。第１実施形態の撮影装置１２は、楽曲の内容を記述した楽譜を被写体として動画像を撮影し、動画像を構成する複数の画像（以下「撮影画像」という）ＧAを順次に生成および出力する。撮影画像ＧAを表す画像データの形式は任意である。なお、第１実施形態では撮影装置１２が画像処理装置１００に搭載された構成を例示するが、画像処理装置１００とは別体の撮影装置１２を画像処理装置１００に有線または無線で接続した構成も採用され得る。また、撮影装置１２が時系列に生成する複数の画像から例えば所定の周期で選択（キャプチャ）された各画像を撮影画像ＧAとして画像処理装置１００が処理することも可能である。
【００１３】
図２は、撮影装置１２による撮影の被写体となる楽譜の模式図である。図２に例示される通り、楽譜は、相互に間隔をあけて縦方向に並列に配置された複数の譜表５４（図２の例示では五線譜）を包含する。複数の譜表５４の各々は、相異なる音高を表象する横方向の複数の直線で構成される。複数の譜表５４の各々に対して所定の位置（例えば左端付近）にト音記号やヘ音記号等の楽譜記号（音部記号）５２が配置され、楽曲を表現する符号（例えば音符，休符，変化記号等）は各譜表５４の任意の位置に配置される。
【００１４】
楽譜の表面が変形（典型的には湾曲）した状態で撮影すると、当該変形に起因した歪みが撮影画像ＧAに発生する。利用者は、楽譜の表面を手等により押圧することで変形を低減する（すなわち楽譜の表面を平坦化する）ことが可能である。第１実施形態では、利用者が楽譜の一部を押圧するとともに押圧の位置を経時的に移動させる様子が撮影装置１２により一連の動画像として撮影される。例えば、図３に例示される通り、撮影装置１２が撮影する動画像のうち特定の時点ｔ1では、利用者が楽譜の下半分を手Ｈで押圧した状態が撮影画像ＧA1として撮影され、時点ｔ1の経過後の時点ｔ2では、利用者が楽譜の上半分を手Ｈで押圧した状態が撮影画像ＧA2として撮影される。すなわち、楽譜のうち利用者が手Ｈで押圧する位置は、時点ｔ1から時点ｔ2にかけて上方に移動する。時点ｔ1の撮影画像ＧA1では、楽譜の上半分は歪みが低減された適正な撮影状態となる一方、楽譜の下半分は利用者の手Ｈで隠れた状態となる。また、時点ｔ2の撮影画像ＧA2では、楽譜の下半分は歪みが低減された適正な撮影状態となる一方、楽譜の上半分は利用者の手Ｈで隠れた状態となる。すなわち、楽譜のうち変形が低減された適切な撮影状態の領域が経時的に移動する様子が一連の動画像として撮影装置１２により撮影される。
【００１５】
第１実施形態の画像処理装置１００は、撮影装置１２が順次に撮影する複数の撮影画像ＧAを利用して合成画像ＧBを生成する。合成画像ＧBは、表面の変形が低減された楽譜の画像である。具体的には、画像処理装置１００は、図３に例示される通り、各撮影画像ＧAを複数の部分（以下「部分画像」という）Ｕに区画し、利用者による押圧で楽譜の変形が低減された適正な撮影状態の領域内の部分画像Ｕを複数の撮影画像ＧAから選択して所与の基準画像Ｇ0に合成（例えば貼付）することで合成画像ＧBを生成する。任意の１個の撮影画像ＧAの複数の部分画像Ｕは、当該撮影画像ＧAのうち楽譜の相異なる領域に対応する領域である。図３の例示では、撮影画像ＧA1のうち撮影状態が適正な上半分の領域（すなわち利用者の手Ｈに隠れていない領域）の２個の部分画像Ｕと、撮影画像ＧA2のうち撮影状態が適正な下半分の領域内の２個の部分画像Ｕとを基準画像Ｇ0に合成した合成画像ＧBが生成される。基準画像Ｇ0は、楽譜を撮影した画像である。具体的には、撮影装置１２が順次に撮影する複数の撮影画像ＧAのうち画像全体の撮影状態が良好である（ただし利用者が楽譜を押圧して平坦化した場合ほど良好ではない）１個の撮影画像ＧAが基準画像Ｇ0として選択される。
【００１６】
図１の表示装置１８（例えば液晶表示パネル）は、制御装置１４が指示した画像を表示する。例えば合成画像ＧBが表示装置１８に表示される。記憶装置１６は、磁気記録媒体や半導体記録媒体等の公知の記録媒体または複数種の記録媒体の組合せで構成され、制御装置１４が実行するプログラムや制御装置１４が使用する各種のデータを記憶する。
【００１７】
制御装置１４は、例えばＣＰＵ（Central Processing Unit）等の演算処理装置で構成され、記憶装置１６に記憶されたプログラムを実行することで、図１に例示される通り、撮影装置１２が順次に生成する複数の撮影画像ＧAから合成画像ＧBを生成するための複数の機能（指標算定部２２，画像選択部２４，画像合成部２６，表示制御部２８）を実現する。なお、制御装置１４の一部の機能を画像処理の専用の電子回路で実現した構成や、制御装置１４の機能を複数の装置に分散した構成も採用され得る。
【００１８】
指標算定部２２は、撮影装置１２が順次に生成する複数の撮影画像ＧAの各々について、当該撮影画像ＧAの部分画像Ｕ毎に評価指標Ｗを算定する。図４は、第１実施形態の指標算定部２２が任意の１個の撮影画像ＧAについて部分画像Ｕ毎の評価指標Ｗを算定する処理（以下「指標算定処理」という）のフローチャートである。例えば撮影装置１２による撮影画像ＧAの生成毎に図４の指標算定処理が実行される。
【００１９】
指標算定処理を開始すると、指標算定部２２は、図５に例示される通り、撮影画像ＧAから複数（Ｊ個）の楽譜記号５２(1)〜５２(J)を検出する（ＳA21）。各楽譜記号５２(j)（ｊ＝１〜Ｊ）の検出には、公知の画像認識技術（パターン認識）が任意に採用され得る。楽譜記号５２(j)の総数Ｊは、楽譜の内容（譜表の段数）に応じた可変値である。なお、以下の説明では、撮影画像ＧAの横方向をＸ方向と表記し、撮影画像ＧAの縦方向をＹ方向と表記する。
【００２０】
撮影装置１２による撮影方向が楽譜の法線方向に平行となり、かつ、撮影画像ＧAのＸ方向が楽譜の横方向に平行となる状態（以下「基準状態」という）では、Ｊ個の楽譜記号５２(1)〜５２(J)の配列（以下「楽譜記号列」という）５６がＹ方向に略平行となる。しかし、撮影方向が楽譜の法線方向に対して傾斜した傾斜状態では、図５に例示される通り、楽譜記号列５６がＹ方向に対して傾斜する。
【００２１】
指標算定部２２は、楽譜を構成する複数の線分Ｌを撮影画像ＧAから検出する（ＳA22）。複数の線分Ｌの検出には、例えば確率的ハフ変換等の公知の特徴抽出（直線検出）が任意に採用され得る。図５に例示される通り、撮影画像ＧAの各譜表５４を構成する多数の線分Ｌが検出される。実際には各音符の譜幹および譜尾や小節線等の直線部分も検出されるが、各譜表５４を構成する線分Ｌが多数である。なお、楽譜記号５２(j)の検出（ＳA21）と複数の線分Ｌの検出（ＳA22）との先後は逆転され得る。
【００２２】
指標算定部２２は、撮影画像ＧAから検出した複数の線分Ｌを譜表５４毎に分類する（ＳA23）。複数の線分Ｌの分類には公知のクラスタリング技術（例えばk-means法）が任意に採用され得る。楽譜記号５２(j)が譜表５４毎に配置されることを考慮すると、楽譜記号５２(j)の総数に相当するＪ個の集合（クラスタ）に複数の線分Ｌを分類する方法が好適である。
【００２３】
指標算定部２２は、図５に例示される通り、撮影画像ＧAから検出した各楽譜記号５２(j)に対応するＪ個の段領域５８(1)〜５８(J)を設定する（ＳA24）。すなわち、楽譜記号５２(j)毎（譜表５４毎）に段領域５８(j)が設定される。図５から理解される通り、任意の１個の楽譜記号５２(j)の段領域５８(j)は、当該楽譜記号５２(j)の位置で楽譜記号列５６に交差する矩形状の領域である。具体的には、段領域５８(j)は、楽譜記号５２(j)を端点として楽譜記号列５６に直交する方向に延在する。
【００２４】
指標算定部２２は、Ｊ個の段領域５８(1)〜５８(J)の各々について割合λ(j)（λ(1)〜λ(J)）を算定する（ＳA25）。任意の１個の段領域５８(j)について算定される割合λ(j)は、楽譜内の第ｊ段目の譜表５４が当該段領域５８(j)に包含される割合である。具体的には、指標算定部２２は、第ｊ段目の譜表５４に分類（ＳA23）した複数の線分Ｌが段領域５８(j)内に包含される割合λ(j)を算定する。例えば、複数の線分Ｌの各端点のうち段領域５８(j)に内包される端点の個数の比率が割合λ(j)として好適である。
【００２５】
基準状態では、各譜表５４はＸ方向に延在する一方、Ｊ個の楽譜記号５２(1)〜５２(J)がＹ方向に略平行に配列することで各段領域５８(j)はＸ方向に略平行な方向（すなわち第ｊ段目の譜表５４に平行な方向）に延在する。したがって、第ｊ段目の譜表５４に対応する複数の線分Ｌの大多数は段領域５８(j)に内包され、結果的に割合λ(j)は大きい数値となる。他方、撮影方向が楽譜に対して傾斜した傾斜状態では、例えば図５に例示される通り、各譜表５４はＸ方向に延在する一方、楽譜記号列５６がＹ方向に対して傾斜することで各段領域５８(j)はＸ方向に対して傾斜する。したがって、図５から理解される通り、第ｊ段目の譜表５４から検出された線分Ｌのうち段領域５８(j)に内包されない部分の比率が基準状態と比較して増加し、結果的に割合λ(j)は小さい数値となる。以上の説明から理解される通り、撮影装置１２の撮影方向が楽譜の法線方向に対して傾斜する度合の指標（撮影状態の適否の指標）として割合λ(j)が利用され得る。
【００２６】
指標算定部２２は、相互に隣合う所定個の譜表５４の集合毎に撮影画像ＧAを複数の部分画像Ｕに区画する（ＳA26）。部分画像Ｕは、Ｘ方向に平行な２辺とＹ方向に平行な２辺とで包囲された矩形状の領域である。第１実施形態では、図６に例示される通り、ト音記号が配置された譜表５４Aとへ音記号が配置された譜表５４Bとの２段を相互に間隔をあけて縦方向に並列した大譜表に相当する領域が１個の部分画像Ｕとして撮影画像ＧAに区画される。したがって、譜表５４（あるいは楽譜記号５２(j)）の総数Ｊの半分に相当する個数の部分画像Ｕが撮影画像ＧAに区画される。
【００２７】
指標算定部２２は、前述の割合λ(j)に応じた評価指標Ｗを部分画像Ｕ毎に算定する（ＳA27）。具体的には、指標算定部２２は、任意の１個の部分画像Ｕのうちト音記号の譜表５４Aについて算定された割合λ(j)とへ音記号の譜表５４Bについて算定された割合λ(j+1)とに応じた評価指標Ｗを算定する。例えば、割合λ(j)と割合λ(j+1)との平均や加重和が評価指標Ｗとして算定される。前述の通り、撮影方向が基準状態に近付くほど、譜表５４毎の割合λ(j)は増加するから、評価指標Ｗは大きい数値となる。また、楽譜のうち利用者の手Ｈが重なる領域では楽譜記号５２(j)および線分Ｌの検出等の処理が阻害されるから、利用者の手Ｈを含む部分画像Ｕの評価指標Ｗは小さい数値となる。以上の説明から理解される通り、各部分画像Ｕの評価指標Ｗは、当該部分画像Ｕの撮影状態（例えば撮影装置１２の撮影方向や利用者の手Ｈの有無）の適否の指標として利用され得る。以上に例示した図４の指標算定処理により、撮影画像ＧAの部分画像Ｕ毎に評価指標Ｗが算定される。
【００２８】
図１の画像選択部２４は、楽譜の相異なる領域に対応する複数の部分画像Ｕを、各部分画像Ｕの評価指標Ｗに応じて複数の撮影画像ＧAから選択する。具体的には、画像選択部２４は、評価指標Ｗが所定の閾値ＷTHを上回る部分画像Ｕを各撮影画像ＧAから順次に選択する。すなわち、撮影画像ＧAの複数の部分画像Ｕのうち撮影状態が良好な部分画像Ｕ（例えば撮影方向が基準状態に近似し、かつ、利用者の手Ｈが重ならない部分画像Ｕ）が各撮影画像ＧAから順次に選択される。
【００２９】
画像合成部２６は、画像選択部２４が選択した複数の部分画像Ｕの各々を基準画像Ｇ0に合成することで合成画像ＧBを生成する。第１実施形態の画像合成部２６は、任意の１個の部分画像Ｕを、基準画像Ｇ0のうち当該部分画像Ｕに対応した位置に合成（例えば貼付）する。具体的には、画像合成部２６は、基準画像Ｇ0および部分画像Ｕの各々について特徴点を抽出し、基準画像Ｇ0から抽出される複数の特徴点と部分画像Ｕから抽出される複数の特徴点との間で相互に対応するもの同士が合致するように、基準画像Ｇ0に対する部分画像Ｕの位置が調整される。したがって、基準画像Ｇ0のうち楽譜の特定の譜表５４の領域には、当該譜表５４を含む部分画像Ｕが貼付される。なお、特徴点の抽出には公知の画像解析技術（特徴抽出技術）が任意に採用され得る。なお、部分画像Ｕのサイズを調整したうえで基準画像Ｇ0に合成することも可能である。
【００３０】
以上の説明から理解される通り、複数の撮影画像ＧAから選択された撮影状態が良好な複数の部分画像Ｕを配列した合成画像ＧBが生成される。図１の表示制御部２８は、画像合成部２６が合成した合成画像ＧBを表示装置１８に表示させる。
【００３１】
図７は、第１実施形態の画像処理装置１００が合成画像ＧBを生成する処理（以下「画像合成処理」という）のフローチャートである。利用者からの指示を契機として、撮影装置１２による動画像の撮影と図７の画像合成処理とが開始される。
【００３２】
制御装置１４は、撮影装置１２から順次に供給される撮影画像ＧAから基準画像Ｇ0を選択する（ＳA1）。具体的には、制御装置１４（指標算定部２２）は、撮影画像ＧAの全体的な撮影状態の適否の指標である画像指標ＷGを撮影画像ＧA毎に順次に算定し、画像指標ＷGが所定の閾値を上回る撮影画像ＧAを基準画像Ｇ0として選択する。画像指標ＷGは、例えば撮影画像ＧAの全部の部分画像Ｕにわたる評価指標Ｗに応じた数値（例えば評価指標Ｗの総和や加重値）である。利用者の手Ｈが含まれる撮影画像ＧAの画像指標ＷGは充分に小さい数値となるから、例えば利用者の手Ｈを含まない撮影画像ＧAが基準画像Ｇ0として選択される。
【００３３】
制御装置１４は、撮影装置１２から供給される撮影画像ＧAについて図４の指標算定処理を実行することで部分画像Ｕ毎の評価指標Ｗを算定する（ＳA2）。画像選択部２４は、評価指標Ｗが閾値ＷTHを上回る部分画像Ｕを撮影画像ＧAから選択する（ＳA3）。画像合成部２６は、画像選択部２４が選択した部分画像Ｕを基準画像Ｇ0に合成することで合成画像ＧBを生成する（ＳA4）。なお、評価指標Ｗが閾値ＷTHを上回る部分画像Ｕが撮影画像ＧAに含まれない場合、部分画像Ｕの選択（ＳA3）や部分画像Ｕの合成（ＳA4）は実行されない。表示制御部２８は、画像合成部２６が生成した合成画像ＧBを表示装置１８に表示させる（ＳA5）。
【００３４】
利用者は、任意の時点で撮影の終了を指示することが可能である。利用者が撮影の終了を指示しない場合（ＳA6：NO）、撮影装置１２から直後に供給される撮影画像ＧAについて、同様にステップＳA2からステップＳA5の処理が実行される。すなわち、撮影装置１２による動画像の撮影に並行して実時間的に（具体的には撮影画像ＧAの生成毎に）、部分画像Ｕ毎の評価指標Ｗの算定（ＳA2）と部分画像Ｕの選択（ＳA3）と基準画像Ｇ0に対する部分画像Ｕの合成（ＳA4）と合成画像ＧBの表示（ＳA6）とが実行される。したがって、撮影装置１２による撮影の進行とともに、基準画像Ｇ0の各領域が、撮影状態が良好な部分画像Ｕに順次に置換される。
【００３５】
利用者は、撮影装置１２による楽譜の撮影に並行して表示装置１８の合成画像ＧBを随時に確認し、良好な合成画像ＧBが生成されたと判断した段階（例えば当該楽譜の全体にわたり撮影状態が良好な部分画像Ｕに置換された段階）で撮影の終了を指示する。利用者が撮影の終了を指示すると（ＳA6：YES）、制御装置１４は、当該指示の時点での最新の合成画像ＧBを最終的な処理結果として確定して記憶装置１６に格納する（ＳA7）。
【００３６】
以上に説明した通り、第１実施形態では、複数の撮影画像ＧAから評価指標Ｗに応じて選択された複数の部分画像Ｕが、基準画像Ｇ0のうち各部分画像Ｕに対応する位置に合成される。すなわち、撮影状態が良好である複数の部分画像Ｕ（例えば利用者が押圧していない領域の画像）が基準画像Ｇ0に合成される。したがって、楽譜の広範囲にわたり撮影状態が良好な合成画像ＧBを生成することが可能である。
【００３７】
また、第１実施形態では、楽譜内の２個の譜表５４の集合（すなわち大譜表）毎に撮影画像ＧAを区画した部分画像Ｕを単位として評価指標Ｗの算定と部分画像Ｕの選択および合成とが実行されるから、撮影画像ＧA内の１個の譜表５４が複数の部分画像Ｕに分断される可能性が低減される。したがって、１個の譜表５４の分断や途切れ（例えば直線の不連続）が抑制された自然な楽譜の画像を生成することが可能である。
【００３８】
第１実施形態では、Ｊ個の楽譜記号５２(1)〜５２(J)の配列である楽譜記号列５６に各楽譜記号５２(j)の位置で交差する段領域５８(j)内の譜表５４の割合λ(j)に応じて評価指標Ｗが算定される。したがって、撮影方向の適否を定量的に評価可能な評価指標Ｗを算定することが可能である。
【００３９】
また、第１実施形態では、楽譜を撮影した動画像を構成する複数の撮影画像ＧAの各々について、指標算定部２２による部分画像Ｕ毎の評価指標Ｗの算定（ＳA2）と、画像選択部２４による部分画像Ｕの選択（ＳA3）と、画像合成部２６による部分画像Ｕの合成（ＳA4）とが、撮影装置１２による一連の動画像の撮影に並行して順次に実行される。したがって、複数の撮影画像ＧAの各々について利用者が撮影を指示することなく、動画像の撮影の進行に並行して合成画像ＧBを生成することが可能である。
【００４０】
＜第２実施形態＞
本発明の第２実施形態を説明する。以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００４１】
図８は、第２実施形態の画像処理装置１００の構成図である。図８に例示される通り、第２実施形態の画像処理装置１００の制御装置１４は、第１実施形態と同様の要素（指標算定部２２，画像選択部２４，画像合成部２６，表示制御部２８）に加えて画像補正部３０として機能する。画像補正部３０は、画像選択部２４が選択した部分画像Ｕの補正で部分画像ＵAを生成する。画像選択部２４が選択する部分画像Ｕは、評価指標Ｗが閾値ＷTHを上回る程度に撮影状態は良好であるものの、実際には楽譜の表面の変形（例えば湾曲）に起因した歪みが発生し得る。画像補正部３０は、部分画像Ｕにおける楽譜の歪みを低減するための補正で部分画像ＵAを生成する。画像合成部２６は、画像補正部３０による補正後の複数の部分画像ＵAを第１実施形態と同様に基準画像Ｇ0に合成することで合成画像ＧBを生成する。
【００４２】
図９は、画像補正部３０が部分画像Ｕを補正する処理（以下「画像補正処理」という）のフローチャートである。画像選択部２４が部分画像Ｕを選択した場合に図９の画像補正処理が実行される。
【００４３】
画像補正部３０は、図１０に例示される通り、相互に直交するｘ軸とｙ軸とを各部分画像Ｕ内に設定する（ＳB1）。ｙ軸は、撮影画像ＧAの縦方向に平行な軸線であり、ｘ軸は、撮影画像ＧAの横方向に平行な軸線である。図１０に例示される通り、部分画像Ｕのうち左端に位置するｙ軸に平行な縁辺における中点が、ｘ軸とｙ軸との交差点（すなわち原点）に設定される。したがって、ト音記号が配置された譜表５４Aに対応する線分Ｌの多数はｘ軸からみてｙ軸の正側の領域に分布し、ヘ音記号が配置された譜表５４Bに対応する線分Ｌの多数はｘ軸からみてｙ軸の負側の領域に分布する。すなわち、ト音記号が配置された譜表５４Aの線分Ｌとへ音記号が配置された譜表５４Bの線分Ｌとはｘ軸を挟んで相互に反対側に位置する傾向がある。以下の説明では、任意の１個の部分画像ＵにＮ本の線分Ｌが包含される場合を想定する。線分Ｌの総数Ｎは部分画像Ｕ毎に相違し得る。
【００４４】
画像補正部３０は、撮影装置１２が撮影した楽譜の表面形状を近似する形状近似線Ｑを、部分画像Ｕから検出された複数の線分Ｌから特定する（ＳB2）。形状近似線Ｑは、図１０に破線で例示される通り、楽譜内で横方向に延在する１本の直線が湾曲した状態を表象する曲線である。第２実施形態の形状近似線Ｑは、ｘ-ｙ平面内の関数ｆ(x)で表現される。関数ｆ(x)の具体的な形式は任意であるが、例えば三角関数を含む以下の数式(1)の関数ｆ(x)で形状近似線Ｑが表現され得る。なお、数式(1)の変数θk（ｋ＝０,１,２,……）は、所定の範囲内の数値（例えば−１＜θk＜１）に制限される。
【数１】
0006746892.tif 000002
ただし、形状近似線Ｑを表現する関数ｆ(x)の形式は前述の数式(1)に限定されない。例えば、一次関数や二次関数等の任意の形式の関数ｆ(x)を形状近似線Ｑの記述に採用することが可能である。また、複数種の関数のうち利用者が選択した関数ｆ(x)を形状近似線Ｑに利用することも可能である。
【００４５】
図１１は、画像補正部３０が形状近似線Ｑ（関数ｆ(x)）を特定する処理の説明図である。図１１には、関数ｆ(x)で表現される形状近似線Ｑと部分画像Ｕ内の任意の１個の線分Ｌとが図示されている。線分Ｌの一方の端点Ｅ1は座標(ｘE1,ｙE1)に位置し、他方の端点Ｅ2は座標(ｘE2,ｙE2)に位置する。
【００４６】
図１１に例示される通り、任意の１個の線分Ｌ上の特定の地点（以下「特定点」という）Ｍを通過する直線Ｖが、形状近似線Ｑに交点Ｐで交差する場合を想定する。直線Ｖは、具体的には線分Ｌの垂線である。また、第２実施形態の特定点Ｍは、線分Ｌの中点であり、座標(ｘM,ｙM)に位置する（ｘM＝(ｘE1＋ｘE2)/２，ｙM＝(ｙE1＋ｙE2)/２）。また、直線Ｖと形状近似線Ｑとの交点Ｐは、座標(ｘP,ｆ(xP))に位置する。
【００４７】
第２実施形態の画像補正部３０は、線分Ｌ上の特定点Ｍと形状近似線Ｑ上の交点Ｐとの間の距離Ｄを部分画像Ｕ内のＮ個の線分Ｌについて加算した指標（以下「距離指標」という）Ｚ(x)が最小化されるように形状近似線Ｑ（関数ｆ(x)）を特定する。すなわち、画像補正部３０は、形状近似線Ｑに対する各線分Ｌの隔たり（距離Ｄ）が複数の線分Ｌについて全体的に低減されるように形状近似線Ｑを特定する。具体的には、第２実施形態の画像補正部３０が形状近似線Ｑを特定する処理（ＳB2）は、以下の数式(2)および数式(3)で表現される。
【数２】
0006746892.tif 000003
【００４８】
以上の説明から理解される通り、第２実施形態の画像補正部３０は、数式(3)の条件のもとで距離指標Ｚ(x)が最小化されるように交点Ｐの座標（ｘP,ｆ(ｘP)）と関数ｆ(x)の変数θkとを選定することで、形状近似線Ｑを表現する関数ｆ(x)を特定する。数式(2)の右辺の第１項は、Ｎ個の線分Ｌにわたる距離Ｄ（Ｄ＝(ｘP−ｘM)2＋(ｆ(xP)−ｙM)2）の総和であり、第２項は、距離指標Ｚ(x)の最適解の発散を抑制するための正規化項である。また、数式(3)は、図１１の線分Ｌと直線Ｖとが直交するという条件を意味する。形状近似線Ｑの特定（数式(2)および数式(3)の演算）には公知の最適化方法が任意に採用され得るが、ラグランジュ（Lagrange）の未定乗数法等の解析的な最適化方法が好適である。
【００４９】
画像補正部３０は、以上の手順で特定した形状近似線Ｑ（関数ｆ(x)）を利用して部分画像Ｕを補正することで部分画像ＵAを生成する（ＳB3）。例えば、画像補正部３０は、各部分画像Ｕの形状近似線ＱがＸ軸に平行な直線に変換される（すなわち、各譜表５４の湾曲が解消される）ように部分画像Ｕの各画素をｘ-ｙ平面内で移動することで、補正後の部分画像ＵAを生成する。具体的には、例えば図１２に例示される通り、関数ｆ(x)の関数値（関数ｆ(x)と直線ｙ＝０との差分）に相当する距離だけ部分画像Ｕ内の各画素をｙ軸の方向に移動することで部分画像ＵAが生成される。ただし、形状近似線Ｑを利用した部分画像Ｕの補正方法は以上の例示に限定されない。
【００５０】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、部分画像Ｕ内の複数の線分Ｌの分布に応じた形状近似線Ｑを利用して当該部分画像Ｕが補正される。したがって、書籍との距離を複数点で測距する特許文献１の測距装置を必要とせずに、楽譜の表面の変形に起因した楽譜の歪みを簡便な構成および処理で補正することが可能である。
【００５１】
また、第１実施形態では、線分Ｌと形状近似線Ｑとの距離ＤをＮ個の線分Ｌについて加算した距離指標Ｚ(x)が最小化されるように形状近似線Ｑが特定される（すなわち複数の線分Ｌの分布が形状近似線Ｑに反映される）から、楽譜の表面形状を高精度に近似する適切な形状近似線Ｑを特定できるという利点がある。第１実施形態では、相互に隣合う２段の譜表５４（すなわち大譜表）に対応する複数の線分Ｌから形状近似線Ｑが特定されるから、譜表５４の１段分のみから形状近似線Ｑを特定する構成と比較して、楽譜の表面形状を高精度に近似する適切な形状近似線Ｑを特定することが可能である。
【００５２】
＜変形例＞
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
【００５３】
（１）前述の各形態では、部分画像Ｕに関する処理（ＳA2〜ＳA5）の実行前に基準画像Ｇ0を選択したが、撮影装置１２による動画像の撮影に並行して基準画像Ｇ0を随時に更新することも可能である。例えば、画像指標ＷGが最大となる撮影画像ＧAを基準画像Ｇ0として更新する構成が採用される。
【００５４】
（２）前述の各形態では、利用者からの指示を契機として図７の画像合成処理を終了（ＳA6：YES）したが、画像合成処理の終了（すなわち合成画像ＧBの確定）の契機は利用者からの指示に限定されない。例えば、基準画像Ｇ0内で各部分画像Ｕに対応する全領域について撮影画像ＧA内の部分画像Ｕが合成されたことを契機として画像合成処理を終了することも可能である。
【００５５】
（３）前述の各形態では、段領域５８(j)内に含まれる譜表５４の割合λ(j)に応じた評価指標Ｗを算定したが、評価指標Ｗの算定方法は以上の例示に限定されない。例えば、部分画像Ｕのうち利用者の手Ｈ（すなわち本来の被写体以外の要素）で被覆されていない領域の割合に応じた評価指標Ｗや、楽譜の表面の変形に起因した譜表５４の歪みの度合に応じた評価指標Ｗを、部分画像Ｕ毎に算定することも可能である。例えば部分画像Ｕの明瞭度やコントラスト等の特性値に応じて評価指標Ｗを算定する構成も想定される。以上の説明から理解される通り、各部分画像Ｕの評価指標Ｗは、当該部分画像Ｕの撮影状態の適否の指標として包括的に表現される。評価指標Ｗが示す撮影状態は、撮影方向等の撮影条件，被写体の撮影を阻害する要素（例えば利用者の手Ｈ）の有無，部分画像Ｕ内の歪み，部分画像Ｕの明瞭度やコントラスト等の特性値など、部分画像Ｕに関する様々な状態を包含する。
【００５６】
（４）前述の各形態では、部分画像Ｕの撮影状態が良好であるほど評価指標Ｗが増加する構成を例示したが、撮影状態の適否と評価指標Ｗの大小との関係は逆転され得る。すなわち、撮影状態が良好であるほど評価指標Ｗが減少するように評価指標Ｗを算定することも可能である。以上の構成では、評価指標Ｗが閾値ＷTHを下回る部分画像Ｕを画像選択部２４が選択する。
【００５７】
（５）前述の各形態では、評価指標Ｗが閾値ＷTHを上回る部分画像Ｕを選択したが、部分画像Ｕの選択方法は以上の例示に限定されない。例えば、所定数（単数または複数）の撮影画像ＧAにわたる複数の部分画像Ｕのうち評価指標Ｗの順番で上位に位置する部分画像Ｕを画像選択部２４が選択することも可能である。以上の例示から理解される通り、評価指標Ｗと閾値ＷTHとの比較は部分画像Ｕの選択について必須の処理ではない。すなわち、画像選択部２４は、楽譜の相異なる領域に対応する複数の部分画像Ｕを、各部分画像Ｕの評価指標Ｗに応じて複数の撮影画像ＧAから選択する要素として包括的に表現される。
【００５８】
（６）前述の各形態では、譜表５４の２段分（すなわち大譜表）に相当する部分画像Ｕを例示したが、例えば譜表５４の１段分に相当する領域や３段分以上にわたる領域を部分画像Ｕとして撮影画像ＧAに区画することも可能である。
【００５９】
（７）指標算定部２２が算定する楽譜記号５２(j)はト音記号およびへ音記号に限定されない。例えば、ト音記号およびへ音記号の一方やハ音記号を楽譜記号５２(j)として検出することも可能である。また、例えば弦楽器の各弦に対応する複数の直線で構成される譜表５４に奏法（具体的には運指）を表記したタブ譜を撮影装置１２で撮影する場合には、各譜表５４の左端に縦書きされた「ＴＡＢ」の文字列を楽譜記号５２(j)として検出することが可能である。
【００６０】
（８）前述の各形態では、撮影装置１２が楽譜を撮影する場合を例示したが、撮影装置１２の被写体は楽譜に限定されない。例えば、書籍や印刷物等の書類を撮影する場合を含む任意の撮影の場面で本発明を利用することが可能である。
【００６１】
（９）前述の各形態では、撮影装置１２による動画像の撮影で複数の撮影画像ＧAを生成したが、動画像を構成する画像を撮影画像ＧAとする必要は必ずしもない。例えば、撮影装置１２が静止画として順次に撮影した画像を撮影画像ＧAとして合成画像ＧBを生成することも可能である。
【００６２】
（１０）移動体通信網やインターネット等の通信網を介して端末装置（例えば携帯電話機やスマートフォン）と通信するサーバ装置で画像処理装置１００を実現することも可能である。具体的には、画像処理装置１００は、端末装置に搭載された撮影装置１２が生成した撮影画像ＧAを端末装置から順次に受信し、当該撮影画像ＧAに対する画像合成処理で生成された合成画像ＧBを端末装置に送信する。また、相互に別体で構成された複数の装置の集合（例えば端末装置とサーバ装置とを含むシステム）で画像処理装置１００を実現することも可能であり、画像処理装置１００を構成する複数の装置にわたる機能の分担は任意である。
【００６３】
（１１）前述の各形態で例示した画像処理装置１００は、前述の各形態の例示の通り、制御装置１４とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、被写体（例えば楽譜）を順次に撮影した複数の撮影画像ＧAの各々について、当該撮影画像ＧAのうち被写体の相異なる領域に対応する部分画像Ｕ毎に、撮影状態の適否の指標である評価指標Ｗを算定する指標算定部２２、被写体の相異なる領域に対応する複数の部分画像Ｕを、各部分画像Ｕの評価指標Ｗに応じて複数の撮影画像ＧAから選択する画像選択部２４、および、画像選択部２４が選択した複数の部分画像Ｕの各々を、被写体を撮影した基準画像Ｇ0のうち当該部分画像Ｕに対応した位置に合成する画像合成部２６としてコンピュータを機能させる。以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。
【００６４】
（１２）本発明は、前述の各形態に係る画像処理装置１００の動作方法（画像処理方法）としても特定される。例えば、本発明の一態様に係る画像補正方法は、被写体（例えば楽譜）を順次に撮影した複数の撮影画像ＧAの各々について、当該撮影画像ＧAのうち被写体の相異なる領域に対応する部分画像Ｕ毎に、撮影状態の適否の指標である評価指標Ｗを算定し（ＳA2）、被写体の相異なる領域に対応する複数の部分画像Ｕを、各部分画像Ｕの評価指標Ｗに応じて複数の撮影画像ＧAから選択し（ＳA3）、選択した複数の部分画像Ｕの各々を、被写体を撮影した基準画像Ｇ0のうち当該部分画像Ｕに対応した位置に合成する（ＳA4）。
【符号の説明】
【００６５】
１００……画像処理装置、１２……撮影装置、１４……制御装置、１６……記憶装置、１８……表示装置、２２……指標算定部、２４……画像選択部、２６……画像合成部、２８……表示制御部、３０……画像補正部。
【図１】
0006746892.tif 000004
【図２】
0006746892.tif 000005
【図３】
0006746892.tif 000006
【図４】
0006746892.tif 000007
【図５】
0006746892.tif 000008
【図６】
0006746892.tif 000009
【図７】
0006746892.tif 000010
【図８】
0006746892.tif 000011
【図９】
0006746892.tif 000012
【図１０】
0006746892.tif 000013
【図１１】
0006746892.tif 000014
【図１２】
0006746892.tif 000015