(57)【要約】【課題】ユーザの利便性を損なうことなく、頁画像の歪み方に応じて湾曲補正と矩形補正とを自動的に切り替えて実行する。【解決手段】ＣＰＵ７７は、表示機能及びタッチ入力機能を有する表示部に、頁画像とメッシュ画像とを重畳表示し、表示部へのユーザによるタッチ操作に応じて、メッシュ画像を伸縮、回転、移動、又は変形し、伸縮、回転、移動、又は変形された編集後のメッシュ画像の形状が湾曲している場合には湾曲補正処理を選択し、メッシュ画像の形状が矩形形状である場合には矩形補正処理を選択し、メッシュ画像の形状が台形形状である場合には台形補正処理を選択し、選択した歪み補正処理に従って、頁画像の形状を補正する。【選択図】図９
2017163464.tif 000002
【特許請求の範囲】
【請求項１】
表示機能及びタッチ入力機能を有する入力表示部に、処理対象の画像とメッシュ画像とを重畳表示する表示制御手段と、
前記入力表示部へのユーザによるタッチ操作を検出する検出手段と、
前記検出手段によって検出されたタッチ操作に応じて、前記メッシュ画像を伸縮、回転、移動、又はその形状を変形する編集手段と、
前記編集手段による編集後のメッシュ画像の形状に基づいて、複数の歪み補正処理のうち１つの歪み補正処理を選択する選択手段と、
前記選択手段によって選択された歪み補正処理によって、前記処理対象の画像の形状を補正する補正手段と、
を備えることを特徴とする頁画像補正装置。
【請求項２】
前記選択手段は、前記編集後のメッシュ画像を構成する上側又は下側のベジェ曲線の制御点のそれぞれが直線をなさない場合に湾曲補正処理を選択する、
ことを特徴とする請求項１に記載の頁画像補正装置。
【請求項３】
前記選択手段は、前記編集後のメッシュ画像を構成する上側及び下側のベジェ曲線の制御点のそれぞれが直線をなし、且つ、前記ベジェ曲線の上側及び下側の左端、及び上側及び下側の右端の制御点の水平方向の位置が同じである場合に矩形補正処理を選択する、
ことを特徴とする請求項１又は２に記載の頁画像補正装置。
【請求項４】
前記選択手段は、前記編集後のメッシュ画像を構成する上側及び下側のベジェ曲線の制御点のそれぞれが直線をなし、且つ、前記編集後のメッシュ画像の外形が台形である場合に台形補正処理を選択する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の頁画像補正装置。
【請求項５】
前記台形補正処理は、透視変換を含む、
ことを特徴とする請求項４に記載の頁画像補正装置。
【請求項６】
前記編集手段は、
前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成する上側又は下側のベジェ曲線上の複数の制御点のうち、いずれか１つの制御点に対する個別操作である場合に、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形し、
前記検出手段によって検出されたタッチ操作が、前記複数の制御点を同時に操作する全体操作である場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像を伸縮、回転、又は移動する、
ことを特徴とする請求項１乃至５のいずれか一項に記載の頁画像補正装置。
【請求項７】
前記個別操作は、前記入力表示部へのタッチ操作が１本の指によるタッチであり、前記全体操作は、前記入力表示部へのタッチ操作が２本以上の指による同時タッチである、
ことを特徴とする請求項６に記載の頁画像補正装置。
【請求項８】
前記編集手段は、
前記１本の指が前記入力表示部上をドラッグされる際の移動方向、及び移動量に基づいて、前記１本の指でタッチされた１つの制御点を移動することで前記メッシュ画像の形状を変形し、
前記２本以上の指が前記入力表示部上をドラッグされる際の移動方向、及び移動量に基づいて、前記複数の制御点を移動することで前記メッシュ画像の形状を伸縮、回転、又は移動する、
ことを特徴とする請求項７に記載の頁画像補正装置。
【請求項９】
処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正方法であって、
前記処理対象の画像と前記メッシュ画像とを表示する入力表示部へのユーザによるタッチ操作を検出するステップと、
前記検出されたタッチ操作に応じて、前記メッシュ画像を伸縮、回転、移動、又は変形させるステップと、
前記伸縮、回転、移動、又は変形されたメッシュ画像の形状に基づいて、複数の歪み補正処理のうち１つの歪み補正処理を選択するステップと、
前記選択された歪み補正処理によって、前記処理対象の画像の形状を補正するステップと、
を含むことを特徴とする頁画像補正方法。
【請求項１０】
処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正装置のコンピュータを、
表示機能及びタッチ入力機能を有する入力表示部に、前記処理対象の画像と前記メッシュ画像とを重畳表示する表示制御手段、
前記入力表示部へのユーザによるタッチ操作を検出する検出手段、
前記検出手段によって検出されたタッチ操作に応じて、前記メッシュ画像を伸縮、回転、移動、又はその形状を変形させる編集手段、
前記編集手段による編集後のメッシュ画像の形状に基づいて、複数の歪み補正処理のうち１つの歪み補正処理を選択する選択手段、
前記選択手段によって選択された歪み補正処理によって、前記処理対象の画像の形状を補正する補正手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置、画像補正方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、本を裁断することなく、そのままの状態で頁を捲りながらカメラで撮影して電子化する技術が提案されている。本を自然な状態で開いて上部から撮影すると、本の頁の撓（たわ）みにより、画像中の文字列や図表が歪み、画像中の文字列や図表を読解することが難しい。
【０００３】
そこで、例えば、特許文献１では、画像処理を行うアプリケーションが、歪んだ頁画像の上にメッシュ画像を表示し、紙面の湾曲具合に合わせるようにメッシュ画像を操作し、当該メッシュ画像に基づいて頁画像の歪みを補正する湾曲補正が提案されている。また、特許文献２では、頁画像を複数の領域に分割し、分割領域ごとに正しい形状（矩形）になるように頁画像の歪みを補正する矩形補正が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１９２９０１号公報
【特許文献２】特開２０１５−１１９４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１、２による補正方法では、ユーザの操作方法が異なり、矩形補正では直線を直線のまま移動させてトリミング領域を調整するのに対して、湾曲補正では曲線に関係する点を移動させて曲線の形を変化させてトリミング領域を調整する。このように、それぞれの操作方法が異なるため、双方の補正方法を採用した場合に非常に使い勝手が悪くなるという問題があった。
【０００６】
また、ユーザは、湾曲補正を行うか、矩形補正を行うかを、本ごとに選択することになる。すなわち、１つの本を電子化する際に、この頁は湾曲補正で残りは矩形補正などと区別することができない。湾曲補正に比べて矩形補正は、処理が簡単で短い時間で処理を実現することができる。また、湾曲補正の方が矩形補正に比べて高精度である。このため、一部でも精度の良い湾曲補正を選択すると、残りの頁は精度を求めていなくとも、１つの本に対して長い処理時間がかかってしまうという問題がある。
【０００７】
逆に、短時間で処理したいがために、一部に矩形補正を選択すると、他の部分で湾曲補正が必要とするような歪みの大きい頁があったとしても、精度が低いために十分に歪みを取り除くことができないという問題がある。当然、頁毎に補正方法を切り替えることも可能であるが、そのためにはユーザが頁ごとに補正方法を一つ一つ選び、異なる操作方法を実行する必要があり、ユーザの利便性（ユーザビリティ）を損なってしまう。
【０００８】
そこで本発明は、ユーザの利便性を損なうことなく、頁画像の歪み方に対応する歪み補正処理を選択的に切り替えて実行することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る頁画像補正装置は、表示機能及びタッチ入力機能を有する入力表示部に、処理対象の画像とメッシュ画像とを重畳表示する表示制御手段と、前記入力表示部へのユーザによるタッチ操作を検出する検出手段と、前記検出手段によって検出されたタッチ操作に応じて、前記メッシュ画像を伸縮、回転、移動、又はその形状を変形する編集手段と、前記編集手段による編集後のメッシュ画像の形状に基づいて、複数の歪み補正処理のうち１つの歪み補正処理を選択する選択手段と、前記選択手段によって選択された歪み補正処理によって、前記処理対象の画像の形状を補正する補正手段と、を備えることを特徴とする。
【００１０】
この発明に係る頁画像補正方法は、処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正方法であって、前記処理対象の画像と前記メッシュ画像とを表示する入力表示部へのユーザによるタッチ操作を検出するステップと、前記検出されたタッチ操作に応じて、前記メッシュ画像を伸縮、回転、移動、又は変形させるステップと、前記伸縮、回転、移動、又は変形されたメッシュ画像の形状に基づいて、複数の歪み補正処理のうち１つの歪み補正処理を選択するステップと、前記選択された歪み補正処理によって、前記処理対象の画像の形状を補正するステップと、を含むことを特徴とする。
【００１１】
この発明に係るプログラムは、処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正装置のコンピュータを、表示機能及びタッチ入力機能を有する入力表示部に、前記処理対象の画像と前記メッシュ画像とを重畳表示する表示制御手段、前記入力表示部へのユーザによるタッチ操作を検出する検出手段、前記検出手段によって検出されたタッチ操作に応じて、前記メッシュ画像を伸縮、回転、移動、又はその形状を変形させる編集手段、前記編集手段による編集後のメッシュ画像の形状に基づいて、複数の歪み補正処理のうち１つの歪み補正処理を選択する選択手段、前記選択手段によって選択された歪み補正処理によって、前記処理対象の画像の形状を補正する補正手段、として機能させることを特徴とする。
【発明の効果】
【００１２】
この発明によれば、ユーザの利便性を損なうことなく、頁画像の歪み方に対応する歪み補正処理を選択的に切り替えて実行することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の書画カメラシステム１の一例による概略構成を示す斜視図である。
【図２】本実施形態の書画カメラシステム１の他の例による概略構成を示す斜視図である。
【図３】本実施形態による情報処理端末７の略構成を示すブロック図である。
【図４】矩形補正処理に対するユーザインターフェースの一例を説明するための概念図である。
【図５】湾曲補正処理に対するユーザインターフェースの一例を説明するための概念図である。
【図６】矩形補正処理と湾曲補正処理の共通点を説明するための概念図である。
【図７】５つの制御点８０が一直線状であるが、等間隔でない場合のメッシュ画像９ｂの状態を示す模式図である。
【図８】本実施形態による情報処理端末７での補正処理を説明するためのフローチャートである。
【図９】本実施形態による情報処理端末７での補正処理を説明するためのフローチャートである。
【図１０】本実施形態によるメッシュ画像９を変形するためのタッチ操作を説明するための模式図である。
【図１１】本実施形態によるメッシュ画像９の制御点８０を個別に操作して変形するためのタッチ操作を説明するための模式図である。
【図１２】本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して伸縮させるためのタッチ操作を説明するための模式図である。
【図１３】本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して平行移動させるためのタッチ操作を説明するための模式図である。
【図１４】本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して回転させるためのタッチ操作を説明するための模式図である。
【図１５】本実施形態による、３本の指によるタッチ操作でメッシュ画像を回転させる場合の様子を示す模式図である。
【発明を実施するための形態】
【００１４】
Ａ．第１実施形態
以下に、本発明を実施するための最良の形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
【００１５】
図１は、本実施形態の書画カメラシステム１の一例による概略構成を示す斜視図である。なお、以下の説明においては本Ｂの頁Ｐを左から右へとめくる場合について説明する。図１に示すように、書画カメラシステム１には、本Ｂの頁Ｐを撮像する撮像手段としての書画カメラ２と、本Ｂの頁Ｐをめくる頁めくり装置３と、書画カメラ２及び頁めくり装置３に通信自在に接続されたパソコン４とを備えている。
【００１６】
書画カメラ２には、スタンド部２１と、スタンド部２１の上端に取り付けられたカメラ２２とが設けられている。スタンド部２１は本Ｂとカメラ２２との相対的な位置関係を調整できるように、前後方向、左右方向に傾倒自在であるとともに、上下方向に伸縮自在となっている。カメラ２２は、その画角内に本Ｂが収まるようにレンズが下方を向いている。カメラ２２とスタンド部２１との接合部には位置調整機構が設けられており、これによってカメラ２２のレンズが向く方向も調整できるようになっている。
【００１７】
頁めくり装置３は、開かれた本Ｂを保持する保持台６と、保持台６上の本Ｂの頁Ｐのめくり元位置で頁Ｐを保持し、頁Ｐのめくり先位置で頁Ｐに対する保持を解除するめくり装置本体３０を備えている。
【００１８】
保持台６は、図示しないヒンジにより折り畳み自在な一対の保持板６１、６２を備えている。ここで、本Ｂの頁Ｐが左から右へとめくられる場合は、一対の保持板６１、６２のうち、左側に配置された一方の保持板６１が卓上に沿うように置かれ、右側に置かれる他方の保持板６２が一方の保持板６１に対して所定の角度で起き上がるように傾斜して卓上に置かれる。一方の保持板６１上には、本Ｂのめくり元位置となる頁Ｐが置かれ、他方の保持板６２上には、本Ｂのめくり先位置となる頁Ｐが置かれることになる。
【００１９】
これにより、保持台６は、めくり元位置にある頁Ｐよりもめくり先にある頁Ｐの方が本Ｂの綴じ目に対して起きる方向に傾斜するように本Ｂを保持することになる。なお、一対の保持板６１、６２がヒンジにより折り畳み自在となっているので、一対の保持板６１、６２のなす角度も調整することができ、めくり先位置にある頁Ｐの水平面に対する傾斜角度が調整自在となっている。
【００２０】
めくり装置本体３０は、駆動軸３３を中心に揺動するアーム部３４と、アーム部３４の先端に取り付けられ、本Ｂの頁Ｐに対して吸着する吸着部３５と、駆動軸３３、アーム部３４及び吸着部３５を支持する台座部３８と、めくり元位置にある頁Ｐの上方に風を通過させることでめくり先位置にある頁Ｐに対して風を当てる送風部５と、各部を制御する図示しない制御部とを備えている。
【００２１】
図１に示すように、駆動軸３３の先端部には回転体３２１が取り付けられている。この回転体３２１には、駆動軸３３に直交する平面に沿うようにアーム部３４が取り付けられている。アーム部３４は例えば樹脂製の矩形板状部材である。このアーム部３４は、長手方向に垂直な断面の形状が平な板状となっている。アーム部３４の先端には、例えばモータなどの駆動部３７を介して吸着部３５が取り付けられている。吸着部３５は、略円柱状の粘着部である。
【００２２】
図２は、本実施形態の書画カメラシステム１の他の例による概略構成を示す斜視図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図２に示す書画カメラシステム１は、図１に示す書画カメラ２、書画カメラ２及び頁めくり装置３に通信自在に接続されたパソコン４がないことが違うだけであり、頁めくり装置３自体は同じである。図２に示す書画カメラシステム１では、書画カメラ２及びパソコン４に代えて、カメラ部を備える、スマートフォンやタブレット端末など（以下、情報処理端末７という）を用いる。情報処理端末７は、例えば、適度な高さに平板面を備えるテーブルなどの据置台８に設置する。情報処理端末７は、表示部７１が上方に向き、撮像部７２がその画角内に本Ｂが収まるように下方に向くように伏せて設置される。撮像部７２は、情報処理端末７の上部中央、あるいは上部片隅（表示部７１から見て右端側）に設けられている。
【００２３】
上述した図１、図２のいずれの構成においても、頁めくり動作においては、まず、アーム部３４を保持板６１側の頁Ｐのめくり元位置側に移動させ、吸着部３５でめくり元位置の頁Ｐを吸着し、吸着した状態でアーム部３４を保持板６２側のめくり先位置へと移動させる。当該頁Ｐがアーム部３４の往動に追従してめくり先位置へと移動することになる。そして、めくり先位置で、駆動部３７によって吸着部３５を回転させることで吸着した頁Ｐを分離する。このとき、所定のタイミングで、カメラ２２又は情報処理端末７の撮像部７２によってまだめくられていない保持板６１側の頁Ｐを撮像する。その後、往動時とは逆方向にアーム部３４を保持板６１側のめくり元位置側に移動させる。吸着部３５は、めくり元位置側で新たな頁Ｐ（撮像後の頁）に吸着する。この往復動作を繰り返すことで頁Ｐのめくり動作が進行する。
【００２４】
そして、最終頁に達するまで、本Ｂの片側の全頁（例えば奇数頁）がカメラ２２によって撮影され画像データは、一枚毎（一撮像毎）にナンバリングされてパソコン４又は情報処理端末７のＣＰＵ７７（後述）に転送され、所定の記憶部等に保持される。ユーザは、本Ｂを反転させて保持台６に設置し、上述した頁めくり動作を再度行う。これにより、最終頁に達するまで、本Ｂの片側の全頁（例えば偶数頁）がカメラ２２によって撮影され、上述したように、一枚毎（一撮像毎）にナンバリングされてパソコン４又は情報処理端末７のＣＰＵ７７（後述）に転送され、所定の記憶部等に保持される。その後、奇数頁、偶数頁を互い違いに頁順に並び替えるようにして、全頁のスキャン画像としてまとめる。
【００２５】
また、この段階では、頁Ｐの画像データは、本の頁の撓（たわ）みなどにより、頁全体や、ページ内の画像、文字列、図表などが歪んでいるので、パソコン４又は情報処理端末７では、所定のアプリケーションによって、頁画像に対して湾曲補正、矩形補正、又は台形補正を行い、頁画像の歪みを補正する。
【００２６】
本実施形態では、歪んだ頁画像の上にメッシュ画像を表示し、頁画像の歪み具合に合わせるようにメッシュ画像を変形させる操作を行う際、１つのユーザインターフェースにおいてメッシュ画像に対するユーザ操作（タッチ操作など）を変えることで、メッシュ画像を構成する線分を頁画像の歪み具合に曲線で合せることも、メッシュ画像を構成する線分を直線のまま平行移動、回転、又は伸縮させることで頁画像の歪み具合に合せることも可能とする。このため、本実施形態では、１つのユーザインターフェースで、統一されたユーザ操作によって、どの補正方法を適用するか意識することなく、メッシュ画像の形状を操作することができる。また、必要に応じて頁単位で補正方法を変更する場合も、ユーザの利便性を損なうことがない。
【００２７】
また、本実施形態では、頁画像に対して合わせたメッシュ画像を構成する線分に曲線が含まれる場合には、湾曲補正を適用し、メッシュ画像を構成する線分が直線である場合には、矩形補正又は台形補正が適用するように、頁単位でメッシュ画像の線分構成に応じて切り替える。つまり、ユーザは、頁画像の歪みを確認した上で湾曲補正を行うか、矩形補正を行うか、あるいは台形補正を行うかを選択したり、それぞれのためのユーザインターフェースを切り替えたりする必要がない。このため、本実施形態では、頁毎にメッシュ画像の形状を識別し、そのメッシュ画像の形状に基づいて該当頁画像に対する補正方法（アルゴリズム）切り替えるようにしたので、処理時間の短縮化（最適化）を図ることができるとともに、補正精度の低下を防ぐことができる。
【００２８】
なお、以下では、湾曲補正、矩形補正、又は台形補正などの画像処理を行う機器として、スマートフォンやタブレット端末などの情報処理端末７を用いる場合に付いて説明するが、パソコン４においても、ハードウェア構成は違うものの、同様のソフトウェア（アプリケーションプログラム）にて実現できることは言うまでもない。
【００２９】
図３は、本実施形態による情報処理端末７の略構成を示すブロック図である。図３において、情報処理端末７は、通信部７０、表示部７１、撮像部７２、ＲＯＭ７３、ＲＡＭ７４、操作部（タッチパネル）７５、記録媒体７６、及びＣＰＵ７７を備えている。通信部７０は、例えば、移動体通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は／及び無線ＬＡＮ（ＷｉＦｉ）を用いてインターネットなどのネットワークに接続する。撮像部７２は、光学レンズ群からなるレンズブロックと、ＣＣＤや、ＣＭＯＳなどの撮像素子からなり、レンズブロックから入った画像を撮像素子により撮像する。特に、本実施形態では、撮像部７２は、本Ｂの頁Ｐを撮像する。
【００３０】
ＲＯＭ７３は、後述するＣＰＵ７７により実行されるプログラムや動作等に必要とされる各種パラメータなどを記憶している。ＲＡＭ７４は、後述するＣＰＵ７７がプログラムを実行した際の一時的なデータや、各種アプリケーションプログラム、アプリケーションの実行に必要な各種パラメータなどのデータを記憶する。特に、本実施形態では、ＲＡＭ７４には、撮像した画像並びに補正した補正画像等が記憶される。
【００３１】
表示部７１は、液晶表示器や有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示器などからなり、特定の機能やアプリケーションなどに紐付けられているアイコンや、アプリケーション画面、各種のメニュー画面などを表示する。操作部（タッチパネル）７５は、指やスタイラス（ペン）などの直接接触、あるいは、近接を検出する。なお、操作部（タッチパネル）７５には、電源ボタンや音量ボタンなどの機械的なスイッチ類が含まれてもよい。特に、本実施形態では、操作部（タッチパネル）７５から、表示部７１に撮像した頁画像と該頁画像に重畳して表示されるメッシュ画像上の制御点を、ユーザのタッチ操作により個別に移動させたり、メッシュ画像の直線部分を維持した状態で伸縮、回転、平行移動させたりして、メッシュ画像の形状を頁画像の形状に合致させるように変形させるためのタッチ操作が入力される。また、表示部７１は、表示機能及びタッチ入力機能を有してもよく、表示部７１へのユーザのタッチ操作により、メッシュ画像の形状を頁画像の形状に合致させるように変形させるためのタッチ操作が入力されるものとしてもよい。
【００３２】
記録媒体７６は、撮像された画像データなどの各種データを保存する。ＣＰＵ７７は、上述したＲＯＭ７３に記憶されているプログラムを実行することで各部の動作を制御する。特に、本実施形態では、ＣＰＵ７７は、画像処理プログラムを実行することにより、ユーザのタッチ操作によって変形させたメッシュ画像を正しい形状（矩形）になるように、メッシュ画像とともに頁画像の形状を変形させることで頁画像の変形や湾曲などを補正するための湾曲補正処理、矩形補正処理、及び台形補正処理を実行する。
【００３３】
湾曲補正処理は、メッシュ画像の上下の線分が湾曲して歪んでいる場合に適用される処理である。これに対して、矩形補正処理は、メッシュ画像が全て直線で構成されている場合に適用される処理である。また、台形補正処理は、メッシュ画像が台形状（上下の線分は直線で、左右の成分は垂線に対して傾いている）になっている場合に適用される処理である。以下、湾曲補正処理、矩形補正処理及び台形補正処理について詳細に説明する。
【００３４】
（１−１）矩形補正処理（矩形トリミング）
図４は、矩形補正処理に対するユーザインターフェースの一例を説明するための概念図である。図４には、矩形補正処理に対するユーザインターフェースとして、頁画像１０上にメッシュ画像９ａを重畳させて表示部７１に表示した様子を示している。ユーザは、メッシュ画像９ａの一番外側の線を１本の指でタッチしてドラッグすることで、その辺が辺と垂直な方向（例として辺の上にある太い矢印Ａの方向）に移動させることができる。一つの辺が移動すると、それと結合する辺は、その移動に応じて伸縮し、全体として直方体の形状を保持する。
【００３５】
また、頁画像１０が傾いている場合がある。この場合、メッシュ画像９ａの各辺をドラッグしただけではメッシュ画像９ａを傾けることができないため、望んだ位置にメッシュ画像９ａを移動させることができない。そこで、「回転」ボタン７１１を用いて頁画像１０全体を回転させ、傾きが目立たないようにする。そして、再度、メッシュ画像９ａを移動させ、頁画像１０にほぼ合致する位置に重ねる。
【００３６】
そして、ユーザは、メッシュ画像９ａ、頁画像１０の回転の状態が適正だと判断したら、「プレビュー」ボタン７１２を押す。これにより、パラメータ（メッシュの位置、画像の回転角度）が決定され、矩形補正処理（矩形トリミング）後の頁画像１０が表示される。ここで、ユーザが更に修正が必要であると判断した場合には、また同様の処理を繰り返し行う。
【００３７】
（１−２）湾曲補正処理（湾曲トリミング）
図５は、湾曲補正処理に対するユーザインターフェースの一例を説明するための概念図である。図５には、湾曲補正処理に対するユーザインターフェースとして、頁画像１０上にメッシュ画像９ｂを重畳させて表示部７１に表示した様子を示している。複数の制御点８０は、メッシュ画像９ｂを構成するベジェ曲線（上線ＵＬ、及び下線ＤＬ）の制御点であり、上線ＵＬ、及び下線ＤＬに５点１組となって存在している。ユーザは、１本の指でいずれかの制御点８０をタッチして、頁画像１０の形状とメッシュ画像９ｂの形状とが一致するように制御点８０をドラッグすると、ベジェ曲線の変化としてメッシュ画像９ｂの全体形状が追従するようにして変形する。すなわち、制御点８０を操作することで、メッシュ画像９ａの上線ＵＬ、及び下線ＤＬを湾曲させることができる。
【００３８】
本Ｂを撮影すると、本Ｂの閉じ部の引っ張りや本Ｂの厚みで本Ｂに撓みが生じるため、上述した矩形補正処理などでは歪みのある画像になってしまう。そこで、メッシュ画像９ｂを曲線的に変形させて、頁画像１０の境界や曲がっている文字の並びに曲線を合わせて「プレビュー」ボタン７１２を押すと、メッシュ画像９ｂの曲線に合わせて頁画像１０をトリミングし、メッシュ画像９ｂの曲線を直線に直すように頁画像１０を変形させ、撓みを補正した頁画像１０を生成する。なお、矩形補正処理に対するユーザインターフェースにあった回転ボタン７１１はその特性上存在しない。
【００３９】
（１−３）両者の近い部分
図６は、矩形補正処理と湾曲補正処理の共通点を説明するための概念図である。矩形補正処理では、直線を移動させてメッシュ画像９ａの形状を調整するのに対して、湾曲補正処理では、曲線に関係する制御点８０を移動させてメッシュ画像９ｂの形状を調整する。そして、湾曲補正処理には、頁画像の歪みを変化させる機能もあり、アルゴリズムにも違いが存在し、出力された頁画像は別物になる。
【００４０】
しかしながら、ある頁画像に２つのアルゴリズムをかけて同様の頁画像が得られる場合がある。それは、図６に示すように、湾曲補正処理のメッシュ画像９ｂを構成する線分が矩形補正処理のメッシュ画像９ａのように全て直線になっているときである。このようになる条件は、以下の通りである。
【００４１】
条件１：５つの制御点８０が上下とも一直線状に並んでいる。
条件２：上下の端点（図示の矩形の制御点８０）が頁画像１０の横方向の座標に対し、それぞれ同じ位置にある（上線ＵＬの右端の制御点８０と下線ＤＬの右端の制御点８０とが同じ位置にあり、上線ＵＬの左端の制御点８０と下線ＤＬの左端の制御点８０も同様である）。
【００４２】
条件１、２の双方が成立すれば、湾曲補正処理（湾曲トリミング）を行ったときと矩形補正処理（矩形トリミング）を行ったときで処理後の頁画像１０に違いがない。したがって、ユーザが湾曲補正処理に対する操作を行っていたとしても、矩形補正処理を適用しても良いことになる。
【００４３】
また、湾曲補正処理（湾曲トリミング）において、条件１が成立していると、全ての線は直線になる。よって湾曲を補正する湾曲処理を行わなくてよい。よって、条件１だけ成立しているときは、矩形補正処理よりは処理時間がかかるが、湾曲補正処理よりは時間がかからない、上述した台形補正処理を用いて頁画像１０を補正することも可能である。
【００４４】
なお、図７に示すように、５つの制御点８０が一直線状であるが、等間隔でない場合には、直線であるという形状自体に変化はない。つまり、上記条件１、２に基づいてメッシュ画像９ｂの形状を判定すれば、湾曲補正処理、矩形補正処理、又は台形補正処理のいずれを適用するかを判断することが可能である。以下、本実施形態によるユーザインターフェースにおけるメッシュ画像は、湾曲補正処理、矩形補正処理、又は台形補正処理のいずれでも共通に用いることができるメッシュ画像９として説明する。
【００４５】
図８及び図９は、本実施形態による情報処理端末７での補正処理を説明するためのフローチャートである。まなお、情報処理端末７には、既に本Ｂの全頁の頁画像１０が頁順に所定のフォーマット形式の画像データとして記録媒体７６等に保存されているものとする。ユーザは、本Ｂの頁を撮像した後、情報処理端末７に対して、画像補正処理の実行を指示する。
【００４６】
ＣＰＵ７７は、まず、本Ｂの最初の頁画像１０を記録媒体７６からＲＡＭ７４に格納し、頁画像１０と当該頁画像１０上に重畳させた初期の歪んでいないメッシュ画像とを表示部７１に出力する（ステップＳ１０）。次に、ＣＰＵ７７は、操作部（タッチパネル）７５に対してユーザのタッチ操作があったか否かを判断する（ステップＳ１２）。そして、ユーザのタッチ操作がない場合には（ステップＳ１２のＮＯ）、ＣＰＵ７７は、ステップＳ１０に戻り、頁画像１０とメッシュ画像９の表示を継続する。
【００４７】
一方、操作部（タッチパネル）７５に対してユーザのタッチ操作があった場合には（ステップＳ１２のＹＥＳ）、ＣＰＵ７７は、タッチした指の数が１本又は２本以上であるか、すなわち、１本の指によるタッチ操作であるか、２本の指以上によるタッチ操作であるかを判断する（ステップＳ１４）。
【００４８】
図１０（ａ）、（ｂ）は、本実施形態によるメッシュ画像９を変形するためのタッチ操作を説明するための模式図である。ユーザは、メッシュ画像自体の形状を変えたい場合、すなわち、メッシュ画像上の制御点を個別に操作したい場合には、図１０（ａ）に示すように、１本の指で変形させたい箇所の制御点８０（図示の●は全て制御点）をタッチし、移動させたい方向に指をドラッグ（タッチした状態のままスライド）させればよい（個別操作）。つまり、この個別操作では、ベジェ曲線で構成されるメッシュ画像上の複数の制御点８０（本実施形態ではメッシュ画像の上下に各５点）の中から、１つの制御点８０を操作（移動）することになる。
【００４９】
ユーザは、図１０（ａ）に示すように、頁画像１０上に重ねて表示されているメッシュ画像９の形状をタッチ操作によって伸縮させて頁画像１０の形状に合わせる。ユーザが、タッチ操作によって頁画像１０の形状とメッシュ画像９の形状とが一致するように制御点８０を移動させると、メッシュ画像９の形状が制御点８０の移動に追従するようにしてリアルタイムで変形するようになっている。
【００５０】
メッシュ画像９の最上部の上線ＵＬと最下部の下線ＤＬは、４次のベジェ曲線で描画されている。この上線ＵＬの５点の制御点８０と下線ＤＬの５点の制御点８０とをそれぞれ動かすことによって上線ＵＬと下線ＤＬを自由に動かすことができる。ＣＰＵ７７は、この上線ＵＬと下線ＤＬを基準に所定のメッシュ生成アルゴリズムを用いて、上線ＵＬと下線ＤＬとに挟まれた横線や縦線の幅や、曲線の曲がり具合などを導出してリアルタイムでメッシュ画像９の形状を変形させる。
【００５１】
なお、本実施形態では、メッシュ画像９を変形させるための制御点８０を上下合計１０点としたが、これに限らず、メッシュ画像９を構成する複数の領域の各交点を制御点としてもよい。また、上線ＵＬと下線ＤＬに限定せずに、ユーザが変形させたい箇所をタッチ操作することで、そのタッチ操作された箇所を含む周囲の交点を、変形させるための制御点として機能させるようにしてもよい。この場合、制御点として有効であることを示すために、該当する交点のドットを大きくしたり、色を変えたりしてもよい。
【００５２】
一方、ユーザは、メッシュ画像の形状を変えることなく、メッシュ画像の直線部分を維持したまま伸縮、回転又は平行移動させたい場合、すなわち、メッシュ画像上の制御点の全てを同時に移動させるような操作したい場合には、図１０（ｂ）に示すように、２指以上でメッシュ画像９上をタッチして所定の操作を行えばよい（全体操作）。つまり、この全体操作では、全ての制御点８０（（図示の●は全て制御点；図示の例では５点）を同時に（互いの相対位置を変えずに）操作（伸縮、回転、平行移動）することになる。
【００５３】
ここで、上述したように、表示部７１の画面には、撮影した頁画像（不図示）とともに、ベジェ曲線から構成されるメッシュ画像９が表示されている。該メッシュ画像９を構成するベジェ曲線（４次）には上下にそれぞれ５点の制御点が存在する。なお、メッシュ画像９自体は、曲線から形成されるユーザインターフェースであって、後述する湾曲補正処理又は台形補正処理に直接関係するものではない。つまり、湾曲補正処理又は台形補正処理では、制御点８０が移動対象であるので、タッチ操作による指の位置から、移動対象となる制御点８０を特定する必要ある。
【００５４】
そこで、例えば、図１０（ｂ）に示すように、５点の制御点８０があるとして説明する。まず、予め、５点の制御点８０を全て含む矩形の座標を導出しておく。矩形の導出は、５点の中で横座標（ｘ座標）が最小の制御点（図示の例では制御点８０ｂ）、最大の制御点（図示の例では制御点８０ａ）、縦座標（ｙ座標）が最小の制御点（図示の例では制御点８０ｂ）、最大の制御点（図示の例では制御点８０ａ）を調べ、その最小量と最大量を元に上下左右の辺を構成すればよい。図示の例では、矩形の形状とメッシュ画像９の外郭と一致しているが、これに限定されるものではない。
【００５５】
次に、タッチ操作による２本以上の指の位置の幾何学上の、図１０（ｂ）に示す中心点ＣＰを測定する。この中心点ＣＰが上記矩形の中に入っている場合、矩形内の全て制御点８０に対して同時に（互いの相対位置を変えずに）、伸縮、回転、あるいは平行移動を行うと判断する。
【００５６】
中心点ＣＰの測定方法は、タッチ操作の指の全ての位置の座標を測定し、それらの値でｘ座標、ｙ座標それぞれの平均値を取ればよい。図１０（ｂ）に示す例では、２本の指でタッチ操作したときの例である。例えば、１本目の指のタッチ位置Ｔ１（ｘ１，ｙ１）、２本目の指のタッチ位置Ｔ２（ｘ２，ｙ２）とすると、２本の指の中心点ＣＰの座標は、（（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２）となる。このように、２本の指の中心点ＣＰの座標と、５点の制御点８０を全て含む矩形の座標とから、この中心点ＣＰが上記矩形の中に入っているか否かを判断することができる。
【００５７】
そして、図１０（ａ）に示すように、タッチ操作が１指である場合には（ステップＳ１４のＮＯ）、ＣＰＵ７７は、１本の指のタッチ操作による、ベジェ曲線で構成されたメッシュ画像上の制御点８０に対する個別操作であると判断し、タッチされた１指の動きに応じて対応する制御点を移動させる変形処理を実行する（ステップＳ１６）。
【００５８】
図１１は、本実施形態によるメッシュ画像９の制御点８０を個別に操作して変形するためのタッチ操作を説明するための模式図である。すなわち、ユーザは、図１１に示すように、制御点８０に指をタッチしたまま、その指をメッシュ画像の形状が頁画像１０の形状に合致するように変形させたい方向に移動させる。ＣＰＵ７７は、タッチしている指の移動方向、移動量に応じて、ベジェ曲線で構成されたメッシュ画像上の制御点８０を移動させる。メッシュ画像の形状は、制御点８０の移動に連動してリアルタイムで変形することになる。
【００５９】
詳細は後述するが、ユーザは、このような制御点８０の移動をリアルタイムで確認しながら、湾曲補正の程度を強くしたり、弱くしたり、あるいは部分的に調整したりするために、メッシュ画像９の制御点８０を１本の指のタッチ操作によって移動させて形状を変更することが可能となっている。
【００６０】
一方、タッチ操作が２本の指以上である場合には（ステップＳ１４のＹＥＳ）、ＣＰＵ７７は、タッチしている指の動作（移動）を検出し（ステップＳ１８）、どのような操作であるかを判断する（ステップＳ２０）。本実施形態では、２指以上でのタッチ操作の場合、２本の指の間隔が変化する動作（伸縮）、又は２本の指の相対的な位置が維持された状態で２本の指がその中心点を回転軸として回転（円弧）する動作（回転）、又は２本の指の相対的な位置が維持された状態で２本の指が移動する動作（平行移動）のいずれであるかを判断する。
【００６１】
ここで、上記伸縮、回転、平行移動について説明する。
図１２（ａ）〜（ｃ）は、本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して伸縮させるためのタッチ操作を説明するための模式図である。伸縮は、ある点を中心にそれぞれの制御点が遠くなったり、近づいたりする操作である。この伸縮操作によれば、ベジェ曲線で構成されるメッシュ画像９を、その形状を保ったまま大きくしたり小さくしたりできる。スマートフォンやタブレットなどのタッチデバイスでは、ピンチイン、ピンチアウトと呼ばれている操作法である。２本の指によるタッチ位置Ｔ１、Ｔ２の座標と該２本の指の中心点ＣＰの座標とを、タッチ開始から数フレーム分だけ測定する。そして、中心点ＣＰは、許容範囲の中で動いていないとし、２本の指によるタッチ位置Ｔ１、Ｔ２が、それぞれ中心点ＣＰから許容範囲の中で放射方向に離れたり近づいたりすることによる移動ベクトル、すなわち、タッチ位置Ｔ１とタッチ位置Ｔ２とが互いに反対方向へ移動する移動ベクトルを検知すると、ユーザのタッチ操作が伸縮操作であると判断する。
【００６２】
図１３（ａ）、（ｂ）は、本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して回転させるためのタッチ操作を説明するための模式図である。回転は、ある点を中心にして全ての点が同じ角度だけ回転する操作である。この回転操作によれば、ベジェ曲線で構成されるメッシュ画像９は、その形状を保ったまま回転だけする。すなわち、最初から直線であった場合には、直線を保ったまま傾きが変わっていくような操作になる。操作方法を簡単に説明すると、２本の指でメッシュ画像９上にタッチし、一方の指のタッチ位置Ｔ１をある方向に、他方の指のタッチ位置Ｔ２を逆の方向になぞるように動かす。例えば、人差し指と中指を操作部（タッチパネル）７５にタッチし、２本の指の中心点周りで指を回転させるようになぞれば回転操作となる。２本の指のタッチ位置Ｔ１、Ｔ２の座標と該２本の指の中心点ＣＰの座標とを、タッチ開始から数フレーム分だけ測定する。そして、中心点ＣＰは、許容範囲の中で動いていないとし、かつ２本の指によるタッチ位置Ｔ１、Ｔ２の移動ベクトルが逆方向になっていることを検知すると、ユーザのタッチ操作が回転操作であると判断する。
【００６３】
図１４（ａ）、（ｂ）は、本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して平行移動させるためのタッチ操作を説明するための模式図である。また、平行移動は、全ての制御点８０が同じ方向、同じ移動量で移動する操作である。操作方法を簡単に説明すると、２本の指でベジェ曲線で構成されるメッシュ画像９上をタッチし、タッチ位置Ｔ１、Ｔ２を同じ方向にずらすと、その移動量の分だけ全ての制御点８０が同じ方向に移動する。例えば、人差し指と中指を操作部（タッチパネル）７５にタッチし、手全体を動かすように画面をなぞれば平行移動操作となる。２本の指のタッチ位置Ｔ１、Ｔ２の座標と該２本の指の中心点ＣＰの座標とをタッチ開始から数フレーム分だけ測定する。そして、それぞれの移動したベクトルが、ある許容範囲の中で同一であると検知すると、ユーザのタッチ操作が平行移動操作であると判断する。
【００６４】
図８に示すフローチャートに説明を戻すと、例えば、図１２（ａ）に示すように、２本の指の間隔が変化する動作（伸縮）であった場合には（ステップＳ２０の伸縮）、ＣＰＵ７７は、タッチしている２本の指の移動量に応じて、ベジェ曲線で構成されたメッシュ画像の制御点８０の相対位置を変えることなく伸縮させる伸縮処理を実行する（ステップＳ２２）。例えば、図１２（ｂ）に示すように、タッチした状態で２本の指のタッチ位置Ｔ１、Ｔ２の間隔が広がるように移動した場合には、メッシュ画像は、２本の指の移動量に応じて各制御点８０の相対位置を変えることなく伸張（拡大）することになる。一方、図１２（ｃ）に示すように、タッチした状態で２本の指のタッチ位置Ｔ１、Ｔ２の間隔が狭まるように移動した場合には、メッシュ画像は、２本の指の移動量に応じて各制御点８０の相対位置を変えることなく縮小することになる。
【００６５】
より具体的には、伸縮の計算は、まず、２点のタッチ位置Ｔ１、Ｔ２の中心点ＣＰの座標Ｍ（ｘｍ，ｙｍ）を記録する。タッチ位置の１つの座標だけを用いて、前回のフレームの座標Ａ（ｘａ，ｙａ）、今回のフレームの座標Ｂ（ｘｂ，ｙｂ）とする。ＭＡ、ＭＢの距離ｒａ、ｒｂとして、その１フレームの間での伸縮率ｃ＝ｒｂ／ｒａとする。ある制御点ＸについてベクトルＭＸをｃ倍し、ＭＸ’とする。このベクトルの終点Ｘ’が伸縮後の制御点の座標である。これをフレームごとに全ての制御点８０に適用し、表示を更新すれば、メッシュ画像９を伸縮させることができる。
【００６６】
このように、メッシュ画像９の直線部分の形状を保ったまま、メッシュ画像９を自在に伸縮させることができる。これにより、頁画像１０内の直線性を有する領域にメッシュ画像９を容易に合致させることができることになる。
【００６７】
一方、図１３（ａ）に示すように、２本の指の相対的な位置が維持された状態で２本の指がその中心点を回転軸として回転（円弧）する動作（回転）であった場合には（ステップＳ２０の回転）、ＣＰＵ７７は、タッチしている２本の指の回転方向に、かつ指の回転量（回転角度）に応じた回転量（回転角度）だけ、ベジェ曲線で構成された制御点８０の相対位置を変えることなく、メッシュ画像９全体を２本の指の中心点ＣＰを回転軸にして回転させる回転処理を実行する（ステップＳ２４）。例えば、図１３（ｂ）に示すように、タッチした状態で２本の指が反時計回りに回転した場合には、メッシュ画像９は、２本の指の回転方向に、移動量に応じて各制御点８０の相対位置を変えることなく回転することになる。
【００６８】
より具体的には、回転の導出方法には２種類考えられる。
（１）タッチ位置Ｔ１、Ｔ２の２点の中心点ＣＰを回転軸として回転させる場合の導出方法
（２）タッチ位置Ｔ１、Ｔ２の２点のフレームごとの移動量を計算し、回転軸の点を導出、その軸周りに回転させる場合の導出方法
【００６９】
上記（２）は正確であるが、フレームごとに回転軸が変わり不安定になる（微小に振動してしまう）ので何らかの補正が必要である。上記（１）は実際と多少異なるが安定する。また、正確ではないが、指と指の間の回転軸は中心点ＣＰとそう変わらないと思われる。実際に違和感はない。よって上記（１）の例を説明する。
【００７０】
まず、中心点ＣＰの座標Ｍ（ｘｍ，ｙｍ）を記録する。情報処理端末７が回転の角度を検出できる機能を有している場合にはその角度を用いればよい。そうでない場合には、タッチした座標のうち１つを用いて、前回のフレームの座標の点Ａ（ｘａ，ｙａ）、今回のフレームの座標Ｂ（ｘｂ，ｙｂ）とすると、ベクトルＭＡ、ベクトルＭＢの内積から
ＭＡ・ＭＢ＝｜ＭＡ｜｜ＭＢ｜ｃｏｓθ
より、ｃｏｓθ・ｓｉｎθがそれぞれ求まる（θは回転角度である）。
【００７１】
次に、制御点８０を回転させる。
制御点８０の１つをＸ（ｘ，ｙ）とする。回転行列を用いて制御点８０の座標を変換したいので、回転軸である中心点ＣＰの座標Ｍを原点に移すように座標Ｘを変換する。
Ｘ’＝Ｘ−Ｍ＝（ｘ−ｘｍ，ｙ−ｙｍ）＝（ｘ’，ｙ’）
【００７２】
このＸ’に回転行列を乗算し、
ｘ’’＝ｘ’ｃｏｓθ−ｙ’ｓｉｎθ
ｙ’’＝ｘ’ｓｉｎθ＋ｙ’ｃｏｓθ
を得る。
【００７３】
この座標は、中心点が原点となっている座標系であるので、元に戻す。
（ｘ’’＋ｘｍ，ｙ’’＋ｙｍ）
この座標が回転後の制御点８０の座標である。これをフレームごとに全ての制御点８０に対して変更し、メッシュ画像９の表示を更新することで回転することになる。
【００７４】
回転については、更に３本の指によるタッチ操作も考えられる。
実際の使用例では、メッシュ画像９を構成する上下２本のベジェ曲線を用い、このベジェ曲線を２本とも回転させる処理にする。すなわち、３本の指でタッチした場合の中心点ＣＰを回転軸にし、上述した演算を上下のベジェ曲線の全ての制御点８０（上５点、下５点  計１０点）に適用する。このようにすれば、メッシュ画像９の形状全体が保たれたまま回転させることができる。
【００７５】
図１５（ａ）、（ｂ）は、本実施形態による、３本の指によるタッチ操作でメッシュ画像を回転させる場合の様子を示す模式図である。３本の指の場合にも２本の指のときと同様に、図１５（ａ）に示すように、３本の指の相対的なタッチ位置Ｔ１、Ｔ２、Ｔ３が維持された状態で３本の指がその中心点ＣＰを回転軸にして回転（円弧）させると、図１５（ｂ）に示すように、タッチしている３本の指の回転方向に、３本の指の中心点ＣＰを回転軸にしてメッシュ画像９全体を指の回転量（回転角度）に応じた回転量（回転角度）だけ回転させる。
【００７６】
このように、メッシュ画像の直線部分の形状を保ったまま、メッシュ画像を自在に回転させることができる。これにより、頁画像１０内の直線性を有する領域にメッシュ画像を容易に合致させることができることになる。
【００７７】
一方、図１４（ａ）に示すように、２本の指の相対的なタッチ位置Ｔ１、Ｔ２が維持された状態で２本の指が移動する動作（平行移動）であった場合には（ステップＳ２０の平行移動）、ＣＰＵ７７は、タッチしている２本の指の移動方向に、かつ指の移動量に応じて、ベジェ曲線で構成されたメッシュ画像の各制御点８０の相対位置を変えることなく、メッシュ画像９全体を平行移動させる平行移動処理を実行する（ステップＳ２６）。例えば、図１４（ｂ）に示すように、タッチした状態で２本の指が図面の下方に移動した場合には、メッシュ画像９は、２本の指の移動方向に、指の移動量に応じて各制御点８０の相対位置を変えることなく平行移動することになる。
より具体的には、平行移動の導出は、前回のフレームと今回のフレームから中心点ＣＰの移動ベクトルを計算し、５点の制御点８０の座標それぞれに移動ベクトルを足して新たな制御点８０の座標とし、制御点８０の表示も更新する。
【００７８】
このように、メッシュ画像の直線部分の形状を保ったまま、メッシュ画像を自在に平行移動させることができる。これにより、頁画像１０内の直線性を有する領域にメッシュ画像を容易に合致させることができることになる。
【００７９】
ＣＰＵ７７は、上述したステップＳ１６、Ｓ２２、Ｓ２４、又はＳ２６にて、メッシュ画像９（制御点８０）をユーザのタッチ操作に応じて変形、伸縮、回転、平行移動させた後、処理後のメッシュ画像９を頁画像１０上に重畳させて表示部７１に出力する（ステップＳ２８）。次に、ＣＰＵ７７は、次の処理、すなわち、メッシュ画像９に基づく頁画像１０に対する湾曲補正処理又は台形補正処理へ進むか否かを判断する（ステップＳ３０）。
【００８０】
ユーザは、ステップＳ２８で表示されるメッシュ画像９を視認し、まだ頁画像１０に合致しておらず、更にメッシュ画像９の形状、大きさ、角度、位置を修正させる必要があると判断すれば、例えばタッチ操作などによってメッシュ画像９の変形処理に戻る指示を入力する。一方、メッシュ画像９が頁画像１０に十分精度よく合致していれば、例えばタッチ操作などによって次の処理へ進む指示を入力する。あるいは、ユーザは、メッシュ画像９がまだ頁画像１０に合致しておらず、更にメッシュ画像９の形状、大きさ、角度、位置を修正させる必要があると判断した場合には何も指示せず、頁画像１０に十分精度よく合致していれば、次の処理へ進む指示を入力するようにしてもよい。
【００８１】
そして、メッシュ画像９の変形処理に戻る指示が入力された場合、あるいは次の処理へ進む指示が入力されない場合には（ステップＳ３０のＮＯ）、ＣＰＵ７７は、ステップＳ１２に戻り、上述したメッシュ画像９の修正を行う処理を繰り返す。ユーザから見た場合、表示部７１に表示されるメッシュ画像９に対して所定のタッチ操作を行うことで、処理が途切れることなく、連続してメッシュ画像９の形状を変形させたり、メッシュ画像９の大きさや、角度、位置を変えたりすることが可能である。
【００８２】
そして、ユーザは、ステップＳ２８で表示されるメッシュ画像９を視認し、メッシュ画像９が頁画像１０に十分精度よく合致していると判断し、次の処理へ進む指示を入力した場合には（ステップＳ３０のＹＥＳ）、ＣＰＵ７７は、現時点のメッシュ画像９の形状に基づいて、頁画像１０が略矩形状になるように頁画像１０に対して湾曲補正処理又は矩形補正処理又は台形補正処理を選択的に施す（ステップＳ３２）。より具体的には、ＣＰＵ７７は、メッシュ画像９が湾曲形状である場合には、頁画像１０に対して湾曲補正処理を実行し、メッシュ画像９が矩形形状である場合には、頁画像１０に対して矩形補正処理を実行し、メッシュ画像９が台形形状である場合には、頁画像１０に対して台形補正処理を実行する。
【００８３】
より詳細には、ＣＰＵ７７は、まず、メッシュ画像９の最上部の上線ＵＬと最下部の下線ＤＬの制御点が、どちらの組も一直線上に並んでいるか否か、すなわち、上線ＵＬと下線ＤＬがどちらも直線であるか否かを判断する（図９のステップＳ４０）。そして、上線ＵＬと下線ＤＬがどちらも直線である場合には（ステップＳ４０のＹＥＳ）、ＣＰＵ７７は、上線ＵＬの左右の端点と下線ＤＬの左右の端点とが、横方向に対する位置及び直線（上線ＵＬと下線ＤＬ）の長さが等しく、かつその直線（上線ＵＬと下線ＤＬ）が平行であるか否かを判断する（ステップＳ４２）。
【００８４】
そして、メッシュ画像９の上線ＵＬと下線ＤＬの始点の横方向に対する位置、及び直線の長さが等しく、かつその直線（上線ＵＬと下線ＤＬ）が平行である場合には（ステップＳ４２のＹＥＳ）、ＣＰＵ７７は、メッシュ画像９（頁画像１０）は矩形形状（直方体）であるので、該メッシュ画像９から導出される補正パラメータに基づいて、頁画像１０に対して矩形補正処理（矩形トリミング）を実行する（ステップＳ４４）。その後、図８のフローチャートに戻る。
【００８５】
一方、上線ＵＬと下線ＤＬがどちらも直線であるが（ステップＳ４０のＹＥＳ）、「メッシュ画像９の上線ＵＬと下線ＤＬの始点の横方向に対する位置、及び直線の長さが等しく、かつその直線（上線ＵＬと下線ＤＬ）が平行」でない場合には（ステップＳ４２のＮＯ）、ＣＰＵ７７は、メッシュ画像９（頁画像１０）が台形形状（又は、四角形）であるので、該メッシュ画像９から導出される補正パラメータに基づいて、頁画像１０に対して台形補正処理（台形トリミング）を実行する（ステップＳ４６）。なお、台形補正処理では、一般に透視変換と呼ばれる処理を行う。その後、図８のフローチャートに戻る。
【００８６】
一方、上線ＵＬと下線ＤＬがどちらも直線でない場合、すなわち少なくともいずれか一方でも直線でない場合には（ステップＳ４０のＮＯ）、ＣＰＵ７７は、メッシュ画像９（頁画像１０）が湾曲形状であるので、該メッシュ画像９から導出される補正パラメータに基づいて、頁画像１０に対して湾曲補正処理（湾曲トリミング）を実行する（ステップＳ４８）。その後、図８のフローチャートに戻る。
【００８７】
このように、メッシュ画像９の上線ＵＬと下線ＤＬにおける制御点の組に対してどのような位置関係かを調べ、その位置関係からメッシュ画像９（頁画像１０）の形状を判別し、該メッシュ画像９（頁画像１０）の形状に適した歪み補正処理アルゴリズムを選択して処理することで、ユーザの操作を煩雑にすることなく、処理時間の短縮を図ることができる。
【００８８】
次に、図８に説明を戻すと、ＣＰＵ７７は、処理後の頁画像１０と当該頁画像１０上に重畳させたメッシュ画像９とを再び表示部７１に出力する（ステップＳ３４）。なお、ステップＳ３０にて、ＣＰＵ７７が、画像認識を用いて、処理後のメッシュ画像９と頁画像１０とを比較し、所定の条件（互いのずれが許容範囲内であるかなど）に合致していれば、メッシュ画像９が頁画像１０に十分精度よく合致していると判断し、自動的に次の処理へ進むようにしてもよい。
【００８９】
次に、ＣＰＵ７７は、当該処理を終了するか、あるいは他の頁画像１０に対してもメッシュ画像９を変形するかを判断する（ステップＳ３６）。ユーザは、当該処理を終了するか、あるいは他の頁画像１０に対してもメッシュ画像９の編集を行うかの指示を入力する。そして、他の頁画像１０に対してもメッシュ画像の編集を行う指示が入力された場合には（ステップＳ３６のＮＯ）、ステップＳ１０に戻り、他の頁画像１０（例えば、次の頁画像１０やユーザにより指定された頁の頁画像１０）に対して、上述したステップＳ１０以降の処理を繰り返す。一方、当該処理を終了する指示が入力された場合には（ステップＳ３６のＹＥＳ）、当該処理を終了する。
【００９０】
上述した補正処理は、１頁の頁画像１０に対する処理であったが、基本的には、最初の頁画像１０と最後の頁画像１０に対して同様の補正処理を実行する。ＣＰＵ７７は、最初の頁画像１０に対するメッシュ画像９の形状と、最後の頁画像１０に対するメッシュ画像９の形状とに基づいて、中間の頁画像１０に対する補正パラメータを導出する。具体的には、まず、最初の頁Ｐから最後の頁Ｐにおける各制御点８０の移動量を導出し、該移動量を頁数に基づいて各頁の補正パラメータを線形で補間して導出する。これにより、最初の頁画像１０、中間の頁画像１０、及び最後の頁画像１０に対して、それぞれの頁に対する補正パラメータに基づいて補正処理を実行する。
【００９１】
また、上述した実施形態において、途中の頁を撮影し忘れていたり、撮影状態に不具合があったりし、途中の頁の撮り直しを行なった場合など、その頁画像１０に対して単独で上述したメッシュ画像９の編集を行って補正パラメータを導出するようにしてもよい。この場合、途中の頁画像１０に対して、最初の頁画像１０や、最後の頁画像１０とは異なる形状のメッシュ画像９が適用されたとしても、そのメッシュ画像９の形状に応じた補正処理が選択的に適用される。
【００９２】
上述した本実施形態によれば、タッチパネル７５上へのユーザによるタッチ操作に応じて、メッシュ画像９を伸縮、回転、移動、又はその形状を変形させ、該編集後のメッシュ画像９の形状に基づいて、複数の歪み補正処理のうち１つの歪み補正処理を選択し、該選択された歪み補正処理に従って、処理対象の頁画像１０の形状を補正するようにしたので、ユーザの利便性を損なうことなく、頁画像１０の歪み方に対応する歪み補正処理を選択的に切り替えて実行することができる。
【００９３】
この結果、１つの本Ｂに対する頁画像１０に対して、それぞれの頁画像１０に応じた歪み補正処理が選択的に切り替えて処理されるので、精度が必要な頁画像１０に対しては高精度な歪み処理（湾曲補正処理）、精度がそれほど必要とされない頁画像１０に対しては処理速度が速い歪み処理（矩形補正処理又は台形補正処理）というように、精度を低下させることなく、全体の処理時間短縮を期待できる。
【００９４】
また、上述した本実施形態によれば、編集後のメッシュ画像９を構成する上側又は下側のベジェ曲線の制御点のそれぞれが直線をなさない場合に湾曲補正処理を選択するようにしたので、ユーザの利便性を損なうことなく、頁画像１０の歪み方に対応する湾曲補正処理に切り替えて実行することができる。
【００９５】
また、上述した本実施形態によれば、編集後のメッシュ画像９を構成する上側及び下側のベジェ曲線の制御点のそれぞれが直線をなし、且つ、ベジェ曲線の上側及び下側の左端、及び上側及び下側の右端の制御点の水平方向の位置が同じである場合に矩形補正処理を選択するようにしたので、ユーザの利便性を損なうことなく、頁画像１０の歪み方に対応する矩形補正処理に切り替えて実行することができる。
【００９６】
また、上述した本実施形態によれば、編集後のメッシュ画像９を構成する上側及び下側のベジェ曲線の制御点のそれぞれが直線をなし、且つ、編集後のメッシュ画像９の外形が台形である場合に台形補正処理を選択するようにしたので、ユーザの利便性を損なうことなく、頁画像１０の歪み方に対応する台形補正処理に切り替えて実行することができる。
【００９７】
また、上述した本実施形態によれば、タッチ操作がメッシュ画像９を構成する上側又は下側のベジェ曲線上の複数の制御点８０のうち、いずれか１つの制御点８０に対する個別操作である場合に、タッチ操作により指定された１つの制御点８０を、タッチ操作に応じて移動させることで、メッシュ画像９の形状を変形し、タッチ操作が複数の制御点８０を同時に操作する全体操作である場合に、複数の制御点８０を同一条件でタッチ操作に応じて移動させることで、メッシュ画像９を伸縮、回転、又は移動するようにしたので、ユーザの利便性を損なうことなく、より容易な操作でメッシュ画像９の形状を頁画像１０の形状に合致させることができる。
【００９８】
また、上述した本実施形態によれば、個別操作は、タッチパネル７５上へのタッチ操作が１本の指によるタッチであり、全体操作は、タッチパネル７５上へのタッチ操作が２本以上の指による同時タッチであるようにしたので、ユーザの利便性を損なうことなく、より容易な操作でメッシュ画像９の形状を頁画像１０の形状に合致させることができる。
【００９９】
また、上述した本実施形態によれば、１本の指がタッチパネル７５上をドラッグされる際の移動方向、及び移動量に基づいて、１本の指でタッチされた１つの制御点８０を移動することでメッシュ画像９の形状を変形し、２本以上の指がタッチパネル７５上をドラッグされる際の移動方向、及び移動量に基づいて、複数の制御点８０を移動することでメッシュ画像９の形状を伸縮、回転、又は移動するようにしたので、ユーザの利便性を損なうことなく、より容易な操作でメッシュ画像９の形状を頁画像１０の形状に合致させることができる。
【０１００】
以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
【０１０１】
（付記１）
付記１に記載の発明は、表示機能及びタッチ入力機能を有する入力表示部に、処理対象の画像とメッシュ画像とを重畳表示する表示制御手段と、前記入力表示部へのユーザによるタッチ操作を検出する検出手段と、前記検出手段によって検出されたタッチ操作に応じて、前記メッシュ画像を伸縮、回転、移動、又はその形状を変形する編集手段と、前記編集手段による編集後のメッシュ画像の形状に基づいて、複数の歪み補正処理のうち１つの歪み補正処理を選択する選択手段と、前記選択手段によって選択された歪み補正処理によって、前記処理対象の画像の形状を補正する補正手段と、を備えることを特徴とする頁画像補正装置である。
【０１０２】
（付記２）
付記２に記載の発明は、前記選択手段は、前記編集後のメッシュ画像を構成する上側又は下側のベジェ曲線の制御点のそれぞれが直線をなさない場合に湾曲補正処理を選択する、ことを特徴とする付記１に記載の頁画像補正装置である。
【０１０３】
（付記３）
付記３に記載の発明は、前記選択手段は、前記編集後のメッシュ画像を構成する上側及び下側のベジェ曲線の制御点のそれぞれが直線をなし、且つ、前記ベジェ曲線の上側及び下側の左端、及び上側及び下側の右端の制御点の水平方向の位置が同じである場合に矩形補正処理を選択する、ことを特徴とする付記１又は２に記載の頁画像補正装置である。
【０１０４】
（付記４）
付記４に記載の発明は、前記選択手段は、前記編集後のメッシュ画像を構成する上側及び下側のベジェ曲線の制御点のそれぞれが直線をなし、且つ、前記編集後のメッシュ画像の外形が台形である場合に台形補正処理を選択する、ことを特徴とする付記１乃至３のいずれか一つに記載の頁画像補正装置である。
【０１０５】
（付記５）
付記５に記載の発明は、前記台形補正処理は、透視変換を含む、ことを特徴とする付記４に記載の頁画像補正装置である。
【０１０６】
（付記６）
付記６に記載の発明は、前記編集手段は、前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成する上側又は下側のベジェ曲線上の複数の制御点のうち、いずれか１つの制御点に対する個別操作である場合に、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形し、前記検出手段によって検出されたタッチ操作が、前記複数の制御点を同時に操作する全体操作である場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像を伸縮、回転、又は移動する、ことを特徴とする付記１乃至５のいずれか一つに記載の頁画像補正装置である。
【０１０７】
（付記７）
付記７に記載の発明は、前記個別操作は、前記入力表示部へのタッチ操作が１本の指によるタッチであり、前記全体操作は、前記入力表示部へのタッチ操作が２本以上の指による同時タッチである、ことを特徴とする付記６に記載の頁画像補正装置。である。
【０１０８】
（付記８）
付記８に記載の発明は、前記編集手段は、前記１本の指が前記入力表示部上をドラッグされる際の移動方向、及び移動量に基づいて、前記１本の指でタッチされた１つの制御点を移動することで前記メッシュ画像の形状を変形し、前記２本以上の指が前記入力表示部上をドラッグされる際の移動方向、及び移動量に基づいて、前記複数の制御点を移動することで前記メッシュ画像の形状を伸縮、回転、又は移動する、ことを特徴とする付記７に記載の頁画像補正装置である。
【０１０９】
（付記９）
付記９に記載の発明は、処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正方法であって、前記処理対象の画像と前記メッシュ画像とを表示する入力表示部へのユーザによるタッチ操作を検出するステップと、前記検出されたタッチ操作に応じて、前記メッシュ画像を伸縮、回転、移動、又は変形させるステップと、前記伸縮、回転、移動、又は変形されたメッシュ画像の形状に基づいて、複数の歪み補正処理のうち１つの歪み補正処理を選択するステップと、前記選択された歪み補正処理によって、前記処理対象の画像の形状を補正するステップと、を含むことを特徴とする頁画像補正方法である。
【０１１０】
（付記１０）
付記１０に記載の発明は、処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正装置のコンピュータを、表示機能及びタッチ入力機能を有する入力表示部に、前記処理対象の画像と前記メッシュ画像とを重畳表示する表示制御手段、前記入力表示部へのユーザによるタッチ操作を検出する検出手段、前記検出手段によって検出されたタッチ操作に応じて、前記メッシュ画像を伸縮、回転、移動、又はその形状を変形させる編集手段、前記編集手段による編集後のメッシュ画像の形状に基づいて、複数の歪み補正処理のうち１つの歪み補正処理を選択する選択手段、前記選択手段によって選択された歪み補正処理によって、前記処理対象の画像の形状を補正する補正手段、として機能させることを特徴とするプログラムである。
【符号の説明】
【０１１１】
１  書画カメラシステム
２  書画カメラ（撮像手段）
３  頁めくり装置
９  メッシュ画像
１０  頁画像
３０  めくり装置本体
３２１  回転体
３３  駆動軸
３４  アーム部
３５  吸着部
３７  駆動部
３８  台座部
４  パソコン
５  送風部
６  保持台
６１、６２  保持板
７  情報処理端末
８  据置台
７０  通信部
７１  表示部
７２  撮像部
７３  ＲＯＭ
７４  ＲＡＭ
７５  操作部（タッチパネル）
７６  記録媒体
７７  ＣＰＵ
８０、８０ａ、８０ｂ  制御点
Ｂ  本
Ｐ  頁
【図１】
2017163464.tif 000003
【図２】
2017163464.tif 000004
【図３】
2017163464.tif 000005
【図４】
2017163464.tif 000006
【図５】
2017163464.tif 000007
【図６】
2017163464.tif 000008
【図７】
2017163464.tif 000009
【図８】
2017163464.tif 000010
【図９】
2017163464.tif 000011
【図１０】
2017163464.tif 000012
【図１１】
2017163464.tif 000013
【図１２】
2017163464.tif 000014
【図１３】
2017163464.tif 000015
【図１４】
2017163464.tif 000016
【図１５】
2017163464.tif 000017