(57)【要約】【課題】容易な操作でメッシュ画像の形状を頁画像の形状に合致させる。【解決手段】ＣＰＵ７７は、タッチ操作が１指である場合には、１本の指のタッチ操作による、ベジェ曲線で構成されたメッシュ画像上の１つの制御点８０に対する個別操作であると判断し、タッチされた１本の指の動きに応じて対応する制御点８０を移動させる変形処理を実行する。一方、ＣＰＵ７７は、タッチ操作が２指以上である場合には、ベジェ曲線で構成されたメッシュ画像上の全ての制御点８０に対する全体操作であると判断し、２本の指の動作に応じて、メッシュ画像９の直線性を維持したまま、メッシュ画像９の全ての制御点８０を同時に移動させる変形処理を実行する。【選択図】図４
2017163465.tif 000002
【特許請求の範囲】
【請求項１】
表示機能及びタッチ入力機能を有する入力表示部に、処理対象の画像とメッシュ画像とを重畳表示する表示制御手段と、
前記入力表示部へのユーザによるタッチ操作を検出する検出手段と、
前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定する判定手段と、
前記判定手段によって前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第１の変形手段と、
前記判定手段によって前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第２の変形手段と、
前記第１の変形手段と前記第２の変形手段によって変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する補正手段と、
を備えることを特徴とする頁画像補正装置。
【請求項２】
前記判定手段は、前記入力表示部へのタッチ操作が１本の指によるタッチである場合に個別操作であると判定し、前記入力表示部へのタッチ操作が２本以上の指による同時タッチである場合に全体操作であると判定する、
ことを特徴とする請求項１に記載の頁画像補正装置。
【請求項３】
前記第１の変形手段は、前記１本の指が前記入力表示部上をドラッグされる際の移動方向、及び移動量に基づいて、前記１本の指でタッチされた１つの制御点を移動することで前記メッシュ画像の形状を変形し、
前記第２の変形手段は、前記２本以上の指が前記入力表示部上をドラッグされる際の移動方向、及び移動量に基づいて、前記複数の制御点を移動することで前記メッシュ画像の形状を変形する、
ことを特徴とする請求項２に記載の頁画像補正装置。
【請求項４】
前記第２の変形手段は、前記２本以上の指が前記入力表示部上で平行移動する場合には、前記平行移動の移動方向に、前記平行移動の移動量の分だけ、前記複数の制御点を移動させる、
ことを特徴とする請求項３に記載の頁画像補正装置。
【請求項５】
前記第２の変形手段は、前記２本以上の指が前記入力表示部上で回転移動する場合には、前記回転移動の回転方向に、前記回転移動の移動量の分だけ、所定の座標、又は回転軸を中心に前記複数の制御点を回転移動させる、
ことを特徴とする請求項３又は４に記載の頁画像補正装置。
【請求項６】
前記第２の変形手段は、前記２本以上の指が前記入力表示部上で離間移動する場合には、前記離間移動の方向に、前記離間移動の移動量に応じて、所定の座標、又は軸を中心に前記複数の制御点を移動させ、前記２本以上の指が前記入力表示部上で互いに近接移動する場合には、前記近接移動の方向に、前記近接移動の移動量に応じて、所定の座標、又は軸を中心に前記複数の制御点を移動させる、
ことを特徴とする請求項３乃至５のいずれか一項に記載の頁画像補正装置。
【請求項７】
前記補正手段は、前記メッシュ画像が湾曲形状である場合に、前記処理対象の画像に対して湾曲補正処理を実行し、前記メッシュ画像が直線性を有する形状である場合に、前記処理対象の画像に対して台形補正処理を実行する、
ことを特徴とする請求項１乃至６のいずれか一項に記載の頁画像補正装置。
【請求項８】
処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正方法であって、
前記処理対象の画像と前記メッシュ画像とを表示する入力表示部へのユーザによるタッチ操作を検出するステップと、
前記検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定するステップと、
前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形するステップと、
前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形するステップと、
前記変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正するステップと、
を含むことを特徴とする頁画像補正方法。
【請求項９】
処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正装置のコンピュータを、
表示機能及びタッチ入力機能を有する入力表示部に、前記処理対象の画像と前記メッシュ画像とを重畳表示する表示制御手段、
前記入力表示部へのユーザによるタッチ操作を検出する検出手段、
前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定する判定手段、
前記判定手段によって前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第１の変形手段、
前記判定手段によって前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第２の変形手段、
前記第１の変形手段と前記第２の変形手段によって変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する補正手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正装置、画像補正方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、本を裁断することなく、そのままの状態で頁を捲りながらカメラで撮影して電子化する技術が提案されている。本を自然な状態で開いて上部から撮影すると、本の頁の撓（たわ）みにより、画像中の文字列や図表が歪み、画像中の文字列や図表を読解することが難しい。
【０００３】
そこで、例えば、特許文献１では、画像処理を行うアプリケーションが、歪んだ頁画像の上にメッシュ画像を表示し、紙面の湾曲具合に合わせるようにメッシュ画像を操作し、当該メッシュ画像に基づいて頁画像の歪みを湾曲補正する技術が提案されている。また、特許文献２では、上記メッシュ画像に基づいて頁画像の歪みを台形補正する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１９２９０１号公報
【特許文献２】特開２０１５−１１９４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１、２による技術では、頁画像に重畳された、ベジェ曲線で構成されたメッシュ画像上の制御点をユーザ操作により個別に移動させることで、メッシュ画像の形状を頁画像の形状に合致させるように変形させると、上記アプリケーションが、変形させたメッシュ画像を正しい形状（矩形）になるように頁画像の形状を変形させることで、頁画像の変形や、湾曲などを補正する。
【０００６】
この場合、メッシュ画像上の制御点を独立して操作（移動）させることが可能であるがゆえに、制御点を操作してメッシュ画像を変形させると、メッシュ画像の直線部分を維持することができなくなり、頁画像内の直線性を有する領域に合致させることが難しくなるという問題がある。
【０００７】
そこで本発明は、容易な操作でメッシュ画像の形状を頁画像の形状に合致させることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る頁画像補正装置は、表示機能及びタッチ入力機能を有する入力表示部に、処理対象の画像とメッシュ画像とを重畳表示する表示制御手段と、前記入力表示部へのユーザによるタッチ操作を検出する検出手段と、前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定する判定手段と、前記判定手段によって前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第１の変形手段と、前記判定手段によって前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第２の変形手段と、前記第１の変形手段と前記第２の変形手段によって変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する補正手段と、を備えることを特徴とする。
【０００９】
この発明に係る頁画像補正方法は、処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正方法であって、前記処理対象の画像と前記メッシュ画像とを表示する入力表示部へのユーザによるタッチ操作を検出するステップと、前記検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定するステップと、前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形するステップと、前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形するステップと、前記変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正するステップと、を含むことを特徴とする。
【００１０】
この発明に係るプログラムは、処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正装置のコンピュータを、表示機能及びタッチ入力機能を有する入力表示部に、前記処理対象の画像と前記メッシュ画像とを重畳表示する表示制御手段、前記入力表示部へのユーザによるタッチ操作を検出する検出手段、前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定する判定手段、前記判定手段によって前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第１の変形手段、前記判定手段によって前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第２の変形手段、前記第１の変形手段と前記第２の変形手段によって変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する補正手段、として機能させることを特徴とする。
【発明の効果】
【００１１】
この発明によれば、容易な操作でメッシュ画像の形状を頁画像の形状に合致させることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の書画カメラシステム１の一例による概略構成を示す斜視図である。
【図２】本実施形態の書画カメラシステム１の他の例による概略構成を示す斜視図である。
【図３】本実施形態による情報処理端末７の略構成を示すブロック図である。
【図４】本実施形態による情報処理端末７での補正処理を説明するためのフローチャートである。
【図５】本実施形態によるメッシュ画像９を変形するためのタッチ操作を説明するための模式図である。
【図６】本実施形態によるメッシュ画像９の制御点８０を個別に操作して変形するためのタッチ操作を説明するための模式図である。
【図７】本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して伸縮させるためのタッチ操作を説明するための模式図である。
【図８】本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して回転させるためのタッチ操作を説明するための模式図である。
【図９】本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して平行移動させるためのタッチ操作を説明するための模式図である。
【図１０】本実施形態による、３本の指によるタッチ操作でメッシュ画像を回転させる場合の様子を示す模式図である。
【発明を実施するための形態】
【００１３】
Ａ．第１実施形態
以下に、本発明を実施するための最良の形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
【００１４】
図１は、本実施形態の書画カメラシステム１の一例による概略構成を示す斜視図である。なお、以下の説明においては本Ｂの頁Ｐを左から右へとめくる場合について説明する。図１に示すように、書画カメラシステム１には、本Ｂの頁Ｐを撮像する撮像手段としての書画カメラ２と、本Ｂの頁Ｐをめくる頁めくり装置３と、書画カメラ２及び頁めくり装置３に通信自在に接続されたパソコン４とを備えている。
【００１５】
書画カメラ２には、スタンド部２１と、スタンド部２１の上端に取り付けられたカメラ２２とが設けられている。スタンド部２１は本Ｂとカメラ２２との相対的な位置関係を調整できるように、前後方向、左右方向に傾倒自在であるとともに、上下方向に伸縮自在となっている。カメラ２２は、その画角内に本Ｂが収まるようにレンズが下方を向いている。カメラ２２とスタンド部２１との接合部には位置調整機構が設けられており、これによってカメラ２２のレンズが向く方向も調整できるようになっている。
【００１６】
頁めくり装置３は、開かれた本Ｂを保持する保持台６と、保持台６上の本Ｂの頁Ｐのめくり元位置で頁Ｐを保持し、頁Ｐのめくり先位置で頁Ｐに対する保持を解除するめくり装置本体３０を備えている。
【００１７】
保持台６は、図示しないヒンジにより折り畳み自在な一対の保持板６１、６２を備えている。ここで、本Ｂの頁Ｐが左から右へとめくられる場合は、一対の保持板６１、６２のうち、左側に配置された一方の保持板６１が卓上に沿うように置かれ、右側に置かれる他方の保持板６２が一方の保持板６１に対して所定の角度で起き上がるように傾斜して卓上に置かれる。一方の保持板６１上には、本Ｂのめくり元位置となる頁Ｐが置かれ、他方の保持板６２上には、本Ｂのめくり先位置となる頁Ｐが置かれることになる。
【００１８】
これにより、保持台６は、めくり元位置にある頁Ｐよりもめくり先にある頁Ｐの方が本Ｂの綴じ目に対して起きる方向に傾斜するように本Ｂを保持することになる。なお、一対の保持板６１、６２がヒンジにより折り畳み自在となっているので、一対の保持板６１、６２のなす角度も調整することができ、めくり先位置にある頁Ｐの水平面に対する傾斜角度が調整自在となっている。
【００１９】
めくり装置本体３０は、駆動軸３３を中心に揺動するアーム部３４と、アーム部３４の先端に取り付けられ、本Ｂの頁Ｐに対して吸着する吸着部３５と、駆動軸３３、アーム部３４及び吸着部３５を支持する台座部３８と、めくり元位置にある頁Ｐの上方に風を通過させることでめくり先位置にある頁Ｐに対して風を当てる送風部５と、各部を制御する図示しない制御部とを備えている。
【００２０】
図１に示すように、駆動軸３３の先端部には回転体３２１が取り付けられている。この回転体３２１には、駆動軸３３に直交する平面に沿うようにアーム部３４が取り付けられている。アーム部３４は例えば樹脂製の矩形板状部材である。このアーム部３４は、長手方向に垂直な断面の形状が平な板状となっている。アーム部３４の先端には、例えばモータなどの駆動部３７を介して吸着部３５が取り付けられている。吸着部３５は、略円柱状の粘着部である。
【００２１】
図２は、本実施形態の書画カメラシステム１の他の例による概略構成を示す斜視図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図２に示す書画カメラシステム１は、図１に示す書画カメラ２、書画カメラ２及び頁めくり装置３に通信自在に接続されたパソコン４がないことが違うだけであり、頁めくり装置３自体は同じである。図２に示す書画カメラシステム１では、書画カメラ２及びパソコン４に代えて、カメラ部を備える、スマートフォンやタブレット端末など（以下、情報処理端末７という）を用いる。情報処理端末７は、例えば、適度な高さに平板面を備えるテーブルなどの据置台８に設置する。情報処理端末７は、表示部７１が上方に向き、撮像部７２がその画角内に本Ｂが収まるように下方に向くように伏せて設置される。撮像部７２は、情報処理端末７の上部中央、あるいは上部片隅（表示部７１から見て右端側）に設けられている。
【００２２】
上述した図１、図２のいずれの構成においても、頁めくり動作においては、まず、アーム部３４を保持板６１側の頁Ｐのめくり元位置側に移動させ、吸着部３５でめくり元位置の頁Ｐを吸着し、吸着した状態でアーム部３４を保持板６２側のめくり先位置へと移動させる。当該頁Ｐがアーム部３４の往動に追従してめくり先位置へと移動することになる。そして、めくり先位置で、駆動部３７によって吸着部３５を回転させることで吸着した頁Ｐを分離する。このとき、所定のタイミングで、カメラ２２又は情報処理端末７の撮像部７２によってまだめくられていない保持板６１側の頁Ｐを撮像する。その後、往動時とは逆方向にアーム部３４を保持板６１側のめくり元位置側に移動させる。吸着部３５は、めくり元位置側で新たな頁Ｐ（撮像後の頁）に吸着する。この往復動作を繰り返すことで頁Ｐのめくり動作が進行する。
【００２３】
そして、最終頁に達するまで、本Ｂの片側の全頁（例えば奇数頁）がカメラ２２によって撮影され画像データは、一枚毎（一撮像毎）にナンバリングされてパソコン４又は情報処理端末７のＣＰＵ７７（後述）に転送され、所定の記憶部等に保持される。ユーザは、本Ｂを反転させて保持台６に設置し、上述した頁めくり動作を再度行う。これにより、最終頁に達するまで、本Ｂの片側の全頁（例えば偶数頁）がカメラ２２によって撮影され、上述したように、一枚毎（一撮像毎）にナンバリングされてパソコン４又は情報処理端末７のＣＰＵ７７（後述）に転送され、所定の記憶部等に保持される。その後、奇数頁、偶数頁を互い違いに頁順に並び替えるようにして、全頁のスキャン画像としてまとめる。
【００２４】
また、この段階では、頁Ｐの画像データは、本の頁の撓（たわ）みなどにより、頁全体や、ページ内の画像、文字列、図表などが歪んでいるので、パソコン４又は情報処理端末７では、所定のアプリケーションによって、湾曲補正や台形補正を行い、画像の歪みを補正する。なお、以下では、湾曲補正や台形補正などの画像処理を行う機器として、スマートフォンやタブレット端末などの情報処理端末７を用いる場合に付いて説明するが、パソコン４においても、ハードウェア構成は違うものの、同様のソフトウェア（アプリケーションプログラム）にて実現できることは言うまでもない。
【００２５】
図３は、本実施形態による情報処理端末７の略構成を示すブロック図である。図３において、情報処理端末７は、通信部７０、表示部７１、撮像部７２、ＲＯＭ７３、ＲＡＭ７４、操作部（タッチパネル）７５、記録媒体７６、及びＣＰＵ７７を備えている。通信部７０は、例えば、移動体通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は／及び無線ＬＡＮ（ＷｉＦｉ）を用いてインターネットなどのネットワークに接続する。撮像部７２は、光学レンズ群からなるレンズブロックと、ＣＣＤや、ＣＭＯＳなどの撮像素子からなり、レンズブロックから入った画像を撮像素子により撮像する。特に、本実施形態では、撮像部７２は、本Ｂの頁Ｐを撮像する。
【００２６】
ＲＯＭ７３は、後述するＣＰＵ７７により実行されるプログラムや動作等に必要とされる各種パラメータなどを記憶している。ＲＡＭ７４は、後述するＣＰＵ７７がプログラムを実行した際の一時的なデータや、各種アプリケーションプログラム、アプリケーションの実行に必要な各種パラメータなどのデータを記憶する。特に、本実施形態では、ＲＡＭ７４には、撮像した画像並びに補正した補正画像等が記憶される。
【００２７】
表示部７１は、液晶表示器や有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示器などからなり、特定の機能やアプリケーションなどに紐付けられているアイコンや、アプリケーション画面、各種のメニュー画面などを表示する。操作部（タッチパネル）７５は、指やスタイラス（ペン）などの直接接触、あるいは、近接を検出する。なお、操作部（タッチパネル）７５には、電源ボタンや音量ボタンなどの機械的なスイッチ類が含まれてもよい。特に、本実施形態では、操作部（タッチパネル）７５から、表示部７１に撮像した頁画像と該頁画像に重畳して表示されるメッシュ画像上の制御点を、ユーザのタッチ操作により個別に移動させたり、メッシュ画像の直線部分を維持した状態で伸縮、回転、平行移動させたりして、メッシュ画像の形状を頁画像の形状に合致させるように変形させるためのタッチ操作が入力される。また、表示部７１は、表示機能及びタッチ入力機能を有してもよく、表示部７１へのユーザのタッチ操作により、メッシュ画像の形状を頁画像の形状に合致させるように変形させるためのタッチ操作が入力されるものとしてもよい。
【００２８】
記録媒体７６は、撮像された画像データなどの各種データを保存する。ＣＰＵ７７は、上述したＲＯＭ７３に記憶されているプログラムを実行することで各部の動作を制御する。特に、本実施形態では、ＣＰＵ７７は、画像処理プログラムを実行することにより、ユーザのタッチ操作によって変形させたメッシュ画像を正しい形状（矩形）になるように、メッシュ画像とともに頁画像の形状を変形させることで頁画像の変形や湾曲などを補正するための湾曲補正処理や台形補正処理を実行する。
【００２９】
湾曲補正処理は、元になる頁画像が湾曲して歪んでいる場合に、この湾曲歪みを補正して元の形状に戻す処理である。これに対して、台形補正処理は、元になる頁画像が直線性を維持しつつ台形状に歪んでいる場合に、この台形歪みを補正して元の形状に戻す処理である。なお、湾曲補正処理、及び台形補正処理については周知の技術であるので本明細書では説明を省略する。
【００３０】
図４は、本実施形態による情報処理端末７での補正処理を説明するためのフローチャートである。まなお、情報処理端末７には、既に本Ｂの全頁の頁画像が頁順に所定のフォーマット形式の画像データとして記録媒体７６等に保存されているものとする。ユーザは、本Ｂの頁を撮像した後、情報処理端末７に対して、画像補正処理の実行を指示する。
【００３１】
ＣＰＵ７７は、まず、本Ｂの最初の頁画像を記録媒体７６からＲＡＭ７４に格納し、頁画像と当該頁画像上に重畳させた初期の歪んでいないメッシュ画像とを表示部７１に出力する（ステップＳ１０）。次に、ＣＰＵ７７は、操作部（タッチパネル）７５に対してユーザのタッチ操作があったか否かを判断する（ステップＳ１２）。そして、ユーザのタッチ操作がない場合には（ステップＳ１２のＮＯ）、ＣＰＵ７７は、ステップＳ１０に戻り、頁画像とメッシュ画像の表示を継続する。
【００３２】
一方、操作部（タッチパネル）７５に対してユーザのタッチ操作があった場合には（ステップＳ１２のＹＥＳ）、ＣＰＵ７７は、タッチした指の数が１本又は２本以上であるか、すなわち、１本の指によるタッチ操作であるか、２本の指以上によるタッチ操作であるかを判断する（ステップＳ１４）。
【００３３】
図５（ａ）、（ｂ）は、本実施形態によるメッシュ画像９を変形するためのタッチ操作を説明するための模式図である。ユーザは、メッシュ画像自体の形状を変えたい場合、すなわち、メッシュ画像上の制御点を個別に操作したい場合には、図５（ａ）に示すように、１本の指で変形させたい箇所の制御点８０（図示の●は全て制御点）をタッチし、移動させたい方向に指をドラッグ（タッチした状態のままスライド）させればよい（個別操作）。つまり、この個別操作では、ベジェ曲線で構成されるメッシュ画像上の複数の制御点８０（本実施形態ではメッシュ画像の上下に各５点）の中から、１つの制御点８０を操作（移動）することになる。
【００３４】
ユーザは、図５（ａ）に示すように、頁画像上に重ねて表示されているメッシュ画像９の形状をタッチ操作によって伸縮させて頁画像の形状に合わせる。ユーザが、タッチ操作によって頁画像の形状とメッシュ画像９の形状とが一致するように制御点８０を移動させると、メッシュ画像９の形状が制御点８０の移動に追従するようにしてリアルタイムで変形するようになっている。
【００３５】
メッシュ画像９の最上部の上線ＵＬと最下部の下線ＤＬは、４次のベジェ曲線で描画されている。この上線ＵＬの５点の制御点８０と下線ＤＬの５点の制御点８０とをそれぞれ動かすことによって上線ＵＬと下線ＤＬを自由に動かすことができる。ＣＰＵ７７は、この上線ＵＬと下線ＤＬを基準に所定のメッシュ生成アルゴリズムを用いて、上線ＵＬと下線ＤＬとに挟まれた横線や縦線の幅や、曲線の曲がり具合などを導出してリアルタイムでメッシュ画像９の形状を変形させる。
【００３６】
なお、本実施形態では、メッシュ画像９を変形させるための制御点８０を上下合計１０点としたが、これに限らず、メッシュ画像９を構成する複数の領域の各交点を制御点としてもよい。また、上線ＵＬと下線ＤＬに限定せずに、ユーザが変形させたい箇所をタッチ操作することで、そのタッチ操作された箇所を含む周囲の交点を、変形させるための制御点として機能させるようにしてもよい。この場合、制御点として有効であることを示すために、該当する交点のドットを大きくしたり、色を変えたりしてもよい。
【００３７】
一方、ユーザは、メッシュ画像の形状を変えることなく、メッシュ画像の直線部分を維持したまま伸縮、回転又は平行移動させたい場合、すなわち、メッシュ画像上の制御点の全てを同時に移動させるような操作したい場合には、図５（ｂ）に示すように、２指以上でメッシュ画像９上をタッチして所定の操作を行えばよい（全体操作）。つまり、この全体操作では、全ての制御点８０（（図示の●は全て制御点；図示の例では５点）を同時に（互いの相対位置を変えずに）操作（伸縮、回転、平行移動）することになる。
【００３８】
ここで、上述したように、表示部７１の画面には、撮影した頁画像（不図示）とともに、ベジェ曲線から構成されるメッシュ画像９が表示されている。該メッシュ画像９を構成するベジェ曲線（４次）には上下にそれぞれ５点の制御点が存在する。なお、メッシュ画像９自体は、曲線から形成されるユーザインターフェースであって、後述する湾曲補正処理又は台形補正処理に直接関係するものではない。つまり、湾曲補正処理又は台形補正処理では、制御点８０が移動対象であるので、タッチ操作による指の位置から、移動対象となる制御点８０を特定する必要ある。
【００３９】
そこで、例えば、図５（ｂ）に示すように、５点の制御点８０があるとして説明する。まず、予め、５点の制御点８０を全て含む矩形の座標を導出しておく。矩形の導出は、５点の中で横座標（ｘ座標）が最小の制御点（図示の例では制御点８０ｂ）、最大の制御点（図示の例では制御点８０ａ）、縦座標（ｙ座標）が最小の制御点（図示の例では制御点８０ｂ）、最大の制御点（図示の例では制御点８０ａ）を調べ、その最小量と最大量を元に上下左右の辺を構成すればよい。図示の例では、矩形の形状とメッシュ画像９の外郭と一致しているが、これに限定されるものではない。
【００４０】
次に、タッチ操作による２本以上の指の位置の幾何学上の、図５（ｂ）に示す中心点ＣＰを測定する。この中心点ＣＰが上記矩形の中に入っている場合、矩形内の全て制御点８０に対して同時に（互いの相対位置を変えずに）、伸縮、回転、あるいは平行移動を行うと判断する。
【００４１】
中心点ＣＰの測定方法は、タッチ操作の指の全ての位置の座標を測定し、それらの値でｘ座標、ｙ座標それぞれの平均値を取ればよい。図５（ｂ）に示す例では、２本の指でタッチ操作したときの例である。例えば、１本目の指のタッチ位置Ｔ１（ｘ１，ｙ１）、２本目の指のタッチ位置Ｔ２（ｘ２，ｙ２）とすると、２本の指の中心点ＣＰの座標は、（（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２）となる。このように、２本の指の中心点ＣＰの座標と、５点の制御点８０を全て含む矩形の座標とから、この中心点ＣＰが上記矩形の中に入っているか否かを判断することができる。
【００４２】
そして、図５（ａ）に示すように、タッチ操作が１指である場合には（ステップＳ１４のＮＯ）、ＣＰＵ７７は、１本の指のタッチ操作による、ベジェ曲線で構成されたメッシュ画像上の制御点８０に対する個別操作であると判断し、タッチされた１指の動きに応じて対応する制御点を移動させる変形処理を実行する（ステップＳ１６）。
【００４３】
図６は、本実施形態によるメッシュ画像９の制御点８０を個別に操作して変形するためのタッチ操作を説明するための模式図である。すなわち、ユーザは、図６に示すように、制御点８０に指をタッチしたまま、その指をメッシュ画像の形状が頁画像の形状に合致するように変形させたい方向に移動させる。ＣＰＵ７７は、タッチしている指の移動方向、移動量に応じて、ベジェ曲線で構成されたメッシュ画像上の制御点８０を移動させる。メッシュ画像の形状は、制御点８０の移動に連動してリアルタイムで変形することになる。
【００４４】
詳細は後述するが、ユーザは、このような制御点８０の移動をリアルタイムで確認しながら、湾曲補正の程度を強くしたり、弱くしたり、あるいは部分的に調整したりするために、メッシュ画像９の制御点８０を１本の指のタッチ操作によって移動させて形状を変更することが可能となっている。
【００４５】
一方、タッチ操作が２本の指以上である場合には（ステップＳ１４のＹＥＳ）、ＣＰＵ７７は、タッチしている指の動作（移動）を検出し（ステップＳ１８）、どのような操作であるかを判断する（ステップＳ２０）。本実施形態では、２指以上でのタッチ操作の場合、２本の指の間隔が変化する動作（伸縮）、又は２本の指の相対的な位置が維持された状態で２本の指がその中心点を回転軸として回転（円弧）する動作（回転）、又は２本の指の相対的な位置が維持された状態で２本の指が移動する動作（平行移動）のいずれであるかを判断する。
【００４６】
ここで、上記伸縮、回転、平行移動について説明する。
図７（ａ）〜（ｃ）は、本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して伸縮させるためのタッチ操作を説明するための模式図である。伸縮は、ある点を中心にそれぞれの制御点が遠くなったり、近づいたりする操作である。この伸縮操作によれば、ベジェ曲線で構成されるメッシュ画像９を、その形状を保ったまま大きくしたり小さくしたりできる。スマートフォンやタブレットなどのタッチデバイスでは、ピンチイン、ピンチアウトと呼ばれている操作法である。２本の指によるタッチ位置Ｔ１、Ｔ２の座標と該２本の指の中心点ＣＰの座標とを、タッチ開始から数フレーム分だけ測定する。そして、中心点ＣＰは、許容範囲の中で動いていないとし、２本の指によるタッチ位置Ｔ１、Ｔ２が、それぞれ中心点ＣＰから許容範囲の中で放射方向に離れたり近づいたりすることによる移動ベクトル、すなわち、タッチ位置Ｔ１とタッチ位置Ｔ２とが互いに反対方向へ移動する移動ベクトルを検知すると、ユーザのタッチ操作が伸縮操作であると判断する。
【００４７】
図８（ａ）、（ｂ）は、本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して回転させるためのタッチ操作を説明するための模式図である。回転は、ある点を中心にして全ての点が同じ角度だけ回転する操作である。この回転操作によれば、ベジェ曲線で構成されるメッシュ画像９は、その形状を保ったまま回転だけする。すなわち、最初から直線であった場合には、直線を保ったまま傾きが変わっていくような操作になる。操作方法を簡単に説明すると、２本の指でメッシュ画像９上にタッチし、一方の指のタッチ位置Ｔ１をある方向に、他方の指のタッチ位置Ｔ２を逆の方向になぞるように動かす。例えば、人差し指と中指を操作部（タッチパネル）７５にタッチし、２本の指の中心点周りで指を回転させるようになぞれば回転操作となる。２本の指のタッチ位置Ｔ１、Ｔ２の座標と該２本の指の中心点ＣＰの座標とを、タッチ開始から数フレーム分だけ測定する。そして、中心点ＣＰは、許容範囲の中で動いていないとし、かつ２本の指によるタッチ位置Ｔ１、Ｔ２の移動ベクトルが逆方向になっていることを検知すると、ユーザのタッチ操作が回転操作であると判断する。
【００４８】
図９（ａ）、（ｂ）は、本実施形態によるメッシュ画像９の制御点８０を全て同時に操作して平行移動させるためのタッチ操作を説明するための模式図である。また、平行移動は、全ての制御点８０が同じ方向、同じ移動量で移動する操作である。操作方法を簡単に説明すると、２本の指でベジェ曲線で構成されるメッシュ画像９上をタッチし、タッチ位置Ｔ１、Ｔ２を同じ方向にずらすと、その移動量の分だけ全ての制御点８０が同じ方向に移動する。例えば、人差し指と中指を操作部（タッチパネル）７５にタッチし、手全体を動かすように画面をなぞれば平行移動操作となる。２本の指のタッチ位置Ｔ１、Ｔ２の座標と該２本の指の中心点ＣＰの座標とをタッチ開始から数フレーム分だけ測定する。そして、それぞれの移動したベクトルが、ある許容範囲の中で同一であると検知すると、ユーザのタッチ操作が平行移動操作であると判断する。
【００４９】
図４に示すフローチャートに説明を戻すと、例えば、図７（ａ）に示すように、２本の指の間隔が変化する動作（伸縮）であった場合には（ステップＳ２０の伸縮）、ＣＰＵ７７は、タッチしている２本の指の移動量に応じて、ベジェ曲線で構成されたメッシュ画像の制御点８０の相対位置を変えることなく伸縮させる伸縮処理を実行する（ステップＳ２２）。例えば、図７（ｂ）に示すように、タッチした状態で２本の指のタッチ位置Ｔ１、Ｔ２の間隔が広がるように移動した場合には、メッシュ画像は、２本の指の移動量に応じて各制御点８０の相対位置を変えることなく伸張（拡大）することになる。一方、図７（ｃ）に示すように、タッチした状態で２本の指のタッチ位置Ｔ１、Ｔ２の間隔が狭まるように移動した場合には、メッシュ画像は、２本の指の移動量に応じて各制御点８０の相対位置を変えることなく縮小することになる。
【００５０】
より具体的には、伸縮の計算は、まず、２点のタッチ位置Ｔ１、Ｔ２の中心点ＣＰの座標Ｍ（ｘｍ，ｙｍ）を記録する。タッチ位置の１つの座標だけを用いて、前回のフレームの座標Ａ（ｘａ，ｙａ）、今回のフレームの座標Ｂ（ｘｂ，ｙｂ）とする。ＭＡ、ＭＢの距離ｒａ、ｒｂとして、その１フレームの間での伸縮率ｃ＝ｒｂ／ｒａとする。ある制御点ＸについてベクトルＭＸをｃ倍し、ＭＸ’とする。このベクトルの終点Ｘ’が伸縮後の制御点の座標である。これをフレームごとに全ての制御点８０に適用し、表示を更新すれば、メッシュ画像９を伸縮させることができる。
【００５１】
このように、メッシュ画像９の直線部分の形状を保ったまま、メッシュ画像９を自在に伸縮させることができる。これにより、頁画像内の直線性を有する領域にメッシュ画像９を容易に合致させることができることになる。
【００５２】
一方、図８（ａ）に示すように、２本の指の相対的な位置が維持された状態で２本の指がその中心点を回転軸として回転（円弧）する動作（回転）であった場合には（ステップＳ２０の回転）、ＣＰＵ７７は、タッチしている２本の指の回転方向に、かつ指の回転量（回転角度）に応じた回転量（回転角度）だけ、ベジェ曲線で構成された制御点８０の相対位置を変えることなく、メッシュ画像９全体を２本の指の中心点ＣＰを回転軸にして回転させる回転処理を実行する（ステップＳ２４）。例えば、図８（ｂ）に示すように、タッチした状態で２本の指が反時計回りに回転した場合には、メッシュ画像９は、２本の指の回転方向に、移動量に応じて各制御点８０の相対位置を変えることなく回転することになる。
【００５３】
より具体的には、回転の導出方法には２種類考えられる。
（１）タッチ位置Ｔ１、Ｔ２の２点の中心点ＣＰを回転軸として回転させる場合の導出方法
（２）タッチ位置Ｔ１、Ｔ２の２点のフレームごとの移動量を計算し、回転軸の点を導出、その軸周りに回転させる場合の導出方法
【００５４】
上記（２）は正確であるが、フレームごとに回転軸が変わり不安定になる（微小に振動してしまう）ので何らかの補正が必要である。上記（１）は実際と多少異なるが安定する。また、正確ではないが、指と指の間の回転軸は中心点ＣＰとそう変わらないと思われる。実際に違和感はない。よって上記（１）の例を説明する。
【００５５】
まず、中心点ＣＰの座標Ｍ（ｘｍ，ｙｍ）を記録する。情報処理端末７が回転の角度を検出できる機能を有している場合にはその角度を用いればよい。そうでない場合には、タッチした座標のうち１つを用いて、前回のフレームの座標の点Ａ（ｘａ，ｙａ）、今回のフレームの座標Ｂ（ｘｂ，ｙｂ）とすると、ベクトルＭＡ、ベクトルＭＢの内積から
ＭＡ・ＭＢ＝｜ＭＡ｜｜ＭＢ｜ｃｏｓθ
より、ｃｏｓθ・ｓｉｎθがそれぞれ求まる（θは回転角度である）。
【００５６】
次に、制御点８０を回転させる。
制御点８０の１つをＸ（ｘ，ｙ）とする。回転行列を用いて制御点８０の座標を変換したいので、回転軸である中心点ＣＰの座標Ｍを原点に移すように座標Ｘを変換する。
Ｘ’＝Ｘ−Ｍ＝（ｘ−ｘｍ，ｙ−ｙｍ）＝（ｘ’，ｙ’）
【００５７】
このＸ’に回転行列を乗算し、
ｘ’’＝ｘ’ｃｏｓθ−ｙ’ｓｉｎθ
ｙ’’＝ｘ’ｓｉｎθ＋ｙ’ｃｏｓθ
を得る。
【００５８】
この座標は、中心点が原点となっている座標系であるので、元に戻す。
（ｘ’’＋ｘｍ，ｙ’’＋ｙｍ）
この座標が回転後の制御点８０の座標である。これをフレームごとに全ての制御点８０に対して変更し、メッシュ画像９の表示を更新することで回転することになる。
【００５９】
回転については、更に３本の指によるタッチ操作も考えられる。
実際の使用例では、メッシュ画像９を構成する上下２本のベジェ曲線を用い、このベジェ曲線を２本とも回転させる処理にする。すなわち、３本の指でタッチした場合の中心点ＣＰを回転軸にし、上述した演算を上下のベジェ曲線の全ての制御点８０（上５点、下５点  計１０点）に適用する。このようにすれば、メッシュ画像９の形状全体が保たれたまま回転させることができる。
【００６０】
図１０（ａ）、（ｂ）は、本実施形態による、３本の指によるタッチ操作でメッシュ画像を回転させる場合の様子を示す模式図である。３本の指の場合にも２本の指のときと同様に、図１０（ａ）に示すように、３本の指の相対的なタッチ位置Ｔ１、Ｔ２、Ｔ３が維持された状態で３本の指がその中心点ＣＰを回転軸にして回転（円弧）させると、図１０（ｂ）に示すように、タッチしている３本の指の回転方向に、３本の指の中心点ＣＰを回転軸にしてメッシュ画像９全体を指の回転量（回転角度）に応じた回転量（回転角度）だけ回転させる。
【００６１】
このように、メッシュ画像の直線部分の形状を保ったまま、メッシュ画像を自在に回転させることができる。これにより、頁画像内の直線性を有する領域にメッシュ画像を容易に合致させることができることになる。
【００６２】
一方、図９（ａ）に示すように、２本の指の相対的なタッチ位置Ｔ１、Ｔ２が維持された状態で２本の指が移動する動作（平行移動）であった場合には（ステップＳ２０の平行移動）、ＣＰＵ７７は、タッチしている２本の指の移動方向に、かつ指の移動量に応じて、ベジェ曲線で構成されたメッシュ画像の各制御点８０の相対位置を変えることなく、メッシュ画像９全体を平行移動させる平行移動処理を実行する（ステップＳ２６）。例えば、図９（ｂ）に示すように、タッチした状態で２本の指が図面の下方に移動した場合には、メッシュ画像９は、２本の指の移動方向に、指の移動量に応じて各制御点８０の相対位置を変えることなく平行移動することになる。
より具体的には、平行移動の導出は、前回のフレームと今回のフレームから中心点ＣＰの移動ベクトルを計算し、５点の制御点８０の座標それぞれに移動ベクトルを足して新たな制御点８０の座標とし、制御点８０の表示も更新する。
【００６３】
このように、メッシュ画像の直線部分の形状を保ったまま、メッシュ画像を自在に平行移動させることができる。これにより、頁画像内の直線性を有する領域にメッシュ画像を容易に合致させることができることになる。
【００６４】
ＣＰＵ７７は、上述したステップＳ１６、Ｓ２２、Ｓ２４、又はＳ２６にて、メッシュ画像９（制御点８０）をユーザのタッチ操作に応じて変形、伸縮、回転、平行移動させた後、処理後のメッシュ画像９を頁画像上に重畳させて表示部７１に出力する（ステップＳ２８）。次に、ＣＰＵ７７は、次の処理、すなわち、メッシュ画像９に基づく頁画像に対する湾曲補正処理又は台形補正処理へ進むか否かを判断する（ステップＳ３０）。
【００６５】
ユーザは、ステップＳ２８で表示されるメッシュ画像９を視認し、まだ頁画像に合致しておらず、更にメッシュ画像９の形状、大きさ、角度、位置を修正させる必要があると判断すれば、例えばタッチ操作などによってメッシュ画像９の変形処理に戻る指示を入力する。一方、メッシュ画像９が頁画像に十分精度よく合致していれば、例えばタッチ操作などによって次の処理へ進む指示を入力する。あるいは、ユーザは、メッシュ画像９がまだ頁画像に合致しておらず、更にメッシュ画像９の形状、大きさ、角度、位置を修正させる必要があると判断した場合には何も指示せず、頁画像に十分精度よく合致していれば、次の処理へ進む指示を入力するようにしてもよい。
【００６６】
そして、メッシュ画像９の変形処理に戻る指示が入力された場合、あるいは次の処理へ進む指示が入力されない場合には（ステップＳ３０のＮＯ）、ＣＰＵ７７は、ステップＳ１２に戻り、上述したメッシュ画像９の修正を行う処理を繰り返す。ユーザから見た場合、表示部７１に表示されるメッシュ画像９に対して所定のタッチ操作を行うことで、処理が途切れることなく、連続してメッシュ画像９の形状を変形させたり、メッシュ画像９の大きさや、角度、位置を変えたりすることが可能である。
【００６７】
そして、ユーザは、ステップＳ２８で表示されるメッシュ画像９を視認し、メッシュ画像９が頁画像に十分精度よく合致していると判断し、次の処理へ進む指示を入力した場合には（ステップＳ３０のＹＥＳ）、ＣＰＵ７７は、現時点のメッシュ画像９の形状に基づいて、頁画像が略矩形状になるように頁画像に対して湾曲補正処理又は台形補正処理を施す（ステップＳ３２）。より具体的には、ＣＰＵ７７は、メッシュ画像が湾曲形状である場合には、頁画像に対して湾曲補正処理を実行し、メッシュ画像が直線性を有する形状である場合には、頁画像に対して台形補正処理を実行する。台形補正処理の方が、湾曲補正処理に比べ、より簡単な演算、少ない演算量で実行することが可能であるので、上述したように、メッシュ画像の直線性を維持したまま頁画像に合せるような変形処理が可能になることは非常に効果的である。次に、ＣＰＵ７７は、処理後の頁画像と当該頁画像上に重畳させたメッシュ画像９とを再び表示部７１に出力する（ステップＳ３４）。
【００６８】
なお、ステップＳ３０にて、ＣＰＵ７７が、画像認識を用いて、処理後のメッシュ画像９と頁画像とを比較し、所定の条件（互いのずれが許容範囲内であるかなど）に合致していれば、メッシュ画像９が頁画像に十分精度よく合致していると判断し、自動的に次の処理へ進むようにしてもよい。
【００６９】
次に、ＣＰＵ７７は、当該処理を終了するか、あるいは他の頁画像に対してもメッシュ画像９を変形するかを判断する（ステップＳ３６）。ユーザは、当該処理を終了するか、あるいは他の頁画像に対してもメッシュ画像９の編集を行うかの指示を入力する。そして、他の頁画像に対してもメッシュ画像の編集を行う指示が入力された場合には（ステップＳ３６のＮＯ）、ステップＳ１０に戻り、他の頁画像（例えば、次の頁画像やユーザにより指定された頁の頁画像）に対して、上述したステップ１０以降の処理を繰り返す。一方、当該処理を終了する指示が入力された場合には（ステップＳ３６のＹＥＳ）、当該処理を終了する。
【００７０】
上述した本実施形態によれば、操作部（タッチパネル）７５上へのタッチ操作が個別操作である場合に、複数の制御点８０のうち、タッチ操作により指定された１つの制御点８０を、タッチ操作に応じて移動させることで、メッシュ画像９の形状を変形し、操作部（タッチパネル）７５上へのタッチ操作が全体操作である場合に、複数の制御点８０を同一条件でタッチ操作に応じて移動させることで、メッシュ画像９の形状を変形するようにしたので、タッチ操作に応じてメッシュ画像９の形状を自在に変形させたり、メッシュ画像９の直線性を保った状態で変形させたりすることができ、より容易な操作でメッシュ画像９の形状を頁画像の形状に合致させることができる。
【００７１】
また、上述した本実施形態によれば、操作部（タッチパネル）７５上へのタッチ操作が１本の指によるタッチである場合に個別操作であると判定し、操作部（タッチパネル）７５上へのタッチ操作が２本以上の指による同時タッチである場合に全体操作であると判定するようにしたので、１本の指のタッチ操作でメッシュ画像９の形状を自在に変形させたり、２本以上の指のタッチ操作でメッシュ画像９の直線性を保った状態で変形させたりすることができ、より容易な操作でメッシュ画像９の形状を頁画像の形状に合致させることができる。
【００７２】
また、上述した本実施形態によれば、１本の指が操作部（タッチパネル）７５上をドラッグされる際の移動方向、及び移動量に基づいて、１本の指でタッチされた１つの制御点８０を移動することでメッシュ画像９の形状を変形し、２本以上の指が操作部（タッチパネル）７５上をドラッグされる際の移動方向、及び移動量に基づいて、複数の制御点８０を移動することでメッシュ画像９の形状を変形するようにしたので、１本の指のタッチ操作の移動方向、及び移動量でメッシュ画像９の形状を自在に変形させたり、２本以上の指のタッチ操作の移動方向、及び移動量でメッシュ画像９の直線性を保った状態で変形させたりすることができ、より容易な操作でメッシュ画像９の形状を頁画像の形状に合致させることができる。
【００７３】
また、上述した本実施形態によれば、２本以上の指が操作部（タッチパネル）７５上で平行移動する場合には、平行移動の移動方向に、平行移動の移動量の分だけ、複数の制御点８０を移動させるようにしたので、２本以上の指を平行に移動させるタッチ操作で、メッシュ画像９の直線性を保った状態で平行移動させることができ、より容易な操作でメッシュ画像９の形状を頁画像の形状に合致させることができる。
【００７４】
また、上述した本実施形態によれば、２本以上の指が操作部（タッチパネル）７５上で回転移動する場合には、回転移動の回転方向に、回転移動の移動量の分だけ、所定の座標、又は回転軸を中心に複数の制御点８０を回転移動させるようにしたので、２本以上の指を回転させるタッチ操作で、メッシュ画像９の直線性を保った状態で回転移動させることができ、より容易な操作でメッシュ画像９の形状を頁画像の形状に合致させることができる。
【００７５】
また、上述した本実施形態によれば、２本以上の指が操作部（タッチパネル）７５上で離間移動する場合には、離間移動の方向に、離間移動の移動量の分だけ、所定の座標、又は軸を中心に複数の制御点８０を移動させ、２本以上の指が操作部（タッチパネル）７５上で互いに近接移動する場合には、近接移動の方向に、近接移動の移動量の分だけ、所定の座標、又は軸を中心に複数の制御点８０を移動させるようにしたので、２本以上の指を離したり、近づけたりするタッチ操作で、メッシュ画像９の直線性を保った状態で伸縮させることができ、より容易な操作でメッシュ画像９の形状を頁画像の形状に合致させることができる。
【００７６】
また、上述した本実施形態によれば、メッシュ画像９が湾曲形状である場合に、頁画像に対して湾曲補正処理を実行し、メッシュ画像９が直線性を有する形状である場合に、頁画像に対して台形補正処理を実行するようにしたので、メッシュ画像の形状に応じて補正処理を選択することができ、メッシュ画像が直線性を有する形状である場合には、より簡単な演算、少ない演算量で実行することが可能な台形補正処理を採用することができる。
【００７７】
以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
【００７８】
（付記１）
付記１に記載の発明は、表示機能及びタッチ入力機能を有する入力表示部に、処理対象の画像とメッシュ画像とを重畳表示する表示制御手段と、前記入力表示部へのユーザによるタッチ操作を検出する検出手段と、前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定する判定手段と、前記判定手段によって前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第１の変形手段と、前記判定手段によって前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第２の変形手段と、前記第１の変形手段と前記第２の変形手段によって変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する補正手段と、を備えることを特徴とする頁画像補正装置である。
【００７９】
（付記２）
付記２に記載の発明は、前記判定手段は、前記入力表示部へのタッチ操作が１本の指によるタッチである場合に個別操作であると判定し、前記入力表示部へのタッチ操作が２本以上の指による同時タッチである場合に全体操作であると判定する、ことを特徴とする付記１に記載の頁画像補正装置である。
【００８０】
（付記３）
付記３に記載の発明は、前記第１の変形手段は、前記１本の指が前記入力表示部上をドラッグされる際の移動方向、及び移動量に基づいて、前記１本の指でタッチされた１つの制御点を移動することで前記メッシュ画像の形状を変形し、前記第２の変形手段は、前記２本以上の指が前記入力表示部上をドラッグされる際の移動方向、及び移動量に基づいて、前記複数の制御点を移動することで前記メッシュ画像の形状を変形する、ことを特徴とする付記２に記載の頁画像補正装置である。
【００８１】
（付記４）
付記４に記載の発明は、前記第２の変形手段は、前記２本以上の指が前記入力表示部上で平行移動する場合には、前記平行移動の移動方向に、前記平行移動の移動量の分だけ、前記複数の制御点を移動させる、ことを特徴とする付記３に記載の頁画像補正装置である。
【００８２】
（付記５）
付記５に記載の発明は、前記第２の変形手段は、前記２本以上の指が前記入力表示部上で回転移動する場合には、前記回転移動の回転方向に、前記回転移動の移動量の分だけ、所定の座標、又は回転軸を中心に前記複数の制御点を回転移動させる、ことを特徴とする付記３又は４に記載の頁画像補正装置である。
【００８３】
（付記６）
付記６に記載の発明は、前記第２の変形手段は、前記２本以上の指が前記入力表示部上で離間移動する場合には、前記離間移動の方向に、前記離間移動の移動量に応じて、所定の座標、又は軸を中心に前記複数の制御点を移動させ、前記２本以上の指が前記入力表示部上で互いに近接移動する場合には、前記近接移動の方向に、前記近接移動の移動量に応じて、所定の座標、又は軸を中心に前記複数の制御点を移動させる、ことを特徴とする付記３乃至５のいずれか一つに記載の頁画像補正装置である。
【００８４】
（付記７）
付記７に記載の発明は、前記補正手段は、前記メッシュ画像が湾曲形状である場合に、前記処理対象の画像に対して湾曲補正処理を実行し、前記メッシュ画像が直線性を有する形状である場合に、前記処理対象の画像に対して台形補正処理を実行する、ことを特徴とする付記１乃至６のいずれか一つに記載の頁画像補正装置である。
【００８５】
（付記８）
付記８に記載の発明は、処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正方法であって、前記処理対象の画像と前記メッシュ画像とを表示する入力表示部へのユーザによるタッチ操作を検出するステップと、前記検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定するステップと、前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形するステップと、前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形するステップと、前記変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正するステップと、を含むことを特徴とする頁画像補正方法である。
【００８６】
（付記９）
付記９に記載の発明は、処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する頁画像補正装置のコンピュータを、表示機能及びタッチ入力機能を有する入力表示部に、前記処理対象の画像と前記メッシュ画像とを重畳表示する表示制御手段、前記入力表示部へのユーザによるタッチ操作を検出する検出手段、前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定する判定手段、前記判定手段によって前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第１の変形手段、前記判定手段によって前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第２の変形手段、前記第１の変形手段と前記第２の変形手段によって変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する補正手段、として機能させることを特徴とするプログラムである。
【符号の説明】
【００８７】
１  書画カメラシステム
２  書画カメラ（撮像手段）
３  頁めくり装置
３０  めくり装置本体
３２１  回転体
３３  駆動軸
３４  アーム部
３５  吸着部
３７  駆動部
３８  台座部
４  パソコン
５  送風部
６  保持台
６１、６２  保持板
７  情報処理端末
８  据置台
７０  通信部
７１  表示部
７２  撮像部
７３  ＲＯＭ
７４  ＲＡＭ
７５  操作部（タッチパネル）
７６  記録媒体
７７  ＣＰＵ
８０、８０ａ、８０ｂ  制御点
９  メッシュ画像
Ｂ  本
Ｐ  頁
【図１】
2017163465.tif 000003
【図２】
2017163465.tif 000004
【図３】
2017163465.tif 000005
【図４】
2017163465.tif 000006
【図５】
2017163465.tif 000007
【図６】
2017163465.tif 000008
【図７】
2017163465.tif 000009
【図８】
2017163465.tif 000010
【図９】
2017163465.tif 000011
【図１０】
2017163465.tif 000012
【手続補正書】
【提出日】平成28年11月30日(2016.11.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
そこで本発明は、容易な操作でメッシュ画像の形状を処理対象とする画像の形状に合致させることを目的とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
この発明に係る画像補正装置は、表示機能及びタッチ入力機能を有する入力表示部に、処理対象の画像とメッシュ画像とを重畳表示する表示制御手段と、前記入力表示部へのユーザによるタッチ操作を検出する検出手段と、前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定する判定手段と、前記判定手段によって前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第１の変形手段と、前記判定手段によって前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第２の変形手段と、前記第１の変形手段と前記第２の変形手段によって変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する補正手段と、を備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
この発明に係る画像補正方法は、処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する画像補正方法であって、前記処理対象の画像と前記メッシュ画像とを表示する入力表示部へのユーザによるタッチ操作を検出するステップと、前記検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定するステップと、前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形するステップと、前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形するステップと、前記変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正するステップと、を含むことを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
この発明に係るプログラムは、処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する画像補正装置を制御するコンピュータを、表示機能及びタッチ入力機能を有する入力表示部に、前記処理対象の画像と前記メッシュ画像とを重畳表示する表示制御手段、前記入力表示部へのユーザによるタッチ操作を検出する検出手段、前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定する判定手段、前記判定手段によって前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第１の変形手段、前記判定手段によって前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第２の変形手段、前記第１の変形手段と前記第２の変形手段によって変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する補正手段、として機能させることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
この発明によれば、容易な操作でメッシュ画像の形状を処理対象とする画像の形状に合致させることができる。
【手続補正６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
表示機能及びタッチ入力機能を有する入力表示部に、処理対象の画像とメッシュ画像とを重畳表示する表示制御手段と、
前記入力表示部へのユーザによるタッチ操作を検出する検出手段と、
前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定する判定手段と、
前記判定手段によって前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第１の変形手段と、
前記判定手段によって前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第２の変形手段と、
前記第１の変形手段と前記第２の変形手段によって変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する補正手段と、
を備えることを特徴とする画像補正装置。
【請求項２】
前記判定手段は、前記入力表示部へのタッチ操作が１本の指によるタッチである場合に個別操作であると判定し、前記入力表示部へのタッチ操作が２本以上の指による同時タッチである場合に全体操作であると判定する、
ことを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記第１の変形手段は、前記１本の指が前記入力表示部上をドラッグされる際の移動方向、及び移動量に基づいて、前記１本の指でタッチされた１つの制御点を移動することで前記メッシュ画像の形状を変形し、
前記第２の変形手段は、前記２本以上の指が前記入力表示部上をドラッグされる際の移動方向、及び移動量に基づいて、前記複数の制御点を移動することで前記メッシュ画像の形状を変形する、
ことを特徴とする請求項２に記載の画像補正装置。
【請求項４】
前記第２の変形手段は、前記２本以上の指が前記入力表示部上で平行移動する場合には、前記平行移動の移動方向に、前記平行移動の移動量の分だけ、前記複数の制御点を移動させる、
ことを特徴とする請求項３に記載の画像補正装置。
【請求項５】
前記第２の変形手段は、前記２本以上の指が前記入力表示部上で回転移動する場合には、前記回転移動の回転方向に、前記回転移動の移動量の分だけ、所定の座標、又は回転軸を中心に前記複数の制御点を回転移動させる、
ことを特徴とする請求項３又は４に記載の画像補正装置。
【請求項６】
前記第２の変形手段は、前記２本以上の指が前記入力表示部上で離間移動する場合には、前記離間移動の方向に、前記離間移動の移動量に応じて、所定の座標、又は軸を中心に前記複数の制御点を移動させ、前記２本以上の指が前記入力表示部上で互いに近接移動する場合には、前記近接移動の方向に、前記近接移動の移動量に応じて、所定の座標、又は軸を中心に前記複数の制御点を移動させる、
ことを特徴とする請求項３乃至５のいずれか一項に記載の画像補正装置。
【請求項７】
前記補正手段は、前記メッシュ画像が湾曲形状である場合に、前記処理対象の画像に対して湾曲補正処理を実行し、前記メッシュ画像が直線性を有する形状である場合に、前記処理対象の画像に対して台形補正処理を実行する、
ことを特徴とする請求項１乃至６のいずれか一項に記載の画像補正装置。
【請求項８】
処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する画像補正方法であって、
前記処理対象の画像と前記メッシュ画像とを表示する入力表示部へのユーザによるタッチ操作を検出するステップと、
前記検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定するステップと、
前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形するステップと、
前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形するステップと、
前記変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正するステップと、
を含むことを特徴とする画像補正方法。
【請求項９】
処理対象の画像に重畳して表示されているメッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する画像補正装置を制御するコンピュータを、
表示機能及びタッチ入力機能を有する入力表示部に、前記処理対象の画像と前記メッシュ画像とを重畳表示する表示制御手段、
前記入力表示部へのユーザによるタッチ操作を検出する検出手段、
前記検出手段によって検出されたタッチ操作が、前記メッシュ画像を構成するベジェ曲線上の複数の制御点のうち、いずれか１つの制御点を操作する個別操作であるか、前記複数の制御点を同時に操作する全体操作であるかを判定する判定手段、
前記判定手段によって前記タッチ操作が個別操作であると判定された場合に、前記複数の制御点のうち、前記タッチ操作により指定された１つの制御点を、前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第１の変形手段、
前記判定手段によって前記タッチ操作が全体操作であると判定された場合に、前記複数の制御点を同一条件で前記タッチ操作に応じて移動させることで、前記メッシュ画像の形状を変形する第２の変形手段、
前記第１の変形手段と前記第２の変形手段によって変形された前記メッシュ画像の形状に基づいて、前記処理対象の画像の形状を補正する補正手段、
として機能させることを特徴とするプログラム。