(57)【要約】【課題】  撮影画像内に、原稿領域と背景との間の境界以外に、多数の直線が存在する場合でも、効率よく原稿領域を特定できるようにする。【解決手段】  本発明では、以前の撮影画像に対して特定した原稿の四辺の位置に基づいて、処理対象領域を特定するためのマスクを生成し、新たな撮影画像に対して該マスクを適用することにより、該マスクにより特定される前記新たな撮影画像における処理対象領域から、原稿の四辺の位置を取得する。【選択図】  図５
2019028677.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮影画像から原稿の四辺の位置を示す第１の情報を取得する第１の取得手段と、
異なる２つの撮影画像のそれぞれにおける特徴点に基づいて、前記異なる２つの撮影画像それぞれの座標系の間の座標変換に用いる変換情報を求める第２の取得手段と、
前記変換情報を用いて、前記第１の取得手段で検出した第１の情報を、第２の撮影画像における原稿の四辺の位置を示す第２の情報に変換する変換手段と、
前記第２の情報により示される原稿の四辺の位置に基づいて、処理対象領域を特定するためのマスクを生成するマスク生成手段と、
を有し、
前記第１の取得手段は、第３の撮影画像に対して前記マスクを適用することにより、前記マスクにより特定される前記第３の撮影画像における処理対象領域から、原稿の四辺を示す第３の情報を取得することを特徴とする情報処理装置。
【請求項２】
撮影操作が為された際の撮影画像に対して、当該撮影画像における原稿の四辺の位置を示す情報に基づく歪み補正を実行する歪み補正手段を、
更に有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記原稿の四辺の位置は、原稿の頂点の座標位置に基づいて示されることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記第１の撮影画像と前記第２の撮影画像との間に複数の撮影画像が存在する場合、前記第２の取得手段は各撮影画像間の変換情報を求め、前記変換手段は、前記求めた各撮影画像間の変換情報を順に掛け合わせることにより、前記第１の情報を前記第２の情報に変換することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記各撮影画像間の変換情報の掛け合わせ回数が所定回数より大きくなった際に、前記マスク生成手段によるマスクの生成と、前記第１の取得手段による前記第３の情報の取得とが実行される、ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記マスク生成手段は、前記第２の情報により示される原稿の四辺の位置と前記変換手段で変換された第２の情報の誤差とに基づいて、処理対象領域を特定するためのマスクを生成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記マスク生成手段は、複数の撮影画像それぞれについて前記変換手段で求めた複数の第２の情報に基づいて、統合されたマスクを生成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項８】
前記第１の取得手段は、前記マスク生成手段でマスクが生成されている場合は、前記マスクにより特定される撮影画像の処理対象領域に対し精度優先の紙面検出処理を実行することにより原稿の四辺を示す情報を取得し、前記マスク生成手段でマスクが生成されていない場合は、撮影画像全体に対し速度優先の紙面検出処理を実行することにより原稿の四辺を示す情報を取得することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項９】
コンピュータを、請求項１乃至８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
撮影画像に対して原稿の四辺の位置を示す情報を取得し、
当該取得した情報に基づいて、処理対象領域を特定するためのマスクを生成し、
新たな撮影画像に対して前記マスクを適用することにより、前記マスクにより特定される前記新たな撮影画像における処理対象領域から、原稿の四辺の位置を取得することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像中の原稿の位置を取得する技術に関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレットＰＣといった高度な情報処理機能を持つモバイル端末が普及してきている。これらのモバイル端末は、カメラを備え、撮影機能（カメラ機能）を有している。このようなモバイル端末のカメラ機能を用いて紙媒体の原稿を撮影して得られた原稿画像を、携帯端末のメモリ上に画像データとして保存する機会が増えてきた。
【０００３】
フラットベッドスキャナや複合機における原稿のスキャンとは異なり、モバイル端末のカメラ機能を用いた原稿の撮影では、撮影画像全面に原稿全体を正面から歪みなく写すことが難しい。また、このようにして得られた撮影画像をそのまま印刷したりデータファイル化したりするのは好ましくない。なぜなら、撮影時に原稿内容以外の余計なものが写ってしまう場合や、斜め方向から撮影したために原稿内容に幾何学的な歪みが生じる場合があるためである。このような場合には、印刷やデータファイル化を行う前に撮影画像から原稿内容の領域（原稿領域）だけを切り出し、切り出した原稿領域に対して歪み補正（台形補正と呼ばれる場合もある）を施して歪みを取り除く必要がある。
【０００４】
特許文献１では、撮影画像から複数の線分（直線）を抽出した後、各線分の組み合わせの評価値に基づいて最も評価値の高い四辺形を被写体の領域と判断し、その四辺形領域に基づいて歪み補正を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０５８６３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本出願人は、モバイル端末のカメラ機能で文書を撮影する際に、ユーザが撮影ボタンを押す前に画面に表示されているライブビュー画像において、リアルタイムに文書領域を検出して、当該検出した文書領域の位置を赤枠等で該ライブビュー画像上に重ねて表示することを検討している。このようにすれば、ユーザは撮影ボタンを押す前に文書が撮影範囲に入っているか判定しやすくなる。
【０００７】
しかしながら、特許文献１のような、撮影画像から直線の線分を抽出して四辺形領域を判定する技術では、撮影画像から多数の線分が抽出されると、線分の組み合わせの評価対象が多くなるので計算量が増え、四辺形領域の判定に時間がかかってしまう。例えば、被写体が文書の場合、その文書内に表があると表の罫線が線分として多数検出される場合がある。また、被写体が文書で、その文書が木目調のテーブルに置かれているときは、被写体の後ろにあるテーブルの木目が複数の直線として抽出されてしまう場合もある。このように、被写体内部の表罫線や被写体背後の直線のテクスチャが多くなればなるほど、検出される直線線分が増えて四辺形領域の判定に時間がかかることになる。すなわち、モバイル端末等において、ライブビュー画像全体からリアルタイムに直線を検出して四辺形領域を判定して表示することは、計算量（処理負荷）が大きすぎるという課題があった。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の情報処理装置は、第１の撮影画像から原稿の四辺の位置を示す第１の情報を取得する第１の取得手段と、異なる２つの撮影画像のそれぞれにおける特徴点に基づいて、前記異なる２つの撮影画像それぞれの座標系の間の座標変換に用いる変換情報を求める第２の取得手段と、前記変換情報を用いて、前記第１の取得手段で検出した第１の情報を、第２の撮影画像における原稿の四辺の位置を示す第２の情報に変換する変換手段と、前記第２の情報により示される原稿の四辺の位置に基づいて、処理対象領域を特定するためのマスクを生成するマスク生成手段と、を有し、前記第１の取得手段は、第３の撮影画像に対して前記マスクを適用することにより、前記マスクにより特定される前記第３の撮影画像における処理対象領域から、原稿の四辺を示す第３の情報を取得することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影画像内に原稿と背景との間の境界以外に多数の直線が存在する場合でも、以前の画像において判定された原稿領域の結果に基づき検出対象領域を制限することで、高速に原稿領域を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】モバイル端末の外観の一例を示す図である。
【図２】モバイル端末１００のハードウェアの構成の一例を示す図である。
【図３】モバイル端末１００のソフトウェア構成の一例を示す図である。
【図４】モバイルアプリ３０２のＵＩを提供する画面の一例を示す図である。
【図５】第１の実施形態に係る原稿歪み補正処理フローを示す図である。
【図６】マスクを用いない紙面検出処理の一例を示す図である。
【図７】画像位置追跡処理の一例を示す図である。
【図８】座標変換処理の一例を示す図である。
【図９】マスク生成処理の一例を示す図である。
【図１０】マスクを用いた紙面検出処理の一例を示す図である。
【図１１】歪み補正処理の一例を示す図である。
【図１２】第２の実施形態に係る原稿歪み補正処理フロー２を示す図である。
【図１３】第２の実施形態に係るマスク生成処理の一例を示す図である。
【図１４】第３の実施形態に係る原稿歪み補正処理フロー３を示す図である。
【図１５】第４の実施形態に係る原稿歪み補正処理フロー４を示す図である。
【図１６】画像外フラグを参照した紙面検出処理の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。
【００１２】
＜第１の実施形態＞
本実施形態に係る情報処理装置の一例として、カメラ機能付きのモバイル端末（携帯端末）を例に説明する。図１は、モバイル端末の外観の一例を示す図である。モバイル端末１００は、各種のユニット（１０１〜１０４）を含んで構成される。モバイル端末１００の前面部１０１には、タッチパネル１０２が設けられているタッチパネル１０２は、画像（動画）等の情報を表示するためのディスプレイ（表示部）としての機能と、ユーザのタッチ操作に応じて指示を入力するための入力部としての機能とを備えている。さらに、モバイル端末１００の背面部１０３は、紙文書等の被写体１０５を撮影して撮影画像を取り込むためのカメラ１０４を含む。モバイル端末１００のユーザは、後述のモバイルアプリ（モバイルアプリケーション）を起動させ、カメラ１０４を使用して被写体１０５の画像を撮ることによって処理を開始することができる。図１の被写体１０５は、Ａ４サイズの紙文書の注文書である。なお、被写体１０５は、Ａ４サイズの紙文書だけに限らず、様々なサイズの原稿を対象にすることができる。後述のモバイルアプリは、カメラ１０４を使用して被写体１０５の画像を取り込み、タッチパネル１０２にその画像を表示出力することができる。
【００１３】
図２は、モバイル端末１００のハードウェアの構成の一例を示す図である。モバイル端末１００は、各種のユニット（２０１〜２０７）を含んで構成される。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、各種のプログラムを実行し、様々な機能を実現するユニット（コンピュータ）である。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０２は、各種の情報を記憶するユニットである。また、ＲＡＭ２０２は、ＣＰＵ２０１の一時的な作業記憶領域としても利用されるユニットである。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３は、各種のプログラム等を記憶する記憶媒体である。ＲＯＭ２０３は、フラッシュメモリやＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｉｓｋ）やＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の記憶媒体であればよい。そして、ＣＰＵ２０１は、ＲＯＭ２０３に記憶されているプログラムをＲＡＭ２０２にロードしてプログラムを実行する。これにより、ＣＰＵ２０１は、図３に示されるようなモバイルアプリの各処理部として機能し、後述するシーケンスの各ステップの処理を実行する。なお、モバイルアプリの各処理部の機能及び後述するシーケンスに係る処理の全部又は一部については、ＣＰＵ２０１で実現するものに限るものではなく、専用のハードウェアを用いて実現してもよい。
【００１４】
Ｉｎｐｕｔ／Ｏｕｔｐｕｔインターフェース２０４は、タッチパネル１０２とデータを送受信する。ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）２０５は、モバイル端末１００をネットワーク（不図示）に接続するためのユニットである。カメラユニット２０６は、カメラ１０４と接続し、被写体１０５の画像をモバイル端末１００に取り込む。上述した各ユニットは、バス２０７を介してデータの送受信を行うことが可能に構成されている。
【００１５】
図３は、モバイル端末１００のソフトウェア構成の一例を示す図である。図３に示されるモバイルアプリ３０２における各機能の処理手段３０３〜３１４（モバイルアプリの各モジュール部）を実現するプログラムは、ＲＯＭ２０３等に記憶されている。本実施形態では、ＣＰＵ２０１がモバイルアプリ３０２のプログラムを実行することによって、各処理手段３０３〜３１４として機能するものとするが、各機能をＡＳＩＣ等の電子回路を用いて実現するようにしても構わない。
【００１６】
モバイル端末１００のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）（不図示）は、データ管理手段３０１を有する。データ管理手段３０１は、画像やアプリケーションデータを管理する。ＯＳは、データ管理手段３０１を利用するための制御ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）を提供している。モバイルアプリはその制御ＡＰＩを利用することで、データ管理手段３０１が管理する画像、アプリケーションデータの取得や保存を行う。
【００１７】
モバイルアプリ３０２は、モバイル端末１００のＯＳのインストール機能を利用して、各ＯＳのアプリストア等からダウンロードおよびインストールされたアプリケーションである。モバイルアプリ３０２は、カメラユニット２０６を介して取り込んだ被写体１０５の撮影画像に対する各種の画像処理を行う。
【００１８】
メイン制御手段３０３は、モバイルアプリ３０２を制御し、各モジュール（３０４〜３１４）を連携させて制御するための制御部である。
【００１９】
情報表示手段３０４は、メイン制御手段３０３からの指示に従い、モバイルアプリ３０２のユーザーインタフェース（ＵＩ）を画面に表示させてユーザに提供する。図４は、モバイルアプリ３０２のＵＩ（携帯端末用のＵＩ）を提供する画面の一例（モバイル端末画面４００）を示す図である。モバイル端末画面４００は、モバイル端末１００のタッチパネル１０２に表示される。また、モバイル端末画面４００では、表示および操作を行うための領域４０１に、カメラ１０４を介して取り込んだ画像を表示し、また、画像等に対するユーザによる操作（ユーザ操作）を、当該表示されたＵＩを介して受け付ける。なお、モバイルアプリ３０２のＵＩの形態（位置、大きさ、範囲、配置、表示内容など）は、図に示す形態に限定されるものではなく、後述する各処理を実現することができる適宜の構成を採用することができる。
【００２０】
操作情報取得手段３０５は、情報表示手段３０４により表示されたＵＩを介してユーザ操作された内容を示す情報を取得し、当該取得した情報をメイン制御手段３０３に通知する。例えば、タッチパネル１０２に表示された領域４０１をユーザが手で触れると、操作情報取得手段３０５は、当該触れられた画面上の位置の情報を感知し、感知した位置の情報をメイン制御手段３０３に送信する。
【００２１】
撮影画像取得手段３０６は、カメラユニット２０６を介して撮影された動画像等の各撮影画像を取得し、記憶手段３０７に送信する。記憶手段３０７は、撮影画像取得手段３０６で取得された画像を記憶する。また、記憶手段３０７は、後述する原稿の頂点情報、及びモバイルアプリ３０２で管理するその他の一時情報を保存する。
【００２２】
特徴抽出手段３０８は、カメラユニット２０６を介して取得した撮影画像や、記憶手段３０７で一時的に記憶している画像から特徴点を抽出する。例えば、画像上の輝度の変化が大きな箇所（エッジ）等を、特徴的なピクセル点（特徴点）とし、その特徴点の特徴を表すデータ（特徴量）を算出する。特徴点および特徴量を求める手法としては、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）等の手法がある。
【００２３】
紙面検出手段３０９は、カメラユニット２０６を介して取得した撮影画像から、輝度の変化が大きな箇所（エッジ）等の情報に基づいて、原稿の端部（原稿の四辺）を検出することにより、頂点情報（四辺で構成される四角形の各頂点の座標に関する情報）を取得する。なお、後述するマスク生成手段３１３がマスクを生成済みであれば、紙面検出手段３０９は、該マスクの情報を用いて原稿の四辺の検出対象領域を制限したうえで四辺検出処理（直線検出処理）を行う。
【００２４】
特徴点追跡手段３１０は、動画撮影した第１のフレームの撮影画像（原画像）から特徴点抽出手段３０８により特徴点を抽出し、比較対象の第２のフレームの撮影画像上で前記特徴点の移動位置を推定する特徴点追跡処理（オプティカルフロー）を行う。特徴点追跡処理は、原画像上の各特徴点が、比較対象の画像においてどの方向にどれだけ移動したかの移動ベクトルを推定する。これにより、原画像上の特徴点が比較対象の画像上のどの位置に移動したかを推定できる。
【００２５】
画像位置追跡手段３１１は、２つの画像（例えば、第１フレームの撮影画像と第２フレームの撮影画像）の間で、ホモグラフィー変換（Ｈｏｍｏｇｒａｐｈｙ  ｔｒａｎｓｆｏｒｍ）を行うためのホモグラフィー変換行列（以下、変換行列）を算出し、これを用いて画像間の位置合わせを行う。ホモグラフィー変換は、ある平面座標系上の点を、異なる平面座標系上に移動させる変換である。類似の変換方法として、画像の回転、平行移動、拡大縮小を行うアフィン変換があるが、ホモグラフィー変換は、それらに加えて、座標位置に応じて拡大縮小の比率を変え、台形状の変換が可能となる。ホモグラフィー変換は、画像上の座標点（ｘ１，ｙ１）、変換後の画像上の座標点（ｘ２，ｙ２）、変換行列Ｈ、定数ｓを用いて以下のように表される。なお、変換行列の数式は、下記の数式（行列式）での表現に限るものではなく、２つの画像の座標系を変換するための変換式であれば、その他の形態であっても構わない。このような変換式（変換行列）は、２つの画像の座標系を変換する際の変換情報として使用される。
【００２６】
【数１】
2019028677.tif 000003
【００２７】
２つの画像間に同じ被写体から抽出される特徴点が存在している場合、特徴点追跡手段３１０のマッチング処理で求められた画像間の対応点座標をもとに、変換行列Ｈの各パラメータを算出する。これにより、２つの画像間の変換行列を求め、第１の画像中の座標を第２の画像中にマッピングすることや、変換行列の逆行列を求めて、その逆のマッピングをおこなうことが可能となる。
【００２８】
座標変換手段３１２は、原画像で検出された原稿領域の頂点情報を、画像位置追跡手段３１１で求めた変換行列を用いて比較画像上の座標に変換する。
【００２９】
マスク生成手段３１３は、座標変換手段３１２により変換された比較画像上の座標に基づきマスクを生成する。
【００３０】
歪み補正手段３１４は、撮影画像において判定された原稿領域の頂点情報（原稿の四辺に関する情報）と、出力画像のサイズ情報（原稿のサイズ情報）とに基づいて、原稿画像を幾何補正（歪み補正）することにより、歪みの無い画像を取得する。具体的には、撮影画像において判定された原稿領域から得た頂点座標を、所定の原稿サイズの矩形に変換する変換行列を取得し、これを用いて撮影画像の各画素を出力画像の対応画素に変換する。
【００３１】
［原稿歪み補正処理フロー］
次に、モバイル端末１００のモバイルアプリ３０２が実行する本発明の原稿歪み補正処理フローについて、図５を用いて説明する。なお、ここでは、Ｓ５１０で「撮影された」と判断するまで、カメラユニットから順次入力される画像に対して処理を複数回繰り返すものとし、それぞれ１回目の処理、２回目の処理等、処理回数毎に説明する。
【００３２】
本フローは、ユーザの操作に応じて、モバイル端末１００におけるモバイルアプリ３０２が起動され、カメラユニット２０６を介して被写体１０５の撮影画像（動画）を取得することをトリガーとして開始される。
【００３３】
ステップＳ５０１で、撮影画像取得手段３０６は、カメラユニット２０６を介して撮影画像を取得する。
【００３４】
ステップＳ５０２で、メイン制御手段３０３は、検出された原稿四辺の頂点の位置座標を示す頂点情報を、保存済みであるか否かを判断する。頂点情報を保存済みであればステップＳ５１１に遷移し、そうでなければステップＳ５０３に遷移する。１回目の処理、すなわちモバイルアプリ３０２の起動直後では、頂点情報は未だ保存されていないため、必ずステップＳ５０３への遷移となる。
【００３５】
ステップＳ５０３において、メイン制御手段３０３は、画像位置追跡カウンターを０に初期化する。画像位置追跡カウンターは後述するステップＳ５１３及びステップＳ５１４で参照される。
【００３６】
ステップＳ５０４において、紙面検出手段３０９は、撮影画像に対して紙面検出処理（原稿の四辺を検出する処理）を実行する。すなわち、紙面検出手段３０９は、撮影画像内の検出処理対象領域において、輝度の変化が大きな箇所（エッジ）を検出し、原稿の端部（原稿の四辺）を検出することにより、頂点情報（四角形を構成する各頂点の座標に関する情報）を取得する。なお、後述するステップＳ５１５においてマスクが生成されていれば、マスクを用いた紙面検出処理（マスクされていない領域を検出処理対象領域とした紙面検出処理）が実行される。マスクを用いない紙面検出処理（撮影画像全体に対する紙面検出処理）の詳細は、図６を用いて後述する。また、マスクを用いた紙面検出処理の詳細は、図１０を用いて後述する。
【００３７】
ステップＳ５０５において、メイン制御手段３０３は、ステップＳ５０４で頂点情報を取得できたか否かを判断する。頂点情報が取得されていればステップＳ５０６に遷移し、そうでなければステップＳ５０７に遷移する。ステップＳ５０６では、頂点情報を記憶手段３０７に一時保存し、ステップＳ５０８に遷移する。ステップＳ５０７では、記憶手段３０７に保存済みの頂点情報をリセットし、ステップＳ５０１へ遷移する。
【００３８】
ステップＳ５０８において、メイン制御手段３０３は、後述するステップＳ５１１における画像位置追跡処理のために、撮影画像を記憶手段３０７で一時保存する。
【００３９】
ステップＳ５０９において、情報表示手段３０４は、撮影画像に該撮影画像に対応する頂点情報を重畳して、図４の領域４０１に表示する。
【００４０】
ステップＳ５１０において、メイン制御手段３０３は、ユーザにより撮影操作が行われたか否かを判断する。撮影操作とは、モバイル端末画面４００に表示された撮影ボタンもしくはモバイル端末に設けられた撮影用のハードウェアキーを、ユーザが押下する操作（いわゆるシャッターを切るための操作）である。撮影されたと判断した場合、ステップＳ５１６に遷移し、そうでなければステップＳ５０１に遷移する。なお、ステップＳ５１０の処理は、ユーザによるボタン操作やキー操作に限るものではなく、メイン制御手段３０３が撮影可否を判断して自動的に撮影操作を実行するようにしても良い。例えば、メイン制御部３０３が、撮影画像のボケ度合などの画質を評価して、画質が所定の閾値以上に達したと判断した時点で自動的に撮影操作を行うようにしてもよい。あるいは、モバイル端末１００が有する加速度センサ（不図示）を用いて、モバイル端末１００が一定時間静止した場合に自動的に撮影操作を行う。
【００４１】
前述のように、１回目の処理のステップＳ５０６で頂点情報が保存された場合、２回目の処理のステップＳ５０２では、頂点情報が保存されていると判断して、ステップＳ５１１に遷移する。ステップＳ５１１において、画像位置追跡手段３１１は、１回目の処理のステップＳ５０８で保存された撮影画像から抽出される特徴点と、２回目の処理のステップＳ５０１で取得した撮影画像から抽出される特徴点とを用いて、画像位置追跡処理を行い、変換行列を取得する。画像位置追跡処理の詳細は、図７を用いて後述する。なお、以下では、２つの画像間の座標変換に用いる変換情報を「変換行列」として説明するが、前述の画像位置追跡処理部３１２の説明において説明したように、行列式の表現に限るものではなく、その他の変換式や変換情報であっても構わない。
【００４２】
ステップＳ５１２において、座標変換手段３１２は、１回目の処理のステップＳ５０６で保存された頂点情報を、Ｓ５１１で求めた変換行列を用いて座標変換する。座標変換処理の詳細は、図８を用いて後述する。ここで座標変換された頂点情報が、２回目の処理の撮影画像に対応する頂点情報として、後段のステップＳ５０９で表示に用いられる。
【００４３】
次に、ステップＳ５１３において、メイン制御手段３０３は、画像追跡カウンターが閾値Ｔより小さいか否かを判断し、小さければステップＳ５１４へ遷移し、そうでなければステップＳ５１５へ遷移する。閾値Ｔは任意の値を設定可能であるが、本実施形態では閾値Ｔ＝５とする。この場合、２回目から６回目の処理ではステップＳ５１４への遷移となり、７回目の処理でステップＳ５１５へ遷移する。
【００４４】
ステップＳ５１４において、メイン制御手段３０３は、画像位置追跡カウンターを１インクリメントし、ステップＳ５０８に遷移する。
【００４５】
ステップＳ５１５において、マスク生成手段３１３は、撮影画像に対して紙面検出の対象領域を制限するためのマスクを生成し、ステップＳ５０３に遷移する。マスクは、ステップＳ５１２で得た座標変換された頂点情報に基づき生成される。マスク生成処理の詳細は、図９を用いて後述する。マスクが生成された場合、ステップＳ５０４では、当該生成されたマスクを用いた紙面検出処理が実行される。マスクを用いた紙面検出処理の詳細は、図１０を用いて後述する。
【００４６】
ステップＳ５１６において、歪み補正手段３１４は、撮影画像の歪みを補正して補正画像を出力する。歪み補正処理の詳細は、図１１を用いて後述する。
【００４７】
上述したように、Ｓ５０４の紙面検出処理で頂点情報が得られた後の連続したＴ枚（本例では５枚）の撮影画像に対しては、Ｓ５０４の紙面検出処理ではなく、Ｓ５１１の画像位置追跡処理とＳ５１２の座標変換処理とによりそれらの撮影画像上での頂点座標を求めることになる。すなわち、それらの撮影画像上での頂点情報は、過去の撮影画像から得た頂点情報をＳ５１２で座標変換することで求められる。そのため、Ｓ５１１の画像位置追跡処理に比べて低速なＳ５０４の紙面検出処理を実行する回数が抑えられる。また、Ｔ枚の処理中は画像位置追跡処理により求めた変換行列が順に掛け合わせ続けられるため、追跡誤差が蓄積していくことになるが、Ｔ枚毎にこれがリセットされてＳ５０４の紙面検出処理が実行されるため、追跡誤差の影響を低減できる。すなわち、画像位置追跡処理により求めた変換行列の掛け合わせ回数が所定回数（５回）より大きくなる場合に、紙面検出処理による原稿の四辺の検出処理が行われるので、追跡誤差をリセットできる。
【００４８】
［マスクを用いない紙面検出処理］
図６は、紙面検出手段３０９が行う紙面検出処理の概念を表す模式図である。図６では、マスクを用いずに、撮影画像全体に対して紙面検出処理を行う場合について説明する。図６（ａ）は撮影画像６００を表し、撮影画像内には、原稿と背景の境界を示す原稿境界６０１が含まれている。
【００４９】
紙面検出手段３０９は、撮影画像６００から候補線分群を取得する線分検出処理を行う。線分検出処理は、撮影画像６００からＣａｎｎｙ法などの公知のエッジ検出方法を適用後、Ｈｏｕｇｈ変換などの公知の直線検出方法を適用することにより、原稿境界を構成する四辺の候補線分を検出する。図６（ｂ）は、撮影画像６００に候補線分群６０２〜６０６を重畳した画像である。検出された候補線分群には、候補線分６０２のように原稿境界６０１以外から検出される線分が含まれる。
【００５０】
次に、紙面検出手段３０９は、候補線分群の中から、原稿境界６０１の各辺を最も良く表す候補線分６０３、６０４、６０５、６０６を特定する。具体的には、候補線分群から任意の４本の候補線分を抽出し、それらが成す四角形の領域に対して評価を行い、評価値が最も高い候補線分の組を選択する。四角形領域の評価は、例えば対辺の長さの比や内角の大きさ、アスペクト比などの幾何情報に基づいて行う。または、四角形を構成する辺と頂点について、内側と外側の色味や分散を比較することによって評価するようにしても良い。
【００５１】
最後に、選択された四角形領域の頂点を頂点情報として保持する。図６（ｃ）は、候補線分群から特定された四角形領域６０７を撮影画像６００に重畳した画像である。頂点情報は、四角形領域６０７の頂点６０８、６０９、６１０、６１１の位置座標を示すものとする。
【００５２】
［画像位置追跡処理］
図７は、画像位置追跡手段３１１が行う画像位置追跡処理を表す模式図である。撮影画像７００、７０１、７０２、７０３は、撮影画像取得手段３０６で連続的に取得した撮影画像である。最初の撮影画像７００に対しては、ステップＳ５０４の紙面検出処理により頂点情報が取得され、ステップＳ５０８で画像位置追跡用の画像として保存されたものとする。その後、ステップＳ５０１の処理で次の撮影画像７０１が取得されたとする。このとき、画像位置追跡手段３１１は、ステップＳ５１１において、特徴点追跡手段３１０により撮影画像７００から抽出される特徴点群７０４と撮影画像７０１から抽出される特徴点群７０５とを比較することにより、対応する特徴点間の座標位置に基づいて、撮影画像７００と撮影画像７０１との間の変換行列７０６を算出する。すなわち、変換行列７０６は、撮影画像７００上の座標から、該座標に対応付く撮影画像７０１上の座標を特定するための変換行列であるので、撮影画像７００上の四角形の頂点の座標に該変換行列を掛け合わせれば、撮影画像７０１上の四角形の頂点の座標を求めることができる。同様に、撮影画像７０１の特徴点群特徴点群７０５と撮影画像７０２の特徴点群７０７とを比較することにより、変換行列７０８を算出することができる。さらに、撮影画像７０２の特徴点群７０７と撮影画像７０３の特徴点群７０９とを比較することにより、変換行列７１０を算出することができる。このように求めた変換行列７０６、７０８、７１０を順次掛け合わせていくことにより、撮影画像間の位置を追跡することができる。図８は、座標変換手段３１２がステップＳ５１２で行う座標変換処理の概要を表す模式図である。座標変換手段３１２は、Ｓ５０６で保存しておいた撮影画像７００の頂点情報８００に対して、撮影画像７００と撮影画像７０１との特徴点比較に基づいて求めた変換行列７０６を掛け合わせることにより画像位置追跡処理を実行し、撮影画像７０１における頂点情報８０１を算出する。同様に、撮影画像７０２に対応する頂点情報８０２は、頂点情報８０１に対して変換行列７０８を掛け合わせることにより求められる。さらに頂点情報８０３は、頂点情報８０２に対して変換行列７１０を掛け合わせることにより求められる。
【００５３】
［マスク生成処理］
図９は、マスク生成手段３１３が行うマスク生成処理の概念を表す模式図である。ここでは撮影画像９００に対して、ステップＳ５１２の座標変換処理により頂点情報９０１が求められたものとする。頂点情報９０１は、四角形領域９０２を構成する各頂点である。マスク生成手段３１３は、四角形領域９０２に対して、各辺の近傍Ｗピクセルの領域を非マスク領域９０３、それ以外の領域をマスク領域９０４とするマスク９０５を生成する。Ｗは任意の値を設定することができる。本実施形態では、Ｗ＝（四角形領域の最短辺長）×０．２とする。これにより、画像サイズや対象とする原稿の画像内サイズが変わっても対応可能である。
【００５４】
［マスクを用いた紙面検出処理］
図１０は、紙面検出手段３０９が行うマスクを用いた紙面検出処理を表す模式図である。撮影画像９００に対してマスク生成手段で生成されたマスク９０５を適用すると、図１０のようなマスク適用後の画像１０００が得られる。マスク領域９０４は、紙面検出処理の対象範囲外とし、該マスク領域からは候補線分を検出しない。すなわち、マスク適用後の画像１０００において、非マスク領域９０３を候補線分検出処理の処理対象領域とし、マスク領域９０４を処理対象領域から外すことになる。マスク適用画像１０００の非マスク領域から得られる候補線分群１００１は、マスクを用いずに撮影画像全体から紙面検出処理により候補線分を検出する場合に比べて、候補線分の数が大幅に削減される。したがって、検出処理の対象領域が減るので紙面検出処理の処理速度も向上し、また、候補線分の数が減るので候補線分の誤認識も減ること（識別精度の向上）が期待できる。
【００５５】
［歪み補正処理］
図１１は、歪み補正手段３１４が行う歪み補正処理の概念を表す模式図である。撮影画像６００において求められた四角形領域の頂点６０８、６０９、６１０、６１１を、あらかじめ決められた出力画像のサイズ（例えばＡ４サイズ）の頂点１１０１、１１０２、１１０３、１１０４に合うように変換することで、歪みの無い補正画像１１００が得られる。
【００５６】
すなわち、歪み補正手段３１４は、撮影画像６００における頂点情報と出力画像における頂点情報とに基づいて、歪み補正情報（変換行列）を算出し、これを用いて歪みのない原稿画像を生成する。出力画像の頂点情報は、例えばＡ４縦サイズの３００ＤＰＩの画像を生成したい場合、縦３５１０ピクセル、横２４８０ピクセルの矩形の４頂点座標となる。歪み補正情報は、原稿領域が台形状に歪んでいる場合を考慮し、射影変換行列となる。射影変換行列は、撮影画像内の頂点情報と出力画像の頂点情報から公知の方法により算出できる。なお、処理速度を優先する場合には、アフィン変換行列や単純な変倍率を歪み補正情報として用いて算出しても良い。歪み補正手段３１４は、撮影画像６００内の頂点６０８、６０９、６１０、６１１で示される四角形の原稿領域に対してのみ歪み補正処理を施すことで、撮影画像内から原稿領域だけを取り出した画像を出力できる。
【００５７】
以上のように、第１の実施形態によれば、原稿と背景の境界以外にも多数の直線が撮影画像内に存在する場合でも、マスクを設定して処理対象領域を制限することにより、不要な線分の検出が抑えられるので、高速に原稿領域を識別でき且つ識別精度も向上する。
【００５８】
＜第１の実施形態の第１の変形例＞
前述した第１の実施形態では、マスク生成手段３１３が生成する非マスク領域の幅Ｗは四角形領域のサイズにのみ依存して決定していた。これに対し本変形例では、画像位置追跡手段３１１の追跡誤差も考慮して非マスク領域の幅Ｗを決定するようにしても良い。特徴点群Ａ１と特徴点群Ｂとの間における変換行列を算出した場合、誤差は、特徴点群Ａ１に該変換行列を掛け合わせた場合に得られる特徴点群Ａ２と特徴点群Ｂとの間の距離平均として得られる。また、特徴点追跡手段３１０による特徴点群の対応関係から誤差を算出するようにしても良い。この誤差に対して単調増加するように非マスク領域の幅Ｗを設定する。これにより、画像位置追跡手段３１１の追跡精度も考慮しながら非マスク領域の幅Ｗを決定することができる。
【００５９】
またＷは、紙面検出手段３０９により候補線分を算出した際の誤差に基づき設定しても良い。原稿に折れや曲がりなど物理的な変形がある場合、原稿境界を直線で近似した際に誤差が生じる。この誤差に単調増加するようにＷを設定することで、紙面検出手段３０９の誤差を考慮することができる。
【００６０】
＜第１の実施形態の第２の変形例＞
前述した第１の実施形態では、画像位置追跡処理は常に成功するものとして説明したが、例えば撮影画像全体が大きく変化するような連続画像が入力されると、画像位置追跡処理に失敗する場合がある。例えば、モバイル端末が大きく動いた場合や、照明装置のＯＮ／ＯＦＦ切り替えなどにより撮影画像から抽出できる特徴点の数が変わった場合などである。そこで、ステップＳ５１１において画像位置追跡処理の正否を判定し、失敗した場合にステップＳ５０３に遷移し紙面検出処理を実行しても良い。画像位置追跡処理の失敗判定は、例えば特徴点追跡手段３１０により対応付いた特徴点の組が４点以上得られたかどうかを判定することで実現できる。
【００６１】
＜第１の実施形態の第３の変形例＞
前述した第１の実施形態では、マスク９０５は非マスク領域９０３とマスク領域９０４の２種類の情報のみを有したが、さらに、原稿境界の四辺の位置に関する情報を持たせても良い。例えば、左上頂点と左下頂点を端点とする左辺の近傍領域を左辺抽出領域として、左辺の候補線分を検出するようにしてもよい。同様に、上辺、右辺、下辺も同様に領域設定することにより、各辺に対応した抽出領域から候補線分を高速に抽出できるようになる。
【００６２】
＜第２の実施形態＞
第１の実施形態で説明したマスク生成手段３１３の処理は、直前の撮影画像に対して求めた頂点情報を用いてマスクを生成していた。第２の実施形態では、複数フレーム分の撮影画像それぞれに対して求めた頂点情報に基づいて、マスクを生成するものとする。複数枚の撮影画像から得られた頂点情報を統合してマスクを生成することにより、一度原稿領域を誤認識したとしても、それより前の撮影画像に対して求めた頂点情報を考慮するので、マスクしすぎる可能性を減らすことができる。
【００６３】
第２の実施形態の原稿歪み補正処理フローについて図１２を用いて説明する。なお、第１の実施形態の図５におけるステップＳ５０６、Ｓ５０７、Ｓ５０９、Ｓ５１５がそれぞれステップＳ１２０１、Ｓ１２０２、Ｓ１２０３、Ｓ１２０４に変更となる。さらに、ステップＳ１２０２からステップＳ５０８へ遷移する。その他の処理ステップは変更がないので説明を省略する。
【００６４】
紙面検出処理で頂点情報が取得できたかどうかを図１２のステップＳ５０５で判断し、取得できた場合はステップＳ１２０１に遷移し、そうでなかった場合はステップＳ１２０２に遷移する。
【００６５】
ステップＳ１２０１において、メイン制御手段３０３は、当該取得した頂点情報を記憶手段３０７上の頂点情報リストに追加する。頂点情報リストは、紙面検出手段３０９で得た頂点情報を保持するリストである。
【００６６】
ステップＳ１２０２において、メイン制御手段３０３は、空データを記憶手段３０７上の頂点情報リストに追加する。
【００６７】
ステップＳ１２０３において、情報表示手段３０４は、撮影画像及び頂点情報を図４の領域４０１に表示する。ここで表示される頂点情報は、現在の撮影画像に対してステップＳ５０４で紙面検出処理が実行されていれば頂点情報リストの末尾に追加された頂点情報を表示し、そうでなければステップＳ５１２で座標変換手段３１２により取得された頂点情報を表示する。
【００６８】
ステップＳ１２０４において、マスク生成手段３１３は、記憶手段３０７に保存された頂点情報リストに保存されている頂点情報（複数の撮影画像それぞれにおいて求められた頂点情報）に基づいてマスクを生成する。
【００６９】
図１３は、マスク生成手段３１３がステップＳ１２０４で行うマスク生成処理の詳細を説明するための模式図である。図１３（ａ）、（ｂ）は、それぞれの撮影画像１３００に対して求めた頂点情報１３０１、１３０２を、各撮影画像上に重畳した場合の位置を示す図である。
【００７０】
まず、マスク生成手段３１３は、頂点情報リスト中の新しい方から順にＭ個の頂点情報を取得し、当該取得したＭ個の頂点情報からマスクを生成する。例えば、Ｍ＝２であった場合に、図１３（ａ）、（ｂ）の頂点情報１３０１、１３０２が取得されたものとする。この場合、当該取得した頂点情報１３０１、１３０２のそれぞれに基づいてそれぞれのマスクを生成する。なお、取得した頂点情報が空データの場合には、画像全体を非マスク領域とするマスクを生成するものとする。
【００７１】
次に、各頂点情報から生成された各マスクをＡＮＤ演算することによって新たに統合されたマスクを生成し、これを出力する。図１３（ｃ）は、頂点情報１３０１、１３０２から得られるマスクをＡＮＤ演算したマスク１３０５を表す。マスク１３０５は非マスク領域１３０３とマスク領域１３０４を有する。マスク領域１３０５は、Ｍ個の頂点情報に基づき生成されるため、それらの頂点情報のいずれかが正しく原稿領域を表現できていれば、原稿領域を誤ってマスク領域としてしまう可能性を減らすことができる。
【００７２】
マスク１３０５を撮影画像１３００に適用し紙面検出処理を行った結果を図１３（ｄ）に表す。紙面検出処理によって非マスク領域１３０３から複数の候補線分が抽出され、それらの候補線分の中から原稿の四辺である可能性が最も高いと判断された候補線分群１３０６と頂点情報１３０７とが得られる。この結果を受けて、頂点情報１３０１は誤認識であった可能性が高いと判断し、頂点情報リストに登録されている上位Ｍ個の頂点情報を、頂点情報１３０２と頂点情報１３０７とに更新するようにしてもよい。
【００７３】
図１３（ｅ）は、頂点情報１３０２、１３０７それぞれから生成されるマスクを統合したマスクを重畳した画像である。該マスク１３０８は非マスク領域１３０９とマスク領域１３１０を有する。非マスク領域１３０９は、誤検出であると判断された頂点情報１３０１の近傍領域を含まず、正しい原稿境界を表すと判断された頂点情報１３０２、１３０７の近傍領域により構成される。このようにＭ個全ての頂点情報が原稿領域を正しく表現できていれば、非マスク領域は原稿領域の近傍領域に収束し、頂点情報１３０１のような原稿領域と大きく異なる誤検出を防ぐことができる。
【００７４】
＜第２の実施形態の第１の変形例＞
前述した第２の実施形態では、一度の紙面検出処理で一つの頂点情報をリストに登録したが、紙面検出処理により一つの原稿領域に対する頂点情報として複数の候補が得られる場合、それら全ての頂点情報を用いてマスクを生成しても良い。さらに、各候補が原稿領域らしさを表す尤度を有する場合には、それらを非マスク領域の尤度とするマスクを生成し、これに基づき紙面検出処理を行っても良い。この場合、紙面検出手段３０９は、尤度が低い領域にある候補線分や四角形領域の評価値を下げる処理を行う。
【００７５】
＜第２の実施形態の第２の変形例＞
前述した第２の実施形態では、対象とする原稿は撮影画像中に１枚である場合を想定したが、本発明はこれに限るものではない。例えば、紙面検出手段が撮影画像中の複数の原稿領域それぞれから頂点情報を出力する場合、各頂点情報からマスクを生成し、ＡＮＤ演算したマスクを用いても良い。
【００７６】
＜第３の実施形態＞
第３の実施形態では、紙面検出処理の実行モード（精度優先モード／速度優先モード）をマスクの有無に応じて切り替える例について図１４を用いて説明する。なお、第３の実施形態の原稿歪み補正処理フローは、図５の原稿歪み補正処理フローに対して、ステップＳ５０３、Ｓ５０５間に新たにステップＳ１４０１、Ｓ１４０２、Ｓ１４０３が追加となる。その他の処理は変更がないので説明を省略する。
【００７７】
ステップＳ１４０１において、紙面検出手段３０９は、撮影画像に対応するマスクが生成済みであるか否かを判断し、マスクが生成済みであればステップＳ１４０２へ遷移し、そうでなければステップＳ１４０３へ遷移する。ステップＳ１４０２において、紙面検出手段３０９は、精度優先モードによる紙面検出処理を実行する。ステップＳ１４０３において、紙面検出手段３０９は、速度優先モードによる紙面検出処理を実行する。
【００７８】
精度優先モードは、速度優先モードと比較して、計算量が多く低速だが検出精度が良いモードである。例えば、速度優先モードでは候補線分の上限数を５０とし、精度優先モードでは上限数を１００とする。また速度優先モードでは、四角形領域の評価時に色味の評価を行わず、大きさや四角形領域の内包関係など幾何情報による評価を行い、精度優先モードでは幾何的評価に加えて色味の評価まで行う。
【００７９】
以上のように、本実施形態によれば、マスクの有無に基づき計算量及び精度の異なる複数の紙面検出処理を使い分けることができる。これにより、マスクが無い場合でも高速に原稿領域を特定でき、マスクがある場合には速度、精度が両方とも向上した紙面検出処理を実行できる。
【００８０】
＜第４の実施形態＞
第４の実施形態では、撮影中のモバイル端末１００の移動やモバイルアプリ３０２の操作により、原稿領域の一部が撮影画像外に出てしまうことを許容した原稿歪み補正処理フローについて図１５を用いて説明する。なお、第４の実施形態の原稿歪み補正処理フローは、図５の原稿歪み補正処理フローに対して、新たにステップＳ１５０１、Ｓ１５０２、Ｓ１５０３が追加となる。その他の処理は変更がないので説明を省略する。
【００８１】
ステップＳ１５０１において、メイン制御手段３０３は、ステップＳ５１２で座標変換された頂点情報が撮影画像内に位置するか否かを判定し、判定結果を画像外フラグとして保存する。画像外フラグは頂点毎、及び辺毎に有し、四角形であれば８つのフラグから成る。頂点に関する画像外フラグは、頂点座標が画像外にあれば真、画像内に含まれれば偽とする。辺に関する画像外フラグは、各頂点を端点とする線分長×Ｒが画像外であれば真、そうでなければ偽とする。この割合は、後述するステップＳ１５０３における画像外フラグを参照した紙面検出処理の特性に応じて設定することが望ましく、本実施例ではＲ＝０．５とする。
【００８２】
ステップＳ１５０２において、メイン制御手段３０３は、画像外フラグを参照して紙面検出が可能か否かを判定する。紙面検出が可能な状態とは、辺に関する画像外フラグがＬ個以上偽である状態とする。本実施形態ではＬ＝３とする。すなわち一辺は画像外に出ていても良い。ここで紙面検出が可能と判定された場合、ステップＳ５１３に遷移し、そうでない場合はステップＳ５０８に遷移する。
【００８３】
ステップＳ１５０３では、紙面検出手段３０９は、画像外フラグを参照して紙面検出処理を実行する。画像外フラグ参照紙面検出処理については、図１６を用いて後述する。
【００８４】
［画像外フラグ参照紙面検出処理］
図１６は、紙面検出手段３０９が行う画像外フラグを参照した紙面検出処理を説明するための模式図である。
【００８５】
撮影画像１６００に対して座標変換手段３１２により得た頂点情報１６０１があり、ここでは右上頂点と左下頂点に関する画像外フラグが真となる。これに対してマスク生成手段３１３が生成したのがマスク１６０２である。紙面検出手段３０９は、マスク１６０２と撮影画像１６００をもとに紙面検出処理を行う。この時、右上頂点と左下頂点が画像外にあることが画像外フラグより既知であるため、該頂点に関する評価を行わないことで、検出誤りを低減できる。
【００８６】
別の例として、撮影画像１６０３に対して、座標変換手段３１２により頂点情報１６０４が得られたものとする。頂点情報１６０４の場合は、上辺に関する画像外フラグが真となる。辺に関する画像外フラグが真の場合、４辺全てを検出することは不可能である。そのため、画像外フラグが偽である３辺のみを検出し、上辺は座標変換手段３１２で得た左上頂点、右上頂点の成す線分として算出する。撮影画像１６０３及び頂点情報１６０４をもとに生成されたのがマスク１６０５である。
【００８７】
撮影画像１６０６から得た頂点情報１６０７は、全ての画像外フラグが真となり、紙面検出処理の対象外の画像である。撮影画像１６０６はステップＳ１５０２で紙面検出可能ではない、と判定され、ステップＳ１５０３には遷移しない。
【００８８】
以上のように、第４の実施形態によれば、撮影中に原稿領域の一部が画角外に出てしまっても紙面検出処理を続けることができ、さらに紙面検出処理が実行できない条件を満たした場合には画像追跡処理のみを行うことで、誤検出領域の表示を防ぐことができる。
【００８９】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2019028677.tif 000004
【図２】
2019028677.tif 000005
【図３】
2019028677.tif 000006
【図４】
2019028677.tif 000007
【図５】
2019028677.tif 000008
【図６】
2019028677.tif 000009
【図７】
2019028677.tif 000010
【図８】
2019028677.tif 000011
【図９】
2019028677.tif 000012
【図１０】
2019028677.tif 000013
【図１１】
2019028677.tif 000014
【図１２】
2019028677.tif 000015
【図１３】
2019028677.tif 000016
【図１４】
2019028677.tif 000017
【図１５】
2019028677.tif 000018
【図１６】
2019028677.tif 000019