(57)【要約】【課題】  ステープルされた両面原稿をカメラで撮影して電子化、印刷する場合、２頁目以降の原稿領域検出や頁順を自動で実施する事が困難であった。【解決手段】  画像処理装置は、複数枚をステープルした原稿を撮影した画像データにおいて前記ステープルの位置を確定するステープル位置確定手段と、前記画像データの中の少なくとも１ページ分の原稿領域を検出する原稿領域検出手段と、前記原稿領域検出手段により複数ページ分の原稿領域が検出された場合、前記ステープル位置確定手段により確定されたステープル位置に基づいて、前記複数ページ分の原稿領域における各ページの頁順を決定する制御手段を備える。【選択図】  図７
2014239367.tif 000002
【特許請求の範囲】
【請求項１】
複数枚をステープルした原稿を撮影した画像データにおいて前記ステープルの位置を確定するステープル位置確定手段と、
前記画像データの中の少なくとも１ページ分の原稿領域を検出する原稿領域検出手段と、
前記原稿領域検出手段により複数ページ分の原稿領域が検出された場合、前記ステープル位置確定手段により確定されたステープル位置に基づいて、前記複数ページ分の原稿領域における各ページの頁順を決定する制御手段を備えることを特徴とする画像処理装置。
【請求項２】
前記原稿領域検出手段により複数の原稿領域が検出された場合、前記制御手段は、前記決定した頁順に従って、前記原稿領域に対応する画像データをトリミングすることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記ステープル位置確定手段は、ユーザにより入力される情報に基づいて前記ステープル位置を確定することを特徴とする、請求項１または２に記載の画像処理装置。
【請求項４】
前記ステープル位置確定手段は、前記画像データの１頁目を用いて前記ステープル位置を確定することを特徴とする、請求項１または２に記載の画像処理装置。
【請求項５】
前記ステープル位置確定手段は、前記画像データの２頁目以降を用いて前記ステープル位置を確定することを特徴とする、請求項１または２に記載の画像処理装置。
【請求項６】
前記原稿領域検出手段により１つの原稿領域が検出された場合、前記制御手段は、前記原稿領域を前記画像データの最終の頁と決定することを特徴とする、請求項１および請求項３〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記制御手段は、前記決定された頁順に従って前記画像データを印刷するよう印刷手段を制御することを特徴とする、請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記原稿領域検出手段は、前記画像データの中の矩形の領域に基づいて原稿領域を検出することを特徴とする、請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
複数枚をステープルした原稿を撮影した画像データにおいて前記ステープルの位置を確定するステープル位置確定ステップと、
前記画像データの中の少なくとも１ページ分の原稿領域を検出する原稿領域検出ステップと、
前記原稿領域検出ステップにより複数ページ分の原稿領域が検出された場合、前記ステープル位置確定ステップにより確定されたステープル位置に基づいて、前記複数ページ分の原稿領域における各ページの頁順を決定する制御ステップを備えることを特徴とする、プロセッサにより実行される画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影機能を持った携帯端末と画像処理装置および方法に関するものである。
【背景技術】
【０００２】
デジタルカメラ技術の進化によって、携帯電話など携帯端末を利用して、原稿を撮影して原稿画像を得る事が一般的になって来ている。また、近年では携帯端末がインターネット環境を利用できる様になった。これにより、撮影された原稿画像をネットワーク経由で印刷装置に送信して、簡易な操作で印刷する事ができる様になってきた。つまり、携帯端末と印刷環境があれば、簡易なデジタル複合機として利用できるようになった。但し、携帯端末で撮影した原稿画像をそのまま印刷した場合、撮影時に発生する原稿画像の傾きや歪みなど、様々な課題がある。よって、原稿画像に対して様々な画像処理を実施してから利用する事が一般的である。
【０００３】
例えば、特許文献１では、原稿の端部にマークを設ける事で、撮影時の原稿画像の歪みと傾きを特定し、座標変換によって補正する。更に、特許文献２では、原稿の矩形のエッジ情報等から原稿領域を推定する。そして、原稿領域の歪みや傾きを検知して、座標変換によって撮影時に発生した原稿画像の歪みを補正する。これらは、一般的にはスキャナアプリと呼ばれている。これらの技術は、前述したように、原稿画像中の原稿エッジや原稿のマークを検知する事で原稿領域を特定し、カメラの自動撮影を可能にする技術である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−６８７４６
【特許文献２】特開２０１１−５５４６７
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１や特許文献２を用いた技術では、ステープルで綴じられた両面原稿を連続的に読み込む際、開いたページを効率的に読み込めない課題を残している。例えば、図８（ａ）は左上をステープルで綴じられた原稿の１ページ目である。図８（ｂ）は図８（ａ）の原稿の２ページ目と３ページ目を開いた状態である。この場合、１ページ目は１枚の原稿画像であるが、２ページ目以降は１ページ目の裏が２ページ目となる為、２枚の原稿画像を同時に撮影できる。
【０００６】
この時、従来技術を用いて原稿領域検知と自動撮影をした場合、図８（ａ）は１領域分の頂点だけが原稿画像中に存在するが、図８（ｂ）では２領域分の頂点が原稿画像に存在する。更に、図８（ｂ）は２ページ分の原稿領域が１枚の原稿画像の中に存在する為、画像分割とソートが必要になってくる。ところが、図８（ｄ）の様に、右側で綴じられた原稿の場合には、図8（ｅ）の様に右側にページが開く事になる。そこで、撮影者は、頁順や対象頁の位置などを考慮して、携帯端末を各ページが適正に撮影される様に移動しながら撮影する必要がある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の画像処理装置は、複数枚をステープルした原稿を撮影した画像データにおいて前記ステープルの位置を確定するステープル位置確定手段と、前記画像データの中の少なくとも１ページ分の原稿領域を検出する原稿領域検出手段と、前記原稿領域検出手段により複数ページ分の原稿領域が検出された場合、前記ステープル位置確定手段により確定されたステープル位置に基づいて、前記複数ページ分の原稿領域における各ページの頁順を決定する制御手段を備える。
【発明の効果】
【０００８】
本発明により、携帯端末を利用した複写機能において、ステープルされた両面原稿を自動撮影し、適正な頁順で印刷する事が可能となる。
【図面の簡単な説明】
【０００９】
【図１】システムの全体構成を説明する為の構成図である。
【図２】携帯端末の外観図である。
【図３】携帯端末のモジュールブロック図である。
【図４】サーバのモジュールブロック図である。
【図５】プリンタのモジュールブロック図である。
【図６】全体の動作を説明する為のフローチャートである。
【図７】実施例１を説明する為の撮影動作時（Ｓ６０３）の動作を説明するフローチャートである。
【図８】一カ所でステープルされた原稿の説明図である。
【図９】原稿領域を判定する動作（Ｓ７０６）を説明するフローチャートである。
【図１０】一カ所でステープルされた原稿領域を判定する動作を説明する為のイメージ図である。
【図１１】二カ所でステープルされた原稿の説明図である。
【図１２】二カ所でステープルされた原稿領域を判定する動作を説明する為のイメージ図である。
【図１３】実施例２を説明する為の撮影動作時（Ｓ６０３）の動作を説明するフローチャートである。
【図１４】ステープルされない時の原稿領域を判定する動作を説明する為のイメージ図である。
【図１５】原稿領域を判定する動作（Ｓ７０１）を説明するフローチャートである。
【図１６】１頁目の原稿領域を判定する動作を説明する為のイメージ図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【実施例１】
【００１１】
図１に本実施例で利用するシステムの全体構成を示す。ＬＡＮ１１０には、プリンタ１０３および無線ルータ１０２が接続されている。また、ＬＡＮ１１０はインターネット１２０に接続されており、サービス提供しているサーバ１２１ともインターネット１２０経由で接続されている。携帯端末１０１は無線ルータ１０２を介して、プリンタ１０３やサーバ１２１に接続することができる。ここでは、無線ルータ１０２、プリンタ１０３はＬＡＮ１１０に接続されているが、その限りではない。無線ルータ１０２、プリンタ１０３はサーバ１２１に接続可能であればよい。
【００１２】
＜携帯端末の構成＞
図２に本実施例で利用する携帯端末１０１の外観を示す。図２（ａ）は、携帯端末１０１の表面である。表面には、タッチパネル２０１、操作ボタン２０２を持つ。図２（ｂ）は携帯端末１０１の裏面である。裏面には、撮影部２０３が配置されている。なお、携帯端末には様々な種類が存在するが、本発明はカメラ機能を持つ端末装置ならば利用が可能である。すなわち、カメラ機能をもったスマートフォンや携帯電話でも、通信機能を持ったデジタルカメラでも構わない。また、カメラ機能には図示しないオートフォーカス装置が搭載されており、コントラスト比や赤外線の送受信タイミングなどによってピントの合った状態を自動的に検出しているが、これにより焦点距離や被写体距離を測定することができる。本実施例で利用するオートフォーカス装置は一例であり、焦点距離や被写体距離を測定できる方法ならば限定はしない。
【００１３】
図３に携帯端末１０１の内部の構成を示す。但し、この構成は本実施例に必要な構成に限定して記載している。図３において、ＣＰＵ３０１（プロセッサ）、ＲＡＭ３０２、ＲＯＭ３０３がデータバス３１１を介してプログラムやデータを送受する。データバス３１１には、タッチパネル２０１、撮影部２０３、画像処理装置３１０、モーションセンサ３０９が接続されている。また、データバス３１１には無線ＬＡＮ装置３０７が接続されており、無線ルータ１０２とデータ送受信が可能である。更に、データバス３１１には記憶部３０５が接続されており、画像データや各種プログラムを格納することができる。モーションセンサ３０９は、３軸加速度センサ、電子コンパス、３軸角速度センサを搭載しており、公知の技術を利用することにより、携帯端末１０１の姿勢や移動を検出することが可能である。なお、ＣＰＵ３０１がＲＯＭ３０３の保持するプログラムに基づき、これらの携帯端末１０１内の構成要素の制御を行う。
【００１４】
画像処理装置３１０は、原稿のエッジを検出するエッジ検出器３１０１、ステープルのパターンを検索するステープル検出器３１０２、原稿の矩形領域を検出する原稿領域検出器３１０３、特徴点の抽出を行う特徴点検出器３１０４を備えている。これらの検出器は画像処理装置３１０内のバスを経由して、携帯端末１０１のデータバス３１１と接続する。
【００１５】
＜サーバの構成＞
図４はサーバ１２１の構成例である。ＣＰＵ４０１は、ＲＯＭ４０３に記憶された制御プログラムを読み出して各種制御処理を実行する。ＲＡＭ４０２は、ＣＰＵ４０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ネットワークＩ／Ｆ４０４は、サーバ１２１をインターネット１２０に接続し、他の装置との間で各種情報を送受信する。ＨＤＤ４０５は、画像データや各種プログラムを記憶する。
【００１６】
図４において、ネットワークＩ／Ｆ部４０４を介して受信した携帯端末１０１からの画像データは、データバス４１０を介してＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３の間で送受される。ＣＰＵ４０１がＲＯＭ４０３やＨＤＤ４０５に格納された画像処理プログラムを実行することによって、画像データに対する画像処理が実現される。更に、画像処理された画像データは、プリント用のＰＤＬ(ページ記述言語)に変換されて、通常のプリンタで印刷可能なデータに変換される。
【００１７】
＜プリンタの構成＞
図５は本実施例で用いるプリンタ１０３の構成を説明する図である。プリンタ１０３は、コントローラ部５００、操作部５０９、外部メモリ５１０、プリンタ部５１１からなる。コントローラ部５００において、プリンタＣＰＵ５０５は制御プログラム等に基づいて、システムバス５０８に接続されるプリンタＩ／Ｆ部５０４を介し、プリンタ部５１１に画像信号を出力する。なお、制御プログラムはＲＯＭ５０７や外部メモリ５１０に記憶される。また、ＲＯＭ５０７は、ＣＰＵ５０５の制御プログラム等を記憶する。ＣＰＵ５０５はネットワークＩ／Ｆ部５０１を介して携帯端末１０１やサーバ１２１との通信処理が可能である。これにより、プリンタ内の情報や、携帯端末での撮影情報、サーバ１２１での画像処理情報などを携帯端末１０１やサーバ１２１と送受可能に構成されている。ＲＡＭ５０６はＣＰＵ５０５の主メモリ、ワークエリア等として機能する。
【００１８】
入力された画像データはネットワークＩ／Ｆ部５０１を介してコントローラ部５００へ送られる。続いてＰＤＬ（ページ記述言語）データ処理部５０２がＰＤＬ解釈、レンダリングを行って、画像処理部５０３がプリント出力用画像処理を行い、プリンタ部５１１が処理済み画像データをプリントする。
【００１９】
＜処理フローの詳細説明＞
図６は、本実施例における携帯端末１０１、サーバ１２１、プリンタ１０３による撮影画像内の原稿画像領域を出力原稿の大きさに変倍してプリントする動作を示すフローチャートである。なお、携帯端末１０１での処理はＣＰＵ３０１が、サーバ１２１での処理はＣＰＵ４０１が、プリンタ１０３での処理フローはＣＰＵ５０５が制御する。
【００２０】
Ｓ６０１で、ユーザから撮影開始の指示が入力されると、携帯端末１０１が、撮影された画像データを印刷する対象となるプリンタを無線ＬＡＮ装置３０７、無線ルータ１０２を介してＬＡＮ１１０内のプリンタから検索する。例えばユーザから所望のプリンタのＩＰアドレスを入力されたら、そのＩＰアドレスに該当するプリンタを検索するといった方法が考えられる。
【００２１】
Ｓ６０２で、対象となるプリンタ１０３が見つかると、プリンタ１０３は印刷時に設定可能な印刷設定情報を、ＬＡＮ１１０、無線ルータ１０２を介して携帯端末１０１に通知する。ここでの印刷設定情報は、使用可能な用紙サイズや用紙種類、出力解像度、両面印刷が可能か、Ｎｉｎ１印刷が可能か、カラー印刷が可能か、ステープルが可能か、といった情報である。これらの印刷設定情報を用いて、携帯端末１０１は撮影画像をプリントする際にどの印刷設定を用いるかを決定する。
【００２２】
Ｓ６０３で、撮影部２０３を用いて原稿を撮影することで、撮影画像データを得る。その撮影画像データ内における原稿領域を、原点の頂点を抽出することにより取得する。なお撮影画像データは原稿以外（例えば原稿が置かれた机）を写した領域も含み、原稿領域はその撮影画像データ内において原稿を写した領域のことである。更に、ステープルされた原稿の場合には、ステープル位置を確定する。この時、ステープルされた原稿は、利用者によって改頁された原稿を連続撮影しながら原稿の頂点を抽出する。Ｓ６０３については、後に図７を用いて詳細に説明する。
【００２３】
Ｓ６０４で、あらかじめユーザによって携帯端末１０１で設定された、若しくは撮影時の焦点距離等の情報から算出された最適な出力紙サイズなどを画像処理パラメータとして算出する。Ｓ６０５で、撮影画像データをＪＰＥＧフォーマットなどで圧縮する。Ｓ６０６で、圧縮済みの撮影画像データと共に、印刷設定、画像処理用パラメータを、無線ＬＡＮ装置３０７を利用して無線ルータ１０２、ＬＡＮ１１０とインターネット１２０を介してサーバ１２１に送信する。
【００２４】
Ｓ６０７で、サーバ１２１は圧縮された撮影画像データを解凍する。Ｓ６０８で、画像データの整形処理を行う。整形処理には、画像のトリミングや変倍、回転等がある。トリミングは、画像データの中で複数ページ分の原稿領域を含む頂点がある場合には、その画像データに含まれる複数ページ分の原稿領域を、複数ページのそれぞれのページに対応する領域に分割する。そして、複数ページのそれぞれのページに対応する領域を１ページ分の原稿の画像データとしてそれぞれ生成し、分割後の各ページの原稿の画像データを、前頁、後頁の頁順に並べる。尚、トリミング方法については、後に詳しく説明する。更に、それぞれの画像データに対してアフィン変換やキュービック変倍や線形変倍などの他の公知の変倍技術を利用する。これにより、原稿領域だけの画像データを生成する。複数の画像データは、ステープル情報に基づき、前頁と後頁としてＳ６０９以降の処理を順次実施する。ここで、前頁の処理が実施されている間は、後頁はＲＡＭ４０２やＨＤＤ４０５に蓄積されて処理を待つ。
【００２５】
Ｓ６０９で、各頁で撮影画像データの濃度ムラ補正を行い、原稿撮影時の光源や影による色ムラを補正する。まず撮影時のノイズを除去するようなフィルタ処理を行い、その後下地に載っている色を飛ばして紙の白を再現できるような階調補正を行う。Ｓ６１０で像域判定を行い、撮影画像データ内の文字や線部分とそうでない部分とに切り分けて、それぞれの画素に対して属性フラグを付加する。Ｓ６１１で、文字や線の属性と判定された画素に対してフィルタ処理を行い、文字や線がシャープになるように補正する。
【００２６】
Ｓ６１２で、文字単色化処理を行い、文字と判定された画素を単色で再現し、文字の鮮鋭化を図る。例えば、ある文字を再現する画素のＲＧＢ値を平均化し、その平均値を文字の色として適用するなどの手法をとる。Ｓ６１３で、撮影画像データに対して、カメラ固有の色空間から共通のＲＧＢ色空間への変換を行う。ここでの色空間の変換は、あらかじめ定義付けられた３×３のマトリクス演算によって携帯端末１０１のカメラ色空間から、ｓＲＧＢといった測色的な共通ＲＧＢ色空間への変換を行うものとする。Ｓ６１４で、これまで補正してきた撮影画像データをＪＰＥＧフォーマットなどで圧縮する。
【００２７】
Ｓ６１５で、インターネット１２０とＬＡＮ１１０を介してサーバ１２１から補正済み撮影画像データと印刷設定を取得する。以降、プリンタ１０３は撮影画像データをプリントするまでの処理を行う。Ｓ６１５〜Ｓ６１９の処理は画像処理部５０３で実施される。
【００２８】
Ｓ６１６で、圧縮されている撮影画像データを解凍する。Ｓ６１７で、色変換用ＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）を用いた補間演算によって、共通ＲＧＢ色空間からプリンタに適したＣＭＹＫ各色成分からなるプリンタ色空間への変換を行う。ここでの色変換用ＬＵＴは、ＲＧＢの各３成分を適当な格子点間隔で分割した三次元のＬＵＴであり、それぞれのＬＵＴのエントリはそれぞれ、ＬＵＴの格子点に対応する８ビットのビット精度からなるＣＭＹＫ値を保有している。三次元ＬＵＴを既知の補間計算を行ってＣＭＹＫ値からなる画像データに変換する。
【００２９】
Ｓ６１８で、一次元のＬＵＴを用いて濃度特性が階調ターゲットに合うように補正する階調補正を行う。文字部とそれ以外の部分とで階調ターゲットを変える場合は、ここで階調ターゲットを切り替えて補正を行う。Ｓ６１９では、階調補正された画像データに対してディザマトリクスを用いて、ＣＭＹＫ各色１ビットの擬似中間調表現を持つ画像データに変換する。ここで、擬似中間調処理は、ＲＡＭ５０６に格納されたディザマトリクス上の数値と入力画像データとを比較して、入力画像データの数値が大きければ１を、入力画像データの数値が小さければ０を出力する処理を行う。本実施例では説明の簡便さのために１ビット出力のスクリーン処理としているが、出力ビット数は１ビットに限定されるものではない。また、ＣＰＵ５０５の指示により、複数のディザマトリクスを切り替えて使用することもできる。
【００３０】
Ｓ６２０で、処理済みの撮影画像データを全頁プリントする。この時、プリンタがステープル機能を持っている場合には、原稿と同じ位置にステープルする。尚、原稿が複数枚ある場合は、Ｓ６０３からＳ６０６までの処理をＳ６０３で実施した全撮影分を処理してからサーバ１２１での処理となるＳ６０７を実施する場合がある。この時は、圧縮された画像や、算出されたパラメータ等はＲＡＭ３０２に一時的に保存してからＳ６０７に処理を進める。一方、Ｓ６０３の撮影画像を１枚ずつ処理する場合には、Ｓ６０３からＳ６２０の処理は１枚ずつ実施される。Ｓ６２１では、全頁プリントを終了したことをユーザに知らせるため、携帯端末１０１にプリント終了通知を行う。
【００３１】
最後に、Ｓ６２２で、プリント終了通知を携帯端末１０１のタッチパネル２０１に表示して、処理を終了する。
【００３２】
＜原稿撮影（Ｓ６０３）の詳細な説明＞
図７に原稿を撮影するＳ６０３の詳細なフローを記載する。初めに、Ｓ７０１で、原稿領域検出器３１０３を用いて、原稿の第１ページ矩形領域の検出を行う。先ず、撮影部２０３が取得中の画像データをＲＡＭ３０２に格納する。画像データは、撮影部２０３から逐次転送され、タッチパネル２０１に表示されているので、利用者は簡単に位置を調整する事ができる。この時、この画像データを利用して、第１頁の矩形領域を検出する。尚、撮影部２０３から転送されてくる画像データは１秒間に約３０枚である。しかしながら、送られてくる画像データ全てを処理する必要はない。Ｓ７０１の矩形領域検出では、２枚〜３枚くらいを処理できれば、十分に１頁目の矩形領域を検出できる。尚、Ｓ７０１の処理については、詳細に後述する。
【００３３】
Ｓ７０２で、Ｓ７０１で矩形領域が検出されたかどうかを判定する。矩形領域が検出されれば、Ｓ７０３で撮影部２０３を利用して撮影する。この撮影画像は、Ｓ７０１で利用した画像よりも高解像度で取得される。Ｓ７０４で、Ｓ７０１で取得された矩形領域の４点の特徴点座標を頂点として取得する。この時、Ｓ７０１の画像データとＳ７０３で撮影した画像データの解像度が違う場合は、頂点の座標は適宜変換される。尚、この時の頂点位置は、Ｓ６０８の画像整形処理で実施するトリミングに利用される。
【００３４】
Ｓ７０５で、ステープル位置を確定する。ステープル位置の決定方法としては、自動で検出する方法と端末画面２０１から入力を受け付ける方法がある。
【００３５】
先ず自動で検出する方法を説明する。一般的なプリンタにおいて、ステープル位置は、左上隅１カ所、右上隅１カ所、左辺２カ所、右辺２カ所、上辺２カ所の５通りである。更に、原稿用紙のポートレートとランドスケープの２種類がある。図８（ａ）（ｄ）（ｇ）（ｊ）、及び図１１（ａ）（ｄ）（ｇ）（ｊ）は、ステープルの位置と数の組み合わせ例である。撮影部２０３が取得する画像データについて、空間フィルタを用いたエッジ検出器３１０１で、２値のエッジ画像データを作成し、ステープル検出器３１０２を用いて、図８、図１１に示したステープル領域において、ステープルと同じパターンを検出する。尚、画像データの中から特定物を検出する方法は様々に提案されている為、本実施例ではこれを限定しないものとする。例えば画像データからの特定物検出によって、図８（ａ）の場合は、原稿領域の左上に長方形領域を一カ所判定する際にステープルが検出される。そして、その検出位置と数から、左上でステープルされている事が確定される。
【００３６】
端末画面２０１から入力を受け付ける方法としては、撮影部２０３が取得する画像データを端末画面２０１に表示し、利用者によってクリックされた位置をステープル位置として決定する。この時、図８に示したステープル位置以外の領域がクリックされた場合には、その入力は無効である。この時は、ステープルされていない原稿と判定する。
【００３７】
Ｓ７０６で、２頁目以降の原稿領域検出を行う。この時、携帯端末が利用者によって原稿が改頁されたかどうかを判定してからＳ７０６に進んでも良い。判定方法には様々な方法が考えられる。例えば、一定時間をおいて画像が変わっているかどうかをＳ７０３で撮影した画像と変わっているかを判定するなどが考えられる。２頁目以降は、Ｓ７０５で特定されたステープル位置に応じて、原稿領域から２つの領域を検出する。図８（ａ）（ｄ）はそれぞれ、ポートレートで両面印刷された原稿を左上隅、または右上隅の一カ所をステープルした時の開き方の説明である。Ｓ７０６の処理は、図９のフローチャートを使って、後に詳細に説明する。
【００３８】
Ｓ７０７で、Ｓ７０６で領域が検出されたかどうかを判定する。領域が検出されれば、Ｓ７０８で撮影部２０３を利用して撮影する。Ｓ７０９で、Ｓ７０６で取得した閉領域の４点又は８点の頂点の座標を取得する。この時、Ｓ７０６での画像データとＳ７０８で撮影した画像データの解像度が違う場合は、頂点の座標は適宜変換される。尚、取得した頂点は、Ｓ６０８の画像整形処理で利用される。
【００３９】
Ｓ７１０で、最終頁かどうかを判定する。この判定は手動でも自動でも良い。手動判定の場合は、Ｓ７１０で、端末画面２０１に撮影終了ボタンを表示して、利用者からの入力によって判定する。終了ボタンがタッチされれば本シーケンスは終了となり、一定時間以上タッチされなければ、Ｓ７０６に戻る。
【００４０】
一方、自動判定の場合は、撮影部２０３が撮影する画像データで判定する。例えば、ポートレートで左上を綴じた図８（ａ）の場合、２頁目以降は図８（ｂ）のような見開きで頂点を検出する。そして、最終頁は見開きにならなくなり、図８（ｃ）に示す様に横向きで頂点は４カ所になる。この４カ所の頂点の位置を検出した場合に、最終頁であると判断できる。最終頁の判定も、原稿の向きとステープル位置で決定される。図８（ｆ）は、ポートレートで右上１カ所を綴じた時の最終頁である。図８（ｉ）は、ランドスケープ原稿を左上一カ所で綴じた原稿の最終頁である。図８（ｌ）は、ランドスケープ原稿の右上一カ所を綴じた原稿の最終頁である。図１１（ｃ）は、ランドスケープ原稿の上２カ所を綴じた原稿の最終頁である。図１１（ｆ）は、ポートレート原稿の上２カ所を綴じた原稿の最終頁である。図１１（ｉ）は、ポートレート原稿の右２カ所を綴じた原稿の最終頁である。図１１（ｌ）は、ポートレート原稿の左２カ所を綴じた原稿の最終頁である。これら原稿の頂点の数の変化によって、最終頁判定を実施する事が可能である。
【００４１】
＜第１頁領域検出（Ｓ７０１）の詳細な説明＞
Ｓ７０１における第１頁の頁領域検出について、図１５のフローチャートを用いて説明する。まず、Ｓ１５０１で、画像処理装置３１０内のエッジ検出器３１０１を用いて、画像データから２値のエッジ画像を作成する。エッジ画像は画像データの明度成分について、帯域通過フィルタ等を用いて高周波領域だけを取り出し、決められた２値化閾値で２値化することで得られる。帯域通過フィルタの形状や２値化閾値については、本実施例を特定するものではない為、詳細説明は割愛する。
【００４２】
Ｓ１５０２で、特徴点検出器３１０４を用いて特徴点の抽出を行う。特徴点の抽出方法には様々な手法が考案されており、今でも研究が続けられている。例えば、古典的な方法ではパターンマッチングによる抽出方法などがある。但し、本実施例では、これを特定するものではない為、詳細説明は割愛する。図１６は２値のエッジ画像から特徴点を抽出した時の画像の例である。原稿領域の特徴点の他に、原稿領域外のもの（例えば、机上のもの）も撮影されており、これらの角も特徴点として検出する。更に原稿領域内の文字や図形等の角も、特徴点として検出する。
【００４３】
Ｓ１５０３で、閉領域を抽出する。ある領域において開始点（例えば図１６の頂点００１〜００４）となる特徴点から延びるエッジ画像の線分が開始点に戻ってくる場合に、この領域を閉領域と判定する。
【００４４】
Ｓ１５０４で、原稿領域検出器３１０３を用いて、Ｓ１５０３で抽出した幾つかの閉領域から原稿の閉領域を選択する。この時、最も原稿らしい閉領域を選択する。原稿らしい閉領域とは、画面サイズに対して適正なサイズであり、頂点の相対位置に歪みが少ない閉領域である。頂点の相対位置の歪みとは、例えば全頂点が直角に近い（９０度±誤差以内）として、誤差は適宜設定されるものとする。この時、適切な閉領域が見つからない場合には、頁領域が検出されていないと判断する。
【００４５】
＜第２頁領域検出（Ｓ７０６）の詳細な説明＞
Ｓ７０６における第２頁以降の頁領域検出について、図９のフローチャートを用いて説明する。まず、Ｓ９０１で、画像処理装置３１０内のエッジ検出器３１０１を用いて、画像データから２値のエッジ画像を作成する。エッジ画像は画像データの明度成分について、帯域通過フィルタ等を用いて高周波領域だけを取り出し、決められた２値化閾値で２値化することで得られる。帯域通過フィルタの形状や２値化閾値については、本実施例を特定するものではない為、詳細説明は割愛する。
【００４６】
Ｓ９０２で、特徴点検出器３１０４を用いて特徴点の抽出を行う。特徴点の抽出方法には様々な手法が考案されており、今でも研究が続けられている。例えば、古典的な方法ではパターンマッチングによる抽出方法などがある。但し、本実施例では、これを特定するものではない為、詳細説明は割愛する。図１０は２値のエッジ画像から特徴点を抽出した時の画像である。原稿領域の特徴点の他に、原稿領域外のもの（例えば、机上のもの）も撮影されており、これらの角も特徴点として検出する。更に原稿領域内の文字や図形等の角も、特徴点として検出する。
【００４７】
Ｓ９０３で、閉領域を抽出する。ある領域において開始点（例えば図１０の頂点００１）となる特徴点から延びるエッジ画像の線分が開始点に戻ってくる場合に、この領域を閉領域と判定する。
【００４８】
Ｓ９０４で、原稿領域検出器３１０３を用いて、Ｓ９０３で抽出した幾つかの閉領域から原稿の閉領域を選択する。この時の閉領域は、８個の特徴点を持つ閉領域を判定する事で確定できる。これら８点の特徴点は原稿の頂点である。図１０では、頂点００１〜００８で囲まれた閉領域が、原稿の閉領域であると特定できる。
【００４９】
以上の説明は、Ｓ９０４において、ステープル箇所が一カ所の時に利用できる。例えば、図８に示すのは、右上隅、左上隅のステープル一カ所の場合である。図８（ａ）の様にポートレートで左上隅にステープルした場合、２頁以降は図８（ｂ）の様な見開きになる。また、図８（ｄ）の様にポートレートで右上隅にステープルした場合、２頁以降は図８（ｅ）の様な見開きになる。図８（ｇ）の様にランドスケープで左上隅にステープルした場合、２頁以降は図８（ｈ）の様な見開きになる。また、図８（ｊ）の様にランドスケープで右上隅にステープルした場合、２頁以降は図８（ｋ）の様な見開きになる。
【００５０】
一方、ステープルが２カ所の場合、見開きの形が変わる。図１１にステープルを２カ所にした時の見開きの例を示す。図１１（ａ）はランドスケープの上２カ所をステープルした図である。これをひらくと図１１（ｂ）の様になる。図１１（ｄ）はポートレートの上2カ所をステープルした原稿であり、２頁目以降は図１１（ｅ）の様になる。図１１（ｇ）は、ポートレートを右２カ所でステープルした原稿であり、２頁目以降は図１１（ｈ）の様になる。図１１（ｊ）は、ポートレートを左２カ所でステープルした原稿であり、２頁目以降は図１１(k)の様になる。これら、２カ所をステープルした場合は、頂点は図１２に示す様に、頂点００１〜００４の４つとなる。よって、ステープルの数によって、見開き方が変わる為、検出する閉領域の頂点の数、形が変わる事が分かる。
【００５１】
更に、ステープルされていない場合、見開き方が変わる。図１４にステープルされていない時の見開き時の閉領域検出時の画像データを示す。頂点００１~００４と、頂点００５~００８に囲まれた閉領域の数は２つとなる為、この二つの閉領域を選択し、検出されたと判断する。この時、適切な閉領域が見つからない場合には、頁領域が検出されないと判断する。
【００５２】
＜画像整形処理（Ｓ６０８）における画像データのトリミング＞
画像データのトリミングは、頂点の数によって変わる。頂点の数は、１頁目か否かにより変わり、また、Ｓ７０５のステープル位置確定処理において決定される。尚、頂点の位置は、Ｓ７０４及びＳ７０９で決定され、サーバ１２１に転送される。
【００５３】
頂点の数が８個の場合、図１０の頂点００３と００７を結んだ線分を分割位置とする。この場合、頂点００３、００４、００５、００６、００７、００３を結んだ線で画像データのトリミングを実施し、これを前頁とする。また、頂点００３、００２、００１、００８、００７、００３を結んだ線で画像データのトリミングを実施し、これを後頁とする。さらに、これらの画像は５角形になるので、頂点００４から００３方向に伸ばした線と、頂点００６から００７方向に伸ばした線の交点を新しい頂点として、長方形に修正する。後頁も同様に実施して長方形に修正が可能である。
【００５４】
一方、２頁目以降で頂点の数が４個の場合、図１２の様になる。この場合、分割位置は、頂点００１と００４の中間点１と、頂点００２と００３の中間点２を結んだ線分である。頂点００１、００２、中間点１、２を結んだ線で、画像データからトリミングを実施して前頁とする。また、頂点００４、００３、中間点２、１を結んだ線で画像データからトリミングを実施して、後頁とする。
【００５５】
以上説明したように、本実施例に係る画像処理装置を用いれば、ステープルされた両面原稿を携帯端末でスキャンした場合に、見開きを同時に撮影し、更に頁順に印刷する事が可能である。
【実施例２】
【００５６】
実施例２では、実施例１のＳ７０５で原稿のステープル位置を確定できない場合の動作について説明する。実施例１では、Ｓ７０５のステープル位置の確定について、自動と手動とが考えられると説明した。手動の場合には、利用者からの入力が必要な為、利便性が損なわれるという課題がある。また、自動の場合には、ステープルの種類によっては検出できない事が考えられる。よって、実施例２では、ステープル位置確定を２頁以降の画像データ取得後に判定する。なお、以下の説明では実施例１との差分のみを記載する。
【００５７】
実施例２における図６のＳ６０３についての詳細なフローチャートを図１３に示す。尚、図１３のＳ１３０１〜Ｓ１３０４およびＳ１３０６〜Ｓ１３０８の処理は、Ｓ７０１〜Ｓ７０４およびＳ７０７〜Ｓ７０９と同じなので、説明を割愛する。
【００５８】
Ｓ１３０５で、頁領域の検出を実施する。本実施例では、ステープル位置が確定していない為、検出すべき頂点の数が分かっていない。そこで、Ｓ１３０５は画像データ中の４点の閉領域と８点の閉領域の両方を探す必要がある。この場合、原稿領域は画像データ中の閉領域の最大サイズである為、面積が閾値以上の閉領域が原稿領域になる。Ｓ１３０６〜Ｓ１３０８を経て、Ｓ１３０９で、ステープル位置が確定済みかどうかを判定する。撮影頁が、２頁、３頁の場合には、ステープル位置が確定していないので、Ｓ１３１０の処理を実施する。
【００５９】
Ｓ１３１０で、Ｓ１３０７で撮影した画像データからステープル位置を確定する。例えば、図８（ａ）の様な左上をステープルしたポートレート原稿の場合、図８（ｂ）で見られる様に左側の頁が横向きになっていれば、左上一カ所でステープルされている事が分かる。一方、図８（ｄ）の様な右上をステープルしたポートレート原稿の場合、図８（ｅ）で見られる様に左側の頁が横向きになっていれば、右上一カ所でステープルされている事が分かる。これらの違いは、２頁、３頁を撮影した画像データの頂点の位置関係でテンプレートマッチングを利用すれば可能である。テンプレートマッチングとは、図８（ｂ）（ｅ）（ｈ）（ｋ）と、図１１（ｂ）（ｅ）（ｈ）（ｋ）の頂点の相対位置をＲＯＭ３０３に記憶させておき、Ｓ１３０８で取得した各頂点との距離について統計的手段を用いて点数化、判定する手法である。但し、図８では頂点の数が８個で、図１１の場合は頂点の数が４個である。Ｓ１３０５で既に頂点の数は確定しているので、テンプレートマッチングはステープルが一カ所の図８か、ステープル箇所が２カ所の図９かのどちらかだけを実施すれば良い。尚、テンプレートマッチングの詳細な手段については、様々な研究がなされており、本実施例でこれを限定するものではない。よって、詳細な説明は割愛する。
【００６０】
尚、テンプレートマッチングによるステープル位置の確定はサーバ１２１で処理する事も可能である。この場合には、ステープル位置が確定していなくても、図１３のフローチャートにおいて、Ｓ１３１０の処理を実施しない。また、携帯端末１０１からサーバ１２１にステープル位置の情報は送信しない。そして、Ｓ６０８でトリミングを実施する時に、同時にＳ１３０６の処理をサーバ１２１の持つＣＰＵ４０１とＲＯＭ４０３を用いて実施しても良い。
【００６１】
以上説明したように、実施例２に係る画像処理装置を用いれば、ステープルされた両面原稿を携帯端末でスキャンした場合に、見開きを同時に撮影し、更に頁順に印刷する事が可能である。
【００６２】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６３】
１０１  携帯端末
３１０  画像処理装置
３０１  携帯端末のＣＰＵ
【図１】
2014239367.tif 000003
【図２】
2014239367.tif 000004
【図３】
2014239367.tif 000005
【図４】
2014239367.tif 000006
【図５】
2014239367.tif 000007
【図６】
2014239367.tif 000008
【図７】
2014239367.tif 000009
【図８】
2014239367.tif 000010
【図９】
2014239367.tif 000011
【図１０】
2014239367.tif 000012
【図１１】
2014239367.tif 000013
【図１２】
2014239367.tif 000014
【図１３】
2014239367.tif 000015
【図１４】
2014239367.tif 000016
【図１５】
2014239367.tif 000017
【図１６】
2014239367.tif 000018