(57)【要約】【課題】複数の片面と両面原稿をまとめてスキャンする場合に、事前の設定を行うことなく両面原稿の読み取りを可能にすること。【解決手段】本発明によれば、現在撮像した画像から抽出された原稿画像データと、直前に撮像した画像から抽出された原稿画像データとの位置関係をもとに対応原稿信頼度を算出することにより、自動で原稿の両面対応付けおよび除去原稿の特定が可能になる。これにより、ユーザが両面原稿を裏返したり、交換したりするというような直感的な操作によって、自動で片面と両面原稿を認識して出力することができる。【選択図】図１３
2014171023.tif 000002
【特許請求の範囲】
【請求項１】
読み取り領域内の原稿が静止したタイミングを第１のタイミングとして検出し、前記第１のタイミングの直後に前記読み取り領域内の原稿が再び静止したタイミングを第２のタイミングとして検出する、検出手段と、
前記検出手段で検出されたタイミングに基づき、前記読み取り領域を撮像し、撮像した画像から、原稿画像データと原稿画像データの前記読み取り領域内の位置情報とを取得する取得手段と、
前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度を、原稿画像データ同士の位置関係から算出する算出手段と、
算出された前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度に応じて、原稿の両面対応付け処理を行う両面対応付け処理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記第１のタイミングと前記第２のタイミングとの間に前記読み取り領域から原稿がフレームアウトしたタイミングを第３のタイミングとして検出し、
前記算出手段は、前記第１のタイミングに基づき取得された原稿画像データと、前記第３のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度を、原稿同士の位置関係から算出し、
算出された前記第１のタイミングに基づき取得された原稿画像データと前記第３のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度に応じて、前記第３のタイミングで前記読み取り領域から除去された原稿を特定する特定手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記両面対応付け処理手段は、前記第１のタイミングに基づき取得された原稿画像データのうち前記特定手段で特定された原稿以外の原稿画像データと、前記第２のタイミングに基づき取得された原稿画像データとの間で、前記両面対応付け処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特定手段は、前記読み取り領域から除去された原稿と特定された原稿画像データに対して、両面対応付け対象でないことを示すフラグを設定し、
前記両面対応付け処理手段は、前記フラグを用いることにより、前記両面対応付け処理が行わない原稿画像データを判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１のタイミングおよび／または前記第２のタイミングに基づき取得された原稿画像データは複数であることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
前記両面対応付け処理手段は、前記第２のタイミングに基づき取得された原稿画像データごとに、対応原稿信頼度が最大である前記第１のタイミングに基づき取得された原稿画像データを抽出し、前記抽出された原稿画像データの裏面原稿として前記第２のタイミングに基づき取得された原稿画像データを保存することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記両面対応付け処理手段は、前記第２のタイミングに基づき取得された原稿画像データのそれぞれに関して、対応原稿信頼度が所定範囲内にある前記第１のタイミングに基づき取得された原稿画像データを候補対応原稿画像データとして抽出し、前記第２のタイミングに基づき取得された原稿画像データのうち候補対応原稿画像データを１つのみ有する原稿画像データから順番に両面対応付け処理を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記対応原稿信頼度は、原稿画像データ同士の重なり度合とすることを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記対応原稿信頼度は、原稿画像データ同士の距離とすることを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
【請求項１０】
前記原稿画像データ同士の距離は、原稿画像データ同士の重心間の距離とすることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記原稿画像データ同士の距離は、原稿画像データ同士の対応頂点間の距離とすることを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記両面対応付け処理により両面対応付けされた原稿画像データから所定のデータ出力形式で出力ファイルを作成する作成手段をさらに備えることを特徴とする請求項１乃至１１のいずれかに記載の画像処理装置。
【請求項１３】
前記作成手段における前記所定のデータ出力形式は、両面対応付けされた原稿を連結して出力する形式であることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記作成手段における前記所定のデータ出力形式は、原稿ごとの個別ファイルで出力する形式であることを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記両面対応付け処理手段は、前記第２のタイミングに基づき取得された原稿画像データが白紙であるかを判定し、
前記作成手段は、白紙でないと判定した原稿画像データを出力ファイルとして作成し、白紙であると判定した原稿画像データを削除することを特徴とする請求項１２乃至１４のいずれかに記載の画像処理装置。
【請求項１６】
前記両面対応付け処理手段は、前記第２のタイミングに基づき取得された原稿画像データが前記第１のタイミングに基づき取得された原稿画像データと同一原稿であるかを、原稿画像データ同士を比較することにより判定し、
前記作成手段は、同一原稿でないと判定した原稿画像データを出力ファイルとして作成し、同一原稿であると判定した原稿画像データを削除することを特徴とする請求項１２乃至１５のいずれかに記載の画像処理装置。
【請求項１７】
前記両面対応付け処理手段は、前記第１のタイミングに基づき取得された原稿画像データが裏面原稿として保存済みであるかを判定し、裏面原稿として保存済みであると判定した原稿画像データに対応する前記第２のタイミングに基づき取得された原稿画像データを削除することを特徴とする請求項１２乃至１５のいずれかに記載の画像処理装置。
【請求項１８】
前記両面対応付け処理手段は、前記第２のタイミングに基づき取得された原稿画像データが前記第１のタイミングに基づき取得された原稿画像データと同一サイズであるかを判定し、同一サイズであると判定した原稿画像データに対して前記両面対応付け処理を行い、同一サイズでないと判定した原稿画像データを新たな原稿の表面として保存することを特徴とする請求項１２乃至１５のいずれかに記載の画像処理装置。
【請求項１９】
前記検出手段は、前記読み取り領域内の原稿が連続して静止した時間が所定時間以上になったタイミングを、前記読み取り領域内の原稿が静止したタイミングとして検出することを特徴とする請求項１乃至１８のいずれかに記載の画像処理装置。
【請求項２０】
前記取得手段は、前記検出手段で検出されたタイミングに基づき前記読み取り領域を撮像した画像と、原稿を置いていない前記読み取り領域を撮像した背景画像との差分画像を算出し、前記差分画像から原稿画像データと原稿画像データの前記読み取り領域内の位置情報とを取得することを特徴とする請求項１乃至１９のいずれかに記載の画像処理装置。
【請求項２１】
読み取り領域内の原稿が静止したタイミングを第１のタイミングとして検出し、前記第１のタイミングの直後に前記読み取り領域内の原稿が再び静止したタイミングを第２のタイミングとして検出する、検出ステップと、
前記検出ステップで検出されたタイミングに基づき、前記読み取り領域を撮像し、撮像した画像から、原稿画像データと原稿画像データの前記読み取り領域内の位置情報とを取得する取得ステップと、
前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度を、原稿画像データ同士の位置関係から算出する算出ステップと、
算出された前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度に応じて、原稿の両面対応付け処理を行う両面対応付け処理ステップと
を備えることを特徴とする画像処理方法。
【請求項２２】
コンピュータを請求項１乃至２０のいずれかに記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像データを処理する画像処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
従来のフラットベッドスキャナ付き複合機で複数枚原稿のスキャンを行う際に、原稿を１枚ずつ読み込みスタートさせる必要がある。すなわち、原稿を１枚ずつ原稿ガラス台（フラットベッド）にセットし、また、セット前後に原稿台カバーを開けたり、閉じたり、読み込みスタートボタンを押下するといった操作を繰り返す。
【０００３】
ＡＤＦ（オートドキュメントフィーダ）付き複合機で複数枚原稿をスキャンする場合には、ＡＤＦにまとめて原稿をセットし、読み取り開始ボタンを押下するだけで済む。よって、上記のような煩雑な手順を省くことができる。しかしながら、両面原稿をスキャンする際には、事前に両面読み取り設定と読み取り方向設定を行う必要がある。片面原稿と両面原稿が混載されている場合には、原稿ごとに設定を変更するか、どちらの原稿に対しても常に両面読み取りを行い、白紙であれば処理をスキップ（片面原稿として処理）することが必要となる。
【０００４】
さらに、最近では複数枚の写真などの原稿を原稿ガラス台に載せることにより自動でそれぞれの原稿領域を認識し、それぞれ個別の原稿としてスキャンする機能も搭載されている複合機も出てきている。この機能を用いると複数の原稿を同時にスキャンすることが可能であるため、作業効率は上がるが、両面原稿として取り込むことができない。
【０００５】
一方、近年、原稿の画像データを読み取る装置として、原稿台に載置した原稿をカメラで撮像して、カメラで撮像した原稿の画像データを処理して記憶するカメラスキャナも知られている（例えば、特許文献１参照）。特許文献１のカメラスキャナでは、新たに撮像した画像が前回撮像した時の画像と比較してどれぐらい変化したかを示す画像変化量に基づいて画像の動き検出処理を行う。動き検出処理によって、原稿台上の原稿が載置されて静止したタイミングを検出する。検出されたタイミングで撮像した画像データ中から原稿部分を認識・抽出し、射影補正、拡大縮小等の画像処理を施して記憶装置に原稿の画像データとして蓄積し、プロジェクタに投影する。
【０００６】
特許文献１のカメラスキャナは、従来のＡＤＦ付き複合機と同様、フラットベッドスキャナ付き複合機のようなカバー開閉といった手順が省け、また、原稿の撮像タイミングを検出することによって、読み込みスタートボタンを押下する手順が省ける。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１１５３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、従来のＡＤＦ付き複合機を利用して複数枚の両面原稿を読み取る際には、原稿１枚ずつに対して両面読み取り設定と読み取り方向設定を行うことで両面スキャンをする必要があり、設定操作に手間が必要であった。あるいは、ＡＤＦに片面と両面原稿が混載されている場合にも常に両面読み取りを行い、裏面が白紙であるかどうかを１枚ずつ判定することで片面原稿と認識する必要があった。このように複数の原稿をまとめて両面スキャンすることができず、作業効率が上がらなくなる。
【０００９】
また、原稿ガラス台上の複数枚原稿を同時にスキャンした場合には、スキャン終了後に手動で両面原稿に対する処理を行わなければならないという課題もある。
【００１０】
一方、特許文献１のカメラスキャナにおいては、原稿台に置かれた原稿を抽出するだけであるため、片面原稿と両面原稿という区別なく保存されてしまうという課題がある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の画像処理装置は、読み取り領域内の原稿が静止したタイミングを第１のタイミングとして検出し、前記第１のタイミングの直後に前記読み取り領域内の原稿が再び静止したタイミングを第２のタイミングとして検出する、検出手段と、前記検出手段で検出されたタイミングに基づき、前記読み取り領域を撮像し、撮像した画像から、原稿画像データと原稿画像データの前記読み取り領域内の位置情報とを取得する取得手段と、前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度を、原稿画像データ同士の位置関係から算出する算出手段と、算出された前記第１のタイミングに基づき取得された原稿画像データと前記第２のタイミングに基づき取得された原稿画像データとの間の対応原稿信頼度に応じて、原稿の両面対応付け処理を行う両面対応付け処理手段とを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザは読み取りスタートボタンの押下、両面読み取り設定、読み取り方向設定といった操作を行う必要がなくなり、大幅な手間の削減というメリットを享受可能となる。また、両面原稿と片面原稿が混在している場合において、複数の原稿を同時に読み取り、自動で両面対応付けの判定処理を行えることから、大幅な作業効率の向上にもつながる。
【図面の簡単な説明】
【００１３】
【図１】カメラスキャナ１０１が含まれるネットワーク構成の一例を示す図である。
【図２】カメラスキャナ１０１の構成の一例を示す図である。
【図３】コントローラ部２０１のハードウェア構成の一例を示す図である。
【図４】カメラスキャナ１０１の制御用プログラムの機能構成の一例を示す図である。
【図５】原稿をスキャンする際の操作手順の一例を示す図である。
【図６】第１の実施形態におけるカメラスキャナ１０１の処理フローの一例を示す図である。
【図７】撮像処理部４０６が撮像する読み取り領域２０５の画像の一例を示す図である。
【図８】フレームインまたはフレームアウト検出方法について説明する図面である。
【図９】第１の実施形態における原稿画像データ抽出処理フローの一例を示す図である。
【図１０】データ管理部４０５が保存する静止画像および抽出原稿画像データの模式図である。
【図１１】データ管理部４０５が保存する属性管理テーブルの一例を示す図である。
【図１２】第１の実施形態における除去原稿特定処理フローの一例を示す図である。
【図１３】第１の実施形態における両面原稿認識処理フローの一例を示す図である。
【図１４】第１の実施形態における対応原稿信頼度算出方法について説明するための図である。
【図１５】出力ファイル生成部４０９が生成する出力ファイルの一例を示す図である。
【図１６】出力ファイル生成処理フローの一例を示す図である。
【図１７】第２の実施形態における操作手順の一例を示す図である。
【図１８】第２の実施形態における両面原稿認識処理フローの一例を示す図である。
【図１９】第３の実施形態における操作手順の一例を示す図である。
【図２０】第３の実施形態における両面原稿認識処理フローの一例を示す図である。
【図２１】第４の実施形態における操作手順の一例を示す図である。
【図２２】第４の実施形態における両面原稿認識処理フローの一例を示す図である。
【図２３】第５の実施形態における対応原稿信頼度算出方法について説明するための図である。
【図２４】第６の実施形態における対応原稿信頼度算出方法について説明するための図である。
【図２５】第７の実施形態における対応原稿信頼度算出方法について説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について図面を参照して説明する。
【００１５】
［第１の実施形態］
＜ネットワーク構成＞
図１は、一実施形態に係るカメラスキャナ１０１が含まれるネットワーク構成を示す図である。
【００１６】
図１に示すように、カメラスキャナ１０１はイーサネット（登録商標）等のネットワーク１０４にてホストコンピュータ１０２およびプリンタ１０３に接続されている。図１のネットワーク構成において、ホストコンピュータ１０２からの指示により、カメラスキャナ１０１から画像を読み取るスキャン機能や、スキャンデータをプリンタ１０３により出力するプリント機能の実行が可能である。また、ホストコンピュータ１０２を介さず、カメラスキャナ１０１への直接の指示により、スキャン機能、プリント機能の実行も可能である。
【００１７】
＜外観図＞
図２は、一実施形態に係るカメラスキャナ１０１の構成例を示す図である。
【００１８】
図２に示すように、カメラスキャナ１０１は、コントローラ部２０１、カメラ部２０２、腕部２０３を含む。カメラスキャナの本体であるコントローラ部２０１と、撮像を行うためのカメラ部２０２は、腕部２０３により連結されている。腕部２０３は関節を用いて自由に曲げ伸ばしが可能である。
【００１９】
図２には、カメラスキャナ１０１が設置されている書画台２０４も示している。カメラ部２０２のレンズは書画台２０４方向に向けられており、破線で囲まれた読み取り領域２０５内の画像を読み取り可能である。図２の例では、原稿２０６は読み取り領域２０５内に置かれているので、カメラスキャナ１０１で読み取り可能となっている。
【００２０】
カメラ部２０２は単一解像度で画像を撮像するものとしてもよいが、高解像度画像撮像と低解像度画像撮像が可能なものとすることが好ましい。一実施形態において、コントローラ部２０１は、カメラ部２０２の低解像度で撮像したカメラ画像を用いて、原稿が載置されて読み取り領域２０５内で静止したタイミングなどを検出し、検出するとカメラ部２０２が高解像度で静止した原稿を撮像するように制御する。また、コントローラ部２０１は、カメラ部２０２の低解像度で撮像したカメラ画像を用いて、原稿が読み取り領域２０５にフレームインしたタイミングおよび／または読み取り領域２０５からフレームアウトするタイミングを検出する。
【００２１】
なお、カメラスキャナ１０１は、書画台等に、操作を補助する画像の投影を行う短焦点プロジェクタ２０７をさらに含むことができる。また、図２に示されていないが、カメラスキャナ１０１は、ＬＣＤタッチパネル３３０およびスピーカ３４０をさらに含むこともできる。
【００２２】
＜カメラスキャナのコントローラのハードウェア構成＞
図３は、カメラスキャナ１０１の本体であるコントローラ部２０１のハードウェア構成例を示す図である。
【００２３】
図３に示すように、コントローラ部２０１は、システムバス３０１に接続されたＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ＨＤＤ３０５、ネットワークＩ／Ｆ３０６、画像処理プロセッサ３０７およびカメラＩ／Ｆ３０８を含む。
【００２４】
ＣＰＵ３０２はコントローラ部２０１全体の動作を制御する中央演算装置である。ＲＡＭ３０３は揮発性メモリである。ＲＯＭ３０４は不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。ＨＤＤ３０５はＲＡＭ３０３と比較して大容量なハードディスクドライブ（ＨＤＤ）である。ＨＤＤ３０５にはコントローラ部２０１が実行する、カメラスキャナ１０１の制御用プログラムが格納されている。
【００２５】
ＣＰＵ３０２は電源ＯＮ等の起動時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、ＲＯＭ３０４あるいはＨＤＤ３０５に格納されている本実施形態のカメラスキャナ１０１の制御用プログラムを読み出し、ＲＡＭ３０３上に展開するためのものである。ＣＰＵ３０２は起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ３０２は制御用プログラムによる動作に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。ＨＤＤ３０５上にはさらに、制御用プログラムによる動作に必要な各種設定や、また、カメラ入力によって生成した画像データを格納することができ、ＣＰＵ３０２によって読み書きされる。ＣＰＵ３０２はネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。
【００２６】
画像処理プロセッサ３０７はＲＡＭ３０３やＨＤＤ３０５に格納された画像データを読み出して処理し、またＲＡＭ３０３やＨＤＤ３０５へ書き戻す。なお、画像処理プロセッサ３０７が実行する画像処理は、回転、変倍、色変換等である。
【００２７】
カメラＩ／Ｆ３０８はカメラ部２０２と接続され、ＣＰＵ３０２からの指示に応じてカメラ部２０２から画像データを取得してＲＡＭ３０３へ書き込む。また、ＣＰＵ３０２からの制御コマンドをカメラ部２０２へ送信し、カメラ部２０２の設定を行う。
【００２８】
また、コントローラ部２０１は、ディスプレイコントローラ３０９、シリアルＩ／Ｆ３１０、オーディオコントローラ３１１およびＵＳＢコントローラ３１２のうち少なくとも１つをさらに含むことができる。
【００２９】
ディスプレイコントローラ３０９はＣＰＵ３０２の指示に応じてディスプレイへの画像データの表示を制御する。ここでは、ディスプレイコントローラ３０９は短焦点プロジェクタ２０７およびＬＣＤタッチパネル３３０に接続されている。
【００３０】
シリアルＩ／Ｆ３１０はシリアル信号の入出力を行う。ここでは、シリアルＩ／Ｆ３１０はＬＣＤタッチパネル３３０に接続され、ＣＰＵ３０２はＬＣＤタッチパネル３３０が押下されたときに、シリアルＩ／Ｆ３１０を介して押下された座標を取得する。
【００３１】
オーディオコントローラ３１１はスピーカ３４０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３４０を通じて音声を出力する。
【００３２】
ＵＳＢコントローラ３１２はＣＰＵ３０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。ここでは、ＵＳＢコントローラ３１２はＵＳＢメモリやＳＤカードなどの外部メモリ３５０に接続され、外部メモリへのデータの読み書きを行う。
【００３３】
＜カメラスキャナの制御用プログラムの機能構成＞
図４は、ＣＰＵ３０２が実行するカメラスキャナ１０１の制御用プログラムの機能構成４０１を示す図である。
【００３４】
カメラスキャナ１０１の制御用プログラムは前述のようにＨＤＤ３０５に格納され、ＣＰＵ３０２が起動時にＲＡＭ３０３上に展開して実行する。カメラスキャナ１０１の制御用プログラムの機能構成４０１は、メイン制御部４０２、操作表示部４０３、ネットワーク通信部４０４、データ管理部４０５、撮像処理部４０６、画像認識部４０７、原稿認識部４０８、および出力ファイル生成部４０９を備える。また、撮像処理部４０６はタイミング検出部４１０を、画像認識部４０７は原稿画像データ抽出部４１１を、原稿認識部４０８は除去原稿特定部４１２と両面原稿認識部４１３をそれぞれ含む。
【００３５】
メイン制御部４０２は制御の中心であり、制御用プログラムの機能構成４０１内の他の各部を制御する。
【００３６】
操作表示部４０３は、メイン制御部４０２からの描画要求を受け、ディスプレイコントローラ３０９を介して、短焦点プロジェクタ２０７もしくはＬＣＤタッチパネル３３０へ描画を実行する。また、操作表示部４０３は、ＬＣＤタッチパネル３３０が押下されたときにシリアルＩ／Ｆ３１０を介して押下座標を受信し、描画中の操作画面の内容と押下座標を対応させて操作内容（押下されたボタン等）を判定する。この押下内容をメイン制御部４０２へ通知することにより、操作者の操作を受け付ける。
【００３７】
ネットワーク通信部４０４は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによる通信を行う。
【００３８】
データ管理部４０５は、制御用プログラムの実行において生成した作業データ、例えば後述の原稿画像データ抽出部４１１で抽出した原稿画像データ、文書属性・画像属性情報をＨＤＤ３０５上やＲＡＭ３０３上の所定の領域へ保存し、管理する。
【００３９】
撮像処理部４０６は、カメラＩ／Ｆ３０８を介してカメラ部２０２を制御し、撮像処理部４０６のタイミング検出部４１０で検出されたタイミングで撮像したカメラ画像を画像認識部４０７へ送信する。あるいは、撮像処理部４０６はカメラ部２０２を制御して、高解像度で原稿を撮像させてもよい。
【００４０】
撮像処理部４０６のタイミング検出部４１０は、原稿がフレームインしたタイミング、静止したタイミング、およびフレームアウトするタイミングを検出する。これらのタイミングは、カメラ部２０２から受信したカメラ画像に基づいて検出することができる。ここで、フレームアウトタイミングは、原稿が読み取り領域２０５からフレームアウトする直前のタイミングもしくはフレームアウトし始めるタイミング、またはその間の任意のタイミングとしてもよい。
【００４１】
画像認識部４０７は、撮像処理部４０６からカメラ画像を受信し、受信したカメラ画像の内容を認識する。図４に示すように、画像認識部４０７は、原稿画像データ抽出部４１１を含む。
【００４２】
画像認識部４０７の原稿画像データ抽出部４１１は、タイミング検出部４１０が検出した静止タイミングまたはフレームアウトタイミングで撮像され送信されてきたカメラ画像から、複数枚の原稿画像データを抽出する。なお、抽出した原稿画像データは、データ管理部４０５によってＨＤＤ３０５上の所定の領域へ保存され、管理される。
【００４３】
原稿認識部４０８は、原稿画像データ抽出部４１１で抽出された原稿画像データ同士の位置関係を基に、除去原稿を特定する処理および両面原稿を認識する処理を行う。図４に示すように、原稿認識部４０８は、除去原稿特定部４１２と両面原稿認識部４１３を含む。
【００４４】
原稿認識部４０８の除去原稿特定部４１２は、フレームアウトタイミングで撮像されたカメラ画像と直前の静止タイミングで撮像されたカメラ画像より抽出されたそれぞれの原稿画像データを比較し、どの原稿が読み取り領域２０５から取り除かれたのかを特定する。
【００４５】
原稿認識部４０８の両面原稿認識部４１３は、現在の静止タイミングで撮像されたカメラ画像と直前の静止タイミングで撮像されたカメラ画像より抽出されたそれぞれの原稿画像データを比較することで、新たな原稿の表面なのか、両面原稿の裏面なのかを認識する。以下、静止タイミングで撮像されたカメラ画像を静止画像と呼ぶ。
【００４６】
出力ファイル生成部４０９は、データ管理部４０５が保存した原稿画像データを変換し適切な画像に整えた上で、所定のデータ出力形式で出力ファイルを生成する。
【００４７】
図５は本実施形態における原稿操作の一例を示す図である。原稿が投入されていない状態の読み取り領域２０５を図５（ａ）に示す。２枚の両面原稿の表面をスキャンする際の操作手順を図５（ｂ）から図５（ｃ）に示す。その後、１枚の原稿を新しい原稿と交換し、もう一方の原稿を裏返して、再度スキャンを行う際の操作手順を図５（ｄ）から図５（ｇ）に示す。続いて、先ほど交換した原稿を裏返し、新しい原稿をもう１枚追加してスキャンをする際の操作手順を図５（ｈ）から図５（ｊ）に示す。
【００４８】
図６は撮像処理部４０６およびタイミング検出部４１０の処理フローについて説明する図である。図６（ａ）は初期化設定フローを示している。撮像処理部４０６がスタートすると、図６（ａ）で示すように読み取り領域の位置情報を取得する初期化設定を行う。
【００４９】
図６（ａ）のステップＳ６０１において、撮像処理部４０６は、背景画像として、図５（ａ）に示すような原稿が投入されていない状態の読み取り領域２０５の画像をカメラ部２０２に撮像させる。読み取り領域２０５は矩形であるが、カメラ部２０２は厳密には読み取り領域２０５の真上にあるわけではないため、ステップＳ６０１で撮像された読み取り領域の画像は図７（ａ）に示した画像７０１のように形状が歪んでいる。
【００５０】
ステップＳ６０２において、撮像処理部４０６は、撮像された読み取り領域の画像７０１を矩形に変換する射影変換のパラメータを算出する。
【００５１】
ステップＳ６０３において、撮像処理部４０６は、ステップＳ６０２で算出した射影変換パラメータを使用してステップＳ６０１で撮像した読み取り領域の画像７０１を、図７（ｂ）に示した読み取り領域背景画像７０２のように矩形に補正する。
【００５２】
ステップＳ６０４において、撮像処理部４０６は、補正された読み取り領域背景画像７０２を、データ管理部４０５を介してＨＤＤ３０５へ保存する。図１０（ａ）に、読み取り領域背景画像７０２を保存した時の模式図を示す。データ管理部４０５は、ＨＤＤ３０５上に空のディレクトリ（図１０（ａ）中の「／ＩＭＧＤＩＲ」）を作成し、読み取り領域背景画像としてデータ１００１を保存する。
【００５３】
初期化処理が終了すると、撮像処理部４０６のタイミング検出部４１０は、読み取り領域２０５内に新たに入ってきた原稿が所定時間静止したときに、自動で撮像する処理を図６（ｂ）に示す処理フローに基づき実行する。
【００５４】
図６（ｂ）のステップＳ６１１において、撮像処理部４０６は、カメラ部２０２から読み取り領域２０５を撮像したカメラ画像を受信する。ここで、カメラ部２０２は、所定のフレームレートで読み取り領域２０５を撮像し、撮像したカメラ画像を１フレームずつ撮像処理部４０６へ送信することができる。
【００５５】
ステップＳ６１２において、撮像処理部４０６のタイミング検出部４１０は、カメラ部２０２から受信したカメラ画像に基づいて、原稿のフレームインまたはフレームアウトのタイミングを検出する。フレームインが検出された場合はステップＳ６２０へ、フレームアウトが検出された場合はステップＳ６２１へ進み、どちらも検出されなかった場合にはステップＳ６１３へ進む。
【００５６】
図８にフレームインまたはフレームアウトの検出方法の一例を示す。図８（ａ）は原稿８０１および８０２の置かれる前の書画台２０４の様子であり、図８（ｃ）は図８（ａ）のタイミングで読み取り領域２０５を撮像して得られた背景画像である。また、図８（ｂ）は原稿８０１が静止してあり、原稿８０２が読み取り領域２０５に対してフレームインまたはフレームアウトする直前の書画台２０４の様子であり、図８（ｄ）は図８（ｂ）のタイミングで撮像された読み取り領域２０５のカメラ画像である。画像認識部４０７のタイミング検出部４１０は、図８（ｃ）および図８（ｄ）に示す２枚の撮像画像より、図８（ｅ）に示す差分画像を作成する。差分画像の黒画素領域８０３は背景画像と変化のなかった部分を表している。差分画像の白画素領域８０４および８０５は背景画像と変化のあった部分（以下、差分領域）を表している。そのうち、白画素領域８０５は読み取り領域２０５の境界に接する差分領域であり、フレームインまたはフレームアウトしていく原稿８０２の端部を表している。本実施形態において、このような読み取り領域２０５の境界に接する差分領域を基に、原稿のフレームインまたはフレームアウトを検出する。すなわち、差分画像における読み取り領域２０５の境界に接する差分領域の画素数を算出し、算出した画素数と所定値とを比較することでフレームインまたはフレームアウトのタイミングを検出する。
【００５７】
フレームインまたはフレームアウトのどちらの状態であるかは、今回の差分画像から算出した白画像領域８０５の画素数と直前の差分画像から算出した白画像領域８０５の画素数とを比較することで判定できる。すなわち、今回の白画像領域８０５の画素数が直前の白画像領域８０５の画素数よりも増加している場合にはフレームインの過程、減少している場合にはフレームアウトの過程であると判定することができる。そして、フレームインの過程において、白画像領域８０５の画素数が所定値以上となったタイミングをフレームインのタイミングとして検出する。同様にフレームアウトの過程において、白画像領域８０５の画素数が所定値以下となったタイミングをフレームアウトのタイミングとして検出する。
【００５８】
以上のように、本実施形態において差分画像における読み取り領域２０５の境界に接する差分領域の画素数を用いて、フレームインまたはフレームアウトのタイミングを検出する方法を説明した。ただし、フレームインまたはフレームアウトの検出は、他の方法で実現しても構わないことは言うまでもない。例えば、差分画像におけるいずれかの差分領域の重心と読み取り領域２０５の境界との距離が所定値以下となったタイミングをフレームアウトのタイミングとして検出してもよい。
【００５９】
ここで、図６（ｂ）のステップＳ６１２において、図５（ｂ）の状況を撮像したカメラ画像が入力された場合、タイミング検出部４１０は、このタイミングを原稿のフレームインと判定し、ステップＳ６２０へ進む。
【００６０】
ステップＳ６２０において、メイン制御部４０２は、全原稿のスキャンが終了したかを判定する。スキャン終了判定は、ネットワークＩ／Ｆ３０６を介してホストコンピュータ１０２から送信されるスキャン終了命令や、ＬＣＤタッチパネル３３０から入力される終了命令、あるいはタイマー設定（図示せず）などにより行われるものとする。スキャンを終了する場合にステップＳ６２４へ進み、出力ファイル生成処理を行った後、本処理フローは終了する。スキャンを継続する場合に、ステップＳ６１１へ戻り、次の原稿の検出および撮像を行う。
【００６１】
ステップＳ６１１に戻り、撮像処理部４０６は、図５（ｂ）〜図５（ｃ）に至るまでのカメラ画像を取得する。この間では、フレームインまたはフレームアウトを検出しないため、ステップＳ６１３へ進む。
【００６２】
ステップＳ６１３において、タイミング検出部４１０は、所定時間内で変化がないことを検出する。具体的には、新たに撮像したカメラ画像が、前回撮像した時のカメラ画像と比較して、どれくらい変化したかを示す画像変化量が、所定の割合以下となる場合、変化がないと判定する。また、連続して変化がない時間が所定時間以上になるか否かを判定する。この判定は、連続して変化がないと判定したカメラ画像のフレーム数をカウントし、所定のフレーム数と比較することにより行うことができる。所定時間内で連続して変化がない場合、原稿が静止あるいは原稿が完全に除去されたと判定することができ、ステップＳ６１４へ進む。一方、所定時間内で変化がある場合には、読み取り領域２０５上で原稿を移動しているなどの状況であると判定することができ、ステップＳ６２０へ進み、変化がなくなるまでステップＳ６１１〜ステップＳ６１３までの処理を繰り返す。
【００６３】
ここで、図５（ｂ）〜図５（ｃ）の間では原稿を動かしている状態が続いているため、ステップＳ６２０へ進み、静止状態を検出するまで処理を繰り返す。そして図５（ｃ）の状態が所定時間以上続いた際には、静止状態を検出し、ステップＳ６１４へ進む。
【００６４】
ステップＳ６１４において、撮像処理部４０６は、今回ステップＳ６１１で取り込んだカメラ画像を、ステップＳ６０２で算出した射影変換パラメータに基づいて射影変換を行う。
【００６５】
ステップＳ６１５において、タイミング検出部４１０は、今回ステップＳ６１４で射影変換したカメラ画像と、前回ステップＳ６１７で更新された最新静止画像との差分量を算出する。ここで、最新静止画像は、１つ前の静止画像であり、データ管理部４０５によって保存されている。なお、今回撮像処理部４０６の開始後初めてステップＳ６１５を実行した場合は、ステップＳ６０４で保存した読み取り領域背景画像との差分量を算出する。
【００６６】
ステップＳ６１６において、タイミング検出部４１０は、ステップＳ６１５で算出した差分量が所定の値（ここでの所定の値は０に近い）より大きいかどうかを判定する。これにより、今回射影変換したカメラ画像が保存されている最新静止画像と差分があるかどうかを判定する。差分がない場合は、前回の状態から変化がないため、ステップＳ６２０へ進み、処理を繰り返す。一方、保存されている最新静止画像との差分がある場合にはステップＳ６１７へ進む。
【００６７】
ステップＳ６１７において、撮像処理部４０６は、ステップＳ６１４で射影変換したカメラ画像を静止画像とし、データ管理部４０５を介してＨＤＤ３０５へ保存する。図１０（ｂ）および１０（ｃ）に、静止画像を保存した時の模式図を示す。１ページ目の処理については、図１０（ｂ）に示すように、取り込んだ静止画像１００２を最新静止画像として、読み取り領域背景画像１００１を保存したのと同じディレクトリに保存する。なお、２ページ目以降の処理においては、図１０（ｃ）に示すように、前回取り込んだ静止画像１００２を直前静止画像として保存し直し、今回取り込んだ静止画像１００３を最新静止画像として保存する。
【００６８】
ステップＳ６１８において、撮像処理部４０６は、ステップＳ６１７で保存した最新静止画像を画像認識部４０７へ送信する。そして、画像認識部４０７の原稿画像データ抽出部４１１は、この静止画像を受信すると原稿画像データ抽出処理を行う。原稿画像データ抽出処理の詳細は図９を参照して後述する。
【００６９】
ステップＳ６１９において、画像認識部４０７は、ステップＳ６１８（第２のタイミング）で抽出された原稿画像データを原稿認識部４０８へ送信する。そして、原稿認識部４０８の両面原稿認識部４１３は、抽出された原稿画像データを受信すると両面対応付け処理を行う。その後、ステップＳ６２０へ進み、処理を繰り返す。両面対応付け処理の詳細は図１３を参照して後述する。
【００７０】
続いて、撮像処理部４０６は、図５（ｃ）〜図５（ｇ）に至るまでのカメラ画像を取得する。ここで、図５（ｄ）〜図５（ｅ）は原稿５０１を読み取り領域２０５から除去し、新しく原稿５０３を読み取り領域２０５に置くことで原稿を交換している様子を示している。また図５（ｆ）は原稿５０２を裏返している様子を示している。
【００７１】
ステップＳ６１１において、撮像処理部４０６は、図５（ｄ）に示すようなカメラ画像を取得する。
【００７２】
ステップＳ６１２において、タイミング検出部４１０は、原稿のフレームアウトを検出し、ステップＳ６２１へ進む。
【００７３】
ステップＳ６２１において、撮像処理部４０６は、ステップＳ６１１で取り込んだカメラ画像をステップＳ６０２で算出したパラメータにより射影変換する。なお、この処理はステップＳ６１４の処理と同じものである。
【００７４】
ステップＳ６２２において、撮像処理部４０６は、ステップＳ６２１で射影変換したカメラ画像を画像認識部４０７へ送信し、画像認識部４０７の原稿画像データ抽出部４１１において原稿画像データ抽出処理を行う。なお、この処理はステップＳ６１８の処理と同じものである。
【００７５】
ステップＳ６２３において、画像認識部４０７は、ステップＳ６２２（第３のタイミング）で抽出された原稿画像データを原稿認識部４０８へ送信する。そして、原稿認識部４０８の除去原稿特定部４１２は、ステップＳ６２２で抽出された原稿画像データと、直前のステップＳ６１８（第１のタイミング）で抽出された原稿画像データを比較することにより読み取り領域２０５から除去された原稿を特定する。その後、処理はステップＳ６２０へ進み、スキャンを継続するため、ステップＳ６１１へ戻る。除去原稿特定処理の詳細は図１２を参照して後述する。
【００７６】
ステップＳ６１１へ戻り、撮像処理部４０６は、図５（ｅ）に示すような原稿５０３を挿入している状態のカメラ画像を取得する。そしてステップＳ６１２においてタイミング検出部４１０はフレームインを検出し、次のカメラ画像を取得するための処理を繰り返す。ステップＳ６１１において、図５（ｆ）に示すような原稿５０２を裏返すようなカメラ画像を取得する。ステップＳ６１２においてタイミング検出部４１０はフレームインまたはフレームアウトを検出しないため、そのままステップＳ６１３へ進む。
【００７７】
ステップＳ６１３において、タイミング検出部４１０は、原稿の所定時間静止を検出するまで処理を繰り返す。そして、上述した図５（ｄ）〜図５（ｆ）における一連の連続した操作を終え、図５（ｇ）に示す状態が所定時間以上続いたことを検出すると、ステップＳ６１４以降の処理へ進み、原稿画像データ抽出および両面対応付けの処理を行う。
【００７８】
さらに、撮像処理部４０６は、図５（ｇ）〜図５（ｊ）に至るまでのカメラ画像を取得する。ここで、図５（ｈ）は原稿５０３を裏返している状態を示し、図５（ｉ）は読み取り領域２０５に新しい原稿５０６を挿入している状態を示している。
【００７９】
以後の操作に関しての詳細な説明は省略するが、図５（ｈ）および図５（ｉ）に示すように原稿の裏返しと挿入操作が行われた後、ステップＳ６１６において、撮像処理部４０６は、図５（ｊ）に示すようなカメラ画像を静止画像として取り込む。そして、ステップＳ６１８において原稿画像データ抽出部４１１は原稿画像データを抽出し、ステップＳ６１９において両面原稿認識部４１３は両面対応付け処理を実行する。
【００８０】
以上のような操作を繰り返し、ステップＳ６２０において、メイン制御部４０２は、ユーザからのスキャン終了指示を受け取ると、スキャン処理を終了し、ステップＳ６２４へ進む。
【００８１】
最後に、ステップ６２４において、出力ファイル生成部４０９は、カメラ画像から抽出された後に両面対応付け処理が施された複数の原稿画像データを、所定のファイル形式に変換して出力する。処理の詳細は図１６を参照して後述する。
【００８２】
上記の処理を繰り返し行うことにより、撮像処理部４０６は、新しく読み取り領域２０５に入った原稿が静止したときに、静止画像を自動で取り込み、画像認識部４０７の原稿画像データ抽出部４１１へ送信し、複数枚の原稿画像データを抽出する。そして、原稿認識部４０８の両面原稿認識部４１３において、抽出した複数枚の原稿画像データ同士で両面対応付けすることができる。
【００８３】
なお、図５に示した一連の操作において、撮像処理部４０６のタイミング検出部４１０は、図５（ｃ）、（ｇ）、（ｊ）のタイミングで原稿の静止または完全除去を検出し、それぞれの静止画像が原稿画像データ抽出部４１１へ送信される。また、図５（ｄ）のタイミングで原稿のフレームアウトを検出し、その静止画像が除去原稿特定部４１２へ送信される。
【００８４】
続いて、図９〜図１１を参照して、図６のステップＳ６１８における原稿画像データ抽出処理について詳細に説明する。図９は、画像認識部４０７の原稿画像データ抽出部４１１の処理フローを示す図である。図１０（ａ）〜１０（ｃ）は、前述のようにデータ管理部４０５が管理する静止画像の保存方法を示す模式図であり、図１０（ｄ）〜１０（ｆ）は、抽出原稿画像データの保存方法を示す模式図である。図１１は、データ管理部４０５が管理する属性管理テーブルを示している。
【００８５】
図６のステップＳ６１８において送信された射影変換された静止画像を原稿画像データ抽出部４１１が受信すると、図９に示すステップＳ９０１が実行開始される。
【００８６】
ステップＳ９０１において、原稿画像データ抽出部４１１は、撮像処理部４０６より画像を受信する。ここで、静止画像１００２を撮像処理部４０６より受信する場合の処理を例に説明を行う。
【００８７】
ステップＳ９０２において、原稿画像データ抽出部４１１は、読み取り領域背景画像１００１と静止画像１００２の差分画像と差分量を算出する。
【００８８】
ステップＳ９０３において、原稿画像データ抽出部４１１は、ステップＳ９０２で算出した差分量が所定値よりも大きいかどうかを判定する。ここで使用する所定値は０に近い値であり、つまり、読み取り領域背景画像１００１と静止画像１００２に差分があるかどうかを判定する。読み取り領域背景画像１００１と静止画像１００２に差分がある場合には、新たな原稿が読み取り領域２０５に置かれたと判定してステップＳ９０４へ進む。一方、差分がなかった場合、新たな原稿は置かれていないと判定して、ステップＳ９０５へ進む。例えば、図５（ｃ）、（ｇ）、（ｊ）のようなタイミングで撮像された静止画像に関しては、読み取り領域背景画像１００１と差分があることから、ステップＳ９０４へ進む。一方、図５（ａ）のようなタイミングで撮像された静止画像が入力された場合には、読み取り領域背景画像１００１と差分が得られない。よって、読み取り領域２０５内に原稿が置かれていない（原稿が完全に除去された）状態であると判定され、ステップＳ９０５へ進むことになる。
【００８９】
ステップＳ９０４において、原稿画像データ抽出部４１１は、静止画像１００２から原稿画像データを抽出する。原稿画像データは、ステップＳ９０２で生成した差分画像よりエッジを検出し、それを矩形近似するなど既存の方法を用いて抽出すればよい。なお、ここでは、同時に複数の矩形領域を抽出することで、複数枚の原稿画像データの抽出を可能としている。ただし、ここで抽出される原稿画像データの順番は矩形領域抽出処理の結果次第となるため、認識された順番で原稿画像データの順番を決定することになる。すなわち、図５（ｃ）の場合には、原稿５０１と原稿５０２の２枚の原稿を抽出することは可能であるが、原稿５０１が１枚目の原稿として認識されることもあれば、原稿５０２が１枚目として認識されることもありうる。
【００９０】
なお、初回の原稿画像データ抽出に応じて、データ管理部４０５は、ＨＤＤ３０５上に空のディレクトリ（図１０（ｄ）中の「／ＤＯＣＤＩＲ」）を作成する。作成したディレクトリに、抽出した原稿画像データを、通番管理されたファイル名とともに原稿画像データ１０１１および１０１２として保存する。さらに、データ管理部４０５は、図１１（ａ）に示すような文書属性と画像属性を管理する属性管理テーブルを作成し、ＲＡＭ３０３上に保存する。文書属性には原稿総数および原稿画像データの保存ディレクトリ名が保存される。また、画像属性には、原稿画像データごとの画像属性情報として、両面対応付け対象であるかを示す確認フラグ（ｃｈｋ）、原稿番号（Ｄｏｃ）、面情報、原稿幅、原稿高さ、画像中の原稿位置（画像中位置）などの情報が保存される。図１１（ａ）の画像属性情報１１０１および１１０２はそれぞれ原稿画像データ１０１１および１０１２の画像属性情報を示す。以下図１１（ａ）を参照して各画像属性情報を説明する。
【００９１】
図１１（ａ）に示すように、確認フラグ（ｃｈｋ）は両面対応付け対象であることを示すＯＮに設定される。これにより、原稿画像データ１０１１および１０１２は、後述の両面対応付け処理において参照原稿画像データとされる。なお、この時点においては原稿番号（Ｄｏｃ）および面情報は不明のため、空欄のまま保存される。原稿位置は、原稿の左上頂点座標と回転角度の形式で保存しているが、４頂点座標を格納するなどでもよい。原稿位置、原稿幅および原稿高さによって、原稿画像データが読み取り領域内に置かれる領域を判定することができる。以下、原稿位置、原稿幅および原稿高さを原稿画像データの位置情報と呼ぶ。なお、原稿画像データの位置情報は後述の対応原稿信頼度の算出に用いられる。
【００９２】
最後に、ステップＳ９０５において、原稿画像データ抽出部４１１は、ステップＳ９０３での判定結果および、ステップＳ９０４での原稿画像データ抽出の可否を撮像処理部４０６へ返して原稿抽出処理を終了し、図６のステップＳ６１９へ進む。読み取り領域背景画像と受信した画像との差分がなく、原稿画像データ抽出処理を行わなかった場合、または原稿画像データの抽出に失敗した場合には（原稿画像データの抽出が失敗したことを示す）ｆａｌｓｅを返す。また、原稿画像データ抽出処理が実行され、原稿画像データが抽出された場合には（原稿画像データの抽出が成功したことを示す）ｔｒｕｅを返して処理を終了する。
【００９３】
図１２と図１４（ａ）〜（ｃ）を参照して原稿認識部４０８の除去原稿特定部４１２における除去原稿特定処理について説明する。なお、以下の説明では図５（ｄ）に示すカメラ画像が撮像され、除去原稿特定処理が実行された場合を例に説明を行う。
【００９４】
ステップＳ１２０１において、除去原稿特定部４１２は、直前に静止状態検出時に抽出された原稿画像データ（以下、参照原稿画像データとよぶ）と、今回フレームアウト検出時に抽出された原稿画像データ（以下、注目原稿画像データとよぶ）を取得する。参照原稿画像データは、図１１（ｂ）に示すデータ管理部４０５によって管理された属性管理テーブル中の確認フラグ（ｃｈｋ）がＯＮであるＮ枚の原稿画像データであり、ｐｒｅｖＤｏｃ［］に格納する。ここでは、原稿画像データ１０１１と１０１２の２枚（Ｎ＝２）が参照原稿画像データとして格納される。一方、注目原稿画像データは図６のステップＳ６２２で抽出された１枚（Ｍ＝１）の原稿画像データ１４０１がｃｕｒｒＤｏｃ［］に格納される。
【００９５】
ステップＳ１２０２とステップＳ１２０９間でのループ処理（Ｌｏｏｐ１）において、除去原稿特定部４１２は、Ｎ枚の参照原稿画像データに対しての処理を行う。ここではループ変数としてｉ（０≦ｉ＜Ｎ）を用いる。
【００９６】
ステップＳ１２０３とステップＳ１２０６間でのループ処理（Ｌｏｏｐ２）において、除去原稿特定部４１２は、Ｍ枚の注目原稿画像データに対しての処理を行う。ここではループ変数としてｊ（０≦ｊ＜Ｍ）を用いる。
【００９７】
ステップＳ１２０４において、除去原稿特定部４１２は、ｉ枚目の参照原稿画像データｐｒｅｖＤｏｃ［ｉ］と、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］に対して、対応原稿信頼度を原稿画像データの位置情報を用いて算出する。
【００９８】
ここで、対応原稿信頼度の算出方法について図１４（ａ）〜（ｃ）を参照して説明する。
【００９９】
図１４（ａ）は、参照原稿画像データ（上段）と注目原稿画像データ（下段）の比較の様子を示している。除去原稿特定処理においては、各参照原稿画像データ（ここでは参照原稿画像データ１０１１および１０１２）に対して、すべての注目原稿画像データ（ここでは注目原稿画像データ１４０１のみ）との対応原稿信頼度を算出する。なお、対応原稿信頼度としては、原稿画像データの位置情報から判定した原稿画像データの重なり度合を用い、（重なった領域の面積÷参照原稿画像データの面積）として算出する。例えば、重なりがない原稿同士では０％、完全に重なっている場合であれば１００％、半分重なっている場合には５０％となる。図１４（ｂ）は参照原稿画像データ１０１１（実線）と注目原稿画像データ１４０１（破線）との重なり度合を示している。ここでは、２つの原稿画像データが完全に重なっていることから、対応原稿信頼度は１００％となる。一方、図１４（ｃ）は参照原稿画像データ１０１２（実線）と注目原稿画像データ１４０１（破線）との重なり度合を示している。ここでは、２つの原稿画像データ間での重なりはないため対応原稿信頼度は０％となる。
【０１００】
図１２に戻り、ステップＳ１２０５において、除去原稿特定部４１２は、ステップＳ１２０４で算出した対応原稿信頼度が０％か否かを確認する。対応原稿信頼度が０％である場合は、ステップＳ１２０６へ進み、Ｌｏｏｐ２のループ処理を継続し、次の注目原稿画像との対応原稿信頼度の算出処理を行う。Ｌｏｏｐ２のループ処理によってすべての注目原稿画像データとの対応原稿信頼度が０％であると判定した場合は、ステップＳ１２０７へ進む。
【０１０１】
ステップＳ１２０７において、除去原稿特定部４１２は、対応原稿信頼度が０％である、すなわち対応する原稿画像データが存在しないことから、参照原稿画像データｐｒｅｖＤｏｃ［ｉ］が除去された原稿であると特定する。そして、データ管理部４０５は属性管理テーブルを更新する。ここでは参照原稿画像データ１０１２が除去された原稿であると特定されたことから、データ管理部４０５は、図１１（ｃ）に示すように画像属性情報１１０２における確認フラグ（ｃｈｋ）を、両面対応付け対象でないことを示すＯＦＦに更新する。後述の両面対応付け処理において、この確認フラグを用いることにより、両面対応付け対象を判定することができ、除去された原稿以外の原稿画像データは参照原稿画像データとされる。
【０１０２】
一方、ステップＳ１２０５で対応原稿信頼度が０％でないと判定した場合には、対応する注目原稿画像データが存在していることから、原稿が除去されていないと判定する。そのため、Ｌｏｏｐ２のループ処理を終了してステップＳ１２０８へ進み、Ｌｏｏｐ１のループ処理において次の参照原稿画像データの原稿除去特定処理を行う。
【０１０３】
続いて、図１３および図１４（ｄ）〜（ｆ）を参照して、原稿認識部４０８の両面原稿認識部４１３における両面原稿対応付け処理について説明する。以下の説明では、図５（ｇ）に示すカメラ画像が撮像され、両面対応付け処理が実行された場合を例に説明を行う。
【０１０４】
図１３のステップＳ１３０１において、両面原稿認識部４１３は、参照原稿画像データ（第１のタイミングに基づいて取得された原稿画像データ）および注目原稿画像データ（直後の第２のタイミングに基づいて取得された原稿画像データ）をそれぞれ取得する。参照原稿画像データは、図１１（ｃ）に示すデータ管理部４０５によって管理された属性管理テーブル中の確認フラグ（ｃｈｋ）がＯＮであるＮ枚の原稿画像データであり、原稿画像データ１０１１（Ｎ＝１）が参照原稿画像データとして格納される。一方、注目原稿画像データは図６のステップＳ６１８で抽出されたＭ枚の原稿画像データであり、原稿画像データ１４０２および１４０３（Ｍ＝２）が注目原稿画像データとして格納される。
【０１０５】
ステップＳ１３０２とステップＳ１３１２間でのループ処理（Ｌｏｏｐ２）において、両面原稿認識部４１３は、Ｍ枚の注目原稿画像データに対する両面原稿を認識するための処理を行う。
【０１０６】
ステップＳ１３０３とステップＳ１３０７間でのループ処理（Ｌｏｏｐ１）において、両面原稿認識部４１３は、Ｎ枚の参照原稿画像データに対しての処理を行う。
【０１０７】
ステップＳ１３０４において、両面原稿認識部４１３は、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］と、ｉ枚目の参照原稿画像データｐｒｅｖＤｏｃ［ｉ］に対して対応原稿信頼度を原稿画像データの位置情報を用いて算出する。
【０１０８】
図１４（ｄ）〜（ｆ）を参照して、対応原稿信頼度の算出方法について説明する。図１４（ｄ）は、参照原稿画像データ（上段）と注目原稿画像データ（下段）の比較の様子を示している。両面対応付け処理においては、各注目原稿画像データ（ここでは注目原稿画像データ１４０２および１４０３）に対して、すべての参照原稿画像データ（ここでは参照原稿画像データ１０１１のみ）との原稿の重なり度合を調べ、対応原稿信頼度とする。ここで、原稿の重なり度合いは原稿画像データの位置情報から判定される。なお、対応原稿信頼度としては、原稿画像データの重なり度合を用い、（重なった領域の面積÷注目原稿画像データの面積）として算出する。図１４（ｅ）は注目原稿画像データ１４０２（実線）と参照原稿画像データ１０１１（破線）との重なり度合を示している。ここでは、２つの原稿画像データ間での重なりはないため対応原稿信頼度は０％となる。一方、図１４（ｆ）は注目原稿画像データ１４０３（実線）と参照原稿画像データ１０１１（破線）との重なり度合を示しており、対応原稿信頼度は約４０％である。
【０１０９】
ところで、両面対応付け処理と上述の除去原稿特定処理とでは、ループ処理の順番が異なっている。図１４（ａ）の矢印の向きに示すように、除去原稿特定処理ではｉ枚目の参照原稿画像データｐｒｅｖＤｏｃ［ｉ］が除去原稿であるかを判定するために全注目原稿画像データとの対応原稿信頼度を算出している。一方で、図１４（ｄ）の矢印の向きに示すように、両面原稿対応付け処理においては、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］に対する両面原稿を特定するために全参照原稿画像データとの対応原稿信頼度を算出するという違いのためである。
【０１１０】
図１３に戻り、ステップＳ１３０５において、両面原稿認識部４１３は、ステップＳ１３０４で算出した対応原稿信頼度が１００％か否かを判定する。算出した対応原稿信頼度が１００％でない場合に、Ｌｏｏｐ１のループ処理を継続し、次の参照原稿画像との対応原稿信頼度の算出処理を行う。算出した対応原稿信頼度が１００％である場合に、ステップS１３０６へ進む。
【０１１１】
ステップＳ１３０６において、両面原稿認識部４１３は、対応原稿信頼度が１００％である、すなわち注目原稿画像データに対して完全に重なっている参照原稿画像データが存在することから、完全に重なっている原稿画像データ同士が同一原稿であると認識する。そして、両面原稿認識部４１３は、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］を破棄して、この注目原稿画像データに対する両面対応付け処理を終了する。本実施形態において、対応原稿信頼度が１００％であることから同一原稿と判定するが、対応原稿信頼度が１００％であると判定した場合に、さらに原稿同士の差分量を算出して差分量に基づき同一原稿かどうかを判定してもよい。
【０１１２】
ステップＳ１３０８において、両面原稿認識部４１３は、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］に対する全参照原稿画像データとの対応原稿信頼度の中から最大の信頼度をもつ参照原稿画像データｐｒｅｖＤｏｃ［ｍａｘｉ］を抽出する。
【０１１３】
ステップＳ１３０９において、両面原稿認識部４１３は、ステップＳ１３０８で抽出した最大の対応原稿信頼度が０％か否かを確認する。そして、対応原稿信頼度が０％であった場合にはステップＳ１３１０へ、対応原稿信頼度が０％でない場合にはステップＳ１３１１へ進む。
【０１１４】
ステップＳ１３１０において、両面原稿認識部４１３は、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］に対して重なりがある参照原稿画像データがないことから、この注目原稿画像データは新しく読み取り領域２０５に置かれた表面原稿であると認識する。そして、データ管理部４０５は、ＲＡＭ３０３上に保存した属性管理テーブル中の原稿数、原稿番号（Ｄｏｃ）、面情報を更新する。図５（ｇ）における原稿５０３の場合、表面原稿として認識されることから、図１１（ｄ）に示すように原稿５０３に対する画像属性情報１１０３を、Ｄｏｃ＝３、面＝表面とし、文書属性の原稿数を３に更新する。
【０１１５】
ステップＳ１３１１において、両面原稿認識部４１３は、ｊ枚目の注目原稿画像データｃｕｒｒＤｏｃ［ｊ］を、最大の信頼度を持つ参照原稿画像データｐｒｅｖＤｏｃ［ｍａｘｉ］に対する裏面原稿であると認識し保存する。図５（ｇ）における原稿５０４の場合、原稿５０２に対する裏面原稿として認識されることから、図１１（ｄ）の原稿５０４に対する画像属性情報１１０４を、Ｄｏｃ＝１、面＝裏面とする。さらに、原稿５０２に対する画像属性情報１１０１中の確認フラグをＯＦＦに更新する。
【０１１６】
以上のように、抽出された原稿画像データに対する両面対応付け処理が実行できる。以上の処理では、注目原稿画像データと参照原稿画像データの対応原稿信頼度として、原稿同士の重なり度合を算出することで、新規原稿（表面原稿）なのか、両面原稿（裏面原稿）なのかを自動で判定することができるようになる。
【０１１７】
最後に図１５〜図１６を参照して、図６のステップＳ６２４における出力ファイル生成処理について詳細に説明する。図１５は出力ファイル形式の一例を示す図であり、図１６は出力ファイル生成部４０９の処理フローを説明する図である。
【０１１８】
図１０（ｆ）に示すようにＨＤＤ３０５上に一時保存された原稿画像データは、図１５に示す各種フォーマットで出力することができる。例えば、図１５（ａ）では、両面原稿の場合には、表面画像と裏面画像を左右あるいは上下に並べて配置して１枚の画像ファイルに結合し、片面原稿の場合はそのままで１枚の画像ファイルに変換して指定されたフォルダに保存する。あるいは、図１５（ｂ）に示すように、片面または両面の原稿ごとの個別ファイルで、原稿枚数を表す連番（＃＃＃＃）と、表面または裏面を表す枝番（＊）とで構成されたファイル名（ＩＭＧ＿＃＃＃＃＿＊．ｊｐｇ）により指定されたフォルダに保存する。さらには、図１５（ｃ）に示すように、片面または両面の原稿ごとにマルチページのドキュメント（例えばマルチページＰＤＦなど）に変換して出力することもできる。なお、出力の形態はこれに限ったことではない。
【０１１９】
図１６を参照して、図１５（ａ）に示すような出力画像を生成する処理フローを説明する。
【０１２０】
ステップＳ１６０１において、出力ファイル生成部４０９は、図１１（ｅ）に示すＲＡＭ３０３上の属性管理テーブルより１枚目の画像属性情報１１０１を取得する。
【０１２１】
ステップＳ１６０２において、出力ファイル生成部４０９は、ＨＤＤ３０５上より１枚目の原稿画像データ１０１１を取得する。
【０１２２】
ステップＳ１６０３において、出力ファイル生成部４０９は、ステップＳ１６０１で取得した画像属性情報１１０１より面情報を確認し、表面原稿であればステップＳ１６０４へ、裏面原稿であればステップＳ１６０９へ進む。
【０１２３】
ステップＳ１６０４において、出力ファイル生成部４０９は、出力ファイル用のヘッダ記述を作成する。画像属性のＤｏｃより原稿番号を取得し、出力ファイル名を作成する。また、出力原稿サイズには、画像属性の幅・高さ情報を用いる。
【０１２４】
ステップＳ１６０５において、出力ファイル生成部４０９は、出力ファイルの画像データとして、ステップＳ１６０２でＨＤＤ３０５から読み出した原稿画像データ１０１１を書き込む。この際、画像処理プロセッサ３０７上で、傾き補正・回転などの補正処理や、下地飛ばし・エッジ強調などの補正処理を行って画像を鮮鋭化しても構わない。
【０１２５】
ステップＳ１６０６において、出力ファイル生成部４０９は、フッタ記述を生成する。
【０１２６】
ステップＳ１６０７において、データ管理部４０５は、ＨＤＤ３０５に保存されたオリジナルの原稿画像データ１０１１を破棄（削除）する。
【０１２７】
ステップＳ１６０８において、全画像の処理が終了したかを判定する。未処理の原稿画像データが残っている場合にはステップＳ１６０１に戻り、出力ファイル生成処理を続ける。全画像で処理が終了した場合には出力ファイル生成処理を終了する。
【０１２８】
ステップＳ１６０１に戻り、出力ファイル生成部４０９は、ＲＡＭ３０３より２枚の画像属性情報１１０２を取得する。そしてステップＳ１６０２において、出力ファイル生成部４０９は、ＨＤＤ３０５より２枚目の原稿画像データ１０１２を取得し、上記と同様の処理を繰り返す。
【０１２９】
続いて、ステップＳ１６０１およびステップＳ１６０２において、３枚目の画像属性情報１１０３および原稿画像データ１０１３をそれぞれ取得する。
【０１３０】
ステップＳ１６０３において、出力ファイル生成部４０９は、画像属性情報１１０３の面情報より原稿画像データ１０１３は裏面であると認識し、ステップＳ１６０９へ進む。
【０１３１】
ステップＳ１６０９において、出力ファイル生成部４０９は、ヘッダ記述を更新する。ここでは、表面と裏面の原稿を左右あるいは上下配置で連結して出力するため、ステップＳ１６０４で生成されたヘッダ記述の出力原稿サイズに、ステップＳ１６０１で取得した原稿幅あるいは高さを足し合わせる。
【０１３２】
ステップＳ１６１０において、出力ファイル生成部４０９は、ステップＳ１６０５で書き出した出力画像データに連結させるように、ステップＳ１６０２で取得した原稿画像データ１０１２を書き出す。この際、ステップＳ１６０５での処理と同様、画像処理プロセッサ３０７上で画像の補正処理や先鋭化などの処理をさらに行ってもよい。
【０１３３】
ステップＳ１６１１において、出力ファイル生成部４０９は、フッタ記述を更新し、処理はステップＳ１６０７へ進む。そして、ステップＳ１６０７において、原稿画像データ１０１３を破棄する。
【０１３４】
以上のように、両面原稿の場合に左右または上下に連結された画像を生成できる。
【０１３５】
以上の処理により、原稿のフレームアウト情報と原稿同士の重なり度合を基にした対応原稿信頼度を用いることで、自動的に原稿交換（原稿表面）と裏返し（両面原稿裏面）とを識別でき、片面または両面原稿として保存することができるようになった。そのため、ユーザが原稿を裏返すという単純操作により両面スキャンが可能となることから操作性が向上し、複数の原稿で片面原稿または両面原稿を自動識別することから処理パフォーマンスの向上にもつながる。
【０１３６】
［第２の実施形態］
第１の実施形態では、撮像されたカメラ画像から抽出されたすべての原稿画像データを片面または両面原稿として保存する仕組みを提供した。本実施形態では、静止画像中から抽出した原稿画像データが白紙であるかどうかを判定することで、有効な画像データのみを保存する仕組みを提供する。
【０１３７】
図１７〜図１８を参照して、図６のステップＳ６１９において、本実施形態における両面原稿認識部４１３が実行する両面対応付け処理について説明する。図１７は裏面が白紙である原稿の裏返し操作前後の様子を示している。図１８は本実施形態における両面原稿認識部４１３の処理フローを示している。なお、第１の実施形態と同じ処理については説明を省略する。
【０１３８】
図１８のステップＳ１８０１において、両面原稿認識部４１３は、注目原稿画像データｃｕｒｒＤｏｃ［ｊ］が白紙であるかを確認する。ここで、原稿画像データのデータ量が所定量よりも少ない場合に、白紙であると判定することができる。図１７（ａ）では、原稿１７０１は白紙でないためステップＳ１３０３以降の処理により両面対応付け処理を行い、表面原稿としてＲＡＭ３０３上の属性管理テーブルを更新する。一方、図１７（ｂ）では、原稿１７０２が白紙であると判定されるため、ステップＳ１３０６へ進む。
【０１３９】
ステップＳ１３０６において、両面原稿認識部４１３は、白紙と判定された注目原稿画像データｃｕｒｒＤｏｃ［ｊ］をＨＤＤ３０５上から破棄し、この注目原稿画像データの両面対応付け処理を終了する。
【０１４０】
以上の処理により、原稿に白紙画像が含まれていた場合にも、その画像データを読み飛ばして出力できることになり、不要な原稿の出力保存を避けることができる。
【０１４１】
［第３の実施形態］
第１〜２の実施形態では、フレームアウトを検出せずに次の静止画像が取得された場合、常に両面原稿の裏面であるとして自動対応付けを行っていた。本実施形態では、静止画像中から抽出した原稿同士を比較することで、原稿位置をずらしてしまって画像抽出がなされた場合に誤対応付けされることを防止する。
【０１４２】
図１９〜図２０を参照して、図６のステップＳ６１９において、本実施形態における両面原稿認識部４１３が実行する両面対応付け処理について説明する。図１９は同一原稿を読み取り領域２０５上で移動させた状態を示している。図２０は本実施形態における両面原稿認識部４１３の処理フローを示している。なお、第１〜２の実施形態と同じ処理については説明を省略する。
【０１４３】
図１９（ａ）に示す１枚目の原稿１９０１が入力されると、両面原稿認識部４１３は、ステップＳ１８０１で白紙でないと判定し、ステップＳ１３０３以降へ進んで両面対応付け処理を実行し、表面原稿としてＲＡＭ３０３上の属性管理テーブルを更新する。
【０１４４】
続いて、図１９（ｂ）に示す２枚目の原稿１９０２が入力されると、両面原稿認識部４１３は、ステップＳ１８０１で白紙でないと判定し、ステップＳ１３０３以降の処理へ進む。そしてステップＳ１３０９において、両面原稿認識部４１３は、対応原稿信頼度が０％でないことからステップＳ２００１へ進む。
【０１４５】
ステップＳ２００１において、両面原稿認識部４１３は、ステップＳ１３０９で抽出された原稿画像データと、注目原稿画像データとの差分量を算出する。
【０１４６】
ステップＳ２００２において、両面原稿認識部４１３は、ステップＳ２００１で算出された差分量を基に、同一原稿か否かを判定する。差分量がある場合には異なる原稿であると判定し、ステップＳ１３１１へ進み、裏面原稿としてデータ管理部４０５を介してＲＡＭ３０３上の属性管理テーブルを更新する。一方、差分量がない場合には同一原稿であると判定し、ステップＳ１３０６へ進む。
【０１４７】
ステップＳ１３０６において、両面原稿認識部４１３は、ステップＳ２００２で表面原稿と差分がない、すなわち同一原稿と判定されたことを受け、原稿画像データをＨＤＤ３０５上から破棄して、両面対応付け処理を終了する。
【０１４８】
以上の処理により、静止画像中から抽出した原稿同士を比較することで、原稿が裏返されたのか、位置がずれてしまっただけなのかを判定することができ、同一原稿が表面と裏面に対応付けされてしまうことを防止することができる。
【０１４９】
なお、ここではステップＳ１３０６の処理で、原稿画像データを破棄してしまっていたが、直前に保存された表面原稿に置き換えて保存し直すなどの処理をしても構わない。
【０１５０】
［第４の実施形態］
第１〜３の実施形態では、１枚の原稿では表または裏と最大２回の画像を取得する場合の操作について説明してきた。本実施形態では、ユーザが同一原稿を３回以上連続して取り込もうとした場合について誤対応付けを防止する仕組みを提供する。
【０１５１】
図２１〜図２２を参照して図６のステップＳ６１９において、本実施形態における両面原稿認識部４１３が実行する両面対応付け処理について説明する。図２１は同一原稿を複数回読み取る操作の一例として、両面原稿を読み取り領域２０５上で表面→裏面→表面と読み取り領域２０５上に置いた場合を示している。図２２は本実施形態における両面原稿認識部４１３の処理フローを示している。なお、第１〜３の実施形態と同じ処理については説明を省略する。
【０１５２】
図２１（ａ）に示す１枚目の原稿２１０１が入力されると、両面原稿認識部４１３は、ステップＳ１８０１で白紙でないと判定し、ステップＳ１３０３以降へ進んで両面対応付け処理を実行し、表面原稿としてＲＡＭ３０３上の属性管理テーブルを更新する。
【０１５３】
図２１（ｂ）に示す２枚目の原稿２１０２が入力された場合は、両面原稿認識部４１３は、ステップ１８０１において白紙でないと判定し、ステップＳ１３０３以降の処理へ進む。ステップＳ１３０９において、対応原稿信頼度が０％でないことからステップＳ２２０１へ進む。
【０１５４】
ステップＳ２２０１において、両面原稿認識部４１３は、ステップＳ１３０８で抽出された参照原稿画像データが裏面原稿として保存済みであるかを確認する。ここでは、抽出された原稿２１０１が表面原稿として保存されているためステップＳ２００１へ進み、最終的にステップＳ１３１１において、原稿２１０２が裏面原稿として保存される。
【０１５５】
図２１（ｃ）に示す３枚目の原稿２１０３が入力されると、両面原稿認識部４１３は、ステップ１８０１において白紙でないと判定し、ステップＳ１２０２以降の処理を行う。そして、ステップＳ１３０９において、対応原稿信頼度が０％でないことからステップＳ２２０１へ進む。
【０１５６】
ステップＳ２２０１において、両面原稿認識部４１３は、ステップＳ１３０８で抽出された参照原稿画像データが裏面原稿として保存済みであるかを確認する。ここでは、抽出された原稿２１０２がすでに裏面原稿として保存されていることからステップＳ１３０６へ進み、原稿画像データを破棄して、両面対応付け処理を終了する。
【０１５７】
以上の処理により、ユーザの誤操作により、同一原稿を複数回読み取ってしまうような状況を回避することができる。
【０１５８】
［第５の実施形態］
第１〜４の実施形態では、原稿サイズが同じであることを前提として説明してきた。本実施形態では、ユーザが異なる原稿を同時にスキャンした際、異なるサイズの原稿同士で誤対応付けされてしまうことを防止する仕組みを提供する。
【０１５９】
図２３に注目原稿画像データ２３０２と参照原稿画像データ２３０１における対応原稿信頼度算出の様子を示す。
【０１６０】
実施形態１〜４において、ステップＳ１２０４で対応原稿信頼度として、参照原稿画像データと注目原稿画像データでの重なり度合を用いた。この方法では、図２３（ｂ）に示すように、原稿同士の重なりがあるため、誤った両面対応付けがされてしまうことになる。それに対し、本実施形態では、この重なり度合に加え、図２３（ａ）で原稿画像データのサイズの比較を行い、サイズが異なっていた場合には、対応原稿信頼度を０％とし、同一サイズの場合のみ原稿の重なり度合を算出する処理を行う。
【０１６１】
以上の処理により、原稿同士のサイズを比較することで、異なるサイズの原稿で誤った両面対応付けをすることを防止することができる。
【０１６２】
［第６の実施形態］
第１〜５の実施形態では注目原稿画像データと参照原稿画像データの重なり度を対応原稿信頼度としてした。本実施形態では、注目原稿画像データと参照原稿画像データの距離を対応原稿信頼度として、両面対応付け処理及び除去原稿特定処理を実行する。
【０１６３】
図２４（ａ）は、参照原稿画像データ（上段）と注目原稿画像データ（下段）の比較の様子を示している。
【０１６４】
図２４（ｂ）および図２４（ｃ）は、対応原稿信頼度にそれぞれの重心間の距離を用いた場合を示す。例えば、図２４（ｂ）に示すように、注目原稿画像データ２４０２の重心Ｇ１と参照原稿画像データ２４０１の重心Ｇ１’の距離を用いる。この重心間の距離の逆数をとることにより、距離が近いものほど対応原稿信頼度が高くなることになる。
【０１６５】
図２４（ｄ）および図２４（ｅ）は、対応原稿信頼度に原稿画像データの対応頂点間の距離を用いた場合を示す。例えば、図２４（ｄ）および図２４（ｅ）に示すように、注目原稿画像データ２４０２の頂点Ｖ１〜Ｖ４と、参照原稿画像データ２４０１の頂点Ｖ１’〜Ｖ４’の距離を用いる（Ｖ２とＶ２’の距離およびＶ４とＶ４’の距離図示せず）。そして、４頂点間の平均距離の逆数をとることにより、距離が近いものほど対応原稿信頼度が高くなることになる。もちろん、平均距離ではなく、最大距離・最小距離・総和距離などを用いることも可能である。
【０１６６】
なお、ここでは重心間距離と頂点間距離の２つを紹介したが、注目原稿画像データの重心と参照原稿画像データの各頂点のとの距離、最も近い頂点同士の距離などを用いても構わない。また、これらの距離を示すものを組み合わせても構わない。
【０１６７】
最後に、離れすぎた原稿画像データ同士が対応付けられてしまうことを防止するために、上述の処理によって算出された対応原稿信頼度が所定値以下となるものは不適切であるとして、対応原稿信頼度を０％にする。その後、対応原稿信頼度が最大となる原稿画像データ同士を対応付けすればよい。
【０１６８】
以上の処理により、原稿の重なり度以外に原稿間の距離を用いることで両面原稿の対応付けを行うことができるようになる。また、原稿間の距離を用いることで、裏返し操作の前後で原稿が重なっていないような場合にも対応付けできるようになるため、名刺などの小さい原稿を扱う際の利便性が向上する。
【０１６９】
［第７の実施形態］
第１〜６の実施形態では、裏返した原稿の置かれた位置が裏返し操作前の１枚の原稿に対して重なりを持つ場合について説明してきた。しかし、実際の操作では、裏返し操作により、裏返し前の複数の原稿と重なりが生じることがある。例えば、図２５（ａ）のように２枚の原稿２５０１と２５０２を読み取ったのち、図２５（ｂ）のように裏返し操作を行い、図２５（ｃ）のようにおいて裏面を読み取る。２５（ｃ）のタイミングにおける原稿２５０４が置かれている位置は、図２５（ａ）のタイミングにおける原稿２５０１の位置と２５０２の位置の両方に重なっていることになる。そこで、本実施形態では、このような複数原稿と対応付けの可能性が発生する場合にも、適切に対応付けを行う仕組みを提供する。
【０１７０】
図２５（ｄ）〜（ｉ）を参照して、本実施形態における対応原稿信頼度算出について説明する。ここでは、対応原稿信頼度には原稿画像データの重なり度合を用いて説明を行うが、他の手法により算出した対応原稿信頼度を用いてよい。
【０１７１】
図２５（ｄ）に対応原稿信頼度算出の仕方を説明する図面である。原稿裏返し操作前に抽出された２枚の参照原稿画像データ２５１１および２５１２（上段）と、原稿裏返し後に抽出された２枚の注目原稿画像データ２５１３および２５１４（下段）を示している。図２５（ｅ）および図２５（ｆ）は、注目原稿画像データ２５１３（実線）に対して参照原稿画像データ２５１１と２５１２（破線）との原稿重なり度合を算出しているところである。また、図２５（ｇ）および図２５（ｈ）は、注目原稿画像データ２５１４（実線）と参照原稿画像データ２５１１と２５１２（破線）との原稿重なり度合を算出しているところである。図２５（ｉ）はそれぞれの比較した対応原稿信頼度を一覧表としてまとめたものである。
【０１７２】
本実施形態では、有効な対応原稿信頼度が１つのみである注目原稿画像データを抽出し、その参照原稿画像データと両面対応付けを行う。ここで、有効な対応原稿信頼度は、値が所定範囲内になる対応原稿信頼度である。続いて、両面対応付けられた参照原稿画像データを除いて、同様の処理を繰り返していく。例えば図２５（ｉ）の場合、注目原稿画像データ２５１４は参照原稿画像データ２５１１に対してのみ有効な対応原稿信頼度（３４．４％）を持ち、参照原稿画像データ２５１１は注目原稿画像データ２５１４の候補対応原稿画像データとなる。そのためこの原稿画像データ同士を両面原稿として対応付けを行う。続いて、すでに対応付けされた参照原稿画像データ２５１１を除いて、残りの注目原稿画像データの両面対応付け処理を行う。すると、注目原稿画像データ２５１３は参照原稿画像データ２５１２に対してのみ有効な対応原稿信頼度（３８．５％）を持ち、参照原稿画像データ２５１１は注目原稿画像データ２５１４の候補対応原稿画像データとなる。そのため、この原稿画像データ同士を両面原稿として対応付けが行われる。
【０１７３】
以上のように、注目原稿画像データと参照原稿画像データのすべての組み合わせで対応原稿信頼度を算出し、有効な対応原稿信頼度が１つのものから順番に両面対応付けしていく。これにより、同一の原稿画像データに対して複数の原稿画像データが対応付けられてしまうことを防止することができる。
【０１７４】
（その他の実施例）
カメラスキャナ１０１は、第２〜７の実施形態のいずれかにおいて追加した処理を実行するか否かを設定する機能を備えてもよい。ユーザがカメラスキャナ１０１の操作表示部４０３などを介してそれについての事前設定を行うことができる。
【０１７５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014171023.tif 000003
【図２】
2014171023.tif 000004
【図３】
2014171023.tif 000005
【図４】
2014171023.tif 000006
【図５】
2014171023.tif 000007
【図６】
2014171023.tif 000008
【図７】
2014171023.tif 000009
【図８】
2014171023.tif 000010
【図９】
2014171023.tif 000011
【図１０】
2014171023.tif 000012
【図１１】
2014171023.tif 000013
【図１２】
2014171023.tif 000014
【図１３】
2014171023.tif 000015
【図１４】
2014171023.tif 000016
【図１５】
2014171023.tif 000017
【図１６】
2014171023.tif 000018
【図１７】
2014171023.tif 000019
【図１８】
2014171023.tif 000020
【図１９】
2014171023.tif 000021
【図２０】
2014171023.tif 000022
【図２１】
2014171023.tif 000023
【図２２】
2014171023.tif 000024
【図２３】
2014171023.tif 000025
【図２４】
2014171023.tif 000026
【図２５】
2014171023.tif 000027