(57)【要約】【課題】  本発明によれば、原稿をスキャンする際に高輝度側の信号が残るようにしたスキャン画像を生成することにより、スキャン画像から原稿の領域を検出しやすくし、さらに、該スキャン画像の輝度を調整することにより保存や送信に適した明るさで原稿の画像を保存することができる。【解決手段】  本発明に記載の画像処理装置は、原稿を読み取った際の高輝度側の信号値が残るように輝度を調整した第１の画像を生成し、当該生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する。そして、前記第１の画像に含まれる画素の輝度が高くなるように調整することにより第２の画像を生成し、前記検出された原稿領域の位置に基づいて、当該生成された第２の画像から原稿画像を切り出す。【選択図】  図７
2019213190.tif 000002
【特許請求の範囲】
【請求項１】
読取手段で原稿を読み取った際の高輝度側の信号値が残るように輝度を調整した第１の画像を生成する第１の調整手段と、
前記第１の調整手段で生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する検出手段と、
前記第１の画像に含まれる画素の輝度が高くなるように調整することにより第２の画像を生成する第２の調整手段と、
前記検出手段で検出された前記原稿に対応する領域の位置に基づいて、前記第２の調整手段で生成された第２の画像から、前記原稿に対応する原稿画像を切り出す切り出し手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第１の画像には、複数の原稿の画像が含まれ、
前記検出手段は、前記第１の画像内に含まれる前記複数の原稿それぞれに対応する領域の位置を検出し、
前記切り出し手段は、前記複数の原稿それぞれに対応する領域の位置に基づいて、前記第２の原稿から、前記複数の原稿それぞれに対応する原稿画像を切り出す、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の調整手段は、前記読取手段で原稿を読み取った際の高輝度側の所定の輝度値が第１の輝度値となるようにゲイン調整した後、更に、当該ゲイン調整後の輝度値が前記第１の輝度値より高い画素については、輝度値を前記第１の輝度値に置換する処理を行うことにより、前記第１の画像を生成する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の調整手段は、前記所定の輝度値が前記第１の輝度値になるように、各画素の輝度値を線形にゲイン調整することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記切り出し手段で切り出した原稿画像を表示する表示手段、を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記切り出し手段で切り出した原稿画像に対する文字認識処理を実行する文字認識処理手段と、
前記切り出した原稿画像と当該原稿画像の文字認識処理の結果とを関連付けて保存する保存手段と、
を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記切り出し手段で切り出した原稿画像を、指定された宛先に送信する送信手段、を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２の調整手段は、前記第１の画像に含まれる画素の輝度が高くなるようにガンマ補正処理を行うことにより前記第２の画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２の調整手段は、所定の３次元ルックアップテーブルを用いて、前記第１の画像に含まれる画素の輝度が高くなるように調整することにより前記第２の画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記原稿画像を切り出すか否かの設定をユーザから受け付ける受付手段と、
前記受付手段で前記原稿画像を切り出す設定を受付けた場合は、前記第１の調整手段と前記検出手段と前記第２の調整手段と前記切り出し手段とによる処理を行うように制御し、
前記受付手段で前記原稿画像を切り出さない設定を受け付けた場合は、前記読取手段で原稿を読み取った際の高輝度側の所定の信号値より高い信号値が白の輝度値となるように前記第１の調整手段で調整した画像を出力するように制御する制御手段と、
を有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
読取手段で原稿を読み取った際の高輝度側の信号値が残るように輝度を調整した第１の画像を生成する第１の調整手段と、
前記第１の調整手段で生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する検出手段と、
前記検出手段で検出された前記原稿に対応する領域の位置に基づいて、前記第１の調整手段で生成された第１の画像から、前記原稿に対応する第１の原稿画像を切り出す切り出し手段と、
前記切り出し手段で切り出された第１の原稿画像に含まれる画素の輝度が高くなるように調整することにより、第２の原稿画像を生成する第２の調整手段と、
を有することを特徴とする画像処理装置。
【請求項１２】
コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【請求項１３】
画像処理装置の処理手段が実行する画像処理方法であって、
読取手段で原稿を読み取った際の高輝度側の信号値が残るように輝度を調整した第１の画像を生成する第１の調整工程と、
前記第１の調整工程で生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する検出工程と、
前記第１の画像に含まれる画素の輝度が高くなるように調整することにより第２の画像を生成する第２の調整工程と、
前記検出工程で検出された前記原稿に対応する領域の位置に基づいて、前記第２の調整工程で生成された第２の画像から、前記原稿に対応する原稿画像を切り出す切り出し工程と、
を有することを特徴とする画像処理方法。
【請求項１４】
画像処理装置の処理手段が実行する画像処理方法であって、
読取手段で原稿を読み取った際の高輝度側の信号値が残るように輝度を調整した第１の画像を生成する第１の調整工程と、
前記第１の調整工程で生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する検出工程と、
前記検出工程で検出された前記原稿に対応する領域の位置に基づいて、前記第１の調整工程で生成された第１の画像から、前記原稿に対応する第１の原稿画像を切り出す切り出し工程と、
前記切り出し工程で切り出された第１の原稿画像に含まれる画素の輝度が高くなるように調整することにより、第２の原稿画像を生成する第２の調整工程と、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原稿台に載置された原稿を読み取ることで得られた画像から、当該原稿に対応する領域を切り出し可能な画像処理装置、画像処理方法、及びプログラムに関するものである。
【背景技術】
【０００２】
従来から、フラットベッドスキャナの原稿台上に、帳票文書や、非定型面積の領収書や、名刺、カードなどの原稿を複数枚並べて、まとめてスキャンし、生成されたスキャン画像から原稿ごとの画像を切り出すマルチクロップ処理が知られている。
【０００３】
マルチクロップ処理において、読み取られる帳票や領収書、名刺、カード等の原稿は白い用紙に文字や画像が印刷されたものである場合が多い。また、原稿を押さえるための原稿台カバー（圧板）は通常白色であるので、スキャン画像において原稿の無い箇所（背景）は、原稿台カバーの白色となる。したがって、スキャン画像に対してマルチクロップ処理を行う際、白色の原稿と白色の背景との輝度差が小さく、原稿の縁の検出に失敗する場合がある。そこで、原稿台をスキャンして得られたスキャン画像から白い原稿の縁を検出しやすくする方法が検討されている。たとえば、特許文献１では、原稿をスキャナの原稿台に載置した後に、その原稿を黒いシートで覆ってスキャンを実行することで、原稿以外の領域が黒くなるようにして原稿の縁を検出しやすくしている。また、特許文献２では、原稿台カバーを開いたままスキャンを実行することで、原稿が載置されていない箇所が黒く出力されるようにし、白い原稿の縁を検出しやすくしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３３８９２０号公報
【特許文献１】特開２０１７−１０３５９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法では、ユーザが原稿を原稿台に並べた後に更に黒いシートを上に重ねる必要があり、ユーザの手間がかかる。また、特許文献２に記載の方法では、原稿台カバーを開けているためスキャン実行時の照射光がユーザの目に入ってしまい、ユーザにとっては眩しく不快感が生じる。さらに、原稿台カバーを開けていると、原稿を押さえることができないため、カールしている原稿など（例えばレシート）では、原稿台から原稿の一部が浮いてしまい、スキャン画像の画質の劣化の原因にもなりうる。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、読取手段で原稿を読み取った際の高輝度側の信号値が残るように輝度を調整した第１の画像を生成する第１の調整手段と、前記第１の調整手段で生成された第１の画像内に含まれる前記原稿に対応する領域の位置を検出する検出手段と、前記第１の画像に含まれる画素の輝度が高くなるように調整することにより第２の画像を生成する第２の調整手段と、前記検出手段で検出された前記原稿に対応する領域の位置に基づいて、前記第２の調整手段で生成された第２の画像から、前記原稿に対応する原稿画像を切り出す切り出し手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、マルチクロップ処理を行う場合は、原稿をスキャンする際に高輝度側の信号が残るようにしたスキャン画像を生成することにより、スキャン画像から原稿の領域を検出しやすくし、さらに、該スキャン画像の輝度を調整することにより保存や送信に適した明るさで原稿の画像を保存することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施例に関する適用可能なシステムの全体構成を示す図である。
【図２】本発明の第１の実施例に関する画像読取装置のハードウェア構成例を示す図である。
【図３】本発明の第１の実施例に関する画像処理機能全体のシーケンスを示す図である。
【図４】本発明の第１の実施例に関するＵＩ表示を示す図である。
【図５】本発明の第１の実施例に関するサンプル画像など説明を行うための図である。
【図６】本発明の第１の実施例に関するゲイン調整による正規化処理のフローチャートを示す図である。
【図７】本発明の第１の実施例に関するゲイン調整による正規化処理を説明する図である。
【図８】本発明の第１の実施例に関する画像処理機能全体のフローチャートを示す図である。
【図９】本発明の第１の実施例に関するマルチクロップ座標検出処理のフローチャートを示す図である。
【図１０】本発明の第１の実施例に関するマルチクロップ座標検出処理のサンプル画像など説明を行うための図である。
【図１１】本発明の第１の実施例に関する輝度調整処理のフローチャートを示す図である。
【図１２】本発明の第１の実施例に関する輝度調整処理を説明する図である。
【図１３】本発明の第１の実施例に関する輝度調整処理を説明する図である。
【図１４】本発明の第１の実施例に関する画像クロッピング処理のフローチャートを示す図である。
【図１５】本発明の第１の実施例に関する画像クロッピング処理のサンプル画像など説明を行うための図である。
【図１６】本発明の第２の実施例に関する画像処理機能全体のフローチャートを示す図である。
【図１７】本発明の第２の実施例に関する画像処理機能の設定値を示すテーブルの一例を示す図である。
【図１８】本発明の第３の実施例に関する画像処理機能全体のシーケンスを示す図である。
【図１９】輝度調整処理の２つ目の手法を説明するフローチャートを示す図である。
【図２０】３次元ＬＵＴの構成の概念図である。
【図２１】３次元ＬＵＴと入力画素信号Ｐとの関係を示す図である。
【図２２】３次元ＬＵＴを用いた処理の流れを示す図である。
【図２３】輝度調整処理の具体例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を用いて本発明に係る実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。
【００１０】
（実施例１）
＜システム構成＞
図１は本実施例を適用可能なシステムの全体構成を示す図である。
【００１１】
図１に示すように、画像処理装置１００、ＰＣ／サーバー端末１０１はイーサネット（登録商標）や無線ＬＡＮなどからなるＬＡＮ１０４に接続され、Ｉｎｔｅｒｎｅｔ１０５に接続されている。また、モバイル端末１０３は公衆無線通信網１０２などからＩｎｔｅｒｎｅｔ１０５に接続されている。画像処理装置１００、ＰＣ／サーバー端末１０１及び、モバイル端末１０３はＬＡＮ１０４又は、公衆無線通信網１０２からＩｎｔｅｒｎｅｔ１０５に接続され、相互に通信可能となっている。なお、ＰＣ／サーバー端末１０１とモバイル端末１０３に関しては、どちらか一方がある構成でも良いし、画像処理装置１００のみがＰＣ／サーバー端末１０１やモバイル端末１０３などが実施する処理を行っても良い。
【００１２】
画像処理装置１００は操作部、スキャナ部及び、プリンタ部を有する複合機である。本実施例のシステムで、画像処理装置１００は、１枚または複数枚の名刺や免許証、ハガキなど原稿を読み取るスキャン端末として利用される。また、画像処理装置１００は、原稿を読み取って得られたスキャン画像から、原稿ごとの原稿画像を抽出するマルチクロップ処理を実施する。さらに、画像処理装置１００は、表示部や、タッチパネルやハードボタンなどの操作部を有し、エラー通知や指示通知などの表示や、スキャン操作や設定操作などの操作を行う。
【００１３】
ＰＣ／サーバー端末１０１は、画像処理装置１００で生成した画像を表示する。また、ＰＣ／サーバー端末１０１は、画像処理装置１００が生成した画像の保存や、ＯＣＲ（ｏｐｔｉｃａｌ  ｃｈａｒａｃｔｅｒ  ｒｅｃｏｇｎｉｔｉｏｎ）処理などを実施し、再利用可能なメタデータを生成する。なお、画像処理装置１００が実施するマルチクロップ処理をＰＣ／サーバー端末１０１で実施しても良い。更に、ＰＣ／サーバー端末１０１は、クラウドやサーバーなどの外部ストレージとの通信も可能で、保存した画像やメタデータを外部ストレージへ送信することができる。なお、本実施例では、ＰＣ／サーバー端末１０１で画像の保存、メタデータ生成及び、外部ストレージへの送信を行うフローを説明するが、画像処理装置１００に同機能を備えてもよい。このようにすることでこれらのフローを画像処理装置１００単体でも行うことができる。
【００１４】
また、モバイル端末１０３は、操作部、無線通信部、ウェブブラウザを動作させるアプリ部を有するスマートフォンやタブレット端末である。本実施例のシステムで、モバイル端末１０３は、ＰＣ／サーバー端末１０１と同様に表示端末、操作端末及び、メタデータ生成・保存端末として利用される。なお、ＰＣ／サーバー端末１０１とモバイル端末１０３は、表示、操作及び、メタデータ生成・保存の機能など、どちらか一方の構成でもかまわない。
【００１５】
以上の構成要素はあくまで例示であり、すべての構成が必要というものではない。例えば画像処理装置１００が、原稿を読み込むスキャン機能や表示・操作機能に加え、画像の保存機能、メタデータ生成機能、メタデータの保存機能、外部ストレージへの送信機能を有してもよい。上記構成を画像処理装置１００が有する場合には、以下の処理を画像処理装置１００が実行するとしてもよい。
【００１６】
＜画像処理装置１００のハードウェア構成＞
図２は、画像処理装置１００の構成を示すブロック図である。制御部１１０は、ＣＰＵ１１１、記憶装置１１２、ネットワークＩ／Ｆ部１１３、スキャナＩ／Ｆ部１１４、表示・操作部Ｉ／Ｆ部１１５で構成され、これらはシステムバス１１６を介して互いに通信可能に接続されている。制御部１１０は、画像処理装置１００全体の動作を制御する。
【００１７】
ＣＰＵ１１１は、記憶装置１１２に記憶された制御プログラムを読み出して読取制御や送信制御などの各種制御を行う。
【００１８】
記憶装置１１２は、上記プログラム、画像、メタデータ、設定データ及び、処理結果データなどを格納し保持する。記憶装置１１２は、不揮発性メモリであるＲＯＭ１１７、揮発性メモリであるＲＡＭ１１８及び、大容量記憶領域であるＨＤＤ１１９などで構成される。
【００１９】
ＲＯＭ１１７は、制御プログラムなどを保持する。ＣＰＵ１１１はＲＯＭ１１７に記憶された制御プログラムを読み出し、画像処理装置１００を制御する。
【００２０】
ＲＡＭ１１８は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。
【００２１】
ＨＤＤ１１９は、大容量記憶領域であるＨＤＤで、画像、メタデータなどを保存する記憶領域として用いられる。
【００２２】
ネットワークＩ／Ｆ部１１３は、制御部１１０（画像処理装置１００）をＬＡＮ１０４に接続するインタフェースである。ネットワークＩ／Ｆ部１１３は、ＰＣ／サーバー端末１０１やモバイル端末１０３等のＬＡＮ１０４上の外部装置に画像を送信したり、ＬＡＮ１０４上の外部装置から各種情報を受信したりする。
【００２３】
スキャナＩ／Ｆ部１１４は、スキャナ部１２０と制御部１１０を接続するインタフェースである。スキャナ部１２０は、原稿上の画像を読み取って画像を生成し、スキャナＩ／Ｆ部１１４を介して制御部１１０に入力する。
【００２４】
表示・操作部Ｉ／Ｆ部１１５は、表示・操作部１２１と制御部１１０とを接続するインタフェースである。表示・操作部１２１には、タッチパネル機能を有する液晶表示部やテンキー、スタートボタン、キャンセルボタン等のハードキーが備えられている。スタートボタンは、コピーやスキャンの処理を開始させるためのボタンである。キャンセルボタンは画像処理装置１００が実行中の処理を一時停止、または中止するためのボタンである。
【００２５】
その他、画像処理装置１００にはプリンタ部等もあるものがあるが、本実施例では用いないため省略する。
【００２６】
以上のように、本実施例に係る画像処理装置１００では、上記のハードウェア構成によって、画像処理機能を提供することが可能である。
【００２７】
＜「スキャンして送信」機能の実行フロー＞
図３を用いて、ユーザが「スキャンして送信」機能を用いてマルチクロップ処理を実行するためのシーケンスを説明する。本実施例で説明する処理は、画像処理装置１００が有しているＣＰＵ１１１が記憶装置１１２に記憶された制御プログラムを読み出して制御プログラムを実行することにより実現される。
【００２８】
「スキャンして送信」機能とは、ＬＡＮ等ネットワークに接続された画像処理装置で原稿をスキャンし、得られた画像を外部装置に送信する機能である。具体的には、スキャナで読み取って生成した画像に対し、画像処理やフォーマット変換を実行し、ユーザの指定したサーバーのフォルダや、電子メール、複写機内のＨＤＤに送信する機能である。
【００２９】
機能使用指示Ｓ４００において、ユーザは表示・操作部１２１を操作して、メインメニューの中から「スキャンして送信」機能を選択する。画像処理装置１００は、表示・操作部１２１を介して「スキャンして送信」機能の選択を受け付ける。図４（ａ）は表示・操作部１２１に表示されるメインメニューＵＩ５００である。メインメニューＵＩ５００は、画像処理装置１００で実施可能な機能がボタンとして表示される画面である。例えば、「コピー」機能ボタン５０１、「スキャンして送信」機能ボタン５０２、「スキャンして保存」機能ボタン５０３、「保存ファイルの利用」機能ボタン５０４、「プリント」機能ボタン５０５などが表示される。画像処理装置１００はメインメニューＵＩ５００を介して、ユーザから、所望の機能の選択を受け付ける。本実施例では、ユーザが「スキャンして送信」機能ボタン５０２をタップ操作して選択したとする。
【００３０】
Ｓ４０１において、画像処理装置１００の表示・操作部１２１は、ユーザにより指定された機能の設定画面（すなわち、「スキャンして送信」機能が指定された場合は、「スキャンして送信」機能の設定画面）を表示する。図４（ｂ）は表示・操作部１２１に表示される設定画面である「スキャンして送信」設定ＵＩ５１０の一例である。「スキャンして送信」設定ＵＩ５１０は「スキャンして送信」機能で使用される各種設定の状態を示している。例えば、「送信先」５１１は、生成した画像を送信する送信先のアドレスを表示する。ユーザが「送信先」５１１をタップ操作すると不図示の送信先設定画面が表示され、ユーザは画像の送信先を入力することができる。本実施例では、マルチクロップ処理を行った画像をＰＣ／サーバー端末１０１に送信する。すなわち、「送信先」５１１には、ＰＣ／サーバー端末１０１のＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）やＩＰアドレスや電子メールアドレス等が設定される。「スキャン／送信設定」５１２は、生成される画像のカラー設定や生成する画像ファイルのフォーマット、原稿の種類の状態を表示する。また、「その他の機能」５１３は「スキャンして送信」設定ＵＩ５１０に表示されていない応用機能を設定するためのボタンである。
【００３１】
Ｓ４０２において、画像処理装置１００はユーザから、「スキャンして送信」設定ＵＩ５１０で設定することのできる基本的な設定項目に関する設定指示を受け付ける。Ｓ４０２で受け付けられる設定とは、例えば、生成する画像のカラー設定や生成する画像ファイルのフォーマット選択などである。画像処理装置１００は、「送信先」５１１、「スキャン／送信設定」５１２のいずれかのタップ操作を受け付けて、それぞれに対応する設定項目の入力を受け付ける。
【００３２】
Ｓ４０３において、画像形成装置１００は、Ｓ４０２でユーザが指示した基本設定に関する設定値を画像処理装置１００のＲＡＭ１１８に記憶する。
【００３３】
次に、Ｓ４０４において、ユーザが「その他の機能」５１３をタップ操作で選択したものとする。
【００３４】
Ｓ４０５において、画像処理装置１００は、設定ＵＩ５１０にてユーザによる「その他の機能」５１３の選択を受け付けて、応用機能の設定を行うための画面を表示・操作部１２１に表示する。図４（ｃ）は応用機能を設定するための「その他の機能」設定ＵＩ５２０の一例である。「その他の機能」設定ＵＩ５２０は、画像処理装置１００が実行可能な「スキャンして送信」機能の各種応用機能を設定するためのボタンを表示する。「その他の機能」設定ＵＩ５２０は、例えば、「ページ集約」ボタン５２１や「カラータイプ」ボタン５２２、「原稿の種類」ボタン５２３、「カラーの調整」ボタン５２４、「ファイル名設定」ボタン５２５、「マルチクロップ」ボタン５２６などを表示する。「マルチクロップ」ボタン５２６は、複数枚の原稿を原稿台上に並べて配置した状態でスキャンすることにより生成された画像から、各原稿に対応する原稿画像を抽出する処理の実行を指示するためのボタンである。本実施例では、「その他の機能」設定ＵＩ５２０は、設定ＵＩ５１０で設定可能な設定項目と重複する設定項目も表示するものとする。なお、「その他の機能」設定ＵＩ５２０は、設定ＵＩ５１０で設定可能な設定項目以外の設定項目を表示するように構成してもよい。
【００３５】
Ｓ４０６において、ユーザが、「その他の機能」設定ＵＩ５２０内の「マルチクロップ」ボタン５２６をタップ操作して選択したものとする。
【００３６】
ユーザが「マルチクロップ」ボタン５２６を選択すると、Ｓ４０７において、画像処理装置１００はマルチクロップ処理を実行することを示すマルチクロップ処理フラグをＯＮに設定する。マルチクロップ処理フラグはＲＡＭ１１８に記憶される。また、Ｓ４０７において、画像処理装置１００は、表示・操作部１２１に図４（ｄ）に示すマルチクロップの選択がされたことを示す画面５２０を表示する。ユーザが「マルチクロップ」ボタン５２６を選択すると、「その他の機能」設定ＵＩ５２０の「マルチクロップ」ボタン５２６の色が反転し、マルチクロップ処理がオンに設定されていることを示す画面が表示される。本実施例ではマルチクロップ処理がオンに設定されている場合の処理を説明する。「その他の機能」設定ＵＩ５２０において、ユーザが「閉じる」ボタン５２７をタップ操作して選択すると、表示・操作部１２１は図４（ｂ）の「スキャンして送信」設定ＵＩ５１０を表示する。
【００３７】
Ｓ４０８において、ユーザが、「スキャンして送信」機能の実行を指示するために、スタートキー５０６を押下したものとする。スタートキー５０６の押下により、画像処理装置１００は、原稿の読み取り開始が指示されたものと判断する。スタートキー５０６の押下を受け付けたことに従って、画像処理装置１００は、原稿をスキャンするための各種設定をＲＡＭ１１８に設定し、原稿の読み取り処理の準備を開始する。
【００３８】
まず、Ｓ４０９において、画像処理装置１００は、輝度ゲイン調整に用いられるパラメータをＲＡＭ１１８に設定する。輝度ゲイン調整とは、スキャナ部１２０が原稿を読み取って得られた画像の輝度を調整する処理である。Ｓ４０７でマルチクロップ処理フラグがＯＮに設定されている場合、画像処理装置１００は、マルチクロップ処理がオフに設定されているときと異なるパラメータをＲＡＭ１１８に設定する。
【００３９】
Ｓ４１０において、画像処理装置１００は、スキャナ部１２０に対し、スキャナを駆動させ、原稿台に置かれた原稿を読み取る。
【００４０】
Ｓ４１１において、画像処理装置１００は、Ｓ４１０で読み取った画像を画像処理で扱えるビットマップ形式の画像へ変換する。例えば、Ｓ４１１において、画像処理装置１００はスキャナ部１２０から入力された輝度信号値を、８ビットのデジタル信号に変換する。さらに、画像処理装置１００は、変換後の輝度信号値に対し、シェーディング補正を行う。シェーディング補正とは、入力された輝度信号値に対して、スキャナ部１２０の照明系、結像系、撮像系等で発生する様々な歪みを取り除く補正処理である。その後さらに、画像処理装置１００は、シェーディング補正を行った輝度信号値に対して、Ｓ４０９で設定した設定値を用いて輝度ゲイン調整を行う。マルチクロップ処理を実行する場合の輝度ゲイン調整では、マルチクロップ処理を実行しない場合の通常のスキャン画像よりも、高輝度側の信号値の情報が保持された画像が生成される。通常のスキャン画像では、シェーディング補正後の輝度信号値が所定の基準値よりも高い場合は白（すなわち輝度値２５５）として扱うようにすることで、白の輝度ムラが出ないようにしているが、マルチクロップ処理を実行する場合は、高輝度側の輝度信号値が異なる値として出力されるように輝度ゲイン調整を行う。画像処理装置１００は、さらに、カラーバランスの調整、下地濃度の除去、シャープネス処理、及びコントラストの調整等の画質調整処理を行ない、ＨＤＤ１１９にデータとして格納を行う。
【００４１】
図５（ａ）は、複数枚の原稿が原稿台に載置された状態を示す模式図である。ここでは、Ａ３面積の領域を読み取ることが可能なスキャナ部１２０に３枚の原稿が配置されているとする。載置する原稿として、例えば、定形面積の原稿（例えば、Ａ４の納品書）や複数枚の非定形面積の原稿（例えば、領収書）などの原稿が原稿台上に並べて載置されている。原稿台に載置される原稿の種類、枚数、配置はこれに限らない。
【００４２】
図５（ｂ）は、マルチクロップ処理をオフに設定し、画像処理装置１００が画像形成時の輝度ゲイン調整パラメータを標準値で処理した場合に生成する画像である。図６（ａ）はマルチクロップ処理がオフに設定されているときの輝度ゲイン調整の模式図である。マルチクロップ処理がオフに設定されている場合、シェーディング補正後の輝度値が白色基準値（２５５）よりも高い領域は、全て白色基準値（２５５）として出力する。そのため、図５（ｂ）に示すように、原稿の白色部分や原稿台カバーの白色部分は同じ輝度の白色として出力される。この場合、原稿Ａおよび原稿Ｃの下地は白であるので、原稿の下地の白色と原稿台カバーの白色部分との差異がなくなっているので、原稿端の境界を検出することは困難である。
【００４３】
図５（ｃ）は、マルチクロップ処理をオンに設定し、画像処理装置１００が画像形成時の輝度ゲイン調整パラメータを標準値と異なる値に設定して、高輝度側の信号値が保持されるようにした状態で処理した場合の画像の例である。図６（ｂ）は、マルチクロップ処理がオンに設定されているときの輝度ゲイン調整の模式図である。マルチクロップ処理がオンに設定されている場合、シェーディング補正後の輝度値に対して所定のゲイン調整パラメータを掛けて、出力を行う。例えば、図６（ｂ）において、画像処理装置１００は、シェーディング補正後の信号が２６０の白色に対して、輝度ゲイン調整パラメータを掛けて、輝度値２５０として出力を行う。図６（ｂ）に示す通り、マルチクロップ処理がオンに設定されている場合、マルチクロップ処理がオフに設定されたときの画像に比べ、高輝度側の信号値が輝度ゲイン調整パラメータによって低い輝度値に変換される。そのため、マルチクロップ処理がオンに設定されている場合、マルチクロップ処理がオフに設定されているときよりも画像全体が暗く出力されるが、原稿の白色と原稿台カバーの白色とが異なる輝度値として出力されやすくなり、原稿端の境界を検出しやすくなる。
【００４４】
Ｓ４１２において、画像処理装置１００は、Ｓ４１１でＨＤＤ１１９内に格納した輝度ゲイン調整後の画像を取得する。画像処理装置１００のＣＰＵ１１１は、取得した画像内に含まれる各原稿のエッジに基づいて４頂点座標を検出し、検出した各原稿の４頂点座標値を出力し、ＲＡＭ１１８に記憶する。Ｓ４１２で実行されるマルチクロップ座標検出処理については、後述で詳細を説明する。
【００４５】
Ｓ４１３において、画像処理装置１００は、Ｓ４１１で生成された画像の輝度を、送信用画像に適した輝度値になるように調整する画像輝度調整処理を行う。Ｓ４１１において生成された画像は、図５（ｃ）に示したようにマルチクロップ座標検出の精度を上げるため全体的に暗い画像となっている。画像処理装置１００は、マルチクロップ用の設定値で輝度ゲイン調整を行った画像の輝度を、図５（ｂ）に示すように標準値で輝度ゲイン調整した画像と同等程度の輝度へデジタル変換し、ＨＤＤ１１９に保存する。画像輝度調整処理の詳細については、後述する。すなわち、Ｓ４１３でマルチクロップ用の画像の輝度を全体的にあげる処理を行うことで、通常の設定でスキャンした際の明るさと同程度の明るさの画像に変換して、送信用画像として使用することができる。
【００４６】
Ｓ４１４において、画像処理装置１００は、Ｓ４１３でデジタル変換処理されＨＤＤ１１９に格納されている画像データから、各原稿に対応する領域の部分画像を抽出する画像クロッピング処理を実行する。画像処理装置１００は、Ｓ４１２で検出した各原稿の４頂点座標値に基づいて、Ｓ４１３で変換された画像から、各原稿に対応する領域の部分画像を切り出し、傾き補正等のアフィン変換を行って矩形の原稿画像を得る。画像処理装置１００は、切り出し後の各原稿の原稿画像を圧縮し画像圧縮後にＨＤＤ１１９に格納する。
【００４７】
Ｓ４１５において、画像処理装置１００はマルチクロップ処理後の各原稿の画像を、表示・操作部１２１のマルチクロップ処理結果ＵＩ画面に表示する。図４（ｅ）は表示・操作部１２１に表示されるマルチクロップの処理結果を示す画面の一例である。「原稿検出結果」ＵＩ５３０は、マルチクロップ処理によって切り出された画像を並べた画面である。
【００４８】
Ｓ４１６において、ユーザは、表示・操作部１２１に表示された画像の切り出し結果を確認した後、当該表示された各原稿画像の保存・送信指示をする。すなわち、ユーザによりスタートキー５０６が押下されると、画像処理装置１００は、当該表示されている各原稿画像の保存・送信指示が為されたと判断する。
【００４９】
Ｓ４１７において、画像処理装置１００は、クロップ処理後の各原稿画像を、図４（ｂ）の送信先５１１で設定された送信先であるＰＣ／サーバー端末１０１に対して、送信する。なお、ＰＣ／サーバー端末１０１に送信される画像ファイルは、「スキャンして送信」設定ＵＩ５１０や「その他の機能」設定ＵＩ５２０で設定されたフォーマットやファイル名のファイルにして送信される。
【００５０】
Ｓ４１８において、ＰＣ／サーバー端末１０１は、画像処理装置１００から送信されたマルチクロップ後の各原稿の画像ファイルを保存する。ここで、ＰＣ／サーバー端末１０１は受信した画像ファイルを保存するだけでも良いが、例えば、画像ファイルに対してＯＣＲ処理等の文字認識処理を行い、処理結果を付加してから保存するようにしてもよい。このようにすることで、画像の検索性が向上させたり、画像から抽出された情報をシステムに登録したりすることができる。
【００５１】
Ｓ４１９において、ユーザが、ＰＣ／サーバー端末１０１に対して原稿画像の表示を指示した場合、４２０において、ＰＣ／サーバー端末１０１は、ユーザから表示が指示された原稿画像の表示処理を行う。ＰＣ／サーバー端末１０１に記憶された画像に対してＯＣＲ処理等の処理がされている場合、ＰＣ／サーバー端末１０１はＳ４２０においてＯＣＲ処理の結果等を表示することも可能である。なお、ここでは、ユーザがＰＣ／サーバー端末１０１を直接操作して閲覧指示を行い、ＰＣ／サーバー端末１０１の表示部に保存された画像を表示するものとして説明したが、これに限るものではない。例えば、ユーザが携帯端末１０３等を操作して、ＰＣ／サーバー端末１０１に閲覧リクエストを送信した場合は、ＰＣ／サーバー端末１０１から携帯端末１０３に画像が送信されて表示されるようにしてもよい。
【００５２】
＜「スキャンして送信」機能のソフトウェア構成＞
図７は、「スキャンして送信」機能においてマルチクロップ処理がオンに設定された場合の、画像処理装置１００の処理を示すフローチャートである。以下の処理は、ＣＰＵ１１１がＲＯＭ１１７、ＨＤＤ１１９等に記憶された制御プログラムを実行することにより実現される。
【００５３】
図７に記載の処理は、マルチクロップ処理がオンに設定された状態で、スタートキーが押下されたことに従って実行される。
【００５４】
ＣＰＵ１１１は、輝度ゲイン調整を実行するためのパラメータをＲＯＭ１１７から読み出してＲＡＭ１１８に格納する（Ｓ６００）。マルチクロップ処理がオンに設定されたときの輝度ゲイン処理に用いられるパラメータは予めＲＯＭ１１７に記憶されている。
【００５５】
ＣＰＵ１１１は、スキャナＩ／Ｆ１１４を介してスキャナ部１２０を制御し、原稿をスキャンする（Ｓ６０１）。
【００５６】
ＣＰＵ１１１は、Ｓ６０１で原稿をスキャンして得られた画像に対してＳ６００で取得したパラメータを用いて輝度ゲイン調整を実行する（Ｓ６０２）。Ｓ６０２で実行される輝度ゲイン調整の詳細は後述する。Ｓ６０２において、ＣＰＵ１１１は、輝度ゲイン調整の前にシェーディング補正を行い、画像の輝度を所定の白基準に基づいて正規化する。また、輝度ゲイン調整後には、ＣＰＵ１１１は画像の輝度をｓＲＧＢ等の規格化されたＲＧＢ信号への変換を行う。その際には、３次元ＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）や１次元ＬＵＴを利用した変換処理が行われる。Ｓ６０２の処理を実行した後、図５（ｃ）に示す輝度ゲイン調整された画像（マルチクロップ処理に適した画像）がＲＡＭ１１８に記憶される。
【００５７】
ＣＰＵ１１１は、Ｓ６０２において輝度ゲイン調整された画像に対してクロップする座標を検出する（Ｓ６０３）。ＣＰＵ１１１は輝度ゲイン調整後の画像を入力画像とし、原稿のエッジの直線を検出して、エッジの直線で囲まれる原稿の矩形に基づいて各原稿の４頂点座標を検出する。Ｓ６０３において、ＣＰＵ１１１が実行する処理については、図９を用いて後述する。画像処理装置は、Ｓ６０３において検出された座標に基づいて、画像内の原稿に対応する領域を特定する。
【００５８】
ＣＰＵ１１１は、Ｓ６０２で輝度ゲイン調整がなされた画像（マルチクロップ処理に適した画像）の輝度を再度調整することにより、送信に適した輝度の画像を生成する（Ｓ６０４）。Ｓ６０４において、ＣＰＵ１１１は輝度ゲイン調整済みの画像を全体的に明るくなるように処理する。Ｓ６０４に記載の処理を実行することで、ＣＰＵ１１１は図５（ｄ）に記載の画像を生成し、ＲＡＭ１１８に記憶する。Ｓ６０４において実行される詳細は、図１１を用いて後述する。
【００５９】
ＣＰＵ１１１は、Ｓ６０３において検出された座標と、Ｓ６０４において輝度が調整された画像を用いて画像の切り出しを行う（Ｓ６０５）。Ｓ６０５において、ＣＰＵ１１１はＳ６０３で特定された各原稿の４頂点に基づいて、輝度が調整された画像から、各原稿の領域に対応する部分画像を切り出す。そして、ＣＰＵ１１１は切り出し後の画像をＲＡＭ１１８に記憶する。Ｓ６０５における詳細は図１４を用いて後述する。
【００６０】
ＣＰＵ１１１は、図４（ｅ）で示したように、切り出し後の画像を表示・操作部１２１に表示する（Ｓ６０６）。
【００６１】
ＣＰＵ１１１は、ユーザから送信指示を受け付けたか否かを判定する（Ｓ６０７）。ユーザからの送信指示は、ユーザがスタートキー５０６を押下したことによって受け付けられる。ユーザから送信指示を受付けられていない場合、ＣＰＵ１１１はＳ６０７の処理を引き続き実行する。ＣＰＵ１１１は、送信指示を受付けた場合に処理をＳ６０８に進める。
【００６２】
ＣＰＵ１１１は、切り出し後の画像をＰＣ／サーバー端末１０１に送信する（Ｓ６０８）。ＣＰＵ１１１は、切り出した画像をユーザにより指定された送信先に送信する。本実施例では、外部のＰＣ／サーバー端末１０１に画像を送信するとするが、画像処理装置１００の記憶装置１１２に切り出し後の画像が記憶されてもよい。切り出し後の画像を記憶装置１１２に記憶する場合、ユーザは切り出し後の画像の送信先として、記憶装置１１２の記憶先のフォルダアドレス等を指定する。
【００６３】
なお、図７のＳ６０７において、ユーザからの送信指示を待つとして説明した。Ｓ６０７において、送信指示のほかにスキャン・原稿検出のリトライ指示をユーザから受け付けるとしてもよい。たとえば、図４（ｅ）に示す「原稿検出結果」表示ＵＩ５３０において、画像処理装置１００は不図示のリトライボタンを表示する。ユーザがリトライボタンをタップ操作した場合、画像処理装置１００は処理をＳ６００に戻す。このようにすることで、切り出し結果がユーザの期待するものと違うものであった場合にすぐにスキャンのやり直しをすることができる。Ｓ６００においてＣＰＵ１１１が輝度ゲイン調整パラメータは常に同じ値であってもよいが、リトライ回数に応じて輝度ゲイン調整パラメータの値を大きくするなど、輝度ゲイン調整パラメータの値を変えてスキャンをするとしてもよい。また、図７のＳ６０７において、表示されている原稿画像の１つがユーザにより選択され、かつ、原稿切り出し位置の修正指示が為された場合は、その原稿画像を切り出す前の画像を表示して（その原稿画像の周辺を拡大表示するようにしてもよい）、ユーザが手動で切り出し位置の修正を行えるようにしてもよい。
【００６４】
＜輝度ゲイン調整処理＞
次に、図７のＳ６０２において実行される輝度ゲイン調整の処理の詳細について説明する。
【００６５】
図８は、Ｓ６０２に記載の輝度ゲイン調整においてＣＰＵ１１１が実行する処理を示すフローチャートである。図８に記載の処理を実行するためのプログラムはＲＯＭ１１７、ＨＤＤ１１９等の記憶装置に記憶されている。ＣＰＵ１１１がＲＯＭ１１７またはＨＤＤ１１９に記憶されているプログラムを実行することで処理が実現される。輝度ゲイン調整処理は使用されるパラメータの値は異なるが、マルチクロップ処理がオンの場合も、オフの場合も実行される処理である。
【００６６】
ＣＰＵ１１１は、輝度ゲイン調整に用いるパラメータをＲＯＭ１１７から読み出してＲＡＭ１１８に設定する（Ｓ１０００）。マルチクロップ処理がオンに設定されているときに用いられるパラメータは、マルチクロップ処理がオフに設定されているときに用いられるパラメータよりも大きな値である。たとえば、本実施例では、マルチクロップ処理がオフに設定されてるときの輝度ゲイン調整パラメータを２５５、マルチクロップ処理がオンに設定されているときの輝度ゲイン調整パラメータを２６５とする。輝度ゲイン調整に用いられるパラメータは、予めＲＯＭ１１７に記憶されており、当該パラメータは画像処理装置１００の工場出荷時に設定される値である。なお、輝度ゲイン調整に用いられるパラメータは、出荷後、サービスマン等により再度設定されるとしてもよい。
【００６７】
ＣＰＵ１１１は、Ｓ１０００でＲＡＭ１１８に記憶された輝度ゲイン調整パラメータを用いて、スキャンして得られた画像の白色基準に基づいて正規化された後の輝度を調整する（Ｓ１００１）。Ｓ１００１において、ＣＰＵ１１１は以下の式１を用いて輝度ゲイン調整を実行する。以下の式１において、ｄはスキャナのＣＣＤセンサから出力されるＲＧＢ信号の信号値を示し、白色基準に基づいて正規化された後の信号値に変換されることを示している。ここで、白色基準とは、通常時に、どのレベルの白の信号値を、出力画像における輝度値２５５にするべきかという基準である。マルチクロップ処理がオフ時に輝度ゲイン調整後の輝度値が２５５となる信号値は、マルチクロップ処理がオン時の輝度ゲイン調整においては、２５５より暗い輝度値となるように調整されることとなる。ｄ’は輝度ゲイン調整後の信号値を示している。このように、Ｓ１００１の画像の輝度を調整する処理では、画像の各画素の輝度が線形に変換される。なお、本実施例において、マルチクロップ処理がオフに設定されているときの輝度ゲイン調整パラメータは２５５であり、実質的にはスルー相当の処理となる。これは、既に白色基準に基づいて正規化されている信号であるためである。ただし、必要に応じて、輝度ゲイン調整パラメータを変更してもよい。
【００６８】
【数１】
2019213190.tif 000003
【００６９】
ここで、図６の模式図を用いてＳ１００１における処理を説明する。図６（ａ）はマルチクロップ処理がオフに設定されている場合を示しており、図６（ｂ）はマルチクロップ処理がオンに設定されている場合を示している。ＣＰＵ１１１はＣＣＤセンサの出力を取得し、白色基準が２５５になるように正規化したあと（シェーディング補正後信号）に、式１を用いて調整後の信号値を算出する。たとえば、マルチクロップがオフに設定されている場合は、シェーディング補正後の信号値が２６０の場合、輝度ゲイン調整後の信号値は２６０になる。一方で、マルチクロップ処理がオンに設定されている場合、シェーディング補正後の信号値が２６０の場合、輝度ゲイン調整後の信号値は２５０．２になる。このように、マルチクロップ処理がオンに設定されている場合、輝度ゲイン調整後の信号値はマルチクロップがオフに設定されている場合よりも低くなり、画像全体が通常よりも暗い画像が生成される。
【００７０】
ＣＰＵ１１１は、輝度ゲイン調整後の信号値に対して、端数処理を実行する（Ｓ１００２）。Ｓ１００２においてＣＰＵ１１１は、輝度ゲイン調整後の信号値が２５５以上の領域の信号値をすべて２５５に置換する。たとえば、マルチクロップがオンに設定されている場合に、シェーディング補正後信号の値が２７５であった場合、輝度ゲイン調整後の信号値は２６５となる。ＣＰＵ１１１はＳ１００２において当該領域の信号値を端数処理し、２６５から２５５に変更する。このようにＣＰＵ１１１は、画像中のある輝度よりも明るい箇所を、所定の輝度で置換して出力する。また、Ｓ１００２においてＣＰＵ１１１は、小数点以下の値については、四捨五入を行う。
【００７１】
ここで、再度、図６（ａ）（ｂ）を参照し、Ｓ１００２において実行される端数処理を説明する。ここで、輝度値に言及する際の、（）内の数字は、輝度ゲイン調整後の信号値である。ＣＰＵ１１１は、輝度ゲイン調整後の輝度値が２５５を超える箇所について、出力信号を２５５に置換する。たとえば、図６（ａ）では、輝度ゲイン調整後の原稿台カバーの白色（２６０）や原稿の白色（２６５）は、２５５に置換される。図６（ｂ）では、輝度ゲイン調整後の原稿の白色（２５５）はそのまま２５５で出力され、第２の原稿の白色（２６５）は２５５に置換される。
【００７２】
マルチクロップ処理がオフに設定されているときには、原稿台カバーの白色（２６０）と原稿の白色（２６５）はいずれも２５５に置換される。一方で、マルチクロップ処理がオンに設定されているときには、原稿台カバーの白色２６０と原稿の白色２６５は、輝度ゲイン調整によりそれぞれ（２５０．２）と（２５５）に変換されるため、端数処理後の輝度値にも差がでる。これにより、通常のスキャンでは検出することのできない原稿のエッジを検出できるようになる。本実施例では、マルチクロップ処理がＯＮに設定されている場合の輝度ゲイン調整パラメータを２６５としたが、より暗い値としても構わない。
【００７３】
＜マルチクロップ座標検出処理の方法＞
次に、図９を用いて、図７のＳ６０３において実行される輝度原調整後の画像から各原稿の４頂点座標を検出する処理を説明する。図９に記載の処理を実行するためのプログラムはＲＯＭ１１７またはＨＤＤ１１９に記憶されている。ＣＰＵ１１１が当該プログラムを読み出して実行することにより処理が実現される。
【００７４】
なお、マルチクロップを行うための座標検出処理には様々な方法があるが、ここでは代表的な手法である輪郭検出し、検出した輪郭を元に４頂からなる矩形を検出する方法を説明する。他の方法を用いて原稿の輪郭を抽出し切り出す領域を決定するとしてもよい。
【００７５】
ＣＰＵ１１１は、ＨＤＤ１１９に記憶された輝度ゲイン調整後の画像をＲＡＭ１１８に展開する（Ｓ７００）。ＣＰＵ１１１は、ＨＤＤ１１９にＪＰＥＧ等で画像圧縮され、保存されている輝度ゲイン調整後の画像を、ＲＡＭ１１８に展開する。Ｓ７００では、図５（ｃ）に記載の輝度ゲイン調整後の画像がＲＡＭ１１８に展開される。
【００７６】
ＣＰＵ１１１は、Ｓ７００で展開した画像を原稿の座標検出処理に必要な画像へ変換する（Ｓ７０１）。Ｓ７０１においてＣＰＵ１１１が実行する処理とは、例えば、ＲＧＢの３チャンネルで構成されている画像をグレーの１チャンネルに変換するグレー化変換や、解像度を低解像度化等の処理である。Ｓ７０１に記載の処理は、以後の処理の高速化を行うための処理であり、Ｓ７０１に記載の処理を省略してもよい。
【００７７】
ＣＰＵ１１１は、Ｓ７０１において生成した画像からエッジ成分等の抽出処理を行い、エッジ部画像を生成する（Ｓ７０２）。Ｓ７０２において実行される処理は、各原稿のエッジ成分を抽出する方法であれば公知の方法でよく、例えば以下の方法等で実現される。
【００７８】
画像の輝度の勾配を見積もるＳｏｂｅｌ法やＰｒｅｗｉｔｔ法、Ｒｏｂｅｒｔｓ  ｃｒｏｓｓ法を用いてエッジ箇所を抽出する。また、画像の輝度の勾配の連続性等を考慮したＣａｎｎｙ法を用いてもよい。さらに、エッジ抽出処理だけでなく、局所的な適応的二値化処理によって、局所的に異なる閾値処理を行うことでエッジを検出しても良い。さらに、Ｓ７０２において、ＣＰＵ１１１はこれらの方法の１つを実行してもよいし、複数の処理を行い各処理で得た結果を論理積演算（ＡＮＤ演算）し原稿のエッジを抽出してもよい。
【００７９】
ＣＰＵ１１１は、Ｓ７０２で生成した画像のエッジ部画像から、数画素程度の塊で構成される孤立点除去を行う（Ｓ７０３）。数画素程度の小さな画素の塊は原稿のエッジ部ではなく、ノイズ等の可能性が高い。そこで以後の輪郭検出処理等で誤判定の原因となるノイズを除去するために、ＣＰＵ１１１は数画素程度の小さなエッジ部の塊を除去する。
【００８０】
ＣＰＵ１１１は、孤立点が除去された後のエッジ部画像に対しての線分連結処理を行う（Ｓ７０４）。エッジ部画像において、原稿のエッジ部の輝度の勾配が不均一であると、輪郭線が途中で途切れてしまう場合がある。Ｓ７０３において、ＣＰＵ１１１は途切れた輪郭線を連結させるための直線連結処理を実行する。Ｓ７０３において実行される処理は公知の方法の処理である。例えば、ハフ変換等の手法により線分を連結する。また、画像の膨張処理により線分を連結するとしてもよい。図１０（ａ）はＳ７０１からＳ７０４までの処理を行った後の画像である。｛０，０｝、｛Ｘ，０｝、｛０、Ｙ｝、｛Ｘ，Ｙ｝で囲まれる画像８００はスキャンした画像全体を示している。
【００８１】
ＣＰＵ１１１は、生成されたエッジ部画像からエッジ部で囲まれる輪郭を抽出する（Ｓ７０５）。ＣＰＵ１１１は、エッジ部分を示す画素の連結性を見ながら輪郭を検出する。さらに、ＣＰＵ１１１は輪郭線の曲線方向が変わる点となる輪郭の変曲点の座標等を取得する。
【００８２】
ＣＰＵ１１１は、Ｓ７０５で検出した変曲点の座標を用いて、画像から矩形を検出する（Ｓ７０６）。ＣＰＵ１１１はＳ７０５で検出した変曲点の座標と、連続したエッジ線で囲まれる矩形を検出する。手法としては、例えば、エッジの線によって連結しているオブジェクトの外接矩形を検出する方法などがある。
【００８３】
ＣＰＵ１１１は、Ｓ７０６で検出された矩形から原稿のエッジ部分となる矩形を選択する（Ｓ７０７）。たとえば、図１０（ａ）の原稿Ａをスキャンした場合、原稿のエッジ部を示す矩形と、原稿Ａに印刷されているテーブルを構成する矩形が複数検出される。そこで、複数の矩形から原稿Ａの縁となる箇所を選択する必要がある。Ｓ７０７において、ＣＰＵ１１１は、複数の矩形のうち、最も外側にある矩形のみを有効な矩形と判断し、別の矩形に内包された矩形を無効な矩形とする。これにより、原稿の紙片で形成される矩形は有効な矩形となるが、原稿内にある表図などの矩形は無効な矩形として判定される。
【００８４】
ＣＰＵ１１１は、Ｓ７０１において画像サイズを縮小等している場合には、有効な矩形の各頂点の座標を入力された画像サイズでの座標に変換する（Ｓ７０８）。Ｓ７０１において、画像サイズを変換していない場合、当該処理を省略する。
【００８５】
ＣＰＵ１１１は、各原稿の４頂点座標をＨＤＤ１１９に格納する（Ｓ７０９）。なお、座標データの格納先は記憶装置１１２のいずれであってもよい。
【００８６】
図１０（ｂ）は検出した各原稿の４頂点座標を示す模式図である。左上を原点とする幅Ｘピクセル、高さＹピクセル面積の画像である。画像８００から原稿Ａ８０１、原稿Ｂ８０２、原稿Ｃ８０３のそれぞれに対応する。７００から７０９の処理によって、画像８００を各原稿の画像を分割し、その画像の４頂点の座標値を取得する。本実施例では、８０１（原稿Ａ）の場合、８０１の４頂点である８０１｛ｘ１，ｙ１｝、８０１｛ｘ２，ｙ２｝、８０１｛ｘ３，ｙ３｝、８０１｛ｘ４，ｙ４｝の座標値を取得する。なお、取得した原稿の枚数分の４頂点を取得する（８０１｛ｘｉ，ｙｉ｝〜８０３｛ｘｉ，ｙｉ｝：（ｉ＝１〜４））。
【００８７】
＜画像輝度調整処理の方法＞
次に、図７のＳ６０４において、ＣＰＵ１１１が実行する画像の輝度調整処理について図１１を用いて説明する。図１１に記載の処理を実行するためのプログラムはＲＯＭ１１７、または、ＨＤＤ１１９等に記憶される。ＣＰＵ１１１がＲＯＭ１１７またはＨＤＤ１１９に記憶された制御プログラムを実行することにより処理が実現される。
【００８８】
図７のＳ６０２で輝度ゲイン調整がなされた画像は通常のスキャン画像よりも画像全体が暗くなっており、保存・送信用の画像には適さない。そこで、Ｓ６０４において、ＣＰＵ１１１は画像の明るさを明るくし、外部に送信して保存する用の画像を生成する。どの程度まで画像の輝度を明るくするかは任意に設定されるものとしてよいが、マルチクロップ処理がオフに設定されているときと同程度まで明るくすることが望ましい。
【００８９】
画像輝度調整処理では、画像全体の輝度を明るく補正できればよく、その手法は限定しない。ここでは、例として３例を説明する。本実施例では、以下の３例のうちいずれかを用いて画像の輝度を調整するものとする。
【００９０】
１つ目の手法は、ガンマ補正処理を用いて画像の輝度を明るく補正する方法である。図１１は画像輝度調整処理のフローを示すフローチャートである。図１１に記載の処理を実現するためのプログラムはＲＯＭ１１７または、ＨＤＤ１１９に記憶されており、ＣＰＵ１１１が当該プログラムを読出し実行することで処理が実現する。
【００９１】
ＣＰＵ１１１は、画像の信号値をＲＧＢ色空間からＹＵＶ色空間へ変換する（Ｓ１１００）。Ｓ１１００においては、変換後の色空間をＹＵＶ色空間としたが、変換後の色空間はＹＣｂＣｒ色空間など輝度と色差で構成される色空間であればよい。
【００９２】
ＣＰＵ１１１は、Ｓ１１００において以下の式２を用いてＲＧＢからＹＵＶへの変換を行う。
Ｙ＝  ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｕ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ・・・（式２）
Ｖ＝  ０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
【００９３】
ＣＰＵ１１１は、輝度信号であるＹ信号を明るくなるようにガンマ補正処理を実行する（Ｓ１１０１）。ＣＰＵ１１１は、変換後のＹ信号の信号値を以下の式３を用いて補正する。
【００９４】
【数２】
2019213190.tif 000004
【００９５】
図１２は、γ値を２．０の場合の変換テーブルである。γ値はマルチクロップ処理がオンに設定されているときの輝度ゲイン調整パラメータの値に基づいて値を決定される。即ち、輝度ゲイン調整を実行するときにどの程度、画像が暗くなるよう設定したかに応じて決まる。ガンマ値は予めＲＯＭ１１７、またはＨＤＤ１１９に記憶されているとする。図１２において、横軸は入力信号、縦軸は出力信号を示している。Ｓ１１０１に記載の処理を行うことによって、画像全体が明るく補正される。
【００９６】
ＣＰＵ１１１は、Ｓ１１０１における補正後のＹ’の信号値と、Ｓ１１００における変換後のＵとＶを用いて、Ｒ’Ｇ’Ｂ’値を算出する（Ｓ１１０２）。ＣＰＵ１１１は、以下の式４を用いてＹＵＶ信号をＲＧＢへ変換する。ＣＰＵ１１１は補正後の画像をＨＤＤ１１９に格納する。
Ｒ’＝１．０００×Ｙ’＋１．４０２×Ｖ
Ｇ’＝１．０００×Ｙ’−０．３４４×Ｕ−０．７１４×Ｖ・・・（式４）
Ｂ’＝１．０００×Ｙ’＋１．７７２×Ｕ
【００９７】
図１１に記載の処理を実行することで、図７Ｓ６０２において生成された画像全体の輝度を明るく補正することができる。図５（ｄ）は、図５（ｃ）を入力画像として入れて、本処理を施した画像の図であり、標準の輝度で取得した画像である図５（ｂ）と近い輝度の画像になる。このようにすることで、原稿のエッジ部を抽出しやすいよう、全体を暗く補正した画像から、保存に適した明るい画像を得ることができる。上記の方法では、ＲＧＢ値を輝度と色差で構成される色空間に変換し輝度信号のみを調整する。このようにすることで、画像の輝度を明るくした後も、画像に含まれる色差を保つことができる。
【００９８】
２つ目の手法として、１つ目の処理よりも簡易的な手法で画像の輝度を調整する方法を説明する。２つ目の手法では、ＲＧＢ空間から他の色空間への変換を行うことなく画像の輝度を明るくする。ＣＰＵ１１１は、ＲＧＢ信号を取得して、以下の式５を用いてＲ’Ｇ’Ｂ’信号へ変換する。
【００９９】
【数３】
2019213190.tif 000005
【０１００】
上記の変換式で画像全体の輝度を上げて変換することができる。
【０１０１】
上記で説明したガンマ補正処理を用いて画像の輝度を明るく補正する方法により、スキャン時に通常より暗く設定しスキャンした画像の明るさを通常と同等の明るさに変換することができる。しかし、「スキャンして送信」機能において、Ｓ４１１の画像形成処理における画像処理として、上記とは異なるガンマ補正処理（以後、画像形成内のガンマ補正と表記）が行われるように予め設定されている場合がある。画像形成内のガンマ補正処理は、例えば、スキャン対象原稿がもともと白い紙であったとしても、紙の質やスキャナの光源やセンサーの状態によっては若干の下地色が付く場合があるので、その下地色を消すなどの目的で行われるものである。そこで、Ｓ４１１において画像形成内のガンマ補正が行われた場合、一度処理された画像形成内のガンマ補正の効果を消したうえで、輝度補正を行い、再度画像形成内のガンマ補正を行うようにしてもよい。
【０１０２】
図１９は画像輝度調整処理のフローを示すフローチャートである。図１９に記載の処理を実現するためのプログラムはＲＯＭ１１７または、ＨＤＤ１１９に記憶されており、ＣＰＵ１１１が当該プログラムを読出し実行することで処理が実現する。
【０１０３】
ＣＰＵ１１１は、画像形成内のガンマ補正の効果を消す（逆関数をかける）ような変換を行う（Ｓ１１０３）。例えば、画像形成内において入力される輝度に対し、１．８乗（または、１．０乗〜３．０乗程度）の値を用いたガンマ補正が実行される。
【０１０４】
【数４】
2019213190.tif 000006
【０１０５】
上記の変換式で画像形成内のガンマ補正の効果を消す（逆関数をかける）ような変換を行うことができる。
【０１０６】
その後、ＣＰＵ１１１は、画像の輝度を調整するための変換を行う（Ｓ１１０４）。例えば、入力される信号値に対し特定の係数をかけることによって輝度を調整することができる。
Ｒ′＝Ｒ×ｒａｔｅ        この際、ｒａｔｅ＞１．０とする
Ｇ′＝２５５×ｒａｔｅ    この際、ｒａｔｅ＞１．０とする・・・（式７）
Ｂ′＝２５５×ｒａｔｅ    この際、ｒａｔｅ＞１．０とする
【０１０７】
更に、その後、ＣＰＵ１１１は、画像形成内のガンマ補正と同等のガンマ補正をかけるような変換を行う（Ｓ１１０５）。例えば、画像形成内において入力される輝度に対し、１／１．８乗（または、１／１．０乗〜１／３．０乗程度）の値を用いたガンマ補正が実行される。
【０１０８】
【数５】
2019213190.tif 000007
【０１０９】
上記の変換式で画像形成内のガンマ補正と同等のガンマ補正を行う変換を行うことができる。
【０１１０】
３つ目の手法として、３次元ＬＵＴ（ＬｏｏｋＵｐ  Ｔａｂｌｅ）による変換処理を説明する。ここで扱う３次元ＬＵＴは、入力されたＲＧＢデータを変換して、別のＲＧＢデータへ変換するために利用するものである。３次元ＬＵＴの構成を概念的に表すと図２０のようになり、Ｒ、Ｇ、Ｂの３方向に０〜２５５の直行軸を設ける。これは、入力されたＲＧＢデータの１画素ごとに対応した軸である。この直行軸上には離散的にＬＵＴのエントリーポイントが配置されており、各エントリーポイントには３次元ＬＵＴのＲＧＢ出力値が格納されている。以後、このエントリーポイントを格子点と呼称する。図１３は、格子点間隔が１７の場合の格子点テーブルの例である。図１３の入力Ｒ，入力Ｇ、入力Ｂは、図２０の直行軸上の座標である。出力Ｒ、出力Ｇ，出力Ｂは、入力Ｒ，入力Ｇ、入力Ｂの組み合わせに対応する出力値である。たとえば、入力Ｒ，入力Ｇ、入力Ｂが（０，０，１７）であった場合の出力Ｒ、出力Ｇ，出力Ｂは（０，０，１９）となる。
【０１１１】
３次元ＬＵＴには、格子点に対応するＲＧＢ値以外も入力される。そのような場合には、補間処理により出力のＲＧＢ値を決定する。具体的には、入力ＲＧＢ値が３次元ＬＵＴに入力されたとき、その座標を包括する４つの格子点すなわち三角錐の頂点となる格子を決定する。そして、各格子が持つ出力ＲＧＢ値と、各格子と入力ＲＧＢ値の座標の距離をもとに線形補間をして、出力ＲＧＢ値を決定する。より詳細には特開２００５−３５４４２１号公報などで説明がなされているものである。
【０１１２】
例えば入力画素信号Ｐを包括する４格子が図２１に示すとおりになった場合をもとに説明すると、該４格子はＣ０、Ｃ１、Ｃ２、Ｃ３のようになる。
【０１１３】
夫々の格子に格納されている出力ＲＧＢ値を
Ｃ０：（Ｒ＿Ｃ０、Ｇ＿Ｃ０、Ｂ＿Ｃ０）
Ｃ１：（Ｒ＿Ｃ１、Ｇ＿Ｃ１、Ｂ＿Ｃ１）
Ｃ２：（Ｒ＿Ｃ２、Ｇ＿Ｃ２、Ｂ＿Ｃ２）
Ｃ３：（Ｒ＿Ｃ３、Ｇ＿Ｃ３、Ｂ＿Ｃ３）
とし、格子間の距離をＮとする。
【０１１４】
また、これら４つの格子が選択された時点で、各格子と入力ＲＧＢ値の座標の距離をもとにＡ０、Ａ１、Ａ２，Ａ３の重み係数が算出される。
【０１１５】
そして入力ＲＧＢ信号に対する３次元ＬＵＴの出力ＲＧＢ値Ｒ２、Ｇ２、Ｂ２は
Ｒ２＝（Ａ０×Ｒ＿Ｃ０＋Ａ１×Ｒ＿Ｃ１＋Ａ２×Ｒ＿Ｃ２＋Ａ３×Ｒ＿Ｃ３）／Ｎ
Ｇ２＝（Ａ０×Ｇ＿Ｃ０＋Ａ１×Ｇ＿Ｃ１＋Ａ２×Ｇ＿Ｃ２＋Ａ３×Ｇ＿Ｃ３）／Ｎ
Ｂ２＝（Ａ０×Ｂ＿Ｃ０＋Ａ１×Ｂ＿Ｃ１＋Ａ２×Ｂ＿Ｃ２＋Ａ３×Ｂ＿Ｃ３）／Ｎ
のように線形補間し、導出される。このようにして、３次元ＬＵＴを利用することにより、入力されたＲＧＢ信号を非線形に変換して、異なる色空間特性を持つＲＧＢ信号を出力することが可能となる。なお、格子点の数を増やすことにより、補間演算精度が向上するが、使用メモリ量増加とのトレードオフとなる。
【０１１６】
Ｓ６０２において、輝度ゲイン調整後のＲＧＢ信号は、ｓＲＧＢ等の規格化されたＲＧＢ信号へ変換される。これは、輝度ゲイン調整後のＲＧＢ信号は、光学デバイスに依存した特性を持っているだけであるためである。その変換には、ガンマ補正のための１次元ＬＵＴと３次元ＬＵＴが組み合わせて利用される場合が多い。このような変換は、一般的に非線形な変換であり、単純な線形演算処理では対応が出来ないためである。
【０１１７】
ここで利用される３次元ＬＵＴのパラメータは、マルチクロップがオフに設定されている通常スキャン時に最適化して設計されていることが想定される。このような場合には、Ｓ６０２で非線形の変換が行われているため、Ｓ６０４の輝度調整処理において線形の処理を行っても、通常スキャン時と同等のＲＧＢ値に戻すことは出来ない。このような場合には、本ステップにおいても、３次元ＬＵＴを利用して、ＲＧＢ信号の変換を行うことにより、輝度調整処理を行う。
【０１１８】
続いて、この輝度調整用の輝度調整３次元ＬＵＴの作成方法について、図２２を用いて説明を行う。図２２（ａ）は、マルチクロップ設定がオフの際のＲＧＢ信号の流れを表現している。入力ＲＧＢ２２０１は、シェーディング補正を行い、画像の輝度を所定の白基準に基づいて正規化された信号である。この信号に対して、輝度ゲイン調整を行うが、マルチクロップ設定がオフの際には、スルー相当の処理しかされない。そのため、輝度ゲイン調整後ＲＧＢ２２０２と入力ＲＧＢ２２０１は同等の信号となる。ただし、信号値が２５５以上の領域の信号値を２５５に置換する処理は行う。この後に、ガンマ補正１次元ＬＵＴによる処理と、色空間変換３次元ＬＵＴによる処理により、規格化されたＲＧＢへ
変換されたものが通常出力ＲＧＢ２２０３である。これ以降の処理は、マルチクロップ設定がオフであるため施されない。
【０１１９】
図２２（ｂ）は、マルチクロップ設定がオンの際の、ＲＧＢ信号の流れを表現している。入力ＲＧＢ２２０４は、シェーディング補正を行い、画像の輝度を所定の白基準に基づいて正規化された信号である。この信号は、入力ＲＧＢ２２０１と同等の信号である。この信号に対して、輝度ゲイン調整を行い、輝度ゲイン調整後ＲＧＢ２２０５とする。この後に、ガンマ補正１次元ＬＵＴによる処理と、色空間変換３次元ＬＵＴによる処理により生成されるのが、輝度調整前ＲＧＢ２２０６である。この輝度調整前ＲＧＢ２２０６を生成する際の、ガンマ補正１次元ＬＵＴと、色空間変換３次元ＬＵＴは、図２２（ａ）のものと同一のパラメータのＬＵＴである。ただし、輝度ゲイン調整が行われているため、通常出力ＲＧＢ２２０３と輝度調整前ＲＧＢ２２０６は、同一の出力とはならない。この信号が輝度調整３次元ＬＵＴとクロップ座標検出処理の入力信号となる。Ｓ６０４の輝度調整処理の目的は、輝度調整前ＲＧＢ２２０６を変換して、通常出力ＲＧＢ２２０３と同等の信号とすることである。つまり、輝度調整３次元ＬＵＴ２２０１は、輝度調整前信号２２０６を変換し、出力される輝度調整後信号２２０７を、通常出力ＲＧＢ２２０３と同等にすることが役務となる。なお、補間演算の精度や、ビット精度の問題で、完全に同一にはならないため、同等の出力とすることが目的となる。
【０１２０】
そのための輝度調整３次元ＬＵＴ２２０１のパラメータの求め方について、続いて説明をする。まず、入力ＲＧＢ２２０１と入力ＲＧＢ２２０４のＲＧＢ値が同一である場合の、通常出力ＲＧＢ２２０３のＲＧＢ値と、輝度調整前ＲＧＢ２２０７のＲＧＢ値の組み合わせを求める。入力ＲＧＢ２２０１と入力ＲＧＢ２２０４のＲＧＢ値を変化させることにより、種々の組み合わせを求め、組み合わせ表とする。ＲＧＢ値は、Ｒ，Ｇ，Ｂそれぞれについて、０からＸまで変化させる。Ｘは、図２２（ｂ）の輝度ゲイン調整後ＲＧＢ２２０５で２５５の信号値となる入力ＲＧＢ２２０４の信号値の中で最少となる値である。本実施例においては、図６（ｂ）からわかるように、２６５である。この組み合わせ表は、輝度調整３次元ＬＵＴ２２０１の入力と出力の組み合わせとなる。入力が、輝度調整前ＲＧＢ２２０６のＲＧＢ値であり、出力が通常出力ＲＧＢ２２０３のＲＧＢ値である。この組み合わせ表から、３次元ＬＵＴの格子点に格納されるＲＧＢ値を求めれば、輝度調整３次元ＬＵＴ２２０１のパラメータを求められることになる。ここで、格子点の座標は、輝度調整前ＲＧＢ２２０７のＲＧＢ値であり、その格子点に格納される値が該当する輝度調整前ＲＧＢ２２０７のＲＧＢ値と組になる通常出力ＲＧＢ２２０３のＲＧＢ値である。組み合わせ表に、格子点座標の輝度調整前ＲＧＢ２２０７のＲＧＢ値が存在しない場合には、格子点座標の周囲の座標の組となる通常出力ＲＧＢ２２０３のＲＧＢ値を補間して、格子点に格納される値とする。このようにして、非線形の輝度調整処理が可能な、輝度調整３次元ＬＵＴを作成することが可能となる。
【０１２１】
ここまで、説明した手法は、３次元ＬＵＴでの処理を２回行う必要がある。しかしながら、３次元ＬＵＴでの処理は、計算コストが高い。また、輝度調整３次元ＬＵＴの処理を、外部サーバーで行う際などは、機種ごとの輝度調整３次元ＬＵＴを外部サーバー側に保持する必要がある。このような課題を解決するために、３次元ＬＵＴを１回だけ利用する方法について、図２２（ｃ）（ｄ）を用いて説明を行う。図２２（ｃ）は、図２２（ｂ）における輝度調整３次元ＬＵＴ２２０１を分割して、非線形補正３次元ＬＵＴ２２０３と輝度調整１次元ＬＵＴ２２０４として、クロップ座標検出処理の前後に配置している。ここで、輝度調整１次元ＬＵＴ２２０４は、輝度ゲインをもとに戻すことだけを行う。具体的には、Ｒ，Ｇ，Ｂの信号ごとに下記の式６を利用して計算する。
【０１２２】
【数６】
2019213190.tif 000008
【０１２３】
ここで、ＩＮは輝度調整１次元ＬＵＴ２２０４の入力であり、ＯＵＴは輝度調整１次元ＬＵＴ２２０４の出力である。ここで、ＯＵＴの値が２５５を超える場合には、２５５とする処理を行う。輝度ゲイン調整パラメータは、式１のもとの同一の値を利用する。本実施例においては、２６５であるが、式１と同一のパラメータであれば、他の値でも良い。式６は、式１で信号値にかけた輝度ゲイン調整処理をもとに戻す処理となる。しかしながら、ガンマ補正１次元ＬＵＴおよび色空間変換３次元ＬＵＴの処理を、考慮していない。そこで、その部分については、非線形補正３次元ＬＵＴ２２０３で吸収を行う。つまり、非線形補正３次元ＬＵＴ２２０３は、色空間変換後ＲＧＢ２００８を処理し、出力される輝度調整前信号２２０９を、輝度調整１次元ＬＵＴ２２０４でさらに処理した後に、通常出力ＲＧＢ２２０３と同等にすることが役務となる。なお、補間演算の精度や、ビット精度の問題で、完全に同一にはならないため、同等の出力とすることが目的となる。
【０１２４】
非線形補正３次元ＬＵＴ２２０３のパラメータの求め方について、続いて説明をする。まず、輝度調整３次元ＬＵＴ２２０１のパラメータを求めた際と同一の組み合わせ表を求める。ここで入力値は、輝度調整３次元ＬＵＴ２２０１のパラメータを求める際には、輝度調整前ＲＧＢ２２０７であったが、今回は、色空間変換後ＲＧＢ２２０８となるが、両者の値は同一である。続いて、この組み合わせ表の出力値（通常出力ＲＧＢ２２０３のＲＧＢ値）の値を式１を利用して変換する。これは、今回求めたいのは、非線形補正３次元ＬＵＴの出力である輝度調整前ＲＧＢ２２０９であるためである。変換後の値を輝度調整１次元ＬＵＴで処理すると、輝度調整後ＲＧＢ２２１０と通常出力ＲＧＢ２２０３が同等の値となる。ただし、このままでは、輝度調整前ＲＧＢ２２０９は０から２５５×２５５／輝度ゲイン調整パラメータの値しか持たなくなる。輝度ゲイン調整パラメータが２６５のときには、約２４５である。クロップ座標検出処理のためには、２５５に近い部分の値が重要であるため、非線形補正３次元ＬＵＴ２２０３の出力値としては、２５５付近の値を保持するようにすることが望ましい。そこで、変換後の出力値が２５５×２５５／輝度ゲイン調整パラメータの値である場合は、入力値の信号値をそのまま出力値とするように補正を行う。補正後の出力値が２５５×２５５／輝度ゲイン調整パラメータの値を下回った場合には、補正後の出力値を２５５×２５５／輝度ゲイン調整パラメータの値のままとする。このような補正処理を行っても、輝度調整１次元ＬＵＴ２２０４の処理で２５５とされるため問題は生じない。具体的な例を図２３に示す。図２３は、輝度ゲイン調整パラメータが２６５である場合の、組み合わせ表のから２種類の組み合わせの例を示したものである。組み合わせＩｎｄｅｘ１の場合については、出力値ＲＧＢ（８０、５３、１２４）が変換され、式１による変換後出力値ＲＧＢ（７７．０、５１．０、１１９．３）となる。補正処理は、補正条件（２５５×２５５／２６５≒２４５．４）を満たすＲＧＢ値がないので施されず、補正処理後出力値は変換後出力と同一になる。補正処理後出力値ＲＧＢが、輝度調整１次元ＬＵＴ２２０４で処理されると、輝度調整後ＲＧＢ（８０、５３、１２４）となり、出力値ＲＧＢと同一となり、正しい変換処理となっていることが分かる。組み合わせＩｎｄｅｘ２の場合については、出力値ＲＧＢ（２２８、２５５、２５５）が変換され、式１による変換後出力値ＲＧＢ（２１９．４、２４５．４、２４５．４）となる。補正処理は、補正条件（２５５×２５５／２６５＝２４５．４）を満たすＲＧＢ値であるＧおよびＢに対して施される。Ｇについては、入力値が２４３であり、２４５．４を下回るため、２４５．４のままとなる。Ｂについては、入力値が２５０であり、２４５．４を上回るため、２５０となる。結果として、補正処理後出力値ＲＧＢは（２１９．４、２４５．４、２５０）となる。この補正処理後出力値ＲＧＢが、輝度調整１次元ＬＵＴ２２０４で処理されると、輝度調整後ＲＧＢ（２２８、２５５、２５５）となり、出力値ＲＧＢと同一となり、正しい変換処理となっていることが分かる。なお、Ｂについては、２５５を超える値を２５５とする処理が働いている。このようにして計算する補正処理後出力値のＲＧＢを非線形補正３次元ＬＵＴ２２０３の出力とする。そして、色空間変換後ＲＧＢ２２０８を非線形補正３次元ＬＵＴ２２０３の入力とする。この入出力の組み合わせ表から、３次元ＬＵＴの格子点に格納されるＲＧＢ値を求めれば、非線形補正３次元ＬＵＴ２２０３のパラメータを求められることになる。ここで、格子点の座標は、色空間変換後ＲＧＢ２２０８のＲＧＢ値であり、その格子点に格納される値が該当する色空間変換後ＲＧＢ２２０８のＲＧＢ値と組になる補正処理後出力値のＲＧＢ値である。組み合わせ表に、格子点座標の色空間変換後ＲＧＢ２２０８のＲＧＢ値が存在しない場合には、格子点座標の周囲の座標の組となる補正処理後出力値のＲＧＢ値を補間して、格子点に格納される値とする。このようにして、非線形の輝度調整処理が可能な、輝度調整１次元ＬＵＴと組み合わせることが可能な、非線形補正３次元ＬＵＴを作成することが可能となる。こうして作成した非線形補正３次元ＬＵＴ２２０３は、色空間変換３次元ＬＵＴ２２０２と合成することが可能である。それを示したのが、図２２（ｄ）である。図２２（ｄ）において、色空間変換＆非線形補正３次元ＬＵＴ２２０５は、色空間変換３次元ＬＵＴ２２０２と非線形補正３次元ＬＵＴ２２０３を合成したものである。合成することによって、３次元ＬＵＴ処理を１回にすることが可能となる。
【０１２５】
以上のように３次元ＬＵＴを用いることにより、マルチクロップ処理がオフ時の処理で非線形な処理が施されている場合であっても、マルチクロップ処理がオン時の最終的な信号値をマルチクロップ処理がオフ時の信号と同等の信号とすることが可能となる。
【０１２６】
なお、本実施例では３つの画像輝度調整処理を説明したが、画像の輝度を調整する方法を限定するものではなく画像全体を明るくできる手法であれば上記以外の方法を用いるとしてもよい。
【０１２７】
＜画像クロッピング出力処理の方法＞
次に、図１４はＣＰＵ１１１が原稿に対応する画像を切り出して出力、保存する処理を示すフローチャートである。図１４に記載の処理を実行するためのプログラムは、ＲＯＭ１１７またはＨＤＤ１１９に記憶されており、ＣＰＵ１１１が当該プログラムを実行することにより処理が実現される。
【０１２８】
ＣＰＵ１１１は、図７Ｓ６０４においてＨＤＤ１１９に格納されている画像をＲＡＭ１１８に展開する（Ｓ９００）。Ｓ９００において、ＣＰＵ１１１はＨＤＤ１１９にＪＰＥＧ等で画像圧縮され、保存されている画像を、展開する。
【０１２９】
ＣＰＵ１１１は、図７Ｓ６０３において検出され、ＨＤＤ１１９に格納された座標を取得する（Ｓ９０１）。
【０１３０】
ＣＰＵ１１１は、Ｓ９００で取得した画像とＳ９０１で取得した各原稿の４頂点の座標を用いて画像の切り出し処理を実行する（Ｓ９０３）。画像を切り出す方法は、公知の方法を用いるとする。たとえば、Ｓ９０１で取得された４点を結んだ矩形が傾斜していない場合、ＣＰＵ１１１は４頂点で囲まれた領域を切り出す。また、４頂点を結んだ矩形が傾斜している場合、ＣＰＵ１１１は公知のアフィン変換により回転のみを考慮し、切り出す領域を決定する。また、ＣＰＵ１１１が回転に加え、台形補正やひずみ補正を考慮したホモグラフィ行列を用いた射影変換により切り出す領域を決定してもよい。
【０１３１】
ＣＰＵ１１１は、Ｓ９０２において切り出した画像を圧縮しＨＤＤ１１９に格納する（Ｓ９０３）。図１５にＳ９０３でＨＤＤ１１９に格納された画像を示す。Ｓ９０３では、入力した図５（ｄ）から、図１５（ａ）（ｂ）（ｃ）の各原稿の画像がＨＤＤ１１９に格納される。
【０１３２】
なお、本実施例では「スキャンして送信」機能のフローを例に説明したが、「スキャンして送信」機能に関わらず本実施例を実行するとしてもよい。例えば、スキャンした画像を画像処理装置１００等に保存する「スキャンして保存」機能や、マルチクロップ後の原稿画像をＦＡＸ送信するＦＡＸ送信機能等において本実施例を実行するとしてもよい。
【０１３３】
また、本実施例では、画像処理装置１００が、クロップ座標の検出、画像の輝度補正、画像の切り出し処理を実行するとして説明した。画像処理装置１００にスキャンを行い、輝度ゲイン調整をした後の画像を、サーバーやＰＣ、クラウドに送信する。そして、サーバーやＰＣ、クラウドにおいて、クロップ座標の検出、画像の輝度補正、画像の切り出し処理が実行されるとしてもよい。
【０１３４】
以上によって、マルチクロップ処理を行う場合は、原稿をスキャンする際に高輝度側の信号が残るようにしたスキャン画像を生成することにより、スキャン画像から原稿の領域を検出しやすくし、さらに、該スキャン画像の輝度を調整することにより、保存に適した明るさの画像を生成することができる。
【０１３５】
（実施例２）
実施例１では、輝度ゲイン調整に使用されるパラメータを変え、通常よりも画像全体が暗くなるよう処理した画像を用いて原稿のエッジ部を抽出した。そして、原稿のエッジ部抽出に用いた画像の輝度を補正し、画像全体を明るくすることで、保存用の画像を生成した。実施例１で説明した方法を用いてデジタル処理で画像の輝度を明るく補正すると、通常の明るさで取得した画像に対し、色味や階調性が変わってしまう場合がある。実施例２では、マルチクロップ処理の設定に応じてデジタル処理で原稿の明るさを調整するか、再度原稿をスキャンし通常のスキャン時に用いられるパラメータを用いて輝度ゲイン調整を行うかを切り替える方法を説明する。
【０１３６】
写真等の画像の色味や階調性等の画質を優先する原稿をスキャンする場合、一度、マルチクロップ用のパラメータを用いて輝度ゲイン調整を行ったのち、再度スキャンを実行し、通常のスキャンで用いられるパラメータを用いて輝度ゲイン調整を行う。このようにすることで、原稿の画質や色味を担保しつつ、クロップする座標の精度を上げることができる。一方で、モノクロの文書原稿や文字のみの原稿等、画質を優先する必要のない原稿をスキャンするときには、デジタル処理で画像の輝度をあげることで、原稿毎の画像を得るのにかかる処理時間を抑制することができる。
【０１３７】
原稿をスキャンして外部の装置に送信したり、画像処理装置１００内に記憶する場合、様々な画像処理が行われる。例えば、二値化処理を行ってから保存する指示や文字認識を行い文字列データとして保存する指示がなされている場合、保存する画像の色味や色の階調性が低下しても問題ない。そこで、二値化処理や文字認識処理が指示された場合、画像処理装置１００はマルチクロップ用のパラメータを用いて輝度ゲイン調整がなされた画像の輝度を補正することで得られた画像から原稿の画像を抽出する。一方でＪＰＥＧ変換や全面写真専用処理を行う設定がなされた場合、色味や色の階調性を保証することが望まれる。そこで、１度目にスキャンして得られた画像に対して、マルチクロップ用のパラメータを用いて輝度ゲイン調整を行い各原稿のエッジを検出する。そして、２度目にスキャンして得られた画像に対して、通常のスキャン時のパラメータを用いて輝度ゲイン調整を行い、保存用の画像を生成する。このようにすることで、保存用の画像の色味や階調性を保証することができる。
【０１３８】
本実施例では、上記のように画質を優先する後段処理か、処理速度を優先する後段処理（画質を優先しない後段処理）かによって処理を切り替える。図１６は実施例２において画像処理装置１００が実行する処理を示すフローチャートである。図１６に記載の処理を実行するためのプログラムはＲＯＭ１１７またはＨＤＤ１１９に格納されている。ＣＰＵ１１１がＲＯＭ１１７、またはＨＤＤ１１９に格納されている処理を読み出して実行することにより以下の処理が実現される。図７と同様の処理については図７と同じ符号を付与する。ここでは、図７の異なる処理についてのみ説明をする。
【０１３９】
ＣＰＵ１１１は、設定されている設定値が画質を優先する設定値であるか否かを判定する（Ｓ１６０１）。画質を優先する設定がなされているか否かの判定方法は様々であるが、本実施例では図１７に示すテーブルを用いて画質を優先する設定であるか否かを判定する。ＣＰＵ１１１はユーザが設定した設定値を参照し、画質優先の設定値が設定されているか否かを判定する。画質を優先する設定値が設定されていない場合、ＣＰＵ１１１がＳ６０４以降の処理を実行する。画質を優先する設定がなされていない場合は、実施例１と同様にマルチクロップ用の輝度ゲイン調整パラメータを用いて輝度ゲイン調整をして得られた画像の輝度をデジタル処理により明るくする。これにより、マルチクロップ処理が完了するまでにかかる時間を短くすることができる。
【０１４０】
一方で、画質を優先する処理が設定されている場合、ＣＰＵ１１１がＳ１６０２以降に記載の処理を実行する。
【０１４１】
ＣＰＵ１１１は、マルチクロップ処理がオフに設定されているときに用いられる輝度ゲイン調整パラメータをＲＯＭ１１７から読み出してＲＡＭ１１８に記憶する（Ｓ１６０２）。マルチクロップ処理がオフに設定されているときに用いられる輝度ゲイン調整パラメータとは、Ｓ６００において設定される輝度ゲイン調整パラメータよりも小さな値である。マルチクロップ処理がオフのときに用いられる輝度ゲイン調整パラメータは予めＲＯＭ１１７に格納されている。
【０１４２】
ＣＰＵ１１１は、スキャナＩ／Ｆ１１４を介してスキャナ部１２０を制御し、原稿をスキャンする（Ｓ１６０３）。Ｓ１６０３において、ＣＰＵ１１１が実行する処理は、Ｓ６０１においてＣＰＵ１１１が実行する処理と同様の処理である。
【０１４３】
ＣＰＵ１１１はＳ１６０２において取得された輝度ゲイン調整パラメータを用いてＳ１６０２で取得された画像の輝度を調整する（Ｓ１６０４）。Ｓ１６０４で実行される処理は、図８を用いて説明した処理と同様の処理であるため説明を省略する。Ｓ１６０４を実行することで、図５（ｂ）に示す画像を生成することができる。以降の処理はＳ６０５以降と同様であるため説明を省略する。上記のＳ１６０２〜Ｓ１６０４のように、画質を優先する設定がなされている場合は、通常のスキャンと同じパラメータを用いて輝度ゲイン調整を行う。このようにすることで、マルチクロップ処理を行わないときと同程度の画質や色味を保証した画像から原稿の画像を切り出すことができる。
【０１４４】
以上のように設定値に応じて画像の切り出し元となる画像の生成方法を切り替える。このようにすることで、色味や階調性などの画質を優先する場合と、パフォーマンスやユーザの手離れなどの速度を優先させる場合で処理を切り替えることができる。
【０１４５】
なお、本実施例ではユーザの指示で設定された設定値に基づいて処理を切り替える構成とした。Ｓ６０１のスキャンにより取得された画像を解析して、画質を優先した処理を行うか否かを判定してもよい。たとえば、ＣＰＵ１１１がスキャンして得られた画像に含まれる色の数やグラデーションの有無に応じてＳ１６０１以降を実行するかＳ６０４以降を実行するか切り替えるとしてもよい。このとき、ＣＰＵ１１１は、画像に含まれる色の数が所定の数以上である場合、または、画像内にグラデーションの領域がある場合に、Ｓ１６０１以降の処理を実行する。
【０１４６】
さらに、本実施例では、画質を優先する設定がなされている場合に、再度原稿をスキャンして、Ｓ６０２とは異なる輝度ゲイン調整パラメータを用いて輝度ゲイン調整を実行するとした。画像処理装置１００がＳ６０１において原稿をスキャンして得られた画像を記憶するメモリを有する場合、Ｓ１６０４において、メモリに保存された画像に対して輝度ゲイン調整を実行するとしてもよい。このとき、Ｓ１６０３において原稿を再度スキャンする必要がなくなる。そのため、画質を優先する場合であっても、原稿のスキャンを２回行うことなくマルチクロップ処理を実行することができる。
【０１４７】
（実施例３）
実施例１では、輝度ゲイン調整に使用されるパラメータを変え、通常よりも画像全体が暗くなるよう処理した画像を用いて原稿のエッジ部を抽出した。そして、原稿のエッジ部抽出に用いた画像の輝度を補正し、画像全体を明るくすることで、保存用の画像を生成した。実施例１で説明した方法では原稿の全体画像の輝度を補正した上で、画像の一部から切り出しを行う。全体画像の輝度調整を行うため、最終的な画像として不要な部分にも輝度調整が行われ処理パフォーマンスが低下してしまう可能性がある。実施例３では、処理パフォーマンスを向上させるための検出した原稿の各画像を切り出ししたのちに、切り出した画像にのみ輝度調整を行う方法を説明する。
【０１４８】
図１８を用いて、ユーザが「スキャンして送信」機能を用いてマルチクロップ処理を実行するためのシーケンスを説明する図である。図１８は、図３の構成に対し、Ｓ４１４の画像クロッピング処理の内容を変更し、さらに、画像クロッピング処理（Ｓ４１４）とマルチクロップ処理結果ＵＩ表示処理（Ｓ４１５）との間に、クロップ画像輝度調整処理（Ｓ４２２）を追加する。
【０１４９】
Ｓ４００〜Ｓ４１２までの処理、および、Ｓ４１５以降の処理については、実施例１と同様であるので、詳細説明を省略する。
【０１５０】
Ｓ４１４の画像クロッピング処理において、画像処理装置１００は、Ｓ４１１でＨＤＤ１１９にデータとして格納された画像から、各原稿に対応する原稿画像の切り出しを行う。画像処理装置１００は、原稿の左上、右上、右下、左下の４頂点座標を元に、傾き補正等のアフィン変換も用いて、矩形の原稿画像の切り出し処理を行う。画像処理装置１００は、切り出し後の画像を圧縮し画像圧縮後にＨＤＤ１１９に格納する。
【０１５１】
Ｓ４２２のクロップ画像輝度調整処理において、画像処理装置１００は、Ｓ４１４で切り出してＨＤＤ１１９に格納した各原稿画像の輝度を調整する処理を行う。Ｓ４２２での輝度調整処理は、実施例１において説明したＳ４１３の画像輝度調整処理と同様の処理である。すなわち、Ｓ４２２のクロップ画像輝度調整処理において、各原稿画像の輝度をあげる処理を行うことで、通常の設定でスキャンした際の明るさと同程度の明るさの画像を生成することができる。
【０１５２】
以上によって、原稿位置検出に適した画像から座標位置を検出し、当該画像から各原稿の画像の切り出しを行い、当該切り出した原稿画像に輝度調整を行うことで送信用画像を生成する、という構成にすることで、処理のパフォーマンスを向上することができる。
【０１５３】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのコンピュータプログラム、及び該コンピュータプログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2019213190.tif 000009
【図２】
2019213190.tif 000010
【図３】
2019213190.tif 000011
【図４】
2019213190.tif 000012
【図５】
2019213190.tif 000013
【図６】
2019213190.tif 000014
【図７】
2019213190.tif 000015
【図８】
2019213190.tif 000016
【図９】
2019213190.tif 000017
【図１０】
2019213190.tif 000018
【図１１】
2019213190.tif 000019
【図１２】
2019213190.tif 000020
【図１３】
2019213190.tif 000021
【図１４】
2019213190.tif 000022
【図１５】
2019213190.tif 000023
【図１６】
2019213190.tif 000024
【図１７】
2019213190.tif 000025
【図１８】
2019213190.tif 000026
【図１９】
2019213190.tif 000027
【図２０】
2019213190.tif 000028
【図２１】
2019213190.tif 000029
【図２２】
2019213190.tif 000030
【図２３】
2019213190.tif 000031