(57)【要約】【課題】書籍の読み取り時に綴じ部に発生する歪みを補正する場合に、補正範囲を小さくする読取方法を考慮しない場合と比較して、余計な補正が行われることを防止することができる画像形成装置及びプログラムを提供する。【解決手段】画像形成装置１０Ａは、書籍の綴じ部を含む見開きページを読み取って得られる第１読取データを多階調データに変換する変換部３０と、多階調データから綴じ部の補正範囲を検出する検出部３２と、検出部３２により検出された綴じ部の補正範囲から、綴じ部の補正範囲を小さくする読取方法、及び読取方法を実施した場合における綴じ部の補正範囲を推定する推定部３４と、推定部３４により推定された綴じ部の補正範囲を示す画像を、読取方法と共に表示させる制御を行う表示制御部３６と、を備える。【選択図】図２
2020141274.tif 000002
【特許請求の範囲】
【請求項１】
書籍の綴じ部を含む見開きページを読み取って得られる第１読取データを多階調データに変換する変換部と、
前記多階調データから前記綴じ部の補正範囲を検出する検出部と、
前記検出部により検出された前記綴じ部の補正範囲から、前記綴じ部の補正範囲を小さくする読取方法、及び前記読取方法を実施した場合における前記綴じ部の補正範囲を推定する推定部と、
前記推定部により推定された前記綴じ部の補正範囲を示す画像を、前記読取方法と共に表示させる制御を行う制御部と、
を備えた画像形成装置。
【請求項２】
前記推定部は、機械学習により得られた学習データを用いて、前記読取方法、及び前記読取方法を実施した場合における前記綴じ部の補正範囲を推定する請求項１に記載の画像形成装置。
【請求項３】
前記学習データは、書籍の綴じ部を含む見開きページを予め定められた状態で読み取って得られる学習用読取データから検出される前記綴じ部の補正範囲を示す画像に、前記綴じ部の補正範囲を小さくする読取方法、及び前記読取方法を実施した場合における前記綴じ部の補正範囲を示す画像を対応付けて学習されたデータである請求項２に記載の画像形成装置。
【請求項４】
前記学習データは、前記学習用読取データから検出された前記見開きページの地肌部分を示す画像が更に対応付けられている請求項３に記載の画像形成装置。
【請求項５】
前記推定部は、前記検出部により検出された前記綴じ部の補正範囲の形状に応じて異なる読取方法を推定する請求項１〜４のいずれか１項に記載の画像形成装置。
【請求項６】
前記読取方法は、前記書籍を上から押圧する治具を用いた方法であり、かつ、前記綴じ部の補正範囲の形状に応じて前記治具の設置位置が異なる方法である請求項５に記載の画像形成装置。
【請求項７】
前記変換部は、前記制御部により表示された読取方法を用いて、前記見開きページを再度読み取って得られる第２読取データを多階調データに変換し、
前記検出部は、前記多階調データから前記綴じ部の補正範囲を検出し、
前記制御部は、前記第１読取データから得られる前記綴じ部の補正範囲を示す画像と、前記第２読取データから得られる前記綴じ部の補正範囲を示す画像とを並べて表示させる制御を行う請求項１〜６のいずれか１項に記載の画像形成装置。
【請求項８】
前記第２読取データから得られる前記綴じ部の補正範囲を補正対象として、前記第２読取データを補正する補正部を更に備えた請求項７に記載の画像形成装置。
【請求項９】
前記変換部は、前記第１読取データを二値データに更に変換し、
前記検出部は、前記二値データから前記綴じ部の影の形状を更に検出し、
前記推定部は、前記検出部により検出された前記綴じ部の補正範囲及び前記綴じ部の影の形状から、前記綴じ部の補正範囲を小さくする読取方法、並びに前記読取方法を実施した場合における前記綴じ部の補正範囲及び前記綴じ部の影の形状を推定し、
前記制御部は、前記推定部により推定された前記綴じ部の補正範囲及び前記綴じ部の影の形状を示す画像を、前記読取方法と共に表示させる制御を行う請求項１〜８のいずれか１項に記載の画像形成装置。
【請求項１０】
前記推定部は、機械学習により得られた学習データを用いて、前記読取方法、並びに前記読取方法を実施した場合における前記綴じ部の補正範囲及び前記綴じ部の影の形状を推定する請求項９に記載の画像形成装置。
【請求項１１】
前記学習データは、書籍の綴じ部を含む見開きページを予め定められた状態で読み取って得られる学習用読取データから検出される前記綴じ部の補正範囲及び前記綴じ部の影の形状を示す画像に、前記綴じ部の補正範囲を小さくする読取方法、並びに前記読取方法を実施した場合における前記綴じ部の補正範囲及び前記綴じ部の影の形状を示す画像を対応付けて学習されたデータである請求項１０に記載の画像形成装置。
【請求項１２】
コンピュータを、請求項１〜１１のいずれか１項に記載の画像形成装置が備える各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置及びプログラムに関する。
【背景技術】
【０００２】
例えば、特許文献１には、コンタクトガラスの上もしくは下に接触したブック原稿を画像読取手段により読み取ったスキャン画像を補正する画像補正装置が記載されている。この画像補正装置は、ブック原稿のスキャン画像に含まれる線形状部分を用い、スキャン画像の「ハの字」歪み角度を検出する「ハの字」歪み角度検出手段を備える。この画像補正装置は、この「ハの字」歪み角度検出手段により検出された「ハの字」歪み角度に基づいてスキャン画像の「ハの字」歪みを補正した後にスキャン画像の副走査方向の形状歪みを補正する「ハの字」歪み補正手段を備える。
【０００３】
また、特許文献２には、原稿台に載置された見開き原稿を読み取る画像読取装置が記載されている。この画像読取装置は、見開き原稿が伏せて載置される原稿台と、原稿台上の見開き原稿を読み取る読取部と、を備える。この画像読取装置は、読取部によって見開き原稿を繰り返し読み取らせ、読み取った画像の中から、見開き原稿における原稿台からの浮き上がり部分に対応して画像に発生する劣化が許容条件を満たす画像を取得する制御部を備える。
【０００４】
また、特許文献３には、地肌が文字等よりも暗い場合でも高精度に地肌を補正する画像処理装置が記載されている。この画像処理装置は、コンタクトガラス上に載置されたブック原稿を読み取る画像読取手段と、画像読み取り手段により読み取られたブック原稿のスキャン画像の画素値に基づき使用頻度が最大の色を地肌色として検出する地肌色検出手段と、を有する。この画像処理装置は、地肌色検出手段により検出した地肌色及びブック原稿の平坦部の画素値に基づきスキャン画像の綴じ部付近の地肌を補正する地肌補正手段を有する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３０４３９０号公報
【特許文献２】特開２０１０−２６８２４５号公報
【特許文献３】特開２００７−１６６４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、書籍の綴じ部を含む見開きページを原稿台に載置し、見開きページの読み取り時に綴じ部に発生する歪みを補正する場合に、補正範囲を小さくする読取方法については考慮されていない。このため、本来補正すべきではない部分にも余計な補正が行われて、画質が劣化する可能性がある。
【０００７】
本発明は、書籍の読み取り時に綴じ部に発生する歪みを補正する場合に、補正範囲を小さくする読取方法を考慮しない場合と比較して、余計な補正が行われることを防止することができる画像形成装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１態様に係る画像形成装置は、書籍の綴じ部を含む見開きページを読み取って得られる第１読取データを多階調データに変換する変換部と、前記多階調データから前記綴じ部の補正範囲を検出する検出部と、前記検出部により検出された前記綴じ部の補正範囲から、前記綴じ部の補正範囲を小さくする読取方法、及び前記読取方法を実施した場合における前記綴じ部の補正範囲を推定する推定部と、前記推定部により推定された前記綴じ部の補正範囲を示す画像を、前記読取方法と共に表示させる制御を行う制御部と、を備えている。
【０００９】
また、第２態様に係る画像形成装置は、第１態様に係る画像形成装置において、前記推定部が、機械学習により得られた学習データを用いて、前記読取方法、及び前記読取方法を実施した場合における前記綴じ部の補正範囲を推定する。
【００１０】
また、第３態様に係る画像形成装置は、第２態様に係る画像形成装置において、前記学習データが、書籍の綴じ部を含む見開きページを予め定められた状態で読み取って得られる学習用読取データから検出される前記綴じ部の補正範囲を示す画像に、前記綴じ部の補正範囲を小さくする読取方法、及び前記読取方法を実施した場合における前記綴じ部の補正範囲を示す画像を対応付けて学習されたデータとされている。
【００１１】
また、第４態様に係る画像形成装置は、第３態様に係る画像形成装置において、前記学習データが、前記学習用読取データから検出された前記見開きページの地肌部分を示す画像が更に対応付けられている。
【００１２】
また、第５態様に係る画像形成装置は、第１態様〜第４態様のいずれか１の態様に係る画像形成装置において、前記推定部が、前記検出部により検出された前記綴じ部の補正範囲の形状に応じて異なる読取方法を推定する。
【００１３】
また、第６態様に係る画像形成装置は、第５態様に係る画像形成装置において、前記読取方法が、前記書籍を上から押圧する治具を用いた方法であり、かつ、前記綴じ部の補正範囲の形状に応じて前記治具の設置位置が異なる方法とされている。
【００１４】
また、第７態様に係る画像形成装置は、第１態様〜第６態様のいずれか１の態様に係る画像形成装置において、前記変換部が、前記制御部により表示された読取方法を用いて、前記見開きページを再度読み取って得られる第２読取データを多階調データに変換し、前記検出部が、前記多階調データから前記綴じ部の補正範囲を検出し、前記制御部が、前記第１読取データから得られる前記綴じ部の補正範囲を示す画像と、前記第２読取データから得られる前記綴じ部の補正範囲を示す画像とを並べて表示させる制御を行う。
【００１５】
また、第８態様に係る画像形成装置は、第７態様に係る画像形成装置において、前記第２読取データから得られる前記綴じ部の補正範囲を補正対象として、前記第２読取データを補正する補正部を更に備えている。
【００１６】
また、第９態様に係る画像形成装置は、第１態様〜第８態様のいずれか１の態様に係る画像形成装置において、前記変換部が、前記第１読取データを二値データに更に変換し、前記検出部が、前記二値データから前記綴じ部の影の形状を更に検出し、前記推定部が、前記検出部により検出された前記綴じ部の補正範囲及び前記綴じ部の影の形状から、前記綴じ部の補正範囲を小さくする読取方法、並びに前記読取方法を実施した場合における前記綴じ部の補正範囲及び前記綴じ部の影の形状を推定し、前記制御部が、前記推定部により推定された前記綴じ部の補正範囲及び前記綴じ部の影の形状を示す画像を、前記読取方法と共に表示させる制御を行う。
【００１７】
また、第１０態様に係る画像形成装置は、第９態様に係る画像形成装置において、前記推定部が、機械学習により得られた学習データを用いて、前記読取方法、並びに前記読取方法を実施した場合における前記綴じ部の補正範囲及び前記綴じ部の影の形状を推定する。
【００１８】
また、第１１態様に係る画像形成装置は、第１０態様に係る画像形成装置において、前記学習データが、書籍の綴じ部を含む見開きページを予め定められた状態で読み取って得られる学習用読取データから検出される前記綴じ部の補正範囲及び前記綴じ部の影の形状を示す画像に、前記綴じ部の補正範囲を小さくする読取方法、並びに前記読取方法を実施した場合における前記綴じ部の補正範囲及び前記綴じ部の影の形状を示す画像を対応付けて学習されたデータとされている。
【００１９】
更に、上記目的を達成するために、第１２態様に係るプログラムは、コンピュータを、第１態様〜第１１態様のいずれか１の態様に係る画像形成装置が備える各部として機能させる。
【発明の効果】
【００２０】
第１態様及び第１２態様によれば、書籍の読み取り時に綴じ部に発生する歪みを補正する場合に、補正範囲を小さくする読取方法を考慮しない場合と比較して、余計な補正が行われることを防止することができる、という効果を有する。
【００２１】
第２態様によれば、学習データを用いない場合と比較して、適切な読取方法及び補正範囲を推定することができる、という効果を有する。
【００２２】
第３態様によれば、学習用読取データから得られる補正範囲を示す画像に、補正範囲を小さくする読取方法及び当該読取方法を実施した場合における補正範囲を示す画像を対応付けない場合と比較して、適切な学習データを得ることができる、という効果を有する。
【００２３】
第４態様によれば、地肌部分を示す画像を対応付けない場合と比較して、適切な学習データを得ることができる、という効果を有する。
【００２４】
第５態様によれば、補正範囲の形状に応じて同一の読取方法を推定する場合と比較して、適切な読取方法を推定することができる、という効果を有する。
【００２５】
第６態様によれば、補正範囲の形状に応じて治具の設置位置が同一の読取方法である場合と比較して、適切な読取方法を得ることができる、という効果を有する。
【００２６】
第７態様によれば、第１読取データから得られる補正範囲を示す画像と、第２読取データから得られる補正範囲を示す画像とを並べて表示させない場合と比較して、読取方法による補正範囲の違いを一見して把握することができる、という効果を有する。
【００２７】
第８態様によれば、第２読取データから得られる補正範囲を補正対象としない場合と比較して、余計な補正が行われることを防止することができる、という効果を有する。
【００２８】
第９態様によれば、多階調データから得られる補正範囲のみを考慮する場合と比較して、綴じ部に対して適切な補正を行うことができる、という効果を有する。
【００２９】
第１０態様によれば、学習データを用いない場合と比較して、適切な読取方法、並びに補正範囲及び影の形状を推定することができる、という効果を有する。
【００３０】
第１１態様によれば、学習用読取データから得られる補正範囲を示す画像に、補正範囲を小さくする読取方法、並びに当該読取方法を実施した場合における補正範囲及び影の形状を示す画像を対応付けない場合と比較して、適切な学習データを得ることができる、という効果を有する。
【図面の簡単な説明】
【００３１】
【図１】第１の実施形態に係る画像形成装置の電気的な構成の一例を示すブロック図である。
【図２】第１の実施形態に係る画像形成装置の機能的な構成の一例を示すブロック図である。
【図３】第１の実施形態に係る補正処理プログラムの処理の流れの一例を示すフローチャートである。
【図４】第１の実施形態に係る綴じ部の補正範囲の一例を示す図である。
【図５】第１の実施形態に係る推定結果画面の一例を示す正面図である。
【図６】第１の実施形態に係る補正範囲検出結果画面の一例を示す正面図である。
【図７】（Ａ）は、第１の実施形態に係る画像形成装置による第１読取方法の一例を示す側面図である。（Ｂ）は、第１の実施形態に係る画像形成装置による第２読取方法の一例を示す側面図である。
【図８】（Ａ）は、第１の実施形態に係る第１読取方法により得られた第１画像の一例を示す図である。（Ｂ）は、第１の実施形態に係る第２読取方法により得られた第２画像の一例を示す図である。
【図９】第１の実施形態に係る綴じ部の地肌色の学習例の説明に供する図である。
【図１０】第１の実施形態に係る推定結果画面の別の例を示す正面図である。
【図１１】第２の実施形態に係る画像形成装置の機能的な構成の一例を示すブロック図である。
【図１２】第２の実施形態に係る補正処理プログラムの処理の流れの一例を示すフローチャートである。
【図１３】第２の実施形態に係る綴じ部の補正範囲及び綴じ部の影の形状の一例を示す図である。
【図１４】第２の実施形態に係る推定結果画面の一例を示す正面図である。
【図１５】第２の実施形態に係る補正範囲検出結果画面の一例を示す正面図である。
【図１６】（Ａ）は、第２の実施形態に係る第１読取方法により得られた第１画像の一例を示す図である。（Ｂ）は、第２の実施形態に係る第２読取方法により得られた第２画像の一例を示す図である。
【発明を実施するための形態】
【００３２】
以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
【００３３】
[第１の実施形態]
図１は、第１の実施形態に係る画像形成装置１０Ａの電気的な構成の一例を示すブロック図である。
図１に示すように、本実施形態に係る画像形成装置１０Ａは、制御部１２と、記憶部１４と、表示部１６と、操作部１８と、画像形成部２０と、原稿読取部２２と、通信部２４と、を備えている。
【００３４】
制御部１２は、ＣＰＵ（Central Processing Unit）１２Ａ、ＲＯＭ（Read Only Memory）１２Ｂ、ＲＡＭ（Random Access Memory）１２Ｃ、及び入出力インターフェース（Ｉ／Ｏ）１２Ｄを備えており、これら各部がバスを介して各々接続されている。
【００３５】
Ｉ／Ｏ１２Ｄには、記憶部１４と、表示部１６と、操作部１８と、画像形成部２０と、原稿読取部２２と、通信部２４と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１２Ｄを介して、ＣＰＵ１２Ａと相互に通信可能とされる。
【００３６】
制御部１２は、画像形成装置１０Ａの一部の動作を制御するサブ制御部として構成されてもよいし、画像形成装置１０Ａの全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部１２の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部１２の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
【００３７】
記憶部１４としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１４には、本実施形態に係る補正処理プログラム１４Ａが記憶されている。なお、この補正処理プログラム１４Ａは、ＲＯＭ１２Ｂに記憶されていてもよい。また、記憶部１４には、後述する学習データ１４Ｂが記憶されている。これ学習データ１４ＢもＲＯＭ１２Ｂに記憶されていてもよい。
【００３８】
補正処理プログラム１４Ａは、例えば、画像形成装置１０Ａに予めインストールされていてもよい。補正処理プログラム１４Ａは、不揮発性の記憶媒体に記憶して、又はネットワークを介して配布して、画像形成装置１０Ａに適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。
【００３９】
表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有している。操作部１８には、テンキーやスタートキー等の各種の操作キーが設けられている。表示部１６及び操作部１８は、画像形成装置１０Ａのユーザから各種の指示を受け付ける。この各種の指示には、例えば、原稿の読み取りを開始させる指示や、原稿のコピーを開始させる指示等が含まれる。表示部１６は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。
【００４０】
原稿読取部２２は、画像形成装置１０Ａの上部に設けられた図示しない自動原稿送り装置の給紙台に置かれた原稿を１枚ずつ取り込み、取り込んだ原稿を光学的に読み取って画像情報を得る。あるいは、原稿読取部２２は、プラテンガラス等の原稿台に置かれた原稿を光学的に読み取って画像情報を得る。
【００４１】
画像形成部２０は、原稿読取部２２による読み取りによって得られた画像情報、又は、ネットワークを介して接続された外部のパーソナルコンピュータ（ＰＣ：Personal Computer）等から得られた画像情報に基づく画像を、紙等の記録媒体に形成する。なお、本実施形態においては、画像を形成する方式として、電子写真方式を例示して説明するが、インクジェット方式等の他の方式を採用してもよい。
【００４２】
画像を形成する方式が電子写真方式の場合、画像形成部２０は、感光体ドラム、帯電部、露光部、現像部、転写部、及び定着部を含む。帯電部は、感光体ドラムに電圧を印加して感光体ドラムの表面を帯電させる。露光部は、帯電部で帯電された感光体ドラムを画像情報に応じた光で露光することにより感光体ドラムに静電潜像を形成する。現像部は、感光体ドラムに形成された静電潜像をトナーにより現像することで感光体ドラムにトナー像を形成する。転写部は、感光体ドラムに形成されたトナー像を記録媒体に転写する。定着部は、記録媒体に転写されたトナー像を加熱及び加圧により定着させる。
【００４３】
通信部２４は、ネットワークに接続されており、外部のＰＣとの間でネットワークを介して通信が可能とされる。通信部２４とネットワークとは有線で接続されていてもよいし、無線で接続されていてもよい。なお、ネットワークには、一例として、インターネットや、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等が適用される。
【００４４】
ところで、上述したように、書籍の綴じ部を含む見開きページを原稿台に載置し、見開きページの読み取り時に綴じ部に発生する歪みを補正する場合に、補正範囲を小さくする読取方法については考慮されていない。この場合、本来補正すべきではない部分にも余計な補正が行われて、画質が劣化する可能性がある。
【００４５】
このため、本実施形態に係る画像形成装置１０ＡのＣＰＵ１２Ａは、記憶部１４に記憶されている補正処理プログラム１４ＡをＲＡＭ１２Ｃに書き込んで実行することにより、図２に示す各部として機能する。
【００４６】
図２は、第１の実施形態に係る画像形成装置１０Ａの機能的な構成の一例を示すブロック図である。
図２に示すように、本実施形態に係る画像形成装置１０ＡのＣＰＵ１２Ａは、変換部３０、検出部３２、推定部３４、表示制御部３６、及び補正部３８として機能する。表示制御部３６は、制御部の一例である。また、記憶部１４には、上述したように、学習データ１４Ｂが記憶されている。
【００４７】
本実施形態に係る変換部３０は、書籍の綴じ部を含む見開きページを読み取って得られる第１読取データを多階調データに変換する。ここでいう書籍とは、図書や雑誌等が含まれ、複数枚の紙の一方の端部が綴じられている状態のものである。また、多階調データとは、一例として、グレースケール等で表されるデータである。この多階調データへの変換には、公知の手法が用いられる。
【００４８】
本実施形態に係る検出部３２は、一例として、後述の図４に示すように、変換部３０により変換されて得られた多階調データから、綴じ部の補正範囲を検出する。
【００４９】
本実施形態に係る推定部３４は、検出部３２により検出された綴じ部の補正範囲から、綴じ部の補正範囲を小さくする読取方法、及び当該読取方法を実施した場合における綴じ部の補正範囲を推定する。これらの読取方法及び補正範囲の推定は、一例として、機械学習により得られた学習データ１４Ｂを用いて行われる。推定部３４は、検出部３２により検出された綴じ部の補正範囲の形状に応じて異なる読取方法を推定する。この読取方法は、一例として、後述の図５に示すように、書籍を上から押圧する治具を用いた方法であり、かつ、綴じ部の補正範囲の形状に応じて治具の設置位置が異なる方法である。
【００５０】
本実施形態に係る表示制御部３６は、一例として、後述の図５に示すように、推定部３４により推定された綴じ部の補正範囲を示す画像を、読取方法と共に表示部１６に表示させる制御を行う。
【００５１】
ここで、ユーザが表示部１６に表示された読取方法を用いて見開きページについて再度の読み取りを行った場合、変換部３０は、当該見開きページを再度読み取って得られる第２読取データを多階調データに変換する。
【００５２】
この場合、検出部３２は、第２読取データを変換して得られた多階調データから綴じ部の補正範囲を検出する。表示制御部３６は、一例として、後述の図６に示すように、第１読取データから得られる綴じ部の補正範囲を示す画像と、第２読取データから得られる綴じ部の補正範囲を示す画像とを並べて表示部１６に表示させる制御を行う。
【００５３】
本実施形態に係る補正部３８は、第２読取データから得られる綴じ部の補正範囲を補正対象として、第２読取データを補正し、補正後の第２読取データに対応する画像を後段に出力する。
【００５４】
次に、図３を参照して、第１の実施形態に係る画像形成装置１０Ａの作用を説明する。なお、図３は、第１の実施形態に係る補正処理プログラム１４Ａの処理の流れの一例を示すフローチャートである。
【００５５】
まず、画像形成装置１０Ａに対して、一例として、ユーザにより、書籍の綴じ部を含む見開きページが原稿台の上に載置され、かつ、書籍スキャンモードの実行の開始が指示されると、補正処理プログラム１４Ａが起動され、以下の各ステップを実行する。
【００５６】
図３のステップ１００では、変換部３０が、原稿読取部２２による見開きページの読み取りにより第１読取データを取得する。
【００５７】
ステップ１０２では、変換部３０が、ステップ１００で取得した第１読取データを多階調データに変換する。
【００５８】
ステップ１０４では、検出部３２が、一例として、図４に示すように、ステップ１０２で変換した多階調データから、綴じ部の補正範囲を検出する。
【００５９】
図４は、第１の実施形態に係る綴じ部の補正範囲の一例を示す図である。
図４に示すように、多階調データにおいて矩形で囲まれた範囲が綴じ部の補正範囲として検出される。
【００６０】
例えば、見開きページを原稿台に載置すると、綴じ部の浮き上がりが発生する。この綴じ部の浮き上がりは、見開きページの幅方向における中央部付近が最も大きくなり、そこから左右の両側に向けて徐々に小さくなり、ページ面が原稿台に接触して消滅する。この浮き上がりによって多階調データには、対応する帯状部分が出現する。この帯状部分は、幅方向における中央部付近の濃度が最も濃く（高く）なり、そこから左右の両側に向けて濃度が徐々に淡く（低く）なる。見開きページの地色が白の場合、ページ面が原稿台と接触する位置を境に帯状部分も白くなり消滅する。
【００６１】
従って、検出部３２は、多階調データにおける帯状部分を、綴じ部の補正範囲として検出する。具体的には、多階調データにおいて濃度が基準濃度よりも濃い領域を、綴じ部の補正範囲として検出する。
【００６２】
ステップ１０６では、推定部３４が、ステップ１０４で検出した綴じ部の補正範囲から、綴じ部の補正範囲を小さくする読取方法、及び当該読取方法を実施した場合における綴じ部の補正範囲を推定する。具体的には、上述したように、機械学習により得られた学習データ（すなわち学習モデル）１４Ｂを用いて行われる。学習データ１４Ｂは、一例として、１冊以上の書籍の綴じ部を含む見開きページを予め定められた状態（例えば、ある部分が浮いている状態）で読み取って得られる学習用読取データ（以下、「学習用読取画像」という。）を用いて学習されたデータである。具体的には、この学習用読取画像から検出される綴じ部の補正範囲を示す画像に、綴じ部の補正範囲を小さくする読取方法、及び当該読取方法を実施した場合における綴じ部の補正範囲を示す画像を対応付けて学習されたデータである。この学習データ１４Ｂの具体的な生成方法については後述する。
【００６３】
ステップ１０８では、表示制御部３６が、一例として、図５に示すように、ステップ１０６で推定した綴じ部の補正範囲を示す画像を、読取方法と共に表示部１６に表示させる制御を行う。
【００６４】
図５は、第１の実施形態に係る推定結果画面１６Ａの一例を示す正面図である。
図５に示す推定結果画面１６Ａは、表示部１６に表示される。
【００６５】
図５に示す推定結果画面１６Ａには、ステップ１０４で検出した綴じ部の補正範囲を示す画像５６Ａ、ステップ１０６で推定した読取方法の説明図、及び当該読取方法を実施した場合における綴じ部の補正範囲を示す画像５６Ｂが含まれている。
【００６６】
画像５６Ａは、第１読取データから得られた綴じ部の補正範囲Ｒ１を示す画像である。この補正範囲Ｒ１の形状は、書籍の手前側（図中下側）が浮き上がっていることを示している。この場合、学習データ１４Ｂを用いて、この補正範囲Ｒ１の形状に合わせて、補正範囲を小さくする読取方法が推定される。具体的には、書籍の手前側が浮いているため、書籍の手前側を押圧しながら読み取りを行う読取方法が推定される。この場合、推定結果画面１６Ａには、一例として、治具を用いて書籍の手前側を押圧しながら読み取りを行う読取方法の説明図が表示される。この説明図によれば、原稿台５２の上に載置された書籍５６の手前側が治具５０Ａにより押圧され、治具５０Ａの上側を原稿台カバー５４によって押圧している状態を表している。また、推定結果画面１６Ａには、この説明図と共に、一例として、「手前が浮いています。治具を使って下図のように書籍の手前側を押圧して読み取りをすることで補正範囲が減少します。」という説明文も表示される。画像５６Ｂは、推定結果画面１６Ａに表示された読取方法を実施した場合における綴じ部の補正範囲Ｒ２を示す画像である。画像５６Ｂの補正範囲Ｒ２は、画像５６Ａの補正範囲Ｒ１と比較して、小さくなっていることが分かる。また、推定結果画面１６Ａには、「再読み取りをしますか？」というメッセージと共に、「はい」ボタン及び「いいえ」ボタンが押圧操作可能に表示される。
【００６７】
ステップ１１０では、表示制御部３６が、一例として、上述の図５に示す推定結果画面１６Ａに表示された読取方法で再読み取りを行うか否かを判定する。再読み取りを行うと判定した場合（肯定判定の場合）、つまり、推定結果画面１６Ａで「はい」ボタンが押圧操作されたと判定した場合、ステップ１１２に移行する。一方、再読み取りを行わないと判定した場合（否定判定の場合）、つまり、推定結果画面１６Ａで「いいえ」ボタンが押圧操作されたと判定した場合、ステップ１２６に移行する。
【００６８】
ステップ１１２では、変換部３０が、一例として、図５に示す推定結果画面１６Ａに表示された読取方法を用いて、原稿読取部２２による見開きページの再読み取りにより第２読取データを取得する。
【００６９】
ステップ１１４では、変換部３０が、ステップ１１２で取得した第２読取データを多階調データに変換する。
【００７０】
ステップ１１６では、検出部３２が、ステップ１１４で変換した多階調データから、綴じ部の補正範囲を検出する。
【００７１】
ステップ１１８では、表示制御部３６が、一例として、図６に示すように、第１読取データから得られる綴じ部の補正範囲を示す画像（前回）と、第２読取データから得られる綴じ部の補正範囲を示す画像（今回）とを並べて表示部１６に表示させる制御を行う。
【００７２】
図６は、第１の実施形態に係る補正範囲検出結果画面１６Ｂの一例を示す正面図である。
図６に示す補正範囲検出結果画面１６Ｂは、表示部１６に表示される。
【００７３】
図６に示す補正範囲検出結果画面１６Ｂには、ステップ１０４で検出した綴じ部の補正範囲Ｒ１を示す画像５６Ａ（前回）、及び、ステップ１１６で検出した綴じ部の補正範囲Ｒ３を示す画像５６Ｃ（今回）が含まれている。また、補正範囲検出結果画面１６Ｂには、「再読み取りしますか？」というメッセージと共に、「はい」ボタン及び「いいえ」ボタンが押圧操作可能に表示される。
【００７４】
ステップ１２０では、表示制御部３６が、一例として、上述の図６に示す補正範囲検出結果画面１６Ｂに表示された補正範囲Ｒ３に対して再読み取りが不要か否かを判定する。再読み取りが不要と判定した場合（肯定判定の場合）、つまり、補正範囲検出結果画面１６Ｂで「いいえ」ボタンが押圧操作されたと判定した場合、ステップ１２２に移行する。一方、再読み取りが必要と判定した場合（否定判定の場合）、つまり、補正範囲検出結果画面１６Ｂで「はい」ボタンが押圧操作されたと判定した場合、ステップ１１２に戻り処理を繰り返す。
【００７５】
ステップ１２２では、補正部３８が、一例として、上述の図６に示す補正範囲検出結果画面１６Ｂに表示された補正範囲Ｒ３、すなわち、第２読取データから得られた綴じ部の補正範囲Ｒ３を補正対象として、第２読取データを補正する。
【００７６】
ステップ１２４では、補正部３８が、補正後の第２読取データに対応する画像を後段に出力し、本補正処理プログラム１４Ａによる一連の処理を終了する。なお、出力先としては、例えば、画像形成部２０でもよいし、記憶部１４でもよい。
【００７７】
一方、ステップ１２６では、補正部３８が、一例として、上述の図５に示す推定結果画面１６Ａに表示された補正範囲Ｒ１、すなわち、第１読取データから得られた綴じ部の補正範囲Ｒ１を補正対象として、第１読取データを補正する。
【００７８】
ステップ１２８では、補正部３８が、補正後の第１読取データに対応する画像を後段に出力し、本補正処理プログラム１４Ａによる一連の処理を終了する。
【００７９】
次に、図７（Ａ）、図７（Ｂ）、図８（Ａ）、及び図８（Ｂ）を参照して、書籍の綴じ部の補正範囲を小さくする読取方法の学習例について説明する。なお、ここでは、治具５０Ａを用いない通常の読取方法を第１読取方法と称し、治具５０Ａを用いて補正範囲を小さくする読取方法を第２読取方法と称して説明する。
【００８０】
図７（Ａ）は、第１の実施形態に係る画像形成装置１０Ａによる第１読取方法の一例を示す側面図である。
図７（Ａ）に示す第１読取方法では、原稿台５２の上に載置された書籍５８の奥側が原稿台カバー５４により押圧され、書籍５８の手前側が浮いている状態を示している。書籍５８は、学習用の書籍である。なお、書籍５８の右側（原稿台カバー５４の開閉機構（図示省略）から遠い側）を手前側とし、書籍５８の左側（原稿台カバー５４の開閉機構に近い側）を奥側とする。
【００８１】
図７（Ｂ）は、第１の実施形態に係る画像形成装置１０Ａによる第２読取方法の一例を示す側面図である。
図７（Ｂ）に示す第２読取方法では、原稿台５２の上に載置された書籍５８の手前側が治具５０Ａにより押圧され、治具５０Ａの上側を原稿台カバー５４によって押圧している状態を示している。
【００８２】
図８（Ａ）は、第１の実施形態に係る第１読取方法により得られた第１画像５８Ａの一例を示す図である。
図８（Ａ）に示す第１画像５８Ａは、書籍５８の綴じ部の補正範囲Ｒ１１を示す画像である。この補正範囲Ｒ１１は、書籍５８の見開きページを第１読取方法により読み取って得られた学習用読取画像から検出される。
【００８３】
図８（Ｂ）は、第１の実施形態に係る第２読取方法により得られた第２画像５８Ｂの一例を示す図である。
図８（Ｂ）に示す第２画像５８Ｂは、書籍５８の綴じ部の補正範囲Ｒ１２を示す画像である。第２画像５８Ｂの補正範囲Ｒ１２は、第１画像５８Ａの補正範囲Ｒ１１と比較して、小さくなっていることが分かる。
【００８４】
読取方法の学習に際して、書籍５８の見開きページ毎に、上記２種類の第１読取方法及び第２読取方法を用いた読み取りを実施し、書籍５８の各見開きページについて、第１画像５８Ａ及び第２画像５８Ｂのペアを取得する。このとき、推定精度の観点から、書籍５８を読み取る向き（例えば、縦向き、横向き等）を変化させ、各向きについて、第１画像５８Ａ及び第２画像５８Ｂのペアを取得することが望ましい。また、書籍５８の浮いている部分（例えば、手前側部分、右側部分、左側部分、奥側部分等）を変化させ、各部分について、第１画像５８Ａ及び第２画像５８Ｂのペアを取得することが望ましい。
【００８５】
そして、第１画像５８Ａの補正範囲Ｒ１１の位置、及び、第２画像５８Ｂの補正範囲Ｒ１２の位置を各々指定し、第１画像５８Ａに対して、第２画像５８Ｂ及び第２読取方法を対応付ける。対応付けた第１画像５８Ａ、第２画像５８Ｂ、及び第２読取方法を学習用データとして機械学習させて、上述の図２に示す学習データ１４Ｂを生成する。この機械学習の手法は、画像認識に用いられる手法であればよく、特に限定されるものではないが、一例として、ニューラルネットワーク等が適用される。
【００８６】
なお、第１画像５８Ａを一定の角度範囲（例えば５度以上６０度以下）で回転させ、回転させた角度を対応付けて機械学習させることで、書籍が斜めに置かれた場合でも、適切な第２画像及び第２読取方法が推定されるにようにしておくことが望ましい。
【００８７】
また、第２画像５８Ｂの補正範囲Ｒ１２に対して拡大や濃度補正等を行う場合、第１画像５８Ａ及び第２画像５８Ｂのペアに補正率及び補正する位置を対応付けて機械学習することが望ましい。
【００８８】
また、学習データ１４Ｂには、書籍５８の読取画像から検出された見開きページの地肌部分を示す画像が対応付けられていてもよい。書籍５８の地肌部分に関しては、書籍の種類によって地肌となる部分が異なっている。この場合、一例として、図９に示すように、レイアウトの異なる様々な種類の書籍（具体的には、辞書、雑誌、教科書、・・・）について綴じ部の地肌色を機械学習し、読み取り時に綴じ部の地肌色を推定し、綴じ部の補正に用いるようにする。
【００８９】
図９は、第１の実施形態に係る綴じ部の地肌色の学習例の説明に供する図である。
【００９０】
（Ｓ１）では、ある書籍の見開きページを第１読取方法により読み取って得られた学習用読取画像６０を示している。この学習用読取画像６０には、綴じ部６０Ａが含まれている。
【００９１】
（Ｓ２）では、学習用読取画像６０を綴じ部６０Ａに対して垂直に分割し、複数の行Ｌ１、Ｌ２、・・・を取得する。
【００９２】
（Ｓ３）では、行Ｌ１について、左ページの地肌部分ＪＬ１及び地肌補正範囲ＨＬ１を指定し、かつ、右ページの地肌部分ＪＲ１及び地肌補正範囲ＨＲ１を指定し、左右ページ各々の地肌部分及び地肌補正範囲を機械学習させる。また、同様に、行Ｌ２について、左ページの地肌部分ＪＬ２及び地肌補正範囲ＨＬ２を指定し、かつ、右ページの地肌部分ＪＲ２及び地肌補正範囲ＨＲ２を指定し、左右ページ各々の地肌部分及び地肌補正範囲を機械学習させる。他の行についても同様にして左右ページ各々の地肌部分及び地肌補正範囲を機械学習させる。
【００９３】
ここで、上記では、綴じ部の補正範囲を小さくする読取方法として、治具を用いたが、別の例として、図１０に示すようにユーザの両手を用いるようにしてもよい。
【００９４】
図１０は、第１の実施形態に係る推定結果画面１６Ａの別の例を示す正面図である。
図１０に示す推定結果画面１６Ａは、上述の図３に示すステップ１０８において表示部１６に表示される。
【００９５】
図１０に示す推定結果画面１６Ａには、上述の図５に示す例と同様に、ステップ１０４で検出した綴じ部の補正範囲を示す画像５６Ａ、ステップ１０６で推定した読取方法の説明図、及び当該読取方法を実施した場合における綴じ部の補正範囲を示す画像５６Ｂが含まれている。
【００９６】
画像５６Ａは、図５に示す例と同様に、第１読取データから得られた綴じ部の補正範囲Ｒ１を示す画像である。図１０に示す推定結果画面１６Ａには、治具に代えて、両手を用いて書籍の手前側を押圧しながら読み取りを行う読取方法の説明図が表示される。この説明図によれば、原稿台５２の上に載置された書籍５６の手前側を両手５０Ｂによって押圧している状態を表している。また、図１０に示す推定結果画面１６Ａには、この説明図と共に、一例として、「手前が浮いています。両手を使って下図のように書籍の手前側を押圧して読み取りをすることで補正範囲が減少します。」という説明文も表示される。画像５６Ｂは、図５に示す例と同様に、推定結果画面１６Ａに表示された読取方法を実施した場合における綴じ部の補正範囲Ｒ２を示す画像である。画像５６Ｂの補正範囲Ｒ２は、画像５６Ａの補正範囲Ｒ１と比較して、小さくなっていることが分かる。また、推定結果画面１６Ａには、「再読み取りをしますか？」というメッセージと共に、「はい」ボタン及び「いいえ」ボタンが押圧操作可能に表示される。
【００９７】
なお、両手を用いる場合も、治具を用いる場合と同様に、書籍５８の各見開きページについて、上述の図８（Ａ）及び図８（Ｂ）に示すように、第１画像５８Ａ及び第２画像５８Ｂのペアを取得し、機械学習を行うことにより、学習データ１４Ｂが生成される。
【００９８】
また、ユーザの両手を用いて書籍を押圧する場合、ユーザは両手がふさがってしまうため、再読み取りに際して開始ボタンを操作することができない場合がある。このため、画像形成装置１０Ａには、自動的に再読み取りの開始を実行するタイマ機能を備えておくことが望ましい。例えば、図１０に示す「はい」ボタンが押圧操作されてから、一定時間後に自動的に再読み取りの実行を開始するようにセットされる。
【００９９】
このように本実施形態によれば、書籍の第１読取データから得られる多階調データを用いて、綴じ部の補正範囲を小さくする読取方法及び当該読取方法を実施した場合における綴じ部の補正範囲を示す画像が表示される。ユーザが表示された読取方法を実施することで、綴じ部の補正範囲を小さくした読取画像が取得され、この読取画像に対して余計な補正が行われることが防止される。
【０１００】
[第２の実施形態]
上記第１の実施形態では、多階調データを用いて綴じ部の補正範囲を小さくする読取方法及び当該読取方法を実施した場合における綴じ部の補正範囲を示す画像を表示する形態について説明した。本実施形態では、多階調データ及び二値データを用いて綴じ部の補正範囲を小さくする読取方法、並びに当該読取方法を実施した場合における綴じ部の補正範囲及び綴じ部の影の形状を示す画像を表示する形態について説明する。
【０１０１】
図１１は、第２の実施形態に係る画像形成装置１０Ｂの機能的な構成の一例を示すブロック図である。
図１１に示すように、本実施形態に係る画像形成装置１０ＢのＣＰＵ１２Ａは、変換部４０、検出部４２、推定部４４、表示制御部４６、及び補正部４８として機能する。表示制御部４６は、制御部の一例である。また、記憶部１４には、学習データ１４Ｃが記憶されている。
【０１０２】
本実施形態に係る変換部４０は、書籍の綴じ部を含む見開きページを読み取って得られる第１読取データを多階調データ及び二値データに変換する。なお、二値データとは、白黒で表されるデータである。この二値データへの変換には、公知の手法が用いられる。
【０１０３】
本実施形態に係る検出部４２は、一例として、後述の図１３に示すように、変換部４０により変換されて得られた多階調データから綴じ部の補正範囲を検出し、二値データから綴じ部の影の形状を検出する。
【０１０４】
本実施形態に係る推定部４４は、検出部４２により検出された綴じ部の補正範囲及び綴じ部の影の形状から、綴じ部の補正範囲を小さくする読取方法、並びに当該読取方法を実施した場合における綴じ部の補正範囲及び綴じ部の影の形状を推定する。これらの読取方法、補正範囲、及び影の形状の推定は、一例として、機械学習により得られた学習データ１４Ｃを用いて行われる。推定部４４は、検出部４２により検出された綴じ部の補正範囲の形状及び綴じ部の影の形状に応じて異なる読取方法を推定する。この読取方法は、一例として、後述の図１４に示すように、書籍を上から押圧する治具を用いた方法であり、かつ、綴じ部の補正範囲の形状及び綴じ部の影の形状に応じて治具の設置位置が異なる方法である。
【０１０５】
本実施形態に係る表示制御部４６は、一例として、後述の図１４に示すように、推定部４４により推定された綴じ部の補正範囲及び綴じ部の影の形状を示す画像を、読取方法と共に表示部１６に表示させる制御を行う。
【０１０６】
ここで、ユーザが表示部１６に表示された読取方法を用いて見開きページについて再度の読み取りを行った場合、変換部４０は、当該見開きページを再度読み取って得られる第２読取データを多階調データ及び二値データに変換する。
【０１０７】
この場合、検出部４２は、第２読取データを変換して得られた多階調データから綴じ部の補正範囲を検出し、二値データから綴じ部の影の形状を検出する。表示制御部４６は、一例として、後述の図１５に示すように、第１読取データから得られる綴じ部の補正範囲及び綴じ部の影の形状を示す画像と、第２読取データから得られる綴じ部の補正範囲及び綴じ部の影の形状を示す画像とを並べて表示部１６に表示させる制御を行う。
【０１０８】
本実施形態に係る補正部４８は、第２読取データから得られる綴じ部の補正範囲及び綴じ部の影の形状を補正対象として、第２読取データを補正し、補正後の第２読取データに対応する画像を後段に出力する。
【０１０９】
次に、図１２を参照して、第２の実施形態に係る画像形成装置１０Ｂの作用を説明する。なお、図１２は、第２の実施形態に係る補正処理プログラム１４Ａの処理の流れの一例を示すフローチャートである。
【０１１０】
まず、画像形成装置１０Ｂに対して、一例として、ユーザにより、書籍の綴じ部を含む見開きページが原稿台の上に載置され、かつ、書籍スキャンモードの実行の開始が指示されると、補正処理プログラム１４Ａが起動され、以下の各ステップを実行する。
【０１１１】
図１２のステップ１３０では、変換部４０が、原稿読取部２２による見開きページの読み取りにより第１読取データを取得する。
【０１１２】
ステップ１３２では、変換部４０が、ステップ１３０で取得した第１読取データを多階調データ及び二値データに変換する。
【０１１３】
ステップ１３４では、検出部４２が、一例として、図１３に示すように、ステップ１３２で変換した多階調データから綴じ部の補正範囲を検出し、二値データから綴じ部の影の形状を検出する。
【０１１４】
図１３は、第２の実施形態に係る綴じ部の補正範囲及び綴じ部の影の形状の一例を示す図である。
図１３に示すように、二値データにおいて黒い矩形で囲まれた範囲が綴じ部の影の形状として検出され、多階調データにおいて矩形で囲まれた範囲が綴じ部の補正範囲として検出される。
【０１１５】
ステップ１３６では、推定部４４が、ステップ１３４で検出した綴じ部の補正範囲及び綴じ部の影の形状から、綴じ部の補正範囲を小さくする読取方法、当該読取方法を実施した場合における綴じ部の補正範囲、及び綴じ部の影の形状を推定する。具体的には、上述したように、機械学習により得られた学習データ（すなわち学習モデル）１４Ｃを用いて行われる。学習データ１４Ｃは、一例として、１冊以上の書籍の綴じ部を含む見開きページを予め定められた状態（例えば、ある部分が浮いている状態）で読み取って得られる学習用読取画像を用いて学習されたデータである。具体的には、この学習用読取画像から検出される綴じ部の補正範囲を示す画像に、綴じ部の補正範囲を小さくする読取方法、並びに当該読取方法を実施した場合における綴じ部の補正範囲及び綴じ部の影の形状を示す画像を対応付けて学習されたデータである。
【０１１６】
ステップ１３８では、表示制御部３６が、一例として、図１４に示すように、ステップ１３６で推定した綴じ部の補正範囲及び綴じ部の影の形状を示す画像を、読取方法と共に表示部１６に表示させる制御を行う。
【０１１７】
図１４は、第２の実施形態に係る推定結果画面１６Ｃの一例を示す正面図である。
図１４に示す推定結果画面１６Ｃは、表示部１６に表示される。
【０１１８】
図１４に示す推定結果画面１６Ｃには、ステップ１３４で検出した綴じ部の補正範囲及び綴じ部の影の形状を示す画像５６Ｄ、ステップ１３６で推定した読取方法の説明図、並びに当該読取方法を実施した場合における綴じ部の補正範囲及び綴じ部の影の形状を示す画像５６Ｅが含まれている。
【０１１９】
画像５６Ｄは、第１読取データから得られた綴じ部の補正範囲Ｒ２１及び綴じ部の影Ｄ２１を示す画像である。補正範囲Ｒ２１及び影Ｄ２１の各々の形状は、書籍の手前側（図中下側）が浮き上がっていることを示している。この場合、学習データ１４Ｃを用いて、補正範囲Ｒ２１及び影Ｄ２１の各々の形状に合わせて、補正範囲を小さくする読取方法が推定される。具体的には、書籍の手前側が浮いているため、書籍の手前側を押圧しながら読み取りを行う読取方法が推定される。この場合、推定結果画面１６Ｃには、一例として、治具を用いて書籍の手前側を押圧しながら読み取りを行う読取方法の説明図が表示される。この説明図によれば、原稿台５２の上に載置された書籍５６の手前側が治具５０Ａにより押圧され、治具５０Ａの上側を原稿台カバー５４によって押圧している状態を表している。また、推定結果画面１６Ｃには、この説明図と共に、一例として、「手前が浮いています。治具を使って下図のように書籍の手前側を押圧して読み取りをすることで補正範囲が減少します。」という説明文も表示される。画像５６Ｅは、推定結果画面１６Ｃに表示された読取方法を実施した場合における綴じ部の補正範囲Ｒ２２及び綴じ部の影Ｄ２２を示す画像である。画像５６Ｅの補正範囲Ｒ２２及び影Ｄ２２は、画像５６Ｄの補正範囲Ｒ２１及び影Ｄ２１と比較して、小さくなっていることが分かる。また、推定結果画面１６Ｃには、「再読み取りをしますか？」というメッセージと共に、「はい」ボタン及び「いいえ」ボタンが押圧操作可能に表示される。
【０１２０】
ステップ１４０では、表示制御部４６が、一例として、上述の図１４に示す推定結果画面１６Ｃに表示された読取方法で再読み取りを行うか否かを判定する。再読み取りを行うと判定した場合（肯定判定の場合）、つまり、推定結果画面１６Ｃで「はい」ボタンが押圧操作されたと判定した場合、ステップ１４２に移行する。一方、再読み取りを行わないと判定した場合（否定判定の場合）、つまり、推定結果画面１６Ｃで「いいえ」ボタンが押圧操作されたと判定した場合、ステップ１５６に移行する。
【０１２１】
ステップ１４２では、変換部４０が、一例として、図１４に示す推定結果画面１６Ｃに表示された読取方法を用いて、原稿読取部２２による見開きページの再読み取りにより第２読取データを取得する。
【０１２２】
ステップ１４４では、変換部４０が、ステップ１４２で取得した第２読取データを多階調データ及び二値データに変換する。
【０１２３】
ステップ１４６では、検出部４２が、ステップ１４４で変換した多階調データから綴じ部の補正範囲を検出し、二値データから綴じ部の影の形状を検出する。
【０１２４】
ステップ１４８では、表示制御部４６が、一例として、図１５に示すように、第１読取データから得られる綴じ部の補正範囲及び影の形状を示す画像（前回）と、第２読取データから得られる綴じ部の補正範囲及び影の形状を示す画像（今回）とを並べて表示部１６に表示させる制御を行う。
【０１２５】
図１５は、第２の実施形態に係る補正範囲検出結果画面１６Ｄの一例を示す正面図である。
図１５に示す補正範囲検出結果画面１６Ｄは、表示部１６に表示される。
【０１２６】
図１５に示す補正範囲検出結果画面１６Ｄには、ステップ１３４で検出した綴じ部の補正範囲Ｒ２１及び影Ｄ２１を示す画像５６Ｄ（前回）、及び、ステップ１４６で検出した綴じ部の補正範囲Ｒ２３及び影Ｄ２３を示す画像５６Ｆ（今回）が含まれている。また、補正範囲検出結果画面１６Ｄには、「再読み取りしますか？」というメッセージと共に、「はい」ボタン及び「いいえ」ボタンが押圧操作可能に表示される。
【０１２７】
ステップ１５０では、表示制御部４６が、一例として、上述の図１５に示す補正範囲検出結果画面１６Ｄに表示された補正範囲Ｒ２３及び影Ｄ２３に対して再読み取りが不要か否かを判定する。再読み取りが不要と判定した場合（肯定判定の場合）、つまり、補正範囲検出結果画面１６Ｄで「いいえ」ボタンが押圧操作されたと判定した場合、ステップ１５２に移行する。一方、再読み取りが必要と判定した場合（否定判定の場合）、つまり、補正範囲検出結果画面１６Ｄで「はい」ボタンが押圧操作されたと判定した場合、ステップ１４２に戻り処理を繰り返す。
【０１２８】
ステップ１５２では、補正部４８が、一例として、上述の図１５に示す補正範囲検出結果画面１６Ｄに表示された補正範囲Ｒ２３及び影Ｄ２３、すなわち、第２読取データから得られた綴じ部の補正範囲Ｒ２３及び影Ｄ２３を補正対象として、第２読取データを補正する。
【０１２９】
ステップ１５４では、補正部４８が、補正後の第２読取データに対応する画像を後段に出力し、本補正処理プログラム１４Ａによる一連の処理を終了する。なお、出力先としては、例えば、画像形成部２０でもよいし、記憶部１４でもよい。
【０１３０】
一方、ステップ１５６では、補正部４８が、一例として、上述の図１４に示す推定結果画面１６Ｃに表示された補正範囲Ｒ２１及び影Ｄ２１、すなわち、第１読取データから得られた綴じ部の補正範囲Ｒ２１及び影Ｄ２１を補正対象として、第１読取データを補正する。
【０１３１】
ステップ１５８では、補正部４８が、補正後の第１読取データに対応する画像を後段に出力し、本補正処理プログラム１４Ａによる一連の処理を終了する。
【０１３２】
次に、図１６（Ａ）及び図１６（Ｂ）を参照して、書籍の綴じ部の補正範囲を小さくする読取方法の学習例について説明する。なお、第１の実施形態と同様に、治具５０Ａを用いない通常の読取方法を第１読取方法（図７（Ａ）参照）と称し、治具５０Ａを用いて補正範囲を小さくする読取方法を第２読取方法（図７（Ｂ）参照）と称して説明する。
【０１３３】
図１６（Ａ）は、第２の実施形態に係る第１読取方法により得られた第１画像５８Ｃの一例を示す図である。
図１６（Ａ）に示す第１画像５８Ｃは、書籍５８の綴じ部の補正範囲Ｒ３１及び影Ｄ３１を示す画像である。補正範囲Ｒ３１及び影Ｄ３１は、書籍５８の見開きページを第１読取方法により読み取って得られた学習用読取画像から検出される。
【０１３４】
図１６（Ｂ）は、第２の実施形態に係る第２読取方法により得られた第２画像５８Ｄの一例を示す図である。
図１６（Ｂ）に示す第２画像５８Ｄは、書籍５８の綴じ部の補正範囲Ｒ３２及び影Ｄ３２を示す画像である。第２画像５８Ｄの補正範囲Ｒ３２及び影Ｄ３２は、第１画像５８Ｃの補正範囲Ｒ３１及び影Ｄ３２と比較して、小さくなっていることが分かる。
【０１３５】
第１の実施形態と同様に、読取方法の学習に際して、書籍５８の見開きページ毎に、上記２種類の第１読取方法及び第２読取方法を用いた読み取りを実施し、書籍５８の各見開きページについて、第１画像５８Ｃ及び第２画像５８Ｄのペアを取得する。このとき、推定精度の観点から、書籍５８を読み取る向き（例えば、縦向き、横向き等）を変化させ、各向きについて、第１画像５８Ｃ及び第２画像５８Ｄのペアを取得することが望ましい。また、書籍５８の浮いている部分（例えば、手前側部分、右側部分、左側部分、奥側部分等）を変化させ、各部分について、第１画像５８Ｃ及び第２画像５８Ｄのペアを取得することが望ましい。
【０１３６】
そして、第１画像５８Ｃの補正範囲Ｒ３１の位置、及び、第２画像５８Ｄの補正範囲Ｒ３２の位置を各々指定し、第１画像５８Ｃに対して、第２画像５８Ｄ及び第２読取方法を対応付ける。対応付けた第１画像５８Ｃ、第２画像５８Ｄ、及び第２読取方法を学習用データとして機械学習させて、上述の図１１に示す学習データ１４Ｃを生成する。
【０１３７】
このように本実施形態によれば、書籍の第１読取データから得られる多階調データ及び二値データを用いて、綴じ部の補正範囲を小さくする読取方法、並びに当該読取方法を実施した場合における綴じ部の補正範囲及び綴じ部の影の形状を示す画像が表示される。ユーザが表示された読取方法を実施することで、綴じ部の補正範囲及び影の形状を小さくした読取画像が取得され、この読取画像に対して余計な補正が行われることが防止される。
【０１３８】
以上、実施形態として画像形成装置を例示して説明した。実施形態は、画像形成装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。
【０１３９】
その他、上記実施形態で説明した画像形成装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
【０１４０】
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【０１４１】
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
【符号の説明】
【０１４２】
１０Ａ、１０Ｂ画像形成装置
１２   制御部
１２Ａ ＣＰＵ
１２Ｂ ＲＯＭ
１２Ｃ ＲＡＭ
１２Ｄ Ｉ／Ｏ
１４   記憶部
１４Ａ 補正処理プログラム
１４Ｂ、１４Ｃ学習データ
１６   表示部
１６Ａ、１６Ｃ推定結果画面
１６Ｂ、１６Ｄ補正範囲検出結果画面
１８   操作部
２０   画像形成部
２２   原稿読取部
２４   通信部
３０、４０    変換部
３２、４２    検出部
３４、４４    推定部
３６、４６    表示制御部
３８、４８    補正部
【図１】
2020141274.tif 000003
【図２】
2020141274.tif 000004
【図３】
2020141274.tif 000005
【図４】
2020141274.tif 000006
【図５】
2020141274.tif 000007
【図６】
2020141274.tif 000008
【図７】
2020141274.tif 000009
【図８】
2020141274.tif 000010
【図９】
2020141274.tif 000011
【図１０】
2020141274.tif 000012
【図１１】
2020141274.tif 000013
【図１２】
2020141274.tif 000014
【図１３】
2020141274.tif 000015
【図１４】
2020141274.tif 000016
【図１５】
2020141274.tif 000017
【図１６】
2020141274.tif 000018