(57)【要約】【課題】画像が形成された複数の記録媒体が連続してなる一連の画像について、該一連の画像が内容的に個々の記録媒体に分割可能なものか、または内容的に分割すべきでないものか、該一連の画像の全体から判断する場合と比較してより迅速に判断することが可能な情報処理装置を提供すること。【解決手段】各々画像が形成された複数の記録媒体の画像情報が連続してなる連続画像情報を受け付ける受付部と、連続画像情報の記録媒体同士の境界を中心として予め定められた幅の範囲の少なくとも一部の画像情報を判定領域として設定する設定部と、判定領域に対し予め定められた画像処理を施し複数の記録媒体の画像情報同士が内容的に独立したものか、または連続したものかを判定する判定部と、判定部で独立したものと判定された場合には連続画像情報を分離して出力し、連続したものと判定された場合には連続画像情報を一体として出力する出力部と、を含む。【選択図】図６
2020127121.tif 000002
【特許請求の範囲】
【請求項１】
各々画像が形成された複数の記録媒体の画像情報が連続してなる連続画像情報を受け付ける受付部と、
前記連続画像情報の前記記録媒体同士の境界を中心として予め定められた幅の範囲の少なくとも一部の画像情報を判定領域として設定する設定部と、
前記判定領域に対し予め定められた画像処理を施し前記複数の記録媒体の画像情報同士が内容的に独立したものか、または連続したものかを判定する判定部と、
前記判定部で独立したものと判定された場合には前記連続画像情報を分離して出力し、連続したものと判定された場合には前記連続画像情報を一体として出力する出力部と、
を含む情報処理装置。
【請求項２】
前記判定部は、前記判定領域に対し前記予め定められた画像処理として二値化処理を施し、前記二値化処理の結果前記判定領域において前記境界の一端から他端まで連続する空白領域が存在しない場合を前記複数の記録媒体の画像情報同士が内容的に連続したものと判定する
請求項１に記載の情報処理装置。
【請求項３】
前記判定部は前記二値化処理の結果から前記判定領域の前記境界と交差する方向の画素密度である複数の黒点ヒストグラムを作成して前記空白領域が存在するか否か判定する
請求項２に記載の情報処理装置。
【請求項４】
前記判定部は、前記二値化処理の結果前記空白領域が存在すると判定された場合、前記判定領域に対し前記予め定められた画像処理として光学的文字認識処理をさらに施し、前記複数の記録媒体の画像情報同士が意味的に連続している場合を前記複数の記録媒体の画像情報同士が内容的に連続したものと判定し、意味的に連続していない場合を内容的に独立したものと判定する
請求項２または請求項３に記載の情報処理装置。
【請求項５】
前記判定部は、前記光学的文字認識処理の結果に意味解析を施して前記複数の記録媒体の画像情報同士が意味的に連続しているか否かを判定する
請求項４に記載の情報処理装置。
【請求項６】
前記判定部は、前記光学的文字認識処理の結果を用いて前記複数の記録媒体の各々の前記判定領域における文字情報をレイアウト的にまとまりのある複数のエリアに分割し、前記複数の記録媒体の各々の前記エリア同士を組み合わせて解析エリアとし、前記解析エリアにおける前記境界を挟んだ文字列に対して前記意味解析を施す
請求項５に記載の情報処理装置。
【請求項７】
前記判定領域が、前記予め定められた幅の範囲の上側半分、または下側半分である
請求項１から請求項６のいずれか１項に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
特許文献１には、書籍を分断して読み取りを行った画像データに対して、見開き判定処理を行う領域を決定する検出処理領域決定部と、見開きとなるページの検出を行う見開きページ検出処理部と、見開きページを電子書籍として閲覧する際まとめて閲覧できるようにするために見開きページ検出処理後に処理を行う検出後処理部と、を有することを特徴とする画像形成装置が開示されている。
【０００３】
特許文献２には、１ページの文書の画像データに複数の認識領域を指定して、該認識領域ごとに文字認識を行なう文字認識装置において、複数の認識領域から一つを処理対象領域として選択する処理対象領域選択手段と、処理対象領域が、該処理対象領域の近傍に位置する複数の認識領域のうちのいずれに繋がるかを判定する繋がり判定手段とを備え、繋がり判定手段は、処理対象領域内の画像データから文字の認識を行なう第１文字認識手段と、処理対象領域の近傍に位置する複数の認識領域をそれぞれ候補認識領域として、各候補認識領域内の画像データから文字の認識をそれぞれ行なう第２文字認識手段と、第１文字認識手段により得られた文字と、第２文字認識手段により得られた各候補認識領域内の文字とに基づいて、処理対象領域が候補認識領域のうちのいずれに文章が繋がるかを判定する文章判定手段とを備える文字認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２１６５５１号公報
【特許文献２】特開２００４−２７２８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、画像が形成された複数の記録媒体が連続してなる一連の画像について、該一連の画像が内容的に個々の記録媒体に分割可能なものか、または内容的に分割すべきでないものか、該一連の画像の全体から判断する場合と比較してより迅速に判断することが可能な情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１態様に係る情報処理装置は、各々画像が形成された複数の記録媒体の画像情報が連続してなる連続画像情報を受け付ける受付部と、前記連続画像情報の前記記録媒体同士の境界を中心として予め定められた幅の範囲の少なくとも一部の画像情報を判定領域として設定する設定部と、前記判定領域に対し予め定められた画像処理を施し前記複数の記録媒体の画像情報同士が内容的に独立したものか、または連続したものかを判定する判定部と、前記判定部で独立したものと判定された場合には前記連続画像情報を分離して出力し、連続したものと判定された場合には前記連続画像情報を一体として出力する出力部と、を含むものである。
【０００７】
第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記判定部は、前記判定領域に対し前記予め定められた画像処理として二値化処理を施し、前記二値化処理の結果前記判定領域において前記境界の一端から他端まで連続する空白領域が存在しない場合を前記複数の記録媒体の画像情報同士が内容的に連続したものと判定するものである。
【０００８】
第３態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記判定部は前記二値化処理の結果から前記判定領域の前記境界と交差する方向の画素密度である複数の黒点ヒストグラムを作成して前記空白領域が存在するか否か判定するものである。
【０００９】
第４態様に係る情報処理装置は、第２態様または第３態様に係る情報処理装置において、前記判定部は、前記二値化処理の結果前記空白領域が存在すると判定された場合、前記判定領域に対し前記予め定められた画像処理として光学的文字認識処理をさらに施し、前記複数の記録媒体の画像情報同士が意味的に連続している場合を前記複数の記録媒体の画像情報同士が内容的に連続したものと判定し、意味的に連続していない場合を内容的に独立したものと判定するものである。
【００１０】
第５態様に係る情報処理装置は、第４態様に係る情報処理装置において、前記判定部は、前記光学的文字認識処理の結果に意味解析を施して前記複数の記録媒体の画像情報同士が意味的に連続しているか否かを判定するものである。
【００１１】
第６態様に係る情報処理装置は、第５態様に係る情報処理装置において、前記判定部は、前記光学的文字認識処理の結果を用いて前記複数の記録媒体の各々の前記判定領域における文字情報をレイアウト的にまとまりのある複数のエリアに分割し、前記複数の記録媒体の各々の前記エリア同士を組み合わせて解析エリアとし、前記解析エリアにおける前記境界を挟んだ文字列に対して前記意味解析を施すものである。
【００１２】
第７態様に係る情報処理装置は、第１態様から第６態様のいずれかの態様に係る情報処理装置において、前記判定領域が、前記予め定められた幅の範囲の上側半分、または下側半分であるものである。
【発明の効果】
【００１３】
第１態様によれば、画像が形成された複数の記録媒体が連続してなる一連の画像について、該一連の画像が内容的に個々の記録媒体に分割可能なものか、または内容的に分割すべきでないものか、該一連の画像の全体から判断する場合と比較してより迅速に判断することが可能な情報処理装置を提供することができる、という効果を奏する。
【００１４】
第２態様によれば、元の画像のまま空白領域を検出する場合と比較して、空白領域がより明瞭に判別される、という効果を奏する。
【００１５】
第３態様によれば、２値化画像のまま空白領域の有無を判定する場合と比較して、より簡易に空白領域の有無が判定される、という効果を奏する。
【００１６】
第４態様によれば、複数の記録媒体の画像情報同士が意味的に連続しているか否かによる内容的な関連性の判定をさらに適用しない場合と比較して、複数の記録媒体の画像情報同士の関連性がより正確に判定される、という効果を奏する。
【００１７】
第５態様によれば、意味解析を用いないで複数の記録媒体の画像情報同士の関連性を判定する場合と比較して、複数の記録媒体の画像情報同士の関連性がより厳密に判定される、という効果を奏する。
【００１８】
第６態様によれば、解析エリアを設定しないで意味解析を施す場合と比較して、より効率的に意味解析が実行される、という効果を奏する。
【００１９】
第７態様によれば、予め定められた範囲の全体を判定領域とする場合と比較して、より迅速に複数の記録媒体同士の関連性が判断される、という効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】実施の形態に係る画像形成装置の構成の一例を示す斜視図である。
【図２】連結見開きを説明する図である。
【図３】実施の形態に係る見開き処理の概要を説明する図である。
【図４】実施の形態に係る空白領域検出処理について説明する図である。
【図５】実施の形態に係るレイアウト解析処理について説明する図である。
【図６】実施の形態に係る見開き処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図１から図６を参照し、本発明を実施するための形態について詳細に説明する。
以下の説明では、本発明に係る情報処理装置を画像形成装置に適用した形態を例示して説明する。
【００２２】
図１を参照して、本実施の形態に係る画像形成装置について説明する。図１は本実施の形態に係る画像形成装置１２の斜視図を示している。本実施の形態に係る画像形成装置１２は、例えば図示しない通信回線を介して各種データを受信し、受信したデータに基づく画像形成処理を行うプリント機能を有する。また、本実施形態に係る画像形成装置１２は、原稿を読み取って原稿を表す画像情報を得る読取機能、原稿に記録された画像を用紙に複写する複写機能、図示しない電話回線を介して各種データの送信および受信を行うファクシミリ機能等も有する。
【００２３】
また、本実施形態に係る画像形成装置１２は、装置上部に原稿読取部５２を備え、原稿読取部５２の下方に画像形成部２４が配置されている。原稿読取部５２は、原稿カバー５４内に原稿搬送部（図示省略）を備えている。原稿搬送部は、原稿カバー５４に設けられている原稿給紙部５４Ａ上に載せられた原稿５６を順に引き込んで図示しないプラテンガラス上に搬送して原稿５６に記録された画像の読み取り（以下、「スキャン」という場合がある）を行う。また、原稿搬送部は、画像の読み取りが終了した原稿５６を原稿カバー５４に設けられている原稿排出部５４Ｂ上に排出する。
【００２４】
また、原稿読取部５２には、ユーザによる各種の指示操作を受け付けるユーザインタフェース２２が設けられている。このユーザインタフェース２２は、ソフトウェアプログラムによって指示操作の受け付けを実現する表示ボタンや各種情報が表示されるタッチパネル式のディスプレイ２２Ａ、テンキーやスタートボタン等のハードウェアキー２２Ｂ等が設けられている。ユーザインタフェース２２は、ディスプレイ２２Ａの表示ボタンやハードウェアキー２２Ｂによって複写機能を用いるときの複写枚数の設定や倍率設定、ファクシミリ機能を用いるときの電話機のダイヤルキー等として用いられる。
【００２５】
一方、画像形成部２４は、画像形成用の記録媒体となる用紙が収容される給紙格納部５８を備えている。画像形成部２４では、給紙格納部５８に収容されている用紙を、１枚ずつ取り出し、例えば、電子写真プロセスによって画像データに基づいた画像を用紙に形成する。また、画像形成部２４では、画像形成を行った用紙を順に図示しない排紙部上へ排出する。
【００２６】
ところで、画像形成装置１２のように原稿読取部５２を備えた画像形成装置では、カタログや雑誌、書籍など（以下、「書籍等」という場合がある）を開いた状態（以下、「見開き」という場合がある）で複写（コピー）、あるいはスキャンを行う場合がある。以下では、スキャンを例示して説明する。画像形成装置においては書籍モード等の見開きでのスキャンに対応するモードを備える場合もある。例えば書籍モードでスキャンした場合、左右のページを中央で分割された画像が生成される。しかしながら、書籍等においては左右のページに跨って記事や画像が存在する場合も多く、中央で分割されるとかえって見づらくなってしまう場合がある。なお、「見開き」は本発明に係る「連続画像情報」の一例である。
【００２７】
図２は上記の場合について具体的に説明した図である。図２＜１＞は書籍等の見開きを示している。すなわち、１つの画像に左ページＬＰと右ページＲＰとが含まれ、画像ＧＨが左ページＬＰと右ページＲＰとに跨っている。図２＜２＞は見開きを分割して左ページＬＰの画像と右ページＲＰの画像とに分割した状態を示している。図２＜２＞に示すように、この場合画像ＧＨが画像Ｇ１とＧ２に分離され、特に画像ＧＨが一連の図等の場合には、極めて見にくい状態となってしまう。このような状態に対応するため、図２＜１＞に示すようなページの場合は分割せずにスキャンすることも考えられる。
【００２８】
しかしながら、そのような分割スキャンと非分割スキャンとを混在させるとスキャンの時間が増加してしまい、現実的ではない。このような問題は図２＜１＞に示すような図に限らず左右ページで意味的に連続する文章についても同様である。すなわち、書籍等においては、見開き２ページ単位で１つの記事と、１ページ単位の記事とが混在している場合がある。その際に、一律にページ間の中央でスキャン結果を分割すると、見開きで読むべき記事について分割されてしまうことになり、読みにくくなってしまう。そのため、見開きでスキャンした書籍等の画像において、判読性の観点から分割してよい画像なのか、分割しない方がよい画像なのかを、従来技術のように全面スキャンして判断するよりも、より迅速に判断する手段が求められている。なお、以下では、図２＜１＞に示すような内容的に左ページＬＰ、右ページＲＰに跨っている見開きを「連結見開き」といい、これに対し内容的に独立している（分割しても内容の判読性に影響しない）見開きを「分離見開き」という。
【００２９】
そこで本実施の形態では、見開きのページの境界を中心とする予め定められた範囲の幅の画像情報を用いて分離見開きであるか、連結見開きであるかを判別することとした。このことにより、画像が形成された複数の記録媒体が連続してなる一連の画像について、該一連の画像が内容的に個々の記録媒体に分割可能なものか、または内容的に分割すべきでないものか、該一連の画像の全体から判断する場合と比較してより迅速に判断することが可能な情報処理装置を提供することが可能となる。
【００３０】
図３を参照して、本実施の形態に係る分離見開きと連結見開きとを判別する処理（以下、「見開き処理」）の基本的な考え方について説明する。本実施の形態に係る見開き処理は、大きく分けて「空白領域検出」と「レイアウト解析」の２つの処理を含む。そして、これらの処理の結果、見開きにおいて左右ページを跨って画像が存在する場合や、ページを跨って文章がつながっている場合は分割しない。その際、基本的なレイアウト情報をレイアウトデータベースとして持っておいてもよい。レイアウトデータベースとは、例えば一般的にページの右上に配置される縦書きの新聞名、ページの上部に配置される横書きの新聞の一面見出し、ページの左側に配置される縦書きの見出しなど、文字領域とページ上の配置、あるいは大きさとが関連付けられる蓋然性の高い組み合わせをいう。後述するＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ：光学的文字認識）では大きい文字、飾り文字等が判別できないので、文字の存在する蓋然性が高い領域としてＯＣＲでの認識の補助とされる場合もある。
【００３１】
図３に示すように本実施の形態に係る見開き処理では書籍等のスキャンを行った後（図３＜１＞）、取得された画像データに対して空白領域検出処理を行い（図３＜２＞）、空白領域の有無の判定を行う。「空白領域」とは、見開きにおける左右のページの境界に沿い、かつ境界の全域に亘って存在する文字や画像が存在しない領域をいう。空白領域が存在しなければ当該見開きは連結見開きと判断される。一方、空白領域が存在する場合、この段階では当該見開きは分離見開き、連結見開きのいずれとも決定できないと判断される。なお、本実施の形態では、空白領域検出の際黒点のヒストグラムを用いるが、黒点のヒストグラム（以下、「黒点ヒストグラム」という場合がある）の詳細については後述する。
【００３２】
次に、レイアウト解析処理を実行する（図３＜３＞）。レイアウト解析処理は、空白領域検出処理の結果空白領域が存在すると判断された場合、さらに左右のページの内容的な関連性を判定し、当該見開きが分離見開き、連結見開きのいずれであるかを決定する処理である。より具体的には、ＯＣＲを用いて文字の領域（以下、「文字エリア」という場合がある）を特定し、文字エリア同士の内容上（意味上）の関連性を判断する。本処理により、文字エリアと画像の領域（以下、「画像エリア」という場合がある）とが抽出され、基本的なレイアウトが特定される。以上の結果をもとに、分離見開き、連結見開きのいずれであるかを決定する（図３＜４＞）。
【００３３】
図３＜４＞はページの横方向（以下、「横方向」という場合がある。また、横方向に直交する方向を「縦方向」という場合がある）に１ページの半分以上の長さの画像ＧＨが存在する（すなわち空白領域が存在しない）ので連結見開きと判断される例を示している。
図３＜４＞に示す画像ＧＨの領域に、画像ではなく分散した文字エリアが存在する場合には、左右ページの文字エリアの組み合わせごとに意味の関連性を判断し、関連性があると判定された場合に連結見開きと判断される。ここで、本実施の形態に係る見開き処理は、空白領域検出処理、およびレイアウト解析処理において、上述したように、見開きのページの境界を中心とする予め定められた範囲（以下、「判定領域」という場合がある）の幅の画像情報を用いている点を一つの特徴としている。なお、本実施の形態に係る「横方向」、「縦方向」は、一例として見開きの読める方向を基準としたものであり、例えば読める方向が横向きである場合の「横方向」、「縦方向」は相互に入れ替わる。
【００３４】
次に、図４を参照して、本実施の形態に係る空白領域検出処理についてより詳細に説明する。図４＜１＞は、見開きの画像をスキャンした結果をパターン別に示している。パターン１は判定領域に画像が存在する連結見開きの例を、パターン２は判定領域に意味上連続する文字の列（以下、「連結文字列」という場合がある）が存在する連結見開きの例を、パターン３は分割してもよい分離見開きの例を、各々示している。
【００３５】
見開きをスキャンした後、判定領域ＪＡを抽出（設定）する（図４＜２＞）。判定領域ＪＡは、例えば見開きのページの境界を中心としページ幅の横方向１／３から１／２の範囲とする。本実施の形態では、一例として見開きのページの境界を中心とする１／３の範囲を判定領域ＪＡとしている。
【００３６】
次に黒点を抽出しやすいように画像を２値化する（図４＜３＞）。「黒点」とは白黒に２値化した場合の黒の画素に対応する点をいう。本画像の２値化は見開きの画像全体に行ってもよいし、判定領域ＪＡについてのみ行ってもよいが、図４では見開きの画像全体に行う形態を例示している。なお、ＯＣＲ処理は、ＴＩ（Ｔｅｘｔ  Ｉｍａｇｅ）分離処理で代替させてもよい。
【００３７】
次に黒点ヒストグラムを作成する（図４＜４＞）。「黒点ヒストグラム」とは、判定領域ＪＡの横方向の位置に対する黒点の数をグラフ化したものであり、例えば縦方向に２ｍｍから５ｍｍ程度の間隔で複数作成する。換言すれば、黒点のヒストグラムは画像濃度のヒストグラムである。本黒点ヒストグラムを用いて空白領域ＢＡが存在するか否か判定する。図４＜６＞から＜８＞は、各パターンにおける縦方向中央付近の黒点ヒストグラムの一例を示している。図４＜６＞に示すようにパターン１では空白領域ＢＡが存在しない。
また、図４＜７＞、＜８＞に示すようにパターン２およびパターン３では各々空白領域ＢＡ１、ＢＡ２が存在している。その結果、パターン１は連結見開きと判断される（図４＜５＞）。一方、パターン２およびパターン３は分離見開きの可能性があるが、本実施の形態ではさらなる解析が必要な見開き（以下、「分離見開き候補」という場合がある）と判断される（図４＜５）＞。なお、後述するように、２値化処理のみで連結見開きであるか、分離見開きであるかを判断する場合は、この時点で分離見開きと判断してもよい。
【００３８】
なお、本黒点ヒストグラムを作成する間隔を２ｍｍ〜５ｍｍ程度とするのは一例であって、空白領域を検出できれば他の値でもよいし、均等な間隔である必要もない。また、２値化は白黒に限られず他の色の組み合わせによる２値化であってもよいし、さらにはカラー画像のままヒスとグラムを作成してもよい。
【００３９】
次に、図５を参照して、本実施の形態に係るレイアウト解析処理についてより詳細に説明する。レイアウト解析では、図５＜１＞に示すように判定領域ＪＡに対してＯＣＲ処理を実行し、画像エリアＧＡと文字エリアＣＡとを峻別して、文字エリアＣＡと画像エリアＧＡアのレイアウト情報を取得する。文字エリアＣＡ、画像エリアＧＡの分離は、間に存在する画像、フォント（特に文字の大きさ）の違い等を認識することによって行ってもよい。
【００４０】
次に図５＜２＞に示すように文字エリアＣＡの各々の組み合わせに対して意味解析を実行する。すなわち、構文が正しいか、意味がつながる文章になっているかを解析する。意味解析は、例えば異なる領域に存在する文字を繋げて単語を抽出した場合、該単語が存在するか否かによって行ってもよい。より具体的には、左ページＬＰの各文字エリアＣＡ、および右ページＲＰの各文字エリアＣＡに対し番号を付与する（以下、「エリア番号」という場合がある）。エリア番号の付与は左右のページごとに通し番号を付与して行ってもよい。そして、左ページＬＰの文字エリアＣＡと右ページの文字エリアＣＡのすべての組み合わせについて意味上のつながりがあるか否か解析する。図５＜２＞では、文字エリアＣＡ１と文字エリアＣＡ２とが意味上繋がっている場合の例を示している。
【００４１】
その際、左右ページの境界に対して直接対向する文字エリアＣＡ同士について意味解析を行ってもよい。すなわち、当該文字エリアＣＡと境界との間に画像エリアＧＡや他の文字エリアＣＡが存在し、隣のページとの意味上のつながりが考えにくいような文字エリアＣＡは意味解析の対象外としてもよい。なお、意味解析においては、上記のレイアウトデータベースを用いて、よりつながりの高い文字エリアＣＡごとにＯＣＲ処理結果の文章をつなぎ合わせてもよい。また、画像エリアＧＡがグラデーションでつながっているかを確認し、つながっている場合には画像エリアＧＡとしてつながっていると判断し連結見開きと判断するようにしてもよい。なお、左ページＬＰの各文字エリアと右ページＲＰの各文字エリアの組み合わせは、本発明に係る「解析エリア」の一例である。
【００４２】
次に、図５＜３＞に示すように、意味解析の結果を用いて見開きの判断を行う。意味解析の結果左右のページで意味上のつながる文字列、すなわち図５＜８＞に示す連結文字列ＣＣが存在する場合には連結見開きと判断し、連結見開き処理を実行する（図５＜４＞）。具体的には、見開きの左右のページを一体とした（分離しない）画像を生成する。一方、意味解析の結果左右のページで文字エリアＣＡ同士の意味上のつながりが検出されなかった場合には（図５＜５＞）、当該空白領域ＢＡは意味上のつながりもない分割領域ＤＡであると判断し（図５＜６＞、＜９＞）、分離見開き処理を実行する（図５＜７＞）。具体的には、見開きを左右のページに分離した画像を生成する（図５＜１０＞）。
【００４３】
次に図６を参照して、本実施の形態に係る画像形成装置１２で実行される見開き処理について説明する。図６は、本実施の形態に係る見開き処理プログラムの処理の流れを示すフローチャートである。本実施の形態に係る画像形成装置１２では、図６に示す処理は、図１に示すユーザインタフェース２２部等を介してユーザが見開き処理の開始を指示することで、画像形成装置１２内に備えられた図示しないＣＰＵがＲＯＭ等の記憶手段に記憶された本見開き処理プログラムを読み込み、ＲＡＭ等に展開して実行する。
【００４４】
図６に示すように、まずステップＳ１００で見開きの書籍等をスキャンして画像を読み取る。なお、本見開き処理プログラムの実行に際し、ユーザインタフェース２２等を介して事前に見開きの天地の方向（読む向き）の指定を行うように構成してもよい。
【００４５】
次のステップＳ１０１では２値化処理を実行する。なお、本実施の形態では見開き画像の全領域を２値化する場合を例示して説明するが、先述したように、次のステップＳ１０２の判定領域ＪＡの抽出の後に、判定領域ＪＡのみに対して行ってもよい。
【００４６】
ステップＳ１０２では、判定領域ＪＡを抽出する。なお、本見開き処理プログラムの実行に際し、ユーザインタフェース２２等を介して事前に、見開きの左右ページの境界を中心にどの程度の幅の判定領域ＪＡを抽出するかの指定を行うように構成してもよい。あるいは、書籍等の種類等に応じて画像形成装置１２が本見開き処理プログラムの実行のつど範囲を指定するようにしてもよいし、予め範囲の固定値を図示しないＲＯＭ等に記憶させておいてもよい。
【００４７】
ステップＳ１０３では、ステップＳ１０２で取得した２値化後の見開きの画像データを用いて判定領域ＪＡの黒点ヒストグラムを作成する。なお、本見開き処理プログラムの実行に際し、ユーザインタフェース２２等を介して事前に、黒点ヒストグラム作成における縦方向の間隔（またはライン数）の指定を行うように構成してもよい。あるいは、書籍等の種類等に応じて画像形成装置１２が本見開き処理プログラムの実行のつど間隔を判断するようにしてもよいし、予め間隔の固定値を図示しないＲＯＭ等に記憶させておいてもよい。
【００４８】
ステップＳ１０４では、ステップＳ１０３で作成した黒点ヒストグラムを用いて空白領域ＢＡの検出を行う。上述したように、空白領域ＢＡとは、左右ページの境界付近に存在する縦方向の一端から他端にかけて画像の存在しない領域をいう。
【００４９】
ステップＳ１０５では空白領域ＢＡが存在するか否か判定する。当該判定が否定判定となった場合は当該見開きは連結見開きなので、ステップＳ１０６に移行して連結見開き処理を実行し、左右ページが一体となった画像データを生成する。一方、ステップＳ１０５で肯定判定となった場合は、当該見開きは分離見開き候補なので、ステップＳ１０７に移行する。
【００５０】
ステップＳ１０７では、判定領域ＪＡに対しＯＣＲ処理を実行する。本ＯＣＲ処理により、文字エリアＣＡと画像エリアＧＡとが峻別される見開きのレイアウト解析が実行される。当該ＯＣＲ処理の元となるデータは、２値化前のデータであってもよいし、２値化後のデータであってもよい。
【００５１】
ステップＳ１０８では、左右ページの文字エリアＣＡに対して、文字エリアＣＡ同士が区別されるエリア番号を付与する。エリア番号は左ページＬＰに存在する文字エリアＣＡのすべてと、右ページＲＰに存在する文字エリアＣＡのすべてとが組み合わせられるように、例えば通し番号を付与する。その際、当該文字エリアＣＡと左右ページの境界との間に画像データ等が存在する等の理由で、明らかに他のページの文字エリアＣＡとは意味上のつながりをもたないと予測される文字エリアＣＡは、エリア番号付与の対象から除外してもよい。むろん文字エリアＣＡに付与するものは番号に限られず、文字エリアＣＡ同士を区別可能な他の識別手段、例えばアルファベット等の記号であってもよい。
【００５２】
ステップＳ１０９では、左右ページのエリア番号の組み合わせに対して意味解析を実行する。
【００５３】
ステップＳ１１０では、左右ページのエリア番号のすべての組み合わせについて意味解析が終了したか否か判定する。当該判定が否定判定となった場合にはステップＳ１０９に戻り、次のエリア番号の組み合わせについて意味解析を行う。一方、ステップＳ１１０における判定が肯定判定となった場合には、ステップＳ１１１に移行する。
【００５４】
ステップＳ１１１では、ステップＳ１０９における意味解析の結果、連結文字列ＣＣを含むエリア番号の組み合わせが存在するか否か判定する。当該判定が否定判定となった場合には、当該見開きは分離見開きと判断されるので、ステップＳ１１２に移行し、分離見開き処理を実行する。分離見開き処理では、主として見開きの左右のページを分離して各ページごとの画像データを生成する。その際、分割領域ＤＡを抽出するようにしてもよい。その後、本見開き処理プログラムを終了する。
【００５５】
一方、ステップＳ１１１で肯定判定となった場合は、当該見開きは連結見開きと判断されるので、ステップＳ１０６に移行し連結見開き処理を実行する。連結見開き処理の内容は上述したので省略する。その後、本見開き処理プログラムを終了する。なお、図６に示すフローにおいて、ステップＳ１０１からＳ１０５までが上述した空白領域検出処理に相当し、ステップＳ１０７からＳ１１１までがレイアウト解析処理に相当する。
【００５６】
なお、上記実施の形態では２値化処理およびＯＣＲ処理の双方を行う形態を例示して説明したがこれに限られず、いずれか一方を行う形態としてもよい。例えばＯＣＲ処理および意味解析のみを実行し、文字エリアＣＡにおける左ページＬＰと右ページＲＰの意味上のつながりの有無から、連結見開きか分離見開きかを判断するようにしてもよい。また、ＯＣＲ処理の結果抽出された画像エリアのみを用い、写真や表等が両ページを跨っているか否かによって、連結見開きか分離見開きかを判断するようにしてもよい。
【００５７】
また、上記実施の形態では、判定領域ＪＡの全体に対して黒点ヒストグラムを作成したが、これに限られず文字エリア、または画像エリアに限定して黒点ヒストグラムを作成してもよい。
【００５８】
また、上記実施の形態では左右ページの境界付近の上下方向一端から他端にかけて判定領域ＪＡを設定する形態を例示して説明したが、これに限られず上下方向の一部を判定領域ＪＡとしてもよい。例えば、書籍等の上半分は画像領域であることが多く、下半分は文字領域であることが多いことも勘案し、見開きの上半分または下半分に対して、２値化あるいはＯＣＲ処理を実行し、左右ページの関連性を判断するようにしてもよい。
【００５９】
以上のような形態は、換言すれば図６に示すフローの一部を省略する形態であり、例えば処理速度の向上に資する。
【００６０】
一方上記実施の形態では、本発明に係る情報処理装置として画像形成装置を例示して説明したが、これに限られない。例えば、スキャンされた見開きの画像データを入力としてＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の端末で本発明に係る見開き処理を実行しサーバーに格納するような形態としてもよいし、また、スキャンされた見開きの画像データを入力としてクラウド上で見開き処理を実行し、処理結果をクラウド上に格納するような形態としてもよい。
【符号の説明】
【００６１】
１２    画像形成装置
２２    ユーザインタフェース
２２Ａ  ディスプレイ
２２Ｂ  ハードウェアキー
２４    画像形成部
５２    原稿読取部
５４    原稿カバー
５４Ａ  原稿給紙部
５４Ｂ  原稿排出部
５６    原稿
５８    給紙格納部
ＣＡ、ＣＡ１、ＣＡ２  文字エリア
ＣＣ    連結文字列
ＤＡ    分割領域
ＧＡ    画像エリア
ＧＨ、Ｇ１、Ｇ２  画像
ＪＡ    判定領域
ＢＡ    空白領域
ＬＰ    左ページ
ＲＰ    右ページ
【図１】
2020127121.tif 000003
【図２】
2020127121.tif 000004
【図３】
2020127121.tif 000005
【図４】
2020127121.tif 000006
【図５】
2020127121.tif 000007
【図６】
2020127121.tif 000008