(57)【要約】      （修正有）【課題】文字部分を含む複数の分割画像を合成しても、ズレが生じない高品質な合成画像を得る画像処理装置及び方法を提供する。【解決手段】一枚の原稿の画像を分割して読み取って、複数の分割画像を取得する。分割画像合成部２０３は、複数の分割画像の重複部分を検出し、検出した重複部分から、複数の分割画像の境界部分を決定し、境界部分で複数の分割画像を合成する。文字部分抽出部２０４は、合成画像から文字部分を抽出する。重複判定部２０５は、抽出された文字部分に境界部分が重なるか否かを判定する。境界部分再決定部２０６は、文字以外の部分に、複数の分割画像の境界部分を再決定する。分割画像再合成部２０７は、再決定された境界部分で複数の分割画像を再合成する。【選択図】図２
2016046794.tif 000002
【特許請求の範囲】
【請求項１】
一枚の原稿の画像を分割して読み取って、複数の分割画像を取得する分割画像取得部と、
前記複数の分割画像の重複部分を検出し、当該検出した重複部分から、前記複数の分割画像の境界部分を決定し、当該境界部分で当該複数の分割画像を合成する分割画像合成部と、
前記合成された合成画像に所定の領域分離処理を施すことで、当該合成画像から文字部分を抽出する文字部分抽出部と、
前記抽出された文字部分に前記境界部分が重なるか否かを判定する重複判定部と、
前記文字部分に前記境界部分が重なる場合、前記文字部分以外の部分に、前記複数の分割画像の境界部分を再決定する境界部分再決定部と、
前記再決定された境界部分で当該複数の分割画像を再合成する分割画像再合成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記文字部分抽出部は、前記合成画像に対して、画素毎或いは複数の画素からなるブロック毎に、エッジ部の検出、エッジ部の勾配量の検出、エッジ部の範囲に基づいて、文字エッジ領域に属するか否かを推定し、前記文字エッジ領域に属する画素又はブロックを文字部分として推定して抽出する
請求項１に記載の画像処理装置。
【請求項３】
前記境界部分再決定部は、前記分割画像の重複部分のうち、前記文字部分以外の部分を検索し、当該検索した部分に前記境界部分を新たに再決定する
請求項１又は２に記載の画像処理装置。
【請求項４】
一枚の原稿の画像を分割して読み取って、複数の分割画像を取得する分割画像取得ステップと、
前記複数の分割画像の重複部分を検出し、当該検出した重複部分から、前記複数の分割画像の境界部分を決定し、当該境界部分で当該複数の分割画像を合成する分割画像合成ステップと、
前記合成された合成画像に所定の領域分離処理を施すことで、当該合成画像から文字部分を抽出する文字部分抽出ステップと、
前記抽出された文字部分に前記境界部分が重なるか否かを判定する重複判定ステップと、
前記文字部分に前記境界部分が重なる場合、前記文字部分以外の部分に、前記複数の分割画像の境界部分を再決定する境界部分再決定ステップと、
前記再決定された境界部分で当該複数の分割画像を再合成する分割画像再合成ステップと、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来のデジタルカメラでは、ある対象物を分割して撮影し、撮影された複数の分割画像を配置し、配置された各分割画像の間の重複部分（オーバーラップ部分）を検出して、当該検出した重複部分を適切に処理して、複数の分割画像を合成し、一つの大きな画像を生成するパノラマ合成技術が知られている。近年、このパノラマ合成技術が、複写機、複合機等の画像処理装置に適用されている。
【０００３】
例えば、特開２００３−１４１５２６号公報（特許文献１）には、輝度値を用いて、画像読取装置（スキャナー）で読み取られた画像の地肌部分に、境界部分を設定することで、文字部分に境界部分が設定されることを避け、複数の分割画像を一つの合成画像に高画質に合成する技術が開示されている。
【０００４】
又、特開２０１２−２２７６０１号公報（特許文献２）には、濃度差の大きい画像の領域を文字領域として判定し、それ以外の地肌領域に境界を設定することで、複数の分割画像を一つの合成画像に高画質に合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１４１５２６号公報
【特許文献２】特開２０１２−２２７６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１に記載の技術は、分割画像の文字部分を輝度値で判定するため、文字部分の色や背景が単調で無い場合、文字部分を地肌部分と誤認するという課題がある。又、上述した特許文献２に記載の技術は、分割画像の写真上に文字が重ねられている場合や文字の背景に地肌部分が殆ど無い場合に、境界を地肌領域に適切に設定することが出来ないという課題がある。
【０００７】
ところで、画像処理装置における分割画像合成技術では、所定のサイズ（大型サイズ）の原稿を、他の位置で複数分割して画像読取し、複数の分割画像を一枚の合成画像として合成する際に、分割画像の境界部分で画質劣化が生じる。
【０００８】
特に、文字部分は鮮鋭で微細なエッジから構成されていることから、この文字部分に分割画像の境界部分が重なる場合、当該文字部分に、文字部分以外の部分、例えば、写真部分と比較して顕著な画質劣化を生じさせるという課題がある。
【０００９】
そのため、原稿を分割して画像読取し、一つの合成画像を生成させる場合、シームレスさ（継ぎ目のない状態のこと）が要求される部分は、自然画像を含む写真部分ではなく、文字部分である。従って、この文字部分で画像合成時にズレが生じた場合、合成画像の画質劣化が顕著に現れる。
【００１０】
そこで、本発明は、前記課題を解決するためになされたものであり、文字部分を含む複数の分割画像を合成しても、高品質な合成画像を得ることが可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一の局面に係る画像処理装置は、分割画像取得部と、分割画像合成部と、文字部分抽出部と、重複判定部と、境界部分再決定部と、分割画像再合成部と、を備える。画像分割取得部は、一枚の原稿の画像を分割して読み取って、複数の分割画像を取得する。分割画像合成部は、前記複数の分割画像の重複部分を検出し、当該検出した重複部分から、前記複数の分割画像の境界部分を決定し、当該境界部分で当該複数の分割画像を合成する。文字部分抽出部は、前記合成された合成画像に所定の領域分離処理を施すことで、当該合成画像から文字部分を抽出する。重複判定部は、前記抽出された文字部分に前記境界部分が重なるか否かを判定する。境界部分再決定部は、前記文字部分に前記境界部分が重なる場合、前記文字部分以外の部分に、前記複数の分割画像の境界部分を再決定する。分割画像再合成部は、前記再決定された境界部分で当該複数の分割画像を再合成する。
【００１２】
前記文字部分抽出部は、前記合成画像に対して、画素毎或いは複数の画素からなるブロック毎に、エッジ部の検出、エッジ部の勾配量の検出、エッジ部の範囲に基づいて、文字エッジ領域に属するか否かを推定し、前記文字エッジ領域に属する画素又はブロックを文字部分として推定して抽出する。又、前記境界部分再決定部は、前記分割画像の重複部分のうち、前記文字部分以外の部分を検索し、当該検索した部分に前記境界部分を新たに再決定する。
【００１３】
本発明の一の局面に係る画像処理方法は、分割画像取得ステップと、分割画像合成ステップと、文字部分抽出ステップと、重複判定ステップと、境界部分再決定ステップと、分割画像再合成ステップと、を備える。画像分割取得ステップは、一枚の原稿の画像を分割して読み取って、複数の分割画像を取得する。分割画像合成ステップは、前記複数の分割画像の重複部分を検出し、当該検出した重複部分から、前記複数の分割画像の境界部分を決定し、当該境界部分で当該複数の分割画像を合成する。文字部分抽出ステップは、前記合成された合成画像に所定の領域分離処理を施すことで、当該合成画像から文字部分を抽出する。重複判定ステップは、前記抽出された文字部分に前記境界部分が重なるか否かを判定する。境界部分再決定ステップは、前記文字部分に前記境界部分が重なる場合、前記文字部分以外の部分に、前記複数の分割画像の境界部分を再決定する。分割画像再合成ステップは、前記再決定された境界部分で当該複数の分割画像を再合成する。
【発明の効果】
【００１４】
本発明の画像処理装置及び画像処理方法によれば、文字部分を含む複数の分割画像を合成しても、高品質な合成画像を得ることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る画像処理装置の全体構成を示す概念図である。
【図２】本発明の実施形態における画像処理装置の機能ブロック図である。
【図３】本発明の実施形態の実行手順を示すためのフローチャートである。
【図４】本発明の実施形態における分割画像の一例を示す図（図４（Ａ））と、本発明の実施形態における合成画像の一例を示す図（図４（Ｂ））とである。
【図５】本発明の実施形態における文字部分の抽出の一例を示す図（図５（Ａ））と、本発明の実施形態における再合成後の合成画像の一例を示す図（図５（Ｂ））とである。
【発明を実施するための形態】
【００１６】
以下に、添付図面を参照して、本発明の画像処理装置及び画像処理方法の実施形態について説明し、本発明の理解に供する。尚、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。又、フローチャートにおける数字の前に付されたアルファベットＳはステップを意味する。
【００１７】
以下に、本発明の実施形態の一例として、画像読取と画像形成とを兼ね備えた画像処理装置について説明する。尚、本発明の画像処理装置は、例えば、ファクシミリ、コピー、スキャナ、プリンター等の機能を備えた複合機（ＭＦＰ：Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）が該当する。
【００１８】
複合機１００は、図１に示すように、タッチパネルを含む操作部１０１を介してユーザーから、画像読取ジョブの設定条件を受け付けると、画像読取部１０２の各部を駆動し、当該画像読取ジョブを提供する。又、複合機１００は、操作部１０１を介して印刷ジョブの設定条件を受け付けると、画像読取部１０２、画像形成部１０３等の各部を駆動し、当該印刷ジョブを提供する。
【００１９】
尚、複合機１００の制御回路は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、各駆動部に対応するドライバーを内部バスによって接続している。複合機１００のＣＰＵは、例えば、ＲＡＭを作業領域として利用し、ＲＯＭ、ＨＤＤ等に記憶されているプログラムを実行し、当該実行結果に基づいてドライバーからのデータ、指示、信号、命令等を授受し、各種処理の実行に関する各駆動部の動作を制御する。又、駆動部以外の後述する各部（図２に示す）についても、ＣＰＵが、各プログラムを実行することで当該各部を実現する。ＲＯＭ、ＲＡＭ、ＨＤＤ等には、以下に説明する各部を実現するプログラムやデータが記憶されている。
【００２０】
次に、図２、図３を参照しながら、本発明の実施形態に係る構成及び実行手順について説明する。先ず、ユーザーが、複合機１００の電源を投入する（又は複合機１００のスリープ状態を解除する）と、当該複合機１００の表示受付部２０１が、操作部１０１を介して操作画面を表示し、ユーザーからジョブの入力を受け付ける。
【００２１】
ここで、ユーザーが、前記操作画面のうち、画像合成モードを選択すると、表示受付部２０１が、当該画像合成モードの選択を受け付け（図３：Ｓ１０１）、その旨を分割画像取得部２０２に通知する。当該通知を受けた分割画像取得部２０２は、一枚の原稿の画像を分割して読み取って、複数の分割画像を取得する（図３：Ｓ１０２）。
【００２２】
ここで、分割画像取得部２０２が取得する方法に特に限定は無い。例えば、分割画像取得部２０２は、操作部１０１を介して、所定の分割画像読取画面を表示させて、ユーザーに一枚の原稿の画像を分割して読み取らせるように促す。ユーザーは、前記分割画像読取画面を見ながら、所定のサイズの原稿の一部を画像読取部１０２のコンタクトガラスに配置して、スタートキーを選択すると、分割画像取得部２０２が、画像読取部１０２を介して、当該原稿の一部の画像を読み取る。そして、ユーザーは、前記原稿の一部と異なる部分である原稿の他部を前記コンタクトガラスに配置して、スタートキーを選択すると、分割画像取得部２０２が、画像読取部１０２を介して、当該原稿の他部の画像を読み取る。このような処理を複数繰り返すことで、分割画像取得部２０２は、複数の分割画像を取得する。分割画像取得部２０２の分割画像の取得は、例えば、ユーザーが、前記分割画像読取画面を介して、分割画像読取完了キーを選択することで、完了する。
【００２３】
ここで、図４（Ａ）に示すように、分割画像取得部２０２は、所定のサイズ（例えば、Ａ３）の原稿（例えば、カタログ、ポスター等）の画像を、当該サイズよりも小さいサイズ（例えば、Ａ４）の２つの分割画像（分割画像Ａ、Ｂ）で取得したとする。尚、この原稿の画像には、文字部分と、写真部分（地肌部分）が存在する。
【００２４】
さて、分割画像取得部２０２が取得を完了すると、その旨を分割画像合成部２０３に通知する。当該通知を受けた分割画像合成部２０３は、前記複数の分割画像の重複部分を検出し、当該検出した重複部分から、前記複数の分割画像の境界部分を決定し、当該境界部分で当該複数の分割画像を合成する。
【００２５】
ここで、分割画像合成部２０３が合成する方法に特に限定は無い。例えば、公知のパノラマ合成技術が利用され、下記の手順で行われる。分割画像合成部２０３は、図４（Ｂ）に示すように、分割画像Ａと分割画像Ｂを並列して、当該分割画像Ａ、Ｂを重ね合わせることで、当該分割画像Ａ、Ｂで共通する重複部分を検出する（図３：Ｓ１０３）。前記重複部分の検出方法に特に限定は無く、公知の方法で良い。
【００２６】
次に、分割画像合成部２０３は、前記検出した重複部分から、前記分割画像Ａ、Ｂの境界部分を決定する（図３：Ｓ１０４）。又、前記境界部分の決定方法に特に限定は無く、公知の方法で良い。前記境界部分は、前記重複部分の任意の位置に決定することが出来、前記境界部分の形状も、前記重複部分上であれば、直線状、斜め線状等任意に決定することが出来る。例えば、図４（Ｂ）に示すように、前記重複部分のうち、最初に取得された分割画像Ａの直線状の端部が、境界部分に決定される。
【００２７】
更に、分割画像合成部２０３は、前記決定した境界部分で分割画像Ａ、Ｂを合成する（図３：Ｓ１０５）。例えば、図４（Ｂ）に示すように、分割画像合成部２０３は、最初に取得された分割画像Ａの直線状の端部を境界部分に決定すると、当該分割画像Ａをそのまま利用し、後に取得された分割画像Ｂの重複部分を前記境界部分で削除し、当該削除されて残った分割画像Ｂの境界部分を前記分割画像Ａの境界部分と接続する。これにより、図４（Ｂ）に示すように、２つの分割画像Ａ、Ｂから、１つの合成画像が出来上がる。尚、上述では、２つの分割画像Ａ、Ｂで１つの合成画像を合成したが、２つ以上の分割画像であっても同様である。
【００２８】
ここで、図４（Ｂ）に示すように、前記境界部分が、前記合成画像の文字部分に重なる場合、当該文字部分におけるシームレスさが悪化するため、当該合成画像の画質劣化が生じる。
【００２９】
そこで、分割画像合成部２０３は合成を完了すると、その旨を文字部分抽出部２０４に通知し、当該通知を受けた文字部分抽出部２０４は、前記合成された合成画像に所定の領域分離処理を施すことで、当該合成画像から文字部分を抽出する（図３：Ｓ１０６）。
【００３０】
ここで、文字部分抽出部２０４が抽出する方法に特に限定は無い。例えば、文字部分抽出部２０４は、前記合成画像に対して、画素毎或いは複数の画素からなるブロック毎に領域属性を判定する。具体的には、文字部分抽出部２０４は、画素毎或いは複数の画素からなるブロック毎に、例えば、エッジ部の検出、エッジ部の勾配量の検出、エッジ部の範囲に基づいて、文字エッジ領域に属するか否かを推定する。前記文字エッジ領域に属する画素又はブロックは、文字部分と推定され、前記文字エッジ領域に属さない画素又はブロックは、文字部分以外の部分、例えば、写真部分或いは地肌部分と推定される。このようにして、図５（Ｂ）に示すように、前記合成画像から、文字部分が抽出される。ここで、領域分離処理を採用することで、文字部分と、写真部分或いは地肌部分とを明確に区別することが出来るため、例えば、地肌部分が殆ど無い原稿であっても、良好な合成画像を得ることが可能となる。
【００３１】
さて、前記合成画像に文字部分が存在する場合、文字部分抽出部２０４は当該文字部分を抽出し（図３：Ｓ１０６ＹＥＳ）、その旨を重複判定部２０５に通知する。当該通知を受けた重複判定部２０５は、前記抽出された文字部分に前記境界部分が重なるか否かを判定する（図３：Ｓ１０７）。
【００３２】
ここで、重複判定部２０５が判定する方法に特に限定は無い。例えば、重複判定部２０５は、図５（Ｂ）に示すように、前記文字部分と前記境界部分とを特定し、当該特定された文字部分に当該境界部分が重なるか否かを判定する。
【００３３】
前記判定の結果、前記文字部分に前記境界部分が重なる場合（図３：Ｓ１０７ＹＥＳ）、重複判定部２０５は、その旨を境界部分再決定部２０６に通知する。当該通知を受けた境界部分再決定部２０６は、前記文字部分以外の部分に、前記複数の分割画像の境界部分を再決定する（図３：Ｓ１０８）。
【００３４】
ここで、境界部分再決定部２０６が再決定する方法に特に限定は無い。前記境界部分の形状が直線状であれば、例えば、図５（Ｂ）に示すように、境界部分再決定部２０６は、前記分割画像Ａ、Ｂの重複部分のうち、前記文字部分以外の部分を検索する。ここで、前記文字部分は、画像内の細線部分も含まれる。具体的には、境界部分再決定部２０６は、前記文字部分のうち、直線状を確保出来る文字部分「Ｊ」と文字部分「Ｋ」との間の部分を検索する。そして、境界部分再決定部２０６は、前記検索した部分に前記境界部分を新たに再決定する。これにより、前記境界部分は、前記文字部分を避けて設定されることになる。
【００３５】
そして、境界部分再決定部２０６は再決定を完了すると、その旨を分割画像再合成部２０７に通知し、当該通知を受けた分割画像再合成部２０７は、前記再決定された境界部分で当該複数の分割画像を再合成する（図３：Ｓ１０９）。
【００３６】
ここで、分割画像再合成部２０７が再合成する方法に特に限定は無い。例えば、図５（Ｂ）に示すように、分割画像再合成部２０７は、最初に取得された分割画像Ａの重複部分のうち、分割画像Ｂ側の重複部分を、前記再決定された境界部分で削除する。又、分割画像再合成部２０７は、後に取得された分割画像Ｂの重複部分のうち、分割画像Ａ側の重複部分を、前記再決定された境界部分で削除する。そして、分割画像再合成部２０７は、前記削除されて残った分割画像Ａ、Ｂを、前記再決定された境界部分で接続する。これにより、図５（Ｂ）に示すように、２つの分割画像Ａ、Ｂを、文字部分に重ならない境界部分で再合成することが出来る。そのため、画像合成による文字部分のズレを無くし、合成画像にシームレスさ、高画質（高品質）を確保することが出来る。
【００３７】
さて、分割画像再合成部２０７が再合成を完了すると、その旨を表示受付部２０１に通知し、当該通知を受けた表示受付部２０１は、操作部１０１を介して、前記再合成された合成画像を表示して、当該合成画像を出力する（図３：Ｓ１１０）。これにより、ユーザーは、シームレスさのある合成画像を得ることが出来る。ここで、合成画像の出力とは、上述のように、表示に限らず、例えば、複合機１００がデータとして所定のメモリーに記憶させたり、印刷物として印刷したりする意味も包含する。
【００３８】
ところで、Ｓ１０６において、例えば、分割画像が全て写真部分であり、前記合成画像に文字部分が存在しない場合、文字部分抽出部２０４は文字部分を抽出することが出来ないと判定し（図３：Ｓ１０６ＮＯ）、その旨を表示受付部２０１に通知する。当該通知を受けた表示受付部２０１は、前記合成画像を出力する（図３：Ｓ１１０）。この場合は、文字部分による画質悪化を考える必要が無いため、合成画像がそのまま出力される。
【００３９】
又、Ｓ１０７において、例えば、最初に決定した境界部分が文字部分に重ならない場合（図３：Ｓ１０７ＮＯ）、重複判定部２０５は、その旨を表示受付部２０１に通知する。当該通知を受けた表示受付部２０１は、前記合成画像を出力する（図３：Ｓ１１０）。この場合は、文字部分が存在しても、最初に決定した境界部分が、偶々、当該文字部分と重ならなかったため、合成画像に、文字部分のシームレスさの問題が無い。従って、合成画像がそのまま出力される。
【００４０】
尚、本発明の実施形態では、境界部分再決定部２０６が、前記合成画像に基づいて、前記境界部分の再決定を自動的に実行したが、他の構成でも良い。例えば、境界部分再決定部２０６は、前記合成画像から、前記文字部分以外の部分で、境界部分を決定可能な部分を候補部分として自動的に検索し、当該検索した候補部分を、操作部１０１を介して、所定の候補画面に表示して、ユーザーから、所定の候補部分を選択させるように促す。ユーザーが、前記候補画面を見ながら、所望の候補部分を選択することで、境界部分再決定部２０６は、前記選択された候補部分に、前記境界部分を再決定する。これにより、ユーザーが、合成画像を見ながら、所望の境界部分を決定して、合成画像を再合成させることが可能となる。
【００４１】
又、本発明の実施形態では、分割画像合成部２０３或いは境界部分再決定部２０６は、直線状の境界部分を決定したが、他の構成でも良い。例えば、分割画像合成部２０３或いは境界部分再決定部２０６が、境界部分を決定する際に、操作部１０１を介して、複数の分割画像Ａ、Ｂ及び重複部分を表示して、ユーザーから、境界部分の形状を問い合わせる。そして、ユーザーが、任意の形状の境界部分を選択することで、分割画像合成部２０３或いは境界部分再決定部２０６が、当該選択された形状の境界部分を決定する。これにより、これにより、ユーザーが、分割画像を見ながら、全体的な印象を考慮して、所望の形状の境界部分を決定することが可能となる。尚、所望の形状の境界部分の選択には、例えば、タッチパネルで、タッチペンによるユーザーの任意な形状の境界部分の選択を挙げることが出来る。
【００４２】
又、本発明の実施形態では、複合機１００が各部を備えるよう構成したが、当該各部を実現するプログラムを記憶媒体に記憶させ、当該記憶媒体を提供するよう構成しても構わない。当該構成では、前記プログラムを、画像処理装置に読み出させ、画像処理装置が前記各部を実現する。その場合、前記記録媒体から読み出されたプログラム自体が本発明の作用効果を奏する。さらに、各手段が実行するステップをハードディスクに記憶させる方法として提供することも可能である。
【産業上の利用可能性】
【００４３】
以上のように、本発明に係る画像処理装置及び画像処理方法は、複合機、複写機等の画像処理装置に有用であり、文字部分を含む複数の分割画像を合成しても、高品質な合成画像を得ることが可能な画像処理装置及び画像処理方法として有効である。
【符号の説明】
【００４４】
１００  複合機
２０１  表示受付部
２０２  分割画像取得部
２０３  分割画像合成部
２０４  文字部分抽出部
２０５  重複判定部
２０６  境界部分再決定部
２０７  分割画像再合成部
【図１】
2016046794.tif 000003
【図２】
2016046794.tif 000004
【図３】
2016046794.tif 000005
【図４】
2016046794.tif 000006
【図５】
2016046794.tif 000007