(57)【要約】【課題】領域位置の精度を確保しつつ高速に対象物の領域を抽出することができる画像処理技術を提供する。【解決手段】第１の解像度で表された対象画像（以下、「第１解像度画像」と呼ぶ。）において対象物の領域を抽出する第１工程と、第１の解像度より高解像度の第２の解像度で表された前記対象画像（以下、「第２解像度画像」と呼ぶ。）において、第１工程により得られた対象物領域の境界に対して位置調整を行う第２工程と、を備える。前記第２工程は、第２解像度画像の前記境界に対応する領域においてラベリング処理又は射影処理を実行し、その結果に基づき位置調整を行う。【選択図】　図３
2004096489.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度で表された対象画像（以下、「第１解像度画像」と呼ぶ。）において対象物の領域を抽出する第１工程と、
第１の解像度より高解像度の第２の解像度で表された前記対象画像（以下、「第２解像度画像」と呼ぶ。）において、第１工程により得られた対象物領域の境界に対して位置調整を行う第２工程と、を備えることを特徴とする画像処理方法。
【請求項２】
前記第２工程は、第２解像度画像の前記境界に対応する領域においてラベリング処理を実行し、そのラベリング結果に基づき位置調整を行うことを特徴とする請求項１２記載の画像処理方法。
【請求項３】
前記第２工程は、第２解像度画像の前記境界に対応する領域において射影処理を実行し、その射影結果に基づき位置調整を行うことを特徴とする請求項１記載の画像処理方法。
【請求項４】
更に、対象物をスキャンして第２解像度画像を取得する工程と、第２解像度画像に基づき第１解像度画像を算出する工程と、を備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
【請求項５】
前記第１工程及び第２工程をカラースペースの複数のプレーンについてそれぞれ実行し、各プレーンにおいて得られた位置調整結果に基づき、対象物の領域を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
【請求項６】
第１の解像度で表された対象画像において対象物の領域を抽出する第１の手段と、
第１の解像度より高解像度の第２の解像度で表された前記対象画像において、第１の手段により得られた対象物領域の境界に対して位置調整を行う第２の手段と、を備えることを特徴とする画像処理装置。
【請求項７】
請求項６記載の画像処理装置を備えることを特徴とする画像形成装置。
【請求項８】
請求項１乃至５のいずれか１項に記載の画像処理方法をコンピュータで実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像から対象物の領域を抽出するための画像処理技術に関し、特にプリンタ等の画像形成装置において実行する場合に適した領域抽出技術に関する。
【０００２】
【従来の技術】
通常、スキャナで取り込んだ画像には対象物だけでなく背景（原稿カバー部分の画像など）も含まれているため、対象物だけを適切に切り出して印刷等するためには、取り込んだ画像から背景領域を除去して対象物の領域を抽出する必要がある。
【０００３】
このような場合、例えば、対象物及び背景を含む取り込み画像に対してラベリング処理を適用し、ラベル付けされた非背景領域に基づき対象物領域を抽出する方法が一般的に用いられる。
【０００４】
なお、一般的な領域分割に関する公知技術としては、例えば特許文献１や特許文献２が存在する。
【０００５】
【特許文献１】特開平８−２４２３５８号公報
【０００６】
【特許文献２】特公平７−７４５５号公報
【０００７】
【発明が解決しようとする課題】
ホスト装置を介さずにプリンタ単体で印刷を実行する場合、例えばスキャナ・プリンタ複合機においてスキャナ部で取り込んだ画像を直接プリンタ部で印刷する場合や、デジタルカメラで撮像した画像を例えばＰＣカード等を経由してプリンタに直接読み込んで印刷する場合など、プリンタにおいて領域抽出等の画像処理を実行する必要がある。
【０００８】
しかし、一般にプリンタ等に搭載されるＣＰＵは、パソコン等のホスト装置に比べて処理能力が低く、更にキャッシュも少なくかつメモリアクセスも遅いため、画像全体について画素ごとに繰り返し周囲の画素値やラベル値を参照する必要があるラベリング処理を単純に適用して領域抽出を行う構成としたのでは、処理速度が大幅に落ちてしまうという問題が生じる。
【０００９】
ここで、処理量を削減する方法として、低解像度で表された画像に対してラベリング処理を適用する方法が考えられる。画像を低解像度で表すことにより、ラベリング処理の対象となる画素数を減らすことができるからである。しかし、あるレベル（一般に５０ｄｐｉ程度）より低解像度でラベリングした場合、領域位置について十分な精度を確保することができず、対象物領域に依存する以降の画像処理や印刷等を適切に実行できないおそれが生じる。
【００１０】
そこで、本発明では、領域位置の精度を確保しつつ高速に対象物の領域を抽出することができる画像処理技術、及び、かかる画像処理技術を利用したプリンタやスキャナ・プリンタ複合機等の画像形成装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の画像処理方法は、第１の解像度で表された対象画像（以下、「第１解像度画像」と呼ぶ。）において対象物の領域を抽出する第１工程と、第１の解像度より高解像度の第２の解像度で表された前記対象画像（以下、「第２解像度画像」と呼ぶ。）において、第１工程により得られた対象物領域の境界に対して位置調整を行う第２工程と、を備えることを特徴とする。
【００１２】
かかる構成によれば、第２解像度より低解像度の第１解像度で表された画像において対象物の領域を抽出しているため、第２解像度で表された画像において対象物領域を抽出する構成に比較して、領域抽出処理の対象となる画素数を削減して高速に処理することが可能となる。また、境界領域では、第１解像度の画像より高解像度の第２解像度の画像に基づいて位置調整しているため、最初から第２解像度の画像に領域抽出処理を適用した場合と同等の精度の境界位置を得ることができる。
【００１３】
好適には、前記第２工程は、第２解像度画像の前記境界に対応する領域においてラベリング処理を実行し、そのラベリング結果に基づき位置調整を行うことを特徴とする。
【００１４】
かかる構成によれば、境界領域では第２解像度の画像に対してラベリング処理を適用して位置調整しているため、最初から第２解像度の画像にラベリング処理を適用した場合と同等の精度の境界位置を得ることができる。
【００１５】
好適には、前記第２工程は、第２解像度画像の前記境界に対応する領域において射影処理を実行し、その射影結果に基づき位置調整を行うことを特徴とする。
【００１６】
かかる構成によれば、ラベリング処理に比較して処理量の少ない射影処理により位置調整を行うため、より高速に領域位置を調整することができる。
【００１７】
好適には、更に、対象物をスキャンして第２解像度画像を取得する工程と、第２解像度画像に基づき第１解像度画像を算出する工程と、を備えることを特徴とする。
【００１８】
かかる構成によれば、１回のスキャンにより第１解像度画像と第２解像度画像の両方を取得することができる。
【００１９】
好適には、前記第１工程及び第２工程をカラースペースの複数のプレーンについてそれぞれ実行し、各プレーンにおいて得られた位置調整結果に基づき、対象物の領域を抽出することを特徴とする。
【００２０】
かかる構成によれば、色情報を有効に利用して精度良く対象物の領域を抽出することができる。
【００２１】
本発明の画像処理装置は、第１の解像度で表された対象画像において対象物の領域を抽出する第１の手段と、第１の解像度より高解像度の第２の解像度で表された前記対象画像において、第１の手段により得られた対象物領域の境界に対して位置調整を行う第２の手段と、を備えることを特徴とする。
【００２２】
本発明の画像形成装置は、本発明お画像処理装置を備えることを特徴とする。
【００２３】
本発明の画像処理方法は、コンピュータにより実施することができるが、そのためのコンピュータプログラムは、光ディスク、磁気ディスク、半導体メモリ及び通信ネットワークなどの各種の媒体を通じてコンピュータにインストールまたはロードすることができる。
【００２４】
【発明の実施の形態】
図面を参照して本発明の第１の実施の形態を説明する。図１は、本実施形態のスキャナ・プリンタ複合機１のハードウェア構成を表すブロック図である。図１に示すように、スキャナ・プリンタ複合機１は、印刷エンジン２、スキャナエンジン３、制御部４を備える。
【００２５】
印刷エンジン２は、例えば、印刷ヘッド、紙送り機構（キャリッジ、キャリッジ駆動モータなど）等を含んで構成され、制御部４の制御に従って、紙などの印刷記録媒体に印刷を行う。印刷エンジン２としては、レーザプリンタのようにページ単位で印刷するページプリンタ、インクジェットプリンタや熱転写プリンタのように１文字単位で印刷するシリアルプリンタ、１行単位で印刷するラインプリンタ等に対応する各種印刷エンジンを用いることができる。
【００２６】
スキャナエンジン３は、例えば、入力走査ヘッド、走査機構、光源等を含んで構成され、制御部４の制御に従って、原稿媒体の濃淡を光学的に読み取り、画像データを生成する。スキャナエンジン３としては、ドラムスキャナ、フラットベッドスキャナ、ＣＣＤスキャナなど各種スキャナエンジンを用いることができる。
【００２７】
制御部４は、ＣＰＵ（プロセッサ）１０、アプリケーションプログラム等が格納されるＲＯＭ１１、画像データ等が格納されるＲＡＭ１２、ＬＣＤや操作キーなどから構成されるＬＣＤパネル及びＬＣＤコントローラ１３、通信インタフェース１４等を含んで構成される。ＣＰＵ１０は、内部バスを介して各手段１１〜１４にアクセス可能に構成されており、ホスト装置から通信インタフェース１４を介して送られてくるジョブに従い、印刷エンジン２を制御して印刷動作を行わせたり、スキャナエンジン３を制御して読取動作を行わせたりする。
【００２８】
印刷エンジン２、スキャナエンジン３、制御部４の構成・動作は、原則として従来のスキャナ・プリンタ複合機の構成・動作と同様である。ただし、本スキャナ・プリンタ複合機１は、ホスト装置を介さずに単体で印刷を行う機能を備えており、例えば、スキャナエンジン３において画像を取り込み、領域抽出等の画像処理を行って印刷を行うことができるように構成されている（以下、かかる印刷形態を「コピー印刷」と呼ぶ。）。
【００２９】
図２に、コピー印刷を実現するための、制御部４における機能構成図を示す。図に示すように、制御部４は、パネルＩＦ手段２０、画像処理手段２１、コピー印刷制御手段２２等を備えて構成される。上記の各手段は、ＲＯＭ１１等に格納されるアプリケーションプログラムをＣＰＵ１０が実行することにより機能的に実現される。
【００３０】
パネルＩＦ手段２０は、ＬＣＤパネル及びＬＣＤコントローラ１３を介して、ユーザからスキャナ・プリンタ複合機１に対するコマンド等を受け付けるとともに、ユーザに対して印刷ステータス等を出力する。ユーザから受け付けるコマンドとしては、例えば、上述したコピー印刷等の実行を要求するコマンドなどが考えられる。
【００３１】
画像処理手段２１は、画像データに対して本発明に基づく領域抽出処理を実行する。かかる領域抽出処理についてはコピー印刷の処理フローにおいて併せて説明する。
【００３２】
画像処理手段２１は、領域抽出処理のほか、拡大縮小・回転処理、色変換処理、誤差拡散ディザ処理、ＪＰＥＧ圧縮・解凍処理等を実行することもできる。これらの処理については周知の技術を用いて構成することができるため、ここでは説明を省略する。
【００３３】
コピー印刷制御手段２２は、上記各手段を制御して、コピー印刷の機能を実現する。以下、図３〜図５に示すフローチャートを参照して、コピー印刷の処理フローを説明する。なお、各ステップは処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。
【００３４】
（コピー印刷の処理フロー：図３）
コピー印刷は、パネルＩＦ手段２０においてユーザからコピー印刷を要求するコマンドを受け付けた場合に、その処理を開始する。
【００３５】
まず、コピー印刷制御手段２２は、スキャナエンジン３を制御して、読取開始に必要な状態を整え、原稿のプリスキャンを開始する（Ｓ１００）。プリスキャンは例えば５０ｄｐｉ程度の解像度で行うことが望ましい。領域位置の精度を確保するためには少なくとも５０ｄｐｉ程度の解像度が必要と考えられるからである。
【００３６】
次に、画像処理手段２１は、プリスキャンにより得られた画像データに基づき各画素の輝度値を求め、これを所定のしきい値に基づき２値化する（Ｓ１０１）。しきい値は、１画素８ビットで表現されている場合、例えば２１０とすることが考えられる。
【００３７】
次に、画像処理手段２１は、Ｓ１０１で得られた２値画像に対して、低解像度化処理を適用する（Ｓ１０２）。低解像度化の方法としては、例えば、前記２値画像の４×４＝１６画素についてＯＲ演算を行った結果を、低解像度化した後の画像の１画素に対応させる方法が考えられる（図６参照）。この場合、プリスキャンにおける解像度が５０ｄｐｉであるとすると、低解像度化によって１２．５ｄｐｉの２値画像が得られることになる。
【００３８】
なお、以下では、プリスキャンにおける解像度を第２解像度、低解像度化した後の解像度を第１解像度と呼ぶこととする。
【００３９】
次に、画像処理手段２１は、Ｓ１０２で得られた第１解像度の２値画像に対して、ラベリング処理を適用する（Ｓ１０３）。
【００４０】
ラベリング処理には従来の種々のアルゴリズムを用いることができるが、以下では例として８方向連結に基づく２パス方式のラベリング処理について説明する。
【００４１】
１パス目では、第１解像度の２値画像に対して、左から右へ（主走査方向）、上から下へ（副走査方向）の順に走査する。そして、注目画素（走査対象画素）とその上左４画素（図７（ａ）参照）とについて連結性をチェックする。具体的には、注目画素の画素値が１であり、かつ上左４画素のいずれかの画素値が１である場合に連結していると判断する。そして、連結している場合には、注目画素に対して上左４画素に付与されているラベルと同じラベルを付与する。ただし、上左４画素に複数のラベルが付与されている場合は、図７（ａ）に示す優先順位で注目画素に付与するラベルを選択する。一方、注目画素の画素値が１であり、かつ上左４画素と連結していない場合は、該注目画素に新たなラベルを付与する。かかる処理を走査順に各画素について実行し、仮ラベル画像を作成する。
【００４２】
２パス目では、仮ラベル画像に対して、１パス目と逆順に（右から左へ、下から上への順に）走査する。そして、注目画素とその下右４画素（図７（ｂ）参照）とについて連結性をチェックし、以下１パス目と同様にラベルを伝播させて、ラベル画像（ラベル値を画素値とする画像）を求める。
【００４３】
ラベリング処理の適用後、画像処理手段２１は、Ｓ１０３で得られたラベル画像に対して、ノイズ除去処理を適用する（Ｓ１０４）。スキャナで読み込む際に入り込んだゴミや埃などに起因するノイズ領域にもラベルが付与されている可能性があるからである。ノイズ除去の方法としては、例えば、ラベルが付与されている領域（以下、「ラベル付与領域」と呼ぶ。）の最小方位矩形サイズが所定サイズ（例えば、１２．５ｄｐｉにおいて７×７画素）より小さいものをノイズと判定し、該ノイズ領域のラベルを消去する方法が考えられる。
【００４４】
次に、画像処理手段２１は、ノイズ除去後のラベル画像に基づき、ラベル付与領域全てを最小包囲する矩形領域を対象物領域として抽出する（Ｓ１０５）。
【００４５】
次に、画像処理手段２１は、Ｓ１０５で得られた対象物領域の境界領域に対して、第２解像度の２値画像に基づき位置調整を行う（Ｓ１０６）。位置調整方法については後述する。
【００４６】
次に、コピー印刷制御手段２２は、スキャナエンジン３を制御して、読取開始に必要な状態を整え、原稿の本スキャンを開始する（Ｓ１０７）。本スキャンにおける解像度は設計に応じて設定することができるが、例えば６００ｄｐｉ程度の解像度とすることが考えられる。
【００４７】
次に、画像処理手段２１は、位置調整後の対象物領域に基づき、本スキャンにより得られた画像データから対象物を切り出し、必要に応じて拡大縮小・回転処理、色変換処理、誤差拡散ディザ処理等を行い、印刷データを生成する（Ｓ１０８）。
【００４８】
最後に、コピー印刷制御手段２２は、印刷データを印刷エンジン２に転送し、印刷エンジン２を制御して印刷動作を行わせる（Ｓ１０９）。
【００４９】
（位置調整方法の第１実施例：図４）
Ｓ１０６における位置調整の第１の方法として、例えば、境界領域に対してラベリング処理を適用し、そのラベリング結果に基づいて境界の位置調整を行う方法が考えられる。
【００５０】
具体的には、まず第２解像度の２値画像において、境界領域を選択する（Ｓ１０６１）。境界領域は、対象物領域の４辺に接する所定範囲の領域とすることができ、前期所定範囲は、第１解像度での１画素分の幅（又はそれ以上）の範囲とすることができる。例えば第１解像度が１２．５ｄｐｉ、第２解像度が５０ｄｐｉの場合、第１解像度の１画素分の幅＝第２解像度の４画素分の幅となるので、第２解像度の２値画像における境界領域は、図８に示すような、対象物領域の４辺から領域内側へ４画素の幅を持つ領域（斜線部分）となる。
【００５１】
次に、第２解像度の２値画像の前記選択した境界領域に対して、Ｓ１０３、Ｓ１０４において説明したのと同様の手順によりラベリング処理（Ｓ１０６２）、ノイズ除去処理（Ｓ１０６３）を適用し、第２ラベル画像を求める。このとき、境界領域全体に対して処理を適用する必要性はなく、ラベル付与領域と重なる領域についてのみ処理を適用すれば足りる。
【００５２】
なお、ノイズ領域として除去するサイズはＳ１０４において採用したものよりも大きくする必要がある（例えば、５０ｄｐｉであれば３０×３０画素）。ただし、かかるサイズより小さいものであっても、境界領域の内側に接する場合はノイズ領域とは判断しないようにする。内側のラベル付与領域と連結している可能性があるからである。
【００５３】
次に、ノイズ除去後の第２ラベル画像に基づき、ラベル付与領域全てを最小包囲するように対象物領域の境界位置を調整する（Ｓ１０６４）。
【００５４】
かかる第１の方法では、低解像度（第１解像度）の画像にラベリング処理を適用して境界位置を仮決めし、高解像度（第２解像度）の画像において境界領域に対して再度ラベリング処理を適用して境界位置を本決めしているため、最初から高解像度（第２解像度）の画像にラベリング処理を適用して領域位置を決める場合と比較して、処理量を減らしつつ同等の精度の境界位置を得ることができる。
【００５５】
（位置調整方法の第２実施例：図５）
Ｓ１０６における位置調整の第２の方法として、例えば、境界領域に対して射影処理を適用し、その射影結果に基づいて境界の位置調整を行う方法が考えられる。
【００５６】
まず、第１の方法の場合と同様に、第２解像度の２値画像において境界領域を選択する（Ｓ１０６１）。
【００５７】
次に、第２解像度の２値画像の前記選択した境界領域に対して、上下方向、左右方向にそれぞれ射影処理を適用する（各方向にそれぞれ画素値を積算する）（Ｓ１０６２’）（図９参照）。なお、図９に示すように中央部分については射影する必要はない。
【００５８】
そして、対象物領域の外側から内側に向かう順序（図９において矢印で示す順序）で積算値をチェックしていき、最初に積算値≠０となる行又は列が対象物領域上の境界となるように境界位置を調整する（Ｓ１０６３’）。
【００５９】
ここで、対象物領域の外側から内側へ向かう順序で射影処理を実施していき、最初に積算値≠０となる行又は列が検出された時点で射影処理を停止する構成としてもよい。このように構成することで射影処理の処理量を軽減することができる。
【００６０】
一方、射影処理を停止せずに実行する場合、積算値≠０が検出された後、積算値＝０が検出される場合に浮き領域が存在すると判断して、ノイズ判定を行うことが可能となる。ノイズ判定の方法としては、例えば、浮き領域における最大積算値が所定のしきい値（例えば、５０ｄｐｉであれば３０画素）よりも小さい場合にノイズと判定する方法が考えられる。そして、浮き領域がノイズと判定された場合、該浮き領域に起因して検出された積算値≠０となる行又は列は境界位置として採用しない構成とする。
【００６１】
なお、２以上のラベル付与領域におけるノイズが積算されて非ノイズと判定されることを回避するために、ラベル付与領域ごとに射影処理を適用して浮き領域を検出することが望ましい。
【００６２】
かかる第２の方法では、ラベリング処理に比較して処理量の少ない射影処理により位置調整を行うため、より高速に領域位置を調整することができる。
【００６３】
このように本実施形態では、まず低解像度（第１解像度）で表された画像にラベリング処理を適用して対象物領域のおおよその位置を抽出し、次に高解像度（第２解像度）で表された画像において前記抽出した対象物領域に基づき選択した境界領域にラベリング処理や射影処理を適用し、その結果に基づいて境界位置を調整するように構成しているため、高解像度（第２解像度）で表された画像全体にラベリング処理を適用して対象物領域を抽出する構成に比較して、ラベリング処理の対象となる画素数を削減して高速に処理することが可能となる。また、境界領域では、低解像度（第１解像度）の画像ではなく高解像度（第２解像度）の画像に基づいて位置調整しているため、最初から高解像度（第２解像度）の画像にラベリング処理を適用した場合と同等の精度の境界位置を得ることができる。
【００６４】
（その他）
本発明は上記実施形態に限定されることなく、種々に変形して適用することが可能である。
【００６５】
例えば、上記実施形態ではプリスキャンにより得られた画像データの輝度値に基づいて領域抽出を行う構成としているが、色情報を用いて領域抽出を行うように構成してもよい。例えばスキャンエンジン３により得られた画像データがＲＧＢカラースペースで表されている場合、ＲＧＢの各プレーンにおいて上記実施形態と同様の構成により対象物領域を抽出して境界位置を調整し、各プレーンにおける境界位置調整後の対象物領域全てを最小包囲する矩形領域を最終的な対象物領域として抽出する構成を考えることができる。かかる構成によれば、色情報を有効に利用して精度良く対象物の領域を抽出することができる。
【００６６】
また例えば、上記実施形態ではホスト装置を介さずに印刷等を実行する場合について説明しているが、ホスト装置を介する場合であっても、本発明に従ってスキャナ・プリンタ複合機側で画像処理を行うように構成してもよい。また、ＰＣカードスロットやＵＳＢインタフェース等を介して電子機器を当該スキャナ・プリンタ複合機に接続し、電子機器に記憶されている画像圧縮データ等を直接読み出して伸長処理、領域抽出処理等を適用するように構成してもよい。
【００６７】
最後に、本発明の画像処理技術はスキャナ・プリンタ複合機以外の装置、例えばパソコンやデジタルカメラ等の装置においても適用可能である。また、本発明の画像形成装置は、スキャナ・プリンタ複合機に限られず、例えばインクジェットプリンタ、レーザプリンタ、ラベルプリンタ等の一般的にプリンタと呼ばれる機器のほか、画像形成機能を備えた種々の情報処理装置（コピー機、ファックス、ハンディターミナルなど）に対しても適用できる。
【図面の簡単な説明】
【図１】第１の実施形態におけるスキャナ・プリンタ複合機のハードウェア構成を示すブロック図である。
【図２】コピー印刷を実現するための、制御部４における機能構成を示すブロック図である。
【図３】コピー印刷処理の流れを示すフローチャートである。
【図４】位置調整方法の第１実施例に係る処理の流れを示すフローチャートである。
【図５】位置調整方法の第２実施例に係る処理の流れを示すフローチャートである。
【図６】低解像度化の方法を説明するための図である。
【図７】ラベリング処理における参照画素を説明するための図である。
【図８】境界領域を説明するための図である。
【図９】境界領域に適用する射影処理を説明するための図である。
【符号の説明】
１　スキャナ・プリンタ複合機、２　印刷エンジン、３　スキャナエンジン、４　制御部、１０　ＣＰＵ、１１　ＲＯＭ、１２　ＲＡＭ、１３　ＬＣＤパネル及びＬＣＤコントローラ、１４　通信インタフェース、２０　パネルＩＦ手段、２１　画像処理手段、２２　コピー印刷制御手段
【図１】
2004096489.tif 000003
【図２】
2004096489.tif 000004
【図３】
2004096489.tif 000005
【図４】
2004096489.tif 000006
【図５】
2004096489.tif 000007
【図６】
2004096489.tif 000008
【図７】
2004096489.tif 000009
【図８】
2004096489.tif 000010
【図９】
2004096489.tif 000011