(57)【特許請求の範囲】
【請求項１】
入力された画像データに含まれるオブジェクト画像を検出する検出手段と、
前記検出手段により検出されたオブジェクト画像の各々に対してオブジェクト属性を判定する判定手段と、
前記判定手段により判定された属性を前記オブジェクト画像に付加する付加手段と、
前記付加手段によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加手段によりキャプションの属性が付加されたオブジェクト画像が隣接して存在するか否かを判断する判断手段と、
前記判断手段により、前記付加手段によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加手段によりキャプションの属性が付加されたオブジェクト画像が隣接して存在すると判断された場合、該グラフ又はイメージの属性が付加されたオブジェクト画像と該キャプションの属性が付加されたオブジェクト画像とをグループ化し、該グループ化された単位でオブジェクト画像に関する領域情報を前記画像データと関連付けて記憶部に記憶する第１の記憶制御手段と、
前記判断手段により、前記付加手段によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加手段によりキャプションの属性が付加されたオブジェクト画像が隣接して存在しないと判断された場合、該グラフ又はイメージの属性が付加されたオブジェクト画像に対して前記検出手段では行われなかった別の検出処理を実行することにより該グラフ又はイメージの属性が付加されたオブジェクト画像から別のオブジェクト画像を検出し、検出された別のオブジェクト画像に対して前記付加手段により属性情報を付加し、該検出された別のオブジェクト画像に関する領域情報を前記画像データと関連付けて記憶部に記憶する第２の記憶制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記判定手段は、前記検出手段により検出されたオブジェクト画像の形状または該オブジェクト画像に含まれる画像の特徴に基づいてオブジェクト属性を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記グループ化されたオブジェクト画像を前記画像データから抽出し１つのグループ化画像データとして生成する生成手段をさらに備え、
前記第１の記憶制御手段は、前記領域情報と該領域情報に関連するグループ化画像データとを前記記憶部に記憶することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記領域情報には、前記グループ化されたオブジェクト画像それぞれに関する情報が関連付けされて記載されていることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１の記憶制御手段は、共通の枠オブジェクトに囲まれるオブジェクト画像を単位としてグループ化することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第１の記憶制御手段は、共通の下地画像を有するオブジェクト画像を単位としてグループ化することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
画像処理装置の制御方法であって、
検出手段が、入力された画像データに含まれるオブジェクト画像を検出する検出工程と、
判定手段が、前記検出工程により検出されたオブジェクト画像の各々に対してオブジェクト属性を判定する判定工程と、
付加手段が、前記判定工程により判定された属性を前記オブジェクト画像に付加する付加工程と、
判断手段が、前記付加工程によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加工程によりキャプションの属性が付加されたオブジェクト画像が隣接して存在するか否かを判断する判断工程と、
前記判断工程において、前記付加工程によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加工程によりキャプションの属性が付加されたオブジェクト画像が隣接して存在すると判断された場合、第１の記憶制御手段が、該グラフ又はイメージの属性が付加されたオブジェクト画像と該キャプションの属性が付加されたオブジェクト画像とをグループ化し、該グループ化された単位でオブジェクト画像に関する領域情報を前記画像データと関連付けて記憶部に記憶する第１の記憶制御工程と、
前記判断工程において、前記付加工程によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加工程によりキャプションの属性が付加されたオブジェクト画像が隣接して存在しないと判断された場合、第２の記憶制御手段が、該グラフ又はイメージの属性が付加されたオブジェクト画像に対して前記検出工程では行われなかった別の検出処理を実行することにより該グラフ又はイメージの属性が付加されたオブジェクト画像から別のオブジェクト画像を検出し、検出された別のオブジェクト画像に対して属性情報を付加し、該検出された別のオブジェクト画像に関する領域情報を前記画像データと関連付けて記憶部に記憶する第２の記憶制御工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータに、
入力された画像データに含まれるオブジェクト画像を検出する検出工程と、
前記検出工程により検出されたオブジェクト画像の各々に対してオブジェクト属性を判定する判定工程と、
前記判定工程により判定された属性を前記オブジェクト画像に付加する付加工程と、
前記付加工程によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加工程によりキャプションの属性が付加されたオブジェクト画像が隣接して存在するか否かを判断する判断工程と、
前記判断工程において、前記付加工程によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加工程によりキャプションの属性が付加されたオブジェクト画像が隣接して存在すると判断された場合、該グラフ又はイメージの属性が付加されたオブジェクト画像と該キャプションの属性が付加されたオブジェクト画像とをグループ化し、該グループ化された単位でオブジェクト画像に関する領域情報を前記画像データと関連付けて記憶部に記憶する第１の記憶制御工程と、
前記判断工程において、前記付加工程によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加工程によりキャプションの属性が付加されたオブジェクト画像が隣接して存在しないと判断された場合、該グラフ又はイメージの属性が付加されたオブジェクト画像に対して前記検出工程では行われなかった別の検出処理を実行することにより該グラフ又はイメージの属性が付加されたオブジェクト画像から別のオブジェクト画像を検出し、検出された別のオブジェクト画像に対して属性情報を付加し、該検出された別のオブジェクト画像に関する領域情報を前記画像データと関連付けて記憶部に記憶する第２の記憶制御工程と、
を実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記憶したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術、特に、画像データに含まれるオブジェクトを管理する技術に関するものである。
【背景技術】
【０００２】
近年、環境問題が叫ばれる中、オフィスでのペーパーレス化が急速に進んでいる。このペーパーレス化を実現する技術として、バインダー等で蓄積された紙文書をスキャナで読み取り、その読み取った画像を電子データに変換して蓄積する技術がある。
【０００３】
特許文献１には、当該電子データを記憶装置に蓄積して管理する文書管理システムや遠隔地に送信する画像通信システムなどが提案されている。また、特許文献２では、紙文書やイメージデータの形態で保存された情報の再利用を容易にするために、入力された画像をベクトルデータに変換する画像処理方法が提案されている。具体的には、イメージデータを文字領域・線画領域（表領域や図形領域）・写真領域に領域分割を行い、ベクトル化の対象とすべき矩形ブロックの指定をユーザから受け付ける技術が開示されている。  また、特許文献３および特許文献４には、ラベリング手法等による領域分割により、個々の画像の領域情報を取得する技術が開示されている。
【特許文献１】特開２００１−３５８８５７号公報
【特許文献２】特開２００４−３２６４９０号公報
【特許文献３】特開２００３−２６３６４２号公報
【特許文献４】特開２００４−３０４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、特許文献２に記載の技術においては、複数の画像（オブジェクト）を包含した領域が領域分割の結果得られることが多い。そのため、所望とする個々の画像の領域分割情報を取得することができず、ユーザが改めてＰＣ等で編集作業する必要があり煩雑であった。つまり、個々の画像の編集、再利用には不向きであるという問題があった。
【０００５】
一方で、ラベリング手法等による領域分割により、個々の画像の領域情報を取得することも可能である。しかし、常に全ての画像の領域情報を保存するように構成した場合、データ量が肥大化するため、必要となる記憶領域が大量に必要となる。また、画像検索を実行する場合、処理時間が大幅に増大するという問題があった。
【０００６】
本発明は上述の問題点に鑑みなされたものであり、画像データ内のオブジェクトをより適切な単位で管理可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するために、本発明の画像処理装置は以下の構成を備える。すなわち、画像処理装置において、入力された画像データに含まれるオブジェクト画像を検出する検出手段と、前記検出手段により検出されたオブジェクト画像の各々に対してオブジェクト属性を判定する判定手段と、前記判定手段により判定された属性を前記オブジェクト画像に付加する付加手段と、前記付加手段によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加手段によりキャプションの属性が付加されたオブジェクト画像が隣接して存在するか否かを判断する判断手段と、前記判断手段により、前記付加手段によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加手段によりキャプションの属性が付加されたオブジェクト画像が隣接して存在すると判断された場合、該グラフ又はイメージの属性が付加されたオブジェクト画像と該キャプションの属性が付加されたオブジェクト画像とをグループ化し、該グループ化された単位でオブジェクト画像に関する領域情報を前記画像データと関連付けて記憶部に記憶する第１の記憶制御手段と、前記判断手段により、前記付加手段によりグラフ又はイメージの属性が付加されたオブジェクト画像に対して、前記付加手段によりキャプションの属性が付加されたオブジェクト画像が隣接して存在しないと判断された場合、該グラフ又はイメージの属性が付加されたオブジェクト画像に対して前記検出手段では行われなかった別の検出処理を実行することにより該グラフ又はイメージの属性が付加されたオブジェクト画像から別のオブジェクト画像を検出し、検出された別のオブジェクト画像に対して前記付加手段により属性情報を付加し、該検出された別のオブジェクト画像に関する領域情報を前記画像データと関連付けて記憶部に記憶する第２の記憶制御手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、画像データ内のオブジェクトをより適切な単位で管理可能とすることのできる技術を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１１】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、ＭＦＰ（Multi Function Peripheral）を例に挙げて以下に説明する。
【００１２】
＜概要＞
スキャナで読み取ったイメージデータから当該イメージデータに含まれるオブジェクト画像を検出し、検出したオブジェクト画像の領域情報をイメージデータと関連付けて記憶部に保存する。第１実施形態では、検出したオブジェクト画像をキャプション属性のオブジェクト画像に対応する単位でグループ化し、その領域情報を保存する。
【００１３】
＜装置構成＞
図１は、第１実施形態に係る画像処理装置を含む画像処理システムの全体構成を示すブロック図である。
【００１４】
オフィス内に構築されたＬＡＮ１０２には、複合機であるＭＦＰ（Multi Function Peripheral）１００、ＭＦＰ１００を利用するクライアントＰＣ１０１、および、プロキシサーバ１０３が接続されている。
【００１５】
ＭＦＰ１００は、複写機能、印刷機能、送信機能（ファイル送信、ファックス送信）など複数の機能を有する。そして、ＬＡＮ１０２は、プロキシサーバ１０３を介して外部のネットワーク１０４に接続されている。ネットワーク１０４は、典型的にはインターネット、電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、衛星回線、ケーブルテレビ回線、無線回線などの通信ネットワークであるが、データの送受信が可能なものであれば良い。クライアントＰＣ１０１は、例えば、印刷データをＭＦＰ１００へ送信することで、その印刷データに基づく印刷物をＭＦＰ１００で印刷出力する。
【００１６】
なお、クライアントＰＣ１０１およびプロキシサーバ１０３はそれぞれ、汎用コンピュータ（ＰＣ）に搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置など）を備えている。そして、ネットワーク１０４に接続するためのネットワークインタフェース、ユーザインタフェースとしてのディスプレイ、キーボード、マウス等を備えている。
【００１７】
図２は、第１実施形態に係る画像処理装置１００の内部構成を示す図である。
【００１８】
画像読取部１１０は、１枚以上の原稿を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像する。そして、固体撮像素子からラスタ状の画像読取信号を所定の解像度（例えば、６００ＤＰＩ）のイメージ情報（ラスタ画像）として取得する機能部である。画像読取部１１０は、原稿を自動的に搬送するオートドキュメントフィーダ（ＡＤＦ）を含むものであってもよい。
【００１９】
記憶部１１１は、例えば大容量のハードディスクで構成され、画像読取部１１０で読み取った画像データや、クライアント１０１から送信された画像データを記憶する。また、データベースとして構成され、記憶した画像データを管理している。ここでは、画像読取部１１０により読み取ったイメージデータと、当該イメージデータを領域分割することによって得られる領域情報とを対応づけて管理しているものとする。
【００２０】
操作部１１３および表示部１１６はユーザインタフェースとして機能し、ユーザからの各種操作の受け付けおよびユーザへの情報提供を行なう。操作部１１３は、キー操作部やタッチパネルなどから構成され、表示部１１６は、例えば液晶画面から構成される。
【００２１】
データ処理部１１５は、操作部１１３を介したユーザからの指示、あるいは、ネットワークを介した指示に基づいて、データを処理する機能部である。
【００２２】
印刷部１１２は、データ処理部１１５により処理されたデータを用紙などの記録媒体上に出力（印刷）する機能部である。記録方式としては、電子写真方式のほかインクジェット方式なども用いられる。
【００２３】
上述のように、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有する。原稿画像を１つ複写する場合には、画像読取部１１０から出力された画像読取信号をデータ処理部１１５で画像処理して記録信号を生成する。そして、生成された記録信号を印刷部１１２によって記録媒体上に印刷する。一方、原稿画像を複数複写する場合には、記憶部１１１に一旦１ページ分の記録信号を記憶保持する。その後、記録信号を印刷部１１２に順次出力して記録媒体上に印刷する。
【００２４】
また、ＭＦＰ１００は、画像読取信号に対応する画像データをネットワークを介して外部装置へ送信する送信機能を有する。送信機能においては、画像読取部１１０から得られる画像信号に基づいて、ＴＩＦＦやＪＰＥＧ等のラスタ（ビットマップ）画像ファイル、あるいはＰＤＦ等のベクトル画像ファイルの画像ファイルを生成する。そして、ネットワークＩ／Ｆ１１４を介して、生成された画像データを外部の装置に送信する。つまり、ＬＡＮ１０２を介してクライアント１０１へ送信したり、ネットワーク１０４を介して外部ネットワーク上の装置（例えば、別のＭＦＰやクライアントＰＣ）に送信したりする。
【００２５】
さらに、ＭＦＰ１００は、外部の装置から印刷データを受信し、用紙などの印刷媒体上に画像を出力（印刷）する印刷機能を有する。例えば、クライアントＰＣ１０１からネットワークＩ／Ｆ１１４を介して印刷データを受信し、データ処理部１１５で画像処理して記録信号を生成する。そして、生成された記録信号を印刷部１１２によって記録媒体上に印刷する。
【００２６】
＜装置の動作＞
図３は、第１実施形態に係る画像処理装置の動作フローチャートである。
【００２７】
ステップＳ３０１では、ＭＦＰ１００は原稿画像を読み取りイメージデータを生成する。具体的には、画像読取部１１０を動作させて、１枚の原稿を走査し、予め設定された解像度および濃度レベルでの画像読み取り信号を取得する。そして、画像読み取り信号をデータ処理部１１５によって前処理し、入力画像の１ページ分のイメージデータとして、記憶部１１１に格納する。
【００２８】
ステップＳ３０２では、記憶装置１１１に格納されたイメージデータに含まれるオブジェクト画像の領域を抽出する。オブジェクト画像の領域の抽出方法について、以下に一例を説明する。
【００２９】
まず、イメージデータをＭ×Ｎの領域に分割し、各領域内について１画素でも有意画素が存在すれば、そこに画像があるとして間引き画像を作成する。そして、間引き画像が連結する部分をまとめ矩形領域を形成していく。例えば、縦横比が大きく短辺同士が接近している矩形領域は文字行である可能性が高いので、この場合は矩形同士を結合する。また、短辺の長さがほぼ同じで、ほぼ等間隔に並んでいる矩形の集合は、本文部である可能性が高いのでこの矩形の集合を結合する。
【００３０】
図４は、イメージデータからオブジェクト画像を抽出した結果の例を示す図である。図４（ａ）〜（ｃ）の例にも示されるように、領域抽出処理においては、事前に設定された精度や入力イメージデータのレイアウトの複雑さなどにより、結果は１つとは限らない。図４（ａ）では領域４０１〜４０８までの８個の領域が抽出されている。一方、図４（ｂ）では、図４（ａ）における領域４０３〜４０８は、領域４０９〜４１１の３個の領域として抽出されている。あるいは、図４（ｃ）では、図４（ａ）における領域４０３〜４０８は、単一の領域４１２として抽出されている。ただし、以下では、図４（ａ）に示されるように抽出されたものとして説明を行う。
【００３１】
ステップＳ３０３では、ステップＳ３０２で抽出された領域毎にオブジェクト画像の属性（オブジェクト属性）を判定し属性情報を付加する。ここで、属性としては、オブジェクト画像の画像特徴として以下に説明するように”見出し”、”本文”、”グラフ”、”イメージ”、”キャプション”から選択するものとする。なお、属性の判定は、ステップＳ３０２での矩形領域の形成の際の情報を用いるとよい。または、形成された矩形領域内部の画像（画素）特徴に基づいて判定すると良い。
【００３２】
例えば、領域４０２は、ステップＳ３０２において複数の小矩形を結合して生成された領域である。その場合、本文部である可能性が高いと判断され“本文”の属性情報が付加される。
【００３３】
残りの領域については、まず、文字が含まれているか否かを判断する。例えば、領域内で画像の有無が周期的に現れる場合に文字が含まれている領域として判断する。この画像の有無に基づいて、領域内に文字が含まれている領域であるか否かを判断することができる。その結果、領域４０１、領域４０４、領域４０６、領域４０８は文字が含まれる領域として決定する。つまり、”見出し”、”本文”または”キャプション”の何れかであると決定される。また、本文部の文字行の行幅より大きく、本文部の段とは異なる位置にある文字領域については属性を“見出し”とする。ここでは、領域４０１が“見出し”として設定される。
【００３４】
一方、それ以外の領域については、画素密度が小さいものは“グラフ”として、それ以外は絵や写真であるとして“イメージ”の属性を付加する。なお、領域のサイズが小さい場合はノイズとして領域情報を削除しても良い。
【００３５】
そして、“グラフ”または“イメージ”の属性が付加された領域（ここでは、領域４０３、領域４０５、領域４０７）の上または下に隣接する文字領域については属性を“キャプション”とする。つまり、領域４０４、領域４０６、領域４０８が”キャプション”属性として設定される。
【００３６】
なお、このとき“キャプション”として設定した領域に対しては、当該“キャプション”に対応する領域（つまり、“グラフ”または“イメージ”の属性が付加された領域）を関連付けて記憶する。
【００３７】
以上のようにして、図４（ａ）の各領域に対して属性が設定される。つまり、領域４０１には“見出し”が、領域４０４、領域４０６、領域４０８には“キャプション”が、領域４０３には“グラフ”が、領域４０５、領域４０７には“イメージ”の属性がそれぞれ付加される。
【００３８】
ステップＳ３０４では、“本文”、“見出し”、“キャプション”の属性が付加された領域、つまり文字列が含まれると判定された領域に対して、文字認識を実行する。そして、その結果を文字情報として入力画像に関連付ける。なお、文字認識が失敗した場合には、ステップＳ３０３での属性の判定が誤っていたと判定し、例えば”イメージ”などの属性に変更するよう構成してもよい。
【００３９】
ステップＳ３０５では、“イメージ”や“グラフ”の属性が付加された領域について、“キャプション”の属性が付加された領域が付随しているか否かの判断を行う。付随している場合はステップＳ３０８に進み、イメージデータを関連付けて、上述の処理によって得られたオブジェクト画像に関する領域情報を記憶部１１１に保存する。これは、請求項の記憶制御手段の動作に相当する。なお、“キャプション”の属性が付加された領域が付随しているか否かの判断は、“イメージ”や“グラフ”の属性が付加された領域それぞれについて行なってもよいし、イメージデータ単位（ページ単位）で行なっても良い。
【００４０】
図５は、キャプションが付随している場合の領域情報のデータ形式の例を示す図である。
【００４１】
まずデータ形式５０１について説明する。データ形式５０１における”領域番号”の０１〜０８は、それぞれ図４（ａ）の領域４０１〜４０８に対応する。属性情報は、上述の“本文”、“見出し”、“キャプション”、“イメージ”、“グラフ”などの属性を表す。
【００４２】
矩形情報は、例えば、領域の基準点のＸ，Ｙ座標値、および幅、高さにより表すことが出来る。もちろん、４頂点の座標値により指定するよう構成してもよい。また、文字認識情報は、ステップＳ３０４で実行した文字認識結果を保存する。
【００４３】
そして、”キャプション”属性のオブジェクト画像に対するレコードは当該キャプションが関連する”イメージ”または”グラフ”のオブジェクト画像のレコードの直後に配置されるよう構成されている。つまり、”キャプション”属性のオブジェクト画像に対応させてオブジェクト画像をグループ化し、領域情報として記憶する。
【００４４】
データ形式としては、５０１に示すものだけではなく、”イメージ”または”グラフ”のレコードが、”キャプション”属性のレコードと関連付けられているか否かが判定可能なものであれば任意のものが使用可能である。
【００４５】
例えば、データ形式５０２に示すように、キャプション属性を有する画像領域（領域番号０４，０６，０８）が付随している画像領域（領域番号０３、０５、０７）に対し付加情報を付与することにより関連付けを表すよう構成してもよい。また、データ形式５０３に示すように、”キャプション”属性のレコードを対応する”イメージ”または”グラフ”のレコードの付加情報を付与するよう構成してもよい。その場合、”キャプション”属性のレコード自体（データ形式５０２における番号０４、０６、０８）は不要と判断し削除するとよい。
【００４６】
さらに、データ形式５０４に示すように、”キャプション”属性の矩形領域と関連する”イメージ”または”グラフ”の矩形領域とを結合し１つの矩形領域として保存するよう構成してもよい。例えば、“イメージ”や“グラフ”が付加された領域と当該領域に関連する”キャプション”属性との領域とを結合した矩形情報を生成してもよい。この場合、オブジェクト画像が図４（ｂ）のように検出された場合と同等となる。
【００４７】
つまり、上述の何れのデータ形式においても”イメージ”または”グラフ”と判定された矩形領域については、”キャプション”属性の矩形領域と１対１に対応するように画像の単位（グループ化画像データ）を設定することに特徴がある。
【００４８】
一方、キャプション属性が付随していない場合、つまりイメージデータにキャプションが含まれない場合について以下に説明する。つまり、ステップＳ３０５において、”ＮＯ”の判定がされた場合について図６および図７を参照して説明する。
【００４９】
図６は、キャプションが付随していないイメージデータからオブジェクト画像を抽出した結果の例を示す図である。なお以下では、ステップＳ３０２で、図６（ａ）に示すようにオブジェクト画像が抽出されたものとして説明する。
【００５０】
ステップＳ３０６では、属性“イメージ”や“グラフ”が付加された領域に対して、ステップＳ３０２で行われなかったラベリング処理や射影切り出し処理などで領域の再抽出を行う。つまり、ステップＳ３０２に比較してより詳細なオブジェクト画像の検出を行なう。ここで、ラベリング処理や射影切り出し処理については、一般的に知られている技術を用いる。図６（ａ）における領域６０５に対しては、領域再抽出の結果、図６（ｂ）に示される領域６０６と領域６０７が抽出される。
【００５１】
ステップＳ３０７では、ステップＳ３０６で再抽出された領域に対して属性情報を付加する。ステップＳ３０３で付加された属性をそのまま利用するよう構成しても良いし、再度属性の判定を行い属性を付加するように構成してもよい。
【００５２】
例えば、ステップＳ３０６の領域再抽出前は、“イメージ”の属性だった領域に対して、色が単色で構成されている画像であれば、改めて別の属性、例えば“グラフィック”の属性等を付加するようにしても良い。その結果、領域６０６は、“イメージ”属性、領域６０７は、“グラフィック”属性が付加される。一方、領域６０３、６０４に対しては、ラベリング処理や射影切り出し処理を行っても領域内にオブジェクト画像が１つしかないと判断され、領域再抽出を行っても結果は変わらない。
【００５３】
図７は、キャプションが付随していない場合の領域情報のデータ形式の例を示す図である。
【００５４】
”キャプション”属性を有するオブジェクト画像が存在しないため、データ形式７０１または７０２に示されるように、認識された個々のオブジェクト画像に対するレコードを個別に記録する。なお、属性“グラフ”が付加された領域については、グラフを再現できるあらかじめ定めた書式（数式など）で表現されたデータを関連付けて記憶してもよい。
【００５５】
＜再利用時の情報処理装置の動作＞
以下では、上述のＭＦＰ１００で動作する画像検索ソフトウェアの動作について説明する。ただし、当該画像検索ソフトウェアをＭＦＰ１００の外部のクライアントＰＣ１０１などで動作するよう構成してもよい。
【００５６】
図１７は、画像データを再利用する際の画像検索処理を示すフローチャートである。また、図１８は、画像検索ソフトウェアのユーザインタフェースの例を示す図である。
【００５７】
１８０２は、検索キーワードを指定する入力欄。１８０３は、検索キーワードを指定後、押下するボタンである。１８０４は、検索結果一覧から、領域を選択後、再抽出（再分割）を行う場合、押下するボタンである。１８０５は、検索結果一覧から、領域を選択後、該画像を不図示の別の文書に利用する際に、一時的な記憶領域にコピーする場合に押下するボタンである。１８０６は、１８０５でコピーされた該画像を、不図示の別の文書に貼り付ける場合に押下するボタンである。
【００５８】
ステップＳ１７０１では、検索条件とする単語を指定する。例えば、キーワード入力領域１８０２にオペレータから例えばキーボードを介して入力を受け付けるよう構成すればよい。ここでは、例えば、“図”というキーワードを指定する。
【００５９】
ステップＳ１７０２では、ステップＳ１７０１により指定したキーワードにより領域情報内の情報を検索する。例えば、データ形式５０２の領域情報に対しては、付加情報の項目に含まれる文字列を検索する。
【００６０】
ステップＳ１７０３では、検索によりマッチングが成功した領域情報の付加情報を有するオブジェクト画像を一覧表示する。ここで、“図”というキーワードに対して、マッチングが成功するのは、図５の５０２の領域番号０３、番号０５、番号０７となり、これらのオブジェクト画像イメージが検索結果一覧としてユーザインタフェース上に表示される。１８０７は、これらの画像が表示されている様子を表す。ここで、１８０８は領域番号０３に、１８０９は領域番号０５に、１８１０は領域番号０７に各々対応している。１８０８はグラフ、１８０９はカメラの画像、１８１０は印刷装置と人物が含まれるオブジェクト画像をそれぞれ示している。
【００６１】
ステップＳ１７０４では、検索結果一覧からユーザが利用したい領域画像の選択を受け付ける。
【００６２】
ステップＳ１７０５では、選択された領域画像を再分割する必要があるか否かを判定する（分割判定手段）。具体的には、ユーザから図１８に示される”分割”ボタンの押下の有無により判定する。再分割すると判定した場合、ステップＳ１７０６、Ｓ１７０７へ進み、領域再抽出、属性情報再付加を行う。再分割しないと判定した場合は、ステップＳ１７１０へ進み、選択された領域画像を別の文書へ貼り付けるなどの編集を行う。
【００６３】
例えば、画像オブジェクト１８１０に含まれる印刷装置の画像のみを再利用したい場合は、ユーザは１８１０を選択後、分割ボタン１８０４を押下する。なお、再分割については、上述のステップＳ３０６、Ｓ３０７と同様の方法を用いるとよい。
【００６４】
ステップＳ１７０８では、領域再抽出後の領域情報表示を行う。１８１１は、分割指示後のＵＩの表示を例示的に示す図である。ここで、１８１２、１８１３は、領域再抽出された結果の領域画像を示している。１８１２は、印刷装置の画像のみを含むオブジェクト画像であり、一方、１８１３は人物の画像のみを含むオブジェクト画像である。
【００６５】
ステップＳ１７０９では、領域再抽出された結果、表示された領域情報をもとに、ユーザから利用するオブジェクト画像の選択を受け付ける。例えば、１８１０に含まれるＭＦＰの画像のみを再利用したい場合は、１８１２を選択する。
【００６６】
ステップＳ１７１０では、選択された領域画像を別の文書へ貼り付ける場合は、ＵＩ上の”コピー”ボタンを押下し、不図示の別の文書を指定した後、貼り付けボタンを押下することで編集を行う。
【００６７】
このように、上述したようなデータ形式でイメージデータに対するオブジェクト画像の領域情報を記憶することで、ユーザにとってより利用しやすい適切な単位で管理可能とすることができる。
【００６８】
例えば、ユーザが再利用を主目的として入力原稿のイメージデータを記憶装置に保存する際に、上述のグループ単位で領域情報を保存することにより、データ数（ファイル数）、またはデータ容量（ファイル容量）が減る。そのため、記憶装置の負荷を低減することが可能である。また、記憶装置の保存された領域情報を検索する際にも、上述の領域情報を参照することにより検索速度を向上させることが可能となる。また、記憶装置に保存されたグループ単位で利用することも、個々の画像単位で利用することも容易となる。
【００６９】
（第２実施形態）
＜概要＞
第２実施形態では、検出したオブジェクト画像のうち同一の（共通の）”枠”オブジェクトに囲まれているオブジェクトを単位としてグループ化し、その領域情報を保存する。なお、装置構成については第１実施形態と同様であるので説明は省略する。
【００７０】
＜装置の動作＞
図８は、第２実施形態に係る画像処理装置の動作フローチャートである。第１実施形態とは、ステップＳ３０３およびＳ３０４で”枠”属性を有するオブジェクト画像が検出され、ステップＳ３０５がステップＳ８０１に置き換わっている点のみ主に異なる。
【００７１】
図９は、イメージデータからオブジェクト画像を抽出する例を示す図である。９０１は、入力されるイメージデータを示しており、９０２、９０４は、枠で囲まれた画像であることを示している。また、９０３は、枠で囲まれていない画像であることを示している。一方、９０５は、９０１の原稿を入力とした場合の領域分割結果であり、領域９０６には“見出し”、領域９０７には“本文”、領域９０８は、“グラフ”、領域９０９、９１０は“イメージ”の属性が付加される。さらに、領域９０８、９１０には“枠”の属性が併せて付加される。
【００７２】
図１０は、枠オブジェクトが存在する場合の領域情報のデータ形式の例を示す図である。領域９０６〜９１０に関する情報が１００１に示すようなデータ形式で保存される。つまり、領域９０４のように枠に囲まれた複数の画像は１つのオブジェクト画像として領域情報に格納される。
【００７３】
ステップＳ８０１では、属性“イメージ”や“グラフ”が付加された領域について、”枠”属性を有する画像オブジェクトが存在するか否かを判断する。そして、”枠”属性が付加されていれば、ステップＳ３０８で、入力画像と共に、上述の処理によって得られたイメージデータに関する領域情報を記憶部１１１に保存する。枠属性が付加されていない場合は、ステップＳ３０６で領域の再抽出を行う。
【００７４】
以上、第２実施形態に係る画像処理装置によれば、同一の枠オブジェクトに囲まれた画像を単位として領域情報を保存する。そのようにすることにより第１実施形態と同様の効果が得られることになる。
【００７５】
（第３実施形態）
＜概要＞
第３実施形態では、検出したオブジェクト画像のうち同一の（共通の）”下地”画像（ベタ、網点、グラデーション等）を有するオブジェクトを単位としてグループ化し、その領域情報を保存する。なお、装置構成については第１実施形態と同様であるので説明は省略する。
【００７６】
＜装置の動作＞
図１１は、第３実施形態に係る画像処理装置の動作フローチャートである。第１実施形態とは、ステップＳ３０３およびＳ３０４で”下地”属性を有するオブジェクト画像が検出され、ステップＳ３０５がステップＳ１１０１に置き換わっている点のみ主に異なる。
【００７７】
図１２は、イメージデータからオブジェクト画像を抽出する例を示す図である。１２０１は、入力されるイメージデータを示しており、１２０２、１２０４は、イメージデータ全体の下地（例えば白のベタ）と異なる下地画像を有する画像であることを示している。また、１２０３は、入力原稿全体の下地と同じ下地を有する画像であることを示している。一方、１２０５は、１２０１のイメージデータに対する領域分割結果を示しており、領域１２０６には“見出し”、領域１２０７には“本文”、領域１２０８は、“グラフ”、領域１２０９、１２１０は“イメージ”の属性が付加される。さらに、領域１２０８、１２１０には“下地”の属性が併せて付加される。
【００７８】
図１３は、下地属性が存在する場合の領域情報のデータ形式の例を示す図である。領域１２０６〜１２１０に関する情報が１３０１に示すようなデータ形式で保存される。つまり、領域１２０４のように枠に囲まれた複数の画像は相互に関連付けられた１つのオブジェクト画像として領域情報に格納される。
【００７９】
ステップＳ１１０１では、属性“イメージ”や“グラフ”が付加された領域について、”下地”属性を有する画像オブジェクトが存在するか否かを判断する。そして、”下地”属性が付加されていれば、ステップＳ３０８で、入力画像と共に、上述の処理によって得られたイメージデータに関する領域情報を記憶部１１１に保存する。下地属性が付加されていない場合は、ステップＳ３０６で領域の再抽出を行う。
【００８０】
以上、第３実施形態に係る画像処理装置によれば、同一の下地属性を有する画像を単位として領域情報を保存する。そのようにすることにより第１実施形態と同様の効果が得られることになる。
【００８１】
（第４実施形態）
第４実施形態では、ユーザの選択指示の基づいて以下の３種類のモードを切り替える構成について説明する。
【００８２】
（Ａ）グループを検出するモード（以下、適応的領域分割モード）
（Ｂ）グループを検出せず常に領域再抽出を行うモード（以下、詳細領域分割モード）
（Ｃ）所定のグループ単位を検出せず領域再抽出も行わないモード（以下、簡易領域分割モード）
＜装置の動作＞
図１４は、第４実施形態に係る画像処理装置の動作フローチャートである。ステップＳ１４０１〜Ｓ１４０３が追加されている点が第１実施形態と異なる。
【００８３】
ステップＳ１４０１では、ＭＦＰ１００の操作部１１３の操作画面を介して、（Ａ）適応的領域分割モード、（Ｂ）詳細領域分割モード、（Ｃ）簡易領域分割モードの何れかのモードの選択受付を行なう。
【００８４】
ユーザにより”（Ａ）適応的領域分割モード”が指定された場合には、ステップＳ１４０２、Ｓ１４０３ともＮｏと判断され、結果として第１実施形態と同様の動作となる。
【００８５】
一方、ユーザにより”（Ｂ）詳細領域分割モード”が指定された場合には、ステップＳ１４０３でＹｅｓと判断され、キャプションが付随しているか否かに関わらず領域再抽出（Ｓ３０６、Ｓ３０７）を行う。つまり、画像単位での領域情報が格納されることになる。
【００８６】
また、ユーザにより”（Ｃ）簡易領域分割モード”が指定された場合には、ステップＳ１４０２でＹｅｓと判断され、キャプションが付随しているか否かに関わらず領域再抽出は行わない。つまり、ステップＳ３０２での分割結果がそのまま領域情報として反映されることになる。
【００８７】
以上のように構成することにより、イメージデータに含まれるオブジェクト画像の抽出精度を、よりユーザの志向に合わせて設定することが可能となる。なお、ここでＳ３０５の判断基準は「キャプション属性が付随されているか」としたが、第２および第３実施形態で示したように「枠属性が付随されているか」や「下地属性が付随されているか」という判断基準を用いてもよい。
【００８８】
（第５実施形態）
第５実施形態では、ユーザからのオブジェクト画像の利用目的の入力に基づいて領域分割の方法を制御する。ここでは以下の２種類の利用目的に応じて領域分割の方法を切り替える構成について説明する。
【００８９】
（ａ）記憶領域への画像データ保存（以下、保存モード）
（ｂ）ネットワークを介した画像送信や通常コピー（以下、送信／コピーモード）
＜装置の動作＞
図１５は、第５実施形態に係る画像処理装置の動作フローチャートである。ステップＳ１５０１〜Ｓ１５０４が追加されている点が第１実施形態と異なる。
【００９０】
ステップＳ１５０１では、ＭＦＰ１００の操作部１１３の操作画面を介して、ユーザから（ａ）保存モード、または、（ｂ）送信／コピーモードの選択入力を受け付ける。
【００９１】
ユーザにより”（ａ）保存モード”が指定された場合には、結果として第１実施形態と同様の動作となる。一方、”（ｂ）送信／コピーモード”が指定された場合には、キャプションが付随しているか否かに関わらず、ステップＳ３０６、Ｓ３０７で、常に領域再抽出、属性情報再付加を行う。
【００９２】
ステップＳ１５０３では、適応的画像処理を行う。ここで、適応的画像処理とは、領域属性に応じた画像処理を行うことであり、画質を向上させることが可能である。例えば、“イメージ”属性の画像に対してはＪＰＥＧ圧縮を行い、“グラフィック”属性の画像に対してはアウトライン化（ベクトル化）およびＺＩＰ圧縮を行う。また、コピー処理を行なう場合には、色処理、画像形成処理を切り替える。
【００９３】
以上のように構成することにより、イメージデータに含まれるオブジェクト画像の抽出精度を、より利用目的応じて設定することが可能となる。なお、ここでＳ３０５の判断基準は「キャプション属性が付随されているか」としたが、第２および第３実施形態で示したように「枠属性が付随されているか」や「下地属性が付随されているか」という判断基準を用いてもよい。
【００９４】
（変形例）
上述の第１〜第３実施形態では、グループ化を行なう単位として、“キャプション”属性、“枠”属性、“下地”属性を利用した。しかし、グループ化に利用可能な属性はこれらに限定されず、例えば、イメージ”または、“グラフ”の属性をもつ領域内部の画像（オブジェクト）の特徴量を表す属性でも構わない。
【００９５】
図１６は、画像の特徴量に基づく領域分割を例示的に示す図である。
【００９６】
１６０１は入力されるイメージデータであり、１６０２、１６０３は、１６０１の原稿を入力とした場合の領域分割結果である。領域１６０２、１６０３には“イメージ”の属性が付加される。ここで、領域１６０２、１６０３の領域内部を解析し、同じ画像（オブジェクト）で構成されている場合には、領域の再抽出は行わないよう構成する。なお、異なる画像（オブジェクト）で構成されている場合には、領域の再抽出を行うよう構成してもよい。
【００９７】
例えば、領域１６０２には、同じ形状の画像（４つとも正方形画像）が含まれ、領域１６０３には、異なる形状画像（正方形画像と円画像が混在）が含まれると判断される。
【００９８】
また、１６０４は１６０１とは別のイメージデータであり、１６０５、１６０６は、１６０４の原稿を入力とした場合の領域分割結果である。領域１６０５、１６０６には“イメージ”の属性が付加される。ここで、領域１６０５、１６０６の領域内部を解析し、単色で構成されている場合には、領域の再抽出は行わず、混色で構成されている場合には、領域の再抽出を行うとしてもよい。
【００９９】
例えば、１６０５は、単色（４つの正方形画像は全て黒）で構成されており、１６０６は、混色（４つの正方形画像の上段２つは黒で下段２つは青）で構成されていると判断される。
【０１００】
以上のように、領域内部の画像（オブジェクト）の特徴量に基づいたグループ化も可能である。
【０１０１】
（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１０２】
なお、本発明は、前述した実施形態の機能を実現するプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置が、供給されたプログラムコードを読み出して実行することによっても達成される。従って、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。
【０１０３】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１０４】
プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭなどがある。
【０１０５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０６】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１０７】
【図１】第１実施形態に係る画像処理装置を含む画像処理システムの全体構成を示すブロック図である。
【図２】第１実施形態に係る画像処理装置の内部構成を示す図である。
【図３】第１実施形態に係る画像処理装置の動作フローチャートである。
【図４】イメージデータからオブジェクト画像を抽出した結果の例を示す図である。
【図５】キャプションが付随している場合の領域情報のデータ形式の例を示す図である。
【図６】キャプションが付随していないイメージデータからオブジェクト画像を抽出した結果の例を示す図である。
【図７】キャプションが付随していない場合の領域情報のデータ形式の例を示す図である。
【図８】第２実施形態に係る画像処理装置の動作フローチャートである。
【図９】イメージデータからオブジェクト画像を抽出する例を示す図である。
【図１０】枠オブジェクトが存在する場合の領域情報のデータ形式の例を示す図である。
【図１１】第３実施形態に係る画像処理装置の動作フローチャートである。
【図１２】イメージデータからオブジェクト画像を抽出する例を示す図である。
【図１３】下地属性が存在する場合の領域情報のデータ形式の例を示す図である。
【図１４】第４実施形態に係る画像処理装置の動作フローチャートである。
【図１５】第５実施形態に係る画像処理装置の動作フローチャートである。
【図１６】画像の特徴量に基づく領域分割を例示的に示す図である。
【図１７】画像データを再利用する際の画像検索処理を示すフローチャートである。
【図１８】画像検索ソフトウェアのユーザインタフェースの例を示す図である。
【図１】
0005132416.tif 000002
【図２】
0005132416.tif 000003
【図３】
0005132416.tif 000004
【図４】
0005132416.tif 000005
【図５】
0005132416.tif 000006
【図６】
0005132416.tif 000007
【図７】
0005132416.tif 000008
【図８】
0005132416.tif 000009
【図９】
0005132416.tif 000010
【図１０】
0005132416.tif 000011
【図１１】
0005132416.tif 000012
【図１２】
0005132416.tif 000013
【図１３】
0005132416.tif 000014
【図１４】
0005132416.tif 000015
【図１５】
0005132416.tif 000016
【図１６】
0005132416.tif 000017
【図１７】
0005132416.tif 000018
【図１８】
0005132416.tif 000019