(57)【要約】【課題】  画像データにメタデータを付加する際に、グラフィック・オブジェクトの示す内容に応じて適切にメタデータを付加することができない。【解決手段】  本発明に係る情報処理装置は、入力画像データを分割して、個々の領域をオブジェクトとして認識する認識手段と、前記オブジェクトの種類に応じて、該オブジェクトのそれぞれにメタデータを付加する付加手段と、前記オブジェクトのうち、前記入力画像データにおける領域と該領域以外の領域を関連付ける特定オブジェクトの有無を判定する判定手段とを備え、前記判定手段により、特定オブジェクトが存在すると判定された場合に、前記付加手段はさらに、前記特定オブジェクトに対して、前記特定オブジェクトが関連付ける領域のうち、少なくとも１つの領域に前記メタデータを付加することを特徴とする特徴とする。【選択図】図８
2010073165.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを領域に分割して、個々の領域をオブジェクトとして認識する認識手段と、
前記オブジェクトの種類に応じて、該オブジェクトのそれぞれにメタデータを付加する付加手段と、
前記オブジェクトのうち、前記入力画像データにおける領域と該領域以外の領域とを関連付ける特定オブジェクトの有無を判定する判定手段と
を備え、
前記判定手段により、前記特定オブジェクトが存在すると判定された場合に、
前記付加手段はさらに、前記特定オブジェクトに対して、前記特定オブジェクトが関連付ける領域のうち、少なくとも一つの領域であるオブジェクトに前記メタデータを付加することを特徴とする情報処理装置。
【請求項２】
前記付加手段は、前記特定オブジェクトが前記入力画像データにおける領域である第１のオブジェクトと該領域以外の領域である第２のオブジェクトとを関連付けている場合に、
前記第１のオブジェクトのメタデータを、前記第２のオブジェクトの内容に基づいて付加し、
前記第２のオブジェクトのメタデータを、前記第１のオブジェクトの内容に基づいて付加することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記付加手段は、前記特定オブジェクトが前記入力画像データにおける領域である第１のオブジェクトと該領域以外の領域である第２のオブジェクトとを関連付けている場合に、
該特定オブジェクトが該第１のオブジェクトと該第２のオブジェクトとが関連することを表す内容のオブジェクトであること示すメタデータを、該特定オブジェクトに付加することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記入力画像データが複数のページから構成される場合であって、前記特定オブジェクトの先端が指す領域に存在する第１のオブジェクトが、前記特定オブジェクト及び該特定オブジェクトによって該第１のオブジェクトと関連付けられた第２のオブジェクトと同一ページに存在しない場合に、
前記付加手段は、該特定オブジェクトによって前記第１のオブジェクトと関連づけられた第２のオブジェクトに、前記特定オブジェクトが指し示すページの内容に基づいたメタデータを付加することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記入力画像データが複数のページから構成される場合であって、前記特定オブジェクトの先端が示す領域に存在する第１のオブジェクトが、前記特定オブジェクト及び該特定オブジェクトによって該第１のオブジェクトと関連付けられた第２のオブジェクトと同一ページに存在しない場合に、
前記付加手段は、該特定オブジェクトが前記第１のオブジェクトが存在するページと前記第２のオブジェクトとが関連することを表す内容のオブジェクトであること示すメタデータを、該特定オブジェクトに付加することを特徴とする請求項１又は４に記載の情報処理装置。
【請求項６】
入力画像データを分割して、個々の領域をオブジェクトとして認識する認識手段と、
前記オブジェクトの種類に応じて、該オブジェクトのそれぞれにメタデータを付加する付加手段と、
前記オブジェクトのうちの少なくともいずれか一つのオブジェクトを指し示す特定オブジェクトの有無を判定する判定手段と
を備え、
前記判定手段により、特定オブジェクトが存在すると判定された場合に、
前記付加手段は、さらに該特定オブジェクトが指し示すオブジェクトに重要度を示すメタデータを付加することを特徴とする情報処理装置。
【請求項７】
前記付加手段は、前記特定オブジェクトの表示色及び前記特定オブジェクトの表示サイズの少なくともいずれかに基づいて、該特定オブジェクトが指し示すオブジェクトに重要度を示すメタデータを付加することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記付加手段は、前記特定オブジェクトが指し示すオブジェクトが存在する場合に、該特定オブジェクトが前記指し示しているオブジェクトは重要であることを示すメタデータを、該特定オブジェクトに付加することを特徴とする請求項６又は７に記載の情報処理装置。
【請求項９】
前記特定オブジェクトは、形状が矢印であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記特定オブジェクトは、形状が吹きだしであることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１１】
入力画像データを領域に分割して、個々の領域をオブジェクトとして認識する認識工程と、
前記オブジェクトの種類に応じて、該オブジェクトのそれぞれにメタデータを付加する付加工程と、
前記オブジェクトのうち、前記入力画像データにおける領域と該領域以外の領域とを関連付ける特定オブジェクトの有無を判定する判定工程と
を備え、
前記判定工程において、特定オブジェクトが存在すると判定された場合に、
前記付加工程はさらに、前記特定オブジェクトに対して、前記特定オブジェクトが関連付ける領域のうち、少なくとも一つの領域に前記メタデータを付加することを特徴とする情報処理装置の制御方法。
【請求項１２】
入力画像データを領域に分割して、個々の領域をオブジェクトとして認識する認識工程と、
前記オブジェクトの種類に応じて、該オブジェクトのそれぞれにメタデータを付加する付加工程と、
前記オブジェクトのうちの少なくともいずれか一つのオブジェクトを指し示す特定オブジェクトの有無を判定する判定工程と
を備え、
前記判定工程において、特定オブジェクトが存在すると判定された場合に、
前記付加工程はさらに、該特定オブジェクトが指し示すオブジェクトに重要度を示すメタデータを付加することを特徴とする情報処理装置の制御方法。
【請求項１３】
請求項１１又は１２に記載の情報処理装置の制御方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを記憶させたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、その制御方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
画像データを領域分割して、分割した文字オブジェクトや写真オブジェクト、グラフィック・オブジェクトに対して、それぞれメタデータを付加する方法が従来から行われている。例えば、文字オブジェクトにメタデータをつける場合には、ＯＣＲ処理を施すことによって得られる文字コード情報を付加する。
写真オブジェクトやグラフィック・オブジェクトに対しては、メタデータをつけるオブジェクトの近傍の文字オブジェクトに対してＯＣＲ処理を施すことによって得られた文字列を付加する。ここで、グラフィックとは、写真等の自然画像に比較して物体の輪郭が明瞭であり、出現色も限られる等の特徴を有する画像である。グラフィックは図形形成ソフトウェアで作成された線や矢印などの図形をベクトル化することで作成できる。これにより、ユーザは画像データに付加されたメタデータを用いて、検索等を行うことができる（特許文献１参照）。
【特許文献１】特開２００２−３２３９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のように写真オブジェクトやグラフィック・オブジェクトの内容を表す文字オブジェクトが、これらのオブジェクトの近傍にあるとは限らない。また、画像データの作成者はグラフィック・オブジェクトによって、オブジェクト同士の関連性やオブジェクトの重要度を表すことがあるが、上記の手法ではこれらの情報が一切考慮されていない。このため、適切なメタデータが付加されずに、ユーザにとっては使いにくいものであった。
【課題を解決するための手段】
【０００４】
上記課題に鑑みて、本発明に係る情報処理装置は、
入力画像データを分割して、個々の領域をオブジェクトとして認識する認識手段と、
前記オブジェクトの種類に応じて、該オブジェクトのそれぞれにメタデータを付加する付加手段と、
前記オブジェクトのうち、前記入力画像データにおける領域と該領域以外の領域を関連付ける特定オブジェクトの有無を判定する判定手段と、
を備え、
前記判定手段により、特定オブジェクトが存在すると判定された場合、
前記付加手段はさらに、前記特定オブジェクトに対して、前記特定オブジェクトが関連付ける領域のうち、少なくとも１つの領域に前記メタデータを付加すること
を特徴とする。
【発明の効果】
【０００５】
本発明によれば、画像データのオブジェクトに適切なメタデータを付加することができ、ユーザの利便性が高まる。
【発明を実施するための最良の形態】
【０００６】
本発明の実施形態について添付の図面を参照しつつ以下に説明する。実施形態においては、本発明に係る情報処理装置として、マルチファンクション複合機（以下、ＭＦＰ）を扱う。
【０００７】
＜第１の実施形態＞
本実施形態に係るＭＦＰ１００の構成について図１から図３までを用いて説明する。
【０００８】
〔画像処理システム〕
図１は本実施形態に係るＭＦＰを用いた画像処理システムの一例を説明する図である。画像処理システムは、オフィスＡ１１０とオフィスＢ１２０とをインターネット１３０で接続した環境において使用される。
【０００９】
オフィスＡ１１０内に構築されたＬＡＮ１０６に、ＭＦＰ１００、マネージメントＰＣ１０１、ローカルＰＣ１０２、文書管理サーバ１０３、及び文書管理サーバ１０３のためのデータベース１０４が接続される。ＭＦＰ１００は、ＬＡＮ１０８を介してマネージメントＰＣ１０１に直接接続される。オフィスＢ１２０内に構築されたＬＡＮ１０７に、ローカルＰＣ１０２、文書管理サーバ１０３、及び文書管理サーバ１０３のためのデータベース１０４とが接続される。ＬＡＮ１０６、１０７はプロキシサーバ１０５に接続され、ＬＡＮ１０６、１０７はプロキシサーバ１０５を介してインターネット１３０に接続される。ＬＡＮ１０８は、ＭＦＰ１００とマネージメントＰＣ１０１との間のデータの授受や制御信号授受に用いられる。
【００１０】
ＭＦＰ１００は原稿から読み取った入力画像データに対する画像処理の一部を担当する。ＭＦＰ１００はＬＡＮ１０８を通じて入力画像データの画像処理結果をマネージメントＰＣ１０１に出力する。また、ＭＦＰ１００は、ローカルＰＣ１０２又は不図示の汎用ＰＣから送信されるＰａｇｅ  Ｄｉｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ（以下、ＰＤＬ）言語を解釈して、プリンタとして作用する。さらには、入力画像データをローカルＰＣ１０２又は不図示の汎用ＰＣに送信する機能をもつ。
【００１１】
マネージメントＰＣ１０１は、画像記憶機能、画像処理機能、表示機能、入力機能等を含むコンピュータであり、ＭＦＰ１００を制御する。
【００１２】
〔ＭＦＰ〕
ＭＦＰ１００の構成を図２と図３とを用いて説明する。図２はＭＦＰ１００のハードウェア・ブロック図の一例である。ＭＦＰ１００は、データ処理装置２００、画像読取装置２０１、記憶装置２０２、記録装置２０３、入力装置２０４、及び表示装置２０５を備える。また、ＭＦＰ１００はネットワークＩ／Ｆ２０６、２０７を介して、ＬＡＮ１０６、１０８にそれぞれ接続される。
【００１３】
データ処理装置２００はＭＦＰ１００全体の制御を行う。具体的には、通常の複写機能を実行する際に、画像データを複写用の画像処理して記録信号に変換する。複数枚複写の場合には、１頁分の記録信号をいったん記憶装置２０２に保持した後、記録装置２０３に順次出力して、記録紙上に記録画像を形成する。また、ローカルＰＣ１０２からドライバーを経由して出力されるＰＤＬデータを解釈・処理する。さらに、後述する入力画像データに対するメタデータの付加処理を行う。
【００１４】
本実施形態において、メタデータとは、オブジェクトの表す内容に関するデータのことである。例えば、オブジェクトが写真である場合に、このオブジェクトが表すデータは写真そのものであるが、このオブジェクトのメタデータとして写真のタイトルや撮影場所等をキーワードとして付加することができる。また、このメタデータに含まれるキーワードを用いることで、画像の検索や、画像の自動分類等を行うことができ、利便性の向上を図ることができる。例えば、ユーザがキーワードを入力すると、そのキーワードが属するメタデータが付加されたオブジェクトが検索結果として表示される。
【００１５】
画像読取装置２０１は不図示のＡｕｔｏ  Ｄｏｃｕｍｅｎｔ  Ｆｅｅｄｅｒを有し、束状の又は１枚の原稿の画像を光源で照射して、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度（例えば６００ｄｐｉ）および所定輝度レベル（例えば８ビット）の画像読取信号を生成し、画像読取信号からラスターデータよりなる画像データを構成する。
【００１６】
記憶装置２０２は、画像読取装置２０１からのデータやローカルＰＣ１０２からドライバーを経由して出力されるＰＤＬデータをレンダリングしたデータを保存する。記録装置２０３は、ローカルＰＣ１０２又は他の汎用ＰＣ（不図示）がドライバーを利用して出力するＰＤＬ言語を記録紙上に記録する。入力装置２０４はＭＦＰ１００に設けられたキー操作部等であり、ＭＦＰ１００の操作やその他のデータの入力に用いられる。表示装置２０５は、操作入力の状態や画像データを表示する。
【００１７】
図３はＭＦＰ１００の機能ブロック図の一例である。本発明を説明するための最低限の機能を記載し、その他の機能については記載を省略する。ＭＦＰ１００は、認識部３０１、付加部３０２、及び記憶部３０３を備える。
【００１８】
認識部３０１は入力画像データの領域を分割して、それぞれの領域をオブジェクトとして認識する。本実施形態においてはオブジェクトの種類を、例えば文字、写真、及びグラフィック（線図や表など）として説明するが、この種類に限られるものではない。付加部３０２は、それぞれのオブジェクトに対して、オブジェクトの属性を表すメタデータを付加する。記憶部３０３は、入力画像データや後述する特定オブジェクトを記憶する。データ処理装置２００が認識部３０１や付加部３０２として機能し、記憶装置２０２などが記憶部３０３として機能する。
【００１９】
〔入力画像データの取得処理〕
入力画像データの取得処理について説明する。まず、図４を用いてＭＦＰ１００の画像読取装置２０１を使用して取得する場合について説明する。図４は入力画像データを取得する処理の一例を説明するフローチャートである。このフローチャートによる処理は、データ処理装置２００のＣＰＵがＲＯＭに記録されたコンピュータプログラムを実行することで処理される。取得された入力画像データは例えば記憶部３０３に保存される。
【００２０】
ステップＳ４０１で、画像読取装置２０１は原稿から画像を読み取る。
【００２１】
ステップＳ４０２で、データ処理装置２００は読み取った入力画像データをスキャナに依存する画像処理を行う。スキャナに依存する画像処理とは、例えば色処理やフィルタ処理である。
【００２２】
次に、図５を用いてローカルＰＣ１０２上のアプリケーションが生成した画像データを取得する場合について説明する。図５は入力画像データを取得する処理の別の一例を説明するフローチャートである。このフローチャートによる処理は、データ処理装置２００のＣＰＵがＲＯＭに記録されたコンピュータプログラムを実行することで処理される。
【００２３】
ステップＳ５０１で、ＭＦＰ１００は、ローカルＰＣ１０２上のアプリケーションが作成し、プリントドライバによって変換されたプリントデータを受信する。ここでプリントデータとはＰＤＬを意味し、例えば、ＬＩＰＳやＰｏｓｔｓｃｒｉｐｔ等である。
【００２４】
ステップＳ５０２で、データ処理装置２００は受信したプリントデータをインタープリタによってディスプレイリストに変換する。
【００２５】
ステップＳ５０３で、データ処理装置２００はレンダリングすることによって、ディスプレイリストをビットマップ画像データに変換し、これを入力画像データとする。
【００２６】
〔オブジェクト化処理〕
図６を用いて入力画像データをオブジェクト化してメタデータを付加する処理について説明する。図６はオブジェクト化処理の一例を説明するフローチャートである。このフローチャートによる処理は、データ処理装置２００のＣＰＵがＲＯＭに記録されたコンピュータプログラムを実行することで処理される。
【００２７】
ステップＳ６０１で、認識部３０１は入力画像データの表示領域をオブジェクトに分割する。オブジェクトへの分割の詳細は後述する。
【００２８】
ステップＳ６０２で、付加部３０２は、メタデータが付加されていないオブジェクトの一つを選択して処理対象とする。
【００２９】
ステップＳ６０３で、付加部３０２は選択したオブジェクトの種類を判定する。判定はオブジェクトがビットマップ形式の状態で行う。オブジェクトが写真と判定された場合には、ステップＳ６０４に移行する。オブジェクトがグラフィックと判定された場合には、ステップＳ６０５に移行する。オブジェクトが文字と判定された場合には、ステップＳ６０６に移行する。
【００３０】
ステップＳ６０４で、付加部３０２は、写真と判定されたオブジェクト（以下、写真オブジェクト）をＪＰＥＧ圧縮する。
【００３１】
ステップＳ６０５で、付加部３０２は、グラフィックと判定されたオブジェクト（以下、グラフィック・オブジェクト）をベクトル化処理し、パス化されたデータに変換する。
【００３２】
ステップＳ６０６で、付加部３０２は、文字と判定されたオブジェクト（以下、文字オブジェクト）をベクトル化処理し、パス化されたデータに変換する。さらに、データ処理装置２００はオブジェクトにＯＣＲ処理を施し、文字コード化されたデータを取得する。
【００３３】
ステップＳ６０７で、付加部３０２は、選択されたオブジェクトの判定結果に基づいて、最適なメタデータを付加する。メタデータの付加についての詳細は後述する。
【００３４】
ステップＳ６０８で、付加部３０２はすべてのオブジェクトに対してメタデータを付加したか否かを判定する。メタデータを付加していないオブジェクトが存在する場合（ステップＳ６０８において「ＮＯ」）は、ステップＳ６０２に戻り、オブジェクトを一つ選択する。すべてのオブジェクトに対してメタデータを付加していた場合（ステップＳ６０８において「ＹＥＳ」）は、ステップＳ６０９に移行する。
【００３５】
ステップＳ６０９で、付加部３０２は、メタデータが付加された各々のオブジェクトを入力画像データと関連付けて記憶部３０３に保存する。
【００３６】
ステップＳ６１０で、表示装置２０５は保存された画像データを表示する。画像処理システムのユーザは画像データに付加されたメタデータを用いて、例えば所望のデータの検索を行う。
【００３７】
〔オブジェクト分割処理〕
図７用いて、図６に示すステップ６０１の詳細を説明する。図７は入力画像データ７０１をオブジェクトに分割したデータ７０２に変換する処理の一例を説明する図である。
【００３８】
入力画像データ７０１は属性ごとの矩形ブロックに分割する。オブジェクト分割処理において、まず、入力画像データ７０１を白黒に二値化し、黒画素輪郭で囲まれる画素塊を抽出する。次に、抽出された黒画素塊の画素数を評価し、画素数が所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する画素数評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。
【００３９】
前述のように、矩形ブロックの属性としては、文字、写真、及びグラフィックがある。例えば、縦横比が１に近く、画素数が一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとする。そして、近接する文字相当ブロックが規則正しく整列している場合に、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。また扁平な画素塊、もしくは、一定画素数以上でかつ四角形の白画素塊を整列よく内包する黒画素塊をグラフィック領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。認識部３０１は、このようにして矩形ブロックに分割された領域をそれぞれオブジェクトとして認識する。
【００４０】
〔メタデータ付加処理〕
図８を用いて、図６に示すステップ６０７の詳細を説明する。図８はメタデータ付加処理の詳細の一例を説明するフローチャートである。このフローチャートによる処理は、データ処理装置２００のＣＰＵがＲＯＭに記録されたコンピュータプログラムを実行することで処理される。
【００４１】
ステップＳ８０１で、付加部３０２は選択したオブジェクトの種類を判定する。
【００４２】
オブジェクトが文字オブジェクトと判定された場合は、ステップＳ８０２に移行し、付加部３０２は当該文字オブジェクトから文字列を抽出する。文字列の抽出は、形態素解析、画像特徴量抽出、構文解析等により行うことができる。
【００４３】
ステップＳ８０３で、付加部３０２は当該文字オブジェクトのメタデータを抽出した文字列として処理を終了する。
【００４４】
オブジェクトが写真オブジェクトと判定された場合は、ステップＳ８０４に移行し、付加部３０２はオブジェクトの周囲で一番近くに存在する文字オブジェクトを選択する。
【００４５】
ステップＳ８０５で、付加部３０２は選択した文字オブジェクトの表す文字列を抽出する。文字列の抽出は、形態素解析、画像特徴量抽出、構文解析等により行うことができる。なお、文字オブジェクトにすでにメタデータが付加されている場合には、メタデータの表す文字列を利用してもよい。
【００４６】
ステップＳ８０６で、付加部３０２は、抽出された文字列をメタデータとして写真オブジェクトに付加し、処理を終了する。
【００４７】
オブジェクトがグラフィック・オブジェクトと判定された場合は、ステップＳ８０７に移行し、付加部３０２はグラフィック・オブジェクトが特定オブジェクトであるか否かを判定する。特定オブジェクトとは、入力画像データの処理に際して事前に定義されたオブジェクトであり、先端領域と後端領域とを有する。
【００４８】
図９を用いて特定オブジェクトについて説明する。特定オブジェクトとは、入力画像データにおけるある領域と、その領域以外のある領域を関連付けるオブジェクトである。または、特定オブジェクトとは、あるオブジェクトを重要と示すオブジェクトである。
【００４９】
以下、この特定オブジェクトを具体的に説明する。図９は特定オブジェクトの例を説明する図である。図９（ａ）は矢印の形状をしたグラフィック・オブジェクト９００を表す。このグラフィック・オブジェクト９００において、領域９０１が先端領域を表し、領域９０２が後端領域を表す。以下、先端領域、後端領域をそれぞれ単に先端、後端という。このように、先端と後端とを定義されたオブジェクトが特定オブジェクトとして事前に定義され、記憶部３０３に保存される。特定オブジェクトは矢印の形状のように、直感的に先端と後端とが認識できるオブジェクトが好ましいが、これに限られるものではない。
【００５０】
また、先端と後端とは直線状に配置されている必要もなく、図９（ｂ）のグラフィック・オブジェクト９１０のような形状をしていてもよい。この場合には、領域９１１が先端を表し、領域９１２が後端を表すことになる。
【００５１】
また、図９（ｃ）のグラフィック・オブジェクト９２０のような形状をしていてもよい。この場合は、両端が矢印になっているが、グラフィック・オブジェクト９２０の上方の領域９２１を先端とし、グラフィック・オブジェクト９２０の下方の領域９２２を後端とする。
【００５２】
同様に、図９（ｄ）のグラフィック・オブジェクト９３０のような形状をしていてもよい。この場合も両端が矢印になっているが、グラフィック・オブジェクト９３０の左端の領域９３１を先端とし、グラフィック・オブジェクト９３０の右端の領域９３２を後端とする。
【００５３】
その他、図９（e）の吹きだしの形状をしたグラフィック・オブジェクト９４０も、吹きだしの内側と外側とを関連付ける性質を持つ。この場合、オブジェクト９４０の吹きだし口の外側の領域９４１を前端とし、吹きだし口の内側の領域９４２を後端とする。
【００５４】
選択したオブジェクトが特定オブジェクトであるか否かの判定は、周知の手法を用いればよい。例えば、特定オブジェクトの形状が矢印の場合には、パターンマッチング手法を用いて認識したい矢印を判定してもよい。
【００５５】
図８に戻り、特定オブジェクトであると判定された場合（ステップＳ８０７において「ＹＥＳ」）は、ステップＳ８０８に移行する。ステップＳ８０８で、特定オブジェクトに対する処理を行うが、詳細は後述する。特定オブジェクトでないと判定された場合（ステップＳ８０７において「ＮＯ」）は、ステップＳ８０４に移行して、写真オブジェクトと同様の処理を行う。
【００５６】
〔特定オブジェクト処理〕
図１０を用いて、図８に示すステップ８０８の詳細を説明する。図１０は特定オブジェクト処理の詳細の一例を説明するフローチャートである。このフローチャートによる処理は、データ処理装置２００のＣＰＵがＲＯＭに記録されたコンピュータプログラムを実行することで処理される。
【００５７】
ステップＳ１００１で、付加部３０２は、特定オブジェクトが複数の異なるオブジェクトを関連付けているか否か、またはあるオブジェクトを指し示しているかを調査する。具体的には、異なる複数のオブジェクトのうち、第１のオブジェクトである先端が示すオブジェクト、第２のオブジェクトである後端が指し示すオブジェクトそれぞれが存在するか否かを判定する。以下、先端・後端が指し示すオブジェクトをそれぞれ先端オブジェクト・後端オブジェクトという。
【００５８】
先端・後端オブジェクトについて図１１を用いて説明する。図１１（ａ）は特定オブジェクトが異なる２つのオブジェクトを関連づけている状態の一例を説明する図である。図９と同様に、矢印の形状のグラフィック・オブジェクトを特定オブジェクト１１００とする。ここで、特定オブジェクト１１００の先端オブジェクトとは、特定オブジェクト１１００の先端付近の所定の領域１１１０に含まれているオブジェクトをいう。
【００５９】
この図の例では、オブジェクト１１１１が特定オブジェクト１１００の先端オブジェクトとなる。所定の領域１１１０に関しては特定オブジェクト１１００に応じて事前にユーザが定義しておく。特定オブジェクト１１００の種類や表示サイズに応じて領域１１１０の範囲を可変としてもよい。同様に、特定オブジェクト１１００の後端オブジェクトは、所定の領域１１２０に含まれるオブジェクト１１２１である。
【００６０】
また、図１１（ｂ）に示す、特定オブジェクトが吹きだし形の場合も同様に、特定オブジェクト１１３０の先端オブジェクトとは領域１１４０に含まれるオブジェクトをいう。この図の例では、オブジェクト１１４１が特定オブジェクト１１３０の先端オブジェクトとなる。同様に、特定オブジェクト１１３０の後端オブジェクトとは領域１１５０に含まれるオブジェクト１１５１である。
【００６１】
なお、所定の領域に複数のオブジェクトが含まれる場合には、当該領域に含まれるオブジェクトをすべて指し示すものとしてもよいし、任意の一つを選択して指し示すものとしてもよい。また、任意の一つは特定オブジェクト１１００に最も近いオブジェクトを選択してもよい。さらに、所定の領域に完全に包含されるオブジェクトに限らず、所定の領域と一部が重複するオブジェクトを指し示すオブジェクトとして選択してもよい。
【００６２】
図１０に戻り、ステップＳ１００１で、先端オブジェクト・後端オブジェクトがともに存在する場合には、ステップＳ１００２に移行する。後端オブジェクトのみが存在する場合には、ステップＳ１００３に移行する。先端オブジェクトのみが存在する場合には、ステップＳ１００４に移行する。どちらも存在しない場合には、ステップＳ１００５で、図８のステップＳ８０４から８０６までで示した通常のグラフィック・オブジェクトの処理を行い、終了する。
【００６３】
ステップＳ１００２で、先端オブジェクト・後端オブジェクトがともに存在する場合のメタデータ付加処理を行う。例えば、この場合の画像データの状況は図１２（ａ）に示すようになる。図１２は先端オブジェクト・後端オブジェクトの有無による画像データの違いの一例を説明する図である。特定オブジェクト１２００に対して、先端オブジェクト１２０２と後端オブジェクト１２０１との両方が存在し、特定オブジェクトはこの２つのオブジェクトを関連つけている。先端オブジェクト１２０２は写真オブジェクトであり、この例では地図を表す。後端オブジェクト１２０１は文字オブジェクトであり、この例では「集合場所」の文字列を有する。このような画像データにおいて、観察者は、矢印の形状をした特定オブジェクト１２００は、先端オブジェクト１２０２の説明を後端オブジェクト１２０１がする関連性を表すと考えるだろう。そこで、特定オブジェクト１２００のメタデータとして「関連性」を付加する。
【００６４】
さらに、特定オブジェクト１２００のメタデータに、先端オブジェクト１２０２である写真オブジェクトと後端オブジェクト１２０１である文字オブジェクトの有する文字列を付加してもよい。メタデータに「関連性」が付加されたオブジェクトは、他のオブジェクト同士を関連付けるオブジェクトである。
【００６５】
さらに、先端オブジェクト１２０２である写真オブジェクトのメタデータには、後端オブジェクト１２０１である文字オブジェクトの有する文字列を付加する。また、後端オブジェクト１２０１のメタデータも同様に先端オブジェクト１２０１である写真オブジェクトを付加する。上記のように、先端オブジェクト１２０２の種類と後端オブジェクト１２０１の種類とに応じて、適当なメタデータを付加する。
【００６６】
これにより、ユーザが検索する際に、先端オブジェクトのメタデータに含まれるキーワードを入力すると、検索結果として先端オブジェクトが表示されるが、その先端オブジェクトのメタデータ内には後端オブジェクトの内容が含まれることになる。同様に、ユーザが検索する際に、後端オブジェクトのメタデータに含まれるキーワードを入力すると、検索結果として先端オブジェクトの内容が含まれたメタデータを付加された後端オブジェクトも表示される。
【００６７】
また、ユーザが検索する際に「関連性」というキーワードを入力すると、検索結果として特性オブジェクトが表示される。この特性オブジェクトのメタデータに先端オブジェクト、後端オブジェクトの内容が付加されている場合は、この特性オブジェクトが有するメタデータを確認することで、関連付けられた先端オブジェクトと後端オブジェクトを検索できる。
【００６８】
それぞれの組み合わせについてどのようなメタデータを付加するかについては図１３に示すようなテーブル１３００を用いてユーザが事前に規定しておく。テーブル１３００は記憶部３０３に保存しておく。
【００６９】
図１３はメタデータの付加に参照されるテーブル１３００の一例である。先端オブジェクト１３０１と後端オブジェクト１３０２との組み合わせに応じて、付加されるメタデータが規定される。このテーブルにおいて、先端メタデータ１３０３、後端メタデータ１３０４は、それぞれ先端オブジェクト、後端オブジェクトに付加されるメタデータを表す。また、特定メタデータ１００５は特定オブジェクトに付加されるメタデータを表す。
【００７０】
列１３０６のように、後端オブジェクト１３０２も特定オブジェクトである場合には、さらにその特定オブジェクトが指し示すオブジェクトに応じて先端オブジェクト１３０１のメタデータを付加する。メタデータの付加後、処理を終了する。なお、メタデータの付加はテーブル１３００に示した例に限られないことは言うまでもない。
【００７１】
ステップＳ１００３で、後端オブジェクトのみが存在する場合のメタデータ付加処理を行う。例えば、図１２（ｂ）がこのような状況を表す。このような状況が発生するのは画像データが複数のページから構成される場合であると考えられる。このような場合には、特定オブジェクトの先端が、特定オブジェクトが含まれるページよりも前のページに含まれる画像データ全体を指し示していると考えることができる。そこで、後端オブジェクトのメタデータを「前ページに含まれる画像データ」とし、特定オブジェクトのメタデータを「関連性」とする。このような画像データが複数のページから構成される場合についての詳細は、第２の実施形態で説明する。
【００７２】
しかし、このような場合には特定オブジェクトが関連性を示していないとして、図８のステップＳ８０４から８０６で示した通常のグラフィック・オブジェクトの処理を行ってもよい。メタデータの付加後、処理を終了する。
【００７３】
ステップＳ１００４で、先端オブジェクトのみが存在する場合、すなわち特定オブジェクトが他のオブジェクトを指し示しているような場合のメタデータ付加処理を行う。
【００７４】
例えば、図１２（ｃ）がこのような状況を表す。このような画像データにおいて、観察者は、矢印の形状をした特定オブジェクト１２２０は、先端オブジェクト１２２２が重要なデータを示すという重要度を表すと考えるだろう。そこで、特定オブジェクト1２２０のメタデータとして「重要度」を付加する。メタデータに「重要度」が付加されたオブジェクトは、他のオブジェクトの重要度を表すオブジェクトである。
【００７５】
例えばユーザは画像データに対して、メタデータに「重要度」が付加されたオブジェクトを検索することで、重要度の高いオブジェクトを簡単に調べることができる。メタデータとして「重要度」を付加するだけでなく、先端オブジェクトの内容を合わせて付加してもよい。先端オブジェクトのメタデータはそのオブジェクトの内容に応じて付加すればよい。
【００７６】
しかし、このような場合には特定オブジェクトが関連性を示していないとして、図８のステップＳ８０４からステップＳ８０６で示した通常のグラフィック・オブジェクトの処理を行ってもよい。メタデータの付加後、処理を終了する。
【００７７】
以上により、本実施形態によれば、グラフィック・オブジェクトの指し示す内容に応じてメタデータを付加するため、画像データのオブジェクトに適切なメタデータを付加することが可能となる。
【００７８】
＜第２の実施形態＞
本実施形態において、入力画像データが複数のページで構成される場合に好適な変形例を説明する。第１の実施形態と同様の構成・処理については説明を省略する。図１４を用いて本実施形態の概要を説明する。図１４はページの端に特定オブジェクトが存在する場合の一例を説明する図である。
【００７９】
画像データは２枚のページ１４００、１４１０とで構成されるとする。特定オブジェクト１４０１の先端が指し示す領域にオブジェクトは存在しない。しかしながら、特定オブジェクト１４０１はページの端に位置しているため、オブジェクト１４０２が次のページ１４１０を指し示していると考えることができる。そこで、特定オブジェクト１４０１がページの端に位置し、先端又は後端が当該ページの外部の領域を指し示している場合には、隣り合ったページと関連付ける処理を行う。
【００８０】
オブジェクトが他のページを指し示すか否かの判定は、先端又は後端が指し示す所定の領域が当該オブジェクトを有するページ内に収まっているか否かで判定することができる。ページ内に収まっている場合には、他のページを指し示していないと判定する。
【００８１】
特定オブジェクトの先端が指し示すオブジェクトが、特定オブジェクトと同一ページ内に収まっていない場合には、特定オブジェクトは他のページを指し示していると判定する。先端が次のページを指し示している場合には、後端オブジェクトのメタデータに当該次のページを設定する。後端が前のページを指し示している場合には、先端オブジェクトのメタデータに当該前のページを設定する。具体的には、前又は後ろのページのサムネイル画像をメタデータに設定したり、前又は後ろのページの内容を表す文字列をメタデータに設定する。また、第１の実施形態と同様に、当該特定オブジェクトのメタデータを「関連性」とする。
【００８２】
以上により、画像データが複数のページで構成される場合にも、画像データのオブジェクトに適切なメタデータを付加することが可能となる。
【００８３】
＜第３の実施形態＞
第１の実施形態では、特定オブジェクトが、あるオブジェクトを指し示す場合である先端オブジェクトのみが存在する場合に、特定オブジェクトのメタデータを「重要度」と設定して、重要度の高いオブジェクトを検索できるようにした。本実施形態では、個々のオブジェクトについて重要度を規定し、ユーザの利便性を高める。
【００８４】
本実施形態において、記憶部３０３はオブジェクトごとに重要度を記憶する。認識部３０１は、図６に示すステップＳ６０１で分割されたオブジェクトごとに重要度を設定する。すべて同じ重要度を設定してもよいし、オブジェクトの種類ごとに異なる重要度を設定してもよい。
【００８５】
図１０に示すステップＳ１００４において、付加部３０２は以下の処理をさらに行う。付加部３０２は特定オブジェクトの表示サイズを算出する。表示サイズは例えば特定オブジェクトの画素数に基づいて算出すればよい。そして、付加部３０２は特定オブジェクトの表示サイズに基づいて、先端オブジェクトに重要度を示すメタデータを付加する。好適には、特定オブジェクトのサイズが大きいほど、先端オブジェクトに重要度が高いことを示すメタデータを付加する。
【００８６】
さらに、特定オブジェクトの表示色に基づいて、先端オブジェクトの重要度の増加度合いを変更してもよい。例えば、付加部３０２は、特定オブジェクトのＲＧＢの平均値を算出し、平均値に基づいて増加度合いを決定する。
【００８７】
以上より、オブジェクトに重要度を設定し、特定オブジェクトによってその重要度を変化させることで、ユーザは重要度の高いオブジェクトを容易に識別することが可能となる。
【００８８】
＜その他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００８９】
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００９０】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００９１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図面の簡単な説明】
【００９２】
【図１】本発明の実施形態におけるＭＦＰを用いた画像処理システムの一例を説明する図である。
【図２】本発明の実施形態におけるＭＦＰ１００のハードウェア・ブロック図の一例である。
【図３】本発明の実施形態におけるＭＦＰ１００の機能ブロック図の一例である。
【図４】本発明の実施形態における入力画像データを取得する処理の一例を説明するフローチャートである。
【図５】本発明の実施形態における入力画像データを取得する処理の別の一例を説明するフローチャートである。
【図６】本発明の実施形態におけるオブジェクト化処理の一例を説明するフローチャートである。
【図７】本発明の実施形態における入力画像データ７０１をオブジェクトに分割したデータ７０２に変換する処理の一例を説明する図である。
【図８】本発明の実施形態におけるメタデータ付加処理の詳細の一例を説明するフローチャートである。
【図９】本発明の実施形態における特定オブジェクトの例を説明する図である。
【図１０】本発明の実施形態における特定オブジェクト処理の詳細の一例を説明するフローチャートである。
【図１１】本発明の実施形態における特定オブジェクトが他のオブジェクトを指し示す状態の一例を説明する図である。
【図１２】本発明の実施形態における先端オブジェクト・後端オブジェクトの有無による画像データの違いの一例を説明する図である。
【図１３】本発明の実施形態におけるメタデータの付加に参照されるテーブル１３００の一例である。
【図１４】本発明の第２の実施形態におけるページの端に特定オブジェクトが存在する場合の一例を説明する図である。
【符号の説明】
【００９３】
１００  ＭＦＰ
１０１  マネージメントＰＣ
１０２  ローカルＰＣ
１０３  文書管理サーバ
１０４  データベース
１０５  プロキシサーバ
１０６  ＬＡＮ
１０７  ＬＡＮ
１０８  ＬＡＮ
１１０  オフィスＡ
１２０  オフィスＢ
１３０  インターネット
【図１】
2010073165.tif 000003
【図２】
2010073165.tif 000004
【図３】
2010073165.tif 000005
【図４】
2010073165.tif 000006
【図５】
2010073165.tif 000007
【図６】
2010073165.tif 000008
【図７】
2010073165.tif 000009
【図８】
2010073165.tif 000010
【図９】
2010073165.tif 000011
【図１０】
2010073165.tif 000012
【図１１】
2010073165.tif 000013
【図１２】
2010073165.tif 000014
【図１３】
2010073165.tif 000015
【図１４】
2010073165.tif 000016