(57)【特許請求の範囲】
【請求項１】
コンピュータを、
画像とテキストとを含む第１の文書情報の当該画像と当該テキストとの位置関係と、画像とテキストとを含む第２の文書情報の当該画像と当該テキストとの位置関係とに基づき、前記第１の文書情報に含まれる前記画像に対応する画像を前記第２の文書情報に含まれる画像から検索する検索手段として機能させるための文書管理プログラム。
【請求項２】
前記第１の文書情報及び前記第２の文書情報に含まれる画像とテキストとを、当該画像とテキストとの位置関係に基づいて得られる評価値とともに関連付けた情報を生成する生成手段としてさらに機能させ、
前記検索手段は、前記評価値に基づいて、前記第１の文書情報に含まれる前記画像に対応する画像を前記第２の文書情報に含まれる画像から検索する請求項１に記載の文書管理プログラム。
【請求項３】
前記検索手段は、前記第１の文書情報に含まれるテキスト中のキーワードを前記第２の文書情報が含む場合に、前記第２の文書情報に含まれる画像を前記第１の文書情報に含まれる画像に対応する画像として検索する請求項１に記載の文書管理プログラム。
【請求項４】
前記第１の文書情報と前記第２の文書情報に含まれるテキスト又は当該テキストの配置の類似度が予め定めた閾値以上である場合に、前記第１の文書情報に含まれる画像と、前記第２の文書情報に含まれる画像とを対応する画像とした画像間関係情報を生成する生成手段としてさらに機能させる請求項１に記載の文書管理プログラム。
【請求項５】
画像とテキストとを含む第１の文書情報の当該画像と当該テキストとの位置関係と、画像とテキストとを含む第２の文書情報の当該画像と当該テキストとの位置関係とに基づき、前記第１の文書情報に含まれる前記画像に対応する画像を前記第２の文書情報に含まれる画像から検索する検索手段を有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書管理プログラム及び情報処理装置に関する。
【背景技術】
【０００２】
従来の技術として、文字と画像が混在する文書中の文字列を画像の検索用のテキストとして用いる情報処理装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示された情報処理装置は、文字列と画像が混在する文書から画像を含む画像領域及び文字列を含む文字領域を認識して抽出し、文字領域の文字列から画像領域の画像に関連付けするキーテキストとなる文字列を抽出して、画像とキーテキストとを関連付けして格納するとともに、検索語が入力された場合に検索語に基づいてキーテキストを検索し、検索結果のキーテキストに関連付けされた画像を表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２５１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、文書中に用いる画像に関連する他の文書中の画像を検索する文書管理プログラム及び情報処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、上記目的を達成するため、以下の文書管理プログラム及び情報処理装置を提供する。
【０００７】
［１］コンピュータを、
画像とテキストとを含む第１の文書情報の当該画像と当該テキストとの位置関係と、画像とテキストとを含む第２の文書情報の当該画像と当該テキストとの位置関係とに基づき、前記第１の文書情報に含まれる前記画像に対応する画像を前記第２の文書情報に含まれる画像から検索する検索手段として機能させるための文書管理プログラム。
［２］前記第１の文書情報及び前記第２の文書情報に含まれる画像とテキストとを、当該画像とテキストとの位置関係に基づいて得られる評価値とともに関連付けた情報を生成する生成手段としてさらに機能させ、
前記検索手段は、前記評価値に基づいて、前記第１の文書情報に含まれる前記画像に対応する画像を前記第２の文書情報に含まれる画像から検索する前記［１］に記載の文書管理プログラム。
［３］前記検索手段は、前記第１の文書情報に含まれるテキスト中のキーワードを前記第２の文書情報が含む場合に、前記第２の文書情報に含まれる画像を前記第１の文書情報に含まれる画像に対応する画像として検索する前記［１］に記載の文書管理プログラム。
［４］前記第１の文書情報と前記第２の文書情報に含まれるテキスト又は当該テキストの配置の類似度が予め定めた閾値以上である場合に、前記第１の文書情報に含まれる画像と、前記第２の文書情報に含まれる画像とを対応する画像とした画像間関係情報を生成する生成手段としてさらに機能させる前記［１］に記載の文書管理プログラム。
［５］画像とテキストとを含む第１の文書情報の当該画像と当該テキストとの位置関係と、画像とテキストとを含む第２の文書情報の当該画像と当該テキストとの位置関係とに基づき、前記第１の文書情報に含まれる前記画像に対応する画像を前記第２の文書情報に含まれる画像から検索する検索手段を有する情報処理装置。
【発明の効果】
【０００８】
請求項１又は５に係る発明によれば、文書中に用いる画像に関連する他の文書中の画像を検索することができる。
請求項２に係る発明によれば、画像とテキストとの位置関係に基づいて得られる評価値に基づいて、文書中に用いる画像に関連する他の文書中の画像を検索することができる。
請求項３に係る発明によれば、文書情報に含まれるテキスト中のキーワードを他の文書情報が含む場合に、他の文書情報に含まれる画像を文書情報に含まれる画像に対応する画像として検索することができる。
請求項４に係る発明によれば、文書情報と他の文書情報に含まれるテキスト又は当該テキストの配置の類似度が予め定めた閾値以上である場合に、文書情報に含まれる画像と、他の文書情報に含まれる画像とを対応する画像とすることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態に係る文書管理システムの構成の一例を示す概略図である。
【図２】図２は、実施の形態に係る文書管理サーバの構成例を示すブロック図である。
【図３】図３は、文書情報の構成の一例を示す概略図である。
【図４】図４は、画像キーワード情報の生成動作を説明するための図である。
【図５】図５は、画像キーワード情報の生成動作を説明するための図である。
【図６】図６は、画像キーワード情報の構成の一例を示す概略図である。
【図７】図７は、文書情報の構成の一例を示す概略図である。
【図８】図８は、画像間関係情報の構成の一例を示す概略図である。
【図９】図９は、検索結果の提示例を示す概略図である。
【図１０】図１０は、画像キーワード情報生成動作の一例を示すフローチャートである。
【図１１】図１１は、画像間関係情報生成動作の一例を示すフローチャートである。
【図１２】図１２は、画像検索動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
［実施の形態］
（文書管理システムの構成）
図１は、実施の形態に係る文書管理システムの構成の一例を示す概略図である。
【００１１】
この文書管理システムは、文書管理サーバ１と、端末２と、画像形成装置３とをネットワーク４によって互いに通信可能に接続することで構成される。
【００１２】
文書管理サーバ１は、サーバ型の情報処理装置であり、端末２の要求に応じて動作するものであって、本体内に情報を処理するための機能を有するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やフラッシュメモリ等の電子部品を備える。文書管理サーバ１は、主に文書情報を格納するとともに、文書情報が入力されると当該文書情報に含まれる画像に代わる画像を提示して置換等するものである。
【００１３】
端末２は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の情報処理装置であって、本体内に情報を処理するための機能を有するＣＰＵやフラッシュメモリ等の電子部品を備える。端末２は、主に文書情報の作成に用いられ、文書管理サーバ１と通信することで作成した文書情報を文書管理サーバ１に格納するとともに、文書情報に含まれる画像に代わる画像の提示を文書管理サーバ１に要求するものである。
【００１４】
画像形成装置３は、少なくとも紙原稿を光学走査して文書情報を生成する機能を有するものであって、その他、複写機やファクシミリ、プリンタ等の複数の機能を有する複合機であってもよい。
【００１５】
ネットワーク４は、高速通信が可能な通信ネットワークであり、例えば、イントラネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の有線又は無線の通信網である。
【００１６】
（情報処理装置の構成）
図２は、実施の形態に係る文書管理サーバ１の構成例を示すブロック図である。
【００１７】
文書管理サーバ１は、ＣＰＵ等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２とを備える。
【００１８】
制御部１０は、後述する文書管理プログラム１１０を実行することで、文書受付手段１００、テキスト画像分割手段１０１、テキスト認識手段１０２、画像認識手段１０３、画像キーワード情報生成手段１０４、画像間関係情報生成手段１０５、テキスト画像検索手段１０６、類似画像検索手段１０７、検索結果提示手段１０８及び画像置換手段１０９等として機能する。
【００１９】
文書受付手段１００は、端末２で作成された文書情報及び画像形成装置３で読み取られた文書情報を受け付けて記憶部１１に文書情報１１１として格納する。
【００２０】
テキスト画像分割手段１０１は、文書受付手段１００が受け付けた文書情報１１１をテキスト領域と画像領域とに分割する。
【００２１】
テキスト認識手段１０２は、テキスト画像分割手段１０１によって分割されたテキスト領域に含まれるテキストをＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）等によって認識する。
【００２２】
画像認識手段１０３は、テキスト画像分割手段１０１によって分割された画像領域に含まれる画像を画像情報１１２として記憶部１１に格納する。また、画像認識手段１０３は、画像の特徴量をそれぞれ算出し、画像情報１１２に記録する。
【００２３】
画像キーワード情報生成手段１０４は、文書情報１１１中の画像とテキストの位置関係に基づいて、画像情報１１２とテキストに含まれるキーワードとを関連付ける画像キーワード情報１１３を生成して記憶部１１に格納する。
【００２４】
画像間関係情報生成手段１０５は、バージョンの異なる文書が複数存在する場合にそれぞれの文書に含まれる画像間に関係があるとして画像間関係情報１１４を生成して記憶部１１に格納する。
【００２５】
テキスト画像検索手段１０６は、入力された画像に関連付けられたキーワードに基づいて、画像キーワード情報１１３を検索し、類似するキーワードが関連付けられた画像情報１１２を抽出する。
【００２６】
類似画像検索手段１０７は、入力された画像の特徴量に基づいて、特徴量の類似する画像を画像情報１１２から検索するとともに、検索結果の画像と関係のある画像を画像間関係情報１１４から検索する。
【００２７】
検索結果提示手段１０８は、テキスト画像検索手段１０６及び類似画像検索手段１０７の検索結果を端末２の表示部等に提示する。
【００２８】
画像置換手段１０９は、テキスト画像検索手段１０６及び類似画像検索手段１０７の検索結果の画像情報１１２を用いて、入力された画像を置換する。
【００２９】
記憶部１１は、制御部１０を上述した各手段１００−１０９として動作させる文書管理プログラム１１０、文書情報１１１、画像情報１１２、画像キーワード情報１１３及び画像間関係情報１１４等を記憶する。
【００３０】
（情報処理装置の動作）
次に、本実施の形態の作用を、（１）画像キーワード情報生成動作、（２）画像間関係情報生成動作、（３）画像検索動作に分けて説明する。
【００３１】
（１）画像キーワード情報生成動作
図１０は、画像キーワード情報生成動作の一例を示すフローチャートである。
【００３２】
まず、文書受付手段１００は、端末２で作成された文書情報又は画像形成装置３で読み取られた文書情報を受け付けて記憶部１１に文書情報１１１（第２の文書情報）として格納する（Ｓ１）。
【００３３】
図３は、文書情報１１１の構成の一例を示す概略図である。
【００３４】
文書情報１１１ａは、文書情報１１１の一例であって、画像Ｉａ、テキスト領域ＴＡ、ＴＢ、ＴＣ、画像Ｉｂ、キャプションＣａを有する。なお、文書情報１１１ａは、画像形成装置３で読み取られたものとする（Ｓ２；Ｙｅｓ）。
【００３５】
次に、テキスト画像分割手段１０１は、文書受付手段１００が受け付けた文書情報１１１ａをテキスト領域と画像領域とに分割する（Ｓ３）。つまり、テキスト領域ＴＡ、ＴＢ、ＴＣ、Ｃａをテキスト領域、画像Ｉａ、Ｉｂを画像領域として認識して分割する。
【００３６】
次に、テキスト認識手段１０２は、テキスト画像分割手段１０１によって分割されたテキスト領域ＴＡ、ＴＢ、ＴＣ、Ｃａに含まれるテキストをＯＣＲによって認識する（Ｓ４）。
【００３７】
また、文書情報１１１が電子データであって画像形成装置３で読み取られたものでない場合（Ｓ２；Ｎｏ）、ステップＳ３及びＳ４をスキップする。
【００３８】
画像認識手段１０３は、テキスト画像分割手段１０１によって分割された画像領域に含まれる画像Ｉａ、Ｉｂを画像情報１１２として記憶部１１に格納する（Ｓ５）。また、画像認識手段１０３は、画像の特徴量をそれぞれ算出し、画像情報１１２に記録する。
【００３９】
次に、画像キーワード情報生成手段１０４は、画像領域とテキスト領域の位置関係に基づき以下の図４に示すように評価値としてのスコアを算出する（Ｓ６）。なお、スコアは、テキスト領域に含まれるテキストのフォント、サイズ、色、装飾等を考慮して算出してもよい。
【００４０】
図４は、画像キーワード情報の生成動作を説明するための図である。
【００４１】
画像キーワード情報生成手段１０４は、画像Ｉａとテキスト領域ＴＡ、ＴＢ、ＴＣ、Ｃａとの位置関係に基づいて、例えば、それぞれスコアを「３０」、「２０」、「１０」と算出して情報１０４ａを得る。これは一例として画像とテキストとの距離に基づいて算出され、近いもののスコアを高くしている。
【００４２】
同様に、画像キーワード情報生成手段１０４は、画像Ｉｂとテキスト領域ＴＡ、ＴＢ、ＴＣ、Ｃａとの位置関係に基づいて、例えば、それぞれスコアを「１０」、「２０」、「３０」、「５０」と算出して情報１０４ａを得る。
【００４３】
次に、画像キーワード情報生成手段１０４は、テキスト領域ＴＡ、ＴＢ、ＴＣ、Ｃａ中のテキストを形態素解析し（Ｓ７）、画像ごとに、またテキスト領域ごとに、形態素（キーワード）のそれぞれについてｔｆ−ｉｄｆによりスコアを算出する（Ｓ８）。
【００４４】
なお、ｔｆ−ｉｄｆは、ある文書における出現頻度が高い語を重要度が高いとする「ｔｅｒｍ  ｆｒｅｑｕｅｎｃｙ（ｔｆ）」と、多くの文書に出現する語は一般的な語であるとして重要度が低く、特定の文書にのみ出現する語を重要度が高いとする「ｉｎｖｅｒｓｅ  ｄｏｃｕｍｅｎｔ  ｆｒｅｑｕｅｎｃｙ（ｉｄｆ）」の二つの指標によって算出されるスコアである。
【００４５】
図５は、画像キーワード情報の生成動作を説明するための図である。
【００４６】
画像キーワード情報生成手段１０４は、キーワードのスコアにステップＳ６で算出した位置関係のスコアで重み付けして、図５に示す情報１０４ｂを得る（Ｓ９）。
【００４７】
次に、画像キーワード情報生成手段１０４は、図５に示す情報１０４ｂにおいて画像とキーワードの対についてスコアを合計して（Ｓ１０）、画像キーワード情報１１３を生成する（Ｓ１１）。
【００４８】
図６は、画像キーワード情報１１３の構成の一例を示す概略図である。
【００４９】
画像キーワード情報１１３ａは、画像キーワード情報１１３の一例であって、画像ごとに、キーワードと、スコアと、元の文書ＩＤとを有する。
【００５０】
（２）画像間関係情報生成動作
図１１は、画像間関係情報生成動作の一例を示すフローチャートである。
【００５１】
次に、文書受付手段１００は、端末２で作成された文書情報又は画像形成装置３で読み取られた文書情報をさらに受け付けて記憶部１１に文書情報１１１（第１の文書情報）として格納する（Ｓ２０）。
【００５２】
図７は、文書情報１１１の構成の一例を示す概略図である。
【００５３】
文書情報１１１ｂは、文書情報１１１の一例であって、画像Ｉａ’、テキスト領域ＴＡ、ＴＢ、ＴＣ、画像Ｉｂ、キャプションＣａを有する。つまり、図３に示した文書情報１１１ａの画像Ｉａを画像Ｉａ’に変更したものである。
【００５４】
次に、文書管理サーバ１は、図１０に示したステップＳ２−Ｓ１１の動作を繰り返し、文書情報１１１ａを分析する（Ｓ２１）。
【００５５】
次に、画像間関係情報生成手段１０５は、文書情報１１１ｂに旧バージョンの文書情報１１１ａがあるため（Ｓ２２；Ｙｅｓ）、旧バージョンの文書情報１１１ａとの間の画像ＩａとＩａ’の変更を把握し（Ｓ２３）、以下の図８に示すように画像間関係情報１１４に記録する（Ｓ２４）。
【００５６】
図８は、画像間関係情報１１４の構成の一例を示す概略図である。
【００５７】
画像間関係情報１１４ａは、画像間関係情報１１４の一例であり、バージョン違いの２つの「文書２２３４−０１」と「文書２２３４−０２」にそれぞれ含まれる「画像Ｉａ」と「画像Ｉａ’」が差し替えられていることを示す。
【００５８】
（３）画像検索動作
図１２は、画像検索動作の一例を示すフローチャートである。
【００５９】
次に、文書受付手段１００は、端末２で作成された文書情報又は画像形成装置３で読み取られた文書情報をさらに受け付けて記憶部１１に文書情報１１１（第２の文書情報）として格納する（Ｓ３０）。
【００６０】
次に、文書管理サーバ１は、図１０に示したステップＳ２−Ｓ１１の動作を繰り返し、文書情報を分析する（Ｓ３１）。
【００６１】
次に、テキスト画像検索手段１０６は、ステップＳ３１において文書情報１１１のテキスト領域から抽出されるキーワードの上位Ｎ件（Ｎは予め定めた数値）に基づいて、画像キーワード情報１１３を検索し、類似するキーワードが関連付けられた画像を検索結果として画像情報１１２から抽出する（Ｓ３２）。また、キーワードのスコアに基づいて検索結果の画像にスコアを付ける。
【００６２】
次に、類似画像検索手段１０７は、ステップＳ３１において文書情報の画像領域から抽出される画像に関連付けられたキーワードに基づいて、画像キーワード情報１１３を検索し、類似するキーワードが関連付けられた画像を検索結果として画像情報１１２から抽出する（Ｓ３３）。また、この検索結果の画像と関係のある画像（更新された画像）を画像間関係情報１１４から検索する。また、キーワードのスコアに基づいて検索結果の画像にスコアを付ける。
【００６３】
また、類似画像検索手段１０７は、ステップＳ３１において文書情報の画像領域から抽出される画像の特徴量に基づいて、特徴量の類似する画像を画像情報１１２から検索してもよい。
【００６４】
次に、検索結果提示手段１０８は、テキスト画像検索手段１０６の検索結果と類似画像検索手段１０７の検索結果とをマージして（Ｓ３４）、各検索結果のスコアを合計して（Ｓ３５）、スコア順に検索結果を示す検索結果提示画面を端末２の表示部等に提示する（Ｓ３６）。
【００６５】
図９は、検索結果提示画面の例を示す概略図である。
【００６６】
検索結果提示画面１０８ａは、文書受付手段１００が受け付けた文書情報１１１を表示する領域１０８ａ１と、文書情報１１１に含まれる画像１０８０又はテキスト１０８１に基づいて検索された画像１０８ａ２と、テキスト１０８１に含まれるキーワード１０８ａ３と、画像の説明１０８ａ４と、検索結果のスコア１０８ａ５と、画像１０８０を置換する画像を選択するためのラジオボックス１０８ａ６と、置換をキャンセルするボタン１０８ａ７とを有する。
【００６７】
端末２の利用者は、検索結果提示画面１０８ａを確認し、置換すべき画像がある場合はラジオボックス１０８ａ６にチェックする。ない場合はキャンセルするためにボタン１０８ａ７を操作する。
【００６８】
画像置換手段１０９は、利用者によって指示があった場合に、検索結果の画像情報１１２を用いて、入力された画像を置換する（Ｓ３７）。
【００６９】
（実施の形態の効果）
上記した実施の形態によれば、文書情報１１１中の画像とテキストとの位置関係により両者を関連付けた画像キーワード情報１１３を生成し、新たに入力された文書情報１１１中に画像とテキストとの位置関係に基づいて検索用のキーワードを抽出し、画像キーワード情報１１３から検索して提示するようにしたため、新たに入力された文書情報中の画像に関連する他の画像を提示することができる。
【００７０】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
【００７１】
上記実施の形態では制御部１０の各手段１００〜１０９の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【００７２】
１     文書管理サーバ
２     端末
３     画像形成装置
４     ネットワーク
１０   制御部
１１   記憶部
１２   通信部
１００ 文書受付手段
１０１ テキスト画像分割手段
１０２ テキスト認識手段
１０３ 画像認識手段
１０４ 画像キーワード情報生成手段
１０５ 画像間関係情報生成手段
１０６ テキスト画像検索手段
１０７ 類似画像検索手段
１０８ 検索結果提示手段
１０９ 画像置換手段
１１０ 文書管理プログラム
１１１ 文書情報
１１２ 画像情報
１１３ 画像キーワード情報
１１４ 画像間関係情報
【図１】
0006531552.tif 000002
【図２】
0006531552.tif 000003
【図３】
0006531552.tif 000004
【図４】
0006531552.tif 000005
【図５】
0006531552.tif 000006
【図６】
0006531552.tif 000007
【図７】
0006531552.tif 000008
【図８】
0006531552.tif 000009
【図９】
0006531552.tif 000010
【図１０】
0006531552.tif 000011
【図１１】
0006531552.tif 000012
【図１２】
0006531552.tif 000013