(57)【要約】【課題】原稿におけるマーキングが付された語句に対応する用例文、意味、類語、語源または画像などを集めた新たな文書を出力できること。【解決手段】項目選択部は、予め定められた複数の候補から少なくとも１つの検索項目を選択する。文字認識部７ｂは、原画像Ｉ１から抽出されたマーキング画像に対する文字認識処理によって対象文字列を特定する。検索部は、参照先データから、前記対象文字列に対応付けられた前記検索項目に相当する文字列もしくは画像である参照オブジェクトを検索する。出力画像データ生成部７ｃは、前記対象文字列の画像と前記対象文字列の画像に対応付けられた前記検索項目の画像および前記参照オブジェクトの画像とを含む出力画像のデータを生成する。【選択図】図１
2018180587.tif 000002
【特許請求の範囲】
【請求項１】
予め定められた複数の候補から少なくとも１つの検索項目を選択する項目選択部と、
原画像データから予め設定されたマーキングが付されたマーキング画像を抽出するマーキング画像抽出処理を実行するマーキング画像抽出部と、
抽出された前記マーキング画像に対する文字認識処理によって対象文字列を特定する文字認識部と、
予め設定された参照先から得られる参照先データから、前記対象文字列に対応付けられた前記検索項目に相当する文字列もしくは画像である参照オブジェクトを検索する検索処理を実行する検索部と、
前記対象文字列の画像と前記対象文字列の画像に対応付けられた前記検索項目の画像および前記参照オブジェクトの画像とを含む出力画像のデータを生成する出力画像データ生成部と、を備える画像処理装置。
【請求項２】
前記検索項目の前記複数の候補が、用例文、意味、類語、語源および画像のうちの１つ以上を含む、請求項１に記載の画像処理装置。
【請求項３】
前記対象文字列、前記検索項目および前記参照オブジェクトの各画像のレイアウトを表すレイアウト情報を設定するレイアウト設定部をさらに備え、
前記出力画像データ生成部は、前記対象文字列、前記検索項目および前記参照オブジェクトの各画像が前記レイアウト情報に従って配列された前記出力画像のデータを生成する、請求項１または請求項２に記載の画像処理装置。
【請求項４】
原稿から画像を読み取り、原稿画像のデータを出力する画像読取装置と、
前記原稿画像のデータを、不揮発性の原稿データ記憶装置に記憶させる原稿画像データ記録部と、をさらに備え、
前記マーキング画像抽出部は、前記画像読取装置により新たに得られた前記原稿画像のデータを前記原画像データとして前記マーキング画像抽出処理を実行可能であり、
前記検索部は、前記原稿データ記憶装置に記憶された前記原稿画像のデータを前記参照先データとして前記検索処理を実行可能である、請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
情報を表示する表示部と、
操作を受け付ける操作部と、
前記検索部の検索結果が、１つの前記対象文字列および１つの前記検索項目について複数の前記参照オブジェクトを含む複数オブジェクト状態である場合に、前記複数オブジェクト状態の前記検索結果に含まれる複数の前記参照オブジェクトを選択候補として前記表示部に表示させ、前記操作部に対する操作に従って少なくとも１つの前記参照オブジェクトを選択する手動選択部と、
前記手動選択部により選択された前記参照オブジェクトに対応する前記対象文字列および前記検索項目と、前記手動選択部により選択された前記参照オブジェクトおよび選択頻度との対応関係を表す選択履歴情報を、不揮発性の記憶装置に記憶させる選択履歴記録部と、
前記検索部の検索結果が前記複数オブジェクト状態である場合に、前記複数オブジェクト状態の前記検索結果に含まれる複数の前記参照オブジェクトから、前記選択履歴情報において予め定められた十分条件を満たす前記選択頻度に対応付けられた前記参照オブジェクトと一致する優先オブジェクトを選択する自動選択部と、をさらに備え、
前記自動選択部が前記優先オブジェクトを選択できた場合に、前記出力画像データ生成部は、前記優先オブジェクトの画像を含む前記出力画像のデータを生成し、
前記自動選択部が前記優先オブジェクトを選択できない場合に、前記手動選択部が前記参照オブジェクトを選択する処理を実行し、さらに、前記出力画像データ生成部が、前記手動選択部により選択された前記参照オブジェクトの画像を含む前記出力画像のデータを生成する、請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記出力画像のデータに基づいてシートに前記出力画像を形成する画像形成装置をさらに備える、請求項１から請求項５のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
一般に、原稿における重要な用語またはユーザーにとって興味のある用語にいわゆるラインマーカーなどによるマーキングが付される場合がある。
【０００３】
また、画像処理装置が、前記原稿の画像に対し、マーキング部分の画像をバーコードなどの他の画像に置き換える置換処理を施し、前記置換処理後の画像をシートに印刷することが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１６７８７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、前記原稿におけるマーキングされた語句に対応する用例文、意味、類語、語源または画像などを集めた新たな文書を作りたい場合がある。
【０００６】
本発明の目的は、原稿におけるマーキングが付された語句に対応する用例文、意味、類語、語源または画像などを集めた新たな文書を出力できる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一の局面に係る画像処理装置は、項目選択部と、マーキング画像抽出部と、文字認識部と、検索部と、出力画像データ生成部とを備える。前記項目選択部は、予め定められた複数の候補から少なくとも１つの検索項目を選択する。前記マーキング画像抽出部は、原画像データから予め設定されたマーキングが付されたマーキング画像を抽出するマーキング画像抽出処理を実行する。前記文字認識部は、抽出された前記マーキング画像に対する文字認識処理によって対象文字列を特定する。前記検索部は、予め設定された参照先から得られる参照先データから、前記対象文字列に対応付けられた前記検索項目に相当する文字列もしくは画像である参照オブジェクトを検索する検索処理を実行する。前記出力画像データ生成部は、前記対象文字列の画像と前記対象文字列の画像に対応付けられた前記検索項目の画像および前記参照オブジェクトの画像とを含む出力画像のデータを生成する。
【発明の効果】
【０００８】
本発明によれば、原稿におけるマーキングが付された語句に対応する用例文、意味、類語、語源または画像などを集めた新たな文書を出力できる画像処理装置を提供することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る画像処理装置のブロック図である。
【図２】図２は、実施形態に係る画像処理装置によって処理される原画像が形成された原稿の一例を示す図である。
【図３】図３は、実施形態に係る画像処理装置が出力する印刷物の一例を示す図である。
【図４】図４は、実施形態に係る画像処理装置による検索出力処理の手順の一例を示すフローチャートである。
【図５】図５は、実施形態に係る画像処理装置におけるマーキング種類設定画面の一例を示す図である。
【図６】図６は、実施形態に係る画像処理装置における検索項目設定画面の一例を示す図である。
【図７】図７は、実施形態に係る画像処理装置におけるレイアウト設定画面の一例を示す図である。
【図８】図８は、実施形態に係る画像処理装置が記録する選択履歴情報のデータ構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
【００１１】
［画像処理装置１０の構成］
実施形態に係る画像処理装置１０は、原画像Ｉ１に含まれるマーキング画像に対する文字認識処理により得られる文字列に対応する用例文、意味、類語、語源または画像などを検索し、検索結果を集めた新たな文書の画像を出力する機能を備える。
【００１２】
前記マーキング画像は、後述する上塗りマーキングまたは下線マーキングなどのマーキングＭ０が付された画像である。
【００１３】
図１に示される画像処理装置１０は、原稿９００から画像を読み取る機能およびシート９０１へ画像を形成する画像形成装置の機能を兼ね備えた複合機である。
【００１４】
なお、画像処理装置１０が、画像送信機能を兼ね備えるファクシミリ装置などであることも考えられる。なお、図２において、原稿９００およびシート９０１が仮想線で示されている。シート９０１は、紙または透明フィルムなどのシート状の画像形成媒体である。
【００１５】
本実施形態において、原稿９００から読み取られた原稿画像が、前記マーキング画像を含む原画像Ｉ１の一例である。以下の説明において、原画像Ｉ１を表す画像データのことを原画像データＤ０１と称する。本実施形態において、画像処理装置１０が原稿９００の画像を読み取ることによって得られる前記原稿画像のデータが、原画像データＤ０１の一例である。
【００１６】
なお、他の装置から受信される印刷ジョブが表す画像が原画像Ｉ１であることも考えられる。
【００１７】
さらに、以下の説明において、原画像データＤ０１に基づく画像処理によって得られる出力用の画像データのことを出力画像データＤ０２と称する。また、出力画像データＤ０２が表す画像のことを出力画像Ｉ２と称する。
【００１８】
画像処理装置１０は、主制御装置１、操作表示装置２、画像読取装置２０、読取制御装置３０、画像形成装置４０、印刷制御装置５０、通信機６０および画像データ処理装置７０などを備える。
【００１９】
主制御装置１、読取制御装置３０、印刷制御装置５０、通信機６０および画像データ処理装置７０は、それぞれバス９に接続されおり、バス９を通じて相互にデータの受け渡しが可能である。
【００２０】
画像読取装置２０は、原稿９００の画像を読み取り、原稿画像のデータを出力する。画像読取装置２０は、それぞれ不図示の露光装置およびイメージセンサーなどを備える。前記露光装置が、原稿９００に光を照射し、前記イメージセンサーが、原稿９００からの反射光の光量を画素ごとに検出し、前記原稿画像のデータを原画像データＤ０１として出力する。
【００２１】
本実施形態において、画像読取装置２０はカラー画像を読み取り可能なカラーイメージセンサーを備える。従って、原稿９００にカラー画像が含まれる場合、画像読取装置２０はカラーの前記原稿画像のデータを、原画像データＤ０１として出力する。
【００２２】
読取制御装置３０は、画像読取装置２０を制御して原画像データＤ０１を取得する。さらに、読取制御装置３０は、バス９を通じて原画像データＤ０１を画像データ処理装置７０などの他の機器に転送する。
【００２３】
画像形成装置４０は、周知の電子写真方式またはインクジェット方式の画像形成処理によってシート９０１に画像を形成する。
【００２４】
例えば、電子写真方式の画像形成装置４０は、それぞれ不図示の感光体、帯電装置、レーザースキャニングユニット、現像装置および転写装置などを含む。前記帯電装置は、前記感光体を帯電させ、前記レーザースキャニングユニットは、前記感光体に静電潜像を書き込み、前記現像装置は、前記感光体上の前記静電潜像をトナー像へ現像し、前記転写装置は、前記トナー像を前記感光体からシート９０１へ転写する。
【００２５】
印刷制御装置５０は、画像データ処理装置７０から印刷用画像データを取得し、前記印刷用画像データに基づく画像をシート９０１に形成する処理を画像形成装置４０に実行させる。
【００２６】
通信機６０は、ＬＡＮなどの通信回線１０１を通じてパーソナルコンピューターなどの外部装置との間でデータの送受信を行う通信インターフェイスデバイスである。ＭＰＵ１１が実行する前記外部装置との間のデータの送受信は、全て通信機６０を通じて行われる。さらに、通信機６０は、バス９を通じて主制御装置１、読取制御装置３０および印刷制御装置５０などの各機器とデータの受け渡しを行う。
【００２７】
画像データ処理装置７０は、バス９を通じて他の機器から得た画像データなどに対する各種のデータ処理を実行する。画像データ処理装置７０によるデータ処理の対象は、原画像データＤ０１である。
【００２８】
読取制御装置３０、印刷制御装置５０および画像データ処理装置７０は、例えばＣＰＵ（Central Processing Unit）もしくはＤＳＰ（Digital Signal Processor）などのプロセッサー、またはＡＳＩＣ（Application Specific Integrated Circuit）などの回路によって実現される。
【００２９】
操作表示装置２は、ユーザーインターフェイスのデバイスであり、操作器２ａおよび表示装置２ｂを含む。操作器２ａは、ユーザーの操作を受け付ける情報入力デバイスである。本実施形態において、操作器２ａはタッチパネルを含む。表示装置２ｂは、情報を画像として表示する装置である。例えば、表示装置２ｂが液晶表示パネルであることが考えられる。なお、操作器２ａおよび表示装置２ｂは、それぞれ操作部および表示部の一例である。
【００３０】
主制御装置１は、画像処理装置１０を統括して制御する。例えば、主制御装置１は、表示装置２ｂに操作メニューなどを表示させる。さらに、主制御装置１は、操作器２ａに対する操作を通じて入力される入力情報および各種センサーの検出結果に応じて他の制御部に制御指令を出力する。
【００３１】
図２に示されるように、主制御装置１は、ＭＰＵ（Micro Processor Unit）１１、ＲＡＭ（Random Access Memory）１２および二次記憶装置１３などを備える。
【００３２】
ＭＰＵ１１は、各種の演算およびデータ処理を実行するプロセッサーである。ＲＡＭ１２は、ＭＰＵ１１に実行させるためのプログラムを一時記憶する揮発性のコンピューター読み取り可能な主記憶部である。
【００３３】
二次記憶装置１３は、ＭＰＵ１１が参照する各種情報を記憶する不揮発性のコンピューター読取可能な記憶部である。また、二次記憶装置１３は、ＭＰＵ１１による各種情報の読み書きが可能な記憶部でもある。二次記憶装置１３は、ＭＰＵ１１に各種の処理を実行させるためのプログラム、ＭＰＵ１１によって参照される情報および書き込まれる情報を記憶する。
【００３４】
図２は、一部にマーキングＭ０が付された文字列の画像を含む原稿９００の一例である。このように、原稿９００における重要な用語またはユーザーにとって興味のある用語にいわゆるラインマーカーまたは下線などによるマーキングＭ０が付される場合がある。
【００３５】
ところで、原稿９００におけるマーキングＭ０が付された語句に対応する用例文、意味、類語、語源または画像などを集めた新たな文書を作りたい場合がある。
【００３６】
画像処理装置１０は、後述する検索出力処理を実行可能である。これにより、画像処理装置１０は、原稿９００におけるマーキングＭ０が付された語句に対応する用例文、意味、類語、語源または画像などを集めた新たな文書を出力することができる。
【００３７】
図２に示されるように、画像処理装置１０によって処理される原画像Ｉ１には、少なくとも１つのマーキングＭ０が付されている。図２に示される原画像Ｉ１は、それぞれ文字列の部分に上塗りされた複数種類のマーキングＭ０を含む。複数種類のマーキングＭ０は、それぞれ色が異なる。なお、便宜上、図２，５，６において、複数種類のマーキングＭ０が、それぞれ種類の異なるハッチングによって示されている
【００３８】
なお、複数種類のマーキングＭ０が、それぞれ線の形態または色が異なる複数種類の下線マーキングであることなども考えられる。
【００３９】
以下の説明において、原画像Ｉ１におけるマーキングＭ０が付された部分の画像が表す文字列のことを対象文字列ｇ０と称する。即ち、対象文字列ｇ０は、マーキングＭ０によって指示された位置に存在する文字列画像に対応する文字列である。原画像Ｉ１は、少なくとも１つの対象文字列ｇ０の画像を含む。
【００４０】
［検索出力処理］
前記検索出力処理は、主として以下に示される３つの処理を含む。
【００４１】
第１の処理は、図２に示されるような原画像Ｉ１からマーキングＭ０を抽出し、対象文字列ｇ０を特定する処理である。
【００４２】
第２の処理は、特定された対象文字列ｇ０に対応する参照オブジェクトｇ１を外部データまたは内部データから検索する処理である。予め１つ以上の検索項目Ｉｔ０が対象文字列ｇ０について設定され、前記外部データまたは前記内部データにおいて対象文字列ｇ０に対応付けられた検索項目Ｉｔ０に相当する文字列もしくは画像が、参照オブジェクトｇ１として検索される。
【００４３】
第３の処理は、検索により得られた参照オブジェクトｇ１を含む出力画像Ｉ２のデータを生成および出力する処理である。前記第３の処理によって生成および出力されるデータが出力画像データＤ０２である。
【００４４】
図３に示されるように、前記検索出力処理によって得られる出力画像Ｉ２は、対象文字列ｇ０の画像と、対象文字列ｇ０の画像に対応付けられた検索項目Ｉｔ０の画像および参照オブジェクトｇ１の画像とを含む。
【００４５】
以下、図４に示されるフローチャートを参照しつつ、前記検索出力処理の手順の一例について説明する。以下の説明において、Ｓ１，Ｓ２，…は、前記検索出力処理に含まれる複数の工程の識別符号を表す。
【００４６】
前記検索出力処理の開始操作が操作器２ａに対して行われたときに、主制御装置１のＭＰＵ１１が、前記検索出力処理を開始する。
【００４７】
＜工程Ｓ１＞
まず、ＭＰＵ１１が、マーキング種類設定処理を実行する。前記マーキング種類設定処理は、操作器２ａに対する操作に従って、マーキングＭ０の種類を設定する処理である。
【００４８】
なお、ＭＰＵ１１が種類設定プログラムＰｒ１１を実行することにより、前記マーキング種類設定処理が実現される。
【００４９】
前記マーキング種類設定処理において、ＭＰＵ１１は、例えば図５に示されるようなマーキング種類設定画面ｆ０１を表示装置２ｂに表示させる。マーキング種類設定画面ｆ０１は、複数の操作アイコンｆ１１〜ｆ１６を含む。
【００５０】
なお、前記操作アイコンは、操作器２ａに含まれる前記タッチパネルの一部として機能する。即ち、前記操作アイコンに対する操作は、操作器２ａに対する操作の一例である。
【００５１】
ＭＰＵ１１は、形態選択アイコンｆ１１および種類選択アイコンｆ１２に対する操作に応じて、原画像Ｉ１におけるマーキングＭ０の１つ以上の種類を設定する。図５に示される例において、ＭＰＵ１１は、第１パターンから第５パターンまでの最大５つのマーキングＭ０の種類を設定可能である。
【００５２】
ＭＰＵ１１は、形態選択アイコンｆ１１に対する操作に従って、マーキングＭ０の形態が、前記上塗りマーキングおよび前記下線マーキングのいずれであるかを選択する。なお、マーキングＭ０の形態の他の選択候補として、囲み枠マーキングなども考えられる。
【００５３】
さらに、ＭＰＵ１１は、種類選択アイコンｆ１２に対する操作に従って、マーキングＭ０の種類を予め定められた複数の候補の中から選択する。
【００５４】
前記上塗りマーキングがマーキングＭ０の形態として選択された場合、マーキングＭ０の種類の前記複数の候補は、それぞれ前記上塗りマーキングの色である。例えば、前記上塗りマーキングの色の候補は、ピンク、イエロー、オレンジまたはブルーなどの彩色である。
【００５５】
一方、前記下線マーキングがマーキングＭ０の形態として選択された場合、マーキングＭ０の種類の前記複数の候補は、一重線、二重線、波線または破線などの線種である。
【００５６】
マーキング種類設定画面ｆ０１の確定アイコンｆ１３が操作された場合、ＭＰＵ１１は、マーキングＭ０の種類の設定を確定させる。
【００５７】
また、マーキング種類設定画面ｆ０１の保存アイコンｆ１４が操作された場合、ＭＰＵ１１は、形態選択アイコンｆ１１および種類選択アイコンｆ１２に対する操作に応じて設定された１つまたは複数のマーキングＭ０の種類の情報を含む登録設定データＤ１を二次記憶装置１３に記憶させる。
【００５８】
また、マーキング種類設定画面ｆ０１の呼出アイコンｆ１５が操作された場合、ＭＰＵ１１は、二次記憶装置１３に既に記憶されている登録設定データＤ１が表す１つまたは複数のマーキングＭ０の種類を最新値として設定する。
【００５９】
なお、マーキング種類設定画面ｆ０１の中止アイコンｆ１６が操作された場合、ＭＰＵ１１は、前記検索出力処理を中止する。
【００６０】
＜工程Ｓ２＞
さらに、ＭＰＵ１１は、項目選択処理を実行する。前記項目選択処理は、操作器２ａに対する操作に従って、検索項目Ｉｔ０を選択する処理である。ＭＰＵ１１は、マーキングＭ０の種類ごとに、検索項目Ｉｔ０を選択可能である。
【００６１】
なお、ＭＰＵ１１が項目選択プログラムＰｒ１２を実行することにより、前記項目選択処理が実現される。前記項目選択処理を実行するＭＰＵ１１が項目選択部の一例である。
【００６２】
前記項目選択処理において、ＭＰＵ１１は、例えば図６に示されるような検索項目選択画面ｆ０２を表示装置２ｂに表示させる。検索項目選択画面ｆ０２は、複数の操作アイコンｆ２１〜ｆ２７を含む。
【００６３】
ＭＰＵ１１は、項目選択アイコンｆ２１に対する操作に応じて、予め定められた複数の候補から少なくとも１つの検索項目Ｉｔ０を選択する。検索項目Ｉｔ０の前記複数の候補は、用例文、意味、類語、語源および画像のうちの１つ以上を含む。ＭＰＵ１１は、工程Ｓ１において設定されたマーキングＭ０の種類ごとに、１つ以上の検索項目Ｉｔ０を選択可能である。
【００６４】
さらに、ＭＰＵ１１は、検索項目選択画面ｆ０２の参照先設定アイコンｆ２２に対する操作に従って参照先Ｒｆ０を設定する。ＭＰＵ１１は、インターネット上のサーバーのＵＲＬまたは二次記憶装置１３などを、参照先Ｒｆ０として設定可能である。
【００６５】
さらに、ＭＰＵ１１は、検索項目選択画面ｆ０２のモード選択アイコンｆ２３に対する操作に従って、自動選択モードおよび手動選択モードのいずれか一方を選択モードとして選択する。
【００６６】
前記自動選択モードおよび前記手動選択モードは、後述するデータ検索処理によって複数の参照オブジェクトｇ１が検索結果として得られた場合に適用される動作モードである。その動作モードの詳細については後述する。
【００６７】
検索項目選択画面ｆ０２の確定アイコンｆ２４が操作された場合、ＭＰＵ１１は、マーキングＭ０の種類の設定を確定させる。
【００６８】
また、検索項目選択画面ｆ０２の保存アイコンｆ２５が操作された場合、ＭＰＵ１１は、項目選択アイコンｆ２１、参照先設定アイコンｆ２２およびモード選択アイコンｆ２３に対する操作に応じて設定または選択されたマーキングＭ０の種類ごとの検索項目Ｉｔ０の情報と、参照先Ｒｆ０および前記選択モードの情報とを含む登録設定データＤ１を二次記憶装置１３に記憶させる。
【００６９】
また、検索項目選択画面ｆ０２の呼出アイコンｆ２６が操作された場合、ＭＰＵ１１は、二次記憶装置１３に既に記憶されている登録設定データＤ１が表す検索項目Ｉｔ０、参照先Ｒｆ０および前記選択モードを最新値として設定する。
【００７０】
なお、検索項目選択画面ｆ０２の中止アイコンｆ２７が操作された場合、ＭＰＵ１１は、前記検索出力処理を中止する。
【００７１】
＜工程Ｓ３＞
さらに、ＭＰＵ１１は、レイアウト設定処理を実行する。前記レイアウト設定処理は、操作器２ａに対する操作に従って、対象文字列ｇ０、検索項目Ｉｔ０および参照オブジェクトｇ１の各画像のレイアウトを表すレイアウト情報を設定する処理である。
【００７２】
なお、ＭＰＵ１１がレイアウト設定プログラムＰｒ１３を実行することにより、前記レイアウト設定処理が実現される。前記レイアウト設定処理を実行するＭＰＵ１１がレイアウト設定部の一例である。
【００７３】
本実施形態において、ＭＰＵ１１は、予め定められた複数の候補からの選択によって１つのレイアウト情報Ｌｔ０を設定する。例えば、ＭＰＵ１１は、図７に示されるようなレイアウト設定画面ｆ０３を表示装置２ｂに表示させる。レイアウト設定画面ｆ０３は、複数の操作アイコンｆ３１〜ｆ３３を含む。
【００７４】
本実施形態において、ＭＰＵ１１は、レイアウト選択アイコンｆ３１に対する操作に応じて、予め定められた複数の候補から１つのレイアウト情報Ｌｔ０を選択する。レイアウト情報Ｌｔ０は、対象文字列ｇ０、検索項目Ｉｔ０および参照オブジェクトｇ１の各画像を相互に対応付けて配列する方法を定義する情報である。
【００７５】
レイアウト設定画面ｆ０３の確定アイコンｆ３２が操作された場合、ＭＰＵ１１は、選択されたレイアウト情報Ｌｔ０の設定を確定させる。
【００７６】
なお、レイアウト設定画面ｆ０３の中止アイコンｆ３３が操作された場合、ＭＰＵ１１は、前記検索出力処理を中止する。
【００７７】
＜工程Ｓ４＞
工程Ｓ１〜Ｓ３の処理が終了すると、読取制御装置３０が、画像読取装置２０に原稿９００の画像の読取処理を実行させる。これにより、画像読取装置２０は、原稿９００から原画像Ｉ１を読み取り、原画像データＤ０１を出力する。原画像データＤ０１は、画像読取装置２０から画像データ処理装置７０へ転送される。
【００７８】
画像読取装置２０が、ＡＤＦ（Auto Document Feeder）によって順次搬送される複数枚の原稿９００から複数ページ分の原画像Ｉ１を読み取り、複数ページ分の原画像データＤ０１を出力する場合もある。
【００７９】
＜工程Ｓ５＞
次に、画像データ処理装置７０のマーキング画像抽出部７ａが、マーキング画像抽出処理を実行する。前記マーキング画像抽出処理において、マーキング画像抽出部７ａは、原画像データＤ０１から工程Ｓ１で設定された種類に対応するマーキングＭ０が付された前記マーキング画像を抽出する。
【００８０】
本実施形態において、マーキング画像抽出部７ａは、工程Ｓ４において画像読取装置２０により新たに得られた前記原稿画像のデータを原画像データＤ０１として前記マーキング画像抽出処理を実行する。
【００８１】
なお、工程Ｓ４において、ＭＰＵ１１が、操作器２ａに対する指定操作に従って、新たな前記原稿画像のデータではない画像データを原画像データＤ０１として設定することも考えられる。例えば、二次記憶装置１３に予め記憶された過去の前記原稿画像のデータが、原画像データＤ０１として設定されることが考えられる。
【００８２】
マーキングＭ０の種類が前記上塗りマーキングである場合、マーキング画像抽出部７ａは、原画像Ｉ１におけるマーキングＭ０と重複する領域に存在する画像を前記マーキング画像として抽出する。一方、マーキングＭ０の種類が前記下線マーキングである場合、マーキング画像抽出部７ａは、原画像Ｉ１におけるマーキングＭ０に隣接する領域に存在する画像を前記マーキング画像として抽出する。
【００８３】
＜工程Ｓ６＞
次に、画像データ処理装置７０の文字認識部７ｂが、工程Ｓ６で抽出された前記マーキング画像に対する文字認識処理によって対象文字列ｇ０を特定する。文字認識部７ｂは、周知の文字認識アルゴリズムに基づいて前記文字認識処理を実行する。
【００８４】
＜工程Ｓ７＞
次に、ＭＰＵ１１が、データ検索処理を実行する。前記データ検索処理は、工程Ｓ２で設定された参照先Ｒｆ０から参照先データを取得し、取得した前記参照先データから、対象文字列ｇ０に対応付けられた検索項目Ｉｔ０に相当する文字列もしくは画像である参照オブジェクトｇ１を検索する処理である。
【００８５】
なお、ＭＰＵ１１がデータ検索プログラムＰｒ１４を実行することにより、前記データ検索処理が実現される。前記データ検索処理を実行するＭＰＵ１１が検索部の一例である。
【００８６】
例えば、参照先Ｒｆ０がインターネットにおける検索サービスを提供する検索サイトのＵＲＬであることが考えられる。この場合、ＭＰＵ１１は、前記検索サイトに対象文字列ｇ０および検索項目Ｉｔ０を検索キーワードとして送信する。さらに、ＭＰＵ１１は、前記検索サイトから返信される１つまたは複数のＵＲＬに対応するデータを、インターネット上のデータサーバーから前記参照先データとして取得する。この場合、前記データサーバーが保有するデータが参照データの一例である。
【００８７】
また、参照先Ｒｆ０がインターネット上の特定のデータサーバーが保有するデータを指定するＵＲＬである場合、ＭＰＵ１１は、指定されたデータを前記データサーバーから前記参照先データとして取得する。
【００８８】
また、参照先Ｒｆ０が自装置またはネットワーク内の他の画像処理装置１０が備える二次記憶装置１３である場合、ＭＰＵ１１は、参照先Ｒｆ０の二次記憶装置１３に記憶されているデータを前記参照先データとして取得する。
【００８９】
例えば、ＭＰＵ１１が、画像読取装置２０によって原稿９００から読み取られた前記原稿画像のデータを二次記憶装置１３に記憶させることが考えられる。この場合、二次記憶装置１３に蓄積された前記原稿画像のデータが前記参照先データとなる。なお、前記原稿画像のデータを二次記憶装置１３に記憶させる処理を実行するＭＰＵ１１は、原稿画像データ記録部の一例である。また、二次記憶装置１３は、原稿データ記憶装置の一例である。
【００９０】
そして、ＭＰＵ１１は、参照先Ｒｆ０から得られた前記参照先データから、対象文字列ｇ０に対応付けられた検索項目Ｉｔ０に相当する文字列もしくは画像である参照オブジェクトｇ１を検索する。
【００９１】
即ち、参照先Ｒｆ０が二次記憶装置１３である場合、工程Ｓ７のＭＰＵ１１は、二次記憶装置１３に記憶された前記原稿画像のデータを前記参照先データとして前記データ検索処理を実行可能である。
【００９２】
例えば、参照先Ｒｆ０が前記検索サイトである場合、ＭＰＵ１１が、前記検索サイトから得た文字列または画像データなどの前記参照先データ自体を、参照オブジェクトｇ１とすることが考えられる。
【００９３】
また、検索項目Ｉｔ０が"用例文"である場合、ＭＰＵ１１が、前記参照先データにおいて、対象文字列ｇ０を含む一文または対象文字列ｇ０を含む一文およびその前後の文を参照オブジェクトｇ１として抽出することが考えられる。
【００９４】
また、検索項目Ｉｔ０が"意味"である場合、ＭＰＵ１１が、前記参照先データにおいて、対象文字列ｇ０が主語となっている一文、または、”対象文字列ｇ０とは”という文字列を含む一文を参照オブジェクトｇ１として抽出することが考えられる。
【００９５】
＜工程Ｓ８，Ｓ９＞
次に、ＭＰＵ１１は、状況に応じて次の処理の移行先を制御する。以下の説明において、工程Ｓ７の検索結果が、１つの対象文字列ｇ０および１つの検索項目Ｉｔ０について複数の参照オブジェクトｇ１を含む状態のことを複数オブジェクト状態と称する。
【００９６】
ＭＰＵ１１は、工程Ｓ７の検索結果が前記複数オブジェクト状態であり、かつ、工程Ｓ２で設定された前記選択モードが前記自動選択モードである場合に、処理を工程Ｓ１０へ移行させる。
【００９７】
また、ＭＰＵ１１は、工程Ｓ７の検索結果が前記複数オブジェクト状態であり、かつ、工程Ｓ２で設定された前記選択モードが前記手動選択モードである場合に、処理を工程Ｓ１２へ移行させる。
【００９８】
また、ＭＰＵ１１は、工程Ｓ７の検索結果が前記複数オブジェクト状態ではない場合、処理を工程Ｓ１４へ移行させる。なお、対象文字列ｇ０および検索項目Ｉｔ０の組み合わせごとに、１つの参照オブジェクトｇ１のみが検索結果として得られた状態が、前記複数オブジェクト状態ではない状態である。
【００９９】
＜工程Ｓ１０＞
工程Ｓ１０において、ＭＰＵ１１は、前記複数オブジェクト状態の前記検索結果に含まれる複数の参照オブジェクトｇ１からその一部または全部を優先オブジェクトとして選択する自動選択処理を実行する。
【０１００】
なお、ＭＰＵ１１が自動選択プログラムＰｒ１５を実行することにより、前記自動選択処理が実現される。前記自動選択処理を実行するＭＰＵ１１が自動選択部の一例である。
【０１０１】
後述するように、工程Ｓ１２，Ｓ１３の処理が実行される場合に、選択履歴情報Ｄ３が二次記憶装置１３に記録される。図８に示されるように、選択履歴情報Ｄ３は、対象文字列ｇ０および検索項目Ｉｔ０と、それら対象文字列ｇ０および検索項目Ｉｔ０に基づく検索により過去に得られた参照オブジェクトｇ１と、その参照オブジェクトｇ１が得られた頻度を表す選択頻度Ｄ３０の情報とを含む。選択履歴情報Ｄ３の詳細については後述する。
【０１０２】
前記自動選択処理において、ＭＰＵ１１は、複数の参照オブジェクトｇ１から、選択履歴情報Ｄ３において予め定められた十分条件を満たす選択頻度Ｄ３０に対応付けられた参照オブジェクトｇ１と一致するものを、前記優先オブジェクトとして選択する。
【０１０３】
例えば、前記十分条件が、選択頻度Ｄ３０が予め設定された基準頻度以上であるという条件であることが考えられる。また、選択履歴情報Ｄ３が、対象文字列ｇ０および検索項目Ｉｔ０の１つの組み合わせに対して複数組の参照オブジェクトｇ１および選択頻度Ｄ３０の組み合わせを含む場合が考えられる。この場合、前記十分条件が、対象文字列ｇ０および検索項目Ｉｔ０の１つの組み合わせについて選択頻度Ｄ３０が最も高いという条件であることが考えられる。
【０１０４】
＜工程Ｓ１１＞
そして、ＭＰＵ１１は、工程Ｓ１０において前記優先オブジェクトを選択できた場合に、処理を工程Ｓ１４へ移行させ、そうでない場合に処理を工程Ｓ１２へ移行させる。なお、工程Ｓ１０において前記優先オブジェクトを選択できたということは、選択履歴情報Ｄ３に前記十分条件を満たす選択頻度Ｄ３０が存在したことを意味する。
【０１０５】
＜工程Ｓ１２＞
工程Ｓ１２において、ＭＰＵ１１は、前記複数オブジェクト状態の前記検索結果に含まれる複数の参照オブジェクトｇ１からその一部または全部を選択する手動選択処理を実行する。
【０１０６】
なお、ＭＰＵ１１が手動選択プログラムＰｒ１６を実行することにより、前記手動選択処理が実現される。前記手動選択処理を実行するＭＰＵ１１が手動選択部の一例である。
【０１０７】
前記手動選択処理において、ＭＰＵ１１は、前記複数オブジェクト状態の前記検索結果に含まれる複数の参照オブジェクトｇ１を選択候補として表示装置２ｂに表示させる。さらに、ＭＰＵ１１は、操作器２ａに対する操作に従って、少なくとも１つの参照オブジェクトｇ１を選択する。
【０１０８】
＜工程Ｓ１３＞
さらに、ＭＰＵ１１は、工程Ｓ１２における選択結果に応じて、選択履歴情報Ｄ３を二次記憶装置１３に記憶させる。ＭＰＵ１１は、工程Ｓ１３の処理が終了した後、処理を工程Ｓ１４へ移行させる。
【０１０９】
なお、ＭＰＵ１１が選択履歴記録プログラムＰｒ１７を実行することにより、工程Ｓ１３の処理が実現される。工程Ｓ１３の処理を実行するＭＰＵ１１が選択履歴記録部の一例である。
【０１１０】
選択履歴情報Ｄ３は、工程Ｓ１２の処理により選択された参照オブジェクトｇ１に対応する対象文字列ｇ０および検索項目Ｉｔ０と、工程Ｓ１２の処理により選択された参照オブジェクトｇ１および選択頻度Ｄ３０との対応関係を表す。
【０１１１】
選択頻度Ｄ３０は、過去の工程Ｓ１２の処理によって参照オブジェクトｇ１が選択された頻度を表す。例えば、ＭＰＵ１１は、工程Ｓ１２の処理によって参照オブジェクトｇ１が選択されるごとに、選択された参照オブジェクトｇ１に対応する選択頻度Ｄ３０を１つカウントアップする。
【０１１２】
選択頻度Ｄ３０は、対象文字列ｇ０および検索項目Ｉｔ０とそれら対象文字列ｇ０および検索項目Ｉｔ０についての前記データ検索処理によって得られた参照オブジェクトｇ１との組み合わせごとに設定される。
【０１１３】
＜工程Ｓ１４＞
工程Ｓ１４において、画像データ処理装置７０の出力画像データ生成部７ｃが、対象文字列ｇ０の画像と対象文字列ｇ０の画像に対応付けられた検索項目Ｉｔ０の画像および参照オブジェクトｇ１の画像とを含む出力画像Ｉ２のデータを生成する。工程Ｓ１４において生成されるデータが出力画像データＤ０２である。
【０１１４】
工程Ｓ１４において、出力画像データ生成部７ｃは、対象文字列ｇ０、検索項目Ｉｔ０および参照オブジェクトｇ１の各画像が、工程Ｓ３で設定されたレイアウト情報Ｌｔ０に従って配列された出力画像Ｉ２のデータを生成する（図３，７参照）。
【０１１５】
工程Ｓ１０の前記自動選択処理により、ＭＰＵ１１が前記優先オブジェクトを選択できた場合、出力画像データ生成部７ｃは、前記優先オブジェクトの画像を含む出力画像Ｉ２のデータを生成する。
【０１１６】
一方、ＭＰＵ１１は、工程Ｓ１０の前記自動選択処理において前記優先オブジェクトを選択できない場合、工程Ｓ１２において参照オブジェクトｇ１を選択する前記手動選択処理を実行する。さらに、出力画像データ生成部７ｃが、前記手動選択処理により選択された参照オブジェクトｇ１の画像を含む出力画像Ｉ２のデータを生成する。この場合、出力画像データ生成部７ｃは、前記手動選択処理において選択から漏れた参照オブジェクトｇ１の画像を出力画像Ｉ２のデータに含めない。
【０１１７】
＜工程Ｓ１５＞
次に、印刷制御装置５０が、出力画像データ生成部７ｃによって生成された出力画像データＤ０２に基づく印刷処理を画像形成装置４０に実行させる。これにより、画像形成装置４０が、出力画像データＤ０２に基づいてシート９０１に出力画像Ｉ２を形成する（図３参照）。印刷制御装置５０は、工程Ｓ１５の処理を実行した後、前記検索出力処理を終了させる。
【０１１８】
画像処理装置１０が採用されれば、原稿９００におけるマーキングＭ０が付された語句に対応する用例文、意味、類語、語源または画像などを集めた新たな文書を容易に出力することができる。
【０１１９】
また、工程Ｓ７のＭＰＵ１１による検索結果が前記複数オブジェクト状態である場合に、前記自動選択処理が行われることにより、過去にユーザーによって選択された頻度の高い参照オブジェクトｇ１が前記優先オブジェクトとして自動的に選択される。これにより、前記ユーザーが多くの参照オブジェクトｇ１の一部を手動選択する手間が省略される。
【０１２０】
[応用例]
以上に示された画像処理装置１０において、ＭＰＵ１１が、出力画像データ生成部７ｃにより生成された出力画像データＤ０２についてレイアウト修正処理を実行可能であることも考えられる。
【０１２１】
前記レイアウト修正処理において、ＭＰＵ１１は、出力画像データＤ０２における対象文字列ｇ０、検索項目Ｉｔ０および参照オブジェクトｇ１の各画像のレイアウトを、操作器２ａに対する操作に従って修正する。
【符号の説明】
【０１２２】
１        ：主制御装置
２        ：操作表示装置
２ａ      ：操作器（操作部）
２ｂ      ：表示装置（表示部）
７ａ      ：マーキング画像抽出部
７ｂ      ：文字認識部
７ｃ      ：出力画像データ生成部
９        ：バス
１０      ：画像処理装置
１１      ：ＭＰＵ
１２      ：ＲＡＭ
１３      ：二次記憶装置
２０      ：画像読取装置
３０      ：読取制御装置
４０      ：画像形成装置
５０      ：印刷制御装置
６０      ：通信機
７０      ：画像データ処理装置
１０１    ：通信回線
９００    ：原稿
９０１    ：シート
Ｄ０１    ：原画像データ
Ｄ０２    ：出力画像データ
Ｄ１      ：登録設定データ
Ｄ３      ：選択履歴情報
Ｄ３０    ：選択頻度
Ｉ１      ：原画像
Ｉ２      ：出力画像
Ｉｔ０    ：検索項目
Ｌｔ０    ：レイアウト情報
Ｍ０      ：マーキング
Ｐｒ１１  ：種類設定プログラム
Ｐｒ１２  ：項目選択プログラム
Ｐｒ１３  ：レイアウト設定プログラム
Ｐｒ１４  ：データ検索プログラム
Ｐｒ１５  ：自動選択プログラム
Ｐｒ１６  ：手動選択プログラム
Ｐｒ１７  ：選択履歴記録プログラム
Ｒｆ０    ：参照先
ｆ０１    ：マーキング種類設定画面
ｆ０２    ：検索項目選択画面
ｆ０３    ：レイアウト設定画面
ｇ０      ：対象文字列
ｇ１      ：参照オブジェクト
【図１】
2018180587.tif 000003
【図２】
2018180587.tif 000004
【図３】
2018180587.tif 000005
【図４】
2018180587.tif 000006
【図５】
2018180587.tif 000007
【図６】
2018180587.tif 000008
【図７】
2018180587.tif 000009
【図８】
2018180587.tif 000010