(57)【要約】【課題】検索可能なファイルであることを通知するためのコマンドを用いることなく、ファイルが検索可能なファイルであるかを高精度に判定すること。【解決手段】本発明は、ファイルに含まれる画像オブジェクト内の文字領域を抽出する第１抽出手段と、前記第１抽出手段により抽出された文字領域と、前記ファイルに含まれる文字オブジェクトが描画された領域との位置関係に基づき、前記ファイルが、画像と、該画像に対応する文字認識の結果とを含む検索可能なファイルであるか否かを判定する第１判定手段と、前記第１判定手段により、前記ファイルが検索可能なファイルでないと判定されたことに応じて、前記画像オブジェクトに対する文字認識処理を実行し、該文字認識処理の結果を含むファイルを生成する生成手段とを有することを特徴とする情報処理装置である。【選択図】図４
2019068406.tif 000002
【特許請求の範囲】
【請求項１】
ファイルに含まれる画像オブジェクト内の文字領域を抽出する第１抽出手段と、
前記第１抽出手段により抽出された文字領域と、前記ファイルに含まれる文字オブジェクトが描画された領域との位置関係に基づき、前記ファイルが、画像と、該画像に対応する文字認識の結果とを含む検索可能なファイルであるか否かを判定する第１判定手段と、
前記第１判定手段により、前記ファイルが検索可能なファイルでないと判定されたことに応じて、前記画像オブジェクトに対する文字認識処理を実行し、該文字認識処理の結果を含むファイルを生成する生成手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記第１判定手段は、以下の式を満たす場合に、前記ファイルが前記検索可能なファイルと判定することを特徴とする請求項１に記載の情報処理装置。
【数１】
2019068406.tif 000004
尚、上記式において、Ｘは、画像オブジェクト内の文字領域と、文字オブジェクトが描画された領域との位置関係が所定の条件を満たしている文字領域の数であり、Ｎは、前記第１抽出手段により抽出された文字領域の総数であり、Ｓは、所定の閾値である。
【請求項３】
前記第１抽出手段により文字領域が抽出されるファイルとはＰＤＦファイルであり、前記生成手段により生成されるファイルとは、前記文字認識処理の結果を透明な文字オブジェクトとして追加した検索可能なＰＤＦファイルであることを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記第１判定手段による判定が行われる前に、前記ＰＤＦファイルにページサイズ相当の画像が含まれているか否かを判定する第２判定手段を更に有し、
前記第２判定手段が、前記ＰＤＦファイルにページサイズ相当の画像が含まれていると判定した場合、前記第１判定手段は、該ＰＤＦファイルが前記検索可能なＰＤＦファイルか否かの判定を行う一方、
前記第２判定手段が、前記ＰＤＦファイルにページサイズ相当の画像が含まれていないと判定した場合、前記第１判定手段は、該ＰＤＦファイルが前記検索可能なＰＤＦファイルか否かの判定を行わない
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記第２判定手段が、前記ＰＤＦファイルにページサイズ相当の画像が含まれていると判定した場合、前記第１抽出手段は、該画像を領域分割することで、文字領域を抽出し、
前記文字認識処理は、前記第１抽出手段により抽出された文字領域に対して実行され、
前記生成手段は、前記第１抽出手段により抽出された文字領域と同じ位置に、前記文字認識処理の結果得られた文字列を示す透明な文字オブジェクトが追加された検索可能なＰＤＦファイルを、生成する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第１判定手段が、前記情報処理装置に入力されたＰＤＦファイルが検索可能なＰＤＦファイルと判定した場合、該入力されたＰＤＦファイルに基づき、検索可能なＰＤＦファイルを生成することなく、該入力されたＰＤＦファイルを保存することを特徴とする請求項３に記載の情報処理装置。
【請求項７】
保存された検索可能なＰＤＦファイルを含む複数のファイルを検索対象として、該検索対象のファイル内の文字列にユーザーにより指定されたキーワードが含まれているファイルを抽出する第２抽出手段を更に有し、
前記第２抽出手段が抽出したファイルの一覧を、表示部に表示させることを特徴とする請求項３に記載の情報処理装置。
【請求項８】
前記情報処理装置は、画像形成装置と通信可能に接続されており、
前記一覧の中から選択されたファイルを印刷するユーザー操作を受け付けたことに応じて、該選択されたファイルに基づき印刷データを生成する生成手段を更に有し、該生成手段で生成された印刷データを前記画像形成装置に送信することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記第１判定手段が、前記情報処理装置に入力されたＰＤＦファイルが検索可能なＰＤＦファイルと判定した場合、該入力されたＰＤＦファイルに基づき、検索可能なＰＤＦファイルを作り直すか否かをユーザーに選択させるためのプロンプトを、表示部に表示させることを特徴とする請求項３に記載の情報処理装置。
【請求項１０】
前記情報処理装置に入力されたＰＤＦファイルに基づき、検索可能なＰＤＦファイルを作り直す場合、該入力されたＰＤＦファイル内の透明文字列が前記画像の内容と無関係か判定する第３判定手段を更に有することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記画像の内容と無関係な透明文字列を削除するか否かをユーザーに選択させるためのプロンプトを表示部に表示させることを特徴とする請求項９に記載の情報処理装置。
【請求項１２】
認識率の高い文字列のみを透明文字列で置き換えることを特徴とする請求項９に記載の情報処理装置。
【請求項１３】
前記第１判定手段は、前記ファイルに含まれる画像オブジェクト内の文字領域の総数と、該文字領域のうち、位置及びサイズが該ファイル内の透明な文字オブジェクトの位置及びサイズと一致する文字領域の数とに基づき、該ファイルが検索可能なファイルか否かを判定することを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
【請求項１４】
ファイルに含まれる画像オブジェクト内の文字領域を抽出する抽出ステップと、
前記抽出ステップにて抽出された文字領域と、前記ファイルに含まれる文字オブジェクトが描画された領域との位置関係に基づき、前記ファイルが、画像と、該画像に対応する文字認識の結果とを含む検索可能なファイルであるか否かを判定する判定ステップと、
前記判定ステップにて、前記ファイルが検索可能なファイルでないと判定されたことに応じて、前記画像オブジェクトに対する文字認識処理を実行し、該文字認識処理の結果を含むファイルを生成する生成ステップと
を有することを特徴とする方法。
【請求項１５】
コンピュータに、請求項１４に記載の方法を実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ファイル内の画像中の文字列を認識して、検索可能なファイルを生成する情報処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、文字列を検索可能なサーチャブルＰＤＦファイル（以下ＳＰＤＦファイル）を作成するソフトウェアがある。図２にＳＰＤＦファイルの一例を示す。ＳＰＤＦファイル２０１には、スキャン画像２０２が含まれる。さらに、ＳＰＤＦファイル２０１には、スキャン画像に重なるように、該スキャン画像内の文字画像の位置に合わせて透明な文字列が埋め込まれている。例えば、スキャン画像内の文字画像２０３の前面または背面に、透明な文字列「２００，０００」が配置されるように、その文字列の文字コードがＰＤＦ（ＰｏｒｔａｂｌｅＤｏｃｕｍｅｎｔＦｏｒｍａｔ）ファイルに記述される。また、図示していないが、スキャン画像内の文字画像２０３以外の全ての文字画像に対応する透明な文字列の文字コードもＰＤＦファイルに記述されている。スキャン画像内の文字画像だけでは、文字列の検索を行うことはできないが、文字認識処理の結果得られる文字コードを透明な文字列として、文字画像と対応する位置に埋め込むことで、スキャン画像の見た目を変更することなく、文字列の検索を可能とする。このように、ＳＰＤＦファイルを作成するソフトウェアは、スキャン画像に対して文字認識処理を行い、その結果得られる文字コードを透明な文字列としてＰＤＦファイルに追加する。
【０００３】
ＳＰＤＦファイルを作成するソフトウェアがインストールされたＰＣは、複写機やソフトウェアで作成されたスキャン画像、または画像を含むＰＤＦファイルを受け取り、該受け取ったデータを用いてＳＰＤＦファイルを作成する。しかし、例えば複写機によっては複写機自体がＳＰＤＦファイルを作成することも可能であり、ＳＰＤＦファイルを作成するソフトウェアを実行するＰＣへの入力データとして、複写機を含む該ＰＣ以外の装置で作成されたＳＰＤＦファイルが入力される場合がある。尚、本明細書で「入力データ」とは、ＳＰＤＦファイルを作成する際の作成元のデータを意味し、入力データに基づいてＳＰＤＦファイルが作成される。入力データとして例えば、複写機が作成するスキャン画像、又は、スキャン画像等の画像を含むＰＤＦファイル若しくはＳＰＤＦファイル等が考えられる。
【０００４】
ここで、ＳＰＤＦのファイル拡張子は、サーチャブル化されていないＰＤＦのファイル拡張子と同じく「ｐｄｆ」であるので、ファイル拡張子に基づいて、入力データのＰＤＦファイルがＳＰＤＦファイルであるか否か判定することができないという問題が生じる。
【０００５】
この問題を解決するための１つの方法として、特許文献１には、検索可能なファイルであることを通知するためのコマンドをファイルに埋め込むことで、ＰＤＦファイルがＳＰＤＦファイルであるか否かの判定を可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−０１０２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ＳＰＤＦファイルを作成する既存のソフトウェアや複写機は、ＳＰＤＦファイルであることを通知するためのコマンドをファイルに埋め込む特許文献１のような機能を有さない。その理由は、ＰＤＦフォーマットの定義の中に、ＳＰＤＦファイルであるか否かを識別するための定義がないためである。このようなコマンドをファイルに埋め込む機能を有さない既存のソフトウェア等を用いて作成、送信されたＰＤＦファイルについては、該ＰＤＦファイルが入力された装置側で入力データのＰＤＦファイルがＳＰＤＦファイルであるか否かを判定することはできない。
【０００８】
また、単純に、入力データ内に透明文字列があるか否かを基準として、入力データがＳＰＤＦファイルであるか否かを判定することも考えられるが、以下の理由からその判定基準は適切ではない。図３は、画像の内容と関係のない透明文字列が埋め込まれている一例を示す図である。ユーザーの運用によっては、ユーザーを識別するためのＩＤ等の情報を、透明文字列３０２として画像に埋め込むことがある。このように、スキャン画像内の文字画像とは関係のない透明文字列がファイル内に存在するケースがあるため、入力データ内に透明文字列があるか否かを基準として、入力データがＳＰＤＦファイルであるか否かを判定することは、精度の観点から適切ではない。
【０００９】
そこで本発明は、上記の課題に鑑み、検索可能なファイルであることを通知するためのコマンドを用いることなく、ファイルが検索可能なファイルであるかを高精度に判定することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、ファイルに含まれる画像オブジェクト内の文字領域を抽出する第１抽出手段と、前記第１抽出手段により抽出された文字領域と、前記ファイルに含まれる文字オブジェクトが描画された領域との位置関係に基づき、前記ファイルが、画像と、該画像に対応する文字認識の結果とを含む検索可能なファイルであるか否かを判定する第１判定手段と、前記第１判定手段により、前記ファイルが検索可能なファイルでないと判定されたことに応じて、前記画像オブジェクトに対する文字認識処理を実行し、該文字認識処理の結果を含むファイルを生成する生成手段とを有することを特徴とする情報処理装置である。
【発明の効果】
【００１１】
本発明により、検索可能なファイルであることを通知するためのコマンドを用いることなく、ファイルが検索可能なファイルであるかを高精度に判定することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】実施例１におけるシステム等の構成を示すブロック図。
【図２】ＳＰＤＦファイルの一例。
【図３】画像の内容と無関係な透明文字列が埋め込まれている一例。
【図４】実施例１における、ＰＤＦファイル判定処理を伴うＳＰＤＦファイル作成処理のフローチャート。
【図５】実施例２における処理のフローチャート。
【図６】ＳＰＤＦファイルを作成し直すかどうかを問うダイアログの一例。
【図７】実施例３における処理のフローチャート。
【図８】透明文字列を削除するかどうかを選択する画面の一例。
【図９】実施例４における処理のフローチャート。
【図１０】ＳＰＤＦファイルを作成する際のオプションを設定する画面の一例。
【図１１】実施例５における処理のフローチャート。
【図１２】認識セルの説明図。
【図１３】実施例６における検索処理で表示される画面の例。
【図１４】実施例６における検索制御処理のフローチャート。
【発明を実施するための形態】
【００１３】
［実施例１］
＜システムの構成について＞
以下、本実施例におけるシステムの構成について、図１を用いて説明する。
【００１４】
図１（ａ）は、本実施例におけるシステムを示すブロック図である。図示するように、システム１００は、画像形成可能な複写機１１０と、情報処理装置１２０とを有する。複写機１１０と情報処理装置１２０とは有線又は無線で通信可能に接続されており、互いにデータを送受信することが可能である。
【００１５】
図１（ｂ）は、複写機１１０の機能構成を示すブロック図である。複写機１１０は、スキャナ部１１１と、送受信部１１２と、プリンタ部１１３と、制御部１１４とを有する。
【００１６】
図１（ｃ）は、情報処理装置１２０の機能構成を示すブロック図である。情報処理装置１２０は、送受信部１２１と、保存部１２２と、制御部１２３と、表示部１２４と、受付部１２５とを有する。情報処理装置１２０は、ＣＰＵと、ＲＯＭやハードディスク等の記憶媒体と、ＲＡＭ等の一時記憶媒体とを内部に有し、該ＲＯＭに格納されているプログラムが該ＲＡＭにロードされ、該ＣＰＵが該ロードされたプログラムを実行する。これにより、図１（ｃ）に示す各構成が実現され、当該各構成による処理が実行される。尚、受付部１２５は、キーボードとマウスとを含む形態が一般的であるが、この形態に限られない。またここでは、表示部１２４と受付部１２５とは別個の構成としているが、表示部１２４及び受付部１２５は、例えばタッチパネル等によって一体的に実現されても良い。
【００１７】
＜文書のスキャンからＳＰＤＦファイルの作成までの流れについて＞
以下、複写機１１０で文書をスキャンして、情報処理装置１２０でＳＰＤＦファイルを作成する流れについて説明する。複写機１１０のスキャナ部１１１が文書をスキャンすると、スキャン画像（スキャン画像データとも言う。）が作成される。作成されたスキャン画像を、送受信部１１２が情報処理装置１２０に送信する。すると、情報処理装置１２０の送受信部１２１がスキャン画像を受信し、制御部１２３は、該受信したスキャン画像を保存部１２２に保存する。
【００１８】
ユーザーが受付部１２５を介して、保存部１２２に保存されている１又は複数のスキャン画像の中から、１つのスキャン画像を選択する。すると、制御部１２３は、そのスキャン画像を表示部１２４に表示する。
【００１９】
ユーザーが受付部１２５を介して、表示部１２４に表示されたスキャン画像に基づくＳＰＤＦファイルの作成を指示する。すると、制御部１２３は、スキャン画像に対し、下記の処理、即ち（１）〜（５）に示す領域分割、（６）に示す文字認識、及び（７）に示す透明文字列の埋め込みを実行することでＳＰＤＦファイルを作成し、該作成したＳＰＤＦファイルを保存部１２２に保存する。
【００２０】
＜スキャン画像に基づくＳＰＤＦファイル作成処理について＞
以下、スキャン画像に基づきＳＰＤＦファイルを作成する処理について詳しく説明する。
【００２１】
（１）２値化
制御部１２３は、スキャン画像に対して２値化を行うことにより、黒画素と白画素のみから成る２値画像を得る。２値化により、スキャン画像における所定の閾値以上の濃度値を有する画素は黒画素、該所定の閾値未満の濃度値を有する画素は白画素となる。尚、以下では、スキャン画像が１００ＤＰＩであるものとして説明を行うが、スキャン画像がこの解像度に限られないことは言うまでもない。
【００２２】
（２）黒画素塊の検出
制御部１２３は、２値画像に対して８連結で繋がる黒画素の輪郭を追跡することにより、８方向の何れかの方向で連続して存在する黒画素の塊（黒画素塊とする。）を検出する。８連結とは、左上、左、左下、下、右下、右、右上、上の８つの方向の何れかで、同色（今回のケースでは黒）の画素が連続しているという意味である。一方、４連結とは、左、下、右、上の４つの方向の何れかで同色の画素が連続しているという意味である。本実施例では、８方向に存在する８つの隣接画素の何れもが黒画素ではない単独の黒画素が、黒画素塊として検出されることはない。一方、８方向に存在する８つの隣接画素の何れか１つにでも黒画素が存在する黒画素は、その隣接する黒画素と共に、黒画素塊として検出されることになる。図１２の符号１２０１は、制御部１２３が検出した黒画素塊の一例を示す。
【００２３】
また制御部１２３は、検出した黒画素塊の外接矩形の位置情報、具体的には、外接矩形の四頂点夫々のＸ座標、Ｙ座標を導出する。尚、Ｘ軸は右方向に伸び、Ｙ軸は下方向に伸びているものとする。図１２の符号１２０２は黒画素塊１２０１の外接矩形を示す。尚、本明細書で特に断り無く「矩形」と表現したときは、斜め向きの矩形は含まれず、四辺の全てがＸ軸とＹ軸との何れかと平行な矩形を表すものとする。
【００２４】
（３）表領域の検出
制御部１２３は、検出した黒画素塊の夫々について、以下に示す３つの条件を全て満たすか判定し、３つの条件を全て満たす黒画素塊を、表の枠線を構成する黒画素塊と判定する。以下、３つの条件について説明する。
【００２５】
第１の条件は、黒画素塊の外接矩形の幅が所定の閾値以上であり、かつ、該外接矩形の高さが所定の閾値以上であることである。本明細書で、「幅」はＸ方向の長さを、「高さ」はＹ方向の長さを指すものとする。尚、本実施例では、幅及び高さがともに、１００画素に相当する０．２５ｃｍ以上であるか判定する。
【００２６】
第２の条件は、外接矩形内部における黒画素塊の充填率が所定の閾値以下であることである。尚、本実施例では、黒画素塊の外接矩形に占める割合が２０％以下であるか判定する。
【００２７】
第３の条件は、黒画素塊の最大幅と外接矩形の幅との間の差、及び、黒画素塊の最大高さと外接矩形の高さとの間の差が何れも小さいことである。具体的には、黒画素塊の最大幅と外接矩形の幅との間の差が所定の閾値以下であり、かつ、黒画素塊の最大高さと外接矩形の高さとの間の差が所定の閾値以下であることである。尚、本実施例では、黒画素塊の最大幅と外接矩形の幅との間の差、及び、黒画素塊の最大高さと外接矩形の高さと間の差がともに、１０画素以下であるか判定する。
【００２８】
制御部１２３は、黒画素塊の夫々について上述の第１〜第３の条件を全て満たすかの判定を行うことで、表の枠線を構成する黒画素塊であるかの判定を行い、表の枠線を構成する黒画素塊の外接矩形の位置情報を保存部１２２に保存する。このようにして保存された位置情報を持つ外接矩形の領域を表領域と呼ぶ。尚、図１２に示すケースでは、表領域の検出の結果、黒画素塊１２０１が、表の枠線を構成する黒画素塊と判定され、外接矩形１２０２の領域が、表領域として検出されたものとする。尚、本実施例では、上述の第１〜第３の条件を全て満たす黒画素塊を、表の枠線を構成する黒画素塊と判定したが、判定条件はこれに限られない。例えば、第１〜第３の条件のうちの少なくとも１つを満たす黒画素塊を、表の枠線を構成する黒画素塊と判定しても良い。
【００２９】
（４）認識セルの特定
制御部１２３は、表領域内部の認識セルを特定する。ここで「認識セル」とは、表領域内部の白画素塊の外接矩形である。認識セルを特定するためには、表領域内部の白画素の輪郭を追跡することにより、白画素塊を検出する必要がある。その上で、制御部１２３は、検出した白画素塊の夫々について、以下に示す３つの条件を満たすか判定し、３つの条件を全て満たす白画素塊の外接矩形を、認識セルとして特定する。
【００３０】
第１の条件は、白画素塊の外接矩形の幅が所定の閾値以上であり、かつ該外接矩形の高さが所定の閾値以上であることである。尚、本実施例では、幅及び高さがともに、２０画素以上であるか判定する。
【００３１】
第２の条件は、外接矩形内部における黒画素塊の充填率が所定の閾値以下であることである。尚、本実施例では、黒画素塊の外接矩形に占める割合が２０％以下であるか判定する。
【００３２】
第３の条件は、白画素塊の最大幅と外接矩形の幅との間の差、及び、白画素塊の最大高さと外接矩形の高さとの間の差が何れも小さいことである。具体的には、白画素塊の最大幅と外接矩形の幅との間の差が所定の閾値以下であり、かつ、白画素塊の最大高さと外接矩形の高さとの間の差が所定の閾値以下であることである。尚、本実施例では、白画素塊の最大幅と外接矩形の幅との間の差、及び、白画素塊の最大高さと外接矩形の高さとの間の差がともに、５画素以下であるか判定する。
【００３３】
図１２の符号１２０３、１２０４は、制御部１２３が特定した認識セルを示す。制御部１２３は、特定した認識セルの位置情報を保存部１２２に保存する。
【００３４】
尚、本実施例では、上述の第１〜第３の条件を全て満たす白画素塊の外接矩形を、認識セルとして特定したが、判定条件はこれに限られない。例えば、第１〜第３の条件のうちの少なくとも１つを満たす白画素塊の外接矩形を、認識セルとして特定しても良い。
【００３５】
（５）認識セル内の文字領域の特定
制御部１２３は、各認識セルの内部に、その各認識セルに内接する白画素塊によって囲まれた黒画素塊があるか判定する。そして、黒画素塊があると判定した場合、あると判定された全ての黒画素塊に対する外接矩形を設定する。
【００３６】
さらに、制御部１２３は、１つの認識セルの中に複数の外接矩形を設定した場合に、外接矩形同士の距離が所定の閾値以下であるか判定する。具体的には、制御部１２３は、外接矩形を１つずつ選択し、選択した外接矩形からの距離が所定の閾値以下となる外接矩形を検出する。例えば、外接矩形同士の距離が２０画素以下であるか判定する。
【００３７】
さらに、制御部１２３は、そのような外接矩形を検出した場合、検出した外接矩形と、選択した外接矩形とを統合する。つまり、制御部１２３は、これら両方の外接矩形に外接する新たな外接矩形を設定するとともに、選択した外接矩形と、検出した外接矩形とを削除する。
【００３８】
新たな外接矩形の設定、２つの外接矩形の削除が完了した後、制御部１２３は、その認識セル内の外接矩形をまた初めから１つずつ選択し、互いの間の距離が所定の閾値以下の外接矩形同士を統合していく。以上の処理を繰り返す。即ち、互いの間の距離が所定の閾値以下の外接矩形が無くなるまで、外接矩形同士の統合が繰り返される。
【００３９】
以上の通り、本実施例では、１つの認識セルの内部に存在する外接矩形同士の統合を行うが、認識セルをまたぐ外接矩形同士の統合を行わない。
【００４０】
以上の処理が終わって依然として設定されている外接矩形は、文字領域（又はテキストブロック）と呼ばれる。以上の処理を認識セル内の文字領域の特定と呼ぶ。制御部１２３は、認識セルの内部に存在する文字領域の位置情報を、該認識セルに関連付けて保存部１２２に保存する。
【００４１】
図１２のケースでは、符号１２０５、１２０６が文字領域を示している。文字領域１２０５の位置情報は、認識セル１２０３に関連付けられて保存部１２２に保存される。また、文字領域１２０６の位置情報は、認識セル１２０４に関連付けられて保存部１２２に保存される。
【００４２】
（６）文字認識
制御部１２３は、各文字領域に対して文字認識を行うことによって、各文字領域に対応する認識文字を取得する。ここで「認識文字」とは、オリジナル文字（スキャン画像中の文字画像のこと）を文字認識することで得られる文字コードであり、認識文字が透明文字列としてＰＤＦファイルに埋め込まれる。文字認識で取得された認識文字は、対応する文字領域と関連付けられて保存部１２２に保存される。そうすることによって、認識文字は、文字領域と予め関連付けられている認識セルとも関連付けられることになる。文字認識を行わない場合、もしくは文字認識に失敗した場合は、文字領域に関連付けられる認識文字はない。
【００４３】
また、文字認識を行う際に、認識率も取得する場合がある。認識率は、文字を正しく認識できたかを示す指標であり、認識文字と関連付けられて保存部１２２に保存される。
【００４４】
（７）透明文字列の埋め込み
制御部１２３は、入力データが画像の場合は、まず新規にＰＤＦファイルを作成して、その中にスキャン画像を格納する一方、入力データがＰＤＦファイルの場合は、ＰＤＦファイルに含まれる透明文字列を一旦全て削除する。その後、制御部１２３は、上述の（６）文字認識で取得した認識文字を、対応する文字領域の位置に、透明文字列としてＰＤＦファイルに追加する。
【００４５】
尚、ここでは上述の（１）〜（７）の処理を、情報処理装置１２０の制御部１２３が実行する場合について説明したが、これらの処理を、複写機１１０の制御部１１４で実行しても構わない。その場合は、複写機１１０がＳＰＤＦファイルを作成することになる。
【００４６】
＜ＰＤＦファイル判定処理を伴うＳＰＤＦファイル作成処理について＞
以下、入力データに基づくＳＰＤＦファイル作成をユーザーが指示した場合に実行される、入力データのＰＤＦファイルがＳＰＤＦファイルか判定するＰＤＦファイル判定処理を伴うＳＰＤＦファイル作成処理について、図４を用いて説明する。
【００４７】
ステップＳ４０１において、制御部１２３は、入力データがＰＤＦファイルの場合に、該ＰＤＦファイル内にページサイズ相当の画像が含まれているか判定することで、該ＰＤＦファイルにスキャン画像が含まれているか判定する。ＰＤＦファイルにページサイズ相当の画像が含まれている場合、該ＰＤＦファイルにスキャン画像が含まれていると判定してステップＳ４０４に進む。一方、ＰＤＦファイルにページサイズ相当の画像が含まれていない場合、該ＰＤＦファイルにスキャン画像が含まれていないと判定してステップＳ４０２に進む。具体的に本実施例では、ステップＳ４０１において、まずＰＤＦファイルからページの幅ｘ［ｍｍ］と高さｙ［ｍｍ］とを取得した上で、次に、幅がｘ−５［ｍｍ］以上であって、かつ高さがｙ−５［ｍｍ］以上の画像がＰＤＦファイル内にあるか判定する。ここで５は、許容可能な誤差である。このように本ステップでは、スキャン画像からＰＤＦファイルを作成する際に余白が入る場合があることを考慮している。つまり、ページサイズと画像サイズとが完全に一致しなくても、ある程度ページサイズに近いサイズの画像があれば、ＰＤＦファイルにスキャン画像が含まれていると判定する。尚、本実施例では、許容可能な誤差を５［ｍｍ］に設定したが、この値はスキャン環境に応じて適宜変更して構わない。
【００４８】
まず、ＰＤＦファイル内にページサイズ相当の画像が含まれていない（ステップＳ４０１でＮＯの場合）について説明する。この場合、ステップＳ４０２において、制御部１２３は、入力データのＰＤＦファイルがＳＰＤＦファイルではないと判定する。次いで、ステップＳ４０３において、制御部１２３は、入力データに対してＯＣＲ処理を実行し、その結果得られる文字コードを透明文字列として埋め込むことでＳＰＤＦファイルを作成し、該作成したＳＰＤＦファイルを保存部１２２に保存する。
【００４９】
続いて、ＰＤＦファイル内にページサイズ相当の画像が含まれている場合（ステップＳ４０１でＹＥＳ）について説明する。この場合、ステップＳ４０４において、制御部１２３は、画像に対して領域分割を実行することで文字領域を抽出する。本ステップで得た文字領域の総数をＮ個とする。
【００５０】
ステップＳ４０５において、制御部１２３は、透明文字列と位置及びサイズが一致する文字領域をカウントするためのパラメータＸを初期化して０に設定する。
【００５１】
ステップＳ４０６において、制御部１２３は、未チェックの文字領域の１つに着目する（着目文字領域の選択）。
【００５２】
ステップＳ４０７において、制御部１２３は、位置及びサイズが着目文字領域のそれらと一致する透明文字列が存在するか判定する。本ステップでは、画像オブジェクト内の文字領域と、文字オブジェクト（具体的には透明文字列）が描画された領域との位置関係を見ている。ステップＳ４０７の判定結果が真の場合、ステップＳ４０８に進む一方、該判定結果が偽の場合、ステップＳ４０９に進む。尚、本ステップにおいて、スキャンのズレ等も考慮し、位置及びサイズが完全に一致していなくても、着目文字領域の位置及びサイズが透明文字列の位置及びサイズと一致すると判定しても良い。例えば、±１ｍｍ程度の範囲内の差異があったとしても、一致すると判定しても良い。
【００５３】
ステップＳ４０７でＹＥＳの場合、ステップＳ４０８において、制御部１２３は、Ｘをインクリメントし、ステップＳ４０９に進む。これに対し、ステップＳ４０７でＮＯの場合、Ｘをインクリメントすることなく、ステップＳ４０９に進む。
【００５４】
ステップＳ４０９において、制御部１２３は、全ての文字領域をチェックしたか判定する。ステップＳ４０９の判定結果が真の場合、ステップＳ４１０に進む一方、該判定結果が偽の場合、ステップＳ４０６に戻る。
【００５５】
このように本実施例では、ステップＳ４０５〜ステップＳ４０９において、文字領域のうち、位置及びサイズが透明文字列と一致するものが何個あるかをカウントしている。
【００５６】
ステップＳ４１０において、制御部１２３は、以下の式（１）を満たすか判定する。ステップＳ４１０の判定結果が真の場合、ステップＳ４１１に進む一方、該判定結果が偽の場合、ステップＳ４１３に進む。
【００５７】
【数１】
2019068406.tif 000003
【００５８】
式（１）において、Ｓは、入力データがＳＰＤＦファイルであるか判定するための閾値であって、位置及びサイズが透明文字列と一致する文字領域の数がいくつより大きいときに、入力データがＳＰＤＦファイルと判定するための閾値である。本実施例では、Ｓを０．９に設定した。Ｓを０．９に設定したということは、文字領域のうちの、位置及びサイズが透明文字列と一致する文字領域の割合が９０％より大きければ、入力データがＳＰＤＦファイルと判定されることを意味する。Ｓを１．０ではなく０．９とした理由は、環境に応じたスキャン精度の低下等が原因で、常に１００％の認識率で文字を認識できるわけではないことを考慮しているためである。尚、Ｓの値は当然、環境に応じて変更して構わない。
【００５９】
式（１）を満たす場合（ステップＳ４１０でＹＥＳ）、ステップＳ４１１において、制御部１２３は、入力データがＳＰＤＦファイルと判定する。次いで、ステップＳ４１２において、制御部１２３は、ＳＰＤＦファイルを作成し直すことなく、入力データのＳＰＤＦファイルをそのまま保存部１２２に保存し、一連の処理は終了する。
【００６０】
これに対し、式（１）を満たさない場合（ステップＳ４１０でＮＯ）、ステップＳ４１３において、制御部１２３は、入力データがＳＰＤＦファイルではないと判定する。次いで、ステップＳ４１４において、制御部１２３は、入力データに対してＯＣＲ処理を実行し、ＯＣＲ処理の結果取得する文字コードを透明文字列として埋め込むことでＳＰＤＦファイルを作成し、該作成したＳＰＤＦファイルを保存部１２２に保存する。以上が、本実施例における、ＰＤＦファイル判定処理を伴うＳＰＤＦファイル作成処理の内容である。
【００６１】
本実施例により、検索可能なファイルであることを通知するためのコマンドを用いることなく、入力データのＰＤＦファイルがＳＰＤＦファイルであるかを高精度に判定することができる。また、入力データが既にＳＰＤＦファイルであった場合は、該ＳＰＤＦファイルをそのまま保存部に保存しＳＰＤＦファイルを作成し直すことがない。従って、無駄な処理を減らすことができる。
【００６２】
［実施例２］
本実施例では、入力データがＳＰＤＦファイルと判定された場合（ステップＳ４１０でＹＥＳ→ステップＳ４１１）に、ＳＰＤＦファイルを作成し直すか否かをユーザーに選択させる。尚、以下では既述の実施例との差分について主に説明し、既述の実施例と同様の内容については説明を適宜省略する。
【００６３】
入力データが既にＳＰＤＦファイルだったとしても、情報処理装置１２０で文字認識をやり直すことで、文字認識の精度が向上する場合がある。例えば情報処理装置１２０に搭載されている文字認識エンジンが優れていれば、情報処理装置１２０で文字認識をやり直すことで、文字認識の精度が向上する可能性がある。一方で、元々ＳＰＤＦファイルを作成した文字認識エンジンの方が情報処理装置１２０に搭載されている文字認識エンジンより優れていれば、情報処理装置１２０で文字認識をやり直しても文字認識の精度が向上することはない。また、文字認識は処理にある程度の時間を要するため、パフォーマンスの観点から、常にＳＰＤＦファイルを作成し直すことは好ましくない。このように、ＳＰＤＦファイルを作成し直すことには一長一短があり、そのメリット及びデメリットもユーザー環境に依存するため、ＳＰＤＦファイルを作成し直すか否かをユーザーが選択できるようにする。
【００６４】
以下、本実施例における処理について、図５を用いて説明する。
【００６５】
ステップＳ４１１で、入力データがＳＰＤＦファイルと判定された場合、ステップＳ５０１において、制御部１２３は、ＳＰＤＦファイルを作成し直すか否かをユーザーに選択させるためのダイアログを、表示部１２４に表示する。図６は、本ステップで表示されるダイアログの一例を示す図である。ダイアログ６０１は、ＳＰＤＦファイルを作成し直すか否かを問うメッセージ６０２を有する。また、ダイアログ６０１は、ＳＰＤＦファイルを作成する場合にユーザーが押下するＹｅｓボタン６０３、及び、ＳＰＤＦファイルを作成しない場合にユーザーが押下するＮｏボタン６０４を有する。
【００６６】
ステップＳ５０２において、制御部１２３は、ダイアログ６０１のＹｅｓボタン６０３が押下されたか判定する。ステップＳ５０２の判定結果が真の場合、ステップＳ５０３に進む一方、該判定結果が偽の場合（即ち、Ｎｏボタン６０４が押下された場合）、ステップＳ４１２に進む。
【００６７】
ＹＥＳボタン６０３が押下された場合（ステップＳ５０２でＹＥＳ）、ステップＳ５０３において、制御部１２３は、ＳＰＤＦファイルを作成し直し、該作成し直したＳＰＤＦファイルを保存部１２２に保存する。
【００６８】
本実施例により、入力データがＳＰＤＦファイルと判定された場合に、ＳＰＤＦファイルを作成し直すかどうかをユーザーに選択させることが可能になる。
【００６９】
［実施例３］
本実施例では、ＳＰＤＦファイルを作成し直す際に、画像の内容と無関係な透明文字列を削除せずに残す。
【００７０】
入力データのＳＰＤＦファイルに基づいてＳＰＤＦファイルを作成し直す場合は通常、元々埋め込まれている透明文字列を一旦削除し、新たに取得した文字コードを透明文字列として埋め込む。しかしこのような処理を図３のような画像の内容と無関係な透明文字列が存在するＳＰＤＦファイルに対して実行した場合、該透明文字列は、削除されたまま消えてしまうことになる。そのため本実施例では、透明文字列を一旦削除する際に、画像の内容と無関係な透明文字列を削除しないようにする。以下、本実施例におけるＳＰＤＦファイルを作成し直す処理について、図７を用いて説明する。
【００７１】
まずステップＳ７０１において、制御部１２３は、入力データの画像に対して領域分割、文字認識を行い、その結果得られる情報を保存部１２２に保存しておく。
【００７２】
ステップＳ７０２において、制御部１２３は、未チェックの透明文字列の１つに着目する（着目透明文字列の選択）。
【００７３】
ステップＳ７０３において、制御部１２３は、着目透明文字列の位置及びサイズがステップＳ７０１で取得した文字領域の何れかの位置及びサイズと一致するか判定する。ステップＳ７０３の判定結果が真の場合、ステップＳ７０４に進む一方、該判定結果が偽の場合、ステップＳ７０６に進む。尚、本ステップにおいて、スキャンのズレ等も考慮し、位置及びサイズが完全に一致していなくても、着目透明文字列の位置及びサイズが文字領域の何れかの位置及びサイズと一致すると判定しても良い。
【００７４】
着目透明文字列の位置及びサイズが文字領域の１つと一致する場合（ステップＳ７０３でＹＥＳ）、ステップＳ７０４において、制御部１２３は、着目透明文字列が画像の内容と関係する透明文字列、つまり検索用の透明文字列と判定する。次いで、ステップＳ７０５において、制御部１２３は、着目透明文字列を削除し、ステップＳ７０７に進む。
【００７５】
これに対し、着目透明文字列の位置及びサイズと一致する位置及びサイズを有する文字領域が存在しない場合（ステップＳ７０３でＮＯ）、ステップＳ７０６において、制御部１２３は、着目透明文字列が画像の内容と無関係な透明文字列と判定する。次いで、ステップＳ７０７に進む。
【００７６】
ステップＳ７０７において、制御部１２３は、全ての透明文字列をチェックしたか判定する。ステップＳ７０７の判定結果が真の場合、ステップＳ７０８に進む一方、該判定結果が偽の場合、ステップＳ７０２に戻る。
【００７７】
ステップＳ７０８において、制御部１２３は、文字認識で取得した文字コードを透明文字列として追加する。以上が、本実施例におけるＳＰＤＦファイルを作成し直す処理の内容である。
【００７８】
本実施例により、ＳＰＤＦファイルを作成し直す際に、画像の内容と無関係な透明文字列を削除せずに残すことができる。
【００７９】
［実施例４］
本実施例では、画像の内容と無関係な透明文字列を削除せずに残すか否かをユーザーが選択できるようにする。
【００８０】
図８は、画像の内容と無関係な透明文字列を削除するか否かをユーザーに選択させる際に、制御部１２３が表示部１２４に表示するプロンプト画面の一例を示す図である。図８のケースでは、制御部１２３が画像の内容と無関係な透明文字列３０２を検出し、その外接矩形８０１を表示することで、透明文字列３０２を強調している。また、図示していないが、一時的に透明文字列３０２を半透明にして表示することで、ユーザーが透明文字列３０２を視認できるようにしている。さらに、透明文字列３０２の近くにチェックボックス８０２を表示している。ユーザーがこのチェックボックス８０２にチェックをつけた場合、透明文字列３０２はＳＰＤＦファイルを作成し直す際に削除されることになる。
【００８１】
＜画面作成処理について＞
以下、本実施例における、図８に例示したような画面を作成する処理について、図９（ａ）を用いて説明する。
【００８２】
本実施例における画面作成処理では、ステップＳ７０６で着目透明文字列が画像の内容と無関係な透明文字列と判定された後、ステップＳ９０１に進む。そして、ステップＳ９０１において、制御部１２３は、着目透明文字列に対応する外接矩形と、チェックボックスとを、表示部１２４に表示するとともに、着目透明文字列を半透明にして表示する。
【００８３】
＜ＳＰＤＦファイル作成処理について＞
以下、本実施例におけるＳＰＤＦファイル作成処理について、図９（ｂ）を用いて説明する。
【００８４】
本実施例におけるＳＰＤＦファイル作成処理では、ステップＳ７０６で着目透明文字列が画像の内容と無関係な透明文字列と判定された後、ステップＳ９０２に進む。そして、ステップＳ９０２において、制御部１２３は、着目透明文字列に対応するチェックボックスにチェックがつけられたか判定する。ステップＳ９０２の判定結果が真の場合、ステップＳ７０５に進み、着目透明文字列を削除する一方、該判定結果が偽の場合、ステップＳ７０７に進む。この場合、着目透明文字列は削除されない。つまり本実施例では、画像の内容と無関係な透明文字列を必ず削除するのではなく、ユーザーの選択に応じて該透明文字列を削除する。
【００８５】
本実施例により、画像の内容と無関係な透明文字列を削除せずに残すか否かをユーザーが選択することが可能になる。
【００８６】
［実施例５］
本実施例では、ＳＰＤＦファイルを作成し直す際に、認識率の高い文字列のみを透明文字列で置き換える。上述したように、ＳＰＤＦファイルを作成し直す際には、既存の透明文字列を一旦削除してから文字認識を行い、透明文字列を追加する。しかし、認識率が低い場合、既存の透明文字列を取得した際よりも認識精度が落ちてしまう可能性が高い。そのため、本実施例では、認識率が閾値以上の文字列のみを透明文字列で置き換えるようにする。
【００８７】
図１０は、ＳＰＤＦファイルを作成する際のオプションを設定するためのダイアログの一例を示す図である。オプション設定ダイアログ１００１は、全ての透明文字を置き換える場合にチェックをつけるチェックボックス１００４と、認識率の高い文字列のみ置き換える場合にチェックをつけるチェックボックス１００５とを有する。ユーザーは、チェックボックス１００４とチェックボックス１００５との何れかにチェックをつける。
【００８８】
＜ＳＰＤＦファイル作成処理について＞
以下、本実施例における、オプション設定ダイアログ１００１内のチェックボックス１００５にチェックが入っていた場合に実行されるＳＰＤＦファイル作成処理について、図１１を用いて説明する。
【００８９】
本実施例では、ステップＳ７０４の次にステップＳ１１０１に進み、ステップＳ１１０１において、制御部１２３は、着目透明文字列に対応する認識文字の認識率が所定の閾値以上か判定する。ステップＳ１１０１の判定結果が真の場合、ステップＳ７０５に進んで着目透明文字列を削除する一方、該判定結果が偽の場合、ステップＳ７０７に進む。このように本ステップでは、後続のステップＳ１１０２で認識率が高い文字列のみを透明文字列で置き換えるために、認識率が高い既存の透明文字列を予め削除しておく。
【００９０】
また、本実施例では、ステップＳ７０７の次にステップＳ１１０２に進み、ステップＳ１１０２において、制御部１２３は、認識文字のうち、認識率が所定の閾値以上のものを透明文字列として追加し、一連の処理は終了する。以上が、本実施例におけるＳＰＤＦファイル作成処理の内容である。
【００９１】
本実施例により、ＳＰＤＦファイルを作成し直す際に、認識率の高い文字列のみを透明文字列で置き換えることができる。
【００９２】
［実施例６］
本実施例では、上述の実施例で説明した方法で生成したＳＰＤＦファイルの活用方法の一例について述べる。本実施例では、保存部１２２などに保存された各ファイルを詳細に検索する仕組みを提供する。また、検索で見つかったファイルを，複写機１１０を用いて印刷する仕組みを提供する。図１３（ａ）及び図１３（ｂ）は、情報処理装置１２０の表示部１２４に表示される画面の例を示す図である。図１３（ａ）は、検索ワードを入力する画面の一例を示す図であり、図１３（ｂ）は、検索結果の一覧を示す画面の一例を示す図である。図１３（ａ）及び図１３（ｂ）に示す画面は、生成されたＳＰＤＦファイルや、コンピュータ内部の文書ファイルなどを管理する文書管理アプリケーションが提供する画面である。ユーザーは、図１３（ａ）及び図１３（ｂ）の画面を介してファイルの属性検索、全文検索、概念検索などを行うことができる。
【００９３】
本実施例では、ＳＰＤＦを含むファイルの全文検索について説明する。領域１３０１は、検索キーワードを入力する領域である。ユーザーは、領域１３０１に検索したいキーワードを入力することができる。検索方式のチェックボックスは、各キーワードをＡＮＤで検索するかＯＲで検索するかを指定するためのチェックボックスである。Ｓｅａｒｃｈキー１３０２は、検索を行う際に押下されるキーである。
【００９４】
図１３（ｂ）は、検索結果の一例を示す画面である。ここでは、「Ｋａｗａｓａｋｉ」、「ＢｌａｃｋＢｌｕｅ」の２つの検索キーワードを含む３つのファイル見つかり、リストに列挙されているケースを例示している。符号１３０３は、見つかった３つのファイルのうち、図２のＳＰＤＦファイルが指定されている様子を示している。ユーザーは、図１３（ｂ）の画面を介して検索で見つかったファイルを開いたり、印刷したりすることができる。
【００９５】
具体的な制御方法について図１４を用いて説明する。図１４のフローチャートは、文書管理アプリケーションの管理画面を介してファイル検索のユーザー操作を受け付けたことに従って実行される。
【００９６】
ステップＳ１４０１において、制御部１２３は、受付部１２５を介して検索キーワードの入力を受け付ける。検索キーワードの入力を受け付けた後に、Ｓｅａｒｃｈキー１３０２が押下されたことを検知すると、ステップＳ１４０２に進む。
【００９７】
ステップＳ１４０２において、制御部１２３は、ステップＳ１４０１で入力されたキーワードに基づき、検索対象のストレージ内にあるファイル内の文字列を検索する。ファイル内の文字列にキーワードが含まれているファイルがあれば、表示対象として当該ファイルの属性情報を取得する。ストレージ内のファイルの検索が完了すると、ステップＳ１４０３に進む。尚、本実施例では、ＳＰＤＦファイルやＷＯＲＤファイル、エクセルファイル等を直接参照し、検索を行う場合を想定しているが、これに限定されるものではない。例えば、ファイル内の文字列をインデックス化したデータベースを予め生成しておき、該生成したデータベースを参照するようにしても良い。
【００９８】
ステップＳ１４０３において、制御部１２３は、ステップＳ１４０２で見つかった検索結果の一覧を示す画面を表示する。図１３（ｂ）は、検索結果の一覧を示す画面の一例である。
【００９９】
ステップＳ１４０４において、制御部１２３は、検索結果の一覧から文書を選択するユーザー操作を受け付ける。本ステップにおける文書の選択では、ユーザーは、複数の文書ファイルを選択することもできる。
【０１００】
ステップＳ１４０５において、制御部１２３は、選択した文書を印刷するユーザー操作を受け付けたか判定する。本ステップの判定結果が真の場合、ステップＳ１４０６に進む一方、該判定結果が偽の場合、ステップＳ１４０７に進む。
【０１０１】
ステップＳ１４０６において、制御部１２３は、選択された文書に基づく印刷データを生成し、ＭＦＰ（例えば、複写機１１０）に該生成した印刷データを送信する。この印刷データを受信したＭＦＰは、受信した印刷データに基づき用紙等の記録媒体に画像を形成する。
【０１０２】
ステップＳ１４０７において、制御部１２３は、選択文書を開くユーザー操作を受け付けたか判定する。本ステップの判定結果が真の場合、ステップＳ１４０８に進む一方、該判定結果が偽の場合、ステップＳ１４０４に戻る。
【０１０３】
ステップＳ１４０８では、制御部１２３は、選択された文書の拡張子に関連付けられたアプリケーションで、選択された文書を開く。
【０１０４】
以上説明したように、本実施例では、情報処理装置１２０内部に記憶されたＳＰＤＦ形式の文書ファイルの全文探索を行うことができる。従って、ユーザーが必要とする資料を簡単に探すことができるようになる。また、探索で見つかった文書ファイルについて、複写機１１０と連携して印刷することができる。従って、情報処理装置上で管理されている多種多様の文書ファイルから、所望のファイルを簡単にサーチし、再印刷することができる。従ってユーザーの利便性を高めることができる。
【０１０５】
［その他の実施形態］
上述の各実施形態では、情報処理装置１２０と複写機１１０が有線又は無線で接続されている場合を例示しているがこれに限定されるものではない。例えば、ＳＰＤＦを生成したり、各文書ファイルを管理したりする情報処理装置１２０の各機能は、クラウド上のサーバとして実現することもできる。この場合、複写機などで読み取られたデータは、クラウド上のサーバに送信され、必要に応じてＳＰＤＦファイルに変換されてクラウドストレージ上に記憶される。また、クラウド上のサーバは、クライアントＰＣのＷｅｂブラウザ等からアクセス可能なＷｅｂアプリケーションを提供する。この場合、ユーザーは、Ｗｅｂアプリケーションを経由して、実施例６で説明した全文探索の機能や、探索で見つかった文書ファイルの印刷機能を利用するものとする。
【０１０６】
また、上述の実施形態では、検索可能に変換するファイルの一例としてＰＤＦを例示したがこれに限定されるものではない。その他ファイルフォーマット（例えば、Ｍｉｃｒｏｓｏｆｔが提唱するＸＰＳフォーマットや、Ｘｅｒｏｘが提唱するＤｏｃｕＷｏｒｋｓ文書で用いられるＸＤＷフォーマットのファイルを解析し、検索可能なファイルに変換することもできる。
【０１０７】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019068406.tif 000005
【図２】
2019068406.tif 000006
【図３】
2019068406.tif 000007
【図４】
2019068406.tif 000008
【図５】
2019068406.tif 000009
【図６】
2019068406.tif 000010
【図７】
2019068406.tif 000011
【図８】
2019068406.tif 000012
【図９】
2019068406.tif 000013
【図１０】
2019068406.tif 000014
【図１１】
2019068406.tif 000015
【図１２】
2019068406.tif 000016
【図１３】
2019068406.tif 000017
【図１４】
2019068406.tif 000018