(57)【要約】【課題】  従来では、加筆修正された文書の加筆内容に基づいて元文書を編集しようとする場合、元文書との差分から加筆情報を取得するために、差分元である元文書を取得する必要があった。しかし元文書を取得できない場合、元文書と加筆修正後の文書との差分をとることができず、加筆内容に基づいて元文書を編集することができない課題があった。【解決手段】  本発明の画像処理装置は、加筆修正された文書から元文書に対応する文書を生成し、この元文書に対応する文書に対して加筆内容に基づく編集を行って編集文書を生成する。そしてこの画像処理装置は、編集文書と元文書に対応する文書を関連付けて統合した統合文書を生成する。【選択図】  図３
2012048637.tif 000002
【特許請求の範囲】
【請求項１】
加筆後の文書を読み取ることで得られる加筆後画像を入力する入力手段と、
前記加筆後画像から加筆部分を抽出する抽出手段と、
前記加筆後画像から加筆前の文書に対応する加筆前画像を生成する生成手段と、
前記加筆部分の内容を判別する判別手段と、
前記判別手段で判別した前記加筆部分の内容と前記加筆前画像とに基づいて、編集結果を示す編集画像を１又は複数生成する編集画像生成手段と、
前記編集画像及び前記加筆前画像を関連付けて統合した統合電子文書を生成する統合手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記統合電子文書はレイヤー構造を有し、前記編集画像及び前記加筆前画像はレイヤーの階層関係によって関係付けられていることを特徴とする請求項１に記載の画像形成装置。
【請求項３】
前記統合手段は、前記統合電子文書の閲覧時に初期表示される画像を特定するための特定情報を含めて前記統合電子文書を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記抽出手段は、前記加筆後画像の色情報を特徴量として、該特徴量に基づいて前記加筆部分を前記加筆後画像から抽出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記編集画像生成手段は、前記加筆部分が文字に引かれた下線である場合、前記下線が引かれた文字の色を変更した画像を前記編集画像として生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記編集画像生成手段は、前記加筆部分が文字に引かれた取消線である場合、前記取消線が引かれた文字を消去するための画像を前記編集画像として生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記編集画像生成手段は、前記加筆部分が修正文字である場合、前記取消線が引かれた文字の領域に前記修正文字を表示するための画像を前記編集画像として生成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記編集画像生成手段は、前記加筆部分が追加線及び追加文字である場合、前記追加線及び前記追加文字の画像を前記編集画像として生成することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記編集画像は、レイヤーで構成されていることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記編集画像は、前記加筆前画像よりも上位レイヤーであることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
ユーザーの指示に基づき前記特定情報を設定する特定情報設定手段を有する請求項３乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記統合手段は、前記編集画像及び前記加筆前画像及び前記加筆後画像を関連付けて統合し、前記特定情報を含んだ前記統合電子文書を生成することを特徴とする請求項３乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記判別手段は、判別した前記加筆部分の内容に対する判別精度を算出し、
前記判別精度が所定値より低い場合、前記加筆後画像を初期表示させるように前記特定情報が設定され、
前記判別精度が所定値以上の場合、前記編集画像を初期表示させるように前記特定情報
が設定されることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
入力手段が、加筆後の文書を読み取ることで得られる加筆後画像を入力する入力工程、
抽出手段が、前記加筆後画像から加筆部分を抽出する抽出工程、
生成手段が、前記加筆後画像から加筆前の文書に対応する加筆前画像を生成する生成工程、
編集画像生成手段が、前記加筆部分の内容と前記加筆前画像とに基づいて、編集結果を示す編集画像を１又は複数生成する編集工程、
統合手段が、前記編集画像及び前記加筆前画像を関連付けて統合した統合電子文書を生成する統合工程と、
を有する画像処理方法。
【請求項１５】
請求項１乃至１３の何れか１項に記載の各手段としてコンピュータを機能させるためのプログラム。
【請求項１６】
加筆後の文書を読み取ることで得られる加筆後画像として入力する入力手段と、
前記加筆後画像から加筆部分を抽出する抽出手段と、
前記加筆部分の内容と加筆前の文書に対応する画像に基づいて、編集結果を示す複数の編集画像を生成する編集手段と、
前記複数の編集画像と前記加筆前の文書に対応する画像と初期表示される画像を特定する特定情報とを統合して統合電子文書を生成する統合手段と、
を有し、
前記統合電子文書は、前記複数の編集画像を異なるレイヤーに保持することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は手書きによる加筆修正を行った文書を電子化し、この電子化された文書を効率よく利用するための画像処理装置、画像処理方法、コンピュータプログラム、及び、そのプログラムを記憶したコンピュータ読出可能な記憶媒体に関するものである。
【背景技術】
【０００２】
従来、電子文書の内容が印刷された紙面（加筆前文書）に手書きで加筆修正した部分（加筆部分）の内容（手書き内容）を、元の電子文書に反映できるようにする技術がある（特許文献１）。これによれば、手書き内容を元の電子文書に反映させる際に、紙面に手書きした内容を参照しながらユーザーが改めてワープロソフトウェア等を用いて入力する必要がなくなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２７２６５４
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている技術では、加筆を行った文書（加筆後文書）上のマーカーが示すアドレス情報に基づいて元の電子文書を検索し、取得する必要がある。そのため、元の電子文書が取得できない場合、元の電子文書の画像データと加筆後文書の画像データの差分をとることができず加筆部分を抽出することができない。
【０００５】
また、加筆前文書に手書きを行う際、手書き内容自体を誤ってしまう場合もある。例えば、手書き下線や手書き取消線の位置を誤ってしまったため、別の位置に訂正したい場合があげられる。このような場合、加筆前文書を簡単に取得できるようにすることが望まれる。
【０００６】
本発明は、上記課題のうち少なくとも一つを解決することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、加筆後の文書を読み取ることで得られる加筆後画像を入力する入力手段と、前記加筆後画像から加筆部分を抽出する抽出手段と、前記加筆後画像から加筆前の文書に対応する加筆前画像を生成する生成手段と、前記加筆部分の内容を判別する判別手段と、前記判別手段で判別した前記加筆部分の内容と前記加筆前画像とに基づいて、編集結果を示す編集画像を１又は複数生成する編集画像生成手段と、前記編集画像及び前記加筆前画像を関連付けて統合した統合電子文書を生成する統合手段と、を有することを特徴とする。
【発明の効果】
【０００８】
加筆後文書において、元の電子文書がない場合でも該加筆後文書から加筆部分を抽出することで、加筆部分の内容に基づいて加筆前文書を編集した電子文書（編集後画像データ）を作成可能である。また、加筆前文書に対応する画像データを編集後画像データと関連付けた統合電子文書としてまとめて管理できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る画像処理装置を示すブロック図。
【図２】ＭＦＰの内部構成を示すブロック図。
【図３】画像処理を実行するデータ処理部の構成例を示すブロック図。
【図４】本発明における画像処理全体のフローチャート。
【図５】文書、画像、座標情報を説明する図。
【図６】ＰＤＦファイルのレイヤー構造を説明する図。
【図７】フォーマット変換部の実行する処理を示すフローチャート。
【図８】統合電子文書を表示するアプリケーションの概略図。
【図９】画像、及び初期表示画像の設定テーブル。
【図１０】実施例３におけるＵＩ設定画面の一例。
【図１１】手書き線の判別が失敗する場合についての説明図。
【図１２】手書き線の失敗値についての説明図。
【図１３】生成する画像の文字色について説明する図。
【発明を実施するための形態】
【００１０】
（実施例１）
図１は本実施例の画像処理装置の構成を示すブロック図である。
【００１１】
図１において、オフィスＡ内に構築されたＬＡＮ１０２には、複数種類の機能（複写機能、印刷機能、送信機能等）を実現する画像処理装置としてＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）１００が接続されている。ＬＡＮ１０２は、プロキシサーバ１０３を介して外部ネットワーク１０４にも接続されている。クライアントＰＣ１０１はＬＡＮ１０２を介してＭＦＰ１００からの送信データを受信したり、ＭＦＰ１００が有する機能を利用したりする。例えば、クライアントＰＣ１０１は、印刷データをＭＦＰ１００へ送信することで、その印刷データに基づく印刷物をＭＦＰ１００で印刷することができる。尚、図１の構成は一例であり、オフィスＡと同様の構成要素を有する、複数のオフィスが外部ネットワーク１０４上に接続されていても良い。また、外部ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等で実現される通信ネットワークである。これは、データの送受信が可能なものであれば、何でも良い。また、クライアントＰＣ１０１、プロキシサーバ１０３の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を有している。例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等である。
【００１２】
図２は本発明の実施例の画像処理装置（ＭＦＰ）の詳細構成を示す図である。
ＭＦＰ１００は、画像入力デバイスであるスキャナ部２０１と画像出力デバイスであるプリンタ部２０２、ＣＰＵ２０５、ＲＯＭ２１０、ＲＡＭ２０６等で構成される制御ユニット２０４、ユーザーインタフェースである操作部２０３を有する。制御ユニット２０４は、スキャナ部２０１、プリンタ部２０２、操作部２０３と接続してこれらを制御する。また、一方では、ＬＡＮ２０９と接続することで、画像情報やデバイス情報の入出力を行うコントローラである。
【００１３】
制御ユニット２０４について説明する。制御ユニット２０４はＣＰＵ２０５，ＲＡＭ２０６，操作部Ｉ／Ｆ（インタフェース）２０７、ネットワークＩ／Ｆ２０８、ＲＯＭ２１０、記憶部２１１、イメージバスＩ／Ｆ２１２，ＣＰＵ２２１，ＲＡＭ２２２，ＲＯＭ２２３、デバイスＩ／Ｆ２１４、システムバス２１６、イメージバス２１７を有する。
【００１４】
ＣＰＵ２０５、ＲＡＭ２０６、操作部Ｉ／Ｆ２０７、ネットワークＩ／Ｆ２０８，ＲＯＭ２１０，記憶部２１１はシステムバス２１６へ接続する。また、ＣＰＵ２２１、ＲＡＭ２２２、ＲＯＭ２２３、デバイスＩ／Ｆ２１４はイメージバス２１７へ接続する。
【００１５】
ＣＰＵ２０５はシステムバス２１６側の各部を制御するコントローラである。ＲＡＭ２０６はＣＰＵ２０５が動作するためのワークメモリであり、画像データを一時記憶するための画像メモリでもある。ＲＯＭ２１０はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。ＣＰＵ２０５はＲＯＭ２１０からブートプログラムをＲＡＭ２０６にロードして実行することでＭＦＰ１００の各機能を実現する。記憶部２１１はハードディスクドライブで、システム制御ソフトウェアなどのプログラム、画像データを格納する。操作部Ｉ／Ｆ２０７は操作部（ＵＩ）２０３とのインタフェース部で、操作部２０３に表示するための画像データを操作部２０３に対して出力する。また、操作部Ｉ／Ｆ２０７は信号線２２０を介して操作部２０３からＭＦＰ１００の使用者が入力した情報を、ＣＰＵ２０５に送信する。ネットワークＩ／Ｆ２０８はＭＦＰ１００をＬＡＮ２０９に接続し、パケット形式の情報の入出力を行う。
【００１６】
ＣＰＵ２２１はイメージバス２１７側の各部を制御するコントローラである。ＲＡＭ２２２はＣＰＵ２２１が動作するためのワークメモリであり，画像データを一時記憶するための画像メモリでもある。ＲＯＭ２２３はＲＩＰ（ラスターイメージプロセッシング）プログラムや画像処理プログラム等が格納されている。ＲＩＰ処理について説明する。ＣＰＵ２２１はＲＯＭ２２３からＲＩＰプログラムをＲＡＭ２２２にロードして実行することで、ＰＤＬ（ページ記述言語）データを解析し、指定された解像度のビットマップイメージに展開する、いわゆるレンダリング処理を行う。画像処理についてもＲＩＰ処理と同様に画像処理プログラムをＲＯＭ２２３からＲＡＭ２２２へロードしてＣＰＵ２２１がプログラムを実行することで、後述する画像処理を行う。なお、本実施例では、コンピュータ読み取り可能な記憶媒体に格納された、これらのプログラムを実行することでＲＩＰ処理や画像処理が実行されるものとするが、これに限るものではない。例えば、ＲＩＰ処理や画像処理が電子回路等のハードウェアで実行されるように構成しても良い。デバイスＩ／Ｆ２１４は、信号線２１８を介して画像入力デバイスであるスキャナ部２０１、信号線２１９を介して画像出力デバイスであるプリンタ部２０２、をそれぞれ制御ユニット２０４に接続する。このデバイスＩ／Ｆ２１４は、ＣＰＵ２２１により制御され、画像データの同期系／非同期系の変換を行う。
【００１７】
イメージバスＩ／Ｆ２１２はシステムバス２１６と画像データを高速で転送するイメージバス２１７とを接続し、データ構造を変換するバスブリッジである。以上が、ＭＦＰ１００の詳細構成となる。なお、システムバス２１６側とイメージバス２１７側に夫々ＣＰＵ、ＲＡＭ、ＲＯＭを有する構成で本実施例を説明しているが、制御ユニット２０４はＣＰＵ、ＲＡＭ、ＲＯＭを一つずつ有し、これらをシステムバス２１６側とイメージバス２１７側とで共用しても良い。
【００１８】
次に、図３、図５を用いてデータ処理部３２０について説明を行う。図３は、画像処理を実行するデータ処理部３２０の構成例を示したブロック図であり、図５は、本実施例における各文書、画像、座標情報を説明するための図である。データ処理部３２０は、ＣＰＵ２２１がＲＯＭ２２３に格納された画像処理プログラムをＲＡＭ２２２にロードして実行することにより実現される。このデータ処理部は、色抽出部３０１、色消去部３０２、手書き文字・線検出部３０３、手書き文字・線編集部３０４、画像生成・保存部３０５、フォーマット変換部３０６、を有し、この画像処理プログラムは、これらの機能を実現するためのプログラムである。データ処理部３２０は、入力データ３００を入力とし、出力データ３１０を出力する。入力データ３００は、スキャナ部２０１から読み取られるビットマップデータ、または記憶部２１１に格納されているビットマップデータである。出力データ３１０は、電子文書である。この出力データ３１０に対し、プリンタ部２０２にて出力される、記憶部２１１に格納される、ＬＡＮ２０９に接続された外部装置に送信される、等の処理が実行される。
【００１９】
本実施例にて作成される電子文書とは、例えば、ＰＤＦ、ＸＰＳ、ＯｆｆｉｃｅＯｐｅｎＸＭＬ等のレイヤー構造を有する電子文書である。本実施例において電子文書はＰＤＦファイルとして説明する。本実施例の電子文書の各ページは、図６（ａ）、（ｂ）に示すように複数のレイヤーを有し、図６の矢印６９０の方向から画像が見えるようにＡｄｏｂｅＲｅａｄｅｒ（商標）等のアプリケーション（ビューワ）によって表示される。電子文書の各レイヤー上には文字や線などの画像が保持されている。なお、ビューワによる電子文書閲覧時の様子の一例は図８に示される。
【００２０】
レイヤー構造の電子文書を閲覧する場合、ユーザーは各レイヤーに対して各レイヤーの保持する画像を可視にするか、不可視にするか、ビューワを介して設定できる。ビューワは、不可視に設定されたレイヤーの画像を除いた、可視に設定されたレイヤーの画像に基づいて、電子文書のページを表示する。電子文書のページは、ビューワによって可視に設定されたレイヤーの画像を重ね合わせた結果が表示される。各レイヤーでは、これらの画像は文字や線以外の部分（下地にあたる部分）が透明である。下地にあたる透明な部分には下位レイヤー画像が透過して見える。また、文字や線の部分は不透明である。上位レイヤーの不透明な部分の下に位置する下位レイヤーの画像は上位レイヤーに遮られて見えない。例えば、上位の階層のレイヤー（上位レイヤー）に文字の画像、下位の階層のレイヤー（下位レイヤー）に線の画像が保持されている場合、上位レイヤーの文字部分で遮られていない下位レイヤーの線部分の画像は見え、上位レイヤーの文字部分に遮られる線部分の画像は見えない。即ち、透明な部分は下位レイヤーの画像の透過を可能とし、不透明な部分は下位レイヤーの画像の透過を不可能とする。
【００２１】
加筆前文書５０１に対してユーザーが加筆修正をしたものが、加筆後文書５０２である。この加筆後文書５０２をスキャナ部２０１で読み取ることで得られるビットマップデータ（加筆後画像５１４）が、入力データ３００となる。本実施例において、加筆後文書５０２は、モノクロ文書の加筆前文書５０１に対して赤色のペンで加筆修正を行ったものである。ここで、下線５０３は赤色の手書き下線、取消線５０４は赤色の手書き取消線であり、修正文字５０５は取消線５０４で取り消した部分の内容を修正・置換するための赤色の手書き文字、追加文字５１７は内容を追加するための赤色の手書き文字である。
【００２２】
次に、図３の色抽出部３０１、色消去部３０２、手書き文字・線検出部３０３、手書き文字・線編集部３０４、画像生成・保存部３０５、フォーマット変換部３０６について説明を行う。
【００２３】
色抽出部３０１は、入力データ３００（加筆後画像５１４）をＲＡＭ２２２に保存する。なお、この保存される加筆後画像５１４は加筆後文書５０２を読み込んで得たビットマップデータであるため、画像の全面が不透明である。色抽出部３０１は、入力データ３００の有する特徴量に基づいて加筆部分を入力データ３００から抽出する。本実施例では、カラーデータ、即ち色情報を特徴量として、入力データ３００から赤色の加筆部分を抽出する。抽出された加筆部分は手書き画像５０６として生成され、色抽出部３０１は、この手書き画像５０６をＲＡＭ２２２に保存する。手書き画像５０６は赤色の加筆部分が不透明となり、それ以外の部分が透明である。入力データ３００がＲＧＢビットマップデータである場合、スキャナ部２０１の原稿読み取り時のバラつきを考慮の上、色抽出部３０１は、入力データ３００のうちＲＧＢ値が等量ではない画素、つまりグレースケール以外の画素をカラーデータ（特徴量）として抽出する。例えば、ＲＧＢビットマップデータ（２４ｂｉｔ）の場合、Ｒ＝Ｇ＝Ｂ＝２５５は等量と判断する。また、読み取り時のバラつきを考慮し、Ｒ＝Ｇ＝２５５、Ｂ＝２５０を等量と判断してもよい。入力データ３００が加筆後文書５０２を読み取ったビットマップデータである場合、色抽出部３０１によって抽出される結果が手書き画像５０６である。手書き画像５０６に示すように、下線５０３、取消線５０４、修正文字５０５、追加文字５１７を含む手書き画像が生成されている。
【００２４】
色消去部３０２は、加筆後画像５１４から色抽出部３０１によって抽出されたカラーデータの消去を行い、手書き文字・線消去画像（加筆前画像）５１３を生成し、ＲＡＭ２２２に保存する。カラーデータの消去は、抽出されたカラーデータのＲＧＢの夫々の値を背景と同色のものとしたり、例えばＲ＝Ｇ＝Ｂ＝２５５としたりすることで実行される。色消去部３０２により、手書き文字・線が消去されるため、「加筆前文書」と同様の画像が得られる。入力データ３００が「加筆後文書」５０２を読み取ったビットマップデータである場合、色消去部３０２によって色消去される結果が加筆前画像５１３である。この生成された加筆前画像５１３は加筆後画像５１４から赤色のカラーデータを消去したものであるため、画像の全面が不透明である。
【００２５】
手書き文字・線検出部３０３は、入力データ３００から色抽出部３０１によって抽出されたカラーデータから、加筆部分の内容を判別し検出する。本実施例において、手書き文字・線検出部３０３は、下線５０３、取消線５０４、下線でも取消線でもない手書き線（追加線）、修正文字５０５、追加文字５１７の検出を行う。また、手書き文字・線検出部３０３は、検出された手書き線が下線５０３、取消線５０４、追加線のどれであるかを記憶しておく手書き線リストを作成し、また、検出された手書き文字が修正文字５０５、追加文字５１７のどれであるかを記憶しておく手書き文字リストを作成する。そして、手書き文字・線検出部３０３は、手書き下線画像５０７、手書き取消線画像５０８、手書き追加線画像（不図示）、手書き文字画像５０９を生成し、ＲＡＭ２２２に保存する。手書き下線画像５０７は下線５０３の赤色部分が不透明であり、それ以外が透明である。手書き取消線画像５０８は取消線５０４の赤色部分が不透明であり、それ以外が透明である。手書き追加線画像は手書き追加線の赤色部分が不透明であり、それ以外が透明である。手書き文字画像５０９は修正文字５０５及び追加文字５１７の赤色部分が不透明であり、それ以外が透明である。検出手法については、公知の手法を用いる。例えば、色抽出部３０１により抽出されたカラーデータに対して各要素に対して外接矩形を求める。その矩形形状から手書き線（下線５０３、取消線５０４、追加線）と手書き文字（修正文字５０５及び追加文字５１７）を判別することができる。また、加筆前画像５１３内の文字列に対するこの判別された手書き線の位置関係を判定することで、下線５０３、取消線５０４、追加線、を検出することができる。また、手書き文字が修正文字５０５であるか追加文字５１７であるかの判別は、取消線５０４の検出後、この取消線の周囲に手書き文字があるかどうかを判別することで行う。たとえば、取消線５０４の外接矩形の周からある閾値以内の距離にある手書き文字を修正文字５０５と検出し、それ以外を追加文字５１７として検出することができる。図５に、手書き文字・線検出部３０３によって下線５０３、取消線５０４、修正文字５０５、追加文字５１７が検出された結果を手書き下線画像５０７、手書き取消線画像５０８、追加線画像（不図示）、手書き文字画像５０９に示す。
【００２６】
手書き文字・線編集部３０４は、加筆部分の内容に基づいて加筆前画像５１３を編集して、手書き下線編集後の画像（下線編集画像）５１０、手書き取消線編集後の画像（取消線編集画像）５１１、修正文字編集後の画像（修正文字編集画像）５１５、追加文字編集後の画像（追加文字編集画像）５１６を生成し、ＲＡＭ２２２に保存する。例えば、赤色の手書き下線の場合、この下線が引かれている文字列を下線と同色の赤色に色変更する編集を行い、下線編集画像５１０を生成する。また、手書き取消線の場合、取消線が引かれている文字列を削除した取消線編集画像５１１を生成する。さらに、取消線５０４の近くに手書き文字（修正文字５０５）が書かれている場合、取消線で削除された文字列を、手書き取消線の色と同色の文字列として手書き文字で置換して修正文字編集画像５１５を生成する。また、取消線５０４はなく、手書き文字（追加文字５１７）が書かれている場合は、手書き文字を、文字色を赤色に変更した追加文字編集画像５１６を生成する。なお、以上の文字色の変更は手書き下線の色と同色でなく、固定の色であっても良い。
【００２７】
手書き文字・線検出部３０３によって検出される下線５０３は、手書き下線画像５０７に示すように赤色の下線であるため、下線５０３が引かれている文字列を下線編集画像５１０に示すように赤色に色変更する。以下、下線５０３に基づく画像処理について説明する。
【００２８】
まず、手書き文字・線編集部３０４は、色消去部３０２によって色消去された加筆前画像５１３から各々の文字列の座標情報を取得する。各々の文字列の座標情報の取得結果は座標情報５１８に示される。また、手書き文字・線編集部３０４は、手書き画像５０６から各々の手書き線及び手書き文字の座標情報を取得する。この取得結果は、手書き座標情報５１９に示される。手書き文字・線編集部３０４は、下線５０３の座標情報（ｘ１１、ｙ１１、ｘ１２、ｙ１２）と各々の文字列の座標情報とを比較する。その結果、下線５０３が引かれている文字列は、座標情報５１８に示される座標情報（ｘ１、ｙ１、ｘ２、ｙ２）から文字列「あいうえお」（下線文字）であることが編別できる。手書き文字・線編集部３０４は、「あいうえお」の座標情報（ｘ１、ｙ１、ｘ２、ｙ２）の範囲内で白画素ではない画素を赤色に色変更した画像（下線編集画像５１０）を生成する。つまり、下線編集画像５１０は色変更された文字列「あいうえお」の画像がレイヤーに保持されていることになる。従って下線編集画像５１０において、色変更された文字列「あいうえお」の部分は不透明であり、この文字列「あいうえお」以外の部分は透明である。この様子を示した物が図１３（ａ）である。図１３（ａ）の破線で表した矩形は文字列「あいうえお」の外接矩形を模式的に示したものである。図１３（ａ）では、この外接矩形内の文字列「あいうえお」の文字部分が赤色、不透明である。また、外接矩形内・外において、この矩形内の文字列の文字部分以外が無色、透明であることを示している。
【００２９】
なお、文字列「あいうえお」の外接矩形内で、文字部分の文字色を赤色、それ以外を白色（背景と同色）とした画像をレイヤーに保持させることで、この矩形領域を不透明としても良い。これを示したのが図１３（ｂ）であり、破線の矩形は文字列「あいうえお」の外接矩形を模式的に示したものである。図１３（ｂ）では、外接矩形内の文字列「あいうえお」の文字部分が赤色、不透明であることは図１３（ａ）と同様である。図１３（ａ）との違いは、この外接矩形内においてこの矩形内の文字部分以外が白色、不透明であり、外接矩形外が無色、透明であるということである。また、本実施例の色変更は下線の平均色を用いてもよいし、赤色（Ｒ＝０、Ｇ＝２５５、Ｂ＝２５５）固定値でもよい。以上の処理が、下線５０３に基づく画像処理である。
【００３０】
次に、取消線５０４及び修正文字５０５に基づく画像処理について説明する。この処理は、手書き文字・線検出部３０３によって検出される取消線５０４が引かれた文字列を加筆前画像５１３から削除した取消線編集画像５１１を生成する処理と、この削除された文字列の位置に取消線５０４の近くにある修正文字５０５を置換した修正文字編集画像５１５を生成する処理とを含む。
【００３１】
まず、取消線編集画像５１１を生成する処理について説明する。手書き文字・線編集部３０４によって検出された取消線５０４の座標情報（ｘ１３、ｙ１３、ｘ１４、ｙ１４）、及び加筆前画像５１３内の各文字列の座標情報は座標情報５１８及び手書き座標情報５１９に示すとおりである。手書き線文字・線編集部３０４は、取消線５０４の座標情報と各文字列の座標情報を比較することで、取消線５０４は加筆前画像５１３内の文字列「かきくけこ」（取消文字）に引かれているということが判別できる。この結果、手書き文字・線編集部３０４は、加筆前画像５１３の文字列「かきくけこ」の座標情報（ｘ３、ｙ３、ｘ４、ｙ４）の範囲に対して修正領域パッチを作成して取消線編集画像５１１を生成する。この修正領域パッチは、このパッチ内のＲＧＢデータを例えば白（Ｒ＝Ｇ＝Ｂ＝２５５）として作成する。従って、取消線編集画像５１１は修正領域パッチの部分が不透明となり、それ以外の部分は透明となる。なお、この修正領域パッチは文字列「かきくけこ」の文字部分の黒画素を白画素としたものとし、図１３（ａ）のように文字列の外接矩形内・外において文字部分以外を無色、透明としたものでも良い。
【００３２】
次に、修正文字編集画像５１５を生成する処理について説明する。取消線編集画像５１１を生成する過程で、削除された文字列（かきくけこ）の位置が分かっている。手書き文字・線編集部３０４は、修正文字５０５「たちつてと」の座標情報（ｘ７、ｙ７、ｘ８、ｙ８）の範囲のビットマップデータに対して、修正文字５０５の文字色を赤色に変更したビットマップデータを生成する。そして、手書き文字・線編集部３０４は、文字色を変更したこのビットマップデータを、削除された文字列「かきくけこ」の座標情報（ｘ３、ｙ３、ｘ４、ｙ４）の範囲へ拡縮・移動することで、大きさと位置を合わせて置換した画像（修正文字編集画像５１５）を生成する。従って、修正文字編集画像５１５は拡大・縮小された文字列「たちつてと」の文字部分が不透明であり、この文字部分以外が透明となる。この様子は図１３（ａ）で示したものと同様で、文字列の外接矩形内の文字部分が赤色、不透明であり、また、外接矩形内・外において、この文字部分以外が無色、透明である。
【００３３】
なお、図１３（ｂ）と同様に、外接矩形内の文字列「たちつてと」の文字部分が赤色、不透明であり、外接矩形内においては文字部分以外が白色、不透明であり、外接矩形外が無色、透明であるとしても良い。なお、本実施例の文字の色変更は赤色でなくとも良いし、色変更を行わなくとも良い。
【００３４】
以上の処理が、取消線５０４及び修正文字５０５に基づく画像処理である。なお、取消線５０４の近くに修正文字５０５が存在しないと判定された場合は、取消線編集画像５１１が生成され、修正文字編集画像５１５は生成されないようにしてもよい。
【００３５】
次に、追加文字５１７に基づく画像処理について説明する。この画像処理は、手書き文字が取消線５０４の近くの位置あると判別されなかった場合、この手書き文字即ち追加文字５１７を、追加文字５１７の座標情報に基づき、追加文字５１７を追加した画像（追加文字編集画像５１６）を生成する処理である。
【００３６】
まず、手書き文字・線検出部３０３によって検出された追加文字５１７（ここでは「なにぬねの」）の座標情報（ｘ９、ｙ９、ｘ１０、ｙ１０）を手書き文字・線編集部３０４が取得する。手書き文字・線編集部３０４は、追加文字５１７のビットマップデータの文字色を赤色に変更し、取得した座標情報に基づいて、文字色を変更した追加文字５１７（なにぬねの）の画像（追加文字編集画像５１６）を生成する。従って、追加文字編集画像５１６は文字列「なにぬねの」の文字部分が不透明であり、この文字列「なにぬねの」以外の文字部分が透明となる。この様子は図１３（ａ）で示したものと同様で、文字列の外接矩形内の文字部分が赤色、不透明であり、また、外接矩形内・外において、この文字列の文字部分以外が無色、透明である。
【００３７】
なお、図１３（ｂ）と同様に、外接矩形内の文字列「なにぬねの」の文字部分が赤色、不透明であり、外接矩形内においては文字部分以外が白色、不透明であり、外接矩形外が無色、透明であるとしても良い。以上の処理が、追加文字５１７に基づく画像処理である。なお、文字色は赤色以外に変更しても良いし、文字色の変更を行わなくとも良い。
【００３８】
尚、手書き文字は、ビットマップデータでも手書き文字認識（ＯＣＲ）を行った結果でもよい。また、本実施例において手書き文字の座標情報は、文字列の座標情報として認識されているが、文字１つ１つの座標情報であっても良い。
【００３９】
画像生成・保存部３０５は、手書き文字・線編集部３０４によって生成された画像に基づいて新たに画像を生成し、その画像をＲＡＭ２２２に保存する。本実施例で、画像生成・保存部３０５は、上から、追加文字編集画像５１６、下線編集画像５１０、修正文字編集画像５１５、取消線編集画像５１１、加筆前画像５１３の順番で画像をレイヤーとして重ねた場合の画像と同様な画像（編集後画像５１２）を生成し、ＲＡＭ２２２に保存する。編集後画像５１２は画像全面が不透明である。なお、加筆後画像５１４を閲覧する目的で利用する場合は、前述のビットマップデータを不図示の解像度変換処理等を行い低解像度画像として生成してもよい。これにより、後述するＰＤＦファイルのファイルサイズを軽減することが可能となる。
【００４０】
フォーマット変換部３０６は、手書き文字・線検出部３０３、手書き文字・線編集部３０４、画像生成・保存部３０５によってＲＡＭ２２２に保存された複数の画像を用いて、レイヤー構造を有する電子文書に変換する。本実施例では、複数の画像を電子文書としてＰＤＦファイルに変換する場合について説明する。
【００４１】
フォーマット変換部３０６によって変換されたＰＤＦファイルのレイヤー構造を図６（ａ）に示す。編集画像レイヤー６０１は、編集後画像５１２を有している。加筆画像レイヤー６０２は、手書き画像５０６を有している。加筆前画像レイヤー６０３は、加筆前画像５１３を有している。加筆後画像レイヤー６０４は、加筆後画像５１４を有している。編集画像レイヤー６０１は、ユーザーの加筆による編集結果に対応する編集後画像５１２を表示するために利用される。加筆画像レイヤー６０２は、ユーザーの加筆部分が加筆前画像５１３のどの部分に対応しているかを表示するために利用される。なお、編集画像レイヤー６０１、加筆画像レイヤー６０２の各レイヤーの画像が生成された日付情報を各画像に持たせることで、加筆及び編集の履歴情報として確認するようにしても良い。加筆前画像レイヤー６０３は、ユーザーが加筆前画像５１３を参照したいときに利用される。加筆後画像レイヤー６０４は、ユーザーが実際の手書き後の画像を閲覧する場合に利用される。
【００４２】
なお、図６（ａ）では、編集画像レイヤー６０１、加筆画像レイヤー６０２、加筆前画像レイヤー６０３、加筆後画像レイヤー６０４の４つのレイヤーを含むＰＤＦファイルを例として挙げているがこのレイヤー数、種別に限るものではない。例えば、編集画像レイヤー６０１、加筆後画像レイヤー６０４の２つのレイヤーからなるＰＤＦファイルでも構わない。
【００４３】
本実施例におけるシステムの説明は以上である。
【００４４】
次に、本実施例におけるＰＤＦファイルを生成する処理について図４のフローチャートを用いて説明する。
【００４５】
図４（ａ）は、モノクロ文書にカラーで手書きした文書（加筆後文書５０２）をスキャナ部２０１で読み取ったビットマップデータ（加筆後画像５１４）を図６（ａ）のレイヤー構造を有するＰＤＦファイルに変換する処理のフローチャートである。図４（ａ））は、スキャナ部２０１で読み取った加筆後画像５１４から複数の画像を生成するフローチャートである。このフローチャートを実行する画像処理プログラムは、前述したように図２のＲＯＭ２２３に格納され、ＣＰＵ２２１によりＲＡＭ２２２にロードされ、ＣＰＵ２２１よって実行される。
【００４６】
まず、図４（ａ）のフローチャートについて説明する。ステップＳ４０１において、スキャナ部２０１は、加筆後文書５０２の読み取りを行い、入力データ３００（加筆後画像５１４）をデータ処理部３２０へ入力する。このステップＳ４０１において、色抽出部３０１は加筆後画像５１４をＲＡＭ２２２に保存する。
【００４７】
次に、ステップＳ４０２において、色抽出部３０１は、前述の入力データ３００から手書き部分をカラーデータとして抽出し、手書き画像５０６を生成する。色抽出された場合は、ステップＳ４０３へ進み、色抽出されない場合は、ステップＳ４２１へ進む。加筆後文書５０２の例においては、赤色が色抽出されるため、手書き画像５０６を生成し、ステップＳ４０３へ進む。また、このステップＳ４０２において、色抽出部３０１は、手書き画像５０６をＲＡＭ２２２に保存する。
【００４８】
ステップＳ４０３において、色消去部３０２が加筆後画像５１４からカラーデータを消去して、加筆前画像５１３を生成する。また、このステップＳ４０３において、色消去部３０２は、加筆前画像５１３をＲＡＭ２２２に保存する。
【００４９】
次に、ステップＳ４０４において、手書き文字・線検出部３０３は、色抽出部３０１で抽出された手書き画像５０６から手書き線の検出を行う。手書き線が検出された場合は、ステップＳ４０５へ進み、検出されない場合は、ステップＳ４１２へ進む。加筆後文書５０２の例においては、手書き線が検出されるため、ステップＳ４０５へ進む。
【００５０】
ステップＳ４０５において、手書き文字・線検出部３０３は、全ての手書き線を検出して手書き線のリスト（手書き線リスト）を作成する。手書き線リストは検出された夫々の手書き線にＩＤを対応させて割り付け、そのＩＤを列挙したものである。また、手書き線リストにはＩＤに対応する手書き線が下線５０３か取消線５０４か追加線であるか、手書き線の属性を保存する線判別項目がある。手書き線リストは後述するステップＳ４０６乃至Ｓ４１１で利用される。
【００５１】
次に、ステップＳ４０６において、手書き文字・線検出部３０３は、ステップＳ４０５にて作成した手書き線リストに基づいて、未判別である手書き線について、手書き線の種類を判別する。ステップＳ４０６では、手書き線が取消線であるか判別する。この手書き線が取消線と判別された場合、処理はステップＳ４０７へ進み、手書き文字・線検出部３０３は、この手書き線が取消線であるという情報を、この手書き線に対応する手書き線リストのＩＤの線判別項目に書き込む。ステップＳ４０７の後、処理はステップＳ４１１へと進む。この手書き線が取消線ではないと判別された場合、処理はステップＳ４０８へ進む。
【００５２】
次に、ステップＳ４０８において、手書き文字・線検出部３０３は、ステップＳ４０６で判別した手書き線について、下線であるか判別する。この手書き線が下線と判別された場合、処理はステップＳ４０９へ進み、手書き文字・線検出部３０３は、この手書き線が取消線であるという情報を、この手書き線と対応する手書き線リストのＩＤの線判別項目に書き込む。ステップＳ４０９の後、処理はステップＳ４１１へ進む。この手書き線が下線ではないと判別された場合、処理はステップＳ４１０へ進み、手書き文字・線検出部３０３は、この手書き線が追加線であるという情報を、この手書き線に対応する手書き線リストのＩＤの線判別項目に書き込む。ステップＳ４１０の後、処理はステップＳ４１１へと進む。
【００５３】
ステップＳ４１１において、手書き線リストの線判別項目の全てが、取消線又は下線又は追加線であるという情報が書き込まれているかどうかをチェックする。検出された手書き線の全てのＩＤに対応する線判別項目に情報が書き込まれていれば、即ち全ての手書き線が種類を分類されていれば、処理はステップＳ４１２へと進む。そうでなければ、処理はステップＳ４０６へ進み、ステップＳ４０６乃至Ｓ４１１の処理を繰り返す。
【００５４】
ステップＳ４１２において、手書き文字・線検出部３０３は、手書き線リストの線判別項目に基づいて、下線５０３だけを抽出した手書き下線画像５０７を生成する。同様にして、手書き文字・線検出部３０３は、取消線５０４だけを抽出した手書き取消線画像５０８、追加線だけを抽出した手書き追加線画像を生成する。そして、手書き文字・線検出部３０３は、これらの生成した画像をＲＡＭ２２２に保存する。また、手書き文字・線編集部３０４は、手書き線リストの線判別項目に基づいて、下線編集画像５１０、取消線編集画像５１１を生成し、ＲＡＭ２２２に保存するステップＳ４１２の後に、処理はステップＳ４１３へ進む。
【００５５】
次に、ステップＳ４１３において、手書き文字・線検出部３０３は、色抽出部３０１で抽出された手書き画像５０６から手書き文字の検出を行う。手書き文字が検出された場合、処理はステップＳ４１４へ進み、検出されない場合は、処理はステップＳ４２０へ進む。加筆後文書５０２の例においては、手書き文字が検出されるため、処理はステップＳ４１４へ進む
ステップＳ４１４において、手書き文字・線検出部３０３は、全ての手書き文字を検出して手書き文字のリスト（手書き文字リスト）を作成する。手書き文字リストは検出された夫々の手書き文字にＩＤを対応させて割り付け、そのＩＤを列挙したものである。また、手書き文字リストにはＩＤに対応する手書き文字が修正文字５０５か追加文字５１７であるか、手書き文字の属性を保存する文字判別項目がある。手書き文字リストは後述するステップＳ４１５乃至Ｓ４２０で利用される。
【００５６】
次に、ステップＳ４１５において、手書き文字・線検出部３０３は、ステップＳ４１４にて作成した手書き文字リストに基づいて、未判別である手書き文字について、手書き文字の種類を判別する。ステップＳ４１５では、手書き文字が修正文字であるか判別する。この手書き文字が修正文字と判別された場合、処理はステップＳ４１６へ進み、手書き文字・線検出部３０３は、この手書き文字が修正文字であるという情報を、この手書き文字に対応する手書き文字リストのＩＤの文字判別項目に書き込む。ステップＳ４１６の後、処理はステップＳ４１９へと進む。この手書き文字が修正文字ではないと判別された場合、処理はステップＳ４１７へ進む。
【００５７】
次に、ステップＳ４１７において、手書き文字・線検出部３０３は、ステップＳ４１６で判別した手書き文字を追加文字であると判別する。そして、手書き文字・線検出部３０３は、この手書き文字が追加文字であるという情報を、この手書き文字と対応する手書き文字リストのＩＤの文字判別項目に書き込む。ステップＳ４１７の後、処理はステップＳ４１８へ進む。
【００５８】
ステップＳ４１８において、手書き文字・線検出部３０３は、手書き文字リストの文字判別項目の全てが、修正文字又は追加文字であるという情報が書き込まれているかどうかをチェックする。検出された手書き文字の全てのＩＤに対応する文字判別項目に情報が書き込まれていれば、即ち全ての手書き文字が種類を分類されていれば、処理はステップＳ４１９へと進む。そうでなければ、処理はステップＳ４１５へ進み、ステップＳ４１５乃至Ｓ４１８の処理を繰り返す。
【００５９】
ステップＳ４１９において、手書き文字・線検出部３０３は、手書き文字リストの文字判別項目に基づいて、修正文字５０５及び追加文字５１７を抽出した手書き文字画像５０９を生成してＲＡＭ２２２に保存する。また、手書き文字・線編集部３０４は、手書き文字リストの文字判別項目に基づいて、修正文字編集画像５１５、追加文字編集画像５１６を生成してＲＡＭ２２２に保存する。ステップＳ４１９の後に、処理はステップＳ４２０へ進む。
【００６０】
次に、ステップＳ４２０において、画像生成・保存部３０５は、これまでの処理のステップＳ４０１乃至Ｓ４１９で生成・保存された画像から編集後画像５１２を生成して、ＲＡＭ２２２に保存する。
【００６１】
次に、ステップＳ４２１において、ＲＡＭ２２２に保存された画像を、フォーマット変換部３０６は、レイヤー構造を持った１つのＰＤＦファイル（統合電子文書）へと統合し、ＰＤＦファイルを作成する。このステップＳ４２１については、図７を用いて詳述する。
【００６２】
図８は作成されたＰＤＦファイルの閲覧時におけるユーザーインタフェース画面である。図８（ａ）は、加筆後文書５０２の例において生成されたＰＤＦファイルをビューワで表示したときのユーザーインタフェース画面である。図８（ａ）では、画像名欄８０１に示すように、表示画像名として「編集後画像」、「手書き画像」、「加筆前画像」、「加筆後画像」の４つがある。この画像名欄８０１の項目をユーザーが選択することで、画像表示面８０２に表示させる画像が切り替わる。表示画像の切り替えは、ユーザーの選択した画像名に対応する画像（レイヤー）が可視化され、選択されない画像名に対応する画像（レイヤー）が不可視となることで行われる。フォーマット変換部３０６は、このようなユーザーインタフェース画面となるように、ＲＡＭ２２２に保存された画像をＰＤＦファイルへと変換する。フォーマット変換部３０６の実行する処理を図７のフローチャートで説明する。なお、画像名とＲＡＭ２２２に保存されている画像名は対応関係にある。
【００６３】
まず、ステップＳ７０１において、フォーマット変換部３０６は、ＲＡＭ２２２に保存されている画像を取得する。本実施例の加筆後文書５０２の例においては、編集後画像５１２、手書き画像５０６、加筆前画像５１３、加筆後画像５１４の各画像が取得される。
【００６４】
次に、ステップＳ７０２において、フォーマット変換部３０６は、ステップＳ７０１において取得した各画像と図９（ａ）の設定テーブル９００に基づいて、ＰＤＦファイル閲覧時に表示可能な画像の設定を行う。
【００６５】
ステップＳ７０２で行われる処理内容として、図９の設定テーブル９００の画像種別９０１に対する初期値９０２を参照して、フォーマット変換部３０６は、取得した画像のうち、どの画像を作成するＰＤＦファイルに含めるかを決定する。図９（ａ）の設定テーブル９００においては、「編集後の画像」、「手書き画像」、「手書き文字・線消去画像」、「手書き後の画像」の夫々をＰＤＦファイルが各レイヤーとして有するように設定される。なお、画像種別９０１の画像の名称が図８の画像名欄８０１の画像名となる。なお、図９（ａ）の設定テーブルは予め設定されたものであり、各項目の値が固定されている。
【００６６】
次に、ステップＳ７０３において、フォーマット変換部３０６は、設定テーブル９００の初期表示画像９０３に基づいて、ステップＳ７０２で設定した表示可能な画像のうち、どの画像がＰＤＦファイルを開いたときに初期表示されるかを特定する特定情報を設定する。
【００６７】
ステップＳ７０３にて、フォーマット変換部３０６は、設定テーブル９００を参照する。図９（ａ）の設定テーブル９００においては、初期表示画像９０３の初期値がＮｏ．１となっているため、Ｎｏ．１の行の画像種別９０１である「編集後の画像」が初期表示されるように、フォーマット変換部３０６は、初期表示される画像を特定する特定情報を、作成するＰＤＦファイルに設定する。
【００６８】
そしてステップＳ７０４にて、Ｓ７０２、Ｓ７０３で行ったＰＤＦファイルの設定に基づいて取得した画像を図６（ａ）のようなレイヤー構造を持つＰＤＦファイルへと変換する。作成したＰＤＦファイルを閲覧する際には、表示対象と設定された画像が表示される。その際、上位レイヤーの画像で透明な部分に関して下位レイヤーの画像が透過的に見えるため、上位レイヤーの画像が下位レイヤーの画像の上に重なって見えることになる。このようにＰＤＦファイル内の各画像は、各レイヤーにそれぞれの画像を保持する、レイヤーの階層関係によって関連付けられている。
【００６９】
以上がフォーマット変換部３０６の実行する処理となる。
【００７０】
なお、画像名欄８０１の画像名は、２つ以上を同時に選択可能であり、その選択の結果を図８（ｃ）に示す。
【００７１】
図８（ｃ）は、画像名「手書き画像」と「手書き文字・線消去画像」が選択されており、さらにＰＤＦファイルの加筆画像レイヤー６０２が加筆前画像レイヤー６０３より上位にある場合のユーザーインタフェース画面である。この場合、加筆画像レイヤー６０２及び加筆前画像レイヤー６０３が可視化され、他のレイヤーが不可視設定となっているため、画像表示面８０２に表示される画像は、加筆前画像５１３に手書き画像５０６を重ねた画像、即ち加筆後画像５１４と同様の画像となる。
【００７２】
本実施例において、ＰＤＦファイルは、ページ欄８０５に示されるように、同一のページに複数の画像をレイヤーとして有しているため、図８（ａ）、図８（ｂ）、図８（ｃ）いずれの場合においても表示されているページは同一ページである。このように、複数画像をレイヤーとして有するので、各々の画像を同一ページにまとめて管理でき、かつ画像の表示切替えも容易である。
【００７３】
以下、生成したＰＤＦファイルの利用方法について簡単に説明する。例えば、図８（ａ）において、初期表示画像として画像表示面８０２に示すように「編集後の画像」が表示されているときにユーザーが加筆前画像５１３を確認したい場合、「手書き文字・線消去画像」を選択すればよい。このように加筆前画像５１３と編集後画像５１２を同一のファイル内のレイヤーの各階層として関連付けて統合されているので、ユーザーは容易に「編集後の画像」と「手書き文字・線消去画像」と交互に閲覧することができる。
【００７４】
また、編集後の画像を確認した際に編集結果がユーザーの所望のものでなかったり、加筆による下線や取消線の箇所を誤ってしまったりしたため、別の箇所に訂正したい場合がある。この場合、ユーザーは、図８（ａ）において、「加筆前文書５０１」と同様の画像である「手書き文字・線消去画像」を選択し、この画像を印刷することで、印刷された紙面に所望の加筆が行える。そして、本実施例で説明した画像処理装置で改めてＰＤＦファイルに変換すればよい。
【００７５】
以上のように、本実施例にかかる本発明は、印刷された紙面に手書きした文書（加筆前文書５０１）、加筆前文書５０１に対応する電子文書がない場合でも加筆前文書５０１から手書き箇所を差分抽出することで、手書きした内容を加筆前文書５０１に反映させた電子文書（統合電子文書）を作成することができる。また、本実施例にかかる本発明は、複数の画像を、同一ページのレイヤー上の画像として関連付けて統合することで、画像の管理を容易し、かつ表示画像の切替えも容易とする。
【００７６】
なお、作成されたＰＤＦファイルが図６（ａ）のレイヤー構造のようなレイヤー順となる様に、フォーマット変換部３０６は画像をＰＤＦファイルに変換するが、レイヤー順は図６（ａ）のものに限らず、適宜変更してよい。
【００７７】
また、設定テーブル９００の画像種別９０１については、図９（ａ）、（ｂ）に示す４つの画像名の項目に限る必要はない。
【００７８】
なお、本実施例においては、手書き文字・線検出部３０３及び手書き文字・線編集部３０４は、文字列の外接矩形に基づいて画像の生成などの各処理を実行していたが、本発明はこれに制限されるものではない。例えば、文字列の外接矩形でなく１文字単位の外接矩形に基づいて各処理が実行されるようにしても良い。この場合の一例（下線編集画像５１０）を図１３（ｃ）、（ｄ）に示す。図１３（ｃ）では、夫々の文字の外接矩形に対して、文字部分が赤色、不透明であり、矩形内で文字部分以外が無色、透明であり、矩形外が無色、透明である。また図１３（ｄ）では、夫々の文字の外接矩形に対して、文字部分が赤色、不透明であり、矩形内で文字部分以外が白色、不透明であり、矩形外が無色、透明である。
【００７９】
(実施例２)
実施例１では、図４（ａ）のステップＳ４２０にて画像生成・保存部３０５が編集後画像を生成した。しかし、本実施例では、図４（ｂ）のフローチャートに示すように図４（ａ）のステップＳ４２０に相当するステップを有しない、即ち編集後画像５１２が生成されない。以下で本実施例について説明する。なお、特に説明がない限り、本実施例の構成は実施例１の構成と同様のものとする。
【００８０】
本実施例は、実施例１の図４（ａ）に相当する処理フローとして、図４（ｂ）のフローチャートに示す処理を実行する。図４（ｂ）について説明する。なお、本実施例のステップＳ４３１乃至Ｓ４４９は、実施例１のステップＳ４０１乃至Ｓ４１９に対応するものであるので説明を割愛する。本実施例は、ステップＳ４４９の処理の後、編集後画像５１２の合成を行わずステップＳ４５０へ進む。
【００８１】
ステップＳ４５０では、ＲＡＭ２２２に保存された画像を、フォーマット変換部３０６は、レイヤー構造を持った１つのＰＤＦファイル（統合電子文書）へと統合し、ＰＤＦファイルを作成する。本実施例にて作成するＰＤＦファイルのレイヤー構造は図６（ｂ）のようなものである。このステップＳ４５０について図７のフローチャートに従って説明する。
【００８２】
まず、ステップＳ７０１において、フォーマット変換部３０６は、ＲＡＭ２２２に保存されている画像を取得する。本実施例においては、フォーマット変換部３０６は、追加文字編集画像５１６、下線編集画像５１０、修正文字編集画像５１５、取消線編集画像５１１、手書き文字画像５０９、手書き取消線画像５０８、手書き下線画像５０７、加筆前画像５１３、加筆後画像５１４、の各画像を取得する。
【００８３】
次に、ステップＳ７０２、Ｓ７０３の処理は実施例１の処理と同様である。フォーマット変換部３０６は、設定テーブル９００に基づいて、ステップＳ７０２にてＰＤＦファイル閲覧時に表示可能な画像の設定を行い、ステップＳ７０３にてＰＤＦファイルの初期表示画像を設定する。
【００８４】
そしてステップＳ７０４にて、フォーマット変換部３０６は、Ｓ７０２、Ｓ７０３で行ったＰＤＦファイルの設定に基づいて取得した画像を図６（ｂ）のようなレイヤー構造を持つＰＤＦファイルへと変換する。
【００８５】
図６（ｂ）のレイヤー構造は、上位から、編集画像レイヤー部６１０、加筆画像レイヤー部６２０、加筆前画像レイヤー部６３０、加筆後画像レイヤー部６４０からなっている。さらに編集画像レイヤー部６１０は、上位から順に、追加文字編集画像５１６のレイヤー、下線編集画像５１０のレイヤー、修正文字編集画像５１５のレイヤー、取消線編集画像５１１のレイヤーの複数のレイヤーを有している。また、加筆画像レイヤー部６２０は、上位から順に、手書き文字画像５０９のレイヤー、手書き取消線画像５０８のレイヤー、手書き下線画像５０７のレイヤーの複数のレイヤーを有している。また、加筆前画像レイヤー部６３０は加筆前画像５１３のレイヤーを有し、加筆後画像レイヤー部６４０は加筆後画像５１４のレイヤーを有する。このようなレイヤー順のＰＤＦファイルを生成することで、例えば加筆前画像５１３に加筆部分である加筆画像レイヤー部６２０の各レイヤーの画像を重ねて表示させたり、編集結果である編集画像レイヤー部６１０の各レイヤーの画像を重ねて表示させたりできる。従って、ユーザーの目的に合わせた各レイヤー画像の自由な組み合わせが実現できる。
【００８６】
図６（ｂ）のようなレイヤー構造を有するＰＤＦファイルの閲覧において、実施例１の編集後画像５１２に相当する画像を表示させるには、編集画像レイヤー部６１０の全レイヤー及び加筆前画像レイヤー部６３０の全レイヤーに対してレイヤーの画像を可視にし、その他のレイヤー部のレイヤーに対してレイヤーの画像を不可視とすることで実現できる。
【００８７】
本実施例のように、編集後画像５１２を複数のレイヤーの画像の重ね合わせで実現することで、編集後画像５１２と加筆前画像５１３との画像の内容の重複を防ぐことができ、ＰＤＦファイルのデータサイズを小さくすることが可能となる。また、編集画像レイヤー部６１０及び加筆画像レイヤー部６２０が複数の画像レイヤーを有するので、ＰＤＦファイル閲覧時、各画像レイヤー部のレイヤーの画像の可視又は不可視をユーザーが制御して、所望の表示画像を得ることができる。
【００８８】
なお、図６（ｂ）のレイヤー構造は、一例であり、レイヤーの重ね先を下位に配置する等、目的にかなうように、適宜レイヤーの順序を変えても良い。
【００８９】
(実施例３)
実施例１、２では、図９で前述したように予め定められた設定テーブル９００を参照することで、生成画像、及び初期表示画像の設定を行う説明をした。図９（ａ）、（ｂ）、（ｃ）の場合は、初期値９０２が予め設定されていたが、本実施例では、ユーザーの設定にもとづいて初期値９０２の項目を動的に変えることで、ユーザーの目的にかなう、よりユーザーの扱いやすい電子文書を作成することが可能となる。
【００９０】
まず、ユーザーインタフェースである操作部２０３を介して、ユーザーは設定テーブル９００に関して所望の設定を行う。つまり、設定テーブル９００の設定変更を指示する。図１０は設定画面の一例である。図１０に示すように、ユーザーは、生成画像１００１、及び初期表示画像１００２の選択を行う。ここでは、生成画像１００１として、画像種別（画像名）「編集後の画像」、「手書き画像」が選択され、初期表示画像１００２として「編集後の画像」が選択されている。このような設定を行った後で、加筆後文書５０２をスキャナ部２０１で読み取り、実施例１で説明したように図４、図７のフローチャートに従ってＰＤＦファイルを作成する。実施例１との差異は、フォーマット変換部３０６は、図７のフローチャートに入る前に、図１０の設定即ちユーザーが指示した設定に基づいて図９（ｄ）に示す設定テーブル９００を生成する点である。
【００９１】
本実施例では、図７のフローチャートに入る前にユーザー指示に基づく設定テーブル９００が生成される他は、実施例１と同様の処理が行われる。そのため、ステップＳ７０１において、フォーマット変換部３０６は、図９（ｄ）の設定テーブル９００を参照し、加筆後画像５１４、手書き画像５０６を取得する。そしてステップＳ７０２、Ｓ７０３、Ｓ７０４の処理を実行することにより、フォーマット変換部３０６は、初期表示する画像が「編集後の画像」であるＰＤＦファイルを生成する。
【００９２】
以上のようにユーザーの設定にもとづいて動的に設定テーブル９００を生成することで、よりユーザーの扱いやすい電子文書を作成することが可能となる。
【００９３】
(実施例４)
実施例１乃至３では、生成画像１００１、及び初期表示画像１００２は、固定あるいはユーザーの設定にもとづいて生成される説明をした。しかしながら、初期表示画像として「編集後の画像」が選択されていたとしても、手書き文字・線検出部３０３による手書き線の検出及び手書き文字の検出の失敗によって編集後画像５１２が所望とする結果とならないことがある。この場合、「編集後の画像」より「手書き後の画像」が表示されている方がユーザーにとっては望ましいことがある。本実施例は、手書き文字及び手書き線の検出において、この検出の際の判別精度を求め、それに応じて生成する電子文書の初期表示画像を「編集後の画像」か「手書き後の画像」を切り替えるものである。
【００９４】
手書き下線の検出が失敗しうる場合を図１１の加筆後画像１１０１〜１１０３に示す。加筆後画像１１０１は、手書き下線がかすれている場合を示している。加筆後画像１１０２は、手書き下線が短い場合を示している。加筆後画像１１０３は、手書き下線か手書き取消線か判断の判定が難しい場合を示している。以上のような場合は、編集後画像として好ましい結果が得られないことがある。なお、加筆後画像１１０１〜１１０３の手書き下線は全て赤色であり、文字は全て黒色である。ここで、ユーザーの所望とする編集後画像を編集後画像１１０４に示す。編集後画像１１０４では、赤色の手書き下線が引かれている文字列「あいうえお」の文字色を赤色に色変更する編集が行われている。
【００９５】
本実施例では、手書き文字・線検出部３０３による手書き線検出及び手書き文字検出において、検出の際の判別精度を失敗値として算出する。この失敗値は判別精度が低くなるほど大きくなるものとする。この失敗値が所定の値を超える場合は、初期表示画像として「編集後の画像」ではなく「手書き後の画像」を表示する。なお、この失敗値の算出は、手書き文字・線検出部３０３が、図４のステップＳ４０４の手書き線検出、ステップＳ４０６〜Ｓ４１０の手書き線の分類、ステップＳ４１３の手書き文字検出で行うものとする。図１２（ａ）、（ｂ）は、手書き線の分類における失敗値の算出方法例を説明するための図である。この失敗値を算出するために、本実施例では、例えばＲＯＭ２２３に格納された手書き線ルックアップテーブルが用いられる。この手書きルックアップテーブルは、手書き文字に対する手書き線の位置と失敗値との対応をデータ配列としてまとめたものである。
【００９６】
まず、図１２（ａ）の１２０１〜１２０３は、ステップＳ４０４によって検出された手書き線の位置の例を示し、範囲１２０４〜１２０６は、手書き線の属する範囲を示している。手書き線が、範囲１２０４に属する場合は、取消線５０４と判断し、範囲１２０６に属する場合は、下線５０３と判断する。即ち１２０１は、取消線５０４、１２０３は下線５０３と判断される。しかしながら、１２０２の場合は範囲１２０５に属するため、取消線５０４として扱ってよいか、下線５０３として扱ってよいかの判断が難しい。ここで手書き文字・線検出部３０３は、ルックアップテーブルを用いて、手書き線が範囲１２０４又は範囲１２０６の範囲に属する場合は失敗値「０」を導出し、範囲１２０５に属する場合はテーブルを用いて固定の正の値である失敗値「Ｅ１」を導出する。
【００９７】
次に、図１２（ｂ）の１２０７〜１２０９は、ステップＳ４０４によって検出された手書き線で、かつ下線５０３と判断された右端部を示す。範囲１２１０〜１２１２は、下線５０３の右端部の属する範囲を示している。ここで手書き文字・線検出部３０３は、ルックアップテーブルを用いて、下線５０３の右端部が範囲１２１１に属する場合は失敗値「０」を導出し、範囲１２１０又は範囲１２１２に属する場合は固定の正の値である失敗値「Ｅ２」を導出する。
【００９８】
また、手書き文字の検出の際の失敗値も、手書き線の分類と同様な文字検出ルックアップテーブルが用いられる。手書き文字の検出の失敗は、例えばＯＣＲを利用して手書き文字の文字認識を行い、その認識結果に基づいて編集後画像５１２を生成する場合に起こる。ＯＣＲによって手書き文字は文字認識されるが、認識の確度が低い場合は、編集後画像５１２はユーザーの所望するものとはならないことがある。この場合、手書き文字・線検出部３０３は、ＯＣＲによる手書き文字の認識の確度（認識率）が所定値より高ければ文字検出ルックアップテーブルから失敗値「０」を導出し、また、認識の確度が所定値より低ければ文字検出ルックアップテーブルから固定の正の値である失敗値「Ｅ３」を導出する。
最終的には、加筆後画像５１４の全ての手書き線、手書き文字に対する失敗値の合計を算出する。そして、失敗値の合計が所定の値を超える場合、即ち加筆後画像５１４の加筆部分全体を通しての判別精度が所定値より低い場合は、図７のステップＳ７０４において、フォーマット変換部３０６は、初期表示画像として「手書き後の画像」を表示するような設定を行う。また、この判別精度が所定値以上の場合、フォーマット変換部３０６は、初期表示画像として「編集後の画像」を表示するような設定を行う。なお、この判別精度が所定値以上の場合に初期表示される画像は「編集後の画像」に限られず、「手書き画像」等他の画像でも良い。また、判別精度が所定値と同じ場合も「手書き後の画像」を初期表示させるようにしても良い。
【００９９】
なお、本実施例では、下線５０３の右端を例に取っているが、左端で失敗値を算出しても良く、また、取消線５０４の右端、左端で失敗値を算出しても良い。また、下線５０３の失敗値及び取消線５０４の失敗値に夫々重み付けを変えて失敗値の合計を算出しても良い。また上記の夫々の失敗値の算出には夫々のルックアップテーブルを用いずとも良い。例えば手書き線の分類であれば、下線５０３とも取消線５０４とも判別しづらい線を一つの基準線としてとって、手書き線のこの基準線からの距離の逆数を失敗値としても良い。また、例えば文字検出であれば、ＯＣＲの認識率の逆数を失敗値としても良い。
【０１００】
以上のように、本実施例にかかる発明は、初期表示画像として「編集後の画像」が選択されていたとしても、編集後画像５１２が所望しない画像であると判断される場合、「手書き後の画像」を初期表示するようにする。従って、本実施例かかる発明は、ユーザーの望まない画像を表示しないことで、作成する電子文書のユーザビリティを向上させることができる。
【０１０１】
実施例１乃至４では、モノクロ文書にカラーで手書きした文書を例にして説明したが、本発明はそれに限定されるものではなく、加筆後画像５１４から加筆前画像５１３と手書き画像５０６を分離して抽出できるものであれば適用できる。例えば、モノクロ文書に対して黒色のペンで手書きした文書であっても、手書き部分であるとわかる濃度をモノクロ文書に対して手書き部分が有している場合、本発明を適用することができる。
【０１０２】
また、実施例１乃至４では、手書き内容として、下線５０３、取消線５０４、修正文字５０５、追加文字５１７を例として挙げたが、他の種類の手書き内容でも良い。例えば、取消線５０４の代わりに、消去したい箇所に対して罰点を記入してこの罰点の外接矩形に含まれる加筆前画像５１３を消去しても良い。
【０１０３】
なお、これまでに説明した実施例１乃至４以外にも、例えば、これら実施例を複数組み合わせたものも本発明の一実施形態として認められる。
【０１０４】
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2012048637.tif 000003
【図２】
2012048637.tif 000004
【図３】
2012048637.tif 000005
【図４】
2012048637.tif 000006
【図５】
2012048637.tif 000007
【図６】
2012048637.tif 000008
【図７】
2012048637.tif 000009
【図８】
2012048637.tif 000010
【図９】
2012048637.tif 000011
【図１０】
2012048637.tif 000012
【図１１】
2012048637.tif 000013
【図１２】
2012048637.tif 000014
【図１３】
2012048637.tif 000015