(57)【特許請求の範囲】
【請求項１】
第一の紙に印刷されたコンテンツと、前記第一の紙に印刷された該第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた第一のシンボルに基づき、前記コンテンツの処理を行う画像処理装置において、
前記紙識別情報と前記コンテンツとを対応させて管理する紙識別情報管理手段と、
第二の紙に印刷された複数の処理内容と該処理内容毎に手書きされた第二のシンボルとを読み込んだ結果に基づき、前記第一の紙に手書きされた前記第一のシンボルと前記第二のシンボルとが一致性を有する場合に、前記第一の紙に印刷されたコンテンツに対して前記第二のシンボルに対応する処理内容を出力する、処理シンボル管理手段と、
前記処理シンボル管理手段が出力する処理内容に基づき、前記紙識別情報に対応する前記コンテンツを処理する処理実行手段とを有し、
前記処理実行手段は、前記第二のシンボルとの一致性を有するか否かの判断に応じて、前記第一のシンボルを、前記コンテンツに上書き
することを特徴とする画像処理装置。
【請求項２】
前記処理実行手段は、前記第二のシンボルとの一致性を有すると判断された前記第一のシンボルを前記コンテンツに上書きすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記処理実行手段は、前記第二のシンボルとの一致性を有すると判断されなかった前記第一のシンボルを前記コンテンツに上書きすることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記コンテンツを前記第一の紙に印刷する場合に、該第一の紙を識別する紙識別情報を、前記紙識別情報管理手段が管理する対応づけに従い前記第一の紙に印刷する印刷手段を有することを特徴とする請求項１ないし３記載の画像処理装置。
【請求項５】
前記第二の紙は、印刷された前記第二の紙の識別情報を有することを特徴とする請求項１ないし４記載の画像処理装置。
【請求項６】
前記処理シンボル管理手段は、前記一致性を有するか否かを判断する場合に、前記第一のシンボルと前記第二のシンボルとの類似度が所定の範囲内にあることを判断することを特徴とする請求項１ないし５いずれか一項記載の画像処理装置。
【請求項７】
前記処理シンボル管理手段は、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容を前記第二のシンボルと対応させて保持することを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記処理シンボル管理手段は、前記処理を行う範囲、前記処理を行う対象となるコンテンツ、及び、前記処理内容について、選択欄を有する第二の紙にユーザが手書きにより選択した内容に基づいて、前記第二のシンボルと前記処理内容とを対応させることを特徴とする請求項５又は６記載の画像処理装置。
【請求項９】
前記第一の紙に手書きされた前記第一のシンボルに代えて前記第一の紙に手書きする場合の第一のストロークデータ、及び、前記第二の紙に手書きされた前記第二のシンボルに代えて前記第二の紙に手書きする場合の第二のストロークデータを用いることを特徴とする請求項１ないし８いずれか一項記載の画像処理装置。
【請求項１０】
前記処理シンボル管理手段は、前記第一のストロークデータと前記第二のストロークデータとの類似性を、ストロークの座標の値、ストロークの筆記速度の値、及び、ストロークの色の値の内、一以上のストロークを表す値を用いて判断することを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記処理シンボル管理手段は、複数の前記第二のストロークデータの内容である、ストロークの色の値、ストロークの位置を表す値、ストロークの大きさの値、及び、ストロークの筆記速度の値の内、一以上のストロークを表す値により、前記第二のストロークデータに対応する処理を行う優先の度合いを保持していることを特徴とする請求項９又は１０記載の画像処理装置。
【請求項１２】
前記処理シンボル管理手段は、複数の前記第二のストロークデータに対応する処理毎に、該処理を行う優先順を決めることを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
第一の紙に印刷されたコンテンツ、前記第一の紙に印刷された該第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた第一のシンボルに基づき、前記コンテンツの処理を行う、前記紙識別情報と前記コンテンツとを対応させて管理する紙識別情報管理手段を有する画像処理装置における画像処理方法において、
第二の紙に印刷された複数の処理内容と該処理内容毎に手書きされた第二のシンボルとを読み込む第一の読み込みステップと、
前記第一の紙に印刷されたコンテンツ、前記第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた前記第一のシンボルを読み込む第二の読み込みステップと、
前記第一及び第二の読み込みステップで読み込まれた、前記第二のシンボル及び前記第一のシンボルとが一致性を有する場合に、前記第二のシンボルに対応する処理内容を出力する、処理シンボル管理ステップと、
前記処理シンボル管理ステップにより出力された処理内容に基づき、前記紙識別情報に対応する前記コンテンツを処理する処理実行ステップとを有し、
前記処理実行ステップは、前記第二のシンボルとの一致性を有するか否かの判断に応じて、前記第一のシンボルを、前記コンテンツに上書き
することを特徴とする画像処理方法。
【請求項１４】
前記処理実行ステップは、前記第二のシンボルとの一致性を有すると判断された前記第一のシンボルを前記コンテンツに上書きすることを特徴とする請求項１３記載の画像処理方法。
【請求項１５】
前記処理実行ステップは、前記第二のシンボルとの一致性を有すると判断されなかった前記第一のシンボルを前記コンテンツに上書きすることを特徴とする請求項１３記載の画像処理方法。
【請求項１６】
前記コンテンツを前記第一の紙に印刷する場合に、該第一の紙を識別する紙識別情報を、前記紙識別情報管理手段が管理する対応づけに従い前記第一の紙に印刷する印刷ステップを有することを特徴とする請求項１３ないし１５記載の画像処理方法。
【請求項１７】
前記第二の紙は、印刷された前記第二の紙の識別情報を有することを特徴とする請求項１３ないし１６記載の画像処理方法。
【請求項１８】
前記処理シンボル管理ステップは、前記一致性を有するか否かを判断する場合に、前記第一のシンボルと前記第二のシンボルとの類似度が所定の範囲内にあることを判断することを特徴とする請求項１３ないし１７いずれか一項記載の画像処理方法。
【請求項１９】
前記処理シンボル管理ステップは、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容を前記第二のシンボルと対応させて保持することを特徴とする請求項１８記載の画像処理方法。
【請求項２０】
前記処理シンボル管理ステップは、前記処理を行う範囲、前記処理を行う対象となるコンテンツ、及び、前記処理内容について、選択欄を有する第二の紙にユーザが手書きにより選択した内容に基づいて、前記第二のシンボルと前記処理内容とを対応させることを特徴とする請求項１８又は１９記載の画像処理方法。
【請求項２１】
前記第一の紙に手書きされた前記第一のシンボルに代えて前記第一の紙に手書きする場合の第一のストロークデータ、及び、前記第二の紙に手書きされた前記第二のシンボルに代えて前記第二の紙に手書きする場合の第二のストロークデータを用いることを特徴とする請求項１３ないし２０いずれか一項記載の画像処理方法。
【請求項２２】
前記処理シンボル管理ステップは、前記第一のストロークデータと前記第二のストロークデータとの類似性を、ストロークの座標の値、ストロークの筆記速度の値、及び、ストロークの色の値の内、一以上のストロークを表す値を用いて判断することを特徴とする請求項２１記載の画像処理方法。
【請求項２３】
前記処理シンボル管理ステップは、複数の前記第二のストロークデータの内容である、ストロークの色の値、ストロークの位置を表す値、ストロークの大きさの値、及び、ストロークの筆記速度の値の内、一以上のストロークを表す値により、前記第二のストロークデータに対応する処理を行う優先の度合いを保持していることを特徴とする請求項２１又は２２記載の画像処理方法。
【請求項２４】
前記処理シンボル管理ステップは、複数の前記第二のストロークデータに対応する処理毎に、該処理を行う優先順を決めることを特徴とする請求項２３記載の画像処理方法。
【請求項２５】
コンピュータに、請求項１３ないし２４のいずれか一項に記載の画像処理方法を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、電子文書のコンテンツが印刷された紙に加筆した内容を読み取り、所定の処理を行う装置等がある。このような装置では、前記コンテンツが印刷された紙にユーザがシンボル等を手書きし、その紙をスキャナ等で読み取ることにより、処理内容や処理を行う対象を定めることができる。例えば、次の文献があげられる。
【０００３】
特開２００２−２５２７３２号公報（特許文献１）には、複数の処理内容及びチェック欄を有するメニュー用紙を印刷し、該メニュー用紙のチェック欄に加筆し、前記メニュー用紙及び処理を行う対象となるコンテンツが印刷された紙をスキャナで読み取らせることにより、ユーザが所望する処理内容及び処理を行う対象となるコンテンツを入力するシステムが開示されている。
【０００４】
また、特開２００４−７８９７３号公報（特許文献２）には、文書内の文字と該文字に対応するリンク先を管理するデータベースとを有する装置の例が開示されている。この例では、まず、文書と該文書を特定するバーコードが印刷された紙に、ユーザが所定のマークを記入して前記リンクを有する文字を選択する。次に、前記紙をスキャナ等で読み込ませることにより、前記所定のマークが記された位置及び該位置に印刷されている文字を検出する。そして、該文字にリンクされている文書をデータベースを参照して取得し、印刷出力を行う。
【特許文献１】特開２００２−２５２７３２号公報
【特許文献２】特開２００４−７８９７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載されたシステムでは、処理内容が記されたメニュー用紙、及び、処理の対象となるコンテンツを、それぞれスキャナ等で読み込ませることによって入力するため、文書の校正等、コンテンツ内の各部分で異なる処理や、対象となる範囲を指定する処理ができない他、コンテンツを読み込んでテキストデータにする場合に、文字イメージを正しく取得できないなどの不具合があった。
【０００６】
また、特許文献２に記載された装置では、予め文字とリンク先が対応したハイパーテキストが必要であり、リンクされていない情報は取得できないという不具合があった。
【０００７】
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、コンテンツを紙等に印刷し、該紙に手書きすることにより前記コンテンツを処理する場合に、処理内容、処理範囲等をユーザが定める任意のシンボルによって指定することができる画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置、画像処理方法、及び、画像処理プログラムは次のような構成を採用した。
【０００９】
上記目的を達成するために、本発明の画像処理装置は、第一の紙に印刷されたコンテンツと、前記第一の紙に印刷された該第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた第一のシンボルに基づき、前記コンテンツの処理を行う画像処理装置において、前記紙識別情報と前記コンテンツとを対応させて管理する紙識別情報管理手段と、第二の紙に印刷された複数の処理内容と該処理内容毎に手書きされた第二のシンボルとを読み込んだ結果に基づき、前記第一の紙に手書きされた前記第一のシンボルと前記第二のシンボルとが一致性を有する場合に、前記第一の紙に印刷されたコンテンツに対して前記第二のシンボルに対応する処理内容を出力する、処理シンボル管理手段と、前記処理シンボル管理手段が出力する処理内容に基づき、前記紙識別情報に対応する前記コンテンツを処理する処理実行手段とを有し、前記処理実行手段は、前記第二のシンボルとの一致性を有するか否かの判断に応じて、前記第一のシンボルを、前記コンテンツに上書きするように構成することができる。
【００１０】
これにより、コンテンツを紙に印刷し、該紙に手書きすることにより前記コンテンツを処理する場合に、処理内容、処理範囲等をユーザが定める任意のシンボルによって指定し、処理されたコンテンツの部分及び処理内容を、ユーザが容易に確認可能な画像処理装置を提供することができる。
【００１１】
なお、本特許請求の範囲、及び、本明細書における画像処理装置が行う処理とは、「コンテンツの編集」、「コンテンツを印刷により出力する」、又は、「コンテンツの再生」等の所定の処理を言う。
【００１２】
上記目的を達成するために、本発明の画像処理装置が有する前記処理実行手段は、前記第二のシンボルとの一致性を有すると判断された前記第一のシンボルを前記コンテンツに上書きするように構成することができる。
【００１３】
これにより、第二のシンボルとの一致性を有すると判断され、処理されたコンテンツの部分及び処理内容を、ユーザが容易に確認することができる。
【００１４】
上記目的を達成するために、本発明の画像処理装置が有する前記処理実行手段は、前記第二のシンボルとの一致性を有すると判断されなかった前記第一のシンボルを前記コンテンツに上書きするように構成することができる。
【００１５】
これにより、第二のシンボルとの一致性を有すると判断されず、処理されたコンテンツの部分及び処理内容を、ユーザが容易に確認することができる。
【００１６】
上記目的を達成するために、本発明の画像処理装置は、前記コンテンツを前記第一の紙に印刷する場合に、該第一の紙を識別する紙識別情報を、前記紙識別情報管理手段が管理する対応づけに従い前期第一の紙に印刷する印刷手段を有するように構成することができる。
【００１７】
これにより、処理の対象である、紙に印刷されたコンテンツの電子データを特定することができる。
【００１８】
上記目的を達成するために、本発明の画像処理装置が読み込む前記第二の紙は、印刷された前記第二の紙の識別情報を有する構成とすることができる。
【００１９】
これにより、複数枚の紙を用いて処理内容を入力する場合に、該複数枚の紙を区別することができる。
【００２０】
上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、前記一致性を有するか否かを判断する場合に、前記第一のシンボルと前記第二のシンボルとの類似度が所定の範囲内にあることを判断するように構成することができる。
【００２１】
これにより、処理内容等を指定するシンボルをユーザが任意に定めることができ、さらに、前記第一のシンボル及び前記第二のシンボルを一のユーザが記すことにより、類似度が高くなり、判断の精度を高くすることができる。
【００２２】
上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容を前記第二のシンボルと対応させて保持するように構成することができる。
【００２３】
これにより、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容をユーザが任意に指定することができる。
【００２４】
上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、前記処理を行う範囲、前記処理を行う対象となるコンテンツ、及び、前記処理内容について、選択欄を有する第二の紙にユーザが手書きにより選択した内容に基づいて、前記第二のシンボルと前記処理内容とを対応させる構成とすることができる。
【００２５】
これにより、シンボルに対応する処理内容を、ユーザが指定することができる。
【００３２】
上記目的を達成するために、前記第一の紙に手書きされた前記第一のシンボルに代えて前記第一の紙に手書きする場合の第一のストロークデータ、及び、前記第二の紙に手書きされた前記第二のシンボルに代えて前記第二の紙に手書きする場合の第二のストロークデータを用いるように構成することができる。
【００３３】
これにより、シンボルよりも情報量の多いストロークデータを用いることにより、第一のストロークデータと第二のストロークデータとの類似性を判断する場合の精度を高めることができる。
【００３４】
上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、前記第一のストロークデータと前記第二のストロークデータとの類似性を、ストロークの座標の値、ストロークの筆記速度の値、及び、ストロークの色の値の内、一以上のストロークを表す値を用いて判断するように構成することができる。
【００３５】
これにより、第一のストロークデータと第二のストロークデータとの類似性の判断の精度を高めることができる。
【００３６】
上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、複数の前記第二のストロークデータの内容である、ストロークの色の値、ストロークの位置を表す値、ストロークの大きさの値、及び、ストロークの筆記速度の値の内、一以上のストロークを表す値により、前記第二のストロークデータに対応する処理を行う優先の度合いを保持している構成とすることができる。
【００３７】
これにより、複数の処理を一の第一の紙を用いて行う場合に、全ての処理が行われた結果を単一にすることができる。
【００３８】
上記目的を達成するために、本発明の画像処理装置が有する前記処理シンボル管理手段は、複数の前記第二のストロークデータに対応する処理毎に、該処理を行う優先順を決める構成とすることができる。
【００３９】
上記目的を達成するために、本発明の画像処理方法は、第一の紙に印刷されたコンテンツ、前記第一の紙に印刷された該第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた第一のシンボルに基づき、前記コンテンツの処理を行う、前記紙識別情報と前記コンテンツとを対応させて管理する紙識別情報管理手段を有する画像処理装置における画像処理方法において、第二の紙に印刷された複数の処理内容と該処理内容毎に手書きされた第二のシンボルとを読み込む第一の読み込みステップと、前記第一の紙に印刷されたコンテンツ、前記第一の紙を識別する紙識別情報、及び、前記第一の紙に手書きされた前記第一のシンボルを読み込む第二の読み込みステップと、前記第一及び第二の読み込みステップで読み込まれた、前記第二のシンボル及び前記第一のシンボルとが一致性を有する場合に、前記第二のシンボルに対応する処理内容を出力する、処理シンボル管理ステップと、前記処理シンボル管理ステップにより出力された処理内容に基づき、前記紙識別情報に対応する前記コンテンツを処理する処理実行ステップとを有し、前記処理実行ステップは、前記第二のシンボルとの一致性を有するか否かの判断に応じて、前記第一のシンボルを、前記コンテンツに上書きするように構成することができる。
【００４０】
これにより、コンテンツを紙に印刷し、該紙に手書きすることにより前記コンテンツを処理する場合に、処理内容、処理範囲等をユーザが定める任意のシンボルによって指定し、処理されたコンテンツの部分及び処理内容を、ユーザが容易に確認可能な画像処理方法を提供することができる。
【００４１】
上記目的を達成するために、本発明の画像処理方法における前記処理実行ステップは、前記第二のシンボルとの一致性を有すると判断された前記第一のシンボルを前記コンテンツに上書きする構成とすることができる。
【００４２】
これにより、第二のシンボルとの一致性を有すると判断され、処理されたコンテンツの部分及び処理内容を、ユーザが容易に確認することができる。
【００４３】
上記目的を達成するために、本発明の画像処理方法における前記処理実行ステップは、前記第二のシンボルとの一致性を有すると判断されなかった前記第一のシンボルを前記コンテンツに上書きする構成とすることができる。
【００４４】
これにより、第二のシンボルとの一致性を有すると判断されず、処理されたコンテンツの部分及び処理内容を、ユーザが容易に確認することができる。
【００４５】
上記目的を達成するために、本発明の画像処理方法は、前記コンテンツを前記第一の紙に印刷する場合に、該第一の紙を識別する紙識別情報を、前記紙識別情報管理手段が管理する対応づけに従い前記第一の紙に印刷する印刷ステップを有する構成とすることができる。
【００４６】
これにより、処理の対象である、紙に印刷されたコンテンツの電子データを特定することができる。
【００４７】
上記目的を達成するために、本発明の画像処理方法において読み込まれる、前記第二の紙は、印刷された前記第二の紙の識別情報を有する構成とすることができる。
【００４８】
これにより、複数枚の紙を用いて処理内容を入力する場合に、該複数枚の紙を区別することができる。
【００４９】
上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、前記一致性を有するか否かを判断する場合に、前記第一のシンボルと前記第二のシンボルとの類似度が所定の範囲内にあることを判断するように構成することができる。
【００５０】
これにより、処理内容等を指定するシンボルをユーザが任意に定めることができ、さらに、前記第一のシンボル及び前記第二のシンボルを一のユーザが記すことにより、類似度が高くなり、判断の精度を高くすることができる。
【００５１】
上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容を前記第二のシンボルと対応させて保持する構成とすることができる。
【００５２】
これにより、処理を行う範囲、処理を行う対象となるコンテンツ、及び、処理内容をユーザが任意に指定することができる。
【００５３】
上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、前記処理を行う範囲、前記処理を行う対象となるコンテンツ、及び、前記処理内容について、選択欄を有する第二の紙にユーザが手書きにより選択した内容に基づいて、前記第二のシンボルと前記処理内容とを対応させる構成とすることができる。
【００５４】
これにより、シンボルに対応する処理内容を、ユーザが指定することができる。
【００６１】
上記目的を達成するために、前記第一の紙に手書きされた前記第一のシンボルに代えて前記第一の紙に手書きする場合の第一のストロークデータ、及び、前記第二の紙に手書きされた前記第二のシンボルに代えて前記第二の紙に手書きする場合の第二のストロークデータを用いるように構成することができる。
【００６２】
これにより、シンボルよりも情報量の多いストロークデータを用いることにより、第一のストロークデータと第二のストロークデータとの類似性を判断する場合の精度を高めることができる。
【００６３】
上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、前記第一のストロークデータと前記第二のストロークデータとの類似性を、ストロークの座標の値、ストロークの筆記速度の値、及び、ストロークの色の値の内、一以上のストロークを表す値を用いて判断するように構成することができる。
【００６４】
これにより、第一のストロークデータと第二のストロークデータとの類似性の判断の精度を高めることができる。
【００６５】
上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、複数の前記第二のストロークデータの内容である、ストロークの色の値、ストロークの位置を表す値、ストロークの大きさの値、及び、ストロークの筆記速度の値の内、一以上のストロークを表す値により、前記第二のストロークデータに対応する処理を行う優先の度合いを保持している構成とすることができる。
【００６６】
これにより、複数の処理の指定を一の第一の紙を用いて行う場合に、全ての処理が行われた結果を一意に定めることができる。
【００６７】
上記目的を達成するために、本発明の画像処理方法における前記処理シンボル管理ステップは、複数の前記第二のストロークデータに対応する処理毎に、該処理を行う優先順を決める構成とすることができる。
【００６８】
上記目的を達成するために、本発明の画像処理プログラムは、請求項１７ないし３２のいずれか一項に記載の画像処理方法を実行させる画像処理プログラムとすることができる。
【００６９】
これにより、コンテンツを紙に印刷し、該紙に手書きすることにより前記コンテンツを処理する場合に、処理内容、処理範囲等をユーザが定める任意のシンボルによって指定する画像処理プログラムを提供することができる。
【発明の効果】
【００７０】
本発明によれば、コンテンツを紙等に印刷し、該紙に手書きすることにより前記コンテンツを処理する場合に、処理内容、処理範囲等をユーザが定める任意のシンボルによって指定することができる画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００７１】
以下、本発明の実施例を図面に基づき説明する。
【実施例１】
【００７２】
図１９は、本発明の構成原理図である。
【００７３】
図１９では、コンテンツ等が印刷された第一の紙１９１０に、ユーザがシンボルを記入し、該第一の紙を読み取ることにより、画像処理装置１９４０が前記コンテンツに対して処理を行い、処理されたコンテンツ１９６０を出力する。
【００７４】
画像処理装置１９４０は、第一の紙１９１０及び第二の紙１９２０を読み取った結果から、第一の紙に印刷されたコンテンツの処理を行う装置であり、紙識別情報管理手段１９４１、処理シンボル管理手段１９４２、及び、処理実行手段１９４３から構成されている。
【００７５】
紙識別情報管理手段１９４１は、第一の紙１９１０を読み取った結果から、印刷されている紙識別情報１９１１に対応するコンテンツのデータを記憶装置１９５０より取得し、処理実行手段に出力する。紙識別情報管理手段１９４１は、また、第一の紙を読み取った結果と、記憶装置１９５０より取得したコンテンツのデータとを比較することにより、ユーザが第一の紙１９１０に記入した第一のシンボル１９１３を抽出し、処理シンボル管理手段１９４２へ出力する。
【００７６】
処理シンボル管理手段１９４２は、第二の紙１９２０を読み取った結果に基づき、処理内容１９２１と、該処理内容１９２１に対応してユーザが記入した第二のシンボル１９２２とを管理する。そして、紙識別情報管理手段１９４１より第一のシンボル１９１３が入力された場合に、該第一のシンボル１９１３と第二のシンボル１９２２とを比較し、類似度が所定の範囲内の場合に、前記第二のシンボル１９２２に対応する処理内容１９２１を、処理実行手段１９４３に出力する。
【００７７】
処理実行手段１９４３は、紙識別情報管理手段１９４１から入力されたコンテンツ１９１２のデータに対して、処理シンボル管理手段１９４２から入力された処理内容１９２１の処理を行い、処理されたコンテンツ１９６０を出力する。
【００７８】
第一の紙１９１０は、該紙を識別する紙識別情報１９１１及びコンテンツ１９１２が印刷された紙であって、ユーザが手書きによって第一のシンボル１９１３を記入した紙である。
【００７９】
第二の紙１９２０は、処理内容１９２１が印刷された紙であって、ユーザが手書きによって前記処理内容に対応する第二のシンボル１９２２を記入した紙である。ここで、第二の紙には、該第二の紙を識別する紙識別情報が印刷されていても良い。
【００８０】
読み取り手段１９３０は、第一の紙１９１０及び第二の紙１９２０に印刷されている内容、並びに、ユーザが手書きによって記入した前記第一のシンボル及び前記第二のシンボルを読み取ってイメージデータとして取得する。また、記憶装置１９５０は、コンテンツのデータを格納する装置である。
（図１の説明）
図１は、本発明の画像処理装置１０１の機能ブロック、及び、その周辺の装置を示したものである。画像処理装置１０１は、紙に手書きによって記入されたシンボル等に基づき、前記紙に印刷されたコンテンツの処理を行う画像処理装置であって、ユーザＩ／Ｆデバイス１１９、紙入力装置であるスキャナ１１６及びデジタイザ１１７、プリンタ等の紙出力装置１１８、並びに、ディスク装置１０７と接続されている。
【００８１】
画像処理装置１０１は、ユーザＩ／Ｆ制御部１０２、スキャナＩ／Ｆ制御部１０８、デジタイザＩ／Ｆ制御部１０９、紙情報取得部１１０、筆記処理部１１１、プリンタＩ／Ｆ制御部１１２、印刷処理部１１３、紙識別情報管理部１１４、及び、ディスクＩ／Ｆ制御部１１５から構成されている。
【００８２】
ユーザＩ／Ｆ制御部１０２は、外部入力デバイスから紙情報取得命令または文書印刷命令を受け取り、紙情報取得部１１０及び印刷処理部１１３へ出力する。また、筆記処理部１１１から入力された外部への出力を要求する信号をディスプレイ１０３及びスピーカ１０４等の外部出力デバイスへ送信する。また、ディスクＩ／Ｆ制御部１１５は、ディスク装置１０７を制御し、コンテンツである文書データの取得や格納を行う。
【００８３】
スキャナＩ／Ｆ制御部１０８は、スキャナ１１６を制御することにより、紙識別情報（ＩＤ）、及び、手書きにより加筆されたシンボル等を含む文書のイメージを取得し、紙情報取得部１１０へ送信する。デジタイザＩ／Ｆ制御部１０９は、デジタイザ１１７を制御し、ユーザが紙に手書きする際の動作の情報であるストロークデータ、及び、イメージで表される紙識別情報を取得し、紙情報取得部１１０へ送信する。
【００８４】
なお、本明細書においては、紙識別情報を「ＩＤ」と表記する。ＩＤは、紙に印刷された文書を特定するための情報を示す符号であり、例えば、前記文書を紙に印刷する場合に、全ての紙に対して一意に付与される番号等である。ＩＤと文書の情報とを後述する紙識別情報管理部１１４が対応づけて管理する。文書の情報とは、例えば、記憶装置に格納されているコンテンツの「ファイル名」「ページ番号」「コンテンツの種類」及び「ファイルのディスク上の位置を表すパス名又はアドレス」等であり、これらがＩＤと関連づけて管理されることにより、紙に印刷された文書のＩＤを取得した場合に、前記文書のデータを記憶装置等から読み出すことができる。
【００８５】
印刷処理部１１３、紙識別情報管理部１１４、紙情報取得部１１０、及び、筆記処理部１１１の詳細な動作は後述するが、ここでは各部の動作の概略について説明する。
【００８６】
印刷処理部１１３は、ディスク装置１０７等に格納されていた文書データに、ＩＤを付加し、紙出力装置であるプリンタ１１８で出力するためのイメージを生成する。プリンタＩ／Ｆ制御部１１２は、プリンタ１１８を制御することにより、紙に文書等のイメージを印刷する処理を行う。
【００８７】
紙識別情報管理部１１４は、文書の各ページとＩＤの関係が一対一になるように紙識別情報管理テーブルによって管理し、ＩＤの登録、削除、参照等を行う。
【００８８】
紙情報取得部１１０は、スキャナ１１６及びデジタイザ１１７等で読み取ったイメージに基づいてＩＤを取得し、紙情報である、前記ＩＤに対応する文書の情報、及び、前記読み取ったイメージを筆記処理部１１１に出力する。
【００８９】
なお、本明細書においては、文書等のコンテンツを読み取ったイメージ、及び、ＩＤに対応する文書の情報を「紙情報」とする。文書の情報とは、例えば、記憶装置に格納されているコンテンツの「ファイル名」「ページ番号」「コンテンツの種類」及び「ファイルのディスク上の位置を表すパス名又はアドレス」等である。
【００９０】
筆記処理部１１１は、紙情報取得部１１０より入力されたＩＤに対応する文書の情報から、前記ＩＤに対応する文書をディスクＩ／Ｆ制御部１１５を介してディスク装置１０７より取得し、紙情報取得部１１０より入力されたイメージと比較して処理することにより、ユーザが手書きしたシンボル等を取得し、該シンボルに対応する処理を前記ＩＤに対応する文書に実行する。
【００９１】
ユーザＩ／Ｆデバイス１１９は、画像処理装置１１０に対してユーザが入力を行い、又は、画像処理装置１１０が表示を行うＩ／Ｆであり、ディスプレイ１０３、スピーカ１０４、キーボード１０５、及び、マウス１０６とから構成されている。キーボード１０５及びマウス１０６は、ユーザが各種の命令を入力するデバイスであり、紙情報の取得の命令や、文書を印刷して出力する命令を入力する。ディスプレイ１０３及びスピーカ１０４は、ユーザが命令を入力等する操作の際に、画像処理装置１１０が必要な情報を出力する。
【００９２】
ディスク装置１０７は、コンテンツである文書のデータを格納し、プリンタ１１８は、イメージを紙面に形成して出力する。
【００９３】
スキャナ１１６は、紙面を走査して２次元画像データであるイメージを取得する装置である。また、本実施例のデジタイザ１１７は、ＩＤを読み取ることができるように構成されており、さらに、ユーザの筆致動作であるストロークを検出し、２次元データであるストロークデータに変換する装置である。図示しない紙識別情報読み取り装置とは、例えば、ＣＣＤカメラ、２次元コードリーダ、又は、１次元バーコードリーダ等がある。
（ストロークデータの説明）
図３は、ストロークデータの一例である。表３０１の各項目は、手書きの文字またはシンボルを構成する複数の座標の取得順であるシーケンス３０２、使用したペンの種類を示すペンの識別情報３０３、前記複数の座標の取得時刻であるタイムスタンプ３０４、前記複数の座標のＸ成分３０５、前記複数の座標のＹ成分３０６、前記複数の座標のそれぞれを取得した時に、ペンと紙面が接していたか否かを表すペンダウン／ペンアップ３０７、及び、前記複数の座標が属するストロークを区別するストロークのラベル３０８である。一のストロークとは、シーケンス３０２の項目表される数字の順に、ペンダウン／ペンアップ３０７が、ペンダウンとなる座標点を記す動作から、ペンアップとなる座標点を記す動作までの複数の座標点を記す筆致動作のことである。また、シンボルを表す情報の一つである色に代えて、ストロークではペンの識別情報３０３が用いられる。
【００９４】
次に、本発明の特徴である紙情報の取得及び該紙情報による処理を行う、印刷処理部１１３、紙情報取得部１１０、紙識別情報管理部１１４、及び、筆記処理部１１１の動作について、以下説明する。
（印刷処理部１１３の動作）
図４は、ユーザＩ／Ｆ制御部１０２から文書の印刷を要求する信号を受けたときの印刷処理部１１３の動作を説明する流れ図である。
【００９５】
ステップ４０１では、印刷処理部１１３が、ユーザＩ／Ｆ制御部より、印刷する文書の情報を取得する。文書の情報とは、例えば、ディスク装置１０７に格納されている文書の「ファイル名」「ページ番号」「文書の種類」及び「ファイルのディスク上の位置を表すパス名又はアドレス」等である。
【００９６】
ステップ４０２では、紙識別情報管理部１１４が、印刷処理部１１３より文書の情報を受信し、該文書の情報に基づき、ＩＤを発行、登録するとともに、該ＩＤを印刷処理部１１３へ送信する。
【００９７】
ステップ４０３では、印刷処理部１１３が、文書の情報に基づき、ディスクＩ／Ｆ制御部１１５を介してディスク装置１０７に記録されている文書を取得する。ステップ４０４では、印刷処理部１１３が、ＩＤを符号に変換する。
【００９８】
ステップ４０５では、印刷処理部１１３が、取得した文書のイメージを生成し、該イメージにＩＤ、及び、印刷した紙面を読み取ってスキュー補正を行う場合に必要となるタイミングマークを重畳した印刷イメージを生成する。
【００９９】
ステップ４０６では、印刷処理部１１３が、印刷を要求する命令とともに、印刷イメージをプリンタ１１８に送信する。
（紙識別情報管理部１１４の管理データの例）
図５は、紙識別情報管理部１１４が管理するＩＤテーブルの一例である。
【０１００】
ＩＤテーブル５０１は、コンテンツである文書を一意に識別する番号と該文書のファイル名及び／又はパス名等を管理するＩＤテーブルであり、各列の項目は、文書を一意に識別する番号であるＩＤ５０２、該文書をディスク装置から読み出す場合のアドレス等を表すパス名及びファイル名５０３、該文書内の頁番号５０４、該文書の種類５０５から構成されている。ＩＤテーブル５０１の各行が、一の文書の情報となり、行５０６は、ＩＤが０００１の文書の情報である。複数頁の文書を処理する場合には、行５０６の構成を有する情報が頁数だけ必要となる。
【０１０１】
文書の種類５０５は、数値によって文書の種類を分類する項目であり、例えば、後述する処理シンボル入力シートを「０」、その他の文書を「１」とする他、更に詳細に分類してもよい。また、数値による分類の他、文字その他の任意のデータ形式で分類してもよい。
（印刷イメージの説明）
図６は、文書のイメージの一例であり、図７は、印刷処理部１１３が図６のイメージである文書から生成した印刷イメージの例である。
【０１０２】
図６のイメージ６０１には、文字及び画像が含まれている。印刷処理部１１３が、紙識別情報管理部１１４より受信したＩＤを符号化し、イメージ６０１に重畳することにより、図７におけるイメージ７０１が生成される。イメージ７０１において、マーク７０２から７０５は、イメージ７０１が印刷された紙を読み込み、スキュー補正を行う場合に用いるタイミングマークである。マーク７０２から７０５は、イメージ内の所定の４箇所に形成されており、読み込みの際に歪み等が生じた場合に、画像処理装置１０１が有する規定の値と比較することにより、読み込んだイメージに対する補正を行う。符号７０６は、イメージ６０１の文書に対応するＩＤである。また、イメージ７０７は、イメージ６０１のコンテンツに相当する部分である。
（紙情報取得部１１０の動作）
図８は、紙情報取得部１１０の動作を説明する流れ図であり、図９は、イメージ７０１が印刷された紙に対して、ユーザがシンボル等を加筆したイメージを説明する図である。
【０１０３】
ステップ８０１では、紙情報取得部１１０が、ユーザＩ／Ｆ制御部より、使用する紙入力機器を指定する信号を取得する。本実施例においては、紙入力機器は、スキャナ１１６及びデジタイザ１１７であり、ユーザは、ユーザＩ／Ｆデバイス１１９から、これら紙入力機器のいずれかを指定して入力する。
【０１０４】
ステップ８０２では、紙情報取得部１１０が受信した、紙入力機器を指定する信号の内容が、スキャナ１１６か、デジタイザ１１７かを判断する。前記信号の内容がスキャナ１１６である場合には、ステップ８０３から８０７の処理が行われる。
【０１０５】
ステップ８０３では、スキャナ１１６が指定された場合に、紙情報取得部１１０が、スキャナＩ／Ｆ制御部１０８に対して紙面の読み取りを指示し、イメージのデータを受信する。ステップ８０４では、紙情報取得部１１０が、受信したイメージからスキュー補正のマーク７０２から７０５を検出し、規定の値と比較することにより、前記イメージに対してスキュー補正を行う。ステップ８０５では、紙情報取得部１１６が、スキュー補正を行った前記イメージから、符号化されたＩＤ７０６を検出し、これを復号することにより文書のＩＤを得る。
【０１０６】
ステップ８０６では、紙情報取得部１１０が、取得した文書のＩＤに基づく文書の情報を、紙識別情報管理部１１４より受信する。文書の情報とは、例えば、記憶装置に格納されているコンテンツの「ファイル名」「ページ番号」「コンテンツの種類」及び「ファイルのディスク上の位置を表すパス名又はアドレス」等である。
【０１０７】
ステップ８０７では、紙情報取得部１１０が、取得したイメージのデータ及び文書の情報からなる紙情報を筆記処理部１１１に送信し、本流れ図の処理である、紙情報取得部１１０の動作が終了する。
【０１０８】
ステップ８０２において、紙情報取得部１１０が受信した、紙入力機器を指定する信号の内容がデジタイザ１１７である場合には、ステップ８０８から８１０の処理が行われる。
【０１０９】
ステップ８０８では、紙情報取得部１１０が、デジタイザＩ／Ｆ制御部１０９に対して、印刷された紙面にユーザがストロークする際のストロークデータ、及び、前記印刷された紙面上に形成されている符号化されたＩＤのイメージの取得を指示する。符号化されたＩＤのイメージとは、例えば、バーコード等で表されるＩＤのことである。紙情報取得部１１０が、前記ストロークデータ及び前記符号化されたＩＤのイメージを取得し、該ＩＤのイメージを処理することにより、文書のＩＤを得る。ステップ８０９では、紙情報取得部１１０が、文書のＩＤに基づく文書の情報を、紙識別情報管理部１１４より受信する。ステップ８１０では、紙情報取得部１１０が、取得したストロークデータ及び文書の情報からなる紙情報を筆記処理部１１１に送信し、本流れ図の処理である、紙情報取得部１１０の動作が終了する。
【０１１０】
読み取りを行う紙が複数枚ある場合には、ステップ８０３からステップ８０７の処理、又は、ステップ８０８からステップ８１０の処理を、紙の枚数と同数だけ行う。
（処理シンボル入力シートの場合の処理）
処理シンボル入力シートの構成についは後述するが、ここでは、処理シンボル入力シートが読み込まれた場合の、紙情報取得部１１０の動作について説明する。
【０１１１】
処理シンボル入力シートのうち、マーク７０２から７０５及び符号７０６を有していない処理シンボル入力シートが、スキャナ１１６によって読み込まれた場合は、ステップ８０４からステップ８０６の処理は行われない。また、符号７０６を有していない処理シンボル入力シートが、デジタイザ１１７によって読み込まれた場合は、ステップ８０８において、紙情報取得部１１０は、デジタイザ制御手段１１７よりストロークデータのみを受信し、ステップ８０９の処理は行われない。また、ステップ８１０において、紙情報取得部１１０は、ストロークデータのみを筆記処理部１１１に送信する。
（ユーザがシンボルを手書きした紙面の説明）
図９において、紙面９０１は、イメージ７０１が印刷された紙であって、ユーザがシンボル等を上書きしたものである。紙面９０１は、イメージ７０１を構成する要素である、スキュー補正のためのタイミングマーク７０２から７０５、文書の符号化されたＩＤ７０６、並びに、文書の内容である、タイトル文字９０２、文字領域９０３、及び、イラスト９０４を有する。紙面９０１は、さらに、イメージ７０１が印刷された紙面にユーザが上書きしたシンボル等９０５から９０８を有する。
（筆記処理部１１１の動作）
図１０、図１１、及び、図１５は、筆記処理部１１１の動作を説明する流れ図である。
【０１１２】
図１０は、紙情報取得部１１０から紙情報を受信した場合の筆記処理部１１１の動作を説明する図である。ステップ１００１からステップ１００５は、受信した紙情報の数だけ処理を繰り返し、処理されていない紙情報が無くなった場合に、処理を終了する。
【０１１３】
ステップ１００１では、筆記処理部１１１が、処理されていない紙情報の有無を判断し、処理されていない紙情報が一つ以上存在する場合には、ステップ１００２へ進む。
【０１１４】
ステップ１００２では、筆記処理部１１１が、処理する紙情報に対応する文書が、処理シンボル対応シートか否かを判断し、処理シンボル対応シートである場合には、ステップ１００３へ進み、処理シンボル対応シートではない場合には、ステップ１００４へ進む。
【０１１５】
ステップ１００２では、筆記処理部１１１が、処理シンボル対応シートの紙情報に基づき、処理内容に対応したシンボル等を取得する。ステップ１００４では、筆記処理部１１１が、処理内容に対応したシンボル等の取得が終了しているか否かを判断し、処理内容に対応したシンボル等の取得が終了している場合には、ステップ１００５に進む。処理内容に対応したシンボル等の取得が終了していない場合には、ステップ１００１に戻る。ステップ１００５では、筆記処理部１１１が、ステップ１００３で取得した、処理内容に対応したシンボル等と、ステップ１００５に入力された紙情報から得られるシンボル等とを比較して一致性を判断することにより、対応する処理を行う。
（処理シンボル対応シートを処理する流れの説明）
図１１は、ステップ１００３の処理の詳細であり、筆記処理部１１１が、読み込んだ処理シンボル対応シートのイメージから、処理内容に対応するシンボル等のデータを取得する動作を説明する流れ図である。  筆記処理部１１１は、読み込んだ処理シンボル対応シートのイメージ又はストロークデータを含む紙情報を、既に有している。
【０１１６】
ステップ１１０１では、筆記処理部１１１が、ディスクＩ／Ｆ制御部１１５を介してディスク装置１０７より、筆記処理部１１１が有する紙情報に含まれている文書の情報に対応する処理シンボル対応シートのデータを取得する。前記紙情報に文書の情報が含まれていない場合、即ち、読み取った紙に符号化されたＩＤが印刷されていない場合には、筆記処理部１１１が取得する処理シンボル対応シートのデータは、予め情報処理装置１０１が有しているデータ、又は、予めディスク装置１０７等に記憶されている所定のデータとなる。
【０１１７】
ステップ１１０２では、筆記処理部１１１が、該筆記処理部１１１が有する紙情報が、イメージを含んでいるか、ストロークデータを含んでいるかを判断し、イメージの場合には、ステップ１１０３へ、ストロークデータの場合には、ステップ１１０７へ進む。
【０１１８】
ステップ１１０３では、筆記処理部１１１が、紙情報に含まれている読み込んだイメージと、文書の情報に対応する処理シンボル対応シートのデータから生成されたイメージとの画素毎の差分を計算することにより、ユーザが手書きによって記入したシンボルのみが描かれたイメージを生成する。
【０１１９】
ステップ１１０４では、筆記処理部１１１が、ステップ１１０３で生成されたシンボルのみが描かれたイメージについて、処理シンボル対応シートのデータから、紙面上でユーザが記入する欄の位置情報を取得してそれぞれの欄を記入部分とし、該記入部分毎に、差分画像をシンボルとして抽出する。
【０１２０】
ステップ１１０５では、筆記処理部１１１が、ステップ１１０４で抽出した部分画像と、
該部分画像が描かれた紙面上の位置に対応する処理内容とを関連づけたデータ対としてディスク装置１０７等に記憶させる。
【０１２１】
ステップ１１０６では、筆記処理部１１１が、全ての記入部分について、ステップ１１０４とステップ１１０５の処理が行われているか否かを判断し、未処理の記入部分を有する場合には、ステップ１１０４へ進み、全ての記入部分の処理が終了した場合には、ステップ１００１へ進む。
【０１２２】
一方、筆記処理部１１１が有する紙情報が、ストロークデータを含む場合には、ステップ１１０７からステップ１１０９の処理を行う。
【０１２３】
ステップ１１０７では、筆記処理部１１１が、処理シンボル対応シートのデータから、紙面上でユーザが記入する欄の位置情報を取得してそれぞれの欄を部分領域とし、該部分領域毎に、含まれるストロークデータを生成する。
【０１２４】
ステップ１１０８では、筆記処理部１１１が、ステップ１１０７で生成したストロークデータと、該ストロークデータを有する部分領域に対応する処理内容とを関連づけたデータ対として、ディスク装置１０７等に記憶させる。
【０１２５】
ステップ１１０９では、筆記処理部１１１が、処理シンボル対応シートに含まれている全てのユーザが記入する欄について、処理が終了しているか否かを判断し、未処理の欄がある場合にはステップ１１０７へ進み、全ての欄が終了している場合には、ステップ１００１へ進む。
（処理シンボル対応シートの説明）
図１２は、処理シンボル対応シートのイメージの一例である。
【０１２６】
処理シンボル対応シートのイメージ１２０１は、表１２１０、タイトルの文字列１２１１、ユーザがシンボルを記入する欄１２０２から１２０５、及び、該記入欄にそれぞれ対応する処理内容を表す文字列１２０６から１２０９を有する。表１２１０は、処理内容とユーザがシンボルを記入する欄を対応させて表示する表であり、タイトル１２１１は、処理シンボル対応シートの表題を表す文字列である。
【０１２７】
記入欄１２０２から１２０５は、それぞれ記入されたシンボル等に対する処理が定められている。記入欄１２０２及び記入欄１２０３は、ユーザが記入したチェック記号の有無により、対応する処理の実行の有無を定める。例えば、記入欄１２０２にチェック記号が手書きされた場合には、対応する処理である「シンボルを重畳表示」について、前記処理を実行することを示す値を前記処理内容と対応させる。前記対応する処理の実行の有無を示す値は、ブーリアン型の変数としてもよい。また、例えば、記入欄１２０４に記入されたシンボルは、イメージ又はストロークデータとして、処理内容１２０８に対応させて記録され、記入欄１２０５に記入されたシンボルに基づくイメージ又はストロークデータは、処理内容１２０９に対応させて記録される。
【０１２８】
図１３は、処理シンボル対応シートにユーザがシンボルを記入したイメージの一例である。
【０１２９】
処理シンボル対応シートのイメージ１３０１は、処理シンボル対応シートのイメージ１２０１が有する要素に加えて、ユーザが手書きしたシンボル１３０２から１３０４を有する。記入欄１２０３に記入されたシンボル１３０２が、処理内容を表す文字列１２０７に対応し、記入欄１２０４に記入されたシンボル１３０３が、処理内容を表す文字列１２０８に対応し、記入欄１２０５に記入されたシンボル１３０４が、処理内容を表す文字列１２０９に対応するデータとして記録される。
【０１３０】
ここで、処理シンボル対応シートのイメージ１３０１は、スキュー補正のためのタイミングマーク７０２から７０５、及び、前記処理シンボル対応シートの符号化されたＩＤ７０６を有している。このような場合は、処理シンボル対応シート１３０１は、複数枚を区別して使用することができる。
【０１３１】
図１４は、処理シンボル対応シートのイメージ１３０１に基づく、シンボルと処理内容とを対応させて管理する、処理シンボル管理テーブルの例である。
【０１３２】
記入欄１２０２及び１２０３にそれぞれ対応する処理内容である「シンボルを重畳表示」及び「シンボル以外の筆記を重畳表示」は、ブーリアン型の変数に対応される。記入欄１２０４及び１２０５にそれぞれ対応する処理内容は、「コンテンツの抽出範囲」「処理を行うコンテンツの種類」及び「処理内容」のそれぞれについて定められており、前記処理内容に、ユーザが記入したシンボル１３０３及び１３０４がそれぞれ対応される。
（一致性の判断の処理の説明）
図１５は、筆記処理部１１１が行う、ステップ１００５におけるシンボル等の一致性を判断する処理を説明する流れ図である。
【０１３３】
ステップ１５０１では、筆記処理部１１１が、ディスクＩ／Ｆ制御部１１５を介してディスク装置１０７より紙情報に対応する文書のデータを取得する。ステップ１５０２では、紙情報に含まれているデータが、イメージかストロークデータであるかを判断し、イメージの場合には、ステップ１５０３へ進み、ストロークデータの場合には、ステップ１５１１へ進む。
【０１３４】
イメージの場合には、筆記処理部１１１が、ステップ１５０３において、ステップ１５０１で取得した文書のデータからイメージを生成し、該イメージと、紙情報に含まれている読み込んだイメージとの画素毎の差分を計算して差分画像を得ることにより、ユーザが手書きしたシンボルから構成される画像を得る。
【０１３５】
ステップ１５０４では、筆記処理部１１１が、ステップ１５０３で生成した差分画像について、画素毎の近接と領域からクラスタリングを行い、複数の筆記クラスタを得、該筆記クラスタ毎に、外接する矩形の領域の頂点座標を取得する。
【０１３６】
一方、ストロークデータの場合には、筆記処理部１１１が、ステップ１５１１において、紙情報に含まれているストロークデータを、筆記領域と座標点を描画した時刻とを用いてクラスタリングを行い、複数の筆記クラスタを得、該筆記クラスタ毎に、外接する矩形の頂点座標を取得する。
【０１３７】
図１６は、イメージ９０１上から抽出した筆記クラスタを説明する図である。
【０１３８】
ユーザが筆記したシンボルは、イメージの差分画像、又は、ストロークデータとしてイメージ９０１上から抽出され、クラスタリングによって、クラスタ９０５から９０８として取得され、それぞれのクラスタについて、外接する矩形１６０１から１６０４が得られる。矩形１６０１から１６０４は、それぞれ４点の頂点座標によって識別される。
【０１３９】
ステップ１５０５では、筆記処理部１１１が、紙情報に含まれているＩＤに対応する文書のデータをＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）に変換する。なお、イメージを構成する要素である、文字の領域、及び、画像の領域のイメージ上の位置を保持し、かつ、個々の要素を別個に扱って処理を行うことが可能なフォーマットであれば、ＰＤＦに限らない。
【０１４０】
ステップ１５０６では、筆記処理部１１１が、未処理の筆記クラスタの有無を判断し、未処理の筆記クラスタが存在する場合には、ステップ１５０７へ進み、全ての筆記クラスタの処理が終了している場合には、ステップ１５１０へ進む。
【０１４１】
ステップ１５０７では、筆記処理部１１１が、処理シンボル対応シートに基づいて処理内容とシンボルとを対応させて管理する、処理シンボル管理テーブルが有するシンボルと、一の筆記クラスタとを比較し、一致性を判断する。一致性を有すると判断された場合には、ステップ１５０８へ進み、一致性を有すると判断されない場合には、ステップ１５０６へ進む。
【０１４２】
一致性の判断は、パターンマッチング等の公知の手法を用いる。シンボルがイメージの場合には、例えば、シンボルを構成する点の座標と、筆記クラスタの座標とを比較し、一致する点の割合によって類似度を判断し、類似度が所定の値を超える場合に、処理シンボル管理テーブルが有するシンボルと、筆記クラスタとが一致性を有すると判断する。
【０１４３】
さらに、シンボルのイメージが、座標点の他に色の値を有する場合には、前記処理シンボル管理テーブルが有するシンボルの色の値と、筆記クラスタの色の値とを比較し、これらの値の差が所定の値以下の場合に、一致性を有するとし、座標及び色の値の双方が一致性を有する場合に、前記処理シンボル管理テーブルが有するシンボルと筆記クラスタとが一致性を有すると判断する。
【０１４４】
シンボルがストロークデータの場合には、ストロークを表す値として例えば、座標及び色の値に加えて筆記速度によっても一致性の判断を行う。筆記速度は、ストロークデータを構成する点のうち、任意の一点のタイムスタンプと、該任意の一点と筆記順が直前の点のタイムスタンプとから、それらの点の間の平均的な筆記速度を算出し、これを用いる。
【０１４５】
ステップ１５０８では、筆記処理部１１１が、一致性を有すると判断した筆記クラスタについて、該筆記クラスタのイメージ９０１上の位置の所定の範囲内に、該筆記クラスタと一致性を有すると判断された処理シンボル管理テーブルが有するシンボルと対応する処理内容を満たすコンテンツの有無を判断する。当該コンテンツが存在する場合には、ステップ１５０９へ進み、存在しない場合には、ステップ１５０６へ進む。
例えば、シンボル１３０４と筆記クラスタ９０５とが一致性を有すると判断された場合には、図１４に示す、シンボル１３０４に対応する処理内容である、「シンボル領域内」に「画像」のコンテンツが存在するか否かを判断する。筆記処理部１１１は、イメージ９０１のＰＤＦデータが有する各要素の座標から、筆記クラスタ９０５の領域内には、画像領域９０４が存在すると判断し、ステップ１５０９へ進む。
【０１４６】
ステップ１５０９では、ステップ１５０８において筆記クラスタの位置の所定の範囲内に存在するコンテンツについて、前記筆記クラスタと一致性を有するシンボルに対応する処理内容を実行する。例えば、筆記クラスタ９０５内に存在する画像コンテンツ９０４について、シンボル１３０４に対応する処理内容である「取得」の処理を行う。取得した画像データは、例えば、ユーザＩ／Ｆデバイス１１９からの入力に従って保存される。
【０１４７】
ステップ１５１０は、全ての筆記クラスタについて、ステップ１５０７からステップ１５０９の処理が終了した場合に、ステップ１５０７で処理シンボル管理テーブルが有するシンボルとの一致性を有すると判断されなかった筆記クラスタ、及び、前記一致性を有すると判断された筆記クラスタのそれぞれについて、予め処理シンボル管理シート等で定められている処理を行う。例えば、筆記クラスタ９０７及び９０８が、前記一致性を有すると判断されなかった場合に、図１４の処理シンボル管理テーブルに基づき、筆記クラスタ９０７及び９０８を、イメージ６０１に上書きする。
（構成の変形例）
図２は、本発明の画像処理装置２０１について、入出力デバイスをネットワークを介して接続したものである。画像処理装置２０１は、ユーザＩ／Ｆデバイス１１９と接続され、ネットワーク２０３を介してネットワークスキャナ２０４、ネットワークデジタイザ２０５、ネットワークプリンタ２０６、ネットワークサーバ２０７、及び、クライアントＰＣ２０８と接続されている。
【０１４８】
画像処理装置２０１は、画像処理装置１０１が有する、スキャナＩ／Ｆ制御部１０８、デジタイザ制御部１０９、プリンタＩ／Ｆ制御部１１２、及び、ディスクＩ／Ｆ制御部１１５に代えて、ネットワークＩ／Ｆ制御部２０２を有し、該ネットワークＩ／Ｆ制御部２０２が、前記ネットワーク２０３に接続された各種デバイスの制御及びデータの入出力等を行う。
【０１４９】
ネットワークサーバ２０７は、ディスク装置１１９を有し、該ディスク装置１１９からのデータ出力、及び、データを記憶させる処理を行う。クライアントＰＣ２０８は、ＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）によるデータの転送や、データの格納等の処理を行う。
【０１５０】
また、図２では、紙入力装置、紙出力装置等をネットワークを介して画像処理装置２０１に接続しているが、これらの一部をネットワークを介して接続し、他の装置は画像処理装置１０１が有する各種Ｉ／Ｆ制御部によって直接接続されて制御する構成でもよい。
（処理シンボル管理シートの変形例）
図１７に、処理シンボル管理シートの図１２とは異なる例を示す。
【０１５１】
イメージ１７０１は、処理シンボル管理シートのイメージであり、処理内容を表す文字列１２０４に代えて、選択欄１７０２から１７０４、及び、処理内容を表す文字列１２０５に代えて、選択欄１７０５から１７０７を有している。
【０１５２】
選択欄１７０２から１７０７は、それぞれ、図１４における処理内容を表す各項目である「コンテンツ抽出範囲」「処理を行うコンテンツの種類」及び「処理内容」に対応している。選択欄１７０２から１７０７が有する各選択肢に、ユーザがチェック記号を記入することにより、処理内容を表す各項目について、その内容が定められる。
（筆記クラスタの形状の変形例）
図１８は、筆記クラスタの筆記領域の形状を表す説明図である。本発明の実施例では、筆記クラスタ９０６の筆記領域を、外接する矩形１６０１を用いて表したが、必ずしも矩形に限定されるものではなく、例えば、領域１８０１のように、筆記クラスタ９０６を囲む形状であれば良い。
（コンピュータプログラムの実施例）
図２０は、本発明をコンピュータのプログラムによって構成する説明図である。
【０１５３】
コンピュータ２００１は、紙に手書きによって記入されたシンボル等に基づき、前記紙に印刷されたコンテンツの処理を行う画像処理プログラムを有するコンピュータであって、ユーザＩ／Ｆデバイス１１９、紙入力装置２００５、プリンタ等の紙出力装置１１８、及び、ディスク装置１０８と接続されている。
【０１５４】
コンピュータ２００１は、ＣＰＵ２００２、ＲＯＭ２００３、及び、ＲＡＭ２００４から構成されており、ＣＰＵ２００２が、ＲＯＭ２００３に記録されているプログラムを実行することにより、コンピュータを構成する部分の各種制御、及び、コンピュータに接続されたデバイスである１１６から１１９及びディスク装置１０７等の制御を行う。
【０１５５】
ＲＯＭ２００３は、本発明の実施の形態である画像処理プログラムを保持している。ＲＡＭ２００４は、ＣＰＵ２００２が処理を行う場合に、一時データ等を格納するメモリである。
（その他の処理の実施例）
なお、上記の例では、コンテンツから画像データを取得する場合、及び、コンテンツの内容を変更する場合の処理について説明したが、上記の例に限定されることなく、例えば、コンテンツを印刷により出力する場合、コンテンツを再生する場合等の所定の処理について、実施することが可能である。
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
【図面の簡単な説明】
【０１５６】
【図１】本実施の形態における画像処理装置の実施例
【図２】本実施の形態における画像処理装置をネットワークを介してデバイスと接続する実施例
【図３】ストロークデータの一例
【図４】印刷処理部の動作を説明する流れ図
【図５】ＩＤテーブルの一例
【図６】文書のイメージの例
【図７】ＩＤのイメージを付加して紙に印刷された文書のイメージの例
【図８】紙情報取得部の動作を説明する流れ図
【図９】ユーザがシンボル等を手書きした文書のイメージの例
【図１０】筆記処理部の動作を説明する流れ図
【図１１】処理シンボル対応シートから情報を取得する動作の流れ図
【図１２】処理シンボル対応シートのイメージの例
【図１３】ユーザがシンボル等を手書きした処理シンボル対応シートのイメージの例
【図１４】処理シンボル管理テーブルの例
【図１５】シンボル等の一致性を判断する処理の流れ図
【図１６】イメージ上から抽出した筆記クラスタの説明図
【図１７】選択欄を有する処理シンボル対応シートの例
【図１８】筆記クラスタの筆記領域の形状の例
【図１９】本発明の構成原理図
【図２０】本発明の画像処理プログラムによる実施例
【符号の説明】
【０１５７】
１１１ 筆記処理部
１１０ 紙情報取得部
１１４ 紙識別情報管理部
１１３ 印刷処理部
１９４１ 紙識別情報管理手段
１９４２ 処理シンボル管理手段
１９４３ 処理実行手段
【図１】
0004741363.tif 000002
【図２】
0004741363.tif 000003
【図３】
0004741363.tif 000004
【図４】
0004741363.tif 000005
【図５】
0004741363.tif 000006
【図６】
0004741363.tif 000007
【図７】
0004741363.tif 000008
【図８】
0004741363.tif 000009
【図９】
0004741363.tif 000010
【図１０】
0004741363.tif 000011
【図１１】
0004741363.tif 000012
【図１２】
0004741363.tif 000013
【図１３】
0004741363.tif 000014
【図１４】
0004741363.tif 000015
【図１５】
0004741363.tif 000016
【図１６】
0004741363.tif 000017
【図１７】
0004741363.tif 000018
【図１８】
0004741363.tif 000019
【図１９】
0004741363.tif 000020
【図２０】
0004741363.tif 000021