(57)【特許請求の範囲】
【請求項１】
媒体に印刷をするための印刷データの基である電子文書を取得する電子文書取得手段と、
前記電子文書取得手段により取得された前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する第１の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成手段と、
前記印刷データ中の印刷オブジェクトが有する第２の情報を抽出し、前記関連情報作成手段により作成された前記関連情報に含まれる前記第１の情報と当該第２の情報とを比較する比較手段と、
前記比較手段による比較結果より、前記第１の情報と前記第２の情報とが一致する場合、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと、当該印刷オブジェクトに対応する前記描画オブジェクトに対応する機能とを関連付ける管理情報の登録を指示する登録指示手段と、
前記媒体を識別する情報である識別情報に対応する識別符号および当該媒体上の座標位置を特定するための位置情報に対応する位置符号を画像化した符号パターン画像と前記電子文書の画像との重畳画像の印刷を印刷機構に指示する指示手段と、
を備え、
前記比較手段は、前記第１の情報として前記描画オブジェクトが有する文字列を用いるとともに前記第２の情報として前記印刷データ中の印刷オブジェクトの文字列を用い、
前記関連情報作成手段は、メタ情報として前記描画オブジェクトに付随する参照情報を抽出し、当該参照情報により当該描画オブジェクトが有する第１の情報と当該描画オブジェクトに対応する機能とを関連付け、
前記登録指示手段は、前記管理情報として、前記媒体の識別情報、当該媒体中で前記描画オブジェクトを表示する位置を示す情報、および前記参照情報を含む情報の登録を指示する
ことを特徴とする画像処理装置。
【請求項２】
前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記関連情報作成手段は、文字描画オブジェクト、イメージ描画オブジェクト、グラフィックス描画オブジェクトから選ばれる少なくとも１つの描画オブジェクトに付随するメタ情報の解析を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記電子文書取得手段は、前記電子文書の文書名を基にして当該電子文書の所在を探索し、取得することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記比較手段は、所定の特徴量が一致するか否かにより、前記関連情報作成手段により作成された前記関連情報に含まれる前記第１の情報と前記第２の情報とを比較することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記管理情報を編集するための編集手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
コンピュータに、
媒体に印刷をするための印刷データの基である電子文書を取得する電子文書取得機能と、
前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する第１の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成機能と、
前記印刷データ中の印刷オブジェクトが有する第２の情報を抽出し、前記関連情報に含まれる前記第１の情報と当該第２の情報とを比較する比較機能と、
前記比較の結果より、前記第１の情報と前記第２の情報とが一致する場合、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと、当該印刷オブジェクトに対応する前記描画オブジェクトに対応する機能とを関連付ける管理情報の登録を指示する登録指示機能と、
前記媒体を識別する情報である識別情報に対応する識別符号および当該媒体上の座標位置を特定するための位置情報に対応する位置符号を画像化した符号パターン画像と前記電子文書の画像との重畳画像の印刷を印刷機構に指示する指示機能と、
を実現させ、
前記比較機能は、前記第１の情報として前記描画オブジェクトが有する文字列を用いるとともに前記第２の情報として前記印刷データ中の印刷オブジェクトの文字列を用い、
前記関連情報作成機能は、メタ情報として前記描画オブジェクトに付随する参照情報を抽出し、当該参照情報により当該描画オブジェクトが有する第１の情報と当該描画オブジェクトに対応する機能とを関連付け、
前記登録指示機能は、前記管理情報として、前記媒体の識別情報、当該媒体中で前記描画オブジェクトを表示する位置を示す情報、および前記参照情報を含む情報の登録を指示する
ことを特徴とするプログラム。
【請求項８】
前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項７に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを処理する画像処理装置等に関する。
【背景技術】
【０００２】
近年、細かなドットが印刷された特殊な用紙に文字や絵を描き、ユーザがこの用紙上に書いた文字等のデータをパソコンや携帯電話等に転送し、この内容の保存や、メール送信を可能とする技術が注目されている。
【０００３】
公報記載の従来技術として、例えば、特許文献１には、電子的に記憶された文書を、位置コーディングパターンを備えた紙シート上に印刷する技術が開示されている。この技術においては、位置コーディングパターンを備えた特殊な紙シートが用いられる。そして、この紙シートに文書を印刷し、その上から、位置コーディングパターン読取り用手段を備えたデジタルペンと紙の表面にマーキングを付けるペンポイントとを用いて手動で編集し、その編集結果が電子情報に反映されるように構成されている。
また、特許文献２には、電子文書を作成するための文書作成アプリケーションが、電子文書のページごとにコード画像を付与する領域を指定できるようにした印刷指示装置が開示されている。
【０００４】
【特許文献１】特表２００３−５２８３８８号公報
【特許文献２】特開２００７−７２６４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、紙文書をインタフェースとして用いるシステムにおいて、単純な処理のみでなく複雑な処理を行うことが求められる。電子文書は、一般に、その内部にメタ情報を保持しており、このメタ情報を用いることで複雑な処理を行うことが可能となる。しかしながら、このようなメタ情報は、通常印刷されないことから、電子文書を印刷した後の利便性に問題がある。電子文書を印刷した後であってもメタ情報に対応する機能を利用することが望まれる。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、媒体に印刷をするための印刷データの基である電子文書を取得する電子文書取得手段と、前記電子文書取得手段により取得された前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する第１の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成手段と、前記印刷データ中の印刷オブジェクトが有する第２の情報を抽出し、前記関連情報作成手段により作成された前記関連情報に含まれる前記第１の情報と当該第２の情報とを比較する比較手段と、前記比較手段による比較結果より、前記第１の情報と前記第２の情報とが一致する場合、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと、当該印刷オブジェクトに対応する前記描画オブジェクトに対応する機能とを関連付ける管理情報の登録を指示する登録指示手段と、前記媒体を識別する情報である識別情報に対応する識別符号および当該媒体上の座標位置を特定するための位置情報に対応する位置符号を画像化した符号パターン画像と前記電子文書の画像との重畳画像の印刷を印刷機構に指示する指示手段と、を備え、前記比較手段は、前記第１の情報として前記描画オブジェクトが有する文字列を用いるとともに前記第２の情報として前記印刷データ中の印刷オブジェクトの文字列を用い、前記関連情報作成手段は、メタ情報として前記描画オブジェクトに付随する参照情報を抽出し、当該参照情報により当該描画オブジェクトが有する第１の情報と当該描画オブジェクトに対応する機能とを関連付け、前記登録指示手段は、前記管理情報として、前記媒体の識別情報、当該媒体中で前記描画オブジェクトを表示する位置を示す情報、および前記参照情報を含む情報の登録を指示することを特徴とする画像処理装置である。
【０００７】
請求項２に記載の発明は、前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記関連情報作成手段は、文字描画オブジェクト、イメージ描画オブジェクト、グラフィックス描画オブジェクトから選ばれる少なくとも１つの描画オブジェクトに付随するメタ情報の解析を行うことを特徴とする請求項１に記載の画像処理装置である。
請求項４に記載の発明は、前記電子文書取得手段は、前記電子文書の文書名を基にして当該電子文書の所在を探索し、取得することを特徴とする請求項１に記載の画像処理装置である。
請求項５に記載の発明は、前記比較手段は、所定の特徴量が一致するか否かにより、前記関連情報作成手段により作成された前記関連情報に含まれる前記第１の情報と前記第２の情報とを比較することを特徴とする請求項１に記載の画像処理装置である。
請求項６に記載の発明は、前記管理情報を編集するための編集手段を更に備えることを特徴とする請求項１に記載の画像処理装置である。
【０００８】
請求項７に記載の発明は、コンピュータに、媒体に印刷をするための印刷データの基である電子文書を取得する電子文書取得機能と、前記電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、当該描画オブジェクトが有する第１の情報と当該描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成機能と、前記印刷データ中の印刷オブジェクトが有する第２の情報を抽出し、前記関連情報に含まれる前記第１の情報と当該第２の情報とを比較する比較機能と、前記比較の結果より、前記第１の情報と前記第２の情報とが一致する場合、前記媒体に印刷された前記印刷データ中の印刷オブジェクトと、当該印刷オブジェクトに対応する前記描画オブジェクトに対応する機能とを関連付ける管理情報の登録を指示する登録指示機能と、前記媒体を識別する情報である識別情報に対応する識別符号および当該媒体上の座標位置を特定するための位置情報に対応する位置符号を画像化した符号パターン画像と前記電子文書の画像との重畳画像の印刷を印刷機構に指示する指示機能と、を実現させ、前記比較機能は、前記第１の情報として前記描画オブジェクトが有する文字列を用いるとともに前記第２の情報として前記印刷データ中の印刷オブジェクトの文字列を用い、前記関連情報作成機能は、メタ情報として前記描画オブジェクトに付随する参照情報を抽出し、当該参照情報により当該描画オブジェクトが有する第１の情報と当該描画オブジェクトに対応する機能とを関連付け、前記登録指示機能は、前記管理情報として、前記媒体の識別情報、当該媒体中で前記描画オブジェクトを表示する位置を示す情報、および前記参照情報を含む情報の登録を指示することを特徴とするプログラムである。
【０００９】
請求項８に記載の発明は、前記描画オブジェクトに対応する機能は、所定のサービスを提供するためのリンク機能であることを特徴とする請求項７に記載のプログラムである。
【発明の効果】
【００１０】
請求項１の発明によれば、メタ情報を解析することにより、印刷オブジェクトとそれに対応する機能とを関連付けることが可能となるため、例えば、印刷後であってもメタ情報に関する複雑な処理を行うことができる。また本構成を有していない場合に比較して、印刷オブジェクトとそれに対応する機能とを関連付けることが、より簡単となる。さらに本構成を採用しない場合に比べ、管理情報を、より簡単に作成することができる。
請求項２の発明によれば、本構成を有していない場合に比較して、所定のサービスをより簡便な手段で提供することが可能になる。
請求項３の発明によれば、本構成を採用しない場合に比べ、所定の機能を実現する描画オブジェクトを、より精度よく選択することができる。
請求項４の発明によれば、本構成を有していない場合に比較して、電子文書を、より簡単に探索することができる。
請求項５の発明によれば、本構成を採用しない場合に比べ、管理情報と印刷オブジェクトが有する所定の情報とを、より精度良く比較することができる。
請求項６の発明によれば、ユーザが、印刷オブジェクトと印刷オブジェクトに対応する機能との関連付けを選択することができる。
請求項７の発明によれば、例えば、印刷後であってもメタ情報に関する複雑な処理を行うことができる。また本構成を有していない場合に比較して、印刷オブジェクトとそれに対応する機能とを関連付けることが、より簡単となる。さらに本構成を採用しない場合に比べ、管理情報を、より簡単に作成することができる。
請求項８の発明によれば、本構成を有していない場合に比較して、所定のサービスを、より簡便に提供することが可能になる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して、本発明の実施の形態について説明する。
図１は、本実施の形態が適用されるシステムの構成の一例を示したものである。このシステムは、少なくとも、電子文書の印刷を指示する画像処理装置１００と、電子文書を蓄積する文書リポジトリ２００と、電子文書の画像と符号パターン画像との重畳画像を印刷する画像形成装置４００とがネットワーク８００に接続されることにより構成されている。また、このシステムは、画像形成装置４００にて出力される印刷物５００と、印刷物５００に文字又は図形を記録し、その文字又は図形の軌跡を読み取るペンデバイス６００とを含む。更に、ネットワーク８００には、ペンデバイス６００により選択された所定のサービスを提供する端末装置７００も接続されている。
【００１２】
以下、本システムの動作の概略を説明する。
まず、画像処理装置１００は、文書リポジトリ２００から印刷対象の電子文書を取得する（Ａ）。そして、画像形成装置４００に対し、この電子文書の印刷を指示する（Ｂ）。このとき、画像処理装置１００は、印刷に関するパラメータである印刷属性を指定する。この印刷属性には、通常の印刷と同様、用紙サイズ、向き、両面印刷等が含まれる。また、符号パターン画像に関し、符号パターン画像を印刷すべき領域の指定等が含まれてもよい。
この電子文書の印刷指示を受けると、画像形成装置４００は、電子文書の画像に符号パターン画像を重畳した画像を紙等の媒体に印刷し、印刷物５００を出力する（Ｃ）。この場合、符号パターン画像は、識別情報に対応する識別符号と、位置情報に対応する位置符号とを画像化したものである。或いは、その他の情報である付加情報を含めて画像化したものであってもよい。なお、電子文書の画像と符号パターン画像とを重畳する処理は、画像処理装置１００で行ってもよいし、画像形成装置４００で行ってもよい。
【００１３】
ここで、識別情報としては、個々の媒体を一意に識別する情報を採用することができる。例えば、画像形成装置４００の識別番号と画像形成装置４００における媒体の印刷の一連番号又は印刷の日時とを組み合わせて得られる情報であってもよいし、所定のサーバにて重複がないように一元管理されている情報であってもよい。或いは、個々の媒体を一意に識別する情報ではなく、媒体に印刷された電子文書を一意に識別する情報を、識別情報として採用してもよい。
また、位置情報とは、個々の媒体上の座標位置（Ｘ座標、Ｙ座標）を特定するための情報である。例えば、媒体の左上点を原点とし、媒体の右方向にＸ軸をとり、下方向にＹ軸をとることにより設定した座標系で、座標を表すことが考えられる。
更に、付加情報としては、印刷指示を行ったユーザの識別情報や、コピー禁止であるかどうかの情報等がある。
【００１４】
また、画像形成装置４００は、符号パターン画像を、赤外光の吸収率が一定の基準以上である不可視のトナーを用いて不可視画像として形成する。一方、電子文書の文書画像は、赤外光の吸収率が一定の基準以下である可視のトナーを用いて可視画像として形成することが好ましい。なお、符号パターン画像の形成に用いるトナーと文書画像の形成に用いるトナーとで、赤外光の吸収率に差を設けたのは、赤外光を照射して符号パターン画像を読み取る際の読取り精度を確保するためである。なお、本明細書では、赤外光照射による符号パターン画像の読取りを前提として説明するが、紫外光により符号パターン画像を読み取るものであってもよい。
【００１５】
その後、ユーザが、ペンデバイス６００を用いて印刷物５００に文字又は図形をマーキングしたとする（Ｄ）。これにより、ペンデバイス６００は、印刷物５００に対し赤外光を照射し、その反射光を検出することで符号パターン画像を入力する。そして、符号パターン画像から情報を取得又は生成し、有線通信又は無線通信を介して、その情報を端末装置７００に送信する（Ｅ）。なお、ここで送信される情報には、例えば、印刷物５００の識別情報や、印刷物５００に対して筆記された文字又は図形の位置情報がある。或いは、位置情報は、一定の時間における文字又は図形の位置情報を連結させた軌跡情報として送信するようにしてもよい。
その後、端末装置７００は、ペンデバイス６００から受信した識別情報と位置情報に基づいて、印刷物５００に関する管理情報を文書リポジトリ２００から取得する(Ｆ)。そして、端末装置７００は、文書リポジトリ２００から受信した管理情報に基づいて、所定のサービスを提供する。
【００１６】
ところで、ペンデバイス６００から受信した識別情報が、個々の媒体を一意に識別する情報である場合、この識別情報に基づいて電子文書を取得できるようにするためには、識別情報と電子文書との対応関係を管理しておく必要がある。図１では、この対応関係をどこで管理するかについては明示しなかったが、端末装置７００からアクセス可能であれば、どこで管理するようにしてもよい。例えば、文書リポジトリ２００であってもよいし、画像形成装置４００であってもよい。
また、ペンデバイス６００から軌跡情報を受信した場合、この軌跡情報は、印刷物５００上での筆記位置に対応する電子文書上の位置に重ね合わせて表示される。これは、ペンデバイス６００で読み取った符号パターン画像に筆記位置の情報が含まれるので、その情報から電子文書の表示イメージにおける対応する位置が特定できるからである。
【００１７】
以上、本実施の形態が適用されるシステムについて述べてきたが、このような構成はあくまで一例に過ぎない。例えば、電子文書の画像と符号パターン画像とを重畳する処理を、画像処理装置１００から画像形成装置４００への印刷指示を中継するサーバコンピュータ等で行うようにしてもよい。また、文書リポジトリ２００は、画像処理装置１００内にあってもよい。更に、画像処理装置１００と端末装置７００とは、同一の装置であってもよい。
なお、本明細書では、「電子文書」の文言を用いるが、これは、テキストを含む「文書」を電子化したデータのみを意味するものではない。例えば、絵、写真、図形等の画像データ（ラスタデータかベクターデータかによらない）も含めて「電子文書」としている。
【００１８】
上述のシステムにおいて、印刷物５００の特定の箇所にペンデバイス６００でマーキングすることで所定のサービスを提供するには、印刷物５００上の特定の領域（以下「サービス領域」とする）について、決定する必要がある。
しかしながら、従来のシステムでは、電子文書を印刷するためのデータである印刷データが描画データだけである場合、描画データのみを用いてサービス領域を決定する必要があり、限定的であった。即ち、電子文書には、例えば、ＨＴＭＬ文書データのように、電子文書内に印刷されないメタ情報を保持しているものが多い。しかし、このようなメタ情報は、印刷データとなった段階では、印刷データの基となった電子文書と比較して、多くの部分が失われる。そのため、従来の技術では、メタ情報の利用については限定的な形態のものしか実現できていない。
なお、ここで、メタ情報の例としては、電子文書の一部にリンクと呼ばれる別のＨＴＭＬ文書データへの関連付けを行う参照情報等が挙げられる。このような参照情報が添付されていると、ウェブブラウザでリンクの貼られている文書の部分をクリックすることにより関連付けられるウェブサイトを表示することができる。
【００１９】
以上のことを、実際の電子文書と印刷データを対比することで、以下に説明する。
図２は、電子文書の一例としてのＨＴＭＬ文書のウェブブラウザ上での画面表示例を示したものである。
図２で、表示画面２０は、テキスト２１〜２７から構成されているウェブ画面である。このうちテキスト２１は、タイトルである。そして、テキスト２４には、別のウェブ画面へのリンクが貼られている。また、テキスト２５〜２６には、音声データへのリンクが張られている、また更に、テキスト２７には、電子メールアドレスへのリンクが貼られている。
図２に示した表示画面２０におけるウェブブラウザ上での動作を説明する。テキスト２４には、別のウェブ画面へのリンクが貼られているため、テキスト２４をマウスなどでクリックすると、別のウェブ画面が開く。また、テキスト２５〜２６には、それぞれ異なる音声データへのリンクが張られているため、マウスなどでクリックすることにより所定の音声データを再生し、音楽等を鳴らすことができる。また更に、テキスト２７には特定の電子メールアドレスへのリンクが貼られているため、マウスなどでクリックすることにより、電子メールプログラムを起動し、特定の電子メールアドレスに電子メールを送付することができる。
【００２０】
図３は、図２に示した表示画面２０を表示するためのＨＴＭＬ文書である。
このＨＴＭＬ文書３０は、各行で示されるテキストから構成される。ＨＴＭＬ文書３０の中で、テキスト３１は、図２において説明したテキスト２１に対応し、「第一中学校ホームページ」という描画オブジェクトを含む。また、テキスト３２は、図２において説明したテキスト２２に対応し、「音楽会のお知らせ」という描画オブジェクトを含む。そして、テキスト３３は、図２において説明したテキスト２３に対応し、「日時：１０月１日１０：００−」という描画オブジェクトを含む。また更に、テキスト３４は、図２において説明したテキスト２４に対応し、「場所：第一中学校体育館」という描画オブジェクトを含むと共に、これに付随して「ｈｔｔｐ：／／ｗｗｗ．ｄａｉｉｃｈｉ．ｊｕｎｉｏｒｈｉｇｈ．ｃｏｍ」へのリンクが貼られている。また更に、テキスト３５は、図２において説明したテキスト２５に対応し、「演奏曲１イントロ」という描画オブジェクトを含むと共に、「ｈｔｔｐ：／／ｗｗｗ．ｄａｉｉｃｈｉ．ｊｕｎｉｏｒｈｉｇｈ．ｃｏｍ／ｍｕｓｉｃ１．ｗａｖ」へのリンクが貼られている。そして、テキスト３６は、図２において説明したテキスト２６に対応し、「演奏曲２イントロ」という描画オブジェクトを含むと共に、「ｈｔｔｐ：／／ｗｗｗ．ｄａｉｉｃｈｉ．ｊｕｎｉｏｒｈｉｇｈ．ｃｏｍ／ｍｕｓｉｃ２．ｗａｖ」へのリンクが貼られている。更に、テキスト３７は、図２において説明したテキスト２７に対応し、「メールはこちらへ」という描画オブジェクトを含むと共に、「ｙｏｕｒｍａｉｌ＠ｄｏｍａｉｎ．ｃｏｍ」という電子メールアドレスへのリンクが貼られている。
【００２１】
このようなリンク機能を有することにより図２において説明を行った別のウェブ画面を開く、所定の音声データを再生する、特定の電子メールアドレスに電子メールを送付するような機能が実現できる。そして、このようなリンク機能は、「ｈｔｔｐ：／／ｗｗｗ．ｄａｉｉｃｈｉ．ｊｕｎｉｏｒｈｉｇｈ．ｃｏｍ」等のメタ情報の一例としての参照情報があるために実現することができる。
【００２２】
一方、図４は、印刷データの例を示している。印刷データは各行で示されるコマンドから構成される。このうち、コマンド４０の「ＳｔａｒｔＪｏｂ」は、ジョブ開始を示す制御コマンドであり、電子文書の所在を表すＵＲＬアドレスを含んでいる。コマンド４１の「ＳｔａｒｔＰａｇｅ」はページ開始を示す制御コマンドである。コマンド４２〜４７は、印刷コマンドであり、それぞれ図２のテキスト２２〜２７に対応する。また、コマンド４８の「ＥｎｄＰａｇｅ」はページ終了を示す制御コマンドであり、コマンド４９の「ＥｎｄＪｏｂ」はジョブ終了を示す制御コマンドである。コマンド４２〜４７には、テキスト２２〜２７を表示する位置を示す情報が含まれる。ここでは、かかる領域が通常矩形であることから、（左上Ｘ座標、左上Ｙ座標）−（右下Ｘ座標、右下Ｙ座標）の型式により表し、これを「矩形情報」と呼ぶことにする。また、コマンド４２〜４７におけるダブルコーテーションに囲まれた文字列は、左上座標と右下座標に囲まれた長方形領域に印刷される文字列である。ここではこの文字列を「印刷オブジェクト」と呼ぶことにする。なお、本実施の形態では簡単のために描画オブジェクトとして、文字描画オブジェクトを基にした印刷データを示すが、イメージ描画オブジェクトやグラフィックス描画オブジェクトを基にした印刷データであっても動作に問題はない。
【００２３】
図３および図４を比較すると印刷データの基となった電子文書には、多くのリンク機能を実現するための参照情報を有するが、印刷データとなった段階では失われていることがわかる。よって、このような参照情報に例示されるメタ情報を印刷後において利用することは、印刷データを基とする限りでは困難である。
【００２４】
そこで、本実施の形態では、印刷データの基となった電子文書を探索して取得し、電子文書における、描画オブジェクトに付随するメタ情報を解析し、印刷オブジェクトと印刷オブジェクトに対応する機能と印刷される媒体の識別情報及び位置情報との対応を保持するようにしている。
そして、このような対応を保持しておくことにより、ペンデバイス６００で媒体上の特定の位置を指定することで、その媒体の識別情報と位置情報から辿って印刷オブジェクトに対応する機能を実行することが可能となる。即ち、図１では、端末装置７００のディスプレイに電子文書とペンデバイス６００による軌跡が重ね合わせて表示されているが、本実施の形態のように印刷オブジェクト、印刷オブジェクトに対応する機能、媒体の識別情報、その媒体における印刷オブジェクトの位置情報を管理しておけば、媒体の識別情報と位置情報から辿って印刷オブジェクトに対応するサービス等の機能を実行し、処理結果等を端末装置７００のディスプレイに表示することも可能となる。
【００２５】
上述の機能を実現するために、本実施の形態では、画像処理装置１００が、印刷データの基となった電子文書の所在を探索して取得し、電子文書のメタ情報の解析を行い、描画オブジェクトと描画オブジェクトに対応する機能とを関連付けるための関連情報を作成し、印刷データ中の印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報を作成する。
以下、この画像処理装置１００の構成及び動作について説明する。
図５は、画像処理装置１００の機能構成を示した図である。
図示するように、画像処理装置１００は、印刷指示受付部１１と、文書ＰＤＬ生成部１２と、符号パターン画像生成部１３と、探索部１４と、関連情報作成部１５と、比較部１６と、登録指示部１７と、出力用ＰＤＬ生成部１８とを備えている。
【００２６】
印刷指示受付部１１は、ユーザからの印刷指示を受け付け、画像処理装置１００のメモリ内に読み込んである印刷データを取得し、文書ＰＤＬ生成部１２に受け渡すと共に、媒体の識別情報（以下、「媒体ＩＤ」という）を取得し、媒体内の位置情報を取得する。また同時に、符号パターン画像生成部１３に対し符号パターン画像の生成を指示する符号パターン画像生成指示を出力する。そして更に、探索部１４に印刷データを受け渡し、印刷データの基となった電子文書の所在を探索して取得する電子文書探索指示を出す。なお、この印刷指示受付部１１は、印刷データを取得する印刷データ取得手段として把握することができる。
【００２７】
文書ＰＤＬ生成部１２は、印刷指示受付部１１から渡された電子文書を、画像形成装置４００が画像形成を行うためのコマンド列からなるＰＤＬ（Page Description Language）ファイルである文書ＰＤＬファイルに変換する。
【００２８】
符号パターン画像生成部１３は、印刷指示受付部１１から符号パターン画像生成指示があると、後で詳述するフォーマットの符号パターン画像を生成し、色を指定して出力用ＰＤＬ生成部１８に出力する。
【００２９】
探索部１４は、印刷指示受付部１１から電子文書探索指示があると、同時に渡された印刷データまたはその付加情報から印刷データの基となった電子文書の探索をし、その電子文書を取得する。取得された電子文書は、関連情報作成部１５に受け渡される。
具体的な探索手段としては、例えば、電子文書名から電子文書の場所を推定し、探索を行う。また、電子文書名がＵＲＬを含む場合、電子文書がそのＵＲＬに存在すると推定し、探索を行う。他の方法として、電子文書名がオープンフォーマット文書の添え字を含むファイル名を含んでいる場合、このファイル名のファイルを画像処理装置１００のメモリから検索し、検索されたファイルのうち所定のアプリケーションプログラムによってオープンされているものを電子文書と推定し、探索を行う方法が考えられる。更に他の方法として、プリンタドライバ等のプログラムにより印刷時に電子文書入力ダイアログを表示し、ユーザが明示的に電子文書の場所を指定する方法も考えられる。
ここで、探索部１４は、媒体に印刷をするための印刷データの基となった電子文書の所在を探索し、取得する電子文書取得手段として把握することができる。
【００３０】
関連情報作成部１５は、探索部１４から受け渡された電子文書中のメタ情報を解析し、所定の描画オブジェクトとこの描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する。
具体的には、電子文書の中から所定のサービス等の機能に対応するメタ情報を抽出し、そのメタ情報に付随する描画オブジェクトを更に抽出する。そして、描画オブジェクトとそれに対応する機能とを関連付ける関連情報を作成する。
関連情報は、比較部１６に受け渡される。なお、関連情報作成部１５は、電子文書取得手段により取得された電子文書中の描画オブジェクトに付随するメタ情報の解析を行い、描画オブジェクトと描画オブジェクトに対応する機能とを関連付けるための関連情報を作成する関連情報作成手段として把握することができる。
【００３１】
比較部１６は、印刷データから所定の印刷オブジェクトを抽出し、この印刷オブジェクトが有する所定の情報と関連情報作成部１５により作成された関連情報とを比較し、一致した場合は、印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報を作成して、登録指示部１７に受け渡す。ここで、管理情報は、例えば、印刷オブジェクトに対応する所定のサービスを提供するためのリンク機能に関する参照情報である。あるいは、媒体の識別情報や、その媒体上で印刷オブジェクトが存在する領域の位置情報である。ここで、位置情報は、上述した矩形情報で表現することができる。
比較部１６は、印刷データ中の印刷オブジェクトが有する所定の情報を抽出し、関連情報作成手段により作成され関連情報と所定の情報とを比較する比較手段として把握することができる。
【００３２】
登録指示部１７は、印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報を図示しない登録部に登録する指示を出力する。登録部は、どこに設けられていてもよいが、例えば、画像処理装置１００の内部に設けられてもよく、ネットワークに接続された各装置等から共通にアクセス可能なコンピュータに設けてもよい。なお、登録指示部１７は、比較手段による比較結果から、媒体に印刷された印刷データ中の印刷オブジェクトと印刷オブジェクトに対応する機能とを関連付けるための管理情報の登録を指示する登録指示手段として把握することができる。
【００３３】
出力用ＰＤＬ生成部１８は、文書ＰＤＬ生成部１２から渡された文書ＰＤＬファイル内に、符号パターン画像生成部１３から渡された符号パターン画像及び色指定の情報をＰＤＬコマンドとして設定した出力用ＰＤＬ（電子文書に符号パターン画像を重畳するコマンドを付加したもの）を生成し、画像形成装置４００に出力する。なお、出力用ＰＤＬ生成部１８は、電子文書の画像と管理情報の画像との重畳画像の印刷を印刷機構に指示する指示手段として把握することができる。
【００３４】
なお、これらの機能は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、画像処理装置１００の図示しないＣＰＵが、印刷指示受付部１１、文書ＰＤＬ生成部１２、符号パターン画像生成部１３、探索部１４、関連情報作成部１５、比較部１６、登録指示部１７、出力用ＰＤＬ生成部１８の各機能を実現するプリンタドライバ等であるプログラムを、例えばハードディスク等の外部記憶装置からメインメモリに読み込んで、画像処理装置１００内にこれらの各機能を実現する。
【００３５】
次に、画像処理装置１００の動作について説明する。
まず、実際にユーザが操作を行い、種々の設定を行う画像処理装置１００の表示画面の説明を行う。なお、以下の説明では、上述した印刷指示受付部１１、文書ＰＤＬ生成部１２、符号パターン画像生成部１３、探索部１４、関連情報作成部１５、比較部１６、登録指示部１７、出力用ＰＤＬ生成部１８の各機能は、プリンタドライバが行うものとする。
【００３６】
電子文書を作成したアプリケーションプログラムは、このアプリケーションプログラムが動作するＯＳ（Operating System）に印刷指示を行う。そして、更にＯＳは、プリンタドライバに印刷データを渡して印刷指示を行う。
【００３７】
ユーザはあらかじめプリンタドライバの設定ダイアログでサービス領域の指定を行うかどうかを設定しておく。
図６は、プリンタドライバの設定ダイアログを表示した表示画面の一例である。
プリンタドライバの設定ダイアログ６０には、複数のタブが設けられており、そのうちサービスタブ６１をマウスでクリックする等により選択すると、図６の画面が表示される。
【００３８】
そして、サービス領域指定を行うチェックボックス６２を選択すると、サービスグループボックス６３の内容が指定できるようになる。サービスグループボックス６３には、ＵＲＬリンクチェックボックス６４と、音楽再生チェックボックス６５と、電子メール送信チェックボックス６６と、出力時確認を行うチェックボックス６７とが設けられている。ＵＲＬリンクチェックボックス６４を選択するとＵＲＬリンクが行われるサービス領域指定が行われるようになり、音楽再生チェックボックス６５を選択すると、音楽再生が行われるサービス領域指定が行われるようになり、電子メール送信チェックボックス６６をチェックすると、電子メール送信が行われるサービス領域指定が行われるようになる。また、出力時確認を行うチェックボックス６７の選択を解除しておくと、出力時の確認を行わずに自動生成されたサービス領域に対する符号パターン画像が、そのまま印刷される。
【００３９】
ここで、プリンタドライバの設定ダイアログで出力時確認を行うチェックボックス６７をチェックしていた場合は、サービス領域確認ダイアログを表示する。
図７は、サービス領域確認ダイアログを表示した表示画面の一例である。
図７に示したサービス領域確認ダイアログ７０は、プレビュー部７１と、サービス領域一覧表示部７２と、プレビューページ数表示部７３と、次ページボタン７４と、削除ボタン７５と、新規追加ボタン７６と、印刷ボタン７７から構成される。
【００４０】
プレビュー部７１には、印刷データを印刷した場合のプレビュー画面が表示される。そして、抽出された印刷オブジェクトに対応した部分にサービス領域７８ａ〜７８ｄとして網掛け表示が行われる。サービス領域一覧表示部７２にはサービス領域７８ａ〜７８ｄに対応する印刷オブジェクトの一覧が表示される。そして、記号表示部７９ａには網掛け表示の種類が、種別表示部７９ｂにはＵＲＬ、ＳＯＵＮＤ、Ｅ−ＭＡＩＬなどのサービス種別が、アドレス表示部７９ｃには種別がＵＲＬであればＵＲＬ文字列が、種別がＥ−ＭＡＩＬであれば電子メールアドレスが表示される。また現在の操作対象を示すカーソル枠８０が表示され、キーボードやマウスなどの操作により、表示されているサービス領域一覧のうち一つを選択するようにカーソル枠８０を上下に移動できるようになっている。この画面によりユーザは各ボタンやサービスカーソル枠８０を操作して、設定の確認や、削除・追加・変更などの編集を行うことができる。このような編集手段を備えることで、ユーザが、印刷オブジェクトと印刷オブジェクトに対応する機能との関連付けを選択することができる。
【００４１】
次に、印刷指示受付部１１、符号パターン画像生成部１３、関連情報作成部１５、比較部１６の動作についてフローチャートを用いて説明する。
まず、印刷指示受付部１１の動作について説明する。
図８は、印刷指示受付部１１の動作の流れを示したフローチャートである。
まず、印刷指示受付部１１は、印刷指示があるかどうかを監視する（ステップ１１１）。即ち、印刷指示がなければ、ステップ１１１を繰り返し、印刷指示があれば、印刷属性を取得する（ステップ１１２）。印刷属性には、用紙サイズ、向き、両面印刷等が含まれる。また、印刷指示には、印刷対象の電子文書を特定するための情報も含まれている。
次に、印刷指示受付部１１は、印刷される媒体を一意に識別する媒体ＩＤを取得する（ステップ１１３）。なお、媒体ＩＤは、所定のサーバコンピュータから発行してもらうことにより取得することができる。
【００４２】
また、用紙サイズや向きの情報に基づいて、媒体内の位置情報を生成し、媒体ＩＤとこの位置情報と色指定とを符号パターン画像生成部１３に伝えて符号パターン画像の生成を指示する（ステップ１１４）。ここで、色指定とは、符号パターン画像をどの色で印刷するかを指定する情報である。画像形成装置４００がイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、黒（Ｋ）、不可視（Ｉ）の５つの現像器を有していれば、不可視（Ｉ）で符号パターン画像を印刷すべき旨の情報である。一方、画像形成装置４００がイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、黒（Ｋ）の４つの現像器しか有しておらず、これらのいずれかの色が不可視（Ｉ）に置き換えられていれば、その置き換えられた色の指定である。これにより、符号パターン画像は、不可視（Ｉ）で印刷されることになる。
【００４３】
その後、印刷指示受付部１１は、印刷データをメモリから取り出し（ステップ１１５）、探索部１４に印刷データを渡して電子文書探索指示を出す。また、同時に比較部１６に印刷データを渡す。そして、最後に、文書ＰＤＬ生成部１２に対し印刷データを渡して文書ＰＤＬへの変換を指示する（ステップ１１６）。
【００４４】
次いで、符号パターン画像生成部１３の動作について説明する。
図９は、符号パターン画像生成部１３の動作の流れを示したフローチャートである。
まず、符号パターン画像生成部１３は、印刷指示受付部１１から符号パターン画像生成指示があるかどうかを監視する（ステップ１３１）。即ち、符号パターン画像生成指示がなければ、ステップ１３１を繰り返し、符号パターン画像生成指示があれば、識別符号を生成する（ステップ１３２）。
具体的には、電子文書が印刷される紙等の媒体の識別情報を所定の符号化方式により符号化する。この符号化には、例えば、既知の誤り訂正符号であるＲＳ（リードソロモン）符号やＢＣＨ符号を用いることができる。また、誤り検出符号として、位置情報のＣＲＣ（Cyclic Redundancy Check）やチェックサム値を計算し、それを冗長ビットとして付加することもできる。
そして、この符号化された識別情報を、符号パターン情報として埋め込む形式に変換する。例えば、第三者による解読が困難になるように、符号化された識別情報における各ビットの配置を、疑似乱数等により入れ替えたり暗号化したりすることができる。また、識別符号が２次元配置される場合は、ビット値を符号の配置と同様に２次元配置しておく。
【００４５】
次に、符号パターン画像生成部１３は、位置符号を生成する（ステップ１３３）。
具体的には、印刷される媒体のサイズに応じた位置情報を所定の符号化方式により符号化する。この符号化には、識別情報の符号化に使用したのと同様の方式を使用することができる。また、位置情報は、疑似雑音系列の一種であるＭ系列を利用して表すこともできる。ここで、Ｍ系列は、ｋ段の線形シフトレジスタで生成できる最大周期の系列であり、その周期は２ｋ−１である。また、Ｍ系列中の任意の位置から取り出した連続するｋビットの部分系列がＭ系列中に１度しか現われないという性質を持っている。この性質により、連続したｋビットの部分系列ごとに位置情報を対応させておけば、部分系列を検出することで位置情報を特定することができる。
そして、この符号化された位置情報を、符号パターン情報として埋め込む形式に変換する。例えば、第三者による解読が困難になるように、符号化された位置情報における各ビットの配置を、疑似乱数等により入れ替えたり暗号化したりすることができる。また、位置符号が２次元配置される場合は、ビット値を符号の配置と同様に２次元配置しておく。
【００４６】
その後、符号パターン画像生成部１３は、ステップ１３２で生成された識別符号及びステップ１３３で生成された位置符号を２次元に配置する（ステップ１３４）。このとき、識別符号は、位置によらず同じ符号が配置されるが、位置符号は、位置により異なる符号が配置される。
また、識別符号及び位置符号の各ビットに後述のパターン画像を割り当てることにより、符号パターン画像を生成する（ステップ１３５）。
【００４７】
ところで、符号画像は、この時点では２値の画像であるが、符号パターン画像生成部１３は、この符号パターン画像に対し色指定を行う（ステップ１３６）。即ち、符号パターン画像生成指示には色指定の情報も含まれているので、これを用いて色指定を行う。
そして、最後に、符号パターン画像生成部１３は、色指定がなされた符号パターン画像を出力用ＰＤＬ生成部１６に出力する（ステップ１３７）。
【００４８】
図１０は符号化された識別情報と位置情報である識別符号と位置符号の例である。
図１０に示した例では、データ長７２バイトのデータを符号化して埋め込む例を示している。
ここで挙げた例では、０バイト目〜４７バイト目に識別情報を符号化する。また、４８バイト目〜５９バイト目に位置情報のうち、Ｙ座標情報を符号化し、６０バイト目〜７２バイト目に位置情報のうち、Ｘ座標情報を符号化している。
【００４９】
次に、符号パターン画像生成部１３で生成され、印刷される符号パターン画像について説明する。
図１１（ａ）〜（ｃ）は、上述した符号パターン画像を説明するための図である。図１１（ａ）は、符号パターン画像を形成する符号パターン配列を模式的に示している。また、図１１（ｂ）は、図１１（ａ）における符号パターン配列の基本単位である符号ブロックを拡大して示した図である。更に、図１１（ｃ）は、符号ブロックを構成する単位符号パターンの具体的なパターンについて説明するための図である。
【００５０】
本実施の形態において、図１１（ａ）〜（ｃ）に示す符号パターン画像は、可視光領域（４００ｎｍ〜７００ｎｍ）における最大吸収率が例えば７％以下であり、近赤外領域（８００ｎｍ〜１０００ｎｍ）における吸収率が例えば３０％以上の不可視トナーによって形成される。また、この不可視トナーは、画像の機械読取りのために必要な近赤外光吸収能力を高めるために、平均分散径は１００ｎｍ〜６００ｎｍの範囲のものが採用される。ここで、「可視」及び「不可視」は、目視により認識できるかどうかとは関係しない。印刷された媒体に形成された画像が可視光領域における特定の波長の吸収に起因する発色性の有無により認識できるかどうかで「可視」と「不可視」とを区別している。また、可視光領域における特定の波長の吸収に起因する発色性が若干あるが、人間の目で認識し難いものも「不可視」に含める。
【００５１】
また、この符号パターン画像は、赤外光照射による機械読取りと復号化処理とが長期に亘って安定して可能で、且つ、情報が高密度に記録できる不可視画像で形成される。更に、画像を出力する媒体表面の可視画像が設けられた領域とは関係なく、任意の領域に設けることが可能な不可視画像であることが好ましい。更に、例えば、目視した際に光沢差によって認識できる不可視画像であることが更に好ましい。また、例えば、印刷される媒体の大きさに合わせて媒体面（紙面）の全面に不可視画像が形成される。但し、「全面」とは、用紙の四隅を全て含む意味ではない。電子写真方式等の装置では、通常、紙面の周囲は印刷できない範囲である場合が多いことから、かかる範囲には不可視画像を印刷する必要はない。
【００５２】
図１１（ｂ）において、符号ブロックは、５ブロック×５ブロックの合計２５ブロックの単位符号パターンで構成されている。各単位符号パターンは、図１１（ｃ）に示される縦３ドット、横３ドットの合計９ドットを配置可能な領域により形成され、ドット配置可能な領域に２ドットを配置するいわゆる９Ｃ２方式における符号パターンである。ここで、黒色の領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒色の領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。
より具体的には、配置可能な９ドットのうち２ドットを使用し、各単位符号パターンが１つの情報を表現する。この場合は、３６（＝９Ｃ２）通りの情報を表現することができる。このような方式を用いることで、可視画像に与えるノイズが極めて小さく、且つ、大量の情報を高密度にデジタル化して埋め込むことが可能な符号パターンを提供することが可能となる。
【００５３】
本実施の形態では、これらの単位符号パターンのうち、特定の単位符号パターンを情報パターンとして利用し、残りを同期パターンとして利用する。ここで、情報パターンとは、媒体に埋め込む情報を表現するパターンである。また、同期パターンとは、媒体に印刷された情報パターンを取り出すために用いられるパターンである。例えば、情報パターンの位置を特定したり、画像の回転を検出したりするために用いられる。
図１１（ｂ）に示した例では、図１１（ｂ）において黒色の領域で表した左上の１ブロックの単位符号パターンを使用し、同期パターンとしている。そして、画像の回転の検出のために４種類の単位符号パターンを同期パターンとして用意する必要がある。即ち、正立した同期パターン、右に９０度回転した同期パターン、右に１８０度回転した同期パターン、右に２７０度回転した同期パターンを用意する。
そして残りの２４ブロックを情報パターンとして利用する。そして、同期パターンの右の４ブロックに紙面上のＸ方向の座標を特定するＸ座標情報を表す情報パターンを配置し、同期パターンの下の４ブロックに紙面上のＹ方向の座標を特定するＹ座標情報を表す情報パターンを配置している。更に、これらの座標情報を表す情報パターンで囲まれた１６ブロックに、紙面又は紙面に印刷される文書の識別情報を表す情報パターンを配置している。そして、Ｘ座標情報を表す情報パターン領域とＹ座標情報を表す情報パターンには、それぞれ配置される場所により異なる位置情報が格納されている。一方、識別パターンを表す領域には、配置される場所によらず同じ識別情報が格納されている。
【００５４】
次いで、関連情報作成部１５の動作について説明する。
図１２は、関連情報作成部１５の動作の流れを示したフローチャートである。
まず、関連情報作成部１５は、探索部１４から、印刷データの基となった電子文書を受け取る（ステップ２０１）。この電子文書は、例えば、図３で説明したようなＨＴＭＬ文書である。
次に、電子文書を受け取れたかどうかを判断する（ステップ２０２）。電子文書を受け取れなかった場合は何もせず処理を終了し、受け取れた場合には、構文解析処理に移る。
構文解析処理は、まず、ＨＴＭＬ電子文書の先頭からＨＴＭＬヘッダを読み込み（ステップ２０３）、次にｂｏｄｙ開始タグを読み込む（ステップ２０４）。更に、次のタグを読み込む（ステップ２０５）。ここで、タグが、ａ開始タグであるか否かを判定する（ステップ２０６）。ａ開始タグであればｈｒｅｆ属性判定処理へ進み、そうでない場合は、このタグがｂｏｄｙ終了タグであるか否かを判定する（ステップ２１５）。ｂｏｄｙ終了タグであれば処理を終了し（ステップ２１５）、そうでなければ次のタグを読み込む（ステップ２０５）。
【００５５】
ｈｒｅｆ属性判定処理においては、まず、ｈｒｅｆ属性と、ａ開始タグからａ終了タグに囲まれた子要素を読み込む（ステップ２０７）。ｈｒｅｆ属性が図３のテキスト３４のようなＵＲＬへの参照情報であった場合は（ステップ２０８）、サービス種別を「ＵＲＬ」、アドレスをｈｒｅｆ属性中のＵＲＬとする（ステップ２０９）、また、ｈｒｅｆ属性が図３のテキスト３５，３６にあるような音声ファイルへの参照情報であった場合は（ステップ２１０）、サービス種別を「ＳＯＵＮＤ」、アドレスをｈｒｅｆ属性中の音声ファイルを示すＵＲＬとする（ステップ２１１）。また更に、ｈｒｅｆ属性が図３のテキスト３７のようなメールアドレスであった場合は（ステップ２１２）、サービス種別を「Ｅ−ＭＡＩＬ」、アドレスをｈｒｅｆ属性中のメールアドレスとする（ステップ２１３）。そして、サービス種別、アドレス、子要素を関連付けた組データとして関連情報とし（ステップ２１４）、次のタグを読み込む（ステップ２０５）。そして、ｈｒｅｆ属性が電子メールアドレスへの参照情報でもなかった場合（ステップ２１２）は、関連情報を作成せずに次のタグを読み込む（ステップ２０５）。
【００５６】
図１３は、以上のようにして作成された関連情報の一例を示す図である。
図１３に示した関連情報テーブルには、左側から子要素、サービス種別、アドレスがそれぞれ配置され、それぞれが、組データとなっている。
子要素は、メタ情報に付随する子要素である描画オブジェクトである。また、サービス種別は、本実施の形態の場合、「ＵＲＬ」、「ＳＯＵＮＤ」、「Ｅ−ＭＡＩＬ」のどれかの値をとる。また、アドレスには、サービス種別が、「ＵＲＬ」、「ＳＯＵＮＤ」である場合は、描画オブジェクトに対応する機能であるリンク機能に対応する参照情報であるＵＲＬが、またサービス種別が、「Ｅ−ＭＡＩＬ」である場合は、描画オブジェクトに対応する機能であるリンク機能に対応する参照情報であるメールアドレスが入ることになる。
【００５７】
次いで、比較部１６の動作について説明する。
図１４は、比較部１６の動作の流れを示したフローチャートである。
まず、比較部１６は、印刷指示受付部１１（図５参照）から印刷データを受け取る。また、関連情報作成部１５（図５参照）から、関連情報を受け取る。（ステップ３０１）。次に、図６のサービス領域指定を行うチェックボックス６２で設定されている指示に従って、サービス領域の指定を行うか否かの判定を行う（ステップ３０２）。サービス指定を行なわない場合は、そのまま終了する。サービス領域指定を行う場合は、図６で説明したような印刷データから、そのコマンドを先頭から取得する（ステップ３０３）。そして取得したコマンドが、ＳｔａｒｔＰａｇｅであるか否かを判定する（ステップ３０４）。コマンドがＳｔａｒｔＰａｇｅである場合には、図７で説明を行ったサービス領域確認ダイアログ７０のプレビュー部７１およびサービス領域一覧表示部７２を初期化し（ステップ３０５）、次のコマンドを取得する（ステップ３０３）、ＳｔａｒｔＰａｇｅでない場合は、コマンドがテキスト印刷コマンドであるかどうか判定する（ステップ３０６）。テキスト印刷コマンドである場合は、その印刷コマンドにより印刷される印刷オブジェクトの文字列が、上述した関連情報中の子要素と一致するか否かを判定する。（ステップ３０７）。一致する場合は、図７のサービス領域一覧表示部７２に追加表示を行い（ステップ３０８）、プレビュー部７１の該当する印刷オブジェクトの部分に網掛け描画を行う（ステップ３０９）。そして、再度次のコマンドを取得する（ステップ３０３）。また、一致しない場合は、次のコマンドを取得する（ステップ３０３）。
コマンドがテキスト印刷コマンドでない場合（ステップ３０６）、コマンドがＥｎｄＰａｇｅであるかどうかを判定する（ステップ３１０）。ＥｎｄＰａｇｅでない場合は、次のコマンドを取得する（ステップ３０３）。コマンドがＥｎｄＰａｇｅの場合、図７のサービス領域確認ダイアログ７０を表示したまま、ユーザの入力を待つ（ステップ３１１）。
【００５８】
ここで、ユーザが、サービス領域確認ダイアログ７０において、次ページボタン７４を押下した場合はその判定を行う（ステップ３１２）。次ページボタン７４が押下された場合で、現在のページが、最終ページでない場合は、次ページについてコマンドを取得する（ステップ３０３）。また、サービス領域確認ダイアログ７０においてユーザが削除ボタン７５を押下した場合は、その判定を行う（ステップ３１３）。削除ボタン７５が押下された場合は、カーソル枠８０で選択されているサービス領域をサービス領域一覧表示部７２から削除し、プレビュー部７１にも反映する（ステップ３１４）。また、ユーザが、新規追加ボタン７６を押下した場合はその判定を行う（ステップ３１５）。新規追加ボタン７６が押下された場合は、ユーザに、サービス種別、サービス領域、アドレスを入力させ、プレビュー部７１およびサービス領域一覧表示部７２への反映を行なう（ステップ３１６）。また、ユーザが、印刷ボタン７７を押下した場合は、その判定を行い（ステップ３１７）、以上のように、ユーザが確認、訂正を行った管理情報を登録指示部１７に送る（ステップ３１８）。
【００５９】
次に、上述のステップ３０７における印刷オブジェクトの文字列が、関連情報中の子要素と一致するか否かを判定する動作について更に詳細に説明する。
図１５は、印刷オブジェクトの文字列が、関連情報中の子要素と一致するか否かを判定する動作の流れを示したフローチャートである。
まず、印刷コマンド中にある印刷オブジェクトに対応するテキスト文字列を取得する（ステップ４０１）。次に、関連情報から組データを１つ取得する（ステップ４０２）。そして、印刷コマンドのテキスト文字列が組データの子要素を含むか否かを判定する（ステップ４０３）、含まない場合は、最後の組データであるか否かを判定し（ステップ４１３）最後の組データであれば終了し、最後の組データでなければ、次の組データを取得する（ステップ４０２）。
【００６０】
印刷コマンドのテキスト文字列が組データの子要素を含む場合は、組データのサービス種別が「ＵＲＬ」であるか否かの判定を行う（ステップ４０４）。サービス種別が「ＵＲＬ」であれば、図６で説明したＵＲＬリンクチェックボックス６４がチェックされているか否かの判定をし（ステップ４０５）、チェックがされていれば、一致と判定する（ステップ４０６）。
組データのサービス種別が、「ＵＲＬ」でなかった場合は、組データのサービス種別が、「ＳＯＵＮＤ」であるか否かの判定を行う（ステップ４０７）。サービス種別が「ＳＯＵＮＤ」であれば、図６で説明した音楽再生チェックボックス６５がチェックされているか否かの判定をし（ステップ４０８）、チェックがされていれば、一致と判定する（ステップ４０９）。
組データのサービス種別が、「ＳＯＵＮＤ」でなかった場合は、組データのサービス種別が、「Ｅ−ＭＡＩＬ」であるか否かの判定を行う（ステップ４１０）。サービス種別が「Ｅ−ＭＡＩＬ」であれば、図６で説明した電子メール送信チェックボックス６６がチェックされているか否かの判定をし（ステップ４１１）、チェックがされていれば、一致と判定する（ステップ４１２）。
【００６１】
また、図１６（ａ）〜（ｂ）は、登録指示部１７が登録を指示する管理情報を説明した図である。
図１６（ａ）は、管理情報の一例としての中間文書の構成を説明した図である。
図１６（ａ）に示した中間文書には、媒体ＩＤ、印刷データ、サービス領域データがそれぞれ配される。
ここで、サービス領域データは、例えば、図１６（ｂ）に示したような構成をとる。図１６（ｂ）に示したサービス領域データは、左側から左上座標、右下座標、サービス種別、アドレスの各データがそれぞれ配置される。ここで、左上座標、右下座標は、前述した矩形情報である。また、サービス種別は、本実施の形態の場合、「ＵＲＬ」、「ＳＯＵＮＤ」、「Ｅ−ＭＡＩＬ」のどれかの値をとる。また、アドレスには、サービス種別が、「ＵＲＬ」、「ＳＯＵＮＤ」である場合は、印刷オブジェクトに対応する機能であるリンク機能に対応する参照情報であるＵＲＬが、またサービス種別が、「Ｅ−ＭＡＩＬ」である場合は、印刷オブジェクトに対応する機能であるリンク機能に対応する参照情報であるメールアドレスが入ることになる。
【００６２】
なお、管理情報としては、上記の例に限られるものではない。
例えば、図１６（ａ）に挙げた例について、印刷データを省略する場合などが挙げられる。この場合、例えば、図１に挙げた文書リポジトリ２００で、管理情報を管理する場合を考えると、印刷データを文書リポジトリ２００に格納しないので、文書リポジトリ２００に大量の記憶領域を必要としないという利点がある。また、ネットワーク８００の負荷を減らすことができる。
【００６３】
出力用ＰＤＬ生成部１８は、文書ＰＤＬ生成部１２から送られた文書ＰＤＬに対し、符号パターン画像生成部１３から送られた符号パターン画像及び色指定の情報を用いて符号パターン画像重畳のためのＰＤＬコマンドを挿入することにより、出力用ＰＤＬを生成する。
そして、この出力用ＰＤＬを画像形成装置４００に送信することで、画像形成装置４００では、不可視トナーで符号パターン画像が印刷されることとなる。
【００６４】
本実施の形態では描画オブジェクトとして、テキスト文字列からなる文字描画オブジェクトを用いたが、ビットマップなどからなるイメージ描画オブジェクトや、グラフィックス描画オブジェクトを対象にしてもよい。この場合、印刷コマンドとの比較においては、イメージ描画オブジェクトであればビットマップのビット列等の比較を、グラフィックス描画オブジェクトであれば座標列の比較を行うことによって上述の場合と同様に処理できる。
【００６５】
また、電子文書で、例えば、ひらがな一文字など非常に短い単語に対してリンクが貼られている場合、実際にはリンクが貼られていないが、この文字を含んでいるほかの印刷オブジェクトに対してもサービス領域が設定されてしまう問題が発生する場合がある。このような場合は、一致するか否かを判定する際に前後の文字列や色、文書内に存在する個数などの他の特徴量を参照して同じかどうかを判別することが好ましい。また、サービス領域を設定するテキストの最低文字数を制限してもよい。
【００６６】
また、今まで詳述したユーザに提供するサービスは、所定のウェブ画面を表示する、音声データを再生する、電子メールソフトを起動する等を例に挙げ、説明したがこれに限られるものではない。
図１７は、ユーザに他のサービスを提供する場合の印刷物５００の一例である。
図１７に示した印刷物５００は、ｘｘホテルの予約依頼を行うためのものである。そして印刷物５００は、印刷オブジェクト９１〜９９が印刷されたものである。
これらの印刷オブジェクト９１〜９９は、入力部９４〜９８と予約するボタン９９を含む予約部品９１と、電話部品９２と、地図部品９３とから構成される。
【００６７】
ここで、図１８（ａ）に、予約部品９１に含まれている入力部９４〜９８としての印刷オブジェクトとその機能を対応させた管理情報を示す。また、図１８（ｂ）に、電話部品９２としての印刷オブジェクトとその機能を対応させた管理情報を示し、図１８（ｃ）に、地図部品９３としての印刷オブジェクトとその機能を対応させた管理情報を示す。
図１８（ａ）に示した管理情報は、左側から左上座標、右下座標、部品名、処理サーバのデータがそれぞれ配置される。ここで、左上座標、右下座標は、前述した矩形情報である。また、部品名は、本実施の形態の場合、各印刷オブジェクトに付けられる名前である。また、処理サーバには、印刷オブジェクトに対応する機能であるリンク機能に対応する参照情報のＵＲＬが入ることになる。
【００６８】
ここでユーザが、入力部９４〜９８にペンデバイス６００（図１参照）で記入すると、端末装置７００（図１参照）は、その印刷オブジェクトに対応した機能である処理サーバへの記入内容の送付を行う。対応する処理サーバは、アドレスの欄に記載されたＵＲＬの情報に基づいて決定することができる。
【００６９】
図１７および図１８（ａ）に示した例では、ユーザは月に関する入力部９４、日に関する入力部９５、泊数に関する入力部９６、氏名に関する入力部９７、連絡先に関する入力部９８にペンデバイス６００（図１参照）で記入すると、それぞれの記入内容が対応する処理サーバに送付される。次に予約するボタン９９にペンデバイス６００で接触すると、対応する処理サーバにおいて予約処理が行われる。このとき印刷物５００のみでは、予約結果がわからないが、例えば、予約結果を表示するボタンを別途付け、そのボタンにペンデバイス６００で接触すると、端末装置７００に予約状況のウェブ画面が表示されるようにしてもよい。
【００７０】
図１８（ｂ）〜（ｃ）に示した管理情報も、図１８（ａ）に示した例と同様に左側から左上座標、右下座標、部品名、処理サーバに関するデータがそれぞれ配置される。
ここでユーザが、電話部品９２にペンデバイス６００で接触すると、印刷オブジェクトである電話部品９２に対応した機能である電話をかけることができる。この場合、処理サーバの欄に記載されている電話番号に電話をかけることになる。
また更に、ユーザが、地図部品９３にペンデバイス６００で接触すると、印刷オブジェクトである地図部品９３に対応した機能である地図情報の表示を行う。地図情報は、処理サーバの欄に記載されたＵＲＬに基づいて呼び出すことができる。
【００７１】
上述した印刷オブジェクト９１〜９９は、イメージ描画オブジェクトまたはグラフィックス描画オブジェクトに対応した印刷オブジェクトとして捉えることができる。そして、電子文書中のこれらの描画オブジェクトに付随するメタ情報の解析を行い、描画オブジェクトと描画オブジェクトに対応する、宿泊予約をする、電話をかける、地図情報を表示する等の所定の機能とを関連付けた図１８（ａ）〜（ｃ）に挙げたような関連情報を作成することにより、図１８（ａ）〜（ｃ）に示したような管理情報を作成することができるため、上述したようなサービスをユーザに提供することができる。
【００７２】
次に、本実施の形態における印刷を指示する画像処理装置１００及び符号パターン画像を読み取るペンデバイス６００の具体的なハードウェア構成について説明する。
まず、ペンデバイス６００について説明する。
【００７３】
図１９は、ペンデバイス６００の機構を示した図である。
図示するように、ペンデバイス６００は、ペン全体の動作を制御する制御回路６０１を備える。また、制御回路６０１は、入力画像から検出した符号パターン画像を処理する画像処理部６０１ａと、そこでの処理結果から管理情報等を抽出するデータ処理部６０１ｂとを含む。
そして、制御回路６０１には、ペンデバイス６００による筆記動作をペンチップ６０９に加わる圧力によって検出する圧力センサ６０２が接続されている。また、媒体上に赤外光を照射する赤外ＬＥＤ６０３と、画像を入力する赤外ＣＭＯＳ６０４も接続されている。更に、管理情報等を記憶するための情報メモリ６０５と、外部装置と通信するための通信回路６０６と、ペンを駆動するためのバッテリ６０７と、ペンの識別情報（ペンＩＤ）を記憶するペンＩＤメモリ６０８も接続されている。
【００７４】
ペンデバイス６００により取得した情報は、端末装置７００（図１参照）に送信される。情報が、ＵＲＬである場合は端末装置７００に内蔵された図示しないモデム部からインターネット上のそのＵＲＬの情報を取得し、端末装置７００の表示部に表示する。取得した情報が音声ファイルを示すＵＲＬである場合は、端末装置７００に内蔵された図示しないモデム部からインターネット上のそのＵＲＬから音声データを取得し、端末装置７００に内蔵された図示しないスピーカによりその音声データを再生する。また、取得した情報が電子メールのアドレスだった場合は、端末装置７００に内蔵された標準メールソフトを起動する。
【００７５】
また、画像処理装置１００にて実現される処理、及び、図１８の画像処理部６０１ａ又はデータ処理部６０１ｂにて実現される処理は、例えば、汎用のコンピュータで実現してもよい。そこで、かかる処理をコンピュータ９００で実現するものとし、コンピュータ９００のハードウェア構成について説明する。
【００７６】
図２０は、コンピュータ９００のハードウェア構成を示した図である。
図示するように、コンピュータ９００は、演算手段であるＣＰＵ（Central Processing Unit）９０１と、記憶手段であるメインメモリ９０２及び磁気ディスク装置（ＨＤＤ：Hard Disk Drive）９０３とを備える。ここで、ＣＰＵ９０１は、ＯＳ（Operating System）やアプリケーションプログラム等の各種ソフトウェアを実行し、上述した各機能を実現する。また、メインメモリ９０２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置９０３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
更に、コンピュータ９００は、外部との通信を行うための通信Ｉ／Ｆ９０４と、ビデオメモリやディスプレイ等からなる表示機構９０５と、キーボードやマウス等の入力デバイス９０６とを備える。
【００７７】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【図面の簡単な説明】
【００７８】
【図１】本実施の形態が適用されるシステムの構成の一例を示したものである。
【図２】電子文書の一例としてのＨＴＭＬ文書のウェブブラウザ上での画面表示例を示したものである。
【図３】図２に示した表示画面を表示するためのＨＴＭＬ文書である。
【図４】印刷データの例を示している。
【図５】画像処理装置の機能構成を示した図である。
【図６】プリンタドライバの設定ダイアログを表示した表示画面の一例である。
【図７】サービス領域確認ダイアログを表示した表示画面の一例である。
【図８】印刷指示受付部の動作の流れを示したフローチャートである。
【図９】符号パターン画像生成部の動作の流れを示したフローチャートである。
【図１０】符号化された識別情報と位置情報である識別符号と位置符号の例である。
【図１１】符号パターン画像を説明するための図である。
【図１２】関連情報作成部の動作の流れを示したフローチャートである。
【図１３】関連情報の一例を示す図である。
【図１４】比較部の動作の流れを示したフローチャートである。
【図１５】描画オブジェクトの文字列が、関連情報中の子要素と一致するか否かを判定する動作の流れを示したフローチャートである。
【図１６】登録指示部が登録を指示する管理情報を説明した図である。
【図１７】ユーザに他のサービスを提供する場合の印刷物の一例である。
【図１８】管理情報を説明した図である。
【図１９】ペンデバイスの機構を示した図である。
【図２０】コンピュータのハードウェア構成を示した図である。
【符号の説明】
【００７９】
１１…印刷指示受付部、１２…文書ＰＤＬ生成部、１３…符号パターン画像生成部、１４…探索部、１５…関連情報作成部、１６…比較部、１７…登録指示部、１８…出力用ＰＤＬ生成部、１００…画像処理装置、２００…文書リポジトリ、４００…画像形成装置、５００…印刷物、６００…ペンデバイス、７００…端末装置
【図１】
0005386845.tif 000002
【図２】
0005386845.tif 000003
【図３】
0005386845.tif 000004
【図４】
0005386845.tif 000005
【図５】
0005386845.tif 000006
【図６】
0005386845.tif 000007
【図７】
0005386845.tif 000008
【図８】
0005386845.tif 000009
【図９】
0005386845.tif 000010
【図１０】
0005386845.tif 000011
【図１１】
0005386845.tif 000012
【図１２】
0005386845.tif 000013
【図１３】
0005386845.tif 000014
【図１４】
0005386845.tif 000015
【図１５】
0005386845.tif 000016
【図１６】
0005386845.tif 000017
【図１７】
0005386845.tif 000018
【図１８】
0005386845.tif 000019
【図１９】
0005386845.tif 000020
【図２０】
0005386845.tif 000021