(57)【要約】【課題】電子化された手書きアノテーションの共有を容易化する。【解決手段】スキャナ１８により生成された入力画像データから、ＩＤ検出装置２０がファイルＩＤを取得し、文書取得装置がオリジナル画像データを読み出す。そして、画像差分装置２４は、入力画像データとオリジナル画像データとの差分画像データを生成する。アノテーション抽出装置２８は、差分画像データに含まれる各アノテーションを分離し、浮型判定部３０は各アノテーションを、特定箇所を指示する形態が含まれる場合には浮型として分類する。バックエンド３８は、文書ストレージ３６に格納されたオリジナル画像データに基づく画像に対し、アノテーションを合成して表示する。浮型のアノテーションは、表示位置が変更されても特定箇所を指し示すように表示される。【選択図】図１
2006277167.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに対し、
入力画像データと基準画像データの比較に基づいて、入力画像データに含まれる手書きアノテーションデータを抽出する抽出手順と、
アノテーションの形態を判別する処理を行って、抽出された手書きアノテーションデータをそのアノテーションの形態に基づいて複数種類に分類する分類手順と、
を実行させる、ことを特徴とするアノテーションデータ処理プログラム。
【請求項２】
請求項１に記載のアノテーションデータ処理プログラムにおいて、
分類手順においては、手書きアノテーションデータにかかるアノテーションの中に入力画像データにかかる画像の特定箇所を指示する形態が含まれるか否か判別し、含まれる場合にはその手書きアノテーションデータを浮型に分類するとともに、その特定箇所の位置情報を示す特定箇所データを生成する、ことを特徴とするアノテーションデータ処理プログラム。
【請求項３】
請求項２に記載のアノテーションデータ処理プログラムにおいて、
前記コンピュータに対し、基準画像データにかかる画像上に、浮型と判断された手書きアノテーションデータに基づくアノテーションを表示する手順であって、書込位置を当初の書込位置から変更して手書きアノテーションデータにかかるアノテーションの一部または全部を表示するとともに、特定箇所データに基づいてこのアノテーションを特定箇所と結合させる表示を行う表示手順を実行させる、ことを特徴とするアノテーションデータ処理プログラム。
【請求項４】
請求項３に記載のアノテーションデータ処理プログラムにおいて、
表示手順においては、当初のアノテーションから特定箇所を指示する形態を取り除いたアノテーションが表示される、ことを特徴とするアノテーションデータ処理プログラム。
【請求項５】
請求項３に記載のアノテーションデータ処理プログラムにおいて、
表示手順においては、当初の書込位置が基準画像データにかかる画像の表示範囲外である場合に、表示範囲内へ書込位置が変更されてアノテーションが表示される、ことを特徴とするアノテーションデータ処理プログラム。
【請求項６】
請求項３に記載のアノテーションデータ処理プログラムにおいて、
表示手順においては、複数の手書きアノテーションデータにかかるアノテーションの当初の各書込位置が重複する場合に、重複を回避するように少なくとも一つのアノテーションの書込位置が変更されてアノテーションが表示される、ことを特徴とするアノテーションデータ処理プログラム。
【請求項７】
請求項３に記載のアノテーションデータ処理プログラムにおいて、
表示手順においては、当初の書込位置が基準画像データにかかる画像の非空白領域と重複する場合に、重複を回避するように書込位置が設定されてアノテーションが表示される、ことを特徴とするアノテーションデータ処理プログラム。
【請求項８】
請求項３に記載のアノテーションデータ処理プログラムにおいて、
表示手順においては、ユーザ入力により新たな書込位置が受け付けられ、既表示されたアノテーションが新たな書込位置に移動されて再表示されるとともに、既表示された特定箇所と結合させる表示が新たな書込位置に追従して再表示される、ことを特徴とするアノテーションデータ処理プログラム。
【請求項９】
請求項１に記載のアノテーションデータ処理プログラムにおいて、
分類手順においては、手書きアノテーションデータにかかるアノテーション中にそのアノテーションの公開許可を示す形態または公開不許可を示す形態が含まれるか否かの判別に基づいて分類が行われる、ことを特徴とするアノテーションデータ処理プログラム。
【請求項１０】
請求項１に記載のアノテーションデータ処理プログラムにおいて、
前記コンピュータに対し、
入力画像データの画像処理に基づいて、各入力画像データにかかる各ユーザ名を特定するユーザ特定手順と、
分類手順において分類された手書きアノテーションデータの一部または全部をユーザ特定手順により特定されたユーザ名と対応づけて保存する保存手順と、
ユーザ入力により表示対象となる一人または複数人のユーザ名を受け付けて、これらのユーザ名と対応づけて保存された手書きアノテーションデータに基づいてアノテーションを表示する又は表示しないユーザ表示手順と、
を実行させる、ことを特徴とするアノテーションデータ処理プログラム。
【請求項１１】
入力画像データと基準画像データの比較に基づいて、入力画像データに含まれる手書きアノテーションデータを抽出する抽出手段と、
アノテーションの形態を判別する処理を行って、抽出された手書きアノテーションデータをそのアノテーションの形態に基づいて複数種類に分類する分類手段と、
を備える、ことを特徴とするアノテーションデータ処理装置。
【請求項１２】
コンピュータが実行する方法であって、
入力画像データと基準画像データの比較に基づいて、入力画像データに含まれる手書きアノテーションデータを抽出する抽出手順と、
アノテーションの形態を判別する処理を行って、抽出された手書きアノテーションデータをそのアノテーションの形態に基づいて複数種類に分類する分類手順と、
を含む、ことを特徴とするアノテーションデータ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、用紙に手書きされたアノテーションを電子的に処理する技術、特に、アノテーションをその形態に応じて処理する技術に関する。
【背景技術】
【０００２】
文書や図面などの書類に対しては、しばしば、メモや記載修正などのアノテーションが書き込まれる。こうした手書きのアノテーションは、一般に、個人的にのみ利用される。しかし、書類の性質や書き込みの目的によっては、他の者と共有して利用したい場合がある。例えば、会議においてスクリーン表示されるプレゼンテーション用の資料が用紙に印刷して配布され、会議の参加者がこの用紙にアノテーションを書き込むような状況では、参加者間でアノテーションを共有できる利点は大きい。
【０００３】
アノテーションに関連した文献としては、下記特許文献１乃至４を挙げることができる。下記特許文献１には、用紙をスキャンし、用紙に貼られた付箋紙部分をアノテーションとして認識する技術が開示されている。しかし、この文献では、手書きのアノテーションは処理対象となっていない。また、下記特許文献２には、マルチメディア議事録の作成を行う技術が記載されている。しかし、この技術では、メモ書きを手書きではなく電子的に生成することを想定している。
【０００４】
なお、下記特許文献３には、印刷テキスト行と手書きアノテーションを分離する方法が開示されている。この技術は、手書きのアノテーションを抽出する際に適用しうる要素技術の一つである。同様の要素技術としては、下記特許文献４の記載、すなわち、元文書データとの差分に基づいて改訂文書データを格納する技術を挙げることができる。しかし、この文献には、アノテーションの形態に基づく処理についての記載はない。
【０００５】
【特許文献１】特開２０００−２２２３９４号公報
【特許文献２】特開２００３−３７６７７号公報
【特許文献３】特開２００２−３１９０２５号公報
【特許文献４】特開２００４−１１２５２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
手書きのアノテーションの共有は、一つには、書類をスキャンして書類上の手書きアノテーションを電子化して取り扱うことで実現される。しかし、手書きアノテーションは、多様な形態、大きさ、書込位置などをもっており、電子入力されたアノテーションに比べて取り扱いが難しい。
【０００７】
このため、手書きアノテーションは、従来、参加者それぞれが個別に管理していたに過ぎず、効果的な共有は行われてこなかった。例えば、上述した会議の資料などの場合、アノテーションは用紙の余白部分に書かれることが多く、スキャンした書類のスクリーン表示にあたっては、書類に記された元文書を縮小表示しなければアノテーションを表示することができない。また、こうした会議の資料などの場合、複数の参加者によって別々の用紙に同時進行的にアノテーションが記載されることになる。このため、スキャンにより複数の独立したファイルが存在し、これらが有機的に結びつけられないため、各自のアノテーションを合理的に参加者間で共有することが難しかった。さらに、共有にあたっては、私的に記載したアノテーションを公開したくない場合の対応技術が十分に確立していなかった。
【０００８】
本発明の目的は、電子化された手書きアノテーションの共有を容易化する技術を確立することにある。
【０００９】
本発明の別の目的は、電子化された手書きアノテーションを、ベースとなった書類の画像とともに見やすい態様で表示する新たな技術を実現することにある。
【００１０】
本発明のさらに別の目的は、電子化された手書きアノテーションを、共有する場合に、個人のプライバシを保護することにある。
【課題を解決するための手段】
【００１１】
本発明のアノテーションデータ処理プログラムは、コンピュータに対し、入力画像データと基準画像データの比較に基づいて、入力画像データに含まれる手書きアノテーションデータを抽出する抽出手順と、アノテーションの形態を判別する処理を行って、抽出された手書きアノテーションデータをそのアノテーションの形態に基づいて複数種類に分類する分類手順と、を実行させる。
【００１２】
コンピュータは、パソコンをはじめとする演算機能を備えたハードウエアを用いて構成される。アノテーションデータ処理プログラムは、このコンピュータの動作の一部を制御することで、コンピュータに所定の手順を実行させるソフトウエアである。
【００１３】
抽出手順においては、入力画像データと基準画像データが比較される。入力画像データは、手書きアノテーションが含まれていると推定される画像データであり、典型的には、用紙をスキャンすることで生成される。したがって、入力画像データは一般にはラスタ形式で記述されているが、形式変換を受けるなどしてベクトル形式他の画像形式で記述されていてもよい。基準画像データは、手書きアノテーションが含まれていない（として扱われる）画像データであり、例えば、入力画像データにかかる用紙の生成に用いられた画像データや、手書きアノテーションが書かれていない用紙をスキャンして生成された画像データがこれに相当する。基準画像データの記載形式は、入力画像データと同様特に限定されるものではない。手書きアノテーションデータは、入力画像データと基準画像データの差分をとるなどして抽出されるデータである。抽出にあたっては、比較位置合わせやノイズ除去などの処理が適宜行われる。
【００１４】
分類手順では、抽出された手書きアノテーションデータが示すアノテーションの形態を判別する処理が行われる。アノテーションの形態とは、アノテーションに含まれる文字、図形、記号などの形状あるいは色により表現されるパターンを指す。また、アノテーションの形態の判別は、画像のパターン認識などの処理により行われる。この判別する処理では、少なくともアノテーション中の特徴的パターンが判別され、予め設定された基準に基づいて複数の種類に分類される。典型的には、分類された手書きアノテーションデータの一部または全部はコンピュータ内外の記憶装置に保存される。
【００１５】
この態様によれば、入力画像データから手書きアノテーションが抽出され、少なくとも二つの種類に分類される。分類の基準を様々に設定することで、表示、保存、解析などを行うべきアノテーションとそれ以外のアノテーションとに分類したり、表示形式、保存形式、解析形式を区別したりすることが可能になる。これにより、例えば多数の手書きアノテーションが存在する場合にその表示、保存、解析などの取り扱いを容易化したり、見やすい表示を実現したりすることができるようになる。
【００１６】
本発明のアノテーションデータ処理プログラムの一態様においては、分類手順においては、手書きアノテーションデータにかかるアノテーションの中に入力画像データにかかる画像の特定箇所を指示する形態が含まれるか否か判別し、含まれる場合にはその手書きアノテーションデータを浮型に分類するとともに、その特定箇所の位置情報を示す特定箇所データを生成する。すなわち、入力画像データが表現する画像の特定範囲や特定点などの特定箇所を指示する形状パターンが含まれているか否かが判別される。そして、含まれる場合にはその手書きアノテーションデータを「浮型」と仮に名付けるカテゴリに分類するとともに、その特定箇所の範囲や点についての位置情報を示す特定箇所データを生成する。「浮型」のアノテーションは、特定箇所と対応づけられて記載されている点に特徴がある。したがって、表示、保存、解析などの処理においては、全てのアノテーションを一律に処理せず、「浮型」のアノテーションであるか否かを考慮して取り扱うことが好ましい。本態様の技術は、この処理を可能とするものである。
【００１７】
本発明のアノテーションデータ処理プログラムの一態様においては、前記コンピュータに対し、基準画像データにかかる画像上に、浮型と判断された手書きアノテーションデータに基づくアノテーションを表示する手順であって、書込位置を当初の書込位置から変更して手書きアノテーションデータにかかるアノテーションの一部または全部を表示するとともに、特定箇所データに基づいてこのアノテーションを特定箇所と結合させる表示を行う表示手順を実行させる。特定箇所と結合させる表示とは、典型的には、直線、曲線、矢印など、両者の間を連続的に繋ぐ線パターンを指す。ただし、表示するアノテーションの数が少ない場合など混乱が生じにくい状況では、両者に与えた色や記号などの共通パターンに基づいて両者を結合させることも有効である。
【００１８】
本発明のアノテーションデータ処理プログラムの一態様においては、表示手順においては、当初のアノテーションから特定箇所を指示する形態を取り除いたアノテーションが表示される。すなわち、書込位置を変更して表示する場合には、一般に、当初与えられていた特定箇所を指示する形態は不要なものとなる。そこで、この形態を取り除いて見やすさを向上させることとした。
【００１９】
本発明のアノテーションデータ処理プログラムの一態様においては、表示手順においては、当初の書込位置が基準画像データにかかる画像の表示範囲外である場合に、表示範囲内へ書込位置が変更されてアノテーションが表示される。当初の書き込み位置が表示範囲外となる例としては、入力画像データにかかる用紙に書き込み用の大きな設けられた余白が設けられ、ここにアノテーションが書き込まれている場合や、入力画像データにかかる用紙はＮ−ｕｐによる印刷がなされ、各ページの範囲外にアノテーションが書き込まれている場合が挙げられる。なお、ここでは、特定箇所は表示範囲内に設定されていることを想定している。
【００２０】
本発明のアノテーションデータ処理プログラムの一態様においては、表示手順においては、複数の手書きアノテーションデータにかかるアノテーションの当初の各書込位置が重複する場合に、重複を回避するように少なくとも一つのアノテーションの書込位置が変更されてアノテーションが表示される。重複の有無は、書込位置の比較を行うことで検出可能である。重複する例としては、別々に作成された入力画像データにかかる各手書きアノテーションを同時に表示する場合が挙げられる。
【００２１】
本発明のアノテーションデータ処理プログラムの一態様においては、表示手順においては、当初の書込位置が基準画像データにかかる画像の非空白領域と重複する場合に、重複を回避するように書込位置が設定されてアノテーションが表示される。この態様は、基準画像データにかかる画像の非空白領域（空白領域）の検出を行い、重複の有無を検出することで実施可能である。
【００２２】
本発明のアノテーションデータ処理プログラムの一態様においては、表示手順においては、ユーザ入力により新たな書込位置が受け付けられ、既表示されたアノテーションが新たな書込位置に移動されて再表示されるとともに、既表示された特定箇所と結合させる表示が新たな書込位置に追従して再表示される。すなわち、ユーザがマウスなどの入力手段を通じて既に表示されたアノテーションをドラッグするような場合に、特定箇所との結合が維持されるように表示が行なわれる。
【００２３】
本発明のアノテーションデータ処理プログラムの一態様においては、分類手順においては、手書きアノテーションデータにかかるアノテーション中にそのアノテーションの公開許可を示す形態または公開不許可を示す形態が含まれるか否かの判別に基づいて分類が行われる。この判別は、あらかじめ公開許可（公開不許可）を示す形態の判別パターンを設定しておくことで実施することができる。手書きアノテーションを書き込む者は、この判別パターンに従った書き込みを行うことで、公開許可あるいは公開不許可を制御することができる。不許可の側に分類されたアノテーションに対しては、公開がなされないための処理が行われる。データの削除はその最も単純な例である。また、その入力画像データの所有ユーザ情報を取得して、そのユーザにのみアクセス権を与えるようにしてもよい。この態様によれば、個人のプライバシと、情報共有における利便性とを両立させることが可能となる。
【００２４】
本発明のアノテーションデータ処理プログラムの一態様においては、前記コンピュータに対し、入力画像データの画像処理に基づいて、各入力画像データにかかる各ユーザ名を特定するユーザ特定手順と、分類手順において分類された手書きアノテーションデータの一部または全部をユーザ特定手順により特定されたユーザ名と対応づけて保存する保存手順と、ユーザ入力により表示対象となる一人または複数人のユーザ名を受け付けて、これらのユーザ名と対応づけて保存された手書きアノテーションデータに基づいてアノテーションを表示する又は表示しないユーザ表示手順と、を実行させる。このユーザ特定手順によるユーザ特定は画像処理に基づくため操作者の負担を軽減できる効果があるが、負担をいとわなければ、例えば、別途操作者からユーザ名の入力を受け付けてユーザ特定を行ってもよい。また、この態様は、分類手順を行わない場合にも適用可能である。
【００２５】
本発明のアノテーションデータ処理装置は、入力画像データと基準画像データの比較に基づいて、入力画像データに含まれる手書きアノテーションデータを抽出する抽出手段と、アノテーションの形態を判別する処理を行って、抽出された手書きアノテーションデータをそのアノテーションの形態に基づいて複数種類に分類する分類手段と、を備える。
【００２６】
本発明のアノテーションデータ処理方法は、コンピュータが実行する方法であって、入力画像データと基準画像データの比較に基づいて、入力画像データに含まれる手書きアノテーションデータを抽出する抽出手順と、アノテーションの形態を判別する処理を行って、抽出された手書きアノテーションデータをそのアノテーションの形態に基づいて複数種類に分類する分類手順と、を含む。
【発明を実施するための最良の形態】
【００２７】
以下に本発明の実施の形態について説明する。ここでは、会議における利用態様を例に挙げて説明する。
【００２８】
図１は、本実施の形態にかかる装置構成を示す概略図である。この図には、主たる構成として、コンピュータシステム１０、ユーザ４０、及び、配布資料４２，４６が記されている。コンピュータシステム１０は、パソコン及び周辺機器からなるハードウエア群と、その動作を制御するソフトウエア（プログラム）によって構成されている。ユーザ４０は、会議の参加者であり、このコンピュータシステム１０の操作及び利用を行う者である。また、配布資料４２は、コンピュータシステム１０により出力される書類であり、会議においてユーザ４０に配布される。ユーザ４０は、この配布資料４２に対し、アノテーションを加えて配布資料４６を作成する。配布資料４６は、コンピュータシステム１０により読み込まれて電子的に処理される。
【００２９】
コンピュータシステム１０は、フロントエンド１２を備えている。フロントエンド１２は、典型的には、表示装置とユーザ入力装置を含むハードウエアと、表示装置に表示されユーザ入力装置からの入力により操作されるＧＵＩ（グラフィカルユーザインタフェース）などによって構成される。
【００３０】
配布資料生成装置１４は、フロントエンド１２を通じたユーザ指示やプログラミングに基づいて動作する装置であり、予め入力されたプレゼン用の画像データ（ファイル）を変換し、印刷用画像データを生成する。変換においては、オリジナルの画像データの複数ページが１ページにまとめられる処理（いわゆるＮ−ｕｐ処理され）、予め会議の参加者が特定されている場合に各参加者名とチェックボックスを付加する処理、あるいは、生成される印刷用画像データ（オリジナル画像データ）のファイル名やページ番号等を特定するファイルＩＤの付加処理などを行うことができる。配布資料生成装置１４は、生成した印刷用画像データをプリンタ１６に送り、配布資料４２を印刷させる。
【００３１】
配布資料４６に書き込んだアノテーションの電子化を行いたい場合、ユーザ４０は、配布資料４６をスキャナ１８にかけて、入力画像データを生成させる。生成された入力画像データは、ＩＤ検出装置２０、文書取得装置２２、画像差分装置２４によって次々と処理されていく。すなわち、まず、ＩＤ検出装置２０が生成された入力画像データからファイルＩＤを検出し、文書取得装置２２がＩＤ検出装置２０により検出されたファイルＩＤに基づいて印刷用画像データを取得する。この印刷用画像データはアノテーションが含まれない基準画像データであり、一方、入力画像データはアノテーションが含まれたデータである。そこで、画像差分装置２４は、印刷用画像データと入力画像データとの差分をとり、書き込まれたアノテーション群を表示する差分画像データを生成する。また、ユーザ検出装置２６は、入力画像データにおける参加者名とチェックボックスが記された欄におけるチェックを読み取って、いずれのユーザの配布資料４６にかかる入力画像データであるかを判別する。
【００３２】
アノテーション抽出装置２８は、画像差分装置２４から差分画像データを取得し、ユーザ検出装置２６からユーザ検出結果を取得する。そして、差分画像データをユーザと対応づけるとともに、差分画像データを元に各アノテーションを抽出する処理を行う。アノテーションの抽出は、画像解析処理、例えば、差分画像データに含まれる画像パターンをクラスタ毎に分離する処理により行うことができる。アノテーション抽出装置２８には、アノテーションの形態に基づいてアノテーションの種類分けを行うための浮型判定部３０と非公開型判定部３２が設けられている。浮型判定部３０は、抽出したアノテーションが特定箇所を指し示す記号を含む浮型であるか否かを判定し、非公開型判定部３２は、抽出したアノテーションに非公開を指示する記号が含まれるか否かを判定する。判定によりカテゴリ分けされた各アノテーションのデータは、アノテーションストレージ３４に格納される。
【００３３】
アノテーションストレージ３４は、ハードディスク等の記憶装置を用いて構成されている。また、記憶装置には、オリジナル画像データや印刷用画像データを格納した文書ストレージ３６も形成されている。記憶装置に格納されたこれらの画像データは、バックエンド３８によって読み取られる。バックエンド３８は、アノテーションストレージ３４及び文書ストレージ３６に蓄積された各データに基づき表示を行う装置であり、フロントエンド１２からの指示に基づいて、オリジナル画像データにかかる画像上にアノテーションを表示する。
【００３４】
ここで、図２のフローチャートを用いて、コンピュータシステム１０の動作の流れを説明する。会議にあたり、ユーザ４０は、フロントエンド１２を操作して、配布資料４２の印刷を実行する（Ｓ１０）。配布資料４２は、会議においてディスプレイ（液晶ディスプレイや投影スクリーンなど）に表示されるプレゼンテーション用の資料を紙媒体に印刷したものである。プレゼンテーション用の資料は、別途ユーザ４０によりコンピュータシステム１０に入力され、文書ストレージ３６にオリジナル画像データとして格納されている。配布資料４２においては、通常、オリジナル画像データの複数（Ｎ）のページを１ページにまとめるＮ−ｕｐ印刷が行われ、また、アノテーション書き込み用の大きな余白が設けられる。また、配布資料４２には、オリジナル画像データあるいはそれがまとめられた印刷用画像データを示すためのファイルＩＤと、アノテーションを書き込む者を特定するための参加者チェックボックスが設けられている（Ｓ１２）。
【００３５】
会議において、ユーザ４０は、各自の手元の配布資料４２に記載内容修正やメモ等を目的としたアノテーションを書き込んだり、自分の名前が記載された参加者チェックボックスにチェックを行ったりして配布資料４６を生成する。そして、会議終了時や会議中の適当なタイミングで配布資料４６をスキャナ１８にかけ、入力画像データを生成させる（Ｓ１４）。
【００３６】
ＩＤ検出装置２０は、入力画像データからファイルＩＤを読み取り、対応する印刷用画像データを示すファイル名やファイルにおけるページ番号を検出する（Ｓ１６）。文書取得装置２２は、この検出結果に基づいて、文書ストレージ３６から印刷用画像データを取得する（Ｓ１８）。そして、画像差分装置２４は、印刷用画像データと入力画像データの差分を演算し、差分画像データを生成する（Ｓ２０）。また、ユーザ検出装置２６は、入力画像データの参加者チェックボックスのチェックからアノテーションを書き込んだユーザを検出する（Ｓ２２）。
【００３７】
アノテーション抽出装置２８は、差分画像データから各アノテーションデータを抽出し（Ｓ２４）、さらに、浮型判定部３０や非公開型判定部３２がアノテーションの形態に基づいてアノテーションの型を判定する。分類されたアノテーションデータは、アノテーションストレージ３４に、ユーザ名や印刷用画像データを特定する情報などとともに格納される（Ｓ２６）。
【００３８】
ユーザ４０は、フロントエンド１２から指令を行って、格納されたアノテーションデータを適宜参照することができる。この場合、バックエンド３８が、文書ストレージ３６から印刷用画像データを構成した個々のオリジナル画像データと、アノテーションストレージ３４に格納されたアノテーションデータに基づいて画像を合成し、フロントエンド１２に表示する（Ｓ２８）。
【００３９】
続いて、図３〜図１１を用いて、以上に示した処理を具体例を挙げて詳細に説明する。図３は、図１に示した配布資料４２の具体例を示す図である。配布資料４２は、用紙５２上に作成されている。その上部には、「FileA.ppt_1-2」のようにファイルＩＤ５４が記載されており、この配布資料４２が、ファイル名「FileA.ppt」で特定されるオリジナル画像データの「1-2」ページにより生成された印刷用画像データから印刷されたことを示している。また、用紙５２には、この２ページのオリジナル画像データに対応したプレゼン資料５６，５８が２−ｕｐ印刷されている。そして、用紙５２の下部には、「山本」「佐藤」「渡辺」の名が記された参加者チェックボックス６０が設けられている。用紙５２の右側に拡がる余白６２は、アノテーションの書き込みの便宜を考慮して設けられたものである。
【００４０】
図４は、図３に示した配布資料４２にアノテーションが書き込まれ、スキャナ１８により読み込まれて作成された入力画像データ７０（が示す画像）を示す図である。入力画像データ７０の用紙領域７２の中に、ファイルＩＤ５４、プレゼン資料５６，５８及び参加者チェックボックス６０の各データが含まれている。
【００４１】
この入力画像データ７０と図３に示した配布資料４２との違いは、アノテーション７４，８０及びチェック８６が記されている点である。アノテーション７４は、プレゼン資料５６の「佐藤」の後ろ部分から余白６２に伸びる指示線７６と、余白６２部分に書かれた「私も」の書込文字７８からなる。つまり、このアノテーション７４は、その記入者が「’０４年特許戦略」のメンバの中に自分が記載されていないことを指摘する内容となっている。また、アノテーション８０は、プレゼン資料５８の「○動向」の記載上に二重線で記された訂正線８４とその横に書かれた「やめる」との書込文字８２からなる。つまり、このアノテーション８０は、「Ａ戦略」として立てられた「動向」についての方針が会議の結果とりやめられたことを示している。チェック８６は、「渡辺」に相当するチェックボックスに記されており、このアノテーションが渡辺氏によって作成されたことを示している。
【００４２】
図５は、ファイルＩＤ５４によって特定されるオリジナル画像データ群９０を示している。文書取得装置２２は、ファイルＩＤ５４に基づいて、文書ストレージ３６から、配布資料４２を印刷する際に用いられたこの二つのオリジナルプレゼン資料９２，９４（あるいは、これらが組み合わされた印刷用画像データ）を取得する。オリジナルプレゼン資料９２，９４は、図３及び図４におけるプレゼン資料５６，５８にそれぞれ対応する画像データである。
【００４３】
図６は、差分画像データ１００の例を示している。この差分画像データ１００は、画像差分装置２４において、図４の入力画像データ７０から図５のオリジナル画像データ群９０を差し引いて得られた画像データである。すなわち、用紙領域１０２上に、指示線７６と書込文字７８とからなるアノテーション７４、及び、書込文字８２と訂正線８４とからなるアノテーション８０が記されている。なお、図４に示したチェック８６はこの差分画像データには含まれていない。これは、参加者チェックボックス６０が記載された領域が、アノテーション抽出の対象外とされているためである。もちろん、必要に応じて、全用紙領域１０２をアノテーション抽出対象とすることができる。
【００４４】
差分画像データ１００に含まれたアノテーション７４，８０は、アノテーション抽出装置２８によって分離及び分類処理される。分離は、ここでは画像パターンのかたまりに基づいて行われる。図６に示したクラスタ１０４，１０６は、孤立した画像パターンが含まれる領域を示しており、画像解析においてはこのかたまりを認識することで分離が行われる。また、浮型か否かの分類が形態に基づいて行われている。図６に示した指示線７６は、特定箇所を示す黒丸７６ａ、そこから伸びる引き出し線７６ｂ、及び、引き出し線７６ｂの側に記された書込文字７８の組み合わせパターンからなる形態を有しており、浮型として判定されることとなる。
【００４５】
図７は、アノテーション抽出装置２８の動作の詳細を説明するフローチャートである。アノテーション抽出装置２８は、差分画像データ１００に含まれる複数のアノテーションデータを、図６に示したクラスタ１０４，１０６を抽出することで分離する（Ｓ４０）。そして、抽出した各アノテーションデータについて、その表示位置を特定するための座標データである表示基準座標を検出する（Ｓ４２）。
【００４６】
続いて、浮型判定部が、各アノテーションデータについて、浮型か固定型かの判定を行う（Ｓ４４）。この判定は、アノテーションが予め設定された形態を有するか否かに基づいて、特定箇所（領域を含む）を指し示してコメント等がなされているアノテーションを検出するものである。例えば、図６に示したアノテーション７４における特定箇所を示す黒丸７６ａ、そこから伸びる引き出し線７６ｂ、及び、引き出し線７６ｂの側に記された書込文字７８の組み合わせは、書込文字７８が黒丸７６ａの箇所について言及していることを指すものと言える。そこで、このような形態を判定基準として設定しておくことで、アノテーション７４は浮型に分類される。一方、アノテーション８０は、訂正線８４の領域を指す浮型であると判定することも可能であるが、ここではそのような判定基準が設定されておらず固定型に分類されるものとする。分類された各アノテーションデータは、分類の態様に応じてアノテーションストレージ３４に保存される（Ｓ４６）。
【００４７】
図８は、アノテーションストレージ３４に格納された格納アノテーションデータ１１０を示す図である。格納アノテーションデータ１１０は、複数の項目に整理されて保存されている。図示した例では、ユーザ１１２、ファイル１１４、ページ１１６、座標１１８、タイプ１２０及びアノテーション１２２の各項目が設けられて、二つのデータ１３０，１３２が保存されている。例えば、データ１３０に関しては、「渡辺」氏が書き込んだものであること、「FileA.ppt」のファイルの「１」ページに記されたオリジナル画像データについて書き込まれたものであること、書込位置の基準座標は「（１１２，５０）」であること、「浮」型に分類されていることを示す各データが保存さている。そして、アノテーション１２２の項目に示した「私も」に対応する画像データが、この項目と対応づけられた別ファイルに格納されている。このアノテーション１２２の項目の画像データに指示線７６が含まれていないのは、表示の際には指示線７６に代わって特定箇所を示すパターンが別途表示されることによる。データ１３２についても同様にデータの格納が行われている。ただし、このデータ１３２は「固」定型に分類されており、アノテーション１２２の項目に格納された画像データには、「＝＝やめる」のように文字以外の記号部分も含まれている。
【００４８】
図９は、バックエンド３８による表示処理の流れを示すフローチャートである。フロントエンド１２から表示の指令を受けたバックエンド３８は、文書ストレージ３６から表示対象となるオリジナル画像データを読み出すとともに、格納アノテーションデータ１１０を参照して、このオリジナル画像データに付与されたアノテーションデータを検索する。そして、オリジナル画像データに基づく画像に、アノテーションの存在を示すアイコン及び書き込みユーザを示すアイコンを合成して、フロントエンド１２に表示する（Ｓ６０）。
【００４９】
ユーザは、アイコンに対応したアノテーションを見たい場合、マウスによりそのアイコンをクリックする（Ｓ６２）。すると、バックエンド３８は、アイコンにかえて対応するアノテーションを表示する（Ｓ６４）。ユーザは、アノテーションをドラッグすることで移動指示を行うことができる（Ｓ６６）。この時、アノテーションが浮型である場合には、バックエンド３８は、アノテーションが指し示す特定箇所は固定して、書込文字等だけを移動させる（Ｓ６８）。
【００５０】
図１０は、浮型のアノテーションの表示例を示す図である。図１０（ａ）においては、表示画面１４０に、プレゼン資料１４２の画像が表示されている。そして、この画像には、アノテーション表示アイコン１４４とユーザ表示アイコン１４６も表示されている。これら二つのアイコンは、「渡辺」により記載されたアノテーションが存在することを示すものである。この図１０（ａ）の状態においてユーザがアノテーションアイコン１４４をクリックした場合、図１０（ｂ）に示す表示が行われる。
【００５１】
図１０（ｂ）においては、アノテーション表示アイコン１４４に代わって、アノテーション１４８が表示されている。また、ユーザ表示アイコン１４６のチェックボックスにチェックが入っており、表示されているアノテーション１４８が「渡辺」により書き込まれたものであることを示している。アノテーション１４８は、プレゼン資料１４２上の空白領域に重ねて表示されている。図４に示した当初のアノテーション７４では余白６２に書込文字７８が書かれていたが、これでは表示範囲から外れてしまうため、プレゼン資料１４２上に移動が行われたものである。また、このアノテーション１４８は、特定箇所１５０を指し示す指示領域１５２と「私も」という書き込み文字が記された書込表示領域１５４とからなる。つまり、図４に示した当初のアノテーション７４において特定箇所を表示していた指示線７６の代わりに、設定された矢印形状パターンからなる指示領域１５２によって特定箇所１５０が示されている。この結果、アノテーション１４８は、当初位置から移動されたにもかかわらず、当初と同じ特定箇所１５０を指し示すことができている。
【００５２】
浮型のアノテーション１４８をこのように表示した場合には、ユーザ指示に基づく移動も簡単に行えるようになる。図１０（ｂ）に波線で示したように、ユーザがアノテーション１４８を移動してアノテーション１６０とした場合、書込表示領域１６４は指示通りに移動するが、指示領域１５２は依然として当初の特定箇所１５０を指し示し続ける。このため、移動したアノテーション１６０が何について言及するものであるかを依然として的確に把握することができる。
【００５３】
図１１は、固定型のアノテーションの表示例を示す図である。図１１（ａ）においては、図１０（ａ）の場合と同様に、表示画面１４０上にプレゼン資料１７０の画像が表示され、さらに、アノテーション表示アイコン１７２とユーザ表示アイコン１７４も合成して表示されている。
【００５４】
図１１（ｂ）は、図１１（ａ）におけるアノテーション表示アイコン１７２をクリックされた場合の表示を示している。ここでは、アノテーション表示アイコン１７２に代わって、アノテーション１７６が表示されている。また、ユーザ表示アイコン１７４のチェックボックスにチェックが入っており、表示されているアノテーション１７６が「渡辺」により書き込まれたものであることを示している。アノテーション１７６は、固定型であり、また、当初からプレゼン資料１７０内に書かれていたため、図６に示したアノテーション８０と同じ位置に同じ態様で記されている。
【００５５】
次に、図１２を用いて、浮型に分類されるアノテーションの例を示す。図１２（ａ）に示したアノテーション７４は、図６で説明したものであり、前述の通り、特定箇所を示す黒丸７６ａと引き出し線７６ｂからなる指示線７６、及び、書込文字７８からなる。図１２（ｂ）に示したアノテーション１９０も浮型に分類される典型例である。このアノテーション１９０は、先端の矢１９２ａ及び引き出し線１９２ｂからなる矢印線１９２、及び、書込文字７８からなる。この場合にも、書込文字７８は矢１９２ａが表す特定箇所について言及することが明らかであり、通常は浮型として処理される。なお、矢１９２ａが書込文字７８側に付けられた場合にも、通常は同様に浮型として判定される。図１２（ｃ）に示したアノテーション２００は、特定の点ではなく特定の領域を指し示す浮型アノテーションの例である。このアノテーション２００は、特定箇所を表現する丸囲み２０２ａとそこから伸びる引き出し線２０２ｂとからなる指示線２０２、及び、引き出し線２０２ｂの他端側に記載された書込文字７８とからなる。したがって、通常は、丸囲み２０２ａで示された特定箇所を示す浮型として扱われる。
【００５６】
どのようなパターンを浮型の判定基準とするかは、ユーザが適宜設定することができる。また、浮型のアノテーションを有効に活用するため、書込を行う者は、あらかじめ、どのような判定基準に基づいて分類されるかを把握しておくことが特に望ましい。
【００５７】
最後に、図１３を用いて、非公開型判定部３２が行う非公開判定について説明する。非公開型判定は、書き込んだアノテーションのうち、他のユーザに公開してもよいアノテーションと公開したくないアノテーションとを分類するための判定である。ユーザは、公開したくない（したい）アノテーションに対し判定基準に従って非公開（公開）を指示する形態を付与することで、そのアノテーションの非公開（公開）を実現することができる。
【００５８】
図１３（ａ）と図１３（ｂ）は、非公開を命じる形態の例を示す図である。図１３（ａ）においては、通常のアノテーション８０の周囲に、二重線からなる四角いアノテーション２１０が付与されている。非公開型判定部３２は、この四角い二重線からなるアノテーション２１０を検出した場合には、その内部のアノテーション８０は公開対象外であると判定する。図１３（ｂ）では、通常のアノテーション８０の周囲がアノテーション２２０によって囲まれている。このアノテーション２２０は、四角い一重線２２４と、その左上角に重ねられた×印２２２からなる。非公開型判定部３２は、このアノテーション２２０を検出した場合には、その内部のアノテーション８０を公開対象外であると判定する。
【００５９】
以上に示した態様によれば、会議において各自が書類に記載したアノテーションを、コンピュータシステム１０によって一括管理することができる。これにより、例えば、発表者の発言に対してコメントを、自分の手書きのアノテーションを表示しながら行うことが可能となる。また、会議を振り返る際に、プレゼンテーション用の資料と同時に各参加者のアノテーションを見ることが可能となる。また、各自のアノテーションを、あたかもアンケートに対する回答であるかのようにして扱うことで、参加者の意見収集を図ることもできるようになる。
【００６０】
なお、ここでは、一般の会議を念頭において説明を行ったが、参加者が一カ所に集合して行う会議だけでなく、電子会議、つまり、参加者がいる複数拠点間を通信設備を用いて結合して行う会議にも適用することも有効である。この場合には、プリンタやスキャナを各拠点に分散配置することで、通常の会議と同様の効果を得ることができる。
【図面の簡単な説明】
【００６１】
【図１】本実施の形態の装置構成例を示すブロック図である。
【図２】全体的な処理の流れを示すフローチャートである。
【図３】印刷された配布資料の例を示す図である。
【図４】スキャンにより生成された入力画像データの例を示す図である。
【図５】オリジナル画像データ群の例を示す図である。
【図６】差分画像データの例を示す図である。
【図７】アノテーションデータの抽出処理の流れを示すフローチャートである。
【図８】格納されたアノテーションデータの例を示す図である。
【図９】アノテーションの表示処理の流れを示すフローチャートである。
【図１０】浮型アノテーションの表示態様を示す図である。
【図１１】固定型アノテーションの表示態様を示す図である。
【図１２】浮型アノテーションに分類される形態を示す図である。
【図１３】非公開型アノテーションに分類される形態を示す図である。
【符号の説明】
【００６２】
１０  コンピュータシステム、１２  フロントエンド、１４  配布資料生成装置、１６  プリンタ、１８  スキャナ、２０  ＩＤ検出装置、２２  文書取得装置、２４  画像差分装置、２６  ユーザ検出装置、２８  アノテーション抽出装置、３０  浮型判定部、３２  非公開型判定部、３４  アノテーションストレージ、３６  文書ストレージ、３８  バックエンド、４０  ユーザ、４２，４６  配布資料。
【図１】
2006277167.tif 000003
【図２】
2006277167.tif 000004
【図３】
2006277167.tif 000005
【図４】
2006277167.tif 000006
【図５】
2006277167.tif 000007
【図６】
2006277167.tif 000008
【図７】
2006277167.tif 000009
【図８】
2006277167.tif 000010
【図９】
2006277167.tif 000011
【図１０】
2006277167.tif 000012
【図１１】
2006277167.tif 000013
【図１２】
2006277167.tif 000014
【図１３】
2006277167.tif 000015