(57)【要約】【課題】印刷物に物理的にユーザが描画した付加情報を複数の装置間で共有可能とすること。【解決手段】情報処理装置は、ユーザが画像に対して付した付加情報を検出し、その画像を識別するための識別子であって画像に識別画像として含まれる識別子を取得し、他の装置が送信した識別子と取得された識別子とが対応する場合、検出された付加情報を他の装置へ提供する。【選択図】  図７
2017022499.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置であって、
ユーザが画像に対して付した付加情報を検出する検出手段と、
前記画像を識別するための識別子であって当該画像に識別画像として含まれる識別子を取得する取得手段と、
他の装置が送信した識別子と前記取得手段により取得された識別子とが対応する場合、前記検出手段により検出された付加情報を当該他の装置へ提供する提供手段と、
を有することを特徴とする情報処理装置。
【請求項２】
１つの画像から取得される前記付加情報と前記識別子とが互いに関連付けられて保持される、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記他の装置が送信した識別子と前記取得手段により取得された識別子とが対応する場合であっても、当該他の装置のユーザと、前記付加情報の内容との少なくともいずれかに基づいて、前記付加情報の送信を行わないように前記提供手段を制御する制御手段をさらに有する、
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
１つの画像から取得された前記付加情報と前記識別子とを関連付けて保持する保持手段と、
前記他の装置から識別子を受信する受信手段と、
をさらに有することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記検出手段によって検出された前記付加情報と、前記取得手段によって取得された前記識別子とを、１つの画像から取得された前記付加情報と前記識別子とを関連付けて保持する保持手段へ送信する送信手段をさらに有し、
前記提供手段は、前記保持手段を介して、前記他の装置へ前記付加情報を提供する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項６】
１つの画像に対して、第１のユーザが付した付加情報であって前記情報処理装置を用いて検出された第１の付加情報と、第２のユーザが付した付加情報であって前記情報処理装置を用いて検出された第２の付加情報とが、前記１つの画像から取得された同じ前記識別子に関連付けられると共に、それぞれ異なるユーザを特定する情報に関連付けられて保持される、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項７】
情報処理装置であって、
画像を識別するための識別子であって当該画像に識別画像として含まれる識別子を、当該画像から取得する取得手段と、
取得した前記識別子に対応する付加情報を他の装置に要求する要求手段と、
前記他の装置から前記識別子に対応する前記付加情報であって、前記識別子により識別される他の画像に付された前記付加情報を受信する受信手段と、
受信した前記付加情報を前記画像と合成して表示する表示手段と、
を有することを特徴とする情報処理装置。
【請求項８】
前記受信手段は、前記付加情報と、当該付加情報に対応する前記識別子とを受信し、
前記表示手段は、前記取得手段が取得した識別子と前記受信手段が受信した識別子とが一致する場合に、受信した前記付加情報を前記画像と合成して表示する、
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記取得手段は、前記画像を撮影することにより、当該画像に含まれる前記識別画像を取得して、当該識別画像に対応する前記識別子を取得する、
ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記画像は印刷物であり、同じ内容の印刷物には同じ前記識別画像が含められて印刷される、
ことを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記付加情報は前記印刷物に対してユーザが書き込んだ情報を含む、
ことを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
請求項１から１１のいずれか１項に記載の情報処理装置と、
前記画像を形成する画像形成装置と、
を含むことを特徴とする情報処理システム。
【請求項１３】
前記画像形成装置は、前記付加情報の共有機能が有効である場合にのみ、前記識別画像を含む前記画像を形成する、
ことを特徴とする請求項１２に記載の情報処理システム。
【請求項１４】
前記画像形成装置は、形成する対象の内容が同じ場合には、同じ前記識別画像を含めて、前記画像を形成する、
ことを特徴とする請求項１２又は１３に記載の情報処理システム。
【請求項１５】
前記画像形成装置は、
形成した画像の履歴を当該画像の識別子と関連付けて記憶する記憶手段と、
前記履歴からのユーザによる選択を受け付ける受付手段と、
を有し、
選択された前記履歴に対応する前記識別子に関連付けられた前記画像を、当該画像から当該識別子を取得することができるように、形成する、
ことを特徴とする請求項１２から１４のいずれか１項に記載の情報処理システム。
【請求項１６】
情報処理装置の制御方法であって、
検出手段が、ユーザが画像に対して付した付加情報を検出する検出工程と、
取得手段が、前記画像を識別するための識別子であって当該画像に識別画像として含まれる識別子を取得する取得工程と、
提供手段が、他の装置が送信した識別子と前記取得工程において取得された識別子とが対応する場合、前記検出工程において検出された付加情報を当該他の装置へ提供する提供工程と、
を有することを特徴とする制御方法。
【請求項１７】
情報処理装置の制御方法であって、
取得手段が、画像を識別するための識別子であって当該画像に識別画像として含まれる識別子を、当該画像から取得する取得工程と、
要求手段が、取得した前記識別子に対応する付加情報を他の装置に要求する要求工程と、
受信手段が、前記他の装置から前記識別子に対応する前記付加情報であって、前記識別子により識別される他の画像に付された前記付加情報を受信する受信工程と、
表示手段が、受信した前記付加情報を前記画像と合成して表示する表示工程と、
を有することを特徴とする制御方法。
【請求項１８】
情報処理装置に備えられたコンピュータに、
ユーザが画像に対して付した付加情報を検出する検出工程と、
前記画像を識別するための識別子であって当該画像に識別画像として含まれる識別子を取得する取得工程と、
他の装置が送信した識別子と前記取得工程において取得された識別子とが対応する場合、前記検出工程において検出された付加情報を当該他の装置へ提供する提供工程と、
を実行させるためのプログラム。
【請求項１９】
情報処理装置に備えられたコンピュータに、
画像を識別するための識別子であって当該画像に識別画像として含まれる識別子を、当該画像から取得する取得工程と、
取得した前記識別子に対応する付加情報を他の装置に要求する要求工程と、
前記他の装置から前記識別子に対応する前記付加情報であって、前記識別子によって識別される他の画像に付された前記付加情報を受信する受信工程と、
受信した前記付加情報を前記画像と合成して表示する表示工程と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に付加された情報を共有する手法に関する。
【背景技術】
【０００２】
電子端末を用いた会議システムなどにおいて、同一の資料を複数のユーザで共有する機能が要求されることがある。これに対し、複数の情報処理装置で、サーバ上の同一の電子資料を表示し、資料に対して電子的に追加描画した情報を共有可能とする技術がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−０５４８８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、資料を紙にプリントして直接書き込むなどの作業をした場合に、その書き込んだ内容を共有するための手法については何ら検討されていなかった。
【０００５】
本発明は上記課題に鑑みなされたものであり、画像に付加された付加情報を、複数の装置間で共有可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る情報処理装置は、ユーザが画像に対して付した付加情報を検出する検出手段と、前記画像を識別するための識別子であって当該画像に識別画像として含まれる識別子を取得する取得手段と、他の装置が送信した識別子と前記取得手段により取得された識別子とが対応する場合、前記検出手段により検出された付加情報を当該他の装置へ提供する提供手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、画像に付加された付加情報を複数の装置間で共有可能となる。
【図面の簡単な説明】
【０００８】
【図１】情報処理システムの構成例を示す図。
【図２】各装置のハードウェア構成例を示すブロック図。
【図３】ＭＦＰの機能構成例を示す図。
【図４】ＨＭＤの機能構成例を示す図。
【図５】付加情報群のデータ構成例を示す図。
【図６】ＭＦＰが実行する処理の例を示すフローチャート。
【図７】複数のＨＭＤ間の処理の例を示すシーケンス図。
【図８】付加情報の送信側のＨＭＤの処理例を示すフローチャート。
【図９】付加情報の受信側のＨＭＤの処理例を示すフローチャート。
【図１０】付加情報の表示イメージを示す図。
【図１１】ＭＦＰが実行する処理の別の例を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明の実施の形態について詳細に説明する。なお、以下に示される実施形態は一例に過ぎず、本発明は以下の説明で示された構成に限定されない。
【００１０】
＜＜実施形態１＞＞
（システム構成）
本実施形態では、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）と、ＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｒｉｎｔｅｒ）とを含む情報処理システムについて説明する。なお、本システムでは、ＨＭＤは情報処理装置として機能し、ＭＦＰは複数のＨＭＤが参照する画像を形成する画像形成装置として機能する。
【００１１】
本システムは、例えば、図１に示すように、ＭＦＰ１０１と、ＨＭＤ１０２及び１０３とを含んで構成される。ＨＭＤ１０２及び１０３は、ネットワーク１０４を介して相互に通信を行う。ネットワーク１０４は、有線と無線とのいずれで構成されてもよいし、一部が有線で構成され、残りの一部が無線で構成されてもよい。また、無線通信は、無線ＬＡＮのインフラストラクチャモードやセルラ通信など、基地局を含む構成で実現されてもよいし、そのような基地局を含まない構成によって実現されてもよく、また、任意の無線通信プロトコルが用いられうる。有線通信は、例えばメタル回線、光回線のいずれが用いられてもよく、回線の対称性や用いられる通信プロトコルはどのようなものであってもよい。なお、ＭＦＰ１０１は、ＨＭＤ１０２及び１０３と接続されている必要はないが、印刷画像データなどがＭＦＰ１０１とＨＭＤ１０２及び１０３との間で共有される場合には、これらの機器が、例えばネットワーク１０４を介して、互いに接続されてもよい。
【００１２】
本実施形態において、ＭＦＰ１０１は、付加情報共有の対象となる原稿を印刷出力などによって形成する。ここで、ＭＦＰ１０１は、印刷出力する原稿を特定するための識別子（例えばマーカ）を、その原稿に付与して印刷処理を行う。ＨＭＤ１０２及び１０３は、ＭＦＰ１０１が出力した画像を撮影して、撮影対象となっている原稿を特定する識別子を抽出する。そして、例えば、ＨＭＤ１０２は、識別子によって特定された原稿に対してＨＭＤ１０２のユーザが例えばペンなどで物理的に書き込むことで付加した情報（付加情報）を抽出して、ＨＭＤ１０３へ送信する。同様に、ＨＭＤ１０３は、識別子によって特定された原稿に対してＨＭＤ１０３のユーザが付加した情報（付加情報）を検出して、ＨＭＤ１０２へ送信する。これにより、例えば、ＨＭＤを装着した複数のユーザのそれぞれが自身が有する資料に個別に書き込んだ内容を、その資料に付された識別子に応じて、複数のＨＭＤ間で共有することができる。
【００１３】
（各機器のハードウェア構成例）
次に、各装置の構成について説明する。図２（ａ）は、ＭＦＰ１０１のハードウェア構成例を示すブロック図である。ＭＦＰ１０１は、そのハードウェア構成として、例えば、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、プリント処理部２０４、スキャン処理部２０５、通信部２０６、操作部２０７、表示部２０８、及び記憶部２０９を含んで構成される。
【００１４】
ＣＰＵ２０１は、ＭＦＰ１０１全体を制御する中央演算ユニットであり、ＭＦＰ１０１の処理シーケンスを統括的に制御する。後述するフローチャートに係る処理を実行するためのプログラムや固定データはＲＯＭ２０２に格納され、データの一時保存やプログラムのロードにはＲＡＭ２０３が使用される。
【００１５】
プリント処理部２０４は、例えば、インクジェット方式やレーザー方式のプリンタデバイスを含み、プリンタデバイス制御と画像データの印刷処理とを行う。スキャン処理部２０５は、スキャナデバイスを含み、制御と原稿の読み取り処理とを行う。読み取った画像データは、プリント処理部２０４による印刷や、通信部２０６による外部機器への送信等に用いられる。また、通信部２０６は、外部から印刷ジョブなどのデータを受信し、受信データを例えばプリント処理部２０４へ受け渡すことによって、その受信データの内容に基づいて印刷処理などを実行させうる。操作部２０７は、ＭＦＰ１０１に対するボタン操作やタッチパネルによるユーザからの入力を受け付ける。表示部２０８は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示用ディスプレイを有し、ＭＦＰ１０１の処理内容に応じた画像やテキストデータ等の表示を行う。記憶部２０９は、データを格納すると、ＭＦＰ１０１の電源がオフとされた状態であってもそのデータを保持しておくことが可能であり、格納されたデータがＭＦＰ１０１の再起動後に読み出し可能となるように構成される。
【００１６】
図２（ｂ）は、ＨＭＤ１０２のハードウェア構成例を示すブロック図である。ここでのＨＭＤとは、ユーザが頭部に眼鏡のように装着することでユーザに画像データを提示することを可能とする装置のことを指し、また、ＨＭＤは、情報処理装置としての機能をも有する。ＨＭＤ１０２は、そのハードウェア構成として、例えば、ＣＰＵ２２１、ＲＯＭ２２２、ＲＡＭ２２３、記憶部２２４、通信部２２５、操作部２２６、表示部２２７、及び撮影部２２８を有する。
【００１７】
ＣＰＵ２２１は、ＨＭＤ１０２全体を制御する中央演算ユニットであり、ＨＭＤ１０２の処理シーケンスを統括的に制御する。後述するフローチャートに係る処理を実行するためのプログラムや固定データはＲＯＭ２２２に格納され、データの一時保存やプログラムのロードにはＲＡＭ２２３が使用される。記憶部２２４は、データを格納すると、ＨＭＤ１０２の電源がオフとされた状態にあってもそのデータを保持しておくことが可能であり、格納されたデータがＨＭＤ１０２の再起動後に読み出し可能となるように構成される。
【００１８】
通信部２２５は、例えばネットワーク１０４を介した、外部機器とのデータ送受信に用いられる。操作部２２６は、スイッチボタンなどのユーザインターフェースを備え、ＨＭＤ１０２に対するユーザからの操作入力を受け付ける。表示部２２７は、ユーザがＨＭＤ１０２を装着したときに、そのユーザの眼に対向して配置されるＬＣＤなどの表示用ディスプレイを有し、通信部２２５によって受信した（場合によっては加工された）画像データを表示する。なお、表示表ディスプレイは、左眼用と右眼用とで、２つ配置されてもよい。なお、表示部２２７は、ユーザが前方を直接目視可能な透過型のディスプレイを有してもよいし、直接目視することが不可能な非透過型のディスプレイを有してもよい。撮影部２２８は、カメラを含み、定期的に、通信部２２５からの撮影要求のタイミングで、又は、操作部２２６で受け付けた撮影要求のタイミングで、撮影処理を行う。なお、ＨＭＤ１０３も、ＨＭＤ１０２と同様の構成を有するものとする。なお、情報処理装置は、ＨＭＤのように頭に装着する機器でなくてもよく、例えば、タブレットＰＣなどの表示及び撮影機能を有する端末に置き換えられてもよい。
【００１９】
（各機器の機能構成例）
図３（ａ）に、ＭＦＰ１０１の機能構成（例えばソフトウェアモジュール）の例を示す。なお、図３（ａ）には、主として、以下に説明する機能に関するモジュールの構成例を示しており、場合によっては、通常のＭＦＰ１０１が有する機能であっても、以下に説明する機能に関連しないものは省略されていることに留意されたい。ＭＦＰ１０１は、その機能構成として、例えば、印刷ジョブ抽出部３０２、識別画像生成部３０５、及び、出力画像形成部３０８を有する。
【００２０】
印刷ジョブ抽出部３０２は、印刷ジョブ３０１から、印刷対象である印刷対象画像データ３０３、及び、印刷処理を実行するために必要な印刷設定情報３０４を抽出する。ここで、印刷設定情報３０４は、例えば部数印刷時の印刷部数設定値、印刷用紙サイズなど、印刷設定に関する情報を含む。また、印刷設定情報３０４は、付加情報の共有機能が有効であるか無効であるかを示す設定情報を含みうる。印刷ジョブ３０１は、プリンタサーバやＰＣなどの外部機器によって、印刷を指示するために、ネットワーク１０４を介してＭＦＰ１０１へ送信されたものでありうる。また、印刷ジョブ３０１は、例えばスキャン処理部２０５によって読み込むことによって生成した印刷対象画像データ３０３と、操作部２０７によって受け付けられた操作に応じて設定された印刷設定情報３０４によって構成されてもよい。
【００２１】
識別画像生成部３０５は、印刷設定情報３０４を参照し、付加情報の共有機能の設定に応じて、識別画像３０７の生成を行う。例えば、識別画像生成部３０５は、共有機能が有効であった場合、原稿グループを一意に特定可能とするための原稿グループＩＤ３０６を発行し、その原稿グループＩＤ３０６を２次元画像に符号化することにより識別画像３０７を生成する。ここで、原稿グループとは、対象の複数の印刷物が共通の原稿であることを分類するための概念であり、複数のＨＭＤについての複数のユーザによって同一の原稿グループの印刷物に付加された書き込み情報が、その複数のＨＭＤ間で共有される。また、グループＩＤの符号化は、例えば、ＱＲコード（登録商標）など、一般的に知られる技術によって行われうる。ＭＦＰ１０１内では、原稿グループＩＤ３０６を記憶部２０９に格納し、印刷ジョブ間でも異なる原稿グループＩＤを発行することを可能とする。識別画像３０７は、ジョブ毎、印刷ページ毎にユニークな原稿グループＩＤ３０６を符号化して生成された画像である。
【００２２】
出力画像形成部３０８は、識別画像３０７と印刷対象画像データ３０３とを用いてレンダリング処理を行い、出力用画像データ３０９を形成する。生成処理では、印刷対象画像データ３０３の印刷ページ毎に、対応する識別画像３０７を選択して、合成を行う。なお、識別画像３０７は、印刷後に人間の眼によって認知可能でなくてもよく、ＨＭＤが認知可能なものであれば足りる。例えば、識別画像３０７は、透かしや特殊な塗料によって印刷されてもよい。印刷ジョブ３０１が複数部数設定の場合では、同一ページからなる設定部数分の各印刷物に対しては、同一の識別画像３０７を合成しうる。生成される出力用画像データ３０９は、プリント処理部２０４において印刷出力が可能な形式の画像データでありうる。以降の説明では、この出力用画像データ３０９を印刷した印刷物を原稿として扱う。
【００２３】
なお、ＭＦＰ１０１は、印刷対象の原稿データと原稿グループに対応する識別画像とを合成して出力するだけでなく、例えば、識別画像のみを出力するようにしてもよい。これによれば、ＨＭＤを装着した複数のユーザが、その識別画像のみが付された紙に書き込んだ内容を互いに共有することが可能となる。
【００２４】
図４に、ＨＭＤ１０２の機能構成（例えばソフトウェアモジュール）の例を示す。なお、図４には、主として、以下に説明する機能に関するモジュールの構成例を示しており、場合によっては、通常のＨＭＤ１０２が有する機能であっても、以下に説明する機能に関連しないものは省略されていることに留意されたい。ＨＭＤ１０２は、例えば、その機能構成として、撮影画像取得部４０１、原稿検知部４０３、原稿グループ特定部４０５、付加情報抽出部４０７、要求送信部４１０、メッセージ受付部４１２、付加情報送信部４１５及び付加情報表示部４１６を有する。
【００２５】
撮影画像取得部４０１は、撮影部２２８を駆動させて撮影を行い、撮影画像４０２を生成する。原稿検知部４０３は、画像解析により、撮影画像４０２に存在する原稿を検知し、原稿画像４０４を抽出する。この抽出処理では、検知した原稿の撮影画像４０２内での位置が取得される。原稿の検知は、例えば用紙の辺を直線抽出により抽出し、線分を縦方向、横方向に分類して２本の縦方向線、２本の横方向線から原稿四辺を推定することによって行われうる。ここでは、原稿の位置として、印刷物の頂点座標が用いられるものとする。頂点座標位置は、撮影画像４０２に存在する原稿の４つの頂点の座標である。原稿検知部４０３は、この座標情報を、原稿位置情報４１７として付加情報表示部４１６へ入力し、付加情報表示部４１６は、原稿位置情報４１７を保持する。
【００２６】
原稿グループ特定部４０５は、原稿画像４０４内に含まれる識別画像を解析して、その識別画像から原稿グループＩＤを特定する。原稿グループ特定部４０５は、原稿画像４０４に対して、識別画像の特徴となる要素が含まれているかを探索し、識別画像を発見した場合には、識別画像の復号化処理を行うことで、原稿グループＩＤ４０６を取得する。
【００２７】
付加情報抽出部４０７は、原稿画像４０４内に付加された付加情報を検出して抽出する。ここで、付加情報とは、例えば、印刷時の原稿に対して、ＨＭＤ１０２のユーザがペンなどで書き込んだメモ書きや下線などの描画情報データでありうる。また、付加情報は、ユーザによる手書きの他にも、物理的に切り貼られたものや重ねて印刷されたものなど、元の印刷状態からの差分全般を意味しうる。ただし、例えば汚損個所などのような、有意でない差分は、付加情報から除かれてもよい。例えば、ペン先が偶々触れたことによる点など、所定の範囲より広い範囲にわたるものでない差分は、付加情報から除かれてもよい。描画情報データの形式は、撮影画像４０２の一部をトリミングした画像データや、その画像データに対して文字認識処理を行って抽出したテキストデータなど、いかなる形式であってもよい。差分情報抽出は、モノクロ印刷の原稿に対して赤字で書かれた部分を付加情報として検知することにより、又は、別途印刷時の元画像データを外部から取得して、元画像データと原稿画像４０４とを比較することによって、行われうる。付加情報抽出部４０７は、抽出した付加情報を、原稿グループＩＤ４０６やユーザ情報４０８と関連付けて、付加情報群４０９として保持しうる。ここで、ユーザ情報４０８は、ＨＭＤ１０２を使用しているユーザを特定するためのユーザＩＤ等を含みうる。これは、複数のユーザがＨＭＤ１０２を使用する際、ユーザ毎に使用状態や設定内容を管理するための情報である。
【００２８】
要求送信部４１０は、外部端末に対し、付加情報を要求するためのメッセージを生成し、送信するモジュールである。要求送信部４１０は、例えば、要求対象の付加情報の原稿グループＩＤ４０６と、ユーザ情報４０８と、ＨＭＤ１０２のネットワーク１０４上の識別情報とを含めて送信用要求メッセージ４１１を生成する。要求送信部４１０は、通信部２２５を介して、ネットワーク１０４上の外部端末に対して、生成した送信用要求メッセージ４１１を送信する。このときのメッセージは、予め設定した端末に宛てて送信されてもよいし、ブロードキャストされてもよい。
【００２９】
メッセージ受付部４１２は、通信部２２５によって外部から受信したメッセージを解析する。メッセージ受付部４１２は、例えば、メッセージの内容を参照し、それが付加情報の送信要求メッセージであった場合には、外部要求メッセージ４１３として保持する。また、メッセージ受付部４１２は、メッセージが外部端末で抽出された付加情報を示す内容であった場合には、外部付加情報４１４として保持する。外部要求メッセージ４１３は、外部端末から送信された、付加情報を要求するためのメッセージであり、送信用要求メッセージ４１１と同様に、原稿グループＩＤ４０６、ユーザ情報、送信元のネットワーク１０４における端末の識別情報等を含みうる。
【００３０】
付加情報送信部４１５は、ＨＭＤ１０２が抽出した付加情報を外部端末に対して送信する。付加情報送信部４１５は、外部要求メッセージ４１３に含まれる原稿グループＩＤに対応する付加情報を付加情報群４０９から選択し、外部要求メッセージ４１３の送信元端末に宛てて、選択した付加情報を送信する。なお、外部要求メッセージ４１３に含まれるユーザ情報に応じて、送信の是非が判断され、予め規定された条件に応じて、付加情報の送信が行われないような制限が行われてもよい。また、例えば所定の形式を有する（例えば丸印で囲われた）付加情報については送信対象外とするなど、付加情報の内容に応じた送信制限が行われてもよい。
【００３１】
付加情報表示部４１６は、付加情報を表示部２２７に表示するための制御を行う。付加情報表示部４１６は、外部付加情報４１４に含まれる付加情報を、撮影画像４０２に合成する。その際、付加情報表示部４１６は、原稿位置情報４１７に応じて、撮影画像４０２内の、どの座標位置に付加情報を合成するかを決定し、付加情報に対して拡大縮小、回転などの加工を施し、撮影画像４０２内の原稿位置に一致するように合成処理を行う。そして、付加情報表示部４１６は、合成して生成した画像を、表示部２２７に表示させる。
【００３２】
（付加情報群のデータ構成の例）
図５に、ＨＭＤ１０２の付加情報群４０９のデータ構成例を示す。原稿グループＩＤごとに、ユーザ別の付加情報がデータテーブルとして格納されている。図５は、各付加情報を模式化した図であり、実際には、画像データやテキストデータが付加情報として参照可能なように関連付けられている。例えば、ユーザＡによる付加情報では、原稿グループＩＤが「１」の原稿に対しては「Ｍｅｍｏ  ＡｔｏＢ」というデータが関連付けられており、原稿グループＩＤが「３」の原稿に対しては、矢印の図形が関連付けられている。また、ユーザＢによる付加情報では、原稿グループＩＤが「１」又は「３」の原稿においては、付加情報が関連付けられていない。これは、ＨＭＤ１０２が、ユーザＢによって使用されている状態において、原稿グループＩＤが「１」又は「３」の原稿をまだ撮影していないか、又は、撮影したが付加情報が付されなかったことを示している。また、ユーザ操作などによって付加情報が削除された場合にも、所定の原稿グループＩＤに対して付加情報が関連付けされていない状態となりうる。
【００３３】
（処理の流れ）
続いて、処理の流れについて説明する。
【００３４】
まず、図６を用いてＭＦＰ１０１の処理の流れについて説明する。図６は、ＭＦＰ１０１における、識別画像を付加した出力用画像データ３０９を生成する処理の流れの例を示す図である。まず、印刷ジョブ抽出部３０２が、印刷ジョブ３０１に含まれる印刷対象画像データ３０３と印刷設定情報３０４とを抽出する（Ｓ６０１）。そして、識別画像生成部３０５が、印刷設定情報３０４を参照し、識別画像を付加するかを判定する（Ｓ６０２）。この判定では、例えば、印刷設定情報３０４が複数枚の同一原稿の印刷するべき設定情報を含む場合と、付加情報の共有機能が有効とされている期間中の場合と、の少なくともいずれかの場合に、識別画像を付加すると決定されうる。識別画像生成部３０５は、識別画像を付加すると判定した場合（Ｓ６０２でＹＥＳ）は、原稿グループＩＤ３０６を発行し、そのＩＤを２次元画像に符号化することにより識別画像を生成する（Ｓ６０３）。そして、出力画像形成部３０８が、Ｓ６０１において抽出された印刷対象画像データ３０３を用いてレンダリング処理を行い、出力用画像データ３０９を生成する（Ｓ６０４）。このとき、出力画像形成部３０８は、Ｓ６０３において生成した識別画像３０７を、レンダリング処理結果に合成して出力用画像データ３０９を生成する。一方、識別画像生成部３０５が識別画像を付加しないと判定した場合（Ｓ６０２でＮＯ）は、Ｓ６０３における識別画像の生成は行われずに、出力画像形成部３０８が、出力用画像データ３０９を生成する（Ｓ６０４）。
【００３５】
次に、ＨＭＤ１０２とＨＭＤ１０３との間の処理の流れについて説明する。図７は、ＨＭＤ１０２とＨＭＤ１０３との間で実行される処理の流れの例を示すシーケンス図である。まず、ＨＭＤ１０２は、撮影した原稿に付加された付加情報を抽出する（Ｓ７０１）。一方、ＨＭＤ１０３は、撮影した原稿と同じ原稿グループの他の原稿に書かれた付加情報を、ＨＭＤ１０２に要求する（Ｓ７０２）。これに対し、ＨＭＤ１０２は、付加情報要求内容に応じて、Ｓ７０１で抽出した付加情報をＨＭＤ１０３に送信する（Ｓ７０３）。ＨＭＤ１０３は、ＨＭＤ１０２から受信した付加情報を表示する（Ｓ７０４）。図７における各ステップの処理詳細については以降に述べる。
【００３６】
図８（ａ）は、ＨＭＤ１０２における、原稿に対する付加情報の抽出処理の例であり、図７のＳ７０１に対応する処理の流れの例を示している。撮影画像取得部４０１は、撮影部２２８に含まれるカメラによって撮影を行い、撮影画像４０２を取得する（Ｓ８０１）。そして、原稿検知部４０３は、撮影画像４０２に含まれる原稿画像４０４の領域抽出を行い、領域抽出に成功したかを判定する（Ｓ８０２）。そして、原稿検知部４０３が領域抽出に成功した場合（Ｓ８０２でＹＥＳ）、原稿グループ特定部４０５は、原稿画像４０４内に含まれる識別画像を抽出し、その識別画像から原稿グループを特定できたかを判定する（Ｓ８０３）。原稿グループが特定された場合（Ｓ８０３でＹＥＳ）、付加情報抽出部４０７は、原稿画像４０４内に含まれる、ＨＭＤ１０２のユーザが付した付加情報の抽出処理を行う（Ｓ８０４）。付加情報抽出部４０７は、抽出した付加情報を、原稿グループＩＤ４０６や、ユーザ情報４０８と関連付けて、付加情報群４０９として、記憶部２２４に記憶する。一方で、領域抽出に成功しなかった場合（Ｓ８０２でＮＯ）又は原稿グループが特定されなかった場合（Ｓ８０３でＮＯ）は、付加情報の抽出処理（Ｓ８０４）を実行せずに処理を終了する。なお、これらの一連の処理は、追加情報共有機能を有効としている期間中、定期的に、繰り返し実行されうる。また、ユーザによる（例えば付加情報入力の）操作を検知した場合に、一連の処理が行われ、そのような操作がない場合には、処理が行われないようにしてもよい。なお、追加情報共有機能は、例えば、操作部２２６が受け付けた操作によって有効と無効とが切り替えられてもよい。ＨＭＤ１０２は、有効又は無効を示す設定情報を記憶部２２４に格納することで、再起動時に設定情報を引き継ぐことができる。
【００３７】
図８（ｂ）は、ＨＭＤ１０２における、付加情報の送信処理の流れの例であり、図７のＳ７０３に対応する処理の流れの例を示している。本処理では、まず、メッセージ受付部４１２が、外部装置からのメッセージを受信した際に、その内容が付加情報の要求メッセージであるか否かを判定する（Ｓ８１１）。そして、外部装置からのメッセージが付加情報の要求メッセージであった場合（Ｓ８１１でＹＥＳ）、メッセージ受付部４１２はそのメッセージを外部要求メッセージ４１３として保持する。そして、付加情報送信部４１５は、外部要求メッセージ４１３の内容を参照して、要求対象の原稿グループＩＤをキーとして、対応する付加情報が付加情報群４０９に含まれているかどうかを判定する（Ｓ８１２）。そして、付加情報送信部４１５は、要求対象の原稿グループＩＤに対応する付加情報を発見した場合（Ｓ８１２でＹＥＳ）、発見した付加情報とユーザ情報とを含んだ返信メッセージを作成し、外部要求メッセージ４１３の送信元の装置へ送信する（Ｓ８１３）。一方、外部装置からのメッセージが付加情報の要求メッセージでなかった場合（Ｓ８１１でＮＯ）、又は、要求対象の原稿グループＩＤに対応する付加情報を発見しなかった場合（Ｓ８１２でＮＯ）は、付加情報の送信が行われずに、処理が終了する。
【００３８】
図９（ａ）は、ＨＭＤ１０３における、付加情報の要求処理の例であり、図７のＳ７０２に対応する処理の流れの例を示している。図９（ａ）のＳ９０１、Ｓ９０２およびＳ９０３の処理は、それぞれ図８（ａ）のＳ８０１、Ｓ８０２およびＳ８０３の処理と同様であるため、詳細な説明については省略する。Ｓ９０３において、原稿グループが特定された場合（Ｓ９０３でＹＥＳ）、要求送信部４１０は、外部端末に対して付加情報の送信を要求するための送信用要求メッセージ４１１を生成して、送信する（Ｓ９０４）。なお、これらの一連の処理は、追加情報共有機能を有効としている期間中、定期的に繰り返し実行されうる。
【００３９】
図９（ｂ）は、ＨＭＤ１０３における、付加情報の表示処理の例であり、図７のＳ７０４に対応する処理の流れの例を示している。本処理では、まず、メッセージ受付部４１２が、外部装置からのメッセージを受信した際にその内容を解析し、付加情報を含んでいるかを判定する（Ｓ９１１）。メッセージ受付部４１２は、メッセージが付加情報を含んでいると判定した場合（Ｓ９１１でＹＥＳ）は、その付加情報を外部付加情報４１４として保持する。そして、付加情報表示部４１６は、外部付加情報４１４に含まれる原稿グループが、図９（ａ）のＳ９０３で特定した原稿グループと一致するかを判定する（Ｓ９１２）。付加情報表示部４１６は、外部付加情報４１４に含まれる原稿グループと、図９（ａ）のＳ９０３で特定した原稿グループとが一致する場合（Ｓ９１２でＹＥＳ）、外部付加情報４１４に含まれるコンテンツ情報を用いて表示処理を行う。一方、メッセージが付加情報を含んでいないと判定された場合（Ｓ９１１でＮＯ）、又は原稿グループが一致しない場合（Ｓ９１２でＮＯ）は、Ｓ９１３の表示処理が行われないまま処理を終了する。
【００４０】
（表示イメージ）
続いて、図１０を用いて、付加情報の表示イメージについて説明する。図１０（ａ）は、ＭＦＰ１０１によって印刷出力された原稿の一例を表すイメージ図である。原稿には、印刷対象画像データ３０３と、識別画像３０７とが印刷されている。本例の原稿は、原稿グループＩＤとして「１」が付与されているものとする。このとき、識別画像３０７は、その原稿グループＩＤ「１」を符号化して生成した画像である。
【００４１】
図１０（ｂ）は、ＨＭＤ１０３が図７のＳ７０４の付加情報表示処理によって表示を行った際の表示イメージの一例を示す図である。まずＨＭＤ１０３は、識別画像３０７を復号することにより、原稿のグループＩＤが「１」であることを特定し、ＨＭＤ１０２に対して、原稿グループＩＤ「１」に対応する付加情報を要求する。ＨＭＤ１０２は、要求を受け付けた際に自身の使用ユーザがユーザＡであれば、図５に示すように、「Ｍｅｍｏ  ＡｔｏＢ」という付加情報を含むメッセージをＨＭＤ１０３に送信する。ＨＭＤ１０３は、ＨＭＤ１０２から受信したメッセージを外部付加情報４１４として保持し、図１０（ｂ）に示すように、撮影画像４０２内の原稿領域にその付加情報を重畳して合成し、表示を行う。なお、ＨＭＤ１０２は、要求を受け付けた際に自身の使用ユーザがユーザＢである場合、グループＩＤ「１」に対応する付加情報を有しないため、付加情報の送信を行わない。この場合、ＨＭＤ１０３は、外部付加情報４１４を取得しないこととなるため、付加情報の表示処理を行わない。
【００４２】
なお、ここで説明したＨＭＤ１０２の構成及び処理については、ＨＭＤ１０３もまた同様でありうるため、ＨＭＤ１０２及び１０３がそれぞれ実行する処理が入れ替えられてもよい。また、２台以上のＨＭＤが利用されるケースでは、付加情報を送信するホスト機となるＨＭＤを固定的に設定し、それ以外のＨＭＤを、付加情報の要求と表示を行うクライアント機とする構成にしてもよい。
【００４３】
なお、本実施形態では、複数のＨＭＤの間での直接通信によって付加情報が提供される構成としたが、別途サーバ機器を設け、サーバ機器が付加情報を管理し、各ＨＭＤの要求に応じて、付加情報が提供される構成としてもよい。すなわち、各ＨＭＤは、自身に対応するユーザが付した付加情報を、サーバ機器を介して、間接的に他のＨＭＤに提供する構成をとってもよい。その場合、撮影画像から付加情報を抽出して蓄積及び配信する機能を有するサーバ機器に対して、各ＨＭＤが撮影画像と識別子とを含む情報をサーバ機器に送信することにより、サーバ機器において付加情報を管理する。その際、サーバ機器は、ユーザ情報別及びＨＭＤ別に、原稿グループごとの付加情報をデータテーブルなどによって管理しうる。そして、各ＨＭＤは、撮影した画像に付された識別画像（又は識別子）を取得して、サーバ機器へ送信し、その識別画像に対応する付加情報の提供を受けうる。
【００４４】
以上で説明したシステムでは、ＭＦＰ１０１によって、原稿グループごとにユニークな識別画像が付与された印刷物が、複数部出力される。この印刷物が配布された複数のユーザのそれぞれが書き込み作業を行い、ＨＭＤ１０２を装着して閲覧すると、ＨＭＤ１０２は、上述の付加情報の抽出処理により、付加情報として書き込み内容を抽出する。一方で、他のユーザがＨＭＤ１０３を装着して、同じ原稿グループである印刷物を閲覧すると、ＨＭＤ１０３が、ＨＭＤ１０２から付加情報を取得してその付加情報の表示を行う。これにより、複数ユーザ間で、印刷物に対してなされた書き込み内容を共有することが可能となる。
【００４５】
＜＜実施形態２＞＞
実施形態１では、印刷ジョブ３０１の印刷処理において、原稿グループＩＤ３０６を発行し、符号化した識別画像を合成して印刷する例について説明した。本実施形態では、過去に発行した原稿グループＩＤを対象として、識別画像を印刷する例について説明する。
【００４６】
図３（ｂ）は、本実施形態に係るＭＦＰ１０１の機能構成例を示す図である。ジョブ履歴３１０は、ＭＦＰ１０１が過去に処理を行ったジョブの情報であり、各印刷ジョブが完了した時点での、印刷ジョブ毎の印刷日時、印刷ユーザ情報、印刷結果、原稿グループＩＤなどを含む。原稿グループ選択受付部３１１は、ユーザによる原稿グループの選択を受け付ける。原稿グループ選択受付部３１１は、受付処理において、操作部２０７が受け付けたユーザ操作に応じて、表示部２０８にジョブ履歴３１０を表示し、対象のジョブの選択を促す。原稿グループ選択受付部３１１は、さらに、選択操作を操作部２０７において受け付け、選択されたジョブの履歴情報に基づいて原稿グループＩＤを特定する。原稿グループ選択受付部３１１は、１つのジョブに複数の原稿グループが関連付けられている場合には、原稿グループ群としてそれらを保持する。図３（ｂ）における他の機能部に関しては、図３（ａ）において同符号が付された機能部と同様であるため、詳細な説明については省略する。
【００４７】
図１１は、ＭＦＰ１０１における、選択された原稿グループに応じて識別画像を付加した出力用画像データ３０９を出力する処理の一例を示したフローチャートである。本処理では、まず、原稿グループ選択受付部３１１が、表示部２０８にジョブ履歴３１０を表示して（Ｓ１１０１）、対象のジョブの選択をユーザに促す。そして、原稿グループ選択受付部３１１は、ジョブの選択操作を、操作部２０７を介して受け付け（Ｓ１１０２）、選択されたジョブの履歴情報をキーとして対象の原稿グループＩＤを特定する（Ｓ１１０３）。そして、識別画像生成部３０５が、特定された原稿グループＩＤを符号化することにより、識別画像３０７を生成し（Ｓ１１０４）、出力画像形成部３０８が、識別画像３０７を対象にレンダリング処理を行い、出力用画像データ３０９を生成する（Ｓ１１０５）。このとき、出力画像形成部３０８は、識別画像３０７に対応して過去に形成された印刷対象画像データ３０３を用いてレンダリング処理を行い、識別画像３０７と合成して出力用画像データ３０９を生成する。
【００４８】
本実施形態では、ＭＦＰ１０１は、ユーザ操作に応じて、過去の印刷ジョブで利用された原稿グループと同じ識別画像を印刷しうる。これにより、同一の印刷ジョブで印刷されたものに限らず、異なる印刷ジョブで印刷された印刷物に対しても、同じ原稿グループの識別画像を付与することが可能となる。そのため、付加情報の共有機能を使用する際に、閲覧対象とする原稿の増刷を行うことが可能となる。
【００４９】
＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５０】
１０１：ＭＦＰ、１０２及び１０３：ＨＭＤ、３０２：印刷ジョブ抽出部、３０５：識別画像生成部、３０８：出力画像形成部、４０１：撮影画像取得部、４０５：原稿グループ特定部、４０７：付加情報抽出部、４１０：要求送信部、４１２：メッセージ受付部、４１５：付加情報送信部、４１６：付加情報表示部
【図１】
2017022499.tif 000003
【図２】
2017022499.tif 000004
【図３】
2017022499.tif 000005
【図４】
2017022499.tif 000006
【図５】
2017022499.tif 000007
【図６】
2017022499.tif 000008
【図７】
2017022499.tif 000009
【図８】
2017022499.tif 000010
【図９】
2017022499.tif 000011
【図１０】
2017022499.tif 000012
【図１１】
2017022499.tif 000013