(57)【要約】【課題】  一方のデータに追加された変更を、他のデータを見るユーザーに通知する。【解決手段】  画像処理装置は、オリジナルデータを置換データに変換する置換部と、置換データを出力する出力制御部と、を備えており、サーバーは、ＡＲタグと取得データとを含む送信要求を第１の携帯情報装置から受信することに応じて、ＡＲタグと関連付けられた関連部分を第１の携帯情報装置に送信する関連部分返信部５５９と、取得データに存在するが置換データには存在しない追加部分を抽出する追加部分抽出部５６３と、第１のオリジナルデータと関連付けられた第２のオリジナルデータと関連付けられた第２の関連部分が送信された第２の携帯情報装置を特定する装置特定部５６５と、第２の携帯情報装置に、追加部分を送信する連動送信部５６７と、を備える。【選択図】        図９
2016081312.tif 000002
【特許請求の範囲】
【請求項１】
画像形成装置と、複数の携帯情報装置と、サーバーと、を含む画像処理システムであって、
前記画像形成装置は、オリジナルデータを、そのオリジナルデータ中の少なくとの一部である関連部分をＡＲタグで置き換えた置換データに変換する置換手段と、
前記オリジナルデータを識別するためのオリジナル識別情報と、前記ＡＲタグと、前記関連部分と、前記置換データとを含む登録情報を前記サーバーに送信するＡＲタグ登録手段と、
前記置換データを出力する出力制御手段と、
オリジナルデータと前記オリジナルデータとは異なる別のオリジナルデータとを関連付けたオリジナル関連付情報を、前記サーバーに登録するデータ関連付登録手段と、を備えており、
前記サーバーは、前記画像形成装置から前記登録情報が受信されることに応じて、前記登録情報に含まれるオリジナル識別情報と、ＡＲタグと、関連部分と、置換データとを関連付けるＡＲタグ関連付手段と、
ＡＲタグと取得データとを含む送信要求を前記複数の携帯情報装置のうち第１の携帯情報装置から受信することに応じて、前記送信要求に含まれるＡＲタグと関連付けられた関連部分を前記第１の携帯情報装置に送信する関連部分返信手段と、
前記送信要求に含まれる取得データに存在するが前記送信要求に含まれるＡＲタグと関連付けられた置換データには存在しない追加部分を抽出する追加部分抽出手段と、
前記追加部分抽出手段によって前記追加部分が抽出される場合、前記送信要求に含まれるＡＲタグと関連付けられた第１のオリジナルデータと、前記画像形成装置により登録された前記オリジナル関連付情報によって関連付けられた第２のオリジナルデータを特定する関連オリジナル特定手段と、
前記関連オリジナル特定手段によって前記第２のオリジナルデータが特定される場合、前記複数の携帯情報装置のうちから前記第２のオリジナルデータと関連付けられた第２の関連部分が前記関連部分返信手段によって送信された第２の携帯情報装置を特定する装置特定手段と、
前記第２の携帯情報装置に、前記追加部分を送信する連動送信手段と、を備え、
前記複数の携帯情報装置それぞれは、前記画像形成装置により出力された置換データ、または前記置換データの一部を変更したデータを取得データとして取得する取得データ取得手段と、
前記取得データからＡＲタグを抽出するＡＲタグ抽出手段と、
前記取得データから抽出されたＡＲタグと前記取得データとを含む送信要求を前記サーバーに送信する関連部分要求手段と、
前記送信要求を送信した後に、前記サーバーから前記ＡＲタグに関連付けられた関連部分を受信する関連部分受信手段と、
前記取得データから抽出されたＡＲタグの前記取得データ中の位置を基準に定まる位置に、前記受信された関連部分の画像を表示する表示制御手段と、を備え、
前記複数の携帯情報装置のうち前記第２の携帯情報装置が備える前記表示制御手段は、前記第２の関連部分を表示した後に、前記サーバーから前記追加部分を受信することに応じて、前記取得データから抽出されたＡＲタグの前記取得データ中の位置を基準に定まる位置に、前記受信された追加部分の画像を表示する連動表示制御手段を、含む、画像処理システム。
【請求項２】
前記サーバーが備える前記連動送信手段は、所定の条件が成立することを条件に、前記追加部分を送信する、請求項１に記載の画像処理システム。
【請求項３】
前記画像形成装置は、第１のオリジナルデータと第２のオリジナルデータに対して相対的な優先順位を定めた優先度情報を、前記サーバーに登録する優先度登録手段を、さらに備え、
前記サーバーが備える前記連動送信手段は、前記第１のオリジナルデータの優先度と前記第２のオリジナルデータの優先度とを比較する優先度比較手段を含み、
前記優先度比較手段による比較結果が第１の比較結果の場合に、前記追加部分を送信する、請求項２に記載の画像処理システム。
【請求項４】
前記サーバーは、前記第１の携帯情報装置および前記第２の携帯情報装置それぞれのユーザーを特定するユーザー特定手段と、
前記追加部分抽出手段によって前記第１の送信要求に基づき抽出された前記追加部分を解析して、前記追加部分に対する機密レベルを決定する機密レベル決定手段と、をさらに備え、
前記サーバーが備える前記連動送信手段は、前記第２の携帯情報装置のユーザーに対して予め定められた機密レベルを、前記機密レベル決定手段により決定された前記追加部分に対する機密レベルと比較する機密レベル比較手段を、さらに含み、
前記機密レベル比較手段による比較結果が第２の比較結果の場合に、前記追加部分を送信する、請求項２または３に記載の画像処理システム。
【請求項５】
前記画像形成装置は、データを取得するデータ取得手段を、さらに備え、
前記データ関連付登録手段は、前記取得されたデータに含まれる複数のページそれぞれを複数のオリジナルデータとして互いに関連付ける同一データ関連付手段を、含む、請求項１〜４のいずれかに記載の画像処理システム。
【請求項６】
前記データ関連付登録手段は、同一ユーザーによる複数の操作、または同一グループに属する複数のユーザーのいずれかによる複数の操作によって前記データ出力手段によって出力された複数の置換データにそれぞれ対応する複数のオリジナルデータを関連付ける同一ユーザー関連付手段を、含む、請求項１〜５のいずれかに記載の画像処理システム。
【請求項７】
前記データ関連付登録手段は、前記サーバーからオリジナルデータを候補データとして取得する候補データ取得手段と、
前記データ出力手段によって出力された置換データに対応するオリジナルデータを、前記候補データのうちからユーザーにより選択された候補データと関連付ける操作関連付手段と、を含む、請求項１〜６のいずれかに記載の画像処理システム。
【請求項８】
画像形成装置と、複数の携帯情報装置と、サーバーと、を含む画像処理システムで実行される連動変更方法であって、
前記画像形成装置に、オリジナルデータを、そのオリジナルデータ中の少なくとの一部である関連部分をＡＲタグで置き換えた置換データに変換する置換ステップと、
前記オリジナルデータを識別するためのオリジナル識別情報と、前記ＡＲタグと、前記関連部分と、前記置換データとを含む登録情報を前記サーバーに送信するＡＲタグ登録ステップと、
前記置換データを出力する出力制御ステップと、
オリジナルデータと前記オリジナルデータとは異なる別のオリジナルデータとを関連付けたオリジナル関連付情報を、前記サーバーに登録するデータ関連付登録ステップと、を実行させ、
前記サーバーに、前記画像形成装置から前記登録情報が受信されることに応じて、前記登録情報に含まれるオリジナル識別情報と、ＡＲタグと、関連部分と、置換データとを関連付けるＡＲタグ関連付ステップと、
ＡＲタグと取得データとを含む送信要求を前記複数の携帯情報装置のうち第１の携帯情報装置から受信することに応じて、前記送信要求に含まれるＡＲタグと関連付けられた関連部分を前記第１の携帯情報装置に送信する関連部分返信ステップと、
前記送信要求に含まれる取得データに存在するが前記送信要求に含まれるＡＲタグと関連付けられた置換データには存在しない追加部分を抽出する追加部分抽出ステップと、
前記追加部分抽出ステップにおいて前記追加部分が抽出される場合、前記送信要求に含まれるＡＲタグと関連付けられた第１のオリジナルデータと、前記画像形成装置により登録された前記オリジナル関連付情報によって関連付けられた第２のオリジナルデータを特定する関連オリジナル特定ステップと、
前記関連オリジナル特定ステップにおいて前記第２のオリジナルデータが特定される場合、前記複数の携帯情報装置のうちから前記第２のオリジナルデータと関連付けられた第２の関連部分が前記関連部分返信ステップにおいて送信された第２の携帯情報装置を特定する装置特定ステップと、
前記第２の携帯情報装置に、前記追加部分を送信する連動送信ステップと、を実行させ、
前記複数の携帯情報装置それぞれに、前記画像形成装置により出力された置換データ、または前記置換データの一部を変更したデータを取得データとして取得する取得データ取得ステップと、
前記取得データからＡＲタグを抽出するＡＲタグ抽出ステップと、
前記取得データから抽出されたＡＲタグと前記取得データとを含む送信要求を前記サーバーに送信する関連部分要求ステップと、
前記送信要求を送信した後に、前記サーバーから前記ＡＲタグに関連付けられた関連部分を受信する関連部分受信ステップと、
前記取得データから抽出されたＡＲタグの前記取得データ中の位置を基準に定まる位置に、前記受信された関連部分の画像を表示する表示制御ステップと、を実行させ、
前記複数の携帯情報装置のうち前記第２の携帯情報装置に実行させる前記表示制御ステップは、前記第２の関連部分を表示した後に、前記サーバーから前記追加部分を受信することに応じて、前記取得データから抽出されたＡＲタグの前記取得データ中の位置を基準に定まる位置に、前記受信された追加部分の画像を表示する連動表示制御ステップを、含む、連動表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理システム、および連動変更方法に関し、特に、カメラで撮像された現実空間内のＡＲタグに対応させて画像を表示する画像処理システム、およびその画像処理システムで実行される連動変更方法に関する。
【背景技術】
【０００２】
近年、拡張現実に関する技術が開発されている。例えば、特開２０１３−０９２８８７号公報には、画像に含まれる複数のマーカに関する情報を取得する取得手段と、前記複数のマーカにそれぞれ対応する複数の仮想オブジェクトを、前記画像に重畳して表示部に表示するよう制御する表示制御手段と、前記複数の仮想オブジェクトが特定の組み合わせであるか否かを判断する判断手段とを有し、前記判断手段により前記複数の仮想オブジェクトが特定の組み合わせであると判断された場合、前記表示制御手段は、前記複数の仮想オブジェクトを、前記特定の組み合わせに対応した特定の配置で前記画像に重畳して前記表示部に表示するよう制御することを特徴とする画像処理装置が記載されている。
【０００３】
従来の画像処理装置において、仮想オブジェクトはマーカと対になるので、仮想オブジェクトを変更すれば、マーカに対してそれと対になる変更後の仮想オブジェクトが表示される。しかしながら、関連する複数の仮想オブジェクトに同じ変更をする場合、複数の仮想オブジェクトごとに同じ変更をしなければならないといった問題がある。
【特許文献１】特開２０１３−０９２８８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、一方のデータに追加された変更を、他のデータを見るユーザーに通知することが可能な画像処理システムを提供することである。
【０００５】
この発明の他の目的は、一方のデータに追加された変更を、他のデータを見るユーザーに通知することが可能な連動表示方法を提供することである。
【課題を解決するための手段】
【０００６】
上述した目的を達成するためにこの発明のある局面によれば、画像処理システムは、画像形成装置と、複数の携帯情報装置と、サーバーと、を含む画像処理システムであって、画像形成装置は、オリジナルデータを、そのオリジナルデータ中の少なくとの一部である関連部分をＡＲタグで置き換えた置換データに変換する置換手段と、オリジナルデータを識別するためのオリジナル識別情報と、ＡＲタグと、関連部分と、置換データとを含む登録情報をサーバーに送信するＡＲタグ登録手段と、置換データを出力する出力制御手段と、オリジナルデータとオリジナルデータとは異なる別のオリジナルデータとを関連付けたオリジナル関連付情報を、サーバーに登録するデータ関連付登録手段と、を備えており、サーバーは、画像形成装置から登録情報が受信されることに応じて、登録情報に含まれるオリジナル識別情報と、ＡＲタグと、関連部分と、置換データとを関連付けるＡＲタグ関連付手段と、ＡＲタグと取得データとを含む送信要求を複数の携帯情報装置のうち第１の携帯情報装置から受信することに応じて、送信要求に含まれるＡＲタグと関連付けられた関連部分を第１の携帯情報装置に送信する関連部分返信手段と、送信要求に含まれる取得データに存在するが送信要求に含まれるＡＲタグと関連付けられた置換データには存在しない追加部分を抽出する追加部分抽出手段と、追加部分抽出手段によって追加部分が抽出される場合、送信要求に含まれるＡＲタグと関連付けられた第１のオリジナルデータと、画像形成装置により登録されたオリジナル関連付情報によって関連付けられた第２のオリジナルデータを特定する関連オリジナル特定手段と、関連オリジナル特定手段によって第２のオリジナルデータが特定される場合、複数の携帯情報装置のうちから第２のオリジナルデータと関連付けられた第２の関連部分が関連部分返信手段によって送信された第２の携帯情報装置を特定する装置特定手段と、第２の携帯情報装置に、追加部分を送信する連動送信手段と、を備え、複数の携帯情報装置それぞれは、画像形成装置により出力された置換データ、または置換データの一部を変更したデータを取得データとして取得する取得データ取得手段と、取得データからＡＲタグを抽出するＡＲタグ抽出手段と、取得データから抽出されたＡＲタグと取得データとを含む送信要求をサーバーに送信する関連部分要求手段と、送信要求を送信した後に、サーバーからＡＲタグに関連付けられた関連部分を受信する関連部分受信手段と、取得データから抽出されたＡＲタグの取得データ中の位置を基準に定まる位置に、受信された関連部分の画像を表示する表示制御手段と、を備え、複数の携帯情報装置のうち第２の携帯情報装置が備える表示制御手段は、第２の関連部分を表示した後に、サーバーから追加部分を受信することに応じて、取得データから抽出されたＡＲタグの取得データ中の位置を基準に定まる位置に、受信された追加部分の画像を表示する連動表示制御手段を、含む。
【０００７】
この局面に従えば、複数の携帯情報装置それぞれによって、画像形成装置により出力された置換データ、または置換データの一部を変更したデータが取得データとして取得され、取得データからＡＲタグが抽出され、サーバーからＡＲタグに関連付けられた関連部分が受信されると、取得データ中の位置を基準に定まる位置に、関連部分の画像が表示される。このため、携帯情報装置において得られる取得データ中でＡＲタグにより定められた位置に関連部分を表示するので、取得データに関連部分を表示することができる。また、サーバーによって、第１の携帯情報装置から受信される取得データから追加部分が抽出され、第１の携帯情報装置から受信されるＡＲタグと関連付けられた第１のオリジナルデータと、画像形成装置により関連付けられた第２のオリジナルデータが特定される場合、第２のオリジナルデータと関連付けられた第２の関連部分が送信された第２の携帯情報装置に、追加部分が送信される。第２の携帯情報装置では、第２の関連部分と追加部分とが表示される。このため、第１の携帯情報装置において取得された取得データにおいて、置換データから変更された追加部分を、第２の携帯情報装置に表示させることができる。その結果、一方のデータに追加された変更を、他のデータを見るユーザーに通知することが可能な画像処理システムを提供することができる。
【０００８】
好ましくは、サーバーが備える連動送信手段は、所定の条件が成立することを条件に、追加部分を送信する。
【０００９】
この局面に従えば、所定の条件が成立する場合に限って、第２の携帯情報装置に追加部分を表示させることができる。
【００１０】
好ましくは、画像形成装置は、第１のオリジナルデータと第２のオリジナルデータに対して相対的な優先順位を定めた優先度情報を、サーバーに登録する優先度登録手段を、さらに備え、サーバーが備える連動送信手段は、第１のオリジナルデータの優先度と第２のオリジナルデータの優先度とを比較する優先度比較手段を含み、優先度比較手段による比較結果が第１の比較結果の場合に、追加部分を送信する。
【００１１】
この局面に従えば、第１のオリジナルデータの優先度が第２のオリジナルデータの優先度以上の場合に、第２の携帯情報装置に追加部分を表示させることができる。
【００１２】
好ましくは、サーバーは、第１の携帯情報装置および第２の携帯情報装置それぞれのユーザーを特定するユーザー特定手段と、追加部分抽出手段によって第１の送信要求に基づき抽出された追加部分を解析して、追加部分に対する機密レベルを決定する機密レベル決定手段と、をさらに備え、サーバーが備える連動送信手段は、第２の携帯情報装置のユーザーに対して予め定められた機密レベルを、機密レベル決定手段により決定された追加部分に対する機密レベルと比較する機密レベル比較手段を、さらに含み、機密レベル比較手段による比較結果が第２の比較結果の場合に、追加部分を送信する。
【００１３】
この局面に従えば、第２の携帯情報装置を操作するユーザーに対する機密レベルが追加部分に対する機密レベル以上の場合に、第２の携帯情報装置に追加部分を表示させることができる。
【００１４】
好ましくは、画像形成装置は、データを取得するデータ取得手段を、さらに備え、データ関連付登録手段は、取得されたデータに含まれる複数のページそれぞれを複数のオリジナルデータとして互いに関連付ける同一データ関連付手段を、含む。
【００１５】
この局面に従えば、同一のデータに含まれる複数のオリジナルデータを関連付けるので、同一のデータのいずれかのページのオリジナルデータに対応する置換データに加えた変更を、他のページのオリジナルデータの置換データを見るユーザーに通知することができる。
【００１６】
好ましくは、データ関連付登録手段は、同一ユーザーによる複数の操作、または同一グループに属する複数のユーザーのいずれかによる複数の操作によってデータ出力手段によって出力された複数の置換データにそれぞれ対応する複数のオリジナルデータを関連付ける同一ユーザー関連付手段を、含む。
【００１７】
この局面に従えば、同一ユーザーによる複数の操作、または同一グループに属する複数のユーザーのいずれかによる複数の操作によって出力された複数の置換データのいずれかに加えた変更を、他の置換データを見るユーザーに通知することができる。
【００１８】
好ましくは、データ関連付登録手段は、サーバーからオリジナルデータを候補データとして取得する候補データ取得手段と、データ出力手段によって出力された置換データに対応するオリジナルデータを、候補データのうちからユーザーにより選択された候補データと関連付ける操作関連付手段と、を含む。
【００１９】
この局面に従えば、画像処理装置を操作するユーザーにより関連付けられた複数のオリジナルデータのいずれかに対応する置換データに加えた変更を、他のオリジナルデータに対応する置換データを見るユーザーに通知することができる。
【００２０】
この発明の他の局面によれば連動表示方法は、画像形成装置と、複数の携帯情報装置と、サーバーと、を含む画像処理システムで実行される連動変更方法であって、画像形成装置に、オリジナルデータを、そのオリジナルデータ中の少なくとの一部である関連部分をＡＲタグで置き換えた置換データに変換する置換ステップと、オリジナルデータを識別するためのオリジナル識別情報と、ＡＲタグと、関連部分と、置換データとを含む登録情報をサーバーに送信するＡＲタグ登録ステップと、置換データを出力する出力制御ステップと、オリジナルデータとオリジナルデータとは異なる別のオリジナルデータとを関連付けたオリジナル関連付情報を、サーバーに登録するデータ関連付登録ステップと、を実行させ、サーバーに、画像形成装置から登録情報が受信されることに応じて、登録情報に含まれるオリジナル識別情報と、ＡＲタグと、関連部分と、置換データとを関連付けるＡＲタグ関連付ステップと、ＡＲタグと取得データとを含む送信要求を複数の携帯情報装置のうち第１の携帯情報装置から受信することに応じて、送信要求に含まれるＡＲタグと関連付けられた関連部分を第１の携帯情報装置に送信する関連部分返信ステップと、送信要求に含まれる取得データに存在するが送信要求に含まれるＡＲタグと関連付けられた置換データには存在しない追加部分を抽出する追加部分抽出ステップと、追加部分抽出ステップにおいて追加部分が抽出される場合、送信要求に含まれるＡＲタグと関連付けられた第１のオリジナルデータと、画像形成装置により登録されたオリジナル関連付情報によって関連付けられた第２のオリジナルデータを特定する関連オリジナル特定ステップと、関連オリジナル特定ステップにおいて第２のオリジナルデータが特定される場合、複数の携帯情報装置のうちから第２のオリジナルデータと関連付けられた第２の関連部分が関連部分返信ステップにおいて送信された第２の携帯情報装置を特定する装置特定ステップと、第２の携帯情報装置に、追加部分を送信する連動送信ステップと、を実行させ、複数の携帯情報装置それぞれに、画像形成装置により出力された置換データ、または置換データの一部を変更したデータを取得データとして取得する取得データ取得ステップと、取得データからＡＲタグを抽出するＡＲタグ抽出ステップと、取得データから抽出されたＡＲタグと取得データとを含む送信要求をサーバーに送信する関連部分要求ステップと、送信要求を送信した後に、サーバーからＡＲタグに関連付けられた関連部分を受信する関連部分受信ステップと、取得データから抽出されたＡＲタグの取得データ中の位置を基準に定まる位置に、受信された関連部分の画像を表示する表示制御ステップと、を実行させ、複数の携帯情報装置のうち第２の携帯情報装置に実行させる表示制御ステップは、第２の関連部分を表示した後に、サーバーから追加部分を受信することに応じて、取得データから抽出されたＡＲタグの取得データ中の位置を基準に定まる位置に、受信された追加部分の画像を表示する連動表示制御ステップを、含む。
【００２１】
この局面に従えば、一方のデータに追加された変更を、他のデータを見るユーザーに通知することが可能な連動表示方法を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態における拡張現実表示システムの全体概要の一例を示す図である。
【図２】本実施の形態におけるＭＦＰの外観を示す斜視図である。
【図３】本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。
【図４】本実施の形態における携帯情報装置のハードウェア構成の概要の一例を示すブロック図である。
【図５】本実施の形態におけるＨＭＤのハードウェア構成の一例を示すブロック図である。
【図６】本実施の形態におけるサーバーのハードウェア構成の一例を示すブロック図である。
【図７】ＭＦＰが備えるＣＰＵの機能の概要の一例を示すブロック図である。
【図８】優先度設定画面の一例を示す図である。
【図９】サーバーが備えるＣＰＵの機能の概要の一例を示すブロック図である。
【図１０】本実施の形態における携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。
【図１１】第１のオリジナルデータの一例を示す図である。
【図１２】第１の置換データの一例を示す図である。
【図１３】第２のオリジナルデータの一例を示す図である。
【図１４】第２の置換データの一例を示す図である。
【図１５】置換データの画像が形成された用紙に文字または図形が追加された場合の用紙の一例を示す図である。
【図１６】携帯情報装置に表示される画像の一例を示す第１の図である。
【図１７】携帯情報装置に表示される画像の一例を示す第２の図である。
【図１８】置換データ生成処理の流れの一例を示すフローチャートである。
【図１９】登録情報生成処理の流れの一例を示すフローチャートである。
【図２０】オリジナル関連付情報生成処理の流れの一例を示すフローチャートである。
【図２１】仮想現実実現処理の流れの一例を示すフローチャートである。
【図２２】連動送信処理の流れの一例を示すフローチャートである。
【図２３】拡張現実表示処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００２４】
図１は、本発明の実施の形態における拡張現実表示システムの全体概要の一例を示す図である。図１を参照して、拡張現実表示システム１は、それぞれがネットワーク２に接続された無線局３と、ＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）１００と、携帯情報装置２００，２００Ａ，２００Ｂと、パーソナルコンピューター（以下「ＰＣ」という）３００と、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）４００と、サーバー５００と、を含む。
【００２５】
ＭＦＰ１００は、画像処理装置として機能し、原稿を読み取るための原稿読取機能、画像データに基づいて紙などの記録媒体に画像を形成するための画像形成機能およびファクシミリデータを送受信するファクシミリ送受信機能を備えている。なお、本実施の形態においては画像処理装置の一例として、ＭＦＰ１００を例に説明するが、ＭＦＰ１００に代えて、画像を処理する機能を備えた装置であれば、例えば、ＰＣ３００、サーバー５００等であってもよい。
【００２６】
ＰＣ３００は、一般的なコンピューターである。ＰＣ３００は、ＭＦＰ１００を制御するためのプリンタドライバプログラムがインストールされている。
【００２７】
携帯情報装置２００，２００Ａ，２００Ｂは、情報処理装置の一例である。携帯情報装置２００，２００Ａ，２００Ｂは、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、スマートフォンなど、ユーザーに携帯して使用され、データを記憶する機能、無線ＬＡＮ機能を備えている。また、携帯情報装置２００，２００Ａ，２００Ｂは、ＰＣ３００と同様に、アプリケーションプログラムをインストールすることが可能である。携帯情報装置２００，２００Ａ，２００Ｂのハードウェア構成および機能は同じなので、ここでは、特に言及しない限り携帯情報装置２００を例に説明する。
【００２８】
ＨＭＤ４００は、メガネの形状をしており、ユーザーにより装着されて使用される。ＨＭＤ４００は、被写体を撮像する撮像機能、メガネのレンズ部分に画像を表示する表示機能、無線ＬＡＮ機能を備えている。ＨＭＤ４００を装着するユーザーは、レンズを通して被写体を視認すると同時に、レンズに表示された画像を視認することができる。
【００２９】
ネットワーク２は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク２は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ  Ｓｗｉｔｃｈｅｄ  Ｔｅｌｅｐｈｏｎｅ  Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク２は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）であってもよい。
【００３０】
ＭＦＰ１００は、ネットワーク２を介して、無線局３、ＰＣ３００、およびサーバー５００と、データの送受信が可能である。無線局３は、ネットワーク２の中継装置であり、無線ＬＡＮ通信機能を備えた携帯情報装置２００，２００Ａ，２００ＢおよびＨＭＤ４００と通信して、携帯情報装置２００，２００Ａ，２００ＢおよびＨＭＤ４００をネットワーク２に接続する。このため、携帯情報装置２００，２００Ａ，２００ＢおよびＨＭＤ４００各々は、無線局３およびネットワーク２を介してＭＦＰ１００、ＰＣ３００、サーバー５００とデータの送受信が可能である。
【００３１】
図２は、本実施の形態におけるＭＦＰの外観を示す斜視図である。図３は、本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。
【００３２】
後処理部１５５は、画像形成部１４０により画像が形成された１以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。
【００３３】
メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１５と、ファクシミリ部１１６と、ＣＤ−ＲＯＭ１１８が装着される外部記憶装置１１７と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。
【００３４】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。
【００３５】
操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６１と操作部１６３とを含む。表示部１６１は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６３は、複数のキーからなるハードキー部１６７を備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６３は、表示部１６１上に設けられたタッチパネル１６５をさらに含む。
【００３６】
通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク２に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、携帯情報装置２００，２００Ａ，２００Ｂ、ＰＣ３００、ＨＭＤ４００、およびサーバー５００との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク２を介してインターネットに接続されたコンピューターと通信が可能である。
【００３７】
ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。
【００３８】
外部記憶装置１１７は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  ＲＯＭ）１１８が装着される。ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ１１８に限られず、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ  Ｏｐｔｉｃａｌ  Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）などの半導体メモリーであってもよい。
【００３９】
また、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１８に記録されたプログラムに限られず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワーク２に接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１５に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワーク２に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１５に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４０】
拡張現実表示システム１において、ＭＦＰ１００、携帯情報装置２００，２００Ａ，２００Ｂ、ＰＣ３００、ＨＤＭ４００、サーバー５００間で、データが送受信される。データを送受信するプロトコルは、受信側の装置において送信元を特定することができれば、任意のプロトコルを用いることが可能である。データを送受信するプロトコルは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）およびＳＭＰＴ（Ｓｉｍｐｌｅ  Ｍａｉｌ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＰＯＰ（Ｐｏｓｔ  Ｏｆｆｉｃｅ  Ｐｒｏｔｏｃｏｌ）等が用いられる。
【００４１】
図４は、本実施の形態における携帯情報装置のハードウェア構成の概要の一例を示すブロック図である。図４を参照して、携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２０１と、カメラ２０２と、データを不揮発的に記憶するフラッシュメモリー２０３と、通話部２０５と接続された無線通信部２０４と、情報を表示する表示部２０６と、ユーザーの操作を受け付ける操作部２０７と、無線ＬＡＮＩ／Ｆ２０８と、位置検出部２０９と、方位検出部２１０と、外部記憶装置２１１と、を含む。
【００４２】
無線通信部２０４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０４は、携帯情報装置２００を電話通信網に接続し、通話部２０５を用いた通話を可能とする。無線通信部２０４は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２０５に出力する。また、無線通信部２０４は、通話部２０５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０５は、マイクおよびスピーカを備え、無線通信部２０４から入力される音声をスピーカから出力し、マイクから入力される音声を無線通信部２０４に出力する。さらに、無線通信部２０４は、ＣＰＵ２０１により制御され、携帯情報装置２００を電子メールサーバーに接続し、電子メールを送受信する。
【００４３】
カメラ２０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ２０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサー等である。
【００４４】
表示部２０６は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部２０７は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。
【００４５】
無線ＬＡＮＩ／Ｆ２０８は、無線局３と通信し、携帯情報装置２００をネットワーク２に接続するためのインターフェースである。携帯情報装置２００に、ＨＭＤ２００、サーバー５００、ＭＦＰ１００、ＰＣ３００それぞれのＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、携帯情報装置２００は、ＨＭＤ４００、サーバー５００、ＭＦＰ１００、ＰＣ３００と通信することができ、データの送受信が可能となる。なお、本実施の形態においては、携帯情報装置２００が無線ＬＡＮＩ／Ｆ２０８を用いて、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００と通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、携帯情報装置２００、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、携帯情報装置２００が、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００のいずれかと、１対１で通信するようにしてもよい。また、携帯情報装置２００を、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００のいずれかと、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブル等の有線で接続するようにし、携帯情報装置２００が、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００のいずれかと、１対１で通信するようにしてもよい。
【００４６】
フラッシュメモリー２０３は、ＣＰＵ２０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリー２０３に記録されたプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行する。
【００４７】
位置検出部２０９は、携帯情報装置２００の現在位置を検出する。具体的には、位置検出部２０９は、全地球測位システム（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信機であり、複数のＧＰＳ衛星からの電波を受信することにより、現在位置を測定する。位置検出部２０９は、測定した現在位置を示す値、たとえば、緯度と経度とをＣＰＵ２０１に出力する。
【００４８】
方位検出部２１０は、携帯情報装置２００のカメラ２０２が向く方向の方位を検出する。具体的には、方位検出部２１０は、地磁気を計測する地磁気センサーである。方位検出部２１０は、検出した方位をＣＰＵ２０１に出力する。方位検出部２１０は、カメラ２０２の撮像方向、換言すれば、カメラ２０２のレンズの光軸が向く方向を検出可能なように携帯情報装置２００に設置される。なお、方位検出部２１０は、地磁気センサーに限らず、ジャイロセンサー等を用いるようにしてもよい。
【００４９】
外部記憶装置２１１は、携帯情報装置２００に着脱自在であり、遠隔操作プログラムを記憶したＣＤ−ＲＯＭ２１１Ａが装着可能である。ＣＰＵ２０１は、外部記憶装置２１１を介してＣＤ−ＲＯＭ２１１Ａにアクセス可能である。ＣＰＵ２０１は、外部記憶装置２１１に装着されたＣＤ−ＲＯＭ２１１Ａに記録された遠隔操作プログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行することが可能である。
【００５０】
なお、ＣＰＵ２０１が実行するプログラムとして、フラッシュメモリー２０３またはＣＤ−ＲＯＭ２１１Ａに記録されたプログラムについて説明したが、ネットワーク２に接続された他のコンピューターが、フラッシュメモリー２０３に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、携帯情報装置２００が、ネットワーク２に接続された他のコンピューターからダウンロードしたプログラムでもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００５１】
なお、ＣＰＵ２０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ２１１Ａに限られず、光ディスク（ＭＯ／ＭＤ／ＤＶＤ）、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリーであってもよい。
【００５２】
図５は、本実施の形態におけるＨＭＤのハードウェア構成の一例を示すブロック図である。図５を参照して、本実施の形態におけるＨＭＤ４００は、ＨＭＤ４００の全体を制御するためのＣＰＵ４０１と、カメラ４０２と、データを不揮発的に記憶するフラッシュメモリー４０３と、情報を表示する表示部４０４と、無線ＬＡＮＩ／Ｆ４０５と、を含む。
【００５３】
カメラ４０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ４０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサー等である。なお、ここでは、カメラ４０２は、静止画像を撮像する例を説明するが、動画像を撮像するビデオカメラを用いてもよい。ビデオカメラを用いる場合には、動画像に含まれる複数のフレームのうちから１つを静止画像として取り扱えばよい。
【００５４】
表示部４０４は、透明な部材からなる液晶表示装置（ＬＣＤ）であり、ＨＭＤ４００のレンズ部分に埋め込まれている。表示部４０４の表示面は、カメラ４０２の光軸を基準に定まる位置に配置される。具体的には、カメラ４０２の撮像範囲は、ユーザーがＨＭＤ４００を装着した場合における視界と同じに設定される。このため、カメラ４０２において撮像して得られる画像は、ユーザーが実際に見る視界内の画像と同じになる。このため、カメラ４０２が出力する画像からユーザーの視界内の位置を特定することができる。表示部４０４の表示面は、レンズ部分においてユーザーがＨＭＤ４００を装着した場合における視界と同じに設定される。このため、ユーザーの視界内の任意の位置に画像を表示することができる。
【００５５】
無線ＬＡＮＩ／Ｆ４０５は、無線局３と通信し、ＨＭＤ４００をネットワーク２に接続するためのインターフェースである。フラッシュメモリー４０３に、サーバー５００のＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、ＨＭＤ４００は、サーバー５００と通信することができ、データの送受信が可能となる。なお、本実施の形態においては、ＨＭＤ４００が無線ＬＡＮＩ／Ｆ４０５を用いて、サーバー５００と通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、ＨＭＤ４００およびサーバー５００が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、ＨＭＤ４００が、サーバー５００と、１対１で通信するようにしてもよい。
【００５６】
フラッシュメモリー４０３は、ＣＰＵ４０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ４０１は、フラッシュメモリー４０３に記録されたプログラムを、ＣＰＵ４０１が備えるＲＡＭにロードして実行する。
【００５７】
図６は、本実施の形態におけるサーバーのハードウェア構成の一例を示すブロック図である。図６を参照して、サーバー５００は、サーバー５００の全体を制御するためのＣＰＵ５０１と、ＣＰＵ５０１が実行するためのプログラムを記憶するＲＯＭ５０２と、ＣＰＵ５０１の作業領域として使用されるＲＡＭ５０３と、データを不揮発的に記憶するＨＤＤ５０４と、ＣＰＵ５０１をネットワーク２に接続する通信部５０５と、情報を表示する表示部５０６と、ユーザーの操作の入力を受け付ける操作部５０７と、外部記憶装置５０８と、を含む。
【００５８】
ＣＰＵ５０１は、ＲＯＭ５０２またはＨＤＤ５０４に記憶されたプログラムをＲＡＭ５０２にロードして実行する。
【００５９】
外部記憶装置５０８は、プログラムを記憶したＣＤ−ＲＯＭ５０８Ａが装着可能である。ＣＰＵ５０１は、外部記憶装置５０８を介してＣＤ−ＲＯＭ５０８Ａにアクセス可能である。ＣＰＵ５０１は、ＣＤ−ＲＯＭ５０８Ａに記録されたプログラムをＲＡＭ５０２にロードして実行することが可能である。
【００６０】
なお、ＣＰＵ５０１が実行するプログラムとして、ＲＯＭ５０２、ＨＤＤ５０４またはＣＤ−ＲＯＭ５０８Ａに記録されたプログラムについて説明したが、ネットワーク２に接続された他のコンピューターが、ＨＤＤ５０４に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、サーバー５００が、ネットワーク２に接続された他のコンピューターからダウンロードしたプログラムでもよい。ここでいうプログラムは、ＣＰＵ５０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００６１】
なお、ＣＰＵ５０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ５０８Ａに限られず、光ディスク（ＭＯ／ＭＤ／ＤＶＤ）、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリーであってもよい。
【００６２】
図７は、ＭＦＰが備えるＣＰＵの機能の概要の一例を示すブロック図である。図７に示す機能は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５またはＣＤ−ＲＯＭ１１８に記憶されたプログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図７を参照して、ＣＰＵ１１１は、オリジナルデータを取得するデータ取得部５１と、オリジナルデータを置換データに変換する置換部５３と、ＡＲタグ登録部５５と、置換データを出力する出力制御部５７と、ＭＦＰ１００を操作するユーザーを認証するユーザー認証部５９と、オリジナルデータを別のオリジナルデータと関連付けるデータ関連付登録部６１と、優先度登録部６３と、を含む。
【００６３】
データ取得部５１は、オリジナルデータを取得し、取得されたオリジナルデータを、置換部５３、ＡＲタグ登録部５５およびデータ関連付登録部６１に出力する。オリジナルデータは、ＨＤＤ１１５に記憶されたデータであってもよいし、ＰＣ３００またはサーバー５００に記憶されたデータであってもよい。また、データのフォーマットは、限定するものではないが、アプリケーションプログラムを実行するＰＣ３００によって生成されたアプリケーションデータであってもよいし、画像データであってもよい。アプリケーションプログラムは、特に限定するものではないが、例えば、文書を生成する文書編集プログラム、画像を編集する画像編集プログラム、表計算プログラム、プレゼンテーション用のデータを生成するプログラム、データベースプログラム等を含む。
【００６４】
置換部５３は、オリジナルデータを、そのオリジナルデータ中でユーザーにより指定された部分を関連部分とし、その関連部分をＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）タグで置き換えた置換データを生成する。関連部分は、オリジナルデータ中でユーザーにより指定された部分なので、オリジナルデータによって異なるが、文字、図形または写真、またはそれらの組み合わせを含む。ＡＲタグは、予め定められた画像であり、他の画像および他のＡＲタグと区別することが可能な画像である。なお、ＡＲタグを、ＱＲコード（登録商標）（Ｑｕｉｃｋ  Ｒｅｓｐｏｎｓｅ  Ｃｏｄｅ）等の二次元バーコードとしてもよい。関連部分は、置換データに配置されるＡＲタグを基準にして関連部分の相対的な位置を示す位置情報を含む。
【００６５】
例えば、ユーザーがオリジナルデータ中の一部を関連部分として指定すれば、オリジナルデータが置換データに変換される。置換データを出力しても、関連部分はＡＲタグに置き換えられているので、置換データから関連部分を知ることはできない。ユーザーは、オリジナルデータの一部を関連部分として指定することにより、置換データを見る別のユーザーが、関連部分が解らないようにすることができる。置換部５３は、置換データを、出力制御部５７に出力するとともに、関連部分とその関連部分を置き換えたＡＲタグと、置換データとの組をＡＲタグ登録部５５に出力する。
【００６６】
ユーザー認証部５９は、ＭＦＰ１００を操作するユーザーを認証する。表示部１６１にログイン画面を表示し、ユーザーが操作部１６３に入力するユーザー識別情報とパスワードとを受け付け、それらが予めＨＤＤ１１５に記憶されているユーザー識別情報とパスワードとの組と一致すれば、そのユーザーを認証する。ユーザー認証部５９は、認証したユーザーのユーザー識別情報を出力制御部５７に出力する。
【００６７】
出力制御部５７は、置換部５３から入力される置換データを、ＭＦＰ１００を操作するユーザーが操作部１６３に入力する操作によって定まる出力先に出力する。出力制御部５７は、置換データを出力することに応じて、ユーザー認証部５９から入力されるユーザー識別情報を含む出力完了信号をデータ関連付登録部６１に出力する。出力制御部５７は、画像形成制御部６５と、データ送信部６７と、ファクシミリ送信制御部６９と、を含む。画像形成制御部６５は、画像形成部１４０を制御して、置換データの画像を用紙に形成させる。
【００６８】
データ送信部６７は、通信Ｉ／Ｆ部１１２を介して、置換データを他のコンピューターに送信する。送信プロトコルは、特に限定するものではないが、例えば、ＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）によるファイル転送、置換データまたは変更された置換データを添付した電子メールの送信である。ここでは、データ送信部６７が置換データを送信する場合の一例として、携帯情報装置２００に置換データを送信する場合を例に説明する。
【００６９】
ファクシミリ送信制御部６９は、ファクシミリ部１１６を制御して、置換データを他のファクシミリ装置に送信する。置換データを受信するファクシミリ装置では、置換データの画像を用紙に形成する。
【００７０】
ＡＲタグ登録部５５は、データ取得部５１からオリジナルデータが入力され、置換部３６１から関連部分とＡＲタグと置換データとの組が入力される。ＡＲタグ登録部５５は、オリジナルデータを識別するためのオリジナル識別情報と、関連部分と、ＡＲタグと、置換データとを含む登録情報をサーバー５００に送信する。具体的には、通信Ｉ／Ｆ部１１２を介して、登録情報をサーバー５００に送信する。
【００７１】
データ関連付登録部６１は、データ取得部５１からオリジナルデータが入力される。データ関連付登録部６１は、オリジナルデータを、そのオリジナルデータとは異なる別のオリジナルデータとを関連付ける。具体的には、２以上のオリジナルデータをそれぞれ識別するための２以上のオリジナル識別情報を含むオリジナル関連付情報を、通信Ｉ／Ｆ部１１２を介してサーバー５００に送信する。また、データ関連付登録部６１は、オリジナル関連付情報を、優先度登録部６３に出力する。データ関連付登録部６１は、同一データ関連付部７１と、同一ユーザー関連付部７３と、候補データ取得部７５と、操作関連付部７７と、を含む。
【００７２】
同一データ関連付部７１は、データ取得部５１から入力されるオリジナルデータが、複数ページからなるデータのうち１ページである場合、データ取得部５１から入力されるオリジナルデータを、それが含まれるデータ中の複数のページのうち別の１以上のページのオリジナルデータと関連付ける。換言すれば、同一データ関連付部７１は、１つのデータに含まれる複数のページである複数のオリジナルデータを互いに関連付ける。例えば、データが第１ページ、第２ページおよび第３ページからなる場合、第１ページのオリジナルデータと第２ページのオリジナルデータとを関連付、第１ページのオリジナルデータと第３ページのオリジナルデータとを関連付、第２ページのオリジナルデータと第３ページのオリジナルデータとを関連付ける。
【００７３】
同一ユーザー関連付部７３は、出力制御部５７によって同一ユーザーによる指示に基づいて出力された複数の置換データにそれぞれ対応する複数のオリジナルデータを関連付ける。同一ユーザー関連付部７３は、データ取得部５１からオリジナルデータが入力された後に、出力制御部５７からユーザー識別情報を含む出力完了信号が入力されると、出力完了信号に含まれるユーザー識別情報のユーザーによる操作に基づいて、そのオリジナルデータを置換した置換データが出力されたと判断する。同一ユーザー関連付部７３は、オリジナルデータを識別するためのオリジナル識別情報と、ユーザー識別情報とを含む履歴情報を記憶しておき、出力制御部５７から出力完了信号が入力されることに応じて、履歴情報を参照して、出力完了信号に含まれるユーザー識別情報を含む履歴情報に含まれるオリジナル識別情報で特定されるオリジナルデータを、データ取得部５１から入力されるオリジナルデータと関連するオリジナルデータに決定する。例えば、ユーザーＡによる操作に基づいてオリジナルデータＡを置換した置換データが画像形成され、ユーザーＡによる操作に基づいてオリジナルデータＢを置換した置換データが画像形成される場合、オリジナルデータＡとオリジナルデータＢとを関連付ける。また、同一ユーザー関連付部７３は、出力制御部５７によって同一グループに属する複数のユーザーによる指示に基づいて出力された複数の置換データにそれぞれ対応する複数のオリジナルデータを関連付ける。例えば、ユーザーＡとユーザーＢとが同一グループに属する場合、ユーザーＡによる操作に基づいてオリジナルデータＡを置換した置換データが画像形成され、ユーザーＢによる操作に基づいてオリジナルデータＢを置換した置換データが画像形成される場合、オリジナルデータＡとオリジナルデータＢとを関連付ける。
【００７４】
候補データ取得部７５は、サーバー５００から候補となる１以上のオリジナルデータを取得する。ＡＲタグ登録部５５によって登録情報がサーバー５００に送信されるので、サーバー５００は、登録情報に含まれるオリジナルデータを記憶している。候補データ取得部７５は、サーバー５００に候補データの送信を要求し、サーバー５００に記憶された１以上のオリジナルデータを候補データとして取得する。候補データ取得部７５は、取得された１以上の候補データを操作関連付部７７に出力する。
【００７５】
操作関連付部７７は、データ取得部５１から入力されるオリジナルデータを、候補データ取得部７５から入力される１以上の候補データのうちからユーザーにより選択された候補データと、関連付ける。
【００７６】
優先度登録部６３は、データ関連付登録部６１からオリジナル関連付情報が入力される。優先度登録部６３は、オリジナル関連付情報に含まれる２以上のオリジナル識別情報でそれぞれ特定されるオリジナルデータに優先度を付与する。優先度は、２つのオリジナルデータに対して相対的に優劣を定める。例えば、２つのオリジナルデータに対して、一方が他方よりも優先度が高い場合、一方が他方よりも優先度が低い場合、両方の優先度が同じ場合の３通りがある。オリジナルデータが３以上の場合には、２つのオリジナルデータの組における優先度の関係は、上記の３通りと同じである。優先度登録部６３は、２以上のオリジナルデータそれぞれのオリジナル識別情報と優先度とを含む優先度情報を、通信Ｉ／Ｆ部１１２を介してサーバー５００に送信する。
【００７７】
優先度登録部６３は、優先度設定画面を表示部１６３に表示し、ユーザーが操作部１６３に入力する操作に従って優先度を設定する。
【００７８】
図８は、優先度設定画面の一例を示す図である。図８に示した優先度設定画面７００は、第１のオリジナルデータと第２のオリジナルデータとが関連付けられる場合に表示される場合の一例を示している。ここでは、第１のオリジナルデータのオリジナル識別情報「文書Ｘ」とし、第２のオリジナルデータのオリジナル識別情報「文書Ｙ」としている。
【００７９】
図８を参照して、優先度設定画面７００は、第１のオリジナルデータのサムネイル７０１と、第２のオリジナルデータのサムネイル７０２と、選択ボタン７１１〜７１４と、決定ボタン７１５と、を含む。サムネイルは、データの画像を縮小した画像である。
【００８０】
第１のオリジナルデータのサムネイル７０１の近傍に第１のオリジナルデータのオリジナル識別情報「文書Ｘ」が配置され、第２のオリジナルデータのサムネイル７０２の近傍に第２のオリジナルデータのオリジナル識別情報「文書Ｙ」が配置される。
【００８１】
選択ボタン７１１〜７１４は、いずれか１つを選択可能である。選択ボタン７１１は、第１のオリジナルデータの優先度と、第２のオリジナルデータの優先度とを同じに設定するためのボタンである。選択ボタン７１２は、第１のオリジナルデータの優先度を、第２のオリジナルデータの優先度よりも高い値に設定するためのボタンである。選択ボタン７１３は、第１のオリジナルデータの優先度を、第２のオリジナルデータの優先度よりも低い値に設定するためのボタンである。選択ボタン７１４は、第１のオリジナルデータの優先度および第２のオリジナルデータの優先度を設定しないためのボタンである。
【００８２】
決定ボタン７１５は、優先度を決定する操作を入力するためのボタンである。選択ボタン７１１〜７１４のいずれかが選択された状態で、決定ボタン７１５が指示されると、第１のオリジナルデータと第２のオリジナルデータの優先度が決定される。
【００８３】
図９は、サーバーが備えるＣＰＵの機能の概要の一例を示すブロック図である。図９に示す機能は、サーバー５００が備えるＣＰＵ５０１が、ＲＯＭ５０２またはＨＤＤ５０４に記憶されたプログラムをＲＡＭ５０２にロードして実行することにより、ＣＰＵ５０１に形成される。図９を参照して、サーバー５００が備えるＣＰＵ５０１は、ＡＲタグ関連付部５５１と、登録情報抽出部５５３と、送信要求受信部５５５と、オリジナル関連付部５５７と、関連部分返信部５５９と、関連オリジナル特定部５６１と、追加部分抽出部５６３と、装置特定部５６５と、連動送信部５６７と、優先度設定部５６９と、ユーザー特定部５７１と、を含む。
【００８４】
ＡＲタグ関連付部５５１は、ＭＦＰ１００から登録情報を受信し、登録情報に含まれるオリジナルデータと、ＡＲタグと、関連部分と、置換データとを関連付けるとともに、受信された登録情報を登録情報抽出部５５３に出力する。ＡＲタグ関連付部５５１は、通信部５０５を制御し、ＭＦＰ１００から送信される登録情報を受信し、受信された登録情報をＨＤＤ５０４に記憶することによって、登録情報に含まれるオリジナルデータと、ＡＲタグと、関連部分と、置換データとを関連付けるとともに、登録情報抽出部５５３に登録情報を出力する。
【００８５】
送信要求受信部５５５は、通信部５０５が、携帯情報装置２００，２００Ａ，２００ＢまたはＨＭＤ４００のいずれかから送信要求を受信する。ここでは、携帯情報装置２００から送信要求を受信する場合を例に説明する。送信要求は、ＡＲタグと取得データとを含む。取得データは、送信要求を送信してきた携帯情報装置２００によって取得されたデータである。取得データは、例えば携帯情報装置２００が、カメラ２０２でＭＦＰ１００が置換データの画像を形成した用紙を被写体として撮像して得られるデータである。また、取得データは、携帯情報装置２００が、ＭＦＰ１００により送信される置換データを受信する場合における置換データである。送信要求受信部５５は、送信要求を受信することに応じて、送信要求に含まれるＡＲタグを登録情報抽出部５５３に出力し、送信要求に含まれる取得データを追加部分抽出部５６３に出力し、送信要求を送信してきた装置を識別するための装置識別情報、ここでは携帯情報装置２００の装置識別情報を関連部分返信部５５９に出力する。
【００８６】
登録情報抽出部５５３は、送信要求受信部５５５からＡＲタグが入力されることに応じて、送信要求受信部５５５から入力されるＡＲタグと、ＡＲタグ関連付部５５１によって関連付けられたオリジナルデータ、関連部分および置換データを決定する。具体的には、ＨＤＤ５０４に記憶された登録情報のうちから送信要求受信部５５５から入力されるＡＲタグと同じＡＲタグを含む登録情報を抽出し、抽出した登録情報に含まれるオリジナル識別情報、関連部分および置換データを取得する。登録情報抽出部５５３は、オリジナル識別情報と関連部分との組を関連部分返信部５５９に出力し、オリジナル識別情報を関連オリジナル特定部５６１に出力し、オリジナル識別情報と置換データとの組を追加部分抽出部５６３に出力する。
【００８７】
関連部分返信部５５９は、登録情報抽出部５５３からオリジナル識別情報と関連部分との組が入力され、送信要求受信部５５５から送信要求を送信してきた装置、ここでは携帯情報装置２００の装置識別情報が入力される。関連部分返信部５５９は、通信部５０５を制御して、関連部分を、装置識別情報で特定される携帯情報装置２００に送信する。また、関連部分返信部５５９は、オリジナル識別情報と装置識別情報との組を装置特定部５６５に出力する。
【００８８】
オリジナル関連付部５５７は、ＭＦＰ１００からオリジナル関連付情報を受信し、受信されたオリジナル関連付情報に含まれる２以上のオリジナル識別情報でそれぞれ特定される２以上のオリジナルデータを関連付けるとともに、２以上のオリジナル関連付情報の組を関連オリジナル特定部５６１に出力する。オリジナル関連付部５５７は、通信部５０５を制御し、ＭＦＰ１００から送信されるオリジナル関連付情報を受信し、受信されたオリジナル関連付情報をＨＤＤ５０４に記憶することによって、オリジナル関連付情報に含まれる２以上のオリジナル識別情報でそれぞれ特定される２以上のオリジナルデータを関連付けるとともに、オリジナル関連付情報を関連オリジナル特定部５６１に出力する。
【００８９】
関連オリジナル特定部５６１は、登録情報抽出部５５３からオリジナル識別情報が入力され、オリジナル関連付部５５７からオリジナル関連情報が入力される。オリジナル関連情報は、２以上のオリジナル識別情報を含む。関連オリジナル特定部５６１は、登録情報抽出部５５３から入力されるオリジナル識別情報で特定されるオリジナルデータと、オリジナル関連情報で関連付けられたオリジナルデータを関連オリジナルデータとして特定する。関連オリジナル特定部５６１は、ＨＤＤ５０４に記憶されたオリジナル関連情報のうちから、登録情報抽出部５５３から入力されるオリジナル識別情報を含むオリジナル関連情報を抽出し、抽出されたオリジナル関連情報に含まれる２以上のオリジナル識別情報を取得する。関連オリジナル特定部５６１は、取得された２以上のオリジナル識別情報のうち登録情報抽出部５５３から入力されるオリジナル識別情報を除く１以上のオリジナル識別情報を、関連オリジナルデータのオリジナル識別情報として装置特定部５６５に出力する。
【００９０】
装置特定部５６５は、関連部分返信部５５９からオリジナル識別情報と装置識別情報との組が入力され、関連オリジナル特定部５６１から１以上の関連オリジナルデータのオリジナル識別情報が入力される。装置特定部５６５は、関連部分返信部５５９からオリジナル識別情報と装置識別情報との組が入力されると、それらをＨＤＤ５０４に記憶する。装置特定部５６５は、関連オリジナル特定部５６１から１以上の関連オリジナルデータのオリジナル識別情報が入力されると、ＨＤＤ５０４に記憶されたオリジナル識別情報と装置識別情報との組を参照して、関連オリジナル特定部５６１から入力される関連オリジナルデータのオリジナル識別情報と組になる装置識別情報を特定する。具体的には、装置特定部５６５は、ＨＤＤ５０４に記憶されたオリジナル識別情報と装置識別情報との組のうちから、関連オリジナル特定部５６１から入力される関連オリジナルデータのオリジナル識別情報と同じオリジナル識別情報を含む組を抽出し、抽出された組に含まれる装置識別情報を特定する。装置特定部５６５は、関連オリジナル特定部５６１から複数のオリジナル識別情報が入力される場合、複数のオリジナル識別情報ごとに、そのオリジナル識別情報と組になる装置識別情報を特定する。装置特定部５６５は、関連オリジナルデータのオリジナル識別情報と、それと組になる装置識別情報との組を、連動送信部５６７およびユーザー特定部５７１に出力する。
【００９１】
追加部分抽出部５６３は、登録情報抽出部５５３からオリジナルデータのオリジナル識別情報と置換データの組が入力され、送信要求受信部５５５から取得データが入力される。追加部分抽出部５６３は、取得データに存在するが置換データに存在しない部分を追加部分として抽出する。置換データと取得データとの差分から、追加部分を抽出するようにすればよい。追加部分抽出部５６は、抽出された追加部分と、登録情報抽出部５５３から入力されるオリジナルデータのオリジナル識別情報との組を、連動送信部５６７に出力する。追加部分は、取得データに含まれる画像と、取得データに含まれるＡＲタグを基準にした追加部分の相対的位置を示す位置情報を含む。
【００９２】
優先度設定部５６９は、ＭＦＰ１００から優先度情報を受信し、優先度情報に含まれる２以上のオリジナル識別情報でそれぞれ特定される２以上のオリジナルデータそれぞれに優先度を設定するとともに、優先度情報を連動送信部５６７に出力する。優先度情報は、２以上のオリジナルデータそれぞれについて、オリジナル識別情報と優先度とを定める。優先度設定部５６９は、通信部５０５を制御し、ＭＦＰ１００から送信される優先度情報を受信し、受信された優先度情報をＨＤＤ５０４に記憶することによって、優先度情報に含まれる２以上のオリジナル識別情報でそれぞれ特定される２以上のオリジナルデータそれぞれに優先度を設定するとともに、優先度情報を連動送信部５６７に出力する。
【００９３】
ユーザー特定部５７１は、装置特定部５６５から関連オリジナルデータのオリジナル識別情報と装置識別情報との組が入力される。ユーザー特定部５７１は、装置特定部５６５から入力される装置識別情報を操作するユーザーを特定する。ＨＤＤ５０４に、ユーザーのユーザー識別情報と、そのユーザーに割り当てられた装置の装置識別情報と、そのユーザーに割り当てられた機密レベルの組を予め記憶している。ユーザー特定部５７１は、装置特定部５６５から装置識別情報が入力されることに応じて、その装置識別情報と組になるユーザー識別情報のユーザーを特定する。ユーザー特定部５７１は、特定されたユーザーの機密レベルを、連動送信部５６７に出力する。
【００９４】
連動送信部５６７は、装置特定部５６５から装置識別情報が入力され、追加部分抽出部５６３からオリジナルデータのオリジナル識別情報と追加部分の組が入力される。連動送信部５６７は、通信部５０５を制御して、追加部分を、装置特定部５６５から入力される装置識別情報で特定される装置に送信する。
【００９５】
連動送信部５６７は、順位比較部５８１と、機密レベル決定部５８３と、機密レベル比較部５８５と、を含む。順位比較部５８１は、装置特定部５６５から関連オリジナルデータのオリジナル識別情報と装置識別情報との組が入力され、追加部分抽出部５６３から追加部分とオリジナルデータのオリジナル識別情報との組が入力される。ここで、追加部分抽出部５６３から入力されるオリジナルデータのオリジナル識別情報を第１のオリジナル識別情報といい、装置特定部５６５から入力される関連オリジナルデータのオリジナル識別情報を第２のオリジナル識別情報という。順位比較部５８１は、優先度設定部５６９によってオリジナルデータごとに設定された優先度を参照して、第１のオリジナル識別情報で特定されるオリジナルデータの優先度と、第２のオリジナル識別情報で特定される関連オリジナルデータの優先度と、を比較する。連動送信部５６７は、第１のオリジナル識別情報で特定されるオリジナルデータの優先度が、第２のオリジナル識別情報で特定される関連オリジナルデータの優先度以上であることを条件に、第２のオリジナル識別情報と組になる装置識別情報で特定される装置に追加部分を送信する。連動送信部５６７は、第１のオリジナル識別情報で特定されるオリジナルデータの優先度が、第２のオリジナル識別情報で特定されるオリジナルデータの優先度より低い場合、第２のオリジナル識別情報と組になる装置識別情報で特定される装置に追加部分を送信しない。また、連動送信部５６７は、優先度設定部５６９によって第１のオリジナル識別情報で特定されるオリジナルデータの優先度と、第２のオリジナル識別情報で特定される関連オリジナルデータの優先度とが設定されていない場合、第２のオリジナル識別情報と組になる装置識別情報で特定される装置に追加部分を送信しない。
【００９６】
機密レベル決定部５８３は、追加部分抽出部５６３から入力される追加部分を解析し、追加部分に対する機密レベルを決定する。機密レベル決定部５８３は、追加部分の画像を文字認識することにより、追加部分の画像に含まれる文字情報を抽出する。そして、機密レベル決定部５８３は、抽出された文字情報を、予め定められた文字列と比較することにより機密レベルを決定する。予め定められた文字列は、機密レベルごとに定められた文字列である。例えば、最も高い機密レベル「１」に対して文字列「部外秘」、機密レベル「１」より低い機密レベル「２」に対して文字列「社外秘」等である。また、最も高い機密レベル「１」に対してプロジェクト名である文字列「プロジェクトＡ」、機密レベル「１」より低い機密レベル「２」に対してプロジェクト名である文字列「プロジェクトＢ」等である。機密レベル決定部５８３は、追加部分に対して決定された機密レベルを、機密レベル比較部５８５に出力する。
【００９７】
機密レベル比較部５８５は、機密レベル決定部５８３から追加部分に対する機密レベルが入力され、ユーザー特定部５７１からユーザーの機密レベルが入力される。機密レベル比較部５８５は、追加部分に対する機密レベルと、ユーザーの機密レベルとを比較する。連動送信部５６７は、ユーザーの機密レベルが、追加部分に対する機密レベル以上であることを条件に、装置特定部５６５から入力される装置識別情報で特定される装置に追加部分を送信する。連動送信部５６７は、ユーザーの機密レベルが、追加部分に対する機密レベルより低い場合、追加部分を送信しない。
【００９８】
図１０は、本実施の形態における携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。図１０に示す機能は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された拡張現実表示プログラムを実行することにより、ＣＰＵ２０１に形成される機能である。図１０を参照して、ＣＰＵ２０１は、取得データ取得部２５３と、ＡＲタグ抽出部２５５と、サーバー５００に関連部分の送信を要求する関連部分要求部２５７と、サーバー５００から関連部分を受信する関連部分受信部２５９と、表示部２０６を制御する表示制御部２５１と、を含む。
【００９９】
取得データ取得部２５３は、データを取得する。ここでは、取得データ取得部２５３が取得するデータを取得データという。取得データ取得部２５３は、取得された取得データを、ＡＲタグ抽出部２５５、関連部分要求部２５７および表示制御部２５１に出力する。
【０１００】
取得データ取得部２５３は、無線ＬＡＮＩ／Ｆ２０８を制御し、ＭＦＰ１００が送信するデータを取得データとして受信する。ＭＦＰ１００が取得データを電子メールで送信する場合には、その電子メールを受信し、受信された電子メールに含まれる取得データを取得する。取得データは、無線ＬＡＮＩ／Ｆ２０８がＭＦＰ１００から受信するデータを、変更したデータを含む。例えば、ＭＦＰ１００を操作するユーザーが、ＭＦＰ１００から受信されたデータを、アプリケーションプログラムを用いて編集する場合、取得データ取得部２５３は、ＭＦＰ１００から受信されたデータを編集した後のデータを取得データとして取得する。また、取得データ取得部２５３は、カメラ２０２を制御する撮像制御部２６１を含む。撮像制御部２６１は、カメラ２０２を制御し、カメラ２０２が被写体を撮像して出力する撮像画像を取得する。カメラ２０２がＭＦＰ１００により置換データの画像が形成された用紙を被写体として撮像して出力する場合、取得データ取得部２５３は、カメラ２０２が用紙を撮像して出力する撮像画像を、取得データとして取得する。ＭＦＰ１００により置換データの画像が形成された用紙に、ユーザーにより手書きの文字、図形等が描かれる場合がある。この場合において、カメラ２０２が被写体を撮像して出力する撮像画像は、置換データの画像に加えて手書きの文字、図形等の画像を含む。
【０１０１】
ＡＲタグ抽出部２５５は、取得データ取得部２５３から入力される取得データからＡＲタグを抽出する。ＡＲタグ抽出部２５５は、抽出されたＡＲタグを、関連部分要求部２５７に出力する。
【０１０２】
関連部分要求部２５７は、取得データ取得部２５３から取得データが入力され、ＡＲタグ抽出部２５５からＡＲタグが入力される。関連部分要求部２５７は、無線ＬＡＮＩ／Ｆ２０８を制御して、送信要求をサーバー５００に送信する。送信要求は、取得データとＡＲタグとを含む。携帯情報装置２００のフラッシュメモリー２０３に、サーバー５００のＩＰアドレスを予め記憶しておけばよい。送信要求を受信するサーバー５００は、送信要求を受信すると、送信要求に含まれるＡＲタグに関連付けられた関連部分を返信する。
【０１０３】
関連部分受信部２５９は、無線ＬＡＮＩ／Ｆ２０８を制御してサーバー５００から関連部分を受信する。関連部分受信部２５９は、関連部分を表示制御部２５１に出力する。関連部分は、画像と、ＡＲタグを基準にして関連部分の相対的な位置を示す位置情報を含む。
【０１０４】
表示制御部２５１は、取得データ取得部２５３から取得データが入力されることに応じて、取得データの画像を表示部２０６に表示する。表示制御部２５１は、関連部分受信部２５９から関連部分が入力される場合、関連部分の画像を表示部２０６に表示する。表示制御部２５１は、関連部分に含まれる位置情報に基づいて、表示部２０６に表示された取得データの画像に含まれるＡＲタグを基準にして、関連部分の画像を配置する位置を特定する。表示制御部２５１は、取得データの画像中でＡＲタグを基準にして特定された位置に、関連部分の画像を重畳して表示する。
【０１０５】
表示制御部２５１によって関連部分が表示された後に、無線ＬＡＮＩ／Ｆ２０８がサーバー５００から追加部分を受信する場合がある。表示制御部２５１は、連動表示制御部２６３を含む。連動表示制御部２６３は、サーバー５００から追加部分を受信する場合、追加部分の画像を表示部２０６に表示する。追加部分は、画像と、ＡＲタグを基準にして追加部分の相対的な位置を示す位置情報と、を含む。連動表示制御部２６３は、追加部分に含まれる位置情報に基づいて、表示部２０６に表示された取得データの画像に含まれるＡＲタグを基準にして、追加部分の画像を配置する位置を特定する。連動表示制御部２６３は、取得データの画像中でＡＲタグを基準にして特定された位置に、追加部分の画像を重畳して表示する。
【０１０６】
ここで、ＭＦＰ１００がＰＣ３００から受信したデータを置換データに変換し、画像形成する場合を例に説明する。ＭＦＰ１００がＰＣ３００から受信するデータは、第１ページである第１のオリジナルデータと、第２ページである第２のオリジナルデータを含む。また、第１のオリジナルデータと第２のオリジナルデータとでは、第１のオリジナルデータの優先度が第２のオリジナルデータの優先度よりも高く設定されている場合を例に説明する。
【０１０７】
図１１は、第１のオリジナルデータの一例を示す図である。図１１を参照して、第１のオリジナルデータ６１０は、「Ｃｏｎｆｉｄｅｎｔｉａｌ」の文字列６１１と、棒グラフが表された領域６１３と、を含む。ここでは、領域６１３がユーザーにより関連部分に指定される場合を例に説明する。
【０１０８】
図１２は、第１の置換データの一例を示す図である。第１の置換データは、第１のオリジナルデータ６１０の関連部分６１３をＡＲタグで置き換えたデータである。図１２を参照して、第１の置換データ６１０Ａは、「Ｃｏｎｆｉｄｅｎｔｉａｌ」の文字列６１１と、ＡＲタグ６１３Ａと、を含む。
【０１０９】
図１３は、第２のオリジナルデータの一例を示す図である。図１３を参照して、第２のオリジナルデータ６２０は、「Ｃｏｎｆｉｄｅｎｔｉａｌ」の文字列６２１と、帯グラフが表された領域６２３と、を含む。ここでは、領域６２３がユーザーにより関連部分に指定される場合を例に説明する。
【０１１０】
図１４は、第２の置換データの一例を示す図である。第２の置換データは、第２のオリジナルデータ６２０の関連部分６２３をＡＲタグで置き換えたデータである。図１４を参照して、第１の置換データ６２０Ａは、「Ｃｏｎｆｉｄｅｎｔｉａｌ」の文字列６２１と、ＡＲタグ６２３Ａと、を含む。
【０１１１】
ＭＦＰ１００は、第１の置換データ６１０Ａの画像を用紙に形成すると、第１のオリジナルデータ６１０の第１のオリジナル識別情報と、ＡＲタグ６１３Ａと、関連部分６１３と、置換データ６１０Ａとを含む第１の登録情報をサーバー５００に送信する。また、ＭＦＰ１００は、第２の置換データ６２０Ａの画像を用紙に形成すると、第１のオリジナルデータ６２０の第２のオリジナル識別情報と、ＡＲタグ６２３Ａと、関連部分６２３と、置換データ６２０Ａとを含む第２の登録情報をサーバー５００に送信する。さらに、第１のオリジナルデータと第２のオリジナルデータとは、同一のデータに含まれる第１ページと第２ページなので、ＭＦＰ１００は、第１のオリジナルデータの第１オリジナル識別情報と、第２のオリジナルデータの第２オリジナル識別情報とを含むオリジナル関連付情報をサーバー５００に送信する。さらに、第１のオリジナルデータの優先度が第２のオリジナルデータの優先度より高くユーザーにより設定されるので、ＭＦＰ１００は、第１のオリジナルデータと第２のオリジナルデータそれぞれのオリジナル識別情報と、第１のオリジナルデータの優先度を第２のオリジナルデータ優先度よりも高くした優先度情報を、サーバー５００に送信する。サーバー５００は、第１の登録情報、第２の登録情報、オリジナル関連付情報および優先度情報を、ＨＤＤ５０４に記憶する。
【０１１２】
この段階で、ユーザーＡが携帯情報装置２００を操作して、カメラ２０２で第１の置換データ６１０Ａの画像が形成された用紙を撮像する場合、携帯情報装置２００は、第１の置換データ６１０Ａの画像をカメラ２０２で撮像して得られる撮像画像を第１の取得データとし、第１の取得データから抽出されるＡＲタグ６１３Ａと、第１の取得データとを含む第１の送信要求をサーバー５００に送信する。サーバー５００は、第１の送信要求に含まれるＡＲタグ６１３Ａと同じＡＲタグ６１３Ａを含む第１の登録情報を抽出し、第１の登録情報に含まれる関連部分６１３を携帯情報装置２００に返信する。このため、携帯情報装置２００は、サーバー５００から返信される関連部分６１３を、第１の取得データ（撮像画像）中のＡＲタグ６１３Ａを基準に定まる位置に関連部分６１３を表示する。したがって、携帯情報装置２００の表示部２０６には、図１１に示した第１のオリジナルデータ６１０と同じ画像が表示される。
【０１１３】
一方、ユーザーＢが携帯情報装置２００Ａを操作して、カメラ２０２で第２の置換データ６２０Ａの画像が形成された用紙を撮像する場合、携帯情報装置２００Ａは、第２の置換データ６２０Ａの画像をカメラ２０２で撮像して得られる撮像画像を第２の取得データとし、第２の取得データから抽出されるＡＲタグ６２３Ａと、第２の取得データとを含む第２の送信要求をサーバー５００に送信する。サーバー５００は、第２の送信要求に含まれるＡＲタグ６２３Ａと同じＡＲタグ６２３Ａを含む第２の登録情報を抽出し、第２の登録情報に含まれる関連部分６２３を携帯情報装置２００Ａに返信する。このため、携帯情報装置２００Ａは、サーバー５００から返信される関連部分６２３を、第２の取得データ（撮像画像）中のＡＲタグ６２３Ａを基準に定まる位置に関連部分６２３を表示する。したがって、携帯情報装置２００Ａの表示部２０６には、図１３に示した第２のオリジナルデータ６２０と同じ画像が表示される。
【０１１４】
次に、ユーザーＡが、第１の置換データ６１０Ａの画像が形成された用紙に、手書きで文字または図形を描画した場合を例に説明する。
【０１１５】
図１５は、置換データの画像が形成された用紙に文字または図形が追加された場合の用紙の一例を示す図である。ここでは、第１の置換データ６１０Ａの画像が形成された用紙にユーザーＡが手書きで文字を描画する場合を示す。図１５を参照して、用紙６１０Ｂは、「Ｃｏｎｆｉｄｅｎｔｉａｌ」の文字列６１１と、関連部分６１３と、手書き文字が表された領域６１５と、を含む。
【０１１６】
ユーザーＡが携帯情報装置２００を操作して、カメラ２０２で用紙６１０Ｂを撮像する場合、携帯情報装置２００は、その用紙をカメラ２０２で撮像して得られる撮像画像を第３の取得データとし、第３の取得データから抽出されるＡＲタグ６１３Ａと、第３の取得データとを含む第３の送信要求をサーバー５００に送信する。サーバー５００は、第３の送信要求に含まれるＡＲタグ６１３Ａと同じＡＲタグ６１３Ａを含む第１の登録情報を抽出し、第１の登録情報に含まれる関連部分６１３を携帯情報装置２００に返信する。このため、携帯情報装置２００は、サーバー５００から返信される関連部分６１３を、第３の取得データ（撮像画像）中のＡＲタグ６１３Ａを基準に定まる位置に表示する。図１６に、携帯情報装置２００に表示される画像の一例を示す。
【０１１７】
図１６は、携帯情報装置に表示される画像の一例を示す第１の図である。図１６を参照して、画像６１０Ｃは、「Ｃｏｎｆｉｄｅｎｔｉａｌ」の文字列６１１と、関連部分６１３と、手書き文字が表された領域６１５と、を含む。
【０１１８】
一方、サーバー５００は、第３の送信要求に含まれる第３の取得データと、第１の登録情報に含まれる第１の置換データとを比較し、第３の取得データに存在するが第１の置換データに存在しない追加部分を決定する。ここでは、第３の取得データ６１０Ｂに存在するが、第１の置換データ６１０Ａに存在しない手書き文字が表された領域６１５を追加部分に決定する。さらに、サーバー５００は、第１の登録情報に含まれる第１オリジナル識別情報で特定される第１のオリジナルデータ６１０と、オリジナル関連付情報で関連付けられた第２のオリジナルデータ６２０を特定する。さらに、サーバー５００は、第１のオリジナルデータの優先度が第２のオリジナルデータの優先度以上であることを条件に、第２のオリジナルデータ６２０の第２オリジナル識別情報を含む第２の登録情報を抽出し、第２の登録情報に含まれる第２の関連部分６２３Ａを送信した装置を特定する。ここでは、第１のオリジナルデータの優先度が第２のオリジナルデータの優先度より高く、携帯情報装置２００Ａに第２の関連部分６２３Ａを送信しているので、携帯情報装置２００Ａを特定する。そして、サーバー５００は、追加部分６１５を携帯情報装置２００Ａに送信する。
【０１１９】
なお、ユーザーＢが第２の置換データ６２０が形成された用紙に手書きで文字を追加した場合には、サーバー５００は、第２の登録情報に含まれる第２オリジナル識別情報で特定される第２のオリジナルデータ６２０と、オリジナル関連付情報で関連付けられた第１のオリジナルデータ６１０を特定するが、第２のオリジナルデータの優先度が第１のオリジナルデータの優先度より小さいので、第１のオリジナルデータ６１０の第１オリジナル識別情報を含む第１の登録情報を抽出することなく、携帯情報装置２００に追加部分を送信しない。したがって、関連する複数のオリジナルデータに優先度を設定することによって、一方に追加された追加部分を他方に表示するか否かを定めることができる。
【０１２０】
携帯情報装置２００Ａは、サーバー５００から受信される第２の関連部分６２３を表示している最中に、サーバー５００から追加部分６１５を受信すると、追加部分６１５を、第２の取得データ（撮像画像）中のＡＲタグ６２３Ａを基準に定まる位置に表示する。図１７に、携帯情報装置２００Ａに表示される画像の一例を示す。
【０１２１】
図１７は、携帯情報装置に表示される画像の一例を示す第２の図である。図１７を参照して、画像６２０Ｃは、「Ｃｏｎｆｉｄｅｎｔｉａｌ」の文字列６２１と、関連部分６２３と、手書き文字が表された領域である追加部分６１５と、を含む。このため、携帯情報装置２００Ａの表示部２０６には、図１３に示した第２のオリジナルデータ６２０と同じ画像に、追加部分６１５を追加した画像が表示される。
【０１２２】
このように、ユーザーＡが、手書きで追加した追加部分６１５を、ユーザーＢが視認することができる。このため、互いに関連する複数のオリジナルデータのうち少なくとも１つに追加された追加部分を、他の関連するオリジナルデータを閲覧するユーザーに通知することができる。
【０１２３】
図１８は、置換データ生成処理の流れの一例を示すフローチャートである。置換データ生成処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５またはＣＤ−ＲＯＭ１１８に記憶された置換データ生成プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図１８を参照して、ＣＰＵ１１１は、ＭＦＰ１００を操作するユーザーを認証する（ステップＳ０１）。表示部１６１にログイン画面を表示し、ユーザーが操作部１６３に入力するユーザー識別情報とパスワードとを受け付け、それらが予めＨＤＤ１１５に記憶されていれば、ユーザーを認証する。
【０１２４】
次のステップＳ０２においては、データを取得する。ステップＳ０２において取得するデータは、ＨＤＤ１１５に予め記憶されたデータであってもよいし、ＰＣ３００から受信されるプリントデータ、または、アプリケーションデータであってもよい。アプリケーションデータは、ＰＣ３００がアプリケーションプログラムを実行することにより、生成するデータである。
【０１２５】
次のステップＳ０３においては、ステップＳ０２において取得されたデータが、複数ページを含むか否かを判断する。複数ページを含むデータならば処理をステップＳ０４に進める。ステップＳ０２において取得されたデータが、複数ページを含まなければそのデータを処理対象であるオリジナルデータに設定し、処理をステップＳ０８に進める。
【０１２６】
ステップＳ０４においては、複数ページのうち１つを処理対象であるオリジナルデータに選択し、処理をステップＳ０５に進める。ステップＳ０５においては、登録情報生成処理を実行し、処理をステップＳ０６に進める。登録情報生成処理の詳細は、後述するが、処理対象に設定されているオリジナルデータを変換した置換データに変換する処理を含む。
【０１２７】
ステップＳ０６においては、オリジナル関連付情報生成処理を実行し、処理をステップＳ０７に進める。オリジナル関連付情報生成処理の詳細は後述する。ステップＳ０７においては、処理対象に選択されていないページが存在するか否かを判断する。処理対象に選択されていないページが存在するならば処理をステップＳ０４に戻すが、存在しなければ処理をステップＳ１０に進める。
【０１２８】
ステップＳ０８においては、処理対象に設定されているオリジナルデータに対して登録情報生成処理を実行し、処理をステップＳ０９に進める。ステップＳ０９においては、オリジナル関連付情報生成処理を実行し、処理をステップＳ１０に進める。
【０１２９】
ステップＳ１０においては、出力指示を受け付けたか否かを判断する。操作部１６３が、ユーザーによる出力指示の操作を受け付けると、出力指示を受け付けたと判断する。例えば、ハードキー部１６７が備える複数のキーのうちプリント指示または送信指示が予め割り当てられたキーがユーザーにより押下されると、出力指示を受け付ける。出力指示を受け付けるまで待機状態となり（ステップＳ１０でＮＯ）、出力指示を受け付けたならば（ステップＳ１０でＹＥＳ）、処理をステップＳ１１に進める。ステップＳ１１においては、出力指示により特定される出力先によって処理を分岐させる。出力指示がプリントを示すならば処理をステップＳ１２に出力し、出力指示がデータ送信を示すならば処理をステップＳ１４に進める。例えば、ステップＳ１０においてハードキー部１６７が備える複数のキーのうちプリント指示が割り当てられたキーがユーザーにより押下される場合は、処理をステップＳ１２に進め、送信指示が割り当てられたキーがユーザーにより押下される場合は、処理をステップＳ１４に進める。
【０１３０】
ステップＳ１２においては、置換データをプリントし、処理をステップＳ１３に進める。具体的には、ステップＳ０５において生成された置換データの画像を用紙に形成する。ステップＳ１４においては、置換データを送信し、処理をステップＳ１３に進める。具体的には、ステップＳ０５において生成された置換データを、通信Ｉ／Ｆ部１１２を介して他のコンピューターに送信する。置換データを送信する先は、ユーザーが操作部１６３を用いて指定するようにすればよい。例えば、携帯情報装置２００がユーザーにより指定される場合は、置換データを、携帯情報装置２００に送信する。
【０１３１】
次のステップＳ１３においては、履歴情報を記憶し、処理を終了する。履歴情報は、ユーザー識別情報と、オリジナル識別情報と、を含む。ユーザー識別情報は、ステップＳ０１において認証されたユーザーのユーザー識別情報である。オリジナル識別情報は、ステップＳ０５またはステップＳ０８において実行される登録情報生成処理で処理対象とされるオリジナルデータを識別するためのデータ識別情報である。具体的には、オリジナルデータ識別情報は、ステップＳ０２において取得されたデータが複数ページを含む場合には、複数ページにそれぞれ対応する複数のオリジナルデータそれぞれのデータ識別情報であり、ステップＳ０２において取得されたデータが１ページを含む場合には、そのデータのデータ識別情報である。
【０１３２】
図１９は、登録情報生成処理の流れの一例を示すフローチャートである。登録情報生成処理は、図１８のステップＳ０５またはステップＳ０８において実行される処理である。登録情報生成処理が実行される前の段階で、処理対象となるオリジナルデータが特定されている。図１９を参照して、ＣＰＵ１１１は、オリジナルデータ中の関連部分の指定を受け付ける（ステップＳ２１）。たとえば、オリジナルデータの画像を表示部１６１に表示し、ユーザーが、表示された画像中の任意の領域を指定する操作を操作部１６３に入力すれば、指定された領域を関連部分として受け付ける。関連部分の指定を受け付けるまで待機状態となり（ステップＳ２１でＮＯ）、関連部分の指定を受け付けたならば（ステップＳ２１でＹＥＳ）、処理をステップＳ２２に進める。関連部分は、オリジナルデータ中の位置情報を含む。
【０１３３】
ステップＳ２２においては、ＡＲタグを決定する。予め準備されたＡＲタグのうちから任意のＡＲタグを決定する。次のステップＳ２３においては、ＡＲタグと関連部分とを関連付ける。ステップＳ２１においてオリジナルデータの中でユーザーにより指定された領域である関連部分と、ステップＳ２２において決定されたＡＲタグとを関連付ける。
【０１３４】
次のステップＳ２４においては、置換データを生成する。置換データは、オリジナルデータの関連部分をＡＲタグで置き換えたデータである。具体的には、ＣＰＵ１１１は、オリジナルデータのうち、ステップＳ２１においてユーザーにより指定された関連部分を、ステップＳ２２において決定されたＡＲタグで置き換えることにより、置換データを生成する。
【０１３５】
ステップＳ２５においては、登録情報を生成する。登録情報は、オリジナルデータを識別するためのオリジナル識別情報と、関連部分と、ＡＲタグと、置換データと、を含む。そして、登録情報をサーバーに登録し、処理を終了する。ステップＳ２５において生成された登録情報を、通信Ｉ／Ｆ部１１２を介して、サーバー５００に送信する。
【０１３６】
図２０は、オリジナル関連付情報生成処理の流れの一例を示すフローチャートである。オリジナル関連付情報生成処理は、図１８のステップＳ０６またはステップＳ０９において実行される処理である。オリジナル関連付情報生成処理が実行される前の段階で、処理対象となるオリジナルデータと、ＭＦＰ１００を操作するユーザーが特定されている。図２０を参照して、ＣＰＵ１１１は、オリジナルデータが複数のページを含むデータの一部か否かを判断する（ステップＳ３１）。オリジナルデータがデータの一部ならば処理をステップＳ３２に進めるが、そうでなければ処理をステップＳ３４に進める。ステップＳ３２においては、他のページを関連オリジナルデータに設定し、処理をステップＳ３３に進める。同一のデータに含まれる複数ページのうち、オリジナルデータのページ以外の１以上のページそれぞれのデータを関連オリジナルデータに設定する。ステップＳ３３においては、オリジナル関連付情報を生成し、処理をステップＳ３４に進める。オリジナル関連付情報は、２つのオリジナル識別情報を含み、２つのオリジナルデータを関連付ける。ここでは、オリジナルデータと、ステップＳ３２において関連オリジナルデータに設定されたオリジナルデータとを関連付ける。複数の関連オリジナルデータが設定される場合には、複数の関連オリジナルデータと同じ数のオリジナル関連付情報を生成する。
【０１３７】
ステップＳ３４においては、ユーザーまたはグループが同じ履歴情報を抽出する。ユーザーが同じ履歴情報は、ＨＤＤ１１５に記憶されている履歴情報のうち、ＭＦＰ１００を操作するユーザーのユーザー識別情報を含む履歴情報である。グループが同じ履歴情報は、ＨＤＤ１１５に記憶されている履歴情報のうち、ＭＦＰ１００を操作するユーザーと同一のグループに属する１以上のユーザーそれぞれのユーザー識別情報のいずれかを含む履歴情報である。ＨＤＤ１１５に、複数のユーザーを１以上のグループに分類したグループデータを記憶しておき、そのグループデータを用いて、ＭＦＰ１００を操作するユーザーと同一のグループに属する１以上のユーザーを特定する。例えば、ＭＦＰ１００を操作するユーザーＡが第１のオリジナルデータを指定して、第１のオリジナルデータをＡＲタグで置換した置換データをプリントする処理をＭＦＰ１００に実行させる場合を考える。ユーザーＡより先に、ユーザーＡと同一のグループに属するユーザーＢが第２のオリジナルデータを指定して、第２のオリジナルデータをＡＲタグで置換した置換データをプリントする処理をＭＦＰ１００に実行させていた場合、ユーザーＢのユーザー識別情報と第２のオリジナルデータのオリジナル識別情報とを含む履歴情報がＨＤＤ１１５に記憶されている。このため、ユーザーＡが第１のオリジナルデータを指定して、第１のオリジナルデータをＡＲタグで置換した置換データをプリントする処理をＭＦＰ１００に実行させる段階で、ユーザーＢのユーザー識別情報と第２のオリジナルデータのオリジナル識別情報とを含む履歴情報が抽出される。
【０１３８】
ステップＳ３５においては、履歴情報が抽出されたか否かを判断する。履歴情報が抽出されたならば処理をステップＳ３６に進めるが、そうでなければ処理をステップＳ３８に進める。ステップＳ３６においては、出力されたオリジナルデータを関連オリジナルデータに設定する。出力されたオリジナルデータは、ステップＳ３４において抽出された履歴情報に含まれるオリジナル識別情報で特定されるオリジナルデータである。ステップＳ３７においては、オリジナル関連付情報を生成し、処理をステップＳ３８に進める。オリジナルデータと、ステップＳ３６において関連オリジナルデータに設定されたオリジナルデータとを関連付ける。複数の履歴情報が抽出される場合には、複数の履歴情報と同じ数のオリジナル関連付情報を生成する。
【０１３９】
ステップＳ３８においては、サーバーに候補データを要求する。通信Ｉ／Ｆ部１１２を介してサーバー５００に候補データの送信を送信する。候補データの送信が要求されるサーバー５００は、候補データを返信する。サーバー５００において、候補データは、任意に定めることができる。次のステップＳ３９においては、通信Ｉ／Ｆ部１１２がサーバー５００から１以上の候補データを受信すると、１以上の候補データを選択可能な候補リストを表示部１６１に表示する。ユーザーによって候補データが選択されたか否かを判断する（ステップＳ４０）。ユーザーによって候補リストのうちから１以上の候補データが選択されるまで待機状態となり、１以上の候補データが選択されると、処理をステップＳ４１に進める。ステップＳ４１においては、選択された候補データを関連オリジナルデータに設定する。ステップＳ４２においては、オリジナル関連付情報を生成し、処理をステップＳ４３に進める。オリジナルデータと、ステップＳ４１において関連オリジナルデータに設定された候補データとを関連付ける。複数の候補データが抽出される場合には、選択された複数の候補データと同じ数のオリジナル関連付情報を生成する。
【０１４０】
ステップＳ４３においては、オリジナル関連付情報が生成されたか否かを判断する。少なくとも１つのオリジナル関連付情報が生成されたならば処理をステップＳ４４に進めるが、１つも生成されていなければ処理を置換データ生成処理に戻す。ステップＳ４４においては、優先度設定画面を表示部１６１に表示する。優先度設定画面は、例えば、図８に示した優先度設定画面である。
【０１４１】
次のステップＳ４５においては、優先度を受け付ける。ユーザーが優先度設定画面にしたがって、選択ボタン７１１〜７１４いずれかを指示し、決定ボタン７１５を指示すれば優先度を受け付ける。そして、優先度情報を生成する（ステップＳ４６）。優先度情報は、オリジナル識別情報と優先度との組を２つ含む。具体的には、優先度情報は、第１のオリジナルデータに対して第１オリジナル識別情報と優先度との組と、第２のオリジナルデータに対して第２オリジナル識別情報と優先度との組と、を含む。
【０１４２】
次のステップＳ４７においては、ステップＳ３３、ステップＳ３７またはステップＳ４２において生成されたオリジナル関連付情報を、サーバー５００に送信し、処理をステップＳ４８に進める。ステップＳ４８においては、ステップＳ４６において生成された優先度情報を、サーバー５００に送信し、処理を置換データ生成処理に戻す。
【０１４３】
図２１は、仮想現実実現処理の流れの一例を示すフローチャートである。仮想現実実現処理は、サーバー５００が備えるＣＰＵ５０１が、ＲＯＭ５０２またはＨＤＤ５０４に記憶された仮想現実実現プログラムをＲＡＭ５０２にロードして実行することにより、ＣＰＵ５０１により実行される処理である。図２１を参照して、ＣＰＵ５０１は、登録情報を受信したか否かを判断する。通信部５０５がＭＦＰ１００から登録情報を受信したか否かを判断する。登録情報を受信したならば処理をステップＳ５２に進めるが、そうでなければ処理をステップＳ５３に進める。ステップＳ５２においては、受信された登録情報をＨＤＤ５０４に記憶し、処理をステップＳ５３に進める。
【０１４４】
ステップＳ５３においては、オリジナル関連付情報を受信したか否かを判断する。通信部５０５がＭＦＰ１００からオリジナル関連付情報を受信したか否かを判断する。オリジナル関連付情報を受信したならば処理をステップＳ５４に進めるが、そうでなければ処理をステップＳ５５に進める。ステップＳ５４においては、受信されたオリジナル関連付情報をＨＤＤ５０４に記憶し、処理をステップＳ５５に進める。
【０１４５】
ステップＳ５５においては、優先度情報を受信したか否かを判断する。通信部５０５がＭＦＰ１００から優先度情報を受信したか否かを判断する。優先度情報を受信したならば処理をステップＳ５６に進めるが、そうでなければ処理をステップＳ５７に進める。ステップＳ５６においては、受信された優先度情報をＨＤＤ５０４に記憶し、処理をステップＳ５７に進める。
【０１４６】
ステップＳ５７においては、送信要求を受信したか否かを判断する。通信部５０５が携帯情報装置２００，２００Ａ，２００ＢまたはＨＭＤ４００のいずれかから送信要求を受信したか否かを判断する。送信要求は、取得データとＡＲタグとを含む。送信要求を受信したならば処理をステップＳ５８に進めるが、そうでなければ処理をステップＳ５１に戻す。ここでは、携帯情報装置２００から送信要求を受信する場合を例に説明する。
【０１４７】
ステップＳ５８においては、ＨＤＤ１１５にステップＳ５２において記憶された登録情報のうちから、受信された送信要求に含まれるＡＲタグを含む登録情報を抽出する。次のステップＳ５９においては、登録情報が抽出されたか否かを判断する。登録情報が抽出されたならば処理をステップＳ６０に進めるが、そうでなければ処理をステップＳ５１に戻す。ステップＳ６０においては、オリジナルデータを特定する。抽出された登録情報に含まれるオリジナル識別情報で特定されるオリジナルデータを特定する。
【０１４８】
次のステップＳ６１においては、関連部分を返信し、処理をステップＳ６２に進める。通信部５０５を介して、抽出された登録情報に含まれる関連部分を、送信要求を送信してきた装置、ここでは携帯情報装置２００に関連部分を送信する。ステップＳ６２においては、送信履歴をＨＤＤ５０４に記憶し、処理をステップＳ６３に進める。送信履歴は、ステップＳ６０において特定されたオリジナルデータのオリジナル識別情報と、ステップＳ５７において受信された送信要求を送信してきた装置の装置識別情報と、を含む。
【０１４９】
ステップＳ６３においては、送信要求に含まれる取得データと登録情報に含まれる置換データとを比較する。そして、追加部分を抽出したか否かを判断する（ステップＳ６４）。追加部分は、取得データに存在するが、置換データに存在しない部分である。追加部分を抽出したならば処理をステップＳ６５に進めるが、追加部分を抽出できなければ処理をステップＳ５１に戻す。ステップＳ６５においては、連動送信処理を実行し、処理をステップＳ５１に戻す。
【０１５０】
図２２は、連動送信処理の流れの一例を示すフローチャートである。連動送信処理は、図２１のステップＳ６５において実行される処理である。連動送信処理が実行される前の段階で、処理対象となるオリジナルデータが特定されており、追加部分が決定されている。図２２を参照して、ＣＰＵ５０１は、オリジナル関連付情報が存在するか否かを判断する（ステップＳ７１）。ＨＤＤ１１５に記憶されているオリジナル関連付情報のうちから処理対象となるオリジナルデータのオリジナル識別情報を含むオリジナル関連付情報を抽出する。そのようなオリジナル関連付情報を抽出すれば処理をステップＳ７２に進めるが、そうでなければ処理を仮想現実実現処理に戻す。ステップＳ７２においては、関連オリジナルデータを特定する。ステップＳ７１において抽出されたオリジナル関連付情報に含まれる２つのオリジナル識別情報のうち処理対象のオリジナルデータのオリジナル識別情報とは別のオリジナル識別情報で特定されるオリジナルデータを関連オリジナルデータとして特定する。次のステップＳ７３においては、送信履歴が存在するか否かを判断する。関連オリジナルデータのオリジナル識別情報を含む送信履歴がＨＤＤ５０４に記憶されているか否かを判断する。送信履歴が存在するならば処理をステップＳ７４に進めるが、そうでなければ処理を仮想現実実現処理に戻す。
【０１５１】
ステップＳ７４においては、関連装置を特定する。関連オリジナルデータのオリジナル識別情報を含む送信履歴に含まれる装置識別情報で特定される装置を関連装置に特定する。ここでは、携帯情報装置２００Ａを関連装置に特定する場合を例に説明する。
【０１５２】
ステップＳ７５においては、優先度情報が存在するか否かを判断する。ＨＤＤ１１５に記憶されている優先度情報のうちから、処理対象となるオリジナルデータおよび関連オリジナルデータそれぞれのオリジナル識別情報を含む優先度情報を抽出する。そのような優先度情報を抽出すれば処理をステップＳ７６に進めるが、そうでなければ処理をステップＳ７８に進める。
【０１５３】
ステップＳ７６においては、優先度を比較する。ステップＳ７５において抽出された優先度情報によって定められる処理対象となるオリジナルデータの優先度と、関連オリジナルデータの優先度とを比較する（ステップＳ７７）。そして、比較結果が第１の比較結果か否かを判断する。第１の比較結果は、ここでは、処理対象となるオリジナルデータの優先度が、関連オリジナルデータの優先度以上の場合としている。２つの優先度の比較結果が第１の比較結果ならば処理をステップＳ７８に進めるが、そうでなければ処理を仮想現実実現処理に戻す。
【０１５４】
ステップＳ７８においては、追加部分の機密レベルを決定する。具体的には、追加部分の画像を文字認識することにより、追加部分の画像に含まれる文字情報を抽出する。そして、抽出された文字情報に、予め定められた文字列と比較することにより機密レベルを決定する。予め定められた文字列は、機密レベルごとに定められた文字列である。例えば、最も高い機密レベル「１」に対して文字列「部外秘」、機密レベル「１」より低い機密レベル「２」に対して文字列「社外秘」等である。
【０１５５】
次のステップＳ７９においては、関連装置のユーザーの機密レベルを決定する。サーバー５００は、ＨＤＤ５０４に、ユーザーのユーザー識別情報と、そのユーザーに割り当てられた装置の装置識別情報と、そのユーザーに割り当てられた機密レベルの組を含むユーザー情報を予め記憶している。まず、ステップＳ７４において特定された関連装置である携帯情報装置２００Ａを操作するユーザーを特定する。携帯情報装置２００Ａの装置識別情報を含むユーザー情報を抽出し、抽出されたユーザー情報に含まれるユーザー識別情報と機密レベルとを取得することにより、関連装置のユーザーの機密レベルを取得する。
【０１５６】
次のステップＳ８０においては、機密レベルを比較する。ステップＳ７８において決定された追加部分の機密レベルと、ステップＳ７９において決定された関連装置のユーザーの機密レベルを比較する。そして、比較結果が第２の比較結果か否かを判断する（ステップＳ８１）。第２の比較結果は、ここでは、関連装置のユーザーの機密レベルが、追加部分の機密レベル以上の場合としている。２つの機密レベルの比較結果が第２の比較結果ならば処理をステップＳ８２に進めるが、そうでなければ処理を仮想現実実現処理に戻す。
【０１５７】
ステップＳ８２においては、関連装置に追加部分を送信し、処理を仮想現実実現処理に戻す。通信部５０５を介して、ステップＳ７４において特定された関連装置、ここでは携帯情報装置２００Ａに、追加部分を送信する。
【０１５８】
図２３は、拡張現実表示処理の流れの一例を示すフローチャートである。拡張現実表示処理は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された拡張現実表示プログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図２３を参照して、ＣＰＵ２０１は、原稿を撮像したか否かを判断する（ステップＳ２０１）。カメラ２０２が、被写体を撮像したならは処理をステップＳ２０２に進めるが、そうでなければ処理をステップＳ２０３に進める。ここでは、カメラ２０２の被写体は、ＭＦＰ１００により置換データの画像が形成された用紙としている。ステップＳ２０２においては、カメラ２０２が被写体を撮像して出力する撮像画像を取得データに設定し、処理をステップＳ２０５に進める。
【０１５９】
ステップＳ２０３においては、無線ＬＡＮＩ／Ｆ２０８が外部からデータを受信したか否かを判断する。データを受信したならば処理をステップＳ２０４に進めるが、そうでなければ処理をステップＳ２０１に戻す。ここでは、ＭＦＰ１００から置換データを受信する場合を例に説明する。ステップＳ２０４においては、無線ＬＡＮＩ／Ｆ２０８がＭＦＰ１００から受信した置換データを取得データに設定し、処理をステップＳ２０５に進める。
【０１６０】
ステップＳ２０５においては、ステップＳ２０２またはステップＳ２０４において設定された取得データの画像を表示部２０６に表示し、処理をステップＳ２０６に進める。ステップＳ２０６においては、取得データからＡＲタグを抽出したか否かを判断する。ＡＲタグを抽出したならば処理をステップＳ２０７に進めるが、そうでなければ処理を終了する。
【０１６１】
ステップＳ２０７においては、サーバー５００に送信要求を送信する。送信要求は、取得データと、ＡＲタグと、を含む。そして、無線ＬＡＮＩ／Ｆ２０８が、サーバー５００から関連部分を受信したか否かを判断する（ステップＳ２０８）。関連部分を受信するまで待機状態となり、関連部分を受信したならば処理をステップＳ２０９に進める。ステップＳ２０９においては、取得データに含まれるＡＲタグを関連部分で置き換え、処理をステップＳ２１０に進める。ＡＲタグを置き換える関連部分は、ステップＳ２０８において取得された関連部分である。具体的には、関連部分に含まれる位置情報を用いて、取得データに配置されたＡＲタグの位置およびサイズに基づいて置換対象領域を決定し、決定した置換対象領域に関連部分を配置する。
【０１６２】
ステップＳ２１０においては、関連部分を表示し、処理をステップＳ２１１に進める。具体的には、関連部分を配置した取得データを表示部２０６に表示する。これにより、取得データのＡＲタグの部分を関連部分に置き換えたオリジナルデータの画像が表示部２０６に表示される。
【０１６３】
ステップＳ２１１においては、追加部分を受信したか否かを判断する。無線ＬＡＮＩ／Ｆ２０８が、サーバー５００から追加部分を受信したならば処理をステップＳ２１２にすすめるが、そうでなければ処理を終了する。ステップＳ２１２においては、追加部分を表示部２０６に表示し、処理を終了する。追加部分に含まれる位置情報を用いて、取得データに配置されたＡＲタグの位置およびサイズに基づいて置換対象領域を決定し、決定した置換対象領域に追加部分を配置する。
【０１６４】
＜変形例＞
上述した実施の形態においては、拡張現実表示装置の一例として携帯情報装置２００を例に説明したが、ＨＭＤ４００を拡張現実表示装置として機能させるようにしてもよい。この場合、ＨＭＤ４００が備えるＣＰＵ４０１は、図１０に示した携帯情報装置２００が備えるＣＰＵ２０１が有する機能と同様の機能を有するが、表示制御部２５１が異なる。
【０１６５】
ＨＭＤ４００が備えるＣＰＵ４０１が有する表示制御部２５１は、撮像制御部２６１から撮像画像が入力されることに応じて、撮像画像を表示部４０４に表示することなく、関連部分を表示部４０４に表示する。ＨＭＤ４００を装着するユーザーは、撮像画像と同じ画像を、表示部４０４の表示面を通して実際に見ている。このため、表示制御部２５１は、撮像画像中に含まれるＡＲタグを基準にして、関連部分に含まれる位置情報で定まる領域を表示部４０４の表示面中で特定し、表示部４０４の表示面中で特定した領域に関連部分の画像を表示する。同様にして、連動表示制御部２６３は、撮像画像中に含まれるＡＲタグを基準にして、追加部分に含まれる位置情報で定まる領域を表示部４０４の表示面中で特定し、表示部４０４の表示面中で特定した領域に追加部分の画像を表示する。
【０１６６】
また、変形例においては、ＨＭＤ４００が備えるＣＰＵ４０１は、図２３に示した拡張現実表示処理を実行するが、ステップＳ２０５、ステップＳ２１０、およびステップＳ２１２が異なる。ＨＭＤ４００が備えるＣＰＵ４０１は、ステップＳ２０５において、取得データの画像を表示しない。また、ＣＰＵ４０１は、ステップＳ２１０において、撮像画像中に含まれるＡＲタグを基準にして、関連部分に含まれる位置情報で定まる領域を表示部４０４の表示面中で特定し、関連部分の画像を特定した領域に表示し、処理をステップＳ２１１に進める。また、ＣＰＵ４０１は、ステップＳ２１２において、撮像画像中に含まれるＡＲタグを基準にして、追加部分に含まれる位置情報で定まる領域を表示部４０４の表示面中で特定し、追加部分の画像を特定した領域に表示し、処理を終了する。
【０１６７】
以上説明したように、本実施の形態における画像処理システム１において、ＭＦＰ１００は、オリジナルデータを、そのオリジナルデータ中の少なくとの一部である関連部分をＡＲタグで置き換えた置換データに変換し、オリジナルデータを識別するためのオリジナル識別情報と、ＡＲタグと、関連部分と、置換データとを含む登録情報をサーバーに登録し、オリジナルデータとオリジナルデータとは異なる別のオリジナルデータとを関連付けたオリジナル関連付情報を、サーバーに登録し、置換データを出力する。サーバー５００は、ＭＦＰ１００から登録情報が受信されることに応じて、登録情報に含まれるオリジナル識別情報と、ＡＲタグと、関連部分と、置換データとを関連付け、ＡＲタグと取得データとを含む送信要求を携帯情報装置２００，２００Ａ，２００ＢまたはＨＭＤ４００のうち第１の携帯情報装置から受信することに応じて、送信要求に含まれるＡＲタグと関連付けられた関連部分を第１の携帯情報装置に送信する。さらに、サーバー５００は、送信要求に含まれる取得データに存在するが送信要求に含まれるＡＲタグと関連付けられた置換データには存在しない追加部分を抽出し、送信要求に含まれるＡＲタグと関連付けられた第１のオリジナルデータと、オリジナル関連付情報によって関連付けられた第２のオリジナルデータを特定し、携帯情報装置２００，２００Ａ，２００ＢまたはＨＭＤ４００のうちから第２のオリジナルデータと関連付けられた第２の関連部分が送信された第２の携帯情報装置を特定し、第２の携帯情報装置に、追加部分を送信する。携帯情報装置２００，２００Ａ，２００ＢまたはＨＭＤ４００それぞれは、ＭＦＰ１００により出力された置換データ、または置換データの一部を変更したデータを取得データとして取得し、取得データからＡＲタグを抽出し、サーバー５００からＡＲタグに関連付けられた関連部分を受信すると、取得データ中のＡＲタグの位置を基準に定まる位置に、関連部分の画像を表示する。このため、例えば、携帯情報装置２００において得られる取得データ中でＡＲタグにより定められた位置に関連部分を表示するので、取得データに関連部分を表示することができる。取得データが、置換データの場合、置換データに対応するオリジナルデータを表示することができる。また、取得データが、置換データを変更したデータの場合、置換データに対応するオリジナルデータに、置換データに対する変更と同じ変更をした状態で表示することができる。
【０１６８】
また、サーバー５００は、第１の携帯情報装置、例えば、携帯情報装置２００から受信される取得データから追加部分を抽出する場合であって、携帯情報装置２００から受信されるＡＲタグと関連付けられた第１のオリジナルデータと、ＭＦＰ１００により関連付けられた第２のオリジナルデータが特定される場合、第２のオリジナルデータと関連付けられた第２の関連部分が送信された第２の携帯情報装置、例えば、携帯情報装置２００Ａに、追加部分を送信する。携帯情報装置２００Ａでは、第２の関連部分と追加部分とを表示する。このため、携帯情報装置２００において取得された取得データにおいて、置換データから変更された追加部分を、携帯情報装置２００Ａに表示させることができる。その結果、第１のオリジナルデータに対応する置換データに追加された変更を、第２のオリジナルデータに対応する置換データを見るユーザーに通知することができる。
【０１６９】
また、サーバー５００は、所定の条件が成立することを条件に、追加部分を第２の携帯情報装置である携帯情報装置２００Ａに送信する。このため、所定の条件が成立する場合に限って、第２の携帯情報装置に追加部分を表示させることができる。
【０１７０】
所定の条件を、第１のオリジナルデータの優先度が第２のオリジナルデータの優先度以上の場合とすれば、第１のオリジナルデータに対応する置換データに追加された変更を、第２のオリジナルデータに対応する置換データを見るユーザーに通知するが、第２のオリジナルデータに対応する置換データに追加された変更を、第１のオリジナルデータに対応する置換データを見るユーザーに通知しない。このため、追加部分を表示するか否かを、関連するオリジナルデータの優先度に基づいて定めることができる。
【０１７１】
また、所定の条件を、第２の携帯情報装置を操作するユーザーに対する機密レベルが追加部分に対する機密レベル以上の場合とすれば、追加部分の機密レベルによって、第２の携帯情報装置を操作するユーザーに通知するか否かを決定することができる。
【０１７２】
また、ＭＦＰ１００は、取得されたデータに含まれる複数のページそれぞれを複数のオリジナルデータとして互いに関連付ける。このため、同一のデータのいずれかのページのオリジナルデータに対応する置換データに加えた変更を、他のページのオリジナルデータの置換データを見るユーザーに通知することができる。
【０１７３】
また、ＭＦＰ１００は、同一ユーザーによる複数の操作、または同一グループに属する複数のユーザーのいずれかによる複数の操作によって出力された複数の置換データにそれぞれ対応する複数のオリジナルデータを関連付ける。このため、同一ユーザーによる複数の操作、または同一グループに属する複数のユーザーのいずれかによる複数の操作によって出力された複数の置換データのいずれかに加えた変更を、他の置換データを見るユーザーに通知することができる。
【０１７４】
また、ＭＦＰ１００は、サーバーからオリジナルデータを候補データとして取得し、出力された置換データに対応するオリジナルデータを、候補データのうちからユーザーにより選択された候補データと関連付ける。このため、ＭＦＰ１００を操作するユーザーにより関連付けられた複数のオリジナルデータのいずれかに対応する置換データに加えた変更を、他のオリジナルデータに対応する置換データを見るユーザーに通知することができる。
【０１７５】
なお、上述した実施の形態においては、画像処理システム１について説明したが、図１８〜図２０に示した置換データ生成処理をＭＦＰ１００に実行させ、図２１および図２２に示した仮想現実実現処理をサーバー５００に実行させ、図２３に示した拡張現実表示処理を携帯情報装置２００，２００Ａ，２００ＢまたはＨＭＤ４００に実行させる連動表示方法として発明を捉えることができるのは言うまでもない。
【０１７６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１７７】
＜付記＞
（１）  前記画像形成装置が備える前記出力制御手段は、前記置換データの画像を用紙に形成する画像形成制御手段を含み、前記携帯情報装置は、被写体を撮像する撮像手段を、さらに備え、前記複数の携帯情報装置それぞれが備える前記取得データ取得手段は、前記撮像手段が前記画像形成装置によって画像が形成された用紙を被写体として撮像することによって得られる撮像画像を取得データとして取得する撮像制御手段を含み、前記複数の携帯情報装置それぞれが備える前記ＡＲタグ抽出手段は、前記取得データを解析してＡＲタグを抽出する、請求項１〜７のいずれかに記載の画像処理システム。
（２）  前記画像形成装置が備える前記出力制御手段は、前記置換データを前記携帯情報装置に送信するデータ送信手段を、さらに含む請求項１〜７のいずれかに記載の画像処理システム。
（３）  前記データ送信手段は、前記置換データを含む電子メールを送信する電子メール送信手段を含む、（１）に記載の画像処理システム。
（４）  前記画像形成装置が備える前記出力制御手段は、前記置換データをファクシミリで送信するファクシミリ送信制御手段を、さらに含む、請求項１〜７のいずれかに記載の画像処理システム。
【符号の説明】
【０１７８】
１  拡張現実表示システム、２  ネットワーク、３  無線局、１００  ＭＦＰ、２００，２００Ａ，２００Ｂ  携帯情報装置、３００  ＰＣ、４００  ＨＭＤ、５００  サーバー、１１０  メイン回路、１１１  ＣＰＵ、１１２  通信Ｉ／Ｆ部、１１３  ＲＯＭ、１１４  ＲＡＭ、１１５  ＨＤＤ１１５  ファクシミリ部、１１７  外部記憶装置、１１８  ＣＤ−ＲＯＭ、１２０  自動原稿搬送装置、１３０  原稿読取部、１４０  画像形成部、１５０  給紙部、１５５  後処理部、１６０  操作パネル、１６１  表示部、１６３  操作部、２０１  ＣＰＵ、２０２  カメラ、２０３  フラッシュメモリー、２０４  無線通信部、２０５  通話部、２０６  表示部、２０７  操作部、２０８  無線ＬＡＮＩ／Ｆ、２０９  位置検出部、２１０  方位検出部、２１１  外部記憶装置、４０１  ＣＰＵ、４０２  カメラ、４０３  フラッシュメモリー、４０４  表示部、４０５  無線ＬＡＮＩ／Ｆ、５０１  ＣＰＵ、５０２  ＲＯＭ、５０３  ＲＡＭ、５０４  ＨＤＤ、５０５  通信部、５０６  表示部、５０７  操作部、５１  データ取得部、５３  置換部、５５  タグ登録部、５５  送信要求受信部、５６  追加部分抽出部、５７  出力制御部、５９  ユーザー認証部、６１  データ関連付登録部、６３  優先度登録部、６５  画像形成制御部、６７  データ送信部、６９  ファクシミリ送信制御部、７１  同一データ関連付部、７３  同一ユーザー関連付部、７５  候補データ取得部、７７  操作関連付部、２５１  表示制御部、２５３  取得データ取得部、２５５  タグ抽出部、２５７  関連部分要求部、２５９  関連部分受信部、２６１  撮像制御部、２６３  連動表示制御部、２６７  連動送信部、３６１  置換部、５５１  タグ関連付部、５５３  登録情報抽出部、５５５  送信要求受信部、５５７  オリジナル関連付部、５５９  関連部分返信部、５６１  関連オリジナル特定部、５６３  追加部分抽出部、５６５  装置特定部、５６７  連動送信部、５６９  優先度設定部、５７１  ユーザー特定部、５８１  順位比較部、５８３  機密レベル決定部、５８５  機密レベル比較部。
【図１】
2016081312.tif 000003
【図２】
2016081312.tif 000004
【図３】
2016081312.tif 000005
【図４】
2016081312.tif 000006
【図５】
2016081312.tif 000007
【図６】
2016081312.tif 000008
【図７】
2016081312.tif 000009
【図８】
2016081312.tif 000010
【図９】
2016081312.tif 000011
【図１０】
2016081312.tif 000012
【図１１】
2016081312.tif 000013
【図１２】
2016081312.tif 000014
【図１３】
2016081312.tif 000015
【図１４】
2016081312.tif 000016
【図１５】
2016081312.tif 000017
【図１６】
2016081312.tif 000018
【図１７】
2016081312.tif 000019
【図１８】
2016081312.tif 000020
【図１９】
2016081312.tif 000021
【図２０】
2016081312.tif 000022
【図２１】
2016081312.tif 000023
【図２２】
2016081312.tif 000024
【図２３】
2016081312.tif 000025