(57)【要約】【課題】ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示して、セキュリティ性を向上させることにある。【解決手段】撮像部５０が画像を撮影する。データの表示条件を示すＡＲマーカ２００（マーカ画像）が表示された記録媒体が撮影されると、情報取得部５６が撮影されたＡＲマーカ２００から記録媒体を識別するための識別子を抽出する。通信部４２が識別子、及びユーザを特定するためのユーザ識別情報をサーバ３０へ送信する。通信部４２がサーバ３０からユーザの権限に合わせた重畳データを受信する。表示部４６が重畳データを撮影中の記録媒体上に重ねて表示する。【選択図】図２
2017085533.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影する手段と、
データの表示条件を示すマーカ画像が表示された記録媒体が撮影されると、撮影されたマーカ画像から前記記録媒体を識別するための識別子を抽出する手段と、
前記識別子、及びユーザを特定するためのユーザ識別情報をサーバへ送信する手段と、
前記サーバから前記ユーザの権限に合わせた重畳データを受信する手段と、
前記重畳データを前記撮影中の記録媒体上に重ねて表示する手段と、を備えたことを特徴とする情報処理システム。
【請求項２】
識別子、及びユーザ識別情報に対応した重畳データを記憶する手段と、
前記識別子、及び前記ユーザ識別情報を受信する手段と、
前記識別子、及び前記ユーザ識別情報に基づいて、ユーザの権限に合わせた重畳データを検索する手段と、
前記重畳データを前記ユーザ識別情報の送信元に送信する手段と、を備えたことを特徴とする請求項１記載の情報処理システム。
【請求項３】
前記マーカ画像が付与された原画像を作成する手段と、
前記原画像を画像形成装置に送信する手段と、を備えたことを特徴とする請求項１記載の情報処理システム。
【請求項４】
前記原画像を受信する手段と、
前記原画像を記録媒体に印刷する手段を備えたことを特徴とする請求項３記載の情報処理システム。
【請求項５】
前記マーカ画像が付与された原画像を作成する際に、前記マーカ画像が付与された原画像が既に利用されている場合は、作成者に前記マーカ画像の再入力を促すメッセージを表示する手段を備えたことを特徴とする請求項３記載の情報処理システム。
【請求項６】
前記マーカ画像が付与された原画像を作成する際に、前記マーカ画像が既に利用されている場合は、作成者に前記マーカ画像の再入力を促すメッセージを表示する手段を備えたことを特徴とする請求項３記載の情報処理システム。
【請求項７】
前記マーカ画像が付与された原画像を作成する際に、前記マーカ画像、及び前記マーカ画像の一覧を更新可能にする手段を備えたことを特徴とする請求項３記載の情報処理システム。
【請求項８】
前記マーカ画像が付与された原画像を作成する際に、前記マーカ画像が既に利用されている場合は、既に利用されている前記マーカ画像に今回利用するマーカ画像を上書きする手段を備えたことを特徴とする請求項３記載の情報処理システム。
【請求項９】
前記マーカ画像が付与された原画像を作成する際に、前記マーカ画像を付与すべき原画像上の配置位置に前記原画像の一部が占有している場合は、作成者に前記マーカ画像の再配置を促すメッセージを表示する手段を備えたことを特徴とする請求項３記載の情報処理システム。
【請求項１０】
前記マーカ画像が付与された原画像を作成する際に、前記マーカ画像を付与すべき原画像上の配置位置に前記原画像の一部が占有している場合は、前記原画像の空き領域を検索して、前記空き領域に前記マーカ画像を配置する手段を備えたことを特徴とする請求項３記載の情報処理システム。
【請求項１１】
前記サーバから前記重畳データを取得できない場合に、エラーメッセージを表示する手段を備えたことを特徴とする請求項１記載の情報処理システム。
【請求項１２】
前記サーバから前記重畳データを取得する場合に、前記ユーザ識別情報を指定する手段を備えたことを特徴とする請求項１記載の情報処理システム。
【請求項１３】
前記重畳データを要求された場合に、前記ユーザ識別情報が未登録であるときには、エラーメッセージを応答する手段を備えたことを特徴とする請求項２記載の情報処理システム。
【請求項１４】
前記重畳データを要求された場合に、前記ユーザ識別情報に対応するセキュリティテーブルを変更可能にする手段を備えたことを特徴とする請求項２記載の情報処理システム。
【請求項１５】
前記重畳データを変更可能にする手段を備えたことを特徴とする請求項２記載の情報処理システム。
【請求項１６】
前記識別子を抽出してから、前記重畳データを表示するまでの処理に係る繰り返し回数を、前記処理を実行するＣＰＵの性能に応じて切り替える手段を備えたことを特徴とする請求項１記載の情報処理システム。
【請求項１７】
前記繰り返し回数を前記ユーザの指定に応じて切り替える手段を備えたことを特徴とする請求項１６記載の情報処理システム。
【請求項１８】
前記記録媒体を撮影する場合に、前記記録媒体に表示された前記マーカ画像が所定の撮像範囲内にないときには、前記マーカ画像が前記所定の撮像範囲内に収まるように促すメッセージを表示する手段を備えたことを特徴とする請求項１記載の情報処理システム。
【請求項１９】
画像を撮影するステップと、
データの表示条件を示すマーカ画像が表示された記録媒体が撮影されると、撮影されたマーカ画像から前記記録媒体を識別するための識別子を抽出するステップと、
前記識別子、及びユーザを特定するためのユーザ識別情報をサーバへ送信するステップと、
前記サーバから前記ユーザの権限に合わせた重畳データを受信するステップと、をコンピュータにより実行可能なプログラムと、
前記重畳データを前記撮影中の記録媒体上に重ねて表示する情報処理装置と、を備えることを特徴とする情報処理システム。
【請求項２０】
画像を撮影するステップと、
データの表示条件を示すマーカ画像が表示された記録媒体が撮影されると、撮影されたマーカ画像から前記記録媒体を識別するための識別子を抽出するステップと、
前記識別子、及びユーザを特定するためのユーザ識別情報をサーバへ送信するステップと、
前記サーバから前記ユーザの権限に合わせた重畳データを受信するステップと、
前記重畳データを前記撮影中の記録媒体上に重ねて表示するステップと、を実行することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、及び情報処理方法に関する。
【背景技術】
【０００２】
近年、ユーザが現実世界を認識する際に補助的な情報を提示することで、ユーザの目前にある現実以上の情報を提示するＡＲ（Augmented Reality：拡張現実）技術が提供されている。
従来の情報処理システムにおいては、このようなＡＲ技術を活用して、スマート端末を用いて画像形成装置が印刷した状態パターンを認識し、ＦＡＱ（Frequently Asked Questions：よくある質問）や、エラー解除をサポートする機能や、画像形成装置の設置について、スマート端末を通して目視することで、イメージできるような販売促進ツールとした技術が既に知られている。
特許文献１には、印刷物などの原稿を提供するユーザが、その原稿を見た者にその原稿についての付加情報を簡単に提供することを目的とした画像形成システムが開示されている。詳しくは、画像形成システムは、画像形成装置、サーバ、及び携帯端末を備える。
画像形成装置は、基本原稿と基本原稿に拡張現実用付加情報を付加した原稿とから拡張現実用付加情報を特定し、その拡張現実用付加情報に対応するタグを生成し、そのタグに関連付けて拡張現実用付加情報をサーバに登録し、タグを付加した基本原稿の画像を出力する。
そして、携帯端末は、画像形成装置により出力された、タグを付加した基本原稿の画像を撮像し、撮像した画像からタグを抽出し、そのタグを関連付けられている拡張現実用付加情報をサーバから取得し、その拡張現実用付加情報を、撮像した画像に重畳させて表示する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、従来の情報処理システムにおけるＡＲ技術にあっては、画像形成装置の状態を検知して、その状態を表す情報を合成した画像をスマート端末の画面に表示するため、合成された画像に含まれる拡張現実用付加情報が誰でも一律に閲覧できてしまうため、セキュリティ性が低いといった問題があった。
特許文献１にあっては、携帯端末（スマート端末）を通して原稿を視認したときに拡張現実用付加情報を付加する点が開示されている。しかし、拡張現実用付加情報が誰でも一律に閲覧できてしまうため、セキュリティ性が低いという問題は解消できていない。
本発明は、上記に鑑みてなされたもので、その目的としては、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示して、セキュリティ性を向上させることにある。
【課題を解決するための手段】
【０００４】
請求項１記載の発明は、上記課題を解決するため、画像を撮影する手段と、データの表示条件を示すマーカ画像が表示された記録媒体が撮影されると、撮影されたマーカ画像から前記記録媒体を識別するための識別子を抽出する手段と、前記識別子、及びユーザを特定するためのユーザ識別情報をサーバへ送信する手段と、前記サーバから前記ユーザの権限に合わせた重畳データを受信する手段と、前記重畳データを前記撮影中の記録媒体上に重ねて表示する手段と、を備えたことを特徴とする。
【発明の効果】
【０００５】
本発明によれば、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示することができ、セキュリティ性を向上させることができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の第１実施形態に係る情報処理システムの全体構成を示す図である。
【図２】本発明の第１実施形態に係る情報処理システムの機能ブロック図である。
【図３】本発明の第１実施形態に係るＡＲマーカの一例を示す図である。
【図４】本発明の第１実施形態に係るスマート端末の動作の一例を示すフローチャートである。
【図５】本発明の第１実施形態に係るスマート端末における座標表現を示す図である。
【図６】本発明の第１実施形態に係るスマート端末による仮想スクリーンへの透視撮影を示す図である。
【図７】（ａ）〜（ｄ）は、本発明の第１実施形態に係るスマート端末の処理により仮想物体画像を重畳したイメージを示す図である。
【図８】（ａ）（ｂ）は、本発明の第１実施形態に係る印刷データに含まれるＡＲマーカのイメージ図である。
【図９】本発明の第１実施形態に係る対応ワード例とその分類に関するＡＲマーカイメージを分類した図である。
【図１０】（ａ）〜（ｅ）は、本発明の第１実施形態に係るスマート端末での表示イメージ図である。
【図１１】本発明の第１実施形態に係るホストＰＣの処理を示すフローチャートである。
【図１２】本発明の第１実施形態に係るホストＰＣのＡＲ情報作成画面を示す図である。
【図１３】本発明の第１実施形態に係るホストＰＣのＡＲマーカ画像選択画面を示す図である。
【図１４】（ａ）は本発明の第１実施形態に係るホストＰＣのＡＲマーカを明示しない場合の重複警告メッセージを示す図であり、（ｂ）は本発明の第１実施形態に係るホストＰＣのＡＲマーカを明示する場合の重複警告メッセージを示す図であり、（ｃ）は本発明の第１実施形態に係るホストＰＣのＡＲマーカ登録画面を示す図である。
【図１５】本発明の第１実施形態に係るホストＰＣのＡＲマーカの再選択を促すメッセージを示す図である。
【図１６】（ａ）（ｂ）は、本発明の第１実施形態に係るホストＰＣのＡＲマーカ再配置イメージを示す図である。
【図１７】本発明の第１実施形態に係る画像形成装置の処理を示すフローチャートである。
【図１８】本発明の第１実施形態に係るスマート端末の処理を示すフローチャートである。
【図１９】本発明の第１実施形態に係るスマート端末においてサーバからＡＲ情報の受信がない場合のメッセージを示す図である。
【図２０】本発明の第１実施形態に係るサーバの処理を示すフローチャートである。
【図２１】本発明の第１実施形態に係るサーバから送信されるユーザＩＤがない場合のメッセージを示す図である。
【図２２】本発明の第２実施形態に係る情報処理システムの機能ブロック図である。
【図２３】本発明の第２実施形態に係るサーバの処理を示すフローチャートである。
【図２４】本発明の第２実施形態に係るグループサーバ６０の処理を示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示して、セキュリティ性を向上させるために、以下の構成を有する。
すなわち、本発明の情報処理システムは、画像を撮影する手段と、データの表示条件を示すマーカ画像が表示された記録媒体が撮影されると、撮影されたマーカ画像から記録媒体を識別するための識別子を抽出する手段と、識別子、及びユーザを特定するためのユーザ識別情報をサーバへ送信する手段と、サーバからユーザの権限に合わせた重畳データを受信する手段と、重畳データを撮影中の記録媒体上に重ねて表示する手段と、を備えたことを特徴とする。
以上の構成を備えることにより、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示することができ、セキュリティ性を向上させることができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
【０００８】
まず、ＡＲ技術について説明する。
拡張現実はバーチャルリアリティ（ＶＲ）の変種であり、その時周囲を取り巻く現実環境に情報を付加・削除・強調・減衰させ、文字通り人間から見た現実世界を拡張するものを指す。バーチャルリアリティが人工的に構築された現実感と現実を差し替えるのに対し、拡張現実は現実の一部を改変する技術である。
例えばバーチャルリアリティでは、仮想の部屋に居て、仮想のテーブルに置かれた仮想のティーポットを見ているかのような五感情報を人に提示するのに対し、拡張現実では、人が実際に居る現実の部屋のテーブル上に、仮想のティーポットが置かれているかのような情報提示を行う。
【０００９】
コンピュータ情報を付加して現実の情報を実態よりも強化・増強して人間に提供することから強化現実・増強現実と呼ばれることもある。
現実環境を情報ソースとして用いることから必然的にリアルタイム処理を必要とする場合が多い。技術課題としてはバーチャルリアリティでのそれに加えて、仮想物体画像と現実環境・物体との相互作用、例えば視覚要素では照明、影、接触、隠蔽などを解決することが特に課題になる。
コンピュータが現実を拡張する手段としては、視覚・聴覚・触覚など、人のすべての感覚器官と体性感覚に対する情報提示が試みられている。バーチャルリアリティでは、人に提示する仮想物体画像のリアリティが重視されるのに対して、拡張現実では、現実世界の位置や物体などのコンテクストとの関連性も重視される。後者に重きを置いたシステムでは、例えば場所や物の説明を文字や音声で行うなど、現実を拡張する手段として単純な情報提示手法が用いられることもある。
【００１０】
多くのシステムでは、情報の提示や取得に、バーチャルリアリティで広く利用されているデバイス、もしくは技術が利用される。例えば、視覚情報提示には主にヘッドマウンテッドディスプレイが利用される。しかし、現実環境における作業を支援する意図から、携帯電話等の小型情報端末の画面を用いた提示も検討されている。
提示される環境の主体が現実環境であることから、現実環境における作業支援がその応用分野として期待されている。例えば、道案内情報の提供、航空機やコピー機のメンテナンスを行う技術者に対する技術情報提供、医療分野における手術支援に向けた情報提示などの応用研究が行われている。
【００１１】
一般消費者向けのサービスを作るためによく行われている手法に、ＡＲＴｏｏｌＫｉｔなどの画像認識ルーチンを利用して、２次元コードパターンや静止画など（「ＡＲマーカ」などと呼ばれる）をデジタルカメラで撮影すると、それをＡＲマーカとして映像にマッチムーブした３ＤＣＧアニメーションがリアルタイムで合成表示されたり、静止画に合ったコンテンツが表示されたりする物がある。
（ｗｉｋｉｐｅｄｉａより、ｈｔｔｐ：／／ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／％Ｅ６％８Ｂ％Ａ１％Ｅ５％ＢＣ％Ｂ５％Ｅ７％８Ｆ％ＢＥ％Ｅ５％ＡＥ％９Ｆ）
【００１２】
次に、ＡＲ実現方法について説明する。
ＡＲ技法は大きく分けて見た場合、技術的な特性から、２つに分けて考えられる。
１つは、ＧＰＳなどから取得可能な位置情報を利用して情報提示を行う「ロケーションベースＡＲ」と呼ばれるもので、もう１つは画像認識・空間認識などの技術を応用して直接目の前にある環境を認識・解析することで情報提示を行う「ビジョンベースＡＲ」と呼ばれるものである。（ａｔｍａｒｋｉｔより、ｈｔｔｐ：／／ｗｗｗ．ａｔｍａｒｋｉｔ．ｃｏ．ｊｐ／ａｉｔ／ａｒｔｉｃｌｅｓ／１１０９／２６／ｎｅｗｓ１３６．ｈｔｍｌ）
【００１３】
＜第１実施形態＞
＜情報処理システム＞
図１を参照して、情報処理システム１の全体構成について説明する。図１は、本発明の第１実施形態に係る情報処理システム１の全体構成を示す図である。
情報処理システム１は、ホストＰＣ１０、画像形成装置２０、サーバ３０、スマート端末４０をネットワークＮ（インターネット又はＬＡＮ（Local Area Network））を介して接続したネットワーク環境上において構成する。なお、ネットワークＮにより接続されている各装置は１台ずつに限定するものではなく、複数台で構成されていてもよい。
【００１４】
次に、図２を参照して、情報処理システムの機能ブロック図について説明する。図２は、本発明の第１実施形態に係る情報処理システムの機能ブロック図である。
＜ホストＰＣ＞
図２に示すホストＰＣ１０は、印刷データ作成部１２、ＡＲ情報作成部１４、通信部１６を備えている。
ホストＰＣは、ユーザによる印刷データ加工（機密データの削除等）、ＡＲ表示条件情報、使用するＡＲマーカの指定、印刷条件指定、印刷指示等を受け付ける。
印刷データ作成部１２は、印刷条件、及び印刷データを解析した結果に基づいて、印刷データへＡＲマーカを付与する。
ＡＲ情報作成部１４は、加工前のオリジナル印刷データと、セキュリティレベルを表すＡＲ表示条件情報とを関連付けるためのＡＲ情報を作成する。
通信部１６は、ネットワークＮを介して画像形成装置２０へ印刷データを送信する。また、通信部１６は、ネットワークＮを介してサーバ３０へオリジナル印刷データ、及びＡＲ情報を送信する。
ここで、使用するＡＲマーカは、複数指定できるようにしてもよく、未指定の場合は既定のＡＲマーカを選択するようにしてもよい。
【００１５】
＜画像形成装置＞
図２に示す画像形成装置２０は、通信部２２、印刷データ出力部２４を備えている。
通信部２２は、ネットワークＮを介してホストＰＣ１０から印刷データを受信する。
印刷データ出力部２４は、ホストＰＣ１０から指示された印刷データを記録媒体に印刷する。
【００１６】
＜サーバ＞
図２に示すサーバ３０は、表示データ作成部３２、通信部３４、オリジナル印刷データ記憶部３６、ＡＲ情報記憶部３８を備えている。
表示データ作成部３２は、ＡＲマーカ情報とＡＲ情報とに基づいて、オリジナル印刷データを加工して加工データを生成する。
通信部３４は、加工データをネットワークＮを介してスマート端末４０へ送信する。
オリジナル印刷データ記憶部３６は、オリジナルデータ、ＡＲマーカ、セキュリティレベル情報を記憶する。
ＡＲ情報記憶部３８は、識別子テーブル、セキュリティテーブル、及び対比テーブルを備え、各識別子、及び各ユーザＩＤに対応したＡＲ情報を記憶する。ＡＲ情報記憶部３８に記憶されるユーザＩＤは書き換え可能である。
【００１７】
＜スマート端末＞
スマート端末４０は、通信部４２、操作部４４、表示部４６、記憶部４８、撮像部５０、制御部５２を備えている。
通信部４２は、ネットワークＮを介して、ホストＰＣ１０（Personal Computer）などの外部装置との間で情報を通信するものであり、ＮＩＣ（Network Interface Card）などの通信装置により実現できる。
【００１８】
操作部４４は、アプリケーションソフトウエアが必要とする各種情報をユーザの操作に応じて入力するものであり、タッチパネルやキースイッチなどの入力装置により実現できる。
表示部４６は、各種画面を表示するものであり、液晶ディスプレイ及びタッチパネル式ディスプレイなどの表示装置により実現できる。
記憶部４８は、スマート端末４０で実行される各種アプリケーションソフトウエアのプログラム、及びスマート端末４０で行われる各種処理に使用されるデータなどを記憶する。記憶部４８は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、及びＲＡＭ（Random Access Memory）などの磁気的、光学的、及び電気的に情報を記憶可能な記憶装置のいずれかにより実現できる。
撮像部５０は、制御部５２の指示に従い、原稿を光学的に読み取って画像を生成するものであり、例えば、読取装置の一例として、デジタルカメラなどにより実現できる。
【００１９】
制御部５２は、スマート端末４０の各部を制御するものであり、ＣＰＵ（Central Processing Unit）やＬＳＩ（Large Scale Integration）などにより実現できる。制御部５２は、例えば、内部にＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＰＵ（Central Processing Unit）を有し、ＲＯＭからオペレーティングシステムＯＳを読み出してＲＡＭ上に展開してＯＳを起動し、ＯＳ管理下において、ＲＯＭからプログラム（処理モジュール）を読み出し、各種処理を実行する。
さらに、制御部５２は、画像取得部５４、情報取得部５６、算出部５８、置換部６０を備えている。
画像取得部５４は、拡張現実処理に用いられるＡＲマーカを含む画像を取得する。画像取得部５４が、記録媒体上にＡＲマーカが印刷された原稿を光学的に読み取ってＡＲマーカを含む画像を取得する。但し、画像取得部５４は、ＡＲマーカを含む画像を外部（例えば、ネットワークＮを介して接続されたホストＰＣ１０（情報処理装置の一例）など）から取得するようにしてもよい。
【００２０】
情報取得部５６は、画像取得部５４により取得された画像内のＡＲマーカから、当該ＡＲマーカに埋め込まれた、画像の印刷前の当該ＡＲマーカの現実世界における大きさに関する第１情報を取得する。具体的には、情報取得部５６は、画像取得部５４により取得された画像からＡＲマーカを検出し、検出したＡＲマーカに埋め込まれた第１情報を取得する。
算出部５８は、４つの頂点の座標を用いて、カメラの相対位置・姿勢を算出（推定）する。算出部５８は、３次元のマーカ座標系において正方形に配置された４つの頂点の座標から、２次元のカメラ仮想スクリーンＳ‘の座標系への変換を求めることで、カメラの相対位置・姿勢を算出する。
置換部６０は、カメラの相対位置・姿勢及び第２情報（現実世界における大きさを表す）に基づいて、マーカ座標系の３次元空間上に配置する。
【００２１】
＜ＡＲマーカ＞
次に、図３を参照して、ＡＲマーカについて説明する。図３は、本発明の第１実施形態に係るＡＲマーカの一例を示す図である。
ＡＲマーカ２００は、外部領域２０１と内部領域２０２とで構成されており、外部領域２０１は、ＡＲマーカ２００の検出に用いられ、内部領域２０２は、第１情報の埋め込みに用いられる。
図３に示す例では、ＡＲマーカ２００の形状は正方形となっているが、これに限定されず、形状が既知であって検出可能な形状であれば、長方形状や円形状などであってもよい。
また、ＡＲマーカ２００の色は、画像処理の観点からモノクロであることが好ましいが、これに限定されず、カラーであってもよい。
【００２２】
ここで、スマート端末４０の情報取得部５６による処理について説明する。
例えば、情報取得部５６は、画像取得部５４により取得された画像を二値化し、ラベリング処理（隣接する同一色の画素を１つの塊とする処理）を行って、白画素及び黒画素の塊に分離する。
そして情報取得部５６は、分離した黒画素の塊それぞれに対し、輪郭上から４つの頂点を検出する処理を行う。
【００２３】
この結果、４つの頂点が検出された黒画素の塊がＡＲマーカ２００の外部領域となるので、情報取得部５６は、画像取得部５４により取得された画像からＡＲマーカ２００を検出でき、ＡＲマーカ２００の内部領域２０２から第１情報を取得できる。
なお、ＡＲマーカ２００の形状が円形状の場合には、情報取得部５６は、ハブ変換などを行って、円を構成する黒画素の塊を検出すればよい。
第１情報は、画像の印刷（複写）前のＡＲマーカの現実世界における大きさを表し、より詳細には、ＡＲマーカ内の所定領域を構成する構成要素の色の組合せで、画像の印刷前のＡＲマーカの現実世界における大きさを表す。
例えば、図３に示すＡＲマーカ２００の場合、内部領域２０２を構成する画素の色の組合せで、画像の印刷前のＡＲマーカの現実世界における大きさを表す。
【００２４】
図３に示すＡＲマーカ２００では、内部領域２０２が例えば６×６（３６）の画素で構成されており、画素の色が白の場合は０、画素の色が黒の場合は１、と見立てることで、画像を印刷する前のＡＲマーカの現実世界における大きさを３６ビットの２進数で表す。
但し、３６ビット（画素）のうち、画像が上下左右のいずれの方向に回転してもＡＲマーカ２００を検出できるようにするため、内部領域２０２の４隅の画素の値は、画像（ＡＲマーカ２００）の向き検出に用いる。
【００２５】
また、残りの３２ビットのうち、前半の８ビットについては、拡張現実処理で使用するＡＲマーカ２００に基づく３次元空間に配置した３Ｄの仮想物体画像を識別するための識別子に用いる。
このため、図３に示す例では、ＡＲマーカ２００の１辺の長さを２４ビット（画素）で表現することができ、ＡＲマーカ２００の１辺の長さを１ｍｍ単位で記述する場合、１ｍｍ〜１６７７７２１６ｍｍの範囲で記述可能である。
但し、ロバスト性向上のため、チェックサムなどを付け加える場合、ＡＲマーカ２００の１辺の長さの記述範囲は、これよりも小さくなる。
【００２６】
＜スマート端末の動作説明＞
次に、図４を参照して、スマート端末４０の動作について説明する。図４は、本発明の第１実施形態に係るスマート端末４０の動作の一例を示すフローチャートである。
なお、画像形成装置２０により記録媒体上に印刷された原稿（印刷物）には、ＡＲマーカ２００を含む画像が印刷されていることとする。
まず、ステップＳ２０１では、撮像部５０は、ＡＲマーカ２００を含む画像が印刷された原稿を撮影し、画像取得部５４は当該画像を取得する。
続いて、ステップＳ２０３では、情報取得部５６は、取得した画像からＡＲマーカ２００を抽出する。
続いて、ステップＳ２０５では、情報取得部５６は、抽出したＡＲマーカ２００から、当該ＡＲマーカ２００に埋め込まれた第２情報、及びＡＲマーカ２００に埋め込まれた３Ｄの仮想物体画像の識別子を取得する。
【００２７】
続いて、ステップＳ２０７では、算出部５８は、ステップＳ２０３で検出した４つの頂点（詳細は、情報取得部５６で説明した手法を参照）の座標を用いて、カメラの相対位置・姿勢を算出（推定）する。具体的には、算出部５８は、３次元のマーカ座標系において正方形に配置された４つの頂点の座標から、２次元のカメラ仮想スクリーンＳ‘の座標系へ変換された座標を求めることで、カメラの相対位置・姿勢を算出する。
【００２８】
なお、ＡＲマーカ２００とカメラとの相対位置・姿勢検出の手法については『「拡張現実感システム構築ツールＡＲＴｏｏｌＫｉｔの開発」電子情報通信学会技術研究会，ｐｐ７９〜８６，２００２−０２』などが知られている。
また、マーカ座標系は、最終的に仮想物体画像を配置する際のグローバル座標系であることが多い。
ここで、４つの頂点は、同一平面にあることが分かっているため、３次元のマーカ座標系において、ＡＲマーカ２００の中心を（ｘ，ｙ，ｚ）＝（０，０，０）とすると、４つの頂点Ｍ０〜Ｍ３の座標は、Ｍ０＝（−ａ，−ａ，０）、Ｍ１＝（ａ，−ａ，０）、Ｍ２＝（−ａ，ａ，０）、Ｍ３＝（ａ，ａ，０）と表される（図５参照）。
【００２９】
ここで、図５を参照して、スマート端末４０における座標表現について説明する。図５は、本発明の第１実施形態に係るスマート端末４０における座標表現を示す図である。
これに対して、置換部６０は、求めたい回転と平行移動を行って３次元の座標変換を施すと、スマート端末４０の４つの頂点Ｍ０〜Ｍ３の座標は、３次元のカメラ座標系の座標に変換される。
そして、３次元のカメラ座標系から仮想スクリーンＳ‘への透視投影を行うことで、２次元の座標値であるＭ０’〜Ｍ３’が求められる（図６参照）。
この際の、回転及び平行移動のパラメータがカメラの相対位置・姿勢に該当する。
【００３０】
ここで、図６を参照して、スマート端末４０による仮想スクリーンＳ‘への透視撮影について説明する。図６は、本発明の第１実施形態に係るスマート端末４０による仮想スクリーンＳ‘への透視撮影を示す図である。
続いて、ステップＳ２０９では、通信部４２は、ＡＲマーカ２００に埋め込まれた３Ｄの仮想物体画像の識別子をネットワークＮを介してサーバ３０に送信する。そして、情報取得部５６は、通信部４２を介してサーバ３０から３Ｄの仮想物体画像（重畳データ）を取得する。そして、置換部６０は、カメラの相対位置・姿勢及び第２情報（現実世界における大きさを表す）に基づいて、マーカ座標系の３次元空間上に配置する。
ここで、置換部６０は、３Ｄの仮想物体画像の配置に第２情報（現実世界における大きさを表す）を用いているため、３Ｄの仮想物体画像を現実世界に則した大きさで配置することができる。
続いて、ステップＳ２１１では、表示部４６は、３次元空間に配置した３Ｄの仮想物体画像をスクリーンＳに透視投影した際の画像を描画し、ステップＳ２０１で取得した画像と重畳する。
【００３１】
例えば、スマート端末４０は、ステップＳ２０１で取得した画像上に、ＯｐｅｎＧＬやＤｉｒｅｃｔ３Ｄなどの３ＤプログラミングＡＰＩを用いて３次元空間に配置した３Ｄの仮想物体画像を描画する。
続いて、ステップＳ２１３では、表示部４６は、仮想物体画像が重畳された画像（図７参照）をディスプレイなどに表示する。
なお、第１情報を、画像の印刷前のＡＲマーカ２００の現実世界における大きさを示す第１大きさ情報と関連付けられた情報とし、第２情報を、画像の印刷後のＡＲマーカ２００の現実世界における大きさを示す第２大きさ情報と関連付けられた情報としてもよい。
【００３２】
制御部５２は、撮像部５０（カメラ）で撮像した画像に対して、画像の編集処理や画像合成処理を使用し、画像に対して何らかの情報を付加する。このとき、撮像部５０で撮像した画像の構成、またはＡＲマーカ２００を検知することで、画像に付加すべき情報を判断し、かつ付加すべき情報は現在の位置情報とすることで、画像の切り替え表示を行うことができる。
制御部５２は、以上の処理（Ｓ２０７〜Ｓ２１３）を１秒間に６０回程度で繰り返し実行し、画面表示することで、リアルタイムに重畳画像の表示を行うものとする。繰り返し回数は表１に示すテーブルに従って、ＣＰＵ性能を検知して変更する。
これにより、識別子を抽出してから、ＡＲ情報を表示するまでの処理に係る繰り返し回数を、ＣＰＵの性能に応じて切り替えることができる。
【００３３】
【表１】
2017085533.tif 000003
【００３４】
なお、表１に示すテーブルのパラメータはそれぞれユーザによる変更を可能とする。また、１秒あたりの繰り返し回数は操作部４４を介してユーザが直接入力できるようにしてもよい。
これにより、ユーザが所望する繰り返し回数に切り替えることができる。
【００３５】
＜スマート端末での表示イメージ＞
次に、図７（ａ）〜（ｄ）を参照して、スマート端末４０に表示されるイメージについて説明する。図７（ａ）〜（ｄ）は、本発明の第１実施形態に係るスマート端末４０の処理により仮想物体画像を重畳したイメージを示す図である。
図７（ａ）に示す「オリジナル撮影画像」イメージ３００ａに対して、図６に示す置換処理を施すことで、図７（ｂ）に示す「ＡＲ重畳画像（重畳部分）」イメージ３００ｂの重畳文字（「・機密情報Ａ１」〜「・機密情報ＡＤ２」）（重畳データ）のように、撮像した画像に重畳画像を合成することが可能となる。
【００３６】
図７（ｃ）に示す「ＡＲ重畳画像：ＡＲマーカ比率反映（重畳部分）」イメージ３００ｃは、図７（ａ）に示す「オリジナル撮影画像」イメージ３００ａをななめ手前に位置したスマート端末４０から撮影した例である。この例も、図６に示す置換処理を施すことで、カメラの相対位置・姿勢及び第２情報に基づいて、マーカ座標と傾きに応じて、重畳画像も同じ比率に変倍して重畳したものである。
例えば、ＡＲマーカ２００の「オリジナル撮影画像」イメージ３００ａと撮像画像の比率が、縦方式で１０：５、横方向で１０：８である場合、縦方向は５／１０＝１／２の比率、横方向は８／１０＝４／５の比率となるため、重畳画像も縦方向を１／２、横方向を４／５に変倍してスマート端末４０に表示される。
【００３７】
なお、図７（ｄ）に示す「ＡＲマーカ検知不可」イメージ３００ｄのように撮像範囲にＡＲマーカ２００の全体が含まれない場合、ＡＲマーカ２００に含まれる情報を認識できないため、ＡＲマーカ２００が「無し」として判断されるため、画像イメージを重畳することはできない。その場合、表示部４６は「ＡＲマーカを画面内に収まるようにしてください。」といった旨のメッセージをスマート端末４０に表示してもよい。
これにより、マーカ画像が所定の撮像範囲内に収まるように促すメッセージを目視確認したユーザは、マーカ画像を所定の撮像範囲内に収まるように画角を移動すべきことに気付くことができる。
【００３８】
次に、図８（ａ）（ｂ）を参照して、印刷データに含まれるＡＲマーカ２００のイメージについて説明する。図８（ａ）（ｂ）は、本発明の第１実施形態に係る印刷データに含まれるＡＲマーカのイメージ図である。
ホストＰＣ１０に対して、ユーザの指定によりＡＲマーカ付与型／ＡＲマーカレス型の指定を可能とする。
図８（ａ）に示すＡＲマーカ付与型３１０では、印刷データ内にＡＲマーカ２００を明示的に配置する方式であり、ＡＲマーカ配置条件は、
ＡＲマーカサイズ（縦×横）  ＜  空き要領サイズ（縦×横）
である。
【００３９】
ここで、ＡＲマーカ２００の配置方法について説明する。
第１の方法は、印刷データに対して、ＡＲマーカ２００のサイズ（縦×横）に一致する画像空き領域を検索してＡＲマーカ２００を配置する方法である。指定されたＡＲマーカ２００の縦×横で表す面積未満の画像空き領域を検索し配置する。条件に一致しない場合は、ＡＲマーカ２００側を縮小して配置することも可能とする。
第２の方法は、印刷データに対して、予め配置する画像空き領域に一致するＡＲマーカ２００を検索してＡＲマーカ２００を配置する方法である。指定された画像空き領域の縦×横の面積未満のＡＲマーカ２００を検索し条件に一致するＡＲマーカ２００を配置する。条件に一致しない場合は、規定のＡＲマーカ２００を縮小して配置することも可能とする。
【００４０】
また、複数のＡＲマーカ２００が指定される場合、ＡＲマーカ２００の指定がない場合は、印刷データの内容をＯＣＲ処理によりワードを抽出し、そのワード内容により、関連するＡＲマーカ２００に切り替えることができる。ここで、ＯＣＲ処理に用いた検索ワードが最も多いＡＲマーカ２００を選択する。
図８（ｂ）に示すＡＲマーカレス型は、印刷データの画像内容、画像配置をＡＲマーカ２００の画像ビット配置として扱う方式である。
【００４１】
＜ＡＲマーカイメージ＞
ここで、図９を参照して、ＡＲマーカイメージについて説明する。図９は、本発明の第１実施形態に係る対応ワード例とその分類に関するＡＲマーカイメージを分類した図である。
図９に示すように、対応ワード例とその分類内容に応じて、ＡＲマーカイメージをホストＰＣ１０により選択することが可能となる。
【００４２】
＜スマート端末の表示イメージ＞
次に、図１０（ａ）〜（ｅ）を参照して、スマート端末４０において表示される表示イメージについて説明する。図１０（ａ）〜（ｅ）は、本発明の第１実施形態に係るスマート端末４０での表示イメージ図である。
図１０（ａ）は、画像形成装置２０により印刷された原稿を示す。
これに対して、図１０（ｂ）〜（ｅ）は、図１０（ａ）に示す原稿をスマート端末４０で撮影した画像に、セキュリティレベルに応じた情報を付加してスマート端末４０に表示した例である。セキュリティレベルＡ〜Ｄに応じて、サーバ３０から取得できるデータが切り替えられることが解る。
【００４３】
＜ホストＰＣの動作説明＞
次に、図１１を参照して、ホストＰＣ１０の動作について説明する。図１１は、本発明の第１実施形態に係るホストＰＣ１０の処理を示すフローチャートである。
ステップＳ４０１では、ＡＲ情報作成部１４は、ＡＲマーカの明示の有無、配置位置を選択する。詳しくは、ＡＲ情報作成部１４は、ユーザが操作入力したＡＲマーカ２００の形式、ＡＲマーカ配置位置、及びセキュリティレベルごとの開示情報を入力する。
【００４４】
＜ホストＰＣのＡＲ情報作成画面＞
ここで、図１２を参照して、ホストＰＣ１０のＡＲ情報作成画面について説明する。図１２は本発明の第１実施形態に係るホストＰＣ１０のＡＲ情報作成画面を示す図である。
図１２に示すように、ホストＰＣ１０に表示されるＡＲ情報作成画面４００には、「オリジナル撮影画像」イメージ３００ａに加えて、「マーカ選択」の設定領域、「セキュリティレベル毎の非開示情報」の設定領域が表示されている。
ここで、「マーカ選択」の設定領域において、「明示有り」は人が確認できるように文書にＡＲマーカ２００を入れる場合であり、「明示無し」は人が確認できないように文書にＡＲマーカ２００を入れる場合である。
「マーカ配置」においては、配置する座標と、縦×横のサイズ、自動縮小の有無が指定可能になる。
「セキュリティレベル毎の非開示情報」の設定領域においては、セキュリティレベルＡ〜Ｄの夫々にカットするデータの座標、縦×横のサイズ、回転の角度が指定可能になる。
「ＡＲマーカを追加する」ボタン４１０が押された場合、出力イメージにＡＲマーカ２００が表示される。
設定内容を確定する場合には、「ＯＫ」ボタン４２０を押せばよい。
【００４５】
ステップＳ４０２では、ＡＲ情報作成部１４は、図１２に示すＡＲマーカ２００の明示の有無をチェックする。
ＡＲマーカ２００の「明示有り」の場合は、ステップＳ４０３では、ＡＲ情報作成部１４は、通信部４２を介してサーバ３０にＡＲマーカ一覧要求を送信して問い合わせる。ＡＲ情報作成部１４は、通信部４２を介してサーバ３０から受信したＡＲマーカ一覧をユーザに表示し、ＡＲマーカ一覧の中からユーザにＡＲマーカの種類の選択を促す。ＡＲ情報作成部１４は、ユーザによる選択の結果に基づいてＡＲ情報を作成する。ユーザが選択するＡＲマーカは複数選択を可能とする。
一方、ＡＲマーカ２００の「明示無し」の場合は、ステップＳ４０４では、ＡＲ情報作成部１４は、文書自体をＡＲマーカ２００として扱うようにＡＲ情報を作成する。
【００４６】
＜ホストＰＣのＡＲマーカ画像選択画面＞
ここで、図１３を参照して、ホストＰＣ１０のＡＲマーカ画像選択画面について説明する。図１３は本発明の第１実施形態に係るホストＰＣ１０のＡＲマーカ画像選択画面を示す図である。
「マーカ画像選択」の設定領域において、「自動」はＡＲ情報作成部１４によりＡＲマーカを自動作成することを表す。ＡＲ情報作成部１４により自動作成されたＡＲマーカ４６０を画面右上部に示す。
設定内容を確定する場合には、「ＯＫ」ボタン４７０を押せばよい。
【００４７】
ステップＳ４０５では、通信部１６は、ネットワークＮを介してＡＲ情報要求をサーバ３０に送信して問い合わせる。通信部１６は、サーバ３０からＡＲ情報の返信を受信する。
ステップＳ４０６では、ＡＲ情報作成部１４は、ＡＲマーカ２００の重複の有無をチェックする。
ＡＲ情報作成部１４は、ＡＲマーカ２００が重複ありの場合（Ｓ４０６：重複あり）は、警告メッセージを表示する。ユーザ操作によりキャンセルボタンが押下された場合にステップＳ４０１に戻り、ユーザに再入力を促す。
これにより、ＡＲマーカ２００の再入力を促すメッセージが表示されるので、当該メッセージを目視確認した作成者はＡＲマーカ２００の再入力が必要なことに気付くことができる。
【００４８】
＜ホストＰＣの重複警告メッセージ＞
ここで、図１４（ａ）（ｂ）を参照して、ホストＰＣ１０の重複警告メッセージについて説明する。図１４（ａ）は本発明の第１実施形態に係るホストＰＣ１０のＡＲマーカを明示しない場合の重複警告メッセージ５００を示す図である。図１４（ｂ）は本発明の第１実施形態に係るホストＰＣ１０のＡＲマーカを明示する場合の重複警告メッセージ５３０を示す図である。図１４（ｃ）は本発明の第１実施形態に係るホストＰＣ１０のＡＲマーカ登録画面５７０を示す図である。
ＡＲ情報作成部１４は、ＡＲマーカ２００を明示する場合、かつＡＲマーカ２００が重複ありの場合は、図１４（ｂ）に示す警告メッセージを表示する。キャンセルボタン５４０が押下された場合にステップＳ４０３に戻り、ユーザにＡＲマーカ２００の再入力を促す。
これにより、ＡＲマーカ２００の再入力を促すメッセージが表示されるので、当該メッセージを目視確認した作成者はＡＲマーカ２００の再入力が必要なことに気付くことができる。
【００４９】
ＡＲ情報作成部１４は、ＡＲマーカ２００を明示する場合、かつＡＲマーカ２００が重複ありの場合は、ステップＳ４０３に戻る。
ステップＳ４０３では、図１４（ｃ）に示すＡＲマーカ登録画面５７０において、ファイルパスを入力領域５８０に入力することで、画像プレビュ５９０を表示し、「登録」ボタン６００を押すことで、ユーザのホストＰＣ１０が保有するＡＲマーカ２００情報をサーバ３０にアップロードすることができる。サーバ３０が保有するＡＲマーカ２００を追加し、ＡＲマーカ一覧を更新することを可能とする。
これにより、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を更新可能にすることで、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を最新のものとして利用することができる。
【００５０】
ＡＲ情報作成部１４は、さらに重複対象となったＡＲ情報は、今回の情報で上書きすることも可能とする。
これにより、既に利用されているＡＲマーカ２００に今回利用するＡＲマーカ２００を上書きするので、最新のＡＲマーカ２００を利用することができる。
ステップＳ４０７では、ＡＲ情報作成部１４は、印刷データ内のＡＲマーカ２００の配置を検索する。ここで、配置検索処理は、ステップＳ４０１でＡＲマーカ２００明示の場合にのみ行う。検索条件は下記の通りである。
ユーザが選択したＡＲマーカ面積（縦×横）  ＜  ユーザ指定の配置面積（縦×横）
ＡＲ情報作成部１４は、ユーザ指定の配置面積（縦×横）の方が、ユーザが選択したＡＲマーカ面積（縦×横）よりも大きいことを検索条件として、ユーザが選択したＡＲマーカ分繰り返す。
ステップＳ４０８では、ＡＲ情報作成部１４は、すべてのＡＲマーカ２００が配置不可の場合は、警告メッセージを表示する。ＡＲ情報作成部１４は、ユーザ操作によりキャンセルボタンが押下された場合にステップＳ４０３に戻り、ＡＲマーカ２００の再選択を促す。
これにより、ＡＲマーカ２００の再配置を促すメッセージが表示されるので、当該メッセージを目視確認した作成者は、ＡＲマーカ２００を付与すべき原画像上の配置位置を変更すべきことに気付くことができる。
【００５１】
＜再選択メッセージ＞
ここで、図１５を参照して、ＡＲマーカ２００の再選択を促すメッセージについて説明する。図１５は本発明の第１実施形態に係るホストＰＣ１０のＡＲマーカ２００の再選択を促すメッセージ６５０を示す図である。
ＡＲ情報作成部１４は、配置不可の場合は、文書内の画像空き領域を検索し、ＡＲマーカ２００のサイズが収まる領域を検索して、ＡＲマーカ２００の配置位置を決定することも可能とする。
これにより、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合でも、検索された原画像の空き領域にＡＲマーカ２００を配置することができる。
【００５２】
＜ＡＲマーカの再配置イメージ＞
ここで、図１６（ａ）（ｂ）を参照して、ＡＲマーカの再配置イメージについて説明する。図１６（ａ）（ｂ）は本発明の第１実施形態に係るホストＰＣ１０のＡＲマーカ再配置イメージを示す図である。
図１６（ａ）に示すように、ＡＲ情報作成部１４は、自動再配置処理では、マーカサイズ（縦×横の面積）分を文書６８０内の空き（文字、画像の未配置）の空間を検索して、マーカサイズ＜文書内の空き空間という条件が成立した場合に再配置する。
なお、図１６（ａ）は、ＡＲマーカの配置予定箇所６９０を示しているが、予定箇所に文字があるためＡＲマーカの配置は不可能である。一方、図１６（ｂ）はＡＲマーカサイズの空間を文書６８０内で検索して、ＡＲマーカが収まる空間７００に配置した場合を示す。
この条件が成立しない場合は、ＡＲ情報作成部１４は、ステップＳ４０３に戻りＡＲマーカ２００の再選択を促す。
【００５３】
ステップＳ４０９では、通信部１６は、ＡＲ情報に、ＡＲマーカ２００と印刷データの関連付情報、セキュリティレベルごとの開示情報を付与したもの、及び、オリジナルの印刷データに識別子を付加してネットワークＮを介してサーバ３０へ送信する。
ステップＳ４１０では、印刷データ作成部１２は、オリジナルの印刷データから、セキュリティレベルごとの開示情報が示す範囲の画像を消去した印刷データ（原画像）を作成し、この印刷データを通信部１６からネットワークＮを介して画像形成装置２０に送信する。
これにより、ＡＲマーカ２００が付与された原画像を作成して、原画像を画像形成装置２０に送信することができる。
【００５４】
＜画像形成装置の動作説明＞
次に、図１７を参照して、画像形成装置２０の動作について説明する。図１７は、本発明の第１実施形態に係る画像形成装置２０の処理を示すフローチャートである。
ステップＳ５０１では、通信部２２は、ネットワークＮを介してホストＰＣ１０から印刷データを受信する。次いで、ステップＳ５０２では、印刷データ出力部２４は、この印刷データを記録媒体に印刷して出力する。この結果、画像形成装置２０により、セキュリティレベルごとの開示情報が示す範囲の画像が消去された内容が記録媒体に印刷される。
これにより、受信した印刷データ（原画像）を記録媒体に印刷することができる。
【００５５】
＜スマート端末の動作説明＞
次に、図１８を参照して、スマート端末４０の動作について説明する。図１８は、本発明の第１実施形態に係るスマート端末４０の処理を示すフローチャートである。
ステップＳ６０１では、撮像部５０は、記録媒体に印刷された原稿をカメラで撮影した後、情報取得部５６はＡＲマーカ２００から識別子を検知する。
ステップＳ６０２では、通信部４２は、検知したＡＲマーカ２００により表す識別子と、スマート端末４０から読み出したユーザＩＤを使用して、識別子とユーザＩＤとについての問合せ要求をサーバ３０送信する。すなわち、通信部４２は、ネットワークＮを介してユーザＩＤと当該識別子をサーバ３０に送信する。
なお、スマート端末４０はサーバ３０に問い合わせる際のユーザＩＤは操作部４４を用いてユーザが指定することもできる。
これにより、指定されたユーザＩＤに対応するＡＲ情報を取得することができる。
【００５６】
その後、ステップＳ６０３では、通信部４２は、ネットワークＮを介してサーバ３０からＡＲ情報を受信した場合は、ステップＳ６０４に進み、表示部４６は、重畳データであるＡＲ情報と撮像画像を合成して、スマート端末４０の画面に表示する。
ステップＳ６０３において、サーバ３０からＡＲ情報を受信できない場合は、表示部４６は、特に表示画像の加工は行わない。
【００５７】
また、表示部４６は、ＡＲ情報の受信がない場合は、その旨のエラーメッセージを表示することもできる。
これにより、サーバ３０からＡＲ情報を取得できない場合に、エラーメッセージが表示されるので、サーバ３０からＡＲ情報を取得できなかったことをユーザが気付くことができる。
【００５８】
＜スマート端末の表示メッセージ＞
ここで、図１９を参照して、スマート端末４０に表示されるメッセージについて説明する。図１９は、本発明の第１実施形態に係るスマート端末４０においてサーバからＡＲ情報を受信できない場合のメッセージ７１０を示す図である。
【００５９】
＜サーバ動作について説明＞
次に、図２０を参照して、サーバ３０の動作について説明する。図２０は、本発明の第１実施形態に係るサーバ３０の処理を示すフローチャートである。
ステップＳ７０１では、通信部３４は、ネットワークＮを介してスマート端末４０からＡＲマーカ２００の識別子、及びユーザＩＤの問い合わせ要求を受信する。
ステップＳ７０２では、表示データ作成部３２は、受信した識別子をキーとして、ＡＲ情報記憶部３８の識別子テーブルに記憶している識別子に対応したＡＲ情報を検索する。
なお、表２は、識別子に対応したＡＲ情報を記載した識別子テーブルである。
【００６０】
【表２】
2017085533.tif 000004
【００６１】
ステップＳ７０３では、表示データ作成部３２は、スマート端末４０から問合せ要求があったＡＲマーカ２００の識別子と、ＡＲ情報記憶部３８から検索した結果のＡＲ情報の識別子とが一致するか否かをチェックし、一致しない場合は処理を終了する。
【００６２】
一方、両者が一致した場合、ステップＳ７０４に進み、表示データ作成部３２は、受信したユーザＩＤを検索キーとして、セキュリティテーブル（表３）からセキュリティレベルを検索する。
なお、表３は、セキュリティレベルとユーザＩＤとの関係を示すセキュリティテーブルである。
【００６３】
【表３】
2017085533.tif 000005
【００６４】
ステップＳ７０５では、表示データ作成部３２は、セキュリティレベルの有無をチェックし、無い場合は処理を終了する。
一方、セキュリティテーブルにユーザＩＤ自体がない場合は、セキュリティテーブルにユーザＩＤ自体がない旨のエラーメッセージをユーザに通知し、ユーザＩＤの再入力を促すこともできる。
これにより、エラーメッセージを確認したユーザはユーザＩＤが未登録であることに気付くことができる。
これにより、受信した識別子、及びユーザＩＤに基づいて、ユーザの権限に合わせたＡＲ情報を検索してユーザＩＤの送信元に送信することができ、セキュリティ性を向上させることができる。
【００６５】
＜ユーザＩＤがない場合のメッセージ＞
図２１は、本発明の第１実施形態に係るサーバ３０から送信されるユーザＩＤがない場合のメッセージ７５０を示す図である。
【００６６】
他方、セキュリティテーブルにユーザＩＤが有る場合、ステップＳ７０６では、表示データ作成部３２は、通信部３４を介してＡＲ情報をスマート端末４０へ送信する。
また、ステップＳ７０４において使用するセキュリティテーブルは、セキュリティレベルの数、各セキュリティレベルに対応するユーザＩＤについての変更要求をホストＰＣ１０から受信した場合に、表示データ作成部３２は、ユーザＩＤを変更することも可能とする。
これにより、セキュリティテーブル上のユーザＩＤを変更することができる。
また、セキュリティレベルで表示するＡＲ情報についての変更要求をホストＰＣ１０から受信した場合に、表示データ作成部３２は、ＡＲ情報を変更することも可能とする。
これにより、ＡＲ情報を変更することができ、利便性を向上することができる。
表示データ作成部３２は、セキュリティテーブルからユーザＩＤに対するセキュリティレベル（例えば、Ａ〜Ｄ）を検索した後、ＡＲ画像とセキュリティレベルとの対比テーブル（表４）を参照して、ＡＲ情報とセキュリティレベルに対応する画像を選択して読み出す。表示データ作成部３２は、選択した画像データを重畳データとして通信部３４を介してスマート端末４０に送信する。
表４は、ＡＲ情報とセキュリティレベル（表示条件情報）に対応したスマート端末送信画像の関係を示す対比テーブルである。
【００６７】
【表４】
2017085533.tif 000006
【００６８】
ホストＰＣ１０からのＡＲマーカ情報の問い合わせに対して、サーバ３０では、ＡＲ情報記憶部３８に記憶されているＡＲ情報で同じＡＲマーカ２００が使われていないか、重複チェックを行い、その結果をホストＰＣ１０に応答することを可能とする。
また、ホストＰＣ１０からサーバ３０のオリジナル印刷データ記憶部３６が記憶するＡＲマーカ２００、及びＡＲマーカ一覧の更新要求を受け付けた場合に、この要求内容に従って、サーバ３０内の情報を更新することを可能とする。
【００６９】
以上のように、撮像部５０が画像を撮影する。データの表示条件を示すＡＲマーカ２００（マーカ画像）が表示された記録媒体が撮影されると、情報取得部５６が撮影されたＡＲマーカ２００（マーカ画像）から記録媒体を識別するための識別子を抽出する。通信部４２が識別子、及びユーザを特定するためのユーザＩＤをサーバ３０へ送信する。通信部４２がサーバ３０からユーザの権限に合わせた重畳データを受信する。表示部４６が重畳データを撮影中の記録媒体上に重ねて表示する。
これにより、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示することができ、セキュリティ性を向上させることができる。
【００７０】
＜第２実施形態＞
次に、図２２を参照して、情報処理システム５０の機能ブロック図について説明する。図２２は、本発明の第２実施形態に係る情報処理システムの機能ブロック図である。
第２実施形態では、第１実施形態の情報処理システム１に加えて、グループサーバ６０を備えていることを特徴とする。
第１実施形態では、ユーザＩＤを用いてセキュリティレベルを判断していた。しかし、個人別の管理情報が必要になり、管理上の利便性が良くない。このため、第２実施形態では、ユーザグループ単位で管理できるように構成した情報処理システム５０を備える。
【００７１】
グループサーバ６０は、グループデータ記憶部６２、ユーザＩＤ変換部６４、通信部６６を備えている。
グループデータ記憶部６２は、ユーザグループ情報として、グループテーブル、及びユーザグループＩＤテーブルを保持する。
ユーザＩＤ変換部６４は、ユーザＩＤをユーザが属するグループ情報に変換する。
通信部６６は、ユーザＩＤ変換部６４により変換されたデータをスマート端末４０へ通知する。
第１実施形態では、ユーザＩＤを直接サーバ３０に送信して、サーバ３０側でユーザＩＤに紐付くセキュリティレベルに変換していた。
これに対して、第２実施形態では、ユーザＩＤをユーザグループＩＤに変換するためのグループサーバ６０を利用して、サーバ３０からグループサーバ６０へユーザＩＤを通知し、グループサーバ６０においてユーザＩＤをユーザグループＩＤに変換する。
その後は、第１実施形態と同様に、ユーザＩＤの代わりにユーザグループＩＤを使ってＡＲ情報の取得までの処理を実行する。
【００７２】
図２３を参照して、サーバ３０の動作について説明する。図２３は、本発明の第２実施形態に係るサーバ３０の処理を示すフローチャートである。
ステップＳ８０１では、通信部３４は、ネットワークＮを介してスマート端末４０からＡＲマーカ２００の識別子、及びユーザＩＤの問い合わせ要求を受信する。
ステップＳ８０２では、通信部３４は、ユーザグループＩＤを取得するため、ＡＲマーカ２００の識別子、及びユーザＩＤをグループサーバ６０へ送信して問い合わせ、ユーザグループＩＤを要求する。
ステップＳ８０３では、通信部３４は、グループサーバ６０からユーザグループＩＤを受信した場合は、図２０に示すステップＳ７０２へジャンプし、ステップＳ７０２以降と同じ制御処理を実行する。一方、グループサーバ６０からエラーを受信した場合は、ステップＳ８０４に進み、ユーザＩＤがない旨を表すエラーをスマート端末４０に送信して処理を終了する。
その際、スマート端末４０には、図２１に示すような、ユーザＩＤがない場合のメッセージが表示される。
【００７３】
図２４を参照して、グループサーバ６０の動作について説明する。図２４は、本発明の第２実施形態に係るグループサーバ６０の処理を示すフローチャートである。
ステップＳ９０１では、通信部６６は、サーバ３０からＡＲマーカの識別子である種類、及びユーザグループＩＤの問い合わせ要求を受信する。
ステップＳ９０２では、ユーザＩＤ変換部６４は、受信したＡＲマーカの識別子である種類、及びユーザグループＩＤの問い合わせ要求に基づいて、ゲループデータ記憶部６２に保持しているユーザグループＩＤを検索する。
すなわち、ユーザＩＤ変換部６４は、ＡＲマーカの種類をキーとしてグループテーブル（表５）を検索して、ＡＲマーカの種類に合致するグループを選択する。その後、ユーザＩＤ変換部６４は、選択したグループをキーとしてユーザグループＩＤテーブル（表６）を検索して、当該グループに合致するユーザグループＩＤを選択する。
【００７４】
ステップＳ９０３では、ユーザＩＤ変換部６４は、ＡＲマーカの種類が合致するか否かを判断する。ＡＲマーカ種類が合致しない場合、ステップＳ９０５では、通信部６６は、サーバ３０にエラーを送信し、処理を終了する。
一方、ユーザＩＤが合致した場合は、ステップＳ９０４では、通信部６６は、受信したＡＲマーカの種類と合致したユーザグループＩＤをサーバ３０に送信する。
なお、表５は、ＡＲマーカの種類（ＡＲマーカＡ〜ＡＲマーカＮ）とグループとの関係を示すグループテーブルの一例であり、グループサーバ６０のグループデータ記憶部６２に保持されている。グループテーブルには、例えば、ＡＲマーカの種類であるＡＲマーカＡに対して、グループであるＡサービス会員ランクが対応付けられて記憶されている。
【００７５】
【表５】
2017085533.tif 000007
ユーザＩＤ変換部６４によるグループの検索は、ＡＲマーカの種類に割り当てられたグループテーブル（表５）を参照して、ＡＲマーカの種類に合致するグループを選択する。グループテーブルはあらかじめグループサーバ６０に登録しておく。
【００７６】
また、表６は、Ａサービス会員ランクとユーザＩＤとの関係を示すユーザグループＩＤテーブルの一例であり、Ａサービス会員ランクに対応するユーザＩＤがグループサーバ６０のグループデータ記憶部６２に保持されている。ユーザグループＩＤテーブルには、例えば、グループであるＡサービス会員ランクのプラチナ会員に対して、ユーザＩＤである「Ｔａｒｏ  Ｙａｍａｄａ」〜「Ｈａｎａｋｏ  Ｙａｍａｍｏｔｏ」が対応付けられて記憶されている。
【００７７】
【表６】
2017085533.tif 000008
【００７８】
ユーザＩＤ変換部６４によるユーザグループＩＤの検索は、上記選択されたグループに割り当てられたユーザグループＩＤテーブル（表６）を参照して、Ａサービス会員ランクに合致するユーザグループＩＤを選択する。
【００７９】
第２実施形態によれば、サーバ３０がネットワークＮを介してスマート端末４０からＡＲマーカ２００の識別子である種類、及びユーザＩＤの問い合わせ要求を受信した場合に、ＡＲマーカ２００の識別子である種類、及びユーザＩＤの問い合わせ要求をグループサーバ６０へ送信する。グループサーバ６０は、サーバ３０から受信したＡＲマーカの識別子である種類、及びユーザグループＩＤの問い合わせ要求に基づいて、ゲループデータ記憶部６２に保持しているユーザグループＩＤを検索する。グループサーバ６０は、ＡＲマーカの種類と合致したユーザグループＩＤをサーバ３０に送信する。
これにより、サーバ３０は、グループサーバ６０から受信したＡＲマーカ２００の識別子に対応するグループユーザＩＤに基づいて、グループユーザの権限に合わせたＡＲ情報を検索してユーザＩＤの送信元に送信することができ、セキュリティ性を向上させることができる。
また、ＡＲマーカの識別子に対応するグループユーザＩＤに基づいて、スマート端末に表示するデータを変更することができる。
さらに、ＡＲマーカの識別子に対応して、複数あるユーザグループテーブルの中から適切なユーザグループテーブルを選択することができる。
また、ユーザグループテーブルには、複数のグループ情報を予め記憶しておくことで、グループ情報の利用範囲を拡大することができる。
さらに、グループ情報が取得できない場合は、スマート端末に警告メッセージを表示することができる。
【００８０】
＜本発明の実施態様例の構成、作用、効果＞
＜第１態様＞
本態様の情報処理システム１は、画像を撮影する撮像部５０と、データの表示条件を示すＡＲマーカ２００（マーカ画像）が表示された記録媒体が撮影されると、撮影されたＡＲマーカ２００（マーカ画像）から記録媒体を識別するための識別子を抽出する情報取得部５６と、識別子、及びユーザを特定するためのユーザＩＤ（ユーザ識別情報）をサーバ３０へ送信する通信部４２と、サーバ３０からユーザの権限に合わせた重畳データを受信する通信部４２と、重畳データを撮影中の記録媒体上に重ねて表示する表示部４６と、を備えたことを特徴とする。
本態様によれば、撮像部５０が画像を撮影する。データの表示条件を示すＡＲマーカ２００（マーカ画像）が表示された記録媒体が撮影されると、情報取得部５６が撮影されたＡＲマーカ２００（マーカ画像）から記録媒体を識別するための識別子を抽出する。通信部４２が識別子、及びユーザを特定するためのユーザＩＤをサーバ３０へ送信する。通信部４２がサーバ３０からユーザの権限に合わせた重畳データを受信する。表示部４６が重畳データを撮影中の記録媒体上に重ねて表示する。
これにより、ユーザの権限に合わせた重畳データを撮影中の記録媒体上に重ねて表示することができ、セキュリティ性を向上させることができる。
【００８１】
＜第２態様＞
本態様の情報処理システム１は、識別子、及びユーザＩＤに対応したＡＲ情報（重畳データ）を記憶するＡＲ情報記憶部３８と、スマート端末４０から識別子、及びユーザＩＤを受信する通信部３４と、識別子、及びユーザＩＤに基づいて、ユーザの権限に合わせたＡＲ情報をＡＲ情報記憶部３８から検索する表示データ作成部３２と、ＡＲ情報をユーザＩＤの送信元に送信する通信部３４と、をサーバ３０に備えたことを特徴とする。
本態様によれば、ＡＲ情報記憶部３８が、識別子、及びユーザＩＤに対応したＡＲ情報を記憶する。通信部３４が、スマート端末４０から識別子、及びユーザＩＤを受信する。表示データ作成部３２が、識別子、及びユーザＩＤに基づいて、ユーザの権限に合わせたＡＲ情報をＡＲ情報記憶部３８から検索する。通信部３４が、ＡＲ情報をユーザＩＤの送信元に送信する。
これにより、受信した識別子、及びユーザＩＤに基づいて、ユーザの権限に合わせたＡＲ情報を検索してユーザＩＤの送信元に送信することができ、セキュリティ性を向上させることができる。
【００８２】
＜第３態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する印刷データ作成部１２と、原画像を画像形成装置２０に送信する通信部１６と、をホストＰＣ１０に備えたことを特徴とする。
本態様によれば、印刷データ作成部１２が、ＡＲマーカ２００が付与された原画像を作成する。通信部１６が原画像を画像形成装置２０に送信する。
これにより、ＡＲマーカ２００が付与された原画像を作成して、原画像を画像形成装置２０に送信することができる。
【００８３】
＜第４態様＞
本態様の情報処理システム１は、印刷データ（原画像）を受信する通信部２２と、印刷データを記録媒体に印刷する印刷データ出力部２４と、を画像形成装置２０に備えたことを特徴とする。
本態様によれば、通信部２２が、印刷データを受信する。印刷データ出力部２４が、印刷データを記録媒体に印刷する。
これにより、受信した印刷データを記録媒体に印刷することができる。
【００８４】
＜第５態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００が付与された原画像が既に利用されている場合は、作成者にＡＲマーカ２００の再入力を促すメッセージを表示するＡＲ情報作成部１４をホストＰＣに備えたことを特徴とする。
本態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００が付与された原画像が既に利用されている場合は、作成者にＡＲマーカ２００の再入力を促すメッセージを表示する。
これにより、ＡＲマーカ２００の再入力を促すメッセージが表示されるので、当該メッセージを目視確認した作成者はＡＲマーカ２００の再入力が必要なことに気付くことができる。
【００８５】
＜第６態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００が既に利用されている場合は、作成者にＡＲマーカ２００の再入力を促すメッセージを表示するＡＲ情報作成部１４をホストＰＣに備えたことを特徴とする。
本態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００が既に利用されている場合は、作成者にマーカ画像の再入力を促すメッセージを表示する。
これにより、ＡＲマーカ２００の再入力を促すメッセージが表示されるので、当該メッセージを目視確認した作成者はＡＲマーカ２００の再入力が必要なことに気付くことができる。
【００８６】
＜第７態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を更新可能にするＡＲ情報作成部１４をホストＰＣに備えたことを特徴とする。
本態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を更新可能にする。
これにより、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を更新可能にすることで、ＡＲマーカ２００、及びＡＲマーカ２００の一覧を最新のものとして利用することができる。
【００８７】
＜第８態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００が既に利用されている場合は、既に利用されているＡＲマーカ２００に今回利用するＡＲマーカ２００を上書きするＡＲ情報作成部１４をホストＰＣに備えたことを特徴とする。
本態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００が既に利用されている場合は、既に利用されているＡＲマーカ２００に今回利用するＡＲマーカ２００を上書きする。
これにより、既に利用されているＡＲマーカ２００に今回利用するＡＲマーカ２００を上書きするので、最新のＡＲマーカ２００を利用することができる。
【００８８】
＜第９態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合は、作成者にＡＲマーカ２００の再配置を促すメッセージを表示するＡＲ情報作成部１４をホストＰＣに備えたことを特徴とする。
本態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合は、作成者にＡＲマーカ２００の再配置を促すメッセージを表示する。
これにより、ＡＲマーカ２００の再配置を促すメッセージが表示されるので、当該メッセージを目視確認した作成者は、ＡＲマーカ２００を付与すべき原画像上の配置位置を変更すべきことに気付くことができる。
【００８９】
＜第１０態様＞
本態様の情報処理システム１は、ＡＲマーカ２００（マーカ画像）が付与された原画像を作成する際に、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合は、原画像の空き領域を検索して、空き領域にＡＲマーカ２００を配置するＡＲ情報作成部１４をホストＰＣに備えたことを特徴とする。
本態様によれば、ホストＰＣ１０に備えたＡＲ情報作成部１４が、ＡＲマーカ２００が付与された原画像を作成する際に、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合は、原画像の空き領域を検索して、空き領域にＡＲマーカ２００を配置する。
これにより、ＡＲマーカ２００を付与すべき原画像上の配置位置に原画像の一部が占有している場合でも、検索された原画像の空き領域にＡＲマーカ２００を配置することができる。
【００９０】
＜第１１態様＞
本態様の情報処理システム１は、サーバ３０からＡＲ情報（重畳データ）を取得できない場合に、エラーメッセージを表示する表示部４６をスマート端末４０に備えたことを特徴とする。
本態様によれば、スマート端末４０に備えた表示部４６が、サーバ３０からＡＲ情報を取得できない場合に、エラーメッセージを表示する。
これにより、サーバ３０からＡＲ情報を取得できない場合に、エラーメッセージが表示されるので、サーバ３０からＡＲ情報を取得できなかったことをユーザが気付くことができる。
【００９１】
＜第１２態様＞
本態様の情報処理システム１は、サーバ３０からＡＲ情報（重畳データ）を取得する場合に、ユーザＩＤを指定する操作部４４をスマート端末４０に備えたことを特徴とする。
本態様によれば、スマート端末４０に備えた操作部４４が、サーバ３０からＡＲ情報を取得する場合に、ユーザＩＤを指定することで、指定されたユーザＩＤに対応するＡＲ情報を取得することができる。
これにより、指定されたユーザＩＤに対応するＡＲ情報を取得することができる。
【００９２】
＜第１３態様＞
本態様の情報処理システム１は、重畳データを要求された場合に、ユーザＩＤが未登録であるときには、エラーメッセージを応答する表示データ作成部３２をサーバ３０に備えたことを特徴とする。
本態様によれば、サーバ３０に備えた表示データ作成部３２が、重畳データを要求された場合に、ユーザＩＤが未登録であるときには、エラーメッセージを応答する。
これにより、エラーメッセージを確認したユーザはユーザＩＤが未登録であることに気付くことができる。
【００９３】
＜第１４態様＞
本態様の情報処理システム１は、重畳データを要求された場合に、ユーザＩＤに対応するセキュリティテーブルを変更可能にする表示データ作成部３２をサーバ３０に備えたことを特徴とする。
本態様によれば、サーバ３０に備えた表示データ作成部３２が、重畳データを要求された場合に、ユーザＩＤに対応するセキュリティテーブルを変更可能にする。
これにより、セキュリティテーブル上のユーザＩＤを変更することができる。
【００９４】
＜第１５態様＞
本態様の情報処理システム１は、ＡＲ情報（重畳データ）を変更可能にする表示データ作成部３２をサーバ３０に備えたことを特徴とする。
本態様によれば、サーバ３０に備えた表示データ作成部３２が、ＡＲ情報を変更可能にする。
これにより、ＡＲ情報を変更することができ、利便性を向上することができる。
【００９５】
＜第１６態様＞
本態様の情報処理システム１は、識別子を抽出してから、ＡＲ情報（重畳データ）を表示するまでの処理に係る繰り返し回数を、処理を実行するＣＰＵの性能に応じて切り替える制御部５２をスマート端末４０に備えたことを特徴とする。
本態様によれば、スマート端末４０に備えた制御部５２が、識別子を抽出してから、ＡＲ情報を表示するまでの処理に係る繰り返し回数を、処理を実行するＣＰＵの性能に応じて切り替える。
これにより、識別子を抽出してから、ＡＲ情報を表示するまでの処理に係る繰り返し回数を、ＣＰＵの性能に応じて切り替えることができる。
【００９６】
＜第１７態様＞
本態様の情報処理システム１は、繰り返し回数をユーザの指定に応じて切り替える制御部５２をスマート端末４０に備えることを特徴とする。
本態様によれば、スマート端末４０に備えた制御部５２が、繰り返し回数（第１６態様）をユーザの指定に応じて切り替える。
これにより、ユーザが所望する繰り返し回数に切り替えることができる。
【００９７】
＜第１８態様＞
本態様の情報処理システム１は、記録媒体を撮影する場合に、記録媒体に表示されたマーカ画像が所定の撮像範囲内にないときには、マーカ画像が所定の撮像範囲内に収まるように促すメッセージを表示する表示部４６をスマート端末４０に備えたことを特徴とする。
本態様によれば、スマート端末４０に備えた表示部４６が、記録媒体を撮影する場合に、記録媒体に表示されたマーカ画像が所定の撮像範囲内にないときには、マーカ画像が所定の撮像範囲内に収まるように促すメッセージを表示する。
これにより、マーカ画像が所定の撮像範囲内に収まるように促すメッセージを目視確認したユーザは、マーカ画像を所定の撮像範囲内に収まるように画角を移動すべきことに気付くことができる。
【００９８】
＜第１９態様＞
本態様の情報処理システム１は、画像を撮影するステップと、データの表示条件を示すマーカ画像が表示された記録媒体が撮影されると、撮影されたマーカ画像から記録媒体を識別するための識別子を抽出するステップと、識別子、及びユーザを特定するためのユーザＩＤをサーバ３０へ送信するステップと、サーバ３０からユーザの権限に合わせた重畳データを受信するステップと、をコンピュータにより実行可能なプログラムと、重畳データを撮影中の記録媒体上に重ねて表示するスマート端末４０（情報処理装置）と、を備えることを特徴とする。
第１態様の作用、及び効果は第１態様と同様であるので、その説明を省略する。
【００９９】
＜第２０態様＞
本態様の情報処理方法は、画像を撮影するステップと、データの表示条件を示すマーカ画像が表示された記録媒体が撮影されると、撮影されたマーカ画像から記録媒体を識別するための識別子を抽出するステップと、識別子、及びユーザを特定するためのユーザＩＤをサーバ３０へ送信するステップと、サーバ３０からユーザの権限に合わせた重畳データを受信するステップと、重畳データを撮影中の記録媒体上に重ねて表示するステップと、を実行することを特徴とする。
第１７態様の作用、及び効果は第１態様と同様であるので、その説明を省略する。
【符号の説明】
【０１００】
１…情報処理システム、１０…ホストＰＣ、２０…画像形成装置、３０…サーバ、４０…スマート端末、１２…印刷データ作成部、１４…ＡＲ情報作成部、１６…通信部、２４…印刷データ出力部、３２…表示データ作成部、３６…オリジナル印刷データ記憶部、３８…ＡＲ情報記憶部、４４…操作部、４６…表示部、４８…記憶部、５０…撮像部、５２…制御部、５４…画像取得部、５６…情報取得部、５８…算出部、６０…置換部、２００…ＡＲマーカ、２０１…外部領域、２０２…内部領域
【先行技術文献】
【特許文献】
【０１０１】
【特許文献１】特開２０１３−０２６９２２公報
【図１】
2017085533.tif 000009
【図２】
2017085533.tif 000010
【図３】
2017085533.tif 000011
【図４】
2017085533.tif 000012
【図５】
2017085533.tif 000013
【図６】
2017085533.tif 000014
【図７】
2017085533.tif 000015
【図８】
2017085533.tif 000016
【図９】
2017085533.tif 000017
【図１０】
2017085533.tif 000018
【図１１】
2017085533.tif 000019
【図１２】
2017085533.tif 000020
【図１３】
2017085533.tif 000021
【図１４】
2017085533.tif 000022
【図１５】
2017085533.tif 000023
【図１６】
2017085533.tif 000024
【図１７】
2017085533.tif 000025
【図１８】
2017085533.tif 000026
【図１９】
2017085533.tif 000027
【図２０】
2017085533.tif 000028
【図２１】
2017085533.tif 000029
【図２２】
2017085533.tif 000030
【図２３】
2017085533.tif 000031
【図２４】
2017085533.tif 000032