(57)【要約】【課題】ユーザへリアルタイムに、かつその画像に関連する情報を取得したいタイミングで、設定情報やエラー情報等の付加情報を画面上に表示できるシステムを提供する。【解決手段】情報処理装置の付加情報検出手段が、情報処理装置の状態により変化する付加情報を検出し、付加情報関連付け手段により関連付けられた関連付けテーブルを用いて対象画像プロパティ情報が取得できるので、付加情報埋め込み手段によって付加情報が埋め込まれた対象画像のプロパティ情報から付加情報解析手段で解析した付加情報を取得することで、ユーザ操作をしたタイミングにおいてリアルタイムに必要な情報を取得ことができる。【選択図】図１
2017010339.tif 000002
【特許請求の範囲】
【請求項１】
画像情報に付加情報を付加して格納する格納手段と、装置の処理履歴に応じて前記付加情報を変更する制御手段と、前記付加情報を表示する表示手段と、を有し、
前記制御手段は、処理履歴に応じて前記付加情報を変更すると、変更された付加情報を前記表示手段に表示することを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であり、
前記付加情報はアイコンの形状に対応付けられており、前記制御手段は、処理履歴に応じて前記付加情報を変更すると、変更された付加情報に対応する形状のアイコンを前記表示手段に表示することを特徴とする情報処理装置。
【請求項３】
画像プロパティ情報に、関連する付加情報を付加することが可能な情報処理装置であって、
前記付加情報を検出する付加情報検出手段と、
前記付加情報検出手段により検出した付加情報と前記画像プロパティ情報との関連付けを行う付加情報関連付け手段と、
前記付加情報関連付け手段により関連づけられた付加情報を画像プロパティ情報に埋め込む付加情報埋め込み手段と、
前記付加情報埋め込み手段により埋め込まれた画像プロパティ情報を格納する情報格納手段と、
前記情報格納手段によって格納された画像プロパティ情報に基づき、画像の表示を行う画像表示手段と、
前記画像表示手段によって表示された画面において、ユーザが行った特定の画像に対する操作を検出する操作検出手段と、
前記操作検出手段により検出した対象画像のプロパティ情報から、前記付加情報関連付け手段を用いて付加情報を解析する付加情報解析手段と、
前記付加情報関連付け手段により取得した付加情報を表示する付加情報表示手段と、を備えたことを特徴とする情報処理装置。
【請求項４】
前記操作検出手段は、情報処理装置に接続されたセンシングデバイスによる入力装置を有し、前記センシングデバイスにより取得したセンシング情報を付加情報として、前記付加情報埋め込み手段が対象画像に前記付加情報を埋め込む、ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記操作検出手段は、どのユーザが操作したかを認識可能であり、
前記操作検出手段により認識したユーザの内、特定のユーザが操作を行った場合のみ操作を検出することを特徴とする請求項３又は４に記載の情報処理装置。
【請求項６】
前記画像プロパティ情報は、対象画像の位置情報又は画像の形状情報又は画像の大きさ情報又は画像の色情報であり、
前記画像プロパティ情報のうち少なくとも１つ以上の情報を用いて、前記対象画像に関連する付加情報が、前記付加情報埋め込み手段によって埋め込まれていることを特徴とする請求項３〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記付加情報は、対象画像に関連付けられた情報処理装置の状態に関連する情報であり、前記情報処理装置の状態が変化する度に更新されることを特徴とする請求項３〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記画像のプロパティ情報に埋め込む前記付加情報をユーザが入力するための付加情報
入力手段、を備えたことを特徴とする請求項３〜７のいずれか１項に記載の情報処理装置。
【請求項９】
前記付加情報関連付け手段は、ユーザが前記付加情報と前記画像のプロパティ情報との関連付け情報を入力する機能を備えたことを特徴とする請求項３〜８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記付加情報表示手段は、画面上の対象画像に重ねて表示する又はその近傍に表示することを特徴とする請求項３〜９のいずれか１項に記載の情報処理装置。
【請求項１１】
撮像した画像を表示する撮像画面表示手段と、撮像された画面の特定の領域又は相対的な位置を検出する画像検出手段と、を有することを特徴とする請求項３〜９のいずれか１項に記載の情報処理装置。
【請求項１２】
画像プロパティ情報に、関連する付加情報を付加することが可能な情報処理システムであって、
画像に関連する付加情報を入力する付加情報入力手段と、
前記付加情報入力手段により入力した付加情報と前記画像プロパティ情報の関連付けを行う付加情報関連付け手段と、
前記付加情報関連付け手段により関連づけられた付加情報を画像プロパティ情報に埋め込む付加情報埋め込み手段と、
前記付加情報埋め込み手段により埋め込まれた画像プロパティ情報を格納する情報格納手段と、
前記情報格納手段によって格納された画像プロパティ情報に基づき、画像の表示を行う画像表示手段と、
前記情報処理装置に表示されている画面を、撮像装置により画像の表示を行う撮像画面表示手段と、
前記撮像画面表示手段から特定の画像を検出する画像検出手段と、
前記画像検出手段により検出した対象画像のプロパティ情報から、前記付加情報関連付け手段を用いて付加情報を解析する付加情報解析手段と、
前記付加情報関連付け手段により取得した付加情報を表示する付加情報表示手段と、を有する情報表示端末と、を備えたことを特徴とする情報処理システム。
【請求項１３】
画像プロパティ情報自体に、関連する付加情報を埋め込むための情報処理プログラムであって、
画像に関連する付加情報を検出する付加情報検出ステップと、
前記付加情報入力手段により入力した付加情報と前記画像プロパティ情報との関連付けを行う付加情報関連付けステップと、
前記付加情報関連付け手段により関連づけられた付加情報を画像プロパティ情報に埋め込む付加情報埋め込みステップと、
前記付加情報埋め込み手段により埋め込まれた画像プロパティ情報を格納する情報格納ステップと、
前記情報格納手段によって格納された画像プロパティ情報に基づき、画像の表示を行う画像表示ステップと、
前記情報処理装置に表示されている画面を、撮像装置により画像の表示を行う撮像画面表示ステップと、
前記撮像画面表示手段から特定の画像を検出する画像検出ステップと、
前記画像検出手段により検出した対象画像のプロパティ情報から、前記付加情報関連付け手段を用いて付加情報を解析する付加情報解析ステップと、
前記付加情報関連付け手段により取得した付加情報を表示する付加情報表示ステップと
、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ上に表示されたアイコン等の画像を検出し、その検出した画像のプロパティ情報と、対象画像に関する付加情報が紐付けされている関連付け情報を取得し、関連付け情報をもとに、情報処理装置の状態により変化する付加情報を表示するための、情報処理装置、情報処理システム、及び情報処理プログラムに関するものである。
【背景技術】
【０００２】
近年、スマートフォンやＰＣ、タブレット等のモバイル端末の普及により、タッチパネルを含むディスプレイ付属のＡＶ機器が個人、ビジネスの用途を問わず、幅広く利用されるようになってきた。
【０００３】
また、モバイル端末にはカメラだけでなく、加速度センサ、傾きセンサ、温度センサ、脈拍センサ等、様々なセンシングを行うデバイスが、端末内蔵又は端末へ簡単に取付け、接続できるようになったため、端末に接続されたデバイスからのセンシング情報を、高精度でかつリアルタイムに取得することができるようになった。
【０００４】
こうした背景の下、モバイル端末だけでなく、据置き型のメイン端末に関してもタッチパネル型のデバイスが普及しており、従来の単一機能としての割り当てしかできない物理的なボタン型デバイスによる操作（ボタン操作インタフェース）から、画像アイコンの配置や各機能への割り当てが柔軟に対応可能なタッチスクリーン型デバイス（タッチ操作インタフェース）による操作へと変化しつつある。
【０００５】
例えば、最近公共機関で利用されている電車の券売機や銀行のＡＴＭなどのインタフェースは、お客様の要望に応じたタッチパネル型のボタン機能配置となっており、お客様が行うボタン操作に応じて、タッチスクリーン上の画面表示（画像アイコン）が切り替わるようになっている。
【０００６】
また最近では、コンビニエンスストアのＡＴＭや自動販売機など、昼夜を問わず、お客様に２４時間利用されているタッチパネル型の端末も多くなってきている。
【０００７】
ネットワークに接続された端末であればリモート操作やメンテナンス作業を行うことも出来るが、飲料機器や店舗での電子広告表示など、まだまだネットワークに接続されていない端末も多数存在する。
【０００８】
こうした利用用途の場合、お客様が普段利用されている中で、メイン端末の稼動を止めることなく、端末の情報確認やメンテナンス作業を行う必要があり、必要なタイミングで作業を行うことが難しい場合がある。
【０００９】
また、お客様の前で販売に関する情報やエラー情報等を知られたくないこともあり、お客様にはわからない方法で、販売情報やエラー情報を取得する手段が必要である。
【００１０】
こうした問題に対処する手段として、他のモバイル端末に接続された入力デバイスのセンシング情報を利用して、メイン端末の情報を取得する方法がある。
【００１１】
例えば、スマートフォンのＱＲコード（登録商標）読み込みアプリやカメラ機能などを利用して、ディスプレイ上の特定の位置に埋め込まれた情報を、画像認識技術により読み込む方法がある（例えば特許文献１）。
【００１２】
特許文献１記載の方法は、画面上の各々の画像の位置の相対的な位置情報をカメラ等の撮像デバイスを用いて認識し、画像の位置に応じてモバイル端末上に表示された画像それぞれの箇所に異なる情報を表示する方法である。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２０１３−２３８９８７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献１の技術では、モバイル端末の画面上に表示される埋め込み情報は、単にメイン端末側に表示された各々の画像の位置情報に紐付けされた既存のバーコードやＱＲコード（登録商標）等の固定情報であるため、それぞれの画像においてユーザへ提示する内容は、状態によって変化することなく、一意に限定される。
【００１５】
本発明は上記課題を解決するためになされたものであり、情報処理装置の動作状態に応じて取得したい情報（例えば、設定情報、エラー情報等）が異なる場合に、位置情報、画像形状情報等の画像のプロパティ情報そのものの中に、情報処理装置の状態に応じて変化する付加情報を埋め込むことで、ユーザへリアルタイムに、かつその画像に関連する情報を取得したいタイミングで、設定情報やエラー情報等の付加情報を画面上に表示（提示）できるシステムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
前記従来の課題を解決するために本発明の情報処理装置は、画像プロパティ情報に、関連する付加情報を付加することが可能な情報処理装置であって、前記付加情報を検出する付加情報検出手段と、前記付加情報検出手段により検出した付加情報と前記画像プロパティ情報との関連付けを行う付加情報関連付け手段と、前記付加情報関連付け手段により関連づけられた付加情報を画像プロパティ情報に埋め込む付加情報埋め込み手段と、前記付加情報埋め込み手段により埋め込まれた画像プロパティ情報を格納する情報格納手段と、前記情報格納手段によって格納された画像プロパティ情報に基づき、画像の表示を行う画像表示手段と、前記画像表示手段によって表示された画面において、ユーザが行った特定の画像に対する操作を検出する操作検出手段と、前記操作検出手段により検出した対象画像のプロパティ情報から、前記付加情報関連付け手段を用いて付加情報を解析する付加情報解析手段と、前記付加情報関連付け手段により取得した付加情報を表示する付加情報表示手段と、を備えたことを特徴とする。
【発明の効果】
【００１７】
この構成により、情報処理装置の付加情報検出手段が、情報処理装置の状態により変化する付加情報を検出し、付加情報関連付け手段により関連付けられた関連付けテーブルを用いて対象画像プロパティ情報が取得できるので、付加情報埋め込み手段によって付加情報が埋め込まれた対象画像のプロパティ情報から付加情報解析手段で解析した付加情報を取得することで、ユーザ操作をしたタイミングにおいて、リアルタイムに必要な情報を取得ことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態による情報処理装置の構成を示すブロック図である。
【図２】画像のプロパティ情報の一例を示す図である。
【図３】付加情報埋め込みフォーマットの一例を示す図である。
【図４】画像プロパティ情報一覧の一例を示す図である。
【図５】付加情報の一覧テーブルの一例を示す図である。
【図６】付加情報と画像のプロパティ情報の関連付けを行うテーブルの一例を示す図である。
【図７】付加情報としてプロパティ情報に埋め込まれた埋め込み情報テーブルの一例を示す図である。
【図８】図１に示す情報処理装置の動作を示すフローチャートである。
【図９】本発明の第２の実施形態による情報処理装置の構成を示すブロック図である。
【図１０】図９に示す付加情報関連付け設定画面の一例を示す図である。
【図１１】図９に示す付加情報関連付け設定画面の動作を示すフローチャートである。
【図１２】付加情報を情報処理装置に画面表示する一例を示す図である。
【図１３】付加情報関連付けテーブルの一例を示す図である。
【図１４】付加情報（エラー情報）テーブルの一例を示す図である。
【図１５】本発明の第３の実施形態による情報処理装置の構成を示す図である。
【図１６】本発明の第３の実施形態によるブロック図である。
【図１７】図１６に示す情報処理装置の動作を示すフローチャートである。
【図１８】図１６に示す情報処理装置に画面表示する一例を示す図である。
【図１９】付加情報関連付けテーブルの一例を示す図である。
【図２０】付加情報埋め込み情報テーブル一例を示す図である。
【発明を実施するための形態】
【００１９】
第１の発明は、画像情報に付加情報を付加して格納する格納手段と、装置の処理履歴に応じて前記付加情報を変更する制御手段と、前記付加情報を表示する表示手段と、を有し、前記制御手段は、処理履歴に応じて前記付加情報を変更すると、変更された付加情報を前記表示手段に表示することを特徴とする情報処理装置である。
【００２０】
このため、ユーザ操作を行ったタイミングで、リアルタイムに必要な情報を取得ことができる。
【００２１】
第２の発明は、第１の発明の情報処理装置であり、前記付加情報はアイコンの形状に対応付けられており、前記制御手段は、処理履歴に応じて前記付加情報を変更すると、変更された付加情報に対応する形状のアイコンを前記表示手段に表示することを特徴とする情報処理装置である。
【００２２】
このため、ユーザ操作を行ったタイミングで、リアルタイムに必要な情報を取得ことができる。
【００２３】
第３の発明は、画像プロパティ情報に、関連する付加情報を付加することが可能な情報処理装置であって、前記付加情報を検出する付加情報検出手段と、前記付加情報検出手段により検出した付加情報と前記画像プロパティ情報との関連付けを行う付加情報関連付け手段と、前記付加情報関連付け手段により関連づけられた付加情報を画像プロパティ情報に埋め込む付加情報埋め込み手段と、前記付加情報埋め込み手段により埋め込まれた画像プロパティ情報を格納する情報格納手段と、前記情報格納手段によって格納された画像プロパティ情報に基づき、画像の表示を行う画像表示手段と、前記画像表示手段によって表示された画面において、ユーザが行った特定の画像に対する操作を検出する操作検出手段と、前記操作検出手段により検出した対象画像のプロパティ情報から、前記付加情報関連付け手段を用いて付加情報を解析する付加情報解析手段と、前記付加情報関連付け手段により取得した付加情報を表示する付加情報表示手段と、を備えたことを特徴とする情報処理装置である。
【００２４】
この構成により、情報処理装置の付加情報検出手段が、情報処理装置の状態により変化
する付加情報を検出し、付加情報関連付け手段により関連付けられた関連付けテーブルを用いて対象画像プロパティ情報が取得できるので、付加情報埋め込み手段によって付加情報が埋め込まれた対象画像のプロパティ情報から付加情報解析手段で解析した付加情報を取得することで、ユーザ操作をしたタイミングにおいてリアルタイムに必要な情報を取得することができる。
【００２５】
第４の発明は、第３の発明に関し、前記操作検出手段は、情報処理装置に接続されたセンシングデバイスによる入力装置を有し、前記センシングデバイスにより取得したセンシング情報を付加情報として、前記付加情報埋め込み手段が対象画像に前記付加情報を埋め込む、ことを特徴とする情報処理装置である。
【００２６】
この構成により、情報処理装置に接続されたセンシングデバイスによって、リアルタイムに変化する状態を検出することができ、検出した付加情報は、付加情報埋め込み手段によって対象画像のプロパティ情報に埋め込まれるので、ユーザ操作をしたタイミングにおいてリアルタイムに必要な情報を取得することができる。
【００２７】
第５の発明は、第３又は第４の発明に関し、前記操作検出手段は、どのユーザが操作したかを認識可能であり、前記操作検出手段により認識したユーザの内、特定のユーザが操作を行った場合のみ操作を検出することを特徴とする情報処理装置。
【００２８】
この構成により、情報処理装置に接続されたセンシングデバイスによって、どのユーザが操作したかを検出・認識することができ、認識した情報に基づいて、特定の人物のみが操作することが可能とするので、特定ユーザ操作をしたタイミングにおいてリアルタイムに必要な情報を取得することができる。
【００２９】
第６の発明は、第３〜第５のいずれかの発明に関し、前記画像プロパティ情報は、対象画像の位置情報又は画像の形状情報又は画像の大きさ情報又は画像の色情報であり、前記画像プロパティ情報のうち少なくとも１つ以上の情報を用いて、前記対象画像に関連する付加情報が、前記付加情報埋め込み手段によって埋め込まれていることを特徴とする情報処理装置である。
【００３０】
この構成により、対象画像の１つ以上のプロパティ情報を用いてユーザが必要とする付加情報を埋め込むことができるので、単に１つの付加情報ではなく、複数の付加情報又はいくつかの付加情報をまとめて１つの付加情報として、ユーザ操作をしたタイミングにおいてリアルタイムに必要な情報を取得することができる。
【００３１】
第７の発明は、第３〜第６のいずれかに記載の発明に関し、前記付加情報は、対象画像に関連付けられた情報処理装置の状態に関連する情報であり、前記情報処理装置の状態が変化する度に更新されることを特徴とする情報処理装置である。
【００３２】
この構成により、状態が変化したタイミングで前記付加情報検出手段により検出した付加情報は、前記情報付加情報埋め込み手段により対象の画像のプロパティ情報に埋め込まれているので、ユーザが操作したタイミングで付加情報を検出し、ユーザにリアルタイムに必要な情報を取得することができる。
【００３３】
第８の発明は、第３〜第７のいずれかに記載の発明に関し、前記画像のプロパティ情報に埋め込む前記付加情報をユーザが入力するための付加情報入力手段、を備えたことを特徴とする情報処理装置である。
【００３４】
この構成により、付加情報入力手段を用いてユーザが対象画像に関連する付加情報を直
接入力することができるので、ユーザに必要な情報を間違えることなく、インタラクティブに取得することができる。
【００３５】
第９の発明は、第３〜第８のいずれかに記載の発明に関し、前記付加情報関連付け手段は、ユーザが前記付加情報と前記画像のプロパティ情報との関連付け情報を入力する機能を備えたことを特徴とする情報処理装置である。
【００３６】
この構成により、付加情報関連付け手段を用いてユーザが対象画像に関連する付加情報関連付け情報を直接入力することができるので、ユーザに必要な情報を間違えることなく、インタラクティブに取得することができる。
【００３７】
第１０の発明は、第３〜第９のいずれかに記載の発明に関し、前記付加情報表示手段は、画面上の対象画像に重ねて表示する又はその近傍に表示することを特徴とする情報処理装置である。
【００３８】
この構成により、付加情報表示手段は、対象画像に対して付加情報をその近傍又は対象画像の画像上に重ねて表示を行うため、ユーザに必要な情報を間違えることなく、インタラクティブに取得することができる。
【００３９】
第１１の発明は、第３〜第１０のいずれかに記載の発明に関し、撮像した画像を表示する撮像画面表示手段と、撮像された画面の特定の領域又は相対的な位置を検出する画像検出手段と、を有することを特徴とする情報処理装置である。
【００４０】
この構成により、ユーザは撮像画像表示手段によって撮像した画像において、画面内の四隅等の特定領域を認識、又は、情報処理装置に画面表示されている画面の大きさと撮像画像で撮影した画面の相対比率により、対象画像の画像を認識することで、対象画像の画像プロパティ情報に埋め込まれた付加情報に関して、ユーザにリアルタイムに必要な情報を取得することができる。
【００４１】
第１１の発明は、画像プロパティ情報に、関連する付加情報を付加することが可能な情報処理システムであって、画像に関連する付加情報を入力する付加情報入力手段と、前記付加情報入力手段により入力した付加情報と前記画像プロパティ情報の関連付けを行う付加情報関連付け手段と、前記付加情報関連付け手段により関連づけられた付加情報を画像プロパティ情報に埋め込む付加情報埋め込み手段と、前記付加情報埋め込み手段により埋め込まれた画像プロパティ情報を格納する情報格納手段と、前記情報格納手段によって格納された画像プロパティ情報に基づき、画像の表示を行う画像表示手段と、前記情報処理装置に表示されている画面を、撮像装置により画像の表示を行う撮像画面表示手段と、前記撮像画面表示手段から特定の画像を検出する画像検出手段と、前記画像検出手段により検出した対象画像のプロパティ情報から、前記付加情報関連付け手段を用いて付加情報を解析する付加情報解析手段と、前記付加情報関連付け手段により取得した付加情報を表示する付加情報表示手段と、を有する情報表示端末と、を備えたことを特徴とする情報処理システムである。
【００４２】
この構成により、プログラムを第１〜１０の発明である情報処理装置に機能させることで、ユーザ操作をしたタイミングにおいてリアルタイムに必要な情報を取得することができる。
【００４３】
第１２の発明は、画像プロパティ情報自体に、関連する付加情報を埋め込むための情報処理プログラムであって、画像に関連する付加情報を検出する付加情報検出ステップと、前記付加情報入力手段により入力した付加情報と前記画像プロパティ情報との関連付けを
行う付加情報関連付けステップと、前記付加情報関連付け手段により関連づけられた付加情報を画像プロパティ情報に埋め込む付加情報埋め込みステップと、前記付加情報埋め込み手段により埋め込まれた画像プロパティ情報を格納する情報格納ステップと、前記情報格納手段によって格納された画像プロパティ情報に基づき、画像の表示を行う画像表示ステップと、前記情報処理装置に表示されている画面を、撮像装置により画像の表示を行う撮像画面表示ステップと、前記撮像画面表示手段から特定の画像を検出する画像検出ステップと、前記画像検出手段により検出した対象画像のプロパティ情報から、前記付加情報関連付け手段を用いて付加情報を解析する付加情報解析ステップと、前記付加情報関連付け手段により取得した付加情報を表示する付加情報表示ステップと、をコンピュータに実行させることを特徴とする情報処理プログラムである。
【００４４】
この構成により、メイン端末の付加情報検出手段が、情報処理装置の状態により変化する付加情報を検出し、付加情報関連付け手段により関連付けられた関連付けテーブルを用いて、状態の変化に応じて対象画像のプロパティ情報へ付加情報が埋め込まれる。ユーザはモバイル端末を用いて、撮像画面表示手段によって取得した画像の中から対象となる画面を画面検出手段によって検出し、付加情報解析手段によって解析された付加情報は付加情報表示手段によって表示されるため、ユーザ操作をしたタイミングにおいてリアルタイムに必要な情報を取得することができる。
【００４５】
本発明によれば、情報処理装置のディスプレイに表示された画像（例えば、アイコン）に対して画像に関連する販売情報や設定情報等の付加情報を取得したい場合、ユーザが対象画像へ操作又はモバイル端末を利用して対象画像を撮像すれば、対象画像を検出し、対象画像に対する付加情報を瞬時に取得できるので、操作をしたタイミングにおいてリアルタイムに必要な情報を取得ことができる。また、ユーザが設定画面へ遷移する操作の手間も省け、かつユーザには画面アイコン上に必要な付加情報が表示されるため、インタラクティブでわかりやすい。
【００４６】
（実施の形態１）
以下、図面を参照して、本発明の第１の実施形態による情報処理装置を説明する。
【００４７】
図１は、本発明の第１の実施形態による情報処理装置のブロック図である。
【００４８】
図１に示すように、情報処理装置１０は、付加情報検出手段１１、付加情報関連付け手段１２、付加情報埋め込み手段１３、情報格納手段１４、画像表示手段１５、操作検出手段１６、付加情報解析手段１７、付加情報表示手段１８から構成される。
【００４９】
付加情報検出手段１１は、ユーザが設定画面にて対象画像の付加情報そのものを入力した場合も含めて、対象画像に関連する状態が変化し、付加情報の値が変更された場合に、付加情報の検出を行う。
【００５０】
付加情報関連付け手段１２は、付加情報検出手段１１にて検出した付加情報と対象画像のプロパティ情報の関連付けを行う。
【００５１】
付加情報埋め込み手段１３は、付加情報そのものを対象画像のプロパティ値へ情報の埋め込みを行う。
【００５２】
情報格納手段１４は、埋め込まれた画像プロパティ値の情報や、付加情報自体を格納する。
【００５３】
画像表示手段１５及び付加情報表示手段１８により、画像アイコンや格納された付加情
報が情報処理装置のディスプレイ上に表示される。
【００５４】
操作検出手段１６は、ユーザが情報処理装置１０の画面にて操作を行った操作内容を検出し、操作した内容から対象画像を検出する。また、どのユーザが操作を行ったかを検出する機能も有している。
【００５５】
付加情報解析手段１７は、付加情報検出手段１１により検出した付加情報及びユーザの操作した対象画像に関する情報から付加情報関連付け手段１２に基づいて対象画像の画像プロパティ値から付加情報を解析する。
【００５６】
ここで対象画像のプロパティ情報としては、図２（ａ）に示すように、画像Ａの任意の位置情報である座標情報（Ｘ座標、Ｙ座標等）や画像Ａのサイズ（Ｘ方向の大きさｍ、Ｙ方向の大きさｎ）、図２（ｂ）に示すように、画像Ｂの任意の点における色情報（ＲＧＢそれぞれの数値）、図２（ｃ）に示すように、画像が円形の場合は、画像Ｃの中心座標（Ｘ座標、Ｙ座標）及び画像Ｃの半径Ｒ、図２（ｄ）に示すように、画像Ｄ、画像Ｄ’の形状情報（画像Ｄ：正１０角形、画像Ｄ’：正１２角形等）等があげられる。
【００５７】
図３は、付加情報埋め込み手段１３によって画像Ａの位置情報プロパティに付加情報を埋め込まれたフォーマットの一例である。
【００５８】
これら画像のプロパティ情報の中に、付加情報が埋め込まれた事例である。本発明では、画像のプロパティ情報である数値そのものに、画像Ａに関連する販売量等の付加情報が埋め込まれている例を示す。
【００５９】
図３では、画像Ａのプロパティ情報であるＸ座標に販売量に関する付加情報が埋め込まれており、画像ＡのＸ座標のデータが「２３．３４」の場合、Ｘ座標値の小数点以下の数値である「３４」が、販売量を示す付加情報値（３４ｍｌ）となる。
【００６０】
図４は、図２で説明した画像プロパティ情報に関する一覧テーブルを示す。
【００６１】
図４では、図２の（ａ）から（ｄ）で示した各画像のプロパティ情報がテーブルに格納されている。
【００６２】
画像のプロパティ情報の例として、Ｘ座標値、Ｙ座標値、Ｘ方向の大きさｍ、Ｙ方向の大きさｎ、図形形状が挙げられる。Ｘ座標値は、画像の特定の点におけるＸ座標値を示しており、Ｘ座標値にはプロパティＩＤ１が対応付けられている。このプロパティＩＤ１は、画像プロパティ内容であるＸ座標値を一意に識別するＩＤである。
【００６３】
図２の（ａ）の例でいえば、画像Ａのアイコン左上のＸ座標値、Ｙ座標値及びＸ方向の大きさｍ、Ｙ方向の大きさｎは、それぞれプロパティＩＤ１０１、プロパティＩＤ１０２、プロパティＩＤ２０１、プロパティＩＤ２０２と対応づけられることとなる。
【００６４】
図５は、付加情報に関する一覧テーブルを示す。
【００６５】
付加情報は、ユーザが直接設定画面などで入力した情報でもよいし、情報処理装置の状態に基づいて取得できる情報でもよい。或いは、情報処理装置に接続されたセンシングデバイスにより取得できるセンシングデバイス情報であってもよい。或いは、ネットワークに接続されて取得できる情報であってもよい。
【００６６】
付加情報内容の例として、販売量１、販売量２１２が挙げられる。販売量１は特定飲料
に関する１時間に売り上げた飲料の総販売量を示しており、販売量１には付加情報ＩＤ１が対応付けられている。この付加情報ＩＤ１は、付加情報内容である販売量１を一意に識別するＩＤである。また、販売量２は特定飲料に関する１日に売り上げた飲料の総販売量を示しており、販売量２には、付加情報ＩＤ２が対応付けられている。
【００６７】
図６は、図４及び図５の各テーブル一覧を用いて、付加情報と画像プロパティの関連付けを行った、付加情報関連付けテーブルを示す。
【００６８】
付加情報関連付けテーブルは予めプログラムで設定された情報でもよいし、実施形態２に示すように、ユーザが直接入力して関連付けを設定してもよい。
【００６９】
尚、図４〜図６と、後述する図７に示すこれらテーブルの情報は、情報格納手段１４に格納される。
【００７０】
図２の（ａ）を例にすると、画像Ａのアイコン左上のＸ座標値はプロパティＩＤ１０１であり、このＸ座標値には付加情報ＩＤ１の販売量１が関連付けられる。また、画像ＡのＹ座標値はプロパティＩＤ１０２であり、このＹ座標値には付加情報ＩＤ２の販売量２が関連付けられる。
【００７１】
関連付けＩＤは、プロパティＩＤと付加情報ＩＤを関連付けるための一意に識別するためのＩＤであり、図２の（ａ）の例でいえば、Ｘ座標値のプロパティＩＤ１０１と販売量１の付加情報ＩＤ１は関連付けＩＤ１００１によって、関連付けられていることになる。同様に、Ｙ座標値のプロパティＩＤ１０１と販売量２の付加情報ＩＤ２は関連付けＩＤ１００２によって、関連付けられていることになる。
【００７２】
図７は、画像プロパティ情報に埋め込まれた付加情報に関するテーブルの一例を示す。この例では、埋め込み方法として小数点以下に埋め込む方法を説明している。
【００７３】
図形形状のように形状情報そのものに自体に埋め込む方法であってもよいし、色情報のようにＲＧＢのどれか一部の値（例えばＲの値のみ）に付加情報を埋め込むような方法であってもよい。
【００７４】
例えば、ある特定飲料のアイコンが画像Ａで表現されており、Ａのアイコン位置の左上座標が（１０，２３）、その飲料の１時間の総販売量が「１１ｍｌ」、１日の総販売量が「３４ｍｌ」であった場合について説明する。
【００７５】
１時間の総販売量は、付加情報ＩＤ１の販売量１であり、この場合、「１１ｍｌ」の販売量であるので、埋め込み内容は「１１」となる。この場合、アイコン画像ＡのＸ座標値「１０」の少数点以下２桁に埋め込むことになるので、プロパティ値は、「１０．１１」となる。また、１日の総販売量は、付加情報ＩＤ２の販売量２であり、この場合、「３４ｍｌ」の販売量であるので、埋め込み内容は「３４」となる。この場合、アイコン画像ＡのＹ座標値「２３」の少数点以下２桁に埋め込むことになるので、プロパティ値は、「２３．３４」となる。
【００７６】
次に、対象画像に関連する付加情報の状態変化を検出し、メイン端末上に対象画像に関連する付加情報を表示する場合に関して、動作のフローチャートを図８に示す。
【００７７】
付加情報解析手段１７が、エラーの発生や販売終了後の販売データの更新など、対象画像に関連する状態が変化し、付加情報の値が変化したと判定すると、Ｓ８２ステップへ処理を進める（Ｓ８１ステップ）
付加情報検出手段１１が、情報処理装置１０に表示された画像に関連する付加情報を検出し、付加情報を画像から取得する。（Ｓ８２ステップ）。
【００７８】
付加情報検出手段１１により検出された付加情報は、付加情報関連付け手段１２により、対象画像のプロパティ情報に関連付けられる（Ｓ８３ステップ）。
【００７９】
付加情報関連付け手段１２によって関連付けられた付加情報は、付加情報埋め込み手段１３によって対象画像のプロパティ情報内に埋め込まれる（Ｓ８４ステップ）。
【００８０】
付加情報埋め込み手段によって付加情報が埋め込まれた画像プロパティ情報は、情報格納手段１４に格納される（Ｓ８５ステップ）。
【００８１】
情報格納手段１４によって格納された画像プロパティ情報に基づいて、メイン端末のディスプレイ上にそれぞれの画像（例えば、アイコン）が画像表示手段１５により表示される（Ｓ８６ステップ）。
【００８２】
操作検出手段１６によって、メイン端末１０が操作を行った対象画像（例えば、アイコン）を認識する（Ｓ８７ステップ）。
【００８３】
認識した対象画像から画像プロパティ情報を取得する。対象画像のプロパティ情報から、付加情報関連付け手段１２により関連付けられた付加情報を認識し、付加情報解析手段１７により付加情報を取得する（Ｓ８７ステップ）。
【００８４】
取得した付加情報は、付加情報表示手段１８によりメイン端末の画面上に表示される（Ｓ８８ステップ）。
【００８５】
以上のフローを、情報処理装置における具体的な表示事例に基づいて説明する。
【００８６】
図９は、メイン端末にて、エラーが発生した場合の、画面表示に関する例である。
【００８７】
ここでは、メイン端末のディスプレイ上に４つ画面アイコンが並んで表示されており、さらに画面右上に現在発生しているエラー情報示すエラーアイコンが表示されている事例を示している。
【００８８】
メイン端末にエラーが発生している又は発生した場合、画面上の右上に該当番号に対応するアイコン形状をしたエラーアイコンが表示される。
【００８９】
画像アイコンの形状とエラー番号の関連付けテーブルは、図１０に示すとおりである。図１０のテーブルを説明するにあたり、図９（ｂ）の画面右上のアイコン近辺にエラー情報を表示する例を用いて説明する。画像アイコンの図形形状のプロパティＩＤ３０１とエラー情報の付加情報ＩＤ６は関連付けＩＤ１００６によって、関連付けられていることになる。１
上記図１０の関連付けに伴い、画像アイコン形状は、１１エラーが発生した場合、エラーの内容に応じて、画像アイコンの形状が変化する。
【００９０】
図１１は、エラー情報に関する一覧表である。エラー内容の詳細がＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）読み込みエラーである場合、エラー内容は読込異常であり、エラーＩＤ１に対応付けられる。また、ＥＥＰＲＯＭ書き込みエラーである場合、エラー内容は書込異常であり、エラーＩＤ２に対応付けられる。
【００９１】
尚、このＥＥＰＲＯＭは例えば情報格納手段１４であっても良く、図示しない別の記憶素子でも構わない。
【００９２】
図１１のテーブルを説明するにあたり、図９（ｂ）の面右上の正１２角形で表示されたアイコン近辺にエラー情報を表示する例を用いて説明する。
【００９３】
尚、図１０、図１１に示すテーブルの情報は、情報格納手段１４に格納されている。
【００９４】
図１０の関連付けＩＤ１００６より、図形形状は、エラー番号に紐づいており、図形の形状がエラー番号と対応付けられていることになる。正１２角形は「１２」であるので、エラー番号１２である「読込異常：ＳＤカードの書き込みエラー」に該当する内容が、画面に表示されることになる。
【００９５】
なお、以下のエラー表示内容の確認手順に関しては、お客様でないため、エンジニアが操作するものとして説明を行う。
【００９６】
エンジニアは、まずエラーアイコンが表示されているのを確認後、現在発生しているエラー内容を確認するために、メイン端末のタッチスクリーン画面にてエラーの詳細表示に必要な操作を行う。エンジニアが操作した情報から、エラーアイコン画像を認識し、エラーアイコン画像のプロパティ情報である画像の形状情報を認識する。
【００９７】
図９（ａ）の事例では、認識した画像の形状情報が正１２角形であるため、エラー番号は１２であることがわかる。図６の付加情報関連付けテーブルにより、エラー番号が１２の場合、ＳＤカードの書込異常であることがわかり、図９（ｂ）に示すとおり、画像アイコン付近にその時発生しているエラーの情報である「販売データのＳＤカードへの書き込みエラー」が表示される。
【００９８】
なお、複数のエラーが発生している場合は、正１０角形と正１２角形の画像の大きさを変えて表現することで、その場で発生しているエラーをお客様に気づかれることなく、メンテナンス者が対応することができる。
【００９９】
今回の事例では、図形の形状の違いをエラー番号に割り当てているが、画像の大きさ、位置、色など他の画像のプロパティ情報に割り当てても表現してもよい。
【０１００】
また、エラーが複数発生した場合は、大きさを変えるなどして、複数の図形にて表現してもよい。
【０１０１】
また、エラーの表示は画像アイコン付近としているが、メンテナンス者の見やすい位置に配置してもよい。
【０１０２】
エラー発生時に画面上の付加情報を用いて、リアルタイムにメンテナンス者にその情報を伝えることで、インタラクティブに画面表示を行うことができる。
（実施の形態２）
以下、図面を参照して、本発明の第２の実施形態による情報処理装置を説明する。
【０１０３】
図１２は、本発明の第２の実施形態による情報処理装置のブロック図である。
【０１０４】
図１２に示すように、情報処理装置は、情報処理装置１２０は、付加情報検出手段１２１、付加情報関連付け手段１２２、付加情報埋め込み手段１２３、情報格納手段１２４、
画像表示手段１２５、操作検出手段１２６、付加情報解析手段１２７、付加情報表示手段１２８、付加情報関連付け情報設定手段１２９から構成される。
【０１０５】
付加情報関連付け情報設定手段１２９以外の構成は、実施の形態１と同様の構成である。付加情報関連付け情報設定手段１２９は、ユーザが対象画像の画像プロパティと付加情報を関連付ける付加情報関連付け情報を入力し、付加情報関連付け手段１２２に付加情報関連付け手段が設定される。
【０１０６】
次に、実施形態２における動作のフローチャートを図１３に示す。
【０１０７】
操作検出手段１２６が、ユーザが対象画像の対する付加情報関連付け設定を行ったどうかを判別し（Ｓ１３１）、付加情報関連付け設定を行った場合、付加情報関連付け情報設定手段１２９により付加情報関連テーブルを更新する（Ｓ１３２）。
【０１０８】
以上のフローを、情報処理装置における具体的な表示事例に基づいて説明する。
【０１０９】
図１４は、付加情報関連づけ設定画面である。設定画面には、対象画像１４１が表示されている。また、対象画像１４１の画像プロパティと、それらと紐付けを行うための選択ボタン１４２が表示されている。
【０１１０】
例えば、画像のＸ座標に「販売量１」を紐付ける場合は、Ｘ座標の選択ボタン１４２にて、「販売量１」を選択する。
【０１１１】
すべての選択が完了した時点で、設定ボタン１４３を押下すると、図６に示すように付加情報関連付けテーブルが更新される。
【０１１２】
付加情報の関連付けは、全ての画像に対して同様の設定でもよい。それぞれの画像に応じて個別に付加情報関連付けが行えるようなインタフェースであってもよい。
（実施の形態３）
以下、図面を参照して、本発明の第３の実施形態による情報処理装置を説明する。
【０１１３】
図１５は、本発明の第３の実施形態による情報処理装置のブロック図である。
【０１１４】
図１５に示すように、情報処理装置は、メイン端末１５０及びモバイル端末１５００から構成されている。
【０１１５】
メイン端末１５０は、付加情報検出手段１５１、付加情報解析手段１５７、付加情報関連付け手段１５２、付加情報埋め込み手段１５３、情報格納手段１５４、画像表示手段１５５から構成されている。
【０１１６】
モバイル端末１５００は、撮像画像表示手段１５０１、画像検出手段１５０３、付加情報解析手段１５０７、付加情報表示手段１５０８、付加情報関連付け手段１５０２、情報格納手段１５０４から構成される。
【０１１７】
次に、ユーザがモバイル端末上のカメラ等の入力デバイスを利用して、メイン端末の画面を撮像し、撮像した情報から対象画像を認識し、モバイル端末上に付加情報を含んだ画面として表示する場合に関して、動作のフローチャートを図１６に示す。
【０１１８】
ユーザはまずカメラ等の撮像デバイス（図示せず）により、モバイル端末により対象画像の撮影を行い、撮像画像表示手段１５０１に撮像した画像を表示する（Ｓ１６１ステッ
プ）。
【０１１９】
次に対象となる画像を、画像検出手段１５０３が画像認識技術を用いて判別し、対象画像の画像認識が行えた場合（Ｓ１６２ステップ）、情報格納手段１５０４より対象画像の画像プロパティ情報を取得し（Ｓ１６３ステップ）、付加情報に関連付けされた画像プロパティ情報があるかどうかを、付加情報解析手段１５０７が情報関連付けテーブルにて確認を行う（Ｓ１６４ステップ）。
【０１２０】
関連付けテーブルにある場合、付加情報解析手段１５０７が対象画像のプロパティ情報を解析する（Ｓ１６５ステップ）。
【０１２１】
付加情報解析手段１５０７は、解析した画像プロパティ情報から付加情報を解析、取得する（Ｓ１６６ステップ）。付加情報関連付け手段１５０２が、取得した付加情報を画像アイコンとともに、画面に表示・更新を行う（Ｓ１６７ステップ）。
【０１２２】
以上のフローを、情報処理装置における具体的な表示事例に基づいて説明する。
【０１２３】
図１７は、メイン端末をモバイル端末のカメラを用いて撮像した図である。この例では、メイン端末のディスプレイ上に４つ画面アイコン（画像Ａ、画像Ｂ、画像Ｃ、画像Ｄ）が並んで表示いる。
【０１２４】
図１８（ａ）はモバイル端末上で撮像した画像を認識し、それぞれの画像プロパティである左上の位置情報を解析した事例である。
【０１２５】
この例では、認識した画像Ａの位置情報が（１０．０１、１５．１２）、画像Ｂの位置情報が（１０．０３、３０．０５）、画像Ｃの位置情報が（２５．１０１５．０６）、画像Ｄの位置情報が（２５．１６、３０．１２）、であり、付加情報関連テーブル図１９によりプロパティ情報の位置情報Ｘ値は、販売量１に、位置情報Ｙ値は、販売量２に割り当てられていることがわかる。
【０１２６】
図１９の関連付けテーブルを用いると、各画像（画像ＩＤ００１の画像Ａ、画像ＩＤ００２の画像Ｂ、画像ＩＤ００３の画像Ｃ、画像ＩＤ００４の画像Ｄ）のプロパティＩＤ１のＸ座標、プロパティＩＤ２のＹ座標から取得できる各画像の付加情報ＩＤ１の販売量１、付加情報ＩＤ２の販売量２は、図２０に示したテーブルで表され、図１８（ｂ）に示すように、モバイル端末上の各画像アイコン付近に販売量１及び販売量２のデータが表示される。
【０１２７】
このようにモバイル端末を用いて、必要な販売情報を表示することで、利用しているお客様には気づかれず、かつお客様に迷惑もかけずに、リアルタイムに情報を取得することができる。
【０１２８】
以上のように本発明によれば、状態に応じて画像を表示できる端末であれば、ユーザが設定画面へ遷移する操作の手間も省け、かつユーザには画面アイコン上に必要な付加情報が表示可能である。
【０１２９】
このため、ＡＴＭや券売機、自動販売機、ディスペンサ機等で使用されているディスプレイ内蔵のメイン端末、スマートフォンやタブレットなどのモバイル端末も含め、情報処理装置全般に適用できる。
【０１３０】
また、本実施例では、ネットワークに接続されていない端末について説明したが、ネッ
トワークに接続され、ネットワーク上で処理する情報処理システム又は情報処理プログラムであってもよいし、またコンシューマ向けの端末だけでなく、ビルの管理や店舗のメンテナンス等のビジネス用途の端末に適用してもよい。
【０１３１】
尚、本実施例装置では、付加情報検出手段１１、付加情報関連付け手段１２、付加情報埋め込み手段１３等各ブロックが各々の処理を実行する実施形態としたが、これらの各ブロック（手段）が１つの制御回路（制御手段）で処理される構成としても良い。
【産業上の利用可能性】
【０１３２】
本発明の情報処理装置、情報処理システム、情報処理プログラムは、ユーザへリアルタイムに、かつその画像に関連する情報を取得したいタイミングで、設定情報やエラー情報等の付加情報を画面上に表示（提示）できるため、メンテナンス等が必要な情報処理装置、システム、プログラムに広く活用できる。
【符号の説明】
【０１３３】
１０、１２０、１５０  メイン端末（情報処理装置）
１１、１２１、１５１  付加情報検出手段
１２、１２２、１５２、１５０２  付加情報関連付け手段
１３、１２３、１５３  付加情報埋め込み手段
１４、１２４、１５４  情報格納手段
１５、１２５、１５５  画像表示手段
１６、１２６、  操作検出手段
１７、１２７、１５７、１５０７  付加情報解析手段
１８、１２８、１５０８  付加情報表示手段
１２９  付加情報関連付け情報設定手段
１４１  対象画像
１４２  選択ボタン
１４３  設定ボタン
１５００  モバイル端末
１５０１  撮像画像表示手段
１５０３  画像検出手段
１５０４  情報格納手段
【図１】
2017010339.tif 000003
【図２】
2017010339.tif 000004
【図３】
2017010339.tif 000005
【図４】
2017010339.tif 000006
【図５】
2017010339.tif 000007
【図６】
2017010339.tif 000008
【図７】
2017010339.tif 000009
【図８】
2017010339.tif 000010
【図９】
2017010339.tif 000011
【図１０】
2017010339.tif 000012
【図１１】
2017010339.tif 000013
【図１２】
2017010339.tif 000014
【図１３】
2017010339.tif 000015
【図１４】
2017010339.tif 000016
【図１５】
2017010339.tif 000017
【図１６】
2017010339.tif 000018
【図１７】
2017010339.tif 000019
【図１８】
2017010339.tif 000020
【図１９】
2017010339.tif 000021
【図２０】
2017010339.tif 000022