(57)【要約】【課題】従来、受信されたスクリーンショット画像を用いて必要な情報を取得できなかった。【解決手段】スクリーンショット画像を受信する画像受信部と、当該スクリーンショット画像を解析し、１以上の情報を取得する解析部と、当該１以上の情報を用いて、情報検索を行い、検索結果を取得する検索部と、検索結果を送信する検索結果送信部とを具備するスクリーンショット画像解析装置により、受信されたスクリーンショット画像を用いて必要な情報を取得できる。【選択図】図２
2018128955.tif 000002
【特許請求の範囲】
【請求項１】
スクリーンショット画像を受信する画像受信部と、
前記スクリーンショット画像を解析し、１以上の情報を取得する解析部と、
前記１以上の情報を用いて、情報検索を行い、検索結果を取得する検索部と、
前記検索結果を送信する検索結果送信部とを具備するスクリーンショット画像解析装置。
【請求項２】
前記画像受信部が受信したスクリーンショット画像から予め決められた条件を満たす領域の画像を切り出す抽出部をさらに具備し、
前記解析部は、
前記抽出部が切り出した領域の画像を解析し、１以上の情報を取得する請求項１記載のスクリーンショット画像解析装置。
【請求項３】
前記抽出部は、
前記スクリーンショット画像を解析し、当該スクリーンショット画像の種類を判別する判別手段と、
前記種類に応じて、予め決められた条件を満たす領域の画像を切り出す抽出手段とを具備する請求項２記載のスクリーンショット画像解析装置。
【請求項４】
前記抽出部は、
前記スクリーンショット画像の中の予め決められた条件を満たす矩形領域の画像を切り出す請求項２または請求項３記載のスクリーンショット画像解析装置。
【請求項５】
前記解析部は、
前記スクリーンショット画像を文字認識し、文字列を取得し、
前記検索部は、
前記解析部が取得した文字列に応じて、異なる検索結果を得る請求項１から請求項４いずれか一項に記載のスクリーンショット画像解析装置。
【請求項６】
前記解析部は、
前記スクリーンショット画像を文字認識し、文字列を取得し、当該文字列を用いてユーザに関するユーザ情報を取得し、
前記検索部は、
前記ユーザ情報をも用いて、情報検索を行い、検索結果を取得する請求項５記載のスクリーンショット画像解析装置。
【請求項７】
前記解析部は、
前記スクリーンショット画像を文字認識し、ユーザのＳＮＳへの投稿数、ユーザに対するフォロワー数のうちの１以上の情報を取得し、当該１以上の情報から、当該ユーザの第三者への影響の度合いに関するインフルエンス度を取得し、
前記検索部は、
前記インフルエンス度をも用いて、情報検索を行い、検索結果を取得する請求項６記載のスクリーンショット画像解析装置。
【請求項８】
前記解析部は、
前記スクリーンショット画像を文字認識し、文字列を取得し、当該文字列を用いて、ＳＮＳの他のページの１以上の画像を取得し、当該１以上の画像を解析し、ユーザの嗜好に関するユーザ嗜好情報を取得し、
前記検索部は、
前記ユーザ嗜好情報をも用いて、情報検索を行い、検索結果を取得する請求項６記載のスクリーンショット画像解析装置。
【請求項９】
前記画像受信部は、
ユーザ端末において、スクリーンショット画像の取得後自動的に送信されたスクリーンショット画像を受信する請求項１から請求項８いずれか一項に記載のスクリーンショット画像解析装置。
【請求項１０】
スクリーンショット画像の取得の指示を受け付ける端末受付部と、
前記スクリーンショット画像の取得の指示の受け付けに応じて、スクリーンショット画像を取得する端末処理部と、
前記スクリーンショット画像をスクリーンショット画像解析装置に送信する端末送信部と、
前記スクリーンショット画像の送信に応じて、当該スクリーンショット画像を用いて取得された検索結果を、前記スクリーンショット画像解析装置から受信する端末受信部とを具備するユーザ端末。
【請求項１１】
画像受信部、解析部、検索部、および検索結果送信部により実現されるスクリーンショット画像解析方法であって、
前記画像受信部が、スクリーンショット画像を受信する画像受信ステップと、
前記解析部が、前記スクリーンショット画像を解析し、１以上の情報を取得する解析ステップと、
前記検索部が、前記１以上の情報を用いて、情報検索を行い、検索結果を取得する検索ステップと、
前記検索結果送信部が、前記検索結果を送信する検索結果送信ステップとを具備するスクリーンショット画像解析方法。
【請求項１２】
コンピュータを、
スクリーンショット画像を受信する画像受信部と、
前記スクリーンショット画像を解析し、１以上の情報を取得する解析部と、
前記１以上の情報を用いて、情報検索を行い、検索結果を取得する検索部と、
前記検索結果を送信する検索結果送信部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スクリーンショット画像を用いて情報を取得するスクリーンショット画像解析装置等に関するものである。
【背景技術】
【０００２】
従来から、パソコンとウェブブラウザを用いて、インターネット上のウェブページにアクセスし、当該ウェブページに存在する画像等の一部のデータを取得し、利用することが可能である。それは、ウェブページが、ＨＴＭＬと画像等を組み合わせた情報であり、オープンな情報である、と言えるからである。
【０００３】
しかし、昨今、スマートフォン等のユーザ端末のアプリを起動し、情報を閲覧するユーザが増加してきた。そして、通常、アプリはクローズドであり、アプリが表示する画面の一部の画像等を取得し、利用することができないのが現状である。なお、かかるアプリには、例えば、インスタグラム（登録商標，非特許文献１）やＸＺ（クローゼット）（登録商標，非特許文献２）、フェイスブック（登録商標）、ＬＩＮＥ（登録商標）などがある。
【０００４】
さらに、昨今、ユーザは、スマートフォン等の端末を用いて、スクリーンショット画像を記録のために残すことが増えてきている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】"インスタグラム"、［平成２９年１月２１日検索］、インターネット［URL：https://www.instagram.com/］
【非特許文献２】"ＸＺ" 、［平成２９年１月２１日検索］、インターネット［URL：https://www.xz-closet.jp/］
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術においては、アプリを起動した状態でユーザが閲覧している画面の画像であるスクリーンショット画像を用いて情報検索を行おうという発想がなかった。
【０００７】
また、従来技術において、スクリーンショット画像の一部の画像等の情報を利用し、情報検索を行うことができなかった。なお、スクリーンショット画像から適切な領域の画像の抽出を行わずに、仮にスクリーンショット画像全体を解析し、情報検索を行った場合、情報検索の精度が低下する、という課題も発生する。
【課題を解決するための手段】
【０００８】
本第一の発明のスクリーンショット画像解析装置は、スクリーンショット画像を受信する画像受信部と、スクリーンショット画像を解析し、１以上の情報を取得する解析部と、１以上の情報を用いて、情報検索を行い、検索結果を取得する検索部と、検索結果を送信する検索結果送信部とを具備するスクリーンショット画像解析装置である。
【０００９】
かかる構成により、スクリーンショット画像から必要な情報を取得することができる。
【００１０】
また、本第二の発明のスクリーンショット画像解析装置は、第一の発明に対して、画像受信部が受信したスクリーンショット画像から予め決められた条件を満たす領域の画像を切り出す抽出部をさらに具備し、解析部は、抽出部が切り出した領域の画像を解析し、１以上の情報を取得するスクリーンショット画像解析装置である。
【００１１】
かかる構成により、スクリーンショット画像の中の一部の情報の画像を切り出し、当該画像から必要な情報を取得することができる。
【００１２】
また、本第三の発明のスクリーンショット画像解析装置は、第二の発明に対して、抽出部は、スクリーンショット画像を解析し、スクリーンショット画像の種類を判別する判別手段と、種類に応じて、予め決められた条件を満たす領域の画像を切り出す抽出手段とを具備するスクリーンショット画像解析装置である。
【００１３】
かかる構成により、スクリーンショット画像の種類に応じた領域の画像から情報を取得することができる。
【００１４】
また、本第四の発明のスクリーンショット画像解析装置は、第二または第三の発明に対して、抽出部は、スクリーンショット画像の中の予め決められた条件を満たす矩形領域の画像を切り出すスクリーンショット画像解析装置である。
【００１５】
かかる構成により、スクリーンショット画像の中の一部の情報の画像を切り出し、当該画像から必要な情報を取得することができる。
【００１６】
また、本第五の発明のスクリーンショット画像解析装置は、第一から第四いずれか１つの発明に対して、検索部は、スクリーンショット画像を文字認識し、文字列を取得し、文字列に応じて、異なる検索結果を得るスクリーンショット画像解析装置である。
【００１７】
かかる構成により、スクリーンショット画像の中の文字列の情報をも用いて、必要な情報を取得することができる。
【００１８】
また、本第六の発明のスクリーンショット画像解析装置は、第五の発明に対して、解析部は、スクリーンショット画像を文字認識し、文字列を取得し、文字列を用いてユーザに関するユーザ情報を取得し、検索部は、ユーザ情報をも用いて、情報検索を行い、検索結果を取得するスクリーンショット画像解析装置である。
【００１９】
かかる構成により、スクリーンショット画像の中の文字列の情報を用いて取得したユーザ情報に応じた、情報検索を行える。
【００２０】
また、本第七の発明のスクリーンショット画像解析装置は、第六の発明に対して、解析部は、スクリーンショット画像を文字認識し、ユーザのＳＮＳへの投稿数、ユーザに対するフォロワー数のうちの１以上の情報を取得し、１以上の情報から、ユーザの第三者への影響の度合いに関するインフルエンス度を取得し、検索部は、インフルエンス度をも用いて、情報検索を行い、検索結果を取得するスクリーンショット画像解析装置である。
【００２１】
かかる構成により、スクリーンショット画像の中の文字列の情報を用いて取得したインフルエンス度に応じた、情報検索を行える。
【００２２】
また、本第八の発明のスクリーンショット画像解析装置は、第六の発明に対して、解析部は、スクリーンショット画像を文字認識し、文字列を取得し、文字列を用いて、ＳＮＳの他のページの１以上の画像を取得し、１以上の画像を解析し、ユーザの嗜好に関するユーザ嗜好情報を取得し、検索部は、ユーザ嗜好情報をも用いて、情報検索を行い、検索結果を取得するスクリーンショット画像解析装置である。
【００２３】
かかる構成により、スクリーンショット画像の中の文字列の情報を用いて取得しユーザ嗜好情報に応じた、情報検索を行える。
【００２４】
また、本第九の発明のスクリーンショット画像解析装置は、第一から第八いずれか１つの発明に対して、画像受信部は、ユーザ端末において、スクリーンショット画像の取得後自動的に送信されたスクリーンショット画像を受信するスクリーンショット画像解析装置である。
【００２５】
かかる構成により、スクリーンショット画像から必要な情報を非常に簡単に取得することができる。
【発明の効果】
【００２６】
本発明によるスクリーンショット画像解析装置によれば、スクリーンショット画像を用いて必要な情報を取得することができる。
【図面の簡単な説明】
【００２７】
【図１】実施の形態１における情報システムＡの概念図
【図２】同情報システムＡのブロック図
【図３】同スクリーンショット画像解析装置１の動作について説明するフローチャート
【図４】同ユーザ情報取得処理について説明するフローチャート
【図５】同ユーザ端末２の動作について説明するフローチャート
【図６】同スクリーンショット画像種類管理表を示す図
【図７】同商品情報管理表を示す図
【図８】同画面表示例を示す図
【図９】同メニューの出力例を示す図
【図１０】同切り出された画像の例を示す図
【図１１】同画面表示例を示す図
【図１２】同ページの例を示す図
【図１３】同画面表示例を示す図
【図１４】同コンピュータシステムの概観図
【図１５】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００２８】
以下、スクリーンショット画像解析装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２９】
（実施の形態１）
【００３０】
本実施の形態において、スクリーンショット画像を受信し、当該スクリーンショット画像を解析し、解析結果を用いて、情報検索し、出力するスクリーンショット画像解析装置を具備する情報システムについて説明する。
【００３１】
また、本実施の形態において、スクリーンショット画像を受信し、スクリーンショット画像の中の領域であり、予め決められた条件を満たす領域の画像を解析し、解析結果を用いて、情報検索し、出力するスクリーンショット画像解析装置を具備する情報システムについて説明する。
【００３２】
また、本実施の形態において、スクリーンショット画像の種類を判別し、種類に応じた領域の画像（適宜、「対象画像」という。）を切り出し、当該対象画像を解析し、解析結果を用いて、情報検索し、出力するスクリーンショット画像解析装置を具備する情報システムについて説明する。
【００３３】
また、本実施の形態において、スクリーンショット画像の中の予め決められた条件を満たす矩形領域の対象画像を切り出し、当該対象画像を解析し、解析結果を用いて、情報検索し、出力するスクリーンショット画像解析装置を具備する情報システムについて説明する。
【００３４】
また、本実施の形態において、スクリーンショット画像の中の文字列を解析し、文字列に応じて、異なる情報を検索するスクリーンショット画像解析装置を具備する情報システムについて説明する。
【００３５】
また、本実施の形態において、スクリーンショット画像の中の文字列を解析し、ユーザ情報を取得し、当該ユーザ情報に応じた、情報検索を行えるスクリーンショット画像解析装置を具備する情報システムについて説明する。
【００３６】
また、本実施の形態において、スクリーンショット画像の取得後にスクリーンショット画像が自動的に送信されるユーザ端末を有する情報システムについて説明する。
【００３７】
図１は、本実施の形態における情報システムＡの概念図である。情報システムＡは、スクリーンショット画像解析装置１、１または２以上のユーザ端末２を備える。なお、スクリーンショット画像解析装置１と１以上のユーザ端末２とは、インターネット等のネットワークにより通信可能である。なお、スクリーンショット画像解析装置１は、いわゆるクラウドサーバ、ＡＳＰサーバ等であるが、その種類は問わない。また、ユーザ端末２は、例えば、スマートフォン、携帯端末、タブレット端末、パーソナルコンピュータ等であるが、その種類は問わない。
【００３８】
図２は、本実施の形態における情報システムＡのブロック図である。
【００３９】
スクリーンショット画像解析装置１は、格納部１１、受信部１２、処理部１３、および送信部１４を備える。格納部１１は、例えば、商品情報格納部１１１を備える。受信部１２は、画像受信部１２１を備える。処理部１３は、抽出部１３１、解析部１３２、および検索部１３３を備える。抽出部１３１は、例えば、判別手段１３１１、および抽出手段１３１２を備える。送信部１４は、検索結果送信部１４１を備える。
【００４０】
ユーザ端末２は、端末格納部２１、端末受付部２２、端末処理部２３、端末送信部２４、端末受信部２５、および端末出力部２６を備える。
【００４１】
スクリーンショット画像解析装置１を構成する格納部１１は、各種の情報を格納し得る。各種の情報とは、例えば、後述する商品情報である。また、各種の情報とは、例えば、後述する１または２以上の画像切出ルールである。画像切出ルールは、スクリーンショット画像から、解析対象の画像を切り出すためのルールである。画像切出ルールは、例えば、スクリーンショット画像の種類と、解析対象の画像を切り出す領域を特定する情報を有する。領域を特定する情報は、例えば、矩形を特定する２つの座標値である。領域を特定する情報は、例えば、領域の条件を示す情報（例えば、スクリーンショット画像内の中点を含む最大矩形の領域など）である。領域を特定する情報は、例えば、スクリーンショット画像内の中点を含む最大矩形領域の左上端を基準点として、当該基準点からの相対的な位置情報を用いて特定される矩形領域を示す情報である。かかる矩形領域を示す情報は、例えば、矩形を特定する２つの座標値「(ｘ１，ｙ１)（ｘ２，ｙ２）」である。なお、(ｘ１，ｙ１)は、例えば、基準点からの相対的な座標値であり、矩形の左上の点の座標値である。また、（ｘ２，ｙ２）は、例えば、基準点からの相対的な座標値であり、矩形の右下座標の値である。また、矩形領域を示す情報は、例えば、(ｘ１，ｙ１)と（ｈ，ｗ）である。(ｘ１，ｙ１)は、例えば、基準点からの相対的な矩形の左上座標の値、ｈは矩形の高さ、ｗは矩形の幅である。また、領域を特定する情報とは、例えば、画面のレイアウトを特定する情報でも良い。画面のレイアウトを特定する情報の形式は問わない。画面のレイアウトを特定する情報は、例えば、最大矩形領域の上部にはユーザ情報が、下部には「いいね！」の数やコメントが配置されているなど、配置条件を示す情報である。画像切出ルールは、例えば、スクリーンショット画像の種類と、解析対象の画像を切り出すプログラムを識別する情報を有する。画像切出ルールは、例えば、スクリーンショット画像の種類と、解析対象の画像を切り出すプログラムを有する。
【００４２】
商品情報格納部１１１には、１以上の商品情報が格納されている。商品情報は、商品に関する情報である。商品情報は、検索対象の例である。商品情報は、例えば、商品名、商品の種類の情報、商品の画像、価格、購入のためのウェブサイトのＵＲＬ等を有する。ただし、商品情報の構造は問わない。なお、スクリーンショット画像解析装置１が、スクリーンショット画像の解析結果を用いて、商品情報以外の情報を検索する場合、商品情報格納部１１１は存在しなくて良い。
【００４３】
受信部１２は、各種の情報や指示を受信する。各種の情報や指示とは、例えば、スクリーンショット画像、購入指示である。購入指示とは、商品の購入の指示である。購入指示は、例えば、ユーザを識別するユーザ識別子、購入対象の商品を識別する商品識別子、購入する商品の個数等を有する。
【００４４】
画像受信部１２１は、スクリーンショット画像を受信する。画像受信部１２１は、例えば、ユーザ端末２においてスクリーンショット画像が取得され、当該スクリーンショット画像がカメラロールに保存されている状態において、ユーザにより選択されて、カメラロールから読み出されて送信されたスクリーンショット画像を受信する。なお、画像受信部１２１は、ユーザ端末２においてスクリーンショット画像の取得後自動的に送信されたスクリーンショット画像を受信しても良い。また、画像受信部１２１は、ユーザ端末２においてスクリーンショット画像の取得後、自動的にユーザ端末２に出力されたメニューに対するユーザの指示に応じてスクリーンショット画像を受信しても良い。ここで、スクリーンショット画像とは、ユーザ端末２の画面全体の画像である。スクリーンショット画像は、中に画像を含む画像であることは好適である。ここでの受信とは、通常、ユーザ端末２からの受信である。スクリーンショット画像の中の画像は、撮影された写真であることは好適である。
【００４５】
処理部１３は、各種の処理を行う。各種の処理とは、例えば、抽出部１３１、解析部１３２、検索部１３３が行う処理である。各種の処理とは、例えば、商品等の購入のための処理である。商品等の購入のための処理とは、商品等の購入に関連する処理であれば何でも良い。商品等の購入のための処理とは、例えば、商品購入の確認画面をユーザ端末２に送信する処理、購入指示が有するユーザ識別子と対に管理されているクレジットカード番号を用いた決済処理、購入指示に対応する購入に関する情報を図示しない決済サーバに送信する処理等である。なお、商品等の購入のための処理は、公知技術であるので、詳細な説明は省略する。
【００４６】
抽出部１３１は、スクリーンショット画像から予め決められた条件を満たす一部の領域の画像を切り出す。予め決められた条件を満たす一部の領域とは、予め決められた条件を満たす領域であり、スクリーンショット画像の一部の領域である。また、予め決められた条件を満たす一部の領域とは、例えば、スクリーンショット画像の中心点を含む画像の矩形領域である。予め決められた条件を満たす一部の領域とは、例えば、スクリーンショット画像の中の矩形領域であり、最大の矩形の領域である。また、予め決められた条件を満たす一部の領域とは、例えば、スクリーンショット画像の中心点を含む最大の矩形の領域である。また、予め決められた条件を満たす一部の領域とは、例えば、スクリーンショット画像の中の文字が含まれる領域を除いた領域である。
【００４７】
抽出部１３１は、スクリーンショット画像の中の予め決められた条件を満たす矩形領域の画像を切り出すことは好適である。抽出部１３１は、例えば、格納部１１の画像切出ルールを用いて、スクリーンショット画像の中の予め決められた条件を満たす矩形領域の画像を切り出す。
【００４８】
抽出部１３１は、判別手段１３１１、抽出手段１３１２を備えることは好適である。ここで、判別手段１３１１は、スクリーンショット画像を解析し、スクリーンショット画像の種類を判別する。スクリーンショット画像の種類とは、例えば、スクリーンショット画像の取得元であるアプリの識別情報（例えば、インスタグラム、クローゼット、フェイスブック、ＬＩＮＥ等）である。
【００４９】
スクリーンショット画像の解析アルゴリズムは問わない。例えば、格納部１１に１以上の各種類に対応するスクリーンショット画像の雛形、スクリーンショット画像の例、スクリーンショット画像の特徴量等が格納されており、判別手段１３１１は、かかる格納部１１の情報を用いて、受信されたスクリーンショット画像に対応する種類を決定する。判別手段１３１１は、例えば、格納部１１の学習情報に、受信されたスクリーンショット画像を適用し、深層学習やＳＶＭ等の機械学習のアルゴリズムにより、受信されたスクリーンショット画像に対応する種類を決定しても良い。なお、格納部１１の学習情報は、種類ごとに、スクリーンショット画像の全体または一部、またはスクリーンショット画像の全体または一部の１以上の特徴量を学習させた情報である。
【００５０】
抽出手段１３１２は、判別手段１３１１が取得した種類に応じて、予め決められた条件を満たす領域の画像を切り出す。抽出手段１３１２は、例えば、判別手段１３１１が取得したスクリーンショット画像の種類に対応する画像切出ルールを格納部１１から検索し、当該画像切出ルールが有する情報を用いて、スクリーンショット画像から解析対象の画像を切り出す。
【００５１】
解析部１３２は、スクリーンショット画像を解析し、１以上の情報を取得する。解析部１３２は、抽出部１３１が切り出した領域の画像を解析し、１以上の情報を取得することは好適である。なお、ここで、解析部１３２が取得する情報は、例えば、画像の中のオブジェクトの種類、画像の中のオブジェクトの名称、画像の中のオブジェクトの１以上の特徴量などである。また、オブジェクトは、例えば、衣服、靴、かばん、アクセサリー等の、人が身に付ける物である。また、オブジェクトは、例えば、不動産物件、景勝地、景色、スポット、料理、グルメ、クルマ、家電製品、おもちゃ等である。つまり、オブジェクトの種類は問わないことは言うまでもない。
【００５２】
また、解析部１３２は、スクリーンショット画像を文字認識し、文字列を取得することは好適である。解析部１３２は、スクリーンショット画像のうちの一部の領域の画像に対して文字認識し、文字列を取得することは好適である。なお、文字列を取得する領域は、抽出部１３１が切り出した画像の領域とは異なる領域であることは好適である。また、解析部１３２は、スクリーンショット画像の種類に応じて決められた領域の画像を文字認識し、文字列を取得することは好適である。なお、種類に応じて決められた領域の画像とは、種類に対応する領域であり、例えば、種類識別子と対に管理された領域を特定する情報により、特定される領域の画像である。
【００５３】
解析部１３２は、スクリーンショット画像の全体または一部の領域を文字認識し、文字列を取得し、文字列を用いてユーザ情報を取得することは好適である。ユーザ情報とは、ユーザに関する情報であり、例えば、後述するインフルエンス度、後述するユーザ嗜好情報等である。
【００５４】
解析部１３２は、スクリーンショット画像の全体または一部の領域を文字認識し、ユーザのＳＮＳ（例えば、インスタグラム）への投稿数、ユーザに対するフォロワー数のうちの１以上の情報を取得し、当該１以上の情報から、インフルエンス度を取得しても良い。インフルエンス度とは、ユーザの第三者への影響の度合いに関する情報である。解析部１３２は、例えば、ユーザのＳＮＳへの投稿数をパラメータとする増加関数により、インフルエンス度を算出する。また、解析部１３２は、例えば、フォロワー数をパラメータとする増加関数により、インフルエンス度を算出する。解析部１３２は、スクリーンショット画像の種類に応じて、予め決められた領域の画像を文字認識し、ユーザのＳＮＳへの投稿数、またはユーザに対するフォロワー数を取得することは好適である。解析部１３２は、例えば、演算式「インフルエンス度＝ｆ（投稿数，フォロワー数）」により、インフルエンス度を算出する。なお、ここでの関数ｆは、投稿数、フォロワー数をパラメータとする増加関数である。また、解析部１３２は、投稿数に対応する投稿数ランクの表を参照し、取得した投稿数に対応する投稿数ランクを取得しても良い。また、解析部１３２は、フォロワー数に対応するフォロワー数ランクの表を参照し、取得したフォロワー数に対応するフォロワー数ランクを取得しても良い。そして、解析部１３２は、投稿数ランクとフォロワー数ランクのうちの１以上の情報を用いて、インフルエンス度を算出しても良い。
【００５５】
解析部１３２は、スクリーンショット画像の全体または一部の領域を文字認識し、文字列（例えば、ユーザのアカウント名、またはユーザＩＤ等）を取得し、当該文字列を用いて、ＳＮＳの他のページの１以上の画像を取得し、１以上の画像を解析し、ユーザの嗜好に関するユーザ嗜好情報を取得しても良い。なお、かかる１以上の画像は、当該ユーザが投稿した画像である。解析部１３２は、スクリーンショット画像の種類に対応する予め決められた領域であり、スクリーンショット画像の一部の領域の画像を文字認識し、例えば、ユーザのアカウント名等の文字列を取得し、当該アカウント名等の文字列を用いて、ＳＮＳの他の１以上のページを取得し、当該１以上のページの１以上の画像を取得し、１以上の画像を解析し、ユーザ嗜好情報を取得しても良い。ユーザ嗜好情報は、例えば、取得された１以上の画像に写っている衣服の種類（例えば、ジャンバー、ジーンズ、スカート、ネクタイ等）のうち、多い種類の情報、洋服の色のうち、多い色の情報等である。
【００５６】
検索部１３３は、解析部１３２が取得した１以上の情報を用いて、情報検索を行い、検索結果を取得する。検索部１３３は、例えば、解析部１３２が取得した１以上の情報を用いて、商品情報格納部１１１から１以上の商品情報を検索する。つまり、検索結果は、例えば、１以上の商品情報である。
【００５７】
検索部１３３は、解析部１３２がスクリーンショット画像の一部の領域の画像の解析結果を用いて、情報検索を行い、検索結果を取得しても良い。また、検索部１３３は、解析部１３２がスクリーンショット画像の一部の領域の画像の解析結果、およびスクリーンショット画像の一部の領域の文字認識結果の両方を用いて、情報検索を行い、検索結果を取得しても良い。
【００５８】
検索部１３３は、解析部１３２が取得した文字列に応じて、異なる検索結果を得る。検索部１３３は、例えば、解析部１３２が取得した画像の解析結果と、解析部１３２が文字認識して取得した文字列とを用いて、情報検索を行い、検索結果を取得する。
【００５９】
検索部１３３は、ユーザ情報をも用いて、情報検索を行い、検索結果を取得することは好適である。ここで、ユーザ情報は、例えば、インフルエンス度、ユーザ嗜好情報のうちの１以上の情報である。
【００６０】
なお、検索部１３３は、商品情報格納部１１１の商品情報を検索することが必須ではなく、例えば、ウェブ検索を行っても良いし、商品情報以外の図示しないデータベースを検索しても良い。
【００６１】
送信部１４は、各種の情報をユーザ端末２に送信する。各種の情報とは、例えば、検索結果である。
【００６２】
検索結果送信部１４１は、検索部１３３が取得した検索結果を送信する。なお、検索結果送信部１４１が送信する情報は、検索部１３３が取得した検索結果に、他の情報を加えた情報でも良い。また、検索結果送信部１４１が送信する情報は、検索部１３３が取得した検索結果の一部の情報でも良い。
【００６３】
ユーザ端末２を構成する端末格納部２１は、各種の情報を格納し得る。各種の情報は、例えば、ユーザＩＤ、ユーザアカウント名、メニュー等である。メニューとは、例えば、スクリーンショット画像に対する処理を選択するメニューである。
【００６４】
端末受付部２２は、各種の指示や情報を受け付ける。各種の指示や情報とは、スクリーンショット画像の取得の指示、スクリーンショット画像の送信指示等である。各種の指示や情報の入力手段は、例えば、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。端末受付部２２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００６５】
端末処理部２３は、各種の処理を行う。各種の処理とは、例えば、端末受付部２２が受け付けた指示や情報を、送信するデータ構造に変換する処理である。端末処理部２３は、スクリーンショット画像の取得の指示の受け付けに応じて、スクリーンショット画像を取得する。つまり、端末処理部２３は、スクリーンショット機能を実現する。
【００６６】
端末送信部２４は、各種の指示や情報をスクリーンショット画像解析装置１に送信する。各種の指示や情報とは、例えば、スクリーンショット画像である。
【００６７】
端末受信部２５は、各種の情報をスクリーンショット画像解析装置１から受信する。各種の情報とは、例えば、検索結果である。検索結果は、例えば、１以上の商品情報である。
【００６８】
端末出力部２６は、各種の情報を出力する。各種の情報は、例えば、端末受信部２５が受信した情報、端末受付部２２が受け付けた情報等である。各種の情報は、例えば、メニューである。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【００６９】
格納部１１、商品情報格納部１１１、および端末格納部２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００７０】
格納部１１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１等で記憶されるようになってもよい。
【００７１】
受信部１２、画像受信部１２１、および端末受信部２５は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
【００７２】
処理部１３、抽出部１３１、解析部１３２、検索部１３３、判別手段１３１１、抽出手段１３１２、および端末処理部２３は、通常、ＭＰＵやメモリ等から実現され得る。処理部１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００７３】
送信部１４、検索結果送信部１４１、および端末送信部２４は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
【００７４】
端末出力部２６は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。端末出力部２６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００７５】
次に、情報システムＡの動作について説明する。まず、スクリーンショット画像解析装置１の動作について、図３のフローチャートを用いて説明する。
【００７６】
（ステップＳ３０１）画像受信部１２１は、スクリーンショット画像を、ユーザ端末２から受信したか否かを判断する。スクリーンショット画像を受信した場合はステップＳ３０２に行き、受信しない場合は、ステップＳ３０８に行く。
【００７７】
（ステップＳ３０２）判別手段１３１１は、スクリーンショット画像を解析し、スクリーンショット画像の種類を判別する。
【００７８】
（ステップＳ３０３）抽出手段１３１２は、ステップＳ３０２で取得されたスクリーンショット画像の種類に応じて、予め決められた条件を満たす領域の画像を切り出す。
【００７９】
（ステップＳ３０４）解析部１３２は、ステップＳ３０３で切り出された画像を解析し、１以上の情報を取得する。１以上の情報は、例えば、画像の中の物品の種類（例えば、スカート、靴、ネクタイ等）である。
【００８０】
（ステップＳ３０５）解析部１３２は、ステップＳ３０１で受信されたスクリーンショット画像のうちの一部または全部の領域を文字認識し、文字列を取得し、当該文字列を用いてユーザ情報を取得する。かかるユーザ情報取得処理について、図４のフローチャートを用いて説明する。
【００８１】
（ステップＳ３０６）検索部１３３は、ステップＳ３０４で取得された１以上の情報を用いて、情報検索を行い、検索結果を取得する。なお、検索部１３３は、ステップＳ３０４で取得された１以上の情報、およびステップＳ３０５で取得されたユーザ情報を用いて、情報検索を行い、検索結果を取得することは好適である。
【００８２】
（ステップＳ３０７）検索結果送信部１４１は、ステップＳ３０６で取得された検索結果を、スクリーンショット画像を送信してきたユーザ端末２に送信する。ステップＳ３０１に戻る。
【００８３】
（ステップＳ３０８）受信部１２は、ユーザ端末２から購入指示を受信したか否かを判断する。購入指示を受信した場合はステップＳ３０９に行き、受信しない場合はステップＳ３１０に行く。
【００８４】
（ステップＳ３０９）処理部１３は、ステップＳ３０８で受信された購入指示に従って、商品等の購入のための処理を行う。ステップＳ３０１に戻る。
【００８５】
（ステップＳ３１０）受信部１２は、ユーザ端末２からその他の指示や情報を受信したか否かを判断する。その他の指示や情報を受信した場合はステップＳ３１１に行き、受信しない場合は、ステップＳ３０１に戻る。
【００８６】
（ステップＳ３１１）処理部１３等は、その他の指示や情報に応じた処理を行う。ステップＳ３０１に戻る。
【００８７】
なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００８８】
次に、ステップＳ３０５のユーザ情報取得処理について、図４のフローチャートを用いて説明する。
【００８９】
（ステップＳ４０１）解析部１３２は、ステップＳ３０２で取得されたスクリーンショット画像の種類に応じて、予め決められた領域の画像を文字認識し、１以上の文字列を取得する。なお、解析部１３２は、スクリーンショット画像の全体に対して文字認識の処理を行い、１以上の文字列を取得しても良い。
【００９０】
（ステップＳ４０２）解析部１３２は、ステップＳ４０１における文字認識結果から、ユーザ情報を構成する情報、またはユーザ情報の取得に利用する情報を取得する。なお、取得される情報は、例えば、投稿数、フォロアー数などである。
【００９１】
（ステップＳ４０３）解析部１３２は、ステップＳ４０２で取得された１以上の情報を用いてインフルエンス度を取得する。なお、解析部１３２は、文字認識により取得したユーザアカウント名を用いて、スクリーンショット画像のページとは異なる他のページを、図示しないＳＮＳのサーバ装置から取得し、当該他のページから投稿数、フォロアー数等を取得しても良い。かかる投稿数、フォロアー数等の取得は、文字認識処理によっても良いし、ページの所定の領域の文字列の取得によっても良い。
【００９２】
（ステップＳ４０４）解析部１３２は、ステップＳ４０１における文字認識結果から、ユーザアカウント名を取得する。
【００９３】
（ステップＳ４０５）解析部１３２は、ステップＳ４０４で取得したユーザアカウント名を用いて、当該ユーザアカウント名で識別されるユーザの１以上のページを取得する。なお、このページは、例えば、当該ユーザが投稿した写真画像が多数存在するページである。
【００９４】
（ステップＳ４０６）解析部１３２は、ステップＳ４０５で取得した１以上のページから１以上の画像を取得する。なお、この１以上の画像は、例えば、ユーザがインスタグラム等のＳＮＳにアップした写真画像である。
【００９５】
（ステップＳ４０７）解析部１３２は、ステップＳ４０６で取得した１以上の画像を解析し、１以上のユーザ嗜好情報を取得する。上位処理にリターンする。
【００９６】
次に、ユーザ端末２の動作について、図５のフローチャートを用いて説明する。
【００９７】
（ステップＳ５０１）端末受付部２２は、スクリーンショット画像の取得指示を受け付けたか否かを判断する。スクリーンショット画像の取得指示を受け付けた場合はステップＳ５０２に行き、スクリーンショット画像の取得指示を受け付けない場合はＳ５０８に行く。
【００９８】
（ステップＳ５０２）端末処理部２３は、スクリーンショットの処理を行い、スクリーンショット画像を取得する。そして、端末出力部２６は、スクリーンショット画像に対する処理を選択するメニューを端末格納部２１から取得し、出力する。
【００９９】
（ステップＳ５０３）端末受付部２２は、ステップＳ５０２において出力されたメニューに対して、送信指示を受け付けたか否かを判断する。送信指示を受け付けた場合はステップＳ５０４に行き、送信指示を受け付けない場合はステップＳ５０７に行く。
【０１００】
（ステップＳ５０４）端末送信部２４は、ステップＳ５０２で取得されたスクリーンショット画像を、スクリーンショット画像解析装置１に送信する。
【０１０１】
（ステップＳ５０５）端末受信部２５は、検索結果をスクリーンショット画像解析装置１から受信したか否かを判断する。検索結果を受信した場合はステップＳ５０６に行き、受信しない場合はステップＳ５０５に戻る。
【０１０２】
（ステップＳ５０６）端末出力部２６は、ステップＳ５０５で受信した検索結果を出力する。ステップＳ５０１に戻る。
【０１０３】
（ステップＳ５０７）端末処理部２３等は、他の指示に応じた処理を行う。ステップＳ５０１に戻る。
【０１０４】
（ステップＳ５０８）端末受付部２２は、購入指示を受け付けたか否かを判断する。購入指示を受け付けた場合はステップＳ５０９に行き、購入指示を受け付けない場合はＳ５１１に行く。
【０１０５】
（ステップＳ５０９）端末処理部２３は、ステップＳ５０８で受け付けられた購入指示を用いて、送信する購入指示を構成する。
【０１０６】
（ステップＳ５１０）端末送信部２４は、ステップＳ５０９で構成された購入指示をスクリーンショット画像解析装置１に送信する。ステップＳ５０１に戻る。
【０１０７】
（ステップＳ５１１）端末受付部２２は、その他の指示等を受け付けたか否かを判断する。その他の指示等を受け付けた場合はステップＳ５１２に行き、その他の指示等を受け付けない場合はステップＳ５０１に戻る。
【０１０８】
（ステップＳ５１２）端末処理部２３は、ステップＳ５１１で受け付けられたその他の指示等に応じた処理を行う。ステップＳ５０１に戻る。
【０１０９】
なお、図５のフローチャートのステップＳ５０２において、端末処理部２３がスクリーンショットの処理を行い、スクリーンショット画像を取得した後、直ちに、端末送信部２４は、取得されたスクリーンショット画像を、スクリーンショット画像解析装置１に送信しても良い。
【０１１０】
以下、本実施の形態における情報システムＡの具体的な動作について説明する。情報システムＡの概念図は図１である。
【０１１１】
今、格納部１１は、図６に示すスクリーンショット画像種類管理表（以下、適宜「画像種類管理表」と言う。）を格納している、とする。画像種類管理表は、スクリーンショット画像の種類ごとの情報を管理する表である。画像種類管理表は、「ＩＤ」「種類識別子」「学習情報」「画像切出ルール」「ユーザアカウント名取得情報」「投稿数取得情報」「フォロワー数取得情報」を有するレコードを１以上格納している。「ＩＤ」はレコードを識別する情報である。「種類識別子」はスクリーンショット画像の種類を識別する情報である。「学習情報」は、スクリーンショット画像の種類を決定するための情報である。「学習情報」は、スクリーンショット画像の種類を特徴付ける領域の画像であるが、その領域の画像から取得された１以上の特徴量でも良いし、スクリーンショット画像のうちのユーザ入力の情報が除かれた画像でも良いし、スクリーンショット画像のうちのユーザ入力の情報が除かれた画像から取得された１以上の特徴量等でも良い。「画像切出ルール」は解析対象の画像を切り出すための情報である。「ユーザアカウント名取得情報」はユーザアカウント名を取得するために使用される情報である。「投稿数取得情報」は投稿数を取得するために使用される情報である。「フォロワー数取得情報」はフォロワー数を取得するために使用される情報である。「ユーザアカウント名取得情報」「投稿数取得情報」「フォロワー数取得情報」は、ここでは、例えば、スクリーンショット画像の最大の矩形領域の左上の基準点からの相対位置を示す情報である。「画像切出ルール」「ユーザアカウント名取得情報」「投稿数取得情報」および「フォロワー数取得情報」は、切り出す画像の領域を特定する座標値でも良いし、切り出す画像の領域を特定する文字列等でも良い。
【０１１２】
また、商品情報格納部１１１は、図７に示す商品情報管理表は、商品識別子、および商品属性情報群を有するレコードを１以上格納している。商品属性情報群は、１または２以上の商品属性情報である。商品属性情報群は、ここでは、「商品画像」「種類」「価格」「説明文」「ＵＲＬ」を有する。「種類」は、商品の種類である。「価格」は、商品の価格である。「説明文」は、商品を説明する文である。「ＵＲＬ」は、図示しない外部の装置の商品詳細ページへのリンクを示す情報である。
【０１１３】
かかる状態において、以下の２つの具体例について説明する。具体例１は、スクリーンショット画像から予め決められた条件を満たす部分領域の画像を切り出し、当該切り出した画像を解析し、当該解析結果を用いて、商品情報を検索し、ユーザ端末２に送信する場合である。そして、具体例１において、ユーザは提示された複数の商品情報から、一の商品を購入する処理を行う。
【０１１４】
具体例２では、スクリーンショット画像から予め決められた条件を満たす部分領域の画像を切り出し、当該切り出した画像を解析する。また、具体例２では、スクリーンショット画像の一部の領域の画像に対して文字認識し、１以上の文字列を取得する。そして、具体例２では、切り出した画像の解析結果、および文字認識結果である１以上の文字列を用いて、商品情報を検索し、ユーザ端末２に送信する場合である。
（具体例１）
【０１１５】
ユーザＡは、自分のユーザ端末２（スマートフォン）を操作し、図８に示す画面を表示した、とする。なお、図８の画面は、インスタグラムのＳＮＳの画面である。
【０１１６】
そして、ユーザＡは、ユーザ端末２に、スクリーンショット画像の取得指示を入力した、とする。すると、ユーザ端末２の端末受付部２２は、スクリーンショット画像の取得指示を受け付ける。なお、スクリーンショット画像の取得の指示の方法は問わない。例えば、スクリーンショット画像の取得指示は、ホームボタンと電源ボタンを同時に押下することにより入力される。
【０１１７】
次に、端末処理部２３は、スクリーンショットの処理を行い、スクリーンショット画像を取得し、予め決められた記憶領域（例えば、「カメラロール」）に蓄積する。そして、端末出力部２６は、スクリーンショット画像に対する処理を選択するメニューを端末格納部２１から取得し、出力する。かかるメニューの出力例は、図９の９０１である。なお、メニュー９０１は、メニューの一例である。また、メニュー９０１の項目「送信」が選択された場合は、スクリーンショット画像がスクリーンショット画像解析装置１に送信される。また、メニュー９０１の項目「蓄積」が選択された場合は、スクリーンショット画像が端末格納部２１に蓄積される。さらに、メニュー９０１の項目「戻る」が選択された場合は、メニュー９０１が非表示となる。
【０１１８】
次に、ユーザは、メニュー９０１の項目「送信」を選択する入力を、ユーザ端末２に対して行った、とする。すると、端末受付部２２は、送信指示を受け付ける。そして、端末送信部２４は、取得されたスクリーンショット画像を、スクリーンショット画像解析装置１に送信する。なお、ここで、端末処理部２３は、スクリーンショット画像を端末格納部２１に蓄積しても良い。
【０１１９】
なお、図９の９０１のメニューを用いて、スクリーンショット画像を送信する処理を行うことは、ユーザの操作、処理の一例である。ユーザは、予め決められた記憶領域（例えば、「カメラロール」）から送信したいスクリーンショット画像を選択し、そのスクリーンショット画像を送信する指示を入力しても良いことは言うまでもない。かかる場合、当該指示に応じて、スクリーンショット画像がスクリーンショット画像解析装置１に送信されても良い。
【０１２０】
次に、スクリーンショット画像解析装置１の画像受信部１２１は、スクリーンショット画像を、ユーザ端末２から受信する。
【０１２１】
次に、判別手段１３１１は、受信されたスクリーンショット画像（図８参照）を解析し、スクリーンショット画像の種類を判別する。詳細には、判別手段１３１１は、スクリーンショット画像を、スクリーンショット画像種類管理表の「学習情報」に適用し、種類識別子「インスタグラム」を取得する。なお、判別手段１３１１は、スクリーンショット画像のうちの予め決められた領域（ここでは、図８のスクリーンショット画像の８０１の領域）を切り出し、当該領域の画像に最も類似する学習情報を決定し、当該学習情報と対になる種類識別子「インスタグラム」を取得しても良い。また、判別手段１３１１は、８０１の領域の画像の１以上の特徴量を抽出し、学習情報である１以上の特徴量と比較し、最も類似する学習情報を決定し、当該学習情報と対になる種類識別子「インスタグラム」を取得する等しても良い。
【０１２２】
次に、抽出手段１３１２は、取得されたスクリーンショット画像の種類「インスタグラム」と対になる画像切出ルール「中央部最大矩形」を画像種類管理表から取得する。そして、抽出手段１３１２は、受信されたスクリーンショット画像の中央部の最大の矩形の画像を切り出し、図１０の画像を得る。
【０１２３】
次に、解析部１３２は、図１０の画像を解析し、１以上の情報を取得する。なお、ここで、取得された１以上の情報は、画像の中のオブジェクトの種類を示す情報「トップス」「スカート」および各オブジェクトの１以上の特徴量（例えば、色、形状等）である、とする。
【０１２４】
次に、検索部１３３は、取得された１以上の情報を用いて、図７に示す商品情報管理表を検索し、１以上の商品情報を検索する。つまり、解析部１３２は、属性値「種類」が「トップス」「スカート」のうちのいずれかであり、各種類について取得された１以上の特徴量と類似度が閾値以上の特徴量の商品画像の商品情報を、商品情報管理表から検索する。また、検索部１３３は、図１０の画像内の「トップス」「スカート」に合う他の商品（例えば、くつやバッグなど）を検索する。ここで、検索部１３３は、図７に示す商品情報管理表の中から「ＩＤ＝１０６４」「ＩＤ＝３３１１」等のレコードを検索した、とする。そして、検索部１３３は、検索したレコードから、ユーザ端末２に送信する情報を取得する。なお、検索部１３３における商品情報の検索アルゴリズムは問わないことは言うまでもない。
【０１２５】
次に、検索結果送信部１４１は、取得された検索結果を、ユーザＡのユーザ端末２に送信する。
【０１２６】
次に、ユーザＡのユーザ端末２の端末受信部２５は、検索結果を受信する。そして、端末出力部２６は、図１１に示すような画面を出力する。なお、かかる画面は、商品の購入のための画面である。
【０１２７】
なお、検索結果や検索結果の表示態様は、図１１に限られないことは言うまでもない、検索結果は、例えば、商品の一覧ページであり、元の画像（図９の画像）を切り替えて、商品の一覧ページが表示される等しても良い。
【０１２８】
次に、ユーザＡは、図１１のメニューの購入ボタン１１０１を指示し、図１１のパンツの購入指示を入力した、とする。すると、端末受付部２２は、購入指示を受け付ける。次に、端末処理部２３は、受け付けられた購入指示を用いて、送信する購入指示を構成する。ここで、送信する購入指示は、購入する商品を特定する商品識別子（例えば、図７に示す商品情報管理表の商品識別子「１０６４」）とユーザＡのユーザ識別子とを有する。なお、商品識別子「１０６４」は、ユーザ端末２に送信された商品情報の中に含まれていた、とする。次に、端末送信部２４は、構成された購入指示をスクリーンショット画像解析装置１に送信する。  次に、スクリーンショット画像解析装置１の受信部１２は、ユーザ端末２から購入指示を受信する。
【０１２９】
次に、処理部１３は、受信された購入指示に従って、商品等の購入のための処理を行う。なお、ここでの商品等の購入のための処理とは、例えば、格納部１１に登録されているユーザＡのクレジットカード番号を用いた決済処理、購入手続が完了した旨の情報をユーザ端末２に送信する処理等である。
【０１３０】
なお、上記の処理に代えて、ユーザは、商品の一覧ページから一の商品を選択し、当該選択された商品の商品識別子を、スクリーンショット画像解析装置１の受信部１２が受信しても良い。そして、処理部１３は、当該商品識別子と対になるＵＲＬで特定されるページ（商品の詳細説明のページ）を取得する。次に、スクリーンショット画像解析装置１の送信部１４は、当該ページをユーザ端末２に送信する。そして、ユーザ端末２は、当該ページを受信し、出力する。
（具体例２）
【０１３１】
具体例２において、ユーザＡは、具体例１と同様の操作をユーザ端末２に対して行い、ユーザ端末２の端末受付部２２は、スクリーンショット画像の取得指示を受け付けた、とする。
【０１３２】
次に、端末処理部２３は、スクリーンショットの処理を行い、スクリーンショット画像を取得する。そして、端末送信部２４は、取得されたスクリーンショット画像を、スクリーンショット画像解析装置１に送信する。なお、ここで、端末処理部２３は、スクリーンショット画像を端末格納部２１に蓄積しても良い。また、ここで、具体例１と同様に、端末出力部２６は、スクリーンショット画像に対する処理を選択するメニューを端末格納部２１から取得し、出力しても良い。また、カメラロールの中に保存されているスクリーンショットを選択して送信してもよい。
【０１３３】
次に、スクリーンショット画像解析装置１の画像受信部１２１は、スクリーンショット画像を、ユーザ端末２から受信する。
【０１３４】
次に、判別手段１３１１は、受信されたスクリーンショット画像（図８参照）を解析し、具体例１で説明した処理を行い、図１０の画像を得る。また、解析部１３２は、図１０の画像を解析し、画像の中のオブジェクトの種類を示す情報「トップス」「スカート」および各オブジェクトの１以上の特徴量（例えば、色、形状等）を取得した、とする。
【０１３５】
解析部１３２は、取得されたスクリーンショット画像の種類「インスタグラム」に対応する領域から、ユーザアカウント名「ｍｉｓｃｈｍａｓｃｈ＿ｏｆｆｉｃｉａｌ」を得る。なお、解析部１３２は、ユーザアカウント名取得情報「（ｘ１１，ｙ１１）（ｘ１２，ｙ１２）」を取得する。そして、解析部１３２は、スクリーンショット画像の最大矩形を検知する。そして、解析部１３２は、スクリーンショット画像の最大矩形の基準点（例えば、左上座標値）からユーザアカウント名取得情報が示す領域の画像を文字認識し、ユーザアカウント名「ｍｉｓｃｈｍａｓｃｈ＿ｏｆｆｉｃｉａｌ」を得る。
【０１３６】
次に、解析部１３２は、取得したユーザアカウント名「ｍｉｓｃｈ＿ｍａｓｃｈ」を用いて、インスタグラムのＳＮＳサーバ（図示しない）から、当該ユーザアカウント名で識別されるユーザの１以上のページを取得する。ここで、解析部１３２は、図１２に示すページを取得できた、とする。
【０１３７】
次に、解析部１３２は、取得した図１２のページから１以上の画像（１２０１参照）を取得する。そして、解析部１３２は、取得した１以上の画像を解析し、１以上のユーザ嗜好情報を取得する。ここで、ユーザ嗜好情報は、例えば、オブジェクトの種類を示す情報「コート」「ワンピース」「スカート」を含み、かつ各オブジェクトの１以上の特徴量（例えば、色、形状等）を含む、とする。
【０１３８】
また、解析部１３２は、種類「インスタグラム」に対応する領域１２０１から投稿数「４５７」を取得する。
【０１３９】
また、解析部１３２は、種類「インスタグラム」に対応する領域１２０１からフォロワー数「３．２万」を取得する。なお、解析部１３２は、投稿数取得情報「（ｘ１３，ｙ１３）（ｘ１４，ｙ１４）」、フォロワー数取得情報「（ｘ１５，ｙ１５）（ｘ１６，ｙ１６）」を、図６の画像種類管理表から取得する。
【０１４０】
次に、解析部１３２は、上記の基準点と図１２の画面の投稿数取得情報「（ｘ１３，ｙ１３）（ｘ１４，ｙ１４）」とにより特定される領域１２０２から投稿数「４５７」を取得する。また、解析部１３２は、上記の基準点と図１２の画面のフォロワー数取得情報「（ｘ１５，ｙ１５）（ｘ１６，ｙ１６）」とにより特定される領域１２０３からフォロワー数「３．２万」を取得する。次に、解析部１３２は、取得された投稿数「４５７」、フォロワー数「３．２万」を用いてインフルエンス度（例えば、「８」）を取得する。なお、ここで、インフルエンス度は、例えば、１から１０の中の１０段階評価である、とする。そして、例えば、インフルエンス度が高いほど、利益が少なくとも、希少価値のある、店の評判を上げるような商品の商品情報を検索されやすくする。一方、例えば、インフルエンス度が低いほど、利益が大きい商品の商品情報を検索されやすくする。
【０１４１】
次に、検索部１３３は、図１０の画像解析により取得された１以上の情報（情報「トップス」「スカート」および各オブジェクトの１以上の特徴量（例えば、色、形状等）、および取得されたユーザ情報を用いて、情報検索を行い、検索結果を取得する。なお、ユーザ情報は、嗜好情報（情報「コート」「ワンピース」「スカート」を含み、かつ各オブジェクトの１以上の特徴量（例えば、色、形状等）を含む）と、インフルエンス度「８」とを含む。なお、検索部１３３の検索アルゴリズムは問わない。
【０１４２】
次に、検索結果送信部１４１は、取得された検索結果を、ユーザＡのユーザ端末２に送信する。
【０１４３】
次に、ユーザＡのユーザ端末２の端末受信部２５は、検索結果を受信する。そして、端末出力部２６は、図１３に示すような画面を出力する。なお、かかる画面は、商品の購入のための画面である。
【０１４４】
次に、ユーザＡは、図１３のメニューの購入ボタン１３０１を指示し、図１３のワンピースの購入指示を入力した、とする。次に、具体例１で説明した処理と同様の処理が行われ、ユーザＡは、当該ワンピースを購入できる。
【０１４５】
以上、本実施の形態によれば、スクリーンショット画像を送信するだけで、スクリーンショット画像を用いて必要な情報を取得することができる。
【０１４６】
また、本実施の形態によれば、スクリーンショット画像を送信するだけで、スクリーンショット画像の中の一部の情報の画像を切り出し、当該画像から必要な情報を取得することができる。
【０１４７】
また、具体的には、本実施の形態によれば、アプリが起動されている状態におけるユーザ端末２の画面のスクリーンショット画像から一部の画像を切り出して、当該一部の画像を解析して利用することにより、クローズドなアプリの問題点を解消できる。
【０１４８】
さらに具体的には、本実施の形態によれば、アプリが起動されている状態におけるユーザ端末２の画面のスクリーンショット画像から一部の画像を切り出して、解析して、商品の購入まで行える。かかることにより、クローズドなアプリの中の情報を利用可能にすることができる。さらに詳細には、ＳＮＳに投稿された画像を閲覧できるクローズドなアプリが表示する画像を有効に利用した情報検索、および商品の購入が行える。
【０１４９】
また、本実施の形態によれば、スクリーンショット画像の中の文字列の情報をも用いて、必要な情報を取得することができる。
【０１５０】
また、本実施の形態によれば、スクリーンショット画像の中の文字列の情報を用いて取得したユーザ情報に応じた、情報検索を行える。
【０１５１】
さらに、本実施の形態によれば、ユーザ端末２でスクリーンショット画像を取得したことに応じて、自動的にスクリーンショット画像が送信される、または自動的にスクリーンショット画像の送信のためのメニューが表示されることにより、スクリーンショット画像から必要な情報を非常に簡単に取得することができる。なお、ユーザ端末２でスクリーンショット画像を取得したことに応じて、スクリーンショット画像の送信のための支援のユーザインターフェイスが表示されることは好適である。送信のための支援のユーザインターフェイスとは、例えば、上述したメニュー、送信の確認のためのパネル、送信を促すメッセージ等である。なお、上述したように、カメラロール等の中に保存されたスクリーンショット画像が送信されても良いことは言うまでもない。
【０１５２】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態におけるスクリーンショット画像解析装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、スクリーンショット画像を受信する画像受信部と、前記スクリーンショット画像を解析し、１以上の情報を取得する解析部と、前記１以上の情報を用いて、情報検索を行い、検索結果を取得する検索部と、前記検索結果を送信する検索結果送信部として機能させるためのプログラムである。
【０１５３】
また、上記プログラムにおいて、コンピュータを、前記画像受信部が受信したスクリーンショット画像から予め決められた条件を満たす領域の画像を切り出す抽出部としてさらに機能させ、前記解析部は、前記抽出部が切り出した領域の画像を解析し、１以上の情報を取得するものとして、コンピュータを機能させるためのプログラムであることは好適である。
【０１５４】
また、上記プログラムにおいて、前記抽出部は、前記スクリーンショット画像を解析し、当該スクリーンショット画像の種類を判別する判別手段と、前記種類に応じて、予め決められた条件を満たす領域の画像を切り出す抽出手段とを具備するものとして、コンピュータを機能させるためのプログラムであることは好適である。
【０１５５】
また、上記プログラムにおいて、前記抽出部は、前記スクリーンショット画像の中の予め決められた条件を満たす矩形領域の画像を切り出すものとして、コンピュータを機能させるためのプログラムであることは好適である。
【０１５６】
また、上記プログラムにおいて、前記解析部は、前記スクリーンショット画像を文字認識し、文字列を取得し、前記検索部は、前記解析部が取得した文字列に応じて、異なる検索結果を得るものとして、コンピュータを機能させるためのプログラムであることは好適である。
【０１５７】
また、上記プログラムにおいて、前記解析部は、前記スクリーンショット画像を文字認識し、文字列を取得し、当該文字列を用いてユーザに関するユーザ情報を取得し、前記検索部は、前記ユーザ情報をも用いて、情報検索を行い、検索結果を取得する
【０１５８】
また、図１４は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態のスクリーンショット画像解析装置１等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１４は、このコンピュータシステム３００の概観図であり、図１５は、システム３００のブロック図である。
【０１５９】
図１４において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを３０１２含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。
【０１６０】
図１５において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２と、ＭＰＵ３０１３と、バス３０１４と、ＲＯＭ３０１５と、ＲＡＭ３０１６と、ハードディスク３０１７とを含む。ＲＯＭ３０１５は、ブートアッププログラム等のプログラムを記憶している。ＲＡＭ３０１６は、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供する。ハードディスク３０１７は、通常、アプリケーションプログラム、システムプログラム、及びデータを記憶している。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０１６１】
コンピュータシステム３００に、上述した実施の形態のスクリーンショット画像解析装置１等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。また、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
【０１６２】
プログラムは、コンピュータ３０１に、上述した実施の形態のスクリーンショット画像解析装置１等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切なモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
【０１６３】
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
【０１６４】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０１６５】
また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０１６６】
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【産業上の利用可能性】
【０１６７】
以上のように、本発明にかかるスクリーンショット画像解析装置は、スクリーンショット画像を送信するだけで、スクリーンショット画像の中の一部の情報の画像を切り出し、当該画像から必要な情報を取得することができるという効果を有し、スクリーンショット画像解析装置等として有用である。
【符号の説明】
【０１６８】
１  スクリーンショット画像解析装置
２  ユーザ端末
１１  格納部
１２  受信部
１３  処理部
１４  送信部
２１  端末格納部
２２  端末受付部
２３  端末処理部
２４  端末送信部
２５  端末受信部
２６  端末出力部
１１１  商品情報格納部
１２１  画像受信部
１３１  抽出部
１３２  解析部
１３３  検索部
１４１  検索結果送信部
１３１１  判別手段
１３１２  抽出手段
【図１】
2018128955.tif 000003
【図２】
2018128955.tif 000004
【図３】
2018128955.tif 000005
【図４】
2018128955.tif 000006
【図５】
2018128955.tif 000007
【図６】
2018128955.tif 000008
【図７】
2018128955.tif 000009
【図８】
2018128955.tif 000010
【図９】
2018128955.tif 000011
【図１０】
2018128955.tif 000012
【図１１】
2018128955.tif 000013
【図１２】
2018128955.tif 000014
【図１３】
2018128955.tif 000015
【図１４】
2018128955.tif 000016
【図１５】
2018128955.tif 000017