(57)【要約】【課題】データを表示するデバイスの外観を撮影したデバイス外観画像から検出されるデータの精度を向上させる。【解決手段】解析サーバ１の制御部は、ＤＢサーバ２のデバイス外観画像テーブルから、データを正しく検出できたことを示す成功可否と該当のデバイス特徴量を含むレコードを検索し、レコードからデータ表示枠位置情報を読み出す（Ｓ１０１）。解析サーバ１のデータ検出部は、デバイス外観画像から、読み出したデータ表示枠位置情報により示される位置の画像であるデータ表示枠画像を切り出し（Ｓ１０３）、データ表示枠画像からデータを検出する（Ｓ１０５）。【選択図】図１０
2015082219.tif 000002
【特許請求の範囲】
【請求項１】
デバイスの外観を撮影したデバイス外観画像毎に、当該デバイス外観画像から検出された当該外観の特徴量であるデバイス特徴量、当該デバイスを使用するユーザにより当該デバイスのデータ表示枠の位置として当該デバイス外観画像内で指定された位置を示すデータ表示枠位置情報、当該デバイス外観画像における当該データ表示枠位置情報の位置にあるデータ表示枠画像からデータを正しく検出できたか否かを示す成功可否を含むレコードを記憶するデバイス外観画像テーブルを備えるＤＢサーバと、
データを表示しているデバイスのデバイス外観画像からデバイス特徴量を検出するデバイス特徴量検出部、前記デバイス外観画像テーブルから、データを正しく検出できたことを示す成功可否と当該デバイス特徴量を含むレコードを検索し、当該レコードからデータ表示枠位置情報を読み出す制御部、当該デバイス外観画像における当該データ表示枠位置情報の位置にあるデータ表示枠画像からデータを検出するデータ検出部を備える解析サーバと
を含むことを特徴とするデータ検出システム。
【請求項２】
前記ＤＢサーバは、
同一のデバイス特徴量毎に、当該デバイス特徴量を示すデバイス特徴量ＩＤ、当該デバイス特徴量、当該デバイス特徴量に対応するデバイス外観画像から得られた複数のデータ表示枠位置情報、当該各データ表示枠位置情報に対応づけられたデータ表示枠ＩＤを含むレコードを記憶するデバイス特徴量テーブルを備え、データが検出されたなら、前記デバイス特徴量テーブルから、当該データに対応するデバイス特徴量およびデータ表示枠位置情報を含むレコードを検索し、当該レコードから、当該デバイス特徴量を示すデバイス特徴量ＩＤ、当該データ表示枠位置情報に対応づけられたデータ表示枠ＩＤを読み出し、当該データと当該デバイス特徴量ＩＤと当該データ表示枠ＩＤとを組にして記憶することを特徴とする請求項１記載のデータ検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データを表示するデバイスの外観を撮影したデバイス外観画像からデータを検出するデータ検出システムに関するものである。
【背景技術】
【０００２】
近年では、ＱＲコード（登録商標）で出力されたデータをカメラ付き携帯電話で読み取り、インターネットを介してサーバのデータベースにデータを登録するシステムがある。このようなシステムによれば、データの手入力が不要となるため、ユーザの作業負担を軽減できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２６９３０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、同じく画像からデータを検出するシステムとして、以下のようなものが考えられる。つまり、液晶画面などにデータを表示するデバイスを外観ごと撮影し、得た画像（デバイス外観画像）からデータを検出するシステムである。
【０００５】
このシステムを利用するユーザは、まず、データを表示しているデバイスを外観ごとスマートフォンなどで撮影する。スマートフォンには、撮影で得たデバイス外観画像が表示される。ユーザは、表示されたデバイス外観画像内でデータの位置を指定する。これにより、スマートフォンは、指定された位置の画像をサーバに送信する。サーバは、画像から光学文字認識などの技術を利用してデータを検出し、保存する。
【０００６】
しかしながら、データの表示位置でない位置を指定したりすると、その位置の画像からデータを検出するのが困難になり、検出したデータの精度が低下する。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、データを表示するデバイスの外観を撮影したデバイス外観画像から検出されるデータの精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明のデータ検出システムは、デバイスの外観を撮影したデバイス外観画像毎に、当該デバイス外観画像から検出された当該外観の特徴量であるデバイス特徴量、当該デバイスを使用するユーザにより当該デバイスのデータ表示枠の位置として当該デバイス外観画像内で指定された位置を示すデータ表示枠位置情報、当該デバイス外観画像における当該データ表示枠位置情報の位置にあるデータ表示枠画像からデータを正しく検出できたか否かを示す成功可否を含むレコードを記憶するデバイス外観画像テーブルを備えるＤＢサーバと、データを表示しているデバイスのデバイス外観画像からデバイス特徴量を検出するデバイス特徴量検出部、前記デバイス外観画像テーブルから、データを正しく検出できたことを示す成功可否と当該デバイス特徴量を含むレコードを検索し、当該レコードからデータ表示枠位置情報を読み出す制御部、当該デバイス外観画像における当該データ表示枠位置情報の位置にあるデータ表示枠画像からデータを検出するデータ検出部を備える解析サーバとを含むことを特徴とする。
【発明の効果】
【０００９】
本発明のデータ検出システムによれば、データを表示するデバイスの外観を撮影したデバイス外観画像から検出されるデータの精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態に係るデータ検出システムの構成を示す図である。
【図２】デバイスの外観を例示した図である。
【図３】解析サーバ１の概略構成を示す機能ブロック図である。
【図４】ＤＢサーバ２の概略構成を示す機能ブロック図である。
【図５】デバイス外観画像テーブル２１の各レコードに含まれる情報を示す図である。
【図６】デバイス特徴量テーブル２２の各レコードに含まれる情報を示す図である。
【図７】データテーブル２３の各レコードに含まれる情報を示す図である。
【図８】初回のデータ検出の際のシーケンスを示す図である。
【図９】デバイス特徴量の検出方法の一例を説明するための図である。
【図１０】２回目以降のデータ検出の際のシーケンスを示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。
【００１２】
図１は、本実施の形態に係るデータ検出システムの構成を示す図である。
【００１３】
本実施の形態のデータ検出システムは、解析サーバ１とＤＢサーバ２を備え、両者は、通信ネットワークＮに接続される。
【００１４】
データ検出システムは、多くの場合、多数のユーザに利用されるものであり、各ユーザは、データを表示するデバイス３と、デバイス３の外観撮影、撮影した画像の送信などを行うための通信装置４を使用する。通信装置４は、デバイス３が備えない通信機能を補うべく利用される。
【００１５】
図１は、あるユーザに使用される２つのデバイス３を例示する。一方は、最高血圧、最低血圧および脈拍数を計測表示できるヘルスケアデバイスであり、他方は、歩数を計測表示できる万歩計（登録商標）である。また、図１は、いわゆるスマートフォンと称される通信装置４を例示する。
【００１６】
図２（ａ）に示すように、ヘルスケアデバイスであるデバイス３は、例えば、最高血圧を表示するデータ表示枠Ａ１と、最低血圧を表示するデータ表示枠Ａ２と、脈拍数を表示するデータ表示枠Ａ３とを備える。図２（ｂ）に示すように、万歩計であるデバイス３は、歩数を表示するデータ表示枠Ｂ１を備える。
【００１７】
図３は、解析サーバ１の概略構成を示す機能ブロック図である。
【００１８】
解析サーバ１は、デバイス３の外観の特徴量であるデバイス特徴量を検出するデバイス特徴量検出部１１と、デバイス３の外観を撮影したデバイス外観画像におけるデータ表示枠の画像であるデータ表示枠画像の位置を示すデータ表示枠位置情報を検出するデータ表示枠位置情報検出部１２と、デバイス３に表示されたデータをデータ表示枠画像から検出するデータ検出部１３と、解析サーバ１内の制御、ＤＢサーバ２との通信およびＤＢサーバ２からの情報取得などを担う制御部１４とを備える。
【００１９】
図４は、ＤＢサーバ２の概略構成を示す機能ブロック図である。
【００２０】
デバイス３の外観を撮影したデバイス外観画像毎のレコードを記憶するデバイス外観画像テーブル２１と、同一のデバイス特徴量毎のレコードを記憶するデバイス特徴量テーブル２２と、検出されたデータを含むレコードを記憶するデータテーブル２３と、各テーブルの読み書き、通信装置４や解析サーバ１との通信などを担う制御部２４とを備える。
【００２１】
図５は、デバイス外観画像テーブル２１の各レコードに含まれる情報を示す図である。
【００２２】
デバイス外観画像テーブル２１の各レコードは、該当のデバイス外観画像を一意に示すデバイス外観画像ＩＤ、デバイス外観画像を撮影した撮影日時、デバイス外観画像から検出されたデバイス３の外観の特徴量であるデバイス特徴量、デバイスを使用するユーザによりデバイスのデータ表示枠の画像としてデバイス外観画像内で指定されたデータ表示枠画像の位置を示すデータ表示枠位置情報、デバイス外観画像におけるデータ表示枠位置情報の位置にあるデータ表示枠画像からデータを正しく検出できたか否かを示す成功可否とを含む。
【００２３】
図６は、デバイス特徴量テーブル２２の各レコードに含まれる情報を示す図である。
【００２４】
デバイス特徴量テーブル２２の各レコードは、該当のデバイス特徴量を一意に示すデバイス特徴量ＩＤ、デバイス特徴量、デバイス特徴量に対応するデバイス外観画像から得られた１以上のデータ表示枠位置情報、各データ表示枠位置情報に対応づけられたデータ表示枠ＩＤを含む。データ表示枠ＩＤは、該当のデータ表示枠位置情報に対応するデータ表示枠を示すものである。
【００２５】
図７は、データテーブル２３の各レコードに含まれる情報を示す図である。
【００２６】
データテーブル２３の各レコードは、該当のデバイス外観画像から検出された１以上のデータ、各データに対応ずけられたデータ表示枠ＩＤ、デバイス外観画像を撮影したユーザを一意に示すユーザＩＤ、デバイス外観画像に対応するデバイス特徴量ＩＤ、撮影の日時を含む。
【００２７】
図は、最高血圧を表示するデータ表示枠Ａ１を示すデータ表示枠ＩＤ「ＨＩＧＨ」と、最低血圧を表示するデータ表示枠Ａ２を示すデータ表示枠ＩＤ「ＬＯＷ」と、脈拍数を表示するデータ表示枠Ａ３を示すデータ表示枠ＩＤ「ＰＵＬＳＥ」とを例示している。
【００２８】
図８は、初回のデータ検出の際のシーケンスを示す図である。
【００２９】
ユーザは、例えば、ヘルスケアデバイスであるデバイス３を操作し、これにより、例えばデバイス３は、ユーザの最高血圧、最低血圧および脈拍数を測定し、表示する（Ｓ１）。
【００３０】
ユーザは、デバイス３の外観を、例えばスマートフォンである通信装置４で撮影する（Ｓ３）。
【００３１】
通信装置４は、撮影した画像であるデバイス外観画像を解析サーバ１に送信する（Ｓ５）。
【００３２】
または、万歩計であるデバイス３が歩数を表示し（Ｓ１）、通信装置４は、歩数を表示したデバイス３を撮影し、万歩計のデバイス外観画像を解析サーバ１に送信する（Ｓ５）。
【００３３】
解析サーバ１のデバイス特徴量検出部１１は、デバイス外観画像から当該外観の特徴量であるデバイス特徴量を検出する（Ｓ１１）。
【００３４】
図９に示すように、デバイス特徴量検出部１１は、例えば、デバイス外観画像Ｉにおける特徴点を、Ｘ座標、Ｙ座標、サイズ、ラプラシアン、ベクトル、色などの数値に変換し、この数値をデバイス特徴量とする。
【００３５】
図８に戻り説明を続ける。
【００３６】
解析サーバ１の制御部１４は、デバイス特徴量とデバイス外観画像をＤＢサーバ２に送信する（Ｓ１３）。
【００３７】
ＤＢサーバ２は、デバイス外観画像を図示しないテーブルに保存する。
【００３８】
ユーザは、デバイス外観画像が表示された通信装置４の画面において、例えば、各データ表示枠Ａ１、Ａ２、Ａ３につき、そのデータ表示枠の位置に指などで触れ、位置を指定する（Ｓ２１）。
【００３９】
また、ユーザは、通信装置４に対し、各データ表示枠Ａ１、Ａ２、Ａ３に対応するデータ表示枠ＩＤを入力する（Ｓ２３）。
【００４０】
これにより、通信装置４は、デバイス外観画像から、触れた位置に基づいて、各データ表示枠Ａ１、Ａ２、Ａ３についてデータ表示枠画像を切り出し（Ｓ２５）、データ表示枠画像とデータ表示枠ＩＤの組をＤＢサーバ２に送信する（Ｓ２７）。
【００４１】
なお、データ表示枠画像に対しては、デバイスの特徴点のデータベース（図示せず）から類似の情報を取り出し、これにより、ゆがみ補正を行ってもよい。ゆがみ補正とは、例えば、表示されたデータが斜めになっているようなデータ表示枠画像においてデータを斜めでなくするようにデータ表示枠画像を変換する処理である。
【００４２】
また、データ表示枠画像に対しては、不要な文字を除去する、いわゆるノイズ除去処理を行ってもよい。ゆがみ補正やノイズ除去により、データ検出の精度を高めることができる。
【００４３】
ＤＢサーバ２の制御部２４は、デバイス外観画像テーブル２１に各データ表示枠画像のレコードを生成し、各レコードに、受信したデバイス外観画像に対応するデバイス外観画像ＩＤ、デバイス外観画像の撮影日時、受信したデバイス特徴量を記憶させる（Ｓ３１）。
【００４４】
また、ＤＢサーバ２の制御部２４は、受信した各データ表示枠画像を解析サーバ１に送信する（Ｓ３３）。
【００４５】
解析サーバ１のデータ表示枠位置情報検出部１２は、受信した各データ表示枠画像につき、先に受信したデバイス外観画像から、データ表示枠画像の位置を示すデータ表示枠位置情報を検出する（Ｓ４１）。
【００４６】
また、解析サーバ１のデータ検出部１３は、各データ表示枠画像からデータを検出する（Ｓ４３）。例えば、データ検出部１３は、光学文字認識（optical character recognition）の技術を用い、数字や文字を検出する。
【００４７】
解析サーバ１の制御部１４は、各データ表示枠画像につき、対応するデータ表示枠位置情報とデータの組をＤＢサーバ２に送信する（Ｓ４５）。
【００４８】
ＤＢサーバ２の制御部２４は、各データ表示枠位置情報を、デバイス外観画像テーブル２１の該当レコードに記憶させる（Ｓ５１）。
【００４９】
また、ＤＢサーバ２の制御部２４は、各データを通信装置４に送信する（Ｓ５３）。
【００５０】
通信装置４は、各データを表示する（Ｓ６１）。
【００５１】
ユーザは、各データにつき、正しく検出できたか否か、つまりデータ検出の成功可否を判定する。具体的には、ユーザは、通信装置４に表示されたデータがデバイス３に表示されたデータに一致するか否かを判定する。そして、ユーザは、成功可否を通信装置４に入力する（Ｓ６３）。通信装置４は、各データにつき、成功可否をＤＢサーバ２に送信する（Ｓ６５）。
【００５２】
ＤＢサーバ２の制御部２４は、各成功可否を、デバイス外観画像テーブル２１の該当レコードに記憶させる（Ｓ７１）。
【００５３】
また、ＤＢサーバ２の制御部２４は、成功のデータが１以上あれば、デバイス特徴量テーブル２２に１レコードを生成し、該当のデバイス特徴量に対応するデバイス特徴量ＩＤ、デバイス特徴量、成功したデータに対応するデータ表示枠位置情報、各データ表示枠位置情報に対応づけてデータ表示枠ＩＤを記憶させる（Ｓ７３）。
【００５４】
また、ＤＢサーバ２の制御部２４は、成功のデータが１以上あれば、データテーブル２３に１レコードを生成し、各データ、各データに対応するデータ表示枠ＩＤ、ユーザを一意に示すユーザＩＤ、デバイス外観画像に対応するデバイス特徴量ＩＤ、撮影の日時を記憶させる（Ｓ７５）。ユーザＩＤは、例えば、利用に際してユーザ認証などを行い、その際に取得すればよい。
【００５５】
図１０は、２回目以降のデータ検出の際のシーケンスを示す図である。なお、初回のデータ検出は成功したこととする。
【００５６】
ユーザは、デバイス３を操作し、これにより、例えばデバイス３は、ユーザの最高血圧、最低血圧および脈拍数を測定し、表示する（Ｓ１）。このユーザは、図８で説明で言及ユーザでもよいし、別のユーザでもよい。
【００５７】
ユーザは、例えば、スマートフォンである通信装置４でデバイス３の外観を撮影する（Ｓ３）。
【００５８】
通信装置４は、撮影した画像であるデバイス外観画像を解析サーバ１に送信する（Ｓ５）。
【００５９】
解析サーバ１のデバイス特徴量検出部１１は、デバイス外観画像から当該外観の特徴量であるデバイス特徴量を検出する（Ｓ１１）。
【００６０】
解析サーバ１の制御部１４は、デバイス外観画像をＤＢサーバ２に送信する（Ｓ１５）。
【００６１】
ＤＢサーバ２は、デバイス外観画像を図示しないテーブルに保存する。
【００６２】
解析サーバ１の制御部２４は、ＤＢサーバ２のデバイス外観画像テーブル２１から、データを正しく検出できたことを示す成功可否と当該デバイス特徴量を含むレコードを検索し、レコードからデータ表示枠位置情報を読み出す（Ｓ１０１）。
【００６３】
解析サーバ１のデータ検出部１３は、デバイス外観画像から、読み出したデータ表示枠位置情報により示される位置の画像であるデータ表示枠画像を切り出し（Ｓ１０３）、データ表示枠画像からデータを検出する（Ｓ１０５）。このデータは、過去においてデータ検出に成功したデータ表示枠画像の位置を示すデータ表示枠位置情報を用いて検出したものなので、正しいデータと言える。
【００６４】
解析サーバ１の制御部１４は、各データ表示枠画像につき、対応するデータ表示枠位置情報とデータの組をＤＢサーバ２に送信する（Ｓ１０７）。
【００６５】
ＤＢサーバ２の制御部２４は、各データ表示枠位置情報につき、デバイス特徴量テーブル２２から、データ表示枠位置情報と該当のデバイス特徴量を含むレコードを検索し、当該レコードから各データ表示枠ＩＤおよびデバイス特徴量ＩＤを読み出す（Ｓ１１１）。
【００６６】
また、ＤＢサーバ２の制御部２４は、データテーブル２３に１レコードを生成し、各データ、読み出した各データ表示枠ＩＤ、ユーザＩＤ、読み出したデバイス特徴量ＩＤ、撮影の日時を記憶させる（Ｓ１１３）。このレコードでは、各データは、対応するデータ表示枠ＩＤに対応づけられる。
【００６７】
また、ＤＢサーバ２の制御部２４は、各データを通信装置４に送信する（Ｓ１１５）。
【００６８】
通信装置４は、各データを表示する（Ｓ１２１）。
【００６９】
ユーザは、各データの検出が成功したことを確認する。具体的には、ユーザは、通信装置４に表示されたデータがデバイス３に表示されたデータに一致することを確認する。
【００７０】
なお、このようなデータ確認は万全を期すために行うものであり、その必要がない場合は、省略してもよい。
【００７１】
以上のように、本実施の形態に係るデータ検出システムによれば、デバイス３の外観を撮影したデバイス外観画像毎に、デバイス外観画像から検出された外観の特徴量であるデバイス特徴量、デバイスを使用するユーザによりデバイスのデータ表示枠の位置としてデバイス外観画像内で指定された位置を示すデータ表示枠位置情報、デバイス外観画像におけるデータ表示枠位置情報の位置にあるデータ表示枠画像からデータを正しく検出できたか否かを示す成功可否を含むレコードを記憶するデバイス外観画像テーブル２１を備えるＤＢサーバ２と、データを表示しているデバイス３のデバイス外観画像からデバイス特徴量を検出するデバイス特徴量検出部１１、デバイス外観画像テーブル２１から、データを正しく検出できたことを示す成功可否とデバイス特徴量を含むレコードを検索し、レコードからデータ表示枠位置情報を読み出す制御部１４、デバイス外観画像におけるデータ表示枠位置情報の位置にあるデータ表示枠画像からデータを検出するデータ検出部１３を備える解析サーバ１とを含むので、検出されるデータの精度を向上させることができる。
【００７２】
また、一旦データ検出に成功すれば、以降は、データ表示枠の位置指定を不要にできる。よって、システムを早期に運用できる。また、データ表示枠の事前登録が不要なので、特に多種類のデバイスを運用する際にメリットが大きい。また、デバイスの種類はデバイス外観画像で区別でき、よって、複数のデバイスでの運用が可能である。
【００７３】
また、ＤＢサーバ２は、同一のデバイス特徴量毎に、デバイス特徴量を示すデバイス特徴量ＩＤ、デバイス特徴量、デバイス特徴量に対応するデバイス外観画像から得られた複数のデータ表示枠位置情報、各データ表示枠位置情報に対応づけられたデータ表示枠ＩＤを含むレコードを記憶するデバイス特徴量テーブル２２を備え、データが検出されたなら、デバイス特徴量テーブル２２から、データに対応するデバイス特徴量およびデータ表示枠位置情報を含むレコードを検索し、レコードから、デバイス特徴量を示すデバイス特徴量ＩＤ、データ表示枠位置情報に対応づけられたデータ表示枠ＩＤを読み出し（Ｓ１１１）、データとデバイス特徴量ＩＤとデータ表示枠ＩＤとを組にして記憶する（Ｓ１１３）ので、同一のデバイスに表示された複数のデータを区別して管理することができる。すなわち、例えば、最高血圧、最低血圧、脈拍数を混同することなく認識できる。
【００７４】
なお、本実施の形態では、通信装置としてスマートフォンを例示したが、これに限らず、通信装置は、例えば、通信機能を有するパーソナルコンピュータなどでもよい。その際、画像は、パーソナルコンピュータに接続したカメラなどで撮影すればよい。その際、データの位置指定は、ディスプレイに表示したデバイス外観画像においてマウスなどで行えばよい。
【００７５】
また、本実施の形態では、データを表示するデバイスとしてヘルスケアデバイスと万歩計を例示したが、これに限らず、データを表示するデバイスとしては、例えば、家電製品、計器など、様々なものが考えられる。
【００７６】
また、本実施の形態では、画像からデータを検出する方法の一例として、光学文字認識を例示したが、データ検出はこれに限らない。例えば、体重計の針の位置から体重を検出するようなデータ検出でもよい。
【００７７】
また、本実施の形態では、解析サーバ１とＤＢサーバ２を分けたが、これらを１つのサーバ内に構成してもよい。
【００７８】
また、本実施の形態では、初回でデータ検出が成功したこととしたが、検出成功は２回目以降でもよい。
【符号の説明】
【００７９】
１…解析サーバ
２…ＤＢサーバ
３…デバイス
４…通信装置
１１…デバイス特徴量検出部
１２…データ表示枠位置情報検出部
１３…データ検出部
１４、２４…制御部
２１…デバイス外観画像テーブル
２２…デバイス特徴量テーブル
２３…データテーブル
【図１】
2015082219.tif 000003
【図２】
2015082219.tif 000004
【図３】
2015082219.tif 000005
【図４】
2015082219.tif 000006
【図５】
2015082219.tif 000007
【図６】
2015082219.tif 000008
【図７】
2015082219.tif 000009
【図８】
2015082219.tif 000010
【図９】
2015082219.tif 000011
【図１０】
2015082219.tif 000012