(57)【要約】      （修正有）【課題】  写真や画像、映像等に現れている商品の情報を容易に特定可能な商品情報検索システムを提供する。【解決手段】  画像データベース４０には、画像再生装置６０で表示再生される各画像を画像ＩＤと共に記録しておき、商品データベース５０には、各画像に映っている商品の情報を画像ＩＤと対応付けて記録しておく。この状態で、画像再生装置６０の表示画像を、端末装置１０の撮影手段により撮影して、撮影画像を取得する。端末装置１０は取得した撮影画像をネットワーク２０を介して、処理サーバ３０に送信する。処理サーバ３０は、この撮影画像を用いて画像データベース４０を検索し、類似する画像を検出し、その画像ＩＤを取得する。さらに、この画像ＩＤを利用して商品データベース５０から商品情報を取得する。処理サーバ３０は、取得した商品情報を端末装置１０に送信するので、端末装置１０は、そのまま、その商品の注文を行うこともできる。【選択図】  図１
2006285654.tif 000002
【特許請求の範囲】
【請求項１】
利用者が用いる端末装置と、当該端末装置とネットワークを介して接続されたサーバコンピュータである処理サーバにより構成されるシステムであって、
前記端末装置は、撮影を行って撮影画像を取得する撮影手段と、取得した撮影画像を前記処理サーバに送信する機能を有するものであり、
前記処理サーバは、商品が映っている商品画像を、当該商品画像を特定する画像ＩＤと共に記録した商品画像記憶手段と、商品に関する情報である商品情報と、当該商品が映っている前記商品画像を対応付けて記録した商品情報記憶手段を有すると共に、前記端末装置から受信した撮影画像を用いて、前記商品画像記憶手段を検索し、前記撮影画像に類似する商品画像を取得する商品画像検索手段と、前記商品画像検索手段により検索された商品画像に対応する商品情報を取得する商品情報取得手段と、取得した商品情報を前記端末装置に送信する手段を有することを特徴とする商品情報検索システム。
【請求項２】
利用者が用いる端末装置と、当該端末装置とネットワークを介して接続されたサーバコンピュータである処理サーバにより構成されるシステムであって、
前記端末装置は、撮影を行って撮影画像を取得する撮影手段と、取得した撮影画像から特徴点を抽出する特徴点抽出手段と、前記抽出した特徴点を前記処理サーバに送信する機能を有するものであり、
前記処理サーバは、商品が映っている商品画像から抽出した特徴点を、当該商品画像を特定する画像ＩＤと共に記録した特徴点記憶手段と、商品に関する情報である商品情報と、前記画像ＩＤとを対応付けて記録した商品情報記憶手段を有すると共に、前記端末装置から受信した特徴点を用いて、前記特徴点記憶手段を検索し、前記特徴点に類似する特徴点を取得する特徴点検索手段と、前記特徴点検索手段により得られた画像ＩＤに対応する商品情報を取得する商品情報取得手段と、取得した商品情報を前記端末装置に送信する手段を有することを特徴とする商品情報検索システム。
【請求項３】
前記商品情報取得手段が取得した商品情報で特定される商品についての注文を受け付ける注文受付手段を有することを特徴とする請求項１または請求項２に記載の商品情報検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像を利用して、ネットワークを介して商品情報を検索する技術に関する。
【背景技術】
【０００２】
近年、コンピュータネットワークの発達により、インターネット上において、様々なサービスが行われるようになってきている。商品注文サービスもその一つであり、利用者は、自宅のパソコンや、インターネット接続機能を有する携帯電話等から商品の注文を行うことができるようになっている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の商品注文サービスでは、商品を特定する必要があり、顧客が漠然と、欲しいと考えているイメージだけでは、商品を特定することができないため、注文を行うことができない。一方、顧客は、商品を購入する場合、必ずしも商品の名前等を知っているわけではなく、例えば、テレビドラマで俳優が着ている洋服が欲しいと思ったりするような場合がある。このような場合、その洋服が、どの会社が販売しているものであるか等を調べる必要があるが、現実には困難である。
【０００４】
上記のような点に鑑み、本発明は、写真や画像、映像等に現れている商品の情報を容易に特定することが可能な商品情報検索システムを提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、第１の発明では、利用者が用いる端末装置と、当該端末装置とネットワークを介して接続されたサーバコンピュータである処理サーバにより構成されるシステムであって、前記端末装置は、撮影を行って撮影画像を取得する撮影手段と、取得した撮影画像を前記処理サーバに送信する機能を有するものであり、前記処理サーバは、商品が映っている商品画像を、当該商品画像を特定する画像ＩＤと共に記録した商品画像記憶手段と、商品に関する情報である商品情報と、当該商品が映っている前記商品画像を対応付けて記録した商品画像記憶手段を有すると共に、前記端末装置から受信した撮影画像を用いて、前記商品画像記憶手段を検索し、前記撮影画像に類似する商品画像を取得する商品画像検索手段と、前記商品画像検索手段により検索された商品画像に対応する商品情報を取得する商品情報取得手段と、取得した商品情報を前記端末装置に送信する手段を有する商品情報検索システムを提供する。
【０００６】
また、第２の発明では、利用者が用いる端末装置と、当該端末装置とネットワークを介して接続されたサーバコンピュータである処理サーバにより構成されるシステムであって、前記端末装置は、撮影を行って撮影画像を取得する撮影手段と、取得した撮影画像から特徴点を抽出する特徴点抽出手段と、前記抽出した特徴点を前記処理サーバに送信する機能を有するものであり、前記処理サーバは、商品が映っている商品画像から抽出した特徴点を、当該商品画像を特定する画像ＩＤと共に記録した特徴点記憶手段と、商品に関する情報である商品情報と、前記画像ＩＤとを対応付けて記録した商品情報記憶手段を有すると共に、前記端末装置から受信した特徴点を用いて、前記特徴点記憶手段を検索し、前記特徴点に類似する特徴点を取得する特徴点検索手段と、前記特徴点検索手段により得られた画像ＩＤに対応する商品情報を取得する商品情報取得手段と、取得した商品情報を前記端末装置に送信する手段を有する商品情報検索システムを提供する。
【発明の効果】
【０００７】
本発明によれば、写真、画像、映像等を撮影して撮影画像を取得し、当該撮影画像に類似する画像を検索し、当該画像に対応付けて記録された商品情報を取得するようにしたので、利用者は、商品の画像等を撮影するだけで、商品情報を取得することが可能になる。利用者は、取得した商品情報を利用して、そのまま商品の注文を行うことも可能となる。
【発明を実施するための最良の形態】
【０００８】
（１．第１の実施形態）
以下、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明第１の実施形態に係る商品情報検索システムの構成図である。図１において、１０は端末装置、２０はネットワーク、３０は処理サーバ、４０は画像データベース、５０は商品データベース、６０は画像再生装置である。
【０００９】
端末装置１０は、ネットワーク２０へのアクセス機能を有すると共に、画像撮影機能を有する端末装置であり、例えば、インターネット接続機能を有するカメラ付携帯電話機が採用できる。ネットワーク２０は、インターネット等のデータの送信が可能な通信網である。処理サーバ３０は、ネットワーク２０を介して端末装置１０とのデータの送受信を行う機能を有すると共に、画像データベース４０および商品データベース５０の管理を行うサーバコンピュータである。処理サーバ３０は、端末装置１０から受信した撮影画像を用いて画像データベース４０内の画像を検索する商品画像検索手段、検索の結果得られた画像の画像ＩＤに基づいて商品データベース５０内の商品情報を検索して取得する商品情報取得手段としての機能も有している。また、処理サーバ３０は、端末装置１０から注文指示があった場合に、注文受付処理を行う注文受付手段としての機能も有している。処理サーバ３０における上記各機能は、専用のソフトウェアを、サーバコンピュータに搭載することにより実現される。画像再生装置６０は、画面上に静止画、動画を表示再生するための装置であり、例えば、テレビ受像機等で実現される。
【００１０】
画像データベース４０には、あらかじめ画像再生装置６０において再生予定の画像データを記録しておく。例えば、テレビドラマの放送の場合、１秒間に３０枚程度の静止画像が再生され、動画として表示再生されることになるが、このような各静止画像を画像データとして、記録しておくことになる。この場合、各画像データを特定可能な画像ＩＤと共に記録しておく。
【００１１】
図２に、商品データベース５０に記録された商品情報の項目を示す。商品データベース５０には、注文可能な商品の商品名、価格、商品詳細と、その商品が現れている画像ＩＤとを対応付けて商品情報として記録しておく。画像データが動画として再生される場合、連続する複数の画像に商品が現れている場合が多いので、１つの商品情報には、多数の画像ＩＤが対応付けられる場合も多い。また、商品詳細には、商品の代表的な画像である代表画像を記録しておいても良い。
【００１２】
（１．２．処理動作）
次に、図１に示した装置の処理動作について説明する。まず、画像再生装置６０において画像を再生する。これは、例えば、利用者がテレビを見ているような場合が考えられる。この場合、テレビ受像機が画像を再生していることになる。このような場合において、利用者がテレビに映っている商品が欲しくなったとする。この際、利用者は、自身が保有する端末装置１０でテレビ画面を撮影する。これは、例えば、カメラ付携帯電話機のカメラ機能でテレビ画面を撮影することにより行われる。
【００１３】
端末装置１０でテレビ画面を撮影すると、撮影した画像が撮影画像として端末装置１０内に取得される。この際、取得された撮影画像内には、利用者が欲しいと思っている商品が映っていることになる。続いて、利用者は、端末装置１０から処理サーバ３０にアクセスし、撮影画像を送信する。これは、例えば、インターネット接続機能を有する携帯電話機において、処理サーバ３０のアドレスを指定し、撮影画像を送信することにより行われる。
【００１４】
処理サーバ３０は、端末装置１０から撮影画像を受信すると、受信した撮影画像を利用して、画像データベース４０を検索し、撮影画像に類似する画像を探し出す。具体的には、撮影画像を解析して、その特徴点を抽出し、その特徴点に近い特徴を有する画像を見つけることになる。このような類似画像の検索手法は、公知の手法を用いることにより実現可能である。例えば、特開２０００−２８５１４１号公報、特開２００３−３０３１８８号公報に開示されている手法を用いることができる。
【００１５】
処理サーバ３０は、撮影画像に類似する画像が見つかったら、その画像の画像ＩＤを抽出し、この画像ＩＤを用いてさらに商品データベース５０を検索する。この結果、対応する商品情報が抽出される。続いて、処理サーバ３０は、抽出した商品情報を、撮影画像の送信元である端末装置１０に送信する。
【００１６】
端末装置１０では、処理サーバ３０から商品情報を受信すると、受信した商品情報を画面に表示させる。これにより、利用者は、テレビに映っていた商品の詳細や価格、販売元等を知ることが可能となる。
【００１７】
利用者は、この状態から、取得した商品情報で特定される商品の注文指示を行うことができる。利用者が、端末装置１０において個人情報、決済用情報を入力して注文指示を行うと、端末装置１０は、入力された個人情報、決済用情報と共に商品情報を処理サーバ３０に送信する。処理サーバ３０では、受信した商品情報、個人情報、決済用情報を対応付けて、注文受付情報として記録する。
【００１８】
（２．第２の実施形態）
次に、本発明第２の実施形態について説明する。図３は、本発明第２の実施形態に係る商品情報検索システムの構成図である。図３において、１１は端末装置、３１は処理サーバ、４１は特徴点データベースである。第１の実施形態と同一の機能を有するものについては、同一符号を付して説明を省略する。
【００１９】
端末装置１１は、撮影により取得した撮影画像から特徴点を抽出する機能を有している点以外は、第１の実施形態における端末装置１０と同一である。この特徴点抽出機能は、第１の実施形態において処理サーバ３０が行うものと同一である。処理サーバ３１は、ネットワーク２０を介して端末装置１１とのデータの送受信を行う機能を有すると共に、特徴点データベース４１および商品データベース５１の管理を行うサーバコンピュータである。処理サーバ３１は、端末装置１１から受信した特徴点を用いて特徴点データベース４１内の特徴点を検索する特徴点検索手段、検索の結果得られた画像の画像ＩＤに基づいて商品データベース５０内の商品情報を検索して取得する商品情報取得手段としての機能も有している。また、処理サーバ３１は、端末装置１１から注文指示があった場合に、注文受付処理を行う注文受付手段としての機能も有している。処理サーバ３１における上記各機能は、専用のソフトウェアを、サーバコンピュータに搭載することにより実現される。
【００２０】
特徴点データベース４０には、あらかじめ画像再生装置６０において再生予定の画像から抽出した特徴点データを記録しておく。例えば、テレビドラマの放送の場合、１秒間に３０枚程度の静止画像が再生され、動画として表示再生されることになるが、このような各静止画像から特徴点を抽出し、画像データとして、記録しておくことになる。この場合、元の各画像データを特定可能な画像ＩＤと対応付けて記録しておく。
【００２１】
（２．２．処理動作）
次に、図３に示した装置の処理動作について説明する。まず、第１の実施形態と同様、利用者は、自身が保有する端末装置１１でテレビ画面を撮影する。端末装置１１でテレビ画面を撮影すると、撮影した画像が撮影画像として端末装置１１内に取得される。端末装置１１は、撮影画像を取得すると、この撮影画像から特徴点を抽出する。特徴点の抽出の手法は、上記第１の実施形態において、処理サーバ３０が行うものと同一である。特徴点が抽出されたら、利用者は、端末装置１１から処理サーバ３１にアクセスし、特徴点を送信する。
【００２２】
処理サーバ３１は、端末装置１１から特徴点を受信すると、受信した特徴点を利用して、特徴点データベース４１を検索し、受信した特徴点に類似する特徴点を探し出す。
【００２３】
処理サーバ３０は、受信した特徴点に類似する特徴点が見つかったら、その特徴点の画像ＩＤを抽出し、この画像ＩＤを用いてさらに商品データベース５０を検索する。この結果、対応する商品情報が抽出される。続いて、処理サーバ３１は、抽出した商品情報を、特徴点の送信元である端末装置１１に送信する。
【００２４】
端末装置１１では、処理サーバ３１から商品情報を受信すると、受信した商品情報を画面に表示させる。これにより、利用者は、テレビに映っていた商品の詳細や価格、販売元等を知ることが可能となる。
【００２５】
（３．変形例）
上記実施形態では、画像再生装置６０として、テレビ放送をテレビ受像機が映し出す場合について説明したが、ＶＴＲやＤＶＤに記録された画像を、ディスプレイ装置に表示させるものであっても良い。この場合には、第１の実施形態の画像データベース４０には、ＶＴＲやＤＶＤの記録画像と同一の画像データを画像ＩＤと共に記録しておき、第２の実施形態の特徴点データベース４１には、ＶＴＲやＤＶＤの記録画像と同一の画像データから抽出した特徴点を画像ＩＤと共に記録しておくことになる。また、撮影手段が、画像再生装置により再生された画像を撮影するものではなく、カタログやチラシ等の紙媒体に印刷された写真を撮影するものであっても良い。この場合は、第１の実施形態の画像データベース４０には、カタログ等に掲載された写真に対応する画像を画像ＩＤと共に記録しておき、第２の実施形態の特徴点データベース４１には、カタログ等に掲載された写真に対応する画像から抽出した特徴点を画像ＩＤと共に記録しておくことになる。
【００２６】
また、上記実施形態では、注文の受付処理を処理サーバ３０、３１で行うようにしたが、商品情報を取得した後の、注文に関する情報は、端末装置１０、１１から、ネットワーク２０上のＥＣサイト（電子決済機能を有するサイト）に送信し、ＥＣサイトで注文受付処理を行うようにしても良い。
【００２７】
また、上記実施形態では、画像再生装置６０において画像を再生する場合、映像を構成する全ての静止画像を画像データベース４０に記録しておくと、必要な記憶容量が膨大なものとなるので、商品データベース５０に記録されている商品が映っている画像のみを画像データベース４０に記憶するようにしても良い。この場合、映像を構成する静止画像に、商品が映っているかどうかについては、商品データベース５０に記録された商品画像と類似するものを、上述の手法により検出することにより行う。この場合は、商品画像に最も類似する１つの画像を抽出するのではなく、所定の閾値を定めておき、類似度が所定の閾値以上となるものを全て抽出し、画像データベース４０に記録する。
【図面の簡単な説明】
【００２８】
【図１】本発明第１の実施形態に係る商品情報検索システムの構成図である。
【図２】商品データベース５０に記録された情報の項目を示す図である。
【図３】本発明第２の実施形態に係る商品情報検索システムの構成図である。
【符号の説明】
【００２９】
１０、１１・・・端末装置
２０・・・ネットワーク
３０、３１・・・処理サーバ
４０・・・画像データベース
４１・・・特徴点データベース
５０・・・商品データベース
６０・・・画像再生装置
【図１】
2006285654.tif 000003
【図２】
2006285654.tif 000004
【図３】
2006285654.tif 000005