(57)【要約】      （修正有）【課題】画面に表示された映像物にかかる情報を要求に応じて迅速に提供する。【解決手段】放送された番組映像を表示する出力画面と前記番組映像に含まれ前記出力画面に表示された映像物を指定する指定手段とを有するテレビ映像受信端末４と、前記放送された番組映像を記憶するデータベースサーバ１と、前記映像物に対応して予め設定された映像物情報を記憶したデータベースサーバ３と、テレビ映像受信端末４が映像物を指定したときの時刻情報および出力画面内における指定位置を示す指定位置情報に基づきデータベースサーバ１を参照して指定された映像物を特定すると共に、特定された映像物にかかる映像物情報をデータベースサーバ３から取得しテレビ映像受信端末４に提供する映像物特定装置サーバ２を備えた。【選択図】図１
2010200170.tif 000002
【特許請求の範囲】
【請求項１】
放送された番組映像を表示する出力画面と前記出力画面に表示された映像物を指定する指定手段とを有する映像受信端末と、前記放送された番組映像を記憶する番組映像記憶装置と、前記各映像物に対応して予め設定された映像物情報を記憶した映像物情報記憶装置とを備えた画像情報提供システムであって、
前記映像受信端末が前記映像物を指定したときの時刻を示す時刻情報と前記出力画面内における指定位置を示す指定位置情報とを取得すると共に、前記時刻情報および指定位置情報に基づき前記番組映像記憶装置に記憶された番組映像を参照し前記指定された映像物を特定する映像物特定装置を備え、
前記映像物特定装置が、前記映像物情報記憶装置から前記特定された映像物にかかる映像物情報を取得し前記映像受信端末に提供する映像物情報提供手段を有することを特徴とした画像情報提供システム。
【請求項２】
前記請求項１に記載の画像情報提供システムにおいて、
前記映像受信端末の前記出力画面は、当該出力画面に接触されることにより前記出力画面に表示された映像物を指定するタッチパネル入力手段を備えたことを特徴とする画像情報提供システム。
【請求項３】
前記請求項１、２に記載の画像情報提供システムにおいて、
前記映像物特定装置が、前記映像物の候補として異なる複数の映像物が特定された場合に、前記特定された複数の映像物を前記出力画面に一覧表示する候補映像物出力手段を備えたことを特徴とする画像情報提供システム。
【請求項４】
前記請求項１に記載の画像情報提供システムにおいて、
前記映像物特定装置は、前記指定された番組画像フレームを含む予め設定された時間の間に表示された番組画像フレーム群を前記番組映像記憶装置に記憶された番組映像から取得する番組画像群取得手段と、前記番組画像フレーム群に含まれる番組画像フレーム間の色の変化量に基づき前記映像物の含まれる番組画像フレームを特定する画像フレーム特定手段を備えたことを特徴とする画像情報提供システム。
【請求項５】
前記請求項１に記載の画像情報提供システムにおいて、
前記映像物特定装置は、前記番組映像記憶装置に記憶された番組映像から前記時刻情報に基づき前記指定された番組映像を特定すると共に、前記番組映像を構成する番組画像の前記指定位置情報に基づき予め設定された画像領域をトリミングする番組画像切取手段を備えたことを特徴とする画像情報提供システム。
【請求項６】
前記請求項４に記載の画像情報提供システムにおいて、
前記映像物特定装置は、前記各番組画像からトリミングされた画像領域間における色の変化量に基づき前記映像物の含まれる番組領域を特定する画像領域特定手段を備えたことを特徴とする画像情報提供システム。
【請求項７】
放送された番組映像を表示する出力画面と前記出力画面に表示された映像物を指定する指定手段とを有する映像受信端末と、前記放送された番組映像を記憶する番組映像記憶装置と、前記各映像物に対応して予め設定された映像物情報を記憶した映像物情報記憶装置とを備えた画像情報提供システムにあって、前記映像受信端末に対して要求に応じた映像物情報を提供する画像情報提供方法であって、
前記映像受信端末が前記映像物を指定された時刻を示す時刻情報と前記出力画面内における指定位置を示す指定位置情報とを取得し、前記番組映像記憶装置に記憶された番組映像を参照して、前記時刻情報および指定位置情報に基づき前記指定された映像物を特定し、前記特定された映像物にかかる映像物情報を前記特定映像物情報記憶装置から取得すると共に前記映像受信端末に提供することを特徴とした画像情報提供方法。
【請求項８】
放送された番組映像を表示する出力画面と前記出力画面に表示された映像物を指定する指定手段とを有する映像受信端末と、前記番組映像を記憶する番組映像記憶装置と、前記各映像物に対応して予め設定された映像物情報を記憶した映像物情報記憶装置とを備えた画像情報提供システムにあって、前記映像受信端末からの要求に応じて前記映像物情報を提供する画像情報提供プログラムであって、
前記映像受信端末が前記映像物を指定したときの時刻を示す時刻情報と前記出力画面内で指定された位置を示す指定位置情報とに基づき前記番組映像記憶装置を参照して前記指定された映像物を特定する指定映像物特定機能と、前記映像物情報記憶装置から前記特定された映像物にかかる映像物情報を取得する処理を行う映像物情報取得機能とを、
前記映像物情報記憶装置に予め併設して設けられたコンピュータに実行させることを特徴とした画像情報提供プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル放送サービスにおける映像受信端末装置の技術に関する。
【背景技術】
【０００２】
商品の広告および宣伝は、店頭、街頭ポスター、インターネット(Ｗｅｂ広告など)、新聞や雑誌、テレビＣＭ、テレビショッピングなどを通して行われていた。
しかしながら、店頭には、もともとその商品に興味があるユーザ(客)しか訪れず、大衆への広い宣伝効果という意味では効果が薄く、有効な宣伝手法であるとはいえなかった。
【０００３】
また、街頭ポスターや新聞、雑誌、テレビＣＭによる商品広告では、大衆が自分の興味ある商品の情報を取得した場合でも、即座に商品の購入することができないため、ユーザの興味を持続させることが難しかった。
インターネットのＷｅｂ広告では、ユーザがそのまま商品を購入することが可能だが、これに関しても、もともとその商品に興味あるユーザのみがＷｅｂ広告にアクセスしている場合が多いため、大衆への広い宣伝効果という意味で効果が低いと考えられる。
【０００４】
また、テレビ番組そのものを広告として用いたテレビショッピングに関しても、特定の商品の宣伝を行うことは可能であるが、宣伝対象は番組制作時に設定された商品に限られる。
【０００５】
これに対する関連技術として、テレビ番組内に表示される映像物(オブジェクト)それぞれに対応させたオブジェクト情報を提供する手法が開示されている(特許文献１)。
また、関連技術として、番組放送中に映し出された商品を特定しておき、番組放送終了後の任意の時点でその商品についての商品情報を提示する受信端末装置が開示されている(特許文献２)。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】２００５−２４４８７８公報
【特許文献２】WO００−２８７３７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献２に開示された関連技術では、番組制作時に映像物情報と番組内に表示される映像物とをリンクさせる必要があり、作業工数が膨大となってしまう不都合がある。
このため、特定のオブジェクトの宣伝しか行うことができず、ユーザが興味を持った商品(映像物)単体の情報取得や購入を行うことができないため、効率的に宣伝を行うことが困難であった。
また、上記特許文献２に開示された関連技術でも、任意の商品情報(オブジェクト情報)を提供する場合に、膨大な量のデータから指定された商品情報の検索を行う必要があり、検索対象の情報を特定するのに多大な時間がかかってしまったり、検索対象の商品を絞り込むことができなかったりする不都合が生じ得る。
【０００８】
［発明の目的］
本発明は、上記関連技術の有する不都合を改善し、テレビ番組放送画面に映し出された映像物にかかる情報をテレビ視聴者の要求に応じて迅速に提供し得る画像情報提供システム、画像情報提供方法、および画像情報提供プログラムを提供することを、その目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る画像情報提供システムは、放送された番組映像を表示する出力画面と前記出力画面に表示された映像物を指定する指定手段とを有する映像受信端末と、前記放送された番組映像を記憶する番組映像記憶装置と、前記各映像物に対応して予め設定された映像物情報を記憶した映像物情報記憶装置とを備えた画像情報提供システムであって、前記映像受信端末が前記映像物を指定したときの時刻を示す時刻情報と前記出力画面内における指定位置を示す指定位置情報とを取得すると共に、前記時刻情報および指定位置情報に基づき前記番組映像記憶装置に記憶された番組映像を参照し前記指定された映像物を特定する映像物特定装置を備え、前記映像物特定装置が、前記映像物情報記憶装置から前記特定された映像物にかかる映像物情報を取得し前記映像受信端末に提供する映像物情報提供手段を備えた構成をとっている。
【００１０】
又、本発明にかかる画像情報提供方法は、放送された番組映像を表示する出力画面と前記出力画面に表示された映像物を指定する指定手段とを有する映像受信端末と、前記番組映像を記憶する番組映像記憶装置と、前記各映像物に対応して予め設定された映像物情報を記憶した映像物情報記憶装置とを備えた画像情報提供システムにあって、前記映像受信端末からの要求に応じて前記映像物情報を提供する画像情報提供方法であって、前記映像受信端末が前記映像物を指定したときの時刻を示す時刻情報と前記出力画面内で指定された位置を示す指定位置情報とを取得し、前記時刻情報および指定位置情報に基づき前記番組映像記憶装置に記憶された番組映像を参照し前記指定された映像物を特定し、前記映像物情報記憶装置から前記特定された映像物にかかる映像物情報を取得し、当該映像物情報を前記映像受信端末に対して送信することを特徴としている。
【００１１】
更に、本発明にかかる画像情報提供プログラムは、放送された番組映像を表示する出力画面と前記出力画面に表示された映像物を指定する指定手段とを有する映像受信端末と、前記番組映像を記憶する番組映像記憶装置と、前記各映像物に対応して予め設定された映像物情報を記憶した映像物情報記憶装置とを備えた画像情報提供システムにあって、前記映像受信端末からの要求に応じて前記映像物情報を提供する画像情報提供プログラムであって、前記映像受信端末が前記映像物を指定したときの時刻を示す時刻情報と前記出力画面内で指定された位置を示す指定位置情報とに基づき前記番組映像記憶装置を参照して前記指定された映像物を特定する指定映像物特定機能、前記映像物情報記憶装置から前記特定された映像物にかかる映像物情報を取得する処理を行う映像物情報取得機能とを、前記映像物情報記憶装置に予め併設して設けられたコンピュータに実行させることを特徴としている。
【発明の効果】
【００１２】
本発明は、以上のように構成され機能するので、これによると、出力画面内の映像物が指定された時刻を示す時刻情報と出力画面上の指定位置を示す位置情報に基づき指定された映像物を特定する手段と、特定された映像物にかかる映像物情報を取得する手段を備えた構成としたことにより、映像受信端末により任意に指定されたテレビ番組放送画面上の映像物にかかる情報を要求に応じて正確、且つ迅速に特定し提供することができる画像情報提供システム、画像情報提供方法、および画像情報提供プログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明による画像情報提供システムの一実施形態を示す概略構成図である。
【図２】図１に開示した画像情報提供システムにおける、表示内容の一例を示す説明図である。
【図３】図１に開示した画像情報提供システムにおけるデータベース３のデータ構造の一例を示す説明図である。
【図４】図１に開示した画像情報提供システムにおけるオブジェクト抽出および選定の手法の一例を示す説明図である。
【図５】図１に開示した画像情報提供システムにおけるオブジェクト抽出および選定の手法の一例を示す説明図である。
【図６】図１に開示した画像情報提供システムにおける全体的な動作を示すシーケンスチャートである。
【発明を実施するための形態】
【００１４】
［実施形態］
次に、本発明の実施形態について、その基本的構成内容を説明する。
【００１５】
本実施形態である画像情報提供システムは、図１に示すように、テレビ番組映像を配信する基地局５と、基地局５から送られたテレビ映像情報を記憶保持するデータベースサーバ(番組映像記憶装置)１と、データベースサーバ１に記憶されたテレビ映像情報から、ネットワークを介して送り込まれたリクエストに応じて画像情報(画像フレーム)を取得するサーバ(映像物特定装置)２と、テレビ映像情報に含まれる映像物に対応して記憶された映像物情報を記憶するデータベース(映像物情報記憶装置)３と、基地局５から放送されたテレビ映像情報を出力表示すると共に、サーバ２に対して映像物情報の要求(リクエスト)を行うインターネット接続可能なテレビ映像受信端末４を備えた構成となっている。
【００１６】
これにより、ユーザは、テレビ映像受信端末４を利用して、番組閲覧中に選択指定した任意の映像物にかかる情報(オブジェクト情報)を取得することができる。
【００１７】
また、本実施形態で示された2つのデータベースサーバ(データベースサーバ１、３)を1つに統合することも可能である。また、アプリケーション兼プレゼンテーションサーバであるサーバ2も合わせたサーバを備えた構成としてもよい。更に、各家庭等に設けられたホームサーバをデータベースサーバ1やサーバ2として活用する構成としてもよい。
【００１８】
尚、データベースサーバ１、サーバ２、データベースサーバ３、およびテレビ映像受信端末４はそれぞれ、ハードディスクドライブ(ＨＤ)、ＤＶＤ−ＲＡＭなどの大容量記録媒体、およびＲＡＭ、およびＲＯＭと、ＣＰＵ(Central Processing Unit)などのいわゆる中央処理演算装置とを備え、この中央演算処理装置が予め設定されたプログラムに基づく処理を行うことにより、各種動作機能を実現する。
【００１９】
サーバ2は、テレビ映像受信端末４から送り込まれたユーザ情報に基づきユーザ認証を行う(ユーザ認証機能)と共に、テレビ映像受信端末４に対して、インターフェイスを提供するインタフェース(ＩＦ)提供機能と備えている。
【００２０】
ただし、この際、実際のデータのやりとりはテレビ映像受信端末とサーバ2の間で行われず、テレビ映像受信端末４はサーバ2からプレゼンテーション情報を受信するものとする。
【００２１】
尚、サーバ２からテレビ映像受信端末４に対しては実際のデータ情報は送信されず、テレビ映像受信端末４は、シンクライアントとして、サーバ２からのプレゼンテーション情報のみ受信し、このプレゼンテーション情報に基づく画面情報を出力表示する。
これにより、テレビ映像受信端末４が基地局５から受信したテレビ映像は、サーバ２によって提供されるインターフェイス上に表示される(図２)。
【００２２】
また、サーバ２は、テレビ映像受信端末４から受信した年月日情報、時間情報、チャンネル情報に基づき、データベースサーバ1から該当する番組の該当する時間帯のフレーム画像(以下「フレーム」という)を取得するフレーム画像特定取得機能を備えている。
尚、このフレームとは映像(動画)を構成するフレーム画像群を示し、３０フレームで１秒分の動画が構成されているものとする。また、サーバ２からデータベースサーバ１に対する一度の要求に対して取得するフレーム数は、デフォルトで、時間情報±１．５秒分の計３秒、９０フレームとする。
【００２３】
更に、サーバ２は、テレビ映像受信端末４から受信した位置時間情報に基づきデータベースサーバ1から取得したフレームのトリミングを行いフレーム画像の一部を切り出す画像切出し機能を有する。
これにより、比較する画像の範囲を切り出された画像の範囲内に限定することができ、画像識別やオブジェクト抽出の精度を向上させると共に、処理を迅速化することができる。
【００２４】
尚、本実施形態のサーバ２では、図４に示すように、テレビ映像受信装置４から受信した位置情報(Ｘ値，Ｙ値)を基点に、Ｘ方向に±０．１５、Ｙ方向に±０．１の領域で上記画像切出し機能を実施するものとする。このトリミング操作は取得した全フレームそれぞれで実行されるものとする。
【００２５】
更に、サーバ２は、トリミング処理済みのフレームそれぞれに対して順次１から９０まで番号付けを行い、画像の比較を行う画像比較処理機能と備えている。尚、この画像の比較処理は、図４に示すように、上記番号付けされた番号が隣接するフレーム間で実行されるものとする。
【００２６】
また、サーバ２は、候補として保存されたフレームのトリミング前のフレームを取得し、背景とオブジェクトの判別を行い、トリミング範囲(位置情報を基点としたＸ±０．１５かつＹ±０．１の画像)内に含まれるオブジェクトを候補オブジェクトとして抽出する候補オブジェクト抽出機能を備えている。
【００２７】
更に、サーバ２は、候補として抽出されたオブジェクト(候補オブジェクト)の色情報と特徴情報を算出する色特徴情報算出機能を備えている。この算出は、サーバ２が予め備えた既存のオブジェクト識別アルゴリズムを利用して行われるものとする。また、ここで算出された色情報と特徴情報は数値情報として保存されるものとする。
更に、サーバ２のオブジェクト識別アルゴリズムを用いたオブジェクト識別手法を活用することによって、識別対象となるオブジェクトの形が変形していた場合でも、オブジェクトの識別は可能であるものとする。
【００２８】
この場合、データベースサーバ３にデータを予め登録しておくことにより、動物や植物といった企業が提供していないオブジェクトにかかるオブジェクト情報についても、本発明によって提供されるサービスを実現することができる。
尚、ある一定の閾値以上で近似した色情報と特徴情報を有する異なる複数のオブジェクトが存在した場合は、同一のオブジェクトとみなすものとする。
【００２９】
また、サーバ２は、テレビ映像受信端末４から受信したオブジェクト指定の行われた年月日情報、時間情報(時刻情報)、チャンネル情報をキーとした番組割り出し要求をデータベースサーバ３に送信する番組割出要求送信機能を有する。
【００３０】
更に、サーバ２は、データベースサーバ３から送り込まれた照合結果(オブジェクト候補リスト)を、リクエスト結果としてテレビ映像受信端末４に対して送信するリクエスト結果送信機能を備えている。
【００３１】
これにより、番組閲覧中のユーザは、インターネット接続可能なテレビ映像受信端末を利用して、テレビ画面に表示された任意のオブジェクト(映像物)を選択指定し、サーバ側で選択指定されたオブジェクトに係るオブジェクト情報を特定して、このオブジェクト情報をテレビ画面に出力表示させることができる。
【００３２】
データベースサーバ３は、この要求に基づき、テレビ映像受信端末４でオブジェクト指定されたオブジェクト映像を含む番組の割り出しを行う(番組割り出し機能)。
【００３３】
ここで、データベースサーバ３には、図５に示すように、割り出された番組(ここでは番組Ａとする)に対応してオブジェクト提供会社(１、２)やスポンサー企業(１)にかかる情報を示す提供企業情報が記憶されている。このため、データベースサーバ３は、番組Ａに対応して記憶された提供企業情報のオブジェクト情報をオブジェクト情報照合の対象とする。また、番組Ａに対応して記憶されたオブジェクト提供会社１，２、スポンサー企業１のオブジェクト(以下「企業オブジェクト」という)のオブジェクト情報を、オブジェクト情報照合の対象とする。
【００３４】
尚、オブジェクト情報にはデータベースサーバ３に保存されたオブジェクトの画像、商品名、製造元、定価、オブジェクトの特徴を示す一口メモ、素材情報、カテゴリ情報が含まれるものとする(図３)。これら情報は、オブジェクト提供会社またはスポンサー企業または第三の代行機関によって予めデータベースサーバ３に入力されていてもよい。
【００３５】
更に、データベースサーバ３は、サーバ２が抽出した候補オブジェクトの色情報および特徴情報の数値データに基づき、予め設定された色情報および特徴情報が近似する企業オブジェクトを抽出して、優先的に照合処理を行う特徴情報照合機能を備えている(図６)。
【００３６】
尚、データベースサーバ３は、上記照合処理を行う対象の企業オブジェクトを、色情報と特徴情報の値が予め設定された一定値以上を示す、つまり色情報および特徴情報が近似するオブジェクトに限定して行う設定であってもよい。
これにより、例えば、オブジェクトの照合処理に対する処理負荷が高い、処理性能が低いサーバにおいても、その処理性能に応じた照合処理を実行させることができる。
【００３７】
また、データベースサーバ３は、構造抽出法など既存のアルゴリズムを用いて、オブジェクトの照合を行うものとする。この際、サーバ２が抽出した候補オブジェクトの画像とデータベースサーバ３に予め保存された企業オブジェクトの画像との照合を行う。
ここで、照合結果はスコアとして保存される。スコアが高いほど、照合したオブジェクト同士が似ており、同一オブジェクトである可能性が高いことを示している。最高スコアは１００、最低スコアは０とする。
【００３８】
更に、データベースサーバ３は、上記照合結果に基き、予め設定された一定の値以上のスコアのオブジェクトを示す情報を、オブジェクト情報と共にオブジェクト候補リストとしてサーバ２に対して送信する候補リスト送信機能を備えている。
【００３９】
また、データベースサーバ３に、例えば、動物や植物といったオブジェクトにかかるオブジェクト情報を記憶した構成としてもよい。
これにより、企業が提供していないオブジェクトにかかるオブジェクト情報をテレビ映像受信端末に提供することができる。
【００４０】
テレビ映像受信端末４は、インターフェイス上に表示されたテレビ番組映像中における映像物(以下「オブジェクト」という)が指定された場合に、指定された時点の年月日情報、時間情報、チャンネル情報と、画面上における指定部位を示す位置情報を含む位置時間情報がオブジェクト要求として、インターネットを介してサーバ２に送信する。
【００４１】
ここで、上記位置情報は、画面に対し横方向をＸ、縦方向をＹとしたＸとＹの２つの値で算出される。テレビ映像画面の左下末端を原点０、横方向全体の長さを1、縦方向全体の長さを1として、Ｘ値とＹ値が算出されるものとする。
これにより、例えば、テレビ映像受信端末４に表示されるテレビ映像画面の横幅もしくは縦幅が変更された場合であっても、その変更に依存することなく、ユーザが接触したオブジェクトの位置情報を正確にサーバ２に送信することが可能となる。
【００４２】
尚、本実施形態では、テレビ映像受信装置４の画面上を指で直接に接触する(タッチする)ことにより、オブジェクト指示(指定)を行うタッチパネル方式が予め備えられたテレビ映像受信端末４について説明しているが、テレビ映像受信端末４は、専用のタッチペンなどを用いて指定(オブジェクト指定)を行う設定であってもよい。
【００４３】
また、テレビ映像受信端末４は、インターネット接続が可能なテレビ映像受信端末であればよく、インターネット接続が可能なテレビ、デスクトップ型パソコン、ノートパソコン、モバイルＰＣ、携帯電話、ゲーム機器、カーナビ等であってもよい。
【００４４】
また、ＮＧＮ(Next  Generation  Network)によって、放送網、IPデータ網、固定電話網、携帯電話網が１つのIPネットワークに統合されたネットワーク環境では、このネットワーク環境に接続できるテレビ映像受信端末で本発明を利用できるものとする。
【００４５】
取得するフレーム数やトリミング範囲はデフォルト値が設定してあるが、装置による学習やユーザの指定によってこれらの値は変更可能であるものとする。
【００４６】
また、上記実施形態に、さらに商品購入のためのシステムを付加することで選択したオブジェクトの購入が可能である。
具体的には、サーバ2とクレジット会社や商品取扱い会社のサーバを連携させ、商品の注文発注が行えるようにする。またこの場合は、商品取扱い会社のサーバから在庫数を取得し、テレビ映像受信端末の商品購入画面に商品の在庫数を表示できるものとする。この商品の在庫数はおおよその在庫数でも、「在庫有・在庫少数・在庫無」といった表記でも構わないものとする。
【００４７】
ユーザが、どのオブジェクト(商品)情報にアクセスしたか、どの商品を購入したかを、ユーザの匿名アカウント情報(年齢、性別、おおまかな所在地といったユーザを特定しない程度の情報)に紐付けて保存し、スポンサー企業に提供することも可能とする。個人情報保護の観点から、無断でこれらの情報をスポンサー企業に提供することはできないため、これらの情報をスポンサー企業に提供する際には、予めユーザの同意を得るものとする。
【００４８】
また、このようなアカウント情報を提供する際には、データそのものをスポンサー企業に提供するのではなく、どのような層のユーザがどのような商品に興味があるかの分析結果だけをスポンサー企業に提供する。この場合はサーバ2にデータ分析ツールを搭載した構成としてもよい。
【００４９】
これにより、サーバ２に予め備えたれた既存のオブジェクト抽出アルゴリズムを用いたオブジェクト識別方法を活用することにより、識別対象となるオブジェクトの形や色が変形していた場合でも、オブジェクトの識別、特定を行うことが可能となる。
［実施形態の動作説明］
次に、本実施形態の全体の動作について、その内容を概説する。
まず、ユーザが、テレビ映像受信端末４の画面に表示された所望のオブジェクトを選択指定し、サーバ２が、前記映像受信端末が前記映像物を指定したときの時刻を示す時刻情報と前記出力画面内で指定された位置を示す指定位置情報とを取得し、時刻情報および指定位置情報に基づき前記番組映像記憶装置に記憶された番組映像を参照し前記指定された映像物を特定する(指定映像物特定工程)。
【００５０】
これにより、サーバ２は、ユーザが接触したテレビ画面上における位置、および時間(タイミング)に基づいて、放送されたテレビ映像が記憶されたデータベースサーバ１、およびオブジェクトにかかる画像や情報が記憶されたデータベースサーバ３を参照して、選択指定されたオブジェクトを特定することができる。
次いで、サーバ２は、映像物情報記憶装置(データベースサーバ１)から特定された映像物にかかる映像物情報を取得し(映像物情報取得工程)、この映像物情報を映像受信端末に対して送信する。
【００５１】
これにより、サーバ２は、リクエスト結果として、ユーザにより選択してされたオブジェクトにかかる情報(オブジェクト情報)をテレビ映像受信端末４に提供することができ、ユーザは任意に選択したオブジェクトのオブジェクト情報を閲覧することができる。
【００５２】
尚、ここで、上記指定映像物特定工程、および映像物情報取得工程については、その実行内容をプログラム化し、コンピュータに実行させる構成としてもよい。
【００５３】
次に、本実施形態における画像情報取得システムの動作について、図６のシーケンスチャートに基づき詳説する。
【００５４】
まず、ユーザはテレビ映像受信端末４からインターネットを介してサーバ２にアクセス接続を行い、アカウントの認証を受ける。
サーバ２は、ユーザアカウントの認証を行い、ユーザのテレビ映像受信端末４に対して映像出力用のインターフェイスを提供する。
【００５５】
尚、サーバ２からテレビ映像受信端末４に対しては、実際にデータは送信されず、テレビ映像受信端末４は、シンクライアントとして、サーバ２からのプレゼンテーション情報のみ受信するものとする。
【００５６】
これにより、テレビ映像受信端末４が基地局５から受信したテレビ映像は、サーバ２によって提供されるインターフェイス内に表示される(図1)。
【００５７】
ここで、ユーザがテレビ番組閲覧中に、表示された映像中における映像物(以下「オブジェクト」という)を、テレビ映像受信端末４の画面を直接タッチする(ポイントする)ことにより、オブジェクト指定を行う(ステップＳ１：図６)。
ここでは、ユーザがテレビ映像受信端末４の画面をタッチすると、タッチした時点の年月日情報、時間情報、チャンネル情報と、画面上におけるタッチ部位を示す位置情報を含む位置時間情報がオブジェクト要求として、インターネットを通じてサーバ２に送信される。
【００５８】
ここで、上記位置情報は、画面に対し横方向をＸ、縦方向をＹとしたＸとＹの２つの値で算出される。また、テレビ映像画面の左下末端を原点０、横方向全体の長さを1、縦方向全体の長さを1として、Ｘ値とＹ値を算出する。
これにより、例えば、テレビ映像受信端末４に表示されるテレビ映像画面の横幅もしくは縦幅が変更された場合であっても、その変更に依存することなく、ユーザが接触したオブジェクトの位置情報を正確にサーバ２に送信することが可能となる。
【００５９】
次に、サーバ２における、指定された映像物(オブジェクト)の抽出および選定を行う動作ついて、図４、図５、および図６に基づき説明する。
【００６０】
まず、サーバ２は、テレビ映像受信端末４から受信した年月日情報、時間情報、チャンネル情報に基づき、データベースサーバ1から該当する番組の該当する時間帯(例えば、２〜３秒とする)のフレーム画像(以下「フレーム」という)を取得する(ステップＳ２、Ｓ３：図６)。
尚、このフレームとは映像(動画)を構成するフレーム画像群を示し、３０フレームで１秒分の動画が構成されているものとする。また、サーバ２からデータベースサーバ１に対する一度の要求に対して取得するフレーム数は、デフォルトで、時間情報±１．５秒分の計３秒、９０フレームとする。
【００６１】
ここで、サーバ２は、テレビ映像受信端末４から受信した位置時間情報に基づきデータベースサーバ1から取得したフレームのトリミングを行い、画像の一部を切り出す(ステップＳ４)。
これにより、比較する画像の範囲を切り出された画像の範囲内に限定することができ、画像識別やオブジェクト抽出の精度を向上させると共に、処理を迅速化することができる。
【００６２】
ここで、上記フレームのトリミングは、図４に示すように、テレビ映像受信装置４から受信した位置情報(Ｘ値，Ｙ値)を基点に、Ｘ方向に±０．１５、Ｙ方向に±０．１の領域で実施するものとする。このトリミング操作は取得した全フレームそれぞれで実行される。
【００６３】
次いで、サーバ２は、トリミング処理済みのフレームそれぞれに対して順次１から９０まで番号付けを行い、画像の比較を行う(ステップＳ４：図６)。
【００６４】
画像の比較は、図４に示すように、上記番号付けされた番号が隣接するフレーム間で実行されるものとする。
以下、これを詳説する。
【００６５】
まず、サーバ２は、テレビ映像受信端末４に対してユーザがポイント(指定)を行ったその時点で表示されていた４５番フレームと４６番フレームの画像比較を行う。
次に、４６番と４７番、４７番と４８番、４８番と４９番フレームと順次画像を比較し、予め設定された閾値以上で画像が異なった場合に、その異なる画像が出現する前の連続フレームにおける一番最初のフレームを、候補画像として保存する。
【００６６】
具体的には、図４に示すように、例えば、４６番から画像比較を開始して、５０番のフレームまでは連続するほぼ同一のフレームと認識されたが、５０番と５１番のフレームの比較において、ある閾値以上で画像が異なっていると判断されたとする。
【００６７】
この場合は、同一とみなされていた連続フレームにおける一番最初のフレーム、つまり４６番から５０番までのほぼ同一のフレームのうち、一番最初の４６番のフレームを候補画像として保存する。
【００６８】
その後、引き続き、５１番と５２番、５２番と５３番と順次フレームを比較し、再び５９番と６０番のフレームの比較において、両画像がある閾値以上で異なっていると判断されたとする。
この場合、同一とみなされていた連続フレームにおける一番初めのフレーム、つまり５１番のフレームを候補画像として保存する。
尚、４６番から９０番までのフレームの比較処理と、４５番から1番までのフレームの比較処理は並行して実施されるものとする。
【００６９】
また、４６番から９０番までのフレーム比較と４５番から1番までのフレーム比較が終了した時点で、同様の比較処理を４５番と４６番のフレームについても実施する。４５番および４６番両フレームがほぼ同一画像と識別された場合は４５番の画像のみを候補画像として保存し(４６番のフレームが候補画像として保存されていた場合は削除)、両フレームが異なると判定された場合は、４５番と４６番両方のフレームを保存する。
ここで、画像の比較自体は構造抽出法や色情報・特徴情報を用いた既存の画像識別アルゴリズムを活用して実施するものとする。
【００７０】
９０枚のフレームで画像比較を行った結果、候補として保存されたフレームが1枚のみであった場合、つまり９０枚すべてのフレームが同一の画像であると判断された場合は、1番と９０番のフレームで画像の比較を行う。
これはパーンなどの、カメラの中心を軸に流れるように撮影された画像でも、識別が正確に行われるための処理である。
【００７１】
１番と９０番のフレームを比較し、ほぼ同一の画像と判断された場合は、４５番のフレームのみを候補として保存する。ただし、１番と９０番のフレーム間で画像が異なると判断された場合は、次に１番と４５番、４５番と９０番のフレーム画像を比較する。
１番と４５番はほぼ同一の画像であるが、４５番と９０番の画像は異なると判断された場合、さらに４５番と６８番、６８番と９０番のフレームで画像識別を実施する。
このように画像識別を行うフレーム番号を狭めていき、画像の識別結果がすべてほぼ同一となるまで繰り返し処理を行うものとする。
【００７２】
尚、データベースサーバ1から取得するフレーム数やトリミングを行う範囲は、ユーザにより選択指定されるオブジェクトの時間・位置を記憶することにより、選択指定されるオブジェクトが表示画面内のどの範囲に含まれる傾向があるかを学習し、この学習内容に基づいて取得されるフレーム数やトリミング範囲をユーザごとに自動的に変更する設定としてもよい。
【００７３】
これにより、例えば、高齢者が利用する場合、本人が意図したタイミングならびに接触位置と、実際に画面に接触したタイミングと接触位置は(想定された値よりも)大きくずれる場合が生じ得るため、このようなユーザがオブジェクトの選択指定を繰り返し行う場合は、デフォルト値である時間情報±１．５秒の９０フレームより多いフレームが取得され、且つ、トリミング範囲もデフォルトの値よりも大きい範囲を示す値に設定されるように設定してもよい。
【００７４】
また、反射能力が高いユーザがオブジェクトの選択指定を繰り返し行う場合は、デフォルト値である時間情報±１．５秒の９０フレームより少ないフレームが取得され、且つ、トリミング範囲もデフォルトの値よりも小さい範囲を示す値に設定されるように設定してもよい。
これにより、取得するフレーム数やトリミング範囲がより狭小なもの限定されるので、オブジェクトの特定精度の向上やリクエスト結果が迅速に提供されるといったパフォーマンスの向上を図ることができる。
【００７５】
更に、ユーザごとに毎回取得されるフレーム数やトリミングされる範囲(領域)を示す情報は、各アカウント情報に紐付けられて保存され、一定の間隔で傾向の分析を行う設定としてもよい。
また、テレビ映像受信端末４からユーザが手動で任意の値を指定可能な設定としてもよい。この場合は、指定された値を元に、オブジェクト候補リストの提示にかかる時間(リクエスト要求からリクエスト結果の返信に至る時間)を算出し、ユーザに提示する設定としてもよい。
【００７６】
また、上記アカウント情報に紐付けられて保存された履歴情報の数や期限(例えば、最大１００オブジェクト、1ヶ月とする)は、ユーザによって変更可能であるものとする。
また、ユーザが意図的に保存しているオブジェクトの保存数(例えば最大５０オブジェクト)に関しても、ユーザによって変更が可能であるものとする。
【００７７】
次いで、サーバ２は、候補として保存されたフレームから、オブジェクトの抽出を行う。
ここで、サーバ２は、候補として保存されたフレームのトリミング前のフレームを取得する(ステップＳ５：図６)。
次に、サーバ２は、背景とオブジェクトの判別を行い、トリミング範囲(位置情報を基点としたＸ±０．１５かつＹ±０．１の画像)内に含まれるオブジェクトを候補オブジェクトとして抽出する(ステップＳ５：図６)。
【００７８】
この際、１枚の画像から複数のオブジェクトが候補として抽出されることも考えられるが、複数のオブジェクトが候補として抽出された場合は、それらすべてを候補オブジェクトとして保存する。また、複数のフレームが候補として保存されている場合も、複数のオブジェクトが候補として抽出されることが考えられるが、この場合も、抽出された複数のオブジェクトを候補オブジェクトとして保存する。
【００７９】
次いで、候補として抽出されたオブジェクト(候補オブジェクト)の色情報と特徴情報を算出する(ステップＳ６：図６)。この算出は、サーバ２が有する既存のオブジェクト識別アルゴリズムを利用して行われるものとする。ここで、算出された色情報と特徴情報は数値情報として保存される。
【００８０】
ここで、サーバ２のオブジェクト識別アルゴリズムを用いたオブジェクト識別手法を活用することによって、識別対象となるオブジェクトの形が変形していた場合でも、オブジェクトの識別は可能であるものとする。
【００８１】
この場合、データベースサーバ３にデータを予め登録しておくことにより、動物や植物といった企業が提供していないオブジェクトにかかるオブジェクト情報についても、本発明によって提供されるサービスを実現することができる。
【００８２】
尚、ある一定の閾値以上で近似した色情報と特徴情報を有する異なる複数のオブジェクトが存在した場合は、同一のオブジェクトとみなす。
【００８３】
次に、抽出された候補オブジェクトを、データベースサーバ３のオブジェクト情報と照合するオブジェクト照合処理の動作について、図５に基づき説明する。
ここでは、図５に示すように、番組Ａに対応してオブジェクト提供会社１および２とスポンサー企業１を示す提供企業情報が設定されているものとする。
【００８４】
まず、サーバ２は、テレビ映像受信端末４から受信した、オブジェクト指定の行われた年月日情報、時間情報(時刻情報)、チャンネル情報をキーとした番組割り出し要求をデータベースサーバ３に送信する。
データベースサーバ３は、この要求に基づき、テレビ映像受信端末４でオブジェクト指定されたオブジェクト映像を含む番組の割り出しを行う(番組割り出し機能)。
【００８５】
ここで、データベースサーバ３には、図５に示すように、割り出された番組(ここでは番組Ａとする)に対応してオブジェクト提供会社やスポンサー企業の提供企業情報が記憶されているので、番組Ａに対応して記憶された提供企業のオブジェクト情報をオブジェクト情報照合の対象とする。ここでは、番組Ａに対応して記憶されたオブジェクト提供会社１，２、スポンサー企業１のオブジェクト(以下「企業オブジェクト」という)のオブジェクト情報を、オブジェクト情報照合の対象とする。
【００８６】
次いで、データベースサーバ３は、サーバ２が抽出した候補オブジェクトの色情報および特徴情報の数値データに基づき、予め設定された色情報および特徴情報が近似する企業オブジェクトを抽出して、優先的に照合を行う(ステップＳ６：図６)。
【００８７】
尚、データベースサーバ３は、照合処理を行う対象の企業オブジェクトを、色情報と特徴情報の値が予め設定された一定値以上を示す、つまり色情報および特徴情報が近似する、オブジェクトに限定して照合処理を行う設定であってもよい。
これにより、例えば、オブジェクトの照合処理に対する処理負荷が高い、処理性能が低いサーバにおいても、その処理性能に応じた照合処理を実行させることができる。
【００８８】
ここで、データベースサーバ３は、構造抽出法など既存のアルゴリズムを用いて、オブジェクトの照合を行う。この際、サーバ２が抽出した候補オブジェクトの画像とデータベースサーバ３に予め保存された企業オブジェクトの画像との照合を行う。
ここで、照合結果はスコアとして保存される。スコアが高いほど、照合したオブジェクト同士が似ており、同一オブジェクトである可能性が高いことを示している。最高スコアは１００、最低スコアは０とする。
【００８９】
次いで、データベースサーバ３は、上記照合結果に基き、予め設定された一定の値以上のスコアのオブジェクトを示す情報を、オブジェクト候補リストとしてオブジェクト情報と共にサーバ２に送信する(ステップＳ７：図６)。
【００９０】
データベースサーバ３からオブジェクト候補リストを取得したサーバ２は、照合結果をユーザのテレビ映像受信端末４に対してリクエスト結果として送信する(ステップＳ８：図６)。
このオブジェクト情報にはデータベースサーバ３に保存されたオブジェクトの画像、商品名、製造元、定価、オブジェクトの特徴を示す一口メモ、素材情報、カテゴリ情報が含まれる(図３)。これら情報は、オブジェクト提供会社またはスポンサー企業または第三の代行機関によって予めデータベースサーバ３に入力されているものとする。
【００９１】
以下、サーバ２から送られたリクエスト結果(オブジェクト候補リスト)を出力表示する動作について、図６のシーケンスチャートに基き説明する。
尚、この場合も、ユーザのテレビ映像受信端末には実際のデータ送信は行わず、サーバ２は、テレビ映像受信端末４にプレゼンテーションのみ提示する。
これによりユーザはテレビ映像受信端末を通して、サーバ２上のデータを閲覧することができる。
【００９２】
照合結果はスコアが高いものから順に、デフォルトで最大２０まで表示する。ただし、データ自体はサーバ２側で管理する。これにより、テレビ映像受信端末４は、シンクライアントシステムと同様に、オブジェクト候補リストの出力表示のみを行い、ユーザはオブジェクト候補リストの閲覧のみ可能となる。
【００９３】
テレビ映像受信端末４では、リクエスト結果として送り込まれた各オブジェクト候補リストの商品名、製造元、画像、定価、一口メモ、素材情報、カテゴリ情報がオブジェクトごとに表示される(ステップＳ９：図６)。
また、各オブジェクトにかかる情報とは別に、オブジェクト候補リスト内の複数のオブジェクトが有するすべての素材情報とカテゴリ情報が一括表示される。
【００９４】
ユーザは一括表示された素材情報とカテゴリ情報の中から、自分が選択したいオブジェクトが該当すると思われる素材情報とカテゴリ情報とに基づき選択絞込みを行う(ステップＳ１０)。次いで、サーバ２が選択絞込みを反映して候補を再表示する(ステップＳ１１)。
これにより、選択された候補オブジェクト以外の、意図しない候補オブジェクトをオブジェクト候補リストから除外し、ユーザは、所望するオブジェクト候補を出力画面に表示させることができる。
【００９５】
尚、この素材情報やカテゴリ情報はそれぞれ、複数選択することが可能である。また、この素材情報とカテゴリ情報は互いに連動するものとする。
【００９６】
以下に具体例をあげて、説明をする。
リクエスト結果(オブジェクト候補リスト)として「ペットボトル入り緑茶」と「家庭用洗剤」と「細長いクッション」がテレビ映像受信端末に表示されたとする。これらのカテゴリ情報は「飲料」と「家庭用品」と「雑貨」で、素材情報は「プラスチック」と「布」である。
ユーザがカテゴリ情報から「飲料」を選択した場合、自動的に素材情報から「布」はグレーアウトされる。これはカテゴリ情報が「飲料」で素材情報が「布」であるオブジェクトがリストに含まれていないためである。
このようにユーザが素材情報やカテゴリ情報を指定することで、表示された候補オブジェクトの絞り込みができる。
【００９７】
以上のように、ユーザは、テレビ映像受信端末４で素材情報およびカテゴリ情報を指定することにより、オブジェクトの絞込み要求を行う(ステップＳ８：図６)。
次いで、サーバ２は、テレビ映像受信端末４からのオブジェクトの絞り込み要求に応じて絞り込まれたオブジェクト候補リストをテレビ映像受信端末４に再表示する(ステップＳ９：図６)。
【００９８】
これにより、ユーザが、オブジェクト候補リストとして表示されたオブジェクトについて、さらに詳細な情報を取得したい場合は、そのオブジェクトにかかり設定されたＣＭや関連Ｗｅｂサイトを閲覧することができる。
また、商品名をキーにWeb検索を行うこともできる。この場合も、データはサーバ側で管理し、テレビ映像受信端末からは情報の閲覧のみ可能である。
【００９９】
また、上述の実施形態に、商品購入のためのシステムを付加することにより、ユーザは、選択指定したオブジェクトの購入を行うことが可能となる。
具体的には、サーバ２とクレジット会社や商品取扱い会社のサーバを連携させることにより、商品の注文発注を行うことができる。また、この場合、商品取扱い会社のサーバから在庫数を示す情報を取得し、テレビ映像受信端末４に商品購入画面に商品の在庫数を表示できるようにしてもよい。この場合、この商品の在庫数は、おおよその在庫数でも、在庫有・在庫少数・在庫無といった表記であってもよい。
【０１００】
尚、テレビ映像受信端末４で提示されたオブジェクト候補リストの中からユーザが選択したオブジェクト候補の情報は、選択履歴としてサーバ２に保存される設定としてもよい。
この場合、選択履歴はアカウント情報と対応付けされて、予め設定された期間(例えば、一ヶ月)、保存されるものとする。
【０１０１】
このとき、例えば、選択履歴情報が１００個を越えた場合は、古いものから順に履歴が削除される設定としてもよい。また、履歴として保存されたオブジェクトのうち、ユーザが意図的に「保存する」ことを指定したオブジェクト情報は、例えば最大５０オブジェクトまで半永久的に保存するものとする。
尚、アカウント情報に紐付けられて保存されている上記選択履歴情報の数や期限(デフォルトで1ヶ月、最大１００オブジェクト)はユーザによって適宜変更可能であるものとする。また、ユーザが意図的に保存しているオブジェクトの保存数(デフォルトで最大５０オブジェクト)に関しても、ユーザによって変更が可能である。
【０１０２】
以上のように、本実施形態の画像情報取得システムは、映像画面に表示された放送番組映像内の映像物(オブジェクト)がユーザにより選択指定された場合に、選択指定されたオブジェクトの特徴抽出が行われ、データベースに予め登録されたオブジェクトの画像や情報と照合されることにより、選択指定されたオブジェクトが特定されると共に、オブジェクトにかかる情報(オブジェクト情報)をユーザに提供することができる。
【０１０３】
また、本発明によって、インターネットに接続した環境下で、テレビ番組だけでなく、あらゆる映像情報からオブジェクト情報の取得を行うことが可能である。例えば、ユーザは、録画した番組やレンタルショップから借りてきたＤＶＤやビデオ映像に含まれるオブジェクト情報を取得することができる。
【０１０４】
また、本発明によってインターネットに接続した環境では、本発明を適用することにより、ブラウザにより表示された静止画に含まれるオブジェクトの情報も、選択指定することにより任意に取得することができる。
【０１０５】
更に、ユーザが自分で撮影した動画や静止画、Ｗｅｂサイトに掲載されている写真からもオブジェクト情報を取得することができる。
この場合、ユーザは自分で撮影した動画や静止画、Ｗｅｂサイトに掲載されている写真をサーバ２から提供されたインターフェイスを介してアップロードを行い、素材情報やカテゴリ情報と併せてサーバ２に画像を送信することにより、サーバ２ではテレビ映像受信端末４から送信された素材情報、カテゴリ情報をキーに、色情報、特徴情報の値が近いオブジェクトから照合を行っていく。
【０１０６】
また、雑誌、新聞、書籍といった紙媒体や実物からも、オブジェクトを撮影してディジタル画像、映像化することにより、オブジェクト情報を取得することができる。
具体的には、携帯電話やデジタルカメラなどの写真撮影機能を有する装置を用いて、対象となるオブジェクトを撮影し、撮影した写真をテレビ映像受信端末からサーバ２に送信することによって、オブジェクトの情報を取得することできる。
【０１０７】
更に、ＱＲコードが表示してあった場合は、写真でなく、ＱＲコードからもオブジェクトの情報を取得できるものとする。
この場合は、ＱＲコードに、データベースサーバ３のオブジェクト情報テーブルに含まれるオブジェクトコードが格納されることにより、ユーザは迅速にオブジェクト情報を取得することができる。
【産業上の利用可能性】
【０１０８】
本発明は、例えば、ＮＧＮ等により放送網、ＩＰデータ網、固定電話網、携帯電話網が１つのＩＰネットワークに統合された広域ネットワーク環境が実現された場合に、この広域ネットワーク環境に接続可能な映像受信端末を含むネットワーク通信システムに適用することができる。
【符号の説明】
【０１０９】
１  データベースサーバ
２  サーバ
３  データベースサーバ
４  テレビ映像受信端末
５  基地局
【図１】
2010200170.tif 000003
【図２】
2010200170.tif 000004
【図３】
2010200170.tif 000005
【図４】
2010200170.tif 000006
【図５】
2010200170.tif 000007
【図６】
2010200170.tif 000008