(57)【特許請求の範囲】
【請求項１】
サーバー、多数の使用者インタフェース及び使用者インタフェースをサーバーに接続させる通信ネットワークを含む動画像データ編集及びオブジェクト情報を提供するシステムで使用するための動画像データに基づくオブジェクト情報提供方法であって、
（ａ）多数のフレームを有する動画像データを圧縮することにより、圧縮された動画像フレームを使用者インタフェースの画面表示装置に提供する段階と、
（ｂ）前記圧縮された動画像フレームを格納する段階と、
（ｃ）予め定められた技術を採用することにより予め定められた抽出比率で前記圧縮された動画像フレームからフレームを抽出することにより、抽出フレームと前記抽出フレームの時間的な位置情報を得る段階と、
（ｄ）それぞれの抽出フレームの予め定められた空間的な該当位置に１つ以上のイベントを挿入して改良フレームを使用者インタフェースの画面表示装置に供給し、前記各イベントはそれぞれの改良フレームで該当オブジェクトを示す予め定められた形状のイメージである段階と、
（ｅ）改良フレームを格納する段階と、
（ｆ）サーバー側で、該当使用者インタフェースを介して使用者に初期情報ページを提供する段階と、
（ｇ）使用者側で、該当使用者インタフェースを介して初期情報ページに基づいて圧縮された動画像フレームを含む希望プログラムを選択する段階と、
（ｈ）（ｇ）段階で使用者が希望プログラムを選択した場合、これに関する情報をサーバー側に送り、サーバー側では使用者が選択したプログラムをネットワークを介して使用者インタフェースに提供する段階と、
（ｉ）サーバー側で、使用者が圧縮された映像フレームの中で希望フレームを選択するとき、それの位置情報に基づいて選択された希望フレームに該当するマッチングされた改良フレームを使用者インタフェースの画面表示装置に提供し、このマッチングされた改良フレームは圧縮された動画像フレームの中で前記選択された希望フレームに一番近い改良フレームである段階と、
を含むオブジェクト情報提供方法。
【請求項２】
（ｊ）サーバー側で、使用者がマッチングされた改良フレーム内で希望イベントを選択するとき、希望イベントの該当オブジェクト情報を使用者インタフェースの画面表示装置に提供し、このオブジェクト情報はシステム内のオブジェクト情報データベースに既に格納されている段階を更に含む請求項１に記載のオブジェクト情報提供方法。
【請求項３】
前記オブジェクト情報が製品と前記オブジェクトに対する販売者関連情報を含む請求項２に記載のオブジェクト情報提供方法。
【請求項４】
前記通信ネットワークがインターネットである請求項２に記載のオブジェクト情報提供方法。
【請求項５】
前記使用者インタフェースがそれぞれパーソナルコンピュータである請求項４に記載のオブジェクト情報提供方法。
【請求項６】
前記通信ネットワークが空中波放送網である請求項１に記載のオブジェクト情報提供方法。
【請求項７】
前記使用者インタフェースがそれぞれ無線移動電話である請求項６に記載のオブジェクト情報提供方法。
【請求項８】
前記使用者インタフェースがそれぞれデジタルテレビである請求項６に記載のオブジェクト情報提供方法。
【請求項９】
前記（ｆ）から（ｊ）までの全段階が実時間に行なわれる請求項２に記載のオブジェクト情報提供方法。
【請求項１０】
（ｋ）サーバー側で、使用者がマッチングされた改良フレーム内で希望イベントを選択するとき、インターネットで使用者インタフェースを該当ショッピングセンターサイトに接続させる段階を更に含む請求項４に記載のオブジェクト情報提供方法。
【請求項１１】
前記段階（ｉ）が、
（ｉ１）サーバー側で、使用者が圧縮された動画像フレームの中で希望フレームを選択するとき、この選択時点において希望フレームに一番近い時間的な位置情報を有する改良フレームを探索する段階と、
（ｉ２）選択された希望フレームと一番近い改良フレームの時間的な位置情報に基づいて希望フレームに対応するマッチングされた改良フレームとして前記一番近い改良フレームを使用者インタフェースの画面表示装置に供給する段階を更に含む請求項１に記載のオブジェクト情報提供方法。
【請求項１２】
前記段階（ｃ）が、
（ｃ１）予め定められた抽出比率で圧縮された動画像フレームから抽出された候補抽出フレームを探索する段階と、
（ｃ２）動き推定技術を利用することにより隣接候補抽出フレーム間の類似度を測定する段階と、
（ｃ３）類似度測定結果に基づき、候補抽出フレームの中で抽出フレームを選択し、圧縮された動画像フレーム内の抽出フレームの位置情報を得て、抽出フレームの類似度が予め定められたしきい値より小さいか、または、等しいフレーム抽出段階を含む請求項１に記載のオブジェクト情報提供方法。
【請求項１３】
前記オブジェクトが該当使用者インタフェースのスクリーン上に現れる予め定められた形状のイメージとして現れる該当改良フレームにおける該当製品又は項目を表す請求項１に記載のオブジェクト情報提供方法。
【請求項１４】
前記段階（ｉ）でマッチングされた改良フレームの以前フレーム及びその次の改良フレームが更に使用者インタフェースの画面表示装置に供給される請求項１に記載のオブジェクト情報提供方法。
【請求項１５】
前記段階（ｃ）で抽出比率がＦ１／Ｆ２で表現され、Ｆ１とＦ２はそれぞれ圧縮された動画像フレームにおけるフレームの数と抽出フレームの数を表す請求項１に記載のオブジェクト情報提供方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データ処理方法及びシステムに関し、特に、動画像データを編集し、これに基づいてオブジェクト情報を提供する方法及びシステムに関する。
【０００２】
【従来の技術】
一般に、電子商取引は、広い意味では、組織体、商人、消費者の必要性に応じて商品やサービスの質を改善し、サービス提供速度を増加させながら且つ経費を節減する現代的な事業方法論である。
【０００３】
更に普遍的に、電子商取引は、今日はコンピュータネットワークを介して、将来的には情報高速道路（Ｉ−Ｗａｙ）をなす数多くのネットワーク中のいずれかを介して情報、製品、サービスに関係する。
【０００４】
このような電子商取引が活性化されるにつれ、多くの消費者は、映画やドラマを観る間にテレビあるいはＰＣモニタスクリーンに現れる製品、項目またはサービス等に関する情報を得ることを望む事が考えられる。
【０００５】
即ち、例えば、ある視聴者がテレビで動画像を含む映画やドラマをみるとき、その視聴者はテレビスクリーンに背景画面の一部として現れる多様な製品或いは項目、例えば、本や雑誌又は家電機構に関心を持つであろう。
【０００６】
更に、視聴者は多様なアクセサリ、例えば、女優の帽子、衣裳及びイアリングに興味を持つであろう。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来技術では、動画像の一部としてスクリーンに現れるそのような製品或いは項目に関する情報を視聴者に供給するための適当な方法及び／或いは手段は存在しなかった。
【０００８】
従って、本発明の主な目的は、動画像データを編集し、これに基づいて通信ネットワークを介して使用者にオブジェクト情報を提供するオブジェクト情報提供方法及びシステムを提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、サーバー、多数の使用者インタフェース及び使用者インタフェースをサーバーに接続させる通信ネットワークを含む動画像データ編集及びオブジェクト情報を提供するシステムで使用するための動画像データに基づくオブジェクト情報提供方法であって、（ａ）多数のフレームを有する動画像データを圧縮することにより、圧縮された動画像フレームを使用者インタフェースの画面表示装置に提供する段階と、（ｂ）前記圧縮された動画像フレームを格納する段階と、（ｃ）予め定められた技術を採用することにより予め定められた抽出比率で前記圧縮された動画像フレームからフレームを抽出することにより、抽出フレームと前記抽出フレームの時間的な位置情報を得る段階と、（ｄ）それぞれの抽出フレームの予め定められた空間的な該当位置に１つ以上のイベントを挿入して改良フレームを使用者インタフェースの画面表示装置に供給し、前記各イベントはそれぞれの改良フレームで該当オブジェクトを示す予め定められた形状のイメージである段階と、（ｅ）改良フレームを格納する段階と、（ｆ）サーバー側で、該当使用者インタフェースを介して使用者に初期情報ページを提供する段階と、（ｇ）使用者側で、該当使用者インタフェースを介して初期情報ページに基づいて圧縮された動画像フレームを含む希望プログラムを選択する段階と、（ｈ）（ｇ）段階で使用者が希望プログラムを選択した場合、これに関する情報をサーバー側に送り、サーバー側では使用者が選択したプログラムをネットワークを介して使用者インタフェースに提供する段階と、（ｉ）サーバー側で、使用者が圧縮された映像フレームの中で希望フレームを選択するとき、それの位置情報に基づいて選択された希望フレームに該当するマッチングされた改良フレームを使用者インタフェースの画面表示装置に提供し、このマッチングされた改良フレームは圧縮された動画像フレームの中で前記選択された希望フレームに一番近い改良フレームである段階とを含むオブジェクト情報提供方法が提供される。
【００１０】
【発明の実施の形態】
図１には、本発明の好適な実施の形態により動画像データを編集し、これに基づいてオブジェクト情報を提供するためのオブジェクト情報提供システム５０を示す。図２は、本発明の好適な実施の形態によりオブジェクト情報を提供するための方法を示すフローチャートである。図３（ａ），（ｂ）、図４（ａ），（ｂ）は、本発明の好適な実施の形態によりオブジェクト情報を提供するための過程の間に使用者に提供される情報ページを示す。
【００１１】
以下、図１〜図４を参照して、本発明の好適な実施の形態により動画像データを編集し、通信ネットワークを介して使用者にそれに基づくオブジェクト情報を提供する方法及びシステムを詳細に説明する。
【００１２】
尚、これらの図面において、同一の参照番号は同一の構成要素を意味する。
【００１３】
システム５０は、動画像編集装置１００、動画像フレームデータベース２００、オブジェクト情報データベース３００、改良フレームデータベース４００、サーバー５００、通信ネットワーク６００及び使用者インタフェース７１０、７３０、７５０を含んでおり、少なくともこれらにより構成されている。
【００１４】
動画像編集装置１００は、圧縮回路１２０、フレーム抽出回路１４０及びイベント挿入回路１６０を備える。サーバー５００は、中央処理装置（以下、ＣＰＵと称する）５１０及びデータベース５２０を備える。ＣＰＵ５１０は、システム５０内の全回路又は装置の全体的な動作を制御する。
【００１５】
通信ネットワークは、典型的にＨＴＴＰ（ｈｙｐｅｒｔｅｘｔ  ｔｒａｎｓｆｅｒ  ｐｒｏｔｏｃｏｌ）を採用するインターネットである。しかし、通信ネットワークは、他のネットワーク、例えば、近距離情報通信網（ＬＡＮ）、付加価値情報通信網（ＶＡＮ）、遠距離情報通信網（ＷＡＮ）、総合情報通信網（ＩＳＤＮ）、広域総合情報通信網（ＢＩＳＤＮ）或いは無線放送網である。使用者インタフェース７１０、７３０、７５０は、典型的にパーソナルコンピュータであるが、これに制限されないことは勿論である。例えば、使用者インタフェースとして、それぞれ無線移動電話或いはデジタルテレビを採用することができる。
【００１６】
動画像編集装置１００は、動画像データ、例えば、ドラマ或いは映画プログラムのビデオ及びオーディオ信号の編集と、これによる圧縮動画像フレーム及び改良フレーム供給を行なう。動画像データは種々の形態を取ることができる。
【００１７】
より詳細に説明すると、動画像編集装置１００において、圧縮回路１２０は、先ず外部の動画像データソース装置、例えば、デジタルテレビ、ビデオカセットレコーダー或いはＣＤドライバが装着されているパーソナルコンピュータから多数のフレームを有する動画像データを受信する。この実施の形態では、当該動画像データを供給する他の装置は多数存在する。
【００１８】
次いで、圧縮回路１２０は、従来技術、例えば、動画像圧縮標準（ＭＰＥＧ）アルゴリズムを利用して動画像データを圧縮することにより、圧縮された動画像フレームをラインＬ１を介して動画像データベース２００に供給する。
【００１９】
そして、動画像フレームデータがアナログ形態で圧縮回路１２０に供給されると、圧縮回路１２０はアナログのデジタル変換器（図示せず）で動画像データをデジタル化された動画像データに変換し、その後、デジタル化された動画像データを圧縮された動画像フレームとして圧縮する。
【００２０】
動画像フレームデータベース２００は、圧縮動画像フレームを格納する。この圧縮動画像フレームは、ラインＬ２を介してフレーム抽出回路１４０に供給される。フレーム抽出回路１４０は、予め定められた技法で圧縮動画像フレームからフレームを抽出することにより、抽出フレーム及びその位置情報を得た後、これらをラインＬ３を介してイベント挿入回路１６０に提供する。この場合、抽出比率はＦ１／Ｆ２と表す。ここでＦ１及びＦ２は、それぞれ元の圧縮された動画像フレームにおけるフレームの数、及び抽出フレームの数を表す。本発明の好適な実施の形態で、抽出比率は、約５０〜２００の範囲を有する。
【００２１】
更に詳しく説明すると、フレーム抽出回路１４０は、先ず、例えば、デシメーション（ｄｅｃｉｍａｔｉｏｎ）方法を採用することにより、圧縮された動画像フレームから現在の抽出比率、例えば５０で候補抽出フレームを検索し、その後、動き推定技術を利用することにより、類似度、例えば、隣接候補抽出フレーム間の類似度、現在フレームと以前フレームとの間の画素値の絶対誤差の和を測定する。
【００２２】
その後、フレーム抽出回路１４０は、求められた類似度測定結果に基づいて候補抽出フレームの中で抽出フレームを選択し、且つ圧縮された動画像フレーム内の抽出フレームの位置情報を得て、これらをイベント挿入回路１６０に提供する。ここで、抽出フレームは測定された類似度が予め定められたしきい値を満たす候補抽出フレームである。
【００２３】
イベント挿入回路１６０は、予め定められた挿入技術、例えば、マップタグ技術を採用することで、それぞれの抽出フレーム内に予め定められた該当位置に１つ以上のイベントを挿入することにより、改良されたフレームを供給する。ここで、各イベントは、それぞれの改良フレームで該当オブジェクトを示す予め定められている形状、例えば図４（ｂ）に示すように、手のイメージである。
【００２４】
この場合、オブジェクトは、該当使用者インタフェース（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ：ＵＩ）のスクリーン上に示される予め定められた形状のイメージとして該当改良フレームの該当製品又は項目を表す。
【００２５】
改良フレームは、ラインＬ４を介して改良フレームデータベース４００に連結される。改良フレームデータベースは、改良フレームをそこに格納する。オブジェクト情報データベース３００には、オブジェクト、例えば、製品又は図４（ｂ）に示すように販売者関連情報に対する情報が予め格納されている。
【００２６】
図２及び図３（ａ），（ｂ）、図４（ａ），（ｂ）を参照して、本発明の好適な実施の形態によりオブジェクト情報を提供する方法又は過程を説明する。
【００２７】
先ず、段階３１１で、使用者は該当使用者インタフェースを用いて通信ネットワーク６００を介してサーバー５００に接続する。そうすると、段階３１２で、サーバーは初期情報ページ、例えば、ウェッブページを該当ＵＩを介して、例えばＵＩ７１０のスクリーン上に供給する。
【００２８】
段階３１３で、初期情報ページで与えられた情報に基づいて、使用者は該当ＵＩを介して圧縮動画像フレームを含む希望プログラムを選択する。例えば、図３（ａ）を参照すると、プログラム名探索ウィンドウ９２１、プログラム分類探索ウィンドウ９２２、推薦プログラムウィンドウ９２３、及び初期モニタスクリーン９２５を含む例示的なウェッブページ９００が示されている。
【００２９】
使用者は、プログラム名探索ウィンドウ９２１或いはプログラム分類探索ウィンドウ９２２を使用して希望プログラムを選択することができる。ここで、探索ウィンドウ９２１，９２２は、それぞれの予め定められた探索技術を採用することにより使用者が希望プログラムを検索することができるようにする。
【００３０】
使用者は、更に推薦プログラムウィンドウ９２３を用いて希望プログラムを選択することもできる。説明の便宜上、当業者にとって自明であるウィンドウ９２１，９２２，９２３で行なわれる詳細な探索過程は省略する。
【００３１】
次に、段階３１４で、サーバーは希望プログラムを使用者に供給する。更に詳細に説明すると、使用者インタフェースからの圧縮された動画像フレームを含む希望プログラム要請に対する応答として、サーバー５００はラインＬ５を介して動画像プログラムデータベース２００から希望プログラムを検索して通信ネットワーク６００を介して該当使用者インタフェースに供給する。
【００３２】
図３（ｂ）は、使用者により選択された映画に対する圧縮された動画像フレームを含む希望プログラムのスクリーンイメージとしてウェッブページ９３０内の例示的なフレーム９３６を示す。図３（ｂ）には、早巻戻しメニュー９３１、巻戻しメニュー９３２、停止メニュー９３３、再生メニュー９３４、早送りメニュー９３５が示されている。当業者にとって自明であるこのようなメニューの詳細な機能及び動作の説明は省略する。
【００３３】
この後、段階３１５で、使用者は希望フレーム、例えば、圧縮された動画像フレームの中でフレーム９３６を選択する。そうすると、段階３１６で、使用者が希望フレームを選択するとき、サーバー５００は位置情報に基づいて選択された希望フレームに該当する１つ以上のマッチングされた改良フレーム、例えば、改良フレーム９５１，９５３，９５６を、図４（ａ）に示すようにウェッブページ９５０に供給する。
【００３４】
本発明の他の好適な実施の形態によると、段階３１６で、使用者が希望フレームを選択するとき、サーバー５００は１つのみのマッチングされた改良フレームを供給する。この場合、マッチングされた改良フレームは希望フレームに一番近い改良フレームである。
【００３５】
詳細にすると、本発明の好適な実施の形態により、段階３１５，３１６で、使用者が圧縮された動画像の中で希望フレームを、例えば、フレーム９３６をマウス（図示せず）をクリックすることにより選択するとき、サーバー５００は位置情報に基づいて選択された希望フレームに対応する前記選択希望フレームに一番近い改良フレームをマッチングされた改良フレームとして検索して供給する。
【００３６】
本発明の他の好適な実施の形態によると、段階３１６で、使用者が希望フレームを選択するとき、サーバー５００は一番近い改良フレーム、以前の改良フレーム及びその次の改良フレームを該当マッチングされた改良フレームとして供給することができる。例えば、図４（ａ）を参照すると、希望フレーム９３６に対して一番近い改良フレーム９５３、以前改良フレーム９５１及びその次の改良フレーム９５６が示されている。
【００３７】
本発明による更に他の好適な実施の形態により、サーバー５００は全圧縮動画像フレームに対応するマッチングされた改良フレームをデータベース５２０に格納して使用者に供給する。即ち、それぞれの圧縮された動画像フレームに対して一番近い該当改良フレームは、データベース５２０に予め格納されており、この後使用者が希望フレームを選択すると、サーバー５００は１つ以上のマッチングされた改良フレームをその使用者に供給する。これは、１つ以上のマッチングされた改良フレームを供給する過程をより容易にする。
【００３８】
図４（ａ）を参照すると、ウェッブページ９５０の改良フレーム９５１，９５３，９５６にいろいろなイベントがある。種々のイベントは、該当オブジェクト、例えば、予め定められているイメージ、例えば、図４（ａ）に示すような手の形状９５２，９５４，９５５によりそれぞれ示すラジオ、青い帽子及び瓶を表すことができる。上記において、オブジェクトは製品であるが、形態のないサービス、例えば、ゲームプログラム、旅行情報などであり得る。
【００３９】
このようなイベントは、ある予め定められた形状、例えば、手、三角形、矢印などのようなもので使用者に提供されることができる。また、ある簡単な説明、例えば、該当イベントにより表示されるオブジェクトの名前を見せることもできる。いくつかの場合、全体フレームがオブジェクト、例えば、会社或いは広告を表す。この場合、イベントは該当オブジェクトを説明することであって、特定位置に挿入されることができる。
【００４０】
次に、段階３１７で、使用者は希望イベントを選択する。そうすると、段階３１８で、サーバー５００は選択された希望イベントの該当オブジェクト情報を使用者に提供する。ここで、オブジェクト情報はシステム５０のオブジェクト情報データベース３００に予め格納されている。これで過程は終了する。
【００４１】
図４（ｂ）はオブジェクト、例えば、図４（ａ）に示すような手形状９５４により示す青い帽子に対する情報を供給するイメージ９７１を含む。オブジェクトに対する情報は動画像フレームとして該当使用者に供給することができる。
【００４２】
本発明の好適な実施の形態により、オブジェクト情報を供給する過程は、サーバー５００が該当オブジェクトにより示す製品の該当ショッピングサイト、例えば、図４（ｂ）に示すようなショッピングメニュー９７５を通じて使用者が接続できるようにする段階を更に含むことができる。
【００４３】
例えば、イメージ９７１は、使用者に製品に関する詳細な情報を提供する詳細メニュー９７２及び製品と密接に関連されている製品に関する情報を提供する関連製品メニュー９７３を更に含むことができる。
【００４４】
本発明の他の好適な実施の形態により、使用者がインタフェースがデジタルテレビであるとき、予め定められた会社或いは製品を表すオブジェクトに対するイベントは、使用者が希望フレームを選択するとき毎に、例えば、所謂ピクチャ−イン−ピクチャ（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ）技術を使用することにより、デジタルテレビの四角ウィンドウ状にスクリーンの隅に現れることもできる。
【００４５】
以上、本発明の好適な実施の形態について説明したが、本発明の主旨を逸脱することなく、種々の改良・変更が可能であることは勿論である。
【００４６】
【発明の効果】
以上詳述したように、本発明によれば、動画像データを編集し、これに基づいて通信ネットワークを介して使用者にオブジェクト情報を提供するオブジェクト情報提供方法及びシステムを提供することができる。
【図面の簡単な説明】
【図１】本発明の好適な実施の形態により動画像データを編集し、これに基づきオブジェクト情報を提供するためのオブジェクト情報提供システムを示す図である。
【図２】本発明の好適な実施の形態によりオブジェクト情報を提供するための方法を示すフローチャートである。
【図３】（ａ）及び（ｂ）は、本発明の好適な実施の形態によりオブジェクト情報を提供するための過程の間に使用者に提供される情報ページを示す図である。
【図４】（ａ）及び（ｂ）は、本発明の好適な実施の形態によりオブジェクト情報を提供するための過程の間に使用者に提供される情報ページを示す図である。
【符号の説明】
１００  動画像編集装置
１２０  圧縮
１４０  フレーム抽出
１６０  イベント挿入
２００  動画像フレームデータベース
３００  オブジェクト情報データベース
４００  改良フレームデータベース
５００  サーバー
５１０  中央処理装置
５２０  データベース
６００  通信ネットワーク
７１０，７３０，７５０  使用者インタフェース
９００，９３０，９５０，９７０  ウェッブページ
【図１】
0003540721.tif 000002
【図２】
0003540721.tif 000003
【図３】
0003540721.tif 000004
【図４】
0003540721.tif 000005