(57)【要約】【課題】  放送局が準備した情報以外に、広くインターネット上のＷｅｂサイトから関連情報を、視聴者が極めて簡単に得ることを可能にした情報検索方式を得る。【解決手段】  テレビジョン放送を受信する受信部２０と、この受信映像から特徴画像を抽出する特徴画像抽出部１９とを有する放送受信機１００と、予めサンプル画像とこのサンプル画像に対応したキーワードとを格納したデータベース２３と、放送受信機１００から送信された特徴画像とサンプル画像とを比較してキーワードを決定する情報処理部２２とを有する画像検索サーバ２００と、画像検索サーバ２００から送信されたキーワードに関連する情報を検索する検索エンジン３００とを含む。【選択図】      図２
2008129884.tif 000002
【特許請求の範囲】
【請求項１】
テレビジョン放送を受信する受信手段と、この受信映像から特徴画像を抽出する抽出手段とを有する放送受信機と、
予めサンプル画像とこのサンプル画像に対応したキーワードとを格納したデータベースと、前記放送受信機から送信された前記特徴画像と前記サンプル画像とを比較してキーワードを決定する手段とを有する画像検索サーバと、
前記画像検索サーバで決定された前記キーワードに関連する情報を検索する検索エンジンと、
を含むことを特徴とする情報検索システム。
【請求項２】
前記放送受信機、前記画像検索サーバ、前記検索エンジンは、互いにインターネットにより接続されていることを特徴とする請求項１記載の情報検索システム。
【請求項３】
前記検索エンジンは、前記インターネット上の情報を抽出するための検索サイトであるこを特徴とする請求項２記載の情報検索システム。
【請求項４】
前記抽出手段は、前記受信映像に含まれる人物の顔やテキスト部分、または映像全体に対して一定以上の割合を占める物体を前記特徴画像として抽出することを特徴とする請求項１〜３いずれか記載の情報検索システム。
【請求項５】
前記受信映像は、視聴者の操作タイミング時の映像であることを特徴とする請求項１〜４いずれか記載の情報検索システム。
【請求項６】
前記放送受信機は、携帯端末であることを特徴とする請求項１〜５いずれか記載の情報検索システム。
【請求項７】
テレビジョン放送の受信映像から特徴画像を抽出する機能を有する放送受信機と、予めサンプル画像とこのサンプル画像に対応したキーワードとを格納したデータベースを有する画像検索サーバと、キーワードを用いてこのキーワードに関連する情報を検索する機能を有する検索エンジンとが互いにネットワークを介して接続されてなる情報検索システムにおける情報検索方法であって、
前記放送受信機において、
テレビジョン放送を受信する受信ステップと、この受信映像から特徴画像を抽出する抽出ステップとを有し、
前記画像検索サーバにおいて、
前記放送受信機から送信された前記特徴画像と前記データベースの前記サンプル画像とを比較して前記キーワードを決定するステップを有し、
前記検索エンジンにおいて、
前記画像検索サーバで決定された前記キーワードに関連する情報を検索するステップを有することを特徴とする情報検索方法。
【請求項８】
前記ネットワークはインターネットであり、前記検索エンジンは前記インターネット上の情報を抽出するための検索サイトであるこを特徴とする請求項７記載の情報検索方法。
【請求項９】
前記抽出ステップは、前記受信映像に含まれる人物の顔やテキスト部分、または映像全体に対して一定以上の割合を占める物体を前記特徴画像として抽出することを特徴とする請求項７または８記載の情報検索方法。
【請求項１０】
前記受信映像は、視聴者の操作タイミング時の映像であることを特徴とする請求項７〜９いずれか記載の情報検索方法。
【請求項１１】
前記放送受信機は、携帯端末であることを特徴とする請求項７〜１０いずれか記載の情報検索方法。
【請求項１２】
テレビジョン放送を受信する放送受信機と、予めサンプル画像とこのサンプル画像に対応したキーワードとを格納したデータベースを有し、前記データベースのキーワードを決定する画像検索サーバと、前記キーワードを用いてこのキーワードに関連する情報を検索する検索エンジンとが互いにネットワークを介して接続されてなる情報検索システムにおける放送受信機であって、
テレビジョン放送を受信する受信手段と、
この受信映像から特徴画像を抽出する抽出手段と、
この特徴画像を、前記キーワード決定のために前記サンプル画像と比較をなすべく前記画像検索サーバへ送信する手段とを含むことを特徴とする放送受信機。
【請求項１３】
前記抽出手段は、前記受信映像に含まれる人物の顔やテキスト部分、または映像全体に対して一定以上の割合を占める物体を前記特徴画像として抽出することを特徴とする請求項１２記載の放送受信機。
【請求項１４】
前記受信映像は、視聴者の操作タイミング時の映像であることを特徴とする請求項１２または１３記載の放送受信機。
【請求項１５】
携帯端末であることを特徴とする請求項１３〜１４いずれか記載の放送受信機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報検索システム及びその方法並びにそれに用いる放送受信機に関し、特にテレビジョン放送の受信映像に関連する情報を検索するための情報検索方式に関するものである。
【背景技術】
【０００２】
近年、デジタル放送の普及に伴って、放送番組（ＣＭ（Commercial Message）番組も含む）に映し出された人物や商品に関する情報を提供するサービスがある。このようなサービスでは、番組映像と共に関連情報へのアクセス情報（例えば、ＵＲＬ：Uniform Resource Locator）が、データ放送として放送局から送信されており、これを受信機により受信して、視聴者（ユーザ）の操作によって上述の関連情報へアクセスできるようになっている。
【０００３】
このような従来のサービスでは、放送局が提供する関連情報以外にはアクセスすることができないために、視聴者は、自身が望む情報へ必ずしもアクセスできるとは限らない。このようなユーザの要求に放送局が応えるためには、膨大な数の関連情報とアクセス情報とを事前に準備しなければならなくなる。
【０００４】
ここで、特許文献１を参照すると、画像に関連する情報を容易に抽出するための情報検索技術が開示されている。この技術は以下の如くである。画像の特徴データとその画像に関連するキーワードとを関連付けて管理する画像検索エンジンを設けておき、ユーザは、関連情報を検索したい画像データを、パーソナルコンピュータ（ＰＣ）などの情報端末からネットワークを介してアップロードして当該検索エンジンへ送出する。
【０００５】
そして、この画像検索エンジンでは、ネットワークを介して得られた画像データから特徴データを抽出して、その抽出特徴データと同じデータを有する画像をデータベースから特定し、この特定された画像データに関連したキーワードを抽出して、この抽出キーワードを、キーワード検索エンジンに送信し、画像の関連情報（ＵＲＬを含む）を得るというものである。
【０００６】
【特許文献１】特開２００２−２９７６４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ＣＭ番組やテレビショッピング番組などを含む放送番組にて映し出された人物や商品などに関連する情報の提供サービスでは、上述した如く、視聴者は、放送局が提供する関連情報以外にはアクセスすることができないので、視聴者の要求に充分応えることができず、また放送局が視聴者の要求に応えるためには、膨大な数の関連情報とアクセス情報とを、事前に準備することが必要になるという欠点がある。
【０００８】
また、特許文献１の技術では、ユーザが希望する人物や商品の関連情報を望む場合には、スキャナやデジタルカメラなどの光学読取装置や、更にはＣＤ−ＲＯＭなどの記録媒体に記録されたデータから、その人物や商品の画像データをＰＣなどの情報端末に取込んで、検索エンジンに送信することが必要になる。よって、ユーザによるデータ取込みの操作が煩わしく、また、放送番組に対応できないという問題もある。
【０００９】
本発明の目的は、予め放送局が準備した情報以外に、広くインターネット上のＷｅｂサイトから関連情報を、極めて簡単に得ることができる情報検索システム及びその方法並びに情報処理端末を提供することである。
【課題を解決するための手段】
【００１０】
本発明による情報検索システムは、テレビジョン放送を受信する受信手段と、この受信映像から特徴画像を抽出する抽出手段とを有する放送受信機と、予めサンプル画像とこのサンプル画像に対応したキーワードとを格納したデータベースと、前記放送受信機から送信された前記特徴画像と前記サンプル画像とを比較してキーワードを決定する手段とを有する画像検索サーバと、前記画像検索サーバで決定された前記キーワードに関連する情報を検索する検索エンジンとを含むことを特徴とする。
【００１１】
本発明による情報検索方法は、テレビジョン放送の受信映像から特徴画像を抽出する機能を有する放送受信機と、予めサンプル画像とこのサンプル画像に対応したキーワードとを格納したデータベースを有する画像検索サーバと、キーワードを用いてこのキーワードに関連する情報を検索する機能を有する検索エンジンとが互いにネットワークを介して接続されてなる情報検索システムにおける情報検索方法であって、前記放送受信機において、テレビジョン放送を受信する受信ステップと、この受信映像から特徴画像を抽出する抽出ステップとを有し、前記画像検索サーバにおいて、前記放送受信機から送信された前記特徴画像と前記データベースの前記サンプル画像とを比較して前記キーワードを決定するステップを有し、前記検索エンジンにおいて、前記画像検索サーバで決定された前記キーワードに関連する情報を検索するステップを有することを特徴とする。
【００１２】
本発明による放送受信機は、テレビジョン放送を受信する放送受信機と、予めサンプル画像とこのサンプル画像に対応したキーワードとを格納したデータベースを有し、前記データベースのキーワードを決定する画像検索サーバと、前記キーワードを用いてこのキーワードに関連する情報を検索する検索エンジンとが互いにネットワークを介して接続されてなる情報検索システムにおける放送受信機であって、テレビジョン放送を受信する受信手段と、この受信映像から特徴画像を抽出する抽出手段と、この特徴画像を、前記キーワード決定のために前記サンプル画像と比較をなすべく前記画像検索サーバへ送信する手段とを含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、視聴者は、放送局が予め準備した情報以外にも、広く関連情報を入手できることが可能になるという効果がある。例えば、名前（検索キーワード）が分らないタレントなどの人物や、更にはＣＭやテレビショッピング番組で、視聴者が希望する商品の関連情報を、極めて簡単に素早く検索することが可能であり、放送局側では、関連情報の準備に関する作業やコストを大幅に削減することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下に図面を用いて本発明の実施の形態について説明する。図１は本実施の形態による情報検索システムの概略ブロック図である。図１を参照すると、放送受信機１００と、画像検索サーバ２００と、検索サイト３００と、これらを接続するネットワーク（インターネット）４００とにより構成されている。
【００１５】
放送受信機１００は、据え置き型のテレビ受信機やワンセグ対応携帯端末（携帯電話機）であり、検索サイト３００は既存の検索エンジンを用いることができる。放送受信機１００及び画像検索サーバ２００の具体例が図２に示されている。図２を参照すると、放送受信機１００は、装置各部を制御する制御部（ＣＰＵ）１０と、受信映像や各種情報の表示をなす表示部１１と、テンキーや方向キー、決定／キャンセルキーなどにより構成される操作部１２と、ネットワーク４００とのインタフェースである通信部１３と、制御部１０の制御プログラムなどを記憶した記憶部１４と、受信映像から後述の特徴画像を抽出する画像処理部１７と、デジタル放送の電波を受信し復号化する放送受信部２０とを含む。なお、各部は信号線で接続されているものとする。
【００１６】
記憶部１４は、制御プログラムなどを格納するメモリ１５と、受信波の復号時に用いられて復号化された映像信号を一時的に保存するバッファメモリ１６とを含んでいる。また、画像処理部１７は、任意のタイミング（視聴者のキー操作タイミング）における受信映像（静止画）をバッファメモリ１６から取得する画像取得部１８と、この取得画像から特徴画像を抽出する特徴画像抽出部１９とを含んでいる。
【００１７】
画像検索サーバ２００は、ネットワーク４００とのインタフェースである通信部２１と、特徴画像の判定や検索サイト３００への検索要求処理などを行う情報処理部２２と、判定に用いられるサンプル画像とこのサンプル画像に対応する検索キーワードとを格納したサンプル画像／キーワードデータベース２３とを含んでいる。なお、任意の画像に基づいて類似画像を検索、判定し、関連情報を出力する技術としては、既知の技術を用いることができるので、その詳細については省略するものとする。
【００１８】
図３は受信映像の一例であり、図４は図３の受信映像を基にして放送受信機１００の特徴画像抽出部１９により抽出された特徴画像の一例を示している。本実施の形態における特徴画像抽出部１９は、受信映像から人物の顔やテキスト部分、または受信映像にはないが、映像全体に対して一定以上の割合を占める物体（人物や商品を含む総称）を認識して、画像として抽出する機能を有しており、これまた周知の技術を用いることができる。
【００１９】
図５は画像検索サーバ２００のサンプル画像／キーワードデータベース２３の一例である。サンプル画像に対して、一つまたは複数の検索キーワードが設定されているものとする。図５の例では、サンプル画像である人物の顔の部分に対して、その人物の名前が検索キーワードとして格納されており、また、サンプル画像である乗用車に対して、その乗用車の製造メーカ及び車種名が検索キーワードとして格納されている。
【００２０】
以下に、図６のフローチャートを参照して本発明の実施の形態の動作について説明する。先ず、放送受信機１００においてテレビジョン放送を受信しているとする（ステップＳ１０）。受信中に、視聴者が操作部１２の所定のキーを押したタイミングで（ステップＳ１１）、受信映像からそのときの静止画がバッファメモリ１６から画像取得部１８により取得される（ステップＳ１２）。なお、この取得される静止画は表示部１１に表示されて視聴者が閲覧しているものと実質的に同じ映像であるものとする。次に、取得された静止画から、特徴画像抽出部１９により特徴画像が抽出され（ステップＳ１３）、通信部１３を介して画像検索サーバ２００へ送信される（ステップＳ１４）。
【００２１】
画像検索サーバ２００においては、放送受信機１００から送信されてきた特徴画像が受信され（ステップＳ１５）、サンプル画像／キーワードデータベース２３からこの特徴画像と略一致するサンプル画像が、類似画像検索技術によって検索される（ステップＳ１６）。該当するサンプル画像が見つかった場合（ステップＳ１７）、このサンプル画像に対応して格納されている検索用のキーワードが読出されて検索サイト３００へ通信部２１を介して送信されることになる（ステップＳ１８）。
【００２２】
なお、ステップＳ１５で受信された特徴画像の中に、テキストを抽出したものが存在する場合には、その特徴画像から、文字認識技術によって文字データが抽出されて、これを検索キーワードとして、検索サイト３００へ送信されるものとする。
【００２３】
検索サイト３００においては、画像検索サーバ２００から送信されてきた検索キーワードが受信され（ステップＳ１９）、このキーワードを用いてインターネット４００上の情報が検索されてヒットした情報のＵＲＬが取得される（ステップＳ２０）。そして、この検索結果（ＵＲＬとヒットした情報の概要など）が画像検索サーバ２００へ返信される（ステップＳ２１）。このとき、検索キーワードが複数あった場合には、ステップＳ１８〜Ｓ２１の処理が繰返し行われるものとする。また、ヒットした情報が多数あった場合には、上位から所定数の情報が返信されるようにしても良い。
【００２４】
画像検索サーバ２００では、データベース２３から抽出された検索キーワードと検索サイト３００から受信された検索結果とが関連付けられて放送受信機１００へ返信される（ステップＳ２２）。なお、ステップＳ１７において、特徴画像と一致するサンプル画像が検索されなかった場合には、ステップＳ２２において「該当なし」が検索結果として放送受信機１００へ返信されることになる。最後に、放送受信機１００において、画像検索サーバ２００から返信された検索結果が受信され（ステップＳ２３）、表示部１１に表示される（ステップＳ２４）。
【００２５】
以上の動作を図３の例で説明すると、図３の画像から人物（タレントとする）の顔の部分の画像とテキスト画像（例として、ＣＭのキャッチコピー）が抽出される。そして、顔画像から、「相田○也」というタレントの名前を示す検索キーワードが抽出され（図５参照）、テキスト画像から「夏男の肌に」というコピーが抽出される。この２つが検索キーワードとして検索サイト３００で検索され、インターネット上の膨大な情報のなかから、該当するＵＲＬなどの情報が抽出されるのである。そして、「相田○也」、「夏男の肌に」という各々のキーワード毎に、ＵＲＬなどの情報が放送受信機１００に返信される。
【００２６】
上記の実施の形態においては、放送受信機１００として、据え置き型テレビ受像機やワンセグ対応携帯電話機を例にあげたが、これに限らず、テレビジョン放送受信機能を有する電子機器、情報処理装置などに広く本発明は適用できるものである。また、図６に示した動作フローは、予めその動作手順をプログラムとしてＲＯＭなどのメモリに格納しておき、これをＣＰＵ（コンピュータ）により読み取らせて実行させるように構成できることは勿論である。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態のシステム構成図である。
【図２】本発明の実施の形態の機能ブロック図である。
【図３】受信映像の例を示す図である。
【図４】特徴画像抽出例を示す図である。
【図５】画像／キーワードデータベースの例を示す図である。
【図６】本発明の実施の形態の動作を示すフローチャートである。
【符号の説明】
【００２８】
１０  制御部
１１  表示部
１２  操作部
１３，２１  通信部
１４  記憶部
１５  メモリ
１６  バッファメモリ
１７  画像処理部
１８  画像取得部
１９  特徴画像抽出部
２０  放送受信部
２２  情報処理部
２３  サンプル画像／キーワードデータベース
１００  放送受信機
２００  画像検索サーバ
３００  検索サイト
４００  インターネット
【図１】
2008129884.tif 000003
【図２】
2008129884.tif 000004
【図３】
2008129884.tif 000005
【図４】
2008129884.tif 000006
【図５】
2008129884.tif 000007
【図６】
2008129884.tif 000008