(57)【要約】【課題】  テレビ放送の視聴中にインターネットによる検索を促すための画像及び音声が出力された場合に、ユーザの検索操作をより簡略化させることができる情報端末装置を提供することを目的とする。【解決手段】  ＴＶ放送コンテンツデータ取得部６Ａが、テレビ放送コンテンツデータを取得し、識別情報判別部７１が、ネット検索を行うことを促していることを示す識別情報がテレビ放送コンテンツデータに含まれているか否かを判別する。そして、識別情報が判別されたタイミングに基づいて、キーワード抽出部７２が、テレビ放送コンテンツデータから検索キーワードを抽出する。この様にして抽出された検索キーワードは、キーワード送信部８１により検索サイトへ送信され、検索サイトから受信した検索結果が表示制御部９によりディスプレイ３上に表示される。【選択図】  図２
2014033257.tif 000002
【特許請求の範囲】
【請求項１】
テレビ画像データ又はテレビ音声データからなるテレビ放送コンテンツデータを取得するコンテンツ取得手段と、
インターネット上でのキーワード検索を促していることを示す識別情報が上記テレビ放送コンテンツデータに含まれているか否かを判別する識別情報判別手段と、
上記識別情報が判別されたタイミングに基づいて、上記テレビ放送コンテンツデータから検索キーワードを抽出するキーワード抽出手段と、
インターネット上の検索サイトへ上記検索キーワードを送信するキーワード送信手段と、
上記検索サイトから受信した検索結果に基づいて表示を行う検索結果表示手段とを備えたことを特徴とする情報端末装置。
【請求項２】
上記識別情報判別手段は、上記テレビ音声データに上記識別情報が含まれているか否かを判別することを特徴とする請求項１に記載の情報端末装置。
【請求項３】
上記キーワード抽出手段は、上記テレビ画像データから上記検索キーワードを抽出することを特徴とする請求項２に記載の情報端末装置。
【請求項４】
上記識別情報はクリック音であることを特徴とする請求項３に記載の情報端末装置。
【請求項５】
上記キーワード抽出手段は、検索枠の内部に表示されている文字列を上記検索キーワードとして抽出することを特徴とする請求項３に記載の情報端末装置。
【請求項６】
上記検索結果表示手段は、上記検索結果を表示することを特徴とする請求項１〜５のいずれかに記載の情報端末装置。
【請求項７】
上記検索結果表示手段は、上記検索結果に含まれるリンク情報のリンク先のウェブサイトを表示することを特徴とする請求項１〜５のいずれかに記載の情報端末装置。
【請求項８】
上記コンテンツ取得手段は、テレビ放送波を受信するチューナと、受信した上記テレビ放送波を上記テレビ放送コンテンツデータに変換するデコーダとを有することを特徴とする請求項１〜７のいずれかに記載の情報端末装置。
【請求項９】
上記コンテンツ取得手段は、テレビ受信装置のディスプレイ上に表示されたテレビ画像を撮像するための撮像手段と、上記テレビ受信装置のテレビ音声を入力するための音声入力手段とを有することを特徴とする請求項１〜７のいずれかに記載の情報端末装置。
【請求項１０】
上記識別情報判別手段は、上記テレビ画像データに上記識別情報が含まれているか否かを判別することを特徴とする請求項１に記載の情報端末装置。
【請求項１１】
テレビ画像データ又はテレビ音声データからなるテレビ放送コンテンツデータを取得するコンテンツ取得ステップと、
インターネット上でのキーワード検索を促していることを示す識別情報が上記テレビ放送コンテンツデータに含まれているか否かを判別する識別情報判別ステップと、
上記識別情報が判別されたタイミングに基づいて、上記テレビ放送コンテンツデータから検索キーワードを抽出するキーワード抽出ステップと、
インターネット上の検索サイトへ上記検索キーワードを送信するキーワード送信ステップと、
上記検索サイトから受信した検索結果を表示する検索結果表示ステップとをコンピュータに実行させるための手順からなることを特徴とする情報端末装置用のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報端末装置及びそのプログラムに係り、更に詳しくは、テレビ放送に連動してインターネット上でキーワード検索を行う情報端末装置の改良に関する。
【背景技術】
【０００２】
例えば、テレビ放送のコマーシャルメッセージ（以下、ＣＭという。）では、商品情報などに関するウェブサイトへのアクセスを促すために、短い文字列を提示し、この文字列を検索キーワードとしてインターネット上で検索（以下、ネット検索という。）を行うように促すことが広く行われている。このようなネット検索を行うには、インターネット上の検索サイトに対し、ユーザ自身が検索キーワードを入力する必要がある。
【０００３】
そこで、テレビ放送コンテンツデータから文字列を自動抽出し、当該文字列を用いてネット検索を行うことができるテレビジョン装置が従来から知られている（例えば、特許文献１）。特許文献１には、ＯＣＲ技術を用いて、テレビ画像に含まれる文字列を抽出し、当該文字列を用いてネット検索を行うテレビジョン装置が記載されている。また、テレビ音声から文字列を抽出し、当該文字列を検索キーワードとしてネット検索を行うことも記載されている。
【０００４】
しかしながら、特許文献１のテレビジョン装置は、ユーザがリモコン装置のキーを押すことにより、テレビ放送コンテンツデータから文字列が抽出されるように構成されている。このため、検索キーワードを抽出するタイミングは、ユーザ自身が指定しなければならず、煩雑であるという問題があった。
【０００５】
また、ウェブサイトへのアクセスを促すＣＭの場合、検索キーワードが提示されている期間は数秒であり、ユーザは、このような短い期間内にリモコン装置のキー操作を行わなければならない。このため、適切なタイミングで操作を行うことは容易ではなく、リラックスしてテレビ放送を視聴することができないという問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１４１８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記の事情に鑑みてなされたものであり、検索キーワードを抽出するタイミングをユーザが指示することなく、テレビ放送がネット検索を促しているタイミングで検索キーワードを自動的に抽出し、その検索結果を表示する情報端末装置を提供することを目的とする。
【０００８】
また、本発明は、リラックスしてテレビ放送を視聴しつつ、テレビ放送において提示されたウェブサイトへ容易にアクセスすることができる情報端末装置を提供することを目的とする。
【０００９】
さらに、本発明は、テレビ放送においてネット検索を促しているタイミングで検索キーワードを抽出する処理を高い精度で行うことができる情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の本発明による情報端末装置は、テレビ画像データ又はテレビ音声データからなるテレビ放送コンテンツデータを取得するコンテンツ取得手段と、インターネット上でのキーワード検索を促していることを示す識別情報が上記テレビ放送コンテンツデータに含まれているか否かを判別する識別情報判別手段と、上記識別情報が判別されたタイミングに基づいて、上記テレビ放送コンテンツデータから検索キーワードを抽出するキーワード抽出手段と、インターネット上の検索サイトへ上記検索キーワードを送信するキーワード送信手段と、上記検索サイトから受信した検索結果に基づいて表示を行う検索結果表示手段とを備えて構成される。
【００１１】
この様な構成によれば、検索キーワードを抽出するタイミングをユーザが指示しなくても、ネット検索を促していることを示す識別情報が判別されたタイミングに基づいて、検索キーワードを自動的に抽出し、その検索結果に基づく表示を行うことができる。特に、検索キーワードが提示されている短い期間に急いでキー操作を行う必要がないため、ユーザは、テレビ放送をリラックスして視聴しつつ、テレビ放送において提示されたウェブサイトへ容易にアクセスすることができる。
【００１２】
第２の本発明による情報端末装置は、上記構成に加え、上記識別情報判別手段が、上記テレビ音声データに上記識別情報が含まれているか否かを判別するように構成される。
【００１３】
この様な構成によれば、テレビ音声データにおいてインターネット上でのキーワード検索を促していると判別されたタイミングに基づいて、テレビ放送コンテンツデータから検索キーワードを抽出することができる。
【００１４】
第３の本発明による情報端末装置は、上記構成に加え、上記キーワード抽出手段が、上記テレビ画像データから上記検索キーワードを抽出するように構成される。
【００１５】
この様な構成によれば、テレビ音声データに基づいて検索キーワードを抽出するタイミングを取得し、当該タイミングに基づいて、テレビ画像データから検索キーワードを抽出することができる。このため、テレビ音声データ又はテレビ画像データの一方のみに基づいて、検索キーワードを自動的に抽出する場合に比べ、テレビ放送がネット検索を促しているタイミングで検索キーワードを抽出する処理を高い精度で行うことができる。
【００１６】
第４の本発明による情報端末装置は、上記構成に加え、上記識別情報がクリック音からなるように構成される。この様な構成によれば、テレビ音声データにクリック音が含まれているか否かを判別することにより、検索キーワードを抽出するタイミングを取得することができる。従って、検索キーワードを抽出するタイミングを精度良く判別することができる。また、検索キーワードを抽出するタイミングを取得するための処理負荷を軽減することができる。
【００１７】
第５の本発明による情報端末装置は、上記構成に加え、上記キーワード抽出手段が、検索枠の内部に表示されている文字列を上記検索キーワードとして抽出するように構成される。この様な構成によれば、検索枠の内部に表示されている文字列を検索キーワードとして抽出するので、検索キーワードを誤って抽出することを抑制することができる。
【００１８】
第６の本発明による情報端末装置は、上記構成に加え、上記検索結果表示手段が、上記検索結果を表示するように構成される。
【００１９】
第７の本発明による情報端末装置は、上記構成に加え、上記検索結果表示手段が、上記検索結果に含まれるリンク情報のリンク先のウェブサイトを表示するように構成される。
【００２０】
第８の本発明による情報端末装置は、上記構成に加え、上記コンテンツ取得手段が、テレビ放送波を受信するチューナと、受信した上記テレビ放送波を上記テレビ放送コンテンツデータに変換するデコーダとを有するように構成される。この様な構成によれば、テレビ放送波に基づいて、検索キーワードの抽出を行い、ＣＭで提示されたウェブサイトへ容易にアクセスすることができる。
【００２１】
第９の本発明による情報端末装置は、上記構成に加え、上記コンテンツ取得手段が、テレビ受信装置のディスプレイ上に表示されたテレビ画像を撮像するための撮像手段と、上記テレビ受信装置のテレビ音声を入力するための音声入力手段とを有するように構成される。この様な構成によれば、情報端末装置がテレビ放送波を受信することなく、テレビ受信装置の出力に基づいて、検索キーワードの抽出を行い、ＣＭで提示されたウェブサイトへ容易にアクセスすることができる。
【００２２】
第１０の本発明による情報端末装置は、上記構成に加え、上記テレビ放送コンテンツデータが、テレビ画像データを有し、上記識別情報判別手段が、上記テレビ画像データに上記識別情報が含まれているか否かを判別するように構成される。この様な構成によれば、テレビ画像データにより、インターネット上での検索を促していると判別されたタイミングに基づいて、テレビ放送コンテンツデータから検索キーワードを抽出することができる。
【００２３】
第１１の本発明による情報端末装置用のプログラムは、テレビ画像データ又はテレビ音声データからなるテレビ放送コンテンツデータを取得するコンテンツ取得ステップと、インターネット上でのキーワード検索を促していることを示す識別情報が上記テレビ放送コンテンツデータに含まれているか否かを判別する識別情報判別ステップと、上記識別情報が判別されたタイミングに基づいて、上記テレビ放送コンテンツデータから検索キーワードを抽出するキーワード抽出ステップと、インターネット上の検索サイトへ上記検索キーワードを送信するキーワード送信ステップと、上記検索サイトから受信した検索結果を表示する検索結果表示ステップとをコンピュータに実行させるための手順からなる。
【発明の効果】
【００２４】
本発明による情報端末装置は、インターネット上でのキーワード検索を促していることを示す識別情報がテレビ放送コンテンツデータに含まれていることが判別されたタイミングに基づいて、テレビ放送コンテンツデータから検索キーワードを抽出する。
【００２５】
このため、検索キーワードを抽出するタイミングをユーザが指示することなく、テレビ放送がネット検索を促しているタイミングで検索キーワードを自動的に抽出し、その検索結果を表示させることができる。また、ユーザは、リラックスしてテレビ放送を視聴しつつ、テレビ放送において提示されたウェブサイトへ容易にアクセスすることができる。
【００２６】
また、本発明による情報端末装置は、テレビ音声データに識別情報が含まれていることが判別されたタイミングに基づいて、テレビ画像データから検索キーワードを抽出する。
【００２７】
このため、テレビ音声データ又はテレビ画像データの一方のみに基づいて、検索キーワードを自動的に抽出する場合に比べ、テレビ放送がネット検索を促しているタイミングで検索キーワードを抽出する処理を高い精度で行うことができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の形態１による情報端末装置を含むＴＶ連動検索システム１００の一例を示したシステム図である。
【図２】図１の携帯電話機１Ａの内部構成の一例を示したブロック図である。
【図３】図２のキーワード指定部７の詳細構成の一例を示したブロック図である。
【図４】図１のディスプレイ３に表示されるネット検索を促すテレビ画像の一例を示した図である。
【図５】図１のディスプレイ３に表示される検索結果表示画面の一例を示した図である。
【図６】図１のディスプレイ３に表示される検索ジャンル選択画面が示されている。
【図７】図１の携帯電話機１Ａにおけるテレビ放送受信時の処理の一例を示したフローチャートである。
【図８】本発明の実施の形態２による携帯電話機１Ｂを用いてテレビ放送コンテンツデータを取得する際の様子を示した図である。
【図９】図８の携帯電話機１Ｂの内部構成の一例を示したブロック図である。
【図１０】図８の携帯電話機１Ｂにおける動作の一例を示したフローチャートである。
【図１１】本発明の実施の形態４による携帯電話機１Ｃの内部構成の一例を示したブロック図である。
【発明を実施するための形態】
【００２９】
実施の形態１．
図１は、本発明の実施の形態１による情報端末装置を含むＴＶ連動検索システム１００の一例を示したシステム図であり、情報端末装置の一例として携帯電話機１Ａが示されている。ＴＶ連動検索システム１００は、携帯電話機１Ａ、放送局２０、セルラー基地局２１、ネットワーク２２及び多数のウェブサーバにより構成される。
【００３０】
携帯電話機１Ａは、放送局２０からテレビ放送波を受信し、テレビ画像を表示するとともにテレビ音声を出力することができる。また、セルラー基地局２１及びネットワーク２２を介して、検索サーバ２３や商品情報サーバ２４などのウェブサーバにアクセスし、これらのウェブサーバが提供するページデータを受け取って表示することができる。
【００３１】
検索サーバ２３は、検索サイトを構成するウェブサーバであり、クライアント端末から検索キーワードを含む検索要求を受信し、当該検索キーワードと関連性の高いウェブサイトへのリンク情報を含むページデータを当該クライアント端末へ提供する。このため、携帯電話機１Ａは、検索キーワードを指定した検索要求を検索サーバ２３へ送信すれば、その検索結果のページデータを受け取り、検索結果を表示することができる。この様な検索サイトとして、例えば、ＧｏｏｇｌｅやＹａｈｏｏが知られている（いずれも登録商標）。
【００３２】
商品情報サーバ２４は、商品情報を含むページデータを提供する商品情報サイトのウェブサーバであり、クライアント端末からの閲覧要求に基づいて、商品情報を含むページデータを当該クライアント端末へ提供する。このため、携帯電話機１Ａは、閲覧要求を商品情報サーバ２３へ送信すれば、商品情報のページデータを受け取って、商品情報を表示することができる。
【００３３】
携帯電話機１Ａは、略矩形の薄型筐体からなり、その前面には、ディスプレイ３が配置されている。ディスプレイ３は、画像を表示する表示手段であり、その表示面には、ユーザのタッチ操作を検出するためのタッチセンサが形成されている。
【００３４】
携帯電話機１Ａでは、テレビ視聴中にネット検索を促すテレビ放送を受信し、検索キーワードがディスプレイ３上に表示された場合に、この検索キーワードを自動的に抽出し、検索サーバ２３に対し、当該検索キーワードを指定した検索要求を行う。
【００３５】
図２は、図１の携帯電話機１Ａの内部構成の一例を示したブロック図である。携帯電話機１Ａは、ディスプレイ３、ＴＶ放送コンテンツデータ取得部６Ａ、キーワード指定部７、セルラー通信部８及び表示制御部９により構成される。
【００３６】
ＴＶ放送コンテンツデータ取得部６Ａは、テレビ放送波に基づいて、テレビ放送コンテンツデータを取得する取得手段である。テレビ放送コンテンツデータは、テレビ放送波に含まれるテレビ画像データ又はテレビ音声データからなる。ＴＶ放送コンテンツデータ取得部６Ａは、放送局２０から発信されているテレビ放送波を受信し、このテレビ放送波からテレビ放送コンテンツデータを生成する。
【００３７】
ＴＶ放送コンテンツデータ取得部６Ａは、チューナ６１及びデコーダ６２により構成される。チューナ６１は、テレビ放送受信用のアンテナを介して放送局２０からのテレビ放送波を受信する処理を行う。デコーダ６２は、チューナ６１から出力される受信信号をデコードすることにより、テレビ放送コンテンツデータに変換する処理を行う。
【００３８】
キーワード指定部７は、テレビ放送コンテンツデータに基づいて、検索サイト２３に対し検索要求を行うための検索キーワードを指定するキーワード指定手段である。具体的には、テレビ画像データ又はテレビ音声データに含まれる文字列を抽出し、検索キーワードとして指定する処理を行う。
【００３９】
セルラー通信部８は、セルラー基地局２１及びネットワーク２２を介して検索サーバ２３との間でデータの送受信を行う通信手段である。ここでは、キーワード指定部７により指定された検索キーワードを検索サーバ２３へ送信し、検索サーバ２３から検索結果を示すページデータを受信するものとする。
【００４０】
セルラー通信部８は、キーワード送信部８１及びページデータ受信部８２により構成される。キーワード送信部８１は、キーワード指定部７により指定された検索キーワードを検索サーバ２３へ送信する処理を行う。ページデータ受信部８２は、検索サーバ２３から検索結果を示すページデータを受信する処理を行う。
【００４１】
表示制御部９は、ディスプレイ３の表示制御を行う制御手段である。表示制御部９及びディスプレイ３は、ページデータ受信部８２が受信したページデータを表示する検索結果表示手段を構成している。
【００４２】
図３は、図２のキーワード指定部７の詳細構成の一例を示したブロック図である。キーワード指定部７は、識別情報判別部７１、キーワード抽出部７２、キーワード決定部７３、ジャンル情報保持部７４、ジャンル選択部７５及び未選択ジャンル保持部７６により構成される。
【００４３】
識別情報判別部７１は、識別情報がテレビ放送コンテンツデータに含まれるか否かを判別する判別手段である。識別情報は、テレビ放送コンテンツデータに含まれる情報であって、テレビ放送コンテンツがネット検索を促していることを示す情報であり、予め定められている。このため、テレビ放送コンテンツデータに識別情報が含まれていることが判別できれば、そのときのテレビ放送コンテンツはキーワード検索を促していると判断することができる。
【００４４】
この識別情報は、テレビ音声データ又はテレビ画像データのいずれに含まれる情報であってもよい。テレビ音声データに含まれる識別情報には、例えば、「続きはＷＥＢで」、「で検索」などの音声や、検索用ウェブサイトによる検索動作を示すクリック音がある。また、テレビ画像データに含まれる識別情報には、例えば、検索を行うための検索ボタンなどがある。
【００４５】
ここでは、識別情報判別部７１が、テレビ音声データに識別情報が含まれるか否かを判別する処理を行うものとする。例えば、検索サイトにおいて検索要求を行うときの画面表示を模した動画像からなるテレビ放送において、検索ボタンをクリックしたときに出力されるクリック音を判別する。このクリック音の判別は、例えば、所定の周波数帯域の音声を検出することによって行うことができる。あるいは、周知の音声認識処理により、テレビ音声データを分析し、一連の文字コードからなる文字列を生成し、生成された文字列が「続きはＷＥＢで」又は「で検索」などの識別情報と一致するか否かを判別する。
【００４６】
キーワード抽出部７２は、識別情報判別部７１の判別結果に基づいて、テレビ放送コンテンツデータから検索キーワード候補を抽出するキーワード抽出手段である。識別情報判別部７１は、常時、テレビ放送コンテンツデータに識別情報が含まれるか否かを判別している。その結果、テレビ放送コンテンツデータに識別情報が含まれていると判別された場合、当該判別が行われたタイミングに基づいて、キーワード抽出部７２が、テレビ放送コンテンツデータから検索キーワード候補を抽出する。
【００４７】
ここでは、キーワード抽出部７２が、ＯＣＲ（Optical Character Recognition）処理により、テレビ画像データから検索キーワード候補を抽出するものとする。ＯＣＲ処理では、テレビ画像データに含まれる文字を認識することにより、一連の文字コードからなる文字列が生成される。画像データを解析して文字認識を行う方法としては、例えば、パターンマッチングによる方法が用いられる。具体的には、画像データを所定の文字パターンと比較し、この比較結果に基づいて、文字を特定することを繰り返すことにより、文字認識が行われる。なお、誤った文字列が抽出されることを抑制するために、検索キーワードを入力するための検索枠内の文字列を検索キーワード候補として抽出することが望ましい。
【００４８】
この様にして、テレビ音声データに識別情報が含まれることが識別情報判別部７１により判別されると、そのときの音声に対応するテレビ画像データに含まれる文字列が検索キーワード候補としてキーワード抽出部７２により抽出される。このため、検索キーワードを抽出するタイミングをユーザが指示しなくても、テレビ放送がネット検索を促しているタイミングで検索キーワードを自動的に抽出することができ、ユーザは、リラックスしてテレビ放送を視聴することができる。
【００４９】
キーワード決定部７３は、キーワード抽出部７２により抽出された検索キーワード候補が、ジャンル情報保持部７４に保持される文字列と一致するか否かを判別する処理を行う。ジャンル情報保持部７４には、検索キーワードとして指定可能な文字列が保持されている。
【００５０】
具体的には、キーワード決定部７３は、検索キーワード候補がジャンル情報保持部７４に保持される文字列と一致する場合には、この検索キーワード候補を検索キーワードとして指定する。一方、検索キーワード候補がジャンル情報保持部７４に保持される文字列と一致しない場合には、この検索キーワード候補を検索キーワードとして指定しない。
【００５１】
ジャンル選択部７５は、ユーザ操作に基づいて、検索キーワードとして指定可能な文字列をジャンル情報保持部７４に格納する選択手段であり、未選択ジャンル保持部７６に保持されている文字列のうち、ユーザの選択した文字列をジャンル情報保持部７４に格納する。この未選択ジャンル保持部７６には、２以上の文字列がジャンルに対応づけて保持されている。例えば、「健康」のジャンルには、「健康」及び「元気」の文字列が対応づけられており、ユーザが「健康」のジャンルを選択した場合には、「健康」及び「元気」の文字列が検索キーワードに指定可能な文字列としてジャンル情報保持部７４に格納される。
【００５２】
図４は、図１の携帯電話機１Ａのディスプレイ３に表示されるネット検索を促すテレビ画像の一例を示した図である。この画像は、例えば、ＣＭの視聴中に表示される。
【００５３】
このテレビ画像には、検索枠１０１、検索ボタン１０２及びカーソル１０３が表示されている。これらの画像は、検索サイト上の表示を模した画像である。すなわち、検索枠１０１は、１行の文字列のみを表示可能な横長の矩形枠、検索ボタン１０２は、検索枠１０１の右側に隣接して配置された矩形ボタン、カーソル１０３はマウスカーソルをそれぞれ模した画像からなる。ここでは、検索キーワードとして、文字列「ＸＹＺ社新製品」が検索枠１０１内に表示されている。このＣＭでは、カーソル１０３が検索ボタン１０２の位置に移動して検索ボタン１０２を押下する操作が動画で示されるとともに、「ＸＹＺ社新製品で検索」という音声及びクリック音がスピーカ（図示せず）から出力される。
【００５４】
図５は、図１の携帯電話機１Ａのディスプレイ３に表示される検索結果表示画面の一例を示した図である。この検索結果表示画面は、検索サーバ２３から検索結果を示すページデータを受信した場合に表示される。
【００５５】
検索結果表示画面の上端付近には、検索枠１１１及び検索ボタン１１２が表示され、検索枠１１１内には、この検索において検索キーワードとして指定された文字列「ＸＹＺ新製品」が表示されている。また、その下側には、検索キーワード「ＸＹＺ新製品」に関連付けられたスポンサーサイトが表示されている。この例では、スポンサーサイトとしてタイトル「ＸＹＺ社」を付されたウェブサイトが表示されている。
【００５６】
また、スポンサーサイトの下側には、検索キーワード「ＸＹＺ社新製品」と関連性の高いウェブサイトが一覧表示されている。これらのウェブサイトは検索キーワード「ＸＹＺ新製品」との関連性が高い順に上から表示され、この例では、タイトル「ＸＹＺ社新製品」が付されたウェブサイトが、検索キーワード「ＸＹＺ新製品」との関連性が最も高いウェブサイトとして表示されている。テレビ放送のコマーシャルによりインターネット検索が促された場合には、このコマーシャルの制作者が視聴者にアクセスさせることを意図したウェブサイトが、関連度の最も高いウェブサイトとして表示されることが多い。
【００５７】
図６は、図１の携帯電話機１Ａの動作の一例として、ディスプレイ３に表示される検索ジャンル選択画面が示されている。この検索ジャンル選択画面は、検索キーワードとして指定可能な文字列を選択するためのユーザ操作が行われた場合に表示される。
【００５８】
検索ジャンル選択画面では、ユーザが選択可能なジャンルが整列配置されている。このジャンルには、２以上の文字列が対応付けられており、ユーザがいずれかのジャンルを選択すれば、選択されたジャンルに対応づけられた文字列が検索キーワードとして指定可能となる。また、ユーザにより選択されたジャンルは、その周縁部が強調表示される。この例では、「飲料」、「お菓子」、「健康」、「車」、「不動産」、「保険」、「薬」及び「美容」の８個のジャンルが表示されており、「飲料」及び「お菓子」の２つのジャンルが選択されている。このため、ジャンル「飲料」に対応づけられた文字列「水」、「コーヒー」及び「紅茶」と、ジャンル「保険」に対応づけられた文字列「保険」及び「共済」とが、検索キーワードとして指定可能となっている。
【００５９】
図７のステップＳ１０１〜Ｓ１１２は、図１の携帯電話機１Ａにおけるテレビ放送受信時の処理の一例を示したフローチャートである。このフローチャートは、ユーザがチューナ６１を起動し、テレビ放送波が受信可能になったときに開始される。
【００６０】
まず、識別情報判別部７１が、受信したテレビ音声データに基づく音声認識処理を開始する（ステップＳ１０１）。この音声認識処理により、テレビ音声データに含まれている文字列が順次に抽出される。次に、抽出された文字列に識別情報が含まれるか否かが識別情報判別部７１によって判別される（ステップＳ１０２）。識別情報が含まれている場合には、キーワード抽出部７２がテレビ画像データのＯＣＲ処理を開始する（ステップＳ１０３）。また、キーワード抽出部７２は、テレビ画像データに含まれる検索枠を判別し、当該検索枠内の文字列を検索キーワード候補として抽出する（ステップＳ１０４，Ｓ１０５）。
【００６１】
検索キーワード候補が抽出されると、抽出された検索キーワード候補による検索が既に行われたか否かがキーワード決定部７３によって判別される（ステップＳ１０６）。抽出された検索キーワード候補による検索が既に行われていた場合には、ステップＳ１０２の処理に戻る。一方、抽出された検索キーワード候補による検索が未だ行われていない場合には、当該検索キーワード候補が検索キーワードとして指定可能な文字列であるか否かの判別がキーワード決定部７３によって行われる（ステップＳ１０７）。抽出された検索キーワード候補が検索キーワードとして指定可能な文字列でない場合には、ステップＳ１０２の処理に戻る。
【００６２】
一方、検索キーワード候補が、検索済みの文字列ではなく、かつ、検索キーワードとして指定可能な文字列である場合、キーワード送信部８１が、この文字列を検索キーワードとして検索サーバ２３へ送信し、この検索キーワードに関連性の高いウェブサイトが、検索サーバ２３により検索される（ステップＳ１０８）。その後、ページデータ受信部８２が、検索サーバ２３から検索結果を示すページデータを受信すれば、表示制御部９が、当該ページデータをディスプレイ３上に表示し、スピーカ（図示せず）が、検索完了をユーザに報知する（ステップＳ１０９〜Ｓ１１１）。また、タッチセンサ（図示せず）が、ディスプレイ３上に表示された検索処理の停止ボタンに対するユーザの押下操作が行われたか否かの判定を行う（ステップＳ１１２）。停止ボタンが押下された場合には、処理を終了する。一方、停止ボタンが押下されない場合には、ステップＳ１０２の処理に戻る。
【００６３】
本実施の形態による携帯電話機１では、識別情報判別部７１が、テレビ音声データに識別情報が含まれているか否かを判別することより、テレビ放送においてネット検索を促していることを判別している。そして、この判別結果に基づいて、キーワード指定部７がテレビ画像データから文字列を抽出し、検索キーワードとして指定する。
【００６４】
このため、ユーザが検索キーワードを抽出するタイミングを指示しなくても、検索キーワードの抽出を自動的に行うことができる。特に、テレビ放送のＣＭでは、検索キーワードが表示される時間は数秒程度であり、このような短い期間に、急いでキー操作を行う必要がない。このため、ユーザは、テレビ放送をリラックスして視聴しながら、ＣＭで提示されたウェブサイトに容易にアクセスすることができる。
【００６５】
また、テレビ音声データに基づいて、テレビ放送がネット検索を促していることを判別し、この判別タイミングに基づいて、テレビ画像データから検索キーワードを抽出している。このため、検索キーワード以外の文字列を誤って抽出するのを抑制することができ、検索キーワードの自動抽出処理を高い精度で実現することができる。
【００６６】
なお、本実施の形態では、識別情報判別部７１が、音声認識処理により、テレビ音声データに識別情報が含まれるか否かを判別する構成について説明した。しかしながら、本発明は、このような場合のみに限定されない。例えば、テレビ音声データに識別情報としてクリック音が含まれるか否かを判別する構成であってもよい。この様な構成を採用することにより、キーワード検索を行うように促すテレビ音声データを精度良く判別しつつ、音声認識による処理負荷を軽減することができる。
【００６７】
また、本実施の形態では、キーワード抽出部７２が、検索枠内の文字列を検索キーワード候補として抽出する構成について説明した。しかしながら、本発明は、このような場合のみに限定されない。例えば、キーワード抽出部７２が、検索ボタンの左側に表示されている文字列を検索キーワード候補として抽出する構成であっても良い。
【００６８】
実施の形態２．
実施の形態１では、情報端末装置のアンテナを用いて、テレビ放送波を受信することにより、テレビ放送コンテンツデータを取得する場合の例について説明した。これに対し、本実施の形態では、情報端末装置のカメラ及びマイクロホンを用いて、当該情報端末装置とは異なるテレビ受信装置が出力するテレビ放送コンテンツデータを取得する場合の例について説明する。
【００６９】
図８は、本発明の実施の形態２による情報端末装置を用いてテレビ放送コンテンツデータを取得する際の様子を示した図であり、情報端末装置の一例として、携帯電話機１Ｂが示されている。テレビ受像装置１２０は、テレビ放送波を受信し、ディスプレイ１２１上にテレビ画像を表示するとともに、テレビ音声をスピーカ１２２から出力する。
【００７０】
携帯電話機１Ｂは、筐体背面をテレビ受信装置１２０と対向させて、テレビ受信装置１２０の正面に配置されている。携帯電話機１Ｂの筐体背面には、図示しないマイクロホン６３及びカメラ６４が設けられている。このため、テレビ受信装置１２０から出力されるテレビ音声をマイクロホン６３で集音し、テレビ受信装置１２０から出力されるテレビ画像をカメラ６４で撮像することにより、携帯電話機１Ｂは、テレビ放送波を受信することなく、テレビ放送コンテンツデータを取得する。
【００７１】
支持装置１３０は、携帯電話機１Ｂのカメラの撮影方向を調整可能に支持する撮影方向調整手段であり、ディスプレイ１２１上に表示されたテレビ画像がカメラの撮影範囲内に含まれるように、携帯電話機１Ｂの向きを調整する。なお、支持装置１３０は、携帯電話機１Ｂの一部として構成されていても良い。
【００７２】
図９は、図８の携帯電話機１Ｂの内部構成の一例を示したブロック図である。携帯電話機１Ｂは、ディスプレイ３、ＴＶ放送コンテンツデータ取得部６Ｂ、キーワード指定部７、セルラー通信部８及び表示制御部９により構成される。図２の携帯電話機１Ａと同一の構成については、同一の符号を付して説明を省略する。
【００７３】
ＴＶ放送コンテンツデータ取得部６Ｂは、テレビ受信装置１２０のディスプレイ１２１上に表示されるテレビ画像を撮像するとともに、スピーカ１２２から出力されるテレビ音声を入力することにより、テレビ放送コンテンツデータを取得する手段である。
【００７４】
ＴＶ放送コンテンツデータ取得部６Ｂは、マイクロホン６３及びカメラ６４により構成される。マイクロホン６３は、テレビ受信装置１２０のテレビ音声を入力するための音声入力装置である。なお、マイクロホン６３は、筐体前面に設けられた通話用マイクロホンを共用することもできるが、通話用マイクロホンとは異なるマイクロホンであってもよい。
【００７５】
カメラ６４は、ディスプレイ１２１上に表示されたテレビ画像を撮像するための撮像手段であり、動画像からなるテレビ画像データを生成する。なお、カメラ６４は、所定のタイミングでテレビ画像を静止画像として撮像するものであってもよい。
【００７６】
図１０のステップＳ２０１〜Ｓ２１５は、図８の携帯電話機１Ｂにおけるテレビ画像撮影時の処理の一例を示したフローチャートである。このフローチャートは、ユーザがカメラモジュールを起動し、ディスプレイ１２１上のテレビ画像を撮像可能になったときに開始される。
【００７７】
まず、カメラ６４が、テレビ受像装置１２０のテレビ画像の撮影を開始する（ステップＳ２０１）。次に、マイクロホン６３が、スピーカ１２２から出力されるテレビ音声の入力を開始する（ステップＳ２０２）。次に、キーワード抽出部７２が、テレビ画像の撮影状態を判定する（ステップＳ２０３）。撮影対象のテレビ画像のサイズ及び角度が許容範囲から外れている場合、テレビ画像のサイズ及び角度を調整するように促すエラー表示が行われ、ステップＳ２０３の判定が再度行われる（ステップＳ２０４）。
【００７８】
撮影対象のテレビ画像のサイズ及び角度が許容範囲内である場合には、ステップＳ２０５〜Ｓ２１５の各処理が行われる。ステップＳ２０５〜Ｓ２１５の処理は、図７のステップＳ１０２〜ステップＳ１１２と同様の処理であるため、説明を省略する。なお、このフローチャートでは、抽出された検索キーワード候補による検索が既に行われていた場合（ステップＳ２０９）や、検索キーワード候補が検索キーワードとして指定可能な文字列でない場合（ステップ２１０）や、停止ボタンが押下されない場合（ステップＳ２１５）には、ステップＳ２０３の判定に戻る。
【００７９】
本実施の形態によれば、携帯電話機１Ｂがテレビ放送波を受信する必要がないので、テレビ放送コンテンツデータにキーワード検索を促す画像データが含まれ、あるいは、キーワード検索を促す音声データが含まれる場合に、ユーザの検索操作を簡略化しつつ、携帯電話機１Ｂを複雑化させることを抑制することができる。
【００８０】
なお、本実施の形態では、テレビ画像の撮像を指示するユーザ操作に基づいて、テレビ画像の撮像及びテレビ音声の入力を開始する構成について説明した。しかしながら、本発明は、このような場合のみに限定されない。例えば、ユーザ操作に基づいて、テレビ音声の入力のみが開始される構成であっても良い。この構成では、識別情報判別部７１がテレビ音声データに識別情報が含まれると判別した場合に、テレビ画像の撮像及びＯＣＲ処理を開始するとともに、キーワード抽出部７２が、テレビ画像データから検索キーワード候補を抽出する。一方、識別情報判別部７１がテレビ音声データに識別情報が含まれないと判別した場合には、テレビ画像の撮像及びＯＣＲ処理を開始しない。
【００８１】
また、本実施の形態では、撮影対象のテレビ画像のサイズ及び角度が許容範囲から外れている場合に、テレビ画像のサイズ及び角度を調整するように促すエラー表示が行われる構成について説明した。しかしながら、本発明はディスプレイ３上にエラーを表示する構成に限定されない。例えば、撮影対象のテレビ画像のサイズ及び角度が許容範囲から外れている場合に、テレビ画像のサイズ及び角度を調整するように促す音声が携帯電話機１Ｂのスピーカから出力される構成であっても良い。
【００８２】
実施の形態３．
実施の形態１及び２では、ジャンル選択部７５が、ユーザ操作に基づいて、検索キーワードとして指定可能な文字列を選択する構成について説明した。これに対し、本実施の形態では、ユーザのメールフォルダ内のメールデータにおける文字列の使用回数に基づいて、検索キーワードとして指定可能な文字列を選択する構成について説明する。
【００８３】
本実施の形態では、ジャンル選択部７５が、未選択ジャンル保持部７６内に保持される文字列について、ユーザのメールフォルダ内のメールデータにおける使用回数を計数する。更に、いずれかのジャンルに対応づけられた文字列の使用回数の総和を閾値と比較することにより、検索キーワードとして指定可能な文字列を選択する。例えば、ジャンル「飲料」に対応づけられた文字列「水」、「コーヒー」及び「紅茶」のメールフォルダ内の使用回数の合計が１０回以上であれば、これらの文字列が、ジャンル情報保持部７４に格納され、検索キーワードに指定可能な文字列として保持される。一方、これらの文字列のメールフォルダ内の使用回数の合計が１０回未満であれば、これらの文字列は、ジャンル情報保持部７４に格納されず、検索キーワードとして指定されない。
【００８４】
本実施の形態では、メールフォルダ内のメールデータにおいて使用回数の多いジャンルに対応づけられた文字列が、検索サイトへ送信可能な文字列として選択される。このため、送信可能な文字列を選択する際のユーザ操作を簡略化しつつ、ユーザの関心の高い文字列を選択することができる。
【００８５】
実施の形態４．
上記実施の形態１〜３では、表示制御部９が、検索サイト２３から受信した検索結果のページデータを表示する場合の例について説明した。これに対し、本実施の形態では、検索結果のページデータに含まれるリンク情報に基づいて、更に商品情報サイト２４からページデータを受信し、商品情報のページデータを表示する場合について説明する。
【００８６】
図１１は、本発明の実施の形態４による情報端末装置の内部構成の一例を示したブロック図であり、情報端末装置の一例として携帯電話機１Ｃが示されている。この携帯電話機１Ｃは、ディスプレイ３、ＴＶ放送コンテンツデータ取得部６、キーワード指定部７、セルラー通信部８及び表示制御部９により構成される。なお、図２（実施の形態１）及び図１０（実施の形態２）と同一の構成については、同一の符号を付して説明を省略する。
【００８７】
ＴＶ放送コンテンツデータ取得部６は、テレビ放送コンテンツデータとして、テレビ画像データ及びテレビ音声データを取得する手段であり、図２のＴＶ放送コンテンツデータ取得部６Ａと同一であってもよいし、図１０のＴＶ放送コンテンツデータ取得部６Ｂと同一であってもよい。また、セルラー通信部８は、キーワード送信部８１、ページデータ受信部８２'及びページデータ要求部８３からなる。
【００８８】
ページデータ要求部８３は、検索サーバ２３の検索結果に含まれるリンク情報に基づいて、商品情報を含むページデータを特定し、商品情報サーバ２４に対し、当該ページデータの閲覧を要求する。
【００８９】
ページデータ受信部８２'は、検索サイト２３からページデータを受信すると、当該ページデータに含まれるリンク先へのアクセス情報、例えばＵＲＬ（Uniform Resource Locator）を抽出し、ページデータ要求部８３へ出力する。ページデータ要求部８３は、このアクセス情報に基づいて、商品情報を含むページデータを特定し、当該ページデータを提供する商品情報サーバ２４に閲覧要求を送信する。
【００９０】
また、ページデータ受信部８２'は、検索サーバ２３から受信したページデータを表示制御部９へ出力することなく、商品情報サーバ２４から受信したページデータを表示制御部９へ出力する。このため、ディスプレイ３には、リンク情報からなる検索結果ではなく、当該リンク情報のリンク先に相当するウェブサイトのページデータが表示される。
【００９１】
例えば、検索サーバ２３から受信したページデータ内において、検索結果として２以上のウェブサイトが示されている場合、これらのウェブサイトのうち、検索キーワードとの関連性が最も高いウェブサイトのリンク先情報（ＵＲＬ）が、ページデータ要求部８３によって抽出され、当該ウェブサイトに対し、ページデータの閲覧要求が送信される。つまり、検索順位が１番のウェブサイトに対し、閲覧要求が送信される。図５に示したような検索結果であれば、「ＸＹＺ社新製品」（ｗｗｗ．―――．ｃｏｍ／ｎｅｗ＿ｐｒｏｄｕｃｔ）のページデータの閲覧要求が送信される。
【００９２】
あるいは、検索サーバ２３から受信したページデータ内において、広告として示されているウェブサイトのリンク先情報（ＵＲＬ）が、ページデータ要求部８３によって抽出され、当該ウェブサイトに対し、ページデータの閲覧要求が送信される。図５に示したような検索結果であれば、「ＸＹＺ社」（ｗｗｗ．―――．ｃｏｍ）のページデータの閲覧要求が送信される。さらに、広告として２以上のウェブサイトが示されている場合であれば、これらのウェブサイトのうち、検索キーワードとの関連性が最も高いウェブサイトのリンク先情報（ＵＲＬ）が、ページデータ要求部８３によって抽出され、当該ウェブサイトに対し、ページデータの閲覧要求が送信される。つまり、広告として１番に表示されているウェブサイトに対し閲覧要求が送信される。
【００９３】
なお、実施の形態１〜４では、識別情報判別部７１が、テレビ音声データに識別情報が含まれるか否かを判別する構成について説明した。しかしながら、本発明はこれに限定されない。例えば、識別情報判別部７１が、テレビ画像データに識別情報として、検索ボタンなどの画像データが含まれるか否かを判別する構成であってもよい。この様な構成を採用することにより、キーワード検索を促す画像データがテレビ画像データに含まれることを判別することができる。
【００９４】
また、実施の形態１〜４では、キーワード抽出部７２が、ＯＣＲ処理により、テレビ画像データから検索キーワード候補を抽出する構成について説明した。しかしながら、本発明は、このような場合のみに限定されない。例えば、キーワード抽出部７２が、音声認識処理により、テレビ音声データに含まれる文字列を検索キーワード候補として抽出する構成であっても良い。
【００９５】
また、実施の形態１〜４では、テレビ音声データ及びテレビ画像データの少なくとも一方に識別情報が含まれている場合に、キーワード抽出部７２が検索キーワード候補を抽出する場合の例について説明した。しかしながら、本発明は、このような場合のみに限定されない。例えば、テレビ音声データ及びテレビ画像データの両方に識別情報が含まれている場合に、キーワード抽出部７２が検索キーワード候補を抽出し、テレビ音声データ及びテレビ画像データのいずれか一方に識別情報が含まれていなければ、検索キーワード候補の抽出は行わない構成であっても良い。この様な構成により、識別情報の誤検出を抑制することができる。
【００９６】
また、実施の形態１〜４では、ＴＶ放送コンテンツデータ取得部６Ａ及び６Ｂが、テレビ放送コンテンツデータとして、テレビ画像データ及びテレビ音声データを取得する構成について説明した。しかしながら、本発明は、このような場合のみに限定されない。例えば、ＴＶ放送コンテンツデータ取得部６Ａ及び６Ｂが、テレビ画像データ又はテレビ音声データのいずれか一方のみを取得する構成であってもよい。
【００９７】
なお、本発明による携帯情報端末は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）などのマイクロプロセッサ、つまり、プログラムに基づいて動作するコンピュータを内蔵しており、上記実施の形態に記載された各機能、例えば、図２に示された各機能ブロックや、図７に示されたフローチャートの各ステップは、上記マイクロプロセッサで実行されるプログラムとして与えられるものであってもよい。
【符号の説明】
【００９８】
１Ａ，１Ｂ，１Ｃ    携帯電話機
２０    放送局
２１    セルラー基地局
２２    ネットワーク
２３    検索サーバ
２４    商品情報サーバ
３      ディスプレイ
６，６Ａ，６Ｂ    ＴＶ放送コンテンツデータ取得部
６１    チューナ
６２    デコーダ
６３    マイクロホン
６４    カメラ
７      キーワード指定部
７１    識別情報判別部
７２    キーワード抽出部
７３    キーワード決定部
７４    ジャンル情報保持部
７５    ジャンル選択部
７６    未選択ジャンル保持部
８      セルラー通信部
８１    キーワード送信部
８２，８２'    ページデータ受信部
８３    ページデータ要求部
９      表示制御部
１００  連動検索システム
１２０  テレビ受信装置
１２１  ディスプレイ
１２２  スピーカ
【図１】
2014033257.tif 000003
【図２】
2014033257.tif 000004
【図３】
2014033257.tif 000005
【図４】
2014033257.tif 000006
【図５】
2014033257.tif 000007
【図６】
2014033257.tif 000008
【図７】
2014033257.tif 000009
【図８】
2014033257.tif 000010
【図９】
2014033257.tif 000011
【図１０】
2014033257.tif 000012
【図１１】
2014033257.tif 000013