(57)【要約】【課題】テレビが受像している放送番組に関する情報を携帯通信機の表示部に表示させることができる制御プログラム及び携帯通信機を提供する。【解決手段】マイク及び表示部を有する携帯通信機に、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を前記マイクにて取得する音声取得ステップと、該音声取得ステップにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得ステップと、該取得ステップにて取得した情報を前記表示部に表示する表示ステップとを実行させる。【選択図】図１
2017060059.tif 000002
【特許請求の範囲】
【請求項１】
マイク及び表示部を有する携帯通信機に、
放送番組を受像するテレビのスピーカから出力された該放送番組の音声を前記マイクにて取得する音声取得ステップと、
該音声取得ステップにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得ステップと、
該取得ステップにて取得した情報を前記表示部に表示する表示ステップと
を実行させる制御プログラム。
【請求項２】
前記放送番組に関連する情報は、前記所定の音声に関連する情報である請求項１に記載の制御プログラム。
【請求項３】
前記携帯通信機は撮像部を備え、
前記携帯通信機に、
放送番組を受像するテレビに表示された該放送番組の映像を前記撮像部にて取得する映像取得ステップを実行させ、
前記取得ステップは、
前記映像取得ステップにて取得した映像に基づいて、前記テレビが受像している放送番組に関連する情報を取得するステップを有する
請求項１又は請求項２に記載の制御プログラム。
【請求項４】
コンピュータにより読み出し可能なプログラムを格納した記憶媒体であって、請求項１乃至請求項３のいずれか一項に記載の制御プログラムを格納した記憶媒体。
【請求項５】
放送番組を受像するテレビのスピーカから出力された該放送番組の音声を取得するマイクと、
該マイクにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得部と、
該取得部にて取得した情報を表示する表示部と
を備える携帯通信機。
【請求項６】
放送番組に関連する情報を提供する番組関連情報提供装置であって、
放送番組を受像するテレビのスピーカから出力された該放送番組の音声を取得する携帯通信機から送信された該音声を受信する受信部と、
該受信部にて受信した音声に基づいて、前記テレビが受像している放送番組に関連する情報を取得する取得部と、
該取得部にて取得した情報を前記携帯通信機へ送信する送信部と
を備える番組関連情報提供装置。
【請求項７】
マイク及び表示部を有する携帯通信機に放送番組に関連する情報を表示させる番組関連表示方法であって、
放送番組を受像するテレビのスピーカから出力された該放送番組の音声を前記マイクにて取得する音声取得ステップと、
該音声取得ステップにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得ステップと、
該取得ステップにて取得した情報を前記表示部に表示する表示ステップと
を備える番組関連情報表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビが受像している放送番組に関する情報を携帯通信機に表示させるための制御プログラム、記録媒体、携帯通信機、番組関連情報提供装置及び番組関連情報表示方法に関する。
【背景技術】
【０００２】
音声認識装置を備えたテレビがある（特許文献１）。この音声認識装置は、ユーザが発した音声をマイクで取得し、取得した音声に対応するコマンド及びキーワードを認識する。上記音声認識装置は、例えばキーワードを用いてインターネット検索を行い、検索結果をテレビの表示画面に表示する。また、特許文献１には、携帯通信機に搭載されたマイクによってユーザの音声を取得し、取得した音声を該携帯通信機からテレビへ無線送信する構成も開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１２６６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の音声認識装置はユーザが発する音声を、単にコマンド及びキーワードとして認識するものである。また、携帯通信機は、単にユーザが発した音声を取得し、テレビへ無線送信するのみであり、無線マイクとして機能しているに過ぎない。
【０００５】
本発明の目的は、テレビが受像している放送番組に関する情報を携帯通信機の表示部に表示させることを可能にする制御プログラム、記録媒体、携帯通信機、番組関連情報提供装置及び番組関連情報表示方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る制御プログラムは、マイク及び表示部を有する携帯通信機に、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を前記マイクにて取得する音声取得ステップと、該音声取得ステップにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得ステップと、該取得ステップにて取得した情報を前記表示部に表示する表示ステップとを実行させる。
【０００７】
本発明の一態様に係る記録媒体は、コンピュータにより読み出し可能なプログラムを格納した記憶媒体であって、上述の制御プログラムを格納する。
【０００８】
本発明の一態様に係る携帯通信機は、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を取得するマイクと、該マイクにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得部と、該取得部にて取得した情報を表示する表示部とを備える。
【０００９】
本発明の一態様に係る番組関連情報表示システムは、携帯通信機と、該携帯通信機へ放送番組に関連する情報を提供する番組関連情報提供装置とを備え、前記携帯通信機は提供された情報を表示する番組関連情報表示システムであって、前記携帯通信機は、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を取得するマイクと、該マイクにて取得した音声を前記番組関連情報提供装置へ送信する携帯送信部とを備え、前記番組関連情報提供装置は、前記携帯通信機から送信された音声を受信する受信部と、該受信部にて受信した音声に基づいて、前記テレビが受像している放送番組に関連する情報を取得する取得部と、該取得部にて取得した情報を前記携帯通信機へ送信する送信部とを備え、前記携帯通信機は、前記番組関連情報提供装置から送信された情報を受信する携帯受信部と、該携帯受信部にて受信した情報を表示する表示部とを備える。
【００１０】
本発明の一態様に係る番組関連情報提供装置は、放送番組に関連する情報を提供する番組関連情報提供装置であって、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を取得する携帯通信機から送信された該音声を受信する受信部と、該受信部にて受信した音声に基づいて、前記テレビが受像している放送番組に関連する情報を取得する取得部と、該取得部にて取得した情報を前記携帯通信機へ送信する送信部とを備える。
【００１１】
本発明の一態様に係る番組関連情報表示方法は、マイク及び表示部を有する携帯通信機に放送番組に関連する情報を表示させる番組関連表示方法であって、放送番組を受像するテレビのスピーカから出力された該放送番組の音声を前記マイクにて取得する音声取得ステップと、該音声取得ステップにて所定の音声を取得すると、前記テレビが受像している放送番組に関連する情報を取得する取得ステップと、該取得ステップにて取得した情報を前記表示部に表示する表示ステップとを備える。
【発明の効果】
【００１２】
本態様によれば、テレビが受像している放送番組に関する情報を携帯通信機の表示部に表示させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る番組関連情報表示システムの一構成例を示す概念図である。
【図２】本発明の一実施形態に係る携帯通信機の一構成例を示すブロック図である。
【図３】本発明の一実施形態に係る番組関連情報表示処理の手順を示すフローチャートである。
【図４】本発明の一実施形態に係る番組関連情報の表示例を示す概念図である。
【図５】本発明の一実施形態に係る番組関連情報表示システムの一構成例を示す概念図である。
【図６】本発明の一実施形態に係る番組関連情報提供装置の一構成例を示すブロック図である。
【図７Ａ】本発明の一実施形態に係る番組情報ＤＢのレコードレイアウトを示す概念図である。
【図７Ｂ】本発明の一実施形態に係る人物関連情報ＤＢのレコードレイアウトを示す概念図である。
【図７Ｃ】本発明の一実施形態に係るダイジェスト画像情報ＤＢのレコードレイアウトを示す概念図である。
【図７Ｄ】本発明の一実施形態に係る広告情報ＤＢのレコードレイアウトを示す概念図である。
【図８】本発明の一実施形態に係る番組関連情報表示処理の手順を示すフローチャートである。
【図９】本発明の一実施形態に係る番組関連情報検索処理の手順を示すフローチャートである。
【図１０】本発明の一実施形態に係る番組関連情報検索処理の手順を示すフローチャートである。
【図１１】本発明の一実施形態に係る番組関連情報の表示例を示す概念図である。
【図１２】本発明の一実施形態に係る他の番組関連情報の表示例を示す概念図である。
【図１３】本発明の一実施形態に係る番組関連情報検索処理の手順を示すフローチャートである。
【図１４】本発明の一実施形態に係る番組関連情報検索処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施形態１）
図１は実施形態１に係る番組関連情報表示システムの一構成例を示す概念図である。番組関連情報表示システムは、携帯通信機１及びテレビ２を備える。番組関連情報表示システムは、テレビ２が受像している放送番組に関連する情報を携帯通信機１が収集して表示するというものである。テレビ２は、放送局３から送信された放送番組データを受信し、受信した放送番組データに基づいて、放送番組の映像を表示し、該放送番組の音声を出力する。テレビ２は、据置型のブラウン管テレビ、液晶テレビ、プラズマテレビ、有機ＥＬテレビ等に限定されるものでは無く、放送番組を受像可能なプロジェクター、パーソナルコンピュータ等含まれる。携帯通信機１は、テレビ２のスピーカから出力された放送番組の音声を取得し、取得した音声に基づいて放送番組を特定する。そして、携帯通信機１は、特定された放送番組に関連する情報を、放送局３又は通信網Ｎに接続されたウェブサーバ４から取得し、取得した情報を表示する。
【００１５】
放送番組データは、例えばＭＰＥＧ２ＴＳ（Transport Stream）形式のストリームデータであり、本実施形態１においては、一つの放送番組データが、映像データと、２つの異なる第１音声データ及び第２音声データとを含むものとして説明する。ただし、放送番組データによっては、第２音声データを含まないものもある。
第１音声は、いわゆる主音声である。第１音声は、ドラマ、映画、アニメ、バラエティ番組等に登場する俳優、キャラクター等が発する通常の音声等である。以下、放送番組に登場する俳優、キャラクター等、言葉として認識可能な主音声を発する主体を包括して人物と呼ぶ。第１音声は、テレビ２のスピーカから音波として出力される。なお、図１中、テレビ２に図示されている破線の吹き出しは、第１音声を登場人物が発していることを示しており、表示されるものでは無い。本実施形態では、第１音声データは、所定の人物により表現される所定発話区間の発話内容（言葉、文章等）を示す音声データである。従って、第１音声データを音声認識処理することにより、上記発話内容の文字列を生成したり、発話の主体（上記所定の人物）を識別したりすることができる。
第２音声は、いわゆる副音声であり、例えばオーディオコメンタリーである。本実施形態では、第２音声により表現される発話内容は、ドラマ、映画、アニメ等に登場する人物が発する第１音声に表れていない本音、コメント、実況説明等である。第２音声は通常ではテレビ２のスピーカから出力されておらず、副音声形式に切り替えることによりスピーカから出力することができる。また、本実施形態では、後述するように、関連した第１音声データを携帯通信機１により取得した際に、該携帯通信機１に文字として表示される。ユーザは、第１音声を出力するテレビで放送番組を視聴しながら、携帯通信機１を用いて、放送番組に登場する人物の本音、コメント等を見て楽しむことができる。第２音声データは、所定の第１音声データに関連した所定の情報（上記本音、コメント、実況説明等）を示す音声データである。従って、第１音声データを音声認識処理することにより、上記発話内容の文字列を生成したり、発話の主体を識別したりすることができる。
【００１６】
図２は実施形態１に係る携帯通信機１の一構成例を示すブロック図である。携帯端末機は、例えばスマートフォン、携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistant）等の可搬型の無線通信装置である。携帯端末機は、該携帯端末機の各構成部の動作を制御する制御部１０を備える。
【００１７】
制御部１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インタフェース等を有するマイクロコンピュータである。制御部１０の入出力インタフェースには、記憶部１１、無線通信部１２、無線ＬＡＮ通信部１３、チューナ１４、撮像部１５、表示部１６、操作部１７、スピーカ１８及びマイク１９等が接続されている。
ＲＯＭはコンピュータの初期動作に必要なプログラムを記憶している。ＲＡＭは、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）等のメモリであり、制御部１０の演算処理を実行する際に記憶部１１から読み出された後述の制御プログラム５０、又は制御部１０の演算処理によって生ずる各種データを一時記憶する。ＣＰＵは制御プログラム５０を実行することにより、各構成部の動作を制御し、携帯通信機１の表示部１６に番組関連情報を表示させる番組関連情報表示処理方法を実施する。
【００１８】
記憶部１１は、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の不揮発性メモリであり、本実施形態に係る番組関連情報表示処理に必要な制御プログラム５０を記憶している。
【００１９】
本実施形態１に係る制御プログラム５０は、記録媒体５にコンピュータ読み取り可能に記録されている態様でも良い。記憶部１１は、図示しない読出装置によって記録媒体５から読み出された制御プログラム５０を記憶する。記録媒体５はフラッシュメモリ等の半導体メモリである。また、記録媒体５はＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、ＢＤ（Blu-ray（登録商標） Disc）等の光ディスクでも良い。更に、記録媒体５は、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク等であっても良い。更にまた、通信網Ｎに接続されている図示しない外部コンピュータから本実施形態１に係る制御プログラム５０をダウンロードし、記憶部１１に記憶させても良い。
【００２０】
無線通信部１２は、基地局を介して他の携帯通信機、通信網Ｎに接続された外部の通信装置等との間で各種情報を送受信するための通信機であり、携帯送信部１２ａ及び携帯受信部１２ｂを有する。無線通信部１２は、例えば、３Ｇ（Generation）回線、４Ｇ回線、ＬＴＥ（Long Term Evolution）回線等を用いて、通話音声及び各種データの送受信を行う。無線ＬＡＮ通信部１３は、外部の通信装置との間で各種情報を送受信する通信機であり、例えばＩＥＥＥ８０２．１１規格、ＷｉＦｉ規格に準拠した無線通信を行う。
【００２１】
チューナ１４には、放送局３から放送された信号を受信するアンテナ１４ａが接続されている。該信号には複数の放送番組データが含まれている。チューナ１４は、アンテナ１４ａが受信する信号から、特定チャンネルの信号を選択する。チューナ１４は例えばデジタルチューナである。チューナ１４は、復調回路を内蔵しており、選択された信号を復調する。例えば、上記信号は、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）方式で変調されており、復調回路は、上記信号を、ＭＰＥＧ２ＴＳ形式のストリームデータに復調し、該ストリームデータを映像データ、音声データ、番組配列情報（SI: Service Information）等に分離及び復元する。音声データは、第１音声データ及び第２音声データを含む。番組配列情報は、放送される番組のタイトル、チャンネル、放送開始時刻、放送終了時刻、及び番組のジャンル等の情報を有している。
【００２２】
なお、本実施形態１では携帯通信機１に内蔵されたチューナ１４を用いて、放送番組データを受信する例を説明するが、携帯通信機１の外部に設けた携帯チューナを用いて放送番組データを受信するように構成しても良い。例えば、携帯チューナは、本実施形態１に係るチューナ１４と同様の構成であり、放送局３から送信された放送番組データを受信し、受信して復号した放送番組データを携帯通信機１へ無線送信する。携帯通信機１は、無線ＬＡＮ通信部１３にて放送番組データを受信する。また、テレビ２がある家屋に設置されたホームネットワークが放送番組データを無線送信する機能を有する場合、携帯通信機１は、ホームネットワークから無線送信された放送番組を無線ＬＡＮ通信部１３にて取得しても良い。また家屋に衛星放送受信アンテナ、ケーブルテレビのセットボックスが設置され、ホームネットワークがＢＳ（Broadcasting Satellite）、ＣＳ（Communications Satellite）等の放送番組データを無線送信する機能を有する場合、携帯通信機１は、自身では受信できないＢＳ、ＣＳ等の放送番組データをホームネットワークから取得することもできる。
【００２３】
撮像部１５は、レンズと、該レンズにて結像した像を電気信号に変換するＣＣＤ、ＣＭＯＳ等の撮像素子と、撮像素子にて変換された電気信号をデジタルの映像データにＡＤ変換し、ＡＤ変換された映像データに各種画像処理を施す画像処理部とを備える。撮像部１５は、撮像して得た映像データを制御部１０に与える。なお、撮像部１５は、動画及び静止画のいずれも撮像することができる。表示部１６は、液晶パネル、有機ＥＬディスプレイ、電子ペーパ、プラズマディスプレイ等である。表示部１６は、制御部１０から与えられた映像データに応じた各種情報を表示する。操作部１７は、例えば表示部１６の表面又は内部に設けられたタッチセンサ、機械式操作ボタン等である。タッチセンサは、ユーザの指が表示部１６に触れたこと、指が触れた位置等を検出することにより、ユーザの操作を受け付け、受け付けた操作情報を制御部１０に与える。つまり、制御部１０は操作部１７にてユーザの操作を受け付けることができる。
【００２４】
スピーカ１８は、制御部１０から与えられた音声データを音波に変換して出力する。マイク１９は、音波を音声データに変換し、変換した音声データを制御部１０に与える。例えば、マイク１９は、放送番組を受像するテレビ２のスピーカから出力された放送番組の音声を音声データに変換して制御部１０に与える。つまり制御部１０は上記音声をマイク１９にて取得する。
【００２５】
図３は実施形態１に係る番組関連情報表示処理の手順を示すフローチャートである。本処理は、ユーザが操作部１７により本処理を開始する操作が行われた際に実行される。例えば、テレビ２にて所定の放送番組を視聴しているユーザが操作部１７を介してテレビ２にて放映されている放送番組を携帯通信機１に入力することにより、携帯通信機１は、上記放映されている放送番組のチャンネルに受信チャンネルを調整する。そして、ユーザが、上記放送番組において、ある場面にてある人物が発している第１音声を携帯送信機１に取り込むべく、上記操作を行う。該操作により制御部１０は、受信チャンネルとして選択されている一のチャンネルの、該操作が実行されたタイミングにおける放送番組データをチューナ１４にて取得し（ステップＳ１１）、取得した放送番組データから上記場面にて上記ある人物が発した発話内容の少なくとも一部を含む第１音声データ（所定発話区間の第１音声データ）を抽出する（ステップＳ１２）。第１音声データは、放送局３から送信されている複数の放送番組の中から、現にテレビ２が受像している放送番組を特定するための情報の一例でもある。
【００２６】
次いで、制御部１０は、放送番組を受像するテレビ２のスピーカから出力された該放送番組の音声をマイク１９にて取得する（ステップＳ１３）。以下、ステップＳ１３にて取得した音声のデータを、テレビ音声データと呼ぶ。そして、制御部１０は、ステップＳ１１及びステップＳ１２にて取得及び抽出した第１音声データと、ステップＳ１３にて取得したテレビ音声データとを比較することにより、テレビ２が受像している放送番組を特定する処理を実行する（ステップＳ１４）。例えば、制御部１０は、第１音声データにおいてテレビ音声データと略完全に一致する部分を有する場合に、第１音声データとテレビ音声データとが対応していると判断する。何故ならば、テレビ音声データは、ユーザの操作によって決まるものであり、第１音声データに関する発話の途中からの発話内容を含むものになる可能性もあるからである。さて、第１音声データと、テレビ音声データとが対応している場合、テレビ２が受像している放送番組として、ステップＳ１１で受信した放送番組データに係る放送番組が特定される。つまり、第１音声データと、テレビ音声データとが略一致したときのチューナ１４の受信チャンネルに係る放送番組が特定される。第１音声データと、テレビ音声データとが不一致の場合は、テレビ２が受像している放送番組は一意に特定されない。
【００２７】
なお、第１音声データと、テレビ音声データとの比較方法は特に限定されるものでは無い。例えば、制御部１０は、第１音声データ及びテレビ音声データに基づいて、各データに含まれる音声により表現されている内容を文字データに変換し、変換して得た文字を比較することによって、音声の一致及び不一致を判定する。制御部１０は、所定の閾値以上の割合で文字が一致していれば、音声が一致していると判定する。なお、テレビ音声データはテレビ２のスピーカから出力される音声に加え、テレビ２を視聴している人の音声のデータも含むため、第１音声データから得られる文字群が、テレビ音声データから得られる文字列に所定割合以上含まれていれば、音声が一致しているものと判定するように構成しても良い。また、放送番組データに第１音声データに対応する字幕データが含まれている場合、制御部１０は、テレビ音声データに基づいて変換された文字データと、上記字幕データとを比較することによって、音声の一致及び不一致を判定するように構成しても良い。
更に、制御部１０は第１音声データ及びテレビ音声データを単純に比較し、各データの一致率を算出することによって、音声の一致及び不一致を判定するように構成しても良い。データの比較は波形を比較しても良いし、音声の周波数成分等を比較するように構成しても良い。
【００２８】
ステップＳ１４の処理を終えた制御部１０は放送番組の特定に成功したか否かを判定する（ステップＳ１５）。放送番組の特定に失敗したと判定した場合（ステップＳ１５：ＮＯ）、制御部１０は、ステップＳ１１で選択していた受信チャンネルを変更し（ステップＳ１６）、処理をステップＳ１１へ戻す。なお、ステップＳ１６では、制御部１０は、受信チャンネル変更をユーザに促しても良い。ステップＳ１４〜ステップＳ１６の処理は、テレビ２が受像している放送番組を特定する処理ステップであり、制御部１０は、受信チャンネルを順次変更しながら、受信した各チャンネルの第１音声データと、テレビ音声データとを比較することによって、現在テレビ２が受像している一の放送番組を特定する。
【００２９】
放送番組の特定に成功したと判定した場合（ステップＳ１５：ＹＥＳ）、制御部１０は、チューナ１４の受信チャンネルを、ステップＳ１４にて特定された放送番組のチャンネルに合わせ、放送番組データをチューナ１４にて取得する（ステップＳ１７）。そして、制御部１０は、取得した放送番組データから上記第１音声データに対応する第２音声データを抽出する処理を実行し（ステップＳ１８）、第２音声データの抽出に成功したか否かを判定する（ステップＳ１９）。放送番組データが主音声に係る音声データのみを含む場合、第２音声データの抽出に失敗する。第２音声データの抽出に成功したと判定した場合（ステップＳ１９：ＹＥＳ）、制御部１０は、抽出した第２音声データに基づいて、第２音声に含まれる言葉を文字データに変換する（ステップＳ２０）。そして、制御部１０は、変換された第２音声データに係る文字を表示部１６に表示する（ステップＳ２１）。放送番組データには映像及び音声を出力するタイミングを示すデータが含まれているため、制御部１０は、該データを参照し、第２音声を出力すべきタイミングに合わせて第２音声データに係る文字を表示部１６に表示すると良い。
【００３０】
抽出に失敗したと判定した場合（ステップＳ１９：ＮＯ）、制御部１０は、第２音声データ以外の他の番組関連情報を検索し（ステップＳ２２）、検索して得た番組関連情報を表示部１６に表示する（ステップＳ２３）。例えば、制御部１０は、無線通信部１２又は無線ＬＡＮ通信部１３にて外部のウェブサーバ４にアクセスし、ステップＳ１１〜ステップＳ１５の処理で特定された放送番組に関連する情報を検索する。情報の検索は、例えば特定された放送番組の番組名、該放送番組に登場する人物名等をキーワードとして情報を検索すれば良い。番組名、人物名等は、放送番組データに含まれている。
また、放送局３から放送されるデータの中から、他の番組関連情報を検索するようにしても良い。例えば、各チャンネルの番組配列情報、又は該番組配列情報に基づいて作成された電子番組ガイド（EPG:ElectronicProgram Guide）から、上記放送番組に登場する人物名が含まれる他の放送番組の番組名、チャンネル、放送日時等を検索し、検索して得た情報を、番組関連情報として表示部１６に表示しても良い。
他の番組関連情報の例は多岐にわたるものであり、特に限定されるものでは無い。より複雑な具体例について、実施形態２以降で説明する。
【００３１】
ステップＳ２１又はステップＳ２３の処理を終えた制御部１０は、テレビ２が受像している放送番組のチャンネルを確認するタイミングであるか否かを判定する（ステップＳ２４）。例えば、制御部１０は、ステップＳ１１〜ステップＳ１６の処理で放送番組が特定されてから所定時間が経過した場合、チャンネルの確認を行うタイミングであると判定する。また、映像データ及び音声データに基づいて、放送番組の場面変化を検出し、場面変化が検出された場合、チャンネルの確認を行うタイミングであると判定しても良い。チャンネルの確認を行うタイミングであると判定した場合（ステップＳ２４：ＹＥＳ）、制御部１０は、処理をステップＳ１１へ戻す。
【００３２】
チャンネルの確認を行うタイミングで無いと判定した場合（ステップＳ２４：ＮＯ）、制御部１０は、本実施形態１に係る処理を終了するか否かを判定する（ステップＳ２５）。例えば、制御部１０は本実施形態１に係る制御プログラム５０の終了操作を操作部１７にて受け付けた場合、処理を終了すべきと判定する。終了しないと判定した場合（ステップＳ２５：ＮＯ）、制御部１０は処理をステップＳ１７へ戻す。処理を終了すべきと判定した場合（ステップＳ２５：ＹＥＳ）、本実施形態１に係る処理を終了する。
【００３３】
図４は実施形態１に係る番組関連情報の表示例を示す概念図である。テレビ２が図１に示すように番組名「放送番組Ａ」の放送番組を受像し、該放送番組の第１音声が出力されている場合、ステップＳ２１の処理によって、携帯端末機の表示部１６には当該放送番組の第２音声の文字が表示される。
【００３４】
このように構成された本実施形態１によれば、携帯通信機１はテレビ２から発せられる第１音声により該テレビ２が受像している放送番組を特定することができ、特定した放送番組に関する情報を携帯通信機１の表示部１６に表示することができる。
【００３５】
具体的には、携帯通信機１はテレビ２が受像している放送番組の所定の場面にて所定の人物が発した第１音声による発話内容に関連した第２音声、即ち副音声を文字として表示部１６に表示することができる。従って、ユーザは、第１音声を出力するテレビ２で放送番組を視聴しながら、携帯通信機１を用いて放送番組に登場する人物の本音、コメント等を見て楽しむことができる。また、携帯通信機１における第２音声のテキスト表示のトリガは、携帯通信機１による、該当放送番組が放映されているテレビ２から出力される第１音声の取得である。よって、番組視聴をしている視聴者（ユーザ）が、ある場面においてある人物が発している発話内容に気になる部分があるとき、そのテレビ２から発せられる音声（第１音声）を携帯通信機１により取得することにより、上記発話に関連した情報（発話内容のより詳細な情報、その人物の本音等）を携帯通信機１にて閲覧することができる。よって、その放送番組に対してユーザをより没入させることができる。また、複数の第１音声データのうち、限られたものにのみ第２音声データを用意しておくことにより、第１の場面の第１の人物の第１音声では上記第２音声のテキスト表示が行われないが、第２の場面の第１の人物の第１音声では上記第２音声のテキスト表示が行われるようにすることができる。よって、テレビ２の視聴者（ユーザ）にとっては、ある番組において、本音といった第２音声を探る楽しみといった従来には無い新たなテレビ番組視聴方法を享受することができる。
テレビ２の音声切り替えによって、放送番組を第２音声によって視聴することもできるが、この場合、ユーザは第１音声によって放送番組を視聴することができなくなる。従って、第１及び第２音声を楽しみたいユーザは、第１音声にて放送番組を視聴した後、録画された放送番組を第２音声にて再生し、視聴するようなことを行っている。この場合、放送番組の視聴に２倍の時間がかかってしまう。また第２音声を楽しみたいものの、第１音声による視聴を主に考えているユーザにとっては、第２音声による視聴にある種の煩わしさを覚えることもある。
しかし、本実施形態１によれば、ユーザは第１音声による放送番組の視聴を楽しむことができ、時折、携帯通信機１に表示された第２音声の文字を見ることによって、第２音声も楽しむことができる。ユーザは、第１音声及び第２音声を同時的に楽しむことができる。
【００３６】
技術的観点から言い換えると、本実施形態１の制御プログラム５０、携帯通信機１、番組関連情報表示システム及び番組関連情報表示方法は、放送番組データに含まれる映像データ及び第１音声データを、映像及び音声としてテレビ２から出力し、該放送番組データに含まれる第２音声データを文字として携帯通信機１の表示部１６に表示することができる。本実施形態１に係る発明は、テレビ２及び携帯通信機１から、映像データ、第１音声データ及び第２音声データを同時的に出力することができる。しかも、第１音声及び第２音声を、音声及び文字と異なる態様で出力することによって、第１音声の内容のユーザへの伝達と、第２音声の内容のユーザへの伝達とが干渉することを防ぐことができる。
【００３７】
また、本実施形態１に係る携帯通信機１は、放送番組データに含まれる第１音声データと、テレビ２から取得したテレビ音声データとを比較することによって放送番組を特定する構成であるため、より容易かつ簡便な操作で放送番組を特定することができる。例えば、テレビ２に表示される映像を用いて放送番組を特定するように構成した場合、ユーザは携帯通信機１の撮像部１５をテレビ２の表示画面に向け、撮像範囲にテレビ２画面を収める必要がある。しかし、本実施形態１のように構成すれば、テレビ２のスピーカから出力される音声を取得できる範囲に携帯通信機１を配置するのみで、テレビ２が受像している放送番組を特定することが可能である。また、異なる番組において同じようなシーンが表示される場合、例えば法廷の映像を含む放送番組が複数ある場合、放送番組の特定を誤る可能性があるが、音声によれば、その誤りを低減することができる。
【００３８】
なお、放送局３から放送番組のデジタルデータが送信される例を中心に説明したが、放送局３から送信されるアナログ放送信号をテレビ２及び携帯通信機１が受信する場合にも本実施形態を適用することができる。アナログ放送信号は、映像信号と、左スピーカ用の音声信号と、右スピーカ用の音声信号とを含み、一方の音声信号が第１音声の信号に対応し、他方の音声信号が第２音声の信号に対応する。
【００３９】
また、本実施形態１では、放送番組データには、主音声及び副音声として第１及び第２音声データが含まれる例を説明したが、放送番組データは３以上の音声データを含むことができる。この場合、携帯通信機１は、主音声以外の他の複数の音声データに係る文字列を同時的に表示部１６に表示しても良いし、選択的に切り替えられた一つの音声データに係る文字列を表示するように構成しても良い。
【００４０】
更に、本実施形態１では、テレビ２が受像している放送番組を定期的に確認する例を説明したが、テレビ２が受像している放送番組を常時確認するように構成しても良い。また、一旦放送番組が特定された場合、ユーザによる特定の操作があるまで、該特定された放送番組に係る第２音声の文字を表示部１６に表示するように構成しても良い。
また、本実施形態では、図３のステップＳ１１〜Ｓ１６にて、携帯通信機１側にてテレビ２が受像している放送番組の特定を行っているが、ユーザが携帯通信機１に直接放送番組を入力するようにしても良い。本実施形態で重要なことは、ある放送番組中のある場面においてある人物が発した音声を携帯通信機１にて取得し、該音声に関連した情報（本実施形態では第２音声により表現されている内容）を携帯通信機１にて表示（例えば、テキスト形式）することである。よって、携帯通信機１がテレビ２にて放映されている放送番組を特定する方法は問題では無い。
また、本実施形態では、携帯通信機１による所定の第１音声の取得をトリガとして携帯通信機１に表示している情報を第２音声データに基づいて行っているが、上述のように、第１音声の取得をトリガとして該第１音声に関連した情報を携帯通信機１に表示させることが重要であり、これが実現できるのであれば表示元は問わない。例えば、第２音声データではなく、表示すべき内容のテキスト情報であっても良い。
また、本実施形態では、制御部１０は、チューナ１４を介してアンテナ１４ａにより第１音声データおよび第２音声データを取得しているが、携帯受信部１２ｂにより取得しても良い。
【００４１】
（実施形態２）
図５は実施形態２に係る番組関連情報表示システムの一構成例を示す概念図である。実施形態２に係る番組関連情報表示システムは、携帯通信機１、テレビ２及び番組関連情報提供装置６を備える。実施形態２に係る番組関連情報表示システムは、音声認識及び番組関連情報の収集を番組関連情報提供装置６が実行し、より多様な番組関連情報を携帯通信機１に表示させることが可能なシステムである。実施形態２は、システムが番組関連情報提供装置６を備える点と、各装置の処理内容とが実施形態１と異なるため、以下では、主にかかる相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。
【００４２】
図６は実施形態２に係る番組関連情報提供装置６の一構成例を示すブロック図である。番組関連情報提供装置６は、例えば、該番組関連情報提供装置６の各構成部の動作を制御するＣＰＵ等のサーバ制御部６０を備えたコンピュータである。サーバ制御部６０には、バスを介して、一時記憶部６１、記憶部６２、通信部６３及びチューナ６４が接続されている。
【００４３】
一時記憶部６１は、ＤＲＡＭ、ＳＲＡＭ等のメモリであり、サーバ制御部６０の演算処理を実行する際に記憶部６２から読み出されたサーバ制御プログラム７０、又はサーバ制御部６０の演算処理によって生ずる各種データを一時記憶する。記憶部６２は、ハードディスク、ＥＥＰＲＯＭ等の不揮発性メモリであり、番組関連情報の収集及び提供処理に必要なサーバ制御プログラム７０を記憶している。本実施形態２に係るサーバ制御プログラム７０は、記録媒体７にコンピュータ読み取り可能に記録されている態様でも良い。記憶部６２は、図示しない読出装置によって記録媒体７から読み出されたサーバ制御プログラム７０を記憶する。また、記憶部６２は、各種放送番組の番組関連情報として、番組情報ＤＢ６２ａ（Database）、人物関連情報ＤＢ６２ｂ、ダイジェスト画像情報ＤＢ６２ｃ、広告情報ＤＢ６２ｄを記憶している。各データベースの詳細は後述する。
【００４４】
通信部６３は、通信網Ｎを介して、携帯通信機１及び任意のウェブサーバ４との間で各種情報を送受信するための通信機であり、送信部６３ａ及び受信部６３ｂを有する。通信部６３による各種情報の送受信はサーバ制御部６０によって制御される。チューナ６４は、携帯通信機１が備えるチューナ１４と同様の構成であり、放送局３から放送される信号をアンテナ６４ａにて受信し、放送番組の映像データ、音声データ、番組配列情報等を復元する。ただし、本実施形態２のチューナ６４はマルチチューナであり、サーバ制御部６０は、複数の放送番組データを同時的に処理するものとする。
【００４５】
図７Ａは番組情報ＤＢ６２ａのレコードレイアウトを示す概念図である。番組情報ＤＢ６２ａは、例えば放送局３から放送される複数の放送番組それぞれの番組名と、当該番組の番組情報とを対応付けて記憶する。番組情報は、例えば、ドラマに登場する俳優、ドラマ制作に関与するスタッフ、主題歌の情報、あらすじ、裏ストーリ、俳優へのインタビュー情報、写真、原作に関する情報、ロケ地情報等である。なお、放送番組の種類は特に限定されるものでは無く、例えばドラマ、アニメ、映画、バラエティ番組等が含まれ、番組情報ＤＢ６２ａは、放送番組の内容にかかわる情報を番組情報として記憶している。なお、番組情報は、静的な情報であっても良いし、動的に収集した情報であっても良い。例えば、放送番組の放送局３が設けた投稿ウェブページ、その他の各種投稿サイトに投稿されるユーザのメッセージをリアルタイム又は定期的に収集し、収集した情報を番組情報の一部として番組情報ＤＢ６２ａに記憶させるようにしても良い。
【００４６】
図７Ｂは人物関連情報ＤＢ６２ｂのレコードレイアウトを示す概念図である。人物関連情報ＤＢ６２ｂは、例えば放送局３から放送される複数の放送番組それぞれの番組名と、該番組に登場する人物に関連する情報（以下、人物関連情報と呼ぶ。）とを対応付けて記憶する。人物関連情報は、例えば、当該人物のプロフィール、ニュース、他に出演しているドラマ、番組、該人物が執筆した書籍、楽曲等の広告等の情報を含む。
【００４７】
図７Ｃはダイジェスト画像情報ＤＢ６２ｃのレコードレイアウトを示す概念図である。ダイジェスト画像ＤＢは、複数回にわたって放送される一連の放送番組を要約して示すことができる画像を記憶している。具体的には、ダイジェスト画像ＤＢは、放送局３から放送される複数の放送番組それぞれの番組名と、当該放送番組の放送回と、各回のダイジェスト画像とを対応付けて記憶している。ダイジェスト画像は、各話の放送番組の映像の中から抽出した複数の静止画である。なお、ダイジェスト画像は、番組関連情報提供装置６が作成しても良いし、放送局３が開設している放送番組のウェブサイトから収集し、ダイジェスト画像情報ＤＢ６２ｃに記憶させても良い。
【００４８】
図７Ｄは広告情報ＤＢ６２ｄのレコードレイアウトを示す概念図である。広告情報ＤＢ６２ｄは、例えば、放送局３から放送される複数の放送番組それぞれの番組名と、当該番組の登場する人物名と、放送番組の音声に含まれるキーワードと、広告情報とを対応付けて記憶する。広告情報は、キーワードに関連する情報として、例えば通信販売サイトのＵＲＬ、キーワードに関連する商品名及び使用等の情報を含む。
【００４９】
なお、放送番組に係る各種情報は、番組関連情報提供装置６が外部のウェブサイトから収集して、各ＤＢに記憶するように構成しても良いし、人手で収集した情報を広告情報ＤＢ６２ｄに登録するように構成しても良い。
【００５０】
図８は実施形態２に係る番組関連情報表示処理の手順を示すフローチャートである。携帯通信機１の制御部１０は、放送番組を受像するテレビ２のスピーカから出力された該放送番組の音声をマイク１９にて取得し（ステップＳ２１１）、取得したテレビ音声データを携帯送信部１２ａにて番組関連情報提供装置６へ送信する（ステップＳ２１２）。
【００５１】
番組関連情報提供装置６のサーバ制御部６０は、携帯通信機１から送信されたテレビ音声データを受信部６３ｂにて受信する（ステップＳ２１３）。そして、サーバ制御部６０は、受信したテレビ音声データに基づいて、テレビ２が受像している放送番組に関連する情報を検索し（ステップＳ２１４）、検索して得た番組関連情報を送信部６３ａにて携帯通信機１へ送信する（ステップＳ２１５）。番組関連情報の検索処理の詳細は後述する。
【００５２】
携帯通信機１の制御部１０は、番組関連情報提供装置６から送信された番組関連情報を携帯受信部１２ｂにて受信し（ステップＳ２１６）、受信した番組関連情報を表示部１６に表示する（ステップＳ２１７）。次いで、制御部１０は、本実施形態に係る処理を終了するか否かを判定する（ステップＳ２１８）。終了しないと判定した場合（ステップＳ２１８：ＮＯ）、制御部１０は処理をステップＳ２１１へ戻す。処理を終了すべきと判定した場合（ステップＳ２１８：ＹＥＳ）、本実施形態に係る処理を終了する。
【００５３】
番組関連情報の検索処理の詳細を説明する。
図９及び図１０は実施形態２に係る番組関連情報検索処理の手順を示すフローチャートである。サーバ制御部６０は、放送局３から放送されている各チャンネルの放送番組データをチューナ６４にて取得し（ステップＳ２５１）、取得した各放送番組データから第１音声データを抽出する（ステップＳ２５２）。そして、サーバ制御部６０は、ステップＳ２５１及びステップＳ２５２にて取得及び抽出した第１音声データと、ステップＳ２１３にて受信したテレビ音声のデータとを比較することにより、放送番組を特定する処理を実行する（ステップＳ２５３）。
【００５４】
次いで、サーバ制御部６０は、放送番組の特定に成功したか否かを判定する（ステップＳ２５４）。放送番組の特定に失敗したと判定した場合（ステップＳ２５４：ＮＯ）、サーバ制御部６０は、放送番組一般の広告情報を含む番組関連情報を作成し（ステップＳ２５５）、番組関連情報の検索に係る処理を終える。つまり、サーバ制御部６０は、テレビ２が受像している放送番組を特定しきれなかったため、特定の放送番組に限定されない一般的な広告情報を番組関連情報として作成する。
【００５５】
放送番組の特定に成功したと判定した場合（ステップＳ２５４：ＹＥＳ）、サーバ制御部６０は、ステップＳ２５３の処理で特定された放送番組データから第２音声データを抽出する処理を実行する（ステップＳ２５６）。そして、サーバ制御部６０は、第２音声データの抽出に成功したか否かを判定する（ステップＳ２５７）。第２音声データの抽出に成功したと判定した場合（ステップＳ２５７：ＹＥＳ）、サーバ制御部６０は、抽出した第２音声データに基づいて、第２音声に含まれる言葉を文字データに変換する（ステップＳ２５８）。そして、サーバ制御部６０は、変換された第２音声データに係る文字と、特定された放送番組に係る映像データを含む番組関連情報を作成し（ステップＳ２５９）、番組関連情報の検索に係る処理を終える。放送番組に係る映像データは、例えば、映像データを小映像に変換して得たデータ、映像データから抽出される静止画像データ等である。
【００５６】
抽出に失敗したと判定した場合（ステップＳ２５７：ＮＯ）、サーバ制御部６０は、ステップＳ２５３にて特定された放送番組の番組名に基づいて、番組情報ＤＢ６２ａから放送番組の情報を読み出す（ステップＳ２６０）。次いで、サーバ制御部６０は、ステップＳ２５３にて特定された放送番組の番組名に基づいて、人物関連情報ＤＢ６２ｂから、放送番組に登場する人物に関する情報、該人物に係る広告の情報を読み出す（ステップＳ２６１）。次いで、サーバ制御部６０は、ステップＳ２５３にて特定された放送番組の番組名及び放送回の情報に基づいて、ダイジェスト画像情報ＤＢ６２ｃから、ダイジェスト画像を読み出す（ステップＳ２６２）。なお、放送回の情報は、番組配列情報から得られる。
【００５７】
次いで、サーバ制御部６０は、ステップＳ２１３にて受信したテレビ音声データを文字データに変換し（ステップＳ２６３）、文字データから検索用のキーワードを抽出する（ステップＳ２６４）。例えば、サーバ制御部６０は名詞、動詞等の特定の文字をキーワードとして抽出する。そして、サーバ制御部６０は、ステップＳ２５３にて特定された放送番組の番組名、人物名、ステップＳ２６４にて抽出したキーワードに基づいて、広告情報ＤＢ６２ｄから関連する広告情報を読み出す（ステップＳ２６５）。次いで、サーバ制御部６０は、ステップＳ２５３にて特定された放送番組の番組名、人物名、ステップＳ２６４にて抽出したキーワード等を用いてネット検索を行い、ウェブサーバ４から放送番組に関連する情報を取得する（ステップＳ２６６）。そして、サーバ制御部６０は、ステップＳ２６０〜ステップＳ２６６にて読み出し、又は検索して得た各種情報を含む番組関連情報を作成し（ステップＳ２６７）、番組関連情報検索に係る処理を終える。
【００５８】
図１１は実施形態２に係る番組関連情報の表示例を示す概念図である。番組関連情報提供装置６が放送番組の特定に成功し、第２音声データを抽出している場合、携帯通信機１の表示部１６には、図１１に示すような番組関連情報が表示される。携帯通信機１は、受信した放送番組関連情報を用いて、表示部１６の上段に番組名「放送番組Ａ」を表示し、中段に放送番組の小映像又は静止画像を表示し、下段に第２音声の文字列（例えば、第１音声を発した人物の本音等）を表示する。
【００５９】
図１２は実施形態２に係る他の番組関連情報の表示例を示す概念図である。番組情報提供装置が放送番組の特定に成功したものの、第２音声データが抽出されていない場合、携帯通信機１の表示部１６には、図１２に示すような番組関連情報が表示される。携帯通信機１は、受信した放送番組関連情報を用いて、放送番組及び人物に関する広告、放送番組のあらすじ、キャスト、コメント、裏ストーリ、人物関連情報、通販サイトのＵＲＬ等を表示部１６に表示する。また、携帯通信機１は、前回までの放送回のダイジェスト画像を表示部１６にサムネイル表示する。
【００６０】
このように構成された本実施形態２によれば、放送番組データに第２音声データが含まれている場合、携帯通信機１の表示部１６に第２音声の文字を表示し、第２音声データが含まれていない場合、放送番組に関連する各種情報を表示部１６に表示することができる。従って、ユーザは、第１音声を出力するテレビ２で放送番組を視聴しながら、携帯通信機１を用いて登場人物の本音、コメント等を見て楽しむことができる。
【００６１】
また、表示部１６に第２音声の文字と共に、放送番組の小映像又は静止画像を表示するように構成しているため、ユーザがテレビ２から目を離して携帯通信機１の表示部１６を見ているときでも、テレビ２に表示される映像の様子を確認しながら、第２音声の文字を楽しむことができ、重要シーンの見逃しを低減することができる。
【００６２】
更に、放送番組に第２音声データが含まれていない場合、携帯通信機１の表示部１６に放送番組に関連する各種情報を表示することができる。従って、ユーザは、ウェブブラウザを操作し、視聴している放送番組に関する情報を検索しなくても、放送番組に関する情報を得ることができる。例えば、ユーザは、放送番組のあらすじ、キャスト等の情報、裏ストーリ等を得ることができる。また、ユーザは、放送番組に登場する人物の情報、人物に関連する広告情報を得ることができる。例えば、ユーザは、放送番組の関連グッズを扱う通販サイトのＵＲＬ等の情報を得ることができる。
更に、ユーザは、放送番組の音声を文字データに変換して得られるキーワードによって検索される情報を得ることができる。更にまた、テレビ音声データを文字データに変換してキーワードを抽出し、広告情報を特定する構成であるため、単純に放送番組の音声に含まれるキーワードを用いる場合に比べて、ユーザの嗜好に合った広告情報を携帯通信機１の表示部１６に表示することができる。例えば、放送番組を視聴しているユーザが、放送番組に登場するアクセサリーに興味を覚え、「アクセサリー」の文字を発した場合、テレビ音声データには、ユーザが発した「アクセサリー」の文字も含まれることになる。従って、制御部１０は、放送番組の番組名、人物名等の客観的な情報に加え、ユーザが発した音声に基づくキーワード「アクセサリー」に基づいて、ユーザの嗜好に合った広告情報を特定することができ、表示部１６に表示させることができる。
なお、本実施形態２では、番組関連情報の取得処理を、番組関連情報提供装置６が実行する例を説明したが、番組関連情報提供装置６が実行する処理の一部又は全部を実施形態１のように携帯通信機１が実行するように構成しても良い。
【００６３】
（実施形態３）
実施形態３は、番組関連情報収集処理の内容が実施形態１と異なるため、以下では、主にかかる相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。
【００６４】
図１３は実施形態３に係る番組関連情報検索処理の手順を示すフローチャートである。図１３は、実施形態１におけるステップＳ２２の処理手順の詳細を示したものである。携帯通信機１の制御部１０は、ステップＳ１４にて特定された放送番組の番組名に基づいて、放送番組の情報をネット検索し、ウェブサーバ４から収集する（ステップＳ３１１）。
なお、放送番組の情報をより効果的に収集するために、番組のジャンル、チャンネル番号、その他の所定のキーワードを組み合わせて、ネット検索するようにしても良い。
【００６５】
次いで、制御部１０は、ステップＳ１４にて特定された放送番組の番組名に基づいて、放送番組に登場する人物に関する情報、該人物に係る広告の情報をネット検索し、ウェブサーバ４から収集する（ステップＳ３１２）。
なお、人物関連情報をより効果的に収集するために、番組のチャンネル番号、「名前」、「プロフィール」等の所定のキーワードを組み合わせて、ネット検索するようにしても良い。
【００６６】
次いで、制御部１０は、ステップＳ１４にて特定された放送番組の番組名及び放送回の情報に基づいて、ダイジェスト画像をネット検索し、ウェブサーバ４から収集する（ステップＳ３１３）。
なお、ダイジェスト画像をより効果的に収集するために、番組のチャンネル番号、「ダイジェスト」、「前回までのあらすじ」等の所定のキーワードを組み合わせて、ネット検索するようにしても良い。
【００６７】
次いで、制御部１０は、ステップＳ１７にて取得した放送番組の音声データを文字データに変換し（ステップＳ３１４）、文字データから検索用のキーワードを抽出する（ステップＳ３１５）。そして、制御部１０は、ステップＳ１４にて特定された放送番組の番組名、人物名、ステップＳ３１５にて抽出したキーワードに基づいて、各種広告情報をネット検索し、収集する（ステップＳ３１６）。
なお、広告情報をより効果的に収集するために、「販売」、「グッズ」等の所定のキーワードを組み合わせて、ネット検索するようにしても良い。
【００６８】
次いで、制御部１０は、ステップＳ３１１〜ステップＳ３１６にて収集した各種情報を取りまとめた番組関連情報を生成し（ステップＳ３１７）、番組関連情報検索に係る処理を終える。
【００６９】
このように構成された本実施形態３によれば、放送番組データに第２音声データが含まれていない場合、放送番組に関連する各種情報として、番組情報、人物関連情報、ダイジェスト画像、広告情報等を携帯通信機１の表示部１６に表示することができる。広告情報については、実施形態２と同様、ユーザの嗜好を加味した広告情報を特定し、表示部１６に表示することができる。
【００７０】
（実施形態４）
実施形態４は、番組関連情報収集処理の内容が実施形態１と異なるため、以下では、主にかかる相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。
【００７１】
図１４は実施形態４に係る番組関連情報検索処理の手順を示すフローチャートである。図１４は、実施形態１におけるステップＳ２２の処理手順の詳細を示したものである。携帯通信機１の制御部１０は、操作部１７の操作状態を検出し、撮像操作が行われたか否かを判定する（ステップＳ４１１）。撮像操作が行われていないと判定した場合（ステップＳ４１１：ＮＯ）、制御部１０は処理を終える。
【００７２】
撮像操作が行われたと判定した場合（ステップＳ４１１：ＹＥＳ）、制御部１０は、撮像部１５にて撮像を行う（ステップＳ４１２）。携帯通信機１の撮像部１５がテレビ２の表示画面に向けられている場合、撮像部１５は、放送番組を受像しているテレビ２に表示される映像を取得することができる。以下、放送番組を受像しているテレビ２の表示画面を撮像して得たデータを、テレビ映像データと呼ぶ。ここでは、放送局３から送信される映像データに、知覚困難な電子透かしとして、番組関連情報にアクセスするための情報が含まれているものとする。
【００７３】
ステップＳ４１２の処理を終えた制御部１０は、テレビ映像データから電子透かしの情報を抽出する（ステップＳ４１３）。次いで、制御部１０は、抽出した情報に基づいて、テレビ２が受像している放送番組の番組情報及び広告情報を収集する（ステップＳ４１４）。例えば、電子透かしの情報はＵＲＬであり、制御部１０は該ＵＲＬを用いて、特定のウェブサーバ４にアクセスし、放送番組に関連する情報を収集する。そして、制御部１０は、収集した情報に基づいて、番組関連情報を作成し（ステップＳ４１５）、番組関連情報検索に係る処理を終える。
【００７４】
このように構成された本実施形態３によれば、映像データを撮像することによって、テレビ２が受像している放送番組に関連する番組関連情報を取得し、携帯通信機１の表示部１６に表示することができる。
【００７５】
なお、本実施形態４では、電子透かしの情報を用いて、放送番組に関連する情報を収集する例を説明したが、番組関連情報そのものを電子透かしとして含ませておいても良い。
【００７６】
また、放送番組の映像を用いた可視光通信によって、テレビ２から携帯通信機１へ番組関連情報を送信するように構成しても良い。具体的には、放送番組の映像データには、番組関連情報が可視光通信可能に重畳されている。例えば、テレビ２は、映像の一部を知覚困難な態様で明暗させる等して情報を可視光送信する。携帯通信機１は撮像部１５にてテレビ２の表示画面を撮像することによって、テレビ２から可視光送信された番組関連情報を受信することができる。なお、本実施形態４では、電子透かし又は可視光通信にて送信された情報を撮像部１５にて受信する例を説明したが、可視光通信専用の受信機を携帯通信機１に備えても良い。
【００７７】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７８】
１  携帯通信機
２  テレビ
３  放送局
５  記録媒体
７  記録媒体
１０  制御部
１１  記憶部
１２  無線通信部
１２ａ  携帯送信部
１２ｂ  携帯受信部
１３  無線ＬＡＮ通信部
１４  チューナ
１６  表示部
１９  マイク
５０  制御プログラム
Ｎ  通信網
【図１】
2017060059.tif 000003
【図２】
2017060059.tif 000004
【図３】
2017060059.tif 000005
【図４】
2017060059.tif 000006
【図５】
2017060059.tif 000007
【図６】
2017060059.tif 000008
【図７Ａ】
2017060059.tif 000009
【図７Ｂ】
2017060059.tif 000010
【図７Ｃ】
2017060059.tif 000011
【図７Ｄ】
2017060059.tif 000012
【図８】
2017060059.tif 000013
【図９】
2017060059.tif 000014
【図１０】
2017060059.tif 000015
【図１１】
2017060059.tif 000016
【図１２】
2017060059.tif 000017
【図１３】
2017060059.tif 000018
【図１４】
2017060059.tif 000019