(57)【要約】【課題】紙面からユーザの所望の情報を容易かつ確実に認識してそれに応じた処理を実行すること。【解決手段】ＴＶ１００のＣＰＵ１は、新聞や雑誌等のテレビ番組表２０を撮像したマーク画像からマークＭ及び当該マークを認識し、マークＭが記された位置の番組について、マークＭが「○」である場合には、録画予約または視聴予約を実行し、マークＭが「×」である場合、当該番組の録画予約または視聴予約の削除を実行する。これにより、ユーザは番組表の所望の番組欄にマークを記してカメラに撮像させるだけで当該番組に関する録画予約等の処理を実行でき、従来必要であった煩雑な操作が不要となる。【選択図】図４
2011142576.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報が印刷された紙面に手書きで記された所定のマーク及び前記複数の情報のうち前記マークが記された位置に印刷された情報を含むマーク画像が入力される入力部と、
前記複数の情報にそれぞれ対応する複数の対応情報を記憶する記憶部と、
前記入力されたマーク画像を解析して前記マークが記された位置に印刷された情報に対応する前記対応情報を特定し、当該特定された対応情報に関する所定の処理を実行する制御部と
を具備する電子機器。
【請求項２】
請求項１に記載の電子機器であって、
前記複数の情報は前記紙面に印刷されたテレビジョン番組表中の複数の番組情報であり、
前記マーク画像には複数の前記マークが含まれ、
前記複数の対応情報は、前記テレビジョン番組表に対応したＥＰＧ（Electronic Program Guide）情報中の複数の電子番組情報であり、
前記制御部は、前記各マークが記された位置に印刷された各番組情報にそれぞれ対応する複数の前記電子番組情報を特定し、前記所定の処理として、当該特定された各電子番組情報が示す複数の番組の記録または再生を予約する
電子機器。
【請求項３】
請求項２に記載の電子機器であって、
前記記憶部は、前記記録または前記再生が予約された複数の番組を示す複数の予約情報を記憶し、
前記紙面には、前記マークとして、第１のマークと、当該第１のマークとは異なる第２のマークとが記されており、
前記制御部は、前記マーク画像から、前記マークが前記第１のマークであるか前記第２のマークであるかを判断し、前記マークが前記第１のマークであると判断した場合に、当該第１のマークが記された位置に印刷された番組情報に対応する前記電子番組情報によって特定される番組の記録または再生を予約し、前記マークが前記第２のマークであると判断した場合に、前記複数の予約情報から、前記第２のマークが記された位置に印刷された番組情報に対応する予約情報を削除する
電子機器。
【請求項４】
請求項２に記載の電子機器であって、
前記制御部は、前記マーク画像から、前記マークが記された位置に印刷された番組情報に含まれる第１の文字列を抽出し当該抽出された第１の文字列と前記電子番組情報に含まれる文字列とを比較することで前記番組情報に対応する前記電子番組情報を特定し、当該電子番組情報を特定できなかった場合に、前記マーク画像から、当該マークが記された位置以外の位置に印刷された第２の文字列を抽出し当該抽出された第２の文字列と前記電子番組情報に含まれる文字列とを比較することで前記番組情報に対応する前記電子番組情報を特定する
電子機器。
【請求項５】
請求項２に記載の電子機器であって、
前記記憶部は、前記印刷されたテレビジョン番組表上における各番組情報の座標と、当該各番組情報の放送時間帯との対応関係を示す複数の座標対応情報を記憶し、
前記制御部は、前記マーク画像から、前記印刷されたテレビジョン番組表上における、前記マークが記された位置に印刷された番組情報の座標を特定し、当該特定された座標及び前記記憶された座標対応情報を基に当該番組情報に対応する放送時間帯を特定し、当該放送時間帯に放送される番組の記録または再生を予約する
電子機器。
【請求項６】
請求項２に記載の電子機器であって、
前記印刷されたテレビジョン番組表は、前記番組情報毎の複数の矩形枠を有し、
前記制御部は、前記マーク画像から、前記複数の矩形枠のうち、前記マークとの交差点が最も多い矩形枠内の文字列を抽出して、当該矩形枠内の番組情報に対応する前記電子番組情報を特定する
電子機器。
【請求項７】
請求項１に記載の電子機器であって、
表示部をさらに具備し、
前記複数の情報は前記紙面に印刷された複数の人物画像であり、
前記記憶部は、前記各人物画像の画像特徴情報及び当該各人物画像に表された人物の人物名情報を記憶し、
前記制御部は、前記マーク画像から、前記電子番組情報、前記画像特徴情報、及び前記人物名情報を基に、前記人物画像に表された人物の人物名情報を特定し、当該特定された人物名情報を含む前記電子番組情報を特定し、前記所定の処理として、当該特定された電子番組情報が示す番組のリストを前記表示部に表示させる
電子機器。
【請求項８】
請求項１に記載の電子機器であって、
ネットワークに接続する通信部と、
表示部と
をさらに具備し、
前記複数の情報は前記紙面に印刷された複数の商品画像であり、
前記記憶部は、前記各商品画像と当該各商品画像に表された商品を識別する商品識別情報とを記憶し、
前記制御部は、前記マーク画像から、前記マークが記された位置に印刷された商品画像に表された商品を識別する商品識別情報を特定し、当該特定された商品識別情報に関連する商品情報を前記通信部により前記ネットワーク上から検索して前記表示部に表示させる
電子機器。
【請求項９】
複数の情報が印刷された紙面に手書きで記された所定のマーク及び前記複数の情報のうち前記マークが記された位置に印刷された情報を含むマーク画像の入力を受け付け、
前記複数の情報にそれぞれ対応する複数の対応情報を記憶し、
前記入力されたマーク画像を解析して前記マークが記された位置に印刷された情報に対応する前記対応情報を特定し、当該特定された対応情報に関する所定の処理を実行する
情報処理方法。
【請求項１０】
電子機器に、
複数の情報が印刷された紙面に手書きで記された所定のマーク及び前記複数の情報のうち前記マークが記された位置に印刷された情報を含むマーク画像の入力を受け付けるステップと、
前記複数の情報にそれぞれ対応する複数の対応情報を記憶するステップと、
前記入力されたマーク画像を解析して前記マークが記された位置に印刷された情報に対応する前記対応情報を特定し、当該特定された対応情報に関する所定の処理を実行するステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙面に印刷された文字情報や画像情報を認識可能な電子機器、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、紙面から文字情報や画像情報をカメラで認識し、当該認識された情報に応じた処理を実行する技術が存在する。
【０００３】
例えば、下記特許文献１には、新聞や雑誌に記載された番組表のうち、ユーザ所望の番組の情報が記載されている領域近傍が予約操作装置により撮像されると、当該撮像範囲のイメージデータが番組予約装置へ転送され、当該イメージデータと、予め記憶された参照番組表パターンデータとの比較により番組が検出され、検出された番組のうちユーザにより選択された番組の録画予約が番組予約装置へ指示されることが記載されている。
【０００４】
また、下記特許文献２には、新聞等のテレビ番組欄がテレビ受像機の読み取り部に近づけられることで、当該テレビ番組欄に記載された曜日、開始時刻、終了時刻、チャンネル番号等の文字が読み取られ、読み取られた文字のデータが、メモリに記憶されたデータと比較されることで識別され、確認ボタンが操作されることで、識別されたデータを用いた受信予約設定が行われることが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３１１１２２号公報
【特許文献２】特開平４−２１２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１及び特許文献２のいずれに記載された技術においても、新聞等の番組欄の撮像範囲をユーザが確定する必要がある。したがってユーザは、密接して存在する複数の番組欄のうち、録画等を所望する１つの番組の番組欄の領域に撮像範囲を合わせるように、紙面を動かして細かな調整を行う必要がある。またユーザは、撮像範囲に複数の番組欄が含まれることで、当該複数の番組欄の番組が認識された場合にはそれらの番組から所望の番組を選択する必要がある。すなわち、上記いずれの技術においても、所望の番組が選択されるまでにユーザに煩雑な操作を強いることとなり、利便性に欠ける結果となる。
【０００７】
以上のような事情に鑑み、本発明の目的は、紙面からユーザの所望の情報を容易かつ確実に認識してそれに応じた処理を実行可能な電子機器、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る電子機器は、入力部と、記憶部と、制御部とを有する。上記入力部には、複数の情報が印刷された紙面に手書きで記された所定のマーク及び上記複数の情報のうち上記マークが記された位置に印刷された情報を含むマーク画像が入力される。上記記憶部は、上記複数の情報にそれぞれ対応する複数の対応情報を記憶する。上記制御部は、上記入力されたマーク画像を解析して上記マークが記された位置に印刷された情報に対応する上記対応情報を特定し、当該特定された対応情報に関する所定の処理を実行する。
【０００９】
この構成により電子機器は、上記マークが記された位置に存在する情報に関する処理を実行できる。情報がマークされているため、電子機器は当該マークが記された位置に存在する情報のみ特定すればよいため、マークが記されていない紙面から情報を認識する場合に比べて、認識精度が向上する。そしてユーザは、紙面内の所望の情報を手書きのマークにより特定するだけで、当該マークされた情報に応じた処理を電子機器に容易に実行させることができる。
【００１０】
上記複数の情報は上記紙面に印刷されたテレビジョン番組表中の複数の番組情報であり、上記マーク画像には複数の上記マークが含まれてもよい。上記複数の対応情報は、上記テレビジョン番組表に対応したＥＰＧ（Electronic Program Guide）情報中の複数の電子番組情報であってもよい。この場合上記制御部は、上記各マークが記された位置に印刷された各番組情報にそれぞれ対応する複数の上記電子番組情報を特定し、上記所定の処理として、当該特定された各電子番組情報が示す複数の番組の記録または再生を予約してもよい。
【００１１】
これにより電子機器は、各マークによって特定される複数の番組の記録予約（録画予約）または再生予約（視聴予約）を実行できる。したがってユーザは、印刷された１枚の番組表中の所望の複数の番組の番組欄にマークを記すことで、複数の番組の録画予約または視聴予約を一度に行うことができる。従来のテレビジョン装置では、例えばＥＰＧやＧコードを用いて複数の番組の録画予約または視聴予約を行うにはユーザは番組毎に予約操作を行う必要があるため、当該電子機器の構成は非常に有益である。
【００１２】
上記記憶部は、上記記録または上記再生が予約された複数の番組を示す複数の予約情報を記憶してもよく、上記紙面には、上記マークとして、第１のマークと、当該第１のマークとは異なる第２のマークとが記されていてもよい。この場合上記制御部は、上記マーク画像から、上記マークが上記第１のマークであるか上記第２のマークであるかを判断してもよい。そして制御部は、上記マークが上記第１のマークであると判断した場合に、当該第１のマークが記された位置に印刷された番組情報に対応する上記電子番組情報によって特定される番組の記録または再生を予約してもよい。また制御部は、上記マークが上記第２のマークであると判断した場合に、上記複数の予約情報から、上記第２のマークが記された位置に印刷された番組情報に対応する予約情報を削除してもよい。
【００１３】
これによりユーザは、紙面に異なるマークを記すことで、新たな番組の録画／視聴予約と、既になされた録画／視聴予約の削除とを一度に電子機器に実行させることができる。ここで第１のマークは例えば「○」であり、第２のマークは例えば「×」であるが、これらに限られない。
【００１４】
上記制御部は、上記マーク画像から、上記マークが記された位置に印刷された番組情報に含まれる第１の文字列を抽出し当該抽出された第１の文字列と上記電子番組情報に含まれる文字列とを比較することで上記番組情報に対応する上記電子番組情報を特定してもひよい。また制御部は、当該電子番組情報を特定できなかった場合に、上記マーク画像から、当該マークが記された位置以外の位置に印刷された第２の文字列を抽出し当該抽出された第２の文字列と上記電子番組情報に含まれる文字列とを比較することで上記番組情報に対応する上記電子番組情報を特定してもよい。
【００１５】
これにより電子機器は、マークが記された位置に印刷された番組名や出演者等の文字列（第１の文字列）を認識できなかった場合でも、例えばそれ以外の位置に印刷されたチャンネル名、時間、日付等の他の文字列（第２の文字列）を基に、当該マークが記された位置に対応する番組を特定することができる。
【００１６】
上記記憶部は、上記印刷されたテレビジョン番組表上における各番組情報の座標と、当該各番組情報の放送時間帯との対応関係を示す複数の座標対応情報を記憶してもよい。この場合上記制御部は、上記マーク画像から、上記印刷されたテレビジョン番組表上における、上記マークが記された位置に印刷された番組情報の座標を特定し、当該特定された座標及び上記記憶された座標対応情報を基に当該番組情報に対応する放送時間帯を特定し、当該放送時間帯に放送される番組の記録または再生を予約してもよい。
【００１７】
これにより電子機器は、マークが記された位置に印刷された番組情報自体を認識しなくても、当該番組情報のテレビジョン番組表上の「枠（放送時間帯）」の位置を特定することで、当該番組情報に対応する番組の記録または再生を予約することができる。
【００１８】
上記印刷されたテレビジョン番組表は、上記番組情報毎の複数の矩形枠を有してもよい。この場合上記制御部は、上記マーク画像から、上記複数の矩形枠のうち、上記マークとの交差点が最も多い矩形枠内の文字列を抽出して、当該矩形枠内の番組情報に対応する上記電子番組情報を特定してもよい。
【００１９】
これにより電子機器は、マークと矩形枠との交差点の数により、当該マークがどの矩形枠の番組情報を特定した（例えば囲んだ）ものであるかを判断することができる。
【００２０】
上記電子機器は、表示部をさらに有してもよい。また上記複数の情報は上記紙面に印刷された複数の人物画像であってもよく、上記記憶部は、上記各人物画像の画像特徴情報及び当該各人物画像に表された人物の人物名情報を記憶してもよい。この場合上記制御部は、上記マーク画像から、上記電子番組情報、上記画像特徴情報、及び上記人物名情報を基に、上記人物画像に表された人物の人物名情報を特定し、当該特定された人物名情報を含む上記電子番組情報を特定し、上記所定の処理として、当該特定された電子番組情報が示す番組のリストを上記表示部に表示させてもよい。
【００２１】
これによりユーザは、紙面に印刷された人物画像にマークを記すことで、当該人物が出演する番組のリストを電子機器に容易に表示させることができる。さらに、当該リスト中の番組から選択された番組が視聴予約または録画予約されてもよい。
【００２２】
上記電子機器は、ネットワークに接続する通信部と、表示部とをさらに有してもよい。上記複数の情報は上記紙面に印刷された複数の商品画像であってもよく、上記記憶部は、上記各商品画像と当該各商品画像に表された商品を識別する商品識別情報とを記憶してもよい。この場合上記制御部は、上記マーク画像から、上記マークが記された位置に印刷された商品画像に表された商品を識別する商品識別情報を特定し、当該特定された商品識別情報に関連する商品情報を上記通信部により上記ネットワーク上から検索して上記表示部に表示させてもよい。
【００２３】
これによりユーザは、例えば折込広告等に印刷された商品画像にマークを記すことで、当該商品画像により表される商品に関する情報を容易に得ることができる。
【００２４】
本発明の他の形態に係る情報処理方法は、複数の情報が印刷された紙面に手書きで記された所定のマーク及び上記複数の情報のうち上記マークが記された位置に印刷された情報を含むマーク画像の入力を受け付けることを含む。上記複数の情報にそれぞれ対応する複数の対応情報が記憶される。上記入力されたマーク画像は解析され上記マークが記された位置に印刷された情報に対応する上記対応情報が特定され、当該特定された対応情報に関する所定の処理が実行される。
【００２５】
本発明のまた別の形態に係るプログラムは、電子機器に、入力受付ステップと、記憶ステップと、処理実行ステップとを実行させる。上記入力受付ステップでは、複数の情報が印刷された紙面に手書きで記された所定のマーク及び上記複数の情報のうち上記マークが記された位置に印刷された情報を含むマーク画像の入力が受け付けられる。上記記憶ステップでは、上記複数の情報にそれぞれ対応する複数の対応情報が記憶される。上記処理実行ステップでは、上記入力されたマーク画像が解析され上記マークが記された位置に印刷された情報に対応する上記対応情報が特定され、当該特定された対応情報に関する所定の処理が実行される。
【発明の効果】
【００２６】
以上説明したように、本発明によれば、紙面からユーザの所望の情報を容易かつ確実に認識してそれに応じた処理を実行することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る構成の概要を示す図である。
【図２】本発明の一実施形態に係るＴＶのハードウェア構成を示すブロック図である。
【図３】本発明の一実施形態に係るＴＶのソフトウェア構成及びデータ構成を示す図である。
【図４】本発明の一実施形態に係るＴＶの動作の流れを示すフローチャートである。
【図５】図４のフローチャートのうち一部の処理の詳細を示すフローチャートである。
【図６】本発明の一実施形態に係るＴＶによりマークの認識時に作成されるデータベースの例を示す図である。
【図７】図４のフローチャートのうち一部の処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２９】
［システムの概要］
図１は、本発明の一実施形態に係るテレビジョン装置（以下、ＴＶと称する）を用いたシステムの概要を示す図である。
【００３０】
同図に示すように、本実施形態に係るＴＶ１００は、例えば表示部１４の下部にカメラ１９を有する。ユーザは、例えば新聞や雑誌等の紙面に印刷されたテレビ番組表２０の、所望の番組の番組欄にマークＭを手書きで記し、当該マークが記された領域またはテレビ番組表２０全体をカメラ１９に撮像させる。周知のように、テレビ番組表２０では、各放送番組に関する情報が、チャンネル毎及び放送時間帯毎に区切られた矩形の領域（番組枠）に印刷されている。カメラ１９は、例えば新聞や雑誌等が床に置かれた場合に上記テレビ番組表２０を撮像可能なように撮像方向を設定されていてもよいし、ユーザが例えば表示部１４に平行となるように新聞や雑誌をカメラ１９の前に掲げた場合にテレビ番組表２０を撮像可能なように撮像方向を設定されていてもよい。
【００３１】
上記マークＭは複数記されていてもよい。またＴＶ１００は、後述するように、異なる種類（形状）のマークをそれぞれ識別可能であり、例えばマークＭが記された位置に印刷された番組情報について、例えば録画予約や予約の削除等、当該マークＭの種類に応じた処理を実行する。同図の例では、テレビ番組表２０の１つの番組欄を囲むように、マークＭとして「○」が記され、また別の１つの番組欄をカバーするように、マークＭとして「×」が記されている。
【００３２】
［ＴＶのハードウェア構成］
図２は、上記ＴＶ１００のハードウェア構成を示したブロック図である。同図に示すように、ＴＶ１００は、上記表示部１４及び上記カメラ１９に加えて、ＣＰＵ（Central Processing Unit）１、フラッシュメモリ２、ＤＲＡＭ（Dynamic Random Access Memory）３、内部バス４、リモコン受光部５、デジタルアンテナ入力端子６、デジタルチューナ７、通信部８、ＭＰＥＧデコーダ９、映像信号処理回路１１、グラフィック生成部１２、パネル駆動回路１３、音声信号処理回路１５、音声信号増幅回路１６、スピーカ１７及びＨＤＤ（Hard Disk Drive）を有する。
【００３３】
デジタルアンテナ入力端子６は、図示しないデジタルアンテナにより受信されたデジタル放送の放送信号を入力する。デジタルチューナ７は、当該放送信号から指定されたチャンネルの信号を選局して、ＭＰＥＧデコーダ９に出力する。通信部８は、例えばネットワークインタフェースカード等からなり、ネットワーク１５０上の他の機器との間で通信処理を行う。
【００３４】
ＭＰＥＧデコーダ９は、ＭＰＥＧ規格によりエンコードされた放送信号をデコードし、デコードした信号のうち映像信号を映像信号処理回路１１へ、音声信号を音声信号処理回路１５へ出力する。
【００３５】
映像信号処理回路１１は、入力された映像信号に必要な映像処理を施し、グラフィック生成部１２へ出力する。グラフィック生成部１２は、入力された映像信号とＧＵＩ（Graphical User Interface）画面等をＯＳＤ（On Screen Display）処理により合成して、パネル駆動回路１３へ出力する。パネル駆動回路１３は、グラフィック生成部１２から供給される映像信号のデジタル／アナログ変換等を行い、アナログ映像信号に応じて表示部１４を駆動する。表示部１４は、例えばＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）、ＯＥＬ（Organic Electro-Luminescence）ディスプレイ等であり、パネル駆動回路１３から入力されたアナログ映像信号を表示する。
【００３６】
音声信号処理回路１５は、入力された音声信号に必要な音声処理を施し、音声信号増幅回路１６へ出力する。音声信号増幅回路１６は、入力された音声信号を必要な音量に調整し、スピーカ１７へ出力して再生させる。
【００３７】
ＣＰＵ１は、必要に応じてＤＲＡＭ３等にアクセスし、ＴＶ１００の各ブロックを統括的に制御する。フラッシュメモリ２は、ＣＰＵ１に実行させるＯＳ、後述する画像解析処理や上記マークＭに応じた各種処理等を実行するためのソフトウェアモジュール等のプログラムや、各種パラメータ等のデータを固定的に記憶する不揮発性のメモリである。ＤＲＡＭ３は、ＣＰＵ１の作業用領域等として用いられ、ＯＳやプログラム、処理データ等を一時的に保持するメモリである。ＣＰＵ１、フラッシュメモリ２及びＤＲＡＭ３は内部バス４に接続され、相互にアクセスされることでＴＶ１００の全体が制御される。
【００３８】
リモコン受光部５は、リモートコントローラ１０（以下、リモコン１０）から遠隔制御信号によりユーザ操作を受け付け、当該遠隔制御信号をＣＰＵ１へ出力する。これにより、ユーザ操作に応じた放送番組の受信や再生等の、ＴＶ１００の制御処理が実行される。リモコン１０は、例えば放送チャンネルに対応した数字キーや、メニューボタン、選択（決定）ボタン、再生ボタン、一時停止ボタン、早送りボタン、巻き戻しボタン等の各種操作部を有している。ＴＶ１００は、リモコン１０及びリモコン受光部５に加えて、ユーザにより直接操作されて各種操作を受け付けるボタン、キー、タッチパネル等を有していてもよく、マウスやキーボード等の他の入力装置から操作を受け付けてもよい。
【００３９】
ＨＤＤ１８は、上記デジタルチューナ７により受信された放送信号を番組毎に記録する。本実施形態では、上記デジタルアンテナ入力端子６、デジタルチューナ７及びＭＰＥＧデコーダ９はそれぞれ２つ設けられている（デジタルアンテナ入力端子６ａ及び６ｂ、デジタルチューナ７ａ及び７ｂ、ＭＰＥＧデコーダ９ａ及び９ｂ）。したがってＴＶ１００は、例えば一方のデジタルチューナ７ａから受信されたあるチャンネルの放送信号がＭＰＥＧデコーダ９ａによりデコードされ再生されている間に、他方のデジタルチューナ７ｂから受信された他のチャンネルの放送信号をＨＤＤ１８へ記録することが可能である。
【００４０】
カメラ１９には、レンズ及びＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）からなる撮像素子により、上記マークＭを含むテレビ番組表２０の一部または全体の画像が入力され、当該画像はＣＰＵ１へ出力される。
【００４１】
［ＴＶのソフトウェア構成及びデータ構成］
図２は、上記ＴＶ１００が有するソフトウェア及びデータの構成を示した図である。同図に示すように、例えば上記フラッシュメモリ２には、ＥＰＧ情報３１、番組表座標情報３２、マーク／処理対応情報３３の各データベースが記憶され、また画像解析モジュール３４及び番組録画／視聴予約モジュール３５の各ソフトウェアモジュールが記憶される。
【００４２】
ＥＰＧ情報３１は、デジタルチューナ７により例えば定期的に受信され記憶される。番組表座標情報３２は、上記テレビ番組表２０におけるチャンネル毎及び放送時間帯毎の番組欄の位置座標情報を示す情報であり、後述するように、マークＭが記された番組の放送時間帯（番組枠）の特定に用いられる。当該番組表座標情報３２は、新聞や雑誌の種類（例えば朝刊、夕刊等）に応じて複数種類存在する。
【００４３】
マーク／処理対応情報３３は、異なるマークＭとそれに応じて実行される処理との関係を示す情報である。後述するが、例えばマークＭが、「○」であれば録画／視聴予約、「×」であれば録画／視聴予約の削除、「□」であれば番組詳細情報の表示、といったように各マークＭに処理が対応付けられている。
【００４４】
画像解析モジュール３４は、上記カメラ１９により入力された、マークＭを含む画像（以下、マーク画像と称する）を例えばＯＣＲ（Optical Character Reader）等の技術により解析する。そして、画像解析モジュール３４は、当該マークＭが記された位置に存在する番組情報から文字列を抽出し、当該文字列を上記ＥＰＧ情報３１と比較することで、当該マークＭが記された位置の番組を特定する。また画像解析モジュール３４は、当該文字列が抽出できない場合には、上記番組表座標情報３２を基に、当該マークＭが記された位置の番組の放送時間帯（番組枠）を特定する。そして画像解析モジュール３４は、上記マーク／処理対応情報３３を基に、当該特定された番組について、対応する処理の実行を、番組録画／視聴予約モジュール３５へ指示する。
【００４５】
番組録画／視聴予約モジュール３５は、上記画像解析モジュール３４から指示された、特定の番組についての録画／視聴予約またはそれらの予約の削除等の、マークＭに対応した処理を実行する。録画予約または視聴予約が実行された番組は、予約リストで管理される。
【００４６】
［ＴＶの動作］
次に、以上のように構成されたＴＶ１００の動作について説明する。以下においては、ＴＶ１００のＣＰＵ１を動作主体として説明するが、当該動作は上記各種ソフトウェアモジュールや他のハードウェアと協働して実行される。
【００４７】
図４は、上記ＴＶ１００によりマークＭに応じて実行される処理の流れを示したフローチャートである。
【００４８】
同図に示すように、まず、ＣＰＵ１は、上記カメラ１９により、上記マーク画像を入力する（ステップ４１）。続いてＣＰＵ１は、当該マーク画像を解析して、マークＭとその近傍の文字列、当該マークＭが記された位置の番組枠の座標等の組み合わせをデータベース化する（ステップ４２）。
【００４９】
図５は当該ステップ４２におけるデータベース化処理の詳細な流れを示すフローチャートである。また図６は当該データベースの例を示す図である。
【００５０】
図５に示すように、まずＣＰＵ１は、マーク画像に含まれるマークＭのカウンタとしてのＩＤを初期化し（ステップ６１）、当該マーク画像にマークＭが存在するか否かを判断する（ステップ６２）。マークＭが存在しないと判断した場合（Ｎｏ）、ＣＰＵ１は、図４におけるステップ４３へ進む。
【００５１】
上記マーク画像にマークＭが存在すると判断した場合（Ｙｅｓ）、ＣＰＵ１は、当該マークＭの種類を認識し、データベース内の上記カウンタに応じた位置に当該マークＭを示す情報を入力する（ステップ６３）。
【００５２】
続いてＣＰＵ１は、当該マークＭと重なる（交差する）点が最も多い番組枠の、テレビ番組表上における座標を検出し、上記カウンタに応じた位置に当該座標を示す情報を入力する（ステップ６４）。
【００５３】
続いてＣＰＵ１は、当該番組枠内に印刷されている文字列を認識し、当該文字列を上記カウンタに応じた位置に入力する（ステップ６５）。
【００５４】
そしてＣＰＵ１は、上記カウンタをインクリメントし、上記マーク画像に含まれる、異なるマークＭについて、上記ステップ６２以降の処理を繰り返す（ステップ６６）。
【００５５】
図６に示すように、以上の処理により作成されるデータベースには、上記マークのＩＤ、マークの種類、番組枠の座標、番組枠内の文字列がそれぞれ入力されている。座標としては、例えばテレビ番組表の左上隅を原点として、マークが記された各矩形の番組枠の２つの角（例えば左上、右下）等の２点が入力されるが、このような態様に限られるものではない。
【００５６】
図４に戻り、上記データベースが作成されると、ＣＰＵ１は、マークＭが認識されたか否かを判断し（ステップ４３）、上記ＩＤにより識別されるマークＭが記された位置の番組を特定する（ステップ４４）。図７は、当該番組の特定処理の詳細を示したフローチャートである。
【００５７】
同図に示すように、ＣＰＵ１は、ＩＤにより識別されるマークＭが記された位置の番組枠内の文字列を解析し、抽出された文字列を、上記ＥＰＧ情報３１内から検索する（ステップ７１）。ここで解析される文字列は、例えば番組名、出演者、放送内容等の文字列である。当該検索により番組が特定できた場合（ステップ７２のＹｅｓ）、ＣＰＵ１は、図４のステップ４５へ進む。
【００５８】
上記検索により番組が特定できなかった場合（ステップ７２のＮｏ）、すなわちＥＰＧ情報３１内に、上記抽出された文字列とマッチする文字列が見つからなかった場合、ＣＰＵ１は、上記マーク画像にテレビ番組表２０の全体が写されているか否かを判断する（ステップ７３）。
【００５９】
テレビ番組表２０の全体が写されている場合（Ｙｅｓ）、ＣＰＵ１は、マーク画像のうち、上記マークＭが記されている領域の周囲の情報から、当該マークＭが記されている位置の番組のチャンネル、時間、日付等を示す文字列を特定し、当該チャンネル、時間、日付等から、番組枠を解析する（ステップ７４）。すなわち、テレビ番組表２０では、通常、その上部欄外に日付が印刷され、番組表の最上部に横方向に向かってチャンネル名が印刷され、また縦方向に向かって時間帯が印刷されているため、ＣＰＵ１はそれらの情報を示す文字列を認識することで、マークＭが記された位置の番組枠（放送時間帯）を特定する。そしてＣＰＵ１は、当該放送時間帯の番組を上記ＥＰＧ情報３１から検索することで、番組の特定を試みる。この処理により番組が特定できた場合（ステップ７７のＹｅｓ）、ＣＰＵ１は、図４のステップ４５へ進む。
【００６０】
上記ステップ７４の処理によっても番組を特定できなかった場合（ステップ７７のＮｏ）、ＣＰＵ１は、上記通信部８により、例えばインターネット上で番組表を掲載しているサイトから、上記ステップ７１において抽出された文字列をキーとして番組を検索する（ステップ７８）。
【００６１】
ここで、上記ＥＰＧ情報３１は例えば１週間分の番組情報を記憶している。したがって、上記ステップ７１及びステップ７４の処理によっても番組が特定できない場合というのは、マークＭが記されたテレビ番組表２０が、当該ＥＰＧ情報３１が記憶している番組の放送期日よりも先の日付の番組表である場合である可能性が高い。そこでＣＰＵ１は、例えば１ヶ月分等、上記ＥＰＧ情報３１よりも長い期間分の番組表を蓄積しているサイト等に掲載された情報から、番組の特定を試みる。当該インターネット上からの検索により番組を特定できた場合（ステップ７８のＹｅｓ）、ＣＰＵ１は、図４のステップ４５へ進む。
【００６２】
上記インターネット上からの検索によっても番組を特定できなかった場合（ステップ７０のＮｏ）、ＣＰＵ１は、新聞の朝刊、夕刊、雑誌特定の種類のテレビ番組表２０をユーザにセットするよう促し、カメラ１９により当該テレビ番組表２０を撮像する（ステップ８０）。具体的には、ＣＰＵ１は、例えば表示部１４に、複数の種類のテレビ番組表２０から１つの番組表を選択させる画面を表示し、リモコン１０によるユーザの選択操作の入力を受け付けた上で撮像を行う。上述したように、上記番組表座標情報３２には、テレビ番組表２０毎の各番組枠の座標が記憶されている。したがって、ＣＰＵ１は、撮像されるテレビ番組表２０が特定できれば、当該テレビ番組表２０におけるマークＭの座標と上記番組表座標情報３２とを比較することで、番組名は特定できなくとも、番組枠を特定することができる。
【００６３】
上記ステップ７３において、上記マーク画像に、テレビ番組表２０の全体が写されていない場合（Ｎｏ）、ＣＰＵ１は、当該マーク画像に、Ｇコードが含まれているか否かを判断する（ステップ７５）。Ｇコードが含まれていると判断した場合（Ｙｅｓ）、ＣＰＵ１は、当該Ｇコードにより番組を特定し（ステップ７６）、図４のステップ４５へ進む。Ｇコードが含まれていない場合（Ｎｏ）には、ＣＰＵ１は、図４のステップ４３へ進み、次のマークＭについての処理へと移る。
【００６４】
図４に戻り、上記ステップ４４により番組が特定された場合ＣＰＵ１は、当該番組が放送予定の番組（まだ放送されていない番組）であるか否かを判断する（ステップ４５）。放送予定の番組でない場合（Ｎｏ）、すなわち、既に放送された番組である場合には、ＣＰＵ１は、当該番組がＨＤＤ１８に記録されているか否かを判断する（ステップ４６）。当該番組が記録されている場合（Ｙｅｓ）、ＣＰＵ１は当該番組を再生する（ステップ４７）。当該再生処理が完了すると、ＣＰＵ１は、上記ＩＤをインクリメントし（ステップ５６）、次のマークＭについて上記ステップ４３以降の処理を実行する。
【００６５】
当該番組がＨＤＤ１８に記録されていない場合（Ｎｏ）、ＣＰＵ１は、上記ＩＤをインクリメントし（ステップ５６）、次のＩＤで識別されるマークＭについて、上記ステップ４３以降の処理を実行する。
【００６６】
上記ステップ４５において、上記特定された番組が放送予定の番組であると判断した場合（Ｙｅｓ）、ＣＰＵ１は、上記マークＭが「○」であるか否かを判断する（ステップ４８）。当該マークＭが「○」であると判断した場合（Ｙｅｓ）、ＣＰＵ１は、当該特定した番組に関する情報及びその録画予約または視聴予約の実行を選択するためのボタンを表示部１４に表示する（ステップ４９）。そしてＣＰＵ１は、当該番組についてユーザがリモコンの決定ボタン等により録画予約または視聴予約が指示された場合（ステップ５０のＹｅｓ）、ＣＰＵ１は、当該番組の録画予約または視聴予約を実行する（ステップ５１）。当該予約のキャンセルが指示された場合（ステップ５０のＮｏ）、ＣＰＵ１は上記ＩＤをインクリメントし（ステップ５６）、次のマークＭについて上記ステップ４３以降の処理を実行する。
【００６７】
ここで、ＣＰＵ１は、上記ステップ４９及びステップ５０の処理を省略して、マークが「○」であると判断した時点で自動的に上記特定された番組の録画予約または視聴予約を実行しても構わない。
【００６８】
上記ステップ４８において上記マークＭが「○」でないと判断した場合（Ｎｏ）、ＣＰＵ１は、当該マークＭが「×」であるか否かを判断する（ステップ５２）。当該マークＭが「×」であると判断した場合（Ｙｅｓ）、ＣＰＵ１は、特定された番組に関する録画予約リストまたは視聴予約リストから、当該番組を削除する（ステップ５３）。当該削除処理が完了すると、ＣＰＵ１は、上記ＩＤをインクリメントし（ステップ５６）、次のマークＭについて上記ステップ４３以降の処理を実行する。
【００６９】
上記ステップ５２において上記マークＭが「×」でないと判断した場合（Ｎｏ）、ＣＰＵ１は、当該マークＭが「□」であるか否かを判断する（ステップ５４）。当該マークＭが「□」であると判断した場合（Ｙｅｓ）、ＣＰＵ１は、特定された番組の詳細情報を表示部１４に表示する（ステップ５５）。当該詳細情報の表示処理が完了すると、ＣＰＵ１は、上記ＩＤをインクリメントし（ステップ５６）、次のマークＭについて上記ステップ４３以降の処理を実行する。当該マークが「□」でないと判断した場合（Ｎｏ）、ＣＰＵ１は処理を終了する。
【００７０】
以上の処理により、ＴＶ１００は、テレビ番組表２０に記されたマークＭを認識し、当該マークＭが記された位置に印刷された番組を特定することで、当該番組について、マークＭの種別に応じた処理を実行することができる。したがってユーザは、録画予約や予約削除等のために従来必要であった煩雑な操作を一切行うことなく、テレビ番組表２０にマークＭを記すだけで、所望の番組についての種々の処理をＴＶ１００に実行させることができる。またユーザは、所望の番組が放送される日時やチャンネルを意識することなく録画予約等の処理を実行させることができる。さらにユーザは、テレビ番組表２０にマークＭを複数記すことで、複数の番組についての録画予約等の処理をＴＶ１００に一度に行わせることができる。
【００７１】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【００７２】
上述の実施形態においては、マークＭの種別として「○」、「×」、「□」を示したが、これらは例示にすぎず、ＴＶ１００は、その他のマークに応じて上述した処理とは異なる処理を実行することも可能である。例えばＴＶ１００は、マークＭとして「◎」を認識し、それに応じて例えば当該「◎」が記された位置の番組について、インターネット上の番組評価サイトへ高評価を示す情報を送信してもよい。
【００７３】
上述の実施形態において、ＴＶ１００は、文字列から番組を特定できなかった場合、テレビ番組表２０上の各番組枠の座標を利用して番組を特定した。ＴＶ１００は、これに加えて、テレビ番組表２０におけるチャンネルの位置（配列）が定まっている場合には、当該配列関係を利用して番組を特定してもよい。すなわちＴＶ１００は、例えばマークＭが記された位置の番組名やチャンネルが特定できない場合には、その位置に隣接する位置のチャンネルにおける番組を特定し、上記配列関係を基に、当該隣接する位置のチャンネルにおける番組と同一時間帯に放送される番組を特定してもよい。
【００７４】
上述の実施形態においては、ＴＶ１００は、テレビ番組表２０上でマークＭが記された位置の番組枠内の文字列を解析することで番組を特定した。しかしＴＶ１００は、テレビ番組表２０以外の紙面を対象にして番組の録画予約等の処理を実行することもできる。例えばＴＶ１００は、番組の出演者の画像と当該番組との対応情報とを記憶しておき、雑誌等の紙面に印刷されたタレント等の人物の画像にマークＭが記されている場合、それを撮像して、当該マークＭ及び人物を解析し、当該人物が出演している番組のリストを表示部１４に表示してもよい。またＴＶ１００は、当該リストの表示に加えてまたは代えて、当該人物が出演している番組の録画予約または視聴予約を自動的に実行してもよい。さらにＴＶ１００は、マークＭの種別に応じて、録画／視聴予約、当該人物が出演している番組の録画／視聴予約の削除、当該人物の詳細情報の表示等の各種処理を実行してもよい。
【００７５】
上述の実施形態においては、ＴＶ１００は、マークＭの種別に応じて、番組に関する処理を実行した。しかし、マークＭに応じて実行される処理は番組に関する処理に限られない。例えばＴＶ１００は、折込広告等に掲載された商品にマークＭが記されている場合、その画像から商品を特定することで、当該商品の検索や購入等の処理を実行してもよい。すなわち、ＴＶ１００は、例えば商品に「○」が記されている場合、インターネット上のその商品の購入サイトへ接続し、「□」が記されている場合、その商品に関する情報をインターネット上から検索し、「×」が記されている場合、その商品に関するネガティブな評価を示す情報をインターネット上の商品評価サイトへ送信してもよい。
【００７６】
上述の実施形態においては、マーク画像はＴＶ１００のカメラ１９により撮像された。しかし、ＴＶ１００は、例えばリモコン１０やユーザの携帯電話機に内蔵されたカメラからの入力画像や、スキャナー、ＦＡＸ、コピー機等からの入力画像をマーク画像として受信してもよい。
【００７７】
上述の実施形態においては、撮像、録画／視聴予約等の処理は全てＴＶ１００により実行された。しかし、例えばＢＤレコーダ等のＰＶＲ（Personal Video Recorder）がＴＶ１００に接続されている場合、例えばマーク画像の撮像はＴＶ１００で行い、録画／視聴予約等のマークＭに応じた処理はＰＶＲで行ってもよい。
【００７８】
上述の実施形態においては、マーク画像の解析処理は、ＴＶ１００が有する画像解析モジュールにより実行された。しかし、当該画像解析処理の演算量の大きさに鑑みて、当該画像解析処理は例えばＬＡＮ（Local Area Network）内のホームサーバやインターネット上のサーバにより実行されても構わない。
【符号の説明】
【００７９】
１…ＣＰＵ
７…デジタルチューナ
８…通信部
９…ＭＰＥＧデコーダ
１４…表示部
１８…ＨＤＤ
１９…カメラ
２０…テレビ番組表
３１…ＥＰＧ情報
３２…番組表座標情報
３３…マーク／処理対応情報
３４…画像解析モジュール
３５…番組録画／視聴予約モジュール
１００…ＴＶ
１５０…ネットワーク
【図１】
2011142576.tif 000003
【図２】
2011142576.tif 000004
【図３】
2011142576.tif 000005
【図４】
2011142576.tif 000006
【図５】
2011142576.tif 000007
【図６】
2011142576.tif 000008
【図７】
2011142576.tif 000009