(57)【特許請求の範囲】
【請求項１】
複数の画像フレームを含む映像データを基に映像を表示装置に出力する表示制御部と、
ユーザの操作を受け付ける操作部と、
前記操作を受け付けたときに出力されている映像に対応する操作対象画像フレームから日時情報を抽出して、抽出された日時情報の日時に前記映像に含まれる情報を出力するようにスケジュールを登録する登録部と、
を備え、
前記映像データは、操作対象画像フレームの画像を含む部分動画を含み、
前記登録部は、前記抽出された日時情報の日時に前記操作対象画像フレームの画像を含む部分動画を再生するようにスケジュールを登録する、
情報処理装置。
【請求項２】
情報を記録する記録部をさらに備え、
前記登録部は、前記映像に含まれる情報が現在時点以降の日時に放送される放送番組の予告である場合に、前記操作対象画像フレームから抽出された日時情報の日時を指定して、前記放送番組の前記記録部への記録を予約する記録予約部をさらに含む請求項１に記載の情報処理装置。
【請求項３】
前記抽出された日時情報が複数存在する場合に、複数の日時情報の一覧を表示する手段と、
前記表示された日時情報から前記スケジュールに登録する日時情報を受け付ける手段と、をさらに備える請求項１または２に記載の情報処理装置。
【請求項４】
コンピュータが、
複数の画像フレームを含む映像データを基に映像を表示装置に出力するステップと、
ユーザの操作を受け付けるステップと、
前記操作を受け付けたときに出力されている映像に対応する操作対象画像フレームから日時情報を抽出して、抽出された日時情報の日時に前記映像に含まれる情報を出力するようにスケジュールを登録するステップと、
を実行し、
前記映像データは、操作対象画像フレームの画像を含む部分動画を含み、
前記登録するステップでは、前記抽出された日時情報の日時に前記操作対象画像フレームの画像を含む部分動画を再生するようにスケジュールを登録する、
情報処理方法。
【請求項５】
コンピュータに、
複数の画像フレームを含む映像データを基に映像を表示装置に出力するステップと、
ユーザの操作を受け付けるステップと、
前記操作を受け付けたときに出力されている映像に対応する操作対象画像フレームから日時情報を抽出して、抽出された日時情報の日時に前記映像に含まれる情報を出力するようにスケジュールを登録するステップと、を実行させるためのプログラムであって、
前記映像データは、操作対象画像フレームの画像を含む部分動画を含み、
前記登録するステップでは、前記抽出された日時情報の日時に前記操作対象画像フレームの画像を含む部分動画を再生するようにスケジュールを登録する、
プログラム。
【請求項６】
前記コンピュータは、情報を記録する記録部を備え、
前記登録するステップは、前記映像に含まれる情報が現在時点以降の日時に放送される放送番組の予告である場合に、前記操作対象画像フレームから抽出された日時情報の日時を指定して、前記放送番組の前記記録部への記録を予約するステップを含む請求項５に記載のプログラム。
【請求項７】
前記抽出された日時情報が複数存在する場合に、複数の日時情報の一覧を表示するステップと、
前記表示された日時情報から前記スケジュールに登録する日時情報を受け付けるステップと、をさらに実行させるための請求項５または６に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを処理する技術に関するものである。
【背景技術】
【０００２】
テレビジョン放送のコマーシャル映像は、日時の情報を含むことがある。例えば、商品の発売日、レンタルで提供される物品、不動産などのレンタル開始日、映画の上映開始日、新番組の放送予定の告知などが例示できる。ユーザが放送中のコマーシャル映像に興味を持った場合、例えば、「画面メモ」ボタンのようなシーンを停止させる機能が提供されていた。「画面メモ」ボタンが操作されると、放送中のシーンが停止される。ユーザは、シーン停止の間に、メモを取る、あるいは、スケジュール管理アプリケーションを起動させ、見逃し防止機能、例えば、指定日時になったら指定の通知をする機能による日時設定を行っていた。また録画番組再生中にユーザが再生中の番組内容に興味を持った場合、ユーザは「一時停止」ボタンでシーンを停止させ、同様の設定を行っていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０１１７５８号公報
【特許文献２】特開２００５−１２８６５９号公報
【特許文献３】特開２００３−３３１１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の技術では、ユーザが、画面の情報を目視で読み取ってメモを取り、スケジュールプログラムに設定することになる。しかしながら、スケジュールプログラムへの設定には、時間がかかる、操作が面倒である、入力ミスが生じる等の問題があった。【０００５】
開示の技術の目的は、簡易な操作で映像中に提供される情報にしたがって、スケジュール管理ができるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本技術の一側面は、情報処理装置によって例示される。本情報処理装置は、複数の画像フレームを含む映像データを基に映像を表示装置に出力する表示制御部と、ユーザの操作を受け付ける操作部と、操作を受け付けたときに出力されている映像に対応する操作対象画像フレームから日時情報を抽出して、抽出された日時情報の日時に映像に含まれる情報を出力するようにスケジュールを登録する登録部と、を備える。
【発明の効果】
【０００７】
本情報処理装置によれば、ユーザは、簡易な操作で映像中に提供される情報にしたがって、スケジュール管理ができる。
【図面の簡単な説明】
【０００８】
【図１】テレビ放送を視聴する画面を例示する図である。
【図２】テレビ放送のシーンから取得した画像を外部記憶装置に保存する処理を例示する図である。
【図３】保存された画像の例を示す図である。
【図４】日時情報を基にスケジューラに予定を登録する処理を例示する図である。
【図５】ポップアップ表示によってユーザに指定時刻に至ったことを報知する処理を例示する図である。
【図６】実施例１に係る情報処理装置と、情報処理装置が処理する情報の流れを例示する図である。
【図７】制御部の詳細を例示する図である。
【図８】メッセージ画面の例である。
【図９】スケジュールデータベースのデータ構造を例示する図である。
【図１０】シーンから文字データを取得し、スケジューラに登録する処理を例示するフローチャートである
【図１１】スケジューラの処理を例示するフローチャートである。
【図１２】テレビ録画番組から、文字データを抽出し、動画による報知処理を実行するようにスケジュール登録する処理を例示するフローチャートである。
【図１３】スケジューラの処理を例示するフローチャートである。
【図１４】シーンから文字データを取得し、スケジューラに登録する処理を例示するフローチャートである。
【図１５】スケジューラの処理を例示するフローチャートである。
【図１６】シーンから文字データを取得し、スケジューラに登録する処理を例示するフローチャートである。
【図１７】ユーザに候補を表示し、操作部による選択を促すための画面例である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して一実施形態に係る情報処理装置について説明する。以下の実施形態の構成は例示であり、本情報処理装置は実施形態の構成には限定されない。
【００１０】
本情報処理装置は、ユーザの操作によってユーザあるいはユーザの関係者に通知したいシーンを確定する。そして、本情報処理装置は、確定したシーンの画像から文字データを抽出し、日時情報を取得する。そして、本情報処理装置は、抽出した日時情報と確定したシーンの画像、もしくは、その画像を含む部分動画の情報をスケジュール管理アプリケーションプログラム（以下、スケジューラという）のデータベースとリンクさせて登録する。上記シーンを確定するユーザの操作は、例えば、ポインティングデバイスによるクリック操作で実行される。したがって、ユーザは手間をかけずに、ユーザに有用な各種情報を登録することが可能となる。スケジューラは、登録された日時情報にしたがって、登録されたシーンの画像、あるいは、部分動画を再生する。したがって、ユーザは、シーンで示された日時に、スケジューラによって有用な情報を情報処理装置から出力させ、その情報に応じた措置をとることができる。
【００１１】
ここで、シーンは、映像中の部分動画または１枚の画像フレームに相当する。例えば、ＭＰＥＧでは、ＧＯＰ（Group Of Picture）と呼ぶ複数の画像フレームを単位にデータが処理される。本実施形態では、部分動画は、１つまたは複数のＧＯＰを含む。なお、このような部分動画はチャプタという単位で他の部分動画と区別される。すなわち、本実施形態では、チャプタとは、１または複数のＧＯＰを含む、１まとまりの動画をいうものとする。ＭＰＥＧでは、ＧＯＰ内では、個々の画像フレームは圧縮されているため、ＧＯＰの個々の画像フレームを操作する前に、一旦、復元処理を行えばよい。ただし、ＧＯＰ中のＩピクチャに関しては、ＪＰＥＧ同様に、１枚の画像フレーム内での圧縮が行われており、ＧＯＰ単位での復元処理なく処理可能である。
【００１２】
図１はユーザが情報処理装置においてテレビ放送（例えば、MPEG-2（Moving Picture Experts Group phase 2）、MPEG-4）を視聴中の画面を例示する。視聴中に興味を持ったシーンがあった場合、ユーザはキーボード、マウス等のポインティングデバイス、リモコン等の操作部によって、画面上でシーンを確定させるための操作を行う。すると、情報処理装置で実行中のテレビアプリケーションプログラム（以下、テレビプログラム）は、ユーザが操作した時点で表示されていた画像フレーム、ＧＯＰ、チャプタ等によってシーンを確定させる。したがって、シーンは、例えば、動画に含まれる１枚の画像フレーム、あるは、複数の画像フレームの集合として定義できる。
【００１３】
確定したシーンは、情報処理装置内の解析エンジンに引き渡される。情報処理装置は、解析エンジンとして、主記憶部に実行可能に展開されたコンピュータプログラムを実行する。解析エンジンは、図２のように、確定シーンをJPEG（Joint Photographic Experts Group）などの画像に変換しハードディスク等の外部記憶装置に保存する。
【００１４】
図３に、保存された画像の例を示す。図３の例では、「山の上の学校」という映像のタイトル、「１０月１日」という日付情報、および「レンタル開始」という文字列が含まれている。次に解析エンジンは、図３のような保存された画像から、既存の文字抽出技術を用いて、文字データをテキストデータとして抽出する。
【００１５】
さらに、解析エンジンは図４のように、テキストデータの並びから、日時情報か否かを判別し、テキストデータを分割後、スケジューラに予定を登録する（スケジューラのデータベースの構造例は図９参照）。図４の例では、日時情報以外の文字データ、例えば「山の上の学校」という映像のタイトルおよび、「レンタル開始」という文字データが件名として取得されている。
【００１６】
また、日時情報として、「１０月１日」が取得される。さらに、画像が格納されたフォルダ名、すなわち、外部記憶装置等のディレクトリ情報とファイル名とを含むパス名が保持される。
【００１７】
スケジューラは、定期的にデータベースを参照し、スケジュールが登録されているかを確認する。スケジュールが登録されていれば、スケジューラは、登録されたスケジュールの指定時刻と、情報処理装置の現在時刻を比較する。そして、指定日時になると、スケジューラは、外部記憶装置から関連する画像を取得して、図５、図８のようにポップアップ表示によってユーザに指定時刻に至ったことを報知する。図５の例では、指定の日時に表示されるポップアップ画面には、「１０月１日」という日時情報、「山の上の学校  レンタル開始」という件名、「画像表示」ボタン、および「閉じる」ボタンが表示される。ユーザが、「画像表示」ボタンを操作すると、格納されていたシーンの画像が表示される。また、ユーザが、「閉じる」ボタンを操作すると、ポップアップ画面が閉じられる。したがって、ユーザが興味を持ったシーンを選択する操作によって、シーンの取得、解析、解析結果の保存および解析結果を基にした日時でのスケジューラへの登録がなされる。そして、スケジューラに登録された日時に、スケジューラによって、保存された解析結果情報、シーンの画像などが表示される。したがって、ユーザは、映像に含まれる将来のイベント、商品の発売、レンタル開始等様々な予告情報を簡易にスケジューラに登録できる。
【実施例１】
【００１８】
図６から図１１を参照して、実施例１に係る情報処理装置１を説明する。図６は、実施例１に係る情報処理装置１と、情報処理装置１が処理する情報の流れを例示する図である。図６のように、情報処理装置１は、放送局２からの放送波を受信し、映像を取得する。したがって、実施例１では、映像は、例えば、テレビ番組の動画、音声、あるいは音を含む。また、情報処理装置１は、例えば、パーソナルコンピュータ、携帯情報端末（ＰＤＡ）、車載器、デジタルテレビ、ハードディスクレコーダ、着脱可能媒体用レコーダ等である。着脱可能媒体は、例えば、ブルーレイディスク、ＤＶＤ（Digital Versatile Disk）等である。【００１９】
図６のように、情報処理装置１は、本体１０と、ディスプレイ１３と、操作部１４を含む。本体１０は、パーソナルコンピュータ等の筐体である。ただし、本体１０は、例えば、衛星放送、デジタルテレビ放送、ケーブルテレビ放送のセットトップボックス等であってもよい。本体１０は、制御部１１と、外部記憶装置１２を含む。【００２０】
図７に、制御部１１の詳細を例示する。制御部１１は、ＣＰＵ１１Ａと、主記憶部１１Ｂと、入力部１１４と、動画再生部１１５と、映像データ解析部１１６と、時間管理部１１７と、表示制御部１１８とを含む。【００２１】
ＣＰＵ１１Ａは、主記憶部１１Ｂに実行可能に展開されたコンピュータプログラムを実行し、情報処理装置としての機能を提供する。図７では、ＣＰＵ１１Ａが１つ例示されているが、ＣＰＵ１１Ａが複数のＣＰＵチップを含むようにしてもよい。また、ＣＰＵ１１Ａは、内部に複数のＣＰＵコアを含むマルチコアのプロセッサでもよい。【００２２】
主記憶部１１Ｂは、ＣＰＵ１１Ａが実行するコンピュータプログラム、あるいは、ＣＰＵ１１Ａが処理するデータ等を保持する。主記憶部１１Ｂは、ＤＲＡＭ（Read Only Access Memory）とＲＯＭ（Dynamic Random Access Memory）を含む。このうち、ＲＯＭには、例えば、情報処理装置１が起動されたときに最初に実行される基本プログラムを格納すればよい。基本プログラムは、例えば、パーソナルコンピュータのＢＩＯＳ等である。【００２３】
入力部１１４は、操作部１４を接続するインターフェースとインターフェースを制御するドライバプログラムとして例示される。入力部１１４は、操作部１４が検出したユーザ操作をＣＰＵ１１Ａに伝達する。【００２４】
動画再生部１１５は、MPEG-2、MPEG-4、MP3(MPEG-1 Audio Layer III)等の処理回路を含む。動画再生部１１５は、放送波から受信した動画、音声、音のデータを圧縮された形式から展開された形式に変換し、再生する。動画再生部１１５が再生した動画は、表示制御部１１８を通じて、ディスプレイ１３に出力される。【００２５】
映像データ解析部１１６は、例えば、テンプレートマッチング、微分、積分、フィルタ処理等の画像処理を実行するプロセッサとして例示できる。映像データ解析部１１６は、映像中のシーンから、日時情報、文字データ等を取得するときに使用される。【００２６】
時間管理部１１７は、情報処理装置１内で、時間情報を維持し、アプリケーションインターフェースを通じてプログラムに時間情報を提供する。時間管理部１１７は、例えば、ＯＳの日時機能である。表示制御部１１８は、ディスプレイ１３を接続するインターフェースと、グラフィックプロセッサ等を含む画像出力回路として例示できる。表示制御部１１８は、動画再生部１１５が再生した動画、あるいは、制御部１１で処理されたデータ、メッセージ、制御部１１が生成したウィンドウあるいは画面をディスプレイ１３に出力する。【００２７】
図６に戻って、説明を継続する。制御部１１は、テレビプログラム１１１により、放送波の受信、受信した映像の録画、解析エンジン１１２への解析依頼、スケジューラ１１３へのスケジュール登録処理を実行する。図６では、省略されているが、本体１０は、放送を受信するアンテナ、受信回路を有する。受信回路は、アンテナから受信し、放送番組の映像を生成する。放送番組の映像は、制御部１１のテレビプログラム１１１に引き渡される。
【００２８】
また、制御部１１は、コンピュータプログラムを実行し、解析エンジン１１２の機能を提供する。例えば、解析エンジン１１２は、テレビアプリケーション１１１から、テレビ番組の映像の部分動画、例えば、１つのチャプタ、ＧＯＰあるいは複数のＧＯＰを受け取る。そして、解析エンジン１１２は、映像データ解析部１１６を起動し、部分動画に含まれる画像フレームから日時情報、文字データ等を抽出する。解析エンジン１１２は、取得した日時情報の日時で、スケジュールをスケジューラ１１３に登録する。解析エンジン１１２が登録部に相当する。【００２９】
画像フレームから、日時情報、文字データを取得する手順は、周知であるので、その詳細は省略する。例えば、文字を細線化し、細線の傾き組み合わせ等、複数次元での特徴量のベクトルを抽出する。そして、特徴量のベクトルが合致している文字の集合と、テンプレートマッチングを実行すればよい。また、構造解析的手法、すなわち、文字の形状から、閉ループの数、端点の数等で、文字の構造を分析し、対応する文字を推定する手法も知られている。【００３０】
また、制御部１１は、コンピュータプログラムを実行し、スケジューラ１１３の機能を提供する。例えば、スケジューラ１１３は、設定された時刻に設定された処理を起動する。スケジューラ１１３が起動する処理としては、例えば、指定された情報、画像等の表示処理である。設定された時刻と設定された処理は、外部記憶装置１２内のスケジュールデータベース１２１に登録される。スケジューラ１１３がスケジュール管理部に相当する。【００３１】
外部記憶装置１２は、例えば、ハードディスクドライブ等である。外部記憶装置１２は、動画データ、静止画等の画像データ、スケジュールデータベース１２１等を保持する。外部記憶装置１２または主記憶部１１Ｂが記録部に相当する。【００３２】
ディスプレイ１３は、例えば、液晶ディスプレイ、エレクトロルミネッセンスパネル等である。ディスプレイ１３は、は、制御部１１からの制御により、動画、静止画、テキストメッセージ等を表示する。ディスプレイ１３が表示装置に相当する。【００３３】
操作部１４は、キーボード、マウス、タッチパネル、静電パッド等の入力装置である。静電パッドは、平面パッドを指等でなぞるユーザ操作を検知し、ユーザ操作に応じてディスプレイ１３上のカーソルの位置と移動状態とを制御するために使用される装置である。例えば、平面パッド下の電極の静電容量の変化によって、ユーザの指の動きが検知される。【００３４】
図８は、スケジューラ１１３が指定された日時に表示するメッセージ画面の例である。動画のシーンから取得した文字列「山の上の学校」「レンタル開始」おおよび日時情報「１０月１日」を基に、「山の学校  本日レンタル開始（日時：１０月１日）」というメッセージが表示される。また、メッセージ画面には、「画面表示」ボタンと、「閉じる」ボタンが設けられている。【００３５】
図９に、スケジューラ１１３が管理するスケジュールデータベース１２１のデータ構造を例示する。図９には、データ構造が表形式で示されている。ただし、最上部の行は、説明行であり、第２行目以降の各行がスケジュールデータベース１２１のレコードに相当する。【００３６】
図９のように、スケジュールデータベース１２１のレコードは、日付、件名、画面イメージ、動画、およびＵＲＬというフィールドを有している。日付のフィールドには、シーン、例えば、画像フレーム、ＧＯＰ、あるいは１つのチャプタから抽出された日付情報が格納される。件名には、シーンから抽出された日付情報以外の文字列が格納される。【００３７】
画面イメージのフィールドには、シーンから抽出された画面イメージ、例えば、１枚分の画像フレームのデータ格納先ファイルパス名が設定される。画面イメージは、例えば、所定の時刻にユーザに表示されるポップアップイメージとして使用される。ただし、まず、図８に示すメッセージ画面が表示され、「画面表示」ボタンが選択されたときに、画面イメージのフィールドに設定されたパス名で格納されている画像フレームを表示するようにしてもよい。【００３８】
動画のフィールドには、シーンに対応するチャプタあるいはＧＯＰの格納先ファイルパス名が設定される。ＵＲＬには、シーンから抽出されたＵＲＬ（Uniform Resource Locator）が格納される。シーンから抽出されたＵＲＬは、シーンに関連する詳細情報を含むと考えてよい。【００３９】
図１０および図１１に、実施例１における情報処理装置１の処理のフローチャートを例示する。制御部１１のＣＰＵ１１Ａは、主記憶部１１Ｂに実行可能に展開されたコンピュータプログラムにより、図１０および図１１の処理を実行する。以下、制御部１１が、処理を実行するものとして説明する。【００４０】
図１０は、シーンから文字データを取得し、スケジューラ１１３に登録する処理を例示するフローチャートである。この処理では、ユーザは、例えば、情報処理装置１の機能を用いてテレビ視聴を行っている（Ｓ１１）。テレビ視聴中に、興味のある映像が表示されると、ユーザは操作部１４によって画面停止の操作を実行する。すると、制御部１１は、操作部１４を通じたユーザの画面停止の操作を検出する（Ｓ１２）。【００４１】
画面停止の操作を検出すると、制御部１１は、画面停止の操作が検出されたときに表示されていたシーンに対応するＧＯＰを動画再生部１１５から取得する。そして、ＧＯＰに含まれる１枚の画像フレームを取得し、画面キャプチャとして主記憶部１１Ｂに保持する（Ｓ１３）。以下、画面キャプチャされた画像フレームを単に画面キャプチャという。画面キャプチャとして、例えば、ＧＯＰ中の画像フレームのうち、画面停止の操作が検出されときに再生されていた画像フレームを特定し、再生すればよい。ただし、より単純には、画面キャプチャとして、ＭＰＥＧにおけるＩピクチャに相当する画像を取得するようにしてもよい。以下、制御部１１は、解析エンジン１１２として、Ｓ１３からＳ１６の処理を実行する。【００４２】
次に、制御部１１は、映像データ解析部１１６を用いて、画面キャプチャから文字データを抽出する（Ｓ１４）。文字データの抽出手順に特に限定はない。例えば、画像中で、文字データ部分は、文字以外の画像と比較して、濃淡の変化が大きいと考えてよい。そこで、まず、制御部１１は、画面キャプチャに平滑化を実行し、ノイズを除去する。そして、制御部１１は、ノイズ除去後の画面キャプチャ中で、基準長さ当たりの濃淡の変化が基
準変化値を超える箇所を判定する。なお、ノイズ除去後に、画像の空間微分等によって輪郭強調処理を実行してもよい。
【００４３】
そして、制御部１１は、基準長さ当たりの濃淡の変化が基準変化値を超える箇所が、単位面積当たり、所定値以上存在する箇所を文字データ部分と推定すればよい。例えば、点状に濃淡が変化する場合には、点状の箇所の個数を算出すればよい。また、また、屈曲した線状に濃淡が変化する場合には、屈曲した部分で分割して、濃淡の変化が基準変化値を超える箇所の数を数えればよい。また、直線状に濃淡が変化する場合には、線方向に単位区間で分割して、算出してもよい。すなわち、線状に濃淡が変化する場合には、点状の濃淡の変化が複数個まとまっているとして、濃淡の変化が基準変化値を超える箇所の数を数えればよい。【００４４】
そして、制御部１１は、推定された文字データ部分に、公知の文字認識アルゴリズムを適用すればよい。このような文字認識アルゴリズムは、すでに、ＯＣＲ（Optical Code Reader）、あるいは、手書き文字認識ツール等に広く利用されている。【００４５】
例えば、孫寧他、「連想整合法に基づく高速文字認識アルゴリズム」情報処理学会論文誌Vol.3、No.3、P404-413、1991年3月15日では、文字データ部分の領域を複数の部分領域に分割し、分割された部分領域内の線分の方向を４次元ベクトルで記述し、文字データ部分の特徴量を算出している。そして、算出された特徴量と文字とを対応付けることで、文字を認識する方法が示されている。なお、このような特徴量を複数の文字群に対応付け、それぞれの文字群の中で、テンプレートマッチングを実行してもよい。【００４６】
次に、制御部１１は、文字データが抽出できたか否かを判定する（Ｓ１５）。文字データが抽出できない場合には、制御部１１は、処理を終了する。なお、文字データが抽出できない場合には、制御部１１は、抽出できないことを画面にメッセージで表示してもよい。【００４７】
一方、文字データが抽出できた場合には、制御部１１は、抽出された文字データ中の日時情報を用いて、ユーザの注意を喚起するための報知処理をスケジュールに登録する（Ｓ１８）。ここで、報知処理は、例えば、抽出された日時情報の日時に、ユーザに所定のメッセージをディスプレイ１３に表示する処理するである。したがって、Ｓ１８の処理では、図９に示したスケジュールデータベース１２１のそれぞれのフィールドが設定される。また、Ｓ１８の処理では、画面イメージに相当する画像データが外部記憶装置１２に格納される。画面イメージに相当する画像データは、画面キャプチャそのものでもよい。また、画面イメージに相当する画像データは、例えば、文字データ部分が大きくなるように加工された画像データでもよい。【００４８】
図１１は、スケジューラ１１３の処理を例示するフローチャートである。制御部１１は、所定のインターバルで主記憶部１１Ｂに実行可能に展開されたコンピュータプログラムを起動する。そして、制御部１１は、スケジューラ１１３として、図１１の処理を実行する。スケジューラ１１３は、スケジュールがスケジュールデータベース１２１に登録されているか否かを判定する（Ｓ２１）。スケジュールがスケジュールデータベース１２１に登録されていない場合、スケジューラ１１３は、そのまま処理を終了する。【００４９】
スケジュールがスケジュールデータベース１２１に登録されている場合、スケジューラ１１３は、現在の時刻がそれぞれのスケジュールで設定されている目的の時刻になったか否かを判定する（Ｓ２２）。例えば、スケジューラ１１３は、スケジュールデータベース１２１に登録されているスケジュールを設定されている目的の時刻順に読み出し、目的の時刻が現在時刻に近づいたか否かを判定すればよい。例えば、目的の時刻と現在時刻との時間の差がスケジューラ１１３の起動インターバル以内となったとき、現在の時刻がそれぞれのスケジュールで設定されている目的の時刻になったと判定すればよい。【００５０】
そして、現在の時刻がそれぞれのスケジュールで設定されている目的の時刻になっていない場合、スケジューラ１１３は、そのまま処理を終了すればよい。また、現在の時刻がそれぞれのスケジュールで設定されている目的の時刻になった場合、スケジューラ１１３は、スケジュールデータベース１２１より、表示する画面イメージのファイルパス名を取得する。そして、取得したファイルパス名から、外部記憶装置１２より該当する画像データを取得する（Ｓ２３）。この画像データは、例えば、画面キャプチャそのものでもよい。また、この画像データは、例えば、画面キャプチャを要約したもの、例えば、文字データ部分が大きくなるように加工した画像データでもよい。そして、スケジューラ１１３は、該当する画像をディスプレイ１３にポップアップ表示する（Ｓ２４）。【００５１】
ただし、Ｓ２４の処理では省略されているが、スケジューラ１１３は、まず、図８に示したような件名（図９参照）と日時情報を含むメッセージ画面を表示してもよい。そして、ユーザが、「画面表示」ボタンによって画面表示を指示したときに、スケジューラ１１３は、画面キャプチャを表示するようにしてもよい。【００５２】
以上述べたように、情報処理装置１は、ユーザが興味を持った映像に対して操作部１４を通じて行った画面停止等のユーザの意思を示す操作を検出して、画面キャプチャを取得する。そして、情報処理装置１は、画面キャプチャから、文字データを抽出し、文字データ中に、日時情報があった場合に、その日時情報で示される日時に、画面データを表示する。したがって、例えば、ユーザがテレビ番組で、興味のあるイベントの実施日時、興味のあるテレビ番組の予告、映画、演劇あるいはコンサートの予告、ＤＶＤ等コンテンツの発売、レンタル開始、書籍の発売等を認識した場合に、極めて簡易に、ポップアップによる注意喚起処理をスケジューラ１１３に登録できる。ユーザは、例えば、操作部１４を通じて、興味を持ったことを示す操作を実行すればよい。したがって、ユーザが面倒なスケジュール登録処理、画面メモ等から解放され、操作ミス、入力ミスを起こす可能性を少なくできる。【００５３】
なお、スケジューラ１１３への登録については、シーンから抽出された日時情報の日時の前後の日時をユーザが指定できるようにしてもよい。例えば、抽出された日時に対して、前日、３日前、１週間前等の予備期間を事前に指定できようにしてもよい。スケジューラ１１３へは、抽出された日時に対して、事前に設定された予備期間前の日時にスケジュールが登録されるようにすればよい。あるいは、スケジューラ１１３への登録時に、どの程度予備期間を設定するかを制御部１１がディスプレイ１３を通じてユーザに問い合わせるようにしてもよい。
【実施例２】
【００５４】
図１２および図１３を参照して、実施例２に係る情報処理装置１を説明する。実施例１では、情報処理装置１は、ユーザが興味を持った映像に対して操作部１４を通じて行った操作を検出する。そして、情報処理装置１は、映像から取得した日時にユーザに対して画像データ、例えば、画面キャプチャを表示することで報知処理を実行するようにスケジュール登録する。【００５５】
一方、実施例２では、情報処理装置１は、画面キャプチャ等の画像データに代えて、シーンを含む動画を保存し、映像から取得した日時にユーザに対して動画を表示することで、報知処理を実行する。実施例２の他の構成および作用は、実施例１と同様である。そこで、実施例１と同一の構成要素については、同一の符号を付してその説明を省略する。また、図１−図１１の図面は、必要に応じて、実施例２にも適用される。【００５６】
図１２は、テレビ録画番組から、文字データを抽出し、動画による報知処理を実行するようにスケジュール登録する処理を例示するフローチャートである。この処理では、ユーザは、例えば、情報処理装置１の機能を用いてテレビの録画番組の視聴を行っている（Ｓ１１Ａ）。録画した番組の視聴中に、ユーザは興味のある映像が表示されると、操作部１４によって再生の一時停止操作を実行する。すると、制御部１１は、操作部１４を通じたユーザによる再生の一時停止操作を検出する（Ｓ１２Ａ）。【００５７】
画面停止操作を検出すると、制御部１１は、画面停止操作が検出されたときに表示されていたシーンに対応するＧＯＰを動画再生部１１５に取得する。そして、ＧＯＰに含まれる画像フレームから、文字データを抽出する（Ｓ１４）。文字データ抽出処理の詳細は、実施例１と同様である。【００５８】
次に、制御部１１は、文字データが抽出できたか否かを判定する（Ｓ１５）。文字データが抽出できない場合には、制御部１１は、処理を終了する。一方、文字データが抽出できた場合には、制御部１１は、Ｓ１２Ａで一時停止したシーンに含まれるコマーシャル部分を動画として抽出する（Ｓ１６）。コマーシャル部分は、例えば、ユーザが一時停止した部分のＧＯＰ、チャプタをコマーシャル部分としてもよい。すなわち、ユーザがＳ１２Ａで一時停止操作するのが、コマーシャル部分であるとの前提で情報処理装置１の処理を実行してもよい。また、ユーザが一時停止した部分をコマーシャル部分として事前に決めておかない場合、例えば、画像データ中から抽出される文字列に商品名、商品の提供組織名、サービス名、サービスの提供組織名等が含まれるか否かで判定してもよい。また、映像とともに出力される音声に対して、音声認識処理を実行し、一時停止された映像中の音声に、商品名、商品の提供組織名、サービス名、サービスの提供組織名等が含まれるか否かで判定してもよい。コマーシャル中に含まれる可能性の高い語句、フレーズ、商品名、商品の提供組織名、サービス名、サービスの提供組織名等は、外部記憶装置１２の予めマスタファイルに登録しておいてもよい。コマーシャル中に含まれる可能性の高い語句としては、例えば、「新発売」「予約」「申し込み」「好評」「値下げ」「電話番号」等、商品に関するイベント、価格、品質、特性、連絡先に関する用語をマスタファイルに登録しておけばよい。【００５９】
そして、例えば、Ｓ１２Ａで一時停止したシーンにコマーシャルに含まれる可能性の高い語句、フレーズ、商品名、商品の提供組織名、サービス名、サービスの提供組織名等が含まれない場合、制御部１１は、一時停止したシーンの前後のＧＯＰまたはチャプタを探索する。【００６０】
そして、制御部１１は、Ｓ１６で抽出したコマーシャル部分の動画を外部記憶装置１２に保存する（Ｓ１７）。そして、制御部１１は、抽出された文字データ中の日時情報を用いて、ユーザの注意を喚起するための報知処理をスケジュールに登録する（Ｓ１８）。【００６１】
図１３は、スケジューラ１１３の処理を例示するフローチャートである。図１３でＳ２１およびＳ２２の処理は、図１１と同様であるので、その説明を省略する。実施例２では、スケジューラ１１３は、目的の時刻になると、外部記憶装置１２から、該当する動画データを取得する（Ｓ２３Ａ）。そして、制御部１１は、ポップアップ画面を表示し、取得した動画データ、すなわちコマーシャル部分の動画を再生する（Ｓ２４Ａ）。【００６２】
以上述べたように、実施例２では、情報処理装置１は、操作部１４によって、再生中の録画番組を一時停止する指示を行ったときに、一時停止中のシーンから文字データを抽出する。さらに、一時停止中のシーンまたはシーン近傍から、コマーシャル部分の動画を取得する。そして、抽出された文字データに含まれる日時情報の日時に、動画が再生されるように、スケジューラ１１３にスケジュールを登録する。したがって、ユーザは、極めて簡易な操作でコマーシャル中に表示または出力された日時に、コマーシャルを再生できる。すなわち、ユーザは、コマーシャルで出力される日時において、再度コマーシャルを見ることができる。したがって、コマーシャルが、興味のあるイベントの実施日時、興味のあるテレビ番組の予告、映画、演劇あるいはコンサートの予告、ＤＶＤ等コンテンツの発売、レンタル開始、書籍の発売等である場合に、その実施日時に近い日時で、再度コマーシャルを視聴できる。【００６３】
なお、実施例２は、録画済みのテレビ番組再生時に、ユーザが一時停止した例を説明した。しかし、例えば、実施例１と同様に、テレビ番組を視聴中であっても、情報処理装置１が十分な容量の主記憶部１１Ｂまたは外部記憶装置１２を含む場合には、ユーザが視聴中の番組を所定時間保存しておくことで、実施例２と同様の処理を実行できる。例えば、ユーザが視聴後所定の期間、映像を保持するためのリングバッファの記憶領域を外部記憶装置１２に設けておけばよい。【００６４】
上記実施例２の処理では、動画の再生は、スケジュールデータベース１２１に登録されたスケジュールにしたがって行われことになる。その場合に、動画の表示の仕方としては、スケジュールにしたがって動画表示プログラムを起動してもよい。また、例えば、コンピュータに常駐する動画表示プログラムを用いて動画を表示してもよい。常駐する動画表示プログラムを用いた場合には、コンピュータ上の他の処理、他の表示と並行して、動画の表示が実行されることになる。
【実施例３】
【００６５】
図１４を参照して、実施例３に係る情報処理装置１を説明する。実施例１では、情報処理装置１は、映像から取得した日時にユーザに対して画像データ、例えば、画面キャプチャを表示することで報知処理を実行するようにスケジュール登録する。また、実施例２では、動画を用いて、報知処理を実行した。【００６６】
一方、実施例３では、ユーザが画面停止をしたシーンがテレビ番号の放送予告である場合に、情報処理装置１は、映像から取得した日時に、予告された番組、または予告された日時のチャンネルの録画予約を実行する。実施例３の他の構成および作用は、実施例１あるいは実施例２と同様である。そこで、実施例１、２と同一の構成要素については、同一の符号を付してその説明を省略する。また、図１−図１３の図面は、必要に応じて、実施例３にも適用される。【００６７】
図１４は、シーンから文字データを取得し、スケジューラ１１３に登録する処理を例示するフローチャートである。図１４でＳ１１からＳ１５の処理は、図１０と同一であるので、その説明を省略する。Ｓ１５の判定で、文字データが抽出できたとき、制御部１１は、抽出された文字データが予約可能な放送番組を示しているか否かを判定する（Ｓ１５Ａ）。【００６８】
抽出された文字データが予約可能な放送番組を示しているいか否かは、例えば、抽出された文字データが、「放送」「予定」「開始」「チャンネル」「ご期待」等の放送予告に関連する文字列と、現在時点以降の日時情報の両方を含むか否かで判定できる。なお、日時情報は、「○月○日○時」「○月○日○時○分」「毎週○曜日○時から」「午前○時○分」「午後○時○分」等の日付と時間を特定する文字列で判定できる。【００６９】
また、例えば、抽出された文字データに含まれる日時情報と、受信したチャンネルのチャンネル番号（あるいはチャンネル番号に代えてチャンネルに相当する放送局名）とから、電子チャンネル表を検索してもよい。例えば、インターネット、あるいは、通信回線から電子チャンネル表を取得可能な環境では、情報処理装置１が電子チャンネル表にアクセスして、電子チャンネル表の日時情報とチャンネルで特定される番組の名称が、Ｓ１４で抽出した文字データに含まれているか、否かを判定してもよい。【００７０】
なお、制御部１１は、画像データから抽出された文字データの他、映像とともに出力される音声データを音声認識してもよい。そして、制御部１１は、音声認識されたデータが予約可能な放送番組を示しているいか否かを判定してもよい。【００７１】
抽出された文字データが予約可能な放送番組を示していない場合、制御部１１は、報知処理の起動をスケジューラ１１３に登録する（Ｓ１８）。この処理は、図１と同様である。一方、抽出された文字データが予約可能な放送番組を示している場合、制御部１１は、抽出された日時で、視聴中のチャンネルの放送を録画予約する（Ｓ１９）。制御部１１は、予約記録部として、Ｓ１９の処理を実行する。【００７２】
以上述べたように、実施例３によれば、ユーザがシーンを停止する操作を検出し、停止されたシーン（１以上のＧＯＰなど）に含まれる画像フレーム中に放送を予告する文字列が含まれていた場合、予告された日時でテレビ番組の録画予約がされる。したがって、極めて簡易な操作で、録画予約がされ、操作ミスを低減できる。
【実施例４】
【００７３】
図１５を参照して、実施例４に係る情報処理装置１を説明する。実施例１では、情報処理装置１は、映像から取得した日時にユーザに対して画像データ、例えば、画面キャプチャを表示する。また、実施例２では、動画を用いて、報知処理を実行した。【００７４】
一方、実施例４では、画面キャプチャ中にＵＲＬが含まれる場合に、報知処理実行時に、画面キャプチャに含まれていたＵＲＬのページを表示する。実施例４の他の構成および作用は、実施例１あるいは実施例２と同様である。そこで、実施例１、２と同一の構成要素については、同一の符号を付してその説明を省略する。また、実施例３を含めて、図１−図１４の図面は、必要に応じて、実施例４にも適用される。【００７５】
図１５は、スケジューラ１１３の処理を例示するフローチャートである。図１５でＳ２１、Ｓ２２の処理は、図１１あるいは図１３と同様である。また、Ｓ２３ＡおよびＳ２４Ａの処理は、図１３と同様である。そこで、これらの処理については、説明を省略する。【００７６】
スケジューラ１１３は、Ｓ２２の判定で目的の時刻になると、スケジュールデータベース１２１に、ＵＲＬが登録されているか否かを判定する（Ｓ２２Ａ）。なお、スケジュールデータベース１２１のＵＲＬは、画面からの文字データ抽出処理、例えば、図１０のＳ１４等で抽出され、スケジュールデータベース１２１に設定される。ＵＲＬは、例えば、文字データが”ｈｔｔｐ：／／”を含むかどうかで判定すればよい。スケジュールデータベース１２１に、ＵＲＬが登録されている場合、スケジューラ１１３は、ＵＲＬのページをディスプレイ１３に表示する（Ｓ２５）。【００７７】
以上述べたように、実施例４の情報処理装置によれば、画面キャプチャ、あるいは、画面キャプチャを含むシーンにＵＲＬが含まれている場合に、報知処理実行時に、ＵＲＬが表示される。したがって、ＵＲＬがテレビのコマーシャル動画等よりもさらに詳しい情報を含む場合に、ユーザは、ＵＲＬで示される情報を取得された日時付近の日時に表示させることができる。
【実施例５】
【００７８】
図１６および図１７を参照して、実施例５に係る情報処理装置１を説明する。
実施例１では、情報処理装置１は、映像から取得した日時にユーザに対して画像データ、例えば、画面キャプチャを表示することで報知処理を実行するようにスケジュール登録する。【００７９】
一方、実施例５では、取得された日時情報が複数種類ある場合の処理を説明する。実施例５の他の構成および作用は、実施例１から実施例４と同様である。そこで、実施例１から実施例４と同一の構成要素については、同一の符号を付してその説明を省略する。また、図１−図１５の図面は、必要に応じて、実施例５にも適用される。【００８０】
図１６は、シーンから文字データを取得し、スケジューラ１１３に登録する処理を例示するフローチャートである。図１６でＳ１１−Ｓ１５、Ｓ１８の処理は、図１０と同様である。Ｓ１５の判定で、文字データが抽出できた場合、制御部１１は、登録候補となる情報が複数あるか否かを判定する（Ｓ１５Ｂ）。そして、登録候補となる情報が複数ある場合には、制御部１１は、ディスプレイ１３を通じて、ユーザに候補を表示し、操作部１４による選択を促す。ユーザが操作部１４によって、候補を選択すると、制御部１１は、その選択を受け付ける（Ｓ１５Ｃ）。制御部１１は、登録日時情報を受け付ける手段として、Ｓ１５Ｃの処理を実行する。そして、制御部１１は、選択結果を基に、スケジューラ１１３に、報知処理の起動を登録する（Ｓ１８）。【００８１】
図１７に、ユーザに候補を表示し、操作部１４による選択を促すための画面例を示す。この画面例では、「複数の登録候補が見つかりました。予約したい内容を選択してください」と言うメッセージとともに、番組の録画予約の選択肢を含むウィンドウが示されている。ユーザがウィンドウ中で、トグルボタンで選択肢を指定し、「登録」ボタンを操作部１４で指示すると、選択された選択肢の日時で、番組が録画予約される。図１７の選択肢が日時情報の一覧に相当する。【００８２】
なお、図１７では、番組の録画予約の例を示したが、録画予約以外の画面データによる報知処理、動画による報知処理の対象が複数あった場合も、図１６、図１７と同様の処理を実行すればよい。【００８３】
以上述べたように、実施例５によれば、録画予約、あるいは報知処理の対象として、スケジューラ１１３に登録すべき処理が複数あった場合も、ユーザに適切な選択肢の選択を促し、スケジューラ１１３への登録を簡易に実行できる。【００８４】
《コンピュータが読み取り可能な記録媒体》
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。【００８５】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。
【符号の説明】
【００８６】
１  情報処理装置
２  放送局
１１  制御部
１１Ａ  ＣＰＵ
１１Ｂ  主記憶部
１２  外部記憶装置
１３  ディスプレイ
１４  操作部
１１１  テレビアプリケーションプログラム
１１２  画像解析エンジン
１１３  スケジューラ
１２１  スケジュールデータベース
【図１】
0005598539.tif 000002
【図２】
0005598539.tif 000003
【図３】
0005598539.tif 000004
【図４】
0005598539.tif 000005
【図５】
0005598539.tif 000006
【図６】
0005598539.tif 000007
【図７】
0005598539.tif 000008
【図８】
0005598539.tif 000009
【図９】
0005598539.tif 000010
【図１０】
0005598539.tif 000011
【図１１】
0005598539.tif 000012
【図１２】
0005598539.tif 000013
【図１３】
0005598539.tif 000014
【図１４】
0005598539.tif 000015
【図１５】
0005598539.tif 000016
【図１６】
0005598539.tif 000017
【図１７】
0005598539.tif 000018