(57)【要約】【課題】検索時に有効な視聴履歴情報を再生手段・プレイヤに依存しない方法で取得する。【解決手段】本発明は、ＰＣにおいて、画面上に表示されているウィンドウのうち操作対象となっているアクティブウィンドウの画面イメージを時刻情報と共に取得し、取得した画面イメージを用いて、映像視聴時の画面イメージとそれ以外の画面イメージとに分類し、映像視聴時と判定された画面イメージの時刻情報から映像視聴の開始時刻と終了時刻を取得し、該開始時刻と該終了時刻の区間に対応する画面イメージと共に、視聴履歴データベースに保存する【選択図】図１
2008197908.tif 000002
【特許請求の範囲】
【請求項１】
パーソナルコンピュータにおいて視聴した映像の履歴を取得する映像視聴履歴取得方法であって、
画面イメージ取得手段が、前記パーソナルコンピュータの画面上に表示されているウィンドウのうち操作対象となっているアクティブウィンドウの画面イメージを時刻情報と共に取得し、記憶手段に格納する画面イメージ取得ステップと、
視聴判定手段が、前記記憶手段から読み出した前記画面イメージを用いて、映像視聴時の画面イメージとそれ以外の画面イメージとに分類する視聴判定ステップと、
視聴履歴保存手段が、前記視聴判定ステップにおいて映像視聴時と判定された画面イメージの時刻情報から映像視聴の開始時刻と終了時刻を取得し、該開始時刻と該終了時刻の区間に対応する画面イメージと共に、視聴履歴データベースに保存する視聴履歴保存ステップと、
を行うことを特徴とする映像視聴履歴取得方法。
【請求項２】
前記視聴判定ステップにおいて、
前記画面イメージ取得ステップで取得した前記画面イメージを、映像視聴時の画面イメージとそれ以外の画面イメージとに分類するために用いる特徴量として、
異なる時刻において取得した２つの画面イメージの色差分から動きのあるピクセルを１、動きのないピクセルを０とした２値画像を生成し、
前記２値画像に含まれる任意のピクセルに対し、該任意のピクセルの近傍のピクセルとの差分に基づく指標を求め、該指標を特徴量とし、
前記特徴量に対して、予め定められた閾値に基づいて条件判定を行い、映像視聴時の画面イメージとそれ以外の画面イメージとに分類する
請求項１記載の映像視聴履歴取得方法。
【請求項３】
パーソナルコンピュータにおいて視聴した映像の履歴を取得する映像視聴履歴取得装置であって、
前記パーソナルコンピュータの画面上に表示されているウィンドウのうち操作対象となっているアクティブウィンドウの画面イメージを時刻情報と共に取得し、記憶手段に格納する画面イメージ取得手段と、
前記記憶手段から読み出された前記画面イメージを用いて、映像視聴時の画面イメージとそれ以外の画面イメージとに分類する視聴判定手段と、
前記視聴判定手段において映像視聴時と判定された画面イメージの時刻情報から映像視聴の開始時刻と終了時刻を取得し、該開始時刻と該終了時刻の区間に対応する画面イメージと共に、視聴履歴データベースに保存する視聴履歴保存手段と、
を有することを特徴とする映像視聴履歴取得装置。
【請求項４】
前記視聴判定手段は、
前記画面イメージ取得手段で取得した前記画面イメージを、映像視聴時の画面イメージとそれ以外の画面イメージとに分類するために用いる特徴量として、
異なる時刻において取得した２つの画面イメージの色差分から動きのあるピクセルを１、動きのないピクセルを０とした２値画像を生成する手段と、
前記２値画像に含まれる任意のピクセルに対し、該任意のピクセルの近傍のピクセルとの差分に基づく指標を求め、該指標を特徴量とする手段と、
前記特徴量に対して、予め定められた閾値に基づいて条件判定を行い、映像視聴時の画面イメージとそれ以外の画面イメージとに分類する手段と、
を含む請求項３記載の映像視聴履歴取得装置。
【請求項５】
コンピュータを、
請求項３または４記載の映像視聴履歴取得装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像視聴履歴取得方法および装置及びプログラムに係り、特に、個人がパーソナルコンピュータにおいて視聴した映像の履歴を取得するための映像視聴履歴取得方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
ブロードバンドの普及、ストレージの大容量化、及び、デジタル撮影機器の普及等により、動画共有サイトや動画ブログ等をはじめとする映像を活用した様々なサービスが一般に広く利用されるようなった。また、ＴＶチューナ内蔵型のパーソナルコンピュータ（以下、ＰＣと記す）の登場により、ＰＣを用いてＴＶを視聴するユーザが増加している。このようにユーザが映像を扱う機会が増加する状況において、過去に視聴した映像を再び参照したいというニーズがある。
【０００３】
過去に参照した情報を再度参照するニーズに対し、従来のアプローチとしてＰＣ上で扱われる様々なファイル（文書、画像、映像、音楽データ等）を対象に検討した例がある。これらの従来の技術は、ＰＣ上で参照したファイル及びＷｅｂページの参照時刻及び参照時刻前後のユーザの操作履歴を蓄積し、ファイル名と共に検索時に活用するものである（例えば、非特許文献１、２参照）。
【非特許文献１】Morita他、"Desktop search System based on the Action-Oriented algorism", APSITT 2005.
【非特許文献２】大澤亮他、"俺デスク：ユーザ操作履歴に基づく情報想起支援ツール"、情報処理学会第４７回プログラミング・シンポジウム
【発明の開示】
【発明が解決しようとする課題】
【０００４】
当該従来技術をＰＣ上での映像ファイル検索に適用しようとする場合、ファイル名や蓄積したファイルの再生日時などを検索時に用いることができるが、次のような問題がある。
【０００５】
・ファイルが取得できない問題：
ＰＣ上で視聴される映像は、ＰＣの記憶装置（ＨＤＤ，メモリ等）に実体が存在する映像ファイルの他に、近年特に増加している例として、動画ブログや動画共有サイト上で閲覧する映像及びＴＶ放送映像がある。すなわち、ユーザが映像を確かに参照はしてはいるものの、それらはＰＣ上の映像ファイルとして保存されていないことがある。このため、ファイル名や再生履歴の取得が困難な場合がある。
【０００６】
・再生履歴が取得困難である問題：
映像ファイルはフォーマット（例えば、ＡＶＩ，ＭＰＥＧ１，ＷＭＶ）及び再生手順（例えば、Windows Media Player（登録商標）、Quick Time Player（登録商標）、Real Player Flash（登録商標）、Macromedia Flash Player（登録商標））が多岐に亘っている。そのため、ＰＣ上に実体が存在する映像ファイルの再生履歴を網羅的に取得することは容易でない。
【０００７】
・ファイルや再生履歴だけではユーザの記憶に関わる行動が判断できない問題：
過去に参照した映像を再度参照しようとする場合、ユーザの記憶は重要な手掛かりになり得る。しかし、これらは映像ファイルの再生履歴から取得することは難しい。例えば、再生手段のログ等から映像ファイルの再生履歴が取得できた場合でも、その間にユーザＷｅｂブラウザ上で別の操作（例えば、スクロール操作やページの切り替え等）を行っている場合があり、再生されている映像に注意が向けられない場合がある。このように、映像の再生手段の出力するログやＷｅｂページの閲覧履歴が必ずしも検索時に有効な情報となり得ない場合がある。
【０００８】
上記のような問題から、従来技術では過去に見た映像ファイルを効率よく探し出すことが困難であると言える。
【０００９】
本発明は、上記の点に鑑みなされたもので、過去に見た映像を検索する場合にユーザの記憶が重要な手掛かりとなることに着目し、検索時に有効な視聴履歴情報を再生手段・プレイヤに依存しない方法で取得することが可能な映像視聴履歴取得方法および装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
図１は、本発明の原理を説明するための図である。
【００１１】
本発明（請求項１）は、パーソナルコンピュータにおいて視聴した映像の履歴を取得する映像視聴履歴取得方法であって、
画面イメージ取得手段が、パーソナルコンピュータの画面上に表示されているウィンドウのうち操作対象となっているアクティブウィンドウの画面イメージを時刻情報と共に取得し、記憶手段に格納する画面イメージ取得ステップ（ステップ１）と、
視聴判定手段が、記憶手段から読み出された画面イメージを用いて、映像視聴時の画面イメージとそれ以外の画面イメージとに分類する視聴判定ステップ（ステップ２）と、
視聴履歴保存手段が、視聴判定ステップにおいて映像視聴時と判定された画面イメージの時刻情報から映像視聴の開始時刻と終了時刻を取得し、該開始時刻と該終了時刻の区間に対応する画面イメージと共に、視聴履歴データベースに保存する視聴履歴保存ステップ（ステップ３）と、を行う。
【００１２】
また、本発明（請求項２）は、視聴判定ステップ（ステップ２）において、
画面イメージ取得ステップで取得した画面イメージを、映像視聴時の画面イメージとそれ以外の画面イメージとに分類するために用いる特徴量として、
異なる時刻において取得した２つの画面イメージの色差分から動きのあるピクセルを１、動きのないピクセルを０とした２値画像を生成し、
２値画像に含まれる任意のピクセルに対し、該任意のピクセルの近傍のピクセルとの差分に基づく指標を求め、該指標を特徴量とし、
特徴量に対して、予め定められた閾値に基づいて条件判定を行い、映像視聴時の画面イメージとそれ以外の画面イメージとに分類する。
【００１３】
図２は、本発明の原理構成図である。
【００１４】
本発明（請求項３）は、パーソナルコンピュータにおいて視聴した映像の履歴を取得する映像視聴履歴取得装置であって、
パーソナルコンピュータの画面上に表示されているウィンドウのうち操作対象となっているアクティブウィンドウの画面イメージを時刻情報と共に取得し、記憶手段に格納する画面イメージ取得手段１０と、
画面イメージ取得手段１０で取得した画面イメージを用いて、映像視聴時の画面イメージとそれ以外の画面イメージとに分類する視聴判定手段２０と、
視聴判定手段２０において映像視聴時と判定された画面イメージの時刻情報から映像視聴の開始時刻と終了時刻を取得し、該開始時刻と該終了時刻の区間に対応する画面イメージと共に、視聴履歴データベース２２０に保存する視聴履歴保存手段３０と、を有する。
【００１５】
また、本発明（請求項４）は、視聴判定手段２０において、
画面イメージ取得手段で取得した画面イメージを、映像視聴時の画面イメージとそれ以外の画面イメージとに分類するために用いる特徴量として、
異なる時刻において取得した２つの画面イメージの色差分から動きのあるピクセルを１、動きのないピクセルを０とした２値画像を生成する手段と、
２値画像に含まれる任意のピクセルに対し、該任意のピクセルの近傍のピクセルとの差分に基づく指標を求め、該指標を特徴量とする手段と、
特徴量に対して、予め定められた閾値に基づいて条件判定を行い、映像視聴時の画面イメージとそれ以外の画面イメージとに分類する手段と、を含む。
【００１６】
本発明（請求項５）は、コンピュータを、請求項３または４記載の映像視聴履歴取得装置として機能させるプログラムである。
【発明の効果】
【００１７】
上記のように本発明によれば、ウィンドウの画面イメージの特徴量に基づいて映像区間を抽出することにより、映像を視聴した時刻及びその映像の内容を表すデータ（映像が再生されているときの画面イメージ）の取得が可能となる。これにより、パーソナルコンピュータの画面上に映像を表示させている映像再生手段であれば、その種類に関わらず映像視聴の履歴を取得することが可能となる。また、実際にフォアグラウンド画面で表示されていた映像の情報を取得することが可能である。
【発明を実施するための最良の形態】
【００１８】
以下、図面と共に本発明の実施の形態を説明する。
【００１９】
以下の説明において、「ウィンドウ」とは、ＰＣの画面上のブラウザ、フォルダウィンドウといった独立した小さな画面のことをさす。また、「アクティブウィンドウ」とは、画面上に表示されているウィンドウの中で、現在、操作対象であり、最も前面に表示されているウィンドウのことを指す。
【００２０】
［第１の実施の形態］
本実施の形態では、ユーザがＰＣを用いてブラウザ上でインターネット上に存在する映像を視聴する例を示す。
【００２１】
図３は、本発明の第１の実施の形態における映像視聴履歴取得装置の構成を示す。
【００２２】
同図に示す映像視聴履歴取得装置は、ブラウザイメージ取得部１０、視聴判定部２０、視聴履歴保存部３０からなる履歴登録処理部１００、記憶部２１０、視聴履歴データベース２２０から構成される。
【００２３】
記憶部２１０は、ブラウザイメージ取得部１０で取得したブラウザの画面イメージと時刻情報を格納する領域、視聴判定部２０で生成されたラベル情報を格納する領域を有する。
【００２４】
視聴履歴データベース２２０は、視聴履歴保存部３０においてラベル情報と時刻情報から生成された視聴履歴情報を格納する。
【００２５】
上記の構成における動作を以下に説明する。
【００２６】
図４は、本発明の第１の実施の形態における動作概要のフローチャートである。
【００２７】
ステップ１１）  ブラウザイメージ取得部１０において、画面キャプチャツールを用いてブラウザの画面イメージを一定時間間隔で取得し、取得した時刻情報と共に記憶部２１０の画面イメージと時刻情報を格納する領域に格納する。
【００２８】
ステップ１２）  次に、視聴判定部２０において、記憶部２１０から時刻情報に基づいて２つの画面イメージを読み込んで、色変化特徴を用いて映像視聴時の画面イメージとそれ以外の画面イメージとに分類し、ラベル（視聴／視聴以外）を付与して記憶部２１０に格納する。
【００２９】
ステップ１３）  視聴履歴保存部３０において、記憶部２１０から映像視聴時と判定された（『視聴』ラベルが付与された）画面イメージの時刻情報を取得し、当該時刻情報から映像視聴の開始時刻と終了時刻を取得し、その区間に対応する画面イメージと共に視聴履歴データベース２２０に履歴として格納する。
【００３０】
次に、上記のステップ１２の視聴判定ステップの動作を詳細に説明する。
【００３１】
図５は、本発明の第１の実施の形態における視聴判定ステップ（Ｓ１２）のフローチャートである。当該視聴判定ステップは、特徴量計算ステップ（Ｓ１２１）と特徴量判定ステップ（Ｓ１２２）からなる。
【００３２】
ステップ１２１）  視聴判定部２０において、ステップ１１で取得した画面イメージを映像視聴時の画面イメージと、それ以外の画面イメージとに分類するための特徴量として、図６に示す特徴量１生成ステップの処理及び図１０に示す特徴量２生成ステップの処理により２つの特徴量（Ｃｍ（ｔ），△ＣＲｍ（ｔ））を計算する。
【００３３】
図６は、本発明の第１の実施の形態における特徴量１生成ステップのフローチャートである。
【００３４】
ステップ１２１１）  特徴量１生成ステップ：
ステップ１２１１１）  ステップ１１で取得した画面イメージにおいて、時刻ｔに取得した画面イメージＩｔと時刻ｔ＋△ｔに取得した画面イメージＩｔ＋１の各ピクセルについて色差分を計算し、色変化のあったものを１、なかったものを０として２値画像ＢＩｔを生成する。
【００３５】
ステップ１２１１２）  ステップ１２１１１で生成した２値画像ＢＩｔにおける（ｉ，ｊ）のピクセル値Ｐ（ｉ，ｊ，ｔ）（但し、ｉはｘ軸方向のピクセル番号を表し、ｉ＝０,１，２，…，Ｉ−１、ｊはｙ軸方向のピクセル番号を表し、ｊ＝０，１，２，…，Ｊ−１、ｔは時刻、Ｐ（ｉ，ｊ，ｔ）は１または０のいずれかをとる）に基づいて、Ｐ（ｉ，ｊ，ｔ）＝１となるピクセル数Ｎ（１，ｔ）及びＰ（ｉ，ｊ，ｔ）＝０となるピクセル数Ｎ（０，ｔ）を数え、出力する。
【００３６】
ステップ１２１１３）  ステップ１２１１１で出力した２値画像ＢＩｔに含まれるピクセルのうち、周囲の１ピクセル分のみ除外した範囲に含まれる任意のＰ（ｉ，ｊ，ｔ）（ｉ＝１，２，３，…，Ｉ−２，ｊ＝１，２，…，Ｊ−２）（ｉ，ｊの範囲に関しては図７参照）に対し、Ｐ（ｉ−１，ｒ−１，ｔ）〜Ｐ（ｉ＋１，ｊ＋１，ｔ）で表されるＰ（ｉ，ｊ，ｔ）の近傍８ピクセルを抽出し、当該近傍８ピクセルとその中心のピクセルとの色差分に基づく指標ｖｍ（ｉ，ｊ，ｔ）を下記のアルゴリズムにより求める。
【００３７】
【数１】
2008197908.tif 000003
次に上記で求めたｖｍ（ｉ，ｊ，ｔ）（ただし、ｍ＝０または１）を、以下の式により２値画像全体にわたって積分し、その値Ｃｍ（ｔ）を出力する。
【００３８】
【数２】
2008197908.tif 000004
ステップ１２１１４）  ステップ１２１１２で出力されるＮ（ｍ，ｔ）の値及びステップ１２１１３で出力されたＣｍ（ｔ）の値を入力し、次の式で与えられる特徴量１ＣＲｍ（ｔ）を出力する。
【００３９】
【数３】
2008197908.tif 000005
この特徴量は、動きのある部分（１）または、動きのない部分（０）の集中度を表す指標である。映像視聴時は画面を基本的に動かさない。このため、映像視聴時は、動いている部分が映像の表示されている部分に集中する。そのため、映像視聴時においては、この値は大きくなる傾向がある。ＰＣにおけるアクティブウィンドウの画面イメージ（約６時間半分  ２秒間隔）から計算した映像視聴時及び映像視聴時以外の特徴量１の分布を図８、図９に示す。
【００４０】
次に、特徴量２生成ステップについて説明する。
【００４１】
図１０は、本発明の第１の実施の形態における特徴量２生成ステップ（Ｓ１２１２）のフローチャートである。
【００４２】
ステップ１２１２）特徴量２生成ステップ：
ステップ１２１２１）  上記のステップ１２１１で、時刻ｔ及びｔ＋１について特徴量１の生成が終了しているか判定し、終了していない場合はステップ１２１１の処理に戻る。終了している場合は、ステップ１２１２２に移行する。
【００４３】
ステップ１２１２２）  本ステップでは、時刻ｔ及びｔ＋１におけるステップ１２１１の出力ＣＲｍ（ｔ）、及びＣＲｍ（ｔ＋１）を入力し、次の式で与えられる特徴量２△ＣＲｍ（ｔ）をメモリ（図示せず）に出力する。
【００４４】
【数４】
2008197908.tif 000006
映像視聴時は、動いている部分、動いていない部分がほぼ同じであること、また、前述したように特徴量１が大きい値で安定している傾向があることから、差分は小さくなる傾向がある。ＰＣにおけるアクティブウィンドウの画面イメージ（約６時間半分  ２秒間隔）から計算した映像視聴時および映像視聴時以外の特徴量２の分布を図１１、図１２に示す。
【００４５】
ステップ１２２）  特徴量判定ステップ：
図１３は、本発明の第１の実施の形態における特徴量判定ステップのフローチャートである。
【００４６】
ステップ１２２１）  視聴判定部２０において、前述のステップ１２１で生成され、メモリ（図示せず）に格納されている特徴量Ｆｎ（ＣＲ０（ｔ），ＣＲ１（ｔ），△ＣＲ０（ｔ），△ＣＲ１（ｔ））が、予め設定されている閾値条件を満たしているかどうかを判定する。満たしている場合は、ステップ１２２２に移行し、満たしていない場合はステップ１２２５に移行する。なお、閾値は、予め映像視聴区間にラベルを付与した学習サンプル用の画面イメージを用いて事前に定めておくものとする。
【００４７】
ステップ１２２２）  全ての特徴量について条件判定が終了したかを判定し、終了した場合はステップ１２２４に移行し、終了していない場合はステップ１２２３に移行する。
【００４８】
ステップ１２２３）  ｎ＝ｎ＋１とし、ステップ１２２１に戻る。
【００４９】
ステップ１２２４）  画面イメージＩｔに対し、映像視聴時を表すラベル（『視聴』）を付与し、記憶部２１０に格納する。
【００５０】
ステップ１２２５）  画面イメージＩｔに対し、映像視聴時以外を表すラベル（『視聴以外』）を付与し、記憶部２１０に格納する。
【００５１】
次に、図４のステップ１３（視聴履歴保存ステップ）について詳細に説明する。
【００５２】
図１４は、本発明の第１の実施の形態における視聴履歴保存ステップ（Ｓ１３）のフローチャートである。
【００５３】
ステップ１３１）  視聴履歴保存部３０は、ステップ１２３での判定の結果（ラベル情報）及び画面イメージの時刻情報から映像視聴の開始時刻と終了時刻を取得する。
【００５４】
ステップ１３２）  ステップ１３１で取得した開始時刻と終了時刻と共にその区間に対応する画面イメージを視聴履歴データベース２２０に格納する。
【００５５】
次に、図１４の時刻情報取得ステップ（Ｓ１３１）の詳細な動作を説明する。
【００５６】
図１５は、本発明の第１の実施の形態における時刻情報取得ステップ（Ｓ１３１）のフローチャートである。
【００５７】
ステップ１３１１）  視聴履歴保存部３０は、記憶部２１０から上記のステップ１２で付与された画面イメージＩｔのラベル情報及びステップ１１で格納された時刻を取得する。
【００５８】
ステップ１３１２）  画面イメージＩｔのラベルが『視聴』であるかを判定し、そうであればステップ１３１４に移行し、そうでなければ、ステップ１３１３に移行する。
【００５９】
ステップ１３１３）  時刻ｔをｔ＝ｔ＋１とし、ステップ１３１１に移行する。
【００６０】
ステップ１３１４）  画面イメージＩｔの時刻を開始時刻とする。
【００６１】
ステップ１３１５）  記憶部２１０から画面イメージＩｔのラベルと時刻を取得する。
【００６２】
ステップ１３１６）  取得した画面イメージＩｔのラベルが『視聴』であるかを判定し、そうであれば、ステップ１３１７に移行し、そうでなければステップ１３１８に移行する。
【００６３】
ステップ１３１７）  時刻ｔをｔ＝ｔ＋１とし、ステップ１３１５に移行する。
【００６４】
ステップ１３１８）  ステップ１３１６において画面イメージＩｔのラベルが『視聴』である場合には、画面イメージＩｔ−１の時刻を視聴終了時刻とする。
【００６５】
ステップ１３２）  視聴履歴保存部３０は、ステップ１３１で取得した開始時刻と終了時刻と共に、その映像区間に対応する画面イメージＩｔ（ｔ＝Ｔｓ〜Ｔe）を視聴履歴として記憶部２１０に格納する。
【００６６】
［第２の実施の形態］
本実施の形態では、第１の実施の形態で取得し、視聴履歴データベース２２０に格納されているデータを用いて映像を検索する例を説明する。
【００６７】
図１６は、本発明の第２の実施の形態における映像視聴履歴取得装置の構成を示す。
【００６８】
同図に示す映像視聴履歴取得装置は、図３の構成に映像視聴履歴を検索するための検索部３００が付加された構成である。
【００６９】
図１７は、本発明の第２の実施の形態における検索処理のフローチャートである。
【００７０】
ステップ２１）  まず、検索部３００は、ユーザから入力手段３０１を介して指定された検索条件となる時刻情報を取得する。
【００７１】
ステップ２２）  指定された時刻の検索条件に合致する視聴履歴情報（視聴開始時刻、視聴終了時刻、画面イメージ）を視聴履歴データベース２２０から取得する。
【００７２】
ステップ２３）  ステップ２２で取得した検索結果を表示手段３０２に出力することによりユーザに提示する。
【００７３】
［第３の実施の形態］
本実施の形態では、第１の実施の形態で取得したデータに加え、キー操作監視ツール、マウス操作監視ツール、クリップボード監視ツール、プロセス監視ツールの４つのツール情報及び表示手段（図示せず）に表示されたページのテキスト情報を用いて視聴履歴を生成する例を説明する。
【００７４】
図１８は、本発明の第３の実施の形態における動作のフローチャートである。
【００７５】
ステップ３１）  第１の実施の形態と同様に、ブラウザイメージ取得部１０において、視聴の開始時刻、終了時刻情報及びその区間の画面イメージを取得する。
【００７６】
ステップ３２）  視聴判定部２０において、ステップ３１で取得した視聴区間の時刻情報に基づき、上記の４つのツール及びページ情報を、当該映像視聴履歴取得装置として利用しているＰＣから取得して視聴区間に対応付ける。具体的には、視聴区間に行われたキー及びマウス操作、クリップボードの情報、起動していたアプリケーション名、及び、表示されたページのテキスト情報をその視聴区間の関連情報とする。
【００７７】
ステップ３３）  ステップ３１で取得した情報及び、ステップ３２で視聴区間に対応付けられたツール及びページ情報を視聴履歴データベース２２０に格納する。
【００７８】
上記のようなデータベースを作成することで、第２の実施の形態における時刻情報に加え、キーワードや同時に起動していたアプリケーション名を用いて、視聴区間を検索することが可能になる。
【００７９】
［その他の実施の形態］
第１の実施の形態において、ブラウザ上で視聴する場合を説明したが、その他の映像再生手段であっても、パーソナルコンピュータの画面上に表示されるものであれば適用可能である。
【００８０】
また、第３の実施の形態において、関連情報として視聴区間に行われたものを用いたが、この範囲を広げ、前後の一定時間内に行われた情報を付加することで、前後に起動していたアプリケーション、クリップボードの情報、ページの情報から検索することが可能になる。
【００８１】
上記のように本発明によれば、ウィンドウの画面イメージ情報に基づいて映像視聴区間を抽出することが可能となる。これにより、ＰＣの画面上に表示するという特徴があるものであれば、再生手段、プレイヤ（例えば、Windows Media Player（登録商標）、Quick Time Player（登録商標）、Real Player Flash（登録商標）、Macromedia Flash Player（登録商標））によれず、視聴時間及びそのときのウィンドウの画面情報を取得することが可能となる。
【００８２】
また、画面イメージという実際にユーザが目にしている情報を用いることによって、単にバックグラウンドで再生されていたものではなく、能動的に視聴していた映像の情報を取得することが可能となる。これにより、過去に視聴した映像を検索する際に、視聴したときの画面情報の記憶を活用することが可能となる。結果として、過去に視聴した映像の再参照を効率的に行うことが可能となる。
【００８３】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００８４】
本発明では、ウィンドウの画面イメージ情報に基づいて映像視聴区間を抽出することが可能となるため、ＰＣの画面上に表示するという特徴がある再生手段やプレイヤ（例えば、Windows Media Player（登録商標）、Quick Time Player（登録商標）、Real Player Flash（登録商標）、Macromedia Flash Player（登録商標））に適用可能である。
【図面の簡単な説明】
【００８５】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における映像視聴履歴取得装置の構成図である。
【図４】本発明の第１の実施の形態における動作概要のフローチャートである。
【図５】本発明の第１の実施の形態における視聴判定ステップ（Ｓ１２）のフローチャートである。
【図６】本発明の第１の実施の形態における特徴量１生成ステップ（Ｓ１２１１）のフローチャートである。
【図７】本発明の第１の実施の形態における特徴量１生成ステップのステップ１２１３における処理対象ピクセルである。
【図８】本発明の第１の実施の形態における特徴量１ＣＲｍの分布（映像視聴時）である。
【図９】本発明の第１の実施の形態における特徴量１ＣＲｍの分布（映像視聴時以外）である。
【図１０】本発明の第１の実施の形態における特徴量２生成ステップ（Ｓ１２１２）のフローチャートである。
【図１１】本発明の第１の実施の形態における特徴量２△ＣＲｍの分布（映像視聴時）である。
【図１２】本発明の第１の実施の形態における特徴量２△ＣＲｍの分布（映像視聴時以外）である。
【図１３】本発明の第１の実施の形態における特徴量判定ステップ（Ｓ１２２）のフローチャートである。
【図１４】本発明の第１の実施の形態における視聴履歴保存ステップ（Ｓ１３）のフローチャートである。
【図１５】本発明の第１の実施の形態における時刻情報取得ステップ（Ｓ１３１）のフローチャートである。
【図１６】本発明の第２の実施の形態における検索時の映像視聴装置の構成図である。
【図１７】本発明の第２の実施の形態における検索処理のフローチャートである。
【図１８】本発明の第３の実施の形態における動作のフローチャートである。
【符号の説明】
【００８６】
１０  画面イメージ取得手段、ブラウザイメージ取得部
２０  視聴判定手段、視聴判定部
３０  視聴履歴保存手段、視聴履歴保存部
１００  履歴登録処理部
２１０  記憶部
２２０  視聴履歴データベース
３００  検索部
３０１  入力手段
３０２  表示手段
【図１】
2008197908.tif 000007
【図２】
2008197908.tif 000008
【図３】
2008197908.tif 000009
【図４】
2008197908.tif 000010
【図５】
2008197908.tif 000011
【図６】
2008197908.tif 000012
【図７】
2008197908.tif 000013
【図８】
2008197908.tif 000014
【図９】
2008197908.tif 000015
【図１０】
2008197908.tif 000016
【図１１】
2008197908.tif 000017
【図１２】
2008197908.tif 000018
【図１３】
2008197908.tif 000019
【図１４】
2008197908.tif 000020
【図１５】
2008197908.tif 000021
【図１６】
2008197908.tif 000022
【図１７】
2008197908.tif 000023
【図１８】
2008197908.tif 000024