(57)【要約】【課題】視聴者が作業をしながら、テレビ受像機などの映像を見ている場合、視聴者が見逃したシーンを、視聴することができる支援機能を有する表示制御システムおよび表示制御方法を提供する。【解決手段】本発明の表示制御システムは、受信した映像を表示する表示画面を有するテレビと、このテレビに設けられ、テレビを視聴する視聴者を撮影し、撮影画像データを得るカメラと、このカメラにより得られた視聴者の撮影画像データを解析し、視聴者がテレビを見ているか否かの判定をする視聴判定部、テレビが受信した映像を記録する画像記録部、および視聴判定部により、視聴者がテレビを見ていないと判定された場合、画像記録部でテレビが受信している映像を記録させる制御部を備えるサーバとを有する。【選択図】図２
2007318431.tif 000002
【特許請求の範囲】
【請求項１】
受信した映像を表示する表示画面を有するテレビ受像機と、
前記テレビ受像機に設けられ、前記テレビ受像機を視聴する視聴者を撮影し、撮影画像データを得るカメラと、
前記カメラにより得られた前記視聴者の前記撮影画像データを解析し、前記視聴者が前記テレビ受像機を見ているか否かの判定をする視聴判定部、前記テレビ受像機が受信した映像を記録する画像記録部、および前記視聴判定部により、前記視聴者が前記テレビ受像機を見ていないと判定された場合、前記画像記録部で前記テレビ受像機が受信している映像を記録させる制御部を備えるサーバとを有することを特徴とする表示制御システム。
【請求項２】
前記サーバは、さらに、前記画像記録部に記録された映像データのシーンを解析するシーン解析部を備えるものであり、
前記制御部は、前記シーン解析部によるシーン解析に基づいて分類されたシーンのうち、所定のシーンが表示される前に、前記テレビ受像機を介して前記視聴者に前記所定のシーンが表示されることを通知するものである請求項１に記載の表示制御システム。
【請求項３】
前記視聴判定部は、さらに、パーソナルコンピュータ、携帯情報通信端末および携帯電話と接続され、前記パーソナルコンピュータ、前記携帯情報通信端末および前記携帯電話の使用状況を検知することができ、
前記視聴判定部により、前記視聴者が前記パーソナルコンピュータ、前記携帯情報通信端末または前記携帯電話を使用していることが検知された場合、前記視聴者が前記テレビ受像機を見ていないと判定され、前記制御部により、前記テレビ受像機が受信している映像を前記画像記録部に記録させる請求項１または２に記載の表示制御システム。
【請求項４】
前記制御部は、前記所定のシーンが表示される前に、前記テレビ受像機を介して前記視聴者に前記所定のシーンが表示されることを前記パーソナルコンピュータ、前記携帯情報通信端末または前記携帯電話に通知するものである請求項３に記載の表示制御システム。
【請求項５】
前記テレビ受像機は、外部記録装置に記録された映像データに基づく映像が前記表示画面に表示されるものであり、
前記外部記録装置による映像を、前記視聴者が見ていないと前記視聴判定部により判定された場合、前記制御部は、前記外部記録装置により表示されている映像を前記画像記録部に記録させる請求項１〜３のいずれか１項に記載の表示制御システム。
【請求項６】
テレビ受像機が受信した映像を表示する表示画面を視聴する視聴者をカメラで撮影し、
前記カメラにより得られた前記視聴者の撮影画像データを解析し、前記視聴者が前記テレビ受像機を見ているか否かの判定する工程と、
前記視聴者が前記テレビ受像機を見ていないと判定された場合、前記テレビ受像機が受信している映像を記録させる工程とを有することを特徴とする表示制御方法。
【請求項７】
さらに、前記記録された映像のシーンを解析し、シーン解析に基づいて分類されたシーンのうち、所定のシーンが表示される前に、前記視聴者に前記所定のシーンが表示されることを通知する工程を有する請求項６に記載の表示制御方法。
【請求項８】
前記視聴者のパーソナルコンピュータ、携帯情報通信端末または携帯電話の使用状況を検出する工程を有し、
前記視聴者が前記パーソナルコンピュータ、前記携帯情報通信端末または前記携帯電話を使用している場合には、前記視聴者が前記テレビ受像機を見ていないと判定され、前記表示画面に表示されている映像を記録させる請求項６または７に記載の表示制御方法。
【請求項９】
前記視聴者に前記所定のシーンが表示されることを通知する工程は、
前記視聴者が使用している前記パーソナルコンピュータ、前記携帯情報通信端末または前記携帯電話の各画面に通知表示させることである請求項８に記載の表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ受像機などの表示を制御する表示制御システムおよび表示制御方法に関し、特に、テレビ受像機などが表示する映像を、視聴者が作業しながら視聴する場合に、視聴を支援する表示制御システムおよび表示制御方法に関する。
【背景技術】
【０００２】
現在、視聴者が家庭であるテレビ番組を鑑賞していて、風呂、トイレ等の用事でその場から席をはずし、場所を移動する必要が生じ、テレビ鑑賞を中断せざるを得ないような場合に、継続してその番組を見ようとすると、携帯テレビを持ち歩くか、その移動先のそれぞれの場所にテレビ受像機を備えておき、移動先のテレビ受像機のスイッチを入れ、今まで見ていた番組にチャンネルを合わせなければならない。
【０００３】
この場合、家庭内でどこへ移動してもテレビ番組を継続して見るために、携帯テレビを持ち歩いたりする方法では、常にこれらの端末装置等を持ち歩かなければならない。
また、家庭内で移動する先々の各場所にそれぞれテレビ受像機を設置する方法では、テレビ受像機の設置場所が必要であり、またいちいちそのテレビ受像機自体のスイッチを操作しなくてもよいようにするためには、やはりリモコンを持ち歩かなければならない。
そこで、従来、テレビ番組等の見たい情報をどこででも自動的に継続して見ることを可能とする画像表示方法が提案されている（例えば、特許文献１参照）。
【０００４】
特許文献１には、人物が視聴するための画像情報を複数の表示装置の表示画面に表示する画像表示方法が開示されている。この特許文献１においては、予め、登録モードとして、追尾表示の有無、継続表示の有無、人物同定の有無および停止条件設定の少なくとも２つの選択項目の組み合せからなる表示モードを設定することができ、設定された登録モードに応じて、複数の表示装置の表示画面への画像情報の表示を制御することができる。
この構成により、特許文献１においては、家庭内において、ある人物が場所限定追尾モードを指定した場合、最初居間において、ある人物が場所限定追尾モードを指定して、テレビを見ていたとする。表示内容が場面Ｎ３のときに、その人物が席を立ち、トイレへ行くために居間を離れ、人物センサがそれを検知し、パソコンサーバがその人物を識別すると、パソコンサーバは、その時の表示場面Ｎ３を、自動的に記録する。その人物がトイレに行っている間は、表示が中断され、その間に放映される内容はデータ蓄積機能によって記憶される。
その人物が居間に戻り、人物センサによりその人物がテレビの鑑賞可能エリア内に入ったことが検出されると、パソコンサーバの指示により、記憶、蓄積されていたデータを先程の続きの場面Ｎ４から継続してテレビに表示させることができる。
【０００５】
特許文献１においては、上述のような画像表示制御がなされている。しかし、特許文献１以外にも、従来、種々の画像表示制御方法が開示されている（例えば、特許文献２および特許文献３参照）。
【０００６】
特許文献２には、視聴者を認識し、視聴者に応じた動作を行うことができるもの認識機能付表示装置が開示されている。この特許文献２においては、家庭でテレビ放送等を鑑賞していて、テレビを視聴している視聴者に応じて、ある特定のシーンの画像は、見せないようにするなどの視聴制限をすることができる。
【０００７】
また、特許文献３には、視聴者の好み、感性に沿った再生を行うことができる映像再生装置が開示されている。この特許文献３においては、視聴者の視聴する視聴動作により、表示される映像の表示位置および表示画角を制御することができる。
【０００８】
【特許文献１】特開２００３−１９５８４５号公報
【特許文献２】特開２００１−０１６５１４号公報
【特許文献３】特開平１０−２４３３８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１においては、人物が場所を移動した場合において、表示を制御するものであるものの、人物の視聴状況に応じて、表示を制御することはできず、また、表示を制御するものでもない。
また、特許文献２においては、テレビを視聴している視聴者に応じて、ある特定のシーンの画像は、見せないようにするなどの視聴の禁止制限をすることが主目的であり、人物の視聴状況に応じて、表示を制御するものではない。
さらに、特許文献３においても、視聴者は、映像を注視していることが前提であり、視聴者が、よそ見をした場合など、視聴者が映像を見ていないことは想定しておらず、視聴者が映像を見ていない状況において、表示を制御するものではない。
【００１０】
このように、特許文献１〜特許文献３のいずれにおいても、視聴者が作業をしながら、テレビを見ている場合に、視聴者がよそ見をして、視聴者が見逃したシーンを、視聴するための支援機能がないという問題点がある。
【００１１】
本発明の目的は、従来技術の問題点を解決することにあり、視聴者が作業をしながら、テレビ受像機などの映像を見ている場合、視聴者が見逃したシーンを、視聴することができる支援機能を有する表示制御システムおよび表示制御方法を提供することにある。
【課題を解決するための手段】
【００１２】
目的達成するために、本発明の第１の態様は、受信した映像を表示する表示画面を有するテレビ受像機と、前記テレビ受像機に設けられ、前記テレビ受像機を視聴する視聴者を撮影し、撮影画像データを得るカメラと、前記カメラにより得られた前記視聴者の前記撮影画像データを解析し、前記視聴者が前記テレビ受像機を見ているか否かの判定をする視聴判定部、前記テレビ受像機が受信した映像を記録する画像記録部、および前記視聴判定部により、前記視聴者が前記テレビ受像機を見ていないと判定された場合、前記画像記録部で前記テレビ受像機が受信している映像を記録させる制御部を備えるサーバとを有することを特徴とする表示制御システムを提供するものである。
【００１３】
本発明においては、前記サーバは、さらに、前記画像記録部に記録された映像データのシーンを解析するシーン解析部を備えるものであり、前記制御部は、前記シーン解析部によるシーン解析に基づいて分類されたシーンのうち、所定のシーンが表示される前に、前記テレビ受像機を介して前記視聴者に前記所定のシーンが表示されることを通知するものであることが好ましい。
【００１４】
また、本発明においては、前記視聴判定部は、さらに、パーソナルコンピュータ、携帯情報通信端末および携帯電話と接続され、前記パーソナルコンピュータ、前記携帯情報通信端末および前記携帯電話の使用状況を検知することができ、前記視聴判定部により、前記視聴者が前記パーソナルコンピュータ、前記携帯情報通信端末または前記携帯電話を使用していることが検知された場合、前記視聴者が前記テレビ受像機を見ていないと判定され、前記制御部により、前記テレビ受像機が受信している映像を前記画像記録部に記録させることが好ましい。
【００１５】
さらに、本発明においては、前記制御部は、前記所定のシーンが表示される前に、前記テレビ受像機を介して前記視聴者に前記所定のシーンが表示されることを前記パーソナルコンピュータ、前記携帯情報通信端末または前記携帯電話に通知するものであることが好ましい。
【００１６】
さらにまた、本発明においては、前記テレビ受像機は、外部記録装置に記録された映像データに基づく映像が前記表示画面に表示されるものであり、前記外部記録装置による映像を、前記視聴者が見ていないと前記視聴判定部により判定された場合、前記制御部は、前記外部記録装置により表示されている映像を前記画像記録部に記録させることが好ましい。
【００１７】
また、本発明の第２の態様は、テレビ受像機が受信した映像を表示する表示画面を視聴する視聴者をカメラで撮影し、前記カメラにより得られた前記視聴者の撮影画像データを解析し、前記視聴者が前記テレビ受像機を見ているか否かの判定する工程と、前記視聴者が前記テレビ受像機を見ていないと判定された場合、前記テレビ受像機が受信している映像を記録させる工程とを有することを特徴とする表示制御方法を提供するものである。
【００１８】
本発明においては、さらに、前記記録された映像のシーンを解析し、シーン解析に基づいて分類されたシーンのうち、所定のシーンが表示される前に、前記視聴者に前記所定のシーンが表示されることを通知する工程を有することが好ましい。
【００１９】
また、本発明においては、前記視聴者のパーソナルコンピュータ、携帯情報通信端末または携帯電話の使用状況を検出する工程を有し、前記視聴者が前記パーソナルコンピュータ、前記携帯情報通信端末または前記携帯電話を使用している場合には、前記視聴者が前記テレビ受像機を見ていないと判定され、前記表示画面に表示されている映像を記録させることが好ましい。
【００２０】
さらに、本発明においては、前記視聴者に前記所定のシーンが表示されることを通知する工程は、前記視聴者が使用している前記パーソナルコンピュータ、前記携帯情報通信端末または前記携帯電話の各画面に通知表示させることであることが好ましい。
【発明の効果】
【００２１】
本発明の第１の態様の表示制御システムによれば、カメラにより得られた視聴者の撮影画像データを解析し、視聴者がテレビを見ているか否かの判定をする視聴判定部と、テレビが受信した映像を記録する画像記録部と、視聴判定部により、視聴者がテレビを見ていないと判定された場合、画像記録部でテレビが受信している映像を記録させる制御部を備えるサーバを設けることにより、視聴者がテレビの表示画面に映し出された映像を、よそ見をして見逃した場合であっても、視聴者が見逃した映像が画像記録部に記録されているため、視聴者が見逃した映像を後で見ることができる。
【００２２】
また、本発明の第２の態様の表示制御方法によれば、テレビが受信した映像を表示する表示画面を視聴する視聴者をカメラで撮影し、カメラにより得られた視聴者の撮影画像データを解析し、視聴者が前記テレビ受像機を見ているか否かの判定する工程と、視聴者がテレビを見ていないと判定された場合、テレビが受信している映像を記録させる工程とを有することにより、視聴者がテレビの表示画面に映し出された映像を、よそ見をして見逃した場合であっても、視聴者が見逃した映像が画像記録部に記録されているため、視聴者が見逃した映像を後で見ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の表示制御システムおよび表示制御方法について、添付の図面に示される好適実施例を基に、詳細に説明する。
【００２４】
図１は、本発明の表示制御システムの第１の実施例を示す模式図であり、図２は、本発明の表示制御システムの第１の実施例を示す模式的ブロック図である。
図１に示すように、本実施例の表示制御システム１０は、基本的に、テレビ１２と、カメラ１４と、サーバ１６とを有するものであり、さらにサーバ１６に外部記録再生装置１８が接続されている。また、テレビ１２およびカメラ１４は、サーバ１６に接続されている。
本実施例においては、視聴者７０がテレビ１２を視聴している場合を例にして、説明する。なお、視聴者７０は、リモコン８０を用いて、テレビ１２および外部記録再生装置１８を操作できるものとする。
【００２５】
テレビ１２は、テレビ受像機のことであり、テレビジョン放送を受信するチューナー（図示せず）を備え、テレビジョン放送を映像として、表示画面１２ａに表示するものである。また、テレビ１２は、外部記録再生装置１８により、記録された映像（以下、録画コンテンツという）を再生するモニタの機能を有するものである。さらに、後述するように、テレビ１２は、サーバ１６の画像記録再生部２２に接続されており、この画像記録再生部２２に記録された映像を再生するものでもある。
【００２６】
外部記録再生装置１８は、テレビ１２で放送されているテレビ番組を記録すること、およびテレビ１２に所定の映像を再生することができるものであり、例えば、ビデオテープレコーダ、ＨＤＤレコーダ、またはＤＶＤレコーダなどである。
【００２７】
本実施例においては、テレビ１２にカメラ１４が取り付けられている。このカメラ１４は、テレビ１２の表示画面１２ａを正面から視聴する視聴者７０を撮影し、撮影画像データを得るものである。カメラ１４は、レンズ１４ａが、テレビ１２の表示画面１２ａと同じ向きに配置されている。カメラ１４は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサを用いるものである。
【００２８】
サーバ１６は、テレビ１２およびカメラ１４、ならびに外部記録再生装置１８が接続されており、これらのテレビ１２およびカメラ１４、ならびに外部記録再生装置１８を制御するものである。
図２に示すように、サーバ１６は、視聴判定部２０と、画像記録再生部２２と、画像編集部２４と、制御部３０とを有する。視聴判定部２０は、カメラ１４に接続されており、カメラ１４により、撮影された撮影画像の撮影画像データが入力される。
【００２９】
視聴判定部２０は、視聴者７０が表示画面１２ａに映し出されるテレビ番組、もしくは外部記録再生装置１８による再生映像を見ているか、またはよそ見しているか否かを判定し、その判定結果を、判定信号として、制御部３０に出力するものである。視聴判定部２０は、例えば、よそ見していると判定された場合にだけ、制御部３０に判定信号を出力するようにしてもよい。
【００３０】
視聴判定部２０は、撮影画像データから視聴者７０の顔検出、および視聴者７０の目の部分の検出をする画像解析機能を備えるものである。この視聴判定部２０においては、顔検出結果および目の部分の検出結果に基づいて、視聴者７０が表示画面１２ａを見ているか、否かを判定する。
視聴判定部２０における視聴者７０が表示画面１２ａを見ているか、否かの判定は、例えば、目の部分が検出されないか、または目の部分が１つしか検出されない場合には、視聴者７０が表示画面１２ａの映像を見ていない、すなわち、よそ見していると判定する。
【００３１】
また、視聴判定部２０においては、顔検出の結果に基づいて、顔７２の向きが、正面ではなく、例えば、上向き、下向き、左向き、または右向きである場合、視聴者７０が表示画面１２ａを見ていないと判定する。
さらに、顔検出の結果と目の部分の検出の結果とを総合的に判定して、視聴者７０が表示画面１２ａを見ているか否かを判定してもよい。これにより、例えば、顔７２は正面を向いているものの、目を閉じている場合において、視聴者７０が表示画面１２ａを見ていないと判定することができる。
【００３２】
なお、カメラ１４および視聴判定部２０は、制御部３０により制御されるものである。カメラ１４による視聴者７０の撮影画像データの出力間隔は、制御部３０により制御されており、カメラ１４から所定の間隔で撮影画像データが視聴判定部２０に出力される。
【００３３】
画像記録再生部２２は、テレビ１２に接続されており、テレビ１２で放送されているテレビ番組の映像を一時的に記録するものである。この画像記録再生部２２においては、外部記録再生装置１８により、再生された映像についても、一時的に記録するものである。
また、画像記録再生部２２は、一時的に記録された映像を、テレビ１２で再生することができるものである。この画像記録再生部２２は画像編集部２４にも接続されている。
さらに、画像記録再生部２２は、制御部３０により、制御されるものであり、視聴判定部２０において、視聴者７０が表示画面１２ａを見ておらず、視聴者７０がよそ見していると判定された場合に、制御部３０からの指示情報により、テレビ１２で放映されている映像を記録する。
【００３４】
画像編集部２４は、画像記録再生部２２に接続されており、画像記録再生部２２で記録されたテレビ１２の映像の映像データから、図３に示すようなインデックス画像１００を作成し、このインデックス画像１００をテレビ１２の表示画面１２ａに表示させるものである。
図３に示すインデックス画像１００は、例えば、視聴者７０が表示画面１２ａを見ていないと判定された時点における映像の静止画像１０２ａ〜１０２ｃを、まとめて表示するものである。このため、視聴者７０が表示画面１２ａを見ていないとする判定が１回であれば、静止画像が１つだけ表示される。
また、領域１０４に、表示画面１２ａを見ていないと判定された映像が、静止画像１０２ａ〜１０２ｃであることを示す説明を表示させてもよい。
【００３５】
この画像編集部２４は、制御部３０により制御されるものである。制御部３０は、画像記録再生部２２で記録されたテレビ１２の映像データを、画像編集部２４に出力させて、視聴者７０が表示画面１２ａを見ておらず、視聴者７０が表示画面１２ａを見ていないと判定された時点における映像の手がかりを示すインデックス画像１００を画像編集部２４に作成させる。
【００３６】
本実施例においては、インデックス画像１００は、制御部３０により、画像編集部２４から画像記録再生部２２を経て、テレビ番組の終了時、コーマーシャル中、またはテレビ１２の電源を切る際に、表示させるものである。
【００３７】
また、本実施例においては、録画コンテンツがテレビ１２で再生されている場合においても、テレビ番組の放映と同様に、視聴者７０が表示画面１２ａを見ていない場合には、録画コンテンツを画像記録再生部２２で一時的に記録しておく。さらには、画像編集部２４において、外部記録再生装置１８による再生映像のうち、見逃したインデックス画像を作成し、テレビ番組の録画であれば、コーマーシャル中、またはテレビ１２の電源を切る際にインデックス画像を表示させる。
【００３８】
なお、視聴者７０が画面を見ていないと判定された、すなわち、視聴者７０が見逃した映像については、視聴者７０のリモコン８０を用いてなされる指示入力に基づいて、インデックス画像１００に示された各静止画像１０２ａ〜１０２ｃに対応する映像を再生する。
また、インデックス画像１００に示された各静止画像１０２ａ〜１０２ｃを、リモコン８０を用いて、クリックすることにより、各静止画像１０２ａ〜１０２ｃ対応する映像を再生させるようにしてもよい。
【００３９】
次に、本実施例の表示制御システム１０による表示制御方法について説明する。
本実施例の表示制御システム１０においては、カメラ１４により、視聴者７０を撮影し、所定の時間間隔で、撮影画像の撮影画像データを視聴判定部２０に出力する。
この視聴判定部２０において、視聴者７０が表示画面１２ａを見ていないと判定され、その判定信号が制御部３０に入力される。
このとき、制御部３０においては、画像記録再生部２０に、テレビ１２で放送されてテレビ番組の映像を記録させるとともに、画像編集部２４にインデックス画像１００を作成させる。
例えば、視聴している番組が終了した後、インデックス画像１００をテレビ１２の表示画面１２ａに表示させることにより、視聴者が見逃した映像を容易に選択することができ、速やかに見逃した映像を見ることができる。
このように、本実施例においては、視聴者７０の視聴状態を判定し、視聴者７０が見逃した映像について記録し、インデックス画像１００を作成することにより、視聴者７０が見逃した映像を容易に選択することができ、速やかに見逃した映像を見ることができる。
【００４０】
また、本実施例においては、視聴者７０の指示によらず、テレビ番組の終了時、再生映像の終了時、またはテレビ１２の電源を切る際に、視聴者７０が見逃した映像を、自動的に再生するようにしてもよい。この視聴者７０が見逃した映像についての再生タイミングは、特に限定されるものではない。
【００４１】
また、本実施例において、録画コンテンツをテレビ１２で再生しており、この録画コンテンツを視聴者７０が視聴している場合、視聴者７０がよそ見をしていると判定された時点で、画像記録再生部２２で記録することに限定されるものではない。例えば、視聴者７０がよそ見をしていると判定された時点で、再生を停止し、視聴者が、所定時間、テレビ１２の表示画面１２ａを見ていると判定されたときに、再度、録画コンテンツを再生するようにしてもよい。
【００４２】
また、本実施例においては、視聴判定部２０を、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant、携帯情報通信端末）または携帯電話などと通信可能な構成とし、視聴者が、これらのパーソナルコンピュータ、ＰＤＡまたは携帯電話などをテレビ１２が設置されている部屋などで使用した場合に、視聴判定部２０において、よそ見していると自動的に判定して、上述の如く、制御部３０により、テレビ画像または再生映像を画像記録再生部２２に記録させる。そして、画像編集部２４にインデックス画像１００を作成させる。
この場合においても、視聴している番組が終了した後、インデックス画像１００をテレビ１２の表示画面１２ａに表示させることにより、視聴者が見逃した映像を容易に選択することができ、速やかに見逃した映像を見ることができる。
【００４３】
次に、本発明の第２の実施例について説明する。
図４は、本発明の表示制御システムの第２の実施例を示す模式的ブロック図である。
なお、本実施例においては、図１〜図３に示す第１の実施例の表示制御システム１０と同一の構成物には、同一符号を付して、その詳細な説明は省略する。また、図４において、視聴者の図示は省略している。
【００４４】
本実施例の表示制御システム１０ａは、第１実施例の表示制御システム１０（図１および図２参照）に比して、サーバ４０の構成が異なり、それ以外は、第１実施例の表示制御システム１０（図１および図２参照）と同様であるため、その詳細な説明は省略する。
【００４５】
本実施例において、サーバ４０は、画像記録再生部２２と、画像編集部２４とに接続されたシーン解析部２６が設けられている点、および制御部３０がシーン解析部２６も制御する点が、第１の実施例のサーバ１６（図２参照）と異なり、それ以外の構成は、第１の実施例のサーバ１６（図２参照）と同様の構成であり、その詳細な説明は省略する。
また、本実施例のサーバ４０は、シーン解析部２６によるシーン解析に基づいて分類されたシーンのうち、所定のシーンが表示される前に、所定のシーンが表示されることを制御部３０によりテレビ１２を介して視聴者に通知するものである。
【００４６】
シーン解析部２６は、画像記録再生部２２に記録された映像データのシーンを解析するものである。
また、シーン解析部２６は、シーンの分類、シーンの登録、および登録されたシーンと分類されたシーンとを比較し、登録されたシーンおよびそれに類似するシーンを抽出するものである。
【００４７】
次に、本実施例の表示制御システム１０ａによる表示制御方法について説明する。
本実施例の表示制御システム１０ａによる表示制御方法において、テレビ番組の場合には、画像記録再生部２２において、視聴者が見ているテレビ番組を全て記録する。
そして、記録したテレビ番組について、シーン解析部２６により、シーン解析を行う。このシーン解析部２６において、映像中の場面の変化が大きいシーンを検出するとともに、検出したシーンのテレビ番組内における時刻を記録する。この変化が大きい場面とは、例えば、音声変化量が大きい場面のことである。このような場面を、重要なシーンと判定して、この重要なシーンを検出し、その重要なシーンのテレビ番組内における時刻を記録する。このテレビ番組内における時刻とは、例えば、テレビ番組の開始からの経過時刻のことである。
【００４８】
そして、本実施例においては、図５に示すように、画像記録再生部２２が通常のテレビ放送の放送タイミング（映像入力タイミング）で、テレビ１２の放送映像を記録し、例えば、通常のテレビ放送のタイミングよりも、Ｔ秒、遅延させたタイミング（映像表示タイミング）で、テレビ１２の表示画面１２ａにテレビ番組を表示させる。
例えば、図５に示すように、シーンαが入力された後、Ｔ秒後にテレビ１２にシーンαを表示させる。
なお、この遅延させたＴ秒の間に、シーン解析部２６によるシーン解析を行い、重要なシーンの検出およびそのテレビ番組内における時刻を記録する。
このときにおいても、カメラ１４により、視聴者７０は撮影されており、視聴者７０がよそ見の状態であるか否かが視聴判定部２０において、判定されている。
【００４９】
また、シーン解析部２６の解析の結果、重要なシーンと判定されたシーンαが再生される、Ｔ１秒前に視聴者がよそ見をしていると判定された場合、制御部３０によりテレビ１２に通知指示βを出力し、再生している映像とは、別にテレビ１２から警告音を発生させ、視聴者７０に注意を喚起する。これにより、視聴者が重要なシーンを見逃すことが防止される。
【００５０】
このように、本実施例の表示制御システム１０ａによる表示制御方法においては、重要であると判定されたシーンが再生される、所定時間前に、視聴者がよそ見をしている場合に、再生している映像とは、別に、制御部３０により、テレビから警告音を発生させ、視聴者７０に注意を喚起することができる。これにより、視聴者が重要なシーンを見逃すことが防止される。
なお、本実施例においても、第１の実施例と同様の効果を得ることができることは言うまでもない。
【００５１】
また、本実施例において、重要であると判定されたシーンが再生されることを視聴者に知らせる方法としては、警告音に限定されるものではなく、テレビ１２の表示画面１２ａの角の領域に重要であると判定されたシーンが再生されることを表示するか、テレビ１２の表示画面１２ａを点滅させるなどの種々の方法を用いることができる。さらには、視聴者に知らせるために、別途、音声または光を発する通知部を設けてもよい。
【００５２】
次に、本実施例の表示制御システム１０ａによる他の表示制御方法について説明する。
本実施例の表示制御システム１０ａによる他の表示制御方法において、外部記録再生装置１８を用いて、録画コンテンツをテレビ１２で再生する場合、先ず、画像記録再生部２２に録画コンテンツを一時的に記憶させ、シーン解析部２６により、シーン解析を行う。
【００５３】
次に、シーン解析部２６の解析の結果、重要であると判定されたシーンについて、録画コンテンツにおける再生時刻など、シーンを特定するための情報を画像記録再生部２２に記録する。また、このシーンを特定するための情報は、制御部３０を介して外部記録再生装置１８にも記憶する。
【００５４】
次に、シーンの検出および時刻の記録をした後、画像記録再生部２２から、一時的に記録した外部記録再生装置１８による映像を、テレビ１２の表示画面１２ａに表示させる。この場合、シーン解析部２６の解析の結果、重要であると判定されたシーンαが再生される、Ｔ１秒前に視聴者がよそ見をしていると判定された場合、制御部３０によりテレビ１２に通知指示βを出力し、再生している映像とは、別にテレビ１２から警告音を発生させ、視聴者７０に注意を喚起する。これにより、視聴者が重要なシーンを見逃すことが防止される。この場合においても、テレビ１２からの警告音に限定されるものではなく、テレビ１２の表示画面１２ａの角の領域に重要であると判定されたシーンが再生されることを表示するか、またはテレビ１２の表示画面１２ａを点滅させるなどの種々の方法を用いることができる。
【００５５】
さらに、シーン解析部２６は、予め視聴者が、特定シーンのサンプル映像を登録しておくこともできる。これにより、シーン解析部２６においては、解析したシーン解析結果と登録されたサンプル映像とを比較し、サンプル映像に類似するシーンを検出し、類似するシーンを特定するための情報を、画像記録再生部２２に記憶させる。
この場合においても、視聴者が登録したシーンまたはそれに類似するシーンが再生される、所定時間前に、視聴者がよそ見をしている場合には、再生している映像とは、別にテレビから警告音を発生させ、視聴者７０に注意を喚起する。この場合においても、テレビ１２からの警告音に限定されるものではなく、テレビ１２の表示画面１２ａの角の領域に重要であると判定されたシーンが再生されることを表示するか、テレビ１２の表示画面１２ａを点滅させるなどの種々の方法を用いることができる。
【００５６】
また、シーン解析部２６には、予め視聴者が、重要シーンの項目情報を登録することもできる。この重要なシーンの項目情報とは、例えば、特定の人物、特定の国、または都市などの地域、映像の内容の種類、および特定の物品などである。
なお、この場合には、事前にシーン解析部２６により、シーン解析を行い、解析されたシーンについて、シーンを示すメタ情報を付与しておく。
これにより、シーン解析部２６により、解析された結果に基づいて、視聴者が指定した重要シーンが検出され、この検出された重要なシーンを特定するための情報（再生時刻）を画像記録再生部２２および制御部３０に記憶させる。
この場合においても、視聴者が登録した重要シーンの項目情報に該当する重要シーンが再生される、所定時間前に、視聴者がよそ見をしている場合には、制御部３０により、再生している映像とは、別にテレビから警告音を発生させ、視聴者７０に注意を喚起する。この場合においても、テレビ１２からの警告音に限定されるものではなく、テレビ１２の表示画面１２ａの角の領域に重要であると判定されたシーンが再生されることを表示するか、またはテレビ１２の表示画面１２ａを点滅させるなどの種々の方法を用いることができる。
【００５７】
また、本実施例においても、視聴判定部２０を、パーソナルコンピュータ、ＰＤＡまたは携帯電話などと通信可能な構成とし、視聴者が、これらのパーソナルコンピュータ、ＰＤＡまたは携帯電話などをテレビ１２が設置されている部屋などで使用した使用状況を検知できるものとすることが好ましい。
これにより、視聴者がパーソナルコンピュータ、ＰＤＡまたは携帯電話などをテレビ１２が設置されている部屋などで使用したことが検知された場合、視聴判定部２０において、よそ見していると自動的に判定され、上述の如く、制御部３０により、テレビの放送画像または外部記録再生装置１８による再生映像が画像記録再生部２２に記録される構成としてもよい。
【００５８】
さらに、シーン解析部２６において、視聴者が注視しているシーン、およびよそ見をしているシーンの画像特徴量を求めてもよい。また、シーン解析部２６においては、視聴者が登録した特定シーンのサンプル画像、重要シーンの項目情報を集計し、さらに解析を行い、視聴者の好みのシーン傾向を把握してもよい。この視聴者の好みのシーン傾向は、例えば、制御部３０において視聴者毎に管理される。
また、本実施例においては、例えば、外部記憶装置１８を用いて映像を再生する場合、重要シーンの画像を集めたインデックス画像を一番初めに表示するようにしてもよい。
【００５９】
さらには、視聴者の好みのシーンを示すシーン情報を、再生画像に付加情報として付与してもよい。これにより、視聴者の好みをシーンが再生される前に視聴者がよそ見をしていると判定された場合、再生している映像とは、別にテレビ１２から警告音を発生させ、視聴者７０に注意を喚起することができる。
【００６０】
次に、本発明の第３の実施例について説明する。
図６は、本発明の表示制御システムの第３の実施例を示す模式図である。図７（ａ）は、本発明の表示制御システムの第３の実施例を示す模式的ブロック図であり、（ｂ）は、通知状態を示す模式図である。
なお、本実施例においては、図４に示す第２の実施例の表示制御システム１０ａと同一の構成物には、同一符号を付して、その詳細な説明は省略する。また、図７において、視聴者の図示は省略している。
【００６１】
本実施例の表示制御システム５０は、第２の実施例の表示制御システム１０ａ（図４参照）に比して、サーバ５２の構成、および視聴者７０がパーソナルコンピュータ６０を使用しながら、テレビ１２を視聴する構成が異なり、それ以外の構成は、第２の実施例の表示制御システム１０ａと同様であるため、その詳細な説明は省略する。
【００６２】
本実施例においては、視聴者７０が机９０の上にパーソナルコンピュータ６０を置き、椅子９２に座って、パーソナルコンピュータ６０を操作しながら、テレビ１２の表示画面１２ａに表示される映像を視聴するものである。パーソナルコンピュータ６０は、サーバ５２に接続されている。
【００６３】
図７（ａ）に示すように、本実施例のサーバ５２は、第２の実施例のサーバ４０（図４参照）に比して、視聴判定部５４がパーソナルコンピュータ６０、ＰＤＡ６２および携帯電話６４と情報通信が可能であり、これらのパーソナルコンピュータ６０、ＰＤＡ６２および携帯電話６４の使用状態を検知でき、視聴判定部５４がパーソナルコンピュータ６０、ＰＤＡ６２または携帯電話６４が使用していることを検知した場合には、よそ見をしていると判定する点、および制御部３２がパーソナルコンピュータ６０、ＰＤＡ６２および携帯電話６４の各画面６０ａ、６２ａ、６４ａに通知表示をすることができ、さらに、画像記録再生部２２により、テレビ１２の表示画面１２ａに表示されている映像を記録させる点が、第２の実施例のサーバ４０と異なり、それ以外の構成は、第２の実施例のサーバ４０と同様の構成であり、その詳細な説明は省略する。
【００６４】
本実施例の制御部３２においては、視聴判定部５４から、図７（ｂ）に示すように、よそ見をしていると判定する判定信号が入力された場合、画面６０の角の領域６０ｂに通知表示をさせるとともに、画像記録再生部２２により、テレビ１２の表示画面１２ａに表示されている映像を記録させる。
【００６５】
なお、本実施例のサーバ５２においても、視聴者７０がテレビ１２の表示画面１２ａを見ているか否かを判定することができるものである。
また、本実施例のサーバ５２においては、視聴者７０がテレビ１２の表示画面１２ａを見ていない場合、パーソナルコンピュータ６０の画面６０ａの角の領域６０ｂに、テレビ１２のシーン情報などを表示させ、視聴者７０に注意を喚起することができる。
【００６６】
なお、本実施例のサーバ５２においては、パーソナルコンピュータ６０以外にも、ＰＤＡ６２または携帯電話６４などを視聴者７０が利用している場合でも、ＰＤＡ６２の画面６２ａまたは携帯電話６４の画面６４ａの角の領域に、通知表示を行い、テレビ１２のシーン情報などを表示させて、視聴者７０に注意を喚起することができる。
また、本実施例においては、第２の実施例の同様の効果を得ることができる。すなわち、本実施例においても、第２の実施例と同様に、第１の実施例と同様の効果を得ることができる。
【００６７】
次に、本実施例の表示制御システム５０による表示制御方法について説明する。
本実施例の表示制御システム５０により、テレビ番組を視聴する場合の表示制御方法は、第２の実施例の表示制御システム１０ａによる表示制御方法に比して、視聴者７０が利用しているパーソナルコンピュータ６０の画面６０ａ、ＰＤＡ６２の画面６２ａまたは携帯電話６４の画面６４ａに通知表示をする点、およびパーソナルコンピュータ６０、ＰＤＡ６２および携帯電話６４の使用状態を検知でき、パーソナルコンピュータ６０、ＰＤＡ６２または携帯電話６４が使用していることを検知した場合には、よそ見をしていると判定する点が異なり、それ以外の表示制御方法は、第２の実施例の表示制御システム１０ａによる表示制御方法と同様であり、その詳細な説明は省略する。
【００６８】
次に、本実施例の表示制御システム５０による他の表示制御方法について説明する。
本実施例の表示制御システム５０により、外部記録再生装置１８を用いて録画コンテンツをテレビ１２に再生する場合の表示制御方法は、第２の実施例の表示制御システム１０ａによる他の表示制御方法に比して、視聴者７０が利用しているパーソナルコンピュータ６０の画面６０ａ、ＰＤＡ６２の画面６２ａまたは携帯電話６４の画面６４ａに通知表示をする点、およびパーソナルコンピュータ６０、ＰＤＡ６２および携帯電話６４の使用状態を検知でき、パーソナルコンピュータ６０、ＰＤＡ６２または携帯電話６４が使用していることを検知した場合には、よそ見をしていると判定する点が異なり、それ以外の表示制御方法は、第２の実施例の表示制御システム１０ａによる表示制御方法と同様であり、その詳細な説明は省略する。
【００６９】
以上のように、本実施例においては、テレビ番組を視聴する場合および外部記録再生装置１８を用いて録画コンテンツをテレビ１２に再生する場合であっても、シーン解析部２６の解析の結果、重要であると判定されたシーンが再生される所定時間前に、視聴者７０がよそ見をしている場合には、制御部３２により、視聴者７０が利用しているパーソナルコンピュータ６０の画面６０ａ、ＰＤＡ６２の画面６２ａまたは携帯電話６４の画面６４ａに通知表示をし、視聴者７０に注意を喚起する。
また、本実施例においては、パーソナルコンピュータ６０、ＰＤＡ６２および携帯電話６４の使用していることを検知した場合には、視聴判定部５４において、視聴者７０がよそ見していると判定する。
【００７０】
さらに、シーン解析部２６は、予め視聴者が、特定シーンのサンプル映像を登録しておくこともできる。これにより、シーン解析部２６においては、解析したシーン解析結果と登録されたサンプル映像とを比較し、サンプル映像に類似するシーンを検出し、類似するシーンを特定するための情報を、画像記録再生部２２に記憶させる。
この場合においても、視聴者が登録したシーンまたはそれに類似するシーンが再生される、所定時間前に、視聴者７０がよそ見をしている場合には、視聴者７０が利用しているパーソナルコンピュータ６０の画面６０ａ、ＰＤＡ６２の画面６２ａまたは携帯電話６４の画面６４ａに通知表示をし、視聴者７０に注意を喚起することができる。
【００７１】
また、シーン解析部２６は、予め視聴者が、重要シーンの項目情報を登録することもできる。この重要なシーンの項目情報とは、例えば、特定の人物、特定の国、または都市などの地域、映像の内容の種類、および特定の物品などである。
なお、この場合には、事前にシーン解析部２６により、シーン解析を行い、解析されたシーンについて、シーンを示すメタ情報を付与しておく。
これにより、シーン解析部２６により、解析された結果に基づいて、視聴者が指定した重要なシーンが検出され、この検出された重要なシーンを特定するための情報（再生時刻）を画像記録再生部２２に記憶させる。
この場合においても、視聴者が登録した重要シーンの項目情報に該当する重要シーンが再生される、所定時間前に、視聴者７０がよそ見をしている場合には、視聴者７０が利用しているパーソナルコンピュータ６０の画面６０ａ、ＰＤＡ６２の画面６２ａまたは携帯電話６４の画面６４ａに通知表示をし、視聴者７０に注意を喚起することができる。
【００７２】
さらに、視聴者が注視しているシーン、およびよそ見をしているシーンの画像特徴量を求めてもよい。また、視聴者が登録した特定シーンのサンプル画像、重要シーンの項目情報を集計し、さらに解析を行い、視聴者の好みのシーン傾向を把握してもよい。
このとき、例えば、外部記憶装置１８を用いて映像を再生する場合、重要シーンの画像を集めたインデックス画像を一番初めに表示するようにしてもよい。
【００７３】
さらには、視聴者の好みのシーンを示すシーン情報を、再生画像に付加情報として付与してもよい。これにより、視聴者の好みをシーンが再生される前に視聴者７０がよそ見をしている場合には、視聴者７０が利用しているパーソナルコンピュータ６０の画面６０ａ、ＰＤＡ６２の画面６２ａまたは携帯電話６４の画面６４ａに通知表示をし、視聴者７０に注意を喚起することができる。
【００７４】
以上、本発明の表示制御システムおよび表示制御方法について詳細に説明したが、本発明は、上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良または変更を行ってもよいのは、もちろんである。
【図面の簡単な説明】
【００７５】
【図１】本発明の表示制御システムの第１の実施例を示す模式図である。
【図２】本発明の表示制御システムの第１の実施例を示す模式的ブロック図である。
【図３】本発明の第１の実施例の表示制御システムによるインデックス画像を示す模式図である。
【図４】本発明の表示制御システムの第２の実施例を示す模式的ブロック図である。
【図５】本発明の第２の実施例の表示制御システムによる再生タイミングを示す模式図である。
【図６】本発明の表示制御システムの第３の実施例を示す模式図である。
【図７】（ａ）は、本発明の表示制御システムの第３の実施例を示す模式的ブロック図であり、（ｂ）は、通知状態を示す模式図である。
【符号の説明】
【００７６】
１０、１０ａ、５０  表示制御システム
１２  テレビ
１２ａ  画面
１４  カメラ
１６、４０、５２  サーバ
１８  外部記録装置
２０  視聴判定部
２２  画像記録部
２４  画像編集部
２６  シーン解析部
３０、３２  制御部
６０  パーソナルコンピュータ
６０ａ、６２ａ、６４ａ  画面
６０ｂ  領域
６２  ＰＤＡ
６４  携帯電話
７０  視聴者
７２  頭部
８０  リモコン
９０  机
９２  椅子
１００  インデックス画像
１０２ａ〜１０２ｃ  静止画像
【図１】
2007318431.tif 000003
【図２】
2007318431.tif 000004
【図３】
2007318431.tif 000005
【図４】
2007318431.tif 000006
【図５】
2007318431.tif 000007
【図６】
2007318431.tif 000008
【図７】
2007318431.tif 000009