(57)【要約】ストリームの未見期間の自動視聴を容易に行えるストリーム再生装置を提供する。視聴者に臨むように配設されるカメラ（１）と、カメラの出力に基づいて視聴者を検知する人物検知部（１０）と、人物検知部の検知結果に基づいて視聴情報を生成する視聴情報生成部（１１）と、ストリームの供給を受けストリームの再生を制御し再生信号を出力する再生制御部（６）とを備え、人物検知部は、カメラの出力に基づいて視聴者個々を区別して検知し、視聴情報生成部は、人物検知部による視聴者個々毎の検知結果に基づいて視聴者個々毎に視聴情報を生成し、視聴情報生成部が生成する視聴情報は、視聴者個々がストリームの再生結果を視聴していない未見期間が明らかになるように、ストリームのタイムスタンプに関連付けられている。【特許請求の範囲】
【請求項１】
視聴者に臨むように配設される検出部と、
前記検出部の出力に基づいて視聴者を検知する人物検知部と、
前記人物検知部の検知結果に基づいて視聴情報を生成する視聴情報生成部と、
ストリームの供給を受け前記ストリームの再生を制御し再生信号を出力する再生制御部とを備え、
前記視聴情報生成部が生成する視聴情報は、視聴者が前記ストリームの再生結果を視聴していない未見期間が明らかになるように、前記ストリームのタイムスタンプに関連付けられているストリーム再生装置。
【請求項２】
視聴者の入力を受け付ける操作入力部をさらに備え、
前記再生制御部は、前記操作入力部から未見期間の再生指示が入力されると、前記視聴情報生成部が作成した視聴情報に基づいて未見期間を定め、前記ストリームの未見期間を再生する請求の範囲第１項記載のストリーム再生装置。
【請求項３】
前記人物検知部は、前記検出部の出力に基づいて視聴者個々を区別して検知し、
前記視聴情報生成部は、前記人物検知部による視聴者個々毎の検知結果に基づいて視聴者個々毎に視聴情報を生成し、
前記視聴情報生成部が生成する視聴情報は、視聴者個々が前記ストリームの再生結果を視聴していない未見期間が明らかになるように、前記ストリームのタイムスタンプに関連付けられている請求の範囲第１項記載のストリーム再生装置。
【請求項４】
視聴者の入力を受け付ける操作入力部をさらに備え、
前記再生制御部は、前記操作入力部から未見期間の再生指示が入力されると、前記人物検知部に、前記操作入力部による入力を行った視聴者を特定させ、
前記再生制御部は、前記人物検知部が特定した視聴者に関して前記視聴情報生成部が作成した視聴情報に基づいて未見期間を定め、前記ストリームの未見期間を再生する請求の範囲第３項記載のストリーム再生装置。
【請求項５】
前記視聴情報生成部が生成する視聴情報は、視聴者が視聴開始するタイムスタンプと、視聴者が視聴終了するタイムスタンプとに関連付けられている情報を含む請求の範囲第１項記載のストリーム再生装置。
【請求項６】
前記視聴情報生成部が生成する視聴情報は、前記ストリーム内に保存される請求の範囲第１項記載のストリーム再生装置。
【請求項７】
前記視聴情報生成部が生成する視聴情報は、前記ストリーム外に保存される請求の範囲第１項記載のストリーム再生装置。
【請求項８】
前記検出部は、カメラとセンサとのうち少なくとも一方を有する請求の範囲第１項記載のストリーム再生装置。
【請求項９】
前記検出部は、カメラを有し、
前記ストリーム再生装置は、
人テンプレートと、
前記視聴者個々の識別情報と前記視聴者個々を前記カメラで撮影した人物画像とを対応づけて保持する人物データベースと、
前記カメラが撮影した画像と前記人テンプレートとの相関演算と前記カメラが撮影した画像と前記人物データベースが保持する前記人物画像との相関演算とを行う相関演算部とをさらに備え、
前記人物検知部は、前記相関演算部が前記カメラが撮影した画像と前記人テンプレートとの相関演算を行った結果に基づいて視聴者がストリームの再生結果を視聴しているか否かを判定し、
前記人物検知部は、視聴者がストリームの再生結果を視聴していると判定するとき、前記相関演算部が前記カメラが撮影した画像と前記人物画像との相関演算を行った結果に基づいて現在ストリームの再生結果を視聴している視聴者を特定する請求の範囲第３項記載のストリーム再生装置。
【請求項１０】
前記人物検知部は、視聴者がストリームの再生結果を視聴していると判定し、前記相関演算部が前記カメラが撮影した画像と前記人物画像との相関演算を行った結果、前記カメラが撮影した画像が前記人物画像のいずれにも適合しない場合、新たな視聴者個々の識別情報と前記カメラが撮影した画像とを、互いに対応づけて前記人物データベースに追加する請求の範囲第９項記載のストリーム再生装置。
【請求項１１】
前記ストリームを記録する記録媒体を有し前記再生制御部へ前記ストリームを供給するストリーム供給部をさらに備える請求の範囲第１項記載のストリーム再生装置。
【請求項１２】
前記再生制御部が出力する再生信号に基づいて前記ストリームの内容を再生するモニタをさらに備える請求の範囲第１項記載のストリーム再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、ＡＶ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）ストリーム（本明細書において単に「ストリーム」という）の再生時に、視聴者の状態を検知し、視聴者がストリームの未見期間を容易に再生できるようにしたストリーム再生装置に関するものである。
【背景技術】
【０００２】  文献１（特開平８−１８９００号公報）は、ストリーム再生装置の前に視聴者がいるかいないかを検知し、視聴者が不在の間、そのストリームを自動録画する技術を開示する。【０００３】  より具体的には、文献１によるテレビジョン受信機は、図２１の構成を採用する。図２１において、地上ＴＶ放送用アンテナ２０１は、地上波による信号を受信する。衛星放送受信用アンテナ２０２は、衛星放送の信号を受信する。信号入力端子２０３は、外部の映像音声信号を受信する。【０００４】  受信部２０４は、選局用チューナー及び復調回路からなり、アンテナ２０１、２０２が受信した放送波から特定の局の選局を行うと共に、選局された信号を復調して映像音声信号を生成する。信号処理回路部２０５は、受信部２０４または信号入力端子２０３から入力した映像音声信号を処理し、信号制御部２０６へ出力する。【０００５】  記録再生装置部２０７は、記録媒体を備え、映像音声信号等を記録再生するものであり、再生された映像音声信号は信号制御部２０６へ出力される。【０００６】  検知装置部２０８は、テレビジョン受信機の前に視聴者がいるか否かを検知し、検知結果を信号制御部２０６へ出力する。【０００７】  表示部２０９は映像信号による映像を表示し、スピーカー部２１０は音声信号を音に変換する。なお、アンテナ２０１、２０２以外の部分は、テレビジョン受信機として一つのケースに収まっている。【０００８】  テレビジョン受信機の電源が投入されて視聴可能な状態になると、検知装置部２０８は、テレビジョン受信機の前に視聴者がいるかいないかを検出し、検出結果を信号制御部２０６に出力する。【０００９】  信号制御部２０６は、検知装置部２０８から視聴者のいることを示す検出結果を入力している間、記録再生装置部２０７を動作させないが、検出結果が視聴者がいなくなったことを示すと、信号制御部２０６は記録再生装置部２０６に視聴者が視聴していた映像音声信号を記録させ始める。【００１０】  その後、視聴者がテレビジョン受信機の前に戻り、検出装置部２０８が視聴者がいることを検知すると、信号制御部２０６は記録再生装置２０７の記録を中止し、記録再生装置２０７に記録させた映像音声信号を再生させる。これにより、視聴者は、未見期間の視聴を自動的に行える。【００１１】  しかしながら、従来の技術では、記録再生装置部２０７に未見期間の映像音声信号そのものが自動録画されないと、視聴者は未見期間を後で視聴することができない。したがって、記録再生装置部２０７の残存する記録可能時間が少ないか或いは無い場合、視聴者は未見期間を後で視聴することができない。【００１２】  また、リビングルームのような場所（テレビジョン受信機は、そのような場所に設置されることが多い）では、人物の出入りが頻繁に起こる。従来の技術では、一人でもテレビジョン受信機の前に視聴者がいれば、未見期間の自動録画はなされないから、複数の視聴者が交互に出入りし、それぞれ異なる未見期間がある場合、全く対応できない。結局、視聴者は、それぞれ未見期間を探し、巻き戻しや早送り等の面倒な操作をして、マニュアルで未見期間を視聴するしかなかった。したがって、従来の技術では、未見期間を後で自動視��するというテーマに、現実的に対応することは困難であった。
【特許文献１】特開平８−１８９００号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】  そこで本発明は、ストリームの未見期間の自動視聴を容易に行えるストリーム再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】  第１の発明に係るストリーム再生装置は、視聴者に臨むように配設される検出部と、検出部の出力に基づいて視聴者を検知する人物検知部と、人物検知部の検知結果に基づいて視聴情報を生成する視聴情報生成部と、ストリームの供給を受けストリームの再生を制御し再生信号を出力する再生制御部とを備え、視聴情報生成部が生成する視聴情報は、視聴者がストリームの再生結果を視聴していない未見期間が明らかになるように、ストリームのタイムスタンプに関連付けられている。【００１５】  この構成により、個室に配置されるストリーム再生装置のように、視聴者が一人に決まっている場合、視聴情報は、視聴者の未見期間が明らかになるようにストリームのタイムスタンプに関連付けられているから、視聴者は、未見期間を後で自動視聴することができる。しかも、未見期間の自動視聴のためには、視聴情報のみを保存しておけば足り、ストリームそのものを何らかの記録媒体に記録する必要はないから、記録媒体の記録容量に余裕がない場合にも適用できる。【００１６】  第２の発明に係るストリーム再生装置では、視聴者の入力を受け付ける操作入力部をさらに備え、再生制御部は、操作入力部から未見期間の再生指示が入力されると、視聴情報生成部が作成した視聴情報に基づいて未見期間を定め、ストリームの未見期間を再生する。【００１７】  この構成により、個室に配置されるストリーム再生装置のように、視聴者が一人に決まっている場合、視聴者は、操作入力部から未見期間の再生指示をするだけで、未見期間を後で自動視聴できる。即ち、視聴者は、この自動視聴のために、巻き戻しや早送りというような面倒な操作をする必要はなく、きわめて容易に未見期間を自動視聴できる。【００１８】  第３の発明に係るストリーム再生装置では、人物検知部は、検出部の出力に基づいて視聴者個々を区別して検知し、視聴情報生成部は、人物検知部による視聴者個々毎の検知結果に基づいて視聴者個々毎に視聴情報を生成し、視聴情報生成部が生成する視聴情報は、視聴者個々がストリームの再生結果を視聴していない未見期間が明らかになるように、ストリームのタイムスタンプに関連付けられている。【００１９】  この構成により、リビングルームに配置されるストリーム再生装置のように、視聴者が不特定である場合、視聴情報は、視聴者個々の未見期間が明らかになるようにストリームのタイムスタンプに関連付けられているから、視聴者個々は、それぞれ別個に自身が関係する未見期間を、後で自動視聴することができる。こうすれば、複数の視聴者が交互に出入りし、それぞれ異なる未見期間がある場合であっても、問題なく対応できる。【００２０】  第４の発明に係るストリーム再生装置では、視聴者の入力を受け付ける操作入力部をさらに備え、再生制御部は、操作入力部から未見期間の再生指示が入力されると、人物検知部に、操作入力部による入力を行った視聴者を特定させ、再生制御部は、人物検知部が特定した視聴者に関して視聴情報生成部が作成した視聴情報に基づいて未見期間を定め、ストリームの未見期間を再生する。【００２１】  この構成により、リビングルームに配置されるストリーム再生装置のように、視聴者が不特定である場合、視聴情報は��視聴者個々の未見期間が明らかになるようにストリームのタイムスタンプに関連付けられているから、視聴者個々は、操作入力部から未見期間の再生指示をするだけで、再生指示をした視聴者が特定され、視聴者個々は、その人に関する未見期間を後で自動視聴できる。即ち、視聴者は、この自動視聴のために、巻き戻しや早送りというような面倒な操作をする必要はなく、きわめて容易に未見期間を自動視聴できる。【００２２】  第５の発明に係るストリーム再生装置では、視聴情報生成部が生成する視聴情報は、視聴者が視聴開始するタイムスタンプと、視聴者が視聴終了するタイムスタンプとに関連付けられている情報を含む。【００２３】  この構成により、視聴者の未見期間を、視聴者が視聴を開始するタイムスタンプまでと、視聴者が視聴終了したタイムスタンプの後というように、明確に定めうる。【００２４】  第６の発明に係るストリーム再生装置では、検出部は、カメラを有し、ストリーム再生装置は、人テンプレートと、視聴者個々の識別情報と視聴者個々をカメラで撮影した人物画像とを対応づけて保持する人物データベースと、カメラが撮影した画像と人テンプレートとの相関演算とカメラが撮影した画像と人物データベースが保持する人物画像との相関演算とを行う相関演算部とをさらに備え、人物検知部は、相関演算部がカメラが撮影した画像と人テンプレートとの相関演算を行った結果に基づいて視聴者がストリームの再生結果を視聴しているか否かを判定し、人物検知部は、視聴者がストリームの再生結果を視聴していると判定するとき、相関演算部がカメラが撮影した画像と人物画像との相関演算を行った結果に基づいて現在ストリームの再生結果を視聴している視聴者を特定する。【００２５】  この構成により、相関演算部が、カメラが撮影した画像と人テンプレートとの相関演算とカメラが撮影した画像と人物データベースが保持する人物画像との相関演算とを行うことにより、人物検知部は、視聴者の有無あるいは人数を特定することができる。さらに、人物検知部は、相関演算部がカメラが撮影した画像と人物画像との相関演算を行った結果に基づいて現在ストリームの再生結果を視聴している視聴者が誰であるかを特定する。即ち、視聴者が人物データベースに保持されている限り、視聴者個々を具体的に特定することができ、視聴者個々は、それぞれ別個に自身が関係する未見期間を、後で自動視聴することができる。【００２６】  第７の発明に係るストリーム再生装置では、人物検知部は、視聴者がストリームの再生結果を視聴していると判定し、相関演算部がカメラが撮影した画像と人物画像との相関演算を行った結果、カメラが撮影した画像が人物画像のいずれにも適合しない場合、新たな視聴者個々の識別情報とカメラが撮影した画像とを、互いに対応づけて人物データベースに追加する。【００２７】  この構成により、未だ人物データベースに人物画像が保持されていない視聴者が突如現れても、柔軟に対応でき、視聴者個々は、問題なく、それぞれ別個に自身が関係する未見期間を、後で自動視聴することができる。
【発明の効果】
【００２８】  本発明によれば、未見期間の映像音声信号そのものを自動録画する必要がないから、記録容量を圧迫せずに、視聴者は未見期間を後で視聴することができる。【００２９】  また、不特定の視聴者が、交互に出入りし、それぞれ異なる未見期間がある場合も、対応でき、それぞれの視聴者は、巻き戻しや早送り等の面倒な操作なしに、その人に関する未見期間を後で自動視聴できる。
【図面の簡単な説明】
【００３０】
【図１】図１は、本発明の実施の形態１におけるストリーム再生装置のブロック図である。
【図２】図２（ａ）は、本発明の実施の形態１における人物データベースのデータ構造図、図２（ｂ）は、本発明の実施の形態１におけるＩＤセットのデータ構造図、図２（ｃ）は、本発明の実施の形態１における人テンプレートの例示図、図２（ｄ）は、本発明の実施の形態１における視聴情報のデータ構造図である。
【図３】図３は、本発明の実施の形態１における人物検出部のフローチャートである。
【図４】図４は、本発明の実施の形態１における人物検出部のフローチャートである。
【図５】図５は、本発明の実施の形態１における人物検出部のフローチャートである。
【図６】図６は、本発明の実施の形態１における視聴情報生成部のフローチャートである。
【図７】図７は、本発明の実施の形態１における再生制御部のフローチャートである。
【図８】図８は、本発明の実施の形態１における再生制御部のフローチャートである。
【図９】図９（ａ）、図９（ｂ）は、本発明の実施の形態１における視聴状態の例示図である。
【図１０】図１０（ａ）、図１０（ｂ）は、本発明の実施の形態１における視聴状態の例示図である。
【図１１】図１１（ａ）、図１１（ｂ）は、本発明の実施の形態１における視聴状態の例示図である。
【図１２】図１２（ａ）、図１２（ｂ）は、本発明の実施の形態１における視聴状態の例示図である。
【図１３】図１３（ａ）、図１３（ｂ）は、（ａ）本発明の実施の形態１における視聴状態の例示図である。
【図１４】図１４（ａ）、図１４（ｂ）は、（ａ）本発明の実施の形態１における視聴状態の例示図である。
【図１５】図１５は、本発明の変形例における再生制御部のフローチャートである。
【図１６】図１６は、本発明の変形例における再生制御部のフローチャートである。
【図１７】図１７は、本発明の変形例における視聴状態の例示図である。
【図１８】図１８（ａ）、図１８（ｂ）は、（ａ）本発明の変形例における視聴状態の例示図である。
【図１９】図１９は、本発明の変形例における表示例図である。
【図２０】図２０は、本発明の変形例における表示例図である。
【図２１】図２１は、従来のテレビジョン受像機のブロック図である。
【符号の説明】
【００３１】１  カメラ
２  モニタ
２ａ  画面
３  ストリーム再生装置
４  操作入力部
５  ストリーム供給部
６  再生制御部
７  人物データベース
８  人テンプレート
９  相関演算部
１０  人物検知部
１１  視聴情報生成部
１２  ＩＤセット記憶部
１３  視聴情報記憶部
【発明を実施するための最良の形態】
【００３２】  以下図面を参照しながら、本発明の実施の形態について説明する。【００３３】  （実施の形態１）
図１は、本発明の実施の形態１におけるストリーム再生装置のブロック図である。【００３４】  図１において、カメラ１は、検出部に相当する。即ち、本形態の検出部はカメラ１により構成されるが、後述する処理に支障がなければ、センサにより構成してもよい。カメラ１は、図１０（ａ）に示すように、視聴者の画像を取得するため、視聴者に臨むように配設される。【００３５】  操作入力部４は、リモコン、キーセット、マウス、十字キー等により構成され、視聴者の入力を受け付ける。【００３６】  人テンプレート８は、図２（ｃ）に示すように、人型の画像データを保持する。【００３７】  人物データベース７は、図２（ａ）に示すように、視聴者個々の識別情報（ＩＤ；要素数：ｎ（ｎは自然数））と視聴者個々をカメラ１で撮影した人物画像ｉｍｇ１〜ｉｍｇｎとを対応づけて保持する。【００３８】  相関演算部９は、カメラ１が撮影した画像と人テンプレート８との相関演算とカメラ１が撮影した画像と人物データベース７が保持する人物画像ｉｍｇ１〜ｉｍｇｎとの相関演算とを行う。相関演算部９が使用する数式は、通常使用されるもので差し支えない。本形態では、相関演算部９は、相関値を出力するものとする。【００３９】  人物検知部１０は、カメラ１の出力に基づいて視聴者個々を区別して検知する。より具体的には、人物検知部１０は、相関演算部９がカメラ１が撮影した画像と人テンプレート８との相関演算を行った結果に基づいて視聴者がストリームの再生結果を視聴しているか否か、あるいはその人数を決定する。また、人物検知部１０は、視聴者がストリームの再生結果を視聴していると判定するとき、相関演算部９がカメラ１が撮影した画像と人物画像ｉｍｇ１〜ｉｍｇｎとの相関演算を行った結果に基づいて現在ストリームの再生結果を視聴している視聴者が誰であるかを特定する。【００４０】  また、人物検知部１０は、視聴者がストリームの再生結果を視聴していると判定し、相関演算部９がカメラ１が撮影した画像と人物画像ｉｍｇ１〜ｉｍｇｎとの相関演算を行った結果、カメラ１が撮影した画像が人物画像ｉｍｇ１〜ｉｍｇｎのいずれにも適合しない場合、新たな視聴者個々の識別情報ＩＤ（ｎ＋１）とカメラ１が撮影した画像とを、互いに対応づけて人物データベース７に追加する。その結果、カメラ１が撮影した画像は、新たな人物画像ｉｍｇｎ＋１となる。【００４１】  視聴情報生成部１１は、カメラ１の検知結果に基づいて視聴情報を生成する。この視聴情報は、視聴者がストリームの再生結果を視聴していない未見期間が明らかになるように、ストリームのタイムスタンプに関連付けられている。【００４２】  より具体的には、図２（ｄ）に示すように、ストリームの始端位置（００：００．００）から終端位置（０１：００．００）までに、視聴者が視聴開始するタイムスタンプを指すタグＳ１、Ｓ２と、視聴者が視聴終了するタイムスタンプを指すタグＥ１、Ｅ２とを含む。なお、タグＳ１、Ｅ１は、識別情報ＩＤ１を持つ視聴者のものであり、タグＳ２、Ｅ２は、識別情報ＩＤ２を持つ視聴者のものである。【００４３】  このように、視聴情報生成部１１は、人物検知部１０による視聴者個々毎の検知結果に基づいて視聴者個々毎に視聴情報を���成する。本形態における検知結果は、図２（ｂ）に示すＩＤセットであり、ＩＤセットは、識別情報ＩＤと値（「有」（視聴者がストリーム再生装置３の前にいる）あるいは「無」（視聴者がストリーム再生装置３の前にいない））とから成る要素を、視聴者の人数分集合させたものである。ＩＤセットは、ＩＤセット記憶部１２に保存される。ＩＤセット記憶部１２には、直前のＩＤセットを記憶する直前ＩＤセット領域１２ａと、現在のＩＤセットを記憶する現在ＩＤセット領域１２ｂとの、２つの領域が設けられている。このようにしたのは、後述するように、各視聴者の状態遷移を明確にするためである。【００４４】  図２（ｄ）に示すように、タグＳ１、Ｅ１及びタグＳ２、Ｅ２によれば、視聴者個々がストリームの再生結果を視聴していない未見期間が明らかになる。即ち、識別情報ＩＤ１を持つ視聴者の未見期間は、ストリームの始端位置からタグＳ２までと、タグＥ２からストリームの終端位置までであり、識別情報ＩＤ２を持つ視聴者の未見期間は、ストリームの始端位置からタグＳ２までである。なお、視聴情報は、映像音声信号のデータ量に比べ、データ量が遙かに少ないので、ストリーム内外のいずれにも保存できる。本形態では、視聴情報は、視聴情報記憶部１３に保存される。【００４５】  ストリーム供給部５は、ストリームを記録する記録媒体（ＤＶＤ、ＨＤ等）を有し再生制御部６へストリームを供給する。あるいは、ストリーム供給部５は、ネットワーク経由でサーバ（図示せず）からストリームをダウンロードするものでも良いし、アンテナやケーブルを介して放送局等からストリームを取得するものであっても良い。【００４６】  再生制御部６は、ストリーム供給部５からストリームの供給を受けストリームの再生を制御し再生信号をモニタ２へ出力する。モニタ２は、再生制御部６が出力する再生信号に基づいてストリームの内容（映像及び音声）を再生する。【００４７】  再生制御部６は、操作入力部４から未見期間の再生指示が入力されると、まず、人物検知部１０に、操作入力部４による入力を行った視聴者を特定させる。次に、再生制御部６は、特定された視聴者に関する視聴情報（視聴情報記憶部１３に保存されている）に基づいて、その人の未見期間を定め、ストリームの未見期間を再生する。【００４８】  次に、図３〜図５を参照しながら、人物検知部１０の処理を説明する。図３に示すように、ステップ１にて、カメラ１が画像を取得すると、人物検知部１０は、図４に示す人数確認処理を行う（ステップ２）。次に、ステップ３にて、人物検知部１０は、図５に示すＩＤセット・人物データベース処理を行う。そして、処理が終了するまで、人物検知部１０は、ステップ１〜ステップ３の処理を繰り返す（ステップ４）。【００４９】  図４に示すように、人数確認処理は次のように実施される。まず、ステップ１１にて、人物検知部１０は人数カウンタｋ＝０とし、空の位置セットを用意する。ここで、位置セットとは、以下に述べるように人テンプレート８とのマッチングが適合し、視聴者が存在すると思われる位置の集合である。【００５０】  ステップ１２にて、人物検知部１０は、マッチング位置を先頭位置に初期化する。ここで、マッチング位置と��、カメラ１が撮影する画像領域を有限個の領域にわけた位置であり、マッチングについて現在注目している位置である。本形態では、人テンプレート８の大きさと等しい領域の中心をマッチング位置とし、相関演算部９は、カメラ１が撮影した画像のうち、この領域内の画像と人テンプレート８との相関演算を行う。【００５１】  ステップ１３にて、人物検知部１０は、現在のマッチング位置における相関演算を人物検知部１０に命じ、相関演算部９はその演算を行って結果（相関値）を人物検知部１０に返す。また、相関演算部９による相関演算結果を評価するため、人物検知部１０は予め定められた閾値を保持しており、相関演算部９から得た相関値と、この閾値とを大小比較する。相関値が閾値以上であれば、人物検知部１０は現在のマッチング位置は人テンプレート８に適合するものと判定し、そうでなければ、不適合と判定する。この大小比較の結果（ステップ１４）、適合であれば、人物検知部１０は人数カウンタｋを「１」だけ増やし、現在のマッチング位置を位置セットに追加し（ステップ１５）、ステップ１６へ処理を移す。適合でなければ、人物検知部１０は何もせず、直ちにステップ１６へ処理を移す。【００５２】  ステップ１６では、人物検知部１０は、全部のマッチング位置に関する処理が完了したかどうかチェックし、完了していなければ、マッチング位置を次に進めて（ステップ１７）、ステップ１３以下の処理を繰り返す。完了していれば、ステップ１８にて、人数カウンタｋと位置セットとを戻り値とし、人数確認処理を終了する。【００５３】  次に、図５を参照しながら、ＩＤセット・人物データベース処理を説明する。図４のステップ１８にて、人数カウンタｋの値が得られているが、カメラ１の視野内に一人も視聴者がいなければ、人数カウンタｋ＝０のまま（ステップ１１参照）になっている。そのときは、ステップ２１にて、人物検知部１０は、空のＩＤセットを出力するだけで（ステップ２２）、ＩＤセット・人物データベース処理を終える。【００５４】  人数カウンタｋが「０」でない（つまり視聴者が一人以上写っている）ならば、ステップ２３へ処理が移る。ステップ２３にて、人物検知部１０は、人物データベース７をアクセスし、ＩＤ総数ｎを取得し、要素数ｎ個分（値は全て「無」）のＩＤセットを用意する。ＩＤセットについては、既に述べたが、この状態におけるＩＤセットは、図２（ｂ）における値を全て「無」としたものに他ならない。【００５５】  また、位置セットをステップ１８にて得ているから、その先頭の位置をマッチング位置とする。但し、このマッチング位置は、人物データベース７における人物画像ｉｍｇ１〜ｉｍｇｎとのマッチングのための位置である点が、図４と異なる。【００５６】  次に、人物検知部１０は、ステップ２５にて、要素数ｎをチェックする。ここで、ｎ＝０である場合もあり得る。それは、人物データベース７に誰の人物画像も未だ登録されていない場合である。そのときは、人物検知部１０はステップ２６に処理を移し、カメラ１が撮影した画像のうち、現在のマッチング位置で定められる領域内の画像を、人物データベース７に新規登録し、ＩＤセットの対応する値を「有」とする。このとき、新規登録され��画像には、識別情報ＩＤ＝ｎ＋１（ｎ＝０ならｎ＝１）が対応付けられる。そして、人物検知部１０はステップ３３に処理を移す。【００５７】  ステップ２５にて、ｎが「０」でない（少なくとも１セットの識別情報ＩＤと人物画像とのペアが人物データベース７に既に登録されている場合）ならば、ステップ２７にて、人物検知部１０は番号カウンタｉ＝１とする。そして、ステップ２８にて、相関演算部９にｉ番目の人物画像と現在のマッチング位置で定められる領域内の画像との相関演算を命じ、その相関値を得る。ここで、図４と同様に予め定められた閾値と相関値とを大小比較する。相関値が閾値以上であれば、人物検知部１０は現在のマッチング位置はｉ番目の人物画像に適合するものと判定し、そうでなければ、不適合と判定する。この大小比較の結果（ステップ２９）、適合であれば、人物検知部１０はステップ３２にてＩＤセットのｉ番目の値を、「無」から「有」に変更し、ステップ３３へ処理を移す。【００５８】  適合でなければ、ステップ３０にて人物検知部１０は番号カウンタｉが要素数ｎに達しない限り、ステップｉを一つ進め（ステップ３１）ステップ２８以下の処理を繰り返す。番号カウンタｉが要素数ｎに等しくなったら、人物検知部１０は、現在人物画像として人物データベース７に登録されている画像の全てにあわない（つまり新規の視聴者の画像である）と判定し、ステップ２６にて、現在の領域内の画像を新規に人物データベース７へ登録（識別情報ＩＤ＝ｎ＋１）し、それに対応するＩＤセットの値を「有」とする。【００５９】  ステップ３３では、人物検知部１０は位置セットに次の位置が残っているかどうかチェックする。次の位置が残っていれば、ステップ３４にて、マッチング位置を次の位置とし、ステップ２５へ処理を戻す。次の位置が残っていなければ、全ての位置の検討が終了したことになるから、ステップ３５にて、人物検知部１０は、ＩＤセットを現在ＩＤセット領域１２ｂへ出力し、図３のステップ４へ処理を移す。【００６０】  次に、図６を参照しながら、視聴情報生成部１１の処理を説明する。まず、ステップ４１にて、視聴情報生成部１１は、ストリーム再生が開始されるまで待つ。ストリーム再生が開始された直後に、視聴情報生成部１１は、視聴情報記憶部１３を便宜上だれも視聴していない状態に初期化する。また、ステップ４３にて、直前ＩＤセット領域１２ａ及び現在ＩＤセット領域１２ｂのいずれについても、全ての値を「無」とする。【００６１】  次に、ステップ４４にて、視聴情報生成部１１は、現在のＩＤセット（ストリーム再生直後は空）を直前ＩＤセット領域１２ａへ上書きし、人物検知部１０からＩＤセットを入力するまで待ち（ステップ３５）、入力したらそのＩＤセットを現在ＩＤセット領域１２ｂへ上書きする。そして、ステップ４５にて、視聴情報生成部１１は、数ｍに入力したＩＤセットの要素数をセットする。【００６２】  次に、ステップ４６にて、視聴情報生成部１１は、ストリーム再生が終了していないかどうかチェックする。視聴情報生成部１１は、ストリーム再生が終了していればステップ５５へ処理を移し、終了していなければステップ４７へ処理を移す。【００６３】  ステップ４７では、視聴情報生成部１１は、数ｍが「０」で内かどうかチェックする。もし数ｍ＝０なら、視聴者がいないことになるから、視聴情報生成部１１は何もせず処理をステップ４４へ戻す。【００６４】  数ｍが「０」でないなら、視聴者が一人以上いることを意味する。したがって、そのとき視聴情報生成部１１は、番号カウンタｉ＝１とし（ステップ４８）、ステップ４９にて直前ＩＤセット領域のｉ番目の値が「無」であり、現在ＩＤセット領域のｉ番目の値が「有」になっていないかどうかチェックする。もしそうなら、ｉ番目の視聴者が、ストリーム再生装置３の前にいない状態からいる状態へ遷移したことを意味する。この遷移があれば、その視聴者は、初めてストリーム再生装置３の前に来て視聴を開始したか、あるいは、中座した後再びストリーム再生装置３の前に戻ってきたか、いずれかに該当することになる。【００６５】  この遷移があるとき、視聴情報生成部１１は、ステップ５０にて、タグ文字列ａｄｓとして、文字「Ｓ」の次に番号ｉを文字列につなげた文字列を採択し、ステップ５３にて、現在のタイムスタンプを指す位置にタグ文字列ａｄｓをセットする。これにより、視聴情報記憶部１３が記憶する視聴情報に、タグ”Ｓ＊”（＊は番号ｉを文字列に変換したもの）が追加される。【００６６】  あるいは、視聴情報生成部１１は、ステップ５１にて、直前ＩＤセット領域のｉ番目の値が「有」であり、現在ＩＤセット領域のｉ番目の値が「無」になっていないかどうかチェックする。もしそうなら、ｉ番目の視聴者が、ストリーム再生装置３の前にいる状態からいない状態へ遷移したことを意味する。この遷移があれば、その視聴者は、ストリーム再生装置３の前で視聴をしていたが、その視聴をやめてよそへ移動したことになる。【００６７】  この遷移があるとき、視聴情報生成部１１は、ステップ５２にて、タグ文字列ａｄｓとして、文字「Ｅ」の次に番号ｉを文字列につなげた文字列を採択し、ステップ５３にて、現在のタイムスタンプを指す位置にタグ文字列ａｄｓをセットする。これにより、視聴情報記憶部１３が記憶する視聴情報にタグ「Ｅ＊」（＊は番号ｉを文字列に変換したもの）が追加される。【００６８】  そして、視聴情報生成部１１は、ステップ５４にて、番号カウンタｉが数ｍになるまで、番号カウンタｉを１つ進めながら（ステップ５５）、ステップ４９以下の処理を繰り返す。【００６９】  さて、ステップ５６では、ストリーム再生が終了している。このため、視聴情報生成部１１は、次のような処理を行い、ストリームの終端位置が再生されたときにストリーム再生装置３の前にいた視聴者について、視聴情報記憶部１３が記憶する視聴情報に、ストリームの終端位置を指す終了タグ「Ｅ＊」（＊は番号ｉを文字列に変換したもの）を追加する。【００７０】  即ち、ステップ５６にて、視聴情報生成部１１は、数ｍ＝０かどうかをチェックする。もしｍ＝０なら、ストリームの終端位置が再生されたとき、だれも視聴者はいないことになるから、視聴情報生成部１１は、直ちに処理を終了する。【００７１】  数ｍが「０」でないなら、少なくとも一人の視聴者がストリームの終端位置が再生されたときにストリーム再生装置３の前にいたことになる。したがって、視聴��報生成部１１は、番号カウンタｉ＝１とし（ステップ５７）、現在ＩＤセット領域１２ｂにおいてｉ番目の値が「有」となっているかどうかチェックする（ステップ５８）。もしそうなら、ステップ５１と同様に、視聴情報記憶部１３が記憶する視聴情報に、ストリームの終端位置を指す終了タグ「Ｅ＊」（＊は番号ｉを文字列に変換したもの）を追加する（ステップ５９，６０）。視聴情報生成部１１は、以上の処理を、番号カウンタｉが数ｍになるまで（ステップ６１）、番号カウンタｉを一つずつ進めながら（ステップ６２）繰り返す。【００７２】  次に、図７〜図８を参照しながら、再生制御部６の処理を説明する。まず、ステップ７１にて、再生制御部６は、操作入力部４に入力があるまで待つ。入力がありそれが通常の再生なら、ステップ７２にて再生制御部６は人物検知部１０を起動し、ステップ７３にて視聴情報生成部１１を起動する。これにより、新規の視聴者があらわれれば人物データベース７にその視聴者の人物画像と識別情報とが対応付けて追加され、視聴者に出入りがあれば、視聴情報にタイムスタンプを指すタグ「Ｓ＊」、「Ｅ＊」が付けられる状態になる。【００７３】  そして、ステップ７４にて、再生制御部６はストリームの再生を開始し、再生が完了するまでその状態を維持し（ステップ７５）、完了したらステップ７６へ処理を移す。【００７４】  一方、ステップ７１にて、未見期間の再生指示が操作入力部４に入力されたら、ステップ８０にて、再生制御部６は、図８に示す未見再生処理を実施する。即ち、ステップ８１にて、再生制御部６は人物検知部１０を起動しＩＤセットを入力する（ステップ８２）。そして、ステップ８３にて、再生制御部６は数ｍを入力したＩＤセットのうち値が「有」である個数とする。【００７５】  もし、数ｍ＝０ならば、誰も視聴者がいないのに操作入力があったことになり、矛盾を生じるので、再生制御部６はエラー処理をして入力待ちの状態に戻る（ステップ７１）。エラー処理としては、例えば、モニタ２に「未見再生できません」等の表示をすることが考えられる。【００７６】  数ｍが「０」でなければ、ステップ８６にて、再生制御部６は数ｍ＝１かどうかをチェックする。数ｍ＝１ならば、視聴者は一人だけであり、どの視聴者が未見期間の再生を指示したのか自動的に特定できる。したがって、再生制御部６は、その一人の視聴者について、識別情報ＩＤに基づき視聴情報記憶部１３をアクセスし、未見期間を特定する（ステップ８６、８９、９０）。【００７７】  数ｍが「２」以上であれば、どの人物の未見期間を再生すべきか特定するため、ステップ８７〜８８にて、未見期間の再生を求めた視聴者に対し、モニタ２上に候補となる人物画像を表示し、どの人物画像か特定を要求する。これに対し、視聴者が該当する識別情報ＩＤを入力すれば、未見期間の再生を求めた視聴者を一意に特定できる。このようにしても、視聴者の立場から言って、自分の顔が写っている画像を番号で選ぶだけで足りるから、巻き戻しや早送り等の操作に比べて、操作は格段に簡単である。【００７８】  以上のように特定ができたら、ステップ８９〜９０にて未見期間を具体的に特定し、再生制御部６は、未見期間を再生する（ステップ９１，９２）。【００７９】  なお、以上の処理は、一例に過ぎず、本発明の趣旨を逸脱しない限り、種々変更できることは言うまでもない。【００８０】  次に、例を挙げながら、タグの付加による視聴情報の変化を説明する。まずはじめに、図９（ａ）に示すように、ストリーム再生装置３の前に視聴者が誰もいない状態であったとする。このとき、視聴情報は、図９（ｂ）に示すように、ストリームの始端位置と終端位置のみである。また、カメラ１は視聴者の画像を撮影しないから、モニタ２の画面２ａには何も写っていない。【００８１】  次に、図１０（ａ）に示すように、母親Ｐ１と子供Ｐ２とがストリーム再生装置３の前に座り視聴を始めたとする。これにより、カメラ１は母親Ｐ１と子供Ｐ２との画像を撮影し、人テンプレート８によるマッチングで二人の視聴者がいることが検出され、母親Ｐ１と子供Ｐ２との人物画像が、人物データベース７になければ、人物データベース７に新規登録されることになる。また、母親Ｐ１に対応するタグＳ１と子供Ｐ２に対応するタグＳ２とが、ストリームの始端位置に追加される。【００８２】  その後、図１１（ａ）に示すように、母親Ｐ１が用事で視聴をやめた場合、図１１（ｂ）に示すように、母親Ｐ１に対応するタグＥ１が追加される。【００８３】  さらに、図１２（ａ）に示すように、父親Ｐ３が新たに視聴を開始した場合、図１２（ｂ）に示すように父親Ｐ３に対応するタグＳ３が追加される。【００８４】  そして、図１３（ａ）に示すように、子供Ｐ２と父親Ｐ３とがストリームの終端位置まで視聴を行った場合、図１３（ｂ）に示すように、ストリームの終端位置に子供Ｐ２に対応するタグＥ２と父親Ｐ３に対応するタグＥ３とが追加される。【００８５】  この後、図１４（ａ）に示すように、母親Ｐ１がストリーム再生装置３の前に戻り、操作入力部４を用いて未見期間の再生を指示すると、図８のステップ８６、８９〜９０の処理により、図１４（ｂ）に黒い矢印で示すように、母親Ｐ１に関する未見期間（タグＥ１からストリームの終端位置まで）が特定され、この未見期間が自動再生される。ここで、母親Ｐ１は、単に未見期間を再生する旨指示するだけで足り、巻き戻しや早送りなどの面倒な操作は行う必要がない。【００８６】  （変形例）
以下、図１５〜図２０を参照しながら、上記実施の形態の変形例を説明する。まず、図７では、ステップ７１にて「通常再生」を指示する操作入力がなされてから、人物検出部を起動したが（ステップ７２）、図１５に示すように、まず人物検出部を起動してから（ステップ２００）、操作入力待ちの状態（ステップ７１）へ遷移するようにしても良い。【００８７】  図８における、ステップ８６以降ステップ９１までの処理を、図１６のように変更しても良い。即ち、数ｍが「１」ならば図８と同様に、直ちにタグ文字列Ｅａｄｓ、Ｅａｄｓを定めステップ９１へ処理を移す。【００８８】  数ｍが「２」以上なら、ステップ１００〜１０３において未見期間を決定し、ステップ９１へ処理を移す。ステップ１００にて、再生制御部６は、未見期間の設定があるかないかをチェックする。【００８９】  この「設定」は、複数人の視聴者が存在するときに再生すべき期間の決定要領を定めるものであり、これらの視聴者に関するそれぞれの未見期間の論理和（少なくとも一人の視聴者が未見であれば未見期間とする）、論理積（全ての視聴者が未見であれば未見期間とする）等により実施される。勿論、論理和及び論理積を組み合わせても良いし、特定の視聴者を優先度により他の視聴者よりも特別扱いするようにすることもできる。【００９０】  未見期間の設定があれば、再生制御部６は、それにしたがって未見期間を決定する（ステップ１０１）。【００９１】  未見期間の設定がなければ、再生制御部６は、モニタ２に必要な情報を表示させ、視聴者に操作入力部４から必要な情報を入力するように求める（ステップ１０２、１０３）。【００９２】  例えば、ステップ１００において、未見期間の論理積が設定されているとき、図１９（ａ）に示すように、母親Ｐ１と父親Ｐ３が、ストリーム再生装置３の前に戻り、操作入力部４を用いて未見期間の再生を指示すると、図１９（ｂ）に黒い矢印で示すように、未見期間（タグ’Ｅ１’〜タグ’Ｓ３’）が再生される。この場合、タグ’Ｓ３’以降は、父親Ｐ３の未見期間ではないため再生されない。なおもし、未見期間の論理和が設定されていれば、未見期間（タグ’Ｓ１’〜タグ’Ｅ３’）が再生されることになる。【００９３】  一方、ステップ１００において、未見期間の設定がないとき、図１７に示すように、各視聴者である母親Ｐ１の未見期間ａと父親Ｐ３の未見期間ｂが表示される（ステップ１０２）。また、未見期間ｃは、未見期間ａ、ｂの論理和であり、未見期間ｄは、未見期間ａ、ｂの論理積である。この表示を見て、視聴者（母親Ｐ１又は父親Ｐ３）は、未見期間ｃ又は未見期間ｄのいずれかを選択する。【００９４】  いずれの場合であっても、母親Ｐ１及び父親Ｐ３は、単に未見期間の再生を指示するだけか、あるいは高々未見期間を選択するだけで足り、巻き戻しや先送りなどの面倒な操作を行う必要がない。【００９５】  また、図２（ｂ）の値は、「有」／「無」だけでなく、次のように拡張することもできる。例えば、図２（ｂ）の値として、「中座」（現ストリームの少なくとも一部を視聴したが現在は現ストリームを視聴していない）と「未見」（現ストリームを全く視聴していない）という値をとりうるようにして、値「無」をさらに詳しく区別できるようにすることも好ましい。また、図２（ｂ）の値が未見期間の総数を表現できるようにすることも好ましい。【００９６】  さらに、図１９に示すように、例えば、３名の視聴者の人物画像が人物データベース７に登録され、図１９の２段目に示される２名の視聴者がストリーム再生装置３の前に存在するとき、ストリームのタイトル（例えば、番組名）とそれに関する未見期間がある人物の人物画像を並べて表示すると、わかりやすく望ましい。【００９７】  未見期間の設定がないときには、図２０に示すように、ストリーム再生装置３の前に存在する２名の視聴者毎に人物画像と併せて、未見期間の候補を表示することは、わかりやすく望ましい。
【産業上の利用可能性】
【００９８】  本発明に係るストリーム再生装置は、例えば、ＤＶＤプレーヤ、ＤＶＤレコーダ、ＨＤレコーダ、ネットワークを介するストリームの配送装置あるいは受信装置などの分野において好適に利用できる。
【図１】
2006025284.tif 000002
【図２】
2006025284.tif 000003
【図３】
2006025284.tif 000004
【図４】
2006025284.tif 000005
【図５】
2006025284.tif 000006
【図６】
2006025284.tif 000007
【図７】
2006025284.tif 000008
【図８】
2006025284.tif 000009
【図９】
2006025284.tif 000010
【図１０】
2006025284.tif 000011
【図１１】
2006025284.tif 000012
【図１２】
2006025284.tif 000013
【図１３】
2006025284.tif 000014
【図１４】
2006025284.tif 000015
【図１５】
2006025284.tif 000016
【図１６】
2006025284.tif 000017
【図１７】
2006025284.tif 000018
【図１８】
2006025284.tif 000019
【図１９】
2006025284.tif 000020
【図２０】
2006025284.tif 000021
【図２１】
2006025284.tif 000022
【手続補正書】
【提出日】平成18年11月30日(2006.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
視聴者に臨むように配設される検出部と、
前記検出部の出力に基づいて視聴者を検知する人物検知部と、
前記人物検知部の検知結果に基づいて視聴情報を生成する視聴情報生成部と、
ストリームの供給を受け前記ストリームの再生を制御し再生信号を出力する再生制御部とを備え、
前記視聴情報生成部が生成する視聴情報は、視聴者が前記ストリームの再生結果を視聴していない未見期間が明らかになるように、前記ストリームのタイムスタンプに関連付けられているストリーム再生装置。
【請求項２】
視聴者の入力を受け付ける操作入力部をさらに備え、
前記再生制御部は、前記操作入力部から未見期間の再生指示が入力されると、前記視聴情報生成部が作成した視聴情報に基づいて未見期間を定め、前記ストリームの未見期間を再生する請求の範囲第１項記載のストリーム再生装置。
【請求項３】
前記人物検知部は、前記検出部の出力に基づいて視聴者個々を区別して検知し、
前記視聴情報生成部は、前記人物検知部による視聴者個々毎の検知結果に基づいて視聴者個々毎に視聴情報を生成し、
前記視聴情報生成部が生成する視聴情報は、視聴者個々が前記ストリームの再生結果を視聴していない未見期間が明らかになるように、前記ストリームのタイムスタンプに関連付けられている請求の範囲第１項記載のストリーム再生装置。
【請求項４】
視聴者の入力を受け付ける操作入力部をさらに備え、
前記再生制御部は、前記操作入力部から未見期間の再生指示が入力されると、前記人物検知部に、前記操作入力部による入力を行った視聴者を特定させ、
前記再生制御部は、前記人物検知部が特定した視聴者に関して前記視聴情報生成部が作成した視聴情報に基づいて未見期間を定め、前記ストリームの未見期間を再生する請求の範囲第３項記載のストリーム再生装置。
【請求項５】
前記視聴情報生成部が生成する視聴情報は、視聴者が視聴開始するタイムスタンプと、視聴者が視聴終了するタイムスタンプとに関連付けられている情報を含む請求の範囲第１項記載のストリーム再生装置。
【請求項６】
前記視聴情報生成部が生成する視聴情報は、前記ストリーム内に保存される請求の範囲第１項記載のストリーム再生装置。
【請求項７】
前記視聴情報生成部が生成する視聴情報は、前記ストリーム外に保存される請求の範囲第１項記載のストリーム再生装置。
【請求項８】
前記検出部は、カメラとセンサとのうち少なくとも一方を有する請求の範囲第１項記載のストリーム再生装置。
【請求項９】
前記検出部は、カメラを有し、
前記ストリーム再生装置は、
人テンプレートと、
前記視聴者個々の識別情報と前記視聴者個々を前記カメラで撮影した人物画像とを対応づけて保持する人物データベースと、
前記カメラが撮影した画像と前記人テンプレートとの相関演算と前記カメラが撮影した画像と前記人物データベースが保持する前記人物画像との相関演算とを行う相関演算部とをさらに備え、
前記人物検知部は、前記相関演算部が前記カメラが撮影した画像と前記人テンプレートとの相関演算を行った結果に基づいて視聴者がストリームの再生結果を視聴しているか否かを判定し、
前記人物検知部は、視聴者がストリームの再生結果を視聴していると判定するとき、前記相関演算部が前記カメラが撮影した画像と前記人物画像との相関演算を行った結果に基づいて現在ストリームの再生結果を視聴している視聴者を特定する請求の範囲第３項記載のストリーム再生装置。
【請求項１０】
前記人物検知部は、視聴者がストリームの再生結果を視聴していると判定し、前記相関演算部が前記カメラが撮影した画像と前記人物画像との相関演算を行った結果、前記カメラが撮影した画像が前記人物画像のいずれにも適合しない場合、新たな視聴者個々の識別情報と前記カメラが撮影した画像とを、互いに対応づけて前記人物データベースに追加する請求の範囲第９項記載のストリーム再生装置。
【請求項１１】
前記ストリームを記録する記録媒体を有し前記再生制御部へ前記ストリームを供給するストリーム供給部をさらに備える請求の範囲第１項記載のストリーム再生装置。
【請求項１２】
前記再生制御部が出力する再生信号に基づいて前記ストリームの内容を再生するモニタをさらに備える請求の範囲第１項記載のストリーム再生装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＶ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）ストリーム（本明細書において単に「ストリーム」という）の再生時に、視聴者の状態を検知し、視聴者がストリームの未見期間を容易に再生できるようにしたストリーム再生装置に関するものである。
【背景技術】
【０００２】
文献１（特開平８−１８９００号公報）は、ストリーム再生装置の前に視聴者がいるかいないかを検知し、視聴者が不在の間、そのストリームを自動録画する技術を開示する。
【０００３】
より具体的には、文献１によるテレビジョン受信機は、図２１の構成を採用する。図２１において、地上ＴＶ放送用アンテナ２０１は、地上波による信号を受信する。衛星放送受信用アンテナ２０２は、衛星放送の信号を受信する。信号入力端子２０３は、外部の映像音声信号を受信する。
【０００４】
受信部２０４は、選局用チューナー及び復調回路からなり、アンテナ２０１、２０２が受信した放送波から特定の局の選局を行うと共に、選局された信号を復調して映像音声信号を生成する。信号処理回路部２０５は、受信部２０４または信号入力端子２０３から入力した映像音声信号を処理し、信号制御部２０６へ出力する。
【０００５】
記録再生装置部２０７は、記録媒体を備え、映像音声信号等を記録再生するものであり、再生された映像音声信号は信号制御部２０６へ出力される。
【０００６】
検知装置部２０８は、テレビジョン受信機の前に視聴者がいるか否かを検知し、検知結果を信号制御部２０６へ出力する。
【０００７】
表示部２０９は映像信号による映像を表示し、スピーカー部２１０は音声信号を音に変換する。なお、アンテナ２０１、２０２以外の部分は、テレビジョン受信機として一つのケースに収まっている。
【０００８】
テレビジョン受信機の電源が投入されて視聴可能な状態になると、検知装置部２０８は、テレビジョン受信機の前に視聴者がいるかいないかを検出し、検出結果を信号制御部２０６に出力する。
【０００９】
信号制御部２０６は、検知装置部２０８から視聴者のいることを示す検出結果を入力している間、記録再生装置部２０７を動作させないが、検出結果が視聴者がいなくなったことを示すと、信号制御部２０６は記録再生装置部２０６に視聴者が視聴していた映像音声信号を記録させ始める。
【００１０】
その後、視聴者がテレビジョン受信機の前に戻り、検出装置部２０８が視聴者がいることを検知すると、信号制御部２０６は記録再生装置２０７の記録を中止し、記録再生装置２０７に記録させた映像音声信号を再生させる。これにより、視聴者は、未見期間の視聴を自動的に行える。
【００１１】
しかしながら、従来の技術では、記録再生装置部２０７に未見期間の映像音声信号そのものが自動録画されないと、視聴者は未見期間を後で視聴することができない。したがって、記録再生装置部２０７の残存する記録可能時間が少ないか或いは無い場合、視聴者は未見期間を後で視聴することができない。
【００１２】
また、リビングルームのような場所（テレビジョン受信機は、そのような場所に設置されることが多い）では、人物の出入りが頻繁に起こる。従来の技術では、一人でもテレビジョン受信機の前に視聴者がいれば、未見期間の自動録画はなされないから、複数の視聴者が交互に出入りし、それぞれ異なる未見期間がある場合、全く対応できない。結局、視聴者は、それぞれ未見期間を探し、巻き戻しや早送り等の面倒な操作をして、マニュアルで未見期間を視聴するしかなかった。したがって、従来の技術では、未見期間を後で自動視聴するというテーマに、現実的に対応することは困難であった。
【特許文献１】特開平８−１８９００号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
そこで本発明は、ストリームの未見期間の自動視聴を容易に行えるストリーム再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
第１の発明に係るストリーム再生装置は、視聴者に臨むように配設される検出部と、検出部の出力に基づいて視聴者を検知する人物検知部と、人物検知部の検知結果に基づいて視聴情報を生成する視聴情報生成部と、ストリームの供給を受けストリームの再生を制御し再生信号を出力する再生制御部とを備え、視聴情報生成部が生成する視聴情報は、視聴者がストリームの再生結果を視聴していない未見期間が明らかになるように、ストリームのタイムスタンプに関連付けられている。
【００１５】
この構成により、個室に配置されるストリーム再生装置のように、視聴者が一人に決まっている場合、視聴情報は、視聴者の未見期間が明らかになるようにストリームのタイムスタンプに関連付けられているから、視聴者は、未見期間を後で自動視聴することができる。しかも、未見期間の自動視聴のためには、視聴情報のみを保存しておけば足り、ストリームそのものを何らかの記録媒体に記録する必要はないから、記録媒体の記録容量に余裕がない場合にも適用できる。
【００１６】
第２の発明に係るストリーム再生装置では、視聴者の入力を受け付ける操作入力部をさらに備え、再生制御部は、操作入力部から未見期間の再生指示が入力されると、視聴情報生成部が作成した視聴情報に基づいて未見期間を定め、ストリームの未見期間を再生する。
【００１７】
この構成により、個室に配置されるストリーム再生装置のように、視聴者が一人に決まっている場合、視聴者は、操作入力部から未見期間の再生指示をするだけで、未見期間を後で自動視聴できる。即ち、視聴者は、この自動視聴のために、巻き戻しや早送りというような面倒な操作をする必要はなく、きわめて容易に未見期間を自動視聴できる。
【００１８】
第３の発明に係るストリーム再生装置では、人物検知部は、検出部の出力に基づいて視聴者個々を区別して検知し、視聴情報生成部は、人物検知部による視聴者個々毎の検知結果に基づいて視聴者個々毎に視聴情報を生成し、視聴情報生成部が生成する視聴情報は、視聴者個々がストリームの再生結果を視聴していない未見期間が明らかになるように、ストリームのタイムスタンプに関連付けられている。
【００１９】
この構成により、リビングルームに配置されるストリーム再生装置のように、視聴者が不特定である場合、視聴情報は、視聴者個々の未見期間が明らかになるようにストリームのタイムスタンプに関連付けられているから、視聴者個々は、それぞれ別個に自身が関係する未見期間を、後で自動視聴することができる。こうすれば、複数の視聴者が交互に出入りし、それぞれ異なる未見期間がある場合であっても、問題なく対応できる。
【００２０】
第４の発明に係るストリーム再生装置では、視聴者の入力を受け付ける操作入力部をさらに備え、再生制御部は、操作入力部から未見期間の再生指示が入力されると、人物検知部に、操作入力部による入力を行った視聴者を特定させ、再生制御部は、人物検知部が特定した視聴者に関して視聴情報生成部が作成した視聴情報に基づいて未見期間を定め、ストリームの未見期間を再生する。
【００２１】
この構成により、リビングルームに配置されるストリーム再生装置のように、視聴者が不特定である場合、視聴情報は、視聴者個々の未見期間が明らかになるようにストリームのタイムスタンプに関連付けられているから、視聴者個々は、操作入力部から未見期間の再生指示をするだけで、再生指示をした視聴者が特定され、視聴者個々は、その人に関する未見期間を後で自動視聴できる。即ち、視聴者は、この自動視聴のために、巻き戻しや早送りというような面倒な操作をする必要はなく、きわめて容易に未見期間を自動視聴できる。
【００２２】
第５の発明に係るストリーム再生装置では、視聴情報生成部が生成する視聴情報は、視聴者が視聴開始するタイムスタンプと、視聴者が視聴終了するタイムスタンプとに関連付けられている情報を含む。
【００２３】
この構成により、視聴者の未見期間を、視聴者が視聴を開始するタイムスタンプまでと、視聴者が視聴終了したタイムスタンプの後というように、明確に定めうる。
【００２４】
第６の発明に係るストリーム再生装置では、検出部は、カメラを有し、ストリーム再生装置は、人テンプレートと、視聴者個々の識別情報と視聴者個々をカメラで撮影した人物画像とを対応づけて保持する人物データベースと、カメラが撮影した画像と人テンプレートとの相関演算とカメラが撮影した画像と人物データベースが保持する人物画像との相関演算とを行う相関演算部とをさらに備え、人物検知部は、相関演算部がカメラが撮影した画像と人テンプレートとの相関演算を行った結果に基づいて視聴者がストリームの再生結果を視聴しているか否かを判定し、人物検知部は、視聴者がストリームの再生結果を視聴していると判定するとき、相関演算部がカメラが撮影した画像と人物画像との相関演算を行った結果に基づいて現在ストリームの再生結果を視聴している視聴者を特定する。
【００２５】
この構成により、相関演算部が、カメラが撮影した画像と人テンプレートとの相関演算とカメラが撮影した画像と人物データベースが保持する人物画像との相関演算とを行うことにより、人物検知部は、視聴者の有無あるいは人数を特定することができる。さらに、人物検知部は、相関演算部がカメラが撮影した画像と人物画像との相関演算を行った結果に基づいて現在ストリームの再生結果を視聴している視聴者が誰であるかを特定する。即ち、視聴者が人物データベースに保持されている限り、視聴者個々を具体的に特定することができ、視聴者個々は、それぞれ別個に自身が関係する未見期間を、後で自動視聴することができる。
【００２６】
第７の発明に係るストリーム再生装置では、人物検知部は、視聴者がストリームの再生結果を視聴していると判定し、相関演算部がカメラが撮影した画像と人物画像との相関演算を行った結果、カメラが撮影した画像が人物画像のいずれにも適合しない場合、新たな視聴者個々の識別情報とカメラが撮影した画像とを、互いに対応づけて人物データベースに追加する。
【００２７】
この構成により、未だ人物データベースに人物画像が保持されていない視聴者が突如現れても、柔軟に対応でき、視聴者個々は、問題なく、それぞれ別個に自身が関係する未見期間を、後で自動視聴することができる。
【発明の効果】
【００２８】
本発明によれば、未見期間の映像音声信号そのものを自動録画する必要がないから、記録容量を圧迫せずに、視聴者は未見期間を後で視聴することができる。
【００２９】
また、不特定の視聴者が、交互に出入りし、それぞれ異なる未見期間がある場合も、対応でき、それぞれの視聴者は、巻き戻しや早送り等の面倒な操作なしに、その人に関する未見期間を後で自動視聴できる。
【図面の簡単な説明】
【００３０】
【図１】図１は、本発明の実施の形態１におけるストリーム再生装置のブロック図である。
【図２】図２（ａ）は、本発明の実施の形態１における人物データベースのデータ構造図、図２（ｂ）は、本発明の実施の形態１におけるＩＤセットのデータ構造図、図２（ｃ）は、本発明の実施の形態１における人テンプレートの例示図、図２（ｄ）は、本発明の実施の形態１における視聴情報のデータ構造図である。
【図３】図３は、本発明の実施の形態１における人物検出部のフローチャートである。
【図４】図４は、本発明の実施の形態１における人物検出部のフローチャートである。
【図５】図５は、本発明の実施の形態１における人物検出部のフローチャートである。
【図６】図６は、本発明の実施の形態１における視聴情報生成部のフローチャートである。
【図７】図７は、本発明の実施の形態１における再生制御部のフローチャートである。
【図８】図８は、本発明の実施の形態１における再生制御部のフローチャートである。
【図９】図９（ａ）、図９（ｂ）は、本発明の実施の形態１における視聴状態の例示図である。
【図１０】図１０（ａ）、図１０（ｂ）は、本発明の実施の形態１における視聴状態の例示図である。
【図１１】図１１（ａ）、図１１（ｂ）は、本発明の実施の形態１における視聴状態の例示図である。
【図１２】図１２（ａ）、図１２（ｂ）は、本発明の実施の形態１における視聴状態の例示図である。
【図１３】図１３（ａ）、図１３（ｂ）は、（ａ）本発明の実施の形態１における視聴状態の例示図である。
【図１４】図１４（ａ）、図１４（ｂ）は、（ａ）本発明の実施の形態１における視聴状態の例示図である。
【図１５】図１５は、本発明の変形例における再生制御部のフローチャートである。
【図１６】図１６は、本発明の変形例における再生制御部のフローチャートである。
【図１７】図１７は、本発明の変形例における視聴状態の例示図である。
【図１８】図１８（ａ）、図１８（ｂ）は、（ａ）本発明の変形例における視聴状態の例示図である。
【図１９】図１９は、本発明の変形例における表示例図である。
【図２０】図２０は、本発明の変形例における表示例図である。
【図２１】図２１は、従来のテレビジョン受像機のブロック図である。
【符号の説明】
【００３１】
１  カメラ
２  モニタ
２ａ  画面
３  ストリーム再生装置
４  操作入力部
５  ストリーム供給部
６  再生制御部
７  人物データベース
８  人テンプレート
９  相関演算部
１０  人物検知部
１１  視聴情報生成部
１２  ＩＤセット記憶部
１３  視聴情報記憶部
【発明を実施するための最良の形態】
【００３２】
以下図面を参照しながら、本発明の実施の形態について説明する。
【００３３】
（実施の形態１）
図１は、本発明の実施の形態１におけるストリーム再生装置のブロック図である。
【００３４】
図１において、カメラ１は、検出部に相当する。即ち、本形態の検出部はカメラ１により構成されるが、後述する処理に支障がなければ、センサにより構成してもよい。カメラ１は、図１０（ａ）に示すように、視聴者の画像を取得するため、視聴者に臨むように配設される。
【００３５】
操作入力部４は、リモコン、キーセット、マウス、十字キー等により構成され、視聴者の入力を受け付ける。
【００３６】
人テンプレート８は、図２（ｃ）に示すように、人型の画像データを保持する。
【００３７】
人物データベース７は、図２（ａ）に示すように、視聴者個々の識別情報（ＩＤ；要素数：ｎ（ｎは自然数））と視聴者個々をカメラ１で撮影した人物画像ｉｍｇ１〜ｉｍｇｎとを対応づけて保持する。
【００３８】
相関演算部９は、カメラ１が撮影した画像と人テンプレート８との相関演算とカメラ１が撮影した画像と人物データベース７が保持する人物画像ｉｍｇ１〜ｉｍｇｎとの相関演算とを行う。相関演算部９が使用する数式は、通常使用されるもので差し支えない。本形態では、相関演算部９は、相関値を出力するものとする。
【００３９】
人物検知部１０は、カメラ１の出力に基づいて視聴者個々を区別して検知する。より具体的には、人物検知部１０は、相関演算部９がカメラ１が撮影した画像と人テンプレート８との相関演算を行った結果に基づいて視聴者がストリームの再生結果を視聴しているか否か、あるいはその人数を決定する。また、人物検知部１０は、視聴者がストリームの再生結果を視聴していると判定するとき、相関演算部９がカメラ１が撮影した画像と人物画像ｉｍｇ１〜ｉｍｇｎとの相関演算を行った結果に基づいて現在ストリームの再生結果を視聴している視聴者が誰であるかを特定する。
【００４０】
また、人物検知部１０は、視聴者がストリームの再生結果を視聴していると判定し、相関演算部９がカメラ１が撮影した画像と人物画像ｉｍｇ１〜ｉｍｇｎとの相関演算を行った結果、カメラ１が撮影した画像が人物画像ｉｍｇ１〜ｉｍｇｎのいずれにも適合しない場合、新たな視聴者個々の識別情報ＩＤ（ｎ＋１）とカメラ１が撮影した画像とを、互いに対応づけて人物データベース７に追加する。その結果、カメラ１が撮影した画像は、新たな人物画像ｉｍｇｎ＋１となる。
【００４１】
視聴情報生成部１１は、カメラ１の検知結果に基づいて視聴情報を生成する。この視聴情報は、視聴者がストリームの再生結果を視聴していない未見期間が明らかになるように、ストリームのタイムスタンプに関連付けられている。
【００４２】
より具体的には、図２（ｄ）に示すように、ストリームの始端位置（００：００．００）から終端位置（０１：００．００）までに、視聴者が視聴開始するタイムスタンプを指すタグＳ１、Ｓ２と、視聴者が視聴終了するタイムスタンプを指すタグＥ１、Ｅ２とを含む。なお、タグＳ１、Ｅ１は、識別情報ＩＤ１を持つ視聴者のものであり、タグＳ２、Ｅ２は、識別情報ＩＤ２を持つ視聴者のものである。
【００４３】
このように、視聴情報生成部１１は、人物検知部１０による視聴者個々毎の検知結果に基づいて視聴者個々毎に視聴情報を生成する。本形態における検知結果は、図２（ｂ）に示すＩＤセットであり、ＩＤセットは、識別情報ＩＤと値（「有」（視聴者がストリーム再生装置３の前にいる）あるいは「無」（視聴者がストリーム再生装置３の前にいない））とから成る要素を、視聴者の人数分集合させたものである。ＩＤセットは、ＩＤセット記憶部１２に保存される。ＩＤセット記憶部１２には、直前のＩＤセットを記憶する直前ＩＤセット領域１２ａと、現在のＩＤセットを記憶する現在ＩＤセット領域１２ｂとの、２つの領域が設けられている。このようにしたのは、後述するように、各視聴者の状態遷移を明確にするためである。
【００４４】
図２（ｄ）に示すように、タグＳ１、Ｅ１及びタグＳ２、Ｅ２によれば、視聴者個々がストリームの再生結果を視聴していない未見期間が明らかになる。即ち、識別情報ＩＤ１を持つ視聴者の未見期間は、ストリームの始端位置からタグＳ２までと、タグＥ２からストリームの終端位置までであり、識別情報ＩＤ２を持つ視聴者の未見期間は、ストリームの始端位置からタグＳ２までである。なお、視聴情報は、映像音声信号のデータ量に比べ、データ量が遙かに少ないので、ストリーム内外のいずれにも保存できる。本形態では、視聴情報は、視聴情報記憶部１３に保存される。
【００４５】
ストリーム供給部５は、ストリームを記録する記録媒体（ＤＶＤ、ＨＤ等）を有し再生制御部６へストリームを供給する。あるいは、ストリーム供給部５は、ネットワーク経由でサーバ（図示せず）からストリームをダウンロードするものでも良いし、アンテナやケーブルを介して放送局等からストリームを取得するものであっても良い。
【００４６】
再生制御部６は、ストリーム供給部５からストリームの供給を受けストリームの再生を制御し再生信号をモニタ２へ出力する。モニタ２は、再生制御部６が出力する再生信号に基づいてストリームの内容（映像及び音声）を再生する。
【００４７】
再生制御部６は、操作入力部４から未見期間の再生指示が入力されると、まず、人物検知部１０に、操作入力部４による入力を行った視聴者を特定させる。次に、再生制御部６は、特定された視聴者に関する視聴情報（視聴情報記憶部１３に保存されている）に基づいて、その人の未見期間を定め、ストリームの未見期間を再生する。
【００４８】
次に、図３〜図５を参照しながら、人物検知部１０の処理を説明する。図３に示すように、ステップ１にて、カメラ１が画像を取得すると、人物検知部１０は、図４に示す人数確認処理を行う（ステップ２）。次に、ステップ３にて、人物検知部１０は、図５に示すＩＤセット・人物データベース処理を行う。そして、処理が終了するまで、人物検知部１０は、ステップ１〜ステップ３の処理を繰り返す（ステップ４）。
【００４９】
図４に示すように、人数確認処理は次のように実施される。まず、ステップ１１にて、人物検知部１０は人数カウンタｋ＝０とし、空の位置セットを用意する。ここで、位置セットとは、以下に述べるように人テンプレート８とのマッチングが適合し、視聴者が存在すると思われる位置の集合である。
【００５０】
ステップ１２にて、人物検知部１０は、マッチング位置を先頭位置に初期化する。ここで、マッチング位置とは、カメラ１が撮影する画像領域を有限個の領域にわけた位置であり、マッチングについて現在注目している位置である。本形態では、人テンプレート８の大きさと等しい領域の中心をマッチング位置とし、相関演算部９は、カメラ１が撮影した画像のうち、この領域内の画像と人テンプレート８との相関演算を行う。
【００５１】
ステップ１３にて、人物検知部１０は、現在のマッチング位置における相関演算を人物検知部１０に命じ、相関演算部９はその演算を行って結果（相関値）を人物検知部１０に返す。また、相関演算部９による相関演算結果を評価するため、人物検知部１０は予め定められた閾値を保持しており、相関演算部９から得た相関値と、この閾値とを大小比較する。相関値が閾値以上であれば、人物検知部１０は現在のマッチング位置は人テンプレート８に適合するものと判定し、そうでなければ、不適合と判定する。この大小比較の結果（ステップ１４）、適合であれば、人物検知部１０は人数カウンタｋを「１」だけ増やし、現在のマッチング位置を位置セットに追加し（ステップ１５）、ステップ１６へ処理を移す。適合でなければ、人物検知部１０は何もせず、直ちにステップ１６へ処理を移す。
【００５２】
ステップ１６では、人物検知部１０は、全部のマッチング位置に関する処理が完了したかどうかチェックし、完了していなければ、マッチング位置を次に進めて（ステップ１７）、ステップ１３以下の処理を繰り返す。完了していれば、ステップ１８にて、人数カウンタｋと位置セットとを戻り値とし、人数確認処理を終了する。
【００５３】
次に、図５を参照しながら、ＩＤセット・人物データベース処理を説明する。図４のステップ１８にて、人数カウンタｋの値が得られているが、カメラ１の視野内に一人も視聴者がいなければ、人数カウンタｋ＝０のまま（ステップ１１参照）になっている。そのときは、ステップ２１にて、人物検知部１０は、空のＩＤセットを出力するだけで（ステップ２２）、ＩＤセット・人物データベース処理を終える。
【００５４】
人数カウンタｋが「０」でない（つまり視聴者が一人以上写っている）ならば、ステップ２３へ処理が移る。ステップ２３にて、人物検知部１０は、人物データベース７をアクセスし、ＩＤ総数ｎを取得し、要素数ｎ個分（値は全て「無」）のＩＤセットを用意する。ＩＤセットについては、既に述べたが、この状態におけるＩＤセットは、図２（ｂ）における値を全て「無」としたものに他ならない。
【００５５】
また、位置セットをステップ１８にて得ているから、その先頭の位置をマッチング位置とする。但し、このマッチング位置は、人物データベース７における人物画像ｉｍｇ１〜ｉｍｇｎとのマッチングのための位置である点が、図４と異なる。
【００５６】
次に、人物検知部１０は、ステップ２５にて、要素数ｎをチェックする。ここで、ｎ＝０である場合もあり得る。それは、人物データベース７に誰の人物画像も未だ登録されていない場合である。そのときは、人物検知部１０はステップ２６に処理を移し、カメラ１が撮影した画像のうち、現在のマッチング位置で定められる領域内の画像を、人物データベース７に新規登録し、ＩＤセットの対応する値を「有」とする。このとき、新規登録される画像には、識別情報ＩＤ＝ｎ＋１（ｎ＝０ならｎ＝１）が対応付けられる。そして、人物検知部１０はステップ３３に処理を移す。
【００５７】
ステップ２５にて、ｎが「０」でない（少なくとも１セットの識別情報ＩＤと人物画像とのペアが人物データベース７に既に登録されている場合）ならば、ステップ２７にて、人物検知部１０は番号カウンタｉ＝１とする。そして、ステップ２８にて、相関演算部９にｉ番目の人物画像と現在のマッチング位置で定められる領域内の画像との相関演算を命じ、その相関値を得る。ここで、図４と同様に予め定められた閾値と相関値とを大小比較する。相関値が閾値以上であれば、人物検知部１０は現在のマッチング位置はｉ番目の人物画像に適合するものと判定し、そうでなければ、不適合と判定する。この大小比較の結果（ステップ２９）、適合であれば、人物検知部１０はステップ３２にてＩＤセットのｉ番目の値を、「無」から「有」に変更し、ステップ３３へ処理を移す。
【００５８】
適合でなければ、ステップ３０にて人物検知部１０は番号カウンタｉが要素数ｎに達しない限り、ステップｉを一つ進め（ステップ３１）ステップ２８以下の処理を繰り返す。番号カウンタｉが要素数ｎに等しくなったら、人物検知部１０は、現在人物画像として人物データベース７に登録されている画像の全てにあわない（つまり新規の視聴者の画像である）と判定し、ステップ２６にて、現在の領域内の画像を新規に人物データベース７へ登録（識別情報ＩＤ＝ｎ＋１）し、それに対応するＩＤセットの値を「有」とする。
【００５９】
ステップ３３では、人物検知部１０は位置セットに次の位置が残っているかどうかチェックする。次の位置が残っていれば、ステップ３４にて、マッチング位置を次の位置とし、ステップ２５へ処理を戻す。次の位置が残っていなければ、全ての位置の検討が終了したことになるから、ステップ３５にて、人物検知部１０は、ＩＤセットを現在ＩＤセット領域１２ｂへ出力し、図３のステップ４へ処理を移す。
【００６０】
次に、図６を参照しながら、視聴情報生成部１１の処理を説明する。まず、ステップ４１にて、視聴情報生成部１１は、ストリーム再生が開始されるまで待つ。ストリーム再生が開始された直後に、視聴情報生成部１１は、視聴情報記憶部１３を便宜上だれも視聴していない状態に初期化する。また、ステップ４３にて、直前ＩＤセット領域１２ａ及び現在ＩＤセット領域１２ｂのいずれについても、全ての値を「無」とする。
【００６１】
次に、ステップ４４にて、視聴情報生成部１１は、現在のＩＤセット（ストリーム再生直後は空）を直前ＩＤセット領域１２ａへ上書きし、人物検知部１０からＩＤセットを入力するまで待ち（ステップ３５）、入力したらそのＩＤセットを現在ＩＤセット領域１２ｂへ上書きする。そして、ステップ４５にて、視聴情報生成部１１は、数ｍに入力したＩＤセットの要素数をセットする。
【００６２】
次に、ステップ４６にて、視聴情報生成部１１は、ストリーム再生が終了していないかどうかチェックする。視聴情報生成部１１は、ストリーム再生が終了していればステップ５５へ処理を移し、終了していなければステップ４７へ処理を移す。
【００６３】
ステップ４７では、視聴情報生成部１１は、数ｍが「０」で内かどうかチェックする。もし数ｍ＝０なら、視聴者がいないことになるから、視聴情報生成部１１は何もせず処理をステップ４４へ戻す。
【００６４】
数ｍが「０」でないなら、視聴者が一人以上いることを意味する。したがって、そのとき視聴情報生成部１１は、番号カウンタｉ＝１とし（ステップ４８）、ステップ４９にて直前ＩＤセット領域のｉ番目の値が「無」であり、現在ＩＤセット領域のｉ番目の値が「有」になっていないかどうかチェックする。もしそうなら、ｉ番目の視聴者が、ストリーム再生装置３の前にいない状態からいる状態へ遷移したことを意味する。この遷移があれば、その視聴者は、初めてストリーム再生装置３の前に来て視聴を開始したか、あるいは、中座した後再びストリーム再生装置３の前に戻ってきたか、いずれかに該当することになる。
【００６５】
この遷移があるとき、視聴情報生成部１１は、ステップ５０にて、タグ文字列ａｄｓとして、文字「Ｓ」の次に番号ｉを文字列につなげた文字列を採択し、ステップ５３にて、現在のタイムスタンプを指す位置にタグ文字列ａｄｓをセットする。これにより、視聴情報記憶部１３が記憶する視聴情報に、タグ”Ｓ＊”（＊は番号ｉを文字列に変換したもの）が追加される。
【００６６】
あるいは、視聴情報生成部１１は、ステップ５１にて、直前ＩＤセット領域のｉ番目の値が「有」であり、現在ＩＤセット領域のｉ番目の値が「無」になっていないかどうかチェックする。もしそうなら、ｉ番目の視聴者が、ストリーム再生装置３の前にいる状態からいない状態へ遷移したことを意味する。この遷移があれば、その視聴者は、ストリーム再生装置３の前で視聴をしていたが、その視聴をやめてよそへ移動したことになる。
【００６７】
この遷移があるとき、視聴情報生成部１１は、ステップ５２にて、タグ文字列ａｄｓとして、文字「Ｅ」の次に番号ｉを文字列につなげた文字列を採択し、ステップ５３にて、現在のタイムスタンプを指す位置にタグ文字列ａｄｓをセットする。これにより、視聴情報記憶部１３が記憶する視聴情報にタグ「Ｅ＊」（＊は番号ｉを文字列に変換したもの）が追加される。
【００６８】
そして、視聴情報生成部１１は、ステップ５４にて、番号カウンタｉが数ｍになるまで、番号カウンタｉを１つ進めながら（ステップ５５）、ステップ４９以下の処理を繰り返す。
【００６９】
さて、ステップ５６では、ストリーム再生が終了している。このため、視聴情報生成部１１は、次のような処理を行い、ストリームの終端位置が再生されたときにストリーム再生装置３の前にいた視聴者について、視聴情報記憶部１３が記憶する視聴情報に、ストリームの終端位置を指す終了タグ「Ｅ＊」（＊は番号ｉを文字列に変換したもの）を追加する。
【００７０】
即ち、ステップ５６にて、視聴情報生成部１１は、数ｍ＝０かどうかをチェックする。もしｍ＝０なら、ストリームの終端位置が再生されたとき、だれも視聴者はいないことになるから、視聴情報生成部１１は、直ちに処理を終了する。
【００７１】
数ｍが「０」でないなら、少なくとも一人の視聴者がストリームの終端位置が再生されたときにストリーム再生装置３の前にいたことになる。したがって、視聴情報生成部１１は、番号カウンタｉ＝１とし（ステップ５７）、現在ＩＤセット領域１２ｂにおいてｉ番目の値が「有」となっているかどうかチェックする（ステップ５８）。もしそうなら、ステップ５１と同様に、視聴情報記憶部１３が記憶する視聴情報に、ストリームの終端位置を指す終了タグ「Ｅ＊」（＊は番号ｉを文字列に変換したもの）を追加する（ステップ５９，６０）。視聴情報生成部１１は、以上の処理を、番号カウンタｉが数ｍになるまで（ステップ６１）、番号カウンタｉを一つずつ進めながら（ステップ６２）繰り返す。
【００７２】
次に、図７〜図８を参照しながら、再生制御部６の処理を説明する。まず、ステップ７１にて、再生制御部６は、操作入力部４に入力があるまで待つ。入力がありそれが通常の再生なら、ステップ７２にて再生制御部６は人物検知部１０を起動し、ステップ７３にて視聴情報生成部１１を起動する。これにより、新規の視聴者があらわれれば人物データベース７にその視聴者の人物画像と識別情報とが対応付けて追加され、視聴者に出入りがあれば、視聴情報にタイムスタンプを指すタグ「Ｓ＊」、「Ｅ＊」が付けられる状態になる。
【００７３】
そして、ステップ７４にて、再生制御部６はストリームの再生を開始し、再生が完了するまでその状態を維持し（ステップ７５）、完了したらステップ７６へ処理を移す。
【００７４】
一方、ステップ７１にて、未見期間の再生指示が操作入力部４に入力されたら、ステップ８０にて、再生制御部６は、図８に示す未見再生処理を実施する。即ち、ステップ８１にて、再生制御部６は人物検知部１０を起動しＩＤセットを入力する（ステップ８２）。そして、ステップ８３にて、再生制御部６は数ｍを入力したＩＤセットのうち値が「有」である個数とする。
【００７５】
もし、数ｍ＝０ならば、誰も視聴者がいないのに操作入力があったことになり、矛盾を生じるので、再生制御部６はエラー処理をして入力待ちの状態に戻る（ステップ７１）。エラー処理としては、例えば、モニタ２に「未見再生できません」等の表示をすることが考えられる。
【００７６】
数ｍが「０」でなければ、ステップ８６にて、再生制御部６は数ｍ＝１かどうかをチェックする。数ｍ＝１ならば、視聴者は一人だけであり、どの視聴者が未見期間の再生を指示したのか自動的に特定できる。したがって、再生制御部６は、その一人の視聴者について、識別情報ＩＤに基づき視聴情報記憶部１３をアクセスし、未見期間を特定する（ステップ８６、８９、９０）。
【００７７】
数ｍが「２」以上であれば、どの人物の未見期間を再生すべきか特定するため、ステップ８７〜８８にて、未見期間の再生を求めた視聴者に対し、モニタ２上に候補となる人物画像を表示し、どの人物画像か特定を要求する。これに対し、視聴者が該当する識別情報ＩＤを入力すれば、未見期間の再生を求めた視聴者を一意に特定できる。このようにしても、視聴者の立場から言って、自分の顔が写っている画像を番号で選ぶだけで足りるから、巻き戻しや早送り等の操作に比べて、操作は格段に簡単である。
【００７８】
以上のように特定ができたら、ステップ８９〜９０にて未見期間を具体的に特定し、再生制御部６は、未見期間を再生する（ステップ９１，９２）。
【００７９】
なお、以上の処理は、一例に過ぎず、本発明の趣旨を逸脱しない限り、種々変更できることは言うまでもない。
【００８０】
次に、例を挙げながら、タグの付加による視聴情報の変化を説明する。まずはじめに、図９（ａ）に示すように、ストリーム再生装置３の前に視聴者が誰もいない状態であったとする。このとき、視聴情報は、図９（ｂ）に示すように、ストリームの始端位置と終端位置のみである。また、カメラ１は視聴者の画像を撮影しないから、モニタ２の画面２ａには何も写っていない。
【００８１】
次に、図１０（ａ）に示すように、母親Ｐ１と子供Ｐ２とがストリーム再生装置３の前に座り視聴を始めたとする。これにより、カメラ１は母親Ｐ１と子供Ｐ２との画像を撮影し、人テンプレート８によるマッチングで二人の視聴者がいることが検出され、母親Ｐ１と子供Ｐ２との人物画像が、人物データベース７になければ、人物データベース７に新規登録されることになる。また、母親Ｐ１に対応するタグＳ１と子供Ｐ２に対応するタグＳ２とが、ストリームの始端位置に追加される。
【００８２】
その後、図１１（ａ）に示すように、母親Ｐ１が用事で視聴をやめた場合、図１１（ｂ）に示すように、母親Ｐ１に対応するタグＥ１が追加される。
【００８３】
さらに、図１２（ａ）に示すように、父親Ｐ３が新たに視聴を開始した場合、図１２（ｂ）に示すように父親Ｐ３に対応するタグＳ３が追加される。
【００８４】
そして、図１３（ａ）に示すように、子供Ｐ２と父親Ｐ３とがストリームの終端位置まで視聴を行った場合、図１３（ｂ）に示すように、ストリームの終端位置に子供Ｐ２に対応するタグＥ２と父親Ｐ３に対応するタグＥ３とが追加される。
【００８５】
この後、図１４（ａ）に示すように、母親Ｐ１がストリーム再生装置３の前に戻り、操作入力部４を用いて未見期間の再生を指示すると、図８のステップ８６、８９〜９０の処理により、図１４（ｂ）に黒い矢印で示すように、母親Ｐ１に関する未見期間（タグＥ１からストリームの終端位置まで）が特定され、この未見期間が自動再生される。ここで、母親Ｐ１は、単に未見期間を再生する旨指示するだけで足り、巻き戻しや早送りなどの面倒な操作は行う必要がない。
【００８６】
（変形例）
以下、図１５〜図２０を参照しながら、上記実施の形態の変形例を説明する。まず、図７では、ステップ７１にて「通常再生」を指示する操作入力がなされてから、人物検出部を起動したが（ステップ７２）、図１５に示すように、まず人物検出部を起動してから（ステップ２００）、操作入力待ちの状態（ステップ７１）へ遷移するようにしても良い。
【００８７】
図８における、ステップ８６以降ステップ９１までの処理を、図１６のように変更しても良い。即ち、数ｍが「１」ならば図８と同様に、直ちにタグ文字列Ｅａｄｓ、Ｅａｄｓを定めステップ９１へ処理を移す。
【００８８】
数ｍが「２」以上なら、ステップ１００〜１０３において未見期間を決定し、ステップ９１へ処理を移す。ステップ１００にて、再生制御部６は、未見期間の設定があるかないかをチェックする。
【００８９】
この「設定」は、複数人の視聴者が存在するときに再生すべき期間の決定要領を定めるものであり、これらの視聴者に関するそれぞれの未見期間の論理和（少なくとも一人の視聴者が未見であれば未見期間とする）、論理積（全ての視聴者が未見であれば未見期間とする）等により実施される。勿論、論理和及び論理積を組み合わせても良いし、特定の視聴者を優先度により他の視聴者よりも特別扱いするようにすることもできる。
【００９０】
未見期間の設定があれば、再生制御部６は、それにしたがって未見期間を決定する（ステップ１０１）。
【００９１】
未見期間の設定がなければ、再生制御部６は、モニタ２に必要な情報を表示させ、視聴者に操作入力部４から必要な情報を入力するように求める（ステップ１０２、１０３）。
【００９２】
例えば、ステップ１００において、未見期間の論理積が設定されているとき、図１９（ａ）に示すように、母親Ｐ１と父親Ｐ３が、ストリーム再生装置３の前に戻り、操作入力部４を用いて未見期間の再生を指示すると、図１９（ｂ）に黒い矢印で示すように、未見期間（タグ’Ｅ１’〜タグ’Ｓ３’）が再生される。この場合、タグ’Ｓ３’以降は、父親Ｐ３の未見期間ではないため再生されない。なおもし、未見期間の論理和が設定されていれば、未見期間（タグ’Ｓ１’〜タグ’Ｅ３’）が再生されることになる。
【００９３】
一方、ステップ１００において、未見期間の設定がないとき、図１７に示すように、各視聴者である母親Ｐ１の未見期間ａと父親Ｐ３の未見期間ｂが表示される（ステップ１０２）。また、未見期間ｃは、未見期間ａ、ｂの論理和であり、未見期間ｄは、未見期間ａ、ｂの論理積である。この表示を見て、視聴者（母親Ｐ１又は父親Ｐ３）は、未見期間ｃ又は未見期間ｄのいずれかを選択する。
【００９４】
いずれの場合であっても、母親Ｐ１及び父親Ｐ３は、単に未見期間の再生を指示するだけか、あるいは高々未見期間を選択するだけで足り、巻き戻しや先送りなどの面倒な操作を行う必要がない。
【００９５】
また、図２（ｂ）の値は、「有」／「無」だけでなく、次のように拡張することもできる。例えば、図２（ｂ）の値として、「中座」（現ストリームの少なくとも一部を視聴したが現在は現ストリームを視聴していない）と「未見」（現ストリームを全く視聴していない）という値をとりうるようにして、値「無」をさらに詳しく区別できるようにすることも好ましい。また、図２（ｂ）の値が未見期間の総数を表現できるようにすることも好ましい。
【００９６】
さらに、図１９に示すように、例えば、３名の視聴者の人物画像が人物データベース７に登録され、図１９の２段目に示される２名の視聴者がストリーム再生装置３の前に存在するとき、ストリームのタイトル（例えば、番組名）とそれに関する未見期間がある人物の人物画像を並べて表示すると、わかりやすく望ましい。
【００９７】
未見期間の設定がないときには、図２０に示すように、ストリーム再生装置３の前に存在する２名の視聴者毎に人物画像と併せて、未見期間の候補を表示することは、わかりやすく望ましい。
【産業上の利用可能性】
【００９８】
本発明に係るストリーム再生装置は、例えば、ＤＶＤプレーヤ、ＤＶＤレコーダ、ＨＤレコーダ、ネットワークを介するストリームの配送装置あるいは受信装置などの分野において好適に利用できる。
【国際調査報告】
2006025284.tif 000023
2006025284.tif 000024
2006025284.tif 000025
2006025284.tif 000026