(57)【特許請求の範囲】
【請求項１】
特定の状況において、利用者が所望する動作をサービス提供装置に実行させるために、当該利用者が前記サービス提供装置に対して行った操作を監視し、その操作履歴を蓄積する操作履歴蓄積装置に用いられ、前記利用者に操作の選択を行わせる際に再生する映像を抽出する操作履歴蓄積用再生映像抽出装置であって、
前記操作履歴蓄積装置は、前記利用者に対して、時間を表す時間情報と対応付けられ、且つ前記特定の状況を表す映像を再生する映像再生手段と、前記映像に基づいて前記利用者により選択された操作を表す操作情報と、前記映像に付与されている時間情報に基づいて、収集される環境情報とを対応付けて記憶する情報記憶手段と、を有するものであり、
前記映像と、時刻を示す時刻情報とを対応付けて記憶する映像記憶手段と、
前記情報記憶手段から前記操作情報と前記環境情報を読み出し、前記操作情報と前記環境情報を用いて条件付確率計算を行い、最も確率値が大きい前記操作情報を実行する操作情報として推定し、推定した操作情報に対応付けられた前記環境情報の収集時刻を前記所望の動作を行わせるための推定制御実施時刻として推定する時刻推定手段と、
前記推定制御実施時刻と対応する実制御時刻を持つ操作情報が前記情報記憶手段に存在するか否か判定し、前記操作情報が存在する場合は当該操作情報の操作内容が推定した前記実行する操作情報の操作内容と同一であるか否か判定し、同一であった場合に前記確率値が所定の閾値よりも小さいときは、前記推定制御実施時刻は前記利用者に対して映像を再生する時刻として適切であると判定する時刻判定手段と、
前記時刻判定手段が適切であると判定したときに、前記推定実施制御時刻を含む時刻情報と対応付けられた前記映像を前記映像記憶手段から抽出し、前記映像再生手段に再生させる映像抽出手段と、
を有することを特徴とする操作履歴蓄積用再生映像抽出装置。
【請求項２】
特定の状況において、利用者が所望する動作をサービス提供装置に実行させるために、当該利用者が前記サービス提供装置に対して行った操作を監視し、その操作履歴を蓄積する操作履歴蓄積装置に用いられ、前記利用者に操作の選択を行わせる際に再生する映像を抽出する操作履歴蓄積用再生映像抽出方法であって、
前記操作履歴蓄積装置は、前記利用者に対して、時間を表す時間情報と対応付けられ、且つ前記特定の状況を表す映像を再生する映像再生手段と、前記映像に基づいて前記利用者により選択された操作を表す操作情報と、前記映像に付与されている時間情報に基づいて、収集される環境情報とを対応付けて記憶する情報記憶手段と、を有するものであり、
時刻推定手段による、前記情報記憶手段から前記操作情報と前記環境情報を読み出し、前記操作情報と前記環境情報を用いて条件付確率計算を行い、最も確率値が大きい前記操作情報を実行する操作情報として推定し、推定した操作情報に対応付けられた前記環境情報の収集時刻を前記所望の動作を行わせるための推定制御実施時刻として推定する時刻推定工程と、
時刻判定手段による、前記推定制御実施時刻と対応する実制御時刻を持つ操作情報が前記情報記憶手段に存在するか否か判定し、前記操作情報が存在する場合は当該操作情報の操作内容が推定した前記実行する操作情報の操作内容と同一であるか否か判定し、同一であった場合に前記確率値が所定の閾値よりも小さいときは、前記推定制御実施時刻は前記利用者に対して映像を再生する時刻として適切であると判定する時刻判定工程と、
前記映像抽出手段による、前記時刻判定工程において前記推定実施時刻が適切であると判定したときに、前記推定実施時刻を含む時刻情報と対応付けられた前記映像を、映像と時刻を示す時刻情報とを対応付けて記憶する映像記憶手段から抽出し、前記映像再生手段に再生させる映像抽出工程と、
を有することを特徴とする操作履歴蓄積用再生映像抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者の行動や操作を監視し、その操作履歴を蓄積していくことで、ある状況において利用者が必要とする制御内容を操作履歴に基づいて決定し、サービス提供装置を自動制御するための操作履歴蓄積装置及び操作履歴蓄積方法と、前記の操作履歴を蓄積する際に用いる再生画像を抽出するための操作履歴蓄積用再生画像抽出装置及び操作履歴蓄積用再生画像抽出方法に関する。
【背景技術】
【０００２】
従来、サービスを提供する装置（以下、“サービス提供装置”と呼称する）の自動制御方法としては、利用者の行動や操作を監視し、その操作履歴を蓄積していくことで、ある状況において利用者が必要する制御内容を操作履歴に基づいて決定し、サービス提供装置を自動制御する制御方法が提案されている（例えば、非特許文献１及び２参照）。
【０００３】
上記の非特許文献１及び２などに記載の技術は、利用者がサービス提供装置に対して行った操作を、利用している全てのサービス提供装置が監視対象としている環境情報と関連付けて蓄積していくことで、以降、様々な環境情報の変化に応じて、利用者の操作履歴に基づいて複数のサービス提供装置を同時に制御するものである。
【０００４】
例えば、普段、利用者が入室した際に、照明を点けるという操作を繰り返し行っている場合、環境情報として「利用者の入室」と、照明に関するサービス提供装置における制御内容である「照明を点灯すること」とを関連付けて蓄積していくことで、「利用者が入室する」という環境情報の変化が生じると、「照明を点灯する」という制御内容が自動的に実行されるようになる。
【非特許文献１】小林、小河原、依田、「ユーザの制御履歴を用いたコンテキストアウェアサービス制御方式の提案」、電子情報通信学会ソサエティ大会、２００４年９月。
【非特許文献２】小林、小河原、依田、「ユーザ操作履歴を用いた複数サービスの統括的制御システム」、電子情報通信学会テレコミュニケーションマネージメント研究会、２００５年１月。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような利用者の操作履歴に基づいたサービス制御装置では、主に実時間における利用者の行動や操作に関する情報を操作履歴として蓄積しているが、利用者が必要とする制御を実時間における操作として蓄積させることができない場合がある。以下、その例を示す。
【０００６】
まず、利用者がその場所に居ないときにサービス提供装置に必要となる制御情報を蓄積させる場合が挙げられる。
【０００７】
また、サービス終了後など、後から利用者がサービス提供装置に対して必要となる制御内容の判断ができるような制御情報を蓄積させる場合が挙げられる。
【０００８】
また、緊急事態のように、普段起こらない状況に対して、利用者が必要とする制御情報を蓄積させる場面が挙げられる。
【０００９】
また、利用者が照明器具を消し忘れて外出したことを、外出先から戻ってきた際に気付き、外出中に照明器具を自動的に消灯するような制御を、実時間における利用者の操作で操作履歴を蓄積しようとしても、利用者が家に居る状況では、利用者が居ない場合に必要となる制御として、照明器具を自動消灯するような制御情報を蓄積することができない。
【００１０】
また、電話の着信制御に対して、利用者の通話終了後に、現在の状況における、その発信相手による電話の着信方法を変えるような制御情報を蓄積しようとしても、通話終了後の実時間の利用者の操作では、その電話に関して利用者に必要となる着信制御情報を蓄積することができない。
【００１１】
さらに、火災や他人の侵入といった緊急事態などにサイレンやフラッシュライトの自動制御、設定連絡先への自動通報などといった利用者が必要とする制御情報を蓄積しようとしても、想定している状況の発生確率が低い場合は、実時間において、利用者の指示操作により操作履歴を蓄積することができない。
【００１２】
なお、上記のような問題に対しては、利用者が事前や事後に別途、各状況におけるサービスの制御内容（制御条件）を細かくひとつひとつ設定することで対処することも考えられるが、サービス制御装置の状況識別として用いている、全てのサービス提供装置が監視対象としている環境情報の集合を表示したとしても、利用者は容易にその状況を認識できないと考えられる。
【００１３】
また、通常、環境情報は、センサ機器やサービス提供装置により独自の形式を有するため、利用者がその環境情報が何を示しているかを理解するには困難が伴う。
【００１４】
さらに、利用者が制限条件を設定するにあたっては、環境情報の集合が複雑になり、サービス提供装置の制御内容の数が膨大となると、制御条件をひとつひとつ設定していくことは現実にそぐわないばかりか、状況の認識が容易ではないため、利用者にとってそれほど重要な状況や緊急事態でもない状況に対しても制御条件の設定を行わなければならないこととなる。
【００１５】
また、外出中に利用者が必要とする制御情報を蓄積することができない問題に対しては、遠隔地からリモート制御することで、そのリモート制御情報を蓄積する方法も考えられるが、その場面にて利用者が制御を必要とすることを意識できない場合は、やはり利用者が必要とする制御情報を実時間において蓄積させることはできない。
【００１６】
また、従来のサービス制御装置では、蓄積された操作履歴に基づいて、サービス提供装置に対してどのような自動制御が行われるかを容易に確認することができないため、操作履歴の蓄積進度やある状況にて利用者が意図する制御と操作履歴に基づく自動制御との間に不一致があるかどうかを事前に確認することができない。
【００１７】
そこで、上記の従来技術のように、利用者が必要とする制御情報を実時間において蓄積させることができない場合に、利用者がその状況を容易に認識しながら、利用者が必要とする制御情報を蓄積可能にし、実行される制御の内容を状況と合わせて容易に確認可能にすることができる装置の提案が切望されていた。
【００１８】
本発明は、上記に鑑みてなされたもので、その目的としては、利用者が必要とする制御情報を実時間において蓄積させることができない場合に、利用者がその状況を容易に認識しながら、利用者が必要とする制御情報を蓄積可能にし、実行される制御の内容を状況と合わせて容易に確認可能にすることができる操作履歴蓄積用再生映像抽出装置、操作履歴蓄積用再生映像抽出方法、操作履歴蓄積装置及び操作履歴蓄積方法を提供することにある。
【課題を解決するための手段】
【００１９】
請求項１記載の発明は、上記課題を解決するため、特定の状況において、利用者が所望する動作をサービス提供装置に実行させるために、当該利用者が前記サービス提供装置に対して行った操作を監視し、その操作履歴を蓄積する操作履歴蓄積装置に用いられ、前記利用者に操作の選択を行わせる際に再生する映像を抽出する操作履歴蓄積用再生映像抽出装置であって、前記操作履歴蓄積装置は、前記利用者に対して、時間を表す時間情報と対応付けられ、且つ前記特定の状況を表す映像を再生する映像再生手段と、前記映像に基づいて前記利用者により選択された操作を表す操作情報と、前記映像に付与されている時間情報に基づいて、収集される環境情報とを対応付けて記憶する情報記憶手段と、を有するものであり、前記映像と、時刻を示す時刻情報とを対応付けて記憶する映像記憶手段と、前記情報記憶手段から前記操作情報と前記環境情報を読み出し、前記操作情報と前記環境情報を用いて条件付確率計算を行い、最も確率値が大きい前記操作情報を実行する操作情報として推定し、推定した操作情報に対応付けられた前記環境情報の収集時刻を前記所望の動作を行わせるための推定制御実施時刻として推定する時刻推定手段と、前記推定制御実施時刻と対応する実制御時刻を持つ操作情報が前記情報記憶手段に存在するか否か判定し、前記操作情報が存在する場合は当該操作情報の操作内容が推定した前記実行する操作情報の操作内容と同一であるか否か判定し、同一であった場合に前記確率値が所定の閾値よりも小さいときは、前記推定制御実施時刻は前記利用者に対して映像を再生する時刻として適切であると判定する時刻判定手段と、前記時刻判定手段が適切であると判定したときに、前記推定実施制御時刻を含む時刻情報と対応付けられた前記映像を前記映像記憶手段から抽出し、前記映像再生手段に再生させる映像抽出手段と、を有することを要旨とする。
【００２０】
請求項２記載の発明は、上記課題を解決するため、特定の状況において、利用者が所望する動作をサービス提供装置に実行させるために、当該利用者が前記サービス提供装置に対して行った操作を監視し、その操作履歴を蓄積する操作履歴蓄積装置に用いられ、前記利用者に操作の選択を行わせる際に再生する映像を抽出する操作履歴蓄積用再生映像抽出方法であって、前記操作履歴蓄積装置は、前記利用者に対して、時間を表す時間情報と対応付けられ、且つ前記特定の状況を表す映像を再生する映像再生手段と、前記映像に基づいて前記利用者により選択された操作を表す操作情報と、前記映像に付与されている時間情報に基づいて、収集される環境情報とを対応付けて記憶する情報記憶手段と、を有するものであり、時刻推定手段による、前記情報記憶手段から前記操作情報と前記環境情報を読み出し、前記操作情報と前記環境情報を用いて条件付確率計算を行い、最も確率値が大きい前記操作情報を実行する操作情報として推定し、推定した操作情報に対応付けられた前記環境情報の収集時刻を前記所望の動作を行わせるための推定制御実施時刻として推定する時刻推定工程と、時刻判定手段による、前記推定制御実施時刻と対応する実制御時刻を持つ操作情報が前記情報記憶手段に存在するか否か判定し、前記操作情報が存在する場合は当該操作情報の操作内容が推定した前記実行する操作情報の操作内容と同一であるか否か判定し、同一であった場合に前記確率値が所定の閾値よりも小さいときは、前記推定制御実施時刻は前記利用者に対して映像を再生する時刻として適切であると判定する時刻判定工程と、前記映像抽出手段による、前記時刻判定工程において前記推定実施時刻が適切であると判定したときに、前記推定実施時刻を含む時刻情報と対応付けられた前記映像を、映像と時刻を示す時刻情報とを対応付けて記憶する映像記憶手段から抽出し、前記映像再生手段に再生させる映像抽出工程と、を有することを要旨とする。
【発明の効果】
【００２３】
本発明によれば、利用者が必要とする制御情報を実時間において蓄積させることができない場合に、利用者がその状況を容易に認識しながら、利用者が必要とする制御情報を蓄積可能にし、実行される制御の内容を状況と合わせて容易に確認可能となる。
【００２４】
また、利用者が必要とする映像を自動的に抽出して再生することで、利用者が注目している環境情報の変化があった状況に対してのみ操作履歴を追加したり、システムによる制御内容の推定が曖昧である場合において操作履歴の追加を促すことが可能になる。
【００２５】
さらに、利用者による操作履歴の変更や追加が必要な部分のみの映像を再生させることができるため、操作履歴の蓄積に要する時間を短縮させることができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施例について説明するが、これらの実施例は、あくまでも本発明の説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であれば、これらの各要素又は全要素を含んだ各種の実施例を採用することが可能であるが、これらの実施例も本発明の範囲に含まれる。
【実施例１】
【００２７】
本発明の実施例１に係る操作履歴蓄積装置は、非実時間のおける操作履歴蓄積処理を行うためのものであり、利用者のサービス提供装置に対する行動や操作を監視し、その履歴（以下、“操作履歴”と呼称する）を蓄積するためのものである。
【００２８】
上記の操作履歴を蓄積するに際には、実時間において、音声、映像、写真等の様々な情報から生成されるアバタ映像や描写図といった利用者が通常、視聴覚を通じて状況を容易に認識できるような映像情報を時刻を示す時間情報とともに常時蓄積する。
【００２９】
また、様々なセンサ機器から取得される環境情報（時間情報を含む）を常時蓄積する。
【００３０】
そして、非実時間において、利用者が蓄積された映像情報を視聴しながら状況を認識し、その状況において利用者が必要とする制御内容の選択に関する操作を行った際に、その時間情報に基づいて、蓄積されている環境情報を収集し、非実時間において利用者が選択した制御内容に対して、それらの情報を関連付けて操作履歴として蓄積し、サービス提供装置に送信する。
【００３１】
なお、利用者は、前記のとおり映像情報を視聴しながら状況を認識するため、この利用者は容易に状況認識を行うことができる。
【００３２】
また、実時間及び非実時間において利用者が必要とする制御情報を蓄積する操作を行った後に、ある時刻における状況に収集されている環境情報と、更新された利用者の操作履歴情報に基づいて、その状況にて実行される制御内容を利用者に表示する。
【００３３】
以下、上記の処理の詳細について説明する。
【００３４】
図１に示すように、本発明の実施例１に係る操作履歴蓄積装置１は、操作履歴の蓄積管理を行う蓄積管理装置２、操作履歴を蓄積するとともに、後述するサービス提供装置の制御を行うサービス制御装置４等からなる。
【００３５】
実時間において、カメラやマイクロフオンといった映像・音声受信機３を介して視聴覚情報を収集し、時刻を示す時間情報とともに蓄積する。
【００３６】
また、この操作履歴蓄積装置１は、様々なセンサから取得される環境情報や利用者の行動や操作に関する情報、サービス制御装置４が利用者５の操作履歴に基づいて実行した自動制御に関する情報を時間情報とともに蓄積する。
【００３７】
そして、非実時間において、利用者５が蓄積された映像情報を視聴しながら状況を認識し、その状況において利用者が必要とする制御の蓄積に関する操作を行った際に、その時刻による時間情報に基づいて、蓄積されている環境情報を収集し、非実時間において利用者が行った操作とともに、サービス制御装置４に通知することで、非実時間において利用者の必要とする制御情報を蓄積する。
【００３８】
また、利用者が蓄積された映像情報を視聴しながら状況を認識し、ある状況においてサービス制御装置により実行される制御内容の確認に関する操作を行った際に、その時刻による時間情報に基づいて、蓄積されている環境情報を収集し、サービス制御装置４に通知することで、環境情報と蓄積されている利用者の操作履歴に基づいて決定される制御内容を、その状況において実行される制御内容として利用者５に表示する。
【００３９】
また、図２に示すように、蓄積管理装置２が備える映像・音声処理部２１は、複数の機器（映像・音声受信機３等）から取得できる音声や映像、写真などから映像情報を生成したり、取得された映像や音声をそのまま蓄積するだけでなく、プライバシー保護のために動画像に対して利用者の判別ができる程度にモザイクをかけたり、動画像を静止画に変換して蓄積することもできる。
【００４０】
また、特徴抽出によるアバタ（Avatar）映像への変換や、描画図への変換することもできる。さらに、利用方法に応じて、利用者が外出中や睡眠中の場合にのみ記録するように設定することも可能である。
【００４１】
なお、上記の映像情報は映像情報記憶部２２に、操作履歴情報は操作履歴記憶部４１に、環境情報は環境情報記憶部２３にデータベース形式で記憶される。なお、
図３（ａ）は、上記の映像情報の一例（映像ファイルの場合）を示す図であり、図３（ｂ）は、環境情報の一例を示す図である。
【００４２】
また、図４（ａ）は、操作履歴情報の一例（電話サービスを前提とし、蓄積された環境情報に関する情報）を示す図であり、図４（ｂ）は操作履歴情報（照明サービスを前提とし、利用者が実際に行った制御内容に関する情報）を示す図である。
【００４３】
図５は、上記の蓄積管理装置２による自動制御の確認処理を示す図である。
【００４４】
まず、利用者５に状況を容易に認識させるために蓄積された映像情報を再生・表示する（ステップＳ５１）。
【００４５】
次に、ある場面において、利用者５が必要とする制御情報を蓄積する操作や、利用者５がサービス制御装置４に対して制御内容の確認操作要求を行うと（ステップＳ５２）、利用者５の要求が、必要とする制御情報を蓄積する操作である判断された場合（ステップＳ５３）、時間情報に基づいて蓄積されている環境情報を収集し（ステップＳ５４）、利用者５の情報及び制御内容を含むサービス種別に基づいて、収集した環境情報と非実時間において利用者５が選択した制御内容を関連付け、操作履歴記憶部４１に蓄積する（ステップＳ５５）。
【００４６】
一方、利用者５の要求が、サービス提供装置に対して実行される制御内容の確認をする操作や操作履歴の蓄積進度を確認する操作と判断された場合（ステップＳ５６）、時間情報に基づいて蓄積されている環境情報を収集し（ステップＳ５７）、利用者５の情報及び制御内容を確認するためのサービス種別に基づいて履歴情報を取得し、収集された環境情報と履歴情報から制御内容を決定し（ステップＳ５８）、利用者５に、その時刻における状況において実行される制御内容を通知する（ステップＳ５９）。
【００４７】
次に、上記の処理を行う際の状況について説明する。
【００４８】
例えば、利用者５が照明器具を消し忘れて外出したことを、外出先から戻ってきてから気付いた場合、利用者５は、蓄積管理装置２を利用することで、蓄積されている部屋の様子の映像を視聴し、利用者５が外出している場面において、照明器具を消すという操作を行うことで、「利用者５が外出中である」という環境情報と、「照明器具を消す」という制御情報とを関連付けて蓄積することができる。
【００４９】
また、他の例として、ＴＶ等を視聴している際、電話に着信があり、発信者が利用者５の好まない相手であると後から判断がついたような場合、電話通話終了後に、蓄積管理装置２を用いることで、蓄積されている映像を視聴しながら、電話が着信している場面において、電話を留守番電話に切り替えるという操作を行うことで、「ＴＶのコンテンツのジャンル」や「電話の発信者」などという、その状況にて収集された様々な環境情報と「着信した電話を留守番電話に切り替える」という制御情報とを関連付けて蓄積することができる。
【００５０】
このように蓄積管理装置２によれば、環境情報と、利用者５が必要とする制御情報とが関連付けられた操作履歴をサービス制御装置４に蓄積させることができる。
【００５１】
また、利用者５は、蓄積管理装置２を利用することで、上記のように蓄積された操作履歴に基づいて、それぞれの状況において、利用者が必要とする制御が実行されるかを、再度、蓄積されている映像を視聴しながら確認することができる。
【００５２】
図６は、図１に示した操作履歴蓄積装置１の構成の詳細を示す図である。
【００５３】
図１に示した蓄積管理装置２は、映像・音声処理部２１、映像情報記憶部２２、環境情報記憶部２３、再生・表示部２４、操作要求部２５、制御内容確認部２６及び非実時間蓄積部２７からなる。
【００５４】
また、同じく図１に示したサービス制御装置４は、操作履歴記憶部４１、制御内容決定部４２及び制御内容蓄積部４３からなり、複数個のサービス提供装置６ａから６ｘを制御する。なお、以降の説明においては、適宜前記のサービス提供装置６ａから６ｘを“サービス提供装置６”と総称する。
【００５５】
上記の蓄積管理装置２、サービス制御装置４、サービス提供装置６は、ネットワークによりデータの送受信が可能であり、互いに離隔して配置することが可能である。
【００５６】
映像・音声処理部２１は、映像・音声受信機３からの視聴覚情報に基づく映像情報を時間情報とともに映像情報記憶部２２に蓄積する。
【００５７】
また、利用者５の設定等に基づいて動画像を静止画に変換し、利用者の特徴を抽出して、アバタ映像や描画図に変換する。
【００５８】
再生・表示部２４は、蓄積された映像情報を利用者５に対して再生・表示する。
【００５９】
また、操作要求部２５からの要求に応じて、再生中もしくは表示中の映像情報に関する時間情報を通知する。
【００６０】
操作要求部２５は、非実時間において、利用者５が必要とする制御情報の蓄積及び制御内容の確認に関する要求を受け付ける。
【００６１】
また、緊急事態等において、利用者５が必要とする制御情報の蓄積及び制御内容の確認に関する要求を受け付ける際、想定する緊急事態が複数ある場合は利用者５の選択を受け付ける。
【００６２】
また、利用者５が制御内容の確認を要求した場合、再生・表示部２４から当該時刻における時間情報を取得し、その時間情報と、利用者の情報及び制御内容を確認するためのサービス種別（さらに緊急事態における制御内容の確認要求の際には利用者が選択した緊急事態の識別子）を制御内容確認部２６に通知する。
【００６３】
また、制御内容確認部２６から受け取った制御内容を利用者５に対して表示する。
【００６４】
また、利用者５が制御情報の蓄積を要求した場合、再生・表示部２４から当該時刻における時間情報を取得し、その時間情報と、利用者の情報及び制御内容を蓄積するサービス種別（さらに緊急事態における制御の蓄積要求の際には利用者が選択した緊急事態の識別子）を利用者が選択した制御内容とともに非実時間蓄積部２７に通知する。
【００６５】
制御内容確認部２６は、操作要求部２５から受け取った時間情報に基づいて、環境情報記憶部２３から環境情報を収集し、その環境情報を利用者５の情報及び制御内容を確認するためのサービス種別とともに制御内容決定部４２に通知する。
【００６６】
また、制御内容決定部４２により決定された制御内容を受け取り、操作要求部２５に通知する。
【００６７】
非実時間蓄積部２７は、操作要求部２５から受け取った時間情報に基づいて、環境情報記憶部２３から環境情報を収集し、その環境情報と、利用者５の情報及び制御内容を含むサービス種別を、非実時間において利用者５が選択した制御内容とともに、制御内容蓄積部４３に通知する。
【００６８】
制御内容決定部４２は、受け取った環境情報と操作履歴記憶部４１に記憶された利用者５の履歴情報に基づいて、サービス提供装置６に対する制御内容を決定する。
【００６９】
また、実時間においてサービス提供装置６から収集する環境情報を時刻を示す時間情報とともに環境情報記憶部２３に蓄積する。
【００７０】
制御内容蓄積部４３は、利用者５がサービス提供装置に対して選択した制御内容と収集した環境情報とを関連付けて操作履歴記憶部４０２cに蓄積する。
【００７１】
以下、図７を参照しつつ、上記の制御情報の蓄積処理の詳細について説明する。
【００７２】
まず、利用者５は、非実時間において、蓄積されている映像情報を視聴し（ステップＳ７０１）、この際に、ある場面において、サービス提供装置に対する制御が必要であると判断した場合、制御情報の蓄積要求を操作要求部２５に通知する（ステップＳ７０２）。
【００７３】
操作要求部２５は、制御情報の蓄積要求の通知を受け取ると、その場面における時間情報を再生・表示部２４から取得する（ステップＳ７０３）。
【００７４】
操作要求部２５は、時間情報と、利用者の情報及び制御内容を含むサービス種別を、利用者５が選択した制御内容とともに非実時間蓄積部２７に通知する（ステップＳ７０４）。
【００７５】
非実時間蓄積部２７は、受け取った時間情報に基づいて環境情報記憶部２３から環境情報を取得し（ステップＳ７０５）、その環境情報、利用者５の情報、サービス種別と利用者５が選択した制御内容を制御内容蓄積部４３に通知する（ステップＳ７０６）。
【００７６】
制御内容蓄積部４３は、通知された利用者５の選択制御内容と環境情報とを関連付けて蓄積し、操作履歴記憶部４１に記憶された内容を更新する（ステップＳ７０７）。
【００７７】
次に、図８を参照しつつ、ある時刻・状況おいて、図７の処理により蓄積された操作履歴に基づいて行われる制御の内容を利用者５が事前に確認する際の処理について説明する。
【００７８】
まず、利用者５は、ある状況においてサービス提供装置６に実行される制御の内容を確認する際、蓄積されている映像情報を視聴し（ステップＳ８０１）、制御内容の確認要求を操作要求部２５に通知する（ステップＳ８０２）。
【００７９】
操作要求部２５は、制御内容の確認要求を受け取ると、再生・表示部２４から、その場面における時間情報を取得する（ステップＳ８０３）し、その時間情報と、利用者５の情報及び制御内容を確認するためのサービス種別とを制御内容確認部２６に通知する（ステップＳ８０４）。
【００８０】
制御内容確認部２６は、受け取った時間情報に基づいて環境情報記憶部から環境情報を取得し（ステップＳ８０５）、環境情報、利用者情報、サービス種別を制御内容決定部４２に通知し、制御内容決定要求を行う（ステップＳ８０６）。
【００８１】
制御内容決定部４２は、さらに操作履歴記憶部４１から利用者５の操作履歴を取得し（ステップＳ８０７）、取得した情報に基づいてサービス提供装置６の制御内容を決定し、この制御内容を制御内容確認部２６に通知する（ステップＳ８０８）。
【００８２】
制御内容確認部２６は、受け取った制御内容が利用者５の確認要求と合致しているかを確認し、これを操作要求部２５に通知する（ステップＳ８０９）。
【００８３】
操作要求部２５は、制御内容確認部２６から受け取った制御内容を利用者５に対して表示する（ステップＳ８１０）。
【００８４】
以下、図９を参照しつつ、想定している状況の発生確率が低い場合や、サービス提供装置が実時間において制御される機会が少ない場合の制御情報蓄積処理の詳細について説明する。
【００８５】
まず、利用者５は、非実時間において、蓄積されている映像情報を視聴し（ステップＳ９０１）、緊急事態など発生確率が低い状況に関する設定処理を要求する（ステップＳ９０２）。次に、利用者５は、状況（緊急事態の種別）と、この状況下で必要とする動作を選択し、制御情報の蓄積要求を操作要求部２５に通知する（ステップＳ９０３）。
【００８６】
操作要求部２５は、制御情報の蓄積要求を受け取ると、その場面における時間情報を再生・表示部２４から取得し（ステップＳ９０４）、その時間情報と、利用者の情報及び制御内容を含むサービス種別と、さら利用者５がステップＳ９０３で選択した緊急事態の識別子を、利用者５が選択した制御内容とともに非実時間蓄積部２７に通知する（ステップＳ９０５）。
【００８７】
非実時間蓄積部２７は、受け取った時間情報に基づいて環境情報記憶部２３から環境情報を取得し（ステップＳ９０６）、その環境情報、利用者５の情報、サービス種別、利用者５が選択した制御内容と緊急事態の識別子を制御内容蓄積部４３に通知する（ステップＳ９０７）。
【００８８】
制御内容蓄積部４３は、通知された利用者５の選択制御内容を環境情報や緊急事態の識別子と関連付けて蓄積し、操作履歴記憶部４１に記憶された内容を更新する（ステップＳ９０８）。
【００８９】
次に、図１０を参照しつつ、図９の処理により蓄積された操作履歴に基づいて行われる制御の内容を利用者５が事前に確認する際の処理について説明する。
【００９０】
まず、利用者５は、非実時間において、蓄積されている映像情報を視聴し（ステップＳ１００１）、緊急事態など発生確率が低い状況において実行される制御内容の確認要求を行い（ステップＳ１００２）、選択した緊急事態の識別子を操作要求部２５に通知する（ステップＳ１００３）。
【００９１】
操作要求部２５は、制御内容の確認要求を受け取ると、その場面における時間情報を再生・表示部２４から取得（ステップＳ１００４）し、その時間情報と利用者５の情報及び制御内容を確認するためのサービス種別と、利用者がステップＳ１００３で選択した緊急事態の識別子とを制御内容確認部２６に通知する（ステップＳ１００５）。
【００９２】
制御内容確認部２６は、受け取った時間情報に基づいて環境情報記憶部２３から環境情報を取得し（ステップＳ１００６）、環境情報、利用者、サービス種別、利用者５が選択した制御内容、緊急事態の識別子を制御内容決定部４２に通知する（ステップＳ１００７）。
【００９３】
制御内容決定部４２は、さらに操作履歴記憶部４１から利用者５の操作履歴を取得し（ステップＳ１００８）、取得した情報に基づいてサービス提供装置６の制御内容を決定し、この制御内容を制御内容確認部２６に通知する（ステップＳ１００９）。
【００９４】
制御内容確認部２６は、受け取った制御内容が利用者５の確認要求と合致しているかを確認し、これを操作要求部２５に通知する（ステップＳ１０１０）。
【００９５】
操作要求部２５は、制御内容確認部２６から受け取った制御内容を利用者５に対して表示する（ステップＳ１０１１）。
【実施例２】
【００９６】
上記の実施例１では、非実時間において利用者５が操作履歴を蓄積する際に、蓄積されている映像を全て視聴しながら、操作履歴を蓄積するが、この場合、利用者による操作履歴の確認や変更・追加に時間を要する場合がある。
【００９７】
本実施例の再生映像抽出装置は、上記の時間を短縮するためのものであり、蓄積されている環境情報や操作履歴情報を用いて、利用者５に表示するべき映像を自動的に抽出する。
【００９８】
このように利用者５が必要とする映像を自動的に抽出して再生することで、利用者５が注目している環境情報の変化があった状況に対してのみ操作履歴を追加したり、システムによる制御内容の推定が曖昧である場合において操作履歴の追加を促すことが可能になる。
【００９９】
図１１は、本実施例に係る再生映像抽出装置７の構成図であり、この再生映像抽出装置７は、対象環境情報選択部７１と、図６の制御内容決定部４２と同様の機能を有する制御内容決定部７２と、映像再生時刻決定部７３と、再生映像抽出部７４とからなる。
【０１００】
対象環境情報記憶部７１は、以下の処理を行う。
【０１０１】
まず、利用者５に環境情報記憶部２３の内容を提示し、利用者５に非実時間における操作履歴の蓄積の対象となる環境情報を選択させる。なお、この際、環境情報記憶部２３の内容の全てを提示しなくとも、「温度」や「場所」、「発信者」といった種別のみを提示してもよい。その場合は利用者５には上記の項目を選択させる。
【０１０２】
次に、選択された環境情報または種別を表す情報に対応する日時と、これに対応する環境情報、つまり組み合わせを環境情報記憶部２３から抽出する。
【０１０３】
例えば、利用者が「場所」という種別を表す情報を選択した場合は、「場所」を含む日時と環境情報との組み合わせの全てを抽出する。
【０１０４】
次に、環境情報記憶部２３から抽出した環境情報に含まれる種別情報をすべて検索し、検索された種別情報に対応する日時と、環境情報との組み合わせを環境情報記憶部２３から抽出する。
【０１０５】
例えば、利用者５が「場所」という種別を表す情報を選択した場合は、日時と環境情報の組み合わせの１つとして「発信者」を含むものがあるため、「発信者」を含む日時と環境情報の組み合わせを全て抽出する。
【０１０６】
抽出された日時と環境情報の組み合わせについては、環境情報記憶部２３内に対象とする環境情報（以下、“対象環境情報”と呼称する）を記憶する領域を新たに設けてもよいし、環境情報に対象環境情情報として選択されたことを示す識別子を付してもよい。または、この環境情報が対象として選択された旨を制御内容決定部７２に通知する構成としてもよい。つまり、制御内容決定部７２が対象環境情報を判別できるようにすればよい。
【０１０７】
なお、この対象環境情報選択部７１は必須の構成要件ではなく、これを備えない構成とした場合は、環境情報記憶部２３に含まれる全ての環境情報を対象環境情報とする。
【０１０８】
制御内容決定部７２は、操作履歴記憶部４１に蓄積された環境情報に関する情報を取得し、これに基づいて、制御内容を決定し、その制御内容が行われた環境情報の収集時刻を制御を行うべき時刻として推定する。
【０１０９】
そして、推定された時刻（以下、この時刻を“推定制御時刻”と呼称する）と、決定された制御内容と、時刻を推定する際に得られた確率値（以下、“信頼値”と呼称する）を映像再生時刻決定部７３に通知する。
【０１１０】
なお、本処理は、制御内容、推定制御時刻及び信頼値の組み合わせを出力できるのであれば、どのような技術を用いてもよい。
【０１１１】
また、この制御内容決定部７２の処理の詳細については後述する。
【０１１２】
映像再生時刻決定部７３は、推定制御時刻が利用者５に映像を表示（再生）すべき時刻であるかどうかの判定を行い、これにより得られる再生対象時刻を出力する。
【０１１３】
再生映像抽出部７４は、再生対象時刻を含む、予め定められた時間帯の映像を映像情報記憶部２２から抽出する。
【０１１４】
なお、上記の時間帯は、任意に設定可であり、例えば、再生対象時刻と中心とする前後５秒の計１０秒間とすることができる。
【０１１５】
また、時間帯内に複数の再生対象時刻が含まれる場合は、最も早い再生対象時刻の前５秒から最も遅い再生対象時刻の後５秒までを抽出する時間区間とすればよく、その間にさらに別の再生対象時刻が含まれる場合は、さらに同様の手法で延長したものを時間帯とすればよい。
【０１１６】
以上のとおり、本実施例に係る再生映像抽出装置７は、利用者５による操作履歴の変更や追加が必要な部分のみの映像を再生させることができるため、操作履歴の蓄積に要する時間を短縮させることができる。
【０１１７】
以下、上記の制御内容決定部７２の処理の詳細について説明する、この制御内容決定部７２の機能は、図６の制御内容決定部と同様であり、ある状況（時刻）において収集した環境情報と、操作履歴に基づいて、条件付確率計算などを行い、各制御内容に対して計算される確半値を導出し、比較することで、その状況において、サービス提供装置６において最も適切であると判定できる制御内容を決定する。
【０１１８】
なお、この制御内容決定部７２（３２）においては、推定制御内容、信頼値及び推定制御時刻の組み合わせを生成できるのであれば、どのような技術を用いてもよいが、例えば、下記の処理を行う構成とすることができる。
【０１１９】
以下、制御内容決定部７２の処理（ステップＳ１２０３）は、図１２に示すように、制御内容の登録、環境情報の設定（ステップＳ１２０１）、環境情報の収集（ステップＳ１２０２）が実行された後に行われ、制御内容が決定されると、この制御内容と環境情報とが関連付けられた状態で操作履歴記憶部４１に蓄積される（ステップＳ１２０４）。
【０１２０】
上記のステップ１２０３では、図１３に示すように、制御内容決定部７２は、収集した情報を用いて、サービス提供装置６のそれぞれにおいて最適な制御内容を推定する（ステップＳ１２０３ａ）。
【０１２１】
そして、推定した制御内容が有効か否かを判定し（ステップＳ１２０３ｂ）、有効である場合は、推定した制御内容によるサービス提供装置６の制御を実行する（ステップＳ１２０３ｃ）。
【０１２２】
また、サービス提供装置６に対して行った制御が適切であったか否かを判定し（ステップＳ１２０３ｄ）、適切であった場合は、推定した制御内容と環境情報との対応関係が履歴して蓄積される（ステップＳ１２０４ａ）。
【０１２３】
また、ステップＳ１２０３ｄでは、制御を行った後、利用者５により再制御が行われたか否かを判定する。そして、再制御が行われなかった場合、上記のステップ１２０４ａの処理が行われる。
【０１２４】
また、前記のステップＳ１２０３ｄにおいて、サービス提供装置６に対して行った制御が適切ではなかった場合、言い換えると、推定した制御を行った後、利用者５により再制御が行われた場合は、推定した制御内容ではなく、再制御の制御内容と前記環境情報の対応関係を履歴として蓄積する（ステップＳ１２０４ｂ）。
【０１２５】
また、前記のステップＳ１２０３ｂにおいて、推定した制御内容が無効である場合は、利用者５がサービス提供装置６に対して行った制御内容を取得し（ステップＳ１２０３ｅ）、取得した制御内容と環境情報とを対応付け、履歴として蓄積する（ステップＳ１２０４ｃ）。
【０１２６】
なお、前記の制御内容を推定する際には、例えば、ベイズ理論（渡部洋著、「ベイズ統計学入門」、福村出版、p.２４-３０を参照。）が用いられる。
【０１２７】
上記のベイズ理論を用いて制御内容を推定する場合、履歴には、例えば、図１４に示すように、制御内容と、制御内容による制御を行った際の各環境情報の出現回数及び各制御内容を実行した回数の対応関係を蓄積しておく。図１４に示した例では、サービス提供装置６に対して制御内容１の制御を４回行っており、環境情報１、環境情報２、環境情報３、環境情報４の出現回数がそれぞれ２回、４回、０回、１回出現している。
【０１２８】
サービス制御装置４が、図１４に示したような履歴を保持している際に、サービス提供装置６に対して制御を行うための環境情報を収集した結果、例えば、図１４に示したように、環境情報１、環境情報２、環境情報４に対応する情報が存在し、収集されたとする。
【０１２９】
この際、制御内容１、制御内容２、制御内容３、制御内容４をそれぞれTYPE1、TYPE2、TYPE3、TYPE4とし、環境情報１、環境情報２、環境情報３、環境情報４をそれぞれSCENE(i)（i=1,2,3,4）とすると、ベイズ理論を用いた推定方法では、Ｐ(TYPE1|{SCENE(i)})，Ｐ(TYPE2|{SCENE(i)})，Ｐ(TYPE3|{SCENE(i)})，Ｐ(TYPE4|{SCENE(i)}）を求める。そして、確率値が最も商いＰ(TYPE(j)|{SCENE(i)}）（jは1,2,3,4のいずれか）の制御内容(TYPE(j))を最適な制御内容とする。
【０１３０】
この際、Ｐ(TYPE1|{SCENE(i)})は、下記数式１から求める。
【数１】
0004602206.tif 000002
【０１３１】
数式１において、Ｐ({SCENE(i)}|TYPE1)はそれぞれ、制御内容１を実行した際の各環境情報の出現頻度、Ｐ(TYPE1)は制御内容１の事前確率である。
【０１３２】
数式１において、各環境情報の出現頻度Ｐ({SCENE3}|TYPE1)は、下記数式２のように求められる。
【数２】
0004602206.tif 000003
【０１３３】
なお、環境情報３の出現頻度Ｐ({SCENE3}|TYPE1)に関しては、実際には、出現回数が０なので出現頻度Ｐ({SCENE3}|TYPE1)は０となるが、０とすると数式１が０となってしまう。そのため、出現回数が０の場合は、数式２のように、非常に小さい値ｄとする。
【０１３４】
また、制御内容１の事前確率Ｐ(TYPE1)は、例えば、各制御内容の実行回数を用いて、下記数式３のように求める。
【数３】
0004602206.tif 000004
【０１３５】
数式２で求めた各環境情報の出現頻度P({SCENE(i)}|TYPE1)及び数式３で求めた事前確率Ｐ(TYPE1)を数式１に代入するとＰ(TYPE1|{SCENE(i)})式４のようになる。
【数４】
0004602206.tif 000005
【０１３６】
以下、詳細な説明は省略するが、制御内容２乃至制御内容４に関するＰ(TYPE(j)|{SCENE(i)})（j=2,3,4）を、同様の手順で求めると、下記数式５のようになる。
【数５】
0004602206.tif 000006
【０１３７】
こうして、各制御内容のＰ(TYPE(j)|{SCENE(i)})（j=1,2,3,4）を求めた後、それぞれの確率値の大きさを比較し、最も確率値が大きい制御内容を、今回実行する制御内容として推定する。この際、Oの代わりに用いる微小な値ｄを、例えば、０．０１（１０-２）とすれば、Ｐ(TYPE(j)|{SCENE(i)})（j=1,2,3,4）は、下記数式６のようになる。
【数６】
0004602206.tif 000007
【０１３８】
そして、数式６に示した各P(TYPE(j)|{SCENE(i)})（j=1,2,3,4）を下記数式７のように規格化することで、各P(TYPE(j)|{SCENE(i)})（j=1,2,3,4）の値（確率値）が得られる。
【数７】
0004602206.tif 000008
【０１３９】
数式７の結果では、P(TYPE3)|{SCENE(i)})の値（確率値）が最も大きい。つまり、図３に示したような例では、最適な制御内容は制御内容３と推定される。そして、推定された制御内容３の確制度P(TYPE3)|{SCENE(i)})が、予め定められた開値よりも大きければ、サービス制御装置４は、サービス提供装置６に対して制御内容３の制御を実行させる。この際、制御内容３の制御が適切な制御であれば、図１５に示すように、今回収集された環境情報を制御内容３と関連づけられた環境情報の出現回数に加えて更新する。
【０１４０】
また、詳細な説明は省略するが、例えば、数式７の結果のように、制御内容３の確制直各P(TYPE3|{SCENE(i)})が最も大きく、最適な制御内容と推定され、サービス提供装置６に制御内容３の制御を実行させた結果、利用者５が別の制御内容、例えば、制御内容１でサービス提供装置６を再制御した場合、サービス制御装置４は、図１５に示したような履歴において、制御内容３ではなく、制御内容１の環境情報の出現回数を更新する。
【０１４１】
また、前述のような手順で確率値を算出した結果、最大の確率値が聞値よりも小さい場合は、例えば、利用者５に制御内容を選択、決定させる。この際、例えば、利用者５が制御内容２の制御を選択したとすれば、サービス制御装置４は、図１５に示したような履歴において、制御内容２の環境情報の出現回数を更新する。
【０１４２】
なお、図１４では、制御内容が４つ、環境情報が４つの場合を例に挙げたが、これに限らず、さらに多くの制御内容及び環境情報がある場合も、前述の手順と同様の手順で各制御内容の確率値を求め、最も確率値が高い制御内容を、サービス提供装置６の制御内容として推定すればよい。
【０１４３】
また、上記推定方法の説明では、数式２に示したような出現頻度Ｐ({SCENE(i)}|TYPE1)を用いて各制御内容１の確率値P(TYPE1)|{SCENE(i)})を算出したが、これに限らず、例えば、出現頻度Ｐ({SCENE(i)}|TYPE1)を規格化して用いてもよい。この規格化は、１つの環境情報における各制御内容の出現頻度を用いて行う。例えば、制御内容１における環境情報１の出現頻度Ｐ(SCENE1|TYPE1)を規格化する際には、下記数式８に示す４つの出現頻度を用いる。
【数８】
0004602206.tif 000009
【０１４４】
そして、数式８に示した４つの出現頻度を用いて制御内容１における環境情報１の出現頻度Ｐ(SCENE1|TYPE1)を規格化すると、下記数式９のようになる。
【数９】
0004602206.tif 000010
【０１４５】
繰り返しの説明は省略するが、他の出現頻度に関しても、同様の計算をして規格化し、数式４において規格化した出現頻度を代入し、確率値各P(TYPE(j)|{SCENE(i)}) を求めてもよい。
【０１４６】
次に、図１６を参照しつつ、上記の映像再生時刻決定部７３の処理の詳細について説明する。
【０１４７】
映像再生時刻決定部７３は、利用者５がサービス提供装置６に対して実際に行った制御の制御内容（以下、“実制御内容”と呼称する）と、制御を行った時刻（以下、“実制御時刻”と呼称する）との組み合わせを操作履歴記憶部４１から抽出する。
【０１４８】
実際に処理を行うになっては、まず、推定制御時刻と対応する実制御時刻か存在するか否かを判断し、対応する実制御時刻か存在する場合は、実制御内容と推定制御内容がと異なるか否かを判定し（ステップＳ１６０１）、両者が異なる場合は、ステップＳ１６０３に進み、両者が異ならない場合、つまり、両者が同一である場合はステップＳ１６０２に進む。
【０１４９】
一方、対応する実制御時刻が存在しない場合は、ステップＳ１６０３に進む。
【０１５０】
ステップＳ１６０２においては、推定制御内容の信頼値が予め設定された闇値よりも小であるか否かを判定し、閾値より小である場合は、ステップＳ１６０３に進み、閾値より小でない場合、つまり、閾値より大である場合は処理を終了する。
【０１５１】
また、ステップＳ１６０３においては、推定制御時刻を再生対象時刻として出力し、処理を終了する。
【０１５２】
なお、上記実施例１の蓄積管理装置２及びサービス制御装置４、実施例２の再生映像抽出装置７としては、ＣＰＵ（Central Processing Unit）、ハードディスクドライブ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、キーボード、マウス、ディスプレイ、フレキシブルディスクドライブ等を有したコンピュータを用いることができる。また、蓄積管理装置２、サービス制御装置４、再生映像抽出装置７を単一の構成とすることもできる。
【０１５３】
また、上記の操作履歴蓄積装置１等を用いる操作履歴蓄積方法と、さらに再生映像抽出装置７を用いる操作履歴蓄積用再生映像抽出方法の本発明の範囲に含まれる。
【０１５４】
以上のとおり、本発明によれば、利用者がその場所にいない場合や、サービス終了後に利用者がサービス提供装置に対して必要となる制御内容の判断がつく場面などに対して、非実時間においてサービス提供装置に利用者が必要となる制御を、容易に状況を認識しながら蓄積させることができるため、上記のような課題を解決するだけでなく、発生するする確率が低い緊急事態のような状況や制御する機会が少ないサービス提供装置などに対して、利用者が必要とする制御情報を蓄積することができる。
【０１５５】
さらに、操作履歴に基づいて実行される制御内容を、状況と合わせて容易に確認することができるため、操作履歴の蓄積進度や利用者が意図する制御と操作履歴に基づく自動制御との間に不一致があるかどうかを事前に確認することができる。
【０１５６】
そして、その状況において、何らかの理由により利用者が必要とする制御が実行されない場合などには、再度、その状況にて利用者が必要となる制御情報を蓄積することができる。
【０１５７】
また、利用者が必要とする映像を自動的に抽出して再生することで、利用者が注目している環境情報の変化があった状況に対してのみ操作履歴を追加したり、システムによる制御内容の推定が曖昧である場合において操作履歴の追加を促すことが可能になる。
【０１５８】
さらに、利用者による操作履歴の変更や追加が必要な部分のみの映像を再生させることができるため、操作履歴の蓄積に要する時間を短縮させることができる。
【図面の簡単な説明】
【０１５９】
【図１】本発明の第１の実施例に係る操作履歴蓄積装置による処理の概要を示す図である。
【図２】図１の処理の詳細を示す図である。
【図３】（ａ）は映像情報（映像ファイル）の履歴を示す図であり、（ｂ）は環境情報を示す図である。
【図４】（ａ）は操作履歴情報（蓄積された環境情報に関する情報）を示す図であり、（ｂ）は操作履歴情報（利用者が実際に行った制御内容に関する情報）を示す図である。
【図５】図１の操作履歴蓄積装置による自動制御の確認処理を示す図である。
【図６】図１の操作履歴蓄積装置の構成を示す図である。
【図７】図１の操作履歴蓄積装置による処理の一例を示す図である。
【図８】図１の操作履歴蓄積装置による処理の一例を示す図である。
【図９】図１の操作履歴蓄積装置による処理の一例を示す図である。
【図１０】図１の操作履歴蓄積装置による処理の一例を示す図である。
【図１１】本発明の第２の実施例に係る再生映像抽出装置の構成図である。
【図１２】図１１の制御内容決定部による処理を示す図である。
【図１３】図１２の処理の詳細を示す図である。
【図１４】図１１の映像抽出装置の履歴情報を示す図である。
【図１５】図１１の映像抽出装置の履歴情報を示す図である。
【図１６】図１１の映像再生時刻決定部による処理を示す図である。
【符号の説明】
【０１６０】
１    操作履歴蓄積装置
２    蓄積管理装置
３    映像・音声受信機
４    サービス制御装置
５    利用者
６    サービス提供装置
７    再生映像抽出装置
８    センサ
２１    映像・音声処理部
２２    映像情報記憶部
２３    環境情報記憶部
２４    再生・表示部
２５    操作要求部
２６    制御内容確認部
２７    非実時間蓄積部
４１    操作履歴記憶部
４２    制御内容決定部
４３    制御内容蓄積部
７１    対象環境情報選択部
７２    制御内容決定部
７３    映像再生時刻決定部
７４    再生映像抽出部
【図１】
0004602206.tif 000011
【図２】
0004602206.tif 000012
【図３】
0004602206.tif 000013
【図４】
0004602206.tif 000014
【図５】
0004602206.tif 000015
【図６】
0004602206.tif 000016
【図７】
0004602206.tif 000017
【図８】
0004602206.tif 000018
【図９】
0004602206.tif 000019
【図１０】
0004602206.tif 000020
【図１１】
0004602206.tif 000021
【図１２】
0004602206.tif 000022
【図１３】
0004602206.tif 000023
【図１４】
0004602206.tif 000024
【図１５】
0004602206.tif 000025
【図１６】
0004602206.tif 000026