(57)【要約】【課題】ユーザが遭遇するシーン（場面）を精度良く管理することのできる、シーン管理装置を提供する。【解決手段】基本センサユニットと拡張センサユニットから各場面の測定値の入力を受け、場面の順に、その場面で受付けた拡張センサユニットの測定値から、当該場面のカテゴリを特定する。また拡張センサユニットの測定値に基づいて特定された各場面のカテゴリと、基本センサユニットの測定値に基づいて特定された各場面のカテゴリとの対応関係を算出する。そしてカテゴリ情報を格納したカテゴリ系列に基づいて、各場面の予測規則を抽出し、また、各場面の場面予測精度を計算する。そして、場面予測精度が予め設定された下限値を上回るか否かを判定し、上回る場合には再度、各場面のカテゴリを詳細に特定すると決定し、下回る場合には、前記各場面の予測規則と対応関係の情報とを保存する。【選択図】図１
2008293178.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの感覚に近い１つ又は複数のセンサからなる基本センサユニットおよびユーザの感覚を拡張する１つ又は複数のセンサからなる拡張センサユニットから、前記ユーザが遭遇する各場面の測定値の入力を受付ける測定値入力受付手段と、
前記各場面における前記拡張センサユニットの測定値とその測定時刻との対応関係を記憶部へ登録する測定情報登録手段と、
前記場面の順に、その場面で受付けた前記拡張センサユニットの測定値から、当該場面のカテゴリを特定するカテゴリ特定手段と、
前記拡張センサユニットの測定値に基づいて特定された各場面のカテゴリと、前記基本センサユニットの測定値に基づいて特定された各場面のカテゴリとの対応関係を算出するカテゴリ対応関係算出手段と、
前記各場面について算出された前記対応関係のカテゴリ情報を格納したカテゴリ系列に基づいて、各場面の予測規則を抽出し、また、各場面の場面予測精度を計算する場面予測精度算出手段と、
前記場面予測精度が予め設定された下限値を上回るか否かを判定し、前記場面予測精度が前記下限値を上回る場合には再度、各場面のカテゴリを詳細に特定すると決定し、前記場面予測精度が前記下限値を下回る場合には、前記各場面の予測規則と前記対応関係の情報とを保存する場面分類処理終了判定手段と、
を備えることを特徴とするシーン管理装置。
【請求項２】
前記拡張センサユニットの測定値に基づいて特定された前記場面のカテゴリが既存のカテゴリであるか否かを判定するカテゴリ判定手段と、
現時点においてユーザが遭遇するであろうと判断されるシーンのカテゴリを予測するカテゴリ予測手段と、
前記拡張センサユニットの測定値に基づいて特定されたカテゴリと、前記予測したカテゴリとが一致するか否かを判定するカテゴリ一致判定手段と、
前記拡張センサユニットの測定値に基づいて特定されたカテゴリが既存のカテゴリでない場合、または前記拡張センサユニットの測定値に基づいて特定されたカテゴリと前記予測したカテゴリとが一致しない場合、のいずれかの場合には、現時点の場面を特異ない場面と判断しその情報を出力する特異場面情報出力手段と、
を備えることを特徴とする請求項１に記載のシーン管理装置。
【請求項３】
シーン管理装置におけるシーン管理方法であって、
ユーザの感覚に近い１つ又は複数のセンサからなる基本センサユニットおよびユーザの感覚を拡張する１つ又は複数のセンサからなる拡張センサユニットから、前記ユーザが遭遇する各場面の測定値の入力を受付け、
前記各場面における前記拡張センサユニットの測定値とその測定時刻との対応関係を記憶部へ登録し、
前記場面の順に、その場面で受付けた前記拡張センサユニットの測定値から、当該場面のカテゴリを特定し、
前記拡張センサユニットの測定値に基づいて特定された各場面のカテゴリと、前記基本センサユニットの測定値に基づいて特定された各場面のカテゴリとの対応関係を算出し、
前記各場面について算出された前記対応関係のカテゴリ情報を格納したカテゴリ系列に基づいて、各場面の予測規則を抽出し、また、各場面の場面予測精度を計算し、
前記場面予測精度が予め設定された下限値を上回るか否かを判定し、前記場面予測精度が前記下限値を上回る場合には再度、各場面のカテゴリを詳細に特定すると決定し、前記場面予測精度が前記下限値を下回る場合には、前記各場面の予測規則と前記対応関係の情報とを保存する
ことを特徴とするシーン管理方法。
【請求項４】
前記拡張センサユニットの測定値に基づいて特定された前記場面のカテゴリが既存のカテゴリであるか否かを判定し、
現時点においてユーザが遭遇するであろうと判断されるシーンのカテゴリを予測し、
前記拡張センサユニットの測定値に基づいて特定されたカテゴリと、前記予測したカテゴリとが一致するか否かを判定し、
前記拡張センサユニットの測定値に基づいて特定されたカテゴリが既存のカテゴリでない場合、または前記拡張センサユニットの測定値に基づいて特定されたカテゴリと前記予測したカテゴリとが一致しない場合、のいずれかの場合には、現時点の場面を特異ない場面と判断しその情報を出力する
ことを特徴とする請求項３に記載のシーン管理方法。
【請求項５】
シーン管理装置のコンピュータを、
ユーザの感覚に近い１つ又は複数のセンサからなる基本センサユニットおよびユーザの感覚を拡張する１つ又は複数のセンサからなる拡張センサユニットから、前記ユーザが遭遇する各場面の測定値の入力を受付ける測定値入力受付手段、
前記各場面における前記拡張センサユニットの測定値とその測定時刻との対応関係を記憶部へ登録する測定情報登録手段、
前記場面の順に、その場面で受付けた前記拡張センサユニットの測定値から、当該場面のカテゴリを特定するカテゴリ特定手段、
前記拡張センサユニットの測定値に基づいて特定された各場面のカテゴリと、前記基本センサユニットの測定値に基づいて特定された各場面のカテゴリとの対応関係を算出するカテゴリ対応関係算出手段、
前記各場面について算出された前記対応関係のカテゴリ情報を格納したカテゴリ系列に基づいて、各場面の予測規則を抽出し、また、各場面の場面予測精度を計算する場面予測精度算出手段、
前記場面予測精度が予め設定された下限値を上回るか否かを判定し、前記場面予測精度が前記下限値を上回る場合には再度、各場面のカテゴリを詳細に特定すると決定し、前記場面予測精度が前記下限値を下回る場合には、前記各場面の予測規則と前記対応関係の情報とを保存する場面分類処理終了判定手段、
として機能させるためのプログラム。
【請求項６】
請求項５に記載の各手段に加え、
前記拡張センサユニットの測定値に基づいて特定された前記場面のカテゴリが既存のカテゴリであるか否かを判定するカテゴリ判定手段、
現時点においてユーザが遭遇するであろうと判断されるシーンのカテゴリを予測するカテゴリ予測手段、
前記拡張センサユニットの測定値に基づいて特定されたカテゴリと、前記予測したカテゴリとが一致するか否かを判定するカテゴリ一致判定手段、
前記拡張センサユニットの測定値に基づいて特定されたカテゴリが既存のカテゴリでない場合、または前記拡張センサユニットの測定値に基づいて特定されたカテゴリと前記予測したカテゴリとが一致しない場合、のいずれかの場合には、現時点の場面を特異ない場面と判断しその情報を出力する特異場面情報出力手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが日常に体験するシーン（場面）の表現技術、及び蓄積技術、ならびに検索技術に関するものであり、特に、重要なシーンの特定、ならびにユーザの周辺状況の以上検出に利用されるシーン管理装置及びシーン管理方法ならびにそのプログラムに関する。
【背景技術】
【０００２】
従来、多種多様なセンサを用いて、ユーザのおかれている環境やユーザの生理状態等を様々な観点から把握し、ユーザの日常行動を支援する技術が提案されている（例えば、非特許文献１参照）。この非特許文献１においては、街灯や道路に設置されたＩＣチップ（センサ）を利用して、障害者や高齢者に対しては安全に移動するための情報を提供したり、観光に関する情報等を提供する技術が開示されている。
【０００３】
また、ユーザが日常体験するシーンを様々なセンサを使って記録し、後に容易に検索できるようにアノテーション｛あるデータに対して関連する情報（メタデータなど）｝を付与する技術が提案されている（例えば、特許文献１参照）。この特許文献２の技術においては、シーン（場面）の記録時にＧＰＳによる時間や場所、脳波計や心拍計等（センサ）による生理情報をそのシーンの属性情報として記録し、この属性情報により、同じ場所や時間帯、生理状態でユーザが体験した過去のシーンを検索するための技術が開示されている。
【０００４】
また、ある環境に存在する対象物をシーンの属性情報とし、対象物に触れたり、手に取ることにより、その時のシーンを重要なシーンと見なして、対象物の属性情報を記録し、その属性情報の検索によるシーンの特定を行う技術が提案されている（非特許文献２参照）。この非特許文献２の技術においては、対象物にはＲＦＩＤタグが貼り付けられており、ユーザが対象物に触れるとその対象物の情報が記録される。そして、ユーザの頭部に設置されたカメラの映像と、ユーザが触れた対象物を関連づけることにより、後に対象物に触れた場合、あるいは対象物をシステムで入力指定した場合などにおいて、その対象物に関連づけられた過去の映像が再生される技術について開示されている。
【特許文献１】特開２００２−３４２３５７号公報
【非特許文献１】“自律移動支援プロジェクト  技術仕様書案９００−Ｊ００１，自律移動支援システム基本アーキテクチャ”、「online」、平成１９年３月２３日，国土交通省  国土技術政策総合研究所、「平成１９年０５月０９日検索」、インターネット＜ＵＲＬ：http://www.jiritsu-project.jp/siyousho/070323/900_J001.pdf＞
【非特許文献２】Y. Miyake、外１名、「Integrating object finding function into everyday fashion」、Third Workshop on Multi-User and Ubiquitous User Interfaces, pp. 18-19,2006.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の従来技術には以下に示すような問題がある。
（課題１）
まず、記録される各シーン（場面）の情報は、センサの測定値の組み合わせで表現されるが、一般にセンサの測定値にはノイズが含まれているため、同じような測定値の組み合わせを持つシーンは同じカテゴリに分類し、ノイズの影響を除去する必要がある。このシーン分類において、様々な種別や異なる精度のセンサを一緒に組み合わせて用いると問題が生じる場合がある。例えば、シーンを精度の高いセンサと低いセンサで測定する場合、精度の高いセンサで捉えた測定値はより詳細な分類が可能になり、一方で精度の低いセンサで捉えた測定値はより抽象度の高い分類が可能になるが、これらを組み合わせて処理すると精度の違いを反映した分類ができなくなってしまう。特に、ユーザ自身が持っていない感覚を計測できるセンサを使ってユーザの感覚を拡張したいような場合には、同じシーンに対してもユーザの感覚に近いセンサによる捉え方と、ユーザの感覚を拡張するセンサによる捉え方は全く異なるため、この違いを反映するために、これら２つのセンサは分けて分類処理を行う必要がある。すなわち、センサの組み合わせの種類に応じて、シーンの捉え方を変えたシーン分類が可能になるが、従来技術では全てのセンサを一緒に組み合わせたシーン分類を行うため、このようなシーンの異なる捉え方を扱うことができなかった。
【０００６】
（課題２）
また、ユーザの感覚に近いセンサからなるセンサユニット（基本センサユニットと呼ぶ）で分類されたカテゴリと、それ以外のユーザの感覚を拡張するセンサからなるセンサユニット（拡張センサユニットと呼ぶ）によって分類されたカテゴリ間の対応づけを行うことが必要である。例えば、拡張センサユニットの分類カテゴリと、基本センサユニットの分類カテゴリが１対１の対応であれば、ユーザ自身の感覚の代替として拡張センサユニットを利用することができる。また拡張センサユニットの分類カテゴリと、基本センサユニットの分類カテゴリが、多対１の対応であれば、ユーザにとって同じように見えるシーンに対しても、詳細にシーンの違いを捉えるセンサユニットとして拡張センサユニットを利用することができる。また拡張センサユニットの分類カテゴリと、基本センサユニットの分類カテゴリが、１対多の対応であれば、時々で異なって見えていたシーンを同じシーンとして整理するセンサユニットとして拡張センサユニットを利用することができる。
【０００７】
（課題３）
また、重要なシーンの特定については、従来技術においては、場所や時間を指定したり、対象物に触れたり指定したりする等、ユーザが重要なシーンであることを指定登録する必要があったが、拡張センサユニットによるシーンの捉え方は、基本センサユニットとは大きく異なる場合があるため、全ての重要なシーンをユーザが特定することは不可能であり、シーンの重要性を自動的に判断することが必要になる。
【０００８】
そこでこの発明は、ユーザの感覚に近いセンサからなる基本センサユニットと、ユーザの感覚を拡張するセンサからなる拡張センサユニットを用いて、ユーザが遭遇するシーン（場面）を精度良く管理することのできる、シーン管理装置及びシーン管理方法ならびにそのプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、ユーザの感覚に近い１つ又は複数のセンサからなる基本センサユニットおよびユーザの感覚を拡張する１つ又は複数のセンサからなる拡張センサユニットから、前記ユーザが遭遇する各場面の測定値の入力を受付ける測定値入力受付手段と、前記各場面における前記拡張センサユニットの測定値とその測定時刻との対応関係を記憶部へ登録する測定情報登録手段と、前記場面の順に、その場面で受付けた前記拡張センサユニットの測定値から、当該場面のカテゴリを特定するカテゴリ特定手段と、前記拡張センサユニットの測定値に基づいて特定された各場面のカテゴリと、前記基本センサユニットの測定値に基づいて特定された各場面のカテゴリとの対応関係を算出するカテゴリ対応関係算出手段と、前記各場面について算出された前記対応関係のカテゴリ情報を格納したカテゴリ系列に基づいて、各場面の予測規則を抽出し、また、各場面の場面予測精度を計算する場面予測精度算出手段と、前記場面予測精度が予め設定された下限値を上回るか否かを判定し、前記場面予測精度が前記下限値を上回る場合には再度、各場面のカテゴリを詳細に特定すると決定し、前記場面予測精度が前記下限値を下回る場合には、前記各場面の予測規則と前記対応関係の情報とを保存する場面分類処理終了判定手段と、を備えることを特徴とするシーン管理装置である。
【００１０】
また本発明は、上述のシーン管理装置が、前記拡張センサユニットの測定値に基づいて特定された前記場面のカテゴリが既存のカテゴリであるか否かを判定するカテゴリ判定手段と、現時点においてユーザが遭遇するであろうと判断されるシーンのカテゴリを予測するカテゴリ予測手段と、前記拡張センサユニットの測定値に基づいて特定されたカテゴリと、前記予測したカテゴリとが一致するか否かを判定するカテゴリ一致判定手段と、前記拡張センサユニットの測定値に基づいて特定されたカテゴリが既存のカテゴリでない場合、または前記拡張センサユニットの測定値に基づいて特定されたカテゴリと前記予測したカテゴリとが一致しない場合、のいずれかの場合には、現時点の場面を特異ない場面と判断しその情報を出力する特異場面情報出力手段と、を備えることを特徴とする。
【００１１】
また本発明は、シーン管理装置におけるシーン管理方法であって、ユーザの感覚に近い１つ又は複数のセンサからなる基本センサユニットおよびユーザの感覚を拡張する１つ又は複数のセンサからなる拡張センサユニットから、前記ユーザが遭遇する各場面の測定値の入力を受付け、前記各場面における前記拡張センサユニットの測定値とその測定時刻との対応関係を記憶部へ登録し、前記場面の順に、その場面で受付けた前記拡張センサユニットの測定値から、当該場面のカテゴリを特定し、前記拡張センサユニットの測定値に基づいて特定された各場面のカテゴリと、前記基本センサユニットの測定値に基づいて特定された各場面のカテゴリとの対応関係を算出し、前記各場面について算出された前記対応関係のカテゴリ情報を格納したカテゴリ系列に基づいて、各場面の予測規則を抽出し、また、各場面の場面予測精度を計算し、前記場面予測精度が予め設定された下限値を上回るか否かを判定し、前記場面予測精度が前記下限値を上回る場合には再度、各場面のカテゴリを詳細に特定すると決定し、前記場面予測精度が前記下限値を下回る場合には、前記各場面の予測規則と前記対応関係の情報とを保存することを特徴とするシーン管理方法である。
【００１２】
また本発明は、上述のシーン管理方法において、前記拡張センサユニットの測定値に基づいて特定された前記場面のカテゴリが既存のカテゴリであるか否かを判定し、現時点においてユーザが遭遇するであろうと判断されるシーンのカテゴリを予測し、前記拡張センサユニットの測定値に基づいて特定されたカテゴリと、前記予測したカテゴリとが一致するか否かを判定し、前記拡張センサユニットの測定値に基づいて特定されたカテゴリが既存のカテゴリでない場合、または前記拡張センサユニットの測定値に基づいて特定されたカテゴリと前記予測したカテゴリとが一致しない場合、のいずれかの場合には、現時点の場面を特異ない場面と判断しその情報を出力することを特徴とする。
【００１３】
また本発明は、シーン管理装置のコンピュータを、ユーザの感覚に近い１つ又は複数のセンサからなる基本センサユニットおよびユーザの感覚を拡張する１つ又は複数のセンサからなる拡張センサユニットから、前記ユーザが遭遇する各場面の測定値の入力を受付ける測定値入力受付手段、前記各場面における前記拡張センサユニットの測定値とその測定時刻との対応関係を記憶部へ登録する測定情報登録手段、前記場面の順に、その場面で受付けた前記拡張センサユニットの測定値から、当該場面のカテゴリを特定するカテゴリ特定手段、前記拡張センサユニットの測定値に基づいて特定された各場面のカテゴリと、前記基本センサユニットの測定値に基づいて特定された各場面のカテゴリとの対応関係を算出するカテゴリ対応関係算出手段、前記各場面について算出された前記対応関係のカテゴリ情報を格納したカテゴリ系列に基づいて、各場面の予測規則を抽出し、また、各場面の場面予測精度を計算する場面予測精度算出手段、前記場面予測精度が予め設定された下限値を上回るか否かを判定し、前記場面予測精度が前記下限値を上回る場合には再度、各場面のカテゴリを詳細に特定すると決定し、前記場面予測精度が前記下限値を下回る場合には、前記各場面の予測規則と前記対応関係の情報とを保存する場面分類処理終了判定手段、として機能させるためのプログラムである。
【００１４】
また本発明は、上述の各手段に加え、前記拡張センサユニットの測定値に基づいて特定された前記場面のカテゴリが既存のカテゴリであるか否かを判定するカテゴリ判定手段、
現時点においてユーザが遭遇するであろうと判断されるシーンのカテゴリを予測するカテゴリ予測手段、前記拡張センサユニットの測定値に基づいて特定されたカテゴリと、前記予測したカテゴリとが一致するか否かを判定するカテゴリ一致判定手段、前記拡張センサユニットの測定値に基づいて特定されたカテゴリが既存のカテゴリでない場合、または前記拡張センサユニットの測定値に基づいて特定されたカテゴリと前記予測したカテゴリとが一致しない場合、のいずれかの場合には、現時点の場面を特異ない場面と判断しその情報を出力する特異場面情報出力手段、として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明によれば、１）センサの測定値に含まれるノイズの影響を抑えるために各シーンを類似するシーンにカテゴリ分類すること、２）１つのシーンを複数のセンサユニット毎に分類し、異なる観点から１つのシーンを捉えること、３）ある特定のセンサユニットによる分類カテゴリと、他のセンサユニットによる分類カテゴリの対応関係を抽出すること、４）ある特定のセンサユニットによる分類精度に基づいて、他のセンサユニットの分類精度を調整すること、５）次の時点でユーザが遭遇するシーンを各センサユニット毎に予測すること、６）シーンの予測精度に基づいて、各センサユニットの有効な分類精度を決定すること、７）ユーザが現在遭遇しているシーンについての分類カテゴリの特定の結果、並びにシーン予測の結果に基づいて、シーンの特異性を判断すること、８）既に導出された分類カテゴリ間の対応関係並びにシーンの予測規則に影響を与えることなく新たなセンサユニットを追加することを可能とするシーン管理装置を提供することができる。また本発明によれば、異常なシーン（特異なシーン）を精度良く検出することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の一実施形態によるシーン管理装置を図面を参照して説明する。図１は同実施形態によるシーン管理装置の構成を示すブロック図である。この図において、符号１はシーン管理装置である。そしてシーン管理装置は、マウスやキーボード、モニタなどとの信号を制御する入出力部１１、シーン管理装置の各処理部を制御する制御部１２、ユーザが遭遇するシーン（場面）に関するデータを記憶するシーンデータベース１３、シーンを分類するシーン分類処理部１４、将来ユーザが遭遇するシーンを予測するシーン予測部１５を備えている。
【００１７】
図２は本実施形態によるシーン管理装置の処理フローを示す第１の図である。
図３は本実施形態によるシーン管理装置の処理フローを示す第２の図である。
図２の処理フローにおいては、カテゴリ分類規則の抽出、及びカテゴリ間対応関係の抽出、並びにシーン予測規則抽出、の処理を表している。
また図３の処理フローにおいては、分類カテゴリの特定、シーン予測の動作、の処理を表している。
まず、図２を用いてカテゴリ分類規則の抽出、及びカテゴリ間対応関係の抽出、並びにシーン予測規則抽出の処理について説明する。なお、ユーザの感覚を拡張するセンサからなる拡張センサユニットは、それぞれ独立に扱うことができるため、以下では、拡張センサユニットが１つの場合について説明する。基本センサユニットとは、複数の拡張センサユニットの分類カテゴリを決定する際に基準とする分類カテゴリに対応するセンサのユニットである。基本センサユニットを構成するセンサには、例えば、視覚、聴覚など、人が知覚できる視野角の映像や、人が近くできる周波数の音声信号等、同程度の特性、性能を持つセンサ、すなわち、ユーザの感覚に近いセンサを用いる。
【００１８】
入出力部１１はユーザが遭遇するシーンにおける測定値を、センサユニット（基本センサユニットまたは拡張センサユニット）から受信し、制御部１２へ出力する。すると制御部１２は、センサユニットの測定値、並びに測定時刻を対応付けて、シーンデータベース１３に格納する（ステップＳ２０１）。また制御部１２は、予め設定された数のシーンそれぞれにおいて測定値が測定されたかを判定し、測定されたと判定すると、シーンデータベース１３から各シーンの測定値とその測定時刻を読み込み、シーン分類処理部１４に出力する。するとシーン分類処理部１４は、シーンの測定値に対応付けられている測定時刻に基づいて、ユーザがシーンに遭遇した順に、それらシーンの測定値から各シーンのカテゴリを特定し、あるいは新規のカテゴリを割り当て、カテゴリ分類規則を抽出する（ステップＳ２０２）。
【００１９】
また、シーン分類処理部１４は、拡張センサの測定値に基づいて特定された各シーンのカテゴリと、基本センサの測定値に基づいて特定された各シーンのカテゴリを対応付ける（ステップＳ２０３）。またシーン分類処理部１４は、全てのシーンについて上述のステップＳ２０２，ステップＳ２０３の処理を行い、これを１エポックとして、エポック数が予め定められた上限値に等しいか否かを判断し（ステップＳ２０４）、上限値に達するまでステップＳ２０２，ステップＳ２０３の処理を繰り返す。またステップＳ２０４においてエポック数が上限値に達したと判断された場合、シーン分類処理部１４は、測定時刻に基づいて判定されるシーンの出現順に、ステップＳ２０２、Ｓ２０３で特定された各シーンのカテゴリを表すカテゴリ系列の情報を作成し、制御部１２に出力する（ステップＳ２０５）。次に制御部１２は、受付けたカテゴリ系列を、シーン予測処理部１５へ出力する。
【００２０】
次にシーン予測処理部１５は、カテゴリ系列からシーンの予測規則を抽出し、シーン予測精度を計算する（ステップＳ２０６）。そしてシーン予測処理部１５は、シーン予測精度が予め設定された下限値を上回るか否かを判定し（ステップＳ２０７）、上回ると判定した場合には、シーン分類処理部１４が上記ステップＳ２０２で抽出したカテゴリ分類規則と、ステップＳ２０３で特定したカテゴリ間の対応関係を保存し、また、シーン予測処理部１５はステップＳ２０６で抽出したシーン予測規則を保存し、再度、ステップＳ２０２に戻り、より詳細なカテゴリ分類を行う。一方、ステップＳ２０７においてシーン予測精度が下限値を下回ると判定した場合には、上記ステップＳ２０２で抽出したカテゴリ分類規則と、ステップＳ２０３で特定したカテゴリ間の対応関係と、ステップＳ２０６で抽出したシーン予測規則を採用してメモリ等に保存し終了する。
【００２１】
なお、ステップＳ２０６のシーン予測規則の抽出は、例えば、非特許文献３：＜Lehtokangas, M., Constructive Backpropagation for Recurrent Networks, Neural Processing Letters, 9, pp.271--278, 1999.＞の文献などに記載されている技術によって行う。
【００２２】
つまり、ニューラルネットワークにおける入力層及び出力層の各ユニットが一つのカテゴリに対応し、また、入力層ユニットはある時点のシーンのカテゴリに、出力層ユニットは次の時点のシーンのカテゴリに対応づける。ここで、入力層と出力層のユニット数は同じで，それぞれ全カテゴリ数になる。そして、ある時点のシーンのカテゴリがＸ、その次の時点のシーンのカテゴリがＹと判断されれば、カテゴリＸに対応する入力層ユニットの出力値を１、それ以外の入力層ユニットの出力値を０に設定する。またニューラルネットワークによって出力層ユニットの出力値を計算した結果、カテゴリＹに対応するユニットのみで１、それ以外は０となることが理想である。ステップＳ２０６では、このような入出力関係を作成することになる。
【００２３】
またこの規則の抽出は、上記非特許文献３に記載されている学習規則に沿って行わる。つまり、ある時点のシーンのカテゴリと次の時点のシーンのカテゴリのペアを複数、時間順に準備し、ステップＳ２０５において、これらのカテゴリのペアに相当する入出力ユニットの出力値のペアを作り、これらの入出力のペアを順々に使ってニューラルネットワークの学習を行う。予測精度は様々なものが考えられるが、例えば適合率、再現率、Ｆ値などが使える。適合率はニューラルネットワークが予測したシーンのカテゴリ（ある閾値以上の出力値となる出力層ユニットに対応するカテゴリ）のうち、実際に予測が正しかったものの割合、再現率は予測した回数に対して実際に予測が正しかったものの割合、Ｆ値は適合率と再現率の調和平均と呼ばれるもので，２×適合率×再現率／（適合率＋再現率）である。
【００２４】
次に、拡張センサの測定値に基づく各シーンの分類カテゴリの特定の処理と、シーンの予測処理について、図３を用いて説明する。
まず、入出力部１１は、ユーザが遭遇しているシーンの測定値をセンサユニットによって取得し（ステップＳ３０１）、制御部１２に出力する。すると、制御部１２は、センサの測定値をシーン分類処理部１４に出力する。次に、シーン分類処理部１４は、そのシーンの分類カテゴリを特定し（ステップＳ３０２）、制御部１２に出力する。すると制御部１２は、シーン分類処理部１４によって特定されたシーンのカテゴリが、既存のカテゴリであるか否かを判定し（ステップＳ３０３）、既存カテゴリである場合、つまりシーンが既存カテゴリに分類される場合にはシーン予測処理部１５に対してカテゴリの特定結果を出力する。すると、シーン予測処理部１５は、現時点においてユーザが遭遇するであろうと判断されるシーンのカテゴリを予測し（ステップＳ３０４）、制御部１２に予測結果を出力する。すると制御部１２は、受付けたカテゴリの予測結果と、ステップＳ３０２において特定した現時点の現実のカテゴリの特定結果とを照合し、一致するか否かを判定し、（ステップＳ３０５）、両カテゴリが一致した場合は処理を終了する。
【００２５】
なお、上述のステップＳ３０４においては、ステップＳ２０６の処理で用いたニューラルネットワークを用いて予測を行う。つまり、ある時点のシーンのカテゴリに対応する入力層ユニットの出力値を１、それ以外を０と設定し、ニューラルネットワークに入力する。そして、出力層ユニットの出力値を計算した結果、出力層のユニットのうち出力値の大きいユニットに相当するカテゴリが、次の時点でのシーンのカテゴリと予測される。この予測結果が次の時点で実際に起こったシーンのカテゴリと一致していれば、ステップＳ３０５において予測成功となる。
【００２６】
一方、ステップＳ３０５においてカテゴリが一致しなかった場合、または、ステップＳ３０３において現時点のシーンが既存カテゴリに分類されなかったと判定された場合には、現時点のシーンを特異なシーンと判断し（ステップＳ３０６）、その結果を入出力部１１に出力し、入出力部１１が、現在遭遇しているシーンが特異なシーンである可能性が高いことをユーザに知らせるための情報を出力し（ステップＳ３０７）、処理を終了する。なお、カテゴリを詳細に分類するほど予測精度は落ちることとなる（カテゴリが少なければ予測精度は上がるが予測する意味がなくなる。例えば、カテゴリが１つしかない場合には予測は１００％成功となる）。本実施形態では、予測精度の下限値（許容値）を設定し、そこまでは精度が落ちてもカテゴリを詳細化することを優先させている。
【００２７】
次に、カテゴリ分類規則の抽出、並びにカテゴリ間の対応関係の抽出について説明する。
ここで、拡張センサユニットは様々なセンサで構成される可能性があるため、拡張センサユニットによって取得した計測値に基づくカテゴリの分類精度を予め設定することは難しい。そこで少数の抽象的なカテゴリから、基本センサユニットのカテゴリと１対１に対応させることを目標にカテゴリ分類を詳細化していく。これにより、基本センサユニットの分類精度に応じて、拡張センサユニットの分類精度を調整することができる。但し、ノイズ等の影響により、基本センサユニットの分類が必ずしも正しくない場合があるため、不必要に詳細なカテゴリが作成されるのを避ける必要がある。このようなカテゴリの分類並びにカテゴリ間の関係を抽出するために、本実施形態においては、
【００２８】
非特許文献４：＜Verzi,S.J., Heileman,G.L., Georgiopoulos,M., Healy,M.J,“Boosted ARTMAP”,In Proc. of the IEEE World Congress on Computational Intelligence, 1, pp.396-401, 1998.＞
【００２９】
に開示されている方法を利用する。つまり、拡張センサユニットの計測値に対して分類されるカテゴリ数をＭ、基本センサユニットの計測値に対して分類されるテゴリ数をＮ、拡張センサユニットの１カテゴリをＣｊ（１≦ｊ≦Ｍ）、基本センサユニットの１カテゴリをＣｋ（１≦ｋ≦Ｎ）、ある時点におけるシーンの拡張センサユニットの特定カテゴリをＣＪ、基本センサユニットの特定カテゴリをＣＫとする。但し、Ｍ並びにＮはカテゴリ分類規則抽出の過程で増加するものであるとする。また個々のカテゴリＣｊに対して類似性評価閾値ρｊを設定する。そして、各時点におけるカテゴリ分類の結果、ＣＪに対してＣＫが対応するとみなし、その対応回数ＷＪＫをカウントし、全てのシーンについて対応回数をカウントする。その後、さらに詳細化すべき拡張センサユニットのカテゴリを決定し、そのカテゴリに対するρｊを少し大きくした後、再度全シーンについて対応回数ＷＪＫをカウントする。この繰り返しは予め定められた回数実施する。ρｊを大きくすることにより、そのカテゴリが分割され新たなカテゴリが生成される場合には、ρｊとして、予め設定した小さな値に初期値を設定する。
【００３０】
非特許文献４では、
【００３１】
【数１】
2008293178.tif 000003
【００３２】
によってカテゴリの分類エラーｅｊを計算し、ｅｊの値が最も大きな拡張センサユニットのカテゴリＣｊを優先して詳細化すべきカテゴリとして選択する。ここで、Ｍａｘｋ（Ｗｊｋ）はある拡張センサユニットのカテゴリＣｊにおいて、最も大きいＷｊｋ（１≦ｋ≦Ｎ）である。この詳細化カテゴリの選択により、基本センサユニットのカテゴリヘの対応関係が曖昧な拡張センサユニットのカテゴリを効率的に発見し、それをさらに詳細化することにより、カテゴリ間の対応関係を明確にすることができる。
【００３３】
しかしながら、この詳細化カテゴリの選択は、最も強く関係する基本センサユニットのカテゴリのみで評価しているため、拡張センサユニットのカテゴリが複数の基本センサユニットのカテゴリに対応する場合には適用することができない。この場合、ｅｊは大きいことが自然であるが、この詳細化カテゴリの選択では、無理にｅｊを小さくしようとするために不必要なカテゴリを作成してしまう。そこで、本発明では拡張センサユニットのカテゴリＣｊ毎に以下の値を計算し、優先的に詳細化するカテゴリを選択する。
【００３４】
【数２】
2008293178.tif 000004
【００３５】
但し、
【００３６】
【数３】
2008293178.tif 000005
【００３７】
【数４】
2008293178.tif 000006
【００３８】
【数５】
2008293178.tif 000007
【００３９】
【数６】
2008293178.tif 000008
【００４０】
である。また上記式（４）により計算したｈｊの値により、その値ｈｊが一番大きくなるカテゴリを検索する。そして、検索されたカテゴリの類似性評価閾値ρｊの値を予め定めた変化量だけ増加させる。なお上記式（２）のＭ（Ｂ；Ｅ）は、拡張センサユニットのカテゴリが判明したときに、それに対応する基本センサユニットのカテゴリが明確になる程度を表す。よって、Ｍ（Ｂ；Ｅ）を大きくすることに最も貢献していないカテゴリＣｊ、すなわち式（４）のｈｊの値が最も大きいＣｊを優先的に、順次、詳細化していくことにより、不必要なカテゴリを作ることなく効率的にカテゴリの詳細化を行うことができる。また、上述の処理によりステップＳ３０１〜Ｓ３０３のループでは、１エポック毎に、検索されたカテゴリの類似性評価閾値ρｊの値が予め定めた変化量だけ増加する。これにより、優先的に詳細化すべきカテゴリが徐々に詳細化される（カテゴリ数が増える）ことになる。
【００４１】
さらに、個々の拡張センサユニットのカテゴリＣｊについて、全てのＷｊｋによってカテゴリ間の対応関係の曖昧性を評価するため、拡張センサユニットのカテゴリが複数の基本センサユニットのカテゴリに対応する場合にも適用できる。カテゴリをどこまで詳細化するかは、シーン予測処理部１５の予測精度によって判断する。一般的に、予測対象となるカテゴリが多いほどシーン予測精度は低下するため、予め定められた予測精度を下回らないようにカテゴリを順次詳細化していく。以上の操作により、拡張センサユニットのカテゴリを不必要に増やすことなく効率的に詳細化し、予め設定したシーン予測精度を保証した上で、最も詳細なカテゴリ分類規則、並びにカテゴリ間の対応関係を抽出することが可能となる。
【００４２】
なお、基本センサユニットのカテゴリが、予め特定されている場合について説明したが、カテゴリの詳細化で述べた方法と同様にしてシーン分類処理部１４とシーン予測処理部１５を用いて基本センサユニットのカテゴリについて自動的に特定することも可能である。この場合、基本センサユニットの全カテゴリに対して１つの類似性評価値を設定し、その値に基づいて、基本センサユニットのカテゴリ分類を行う。そして、得られた基本センサユニットのカテゴリに基づいて、シーン予測処理部１５がシーン予測を行う。このシーン予測精度が予め設定した閾値を下回らないように、類似性評価値を大きくして、さらに分類を詳細化していく。この操作により、基本センサユニットにおいてもシーン予測精度を保証したうえで、最も詳細なカテゴリ分類規則が得られ、カテゴリの自動特定が可能となる。
【００４３】
図４はシーン管理装置の処理概要を示す図である。
上述の処理によれば、ユーザの感覚に近いセンサで構成される基本センサユニットと、ユーザが自身の感覚を拡張する目的で任意に選択したセンサで構成される複数の拡張センサユニットをシーン管理装置１に登録し、各センサユニットを構成するセンサによる測定値の組み＜基本センサユニット＝（センサＢ１・・・センサＢｎ），拡張センサユニット＝（センサＸ１・・・センサＸ）＞が、シーンの出現順（ｔ＝１，２，３，・・・）に順次同期してシーン管理装置１に入力される（図４）。そして、この測定値の組に基づいて、各センサユニット毎にシーンのカテゴリ分類を行うことにより、センサユニットの特性に応じたシーンの捉え方が可能となる。
【００４４】
また拡張センサユニットについては、シーンの類似性を評価する閾値（類似性評価閾値）を設定することにより、各シーンの適切なカテゴリを特定し、そのカテゴリにシーンを分類するか、或いは新たなカテゴリを作成し、そのカテゴリに分類する方法、並びに次の時点でユーザが遭遇するであろうシーンを予測する方法、及びその予測精度の値が提供されることを前提とする。なお、類似性評価閾値が大きいほど、シーン間の類似性に対する評価が厳しく、特殊性のある多数のカテゴリに分類され、逆に類似評価閾値が小さいほど、抽象化された少数のカテゴリに分類されるものとする。このようなカテゴリ分類は、例えば、
【００４５】
非特許文献５：＜Carpenter,G.A., Grossberg,S., and Rosen,D.B., 「ART 2-A: An Adaptive Resonance Algorithm for Rapid Category Learning and Recognition」, Neural Networks, 4, pp.493-504, 1991＞
【００４６】
に記載されている方法で実現できる。なお、基本センサユニットについては，シーンのカテゴリが特定されているものとして説明したが、自動的にカテゴリを特定することも可能である。
【００４７】
またシーンの各時点において、拡張センサユニットにおいてシーンの適切なカテゴリとして特定されたカテゴリは、基本センサユニットにおいて特定されたカテゴリに対応づけられる。この対応関係の強さを同じ時点で頻繁に現れる拡張センサユニットと基本センサユニソトのカテゴリ間で強くすることにより、拡張センサユニットの各カテゴリに対応する基本センザユニットのカテゴリを特定できるため、対応関係の種類に応じた拡張センサユニットの活用が可能となる。
【００４８】
また、次に、重要なシーンの特定について説明する。個々の拡張センサユニットにおいて、ユーザが遭遇した時間順に並べられたシーン系列のデータのみから、次の時点でユーザが遭遇する可能性の高いシーンのカテゴリを予測するためのシーン予測規則を自動的に抽出している。そして、ユーザが現在遭遇しているシーンを拡張センサユニットにおいてカテゴリ分類した後、そのカテゴリが前もって予測されたシーンのカテゴリと異なる場合、或いは既存のカテゴリにシーンが分類されなかった場合には、現在遭遇しているシーンを特異なシーンとしてユーザに提示している。これにより、ユーザが重要なシーンを自ら特定していく必要がない。
【００４９】
さらに、特異と判断されなかったシーンは、通常起こりうるシーンとして無視することにより、ユーザが複数のセンサユニットからの情報を常時確認する必要がないため、ユーザの作業負荷が軽減され、その結果、より多くの拡張センサを設定し、シーンをより多様に捉えることが可能となる。
【００５０】
以上述べたカテゴリ分類規則の抽出、及び基本センサユニットのカテゴリとの対応関係の抽出、並びにシーン予測規則の抽出は、１つの拡張センサユニットと基本センサユニットとの組合せ毎に行われるため、それまでに抽出した他の拡張センサユニットに対するカテゴリ分類規則、及び基本センサユニットのカテゴリとの対応関係、並びにシーン予測規則に影響を与えることなく、新たな拡張センサユニットを、いつでも追加することができる。
【００５１】
以上，本発明のシーン管理装置の実施形態について具体的に説明したが、本発明は上記実施例に限定されるものではなく、その趣旨を逸脱しない範囲において種々変更し得ることはいうまでもない。
【００５２】
そして、上述の処理によれば、
１）センサの測定値に含まれるノイズの影響を抑えるために各シーンを類似するシーンにカテゴリ分類すること、
２）１つのシーンを複数のセンサユニット毎に分類し、異なる観点から１つのシーンを捉えること、
３）ある特定のセンサユニットによる分類カテゴリと、他のセンサユニットによる分類カテゴリの対応関係を抽出すること、
４）ある特定のセンサユニットによる分類精度に基づいて、他のセンサユニットの分類精度を調整すること、
５）次の時点でユーザが遭遇するシーンを各センサユニット毎に予測すること、
６）シーンの予測精度に基づいて、各センサユニットの有効な分類精度を決定すること、
７）ユーザが現在遭遇しているシーンについての分類カテゴリの特定の結果、並びにシーン予測の結果に基づいて、シーンの特異性を判断すること、
８）既に導出された分類カテゴリ間の対応関係並びにシーンの予測規則に影響を与えることなく新たなセンサユニットを追加すること
を可能とするシーン管理装置を提供することができる。
【００５３】
なお、上述のシーン管理装置は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００５４】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００５５】
【図１】シーン管理装置の構成を示すブロック図である。
【図２】シーン管理装置の処理フローを示す第１の図である。
【図３】シーン管理装置の処理フローを示す第３の図である。
【図４】シーン管理装置の処理概要を示す図である。
【符号の説明】
【００５６】
１・・・シーン管理装置、１１・・・入出力部、１２・・・制御部、１３・・・シーンデータベース、１４・・・シーン分類処理部、１５・・・シーン予測処理部
【図１】
2008293178.tif 000009
【図２】
2008293178.tif 000010
【図３】
2008293178.tif 000011
【図４】
2008293178.tif 000012