(57)【特許請求の範囲】
【請求項１】
家族の住居である家の中でなされた手書きによる筆跡データを、前記手書きのコンテキストを示す文脈データと対応付けて回想筆跡データとして蓄積する蓄積部と、
前記家の中の光、音、空気、若しくは筆跡に関する物理量の変化、又は、前記家族の構成員の感情に関する推定量の変化を検出するセンサと、
前記センサにより前記変化が検出されたことを契機に、前記蓄積部により蓄積されている複数組の文脈データの中から、前記変化との関連性が相対的に小さい弱相関文脈データを無作為に選択する分析部と、
前記分析部により無作為に選択された弱相関文脈データに対応付けられた回想筆跡データを１つ前記蓄積部から読み出し、前記回想筆跡データの投影を前記家の中に設けられた再生装置に指示する制御部と、
を備える家の記憶装置。
【請求項２】
前記分析部は、前記変化の検出時点から遡って所定の期間よりも前に蓄積された前記弱相関文脈データを選択する、
請求項１に記載の家の記憶装置。
【請求項３】
前記分析部は、
前記蓄積部により蓄積されている複数組の文脈データの関連性を分析し、前記複数組の文脈データを２つ以上のグループに分類し、
前記変化のコンテキストを示す変化文脈データが属するグループとは別のグループの中から前記弱相関文脈データを選択する、
請求項１に記載の家の記憶装置。
【請求項４】
前記分析部は、機械学習を通じて文脈データ毎の特徴ベクトルを生成し、前記特徴ベクトル同士の関連性に基づいて前記複数組の文脈データを２つ以上のグループに分類する、
請求項３に記載の家の記憶装置。
【請求項５】
前記制御部は、前記家の中に複数の再生装置が設けられている場合、前記変化が検出された位置に基づいて前記回想筆跡データを投影させる再生装置を特定する、
請求項１に記載の家の記憶装置。
【請求項６】
前記制御部は、前記回想筆跡データの再生期間を含む取得期間にわたる前記変化の検出を前記センサに指示する、
請求項１に記載の家の記憶装置。
【請求項７】
前記家の中に設けられて前記回想筆跡データを投影する１つ又は複数の再生装置をさらに備える、
請求項１に記載の家の記憶装置。
【請求項８】
家族の住居である家の中でなされた手書きによる筆跡データを、前記手書きのコンテキストを分類するためのイベント種別と対応付けて回想筆跡データとして蓄積する蓄積部と、
前記家の中の光、音、空気、若しくは筆跡に関する物理量の変化、又は、前記家族の構成員の感情に関する推定量の変化を検出するセンサと、
前記センサにより前記変化が検出されたことを契機に、前記蓄積部により蓄積されている複数のイベント種別の中から、前記変化との関連性が相対的に小さい弱相関イベント種別を無作為に選択する分析部と、
前記分析部により無作為に選択された弱相関イベント種別に対応付けられた回想筆跡データを１つ前記蓄積部から読み出し、前記回想筆跡データの投影を前記家の中に設けられた再生装置に指示する制御部と、
を備える家の記憶装置。
【請求項９】
前記分析部は、前記変化の検出時点から遡って所定の期間よりも前に蓄積された前記弱相関イベント種別を選択する、
請求項８に記載の家の記憶装置。
【請求項１０】
前記分析部は、
前記蓄積部により蓄積されている複数のイベント種別の関連性を分析し、前記複数のイベント種別を２つ以上のグループに分類し、
前記変化のイベント種別が属するグループとは別のグループの中から前記弱相関イベント種別を選択する、
請求項８に記載の家の記憶装置。
【請求項１１】
前記分析部は、機械学習を通じてイベント種別毎の特徴ベクトルを生成し、前記特徴ベクトル同士の関連性に基づいて前記複数のイベント種別を２つ以上のグループに分類する、
請求項１０に記載の家の記憶装置。
【請求項１２】
前記制御部は、前記家の中に複数の再生装置が設けられている場合、前記変化が検出された位置に基づいて前記回想筆跡データを投影させる再生装置を特定する、
請求項８に記載の家の記憶装置。
【請求項１３】
前記制御部は、前記回想筆跡データの再生期間を含む取得期間にわたる前記変化の検出を前記センサに指示する、
請求項８に記載の家の記憶装置。
【請求項１４】
前記家の中に設けられて前記回想筆跡データを投影する１つ又は複数の再生装置をさらに備える、
請求項８に記載の家の記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、家の中の変化を検出し、変化のコンテキストに対して過干渉とならず、かつ家の構成員に家への帰属感を与えるように、当該変化を再生可能な家の記憶装置に関する。
【背景技術】
【０００２】
電子ペンから生成されるデジタルインクは、従来のペンが紙の上に筆跡を残すように、電子ペンの軌跡を再現するために用いられるデータである。デジタルインクとして、特許文献１には、コンピュータ内部のデータモデルとしてオブジェクト指向に基づくデジタルインクの例が、特許文献２にはデジタルインクのシリアライズフォーマットの例がそれぞれ開示されている。【０００３】
さらに、デジタルインクに、単なる筆跡を再現するためのデータという枠を超え、人間の行動の軌跡として「いつ、誰が、どこで、どんな状況で」書いたのかを記録可能としたデジタルインクデータが知られている。例えば、特許文献３には、デジタルインクとして、軌跡を示すストロークデータを誰が書いたのかを特定可能にするデジタルインクが、特許文献４には、ストロークデータを入力した際のコンテキストデータとして、著者、ペンＩＤ、時刻情報、ＧＰＳ（Global Positioning System）で取得された地域情報、などの情報を取得し、それらをメタデータとして記録可能にするデジタルインクが開示されている。【０００４】
また、近年では、「どのような思いあるいは感情で書いたか」の推定を支援するためにデジタルインクを用いることが検討されている。例えば、特許文献５には、手書きの文字や絵の時空間情報を定量化し特徴量を抽出することで、書き手の精神・心理・生理状態を把握し、判定する方法と装置が開示されている。特許文献６には、筆圧等の筆記状態と感情に対応する生体情報を関連付け、筆記状態のみから前記感情に対応する生体情報を導き出す感情推定システムが開示されている。【０００５】
このような、「いつ、どこで、どのような手書きをしたのか」を示すデジタルインクは、いわばその人間の軌跡、つまり行動あるいは感情のヒストリーデータと言える。このようなデジタルインクと、パーソナライズされたＡＩ（Artificial Intelligence）とを組み合わせることにより、さらに高度な生活の実現が期待される。【０００６】
例えば、特許文献７には、家の中で用いられるＡＩを利用したシステムが記載されている。特に、家の環境の中にあるセンサを用いてセンスした結果（変化及び変化の前後のデータ）に基づいて、事前のクライテリアに沿って家のポリシーを提案又は実行するスマートホームシステムが開示される。【０００７】
ＡＩは、過去に得られた学習データに基づいて過去のデータと予測によるデータとのエラー（損失関数の値、誤差）を最小化する方向に学習される。そのためＡＩが家の中で行う提案は、家の環境や提案を行う前後のデータ、あるいは環境データである文脈データ（コンテキスト）に、適合したものとなる確率が高い。【０００８】
反面、ＡＩを用いた学習は、局所的には正解となり大局的な解にたどりつかない局所解や環境データに対してオーバーフィットした学習を行ってしまう過学習の問題が知られている。この過学習の問題は、ＡＩの提案に従った人の行動のパターンにあてはまる可能性があると考える。家での行動のコンテキストに過度に適合した提案をそのまま人が採用続けていくことは、大局的には家を構成する人の選択の範囲に制限を設けてしまうことになる可能性があると考える。【０００９】
換言すれば、合理性と利便性の最適化を追求する従来のＡＩは、偶発性や非合理から生み出される人の創造性を発展させることにはならず、人間あるいは家族を構成する人の生活や社会そのものをエラーの最小化を軸とした無味乾燥なものに押さえ込んでしまう可能性がある（非特許文献１）。それらを解決するうえで、ニューラルネットワークベースのＡＩの学習に、突然変異を取りいれた遺伝的アルゴリズムを適用する手法がいくつか知られている（非特許文献２等）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第０７１５８６７５号明細書
【特許文献２】米国特許第０７３９７９４９号明細書
【特許文献３】特許第５８８６４８７号公報
【特許文献４】米国特許出願公開第２０１６／０２２４２３９号明細書
【特許文献５】特開２０１０−１３１２８０号公報
【特許文献６】国際公開第２０１８／０４３０６１号パンフレット
【特許文献７】米国特許出願公開第２０１６／０２５９３０８号明細書
【非特許文献】
【００１１】
【非特許文献１】カーレンハオ、”「正確すぎるレコメンドエンジン」はインターネットをダメにする”、[online]、2019年3月26日、MIT Tech Review、[2019年3月26日検索] インターネット<URL: https://www.technologyreview.jp/s/129802/deepmind-is-asking-how-google-helped-turn-the-internet-into-an-echo-chamber>
【非特許文献２】D. Whitley, 1995 in “Genetic Algorithms and Neural Networks”, 11.4節、[online、[2019年3月26日検索] インターネット<URL: https://www.cs.colostate.edu/~genitor/MiscPubs/gann.pdf>
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかし、乱数を用いた処理を持ち込むことは、ＡＩの学習過程では有益であろうが、実用段階でＡＩがランダムな出力を行うとすれば、家の環境にまったくなじまず、視覚的又は聴覚的ノイズとなってしまい家という環境において長期の使用には耐えないものとなってしまう。
【課題を解決するための手段】
【００１３】
第１の本発明における家の記憶装置は、家族の住居である家の中でなされた手書きによる筆跡データを、前記手書きのコンテキストを示す文脈データと対応付けて回想筆跡データとして蓄積する蓄積部と、前記家の中の光、音、空気、若しくは筆跡に関する物理量の変化、又は、前記家族の構成員の感情に関する推定量の変化を検出するセンサと、前記センサにより前記変化が検出されたことを契機に、前記蓄積部により蓄積されている複数組の文脈データの中から、前記変化との関連性が相対的に小さい弱相関文脈データを無作為に選択する分析部と、前記分析部により無作為に選択された弱相関文脈データに対応付けられた回想筆跡データを１つ前記蓄積部から読み出し、前記回想筆跡データの投影を前記家の中に設けられた再生装置に指示する制御部と、を備える。【００１４】
第２の本発明における家の記憶装置は、家族の住居である家の中でなされた手書きによる筆跡データを、前記手書きのコンテキストを分類するためのイベント種別と対応付けて回想筆跡データとして蓄積する蓄積部と、前記家の中の光、音、空気、若しくは筆跡に関する物理量の変化、又は、前記家族の構成員の感情に関する推定量の変化を検出するセンサと、前記センサにより前記変化が検出されたことを契機に、前記蓄積部により蓄積されている複数のイベント種別の中から、前記変化との関連性が相対的に小さい弱相関イベント種別を無作為に選択する分析部と、前記分析部により無作為に選択された弱相関イベント種別に対応付けられた回想筆跡データを１つ前記蓄積部から読み出し、前記回想筆跡データの投影を前記家の中に設けられた再生装置に指示する制御部と、を備える。
【発明の効果】
【００１５】
家の環境で用いられる装置であって、家の中の変化の文脈と離れた出力を行うので人の創造性や判断に過度に干渉せず、過去に家の中で記録された筆跡又は音などを出力するので家の環境との帰属感を提供することが期待される。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態における家の記憶装置の概要図である。
【図２】図１に示すシステムの動作に関するフローチャートである。
【図３】筆跡センサ群により検出される筆跡の一例を示す図である。
【図４】蓄積されるイベントデータ及び文脈データの一例を示す図である。
【図５】文脈データが有するデータ構造の一例を示す図である。
【図６】文脈データの選択に関する第１の詳細フローチャートである。
【図７】特徴量空間の分類方法の一例を示す図である。
【図８】文脈データの選択に関する第２の詳細フローチャートである。
【図９】イベント種別に関する特徴ベクトルを獲得するための学習器の構造の一例を示す図である。
【発明を実施するための形態】
【００１７】
本発明における家の記憶装置について、添付の図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対して可能な限り同一の符号を付するとともに、重複する説明を省略する場合がある。なお、本発明は、以下に示す実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
【００１８】
＜システムの構成及び動作＞
図１は、本発明の一実施形態における家の記憶装置の概要図である。図２は、図１に示す家の記憶装置の動作に関するフローチャートである。この装置は、センシングシステム１、制御装置２、再生装置３、及びネットワーク４によって実現される。センシングシステム１及び再生装置３は、家の中に設けられている。ここで、「家」とは、家族の構成員である人が住む場所を意味し、居住建物のみならず、庭、駐車場、物置などを含む広い概念である。
【００１９】
図１に示すセンシングシステム１は、家の中における測定量、又はこの測定量を用いて算出される推定量を取得するとともに、測定量又は推定量の変化に関するイベント（あるいは、単に「変化」ともいう）を検出する（図２のステップＳ１１１）。ここで「測定量」は、家の中の光、音、空気、筆跡などの物理量の測定結果を示す特徴量である。また、「推定量」は、家族の構成員の感情などを示す特徴量である。また、センシングシステム１は、上記したイベントを検出した場合、検出時における測定量又は推定量の変化を示すデータ（以下、イベントデータＳという）のみならず、当該イベントの発生状況を示すデータ（以下、文脈データＳＣという）を送信する（図２のステップＳ１１２）。
【００２０】
センシングシステム１は、家の中の測定量を取得可能なＩｏＴ（Internet of Things）センサ群１１と、構成員の筆跡を検出する筆跡センサ群１２と、を含み構成される。ＩｏＴセンサ群１１は、撮像センサ１１１を含む光センサ、マイクロフォンを含む集音センサ１１２、又は、温度センサを含む空気センサが含まれる。筆跡センサ群１２は、接触式又は非接触式の筆跡センサの集合体である。これにより、センシングシステム１は、自身が生成した各種データを、ネットワーク４を介して制御装置２に供給可能に構成される。なお、筆跡センサ群１２は、構成員が家の中で書いた筆跡に限られず、家の外で書いた筆跡を検出可能に構成されてもよい。
【００２１】
撮像センサ１１１は、例えば、洗面台の鏡の位置（以下、位置１）に設けられている。撮像センサ１１１は、撮像データを所定時間分保持する一時メモリを有している。例えば、顔を洗うために人が近づくイベントが検出された際に、撮像センサ１１１は、イベントデータＳの一態様である映像データｓｄ１をメモリから読み出して抽出する。この場合における文脈データＳＣ１は、映像データｓｄ１の発生時点や空間位置などのメタデータｓｍｃ１と、イベントの発生時点において時間的又は空間的に隣接する映像データ（以下、隣接映像データｓｄｃ１）と、を含み構成される。
【００２２】
集音センサ１１２は、例えば、ダイニングルームや庭の位置（以下、位置２）に設けられている。集音センサ１１２は、音データを所定時間分保持する一時メモリを有している。例えば、通常よりも大きい声を発するイベント、食器が落下して割れるイベント、又は、落ち葉を踏むイベントが検出された際に、集音センサ１１２は、イベントデータＳの一態様である音データｓｄ２をメモリから読み出して抽出する。この場合における文脈データＳＣ２は、音データｓｄ２の発生時点や空間位置などのメタデータｓｍｃ２と、イベントの発生時点において時間的又は空間的に隣接する音データ（以下、隣接音データｓｄｃ２）と、を含み構成される。
【００２３】
第１センサ１２１は、例えば、電子ペンが指示する位置を検出する静電容量方式のタッチセンサであり、洗面台の鏡（位置１）の裏面に埋め込まれる。第２センサ１２２は、例えば、筆記面を撮像するイメージスキャナであり、ダイニングテーブル（位置２）の周辺に設置される。例えば、家族の構成員が筆記を行うイベントが検出された際に、第１センサ１２１又は第２センサ１２２は、イベントデータＳの一態様である筆跡データｓｄ３をメモリから読み出して抽出する。この場合における文脈データＳＣ３は、筆跡データｓｄ３の筆記時点、筆記位置、筆記者などのメタデータｓｍｃ３と、イベントの発生時点において時間的又は空間的に隣接する音データ（以下、隣接筆跡データｓｄｃ３）と、を含み構成される。筆記者は、電子ペンの送信信号に含まれるペンＩＤから特定されてもよいし、イメージセンサを備えるコンピュータの所有者又はログイン情報から特定されてもよい。
【００２４】
図３は、筆跡センサ群１２により検出される筆跡の一例を示す図である。１番目の筆跡３０１は、ちょっとした買い物メモを示しており、筆跡データｓｄ３１を可視化したものである。２番目の筆跡３０２は、走り書きのメッセージを示しており、筆跡データｓｄ３２を可視化したものである。３番目の筆跡３０３は、あまり意味のないスケッチを示しており、筆跡データｓｄ３３を可視化したものである。４番目の筆跡３０４は、感謝の手紙を示しており、筆跡データｓｄ３４を可視化したものである。この他にも、無心で描き続けた家族の肖像、学びのノート、古い日記、将来のスケッチ、などが筆跡データｓｄ３として記録され得る。つまり、筆跡データｓｄ３は、家の中で、その家族が、少なくとも１年の長期的な変化の中で無数に書き残し、構成員の様々な想いによって創造されたデータであるとも言えよう。以下、現在から遡って所定の期間（例えば、１年、５年、１０年など）よりも前に蓄積されるイベントデータＳのことを「回想イベントデータ」ともいう。
【００２５】
次に、制御装置２について説明する。制御装置２は、その家あるいは家族の構成員が生れ落ちてから絶えるまでというように、長い期間についての記憶を行う。家を構成する要素には、家屋、家具、匂い、音、光、空気、及び家に住む人などの物理的な要素のみならず、それら物理量を生成する人同士の関係やそれら人の感情の推定量が含まれる。これらの要素は、時の経過とともに移ろうものであり、その経年変化の積み重ねがその家の歴史を形成し、その移ろいの連続がその家を唯一無二のユニークな存在にさせると考えられる。そこで、制御装置２は、このような移ろいの連続としての「家の記憶」に関する様々な処理を行う。
【００２６】
この制御装置２は、ネットワーク４に接続された１以上のコンピュータ群により実現される。各々のコンピュータは、メモリ、プロセッサ、通信インターフェイスを含み構成される。図１に示すように、制御装置２は、機能的に、蓄積部２１（「蓄積手段」に相当）、分析部２２、及び制御部２３を有する。
【００２７】
蓄積部２１は、センシングシステム１から送信されたイベントデータＳと文脈データＳＣとを関連付けて蓄積する（図２のステップＳ２１０）。以下、蓄積された過去のデータであることを明示するため、イベントデータを「Ｓｐｓｔ」及び文脈データを「ＳＣｐｓｔ」とそれぞれ表記する場合がある。
【００２８】
図４は、蓄積されるイベントデータＳ及び文脈データＳＣの一例を示す図である。Ｓ１１、 Ｓ１２、…は、撮像センサ１１１により取得されたイベントデータＳ１と、文脈データＳＣ１との間の対応関係を示している。Ｓ２１、Ｓ２２、…は、集音センサ１１２により取得されたイベントデータＳ２と、文脈データＳＣ２との間の対応関係を示している。Ｓ３１、Ｓ３２、…は、筆跡センサ群１２により取得されたイベントデータＳ３と、文脈データＳＣ３との間の対応関係を示している。
【００２９】
図５は、文脈データＳＣが有するデータ構造の一例を示す図である。文脈データＳＣは、Ｎ個の文脈要素（Ｅ１〜ＥＮ）を有する。文脈要素Ｅ１は、イベントの発生位置（例えば、位置１、位置２など）を示している。文脈要素Ｅ２は、イベントの発生時点（例えば、時・分・秒、時間帯など）を示している。文脈要素Ｅ３は、イベント発生時からの経過時間（例えば、日数、月数、年数など）を示している。文脈要素Ｅ４は、イベントの発生主体（例えば、人／物の区分、名前、名称など）を示している。文脈要素Ｅ５は、イベントデータＳの記録態様（例えば、映像、音、筆跡など）を示している。
【００３０】
なお、文脈要素の種類は、図５の例に限られることなく、イベントの発生状況と何らかの関連性を有する様々な要素であってもよい。例えば、イベントデータの記録態様が一致する場合は、隣接音データｓｄｃ２同士の周波数解析の類比や、隣接筆跡データｓｄｃ３間の類似度などが用いられてもよい。
【００３１】
分析部２２は、蓄積部２１により蓄積されたデータに対して様々な分析処理を行う（図２のステップＳ２２）。このステップＳ２２は、３つのサブステップＳ２２１〜Ｓ２２３から構成される。
【００３２】
まず、分析部２２は、検出されたイベントが作動条件を満たすか否かを判定する（ステップＳ２２１）。この作動条件は、イベントの種類に応じて様々に設定されてもよく、例えば、音の発生に関するイベントに関して、音データｓｄ２１の音量レベルが隣接音データｓｄｃ２１においても継続して発生することであってもよい。以下、現在発生したイベントのことを「第１イベント」と称するとともに、第１イベントに対応するデータを「第１イベントデータＳｃｕｒ」及び「第１文脈データＳＣｃｕｒ」という場合がある。
【００３３】
次に、分析部２２は、蓄積部２１により蓄積されている複数組のイベントデータＳｐｓｔの中から、第１イベントとの関連性が相対的に低い第２イベントに属するイベントデータＳを選択する（図２のステップＳ２２２）。以下、このイベントデータを「第２イベントデータＳｒｅｐ」と称するとともに、これに関連付けられた文脈データを「第２文脈データＳＣｒｅｐ」という場合がある。なお、第２イベントデータＳｒｅｐの選択方法については後で詳述する。
【００３４】
最後に、分析部２２は、センサの設置場所に近い位置にある再生デバイスを特定する（図２のステップＳ２２３）。これは、イベントの発生前後において家族の構成員が動いている蓋然性が高いだろうという予測のもと、トリガーとなったイベントの発生地点に近い位置にて再生を実行するための処理である。
【００３５】
制御部２３は、指示信号ＣＴの送信を通じて、センシングシステム１又は再生装置３を制御する。制御部２３は、分析部２２により特定された再生装置３に対して、第２イベントデータＳｒｅｐを含む再生指示信号ＣＴ１を送信する（図２のステップＳ２３１）。制御部２３は、第１イベントが検出されたセンシングシステム１に対し、家の中における測定量又は推定量を取得する旨の取得指示信号ＣＴ２を送信する（図２のステップＳ２３２）。ここで、制御部２３は、再生装置３による再生期間Ｐ１が、センシングシステム１による取得期間Ｐ２に包含されるようにタイミング制御を行ってもよい。
【００３６】
再生装置３は、再生指示信号Ｃ１Ｔに含まれる第２イベントデータＳｒｅｐに基づいて、第１イベントとの関連性が相対的に低い第２イベントを再生する（図２のステップＳ３００）。図１の例では、再生装置３は、位置１に設けられる表示装置３１と、位置２に設けられるスピーカ３２と、を含み構成される。表示装置３１は、第２イベントデータＳｒｅｐの一態様である筆跡データに基づいて、過去に残された筆跡を投影又は表示可能に構成される。スピーカ３２は、第２イベントデータＳｒｅｐの一態様である音データに基づいて、過去に残された音を再生可能に構成される。なお、センシングシステム１と再生装置３とは、例えば、スマートスピーカのように単体の装置として組み込まれてもよい。
【００３７】
この実施形態における家の記憶システムの構成及び動作は以上の通りである。このように構成されるシステムに期待される効果を、シナリオ例を用いて説明する。
【００３８】
例えば、午前７時の朝に、人１が、顔を洗う際に位置１に設けられた鏡を見る。その鏡に設けられた撮像センサ１１１は、その表情を物理量として計測するとともに、その物理量から予測された推定量である人の状態の変化を検出する。制御装置２は、撮像センサ１１１により「顔を洗う」イベントが検出された場合、「顔を洗う」との関連性が低い「買い物メモ」を示す筆跡データｓｄ３１を、位置１に設けられた表示装置３１に送信する。この筆跡データｓｄ３１は、位置２に設けられた第２センサ１２２が、人２が午後６時の夜にダイニングテーブルに残した筆跡を検出して得られたデータである。
【００３９】
例えば、午後７時の夜に、ダイニングルーム（位置２）で食事している最中に、皿（物体３）が割れてしまったとする。位置２に設けられた集音センサ１１２は、皿が割れる大きな音を発した後、周囲の音の変化を検出する。制御装置２は、無音状態が一定期間続くことの作動条件を満たすことで「皿」イベントが検出された場合、「皿」との関連性が低い「落ち葉」に関する音データｓｄ２３を位置２に設けられたスピーカ３２に送信するとともに、「皿」との関連性が低い「意味のないスケッチ」に関する筆跡データｓｄ３３を位置１に設けられた表示装置３１に送信する。これにより、家の庭で誰かが落ち葉を踏んだ音や、あまり意味のないスケッチを示す筆跡がそれぞれ再生される。
【００４０】
＜第１の選択動作＞
続いて、分析部２２による第１の選択動作（図２のステップＳ２２２）について、図６及び図７を参照しながら説明する。
【００４１】
図６のステップＳ６０１において、分析部２２は、第１文脈データＳＣｃｕｒ及び過去の文脈データＳＣｐｓｔに関する特徴ベクトルを算出する。例えば、この特徴ベクトルは、Ｎ個の文脈要素に対応するＮ個のベクトル成分からなる。このベクトル成分は、文脈要素を定量的に表現した特徴量であり、離散値又は連続値のいずれであってもよい。以下、各々の特徴ベクトルは、［０，１］の範囲で正規化されたＮ個のベクトル成分からなると想定する。
【００４２】
なお、特徴ベクトルの算出方法は、様々な手法が用いられてもよい。例えば、この特徴ベクトルは、図９で後述するように、ニューラルネットワークを用いた機械学習を通じて算出されてもよい。図９の例では、第１入力層９１から入力した特徴ベクトルに対する中間層９３（第１部分９３Ａ）の出力値を用いることで、次元数がＮからＰ（１＜Ｐ＜Ｎ）に削減された特徴ベクトルが求められる。
【００４３】
ステップＳ６０２において、分析部２２は、ステップＳ６０１で取得された特徴ベクトルを用いて、特徴量空間７０の分類を行う。ここでは、文脈データＳＣ同士の関連性の強弱が、特徴量空間７０上のノルム（距離Ｄ）によって評価される点に留意する。
【００４４】
図７は、特徴量空間７０の分類方法の一例を示す図である。図示の便宜上、２つの成分（ｉ，ｊ番目）のみを表記している。基準点７１は、第１文脈データＳＣｃｕｒに関する特徴ベクトルを示している。特徴量空間７０をなす全体領域は、基準点７１からの距離Ｄに応じて、［１］第１強相関領域７２、［２］第２強相関領域７３、及び［３］弱相関領域７４、の３つの領域に分類される。第１強相関領域７２は、強い正の相関がある領域に相当する（０≦Ｄ≦Ｄ１）。第２強相関領域７３は、強い負の相関がある領域に相当する（Ｄ≧Ｄ２）。弱相関領域７４は、残余の領域に相当する（Ｄ１＜Ｄ＜Ｄ２）。
【００４５】
なお、分類されるグループの個数は、図７の例（３つ）に限られることなく、２つであってもよいし４つ以上であってもよい。また、分類の手法は、上記した距離に基づく手法に限られず、Ｋ−ｍｅａｎｓ法を含む様々なクラスタリング手法が適用されてもよい。
【００４６】
ステップＳ６０３において、分析部２２は、ステップＳ６０２で分類された弱相関領域７４に属する複数組の文脈データＳＣｐｓｔの中から１組を無作為に選択することで、再生対象の第２文脈データＳＣｒｅｐを取得する。これに代えて、分析部２２は、第２強相関領域７３に属する文脈データＳＣｐｓｔの中から第２文脈データＳＣｒｅｐを取得してもよい。あるいは、分析部２２は、第１イベントの発生時点から遡って所定の期間（例えば、１年）よりも前に蓄積された第２文脈データＳＣｒｅｐを選択してもよい。
【００４７】
ステップＳ６０４において、分析部２２は、ステップＳ６０４で選択された第２文脈データＳＣｒｅｐに対応する第２イベントデータＳｒｅｐを、蓄積部２１から読み出して取得する。このようにして、分析部２２による第１の選択動作が終了する。
【００４８】
＜第２の選択動作＞
続いて、分析部２２による第２の選択動作（図２のステップＳ２２２）について、図８及び図９を参照しながら説明する。
【００４９】
図８のステップＳ８０１において、分析部２２は、第１イベントを含むＭ個のイベント種別に関する特徴ベクトルを算出する。例えば、この特徴ベクトルは、Ｑ個（１＜Ｑ＜Ｍ）のベクトル成分からなり、ニューラルネットワークを用いた機械学習を通じて算出される。具体的には、機械学習により決定されたＭ×Ｑ行列の結合重み行列｛Ｗ２｝から、イベント種別に対応する行成分を抜き出すことで、Ｐ次元の特徴ベクトルが求められる。
【００５０】
図９は、イベント種別に関する特徴ベクトルを獲得するための学習器９０の構造の一例を示す図である。この学習器９０は、第１入力層９１と、第２入力層９２と、中間層９３と、出力層９４と、を順次接続してなる階層型ニューラルネットワークである。
【００５１】
第１入力層９１は、Ｎ個の特徴量を有する特徴ベクトルを入力するためのＮ個の演算ユニットから構成される。各々の特徴量は、イベントの発生前における文脈データＳＣに関する特徴を定量化した値である。第２入力層９２は、Ｍ個のラベルを有する分類ベクトルを入力するためのＭ個の演算ユニットから構成される。この分類ベクトルは、該当（１）又は非該当（０）の２値を用いてイベント種別を表現するワンホットベクトルである。
【００５２】
中間層９３は、（Ｐ＋Ｑ）個の演算ユニットから構成される。中間層９３の第１部分９３Ａ（Ｐ個の演算ユニット）は、全結合により第１入力層９１と接続される。中間層９３の第２部分９３Ｂ（Ｑ個の演算ユニット）は、全結合により第２入力層９２と接続される。ここで、｛Ｗ１｝及び｛Ｗ２｝はそれぞれ、第１入力層９１と第１部分９３Ａの間、第２入力層９２と第２部分９３Ｂの間における結合重み行列を示している。
【００５３】
出力層９４は、Ｎ個の特徴量を有する特徴ベクトルを出力するためのＮ個の演算ユニットから構成される。各々の特徴量は、イベントの発生後における文脈データＳＣに関する特徴を定量化した値である。出力層９４は、全結合により中間層９３と接続される。ここで、｛Ｗ３｝は、中間層９３と出力層９４の間における結合重み行列を示している。
【００５４】
ここで、イベント種別及びイベントの発生前の特徴ベクトルを入力値とし、イベント発生後の特徴ベクトルを正解値とする機械学習を通じて、結合重み行列｛Ｗ２｝｛Ｗ３｝の更新・最適化がなされる。一方、結合重み行列｛Ｗ１｝は、事前学習を通じて予め最適化されており、本番の学習時には固定されている。なお、この事前学習は、第１入力層９１、第１部分９３Ａ、及び出力層９４からなる部分的なニューラルネットワークを用いた、自己符号化器による教師なし学習に相当する。
【００５５】
図８のステップＳ８０２において、分析部２２は、ステップＳ８０１で取得された特徴ベクトルを用いて、特徴量空間７０の分類を行う。分析部２２は、図６のステップＳ６０２で既に説明した手法を用いて分類を行ってもよい。ここでは、図７に示すように、特徴量空間７０が、第１強相関領域７２、第２強相関領域７３、及び弱相関領域７４、の３つの領域に分類された場合を想定する。
【００５６】
ステップＳ８０３において、分析部２２は、ステップＳ８０２で分類された弱相関領域７４に属する複数のイベント種別の中から１つを無作為に選択することで、再生対象のイベント種別を取得する。
【００５７】
ステップＳ８０４において、分析部２２は、ステップＳ８０３で選択されたイベント種別に対応する複数のイベントデータＳｐｓｔの中から１つを無作為に選択することで、再生対象の第２文脈データＳＣｒｅｐを取得する。あるいは、分析部２２は、第１イベントの発生時点から遡って所定の期間（例えば、１年）よりも前に蓄積された第２文脈データＳＣｒｅｐを選択してもよい。
【００５８】
＜実施形態のまとめ＞
以上のように、この実施形態における家の記憶装置は、家族の住居である家の中でなされた手書きによる筆跡データ（「イベントデータＳ」に相当）を、手書きのコンテキストを示す文脈データＳＣと対応付けて回想筆跡データとして蓄積する蓄積部２１と、家の中の光、音、空気、若しくは筆跡に関する物理量の変化、又は、家族の構成員の感情に関する推定量の変化を検出するセンサと、変化（「第１イベント」に相当）が検出されたことを契機に、蓄積部２１により蓄積されている複数組の文脈データＳＣの中から、変化との関連性が相対的に小さい弱相関文脈データ（「第２文脈データＳＣｒｅｐ」に相当）を無作為に選択する分析部２２と、分析部２２により無作為に選択された弱相関文脈データに対応付けられた回想筆跡データ（第２イベントデータ「Ｓｒｅｐ」に相当）を１つ蓄積部２１から読み出し、回想筆跡データの投影を家の中に設けられた再生装置３に指示する制御部２３を備える。ここで、家の記憶装置は、家の中に設けられて回想筆記データを投影する１つ又は複数の再生装置３をさらに備えてもよい。
【００５９】
また、分析部２２は、変化の検出時点から遡って所定の期間よりも前に蓄積された弱相関文脈データを選択してもよい。また、分析部２２は、蓄積されている複数組の文脈データＳＣの関連性を分析し、複数組の文脈データを２つ以上のグループに分類し、変化のコンテキストを示す変化文脈データ（「第１文脈データＳＣｃｕｒ」に相当）が属するグループとは別のグループの中から弱相関文脈データを選択してもよい。また、分析部２２は、機械学習を通じて文脈データＳＣ毎の特徴ベクトルを生成し、特徴ベクトル同士の関連性に基づいて複数組の文脈データＳＣを２つ以上のグループに分類してもよい。また、制御部２３は、家の中に複数の再生装置３が設けられている場合、変化が検出された位置に基づいて回想筆跡データを投影させる再生装置３を特定してもよい。また、制御部２３は、回想筆記データの再生期間（Ｐ１）を含む取得期間（Ｐ２）にわたる変化の検出をセンサに指示してもよい。
【００６０】
この実施形態における家の記憶装置は、家族の住居である家の中でなされた手書きによる筆跡データ（「イベントデータＳ」に相当）を、手書きのコンテキストを分類するためのイベント種別と対応付けて回想筆跡データとして蓄積する蓄積部２１と、家の中の光、音、空気、若しくは筆跡に関する物理量の変化、又は、家族の構成員の感情に関する推定量の変化を検出するセンサと、変化（「第１イベント」に相当）が検出されたことを契機に、蓄積部２１により蓄積されている複数のイベント種別の中から、変化との関連性が相対的に小さい弱相関イベント種別（「第２イベント種別」に相当）を無作為に選択する分析部２２と、分析部２２により選択された弱相関イベント種別に対応付けられた回想筆跡データ（第２イベントデータ「Ｓｒｅｐ」に相当）を１つ蓄積部２１から読み出し、回想筆跡データの投影を家の中に設けられた再生装置３に指示する制御部２３を備える。ここで、家の記憶装置は、家の中に設けられて回想筆記データを投影する１つ又は複数の再生装置３をさらに備えてもよい。
【００６１】
また、分析部２２は、変化の検出時点から遡って所定の期間よりも前に蓄積された弱相関文脈データを選択してもよい。また、分析部２２は、蓄積されている複数のイベント種別の関連性を分析し、複数のイベント種別を２つ以上のグループに分類し、変化のイベント種別が属するグループとは別のグループの中から弱相関文脈データを選択してもよい。また、分析部２２は、機械学習を通じてイベント種別毎の特徴ベクトルを生成し、特徴ベクトル同士の関連性に基づいて複数のイベント種別を２つ以上のグループに分類してもよい。また、制御部２３は、家の中に複数の再生装置３が設けられている場合、変化が検出された位置に基づいて回想筆跡データを投影させる再生装置３を特定してもよい。また、制御部２３は、回想筆記データの再生期間（Ｐ１）を含む取得期間（Ｐ２）にわたる変化の検出をセンサに指示してもよい。
【００６２】
＜符号の説明＞
１‥センシングシステム、１１‥ＩｏＴセンサ群、１２‥筆跡センサ群、２‥制御装置、２１‥蓄積部、２２‥分析部、２３‥制御部、３‥再生装置、３１‥表示装置、３２‥スピーカ装置、Ｓ‥イベントデータ、Ｓｃｕｒ‥第１イベントデータ、Ｓｒｅｐ‥第２イベントデータ、ＳＣ‥文脈データ、ＳＣｃｕｒ‥第１文脈データ、ＳＣｒｅｐ‥第２文脈データ
【要約】
家の中の変化を検出し、変化の文脈に対して過干渉とならず、かつ家の構成員に家への帰属感を与えるように、当該変化を再生可能な家の記憶装置を実現する。家の記憶装置は、家族の住居である家の中でなされた手書きによる筆跡データを、手書きのコンテキストを示す文脈データと対応付けて回想筆跡データとして蓄積し、家の中の光、音、空気、若しくは筆跡に関する物理量の変化、又は、家族の構成員の感情に関する推定量の変化を検出し、変化が検出されたことを契機に、蓄積されている複数組の文脈データの中から、変化との関連性が相対的に小さい弱相関文脈データを無作為に選択し、弱相関文脈データに対応付けられた１つの回想筆跡データの投影を家の中に設けられた再生装置に指示する。【図１】
0006746267.tif 000002
【図２】
0006746267.tif 000003
【図３】
0006746267.tif 000004
【図４】
0006746267.tif 000005
【図５】
0006746267.tif 000006
【図６】
0006746267.tif 000007
【図７】
0006746267.tif 000008
【図８】
0006746267.tif 000009
【図９】
0006746267.tif 000010