(57)【要約】【課題】センサデータ及びユーザとの対話から得た知識を用いて、起承転結型のストーリーを生成する。【解決手段】センサノードを用いて観測されたイベントから、非日常イベントを、予め把握されたイベントの発生トレンドとの対比により抽出して、これをストーリーの「転」とし、当該非日常イベントが発生した日時や環境にふさわしい導入文を「起」として生成し、その日時や環境における日常のイベントを予め把握されたイベントの発生トレンドから特定して、これを「承」として生成し、当該非日常イベントの原因イベントをユーザとの対話から発見し、これを「結」として生成して、これらを結合することにより起承転結型のストーリーを生成する。【選択図】図１
2012008839.tif 000002
【特許請求の範囲】
【請求項１】
センサノードを用いて観測されたイベントから、非日常イベントを、予め把握されたイベントの発生トレンドとの対比により抽出して、これをストーリーの「転」とし、当該非日常イベントが発生した日時や環境にふさわしい導入文を「起」として生成し、その日時や環境における日常のイベントを予め把握されたイベントの発生トレンドから特定して、これを「承」として生成し、当該非日常イベントの原因イベントをユーザとの対話から発見し、これを「結」として生成して、これらを結合することにより起承転結型のストーリーを生成する起承転結型ストーリー生成装置。
【請求項２】
請求項１に記載の起承転結型ストーリー生成装置であって、
生活環境に設置された複数のセンサノードと、
センサノードで収集されたセンサデータに基づき、イベントを検知するイベント検知部と、
前記イベントを時系列的に蓄積するイベントＤＢと、
イベント検知部で検知されたイベントが、イベントＤＢの蓄積データから把握される各イベントの発生トレンドに対し、異なる時期や時間帯に検知された場合に、当該イベントを非日常イベントとして検知する非日常イベント検知部と、
前記非日常イベントの原因イベントを、ユーザとの対話により発見する質問生成・実行部と、
前記非日常イベントが検知されたとき、これを起承転結からなるストーリーの「転」として出力するとともに、当該「転」に対応する「起」を起生成部に、当該「転」に対応する「承」を承生成部に、それぞれ生成するよう要求する転生成部と、
センサノードで収集されたセンサデータを用いて、前記非日常イベントが検知された日時や環境を説明する「起」を生成して出力する起生成部と、
イベントＤＢの蓄積データから把握される各イベントの発生トレンドに基づき、前記非日常イベントが検知された日時や環境において日常発生するイベントを抽出し、これを「承」として出力する承生成部と、
質問生成・実行部で発見された前記非日常イベントの原因イベントを用いて、前記「転」に対応する「結」を生成し出力する結生成部と、
「起」、「承」、「転」、「結」の順でこれらを結合し、起承転結型のストーリーを生成するストーリー結合部と、
を備える起承転結型ストーリー生成装置。
【請求項３】
センサノードを用いて観測されたイベントから、非日常イベントを、予め把握されたイベントの発生トレンドとの対比により抽出して、これをストーリーの「転」とし、当該非日常イベントが発生した日時や環境にふさわしい導入文を「起」として生成し、その日時や環境における日常のイベントを予め把握されたイベントの発生トレンドから特定して、これを「承」として生成し、当該非日常イベントの原因イベントをユーザとの対話から発見し、これを「結」として生成して、これらを結合することにより起承転結型のストーリーを生成する起承転結型ストーリー生成方法。
【請求項４】
請求項３に記載の起承転結型ストーリー生成方法であって、
センサノードで収集されたセンサデータに基づき、イベントを検知するイベント検知ステップと、
前記イベントを時系列的にイベントＤＢに蓄積するイベント蓄積ステップと、
イベント検知ステップで検知されたイベントが、イベントＤＢの蓄積データから把握される各イベントの発生トレンドに対し、異なる時期や時間帯に検知された場合に、当該イベントを非日常イベントとして検知する非日常イベント検知ステップと、
前記非日常イベントが検知されたとき、これを起承転結からなるストーリーの「転」として出力するとともに、当該「転」に対応する「起」を生成する起生成ステップと、当該「転」に対応する「承」を生成する承生成ステップを実行するよう要求する転生成ステップと、
センサノードで収集されたセンサデータを用いて、前記非日常イベントが検知された日時や環境を説明する「起」を生成して出力する起生成ステップと、
イベントＤＢの蓄積データから把握される各イベントの発生トレンドに基づき、前記非日常イベントが検知された日時や環境において日常発生するイベントを抽出し、これを「承」として出力する承生成ステップと、
前記非日常イベントの原因イベントを、ユーザとの対話により発見する質問生成・実行ステップと、
前記原因イベントを用いて、前記「転」に対応する「結」を生成し出力する結生成ステップと、
「起」、「承」、「転」、「結」の順でこれらを結合し、起承転結型のストーリーを生成するストーリー結合ステップと、
を実行する起承転結型ストーリー生成方法。
【請求項５】
請求項１又は２に記載の起承転結型ストーリー生成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユビキタスセンサにより得られたセンサデータの記録・ストーリー化に関し、特に、ストーリー構成の代表的な１つである起承転結型のストーリーをセンサデータ及びユーザとの対話から得た知識を用いて構成する、起承転結型ストーリー生成装置、起承転結型ストーリー生成方法、及びそのプログラムに関する。
【背景技術】
【０００２】
人は、重要なイベントや役に立つ情報を、提示し、記憶し、又は思い出すために、ストーリーを用いる。例えば、人は楽しいイベントを、家族や、学校・通勤で費やされた時などに関連づけられたストーリーを通じて経験する。ストーリー立てて伝えることは、他人のイベントや経験を挿話的文脈の中で伝える、非常に強くて効果的な方法である。そのようなイベントは、通常、だんだん忘れ去られてしまうが、挿話的文脈に組み込まれたイベントは人々の記憶に残りやすい。
【０００３】
人の日常生活において起こった様々なイベントが撮影された写真や動画を用いてストーリーを生成する装置や方法は既に研究・開発されている。
【０００４】
例えば、非特許文献１のMy Life Bits Projectには、ＰＣを使用するユーザの操作を全て記憶したり、ディジタルカメラの撮影記録を組み合わせることで、過去の行動の分析や体験の共有・追体験を可能とする方法が開示されている。あわせて、記録した動画像を用いたスライドショー形式のストーリーを手動で作成するためのアプリケーションも開示されている。
【０００５】
また、非特許文献２には、撮影した写真を基にストーリーを簡単に作成できるデバイスが開示されている。デバイスは、液晶ディスプレイやマイクを備え、ディスプレイに表示された写真に対し、声で読み上げたストーリーを付加できる。
【０００６】
また、非特許文献３には、一日のユーザの行動（会った人や行った場所など）に関するログを、アイコンを用いたストーリーとしてユーザに提示するシステムが開示されている。例えば、ユーザＡがユーザＢに会ったというイベントは、それぞれのユーザを表すアイコンによって表現される。
【０００７】
このように、ストーリー生成に関する研究の多くは、撮影された写真や画像を基に（半）手動でストーリーを作成するものである。一方、環境に設置されたユビキタスセンサを用いて非日常イベントを検出し、それに関するストーリーを生成する研究が非特許文献４に開示されている。このストーリー化手法は、センサによって得られた非日常イベントとユーザとの対話により得られたその原因とからなるストーリーを生成するものであり、例えば、非日常イベントが「Ａさんが遅刻した」、その原因が「Ａさんが寝坊した」だった場合、作成されるストーリーは「Ａさんが遅刻した。その原因は、Ａさんが寝坊したから。」というようなストーリーを生成する。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Jim Gemmell, Gordon Bell and Roger Lueder, "My Life Bits: A Personal Database for Every thing", Communications of the ACM,2006, Vol.49, Issue 1, p.88-95
【非特許文献２】Marko Balabanovic, Lonny L. Chu and Gregory J. Wolff,"Storytelling with Digital Photographs", Proc of Conference on Human Factors in Computing Systems, 2000, p.564-571
【非特許文献３】M. Lamming and M. Flynn, "Forget-me-not: Intimate Computing in Support of Human Memory", Proc of FRIEND21: International Symposium on Next Generation Human Interface, 1994, p.125-128
【非特許文献４】Shohei Yoshioka, Yasushi Hirano, Shoji Kajita, Kenji Mase and Takuya Maekawa,"Semi-automatic Story Creation System in Ubiquitous Sensor Environment", Lecture Notes in Computer Science, 2009, Vol.5859, p.106-111
【発明の概要】
【発明が解決しようとする課題】
【０００９】
非特許文献４のストーリー化手法は、非日常イベントと原因からなる単純なストーリーを生成するものであり、より自然なストーリー化のためには、そのストーリーに現れる登場人物の背景の説明などが必要である。
【００１０】
本発明の目的は、センサデータ及びユーザとの対話から得た知識を用いて、ストーリー構成の代表的な１つである起承転結型のストーリーを生成することができる起承転結型ストーリー生成装置、起承転結型ストーリー生成方法、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の起承転結型ストーリー生成装置は、センサノードを用いて観測されたイベントから、非日常イベントを、予め把握されたイベントの発生トレンドとの対比により抽出して、これをストーリーの「転」とし、当該非日常イベントが発生した日時や環境にふさわしい導入文を「起」として生成し、その日時や環境における日常のイベントを予め把握されたイベントの発生トレンドから特定して、これを「承」として生成し、当該非日常イベントの原因イベントをユーザとの対話から発見し、これを「結」として生成して、これらを結合することにより起承転結型のストーリーを生成する。
【発明の効果】
【００１２】
本発明の起承転結型ストーリー生成装置、起承転結型ストーリー生成方法、及びそのプログラムによれば、センサデータ及びユーザとの対話から得た知識を用いて、ストーリー構成の代表的な１つである起承転結型のストーリーを生成することができる。これにより、センサデータに基づく、日常生活に関わるわかりやすいストーリーの作成およびユーザへの提示が可能となる。
【図面の簡単な説明】
【００１３】
【図１】起承転結型ストーリー生成装置１００の構成例を示すブロック図。
【図２】起承転結型ストーリー生成装置１００の処理フロー例を示す図。
【図３】イベントの発生トレンドの例、及びイベントベクトル・イベント行列の生成イメージを示す図。
【発明を実施するための形態】
【００１４】
図1は本発明の起承転結型ストーリー生成装置１００の構成例を示すブロック図である。また、図２はその処理フロー例である（Ｓ１〜Ｓ９）。起承転結型ストーリー生成装置１００は、センサネットワーク１１１、イベント検知部１２１、イベントＤＢ１２２、非日常イベント検知部１２３、質問生成・実行部１２４、転生成部１３１、起生成部１３２、承生成部１３３、結生成部１３４、及びストーリー結合部１４１を備える。
【００１５】
センサネットワーク１１１は、複数のセンサノードから構成される。センサノードは、加速度センサや磁気方位センサや温度・湿度センサなどを含み、コップやドアなどの生活環境における物品や設備に設置される。
【００１６】
イベント検知部１２１は、複数のセンサノードで収集された加速度データや方位データなどのセンサデータに基づき、複数のイベントを検知する（Ｓ１）。検知されるイベントは、お茶を淹れる、掃除をするなどといった高度なイベントから、コップが動くなどといった低レベルなイベントを含む。高度なイベントは、参考文献１などに示される教師あり学習を用いた手法により検知される。物の動きなどの低レベルなイベントの検知は、加速度センサの加速度データが大きく変化した時区間を検知することにより行われる。代表的な手法としては参考文献２などに示される手法が挙げられる。
【００１７】
〔参考文献１〕E.M. Tapia, S.S. Intille, and K. Larson, "Activity Recognithion in the Home Using Simple and Ubiquitous Sensors", Proceedings of Pervasive 2004, 2004, p.158-175
〔参考文献２〕J. Sohn, N.S. Kim, and W. Sung, "A Statistical Model-based Voice Activity Detection", IEEE Signal Processing Letters 6, 1999, p.1-3
イベントＤＢ１２２は、イベント検知部１２１で検知されたイベントを時系列的に蓄積する（Ｓ２）。
【００１８】
非日常イベント検知部１２３は、イベント検知部１２１で検知されたイベントが、イベントＤＢ１２２の蓄積データから把握される各イベントの発生トレンドに対し、異なる時期や時間帯に検知された場合に、当該イベントを非日常イベントとして検知する（Ｓ３）。例えば、日常的には起こっていない「素麺を茹でる」というイベントが１２時に起こった場合、「１２時に素麺を茹でるイベントが起こった」が非日常イベントとして検知される。このような非日常イベントの検知は、例えば非特許文献４に示される手法を用いて行うことができる。
【００１９】
質問生成・実行部１２４はエージェント機能を備え、非日常イベント検知部１２３で検知された非日常イベントの原因イベントを、ユーザとの対話により発見する（Ｓ７）。例えば、エージェント機能が「１２時に素麺を茹でるイベントが起こった」という非日常イベントをユーザに対して提示してその理由を問い、ユーザが例えば「七夕パーティーという予定があったから」という回答を入力する。このような原因イベントの発見処理についても非特許文献４に示される手法などを用いて行うことができる。
【００２０】
転生成部１３１は、非日常イベント検知部１２３で非日常イベントが検知されたとき、これを起承転結からなるストーリーの「転」として出力する（Ｓ４）。具体的には、結合されたストーリーの流れが自然になるよう、非日常イベント検知部１２３で検知された非日常イベントに適当な接続詞や補語を加えたり文末を活用させるなどの整形を施した文章を出力する。例えば、非日常イベントが「１２時に素麺を茹でるイベントが起こった」であった場合には、「ところが、今日は１２時に素麺を茹でるイベントが起こりました。」というように整形した文章を出力する。
【００２１】
起生成部１３２は、センサネットワーク１１１の各センサノードで収集されたセンサデータを用いて、転生成部１３１から出力された「転」に係る非日常イベントが検知された日時や環境を説明する「起」を生成して出力する（Ｓ５）。「起」はストーリーの導入の役割を担う。例えば、温度情報や天気情報を用いて、「２０１０年２月１日晴れ、今日の実験室の気温は３０度です。」などのように生成する。このような文章は、予め用意したテンプレート文章にセンサデータを埋め込むことにより容易に生成することができる。例えば、上記の文例は「（日時情報）（天気情報）、今日の（環境の名前）の気温は（気温）度です。」というテンプレート文章にセンサデータを埋め込むことで生成することができる。
【００２２】
承生成部１３３は、イベントＤＢの蓄積データから把握される各イベントの発生トレンドに基づき、前記非日常イベントが検知された日時や環境において日常発生するイベントを抽出し、これを「承」として出力する（Ｓ６）。「承」は非日常イベントについて述べる「転」への導入として、当該非日常イベント発生と同じ時間帯における特徴的な普段の様子について説明する。例えば、対象の時間帯が昼の時間帯であれば、「トイレに行く」よりも「ご飯を食べる」の方が昼の時間帯と関連が強く、その時間帯を説明する日常イベントとしてふさわしい。
【００２３】
図３は、ある１種類のイベント（例えば、ご飯を食べる、お茶を淹れる、トイレに行くなど）の生起回数を縦軸に、時刻（０時から２４時まで）を横軸にとったイベント発生トレンドの例である。生起回数は、時間ｃ分間に起こった回数であり、かつ、過去ｎ日の平均回数である。この例では、調べたい時間帯に対応するウインドウ（サイズＴ（分）、ウインドウ内の要素数Ｎ＝Ｔ／ｃ）内におけるトレンドが、他の時間帯のウインドウとは大きく異なる（生起回数が多い）ことがわかる。このような、調べたい時間帯のトレンドが他の時間帯と異なるイベントを探すことで、その時間帯に特徴的な普段の様子を発見する。
【００２４】
調べたい時間帯に特徴があるイベントを探す方法の一例として、特異値分解(Singular Value Decomposition、以下「ＳＶＤ」という。）を用いる方法を説明する。
【００２５】
イベントは、ｃ分間毎にイベントの種類ごとに発生回数がカウントされる。例えば、「前川のスリッパに起こったMoveイベント」や「吉岡のスリッパに起こったMoveイベント」、「吉岡のコップに起こったDropイベント」ごとにカウントされる。ウインドウは、Ｔ分ずつずらしつつ、ウインドウ毎にＮ次元のイベントベクトルを作成する。そして、各時間帯のイベントベクトルを結合することで、ウインドウ数Ｄ×Ｎの行列を作成する。そして、作成した行列に対してＳＶＤを行うことで主成分行列（ｎ×Ｎ行列）を求める。ここで、ｎはＳＶＤによって導出された主成分の数である。この主成分行列によるｎ次元の主成分軸上に調べたい時間帯のイベントベクトルを射影する。次に対象とする主成分の
【００２６】
【数１】
2012008839.tif 000003
【００２７】
以下を削減し、射影したイベントベクトルを復元する。そして、元のイベントベクトルＶと復元したイベントベクトルＶ'とから、次式を用いて情報損失率を求める。
【００２８】
【数２】
2012008839.tif 000004
【００２９】
ここで求めた情報損失率とは、他の時間帯のイベントベクトルＶ'と、調べたい時間帯のイベントベクトルＶの時間軸に対する特徴がどれだけ一致するかを表している。つまり、情報損失率が１００に近いほど、調べたい時間帯のイベントベクトルＶは他の時間帯のイベントベクトルＶ'と特徴が異なることを意味する。そのため、情報損失率が高いイベントほど、その時間帯に特徴があるイベントであるといえる。
【００３０】
以上の処理を、センサネットワーク１１１の環境で観測可能なイベント全てに対して適用し、その情報損失率が高い順にソートする。もっとも、情報損失率が高いイベントであっても、その時間帯の生起頻度が他の時間帯の生起頻度よりも小さい場合がある。そのため、情報損失率が高い複数のイベント候補から、その時間帯の生起頻度が他の時間帯よりも多く、かつ文章にしやすいイベントを選定し、そのイベントを「承」に関する文章の生成に用いる。
【００３１】
ご飯を食べるというイベントを選定した場合、上記の例では非日常イベントは午後１２時に発生しているため、例えば「午後１２時、普段は、食事を食べるイベントが起こっています。」という文章を生成する。なお、文章は、ここでの処理で選定したイベントとセンサネットワーク１１１の各センサノードで収集されたセンサデータとを、予め用意したテンプレート文章に埋め込むことにより容易に生成することができる。
【００３２】
結生成部１３４は、質問生成・実行部１２４で発見された原因イベントを用いて、転生成部１３１から出力された「転」に対応する「結」を生成し出力する（Ｓ８）。具体的には、結合されたストーリーの流れが自然になるよう、質問生成・実行部１２４で発見された原因イベントに適当な接続詞や補語を加えたり文末を活用させるなどの整形を施した文章を出力する。例えば、原因イベントが「七夕パーティーという予定があったから」であった場合には、「その原因は、七夕パーティーという予定があったからです。」というように整形した文章を出力する。
【００３３】
ストーリー結合部１４１は、「起」、「承」、「転」、「結」の順でこれらを結合することにより起承転結型のストーリーを生成して出力する（Ｓ９）。上記の「起」、「承」、「転」、「結」の生成例の場合、以下のようにストーリー化される。
・「起」：２０１０年２月１日晴れ、今日の実験室の気温は３０度です。
・「承」：午後１２時、普段は、食事を食べるイベントが起こっています。
・「転」：ところが、今日は１２時に素麺を茹でるイベントが起こりました。
・「結」：その原因は、七夕パーティーという予定があったからです。
【００３４】
以上のように本発明の起承転結型ストーリー生成装置、起承転結型ストーリー生成方法、及びそのプログラムによれば、センサデータ及びユーザとの対話から得た知識を用いて、ストーリー構成の代表的な１つである起承転結型のストーリーを生成することができる。これにより、センサデータに基づく、日常生活に関わるわかりやすいストーリーの作成およびユーザへの提示が可能となる。
【００３５】
上記の各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００３６】
また、上記の各装置をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれる。その読み込まれたプログラムがＣＰＵにより実行される。このようにして、コンピュータ上で各処理内容が実現される。なお、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2012008839.tif 000005
【図２】
2012008839.tif 000006
【図３】
2012008839.tif 000007