(57)【要約】【課題】生体情報から解析された感情に基づいて映像や音声などの情報コンテンツの要約を作成する情報コンテンツの編集装置及び編集方法を提供する。【解決手段】生体情報に基づく情報を用いて感情の度合いを示す感情パラメータを出力し、所望の感情状態を感情パラメータを数値化した感情レベルに応じて検出するコマンドを用いて情報コンテンツデータの要約作成を行う。【選択図】図１
2005128884.tif 000002
【特許請求の範囲】
【請求項１】
情報コンテンツデータを入力する情報コンテンツデータ入力手段と、
生体情報を入力する生体情報入力手段と、
上記生体情報に基づいて感情解析を行い感情パラメータを出力する感情解析手段と、
上記生体情報又は上記感情解析手段からの感情パラメータを上記情報コンテンツデータと対応付けて記録する記録手段と、
所望の感情状態を上記感情パラメータに基づいて検出するコマンドを少なくとも含むコマンド列を解釈し実行するコマンド解釈手段とを備え、
上記コマンド解釈手段により上記情報コンテンツデータを編集することを特徴とする情報コンテンツの編集装置。
【請求項２】
上記コマンドの時系列は、複数の上記コマンドを時系列配列されたものから成り、このコマンド列の各コマンドを時系列に従って順次実行することにより上記情報コンテンツデータを編集することを特徴とする請求項１記載の情報コンテンツの編集装置。
【請求項３】
上記感情パラメータに基づく感情レベルを所定の抽出レベルと比較することにより情報コンテンツデータを抽出し、該情報コンテンツデータの要約を作成することを特徴とする請求項１記載の情報コンテンツの編集装置。
【請求項４】
上記コンテンツデータの抽出結果に応じて上記抽出レベルを変更することを特徴とする請求項３記載の情報コンテンツの編集装置。
【請求項５】
上記コマンドは、ＸＭＬによって記述されていることを特徴とする請求項１記載の情報コンテンツの編集装置。
【請求項６】
上記生体情報は、心拍、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、顔の表情、声の韻律、瞬目、眼球運動、瞳孔径の大きさ、凝視時間の少なくとも１つ又はこれらの組み合わせから得られる情報であることを特徴とする請求項１記載の情報コンテンツの編集装置。
【請求項７】
情報コンテンツデータを入力する情報コンテンツデータ入力工程と、
生体情報を入力する生体情報入力工程と、
上記生体情報に基づいて感情解析を行い感情パラメータを出力する感情解析工程と、
上記生体情報又は上記感情解析工程からの感情パラメータを上記情報コンテンツデータと対応付けて記録する記録工程と、
所望の感情状態を上記感情パラメータに基づいて検出するコマンドを少なくとも含むコマンド列を解釈し実行するコマンド解釈工程とを備え、
上記コマンド解釈工程に基づき上記情報コンテンツデータを編集することを特徴とする情報コンテンツの編集方法。
【請求項８】
上記コマンドの時系列は、複数の上記コマンドを時系列配列されたものから成り、このコマンド列の各コマンドを時系列に従って順次実行することにより上記情報コンテンツデータを編集することを特徴とする請求項７記載の情報コンテンツの編集方法。
【請求項９】
上記感情パラメータに基づく感情レベルを所定の抽出レベルと比較することにより情報コンテンツデータを抽出し、該情報コンテンツデータの要約を作成することを特徴とする請求項７記載の情報コンテンツの編集方法。
【請求項１０】
上記コンテンツデータの抽出結果に応じて上記抽出レベルを変更することを特徴とする請求項９記載の情報コンテンツの編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像や音声などの情報コンテンツの要約を作成する情報コンテンツの編集装置及び編集方法に関する。
【背景技術】
【０００２】
映像コンテンツの編集方法には、シーンの切り替わりや映像内のオブジェクトを追跡することによりコンテンツを分け、管理する方法がある。そこでは、コンテンツを分ける編集ポイントを音声情報による音圧レベルで検出したり、映像内容のキーワードに基づいて検出したりする。しかし、音声情報は必ずしも映像情報に対応しているとは限らず、また、説明の記述は、個人の体験映像のような場合にはシナリオが存在しないため、情報量が限られ、意図している場面を効率よく抽出できない。
【０００３】
このような問題に対して、映像、音声、脳波を同時記録し、記録された脳波から体験時に興味のあった場面を検索する技術がある（例えば、特許文献１参照。）。しかし、この技術では、抽出結果として興味のある場面は得られるが、それ以外の感情を評価していないため、例えば喜怒哀楽などの感情における場面検索を行うことができない。
【０００４】
【特許文献１】特開２００２−２０４４１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記問題点を解決するためになされたものであり、生体情報から解析された感情に基づいて映像や音声などの情報コンテンツの要約を作成する情報コンテンツの編集装置及び編集方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、上述した目的を達成するために、本発明に係る情報コンテンツの編集装置は、  情報コンテンツデータを入力する情報コンテンツデータ入力手段と、生体情報を入力する生体情報入力手段と、生体情報に基づいて感情解析を行い感情パラメータを出力する感情解析手段と、生体情報又は感情解析手段からの感情パラメータを情報コンテンツデータと対応付けて記録する記録手段と、所望の感情状態を感情パラメータに基づいて検出するコマンドを少なくとも含むコマンド列を解釈し実行するコマンド解釈手段とを備える。
【０００７】
また、本発明に係る情報コンテンツの編集方法は、情報コンテンツデータを入力する情報コンテンツデータ入力工程と、生体情報を入力する生体情報入力工程と、生体情報に基づいて感情解析を行い感情パラメータを出力する感情解析工程と、生体情報又は感情解析工程からの感情パラメータを情報コンテンツデータと対応付けて記録する記録工程と、所望の感情状態を感情パラメータに基づいて検出するコマンドを少なくとも含むコマンド列を解釈し実行するコマンド解釈工程とを備える。
【発明の効果】
【０００８】
本発明によれば、情報コンテンツデータの要約作成を生体情報から求められた感情パラメータに応じて作成することにより、ユーザ固有の特徴的な要約コンテンツを簡単に作成することができる。
【０００９】
また、所望の感情状態を上記感情パラメータに基づいて検出する命令文を時系列に並べることにより、特徴ある場面を一覧表示させることができ、内容を効率よく把握することができる。
【００１０】
また、テンプレートは、ＸＭＬファイルで作成することにより、ネットワーク上での共有が可能となり互換性の高いアプリケーションを提供することができる。
【発明を実施するための最良の形態】
【００１１】
本発明の具体例として示す情報コンテンツの編集装置及び編集方法は、生体情報に基づく情報を用いて感情の度合いを示す感情パラメータを出力し、所望の感情状態を感情パラメータに基づいて検出するコマンドを用いて情報コンテンツデータの要約作成を行うものである。
【００１２】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００１３】
図１は、情報コンテンツの編集装置１の構成例を示す図である。映像・音声信号入力部２には、例えばＣＣＤ（Charge Coupled Device）のようなイメージセンサやマイクから得られた映像信号及び音声信号が入力される。ここで入力される映像・音声信号は、情報コンテンツであっても、感情パラメータを求めるための生体情報であってもよい。情報コンテンツは、ユーザの体験を記録した映像・音声データやユーザが視聴した映画、音楽等の映像・音声データなどである。入力された映像信号及び音声信号はＡ／Ｄコンバータ３によってディジタル信号に変換され、映像・音声信号入力部コントローラ４に送られる。送られたディジタル信号は、映像・音声信号入力部コントローラ４、ＲＡＭ９及びＣＰＵ１０によって、例えばＭＰＥＧ（Moving Picture Experts Group）のような画像圧縮処理や音声信号の波形符号化などの信号処理が行われ、適切なフォーマットに変換される。
【００１４】
生体信号入力部５には、人間が自発的・誘発的に発する生体信号、例えば脳波、心拍、血圧などの生体信号が入力される。入力された生体信号は増幅され、Ａ／Ｄコンバータ６によってディジタル信号に変換され、生体信号入力部コントローラ７に送られる。生体信号入力部コントローラ７では、例えば、ニューラルネットやカオス解析をはじめとする非線形解析などの信号処理が行われる。
【００１５】
映像・音声信号入力部２及び生体信号入力部５に入力される生体情報としては、心拍、脈拍、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、顔の表情、声の韻律、瞬目、眼球運動、瞳孔径の大きさ、凝視時間などの少なくとも１つ又はこれらの組み合わせから得られる情報が用いられる。なお、これらの生体情報は腕時計などのような常に身に付けている機器によって、常時測定、記録されていることが好ましい。
【００１６】
感情解析処理部８は、映像・音声信号入力部２及び生体信号入力部５で入力され、適切なフォーマットに変換された生体情報に基づいて、後述する方法で感情パラメータを出力する。
【００１７】
表示部１１は、例えばＬＣＤ（Liquid Crystal Display：液晶表示装置）のようなディスプレイであって、表示部コントローラ１２によって、映像データを出力する。
【００１８】
また、情報コンテンツの編集装置１は、記録部１３を備え、記録部コントローラ１４を介して映像・音声信号入力部１及び生体信号入力部４に入力された信号を記録する。記録部１３は、例えばＨＤＤや、大容量記録型光ディスクであって、記録部コントローラ１４により、そのデバイスに適切な信号フォーマットに変換されたデータを記録する。また、感情解析処理部８から出力された感情パラメータを記録する。なお、記録部１３に記録されたデータは、ネットワークインターフェイス１７を介して共有することができる。
【００１９】
再生処理部１５は、感情解析処理部８で出力された感情パラメータを数値化した感情レベルに応じて要約作成する命令文に基づいて情報コンテンツデータを表示部コントローラ１２に出力する。命令文の１つであるテンプレートの内容は、記録部１３に記録された映像・音声信号と関連付けられている。
【００２０】
入力部１８は、ユーザからの入力を電気信号に変換する。入力部１８は、例えば、キーボードであって、ユーザは、入力部１８によりテンプレートに記述されたコマンドなどを定義することができる。
【００２１】
なお、ＣＰＵ１０は、作業領域としてのＲＡＭ９などを用いてプログラムを実行し、これら各部を制御する。
【００２２】
次に、感情解析処理部８における処理について説明する。感情解析処理部８は、映像・音声信号入力部２及び生体信号入力部５から入力された複数の生体情報に基づいて、例えば学習済み、或いはユーザ個別に再学習を行った３層バックプロパゲーション、自己組織化マップ（ＳＯＭ）等のニューラルネットワークを利用して解析処理を行い、感情モデルで定義される複数の感情パラメータを求める。
【００２３】
図２に示すようにして感情解析処理部８は、複数入力された生体情報から感情パラメータを出力する。感情パラメータとは、感情を数値化した値のことである。感情パラメータは、感情モデルを構成する軸に応じて算出される。感情モデルは、感情を基本要素に分解したものである。感情モデルの代表的なものには、２軸モデル、３軸モデル、４軸モデルなどがある。２軸モデルは、感情を快適（受け入れ）−不快（拒否）、興奮，緊張−リラックスの２つの軸に分解する。Ｗｕｎｄｔによる３軸モデルは、感情を快−不快、興奮−沈静、緊張−弛緩の３つの軸で表現する。また、Ｐｌｕｔｃｈｉｋのモデルは、感情を憧憬−憎悪、歓喜−悲嘆、警戒−驚嘆、激怒−恐怖の４つの軸で表現する。ここでは感情モデルの例として、Ｗｕｎｄｔのモデルを用いて説明する。
【００２４】
感情解析処理部８は、生体情報をもとに快−不快、興奮−沈静、緊張−弛緩の３つの基本感情の感情パラメータを求める。例えば、心拍数は興奮−沈静、緊張−弛緩軸上では興奮、緊張のレベルとともに変化する。感情解析処理部８は、このような生体情報の変化を３層バックプロパゲーション、自己組織化マップ等のニューラルネットワークに当てはめ感情パラメータを求める。
【００２５】
音声による感情解析では、例えば一般に興奮している場合は喉頭原音の振動を表す振動周波数が上がり、悲しみの表現や愛情の表現では低くなるなどの音声分析により感情パラメータを求める。
【００２６】
また、生体情報が画像による表情認識であれば、Ｅｋｍａｎらの怒り、恐れ、悲しみ、喜び、嫌悪、驚きの基本６表情を用いるとよい。例えば、驚きでは額に水平の皺ができ、眉は全体的に持ち上げられ、目は大きく見開かれるなどの表情により驚きの感情モデリングを行い、顔面の筋肉の伸縮などによって感情パラメータを求める。
【００２７】
次に、要約作成アプリケーションについて説明する。要約作成アプリケーションは、ＸＭＬ（Extensible Markup Language）で記述されており、ユーザが撮り溜めた映像や音声の要約を作成するものである。要約作成アプリケーションでは、ユーザが映像を撮影したときの感情状態を基に必要な映像や音声を編集する。編集の処理単位をコマンドと呼び、<Command>タグの間に処理方法が記述される。そして、複数のコマンドを時系列配列し、このコマンド列の各コマンドを時系列に従って順次実行することにより、編集を行う。
【００２８】
図３（Ａ）はタイトル挿入、図３（Ｂ）は体験映像からの喜び場面の抽出、図３（Ｃ）は画面のフェードアウト処理、図３（Ｄ）及び（Ｅ）は指定区間の映像及び音の切り出しをそれぞれ処理単位としてコマンドに割り当てたものである。
【００２９】
例えば図３（Ａ）は、<Command>タグのｎａｍｅ属性値として「タイトル」をとることでそのコマンドがタイトルコマンドであることを示す。<Proc>タグは、そのコマンドを実行するときに内部の処理プログラムがコールするＡＰＩ（Application Program Interface）の関数名である。<Param>タグは、コールする関数に渡す引数を表し、<Result>タグは、コールした関数の型を表している。
【００３０】
ここで、<Param>タグや<Result>タグは、必要数だけ列挙して定義されていてもよい。例えば図３（Ｂ）のように、戻り値として抽出する場面の開始時刻と終了時刻の２つをとる定義がされていてもよい。また、必要のないタグについては省略されたコマンドを定義するようにしてもよい。
【００３１】
図３（Ｂ）には、<Level>タグがあるが、これは、上述した感情の度合いを示す感情レベル値をとるものであり、この値を調節することで、例えば大きな喜びや小さな喜びといった喜びの度合いによる処理の実行が可能となる。以降この値を抽出レベルと呼ぶ。この値はユーザが任意に設定できる。ユーザの指定した値による場面抽出が行われなかった場合は、場面抽出が行われるまでこの設定値を段階的に下げる。また、候補となる場面抽出の数が多い場合には、この値を段階的に上げながら候補を絞り込む。コマンドＡＰＩ関数は、要約作成アプリケーションとして記録部に記録される。
【００３２】
これらのコマンドは、ユーザが記述してもよいし、あらかじめ記述されているコマンドを用いてもよい。
【００３３】
図４は、コマンドの実行シーケンスの例を示す図である。シーケンスは、コマンドを時系列に並べたものであり、処理したいコマンドを上から下に並べ、時間の流れに対応付けている。
【００３４】
図４（Ａ）は、タイトルコマンドを実行するシーケンスであり、<Sequence>タグのｎａｍｅ属性値として「タイトル」をとることで、そのシーケンスがタイトルコマンドシーケンスであることを示す。<Title>タグは、<Command>タグで実行するコマンドに渡す引数であり、生成する要約につけるための任意の文字列をとる。
【００３５】
図４（Ｂ）は、２００３年４月1日の要約作成を定義するシーケンスであり、<Date>タグで指定された日付（２００３０４０１）で、<Source>タグで管理されているソース（２００３年４月４月1日の体験）に対して、不安コマンド、映像切り出しコマンドなどを実行することが定義されている。
【００３６】
図４（Ｃ）は、図４（Ｂ）と同様に、２００３年４月７日に起きた悲しみの場面と喜びの場面との要約を作成するシーケンスである。
【００３７】
これらのシーケンスは、ユーザが作成してもよいし、あらかじめ作成されているシーケンスを用いてもよい。また、要約作成時に、日時情報が必要となる場合は、ＧＵＩ（Graphical User Interface）などを介してユーザに設定させてもよい。
【００３８】
図５は、シーケンスの集合であるテンプレート例を示す図である。例えば図５（Ａ）に示すように、1週間の要約を作成する場合に、２００３年４月1日から２００３年４月７日までのシーケンスを上から並べて書くことで、１つのテンプレートが定義される。また、図５（Ｂ）に示すように、自動的な要約作成のためのテンプレートを定義することもできる。
【００３９】
<Name>タグは、テンプレートの名称であり、ＧＵＩなどを介して設定される。<Type>タグは、作成する要約の時間範囲であり、1週間の要約を作成する場合はｗｅｅｋを、1ヶ月の要約を作成する場合はｍｏｎｔｈを、1年の要約を作成する場合はｙｅａｒを設定する。<Start>タグは、要約対象の開始日時情報であり、<End>タグは、要約対象の終了日時情報である。これらのタグはｆｏｒｍａｔ属性に対応した値を設定する。例えば、ｆｏｒｍａｔ属性値がｙｙｙｙｍｍｄｄであれば、値として２００３０４０１のような形式で設定する。また、時刻情報としてｆｏｒｍａｔ属性をｈｈｍｍｓｓに、値を０８００００や２０００００とすることで、<Type>タグで指定された範囲内のすべての蓄積データに対して、０８時００分００秒から２０時００分００秒までを対象として要約を作成することができる。<TotalTime>タグは、要約されるコンテンツの再生時間長である。例えば、ｕｎｉｔ属性にｍｉｎｕｔｅｓを指定し、値として６０が設定されている場合、要約されたコンテンツの再生時間長は６０分となる。ｕｎｉｔ属性は、ｈｏｕｒｓやｓｅｃｏｎｄｓなど他の指定をすることもできる。
【００４０】
なお、図５（Ｂ）のようにテンプレートに具体的な値が入力されていない場合、汎用的に使いまわせるため、後述のような方法でサーバ装置に登録しておき、必要時に参照したり、複数ユーザ間で共有したりすることができる。
【００４１】
このように、感情情報を抽出条件に利用したテンプレートを用いることにより、ユーザ固有の要約コンテンツを簡単に作成することできる。
【００４２】
次に、情報コンテンツの編集作業について図６〜８のフローチャートを用いて説明する。
【００４３】
図６は、生体情報の記録処理の手順を示すフローチャートである。記録処理では、映像・音声信号入力部２及び生体信号入力部５の初期化を実行する。また、初期化処理では、複合情報データベース１１４の初期化も行う。複合情報データベース１１４は、映像・音声データの記録時刻と、映像・音声データの記録アドレスとを格納したデータベースである。複合情報データベース１１４は、図１０に示すように複合情報データベースのキーとなる複合情報ＩＤ、映像・音声信号が記録された日付、映像・音声信号の記録開始時刻、記録終了時刻、映像・音声信号が格納されたアドレスが記録されている。（ステップＳ６−１）。初期化が完了すると、生体信号入力部５は生体情報の入力を開始し、映像・音声信号入力部２は映像・音声信号の入力を開始する（ステップＳ６−２）。記録部コントローラ１４は、生体信号入力部５から入力した生体情報と、映像・音声信号入力部２から入力した映像・音声データを記録部１３に記録する。（ステップＳ６−３）。記録処理を継続する場合は、Ｓ６−２、Ｓ６−３を繰り返す（ステップＳ６−４）。記録を終了する場合は、終了処理を行う（ステップＳ６−５）。終了処理では、複合情報データベース１１４に記録終了時刻を記録する。なお、ここでは、入力された生体情報を記録するようにしたが、入力された生体情報に基づいて感情解析を行い、その結果を記録するようにしてもよい。
【００４４】
図７は、感情解析処理の手順を示すフローチャートである。感情解析処理は、まず感情解析処理部８などの初期化を行う（ステップＳ７−１）。Ｓ７−２では感情解析を行う日時、時刻の設定を行い、設定された解析区間の生体情報を記録処理（図６）で記録された記録部１３から読み出す（ステップＳ７−３）。読み出した生体情報は感情解析処理部８に入力され、上述した方法で感情パラメータを求める（ステップＳ７−４）。求められた感情パラメータは感情レベルとして数値化され、記録部１３に記録される（ステップＳ７−５）。
【００４５】
図８は、テンプレートを用いた編集処理の手順を示すフローチャートである。まず、定義されたテンプレートを読み込み（ステップＳ８−１）、テンプレートに記述されたシーケンスを順次解析していく（ステップＳ８−２）。ステップＳ８−３において、要約を自動で作成する場合は、抽出レベルを初期値に設定する（ステップＳ８−４）。この初期値は、アプリケーションで設定されている値を用いても、ユーザが設定した値を用いてもよい。次に、各シーケンスに記述されたコマンドを順次解析し（ステップＳ８−５）、解析されたコマンドを実行する（ステップＳ８−６）。
【００４６】
コマンド実行後、ステップＳ８−７にて抽出レベルが最小値に達し、場面抽出が行われなかった場合は、ステップＳ８−１１に進む。また、ステップＳ８−８にて抽出された場面数が多かった場合は、抽出レベルを調整し（ステップＳ８−９）、コマンドを再解析して（ステップＳ８−１０）、コマンドを実行する（ステップＳ８−５）。なお、抽出される場面数は、アプリケーションで設定されている値を用いても、ユーザが設定した値を用いてもよい。
【００４７】
ステップＳ８−１１にて継続してコマンドを処理する場合は、ステップＳ８−２〜Ｓ８−１０を繰り返す。ステップＳ８−１２にて継続してシーケンスを処理する場合は、ステップＳ８−３からＳ８−１１を繰り返す。
【００４８】
コマンド及びシーケンスが終了すると、抽出された場面が提示されるため、ユーザは必要な場面を選択し、要約コンテンツとする（Ｓ８−１３）。
【００４９】
本実施形態における情報コンテンツの編集装置によれば、感情抽出を定義した命令文を用意することで、情報コンテンツに対して容易に検索することができる。また、感情の度合いを数値でレベル付けすることにより、個人に応じた場面抽出を柔軟に行うことができる。
【００５０】
次に、感情抽出のための定義文を、ネットワークを介して複数のユーザで共有する例について説明する。
【００５１】
図９は、本実施形態におけるネットワークシステムを示す概略図である。情報コンテンツの編集装置１であるクライアント端末１０１は、クライアントアプリケーション１０５を実行するユーザにより使用され、ネットワーク１０４を介して、他のクライアント端末１０１ａ、１０１ｂやサーバ装置１０２と通信する。また、ネットワーク１０４には認証局１０３が存在する。認証局１０３はクライアント端末１０１とサーバ装置１０２との通信を制御する。なお、図９では認証局１０３とサーバ装置１０２とを別の構成として示したが、サーバ装置１０２に認証局１０３を備えるようにしてもよい。
【００５２】
クライアントアプリケーション１０５は、ユーザからの入力を受ける入力部１０６と、入力が生体信号である場合にそれらの生体信号の増幅やA/D変換、サンプリングを行う生体情報収集手段１０７と、生体信号を感情モデルに入力し感情解析を行う感情情報評価手段１０８と、感情情報評価手段の解析結果を表示するための表示部１０９と、インターネットを通じてサーバ装置との情報交換を行う通信部１１０と、撮像装置や再生装置といった機器などと接続する外部機器接続部１１１と、要約作成のためのコマンドを実行及び解釈するコマンド解析部１１２と、時系列に並んだコマンドの流れを処理するシーケンス制御部１１３とを制御する。
【００５３】
入力部１０６は、ユーザが設定する要約作成期間や表示形式情報などを入力するキーボードなどのインターフェイスであり、入力手段は文字入力やボタン選択などのＧＵＩであることが好ましい。
【００５４】
生体情報収集手段１０７は、図１に示す情報コンテンツの編集装置１の映像信号入力部２や生体信号入力部５で実行され、それらを構成するＡ／Ｄコンバータ３、６や入力部コントローラ４、７などで脳波、心拍数、血圧、表情、姿勢などの情報を収集する。
【００５５】
感情情報評価手段１０８は、感情解析処理部８、ＲＡＭ９、ＣＰＵ１０などで実行され、感情情報を求める。なお、視覚的、聴覚的情報については画像認識、音声認識などの認識処理により感情情報を求める。
【００５６】
表示部１０９は、ユーザに対し必要な情報を表示する部分である。表示される情報は、例えば要約作成完了や作成時に発生したエラーなどの情報、作成された要約のプレビュー映像などであり、表示部１１に表示される。
【００５７】
通信部１１０は、クライアント端末が発信する要求をサーバ装置１０２に送信し、サーバ装置１０２からの応答を受け付ける部分であり、ネットワークインターフェイス１７で実行される。
【００５８】
外部機器接続部１１１は、撮像装置や再生装置などと接続する映像・音声信号入力部２や大容量の記録情報を格納するためのハードディスク、位置情報を検出するためのＧＰＳ（Global Positioning System）センサなどを接続するインターフェイス（図１に図示せず）である。
【００５９】
コマンド解析部１１２及びシーケンス制御部１１３は、上述したようにクライアントアプリケーション１０５に従い、ＣＰＵ１０などで実行される。
【００６０】
また、クライアント端末１０１は、記録部１３に複合情報データベース１１４を有しており、図１０に示すように、複合情報ID、タイトル、日付、開始時刻、終了時刻及びデータ参照先が登録されている。
【００６１】
複合情報IDは、クライアント端末１０１で記録され蓄積されるデータファイルに割り当てられる固有の識別子である。タイトルは、データファイルのタイトルを表すものであり、例えば再生時にユーザに対しデータの内容を示す場合などに用いられる。日付は、クライアント端末１０１が記録を開始した日付を表す。開始時刻は、クライアント端末１０１が記録を開始した時刻を表す。終了時刻は、クライアント端末１０１が記録を終了した時刻を表す。なお、日付と開始時刻、終了時刻がデータファイル内に記述されている場合はその値を用いてもよい。データ参照先は、クライアント端末１０１で記録され蓄積されているデータファイルのファイル名などの参照先を表す。
【００６２】
サーバ装置１０２は、処理部１１６と通信部１１７とを制御するサーバアプリケーション１１５とユーザ情報データベース１１８を有する。
【００６３】
処理部１１６は、サーバ装置１０２側のサービスの制御や情報の処理を行う部分であり、通信部１１７は、クライアント端末１０１からの要求を受信し、要求処理を行ったあとにクライアント端末１０１に対し応答を送信する部分である。
【００６４】
ユーザ情報データベース１１８には、図１０に示されるように、ユーザID、時刻、利用種別、バージョン及びユーザ拡張エリアが登録されている。
【００６５】
ユーザIDは、ユーザに割り当てられた固有の識別子であり、アクセスしてきたクライアントアプリケーション１０５に登録されていたものである。時刻は、クライアント端末からのアクセスに応答した時刻である。利用種別は、例えばログイン、ログアウト、コマンド登録、コマンド検索などといったクライアントアプリケーション１０５の動作状態の識別子を格納するための領域である。この領域には、図１１に示すような利用種別IDが記録される。バージョンは、ユーザが使用しているクライアントアプリケーション１０５のバージョン番号を表し、サーバ装置１０２がクライアント端末１０１に対しバージョンアップ通知を行うために用いられる。ユーザ拡張エリアは、ユーザが任意に使用可能な領域である。例えば、作成したテンプレート、シーケンス、コマンドをサーバ装置１０２に登録し、他のユーザと共有するためのものである。
【００６６】
次に、クライアントアプリケーション１０５及びサーバアプリケーション１１５による初期化・記録時、要約処理時及び終了時の動作について説明する。ネットワーク１０４を介したクライアント端末１０１とサーバ装置１０２との動作は、図１２〜図１４に示すような手順で行われる。
【００６７】
図１２は、初期化・記録時における処理の流れを示す図である。まず、編集機器の日時、画質、音質などの初期化処理を行い、複合情報データベース１１４への記録準備を行う（ステップＳ１２−１〜Ｓ１２−５）。クライアントアプリケーション１０５は、クライアント端末１０１である情報コンテンツの編集装置１の記録部１３に初期化を命じる。記録部１３は、初期化の命令に対し応答し（ステップＳ１２−２）、複合情報データベース１１４に記録要求する（ステップＳ１２−３）。それに対し、複合情報データベース１１４は応答し（ステップＳ１２−４）、空き容量不足などによりエラーが発生した場合には、記録部１３はクライアントアプリケーション１０５に通知する（ステップＳ１２−５）。
【００６８】
複合情報データベース１１４の初期化処理の終了後、クライアントアプリケーション１０５は、サーバ装置１０２に対し、ログインのためのサービス要求を送信する（ステップＳ１２−６）。このとき同時にユーザIDを送信する。ログイン要求を受信したサーバ装置１０２は、認証局１０３でユーザ認証を行い（ステップＳ１２−７）、その結果を受信する（ステップＳ１２−８）。サーバ装置１０２は、ログインを許可しない場合はクライアントアプリケーション１０５に通知する（ステップＳ１２−９）。ログインが成功した場合は、サーバアプリケーション１１５は、ユーザ情報データベース１１８に対しログインの履歴を残す（ステップＳ１２−１０）。このとき、図１１に示す利用種別ＩＤ（ここでは、ログイン）が送信され、ユーザ情報データベース１１８に記録される。ログインＩＤを受信、記録したユーザ情報データベース１１８は、サーバアプリケーション１１５に応答送信し（ステップＳ１２−１１）、サーバアプリケーション１１５はクライアントアプリケーション１０５に応答送信する（ステップＳ１２−１２）。
【００６９】
次に、要約処理時の動作について説明する。クライアントアプリケーション１０５は、コマンドの定義、コマンドを時系列に並べたシーケンス、シーケンスを時系列に並べたテンプレートを構成することで要約作成のための処理命令を定義する。ここで、ユーザはこれらの命令を図３〜図５に示したような形式で定義する。また、定義自体がサーバ装置に登録されている場合は、既存の定義を検索し、利用することができる。また、作成した定義はサーバ装置に登録することもできる。
【００７０】
図１３は、コマンド検索とシーケンス登録をサーバ装置１０２に対し行う場合における処理の流れを示す図である。クライアントアプリケーション１０５はサーバアプリケーション１１５に対し、コマンド検索のためのサービス要求を送信する（ステップＳ１３−１）。コマンド検索要求を受信したサーバアプリケーション１１５は、ユーザ情報データベース１１８に対し登録されているコマンドを検索する（ステップＳ１３−２）。検索結果は、サーバアプリケーション１１５を経て（ステップＳ１３−３）、クライアントアプリケーション１０５に送信される（ステップＳ１３−４）。また、クライアントアプリケーション１０５とサーバアプリケーション１１５との一連のやり取りは、ユーザ情報データベース１１８に履歴として記録される。
【００７１】
コマンド検索によって得られたコマンド定義を用いてテンプレートを作成した後、クライアントアプリケーション１０５は、複合情報データベース１１４に登録されている体験記録に対し、要約作成処理を行う（ステップＳ１３−５）。具体的には、クライアントアプリケーション１０５のシーケンス制御部１１３がテンプレート内のシーケンスを解析し、各シーケンスに対して、コマンド解析部１１２が逐次的に記述されているコマンドを解釈し処理する。
【００７２】
また、図１３には示していないが、クライアントアプリケーション１０５は、要約処理時にユーザに対して複数のシナリオを提示するようにしてもよい。例えば、自動処理で感情の度合いの大きい場面を複数種類抽出し、ユーザに対して好みの場面を選択させてもよい。また、ユーザが独自にテンプレートを記述した場合でも、ユーザの指定した要約と並行に自動処理をバックグラウンドで行い、ユーザの指定した処理結果の提示の際に、同時に自動処理結果の一覧を提示するようにしてもよい。このようにして作成された要約の中から、ユーザが必要な場面を選択することにより最終的な要約が作成される。
【００７３】
また、作成した定義をサーバ装置１０２に登録するようにしてもよい。例えば図１２に示すように、作成したシーケンスをサーバ装置１０２に登録する場合は、サーバアプリケーション１１５に対しシーケンス登録のためのサービス要求を送信し（ステップＳ１３−７）、それを受信したサーバアプリケーション１１５は、ユーザ情報データベース１１８に対しシーケンスを登録する（ステップＳ１３−８）。シーケンス及び利用種別ＩＤを受信、記録したユーザ情報データベース１１８はサーバアプリケーション１１５に応答送信し（ステップＳ１２−９）、サーバアプリケーション１１５はクライアントアプリケーション１０５に応答送信する（ステップＳ１３−１０）。
【００７４】
図１４は、終了時における処理の流れを示す図である。クライアントアプリケーション１０５は、記録部１３に対し記録終了処理を行う（ステップＳ１４−１〜Ｓ１４−５）。クライアントアプリケーション１０５は、情報コンテンツの編集装置１の記録部１３に終了処理を命じる（ステップＳ１４−１）。記録部１３は、終了処理の命令に対し応答し（ステップＳ１４−２）、複合情報データベース１１４に終了要求する（ステップＳ１４−３）。それに対し、複合情報データベース１１４は応答し（ステップＳ１４−４）、書き込み途中などによりエラーが発生した場合には、記録部１３はクライアントアプリケーション１０５に通知する（ステップＳ１４−５）。
【００７５】
記録終了処理が成功した場合には、クライアントアプリケーション１０５は、サーバ装置１０２に対し、ログアウトのためのサービス要求を送信する（ステップＳ１４−６）。ログアウト要求を受信したサーバアプリケーション１１５は、ユーザ情報データベース１１８に対しログアウトの履歴を残す（ステップＳ１４−７）。このとき、ログアウトを示す利用種別ＩＤが送信され、ユーザ情報データベース１１８に記録される。ログアウトＩＤを受信、記録したユーザ情報データベース１１８は、サーバアプリケーション１１５に応答送信し（ステップＳ１４−８）、サーバアプリケーション１１５はクライアントアプリケーション１０５に応答送信する（ステップＳ１４−９）。
【００７６】
このように、ネットワークを介して共通に利用することが可能な記述形態をとることにより、例えば同じ情報コンテンツでも個人ごとに異なるポイントをもつ要約コンテンツを
テンプレートを交換することで容易に得ることができる。
【００７７】
また、配布された情報コンテンツの視聴時に生体情報を同時計測して、テンプレートを作成し、配布先に送信することで、配布先は視聴者の反応を知ることができる。
【００７８】
なお、上記一実施例では生体情報に基づく感情パラメータに基づいて、情報コンテンツの編集処理を行ったが、感情情報以外にも、位置情報や時間情報などによる場面抽出を行い、同位置、同時刻における要約コンテンツ集を作成することもできる。これにより例えば日々蓄積されている体験映像から、さまざま情報に基づく体験履歴を作成し、振り返ることができる。
【００７９】
また、コマンドは上記一実施形態に限定されるものではなく、ユーザが定義することができるので、感情的に大きく影響を受けた場面に特殊な再生効果を与えることができる。例えば、興味を持ったものが映っている場合にはズーム効果を与えたり、暗く落ち込んだ場面では画面のコントラストを落としたりする。
【００８０】
以上、本実施形態によれば、ユーザの生体情報に基づいて感情解析を行い、その感情パラメータを数値化した感情レベルに応じて要約を作成するようにすることにより、時間とともに変化する感情状態や記憶の風化などに制約されず、情報コンテンツを記録時又は視聴時の感情の状態に基づいた要約コンテンツを作成することができる。
【００８１】
また、例えば継続的に蓄積されている日常の体験映像に対し、コマンド、シーケンス、テンプレートを定義することで、或いはあらかじめ定義されたものを用いることで、簡単に要約を作成することができる。これにより、効率的な検索や情報の管理を行うことができる。
【００８２】
また、同じ体験でも個人により注目するポイントや興味を持つポイントは異なるが、生体情報に基づき要約を作成することで、個人ごとに異なるポイントでの要約作成ができる。
【００８３】
また、関心を示した場面や驚いた場面などを一覧表示することが可能となり、例えば日々の体験でどのような印象深い場面があったかを簡単に把握することができる。
【図面の簡単な説明】
【００８４】
【図１】本発明を適用した情報コンテンツの編集装置の構成例を示す図である。
【図２】本発明を適用した感情パラメータを求める方法を説明する図である。
【図３】本発明を適用したコマンド例を示す図である。
【図４】本発明を適用したシーケンス例を示す図である。
【図５】本発明を適用したテンプレート例を示す図である。
【図６】本発明を適用したた生体情報の記録処理の手順を示すフローチャートである。
【図７】本発明を適用した感情解析処理の手順を示すフローチャートである。
【図８】本発明を適用した要約処理の手順を示すフローチャートである。
【図９】本発明を適用したネットワークシステムを示す概略図である。
【図１０】本発明を適用したデータベース構成を説明する図である。
【図１１】本発明を適用した利用種別ＩＤを説明する図である。
【図１２】本発明を適用した初期化・記録時における処理の流れを示す図である。
【図１３】本発明を適用した要約処理時における処理の流れを示す図である。
【図１４】本発明を適用した終了時における処理の流れを示す図である。
【符号の説明】
【００８５】
１    情報コンテンツの編集装置、  ２    映像・音声信号入力部、  ３    Ａ／Ｄコンバータ、  ４    映像・音声信号入力部コントローラ、  ５    生体信号入力部、  ６    Ａ／Ｄコンバータ、  ７    生体信号入力部コントローラ、  ８    感情解析処理部、  ９    ＲＡＭ、  １０    ＣＰＵ、  １１    表示部、  １２    表示部コントローラ、  １３    記録部、  １４    記録部コントローラ、  １５    再生処理部、  １６    Ｂｕｓ、  １７    ネットワークインターフェイス、  １８    入力部、  １０１    クライアント端末、  １０２    サーバ装置、  １０３    認証局、  １０４    ネットワーク、  １０５    クライアントアプリケーション、  １０６    入力部、  １０７    生体情報収集手段、  １０８    感情情報評価手段、  １０９    表示部、  １１０    通信部、  １１１    外部機器接続部、  １１２    コマンド解析部、  １１３    シーケンス制御部、  １１４    複合情報データベース、  １１５    サーバアプリケーション、  １１６    処理部、  １１７    通信部、  １１８    ユーザ情報データベース
【図１】
2005128884.tif 000003
【図２】
2005128884.tif 000004
【図３】
2005128884.tif 000005
【図４】
2005128884.tif 000006
【図５】
2005128884.tif 000007
【図６】
2005128884.tif 000008
【図７】
2005128884.tif 000009
【図８】
2005128884.tif 000010
【図９】
2005128884.tif 000011
【図１０】
2005128884.tif 000012
【図１１】
2005128884.tif 000013
【図１２】
2005128884.tif 000014
【図１３】
2005128884.tif 000015
【図１４】
2005128884.tif 000016