(57)【要約】【課題】  会議や談話がどのような状態であるかを、参加者の身体動作の情報を利用して推定する。【解決手段】  会議または談話の参加者１1〜１nはそれぞれの身体動作の情報を取得する身体動作情報取得器２1〜２nを装着している。身体動作情報処理部３1〜３nはそれぞれ身体動作情報取得器２1〜２nで取得された身体動作情報に所定の加工を行う。会議／談話状態辞書４は身体動作情報の特徴と、会議または談話がどのような状態であるかを示す会議談話状態との組み合せを記録している。会議／談話状態推定部５は加工された複数の身体動作情報から会議／談話状態辞書４を用いて会議または談話の状態を推定し、結果を会議／談話状態表示部１０1〜１０nで表示し、また会議／談話状態記録部６により会議／談話データベース７に記録する。【選択図】  図１
2006065765.tif 000002
【特許請求の範囲】
【請求項１】
会議／談話状態推定装置を用いて、会議または談話の状態を推定する会議／談話状態推定方法であって、
身体動作情報取得手段が、各参加者の身体動作を表わす情報を取得する身体動作情報取得ステップと、
身体動作情報処理手段が、得られた身体動作情報に所定の加工を行い、加工された身体動作情報を時系列に出力する身体動作情報処理ステップと、
会議／談話状態推定手段が、前記の加工された複数の身体動作情報から、身体動作情報の特徴と、会議または談話がどのような状態であるかを示す会議／談話状態との組み合せを記録した会議／談話状態辞書を用いて会議または談話の状態を推定する会議／談話状態推定ステップと
を有する会議／談話状態推定方法。
【請求項２】
会議または談話における、各参加者の身体動作を表す情報を取得する身体動作情報取得手段と、
得られた身体動作情報に所定の加工を行い、加工された身体動作情報を時系列に出力する身体動作情報処理手段と、
身体動作情報の特徴と、会議または談話がどのような状態であるかを示す会議／談話状態との組み合せを記録した会議／談話状態辞書と、
前記の加工された複数の身体動作情報から前記会議／談話状態辞書を用いて会議または談話の状態を推定する会議／談話状態推定手段と
を有する会議談話状態推定装置。
【請求項３】
前記身体動作情報取得手段は、各参加者の頭部位置、頭部角度、視線方向、手の位置、手の角度、体の位置、体の角度、の一部または全部を取得する、請求項２に記載の会議談話状態推定装置。
【請求項４】
前記身体動作情報取得手段は、一部または全部が参加者に取り付けられた１つまたは複数の３次元位置および３次元角度センサであり、
前記身体動作情報処理手段は、前記３次元位置センサ、前記３次元角度センサによって取得された位置および角度から各センサの位置、速度、加速度、角度、角速度、角加速度、の一部または全部を検出し、これらを所定の特性を持つフィルタにかけ時系列データを出力し、
前記会議／談話状態推定手段は、ある参加者の該時系列データを、一定の時間間隔ごとに一定範囲の時間内において、他の参加者の時系列データまたは前記会議／談話状態辞書あるいはその両方と比較し、身体動作情報が取得された時刻における会議または談話の状態を推定する、請求項２または３に記載の会議／談話状態推定システム。
【請求項５】
前記身体動作情報取得手段は、参加者の画像を取得するカメラであり、
前記身体情報処理手段は、前記カメラで得られた画像から身体動作を検出し、身体動作を表わす情報を所定の特性を持つフィルタにかけ時系列データを出力し、
前記会議／談話状態推定手段は、ある参加者の該時系列データを、一定の時間間隔ごとに一定範囲の時間内において、他の参加者の時系列データまたは前記会議／談話状態辞書あるいはその両方と比較し、身体動作情報が取得された時刻における会議または談話の状態を推定する、請求項２または３に記載の会議／談話状態推定装置。
【請求項６】
前記会議／談話状態辞書には、あらかじめいくつかの相関行列と該相関行列が意味する会議／談話状態が格納されており、前記会議／談話状態推定手段は、各時系列データの各参加者相互間における相関係数を計算し、該時刻における相関行列を求め、前記会議／談話状態辞書を用いて、該時刻における相関行列と前記会議／談話状態辞書に格納された相関行列とを比較し、前者の相関行列に最も値が近い後者の相関行列に対応する会議／談話状態を推定された会議／談話状態とする、請求項２から５のいずれか１項に記載の会議／談話状態推定装置。
【請求項７】
前記会議／談話状態辞書には、あらかじめいくつかの時系列データと該時系列データが意味する会議／談話状態が格納されており、前記身体動作情報処理手段から出力された時系列データと前記会議／談話状態辞書に格納された時系列データ間の相関係数を計算し、もっとも相関係数が高かった後者の時系列データに対応する会議／談話状態を推定された会議／談話状態とする、請求項２から５のいずれか１項に記載の会議／談話状態推定装置。
【請求項８】
前記会議／談話状態推定手段で推定された会議／談話状態を表示する会議／談話状態表示手段をさらに有する、請求項２から７のいずれかに記載の会議／談話状態推定装置。
【請求項９】
前記会議談話データベースから会議／談話中または会議／談話終了後に所望の会議／談話状態であった時刻を検索する会議／談話状態検索手段をさらに有する、請求項２から８のいずれかに記載の会議／談話状態推定装置。
【請求項１０】
検索結果を表示する会議／談話状態検索結果表示手段をさらに有する、請求項９に記載の会議／談話状態推定装置。
【請求項１１】
請求項２から１０のいずれかに記載の会議／談話状態推定装置の機能をコンピュータで実行するための会議／談話状態推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議や談話がどのような状態であるかを推定し、表示を行う技術に関するものである。
【背景技術】
【０００２】
動画および音声から所望の場面を検索する技術として特許文献１がある。これは、動画から身体動作情報を得て、その特徴量を記録することにより、所望の場面の検索を可能とするものである。
【０００３】
会議における会議状態の記録検索に関する技術として非特許文献１がある。これは会議参加者に発言の意図について入力させ、また、あらかじめ議事を整理して登録しておくことによって、会議の状態を捉え検索を行うことができる技術である。
【０００４】
会議における会議状態の推定に関する技術として非特許文献２がある。これは、心拍数を計測し、会議参加者間で比較することによって会議状態を推定する技術である。
【特許文献１】特開平７−２５３９８６号公報
【非特許文献１】田中充，福宿光徳，西堀良久，勅使河原可海，“同期・非同期型統合型マルチメディア会議システムＡＳＳＩＳＴにおけるマルチメディア議事録の開発と評価”，ＤＩＣＯＭＯ９９  予稿集，ｐｐ．７９−８４，１９９９．
【非特許文献２】細田真道，中山彰，小林稔，岩城敏，“生体情報に基づく会議状態推定−心拍変動共鳴現象の観測−”，情処研報  ２００４−ＧＮ−５０（７）  ２００４−ＥＩＰ−２２（７），ＶＲ学研報  ＣＳＶＣ２００４−７，ｐｐ．４３−４８，２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術は、動画などのデータについて、身体動作などの特徴量を記録して検索することができるが、２人以上で行われる会議または談話については考慮されておらず、会議や談話の状態を推定することができない。
【０００６】
非特許文献１の技術は、会議の状態を検索するために、事前に議事を整理して登録した上で参加者に発言の意図を入力させる必要があり、事前準備および会議中の操作が煩雑となっている。
【０００７】
非特許文献２の技術は、会議状態を推定するために、会議参加者の心拍数を計測している。そのため、従来は必要の無かった心拍数計測装置を用意し、これを各参加者に取り付ける必要があり、使用が煩雑になる。また、心拍数を計測することが参加者に対する心理的な圧力となることも考えられる。
【０００８】
本発明の目的は、会議や談話がどのような状態であるかを、参加者の身体動作の情報を利用して推定する会議／談話状態推定方法、装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の会議／談話状態推定方法は、
会議／談話状態推定装置を用いて、会議または談話の状態を推定する会議／談話状態推定方法であって、
身体動作情報取得手段が、各参加者の身体動作を表わす情報を取得する身体動作情報取得ステップと、
身体動作情報処理手段が、得られた身体動作情報に所定の加工を行い、加工された身体動作情報を時系列に出力する身体動作情報処理ステップと、
会議／談話状態推定手段が、前記の加工された複数の身体動作情報から、身体動作情報の特徴と、会議または談話がどのような状態であるかを示す会議／談話状態との組み合せを記録した会議／談話状態辞書を用いて会議または談話の状態を推定する会議／談話状態推定ステップと
を有する。
【００１０】
本発明は、会議や談話において参加者の身体動作情報を時系列に取得し、時系列の身体動作情報を解析することによって、会議や談話がどのような状態であったのかを示す会議談話状態を推定するものである。
【００１１】
なお、会議や談話中または終了時に現在の会議／談話状態を表示することにより、議論を盛り上げたり、話者が聴衆の状態を知り、話題の転換に使用したりすることが可能となる。また、会議や談話の画像や音声などと共に会議／談話状態を記録しておけば、会議や談話中または終了後、所望の会議／談話状態であった時刻を検索してその場面を再生し、内容を確認することが可能となる。
【発明の効果】
【００１２】
本発明は、会議／談話参加者の身体動作情報を取得し、参加者相互間の身体動作情報の関係を解析することにより、心拍数測定装置などを参加者に取り付ける必要がないため、参加者に対する心理的圧力なしに、会議／談話状態を推定することができる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の実施の形態について図面を参照して説明する。
【００１４】
図１は本発明の一実施形態の会議／談話状態検出・検索装置の構成を示している。
【００１５】
会議／談話参加者１1，１2，…，１nはそれぞれの身体動作情報（各参加者１1〜１nの頭部位置、頭部角度、視線方向、手の位置、手の角度、体の角度の一部または全部）を取得する、１つまたは複数の例えば３次元位置センサおよび３次元角度センサである身体動作情報取得器２1，２2，…，２nを一部または全部装着している。身体動作情報処理部３1，３2，…，３nはそれぞれ身体動作情報取得器２1，２2，…，２nで取得された身体動作情報に所定の加工を行う。会議／談話状態辞書４は、身体動作情報の特徴と、会議または談話がどのような状態であるかを示す会議／談話状態との組み合せを記録している。会議／談話状態推定部５は、身体動作情報処理部３1〜３nから送られてきた身体動作情報から、会議／談話状態辞書４を用いて会議または談話の状態を推定し、結果を会議／談話状態表示部１０1，１０2，…，１０nと会議／談話状態記録部６に送る。会議／談話状態表示部１０1〜１０nはそれぞれ会議／談話参加者１1〜１nに会議または談話の状態を示す。会議／談話状態記録部６は会議または談話の状態と、身体動作情報が取得された時刻の時刻情報を会議／談話データベース７に記録する。会議／談話状態検索部８は、所望の会議／談話状態の時刻情報を得るために会議／談話データベース７を検索し、該時刻情報を会議／談話状態検索結果表示部９で表示する。
【００１６】
身体動作情報取得器２1〜２nに用いる３次元位置センサ、３次元角度センサの例として、磁界を用いて３次元位置および角度を得ることができるＰｏｌｈｅｍｕｓ社ＦＡＳＴＲＡＫを用いることができる。身体動作情報取得器２1〜２nにおいて視線方向を得るためには、ナックイメージテクノロジー社ＥＭＲ−ＮＣを用いることができる。
【００１７】
身体動作情報取得器２1〜２nの他の例として、会議／談話参加者１1〜１nの身体に装着しなくてすむ、会議／談話参加者１1〜１nを撮影するカメラがある。この場合、身体動作情報処理部３1〜３nにおいて、カメラ画像から頭部動作を検出するために、Ｉｎｔｅｌ社ＯｐｅｎＣＶライブラリを用いて画像中の顔の位置を検出し、画像中の顔の位置から頭部位置を得ることが可能である。
【００１８】
身体動作情報処理部３1〜３nは、得られた位置および角度から、速度、加速度、角速度、角加速度を計算し、それぞれ所定の帯域の周波数成分のみ通過させることのできるフィルタを通してノイズ成分を除去して時系列データを会議／談話状態推定部５に送る。身体動作情報取得器２1〜２nがカメラの場合、身体動作情報処理部３1〜３nはカメラから得られた画像から身体動作を検出し、身体動作を表す情報を所定の特定を持つフィルタにかけて時系列データを会議／談話状態推定部５に送る。
【００１９】
会議／談話状態推定部５は、ある参加者の時系列データを、一定の時間間隔ごとに一定範囲の時間内において、他の参加者の時系列データまたは会議／談話状態辞書４あるいはその両方と比較し、身体動作情報が取得された時刻における会議または談話の状態を推定する。
【００２０】
図２に会議／談話状態推定部５の処理例を示す。この例では参加者は４名とする。４人の場合の相関行列は４×４の行列となり、ｎ人の場合の相関行列はｎ×ｎの行列となる。相関行列のｎ行ｍ列の要素は、ｎ人目の参加者とｍ人目の参加者との間の相関係数となっている。相関係数は互いに対して正の相関が強ければ１に近くなり、相関がなければ０に近くなり、負の相関が強ければ−１に近くなる。会議／談話状態辞書４には図３に示す相関行列と会議／談話状態の組み合せをあらかじめ登録しておく。まず、１秒ごとに過去１０秒間の時系列データを取り出し（ステップ１０１）、各参加者間の相関係数を計算し（ステップ１０２）、相関行列を求める。計算した相関行列を会議／談話状態辞書４の各相関行列と比較する（ステップ１０３）。比較方法は行列の差分をとり、その絶対値を用いることにする。絶対値がもっとも小さかった会議状態であったと推定し（ステップ１０４）、結果を会議／談話状態表示部１０1〜１０nおよび会議／談話状態記録部６に送る（ステップ１０５）。
【００２１】
図４に会議／談話状態推定部５の他の処理例を示す。この例では参加者は５人とする。会議談話状態辞書４には図５に示す時系列データと会議／談話状態の組み合せをあらかじめ登録しておく。推定は、まず、１秒ごとに過去１０秒の時系列データを取り出す（ステップ１０１）。各参加者の時系列データについて、会議／談話状態辞書４の時系列データとの相関係数をとる（ステップ１０６）。相関係数が最も高かった会議／談話状態が、該参加者個人の状態であると推定し（ステップ１０７）、すべての参加者において、最も多かった会議／談話状態が全体の会議状態であると推定し（ステップ１０８）、結果を会議／談話状態表示部１０1〜１０nおよび会議／談話状態記録部６に送る（ステップ１０５）。
【００２２】
会議／談話状態表示部１０1〜１０nは、参加者１1〜１nに対して、会議／談話状態推定部５の推定結果を提示する。表示例を図６に示す。
【００２３】
会議／談話状態記録部６は、会議／談話状態推定部５から送られてきた推定情報と、身体動作情報が取得されたときの時刻を会議／談話データベース７に記録する。会議／談話データベース７に記録されたレコードの例を図７に示す。
【００２４】
会議／談話状態検索部８は、検索したい会議／談話状態を入力することにより、該会議／談話状態の時刻を会議談話データベース７を用いて検索する。検索結果は会議／談話状態検索結果表示部９に送られる。
【００２５】
なお、本発明の会議／談話状態推定方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態の会議／談話状態推定装置の構成を示す図である。
【図２】会議／談話状態推定部５の処理例を示すフローチャートである。
【図３】会議／談話状態辞書４に登録された相関行列と会議／談話状態の例を示す図である。
【図４】会議／談話状態推定部５の他の処理例を示すフローチャートである。
【図５】会議／談話状態辞書４に登録された時系列データと会議／談話状態の例を示す図である。
【図６】会議／談話状態の表示例を示す図である。
【図７】会議／談話データベース７に記録されたレコードの例を示す図である。
【符号の説明】
【００２７】
１1〜１n    会議参加者
２1〜２n    身体動作情報取得部
３1〜３n    身体動作情報処理部
４    会議／談話状態辞書
５    会議／談話状態推定部
６    会議／談話状態記録部
７    会議／談話データベース
８    会議／談話状態検索部
９    会議／談話状態検索結果表示部
１０１〜１０８    ステップ
【図１】
2006065765.tif 000003
【図２】
2006065765.tif 000004
【図３】
2006065765.tif 000005
【図４】
2006065765.tif 000006
【図５】
2006065765.tif 000007
【図６】
2006065765.tif 000008
【図７】
2006065765.tif 000009