(57)【特許請求の範囲】
【請求項１】
ウェアラブル端末であって、
自端末以外のウェアラブル端末に音声情報を含むレスポンスを要求する同一会話集団検出手段と、
前記レスポンスを受信する通信手段と、
前記通信手段により受信された音声情報における発声区間と前記自端末で取得された音声情報における発声区間との重複率を算出する重複率算出手段とを備え、
前記同一会話集団検出手段は、少なくとも前記重複率に基づいて、前記自端末以外のウェアラブル端末から、前記自端末と同一会話集団に属するウェアラブル端末を検出するウェアラブル端末。
【請求項２】
自端末と同一会話集団に属するウェアラブル端末は、前記自端末以外のウェアラブル端末のうち、前記重複率が所定の閾値以内となる端末である
請求項１記載のウェアラブル端末。
【請求項３】
前記音声情報における発声区間は、所定期間母音が継続している部分である、会話におけるあいづちを含み、
前記重複率算出手段は、前記あいづちの区間を除いて重複率を算出する
請求項１記載のウェアラブル端末。
【請求項４】
前記レスポンスは、さらに位置情報を含み、
前記自端末の位置情報と前記通信手段により受信された自端末以外のウェアラブル端末の位置情報とに基づいて、前記自端末と前記自端末以外のウェアラブル端末との距離を算出する距離算出手段を備え、
前記同一会話集団検出手段は、さらに前記距離に基づいて、前記同一会話集団に属するウェアラブル端末を検出する
請求項１記載のウェアラブル端末。
【請求項５】
前記同一会話集団検出手段は、前記自端末と同一会話集団に属するウェアラブル端末として、前記自端末以外のウェアラブル端末のうち、少なくとも前記重複率が第一閾値以内で、かつ、前記距離が第二閾値以内となるウェアラブル端末を検出する
請求項４記載のウェアラブル端末。
【請求項６】
前記同一会話集団検出手段は、前記自端末で取得された装着者の音声と、前記自端末で取得された環境音とを比較し、さらに前記比較に基づいて、前記同一会話集団に属するウェアラブル端末を検出する
請求項１記載のウェアラブル端末。
【請求項７】
前記同一会話集団検出手段は、前記自端末で取得された音声情報に含まれる環境音と、前記通信手段により受信された音声情報に含まれる環境音とを比較し、さらに前記比較に基づいて、前記同一会話集団に属するウェアラブル端末を検出する
請求項１記載のウェアラブル端末。
【請求項８】
前記レスポンスはさらに方位情報を含み、
前記自端末及び前記自端末以外のウェアラブル端末の方位情報に基づいて、方位変更量を算出する方位変更量算出手段を備え、
前記同一会話集団検出手段は、さらに前記方位変更量に基づいて、前記同一会話集団に属するウェアラブル端末を検出する
請求項４記載のウェアラブル端末。
【請求項９】
前記同一会話集団検出手段は、さらに、前記自端末と同一会話集団に属するウェアラブル端末として、前記自端末以外のウェアラブル端末のうち、前記重複率が第一閾値以内であり、かつ、前記距離が第二閾値以内であり、かつ、自端末の方位変更量との差が所定の範囲内となるウェアラブル端末を検出する
請求項８記載のウェアラブル端末。
【請求項１０】
前記自端末以外のウェアラブル端末により取得されたデータをプロファイルの構成要素とする
請求項１記載のウェアラブル端末。
【請求項１１】
前記プロファイルの作成は、前記自端末により行われ、
前記通信手段は、前記プロファイルを前記自端末以外のウェアラブル端末に送信する
請求項１０記載のウェアラブル端末。
【請求項１２】
前記データは画像または音声である
請求項１０記載のウェアラブル端末。
【請求項１３】
前記データを記録する記録手段を備える
請求項１０記載のウェアラブル端末。
【請求項１４】
ウェアラブル端末において、自端末以外のウェアラブル端末に音声情報を含むレスポンスを要求する要求ステップと、
前記レスポンスを受信する通信ステップと、
受信された音声情報における発声区間と前記自端末で取得された音声情報における発声区間との重複率を算出する重複率算出ステップとを備え、
少なくとも前記重複率に基づいて、前記自端末以外のウェアラブル端末から、前記自端末と同一会話集団に属するウェアラブル端末を検出する方法。
【請求項１５】
ウェアラブル端末において、自端末以外のウェアラブル端末に音声情報を含むレスポンスを要求する要求ステップと、
前記レスポンスを受信する通信ステップと、
受信された音声情報における発声区間と前記自端末で取得された音声情報における発声区間との重複率を算出する重複率算出ステップとからなる手順をコンピュータに行わせ、
少なくとも前記重複率に基づいて、前記自端末以外のウェアラブル端末から、前記自端末と同一会話集団に属するウェアラブル端末を検出するプログラム。
【請求項１６】
複数のウェアラブル端末と通信を行うサーバ装置において、
複数のウェアラブル端末から音声情報を含む情報を受信する通信手段と、
各ウェアラブル端末の音声情報における発声区間の重複率を算出し、当該重複率に基づいて複数の会話集団を検出する会話集団検出手段と、を備えるサーバ装置。
【請求項１７】
前記情報は位置情報を含み、
前記会話集団検出手段は、
前記複数の会話集団を検出するにあたって、前記複数のウェアラブル端末の位置情報に基づいて、前記複数のウェアラブル端末を所定のクラスタ数にクラスタリングするクラスタリング手段と、
前記会話集団に属する発話者の発話情報を算出する発話情報算出手段と、
前記発話情報に基づいて会話集団適合度を算出する適合度算出手段と、を有し、
何れの会話集団にも属さないウェアラブル端末がある場合には、前記会話集団適合度に基づき、当該ウェアラブル端末が属するべき会話集団を決定し、当該決定は各クラスタごとに行われる
請求項１６記載のサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はウェアラブル端末に関する。
【背景技術】
【０００２】
ウェアラブル端末とは服やカバンやペン、腕時計のように身につけて利用される端末であり、近年、軽量化が進んでおり、マイクやカメラを備えた端末も珍しくはない。ウェアラブル端末として、例えばウェアラブルカメラは自動撮影を行うことができ、音声をトリガーにしてシャッターを切ったり、動画撮影を開始したりすることができる（特許文献１参照）。
【特許文献１】特開２００４−３５６９７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで近年の製品開発の傾向として、ウェアラブル端末に、プロファイル作成機能を追加することが検討されている。
プロファイル作成機能とは、ウェアラブル端末を着用したユーザが、パーティや団体旅行等といった行事に参加した際、ウェアラブル端末にて自動的に収集されたデータを構成要素として用いて、その行事の回顧録や資料等を、いわゆる行事の“プロファイル”として作成する機能をいう。ウェアラブル端末には、カメラ、マイクが装備されているので、かかるウェアラブル端末にて収集された映像データ、音声データを、プロファイル作成にあたってのデータ素材として使用することができる。
【０００４】
ところが、かかるプロファイル作成機能においては、ユーザの周りにある光景を撮影して、これをプロファイルの構成要素とすることができても、かかる行事に参加している自分の姿を、プロファイルのデータ素材に加えることは困難である。なぜなら、一般的に、ウェアラブル端末では対面する方向の画像情報が取得されることになるからである。つまり、プロファイル作成にあたって使用できるデータ素材が、ウェアラブル端末自身にて収集されたデータに限られ、またウェアラブル端末にて取得されるデータには限界があるため、当該機能にて作成されるプロファイルの表現の幅が狭いという問題がある。
【０００５】
本発明の目的は、行事に参加している自分の姿等をデータ素材として使用することで、プロファイルを作成するにあたっての表現の幅を広げることができるウェアラブル端末を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は複数人が参加する行事において、当該行事に参加する人物が身に付けるウェアラブル端末であって、所定範囲内に存在する複数のウェアラブル端末に対して要求信号を送信して、要求信号に対するレスポンスを受信する要求手段と、受信されたレスポンスに基づき、通信相手となる１以上のウェアラブル端末を決定して、決定したウェアラブル端末とのデータ通信を実行する通信手段とを備え、前記データは、通信相手として決定されたウェアラブル端末により収集されたデータであり、前記行事のプロファイルを作成するにあたって、当該プロファイルの構成要素となる、ことを特徴とするウェアラブル端末である。
【発明の効果】
【０００７】
本発明は上記の構成を備えることにより、行事の他の参加者が、上述したようなレスポンスを送信することができるウェアラブル端末を着用している場合、それら他の参加者が着用しているウェアラブル端末の中から、通信相手となるものを定め、かかる通信相手から受信したデータをプロファイルの構成要素とすることができる。したがって、自身のウェアラブル端末からは取得不能なデータ素材であっても、行事の他の参加者が着用しているウェアラブル端末から取得可能なデータ素材であるなら、当該他の参加者が着用しているウェアラブル端末から当該データ素材を取得し、プロファイルの作成に役立てることができるので、プロファイルの作成にあたっての表現の幅を広げることができる。
【０００８】
なお、前記行事とは、会議や講義、食事、立ち話、団体旅行、パーティ等を含む概念である。
ここで、前記通信手段は前記複数のウェアラブル端末のそれぞれについて、受信されたレスポンスに基づき、自端末と同一の会話集団に属するウェアラブル端末であるか否かを判定し、同一の会話集団に属すると判定したウェアラブル端末を通信相手として決定するとしても良い。
【０００９】
ここで、前記レスポンスは、要求信号を受け取った各ウェアラブル端末で取得された音声情報を含み、前記通信手段は、受信された各ウェアラブル端末の音声情報における発声区間と自端末の音声情報における発声区間との重複率を算出する重複率算出手段を含み、自端末と同一の会話集団に属すると判定されるウェアラブル端末は、前記複数のウェアラブル端末のうち、自端末の音声情報における発声区間との重複率が所定の閾値以内となるウェアラブル端末であるとしても良い。
【００１０】
これにより、当該ウェアラブル端末に係るユーザと会話をしているユーザに係るウェアラブル端末を特定することができるので、プロファイルの構成要素としてより効果的なデータを取得することができる。
なお、本クレームにおける重複率算出手段は、実施の形態における同一会話集団検出部に対応する。
【００１１】
ここで、前記音声情報における発声区間は、所定期間母音が継続している部分である、会話におけるあいづちを含み、前記重複率算出手段は、前記あいづちの区間を除いて重複率を算出するとしても良い。
これにより、あいづちを打つことにより発声区間が重複した区間については重複率から除かれるので、前記会話をしているユーザに係るウェアラブル端末を決定する精度を高めることができる。
【００１２】
ここで、前記レスポンスは、要求信号を受け取った各ウェアラブル端末の位置情報を含み、前記通信手段は、受信された各ウェアラブル端末の位置情報と自端末の位置情報とから、該ウェアラブル端末と自端末との距離をそれぞれ算出する距離算出手段を含み、自端末と同一の会話集団に属すると判定されるウェアラブル端末は、前記複数のウェアラブル端末のうち、自端末との距離が所定の閾値以内となるウェアラブル端末であるとしても良い。
【００１３】
これにより、プロファイルの構成要素として効果的なデータを取得することができる。
なお、本クレームにおける距離算出手段は、実施の形態における同一会話集団検出部に対応する。
ここで、前記レスポンスは、要求信号を受け取った各ウェアラブル端末の方位情報を含み、前記通信手段は、受信された各ウェアラブル端末の方位情報から、所定時間当たりの方位情報の変化量を算出する方位変更量算出手段を含み、自端末と同一の会話集団に属すると判定されるウェアラブル端末は、前記複数のウェアラブル端末のうち、自端末の方位変更量との差が所定の範囲内となるウェアラブル端末であるとしても良い。
【００１４】
これにより、プロファイルの構成要素として効果的なデータを取得することができる。
なお、本クレームにおける方位変更量算出手段は、実施の形態における同一会話集団検出部に対応する。
また、決定したウェアラブル端末とのデータ通信によりデータを取得できたとしても、プロファイルを作成するにあたって、利用者自らが編集作業を行うというのは非常に煩雑であり、多大な労力を払うことが多い。
【００１５】
ここで、前記行事のプロファイルの作成は、自端末により行われ、前記通信手段は、作成されたプロファイルを前記１以上のウェアラブル端末に送信するとするのが望ましい。
これにより、ウェアラブル端末に係る利用者自らが編集作業を行う必要はなく、例えば、当該ウェアラブル端末に係るユーザのプロファイルや、発話者のみを撮影したプロファイル等を容易に作成することができる。また、作成したプロファイルを前記通信相手となる１以上のウェアラブル端末と共有することができる。
【００１６】
ここで、前記収集されたデータは画像であり、前記プロファイルは、前記決定されたウェアラブル端末において、各発話者に係るウェアラブル端末と、当該発話者の画像を撮影したウェアラブル端末との組に基づき作成されるとしても良い。
これにより、常に発話者が映し出されたプロファイルを作成することができる。
ここで、前記プロファイルは、前記決定されたウェアラブル端末のうち、発話者に係るウェアラブル端末により収音された音声を用いて作成されるとしても良い。
【００１７】
これにより、自端末において、発話者に係るウェアラブル端末との位置関係等の影響により、クリアな音声が収音できなかった場合であっても、発話者に係るウェアラブル端末により収音された音声を用いることにより、クリアな音声のプロファイルを作成することができる。
ここで、前記ウェアラブル端末は、前記決定したウェアラブル端末に関するデータを記録する記録手段を備えるとしても良い。
【００１８】
これにより、記録しておいたデータに基づき、必要なときにプロファイルを作成することができる。
ここで、前記サーバ装置は、前記複数のウェアラブル端末の位置を示す位置情報を取得し、取得した位置情報に基づいて前記複数のウェアラブル端末を複数のクラスタにクラスタリングするクラスタリング手段を含み、前記通信手段による前記通信相手となる１以上のウェアラブル端末の決定は、各クラスタごとに行われるとしても良い。
【００１９】
これにより、前記形成手段による集団の形成が行われる前に、位置情報に基づいて、大まかにクラスタリングするので、多数のウェアラブル端末について処理を行う場合、各会話集団を形成する際の演算量を大きく削減することができる。
【発明を実施するための最良の形態】
【００２０】
（実施の形態１）
＜概要＞
先ず始めに、本発明に係るウェアラブル端末の概要について説明する。
本発明では、ユーザは図１に示すようにウェアラブル端末１００を装着しており、図２に示すように、ウェアラブル端末を装着したユーザが近傍に複数人存在する状況を想定している。前記ユーザが複数人存在する状況としては、例えば、会議や講義、食事、立ち話、団体旅行、パーティなどの様々な状況が考えられる。ここでは、近傍に存在する複数人のユーザの中に、会話している集団（会話集団）が存在する場合を考える。もちろんそのような会話集団が複数存在してもよいし、会話に参加していない人物も存在してもよい。またここでいう会話とは、長時間（例えば１分以上）１人の人物が発話しつづけるような状況ではなく、適度に発話者が入れ替わる状況を示すこととする。
【００２１】
図２に示されるウェアラブル端末１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ、１００ｇ、１００ｈは図３に示すように、相互に通信ネットワークにより接続されている。ここでは、通信ネットワークは無線ＬＡＮとする。図３はウェアラブル端末が複数存在するときの相互の通信状況を示す図である。図３では、ウェアラブル端末１００〜１００ｈを装着している人物がそれぞれ通信範囲内に存在しており、ウェアラブル端末１００〜１００ｅから構成される会話集団１と、ウェアラブル端末１００ｆ、１００ｇから構成される会話集団２とが形成されており、ウェアラブル端末１００ｈを装着している人物は、これらの会話集団に含まれていないが、場を共有している、という状況を例示している。
【００２２】
各ウェアラブル端末は図４に示すように、カメラとマイクロホンとを含んで構成され、それらによって取得された画像及び音声を記録媒体に記録する。この構成を有するウェアラブル端末を装着することにより、各装着者の音声は良好に取得することができるが、一般的には装着者自らを撮影することはできず、図５に示すように、対面する方向の画像情報が取得されることになる。
【００２３】
本発明に係るウェアラブル端末１００の特徴は、複数人が装着しているウェアラブル端末（ウェアラブル端末１００ａ〜１００ｈ）から通信相手となる１以上のウェアラブル端末、すなわち、自端末に係るユーザと同一の会話集団に属するユーザに係るウェアラブル端末（図３の例でいうと、ウェアラブル端末１００ａ〜１００e）を決定し、登録や認証なしに決定したウェアラブル端末とデータ通信を行う。そして、プロファイルの作成するにあたって、それらのウェアラブル端末により撮影された画像や音声が当該プロファイルの構成要素となる。
【００２４】
これにより、装着者自らを撮影することができずとも、当該端末１００を装着しているユーザの映像や、会話集団における発話者を撮影した映像などを取得できる。
以上が、ウェアラブル端末１００の概要である。
続いて、各ウェアラブル端末の位置を検出する方法について説明する。
＜位置検出方法＞
各ウェアラブル端末の位置を検出する方法として種々の方法が提案されているが、ここでは赤外広角カメラと赤外線タグとを用いた位置検出方法を用いる。具体的には、この方法では、ウェアラブル端末を装着しているユーザに赤外線タグを装着し、赤外広角カメラで撮影された画像中の赤外線タグを輝点として取得し、取得した輝点の画像中の座標から実空間座標への座標変換を用いて赤外線タグの三次元位置を決定する。決定された赤外線タグの三次元位置をウェアラブル端末の位置とみなす。
【００２５】
図６は赤外広角カメラと赤外線タグとを用いた位置検出システムである。この位置検出システムは各ユーザが装着するウェアラブル端末１００〜１００ｈと、図示しない各ユーザに装着される赤外線タグ２００〜２００ｈと、６台の赤外広角カメラ３００ａ〜３００ｆと、ロケーションサーバ４００とを含んで構成される。
赤外線タグ２００〜２００ｈは、赤外線を発行するＬＥＤとその明滅を制御する装置で構成される赤外発行マーカである。例えば、図１に示すように、名札形状を有し、ユーザの胸に装着される。
【００２６】
赤外広角カメラ３００ａ〜３００ｆは動画像を取得するカメラと、可視光を遮断し赤外領域の光を透過するフィルタと、広角レンズとから構成されるカメラである。
ロケーションサーバ４００は６台の赤外広角カメラ３００ａ〜３００ｆにより得られた画像を処理し、各赤外線タグ２００〜２００ｈ（ウェアラブル端末１００〜１００ｈ）の位置を算出し、算出した位置情報を管理する。より詳細には、赤外広角カメラ３００ａ〜３００ｆの設置位置に基づいて赤外線画像上の各輝点の位置を実空間座標に変換し、変換した各輝点の座標、すなわち赤外線タグ２００〜２００ｈの位置を各ウェアラブル端末の位置とみなして記憶装置に記憶し、管理する。
【００２７】
ウェアラブル端末１００は上述したように無線ＬＡＮ通信機能を有しており、ロケーションサーバ４００から各ウェアラブル端末１００〜１００ｈの位置情報を受信することにより、それらの位置情報を取得することができる。なお、ロケーションサーバ４００は各ウェアラブル端末１００〜１００ｈにそれぞれの位置情報を送信し、ウェアラブル端末１００は各ウェアラブル端末１００ａ〜１００ｈから位置情報を取得するとしてもよい。
【００２８】
続いて、本発明に係るウェアラブル端末１００について図面を参照しながらさらに詳細に説明する。
＜通信シーケンス＞
ウェアラブル端末１００が同一会話集団検出処理、及びプロファイル作成処理を行う際の通信シーケンスについて説明する。ウェアラブル端末１００はまず、同一会話集団に属するウェアラブル端末を検出する際において、通信範囲内にあるウェアラブル端末１００ａ〜１００ｈ、及びロケーションサーバ４００にポーリングを送信し、それぞれからの応答を受信する。図８に各ウェアラブル端末から受信したデータを示す。図８に示すように受信データは、ウェアラブル端末の端末ＩＤ，方位情報、及び音声情報からなる。図９にロケーションサーバ４００から受信するデータを示す。図９に示すように受信データは、各ウェアラブル端末の端末ＩＤ及び位置情報からなる。応答を受信すると、同一会話集団検出処理を行い、同一会話集団に属するウェアラブル端末を検出する。続いて、同一会話集団に属する各ウェアラブル端末との間で順にコネクションを確立し、各ウェアラブル端末により取得された画像や音声等を取得する。そして、取得した画像や音声等を用いて、プロファイル作成処理を行い、プロファイルを作成し、作成したプロファイルを同一会話集団に属する各ウェアラブル端末に送信する。ウェアラブル端末１００は所定時間経過ごとに上述した処理を行い、動的に変化する会話集団の検出を行い、検出した会話集団に属するウェアラブル端末により取得された画像や音声を用いて、プロファイルを作成する。
＜構成＞
続いて、ウェアラブル端末１００のハードウェア構成に付いて説明する。図１０はウェアラブル端末１００のハードウェア構成を示す図である。ウェアラブル端末１００はＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、マイクロホン１０４、カメラ１０７、Ａ／Ｄ変換器１０５、１０８、エンコーダ１０６、１０９、電子コンパス１１０、メモリカード１１１、及び通信部（無線ＬＡＮインタフェース）１１２を含んで構成される。
【００２９】
ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３はコンピュータシステムを構成しており、ＲＯＭ１０２に格納されたプログラムがＣＰＵ１０１に読み込まれプログラムとハードウェア資源とが協働することにより機能を達成する。
電子コンパス１１０は地磁気を利用して方位を判断し、端末の向いている方向を検知する。
【００３０】
メモリカード１１１はプロファイル情報等を記録するための可搬媒体である。
通信部１１２は各ウェアラブル端末及びロケーションサーバ４００にポーリングを送信し、各ウェアラブル端末からの応答（端末ＩＤ、方位情報、及び音声情報）及びロケーションサーバ４００からの応答（端末ＩＤ、ウェアラブル端末１００〜１００ｈの位置情報）を受信する。同一会話集団に属するウェアラブル端末が検出された後には、プロファイルの構成要素となる画像や音声を取得するため、同一会話集団に属するウェアラブル端末とＰ２Ｐ通信を行う。さらに、プロファイル作成後には、作成されたプロファイルを同一会話集団に属する各ウェアラブル端末に送信するため、同一会話集団に属するウェアラブル端末とＰ２Ｐ通信を行う。
【００３１】
続いてウェアラブル端末１００の内部構成について説明する。図１１は、ウェアラブル端末１００の機能ブロックを示す図である。ウェアラブル端末１００は、撮像部１２１、収音部１２２、方位検出部１２５、発話タイミング抽出部１２６、通信部１２７、同一会話集団検出部１２８、被写体検出部１２９、撮影条件判定部１３０、作成部１３１、及び記録部１３２を含んで構成される。
【００３２】
撮像部１２１はＣＣＤやＣＭＯＳから構成され、外部の光を電気信号に変換して、変換した電気信号を作成部１３１に出力する機能を有する。
収音部１２２は図４に示すように、４つのマイクロホンを含んで構成され、各マイクロホンから取得した音声信号をＡ／Ｄ変換し、変換した信号を発話タイミング抽出部１２６、及び同一会話集団検出部１２８に出力する機能を有する。より詳細には、収音部１２２は装着者方向音声取得部１２３、及び非装着者方向音声取得部１２４から構成される。
【００３３】
装着者方向音声取得部１２３は、ウェアラブル端末１００の装着者の口元方向から到来する装着者の音声を高Ｓ／Ｎ比で収音できるよう、指向性制御する。図４のマイクロホンの配置例でいうと、各マイクロホンの音声信号を減算する減算型アレイマイクの指向性制御法を用いることで、前記指向性制御を実現できる。
非装着者方向音声取得部１２４は、ウェアラブル端末１００の装着者の口元以外の方向から到来する様々な環境音を高Ｓ／Ｎ比で収音できるよう、指向性制御する。図４のマイクロホン配置の例でいうと、各マイクロホンの音声信号を加算する加算型アレイマイクの指向性制御法を用いることで、前記指向性制御を実現できる。
【００３４】
方位検出部１２５は電子コンパス１１０等を含んで構成され、ウェアラブル端末１００の方位を検出し、同一会話集団検出部１２８に出力する機能を有する。
発話タイミング抽出部１２６は装着者方向音声取得部１２３から音声信号を受信し、受信した音声信号から発話を検出し、検出した発話の発話タイミングを抽出する。具体的には、装着者方向音声取得部１２３で収音されたウェアラブル端末１００を装着しているユーザの音声区間の始端及び終端時刻を求める。抽出方法としては、例えば音声パワーを用いた抽出方法やケプストラムを用いた抽出方法、統計的手法を用いた音声区間抽出法などが考えられる。要求される抽出精度やコストに応じて、いずれの方式を採用してもよい。
【００３５】
通信部１２７はアンテナを含み、他のウェアラブル端末１００ａ〜１００ｈやロケーションサーバ４００から送信されてきたデータを、当該アンテナを介して受信したり、作成部１３１により作成されたプロファイルなどを他のウェアラブル端末１００ａ〜１００ｈに送信したりする機能を有する。また、受信した画像を被写体検出部１２９に送出し、受信した位置情報、方位情報、及び音声情報を同一会話集団検出部１２８に送出する。無線通信の方式として、ここではＩＥＥＥ８０２．１１ｇの無線ＬＡＮを用いる。無線ＬＡＮにおける電波の強度は自由に設定可能であり、これにより通信範囲を決定することができる。
【００３６】
同一会話集団検出部１２８は通信部１２７を介して各端末に方位情報、音声情報の送信を、ロケーションサーバ４００にウェアラブル端末１００〜１００ｈの位置情報の送信を要求し、通信部１２７からウェアラブル端末１００ａ〜１００ｈの方位情報及び音声情報と、ウェアラブル端末１００〜１００ｈの位置情報を取得する。また、方位検出部１２５から自端末の方位情報を取得し、収音部１２２から自端末で収音された音声情報を取得する。そして位置情報、方位情報、及び音声情報を用いて、同一会話集団に属するウェアラブル端末を検出する。具体的な処理のフローについては後述する。
【００３７】
被写体検出部１２９は通信部１２７から送信された画像を受け取り、それぞれの画像から被写体を検出し、検出結果を撮影条件判定部１３０に送出する。
撮影条件判定部１３０は被写体検出部１２９から被写体の検出結果を受け取り、受け取った被写体の撮影条件の良否を判定する。具体的には、発話者に係る端末の位置情報や方位情報等と、その他の各端末の位置情報や方位情報等に基づいて、他の端末で前記発話者を被写体として捉えた画像を求めて、その中で最も撮影条件の良い画像を判定する。最も良い撮影条件とは、例えば、対象とする発話者がより大きくはっきりと撮影されていることや、順光で被写体が明確に把握でき、被写体が他の物体に遮られず的確にフレーミングされていることなどである。具体的には後述するフローで説明する。
【００３８】
作成部１３１は検出された同一会話集団に属するウェアラブル端末により取得された映像や音声を用いて、同一会話集団に属するユーザに関するプロファイルを作成する。例えば、同一会話集団に属する端末から取得した映像のうち、同一会話集団における発話者を撮影した画像であって、撮影条件判定部１３０による判定の結果、最も撮影条件が良いとされる画像を選択し、選択した画像と当該画像に対応する自端末１００で収音した音声とを組み合わせることにより、発話者を撮影した映像を作成する。
【００３９】
また、同一会話集団に属する端末から取得した画像のうち、自端末１００に係るユーザを撮影した画像であって、撮影条件判定部１３０による判定の結果、最も撮影条件が良いとされる画像を選択する。そして、選択した画像と当該画像に対応する自端末１００で収音した音声とを組み合わせることにより、自端末１００に係るユーザのプロファイルを作成する。
【００４０】
記録部１３２はメモリカード１１１やＲＡＭ１０３等から構成され、作成されたプロファイルをメモリカード１１１に記録したり、自端末１００で取得した画像と音声とを、同一会話集団検出部１２８の結果と関連づけてＲＡＭ１０３に記録したりする。図１２は端末ＩＤリストを示す図である。端末ＩＤリストは、本端末と同一会話集団を構成する端末の端末ＩＤを音声、画像及び時刻と関連付けたリストである。ここでは、端末ＩＤａａａ、ｂｂｂ、ｃｃｃ、ｄｄｄ、ｅｅｅが同一会話集団を構成する。なお、端末ＩＤａａａ、ｂｂｂ、ｃｃｃ、ｄｄｄ、ｅｅｅはそれぞれウェアラブル端末１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅの端末ＩＤである。
【００４１】
これにより、音声信号、及び画像信号から同一会話集団に属するウェアラブル端末を特定することができ、あるいは時間情報から同一会話集団に属する端末とその画像や音声を特定することができる。例えば後日会話を交わした人物の検索を行ったり、人物の名前を画像から思い出したりするような用途に用いることができる。
続いて、同一会話検出部１２８における処理について説明する。
＜同一会話集団検出処理＞
図１３、１４は同一会話集団検出処理のフローを示す図である。ウェアラブル端末１００は一定時間ごとに図１３、１４に示す処理を実行することにより、動的に同一会話集団に属するウェアラブル端末を検出する。ここでは、３分ごとに処理を行うものとする。本フローチャートにおいて、ｉは一つのウェアラブル端末を特定する変数である。まず、同一会話集団検出部１２８は各端末に方位情報、音声情報の送信を要求する（ステップＳ１０１）。次に、ロケーションサーバ４００に各端末及び自端末の位置情報の送信を要求する（ステップＳ１０２）。要求を受け取った各端末及びロケーションサーバ４００からレスポンスが送信され、通信部１２７はそれらを受信する。同一会話集団検出部１２８は通信部１２７がレスポンス（方位情報、音声情報、及び位置情報）を受信したか否かを判定する（ステップＳ１０３）。受信した場合には（ステップＳ１０３でＹｅｓ）、続いて自端末の方位情報、音声情報を方位検出部１２５及び収音部１２２から取得する（ステップＳ１０４）。自端末の方位情報、音声情報を取得した後、ｉを初期化し（ステップＳ１０５）、各端末について以下の処理を行う（ステップＳ１０６〜１１９）。
【００４２】
まず、取得した位置情報から自端末と該端末との距離を算出する（ステップＳ１０６）。例えば、該端末を端末１００ａとすると、図９よりそれぞれの位置情報はｐ１（ｘ１，ｙ１，ｚ１）、ｐ２（ｘ２，ｙ２，ｚ２）であるので、２点間の距離は
【００４３】
【数１】
0004669041.tif 000002
【００４４】
となる。ただし、ｚ方向については特に考慮する必要はないため、ｚ１とｚ２の値は同一とする。続いて、２点間の距離が所定の範囲内か否かを判定する。ここでは所定の範囲を５ｍとし、２点間の距離が５ｍ以内か否かを判定する（ステップＳ１０７）。
２点間の距離が５ｍより大きい場合、自端末の環境音として、該端末の音声が混入しているか否かを判定する（ステップＳ１０８）。具体的には、該端末の装着者方向音声取得部で取得された音声と、自端末の非装着者方向音声取得部１２４で取得された音声を比較し、音声の開始と終了が一致するか否かを判定する。一致した場合には、該端末の音声が混入していると判定する。これは該端末に係るユーザが拡声器等を使用している場合を考慮してものである。すなわち、２点間の距離が５ｍより離れている場合であっても、自端末の装着者自身が該端末に係るユーザの音声を聞いている可能性があるので、例外的に同一会話集団に属する可能性があると判定し、処理を進める。
【００４５】
２点間の距離が５ｍ以内の場合（ステップＳ１０７でＹｅｓ）、あるいは本端末の環境音として、該端末の音声が混入していると判定された場合（ステップＳ１０８でＹｅｓ）、自端末と該端末のそれぞれについて、移動度情報を算出する（ステップＳ１０９）。移動度情報は、所定の時間（ここでは３分）あたりの移動距離と方位の変更量によって算出される。移動度情報を算出した後、両端末共に停止しているか否かを判定する（ステップＳ１１０）。これは両端末共に停止している場合には、同一会話集団に属している可能性が高いからである。具体的には、移動距離と方位の変更量が０か否かを判定する。
【００４６】
移動していると判定された場合（ステップＳ１１０でＮｏ）、両端末とも同一方向に移動しているか否かを判定する。これは移動している場合であっても、同一方向に移動しているなら同一会話集団に属している可能性が高いからである。具体的には、位置情報と、方位情報の変更量が両端末で同一であるか否かを判定する。同一の場合には同一方向に移動していると判定する。
【００４７】
両端末共に静止していると判定された場合（ステップＳ１１０でＹｅｓ）、あるいは両端末共に同一方向に移動していると判定された場合（ステップＳ１１１でＹｅｓ）、両端末共に発声区間が存在するか否かを判定する（ステップＳ１１２）。
ステップＳ１１２でＮｏの場合には、一方の端末に発声区間が存在するか否かを判定する（ステップＳ１１４）。一方の端末に発声区間が存在する場合には（ステップＳ１１４でＹｅｓ）、一方の端末の環境音として、他方の端末の音声が混入しているか否かを判定する（ステップＳ１１５）。
【００４８】
両端末共に発声区間が存在しない場合には（ステップＳ１１４でＮｏ）、両端末ともに環境音として同一の第三者の音声が混入しているか否かを判定する（ステップＳ１１６）。具体的には、自端末の非装着者方向音声取得部１２４で取得された音声と、該端末の非装着者方向音声取得部で取得された音声とを比較し、音声の開始と終了が一致するか否かを判定する。これは、両端末共に音声区間が存在しなくとも、自端末と該端末に同一の第三者音声が混入している場合には、ある発話者音声を両者が聞いている可能性があるので、同一会話集団と認めるものである。
【００４９】
両端末共に発声区間が存在する場合には（ステップＳ１１２でＹｅｓ）、それぞれの発声区間の重複率が５％以内か否かを判定する（ステップＳ１１３）。５％以内と判定された場合（ステップＳ１１３でＹｅｓ）、一方の端末の環境音として他方の端末の音声が混入している（ステップＳ１１５でＹｅｓ）、あるいは両端末ともに環境音として同一の第三者の音声が混入していると判定された場合には（ステップＳ１１６でＹｅｓ）、自端末と該端末とは同一会話集団に属すると判定する（ステップＳ１１７）。
【００５０】
ステップＳ１０８、１１１、１１３、１１５、１１６でそれぞれ否定的な判定をされた場合には、本端末と該端末とは同一会話集団ではないと判定する（ステップＳ１１８）。
該端末の端末ＩＤと判定結果とを対応付けて記憶し（ステップＳ１１９）、ｉが最後か否か判定し（ステップＳ１２０）、最後でないならｉを１計数し（ステップＳ１２１）、ステップＳ１０６に移行する。ｉが最後の場合には、同一会話集団検出処理を終了する。
＜作成処理＞
図１５、１６は作成処理のフローを示す図である。ここでは、同一会話集団における発話者を撮影した画像をつなげ、一本のストリームを作成する処理について説明する。本フローチャートにおいて、ｉは発話者に係る端末以外であって、同一会話集団における一つのウェアラブル端末を特定する変数であり、ｊは一つの発話区間を特定する変数である。まず、同一会話集団に属すると判定された各ウェアラブル端末に画像情報の送信を要求する（ステップＳ２０１）。各ウェアラブル端末から画像情報を受信すると（ステップＳ２０２でＹｅｓ）、ｊを初期化する（ステップＳ２０３）。ｊを初期化した後、該発話区間における発話者に係る端末を特定し（ステップＳ２０４）、ｉを初期化する（ステップＳ２０５）。発話者端末と該端末とが同一方向を向いているか否かを判定する（ステップＳ２０６）。具体的には、両端末の方位情報により判定される。これは、両端末が異なる方向を向いているのであれば、対面している可能性が高く、良好な発話者画像を取得できる可能性があるからである。
【００５１】
両端末が異なる方向を向いている場合には（ステップＳ２０６でＮｏ）、両端末間の距離が２ｍ以上離れているか否かを判定する（ステップＳ２０７）。両端末間の距離が２ｍ未満の場合には（ステップＳ２０７でＮｏ）、間に障害物なく良好な画像を取得できる可能性が極めて高いので、該端末の画像をプロファイル作成のための候補画像として選択する（ステップＳ２０９）。両端末の距離が２ｍ以上の場合には（ステップＳ２０７でＹｅｓ）、両端末間に障害物があるか否かを判定する（ステップＳ２０８）。具体的には障害物の有無は、同一会話集団内の該端末と発話者端末との間に第３者端末が存在するかどうかを位置情報により判定するのに加えて、該端末で取得される画像を分析し、顔画像検出が可能であるか否かにより判定される。顔検出が可能であれば障害物がないと判定する。障害物がないと判定されると（ステップＳ２０８でＮｏ）、該端末の画像をプロファイル作成のための候補画像として選択する（ステップＳ２０９）。
【００５２】
発話者端末と該端末とが同一方向を向いていると判定された場合（ステップＳ２０６）、あるいは該端末の画像を候補として選択した場合、ｉが最後か否か判定する（ステップＳ２１０）。最後でない場合は、ｉを１計数し（ステップＳ２１１）、ステップＳ２０６に移行する。ｉが最後の場合は、評価関数に基づき、選択された候補の中から最終的にどの画像を用いるかを決定する。ここで評価関数は、Ｆ＝ｆ（ｄ，ｒ，ｓｎｒ）を用いる。ここで、ｄは発話者の顔の角度であり、ｒは両端末間の距離であり、ｓｎｒは画像の鮮明さである。ｄは発話者端末と該端末の方位情報から算出され、正面に近いほど評価は高くなる。ｒは発話者端末と該端末の位置情報から算出され、近いほど評価は高くなる。ｓｎｒはコントラストやＳ／Ｎ比などから算出され、鮮明なほど評価は高くなる。
【００５３】
次に、ｊが最後か否か判定し（ステップＳ２１３）、最後でない場合は、ｊを１計数し（ステップＳ２１４）、ステップＳ２０４に移行する。ｊが最後の場合は、各画像に対応する区間の音声を取得し（ステップＳ２１５）、各画像と音声とを組み合わせた映像を作成する（ステップＳ２１６）。同一会話集団に属する各端末に作成した映像を送信する（ステップＳ２１７）。各端末は映像を受信し、受信した映像を記録する。これにより、同一会話集団で作成した映像を共有することができる。
＜具体例＞
続いて、具体例について説明する。図１７は各発話者の発話のタイミングと、各発話時における発話者の画像をどの端末より取得するかを模式的に示した図である。第一段目に端末１００に係るユーザの発話タイミングを示す。第二段目に端末１００ａに係るユーザの発話タイミングを示す。第三段目に端末１００ｃに係るユーザの発話タイミングを示す。第四段目に決定された画像取得端末ＩＤを示す。本図は時刻ｔ１〜ｔ２、ｔ７〜ｔ８において、端末１００ｃに係るユーザが発話しており、その際の前記ユーザの画像は端末ＩＤ０００の端末（ウェアラブル端末１００）により取得された画像を用いることを示している。同様に、時刻ｔ３〜ｔ４、ｔ１１〜ｔ１２において、端末１００に係るユーザが発話しており、画像は端末ＩＤｃｃｃの端末（ウェアラブル端末１００ｃ）により取得された画像を用いることを示しており、時刻ｔ５〜ｔ６、ｔ９〜ｔ１０において、端末１００ａに係るユーザが発話しており、画像は端末ＩＤｅｅｅの端末（ウェアラブル端末１００ｅ）により取得された画像を用いることを示している。
【００５４】
図１８は図１７に対応する図であり、各発話者の発話のタイミングと、画像取得対象となる端末の端末ＩＤと、取得画像との関係を示した図である。本図に示すテーブルを記録しておくことにより、あるシーンでの映像がどの端末から取得された映像なのかがわかる。
図１９は作成されたプロファイルを模式的に表した図である。ウェアラブル端末１００で取得された音声と、各発話タイミングにおいて決定された画像取得端末により取得された画像とを組み合わせることにより、常に発話者を撮影したストリームを作成することができる。
【００５５】
図２０はプロファイル情報の内部構成を示す図である。プロファイル情報はプレイリスト情報、音声ファイル、及び画像ファイルを含んで構成される。
プレイリストを定義するプレイリスト情報は、音声ファイルを示す音声ファイルリンク情報と、対応する画像ファイルを示す画像ファイルリンク情報と、再生開始時刻と、再生終了時刻とからなる。これにより、音声情報と複数の画像情報とをリンクさせることができる。
【００５６】
音声ファイルは自端末の音声情報を格納しているファイルである。
画像ファイルは同一会話集団に属するウェアラブル端末より取得した画像情報を格納しているファイルである。
以上のように本実施の形態によれば、ウェアラブル端末１００がウェアラブル端末１００〜１００ｈの位置情報、方位情報、及び音声情報を取得し、取得したそれぞれの情報から同一会話集団に属するウェアラブル端末を検出する。図３の例でいうと、ウェアラブル端末１００ａ〜１００e（会話集団１）を検出する。したがって、予めデータを取得するウェアラブル端末を登録しておく必要はない。また、ユーザの手を煩わせることなく、会話集団１に属するウェアラブル端末により撮影された画像や音声を用いて、常に発話者を撮影した映像を作成することができる。
（実施の形態２）
実施の形態１では、ウェアラブル端末１００がプロファイルに必要な画像を提供するウェアラブル端末を検出し、検出したウェアラブル端末から画像を取得し、取得した画像を用いてプロファイルの作成を実現する構成について説明した（P2P型のad-hocモード）。
【００５７】
これに対して、本実施の形態では、図２１に示すように、複数のウェアラブル端末を統括して管理し、制御する作成サーバが、効率的に画像や音声を共有する会話集団を決定し（会話集団１〜ｋ）、各会話集団に属するウェアラブル端末により取得された画像や音声を用いて、各会話集団ごとのプロファイルを作成し、作成したプロファイルを通信により各会話集団に属するウェアラブル端末に送信する構成について説明する。（サーバ集中管理型のserverモード）
＜通信シーケンス＞
サーバ集中管理型における通信シーケンスについて説明する。基本的に図７で説明した通信シーケンスと同様である。
＜作成サーバの構成＞
続いて、作成サーバ５００の内部構成について説明する。図２２に作成サーバの機能ブロックを示す。作成サーバ５００は、通信部５１０、同一会話集団検出部５２０、発話タイミング抽出部５４０、被写体検出部５５０、撮影条件判定部５６０、記録部５７０、及び作成部５８０を含んで構成される。
【００５８】
通信部５１０は、各ウェアラブル端末から送信される方位情報と音声情報と、ロケーションサーバ４００から送信される各ウェアラブル端末の位置情報とを受信する。受信した方位情報、音声情報、位置情報を同一会話集団検出部５２０に、音声情報を発話タイミング抽出部５４０及び記録部５７０に送出する。また、検出された同一会話集団に属するウェアラブル端末から画像情報を受信し、記録部５７０に送出する。さらに作成されたプロファイルを各ウェアラブル端末に送信する。
【００５９】
同一会話集団検出部５２０は図２３に示すように、クラスタリング部５２１、クラスタ内会話集団検出部５２２、発話情報算出部５２３、及び適合度算出部５２４を含んで構成される。
クラスタリング部５２１は通信部５１０から各ウェアラブル端末の位置情報を受信し、受信した各ウェアラブル端末の位置情報に基づいて、複数のウェアラブル端末を所定のクラスタ数k0にクラスタリングする。クラスタリングの結果をクラスタ内会話集団検出部５２２に送信する。ここでは、k-meansを利用してクラスタリングする。具体的な処理フローについては後述する。
【００６０】
クラスタ内会話集団検出部５２２はクラスタリング部５２１からクラスタリングの結果を受信する。各クラスタ内において、各端末の音声情報から発話の重複度を算出し、算出した重複度と、位置情報と、方位情報とに応じて、同一会話集団をｋ個検出する。検出結果を発話情報算出部５２３に送出する。
発話情報算出部５２３はクラスタ内会話集団検出部５２２から同一会話集団の検出結果を受け取り、各会話集団内に属する発話者の発話情報（発話時間率、話者交代頻度）を算出する機能を有する。発話時間率とは、ある個人が発話している時間が、会話を交わしている時間全体内で占める割合を指す。各話者について発話時間率を算出する。話者交代頻度とは、単位時間あたりに発生する、会話集団内で起こる話者交代の回数を指す。
【００６１】
さらに、これらの発話情報より、会話集団の会話活性度を算出し、算出した会話活性度を適合度算出部５２４に送出する。会話活性度は、各話者の発話時間率が均等であるほど、また話者交代頻度が高いほど、会話が活性しているとして大きい値を取るように定義する。
適合度算出部５２４はクラスタリング部５２１から位置情報を、発話情報算出部５２３から会話活性度、方位情報を受け取り、位置情報、方位情報から移動度情報を算出する。また、各クラスタ内で会話集団に属していない者がおり、なおかつ同一クラスタ内に複数会話集団が存在したとき、会話集団に属していない者に対し、各会話集団への会話集団適合度を算出する。会話集団適合度は、その者の位置情報と、方位情報と、移動度と、対象となる会話集団の会話活性度とから算出するものであり、会話集団との位置が近いほど、会話集団の方向を向いているほど、会話集団の方向へ向かって移動しているほど、会話手段の活性度が高いほど、適合度が高いとして大きい値を取るように定義する。この結果、会話集団に属していない者は、最も会話集団適合度の高い集団に属することになる。
【００６２】
発話タイミング抽出部５４０、被写体検出部５５０、撮影条件判定部５６０、作成部５８０については、実施の形態１で説明した発話タイミング抽出部１２６、被写体検出部１２９、撮影条件判定部１３０、作成部１３１と同様である。
記録部５７０は通信部５１０により受信された、各端末で取得された音声情報、画像情報を適宜記録する。また、作成部５８０により作成されたプロファイルを記録する。
＜ウェアラブル端末の構成＞
ウェアラブル端末６００の内部構成について説明する。図２４はウェアラブル端末６００の機能ブロックを示す図である。ウェアラブル端末は撮像部６０１、収音部６０２、方位検出部６０３、通信部６０４、記録部６０５を含んで構成される。
【００６３】
撮像部６０１、収音部６０２、方位検出部６０３は、実施の形態１で説明した撮像部１２１、収音部１２２、方位検出部１２５と同様である。
通信部６０４は方位情報、音声情報を作成サーバ５００に送信し、また、作成サーバよりプロファイルを受信する。受信したプロファイルを記録部に６０５に送出する。
記録部６０５は通信部６０４より送出されたプロファイルを記録媒体に記録する。
＜作成サーバの動作＞
図２５〜２７を用いて、作成サーバ５００の処理フローについて説明する。まず、作成サーバ５００は各ウェアラブル端末に方位情報、音声情報の送信を要求する（ステップＳ３０１）。ロケーションサーバ４００に各ウェアラブル端末の位置情報の送信を要求する（ステップＳ３０２）。方位情報、音声情報、及び音声情報を受信した場合には（ステップＳ３０３でＹｅｓ）、クラスタリング処理を行い（ステップＳ３０４）、各端末を複数のクラスタに分類する。分類が終了すると、各クラスタにおいて、同一会話集団検出処理２を行い（ステップＳ３０５）、同一会話集団を検出する。各同一会話集団において、作成処理を行い（ステップＳ３０６）、プロファイルを作成する。なお、作成処理については、実施の形態１で説明した図１５、１６に示す作成処理と同様である。
＜クラスタリング処理＞
続いて、クラスタリング処理について説明する。図２６はクラスタリング処理のフローを示す図である。本フローチャートにおいて、ｉは一つの端末を示す変数であり、ｊは一つのクラスタを示す変数であり、ｎは端末数であり、ｋはクラスタ数である。まず、各端末ｘｉ（ｉ＝１…ｎ）に対してランダムにクラスタを割り振り（ステップＳ４０１）、割り振られた端末をもとに各クラスタの中心Ｖｊ（ｊ＝１…ｋ）を計算する（ステップＳ４０２）。計算には割り当てられた端末の各要素の平均（重心）が使用される。ｉ、ｊを初期化し（ステップＳ４０３）、該端末ｘｉと該クラスタの中心Ｖｊとの距離を算出する（ステップＳ４０４）。ｊ＝ｋであるか否かを判定し（ステップＳ４０５）、ｊ＝ｋでない場合には、ｊを１計数し（ステップＳ４０６）、ステップＳ４０４に移行する。ｊ＝ｋである場合には、ランダムに割り当てられたクラスタより、距離が近いクラスタがあるか否かを判定する（ステップＳ４０７）。距離が近いクラスタがある場合には、該端末ｘｉを最も近い中心のクラスタに割り当て直す（ステップＳ４０８）。割り当て直した後、あるいはステップＳ４０７でＮｏの場合、ｉ＝ｎであるか否かを判定し（ステップＳ４０９）、ｉ＝ｎでない場合には、ｉを1計数し（ステップＳ４１０）、ステップＳ４０４に移行する。上記の処理で全ての端末ｘｉのクラスタの割り当てが変化しなかった場合は処理を終了する（ステップＳ４１１でＹｅｓ）。それ以外の場合は新しく割り振られたクラスタからクラスタの中心Ｖｊを再計算して上記の処理を繰り返す（ステップＳ４０２に移行）。このように、位置が近い端末どうしをクラスタリングしていく。
＜同一会話集団検出処理２＞
続いて、同一会話集団検出処理２について説明する。図２７は同一会話集団検出処理２のフローを示す図である。本フローチャートにおいて、ｊは一つのクラスタを示す変数である。まず、各クラスタにおいて、各クラスタ内の各端末の音声情報から発話重複度を算出する（ステップＳ５０１）。算出した発話重複度、位置情報、方位情報に基づき、同一会話集団を検出する（ステップＳ５０２）。具体的には、各クラスタにおいて、該クラスタに属するウェアラブル端末の組合せに関し、図１３、１４におけるステップＳ１０６〜１１７の処理を行う。同一会話集団と判定されたウェアラブル端末のそれぞれが、相互に同一会話集団であると判定された場合に、前記ウェアラブル端末のそれぞれは同一会話集団となる。例えば、図２１の例でいうと、会話集団１はウェアラブル端末６００と６００ａ、６００ａと６００ｂ、６００ｂと６００とがそれぞれ同一会話集団であると判定されていることと同義である。
【００６４】
次に、各会話集団ごとに発話情報を算出し（ステップＳ５０３）、算出した発話情報に基づき、各会話集団の会話活性度を算出する（ステップＳ５０４）。会話活性度の算出後、ｊを初期化し（ステップＳ５０５）、該クラスタ内で会話集団に属してない者がおり、かつ、該クラスタ内に複数の会話集団があるか否かを判定する（ステップＳ５０６）。判定が肯定的な場合は、各会話集団への会話集団適合度を算出し（ステップＳ５０７）、その中から最も会話集団適合度の高い会話集団に帰属しているものと判定する（ステップＳ５０８）。該クラスタ内で他に会話集団に属してない者がいるか否かを判定する（ステップＳ５０９）。会話集団に属してない者がいる場合には、ステップＳ５０７に移行する。会話集団に属してない者がいない場合、あるいはステップＳ５０６にて判定が否定の場合には、ｊが最後か否かを判定する（ステップＳ５１０）。ｊが最後でない場合には、ｊを１計数し（ステップＳ５１１）、ステップＳ５０６に移行する。ｊが最後の場合には、処理を終了する。
＜同一会話集団検出処理２の具体例＞
図２８（ａ）は、ある時間における２１人の位置を俯瞰したときのマップである。本図には図示しないが、図６と同様のシステムにより、各端末の位置情報は取得されるものとする。図２８（ｂ）は、クラスタリング部５２１によるクラスタリングが行われた後の結果を示している。ここではクラスタ数は３である。図２８（ｃ）は、各人の会話に対する積極性と、向きとを表している。図２８（ｄ）は、クラスタ内会話集団検出部５２２により会話集団が検出されたあとの結果を示している。ここでは、クラスタ１において、会話集団１−１、会話集団１−２の二つの会話集団が検出されており、クラスタ２において、会話集団２−１、会話集団２−２の二つの会話集団が検出されており、クラスタ３において、会話集団３という一つの会話集団が検出されていることを示している。図２８（ｅ）は、最終的にすべての参加者が、いずれかの会話集団に分けられた結果を示している。本図から会話集団１−１、会話集団１−２がそれぞれ拡張され、会話参加頻度の少ない人または会話不参加な人がそれぞれの会話集団に含まれていることがわかる。
【００６５】
以上のように本実施の形態によれば、作成サーバ５００が管理対象となるウェアラブル端末をクラスタに分類し、クラスタ毎に会話集団を決定し、各会話集団に属するウェアラブル端末により取得された画像や音声を用いて、各会話集団ごとのプロファイルを簡単に作成することができる。また、最初に位置情報により大まかにクラスタリングを行う方法を取ることで、一度に複数人数を扱う際、各会話集団を探すときの試行回数を減らすことができ、演算量も大きく削減することができる。
（実施の形態３）
実施の形態１、２では、発話区間の重複度から同一会話集団に属するウェアラブル端末の検出を行ったが、発話区間の重複度のみを用いるだけでなく、さらに発話者のあいづちを検出し、それを同一会話集団検出処理に用いることもできる。本実施の形態は、あいづちを同一会話集団検出処理に用いる場合について説明する。ここでいうあいづちとは、「へー」「ほう」「ふーん」などの母音の長音を含むものを指すこととする。あいづちは、このような母音の長音であることが多く、かつそれ自体が１つのフレーズであることが多い。そのため、例えばケプストラムやLPC係数など母音で特徴的な数値を示すパラメータを用いて母音検出を行い、その継続時間が例えば２００[msec]以上、２[sec]以内という条件判定方法からあいづち検出を簡単に行うことができる。なお、あいづち検出方法はもちろんここに挙げた方法に限定するものではない。
【００６６】
会話において、あいづちは相手の発話区間中に重複して挿入されることが多い。例えば発話者Ａが発話中、それを聞いている次の発話者Ｂがあいづちをうつ、というパターンである。このことから、発話者Ａ、Ｂの会話が重複していて、かつ発話者Ｂの発話区間の先頭で、なおかつ発話者Ｂの発話があいづちであった場合、その発話は重複した区間とは見なさない、とすることで、発話重複時間を減らし、同一会話集団としての検出性能の向上が見込める。
【００６７】
また、発話者Ａの発話が終了するとき、発話者Ｂがあいづちを相手の発話にかぶせ、さらに発話者Ｂが単独で発話するというパターンも、よく存在する。これは、あいづちをつなぎとして会話を続ける会話テクニックであるが、このようなパターンが見られたとき、発話者Ａ、Ｂは同一会話集団である可能性が極めて高いと判定することもできる。よってこのようなパターンが検出されたときには、例えば発話の重複度合いが９０〜９５％であっても、同一会話集団であると判定するとしてもよい。
【００６８】
以上のように本実施の形態によれば、あいづちを検出することにより同一会話集団の検出精度を高めることができる。
（補足）
以上、本発明に係るウェアラブル端末について、実施の形態に基づいて説明したが、本発明は上記の実施の形態に限られないことは勿論である。
【００６９】
上記実施の形態では、各ウェアラブル端末の位置を検出する方法として、赤外線タグ及び赤外広角カメラを用いる方法を採用したが、これに限るものではない。例えば、ＧＰＳを用いて位置検出を行ってもよいし、超音波を利用して位置検出を行ってもよいし、無線ＬＡＮを利用して位置検出を行ってもよいし、ＲＦ−ＩＤタグを利用して位置検出を行ってもよいし、これら以外の方法で位置検出を行ってもよい。また、例えば、ＧＰＳを用いて位置検出を行う場合には、各ウェアラブル端末からそれぞれの位置情報を取得することになる。
【００７０】
上記実施の形態では、ウェアラブル端末はカメラ型としたが、時計型、ペン型、メガネ型などであってもよい。
上記実施の形態では、図１に示すようにウェアラブル端末を装着するとしたが、これに限定されるものではなく、端末を胸にピンで留めたり、眼鏡状にしてそれをかけたり、ヘッドフォンのような形にしてそれを身につけたりするものであってもよい。
【００７１】
上記実施の形態では、通信方式として無線ＬＡＮを用いたが、Ｂｌｕｅｔｏｏｔｈであってもよいし、他の通信方式を利用してもよい。画像、音声、位置、及び方位などの情報を伝達できるものであれば、無線通信、有線通信、IP網を利用したパケット通信などいずれの形態でもよい。
上記実施の形態では、音声情報、位置情報、及び方位情報を用いて、同一会話集団の検出を行ったが、音声情報のみから同一会話集団の検出を行うとしてもよい。音声を取得できる範囲はおよそ数メートルであり、それ以上離れると音声を収音することはできないため、音声を収音できるか否かにより、ある程度の距離を推測することができる。すなわち、音声を収音できていない場合には、当該音声を発しているユーザに係るウェアラブル端末は同一会話集団とはみなさない。また、音声情報と位置情報とから同一会話集団の検出を行うとしてもよいし、音声情報と方位情報とから同一会話集団の検出を行うとしてもよい。
【００７２】
上記実施の形態では、同一会話集団に属するウェアラブル端末を検出するとしたが、会話集団に限るものではない。例えば、ある場所において、興味対象を共有するウェアラブル端末を検出するとしてもよいし、単純に位置が近いウェアラブル端末を検出するとしてもよい。
上記実施の形態では、ある発話者の発話タイミングにおいて、当該発話者の画像を取得する端末は評価関数により決められた一の端末であったが、評価の高い複数の端末を決定し、それらにより取得された画像を組み合わせてプロファイルを作成するとしてもよい。これにより様々なアングルからの映像を得ることができる。
【００７３】
上記実施の形態では、作成部１３１は常に発話者を撮影した映像をつなぎ合わせ、プロファイルを作成したが、特定の人物のみを撮影した一本のストリームを作成してもよい。例えば、ウェアラブル端末１００のユーザに係る映像を作成する場合には、当該端末１００は発話タイミングを考慮することなく、評価関数により選択された自身を撮影した画像と、当該端末１００により取得された音声とを組み合わせればよい。具体的には以下のフローのとおりである。
【００７４】
図２９は作成処理２のフローを示す図である。本フローチャートにおいて、ｉは一つのウェアラブル端末を特定する変数である。まず、同一会話集団に属すると判定された各ウェアラブル端末に画像情報の送信を要求する（ステップＳ６０１）。各ウェアラブル端末から画像情報を受信すると（ステップＳ６０２でＹｅｓ）、ｉを初期化する（ステップＳ６０３）。ｉを初期化した後、本端末と該端末とが同一方向を向いているか否かを判定する（ステップＳ６０４）。
【００７５】
両端末が異なる方向を向いている場合には（ステップＳ６０４でＮｏ）、両端末間の距離が２ｍ以上離れているか否かを判定する（ステップＳ６０５）。両端末間の距離が２ｍ未満の場合には（ステップＳ６０５でＮｏ）、該端末の画像をプロファイル作成のための候補画像として選択する（ステップＳ６０７）。両端末の距離が２ｍ以上の場合には（ステップＳ６０５でＹｅｓ）、両端末間に障害物があるか否かを判定する（ステップＳ６０６）。障害物がないと判定されると（ステップＳ６０６でＮｏ）、該端末の画像をプロファイル作成のための候補画像として選択する（ステップＳ６０７）。
【００７６】
本端末と該端末とが同一方向を向いていると判定された場合（ステップＳ６０４でＹｅｓ）、両端末間に障害物があると判定された場合（ステップＳ６０６でＹｅｓ）、あるいはステップＳ６０７の処理の後、ｉが最後か否か判定する（ステップＳ６０８）。最後でない場合は、ｉを１計数し（ステップＳ６０９）、ステップＳ６０４に移行する。ｉが最後の場合は、評価関数に基づき、選択された候補の中から最終的にどの画像を用いるかを決定する。そして画像に対応する区間の音声を取得し（ステップＳ６１１）、画像と音声とを組み合わせた映像を作成する（ステップＳ６１２）。
【００７７】
上記実施の形態では、評価関数に基づき、プロファイルに用いる画像を選択したが、近いものから順次選択していくという単純な方法を用いてもよい。
上記実施の形態では、障害物の有無は同一会話集団内の該端末と発話者端末との間に第３者端末が存在するかどうかを位置情報により判定するのに加えて、該端末で取得される画像を分析し、顔画像検出が可能であれば障害物がないと判定する方法としたが、さらに、検出された顔画像と、本端末と該端末とがなす方向ベクトルとが整合が取れるか否かを判定し、整合が取れれば障害物がないものと判定するとしてもよい。
【００７８】
上記実施の形態では、評価関数をＦ＝ｆ（ｄ，ｐ，ｓｎｒ）としたが、これに限るものではなく、同一画面を継続的に選択することによる冗長さ（継続選択しているほど冗長で悪い）を評価の対象としてもよい。この冗長さは時間的な長さから算出される。
上記実施の形態では、図１３のステップＳ１１１にて、位置及び方位の変更量が同一の場合に、同一方向に移動していると判定したが、自端末の位置及び方位の変更量と該端末の位置及び方位の変更量が所定の範囲内の場合に、同一方向に移動していると判定してもよい。
【００７９】
上記実施の形態では、同一会話集団に属するウェアラブル端末から画像情報を取得し、プロファイルを作成するとしたが、音声情報を取得してもよいし、会話に関するログを取得してもよい。例えば、ウェアラブル端末１００でムービー撮影を行う場合には、当該端末で収音した音声に、同一会話集団内であるが少し離れた位置にいる人の発話音声があまり入っていない場合があるが、その発話者に係る端末により収音された音声を用いることにより、クリアな音声を記録することができる。また、互いの会話のログ用いることにより、クリアな会話を記録することができる。
【００８０】
また、同一会話集団に属するウェアラブル端末からデータ（画像、音声、ログ等）を取得するのは、リアルタイムでなくてもよい。
上記実施の形態では、会話集団検出処理はある一定間隔ごとに実施するとしたが、各ウェアラブル端末の位置情報に変化があらわれたときにそのつど実施するようにしてもよい。また、位置情報に変化があった場合には、共有する映像はウェアラブル端末に係るユーザが属する会話集団に則して提供されるべきである。例えば、図２において、ウェアラブル端末１００ｂのユーザは、会話集団１にとどまっていた期間までの会話映像を取得し、その後加わった会話集団２の会話映像は、加わった時間以後のものを取得できるようにすればよい。なお、途中で会話に加わった場合、往々にしてそれまでの会話集団の会話内容をキャッチアップしたい場合も考えられるので、その場合には、ウェアラブル端末は会話集団において過去にされた会話の内容を短時間再生するような仕組みを備えるとしても良い。
【００８１】
上記実施の形態１では、同一会話集団を構成する端末の端末ＩＤに、音声と、画像と、時刻とを関連付けて記録したが、図３０に示すように、各端末の方位情報、位置情報、各端末により取得された音声なども、合わせて記録するようにしてもよい。これにより、撮影された映像の方位や位置が記録として残るので、例えば方位情報を使って逆光の有無を判別したり、位置情報からどこで記録されたものかを自動的に記録するようにしたりすることもできる。
【００８２】
上記実施の形態１では、ウェアラブル端末１００が同一会話集団に属するウェアラブル端末の検出とプロファイルの作成とを行ったが、ウェアラブル端末１００は前記ウェアラブル端末の検出を行い、プロファイルの作成を行うサーバを別途含む構成としてもよい。
上記実施の形態１では、ウェアラブル端末１００が同一会話集団検出処理、及びプロファイル作成処理を行ったが、例えば会話開始にあたって、最初に発話した者が装着する端末が、同一会話集団検出処理やプロファイル作成処理を、会話メンバーを代表して行うとしてもよい。また、同一会話集団検出処理までは、各端末個別にそれぞれ決められた一定間隔ごとに常に実施し、プロファイル作成処理については、最初に発話した者が装着する端末が代表してその処理を行うとしてもよいし、会話メンバー中の任意のある１つの端末が代表して処理を行うとしてもよいし、発話時間の長い端末が代表して処理を行うものであってもよい。
【００８３】
上記実施の形態２では、位置情報に基づいてクラスタリングするとしたが、各端末の方位情報を用いて、向いている方向にその人物の重心位置をずらしたり、あるいは移動度情報を用いて、その人物の向かっている方向にその人物の重心位置をずらしたりして、集団全体の位置重心に影響を与えるようにしてもよい。また、クラスタ数ｋ０は検出された参加人数に応じて変えてもよく、例えば、参加人数が多いほど、クラスタ数ｋ０を多くするとしてもよい。
【００８４】
上記実施の形態２では、発話をしていない者であっても、適合度を求めることにより、何れかの会話集団に属するようにしたが、まったく発話していない者については、図２８（ｅ）のように、無理にどこかの会話集団に属すると判定する必要はなく、図２８（ｄ）で判定をとどめてもよい。
また、同一会話集団であるかどうかについては、上記実施の形態１、２で説明した同一会話集団検出処理に限らず、発話の重複度が少ないほど、位置が近いほど、また向き合っているものほど同一会話集団と判断するような方法であればよい。
【００８５】
上記実施の形態２では、作成サーバ５００により作成されたプロファイルをウェアラブル端末に送信し、送信されたプロファイルを受信したウェアラブル端末がそれを記憶する構成としたが、ウェアラブル端末は映像再生部を備え、作成サーバはストリーミングによりプロファイルを送出するとしてもよい。また、ウェアラブル端末がビューワを兼ねない場合には、単なるセンサ端末としてもよい。
【００８６】
上記実施の形態では、音声の重複度を用いて同一会話集団を検出したが、収音部により取得した音声情報を用いて音声認識を行い、認識した文字情報と、通信部により取得した他の端末の音声認識結果である文字情報とから、同一会話集団を検出するとしてもよい。例えば、それぞれの文字情報にキーワードが一定頻度以上で含まれる場合には、同一会話集団であるとするとしてもよい。
【００８７】
上記実施の形態では、図２に示すように、様々な人物が思い思いに会話している場合の端末配置例（パーティ型の端末配置）について説明したが、本発明は、１人の人物に対し大勢の人物が対面し会話している場合の端末配置（学校型）や、１つの物に対し大勢の人物が並んで鑑賞しつつ会話している場合の端末配置（鑑賞型）であっても適用できる。
上記実施の形態では、実施の形態２のサーバ集中管理型の場合に、サーバ装置がクラスタリング処理を行うとしたが、実施の形態１のP2P型のad-hocモードの場合であっても、ウェアラブル端末がクラスタリング処理を行うとしてもよい。
【産業上の利用可能性】
【００８８】
本発明は、近傍に存在する複数人がそれぞれウェアラブル端末を装着している状況において有用である。
【図面の簡単な説明】
【００８９】
【図１】ユーザがウェアラブル端末を装着している状態を示した図である。
【図２】ウェアラブル端末を装着したユーザが近傍に複数人存在する状況を示した図である。
【図３】ウェアラブル端末が複数存在するときの相互の通信状況を示した図である。
【図４】ウェアラブル端末の外観を示す図である。
【図５】ウェアラブル端末の撮影方向を示す図である。
【図６】赤外広角カメラと赤外線タグとを用いた位置検出システムを示す図である。
【図７】通信シーケンスを示す図である。
【図８】各ウェアラブル端末から受信したデータを示す図である。
【図９】ロケーションサーバ４００から受信するデータを示す図である。
【図１０】ウェアラブル端末１００のハードウェア構成を示す図である。
【図１１】ウェアラブル端末１００の機能ブロックを示す図である。
【図１２】端末ＩＤリストを示す図である。
【図１３】同一会話集団検出処理のフローを示す図である。
【図１４】同一会話集団検出処理のフローを示す図である。
【図１５】作成処理のフローを示す図である。
【図１６】作成処理のフローを示す図である。
【図１７】各発話者の発話のタイミングと、各発話時における発話者の画像をどの端末より取得するかを模式的に示した図である。
【図１８】各発話者の発話のタイミングと、画像取得対象となる端末の端末ＩＤと、取得画像との関係を示した図である。
【図１９】作成されたプロファイルを模式的に表した図である。
【図２０】プロファイル情報の内部構成を示す図である。
【図２１】サーバ集中管理型の通信状況を示した図である。
【図２２】作成サーバ５００の機能ブロックを示す図である。
【図２３】同一会話集団検出部５２０の内部構成を示す図である。
【図２４】ウェアラブル端末６００の機能ブロックを示す図である。
【図２５】作成サーバの処理フローを示す図である。
【図２６】クラスタリング処理のフローを示す図である。
【図２７】同一会話集団検出処理２のフローを示す図である。
【図２８】（ａ）ある時間における２１人の位置を俯瞰したときのマップである。（ｂ）クラスタリング部５２１によるクラスタリングが行われた後の結果を示す図である。（ｃ）各人の会話に対する積極性と、向きとを表している図である。（ｄ）会話集団が検出されたあとの結果を示している図である。（ｅ）すべての参加者がいずれかの会話集団に分けられた結果を示している図である。
【図２９】作成処理２のフローを示す図である。
【図３０】端末ＩＤリスト２を示す図である。
【符号の説明】
【００９０】
１００〜１００ｈ、６００〜６００ｆ  ウェアラブル端末
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  マイクロホン
１０５、１０８  Ａ／Ｄ変換器
１０６、１０９  エンコーダ
１０７  カメラ
１１０  電子コンパス
１１１  メモリカード
１１２  通信部
１２１、６０１  撮像部
１２２、６０２  収音部
１２３  装着者方向音声取得部
１２４  非装着者方向音声取得部
１２５、６０３  方位検出部
１２６、５４０  発話タイミング抽出部
１２７、５１０、６０４  通信部
１２８、５２０  同一会話集団検出部
１２９、５５０  被写体検出部
１３０、５６０  撮影条件判定部
１３１、５８０  作成部
１３２、５７０、６０５  記録部
２００  赤外線タグ
３００  赤外広角カメラ
４００  ロケーションサーバ
５００  作成サーバ
５２１  クラスタリング部
５２２  クラスタ内会話集団検出部
５２３  発話情報算出部
５２４  適合度算出部
【図１】
0004669041.tif 000003
【図２】
0004669041.tif 000004
【図３】
0004669041.tif 000005
【図４】
0004669041.tif 000006
【図５】
0004669041.tif 000007
【図６】
0004669041.tif 000008
【図７】
0004669041.tif 000009
【図８】
0004669041.tif 000010
【図９】
0004669041.tif 000011
【図１０】
0004669041.tif 000012
【図１１】
0004669041.tif 000013
【図１２】
0004669041.tif 000014
【図１３】
0004669041.tif 000015
【図１４】
0004669041.tif 000016
【図１５】
0004669041.tif 000017
【図１６】
0004669041.tif 000018
【図１７】
0004669041.tif 000019
【図１８】
0004669041.tif 000020
【図１９】
0004669041.tif 000021
【図２０】
0004669041.tif 000022
【図２１】
0004669041.tif 000023
【図２２】
0004669041.tif 000024
【図２３】
0004669041.tif 000025
【図２４】
0004669041.tif 000026
【図２５】
0004669041.tif 000027
【図２６】
0004669041.tif 000028
【図２７】
0004669041.tif 000029
【図２８】
0004669041.tif 000030
【図２９】
0004669041.tif 000031
【図３０】
0004669041.tif 000032