(57)【特許請求の範囲】
【請求項１】
対話参加者毎に当該対話参加者に装着された音声入力手段から入力された各発言情報とそれら発言情報の発言時間、及び各発言情報の間の無声時間を時系列順に記録する発言情報記録手段と、
前記対話参加者毎に当該対話参加者に装着された撮影手段で撮影された画像情報を時系列順に記録する画像情報記録手段と、
各対話参加者の前記発言情報記録手段で記録された時系列順の各発言情報と各発言情報に対応する発言時間及び各無声時間から、ある対話参加者が発言している最中に他の対話参加者が発言しているという状態が生じないよう、各対話参加者の発言時間帯を相対的に前後させて組み合わせることにより、各対話参加者の対話順序を判定する対話順序判定手段と、
前記対話順序判定手段で判定された対話順序中の各順番ごとに、その順番に該当する対話参加者の発言情報と、該対話参加者又はそれ以外の対話参加者のうちの所定の一方の画像情報記録手段に記録された画像情報のうち該発言情報に対応する発言時間に撮影された画像情報と、を採用して組み合わせることにより、対話参加者間でなされた対話情報を生成する対話情報生成手段と、
前記対話情報を記録するための対話情報記録手段と、
を含むことを特徴とする対話記録システム。
【請求項２】
請求項１に記載の対話記録システムにおいて、
前記画像情報記録手段は各対話参加者の身体にそれぞれ装着され、対応する対話参加者の周囲の状況を表す画像情報を記録し、
前記対話情報生成手段は、対話情報の生成に当たり、各発言情報に対して、前記画像情報のうち当該発言情報に係る対話参加者以外の対話参加者の画像情報記録手段で記録した画像情報を対応づける、
ことを特徴とする対話記録システム。
【請求項３】
請求項２に記載の対話記録システムにおいて、
前記画像情報記録手段は、前記対話参加者の頭部に装着されるカメラを含み、前記対話参加者の注視方向に応じた画像情報を記録する、
ことを特徴とする対話記録システム。
【請求項４】
請求項１に記載の対話記録システムにおいて、
前記画像情報記録手段は各対話参加者の身体にそれぞれ装着され、対応する対話参加者自身の画像情報を記録し、
前記対話情報生成手段は、対話情報の生成に当たり、前記画像情報のうち当該発言情報に係る対話参加者の画像情報記録手段で記録した画像情報を対応づける、
ことを特徴とする対話記録システム。
【請求項５】
請求項１〜４のいずれか１項に記載の対話記録システムにおいて、
前記発言情報記録手段及び前記画像情報記録手段は、各対話参加者に装着されたユーザ個別記録装置に設けられ、当該対話参加者に装着された前記音声入力手段及び前記撮影手段により取得された情報をそれぞれ記録し、
前記ユーザ個別記録装置は、前記発言情報記録手段及び前記画像情報記録手段に記録された情報を、前記対話順序判定手段及び前記対話情報生成手段に渡すことの可否をユーザが制御するための制御手段、を備えることを特徴とする対話記録システム。
【請求項６】
請求項５に記載のシステムであって、
前記ユーザ個別記録装置は、当該ユーザ個別記録装置内の前記画像情報記録手段に記録された画像情報をユーザに提示して対話記録に残したくない画像の指定を受け付け、指定された画像を削除した画像情報を作成する機能を有する、
対話記録システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は対話記録システムおよび記憶媒体に関し、特に複数の対話参加者による対話を対話場所の画像を含めて記録する技術に関する。
【０００２】
【従来の技術】
複数人による対話（会話、会議）を記録し、その記録を分析することで新たな知識が得られることは多い。例えば、顧客との対話は、後でその内容を吟味してみると（特に、上長やトップセールスにその記録を見せて意見を聞いてみると）、その場では気づかなかった問題点やよりよい解決案を考えることができる。あるいは、システムの使い勝手などを調べるために、プロトコル分析という人の発話を分析する手法が有効であることは広く知られている。
【０００３】
画像を含む対話情報を記録するための従来技術としては、テレビ会議システムに関わるものが知られている。特に、発言者の映像を記録するための技術として、音声情報から発言者を特定し、その発言者を中心とした映像をカメラで捉えるものがある。この技術に関わるものとして、例えば、特開平４−１２２１８４号公報、特開平５−１２２６８９号公報、特開平６−１７８２９５号公報、特開平７−９２９８８号公報、特開平９−３７２２４号公報に示される技術がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来技術には次の二つの課題がある。
【０００５】
一つ目は、対話が記録されていると感じることが、人間のコミュニケーションに影響を与えることである。従来の技術では、対話の記録を取る側（対話の主催者か、参加者の誰か）が対話開始前に記録の準備を行い、対話中の参加者のすべて発話を記録する。対話を取られる側（残りの参加者）は、事前に記録を取ることへの同意を求められるかもしれない。ここで同意をしてしまえば、対話を取られる側は自分の発言は他人に記録されており、後で何らかの形で記録が利用されることを対話中に意識せざるを得ない。このことは、参加者の発言を抑制したり、逆に参加者が過度に攻撃的あるいは迎合的な態度をとる可能性が高く、自由で闊達なコミュニケーションが阻害される。また、事前に同意をしなければ、良いアイディアや意見などが対話の中で形成されていった場合には、それが記録されていないために参加者の頭の中にある記憶に頼って記録を再構成しなければならなくなる。
【０００６】
二つ目は、対話場所に関するものである。前記従来技術では、完備された記録環境が事前に構築されている必要があるが、対話はこのような環境でのみ行われる訳ではない。例えば廊下での立ち話などのオープンスペースで偶発的に起こった対話が、業務遂行上の重要なヒントやアイディアを与えてくれる場合がある。また、顧客を訪問しても、必ずしも面談スペースなど従来技術に基づく装置を設置可能な場所が使えるわけではない。
【０００７】
本発明は、上記課題を鑑みてなされたものであって、その目的は、画像を含む対話記録を残すかどうかを対話参加者が対話後にコントロールでき、さらに完備された記録環境がない場所でも所望品質の記録を残すことのできる対話記録システムを提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る対話記録システムは、対話参加者毎に当該対話参加者に装着された音声入力手段から入力された各発言情報とそれら発言情報の発言時間、及び各発言情報の間の無声時間を時系列順に記録する発言情報記録手段と、前記対話参加者毎に当該対話参加者に装着された撮影手段で撮影された画像情報を時系列順に記録する画像情報記録手段と、各対話参加者の前記発言情報記録手段で記録された時系列順の各発言情報と各発言情報に対応する発言時間及び各無声時間から、ある対話参加者が発言している最中に他の対話参加者が発言しているという状態が生じないよう、各対話参加者の発言時間帯を相対的に前後させて組み合わせることにより、各対話参加者の対話順序を判定する対話順序判定手段と、前記対話順序判定手段で判定された対話順序中の各順番ごとに、その順番に該当する対話参加者の発言情報と、該対話参加者又はそれ以外の対話参加者のうちの所定の一方の画像情報記録手段に記録された画像情報のうち該発言情報に対応する発言時間に撮影された画像情報と、を採用して組み合わせることにより、対話参加者間でなされた対話情報を生成する対話情報生成手段と、前記対話情報を記録するための対話情報記録手段と、を含むように構成される。
【０００９】
この構成では、対話参加者毎に発言情報及び対話状況に関する画像情報を時系列的に記録しておき、前記発言情報が生成される発声時間情報に基づき、それら各対話参加者の発言情報及び画像情報を時系列的に組み合わせて対話情報を生成する。こうすれば、画像を含む対話記録を残すかどうかを各参加者が、対話の後でコントロールすることができる。また、この構成では、対話時には、対話参加者毎にその人の発言と画像を記録するだけでよいので、従来の会議システムのような発言音声の検知によるカメラの制御などの複雑な制御が不要になる。
【００１０】
また、本発明の一態様では、前記画像情報記録手段は各対話参加者の身体にそれぞれ装着され、対応する対話参加者の周囲の状況を表す画像情報を記録し、前記対話情報生成手段は、対話情報の生成に当たり、各発言情報に対して、前記画像情報のうち当該発言情報に係る対話参加者以外の対話参加者の画像情報記録手段で記録した画像情報を対応づける。
【００１１】
更に好適には、前記画像情報記録手段は、前記対話参加者の頭部に装着されるカメラを含み、前記対話参加者の注視方向に応じた画像情報を記録する。
【００１２】
この態様では、発言者の発言とその発言者を捉えた画像とを同時並行して再生できる対話情報を、簡便に作成できる。すなわち、対話においては、非発言者は発言者を見ている蓋然性が高い。したがって、対話参加者の頭部にカメラを装着すれば、そのうちの非発言者の画像情報記録手段には、発言者の姿の画像が記録されている可能性が高い。そこで、発言情報を、当該発言者以外の対話参加者の記録画像と組み合わせることにより、発言と当該発言の発言者の姿を捉えた画像とを適切に対応づけることが可能になる。
【００１３】
また、本発明の別の態様では、前記画像情報記録手段は各対話参加者の身体にそれぞれ装着され、対応する対話参加者自身の画像情報を記録し、前記対話情報生成手段は、対話情報の生成に当たり、前記画像情報のうち当該発言情報に係る対話参加者の画像情報記録手段で記録した画像情報を対応づける。
【００１４】
この態様でも、発言者の発言とその発言者を捉えた画像とを同時並行して再生できる対話情報を、簡便に作成できる。
【００１５】
また、本発明の別の態様では、前記発言情報記録手段及び前記画像情報記録手段は、各対話参加者に装着されたユーザ個別記録装置に設けられ、当該対話参加者に装着された前記音声入力手段及び前記撮影手段により取得された情報をそれぞれ記録し、前記ユーザ個別記録装置は、前記発言情報記録手段及び前記画像情報記録手段に記録された情報を、前記対話順序判定手段及び前記対話情報生成手段に渡すことの可否をユーザが制御するための制御手段、を備える。
【００１６】
この構成では、各ユーザの発言や対話状況に関する画像や発言は、一時的にはユーザ個別記録装置に記録される。この記録した画像や発言を対話情報としてまとめるかどうかをユーザ個別記録装置側で制御できるので、対話記録を残すか否かを、対話終了後に個々のユーザが決定できる。
【００１７】
好適な態様では、前記ユーザ個別記録装置は、当該ユーザ個別記録装置内の前記画像情報記録手段に記録された画像情報をユーザに提示して対話記録に残したくない画像の指定を受け付け、指定された画像を削除した画像情報を作成する機能を有する。
【００１８】
この態様によれば、各ユーザが不都合と判断した画像を削除して、対話記録を作成できる。
【００１９】
【発明の実施の形態】
以下、本発明の好適な実施の形態について図面に基づき詳細に説明する。
【００２０】
図１は、本発明の実施の形態に係る対話記録システムの構成を示す図である。同図に示すように、本実施の形態では、対話記録システムは複数の対話記録装置１０Ａ，１０Ｂ，１０Ｃを含む。一人の対話参加者に対して、一台の対話記録装置１０Ａ，１０Ｂ又は１０Ｃが一意的に与えられる。対話記録装置１０Ａ，１０Ｂ，１０Ｃは同様の構成を有する。
【００２１】
一台の対話記録装置１０Ａは、二つのユニットから構成される。一つは、対話参加者がメガネのように装着するメガネ型ユニット２０Ａであり、もう一つは対話参加者がホルスターやベルトを用いて体に装着する箱形ユニット３０Ａである。メガネ型ユニット２０Ａは音声及び映像の入出力を担当し、箱形ユニット３０Ａは入出力する音声や映像に関する処理や対話情報の編集などの各種情報処理を担当する。なお、他の対話記録装置１０Ｂ，１０Ｃも、同様の機能を持つメガネ型ユニット２０Ｂ，２０Ｃと箱形ユニット３０Ｂ，３０Ｃとから構成される。
【００２２】
各対話記録装置１０Ａ〜１０Ｃは、ビーム通信機能（詳細は後述）を用いて、他の対話記録装置１０Ａ〜１０Ｃとデータを送受信することができる。また、前記通信機能を用いて、データ送受信機能付きストレージ４０にデータを保存することもできる。
【００２３】
本実施形態では、各対話記録装置１０Ａ〜１０Ｃが、各々該装置を装着した対話参加者の発話音声やその参加者から見える画像（あるいはその参加者の画像）などを記録する。そして、１つの対話セッションにおけるそれら各装置１０Ａ〜１０Ｃで記録された音声や画像の情報を、一つの装置１０Ａ〜１０Ｃ（のいずれか）に集約して編集することにより、複数の対話参加者による音声及び画像による対話記録を生成する。
【００２４】
ここより、対話記録装置１０Ａ〜１０Ｃを構成する各機能部について説明する。まず、メガネ型ユニット２０Ａの各機能部について説明する。
【００２５】
［１］メガネ型ユニット
（１）画像撮影部
画像撮影部２０２は、対話参加者（ユーザ）の周囲の画像を撮影するための機能を持ち、例えばＣＣＤカメラにより実現される。撮影のためのＣＣＤカメラは、メガネ型ユニット２０Ａに前方へ向けて取り付けられており、対話参加者が顔を向けた方を撮影する。画像撮影部２０２で撮影される画像は、ユーザの視野の画像に相当する。画像撮影部２０２の出力はアナログＲＧＢデータであり、これは箱形ユニット３０Ａの画像データ生成部３１６へ送られる。
【００２６】
なお、後述する箱形ユニット３０Ａのコマンド入力部３０８のメニューで「カメラ画像確認」を選ぶことで、撮影される画像を確認することができる。これを選択すると、画像撮影部２０２で撮影中の画像（アナログＲＧＢデータ）が、ＵＩ制御部３０６を介してメガネ型ユニット２０Ａの情報表示部２０４に表示され、対話参加者はその画像を確認できる。
【００２７】
なお、この実施の形態においては、画像撮影部２０２は、対話参加者の周囲の画像を撮影するために、対話参加者が顔を向けた方を撮影するように構成している。これを更に高機能化することも可能である。例えば、画像撮影部２０２に視線追尾機能とこれに連動する画像撮影機能（例えば、ＣＣＤ画素の一部から画像を抽出する手法によるデジタルズーム及びパンニングなど）を持たせることで、対話参加者が注視した部位の画像を抽出して記録させることも可能である。
【００２８】
（２）情報表示部
情報表示部２０４は、ユーザ（対話参加者）へ情報を表示するための機能を持つ。表示される情報は、箱形ユニット３０ＡのＵＩ制御部３０６から与えられる。本実施の形態では、情報表示部２０４は、ＵＩ制御部３０６から送られるＲＧＢデータをメガネのレンズの内側に投影する、プロジェクションモニタの形態をとる。
【００２９】
（３）音声入力部
音声入力部２０６は、ユーザ（対話参加者）の音声を入力するための機能を持つ。本実施の形態では、強い指向性を持ったマイクにより実現される。このマイクは、ユーザの口の方へ向けてメガネ型ユニット２０Ａに取り付けられている。ユーザは、箱形ユニット３０Ａのコマンド入力部３０８の操作メニューのマイク音量調整を用いて、ユーザの声だけが入力できるようにマイク感度を調整できる。音声入力部２０６の出力はアナログ音声データであり、これは箱形ユニット３０Ａの音声データ生成部３１４へ送られる。
【００３０】
（４）音声出力部
音声出力部２０８は、箱形ユニット３０Ａの対話データ記憶部３３０に記憶された対話データの音声などを出力する機能を持つ。音声出力部２０８は、対話データの音声内容であるデジタル音声データをアナログ音声に変換し、スピーカでアナログ音声を再生する。なお、スピーカ再生の音量は、コマンド入力部３０８のメニューから「スピーカ音量調整」を選び、「＋」または「−」ボタンを押して調整する。
【００３１】
［２］箱形ユニット
以上、メガネ型ユニットに存在する機能部について説明した。次に、箱形ユニット３０Ａに存在する機能部について説明する。
【００３２】
（１）日時データ生成部
日時データ生成部３０２は、他の機能部にその時点における日時データを渡す機能を持つ。日時データは、１９９８．１２．６．１７．２５．１３．３３５のように、年・月・日・時・分・秒・ミリ秒で構成されている。なお、本機能部は時計を内蔵しており、その時刻合わせは後述するコマンド入力部３０８を用いて行う。
【００３３】
（２）識別番号記憶部
識別番号記憶部３０４は、各対話記録装置１０に一意に与えられた識別番号を記憶する機能を持つ。本機能部に記憶された識別番号は、後述するビーム通信制御部３１２が他の対話記録装置１０との通信をする際に用いられる。
【００３４】
（３）ＵＩ制御部
ＵＩ制御部３０６は、他の機能部と連携し、コマンド入力部３０８やメガネ型ユニット２０の情報表示部２０４などを用いてユーザとのインタラクションを行う機能を持つ。
【００３５】
（４）コマンド入力部
コマンド入力部３０８は、ユーザがコマンドを入力するための機能を持つ。具体的には、次の５つのボタンが用意されている。
【００３６】
・「メニュー」ボタン：ユーザが操作メニューの表示／非表示を切り替えるために用いる。操作メニュー項目には、ａ）対話記録の再生、ｂ）対話記録の生成、ｃ）判定時間の設定、ｄ）データ送信、ｅ）データ受信、ｆ）データ削除、ｇ）データにコメント、ｈ）マイク音量調整、ｉ）スピーカ音量調整、ｊ）カメラ画像確認、ｋ）時刻合わせ、ｌ）識別番号の表示という１２個のトップレベルメニューがあり、各項目で詳細を決めるためのサブメニューがある。
【００３７】
・「＋」ボタン：リスト中で次の選択肢を選ぶ、あるいは、数値を上げるなど、正方向に値を変化させるために用いる。
【００３８】
・「−」ボタン：リスト中で前の選択肢を選ぶ、あるいは、数値を下げるなど、負方向に値を変化させるために用いる。
【００３９】
・「○」ボタン：対話記録の再生を開始する、その選択肢を選ぶ、あるいは、確認メッセージに「はい」で答えるなど、各種の決定に用いる。
【００４０】
・「×」ボタン：対話記録の再生を停止する、サブメニューから上位メニューへ戻る、あるいは、確認メッセージに「いいえ」で答えるなど、各種のキャンセルに用いる。
【００４１】
（５）ビーム受発光部
ビーム受発光部３１０は、ビーム通信制御部３１２（詳細は後述）の制御に応じて、ビームを受光または発光する機能を有する。本実施の形態では、通信内容が他人に届くのを防ぐために、ビームが届く範囲（受発光部間の距離と相対角度）を小さくしている。
【００４２】
（６）ビーム通信制御部
ビーム通信制御部３１２は、他の人の対話記録装置のビーム通信制御部３１２と連携して、対話記憶装置間のビーム通信を実現する機能を持つ。通信されるデータは、後述するナレーションデータと対話データである。
【００４３】
ビーム通信の開始は、コマンド入力部３０８から指示される。対話記録装置間でデータをやり取りする際は、まず受信側の対話記録装置１０でメニュー「データ受信」を選択して受信待ち状態にした後、送信側の対話記録装置１０でメニュー「データ送信」を選択し、送信すべきデータを指定してデータを送信する。なおデータを送信する際は、送信者を特定するために、送信側の対話記録装置１０の識別番号記憶部３０４に記憶された識別番号が、その送信データとともに送信される。また、受信側の対話記録装置１０では、受信した識別番号とデータとを対応づけて記憶する。このとき、受信したデータの種類に応じて、後述するナレーションデータ記憶部３２４または対話データ記憶部３３０のいずれかにそのデータを記憶する。
【００４４】
なお本実施の形態では、対話記録装置間の通信にビームを用いた。この方式では、ビームによる通信範囲の限定により、送受するデータに特段の暗号化処理を施さなくても通信の秘話性をかなりの程度確保することができる。このようなビームを用いる方式の代わりに、送受するデータを暗号化し、電波によって通信してもよい。電波を使うことで、ユニットの位置や向きの制約がビームに比べて大幅に緩和される。また、暗号化されていることで、電波の範囲内の他者がデータを受信したとしても他者は暗号化されたデータを展開できないので、他人が対話記録を見ることを防ぐことができる。
【００４５】
（７）音声データ生成部
音声データ生成部３１４は、メガネ型ユニット２０Ａの音声入力部２０６の出力であるアナログ音声データから、デジタル音声データを生成する機能を持つ。生成されたデジタル音声データはナレーションデータ生成部３２０へ送られる。
【００４６】
（８）画像データ生成部
画像データ生成部３１６は、メガネ型ユニット２０Ａの画像撮影部２０２の出力であるアナログＲＧＢデータから、デジタル画像データを生成する機能を持つ。本実施の形態では、一定間隔（例えば０．２秒）毎に画像撮影部２０２のアナログ画像からデジタル画像データを生成する。生成された画像データは、後述する画像データバッファ部３１８へ送られる。
【００４７】
（９）画像データバッファ部
画像データバッファ部３１８は、画像データ生成部３１６で生成された画像データを一定時間分（例えば６０秒）蓄える機能を持つ。画像データ生成部３１６から新しい画像データが送られてきたときに、既に前記一定時間の画像データが蓄えられている場合は、最も古い画像データの上にそれを上書きする。
【００４８】
（１０）ナレーションデータ生成部
ナレーションデータ生成部３２０は、ナレーションデータを生成する機能を有する。ナレーションデータは、本発明に係わる発言情報、画像情報、及び発声時間情報の一例であり、発話の順序、時間、発言、画像、同時発言フラグの組からなる順列データである。
【００４９】
ナレーションデータの一例を図２に示す。同図は、本対話記録システムにて、２名の対話参加者（ここでは対話参加者Ａ、Ｂとする）の間で図３に示した対話が行われた場合に、個々の対話記録装置で生成されるナレーションデータを示している。図２（ａ）は対話参加者Ａのナレーションデータであり、図２（ｂ）は対話参加者Ｂのナレーションデータである。
【００５０】
時間的に連続した発話は音声入力部２０６で変換され、その変換結果であるデジタル音声データ、または無声を示すヌル（ｎｕｌｌ）値が同図の各行の「発言」欄に格納されている。発話が時間的に連続しているか否かの判定（別発言として次行にデータを格納すべきか否かの判定）は、ユーザの声が途切れた時間が一定の時間（例えば０．２秒）を越えるかどうかによって判定される。
【００５１】
各行の「時間」欄には、同じ行の発言（または無声）に要した時間（本実施の形態では秒を単位とし、１／１００秒までを有効桁とする）が格納されている。時間の計測は、日時データ生成部３０２が生成する時刻データを用いて行われる。
【００５２】
また、各行の「順序」欄には、同行に格納された発言（または無声）の順序を示す数値が格納される。
【００５３】
また、各行の「画像」欄には、同行に格納された発言（または無声）中に前記画像データバッファ部３１８に記憶された画像データが格納される。
【００５４】
また、各行の「同時発言フラグ」欄には、同行に格納された発言が、他の対話参加者の発言にかぶさるように同時になされた発言である可能性があることを示すブール値（ＴＲＵＥまたはＦＡＬＳＥ）が格納される。同時になされた可能性があることを示す値がＴＲＵＥであり、そうでない場合を示す値がＦＡＬＳＥである。ここでは、デフォルト値はＦＡＬＳＥである。この値の設定は、後述する同時発言判定部３２２によってなされる。
【００５５】
同図に示すナレーションデータを生成する際には、ある発言から一定の時間（例えば６０秒）無声だった場合に、それを１つのナレーションデータの区切りと判断する。すなわち、一定時間無声だった場合、それまでの発言と最後の発言の後の無声部分と最初の発言の直前の無声部分とを一つのナレーションデータとして、後述するナレーションデータ記憶部３２４に記憶させる。このとき、同時発言判定部３２２にて、「同時発言フラグ」欄の値を設定してからナレーションデータ記憶部３２４にナレーションデータを記憶させる。
【００５６】
なお、後述するようにナレーションデータに記録される「時間」欄の値は各対話参加者の発言を組み合わせて対話データを生成する際に用いられるものであり、種々の変形実施が可能である。例えば、各発言毎に発言開始時刻または発言終了時刻を記憶するようにもできる。
【００５７】
（１１）同時発言判定部
同時発言判定部３２２は、ナレーションデータ中の発言において、「ええ」「おお」「あの」「ちょっと」など、対話の割り込みや促進のために他の対話参加者の発言にかぶさって同時に発言しやすい表現（以下、同時発言表現と呼ぶ）を判定する機能を持つ。この判定結果は、後述する対話順序判定部３２６が、複数のナレーションデータの組合せ方を判定する際に利用される。
【００５８】
本実施の形態では、ある発言が同時発言表現であるかは、その発言の時間によって判断する。なぜなら、他の対話参加者の発言中に行う発言は、時間的に短いものである確率が高いためである。同時発言判定部３２２は、ある発言が同時発言判定部３２２に予め設定された判定時間以下であればその発言は同時発言表現であると判定し、ナレーションデータでその発言と同行の「同時発言フラグ」欄の値をＴＲＵＥに設定する。
【００５９】
同時発言表現の判定基準となる判定時間の設定処理は、ユーザがコマンド入力部３０８の操作メニューから「判定時間の設定」の項目を選択されることで起動される。この処理では、同時発言表現としてユーザが普段よく使うものをいくつかユーザに発声してもらい、音声入力部２０６からその音声を取り込んで発声時間を計測し、その発声時間の最小値に余裕分（例えば０．１秒）を加えたものを判定時間として同時発言判定部３２２に設定する。この処理の継続／終了は、前記表現を一つ発声してもらう毎に、前記コマンド入力部の「○」「×」ボタンをユーザに押してもらうことで決定する。
【００６０】
なお本実施の形態では同時発言表現の判定を時間によって行っているが、これを音声認識を用いて判定するようにも変形可能である。この変形では、判定時間の設定の変わりに、同時発言表現としてユーザが普段よく使うものとして発声してもらったものをデジタル音声データとして記憶し、この記憶したものと発言との音声的特徴（周波数分布や音量変化や時間など）を比較して判定する。
【００６１】
（１２）ナレーションデータ記憶部
ナレーションデータ記憶部３２４は、自装置のナレーションデータ生成部３２０で生成されたナレーションデータ、あるいは、ビーム通信制御部３１２を介して他の対話記録装置１０から受信したナレーションデータを、前述した日時データやコメント、及びそのナレーションデータに付随する識別番号と共に記憶する機能を持つ。ナレーションデータ記憶部３２４で記憶されたナレーションデータは、後述する対話データの生成処理に用いられる。
【００６２】
ナレーションデータと共に記憶される日時データは、そのデータを記憶した時点で日時データ生成部３０２が生成した日時データである。またナレーションデータと共に記憶される識別番号は、そのナレーションデータが自装置のナレーションデータ生成部３２０で生成されたものであれば識別番号記憶部３０４に記憶された識別番号であり、そのナレーションデータが他装置から受信したものであれば、それと同時に受信した識別番号である。ナレーションデータと共に記憶されるコメントは、ユーザがコマンド入力部３０８から入力したコメントである。コメント入力は、例えばユーザがコマンド入力部３０８の操作メニューで「データにコメント」を選択し、コメント内容を話すことで行われる。ユーザの話すコメント内容は、音声入力部２０６を介して入力され、デジタル音声データに変換され、コメントとしてナレーションデータ記憶部３２４に記憶される。
【００６３】
ナレーションデータ記憶部３２４に記憶されたナレーションデータに対して、ユーザは送受信および削除という操作ができる。この操作は、コマンド入力部３０８を用いて行われる。この操作の際には、個々のナレーションデータに対応する日時データと識別番号がメガネ型ユニット２０の情報表示部２０４に表示され、当該ナレーションデータに対応するコメントが音声出力部から再生される。このように、日時データと識別番号とコメントは、ナレーションデータの内容をユーザが想起する助けとなる。これら日時や識別番号、コメントを助けに、場合によってはナレーションデータそのものを再生して確認した上で、対象とするナレーションデータを特定し、それに対して送受信や削除などの操作を行う。
【００６４】
（１３）対話順序判定部
対話順序判定部３２６は、後述する対話データ生成部３２８が前記ナレーションデータ生成部３２０に記憶された各対話参加者のナレーションデータを組み合わせて対話データを生成する際に、その組合せを判定するための機能を持つ。
【００６５】
対話データは、図４に一例を示すように、すべての対話参加者のナレーションデータの発言と画像とを、その発言順にしたがって組み合わせたものである。図５は、図４における対話データを再生した際に見聞きできる音声と画像の順序を示した図である。
【００６６】
図５に示すように、本実施形態で生成される対話データでは、対話参加者Ａ側の記録音声の再生時には対話参加者Ｂ側の記録画像が同時に再生され、Ｂ側の記録音声再生時にはＡ側の記録画像が再生される。画像撮影部２０２は当該ユーザの正面方向（視線方向）を撮影しており、一般に対話時には各対話参加者は発言者の方向を見ている蓋然性が高いので、発言の音声がそのときの発言者の様子とともに再生されることになる。
【００６７】
ナレーションデータの組合せの判定の原則アルゴリズムは、対話においては一人が話しているときは他の人はほとんど黙っているので、ある人の発話部分が他の人の無声部分に時間的に収まる箇所を見つけ出す、というものである。例えば、対話参加者Ａの発声時間帯が図６（ａ）に示すようにａ１，ａ２，ａ３であり、対話参加者Ｂの発声時間帯が同図（ｂ）に示すようにｂ１，ｂ２であり、さらに対話参加者Ｃの発声時間帯が同図（ｃ）に示すようにｃ１，ｃ２，ｃ３である場合には、同図（ｄ）に示すようにして各対話参加者の発言時間帯の相対的位置が決定される。
【００６８】
すなわち、この順序判定では、いずれかのユーザが発声している最中に他のユーザが発声しているという状態ができるだけ生じないよう、各ユーザの発声時間帯を相対的に前後させる。具体的には、異なるユーザのナレーションデータの内容がデジタル音声データである組の時間の値と、内容がヌル値である組の時間の値とを比較し、組み合わせ方を見つけだす。
【００６９】
しかしながら、対話において一部の発言は他の対話参加者に重なっている場合がある。本実施の形態では、同時発言判定部３２２で同時発言表現と判定された発言、すなわち、ナレーションデータの「同時発言フラグ」欄がＴＲＵＥである発言については、これを無声と見なすことで組み合わせ方を見つけやすくする。より具体的には、「同時発言フラグ」欄がＴＲＵＥである発言とその前後の無声部分とを加算し、これを前記原則的アルゴリズムによる組合せ判定において一つの無声部分として扱う。これは前記原則的アルゴリズムの例外をなす。
【００７０】
（１４）対話データ生成部
対話データ生成部３２８は、前記ナレーションデータ記憶部３２４に記憶された各対話参加者のナレーションデータを組み合わせて対話データを生成する機能を有する。この対話データ生成部３２８の機能を図７を参照して説明する。
【００７１】
まず、対話データの作成に当たり、どのナレーションデータを組み合わせるかがユーザから指定される（Ｓ１０２）。ユーザはコマンド入力部３０８の操作メニューから「対話記録の生成」を選択して、前記ナレーションデータ記憶部３２４に記憶された複数のナレーションデータの内から組み合わせるものを指定する。この指定内容は、対話データ生成部３２８へ通知される。
【００７２】
この通知に応じて、対話データ生成部３２８は、対話順序判定部３２６を用いて、ユーザにより選択された複数のナレーションデータに対してその組合せ方の判定を行い、ナレーションデータの組合せを得る（Ｓ１０４）。
【００７３】
このようにして得られた組合せに応じて、対話データ生成部３２８は、それらナレーションデータを組み合わせ、新たに対話データを生成する。このとき、対話データ生成部３２８は、まず対話データ記憶部３３０に新しい対話データを記憶する領域を確保し（Ｓ１０６）、その領域に対して、生成した対話データを記憶する（Ｓ１０８、Ｓ１１０）。
【００７４】
ここで、生成される対話データ（例えば図４参照）において、各行の「順序」欄の値、「時間」欄の値および「発言」欄の値は、前述の組合せの順番に対応した各ユーザの各発言に対応する値が格納される（Ｓ１０８）。なお、発言が重なっているものに関しては、重なっている発言のうちで後から発言したものを前の発言の直後におく。例えば図４において、発言Ｂ２は発言Ａ２の直後となる。
【００７５】
また対話データ生成部３２８は、対話データ（図４参照）の「画像」欄の値としては、同行の「発言」欄の発言者以外の対話参加者の対話記録装置にてその発言の時間中に記録された画像データを格納する（Ｓ１１０）。すなわち対話データ生成部３２８は、あるナレーションデータの「発言」欄に格納されたデジタル音声データを、対話データのある行の「発言」欄の値としてコピーした場合は、そのナレーションデータとは異なる（すなわち他の参加者の）ナレーションデータの「画像」欄の画像データを、対話データのその行の「画像」欄へコピーする。コピーの対象となる画像データは、同行「発言」欄の発言が行われていたときに記録されていた画像が選択される。どの画像が発言中に記録されたものかは、ナレーションデータの組合せと「時間」欄の値から特定できる。コピーされる画像は、発言時間に合わせて選択される。例えば、図４の例における対話データの第２行の「発言」欄の値であるＢ１は発言Ａ１とＡ２の間にあるので、同行の「画像」欄には、図２（ａ）に示すナレーションデータの第３行目の「画像」欄に格納された画像の中から、Ｂ１の発言時間に合わせて選択された画像がコピーされる。
【００７６】
図４の例は対話参加者が２人の場合なので、一方が無声の区間に他方の発言をはめ込むという比較的単純な処理でよかったが、対話参加者が３人以上の場合は少し工夫を要する。本実施の形態では、対話参加者が３人以上の場合には、発言者以外の複数人の装置で撮影された画像のうちどれを選択するかは、確率的試行によって決定している。すなわち、対話参加者がＡ，Ｂ，Ｃの３人の場合、Ａが発言している時の画像の選択は、Ｂ側の画像、Ｃ側の画像が選ばれる確率をそれぞれ１／２とし、乱数による試行によりどちら側の画像を用いるかを決定する。なお、非発言者が複数の場合の画像の選択方法については、様々な変形が考えられる。例えば、上記の例では各人を等確率で扱っているが、対話参加者の個人プロファイルや対話時の位置関係などに応じ、選択される確率を変えても良い。また、確率を用いずに一定の規則（例えば、先ほどの例においてＢ側の画像とＣ側の画像とを交互に用いる）に従って選択しても良い。
【００７７】
（１５）対話データ記憶部
対話データ記憶部３３０は、対話データ生成部３２８で生成された対話データ、日時データとコメントと識別番号ともに記憶する機能を持つ。また、対話データ記憶部３３０は、ビーム通信制御部３１２を介して他の対話記録装置１０から受信した対話データを、同様に記憶する機能を持つ。これらの機能は、前述したナレーションデータ記憶部３２４が持つ機能に類似のものである。
【００７８】
対話データ記憶部３３０に記憶された対話データは、メガネ型ユニット２０の情報表示部２０４と音声出力部２０８とを用いて再生することができる。対話データを再生したい場合、ユーザは、コマンド入力部３０８の操作メニューから「対話記録の再生」を選べばよい。すると、対話データ記憶部３３０に記憶された対話データの一覧が、記憶された日時などの情報とともに、情報表示部に表示される。「＋」または「−」ボタンを押してこの一覧から任意の一つを選ぶと、選んだ対話データのコメントが再生される。ここで「○」ボタンを押すと、前記対話データの内容が、その順序に従って再生される。再生の途中で「×」ボタンを押すと、再生が停止する。
【００７９】
以上、本発明の好適な実施の形態について説明した。このように、上記実施の形態によれば、各ユーザの発言及び各ユーザの視界に相当する画像（ナレーションデータ）を、各ユーザが携帯する対話記録装置１０（箱形ユニット３０）に個別に記憶しておき、後からそれら対話記録装置１０間でそれらナレーションデータを交換すると、少なくとも１つの対話記録装置１０にて自動的にそれらナレーションデータを組み合わせて、画像を含んだ１つの対話データを生成できるようになる。
【００８０】
このように、本実施の形態のシステムでは、個人の発言やその人の視界に相当する画像は、一時的にはその人が持つ対話記録装置にだけ記録されるようにでき、その人が同意したときにのみ、他の人にそのデータを渡して対話データを生成することができる。したがって、対話後に参加者が合意した場合にだけ対話記録が生成され、合意されない場合には対話記録はどこにも存在しない、という記録の開示コントロールが可能になる。
【００８１】
また、本実施の形態のシステムでは、ユーザ同士の対話中、それらユーザの対話記録装置１０間でデータを送受信したり同期をとったりする必要が全くない。したがって、ネットワーク接続不能な場所や、音響や電波の状況が悪い場所、マイクやカメラの設置が物理的に困難な場所などでも、従来技術に比べてはるかに容易に、発言者の画像も含めた対話記録をとることができる。
【００８２】
また、本実施の形態のシステムでは、発話内容だけでなく画像をも含む対話データが生成できる。ここで、対話データにおいては、ある参加者の発言には、その時他の参加者の対話記録装置１０（画像撮影部２０２）で撮影された画像を対応づけて、同時に再生可能としている。実施の形態では、画像撮影部２０２は当該ユーザの正面方向（視線方向）を撮影しており、一般に対話時には各ユーザは発言者の方向を見ている蓋然性が高いので、そのような発言・画像の編集方式によれば、録音・撮影システムが設置されていない場所に偶然に複数人が出会って対話が始まったような状況でも、発言の音声情報と、そのときの画像（発言者を捉えている蓋然性が高い）とを互いに対応づけて対話データに残すことができる。
【００８３】
なお、本実施の形態においては、対話記録装置はこれを携帯する対話参加者以外のものを撮影する形態をとっているが、これを対話参加者自身を撮影するようにも変形できる。この変形では、対話データ生成部３２８で対話データを編集する際の画像の選択は、発言をしている対話参加者の装置のナレーションデータから画像を選択すればよい。この場合、自分の姿は自分の対話記録装置に記録されることになるので、プライバシー保護の点では優れている。
【００８４】
また、本実施の形態においては、対話記録を生成する際に使用される画像に関して、ある対話参加者が対話記録を生成することに同意した場合、その対話参加者が保持する対話記録装置に記録された画像すべてに対してその人が対話記録への使用を許可したことになる。これを、対話参加者が、自分の装置に記憶されたナレーションデータの各画像について、対話データへの使用への許可・不許可を選択的に決定できるようにしてもよい。
【００８５】
このような変形例として、例えば次のような方式が可能である。
【００８６】
この方式では、対話記録生成のために対話参加者がナレーションデータを他者の対話記録装置に送信する前に、そのナレーションデータに含まれる画像を情報表示部２０４を用いて確認する。ここで、もし使われたくない画像が見つかれば、コマンド入力部３０８を用いてその画像を指定することで、その画像が送信対象のナレーションデータから削除される。したがって、このナレーションデータを他の対話記録装置に送信すれば、その装置で編集される対話データには、そのユーザが許可しなかった画像は組み込まれなくなる。
【００８７】
この場合、対話データを生成する側の対話記録装置では、対話データ生成部３２８は、ある時点における対話データの画像選択の際に、指定された複数のナレーションデータのうち、その時点における画像が存在するナレーションデータから画像を選択する。もしそのようなナレーションデータがなければ、対話データ生成部３２８は、その代わりの画像として、予めその対話記録装置１０に登録された画像（例えばブルーの背景に「画像はありません（ＳＯＵＮＤ  ＯＮＬＹ）」というテロップがある画像など）を選択し、対話データに組み込む。
【００８８】
この方式により、例えば、ある対話参加者が他人に知られたくない手元の情報を見ていた場合や、よそ見をしていた場合など、記録として残されることが不都合な画像を、その対話参加者が自ら選択して削除できる、といったことが可能となる。
【００８９】
【発明の効果】
本発明では、対話参加者毎に発言情報と画像情報とを記録しておき、該発言情報毎に生成される発声時間情報に基づき、そこから対話情報を生成する。こうすれば、画像を含む対話記録を残すかどうかを対話の参加者が対話後にコントロールできる。また、本発明では、対話参加者が個別に携帯するユニットに発言情報と画像情報とを記録し、対話後にそれらの記録から対話情報を生成するようにしたので、偶然に出会った場合などにおいても所望品質の記録を残すことができる。特に、本発明の一態様では、対話において発言している人以外の対話参加者から撮影した画像を対話記録に用いるので、偶然に出会った場合などにおいても発言者を捉えた画像を対話記録に残すことが容易である。
【図面の簡単な説明】
【図１】  本発明の実施の形態に係る対話記録システムの構成を示す図である。
【図２】  ナレーションデータの一例を示す図である。
【図３】  対話参加者Ａと対話参加者Ｂとの対話の一例を示す図である。
【図４】  対話記録装置で生成される対話データの一例を示す図である。
【図５】  図４の対話データに対応する対話の状況を図解的に示した図である。
【図６】  複数のナレーションデータを組合わせ手順を説明する図である。
【図７】  対話データ生成部の処理を説明するフロー図である。
【符号の説明】
１０Ａ，１０Ｂ，１０Ｃ  対話記録装置、２０Ａ，２０Ｂ，２０Ｃ  メガネ型ユニット、３０Ａ，３０Ｂ，３０Ｃ  箱形ユニット、４０  データ送受信機能付きストレージ、２０２  画像撮影部、２０４  情報表示部、２０６  音声入力部、２０８  音声出力部、３０２  日時データ生成部、３０４  識別番号記憶部、３０６  ＵＩ制御部、３０８  コマンド入力部、３１０  ビーム受発光部、３１２  ビーム通信制御部、３１４  音声データ生成部、３１６  画像データ生成部、３１８  画像データバッファ部、３２０  ナレーションデータ生成部、３２２同時発言判定部、３２４  ナレーションデータ記憶部、３２６  対話順序判定部、３２８  対話データ生成部、３３０対話データ記憶部。
【図１】
0003783504.tif 000002
【図２】
0003783504.tif 000003
【図３】
0003783504.tif 000004
【図４】
0003783504.tif 000005
【図５】
0003783504.tif 000006
【図６】
0003783504.tif 000007
【図７】
0003783504.tif 000008