(57)【要約】【課題】  発言をテキスト化した結果の表示において、イベントの発生に応じた理解しやすい表示を可能とする。【解決手段】  配信装置１００は、人物の発言であって表示のためにテキスト化される発言に基づくデータを取得し、テキスト化される発言を行う人物の動作に応じた所定のイベントが発生したことを判別する。そして配信装置１００は、取得したテキスト化される発言に基づくデータの出力を、イベント発生の判別結果に基づいて切り替える。【選択図】  図４
2017201737.tif 000002
【特許請求の範囲】
【請求項１】
人物の発言であって表示のためにテキスト化される発言に基づくデータを取得する取得手段と、
前記テキスト化される発言を行う人物の動作に応じた所定のイベントが発生したことを判別する判別手段と、
前記取得手段が取得した前記テキスト化される発言に基づくデータの出力を、前記判別手段による判別結果に基づいて切り替える切り替え手段とを有することを特徴とする情報処理装置。
【請求項２】
撮像画像を取得する第２取得手段を有し、
前記判別手段は、前記第２取得手段が取得した撮像画像を解析することで、前記所定のイベントが発生したことを判別することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記所定のイベントの発生を示す通知を受信する受信手段を有し、
前記判別手段は、前記受信手段が受信した通知に基づいて、前記所定のイベントが発生したことを判別することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記切り替え手段は、前記所定のイベントが発生したことを前記判別手段が判別する前に行われた発言がテキスト化された文字と、前記所定のイベントが発生したことを前記判別手段が判別した後に行われた発言がテキスト化された文字とが、表示部内において識別可能に表示されるように、前記取得手段が取得した前記テキスト化される発言に基づくデータの出力を切り替えることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記切り替え手段は、前記取得手段が取得した前記テキスト化される発言に基づくデータの出力に用いられるセッションを、前記判別手段による判別結果に基づいて切り替えることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記切り替え手段は、前記取得手段が取得した前記テキスト化される発言に基づくデータを前記情報処理装置が外部の装置へ出力するか否かを、前記判別手段による判別結果に基づいて切り替えることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項７】
前記切り替え手段は、前記取得手段が取得した前記テキスト化される発言に基づくデータの出力先の装置を、前記判別手段による判別結果に基づいて切り替えることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項８】
前記切り替え手段は、前記取得手段が取得した前記テキスト化される発言に基づくデータの出力内容を、前記判別手段による判別結果に基づいて切り替えることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項９】
前記取得手段により取得される前記テキスト化される発言に基づくデータは、前記発言が含まれる音声の集音により生成されるオーディオデータを含むことを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
前記取得手段により取得される前記テキスト化される発言に基づくデータは、前記発言が含まれる音声の集音により生成されるオーディオデータに対する、音声認識処理により生成される文字データを含むことを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
前記所定のイベントは、前記テキスト化される発言を行う人物が所定の方向に向くこと、及び前記テキスト化される発言を行う人物が所定の領域に触れることの少なくとも何れかを含むことを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
【請求項１２】
テキスト化される発言が含まれる音声の集音により生成されるオーディオデータを複数の通信装置から受信する第２受信手段を有し、
前記取得手段は、前記テキスト化される発言に基づくデータとして、前記第２受信手段が受信したオーディオデータに基づくテキスト化により生成される文字データを取得し、
前記切り替え手段は、前記複数の通信装置のうち前記取得手段が取得した前記文字データの出力先の装置を、前記判別手段による判別結果に基づいて切り替えることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項１３】
人物の発言であって表示のためにテキスト化される発言に基づくデータを取得する取得工程と、
前記テキスト化される発言を行う人物の動作に応じた所定のイベントが発生したことを判別する判別工程と、
前記取得工程において取得された前記テキスト化される発言に基づくデータの出力を、前記判別工程における判別結果に基づいて切り替える切り替え工程とを有することを特徴とする情報処理方法。
【請求項１４】
撮像画像を取得する第２取得工程を有し、
前記判別工程は、前記第２取得工程において取得された撮像画像を解析することで、前記所定のイベントが発生したことを判別することを特徴とする請求項１３に記載の情報処理方法。
【請求項１５】
コンピュータを請求項１乃至１２の何れか１項に記載の情報処理装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト化される発言に基づくデータを出力する技術に関する。
【背景技術】
【０００２】
従来、離れた拠点間での会議を可能とするために、各拠点における会議参加者の映像や音声などを他の拠点に向けて配信する多地点会議システムがある。また、会議参加者の発言をテキスト化してディスプレイなどに表示することで、会議の内容を視覚的に認識できるようにする会議システムも存在する。特許文献１には、会議中の発言をテキスト化し、そのテキストと各発言の発言時刻及び発言者を示す情報とを関連付けた議事録ファイルを作成することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８０８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の方法では、発言をテキスト化した結果をイベントの発生に応じて表示することができず、表示がユーザにとって理解しにくくなる場合が考えられる。例えば、多地点会議システムによる会議において、複数の拠点のそれぞれに複数人の参加者がいる場合を考える。この場合に、異なる拠点の参加者全体に向けた発言と同じ拠点内の参加者のみに向けた発言とが区別されずにまとめてテキスト化されると、ユーザはそのテキスト化された結果から会議の内容を理解しづらい虞がある。なお、多地点会議システムに限らず、２つの拠点間で会議を行う場合においても、同様の課題がある。また、１つの拠点の中で行われる会議の発言をテキスト化する場合にも同様の課題がある。
【０００５】
本発明は上記課題に鑑みてなされたものであり、発言をテキスト化した結果の表示において、イベントの発生に応じた理解しやすい表示を可能とするための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、人物の発言であって表示のためにテキスト化される発言に基づくデータを取得する取得手段と、前記テキスト化される発言を行う人物の動作に応じた所定のイベントが発生したことを判別する判別手段と、前記取得手段が取得した前記テキスト化される発言に基づくデータの出力を、前記判別手段による判別結果に基づいて切り替える切り替え手段とを有する。
【発明の効果】
【０００７】
本発明によれば、発言をテキスト化した結果の表示において、イベントの発生に応じた理解しやすい表示が可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る多地点会議システム１０の全体構成を示す図である。
【図２】実施形態に係る配信装置１００の機能構成を示すブロック図である。
【図３】配信装置１００のハードウェア構成を示すブロック図である。
【図４】配信装置１００の動作を説明するためのフローチャートである。
【図５】表示装置１０４の表示内容の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照して説明する。なお、以下の実施形態で説明する全ての構成が本発明に必須であるとは限らない。
【００１０】
［システム構成］
図１を用いて、本実施形態に係る多地点会議システム１０の全体構成を説明する。多地点会議システム１０は、配信装置１００と、拠点Ａ、拠点Ｂ及び拠点Ｃのそれぞれに設置された通信装置１０１、マイク１０２、カメラ１０３及び表示装置１０４とを有する。マイク１０２、カメラ１０３及び表示装置１０４はそれぞれが同一拠点の通信装置１０１と接続されている。また、各拠点に設置された通信装置１０１はそれぞれがネットワークを介して配信装置１００と接続されている。ユーザは多地点会議システム１０を使用することで、映像や音声、データなどを拠点間でリアルタイムに共有する事ができる。また、多地点会議システム１０は、各拠点に存在する人物の発言を表示可能となるようにテキスト化する。
【００１１】
本実施形態では、配信装置１００が拠点Ａ、拠点Ｂ及び拠点Ｃの３拠点間での通信を制御する場合の多地点会議システム１０を中心に説明する。ただしこれに限らず、配信装置１００は、４以上の拠点にそれぞれ設置された通信装置１０１と接続されてそれらの拠点間の通信を制御してもよいし、２拠点間の通信を制御してもよい。また、各拠点に設置された通信装置１０１の少なくとも何れかが配信装置１００の機能を有し、通信装置１０１同士が直接接続されて通信を行ってもよい。また、マイク１０２、カメラ１０３及び表示装置１０４の少なくとも何れかが通信装置１０１と一体となって構成されていてもよい。この場合、マイク１０２は通信装置１０１の集音部、カメラ１０３は撮像部、表示装置１０４は表示部としてそれぞれ機能する。さらに、通信装置１０１、マイク１０２、カメラ１０３及び表示装置１０４の少なくとも何れかが同一の拠点内に複数設置されていてもよいし、マイク１０２、カメラ１０３及び表示装置１０４の少なくとも何れかが存在しない拠点があってもよい。
【００１２】
次に、多地点会議システム１０に含まれる各装置の機能について説明する。マイク１０２は、例えば会議参加者の発言など拠点内の音声を集音し、通信装置１０１に出力する。カメラ１０３は、例えば会議参加者が存在する会議室など拠点内の所定領域を撮像し、撮像画像を通信装置１０１に出力する。本実施形態ではカメラ１０３が出力する撮像画像は動画であるものとするが、カメラ１０３は静止画を出力してもよい。表示装置１０４は、通信装置１０１から入力された画像データを表示する。通信装置１０１から入力される画像データには、例えば他拠点において撮像された撮像画像や、会議中の発言をテキスト化した文字などが含まれる。図５は表示装置１０４による表示内容の一例である。また本実施形態では、表示装置１０４はスピーカを備えており、通信装置１０１から入力されたオーディオデータに基づいて音声を出力する。表示装置１０４の具体例は、液晶ディスプレイやプロジェクタ等である。なお、スピーカは表示装置１０４とは別個に設置されていてもよい。
【００１３】
通信装置１０１は、マイク１０２から入力された音声に基づいてオーディオデータを生成し、配信装置１００に送信する。また通信装置１０１は、カメラ１０３から入力された撮像画像を配信装置１００に送信する。そして通信装置１０１は、各拠点において集音された音声に基づくオーディオデータを配信装置１００から受信し、スピーカを有する表示装置１０４に出力する。さらに通信装置１０１は、各拠点において集音された音声をテキスト化した文字データと各拠点において撮像された撮像画像を配信装置１００から受信し、各拠点における発言内容と撮像画像とを含む画像データを生成し、表示装置１０４に出力する。
【００１４】
配信装置１００は、図２に示すように、変換部３００とセッション管理部３０１とを有する。変換部３００は、セッション管理部３０１が各拠点の通信装置１０１から受信したオーディオデータに対して音声認識処理を行うことで、オーディオデータに含まれる発言をテキスト化し、文字データを生成する。具体的には、変換部３００はオーディオデータから特徴量を算出し、配信装置１００に記憶されている特徴量のデータベースと比較することで、オーディオデータに含まれる発言を文字に変換する。なお、音声認識の方法はこれに限らず他の方法であってもよい。セッション管理部３０１は、各拠点の通信装置１０１からオーディオデータ及び撮像画像を受信する。そしてセッション管理部３０１は、受信したオーディオデータ及び撮像画像を、そのオーディオデータに基づいて変換部３００により生成された文字データと共に各拠点の通信装置１０１に送信する。ここでセッション管理部３０１は、データの送信に用いるセッションを各拠点におけるイベントの発生状況に応じて制御する。このセッション制御の詳細については後述する。なお本実施形態におけるセッションとは、例えばＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）においてセッションＩＤを用いて管理されるＨＴＴＰセッションのような、識別可能な一連の通信の単位である。配信装置１００は、異なる通信装置１０１に対して異なるセッションを用いてデータの送受信を行う。また、配信装置１００が同一の通信装置１０１に対して複数のセッションを用いてデータを送信した場合、通信装置１０１は受信したデータをセッションごとに区別して処理することができる。
【００１５】
［ハードウェア構成］
図３は、本実施形態に係る配信装置１００のハードウェア構成を示すブロック図である。なお、通信装置１０１も配信装置１００と同様の構成である。配信装置１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、操作部２０５、通信部２０６、及びバス２０７を有する。
【００１６】
ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて配信装置１００の全体を制御する。ＲＯＭ２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラムやデータ、及び通信部２０６を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどのコンテンツデータを記憶する。
【００１７】
操作部２０５は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。通信部２０６は、通信装置１０１などの外部の装置と通信を行う。例えば、配信装置１００が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信部２０６に接続される。なお、配信装置１００が外部の装置と無線通信する機能を有する場合、通信部２０６はアンテナを備える。バス２０７は、配信装置１００の各部を繋いで情報を伝達する。
【００１８】
なお、本実施形態ではＣＰＵ２０１がプログラムを実行することで通信部２０６を介して配信装置１００と外部の装置との通信を制御するが、配信装置１００と外部の装置との通信の少なくとも一部を通信部２０６がハードウェア処理により制御してもよい。また、本実施形態では操作部２０５は配信装置１００の内部に存在するが、操作部２０５が配信装置１００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ２０１が、操作部２０５を制御する操作制御部として動作する。また、配信装置１００が外部の表示装置と接続される場合、ＣＰＵ２０１が表示装置を制御する表示制御部として動作する。
【００１９】
［動作フロー］
次に、複数の拠点間での会議を制御する配信装置１００の動作フローについて、図４を用いて説明する。図４に示す処理は、配信装置１００が何れかの拠点の通信装置１０１から会議開始の要求を受信したタイミングで開始される。ただし、図４に示す処理の開始タイミングは上記タイミングに限定されない。図４に示す処理は、ＣＰＵ２０１がＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に展開して実行することで実現される。なお、図４に示す処理の少なくとも一部を、ＣＰＵ２０１とは異なる専用のハードウェアにより実現してもよい。
【００２０】
Ｓ４０１において、セッション管理部３０１は、多地点会議を開始するためのセッション設定指示を各拠点の通信装置１０１に対して行う。指示を受けた各通信装置１０１は、配信装置１００との間で通信を行うためのセッションを設定して応答する。なお、本実施形態の構成は、２拠点間で会議を行う場合においても効果があるし、１拠点内で会議を行う場合においても効果がある。１拠点内で会議を行う場合の適用例については後述する。Ｓ４０２において、セッション管理部３０１は、何れかの拠点において所定のイベントが発生したか否かを判別する。所定のイベントが発生していないことを判別した場合、Ｓ４０４の処理に進む。一方、所定のイベントが発生したことを判別した場合、Ｓ４０３に進み、セッション管理部３０１は判別結果に基づいてセッション制御を行う。所定のイベントの内容、及びセッション制御の詳細については後述する。
【００２１】
Ｓ４０４において、セッション管理部３０１は、複数の通信装置１０１（拠点Ａ、Ｂ及びＣの通信装置１０１）から送信されたオーディオデータを受信する。このオーディオデータは、送信元の通信装置１０１がマイク１０２により集音された音声から生成したものであり、会議におけるテキスト化される発言などを含む。Ｓ４０５において、変換部３００は、Ｓ４０４でセッション管理部３０１が取得したオーディオデータに基づいてテキスト化を行うことで、会議における人物の発言などを文字で表す文字データを生成して取得する。
【００２２】
Ｓ４０６において、セッション管理部３０１は、Ｓ４０４において受信したオーディオデータ及びＳ４０５において変換部３００が取得した文字データを、各拠点の通信装置１０１に送信する。なお、Ｓ４０３におけるセッション制御が行われていた場合、そのセッション制御に応じたセッションでデータ送信が行われる。各拠点の通信装置１０１は、受信したデータに基づく出力を表示装置１０４に対して行う。具体的には、通信装置１０１は、オーディオデータを表示装置１０４に出力することで、他拠点において集音された音声を表示装置１０４から音声出力させる。また通信装置１０１は、受信した文字データに基づく画像データを表示装置１０４に出力することで、自拠点又は他拠点において集音された音声がテキスト化された結果、すなわち会議における発言の内容を表示装置１０４に表示させる。
【００２３】
Ｓ４０７において、セッション管理部３０１は、多地点会議を終了するか否かを判定する。会議を終了しないと判定された場合、配信装置１００は、再度Ｓ４０２からの処理を実行する。一方、会議を終了すると判定された場合、セッション管理部３０１は通信に用いられるセッションの終了を各拠点の通信装置１０１に指示し、図４に示す処理を終了する。なお、会議を終了すると判定される場合とは、例えば配信装置１００が通信装置１０１から会議終了の要求を受信した場合である。
【００２４】
以上で、配信装置１００の動作フローの説明を終わる。なお、上記の説明では、配信装置１００から通信装置１０１へのオーディオデータと文字データの送信に焦点を当てて説明した。ただしこれに加えて、本実施形態における配信装置１００は、Ｓ４０１において会議が開始されてからＳ４０７において終了するまでの間、各拠点の通信装置１０１から撮像画像を受信して他拠点の通信装置１０１へ送信する。配信装置１００から撮像画像を受信した通信装置１０１は、その撮像画像に基づく画像データを表示装置１０４に出力することで、他拠点の会議参加者などの画像を表示装置１０４に表示させる。なお、配信装置１００は撮像画像の送信を行わなくてもよい。また、配信装置１００は、デジタイザによる入力の内容やその他のデータを何れかの拠点の通信装置１０１から受信し、各拠点の通信装置１０１に転送してもよい。
【００２５】
［セッション制御方法］
次に、図４のＳ４０２におけるイベント発生の判別と、Ｓ４０３におけるセッション制御について、その詳細を説明する。Ｓ４０２において、まずセッション管理部３０１は、通信装置１０１から送信された撮像画像を取得する。そしてセッション管理部３０１は、取得した撮像画像を解析することで、テキスト化される発言を行う人物の動作に応じた所定のイベントが発生したことを判別する。本実施形態において、上記の所定のイベントは、例えばテキスト化される発言を行う人物（撮像画像内の人物）が所定の方向に向くことや、テキスト化される発言を行う人物が所定の領域に触れることなどである。ただし、セッション管理部３０１が判別するイベントの内容はこれらに限らず、例えばユーザが所定のスイッチを操作することなどが含まれていてもよい。そしてＳ４０３においてセッション管理部３０１は、Ｓ４０６における通信装置１０１へのデータの出力（送信）に用いられるセッションを、イベント発生の判別結果に基づいて切り替える。例えば、セッション管理部３０１は、判別結果に応じて通信装置１０１との間に新たなセッションを設定し、データの出力にその新たに設定されたセッションを用いる。また例えば、セッション管理部３０１は、通信装置１０１との間に設定された複数のセッションの何れかを判別結果に応じて終了し、終了していない残りのセッションを用いてデータの出力を行う。
【００２６】
以下、イベントの発生に応じたセッションの切り替えの具体例を説明する。拠点Ａのマイク１０２は拠点Ａの会議参加者の発言を集音し、通信装置１０１はその集音された音声を含むオーディオデータを配信装置１００に送信する。また、拠点Ａのカメラ１０３は拠点Ａの会議参加者と表示装置１０４の表示面とを含む領域を撮像し、通信装置１０１はその撮像画像を配信装置１００に送信する。
【００２７】
図５は、拠点Ａの表示装置１０４の表示内容の例を示す図である。表示領域５００には、会議における発言がテキスト化された結果を示すスレッド５０１、拠点Ｂ内の会話がテキスト化された結果を示すスレッド５０４、及び拠点Ｃ内の会話がテキスト化された結果を示すスレッド５０５が表示される。さらにこれに加えて、表示領域５００には、拠点Ｂの会議参加者が写された撮像画像５０２と拠点Ｃの会議参加者が写された撮像画像５０３が表示される。
【００２８】
拠点Ａの会議参加者は、拠点Ｂ及び拠点Ｃの会議参加者に向けた発言を行う際、表示装置１０４を見ながら発言をする。一方、拠点Ａの会議参加者は、他拠点との会議の内容とは無関係の会話を、拠点Ａ内の会議参加者同士で行う場合がある。このような拠点内での会話を行う際、拠点Ａの会議参加者は表示装置１０４とは異なる方向（例えば同じ拠点内の別の会議参加者がいる方向）を向いて発言をする。
【００２９】
そしてセッション管理部３０１は、拠点Ａの通信装置１０１から受信した撮像画像を解析した結果、会議参加者が表示装置１０４とは異なる方向を向くというイベントが発生したことを判別した場合、データの送信に用いるセッションを切り替える。即ち、配信装置１００は、拠点Ａの会議参加者が表示装置１０４を見ている際の発言をテキスト化した文字データと、別の方向を見ている際の発言をテキスト化した文字データとを、異なるセッションを用いて各拠点の通信装置１０１に送信する。
【００３０】
各拠点の通信装置１０１は、異なるセッションを用いて受信した文字データを区別できるため、それらの文字データを容易に異なる方法で処理することができる。例えば、所定のイベントが発生する前に行われた発言がテキスト化された文字と、所定のイベントが発生した後に行われた発言がテキスト化された文字とを、表示装置１０４内において識別可能に表示することができる。イベント発生前後の発言の内容が識別可能に表示されることで、ユーザは表示装置１０４の表示から容易に会議における発言の文脈を理解することができる。
【００３１】
例えば、図５において、拠点Ｂの会議参加者が表示装置１０４を見ている際の発言がテキスト化された文字はスレッド５０１内に表示され、拠点Ｂの会議参加者が別の方向を見ている際の発言がテキスト化された文字はスレッド５０４内に表示される。なお、イベント発生前後の発言内容を識別可能に表示する方法は、発言がテキスト化された文字をイベント発生の判別結果に応じて異なる位置に表示させる方法に限らない。例えば、通信装置１０１は、表示装置１０４に表示される文字の色やフォントなどを判別結果に応じて切り替えてもよい。
【００３２】
次に、イベントの発生に応じたセッションの切り替えに関する別の具体例を説明する。拠点Ａの会議参加者は、拠点Ｂの会議参加者には知られたくない内容を、拠点Ｃの会議参加と話したい場合がある。このように特定の拠点Ｃとの会話を行う際、拠点Ａの会議参加者は、例えば表示装置１０４に表示された拠点Ｂの会議参加者の画像（図５の撮像画像５０２）に触れて発言をする。
【００３３】
そしてセッション管理部３０１は、拠点Ａの通信装置１０１から受信した撮像画像を解析した結果、会議参加者が拠点Ｂの会議参加者の画像に触れるというイベントが発生したことを判別した場合、データ送信に用いるセッションを切り替える。具体的には、セッション管理部３０１は、拠点Ａの会議参加者が拠点Ｂの会議参加者の画像に触れている際の発言をテキスト化した文字データを、拠点Ａ及び拠点Ｃへの送信用のセッションだけを用いて送信し、拠点Ｂへは送信しない。即ち、配信装置１００は、複数の通信装置１０１（拠点Ａ、Ｂ及びＣの通信装置１０１）のうち、発言をテキスト化した文字データの出力先の装置を、所定のイベントが発生したことを判別した判別結果に基づいて切り替える。また、セッション管理部３０１は、拠点Ａにおいて集音された音声に基づくオーディオデータの出力先を、文字データの出力先と同様に切り替える。これにより、拠点Ａから拠点Ｃだけに向けた発言に関しては、その発言をテキスト化した文字もその音声も拠点Ｂには伝わらない。これにより、複数拠点間の会議の中で、特定の拠点だけに伝わる会話を行うことができ、さらにその内容を特定の拠点の表示装置１０４にのみ文字で表示することができる。
【００３４】
以上、配信装置１００におけるイベント発生の判別と判別結果に応じたセッション制御について説明した。なお上記の説明では、セッション管理部３０１が通信装置１０１から受信した撮像画像を解析することで所定のイベントが発生したことを判別するものとした。これにより、ユーザは複雑な操作を行うことなくデータの出力先を切り替えることができる。なお、配信装置１００におけるイベント発生の判別方法はこれに限らない。例えば、通信装置１０１がカメラ１０３による撮像画像を解析することで所定のイベントの発生を検知し、所定のイベントの発生を示す通知を配信装置１００に送信する。そしてセッション管理部３０１は、所定のイベントの発生を示す通知を通信装置１０１から受信し、その通知に基づいて所定のイベントが発生したことを判別してもよい。この方法によれば、配信装置１００の処理負荷を低減することができる。また、所定のイベントが発生したことを判別する方法は撮像画像の解析に限らず、例えばマイク１０２により集音された音声の解析などによってイベントの発生が判別されてもよい。
【００３５】
なお本実施形態では、配信装置１００が通信装置１０１から各拠点における音声の集音により生成されるオーディオデータを受信し、そのオーディオデータに含まれる発言を音声認識によりテキスト化することで文字データを生成する場合について説明した。ただし、配信装置１００が文字データを取得する方法はこれに限らない。例えば、配信装置１００は通信装置１０１から受信したオーディオデータを外部の変換装置へ送信し、変換装置は受信したオーディオデータから文字データを生成し、生成された文字データを配信装置１００が変換装置から取得してもよい。また例えば、配信装置１００は通信装置１０１から受信したオーディオデータに基づく音声をスピーカを介して出力し、その音声を聞いた操作者がキーボード等の入力装置を用いて配信装置１００に文字データを入力してもよい。
【００３６】
また本実施形態では、配信装置１００が、発言に基づく文字データの出力に用いられるセッションを、イベントの発生を判別した判別結果に基づいて切り替える場合を中心に説明した。ただし配信装置１００は、セッションの切り替え以外の方法により、判別結果に基づいてデータの出力を切り替えてもよい。配信装置１００による出力の切り替えには、出力先の切り替えや、出力するか否かの切り替え、出力内容の切り替えなどが含まれる。
【００３７】
また、出力の切り替えの対象となるデータは、表示のためにテキスト化される発言に基づくデータであればよく、発言のテキスト化により生成される文字データに限らない。例えば、配信装置１００は通信装置１０１から発言が含まれる音声の集音により生成されるオーディオデータを取得し、そのオーディオデータの通信装置１０１への出力をイベント発生の判別結果に基づいて切り替えてもよい。そして、配信装置１００から出力されたオーディオデータを受け取った通信装置１０１が、そのオーディオデータに含まれる発言をテキスト化した結果を表示装置１０４に表示させてもよい。このような構成でも、テキスト化された会議の内容を、ユーザにとって理解しやすいように表示装置１０４に表示させることができる。
【００３８】
以上説明したように、本実施形態に係る配信装置１００は、人物の発言であって表示のためにテキスト化される発言に基づくデータを取得し、テキスト化される発言を行う人物の動作に応じた所定のイベントが発生したことを判別する。そして配信装置１００は、取得したテキスト化される発言に基づくデータの出力を、イベント発生の判別結果に基づいて切り替える。これにより、配信装置１００からの出力を受け取る通信装置１０１は、発言をテキスト化した結果を表示装置１０４に表示してユーザに提示する際に、イベントの発生に応じた理解しやすい表示が可能となる。
【００３９】
本実施形態では、複数の通信装置１０１間の通信を中継する配信装置１００が、テキスト化される発言に基づくデータの出力をイベント発生の判別結果に基づいて切り替える情報処理装置として動作する場合を中心に説明した。このように複数の通信装置１０１間の通信を配信装置１００が一括して制御することで、処理が簡潔な多地点会議システム１０を構成できる。ただしこれに限らず、各通信装置１０１が上述した配信装置１００と同様の機能を有する情報処理装置として動作し、通信装置１０１同士が配信装置１００を介さず直接通信するような場合であっても、本実施形態と同様の効果を得ることができる。以下では、テキスト化される発言に基づくデータを他拠点に送信する通信装置１０１がデータの出力を切り替える場合と、テキスト化される発言に基づくデータを他拠点から受信した通信装置１０１がデータの出力を切り替える場合の、２通りについて説明する。以下で説明する多地点会議システム１０においては、各拠点の通信装置１０１は変換部３００及びセッション管理部３０１を有しており、通信装置１０１同士は直接接続されている。
【００４０】
まず、データ送信側の通信装置１０１が出力を切り替える場合について説明する。拠点Ａにおいて会議参加者が発言を行った場合、その音声は拠点Ａのマイク１０２により集音され、拠点Ａの通信装置１０１は集音されたテキスト化される発言に基づくデータを取得して拠点Ｂ及び拠点Ｃの通信装置１０１へ出力（送信）する。ここで、拠点Ａの通信装置１０１から出力される、テキスト化される発言に基づくデータは、音声の集音により生成されるオーディオデータであってもよいし、発言のテキスト化により生成される文字データであってもよい。文字データが出力される場合、それを受け取った拠点Ｂ及び拠点Ｃの通信装置１０１は、その文字データが示す文字を含む画像データを生成して表示装置１０４に表示させる。一方、オーディオデータが出力される場合、それを受け取った拠点Ｂ及び拠点Ｃの通信装置１０１は、そのオーディオデータに含まれる発言をテキスト化し、その結果得られる文字を含む画像データを表示装置１０４に表示させる。
【００４１】
そして拠点Ａの通信装置１０１は、所定のイベントが発生したことを判別すると、上記のテキスト化される発言に基づくデータの出力を切り替える。例えば、拠点Ａの会議参加者が表示装置１０４に表示された拠点Ｂの会議参加者の画像に触れたことが判別された場合、拠点Ａの通信装置１０１は、データの出力先の装置を拠点Ｃの通信装置１０１だけに切り替える。これにより、拠点Ｂの会議参加者に知られたくない会話内容に関するデータが拠点Ｂの通信装置１０１に送信されないようにすることができる。また例えば、拠点Ａの通信装置１０１は、取得したテキスト化される発言に基づくデータを外部の装置へ出力するか否かを、イベント発生の判別結果に基づいて切り替える。具体的には、拠点Ａの会議参加者が表示装置１０４とは別の方向を向いていることが判別されると、拠点Ａの通信装置１０１は拠点内での会話が行われていると判断し、取得したテキスト化される発言に基づくデータを他の装置へ出力しない。これにより、他拠点にとって必要のない会話内容に関するデータの送信のために通信帯域が使用されることを低減できる。
【００４２】
次に、データ受信側の通信装置１０１が出力を切り替える場合について説明する。拠点Ａにおいて会議参加者が発言を行った場合、拠点Ａの通信装置１０１はテキスト化される発言に基づくデータを拠点Ｂ及び拠点Ｃの通信装置１０１へ送信する。拠点Ｂ及び拠点Ｃの通信装置１０１は、拠点Ａの通信装置から送信されたデータを取得し、発言のテキスト化により得られる文字を含む画像データを表示装置１０４に出力する。また、拠点Ａの通信装置１０１は、所定のイベントが発生したことを検知した場合、所定のイベントの発生を示す通知を拠点Ｂ及び拠点Ｃの通信装置１０１に送信する。
【００４３】
そして拠点Ｂ及び拠点Ｃの通信装置１０１は、この通知を受信することで所定のイベントが発生したことを判別し、拠点Ａの通信装置１０１から取得したテキスト化される発言に基づくデータの表示装置１０４への出力を切り替える。例えば、拠点Ｂの通信装置１０１は、取得したテキスト化される発言に基づくデータの出力内容を、イベント発生の判別結果に基づいて切り替える。具体的には、拠点Ｂの通信装置１０１は、イベントの発生以前の発言内容とイベントの発生以降の発言内容とが拠点Ｂの表示装置１０４において異なる領域（例えば別ウインドウや別スレッド）に表示されるように、出力する画像データの内容を切り替える。これによりユーザは、イベント発生前の発言とイベント発生後の発言を容易に識別でき、会議の内容が理解しやすくなる。また、通信装置１０１は、異なる領域に表示されていた発言内容が、一つの領域にまとめて表示されるように、出力内容をイベント発生の判別結果に応じて切り替えてもよい。
【００４４】
なお、拠点Ｂの通信装置１０１は、テキスト化される発言に基づくデータを、記憶装置などに出力してもよい。そして、この記憶装置への出力内容を、イベント発生の判別結果に基づいて切り替えてもよい。これにより、例えば議事録のような、発言をテキスト化した結果を、ユーザにとって理解しやすいような形式で表示可能となるように記憶装置に記憶することができる。
【００４５】
また、上記のような、テキスト化される発言に基づくデータの出力内容をイベント発生の判別結果に基づいて切り替える構成を、１つの拠点の中で行われる会議の発言をテキスト化して出力する出力装置に適用してもよい。例えば、出力装置は、拠点内で集音された音声をテキスト化して文字データを生成し、その文字データに基づく画像データを出力装置に接続された表示装置１０４に出力する。そして出力装置は、所定のイベントが発生したことを判別すると、出力する画像データの内容を切り替える。このような構成でも、上述した複数拠点間の会議を行う場合と同様に、発言をテキスト化した結果をユーザにとって理解しやすいように表示できる。
【００４６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００４７】
１０  多地点会議システム
１００  配信装置
１０１  通信装置
１０４  表示装置
【図１】
2017201737.tif 000003
【図２】
2017201737.tif 000004
【図３】
2017201737.tif 000005
【図４】
2017201737.tif 000006
【図５】
2017201737.tif 000007