(57)【要約】【課題】筆記手段がタッチパネルとの間で生じさせた接触音が他の端末装置に送信されることを抑制できる端末装置を提供すること。【解決手段】タッチパネルに手書きされた手書き情報を表示する端末装置３であって、集音装置から音声データを取得する音声データ取得手段３３と、前記タッチパネルに筆記手段が接触した際の筆記手段とタッチパネルとの接触音を収録する収録手段３７と、前記音声データ取得手段が取得した音声データから、前記収録手段が収録した前記接触音を除去する接触音除去手段３８と、前記接触音除去手段が前記接触音を除去した前記音声データを、ネットワークを介して接続された他の端末装置に送信する送信手段３１と、を有する。【選択図】図１
2018072701.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルに手書きされた手書き情報を表示する端末装置であって、
集音装置から音声データを取得する音声データ取得手段と、
前記タッチパネルに筆記手段が接触した際の筆記手段とタッチパネルとの接触音を収録する収録手段と、
前記音声データ取得手段が取得した音声データから、前記収録手段が収録した前記接触音を除去する接触音除去手段と、
前記接触音除去手段が前記接触音を除去した前記音声データを、ネットワークを介して接続された他の端末装置に送信する送信手段と、
を有する端末装置。
【請求項２】
撮像手段から画像データを取得する画像データ取得手段、を有し、
前記収録手段は、前記手書き情報、前記音声データ又は前記画像データの送信を開始する前に前記接触音を収録し、
前記接触音除去手段は、前記手書き情報、前記音声データ又は前記画像データの送信を開始した後に、前記音声データ取得手段が取得した音声データから、前記収録手段が収録した前記接触音を除去する請求項１に記載の端末装置。
【請求項３】
撮像手段から画像データを取得する画像データ取得手段を有し、
前記収録手段は、前記手書き情報、前記音声データ又は前記画像データの宛先として前記他の端末装置が選択可能に表示されるリスト画面に、前記筆記手段の接触場所を案内するガイド線を表示し、前記ガイド線を前記筆記手段が移動する際の接触音を収録し、
前記ガイド線は前記手書き情報、前記音声データ又は前記画像データの送信を開始するか否かの選択の受け付けを兼ねる請求項２に記載の端末装置。
【請求項４】
前記収録手段は、前記他の端末装置から着信があった旨を示す着信画面に、前記筆記手段の接触場所を案内するガイド線を表示し、前記ガイド線を前記筆記手段が移動する際の接触音を収録し、
前記ガイド線は前記手書き情報、前記音声データ又は前記画像データの受信を開始するか否かの選択の受け付けを兼ねる請求項２又は３に記載の端末装置。
【請求項５】
前記収録手段は、前記ガイド線を前記筆記手段が移動する際に収録した接触音を、前記筆記手段が前記タッチパネルに接触した際の衝突音、前記音声データ取得手段から前記筆記手段が遠ざかる方向の第一の筆記音、及び、前記音声データ取得手段に前記筆記手段が接近する方向の第二の筆記音、に分けて収録する請求項３又は４に記載の端末装置。
【請求項６】
前記接触音除去手段は、前記音声データ取得手段が取得した音声データが、前記筆記手段が前記音声データ取得手段から遠ざかる際の音声データか、又は、前記筆記手段が前記音声データ取得手段に接近する際の音声データかを前記手書き情報の座標で判断し、
判断結果に応じて前記音声データから前記第一の筆記音又は前記第二の筆記音を除去する請求項５に記載の端末装置。
【請求項７】
前記収録手段は、渦巻き状の前記ガイド線を前記タッチパネルの全体に表示し、前記ガイド線を前記筆記手段が移動する際の接触音を、前記手書き情報の座標に基づいて前記第一の筆記音と前記第二の筆記音とに分けて収録する請求項５又は６に記載の端末装置。
【請求項８】
前記収録手段は、前記ガイド線として複数のボタンを表示し、前記ボタンのそれぞれに前記筆記手段が接触する際の接触音を収録し、複数の接触音を平均化する請求項３又は４に記載の端末装置。
【請求項９】
タッチパネルに手書きされた手書き情報を表示する情報処理装置を、
集音装置から音声データを取得する音声データ取得手段と、
前記タッチパネルに筆記手段が接触した際の筆記手段とタッチパネルとの接触音を収録する収録手段と、
前記音声データ取得手段が取得した音声データから、前記収録手段が収録した前記接触音を除去する接触音除去手段と、
前記接触音除去手段が前記接触音を除去した前記音声データを、ネットワークを介して接続された他の端末装置に送信する送信手段、
として機能させるためのプログラム。
【請求項１０】
タッチパネルに手書きされた手書き情報を表示する端末装置が行う音声処理方法であって、
音声データ取得手段が、集音装置から音声データを取得するステップと、
収録手段が、前記タッチパネルに筆記手段が接触した際の筆記手段とタッチパネルとの接触音を収録するステップと、
接触音除去手段が、前記音声データ取得手段が取得した音声データから、前記収録手段が収録した前記接触音を除去するステップと、
送信手段が、前記接触音除去手段が前記接触音を除去した前記音声データを、ネットワークを介して接続された他の端末装置に送信するステップと、
を有する音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置、プログラム及び通信方法に関する。
【背景技術】
【０００２】
インターネット等のネットワークを介して複数の端末装置がビデオ会議等を行う通信システムが知られている。このような通信システムでは、一方の端末装置が撮像した画像データ及び集音した音声データを遠隔地の他方の端末装置に送信する。他方の端末装置はこの画像データ及び音声データを受信し、ディスプレイ等に画像を表示したり、スピーカから音声を出力したりすることで、これらの端末装置を使用するユーザがビデオ会議を行うことができる。
【０００３】
また、ビデオ会議においては映像及び音声の共有だけでなく、ユーザが説明のために手描きした手書き情報も各拠点で共有したいというニーズがある。従来の、通信システムでは、書画カメラ等で手描き内容を撮像し他の拠点の端末装置に送信する方法が一般的である。しかし、この方法では他の拠点のユーザが手描き内容に情報を書き足すことは困難である。
【０００４】
そこで、端末装置に電子黒板の機能を取り込む（又は、電子黒板に端末装置の機能を取り込む）ことが検討されている。電子黒板は、タッチパネルを有しているため、ユーザの手書き情報を取り込むことができ、通信機能を利用して他の拠点の端末装置に手書き情報を送信できる。他の拠点の端末装置は手書き情報をタッチパネルに表示するので、他の拠点のユーザは手描き情報に情報を書き足すことができる。また、この手書き情報は、元の拠点の端末装置に送信される。
【０００５】
しかしながら、ユーザがタッチパネルにペンや指の筆記手段で手書きする際、タッチパネルにペン又は指が触れるため音が発生してしまう。すなわち、手書きの開始時にはペン又は指がある程度の速度でタッチパネルに接触する衝突音が発生し、手書きの開始後はペン又は指がタッチパネルを擦る摩擦音が発生する。端末装置にビデオ会議用のマイクが内蔵された場合、ビデオ会議中の衝突音と筆記音（以下、接触音という）がマイクに集音される。例えば、ディスプレイが小さい端末装置ではマイクとペン又は指の距離が短くなるため接触音が集音されやすくなる。接触音は耳障りなノイズとなってビデオ会議の相手の拠点に送信されてしまうだけでなく、音声データがノイズに埋もれて聞き取りにくくなる場合がある。
【０００６】
このような不都合に対し、ビデオ会議中のキーボード音やマウスのクリック音を低減する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、キーボードやマウスの操作信号が検出されるとこれらの操作音を消去し、スピーチ音声が発生していない場合にはマイクをミュートし、スピーチ音声が発生している場合にはミュートしないノイズキャンセル方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された方法では、参加者が話している場合はマイクがミュートされないため、接触音がノイズとなってビデオ会議の相手の拠点に送信されてしまうという問題がある。
【０００８】
本発明は、上記課題に鑑み、筆記手段がタッチパネルとの間で生じさせた接触音が他の端末装置に送信されることを抑制できる端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、タッチパネルに手書きされた手書き情報を表示する端末装置であって、集音装置から音声データを取得する音声データ取得手段と、前記タッチパネルに筆記手段が接触した際の筆記手段とタッチパネルとの接触音を収録する収録手段と、前記音声データ取得手段が取得した音声データから、前記収録手段が収録した前記接触音を除去する接触音除去手段と、前記接触音除去手段が前記接触音を除去した前記音声データを、ネットワークを介して接続された他の端末装置に送信する送信手段と、を有する。
【発明の効果】
【００１０】
筆記手段がタッチパネルとの間で生じさせた接触音が他の端末装置に送信されることを抑制できる端末装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の端末装置の動作を説明する図の一例である。
【図２】通信システムのシステム構成図の一例である。
【図３】端末装置の外観図の一例である。
【図４】端末装置のハードウェア構成図の一例である。
【図５】通信システムにおいて、２つの端末装置が通信する際に接続されるセッションの一例を示す図である。
【図６】端末装置が有する機能をブロック状に示す機能ブロック図の一例である。
【図７】端末装置がセッションを接続しビデオ会議に参加するまでの処理を示すシーケンス図の一例である。
【図８】衝突音又は筆記音を除去するフィルタについて説明する図の一例である。
【図９】衝突音と筆記音の収録を説明する図の一例である。
【図１０】フィルタを有する接触音除去部の構成例を説明する図の一例である。
【図１１】マイクに対しペン又は指が遠ざかる方向か接近する方向かの判断方法を説明する図の一例である。
【図１２】端末装置がビデオ会議中に音声データから衝突音と筆記音を除去する手順を示すフローチャート図の一例である。
【図１３】着信画面の変形例について説明する図の一例である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態として、端末装置及び端末装置が行う音声処理方法について図面を参照しながら説明する。
【００１３】
図１は、本実施形態の端末装置３の動作を説明する図の一例である。図１では拠点Ａと拠点Ｂのユーザが端末装置３（拠点Ａの端末装置の符号を３Ａ、拠点Ｂの端末装置の符号を３Ｂとする）を使ってビデオ会議を行う。拠点Ａの端末装置３Ａは拠点Ｂの端末装置３Ｂに画像データ、音声データ及び手書き情報を送信し、拠点Ｂの端末装置３Ｂは拠点Ａの端末装置３Ａに画像データ、音声データ及び手書き情報を送信している。
（１）例えばビデオ会議の開始時、ユーザＡがペン２１又は指２２をタッチパネル付きのディスプレイ１８に接触させることで衝突音２４が発生する。
（２）引き続きユーザは少なくとも１本のストローク３０５を手書きする。これらにより端末装置３Ａのマイク１２は衝突音２４と筆記音２５を記録する。ストローク３０５は、ペン２１又は指２２がタッチパネルに接触してから離れるまでの１つ以上の座標が連結して得られる線である。
（３）端末装置３Ａは衝突音２４と筆記音２５のそれぞれから、これら音の周波数帯を除去するフィルタ２３を作成する。フィルタ２３は衝突音２４を除去するものと筆記音２５を除去するものが作成される。
（４）ビデオ会議が始まるとユーザＡはペン２１又は指２２で種々の線を手書きするがこの時も衝突音２４と筆記音２５が発生する。
（５）端末装置３は作成してあるフィルタ２３で衝突音２４や筆記音２５を除去し、拠点Ｂの端末装置３Ｂに送信する。
【００１４】
これにより、ビデオ会議の開始時に、ユーザが使用するペン２１又は指２２でこのユーザの筆圧で発生した手書き音を記録しておき、ビデオ会議中にユーザが筆記することでマイク１２が集音した音声データから衝突音２４と筆記音２５を差し引く（除去する）ことができる。音声データを劣化・減衰させることなく不快なノイズのみを低減した音声データを相手の拠点に送信することができる。
【００１５】
＜用語について＞
特許請求の範囲の接触音は、タッチパネルと筆記手段（ペンや指など）が接触した時と移動時の摩擦に生じる音である。本実施形態では衝突音と筆記音という用語で説明する。
【００１６】
また、接触音の除去とは、接触音を完全に除去する他、接触音を低減することを含む。
【００１７】
また、音は空気の振動が音波として伝わって起こす聴覚の内容であり、音声データは音がデータ化されたものである。
【００１８】
＜システム構成例＞
図２は、通信システム１００のシステム構成図の一例を示す。複数の端末装置３がネットワークＮを介して会議サーバ５０と通信する。また、ネットワークＮには会議予約サーバ５１が接続されている。
【００１９】
ネットワークＮは、端末装置３が配置された施設のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークＮが複数のＬＡＮを有する場合、ネットワークはＷＡＮやインターネットと呼ばれる。ネットワークＮは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、端末装置３が、３ＧやＬＴＥなどの回線交換型の通信装置を有する場合、回線事業者の回線を介してインターネットに接続し、会議サーバ５０と通信することができる。
【００２０】
通信システム１００は、ビデオ会議に適用されるだけでなく、コミュニケーションシステム、又はデータ通信システムにも適用される。本実施形態では、通信システム１００の適用例としてビデオ会議（又はテレビ会議と呼ばれる場合がある）で端末装置３が使用されるものとして説明する。また、端末装置３は、会議サーバ５０を介して一方の端末装置３から複数の端末装置３に一方向で画像データ又は音声データの少なくとも一方を送信するデータ提供システムが含まれる。
【００２１】
会議サーバ５０は端末装置３のステータスを管理し、着信があった場合に２つの端末装置間でセッションを開始するなどの呼制御を行う呼制御サーバとして機能する。サーバであるので情報処理装置の機能を有する。呼制御とは、通信を開始するための発信、その着信、着信への応答、通信の切断など、電話をかけたり切ったりするための一連の処理をいう。この他、端末装置３の認証、検索、死活の監視なども行う場合が多い。更に、会議サーバ５０は、端末装置３の宛先リスト等、通信システム１００の制御に必要なデータベースの管理も行う。宛先リストとは、各端末装置３がテレビ会議の開始要求を送信できる（電話をかけられる）宛先の端末装置が登録されたデータである。
【００２２】
なお、ステータスとは、端末装置３の通信システム１００における状態である。ステータスは主に着信できるかできないかに区分される。着信できる状態は、すでにビデオ会議に参加して画像データ、音声データ及び手書き情報を受信している状態（オンライン（伝送中）と呼ばれる）、単に着信を待ち受けている状態（オンラインと呼ばれる）とがある。着信できない状態は、主に、オフラインの状態である（電源が入っていなかったり、電源が入っているが会議サーバ５０にログインしていなかったりする状態）。
【００２３】
図では会議サーバ５０と会議予約サーバ５１が図示されているが、画像データ、音声データ及び手書き情報を送信する中継サーバ６０（後述する）が配置される場合も多い。中継サーバとは画像データ、音声データ及び手書き情報を他の拠点の端末装置３に中継するサーバである。会議サーバ５０はネットワークＮの帯域や中継サーバ６０の通信負荷を監視して適切な中継サーバ６０を端末装置３に割り当てる。
【００２４】
端末装置３は、電子黒板の機能とビデオ会議の機能を備えた情報処理装置である。電子黒板の機能としては、タッチパネル付きのディスプレイ１８を有し、タッチパネルを介してペン２１や指２２などの軌跡を取り込んで、軌跡を手書き情報としてディスプレイ１８に描画する。ユーザは端末装置３のディスプレイ１８を黒板のように使用することができる。また、ＰＣ(Personal  Computer)と接続することができ、ＰＣと同じ画面をディスプレイ１８に表示して手書き情報を重畳して描画したり、端末装置３がタッチパネルから入力された情報にしたがってＰＣを操作したりすることができる。
【００２５】
ビデオ会議の機能としては、カメラ１１で撮像した画像データ及び後述するマイク１２で集音した音声データを、会議サーバ５０を介してビデオ会議に参加している他の拠点の端末装置３に送信する機能がある。本実施形態では更に手書き情報を他の拠点の端末装置３に送信する。また、他の拠点の端末装置３から受信した画像データ及び手書き情報をディスプレイ１８に表示し、受信した音声データをスピーカから出力する機能がある。
【００２６】
ビデオ会議に参加している端末装置３が設置されている設置場所を「拠点」と称する。拠点はこのように概念的には場所を示すが、拠点は端末装置３そのものを示す場合がある。また、拠点が設置場所だけでなく拠点のユーザ、及び、企業や部署を示す場合がある。したがって、拠点は会議をしている相手を特定する意味も持つ。なお、拠点の具体例として、例えば、地名、企業名、企業内の部署名、出張所、支店、ユーザ名等が挙げられる。
【００２７】
ビデオ会議が開始されると、端末装置３は会議サーバ５０に対して画像データ、音声データ及び手書き情報を送信し、会議サーバ５０は、ビデオ会議に参加している他の接続端末に対して画像データ、音声データ及び手書き情報を送信する。また、会議サーバ５０を介して他方の端末装置３から画像データ、音声データ及び手書き情報を受信する。
【００２８】
図２で、例えば端末装置３Ａ、３Ｂ、３Ｃでビデオ会議を行った場合、端末装置３Ａが送信した画像データ、音声データ及び手書き情報は会議サーバ５０を介して端末装置３Ｂ，３Ｃに送信され、端末装置３Ｄには送信されない。同様に、端末装置３Ｂ，３Ｃが送信した画像データ、音声データ及び手書き情報は会議サーバ５０を介して端末装置３Ａに送信されるが、ビデオ会議に参加していない端末装置３Ｄには送信されない。このような制御を行うことで、複数の端末装置３が多拠点間でビデオ会議を行うことができる。
【００２９】
会議予約サーバ５１は、会議の予約に関する処理を行う情報処理装置である。会議予約サーバ５１は端末装置のほかＰＣとも通信可能である。会議主催者が会議予約サーバ５１に対して、事前に会議情報 (会議開催日時、場所、会議参加者、役割、使用する会議端末等) を入力する。端末装置３は起動時に自機が登録された会議があるか否かを会議予約サーバ５１に問い合わせる。登録された会議がある場合、登録されている他の端末装置とのビデオ会議を開始する。
【００３０】
＜端末装置３の例＞
図３は、端末装置３の外観図の一例である。端末装置３は、タッチパネル付きのディスプレイ１８を有し、ユーザはペン２１又は指２２で直接、タッチパネルに手書きすることができる。手書き情報（座標点）はネットワークＮを介して他の拠点に送信される。ペン２１は一般に棒状の物体であるが、タッチパネルがその接触を検知しうる物であればよく、手書きに適した棒状の物体である必要はない。また、指２２は身体の一部のうち手書きに適した部位の一例に過ぎず、身体の一部であればよい。
【００３１】
また、端末装置３は、カメラ１１及びマイク１２を有している。カメラ１１が撮像したユーザなどを含む画像データとマイク１２が集音した音声データは他の拠点に送信される。このうち音声データは他の拠点の端末装置３が有するスピーカ１３から出力される。
【００３２】
端末装置３はディスプレイ１８に、手書き情報を含む手書き情報画面２１１を表示すると共に、他の拠点の端末装置３から送信された画像データを含む画像データ画面２１２を表示することができる。手書き情報画面２１１にはビデオ会議に参加している全ての端末装置３の手書き情報が反映されている。図ではピクチャーインピクチャーの態様で手書き情報画面２１１と画像データ画面２１２が表示されている。この他、任意の１つの画面だけを大きく表示したり、均等な大きさで各画面を表示したりすることができる。なお、画像データ画面２１２は拠点の数だけ表示されうる。
【００３３】
このように、ビデオ会議に参加している各端末装置３は、他の拠点の端末装置３と画像データ、音声データ及び手書き情報を共有できる。
【００３４】
端末装置３は、ビデオ会議に専用の装置の場合と、汎用的な情報処理装置の場合があるが、本実施形態ではそのどちらでもよい。専用の装置の場合、電源ＯＮによりビデオ会議用のアプリケーションソフトウェアが自動的に起動したり、会議サーバ５０にログインしたりすることで、ユーザは最小限の操作でビデオ会議を開始できる。汎用的な情報処理装置は、例えば、ノートＰＣ、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistant）、携帯電話等である。これらの端末装置３ではＯＳ（Operation System）上で通信システム用のアプリケーションソフトウェアが動作する。ユーザがアプリケーションソフトウェアを起動させると、会議サーバ５０にログインする。通信システム用のアプリケーションソフトウェアは、電子黒板用のアプリとビデオ会議用のアプリに分かれていてもよい。
【００３５】
＜ハードウェア構成例＞
図４は、端末装置３のハードウェア構成図の一例である。端末装置３は、ＣＰＵ１０に接続されたカメラ１１、マイク１２、スピーカ１３、記憶装置１４、メモリ１５、操作部１６、ＬＡＮ Ｉ／Ｆ１７、及びタッチパネル付きのディスプレイ１８を有している。なお、本実施形態の説明に直接、使用されない図示する以外の構成は省略されている。
【００３６】
カメラ１１は、撮像手段としてＣＭＯＳやＣＣＤなどの撮像素子を有し周囲の被写体を撮像して画像データを生成する。カメラ１１は所定のフレームレート（例えば３０fps）で周期的に画像データを生成するため、画像データは動画となる。カメラ１１は端末装置３の所定の位置に固定して設置されている。ＵＳＢインタフェースなどでカメラ１１が外付けされていてもよい。
【００３７】
タッチパネル付きのディスプレイ１８はＣＰＵ１０から受信した画像データを表示する表示装置である。また、ユーザがペン２１又は指２２でタッチパネルに触れた座標を検出しＣＰＵ１０に通知する。すなわち、タッチパネル付きのディスプレイ１８は入出力インタフェース機能を有する。なお、タッチパネルの一例として、ディスプレイ１８一体型の静電容量方式タッチパネルや抵抗膜方式、又は赤外線遮断方式等があるが、タッチパネルの方式は問わない。
【００３８】
マイク１２は参加者（ユーザ）の音声を集音し電気信号に変換する集音装置である。マイク１２は、端末装置３の所定の場所に固定されている。ＵＳＢインタフェースなどでマイク１２が外付けされていてもよい。
【００３９】
スピーカ１３は音声データを出力する。記憶装置１４は、ＣＰＵ１０が実行するプログラム１４ｐ、画像データ、音声データ、及び、手書き情報を記憶する。記憶装置１４として、例えばフラッシュメモリを集積したＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）といった不揮発性の記憶媒体が挙げられる。
【００４０】
メモリ１５はＣＰＵ１０が実行するプログラムが記憶装置１４から展開される作業エリアである。また、ＣＰＵ１０による演算結果や演算の対象のデータが一時的に保存される。例えば、ＤＤＲメモリのような揮発性の記憶素子が挙げられる。
【００４１】
ＬＡＮ Ｉ／Ｆ１７はネットワークに接続する通信装置である。ネットワークを介して他の端末装置３と通信し、画像データ及び音声データの送受信を行う。ＬＡＮ Ｉ／Ｆ１７として10Base-T,100Base-TX,1000Base-Tに対応したEthernet（登録商標）用のＬＡＮカード、又は、IEEE802.11a/b/g/nに対応した無線ＬＡＮのＩＣが例として挙げられる。
【００４２】
操作部１６は、ユーザによる端末装置３への操作を受け付ける。例えば、キーボード、ボタン、及び音声認識装置などが相当する。タッチパネルによる入力も操作の一種である。
【００４３】
ＣＰＵ１０は、記憶装置１４に記憶されているプログラム１４ｐを実行することで端末装置３の全体の動作を制御する。例えば、カメラ１１から取得した画像データ、マイク１２から取得した音声データ、及びタッチパネルから取得した手書き情報をエンコードしてＬＡＮ Ｉ／Ｆ１７を介して会議サーバ５０に送信する。また、ＬＡＮ Ｉ／Ｆ１７が受信した画像データ、音声データ、及び手書き情報をデコードして、タッチパネル付きのディスプレイ１８に表示し、スピーカ１３ーから出力する。なお、ＣＰＵ１０が使用するコーデック（画像圧縮）の一例として、H.264/AVCやH.264/SVC、H.265等がある。
【００４４】
＜セッションについて＞
図５は、通信システム１００において、２つの端末装置３が通信する際に接続されるセッションの一例を示す。端末装置３Ａと端末装置３Ｂとの間では、会議サーバ５０を介して各種の管理情報を送受信するための管理情報用セッションｓｅｉが接続される。
【００４５】
また、管理情報用セッションｓｅｉが接続した端末装置間では、中継サーバ６０を介して、画像データを送受信するためのセッションｓｅｄ１、音声データを送受信するためのセッションｓｅｄ２、手書き情報を送受信するためのセッションｓｅｄ３がそれぞれ接続される。なお、画像データのセッションは帯域などに応じて高解像度用、中解像度用、又は低解像度に分かれるが図５では省略されている。
【００４６】
どの中継サーバ６０を使用するかは会議サーバ５０から端末装置３に通知されるため、端末装置３は中継サーバ６０を意識する必要がなく指示された中継サーバ６０（ＩＰアドレス）に画像データ、音声データ及び手書き情報を送信すればよい。会議サーバ５０が中継サーバ６０を兼ねてもよい。本実施例では説明の便宜上、中継サーバ６０へ画像データ等が送信される場合でも会議サーバ５０に送信するものとして説明する。  
＜端末装置３の機能について＞
図６は、端末装置３が有する機能をブロック状に示す機能ブロック図の一例である。端末装置３は、送受信部３１、ログイン要求部３２、音入力部３３、音出力部３４、表示制御部３５、手書き情報取得部３６、接触音収録部３７、接触音除去部３８、操作入力受付部３９、撮像部４０、及び記憶・読出処理部４１を有している。これら各部は、記憶装置１４からメモリ１５に展開されたプログラム１４ｐを実行するＣＰＵ１０によって実現される機能である。また、端末装置３は、記憶装置１４及びメモリ１５の少なくとも一方によって構成される記憶部４９を有している。記憶部４９には接触音データ４９ａ及びフィルタ２３が記憶されている。フィルタ２３は後述するようにフィルタ０〜２の３つに分かれている。
【００４７】
送受信部３１は、ＣＰＵ１０がプログラム１４ｐを実行しＬＡＮ Ｉ／Ｆ１７を制御すること等によって構成され、ネットワークＮを介して他の端末装置３、会議サーバ５０、及び中継サーバ６０と各種データや情報の送受信を行う。なお、送受信部３１は、他の端末装置３とビデオ会議を開始する前から、会議サーバ５０よりビデオ会議の接続先の候補としての各端末装置３の状態を示す各状態情報（ステータス）を受信する。
【００４８】
操作入力受付部３９は、ＣＰＵ１０がプログラム１４ｐを実行し操作部１６及びタッチパネルを制御すること等によって実現され、ユーザによる各種の入力を受け付ける。例えば、ユーザが電源スイッチをＯＮにすると、操作入力受付部３９が電源ＯＮを受け付けて、端末装置３が起動する。
【００４９】
ログイン要求部３２は、ＣＰＵ１０がプログラム１４ｐを実行すること等によって実現される。電源ＯＮの受け付けを契機として、送受信部３１からネットワークＮを介して会議サーバ５０にログインを要求する旨を示すログイン要求及び現時点の自端末のＩＰアドレスを送信する。
【００５０】
また、ユーザが電源スイッチをＯＮの状態からＯＦＦの状態にすると、送受信部３１が会議サーバ５０に電源をＯＦＦする旨を送信した後に、操作入力受付部３９が端末装置３の電源を完全にＯＦＦにするようになっている。これにより、会議サーバ５０側では、端末装置３が電源ＯＮから電源ＯＦＦになったこと（オフラインのステータス）を把握することができる。
【００５１】
撮像部４０は、ＣＰＵ１０がプログラム１４ｐを実行しカメラ１１を制御すること等によって実現され、被写体を撮像し、撮像して得られた画像データを記憶部４９に記憶させる。
【００５２】
音入力部３３は、ＣＰＵ１０がプログラム１４ｐを実行しマイク１２を制御すること等によって実現され、マイク１２によって集音された音を電気信号としての音声データに変換する。
【００５３】
音出力部３４は、ＣＰＵ１０がプログラム１４ｐを実行しスピーカ１３を制御すること等によって実現され、スピーカ１３を駆動する信号に音声データを変換しスピーカ１３から出力させる。
【００５４】
手書き情報取得部３６は、ＣＰＵ１０がプログラム１４ｐを実行しタッチパネル付きのディスプレイ１８を制御すること等によって実現され、ユーザがペン２１又は指２２で接触した座標を周期的に検出する。この時系列の座標又は座標が連結されたものが手書き情報となる。
【００５５】
表示制御部３５は、ＣＰＵ１０がプログラム１４ｐを実行しタッチパネル付きのディスプレイ１８を制御すること等によって実現され、手書き情報取得部３６が取得した手書き情報、及び、送受信部３１が受信した画像データ及び手書き情報を画像データ画面及び手書き情報画面に成形してディスプレイ１８に表示する。画像データ画面及び手書き情報画面のレイアウトは、予め決まっていてもよいしユーザが任意に操作できてもよい。表示制御部３５は手書き情報の座標をユーザが指定した線の太さや色で接続して、文字や手書き線を表示する。
【００５６】
また、表示制御部３５は、端末装置３の設定や操作を受け付けるメニューを表示する。また、送受信部３１が会議サーバ５０から受信した宛先リストをディスプレイ１８に表示させる。
【００５７】
接触音収録部３７は、ＣＰＵ１０がプログラム１４ｐを実行しマイク１２を制御すること等によって実現され、ビデオ会議の開始時に音入力部３３が取得した接触音データ４９ａを取得する。接触音データ４９ａには衝突音と筆記音が含まれており、接触音収録部３７は、衝突音と筆記音からフィルタ２３を作成する。
【００５８】
接触音除去部３８は、ＣＰＵ１０がプログラム１４ｐを実行しマイク１２を制御すること等によって実現され、ビデオ会議の開始後、音入力部３３が取得した音声データ（ユーザが発声した音声と衝突音と筆記音を含む）から衝突音と筆記音を除去する。
【００５９】
記憶・読出処理部４１は、ＣＰＵ１０がプログラム１４ｐを実行し記憶装置１４及びメモリ１５等を制御することより実現され、記憶部４９に各種データを記憶したり、記憶部４９に記憶された各種データを読み出したりするようになっている。
【００６０】
記憶部４９は、他の端末装置３とビデオ会議を行う際に受信される画像データ、音声データ及び手書き情報の受信バッファとして用いられる。本実施例では、更に、会議開始時に収録された接触音のデータである接触音データ４９ａが記憶されている。また、接触音データ４９ａから作成されたフィルタ２３が記憶されている。
【００６１】
また、端末装置３には端末装置３を識別するための端末ＩＤが付されており、記憶部４９にはこの端末ＩＤが記憶されている。ＩＤはIdentificationの略であり識別子や識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。なお、端末ＩＤは参加者が入力してもよい。
【００６２】
＜セッション接続までの流れ＞
図７は、端末装置３がセッションを接続しビデオ会議に参加するまでの処理を示すシーケンス図の一例である。セッション接続までは管理情報用セッションｓｅｉで各種情報が送受信される。
【００６３】
S1：まず、端末装置３のユーザが端末装置３の電源スイッチをＯＮにしてログインするための操作を行うと、操作入力受付部３９が受け付けてログイン要求部３２がネットワークＮを介して会議サーバ５０にログイン要求を送信する。ログイン要求には、ログイン要求する端末装置３の端末ＩＤ及びパスワードが含まれている。なお、ログイン要求が会議サーバ５０に受信された際に、会議サーバ５０が送信側である端末装置３のＩＰアドレスを把握することができる。
【００６４】
S2：会議サーバ５０はログイン要求に含まれている端末ＩＤ及びパスワードに基づいて端末装置３を認証する。認証方法は端末ＩＤ及びパスワードに基づくものに限らず、ＩＣカードや生体認証情報を用いてもよい。ここでは認証が成立したものとする。
【００６５】
S3：認証が成立したので会議サーバ５０は、要求元の端末装置３の端末ＩＤに対応付けてステータス（オンライン）を更新する。また、端末装置３のＩＰアドレスを記憶する。
【００６６】
S4：会議サーバ５０は、ログイン要求してきた端末装置３に対応付けられている宛先リスト（宛先候補となる他の端末装置３）を抽出する。宛先リストは、予め会議サーバ５０が保持している。会議サーバ５０は宛先候補の各端末装置３のステータスを取得する。
【００６７】
S5：次に、会議サーバ５０は、宛先状態情報を要求元の端末装置３に送信する。宛先状態情報には宛先候補の端末ＩＤとステータスが含まれる。
【００６８】
S6：また、会議サーバ５０は要求元の端末装置３を宛先候補とする他の端末装置３のステータスを取得する。これは、要求元の端末装置３に対しビデオ会議の開始を要求する端末装置３にも要求元の端末装置３のステータスを通知するためである。ステータスがオフラインの他の端末装置３には要求元の端末装置３のステータスが通知されない。
【００６９】
S7：会議サーバ５０は、要求元の端末装置３を宛先候補とする端末装置３に宛先状態情報を送信する。宛先状態情報には要求元の端末装置３の端末ＩＤ及びステータスが含まれる。
【００７０】
S8：宛先状態情報を受信した要求元の端末装置３の表示制御部３５は宛先リスト画面４０１をディスプレイ１８に表示する（図９参照）。宛先リスト画面４０１には、宛先の端末装置（拠点名など）とステータスが表示されるので、ユーザは宛先の状態を把握して宛先を選択することで宛先の端末装置３を呼び出すことができる。
【００７１】
S9：端末装置３の操作入力受付部３９は宛先の端末装置３を受け付け、送受信部３１がビデオ会議の開始要求を会議サーバ５０に送信する。開始要求には要求元の端末装置３の端末ＩＤと宛先の端末装置３の端末ＩＤが含まれる。
【００７２】
S10：会議サーバ５０は開始要求を宛先の端末装置３に送信する。宛先の端末装置３は要求元の端末装置（拠点名など）を含む着信画面４１１を表示する（図９参照）。開始要求には要求元の端末装置３の拠点名などが含まれているので、ビデオ会議の開始を受けるか否かを宛先の端末装置３のユーザが判断できる。
【００７３】
S11：宛先の端末装置３のユーザが例えば応答する操作を行うと、操作入力受付部３９がこの操作を受け付け送受信部３１が応答する旨を会議サーバ５０に送信する。会議サーバ５０は応答する旨を受信する際、宛先の端末装置３のＩＰアドレスを把握する。
【００７４】
S12：会議サーバ５０は要求元の端末装置３と宛先の端末装置３を中継サーバ６０に登録し、要求元の端末装置３と宛先の端末装置３に中継サーバ６０のＩＰアドレス等を通知する。これによりセッションが接続される。
【００７５】
S13：要求元の端末装置３は中継サーバ６０に対し画像データ、音声データ及び手書き情報を送信する。宛先の端末装置３も同様に画像データ等の送信を開始する。
【００７６】
S14：中継サーバ６０はこれらを宛先の端末装置３に転送する。以上のようにして、セッションが接続されて要求元の端末装置３と宛先の端末装置３は画像データ、音声データ及び手書き情報を送受信できる。
【００７７】
＜フィルタについて＞
セッションが接続された端末装置３はビデオ会議を開始して互いに画像データ、音声データ及び手書き情報を送信するが、ビデオ会議の最中にはペン２１や指２２による衝突音と筆記音が生じマイク１２に集音される。このため、端末装置３はビデオ会議の開始時に衝突音と筆記音を除去するフィルタ２３を作成しておく。
【００７８】
図８は、衝突音又は筆記音を除去するフィルタ２３について説明する図の一例である。図８（ａ）は人の音声の周波数スペクトルの一例を示し、図８（ｂ）は筆記音の周波数スペクトルの概念図である。人の音声の周波数範囲は一般に100Hz 〜1000Hzと言われ、筆記音（及び衝突音も）はそれよりも高い周波数範囲の音を含んでいる場合が多い。したがって、筆記音の周波数範囲を特定しこの周波数範囲よりも下の周波数を通過させるローパスフィルタを作成すれば、筆記音を除去できる。衝突音についても同様である。
【００７９】
接触音収録部３７は、ビデオ会議の開始時に収録した衝突音と筆記音にそれぞれフーリエ変換を施して図８（ｂ）のような周波数スペクトルを作成する。そして、周波数スペクトルに基づいてカットオフ周波数を決定する。カットオフ周波数は、例えば、周波数スペクトルの強度が最大となる周波数、最大の強度が１／ｎとなる周波数（ｎは２以上の自然数）などのように決定できる。
【００８０】
フィルタ２３としてはＦＩＲフィルタやＩＩＲフィルタが知られており、これらの伝達関数及び差分方程式も知られている。例えば、ＦＩＲフィルタの差分方程式は
ｙ（ｎ）＝ｈ０ｕ（ｎＴ）＋ｈ１ｕ（（ｎ−１）Ｔ）＋ｈ２ｕ（（ｎ−２）Ｔ）＋…＋ｈｋｕ（（ｎ−Ｋ）Ｔ）
である。ｕ（ｎＴ）〜ｕ（（ｎ−Ｋ）Ｔ）はＫ個前の入力データであり、Ｔはサンプリング周期、ｈ０〜ｈｋはそれぞれの係数である。
【００８１】
差分方程式の係数は、カットオフ周波数とサンプリング周波数（音声データを取得する周期の逆数）により算出できる。係数が求められると上式により、入力された音声データを用いてｙ（ｎ）を算出でき、ビデオ会議の開始時に収録した衝突音と筆記音を除去できる。
【００８２】
なお、図９はローパスフィルタを例にしたが、ハイパスフィルタでもよいし、ローパスフィルタとハイパスフィルタが組み合わされてもよい。衝突音及び筆記音を除去しやすいフィルタであればよい。
【００８３】
<<マイク１２に接近する音と遠ざかる音>>
出願人が音声データを解析したところ、ペン２１又は指２２がマイク１２に対し接近する場合と、遠ざかる場合で音声データの周波数スペクトルが異なることが分かった。例えば、文字や図形が多くの線分から構成される場合があるが、線分ごとに手書きの方向が異なる。このためフィルタ２３も、ペン２１又は指２２がマイク１２に対し接近する場合の筆記音から生成されたフィルタ２３と、遠ざかる場合の筆記音から生成されたフィルタ２３とが作成されることが好ましい。本実施形態では、以下のように、接触音収録部３７がペン２１又は指２２がマイク１２に対し接近する場合の筆記音と、遠ざかる場合の筆記音を収録する。
【００８４】
＜収録方法＞
図９（ａ）は宛先リスト画面４０１における衝突音と筆記音の収録を説明する図の一例である。図７にて説明したようにステップＳ８で要求元の端末装置３には宛先リスト画面４０１が表示される。宛先リスト画面４０１は画像データ等の宛先となることができる他の端末装置３を選択可能に表示する画面である。ユーザは宛先リスト画面４０１から１つの宛先を選択する。操作入力受付部３９が選択された宛先を受け付けると、接触音収録部３７がダイアログ４０２を表示させる。ダイアログ４０２には、ある程度の長さのガイド線４０３が表示されている。ガイド線４０３は、ペン２１又は指２２の接触場所をユーザに案内する線である。ユーザはガイド線４０３の上をペン２１又は指２２でなぞる（移動させる）。
【００８５】
このガイド線４０３は、キャンセル部４０３ａと、発信部４０３ｂの２つの部分に分かれている（図では白黒だが実際には色の違いや線の太さの違いで区別される）。キャンセル部４０３ａはユーザが発信を取りやめる場合になぞる部分であり、発信部４０３ｂはユーザが発信する際になぞる部分である。ユーザが発信を取りやめる場合、ビデオ会議は始まらないので、接触音収録部３７は衝突音と筆記音を収録しない。
【００８６】
ユーザが発信する場合、ユーザが発信部４０３ｂをなぞることで生じた衝突音と筆記音を接触音収録部３７が収録する。また、操作入力受付部３９はユーザが発信部４０３ｂをなぞったことを検出するので、端末装置３が図７のステップＳ９以降の処理を行う。したがって、ダイアログ４０２が設けられることで、ユーザは発信の最終確認を行うことができ、更に、端末装置３は衝突音と筆記音の収録が可能になる。つまり、ユーザが発信部４０３ｂをなぞることが、最終確認と収録を兼ねることができる。
【００８７】
図９（ｂ）は衝突音２４、ペン２１又は指２２がマイク１２から遠ざかる場合の筆記音２５ａ、及び、ペン２１又は指２２がマイク１２に対し接近する場合の筆記音２５ｂのそれぞれの収録を模式的に示している。まず、ペン２１又は指２２が発信部４０３ｂに接触した時の衝突音２４が収録される。ユーザはそのまま発信部４０３ｂをなぞるため、ペン２１又は指２２は発信部４０３ｂの右端に到達し左方向に折り返し、発信部４０３ｂの左端まで到達する。接触音収録部３７は、例えば、ペンダウンイベントからペンアップイベントまでの音声データを手書き情報の座標と対応付けて記録しておく。ペンダウンイベントは、タッチパネルでユーザが手書きするためペン２１又は指２２をタッチパネルに接触させた際にアプリケーションソフトウェア（又はＯＳ）が発生させるイベントである。ペンアップイベントは、ユーザがペン２１又は指２２をタッチパネルから離す際にアプリケーションソフトウェア（又はＯＳ）が発生させるイベントである。
【００８８】
そして、以下のようにして衝突音２４、ペン２１又は指２２がマイク１２に対し接近する場合の筆記音２５ａ、及び、遠ざかる場合の筆記音２５ｂを収録する。
・ペンダウンイベントの直後（例えば０．１秒間など）の音声データを衝突音２４として収録する。
・その後、ペン２１又は指２２のＸ座標が最大値となるまで（右端になるまで）の音声データをペン２１又は指２２がマイク１２から遠ざかる場合の筆記音２５ａ（以下、筆記音１という）として収録する。
・その後、ペンアップイベントまでの音声データをペン２１又は指２２がマイク１２に対し接近する場合の筆記音２５ｂ（以下、筆記音２という）として収録する。
【００８９】
手書き情報の座標と対応付けて音声データが収録されるので、ユーザは一筆で衝突音２４と筆記音１，２を収録させることができる。
【００９０】
接触音収録部３７は、これら衝突音２４、筆記音１及び筆記音２からフィルタ２３を作成する。衝突音２４はユーザがペンダウンするたびに発生しうるが、ユーザが手書きする方向がマイク１２から遠ざかるか又は接近するかはストロークによって異なる。したがって、接触音収録部３７は、衝突音に対応したフィルタ０、筆記音１に対応したフィルタ１、及び、筆記音２に対応したフィルタ２を作成する。
【００９１】
ビデオ会議の開始時に同様の手書きを宛先の端末装置３のユーザも行う、図９（ｃ）は着信画面４１１における衝突音２４と筆記音１，２の収録を説明する図の一例である。図７のステップＳ１０にて説明したように宛先の端末装置３は着信画面４１１を表示する。宛先の端末装置３の接触音収録部３７は着信画面４１１に上記したガイド線４０３を表示する。着信画面４１１のガイド線４０３は、拒否部４０３ｃと応答部４０３ｄの２つの部分に分かれている。拒否部４０３ｃはユーザが着信を受けない場合になぞる部分であり、応答部４０３ｄはユーザが着信を受ける場合になぞる部分である。ユーザが着信を受けない場合、ビデオ会議は始まらないので、接触音収録部３７は衝突音２４と筆記音１，２を収録しない。
【００９２】
ユーザが着信を受ける場合、接触音収録部３７はユーザがペン２１又は指２２で応答部４０３ｄをなぞる際の衝突音２４と筆記音１，２を、図９（ａ）のダイアログ４０２と同様に収録する。これにより、着信を受ける側の端末装置３も衝突音２４と筆記音１，２を収録できる。着信画面４１１に拒否部４０３ｃと応答部４０３ｄがあることで、端末装置３は着信の有無を受け付けると共に衝突音２４と筆記音１，２の収録が可能になる。つまり、ユーザが発信部４０３ｄをなぞることが、応答と収録を兼ねることができる。
【００９３】
なお、ペン２１と指２２では衝突音２４と筆記音１，２が異なるので、ペン２１用のフィルタ０〜２と指２２用のフィルタ０〜２が用意されてもよい。ペン２１によっては先端が押下されると信号を送信するものがある。この信号を利用して端末装置３はペン２１が使用されていると判断する。指２２の場合、このような信号が送信されないので端末装置３は指２２が使用されていると判断する。
【００９４】
しかしながら、ビデオ会議の開始時にペン２１を使用するユーザは、ビデオ会議中もペン２１を使用し、ビデオ会議の開始時に指２２を使用するユーザは、ビデオ会議中も指２２を使用する場合が多い。このため、ペン２１と指２２のそれぞれのフィルタ０〜２を作成しなくても衝突音２４や筆記音１，２を除去できる。
【００９５】
また、ビデオ会議では１つの拠点に複数のユーザが存在しうるが、ビデオ会議中に最も手書きする頻度の高いユーザが手書きする際の衝突音２４と筆記音１，２が記録されればよい。これにより多くの場合は収録したものと同じ衝突音２４と筆記音１，２を除去できる。ビデオ会議の開始時に衝突音２４と筆記音１，２を収録させたユーザと異なるユーザがビデオ会議中に手書きしても衝突音２４と筆記音１，２を少なくともある程度は除去する効果が得られる。
【００９６】
図１０は、フィルタ０〜２を有する接触音除去部３８の構成例を説明する図の一例である。接触音除去部３８はフィルタ０〜２を図示するように用いて、ビデオ会議中の音声データから衝突音と筆記音を除去する。
【００９７】
接触音除去部３８は、ペンダウンイベントが検出されると音声データにフィルタ０を施して衝突音を除去する。そして、マイク１２から遠ざかる方向にペン２１又は指２２が移動したか、接近する方向にペン２１又は指２２が移動したかを判断する。そして判断結果に応じてフィルタ１又はフィルタ２を適用する。マイク１２から遠ざかる方向にペン２１又は指２２が移動した場合は、音声データにフィルタ１を施して筆記音を除去する。マイク１２に接近する方向にペン２１又は指２２が移動した場合は、音声データにフィルタ２を施して筆記音を除去する。
【００９８】
＜遠ざかる方向か接近する方向かの判断＞
図１１は、マイク１２に対しペン２１又は指２２が遠ざかる方向か接近する方向かの判断方法を説明する図の一例である。
【００９９】
接触音除去部３８が音声データから筆記音を除去するためには、ビデオ会議中の手書きの方向がマイク１２に向かって接近するかマイク１２から遠ざかるかを判断する必要がある。本実施例では、１つのストローク３０１〜３０４の始点Ｓと終点Ｅの座標を使用する。ビデオ会議中にペン２１又は指２２がタッチパネルに接触した座標を手書き開始の座標とし、図１１の始点Ｓで表す。ペン２１又は指２２がタッチパネルに触れた状態のまま接触位置が移動し、ペン２１又は指２２がタッチパネルから離れた座標を手書き終了の座標とし、図１１の終点Ｅで表す。
【０１００】
接触音除去部３８は始点Ｓとマイク１２の距離Ｌｓ、終点Ｅとマイク１２の距離Ｌｅをそれぞれ比較して、ペン２１又は指２２がマイク１２に向かって接近するかマイク１２から遠ざかるかを判断する。始点Ｓとマイク１２の距離をＬｓ、終点Ｅとマイク１２の距離をＬｅとすると、Ｌｓ＞Ｌｅの場合は接近する方向、Ｌｓ＜Ｌｅの場合は遠ざかる方向である。なお、Ｌｓ＝Ｌｅの場合は接近方向又は遠ざかる方向のどちらでもよいとする。
【０１０１】
なお、マイク１２の座標（Ｘｍ，Ｙｍ）は固定であり、始点Ｓ（Ｘｓ，Ｙｓ）はペンダウンイベントが検出された時のペン２１又は指２２の座標であり、終点Ｅ（Ｘｅ，Ｙe）はペンアップイベントが検出された時のペン２１又は指２２の座標である。距離Ｌｓ，Ｌｅは以下のように算出される。
Ｌｓ＝√｛（Ｘｍ−Ｘｓ）２＋（Ｙｍ―Ｙｓ）２｝
Ｌｅ＝√｛（Ｘｍ−Ｘｅ）２＋（Ｙｍ―Ｙe）２｝
図１１では、ストローク３０１、３０４がマイク１２から遠ざかるストロークであり、ストローク３０２、３０３がマイク１２に接近するストロークである。
【０１０２】
＜動作手順＞  
図１２は、端末装置３がビデオ会議中に音声データから衝突音と筆記音を除去する手順を示すフローチャート図の一例である。図１２の処理は宛先リスト画面４０１又は着信画面４１１が表示されるとスタートする。
【０１０３】
まず、接触音収録部３７は、ダイアログの発信部４０３ｂがペン２１又は指２２でなぞられたか否かを判断する（Ｓ１０）。具体的には、ペンダウン時のペン２１又は指２２が触れる座標が発信部４０３ｂの始点から所定距離以内であり、手書き中の座標が発信部４０３ｂから所定距離以内であり、ペンアップ時のペン２１又は指２２の座標が発信部４０３ｂの終点（左端）から所定距離以内であるかどうかを判断する。
【０１０４】
ステップＳ１０の判断がＮｏの場合、接触音収録部３７は再度、ダイアログ４０２を表示するなどを行う。
【０１０５】
ステップＳ１０の判断がＹｅｓの場合、接触音収録部３７は衝突音２４、マイク１２から遠ざかる方向の筆記音１、及び、マイク１２に接近する方向の筆記音２を収録する（Ｓ２０）。
【０１０６】
発信部４０３ｂがなぞられたことでビデオ会議が開始される（Ｓ３０）。
【０１０７】
接触音除去部３８は、衝突音２４と筆記音１，２の除去をビデオ会議が終了するまで行う（Ｓ４０）。ビデオ会議が終了していない場合（Ｓ４０のＮｏ）、接触音除去部３８はペンダウンイベントが検出されたか否かを判断する（Ｓ５０）。ペン２１や指２２ではない服や手の一部がタッチパネルに触れた場合を考慮して、ペン２１や指２２の座標が所定時間以上、検出された場合に筆記開始と判断してもよい。
【０１０８】
ペンダウンイベントが検出された場合、接触音除去部３８は、音入力部３３が集音した音声データにフィルタ０を施して衝突音を除去する（Ｓ６０）。
【０１０９】
次に、接触音除去部３８はペン２１又は指２２がタッチパネルに触れたまま、マイク１２に接近する方向とマイク１２から遠ざかる方向のどちらに移動したかを判断する（Ｓ７０）。ユーザが筆記したことを検出するため、Ｙ〔cm〕以上移動したか否かを判断することが好ましい。
【０１１０】
ステップＳ７０の判断がＮｏの場合（移動していない場合）、処理はステップＳ４０に戻り、Ｓ４０〜Ｓ７０が繰り返し実行される。
【０１１１】
ステップＳ７０でマイク１２に接近する方向に筆記されたと判断された場合、接触音除去部３８は、音入力部３３が集音した音声データにフィルタ２を施して筆記音２を除去する（Ｓ８０）。
【０１１２】
ステップＳ７０でマイク１２から遠ざかる方向に筆記されたと判断された場合、接触音除去部３８は、音入力部３３が集音した音声データにフィルタ１を施して筆記音１を除去する（Ｓ９０）。以降は、ビデオ会議が終了するまで図１２の処理を繰り返す。
【０１１３】
以上のように、本実施形態の端末装置３は、予めユーザが使用するペン２１又は指２２でこのユーザの筆圧で発生した衝突音及び筆記音を収録しておき、ビデオ会議中に手書きで発生した衝突音と筆記音を除去することで、音声データを劣化・減衰させることなく不快なノイズのみを低減した音声データを相手の拠点に送信することができる。
【０１１４】
＜衝突音及び筆記音の収録方法の変形例＞
衝突音及び筆記音の収録方法を図９に示したが、宛先リスト画面４０１や着信画面４１１における衝突音２４及び筆記音１，２の収録方法には以下のように種々の方法が考えられる。なお、以下では、着信画面４１１を例に説明するが、宛先リスト画面４０１にも同様に適用できる。
【０１１５】
図１３は着信画面４１１の変形例について説明する図の一例である。図１３（ａ）は応答部４０３ｄの長さが長くされた着信画面４１１の一例である。図１３（ａ）では、着信画面４１１の全体に渦巻き状に応答部４０３ｄが表示されている。ユーザがペン２１又は指２２で応答部４０３ｄをなぞると、接触音収録部３７はタッチパネル上の様々な場所から筆記音を収録できる。ビデオ会議中のユーザはタッチパネルの全体を使ってストロークを手書きする場合があるが、図１３（ａ）のような応答部４０３ｄがなぞられると、タッチパネルの全体から筆記音を収録できるので、ユーザが手書きする場所の影響を受けにくくなる。
【０１１６】
なお、図１３（ａ）の収録方法では、ペン２１又は指２２がマイク１２に接近する方向と遠ざかる方向が切り替わる座標が特定されているものとし、この切り替わり点ごとに接触音収録部３７が筆記音を収録する。そして、接近する方向の筆記音を平均化してフィルタ２を作成し、遠ざかる方向の筆記音を平均化してフィルタ１を作成する。
【０１１７】
図１３（ｂ）は衝突音を取得する場合の着信画面４１１を示す。手書き中の筆記音がほとんど気にならない場合がある。例えば、マイク１２とタッチパネルが離れている場合や、ペン２１の材質が筆記音を出しにくいような場合である。この場合、衝突音だけが除去されればよい。図１３（ｂ）の着信画面４１１では応答部４０３ｄが複数のボタン４１２で構成されている。ユーザは順番にペン２１又は指２２でボタン４１２に触れる。したがって、接触音収録部３７は数回の衝突音を収録できる。接触音収録部３７は、収録した数回の衝突音を平均化したものでフィルタ０を作成する。ユーザの平均的な衝突音を除去するフィルタが作成されるので、ビデオ会議中の音声データに含まれる衝突音を全般的に除去することができる。
【０１１８】
図１３（ｃ）はマイク１２の位置が偏っている場合に好ましい着信画面４１１の一例を示す。マイク位置が偏っている場合、マイク１２の近傍の筆記音の収録が困難になる場合がある（マイクに近すぎるとマイクの指向性の範囲外になる場合がある）。そこで、マイク１２の近傍での筆記音を収録するために、接触音収録部３７はマイク１２の近傍で手書きする長さが長い応答部４０３ｄを表示する。応答部４０３ｄはマイク１２の近くだが長いので、接触音収録部３７はマイク１２の近傍で応答部４０３ｄがなぞられても筆記音を収録できる。
【０１１９】
この場合も、ペン２１又は指２２がマイク１２に接近する方向と遠ざかる方向が切り替わる座標が特定されているものとし、この切り替わり点ごとに接触音収録部３７が筆記音を収録する。
【０１２０】
図１３（ｄ）は筆記時の詳細な筆記音を収録するための応答画面の一例を示す。図１３（ｄ）では拒否部が「拒」という文字４１３であり、応答部が「応」という文字４１４である。この場合、文字４１３，４１４を構成するストロークごとに衝突音と筆記音が収録される。接触音収録部３７は各衝突音の平均からフィルタ０を作成する。また、ストロークごとに、マイク１２に接近する方向又は遠ざかる方向のどちらであるかを判断し、それぞれを平均してフィルタ１，フィルタ２を作成する。衝突音と筆記音が実際の文字で平均化されるので、ビデオ会議中の衝突音や筆記音を除去しやすくなる。
【０１２１】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１２２】
例えば、フィルタ２３の作成を端末装置３でなくサーバ（端末装置３以外の情報処理装置）が行ってもよい。また、音声データからの衝突音及び筆記音の除去をサーバが行ってもよい。
【０１２３】
また、本実施形態では、会議サーバ５０又は中継サーバ６０を介して端末装置３が通信すると説明したが、会議サーバ５０又は中継サーバ６０はなくてもよい。端末同士が直接、通信する通信プロトコルとして例えばWebRTC (Web Real-Time Communication)が知られている。
【０１２４】
また、本実施形態ではタッチパネルへの手書きにより生じる衝突音や筆記音を除去すると説明したが、タッチパネルのメニュー（ソフトキー）をユーザが操作することで生じる操作音を除去してもよい。また、ハードキーの操作により生じる操作音を除去してもよい。
【０１２５】
また、上記実施形態では、通信システム１００の一例として、ビデオ会議システムの場合について説明したが、これに限るものではなく、ＩＰ（Internet Protocol）電話や、インターネット電話等の電話システムであってもよい。
【０１２６】
また、通信システム１００は、移動体に搭載されたカーナビゲーション装置を含むシステムであってもよい。また、端末装置３に画面共有用のＰＣが接続されてもよい。
【０１２７】
また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚（touch）データであってもよい。この場合、一方の端末装置側でユーザが接触した感覚が、他方の端末装置側に伝達される。更に、コンテンツデータは、嗅覚（smell）データであってもよい。
【０１２８】
また、端末装置３は電子黒板と呼ばれてもビデオ会議端末と呼ばれてもよい。また、電子黒板は、電子情報ボードや電子ホワイトボードなどと呼ばれてよい。
【０１２９】
また、図６などの構成例は、端末装置３による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置３の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【０１３０】
なお、音入力部３３は音声データ取得手段の一例であり、接触音収録部３７収録手段の一例であり、接触音除去部３８は接触音除去手段の一例であり、撮像部４０は画像データ取得手段の一例であり、送受信部３１は送信手段の一例である。筆記音１は第一の筆記音の一例であり、筆記音２は第二の筆記音の一例である。
【符号の説明】
【０１３１】
３        端末装置
１０      ＣＰＵ
１１      カメラ
３１      送受信部
３７      接触音収録部
３８      接触音除去部
４０      撮像部
５０      会議サーバ
６０      中継サーバ
１００    通信システム
【先行技術文献】
【特許文献】
【０１３２】
【特許文献１】特開2014‐53890号公報
【図１】
2018072701.tif 000003
【図２】
2018072701.tif 000004
【図３】
2018072701.tif 000005
【図４】
2018072701.tif 000006
【図５】
2018072701.tif 000007
【図６】
2018072701.tif 000008
【図７】
2018072701.tif 000009
【図８】
2018072701.tif 000010
【図９】
2018072701.tif 000011
【図１０】
2018072701.tif 000012
【図１１】
2018072701.tif 000013
【図１２】
2018072701.tif 000014
【図１３】
2018072701.tif 000015