(57)【要約】【課題】双方向通話の際に、簡易的なエコー除去装置が求められている。【解決手段】カメラ側通話装置１０の送信データ制御部４０は、カメラ側マイクロフォン６４から入力されたアナログ信号の音声データをデジタル信号の音声データに変換するカメラ側ＡＤ変換部５０と、デジタル信号に変換された音声データの入力時間を調整する入力バッファ５４と、音声データの符号化を行いパケットに変換するカメラ側符号化処理部５２と、エコーキャンセル用同期情報を所定のパケットのヘッダに付加する同期情報付加部４６と、カメラ側送信バッファ４４と、を備える。【選択図】        図２
2004153583.tif 000002
【特許請求の範囲】
【請求項１】
符号化された音声データを復号してスピーカより出力するステップと、
マイクロフォンから入力された音声を符号化して符号化データを生成するステップと、
前記スピーカから出力された所定の音声が前記マイクロフォンからエコーとして入力されるタイミングを特定するステップとを含み、
特定されたタイミングを示す情報と前記所定の音声が関連づけられて前記符号化データに組み込まれることを特徴とする通話方法。
【請求項２】
自装置で入力した音声を他装置へデータ送信する際に、自装置にて再生および出力した音声がエコーとして前記他装置へ送信されるデータへいかなるタイミングで重畳しているかを示す情報を当該送信されるデータへ組み込むことを特徴とする通話方法。
【請求項３】
自装置で入力した音声を他装置へデータ送信する際に、自装置にて入力した音声を一時的に保持し、他装置から受信したデータに前記出力した音声がエコーとして重畳されているタイミングに関する情報を抽出し、前記受信したデータを自装置で音声として出力する際に、その音声と前記一時的に保持されている音声とを合成し前記エコーを取り除くことを特徴とする通話方法。
【請求項４】
パケットを利用し双方向通話を行う通話装置であって、
符号化された音声データが含まれるパケットから音声データを復号しスピーカより音声として出力する出力音声制御部と、
マイクロフォンから音声を取得し、取得した音声を所定の長さの音声フレームに変換し、前記音声フレームを符号化しパケットに変換する入力音声制御部と、前記スピーカから出力された音声が前記マイクロフォンからエコーとして前記音声フレームに重畳されるタイミングをその音声フレームが変換されたパケットに組み込む同期情報付加部と、
を有することを特徴とする通話装置。
【請求項５】
パケットを利用し双方向通話を行う通話装置であって、
当該装置より通話相手に送信した音声データを、所定の大きさの音声フレーム単位もしくはパケット単位で一時的に保持するバッファ部と、
通話相手より受信した音声データが含まれるパケットに埋め込まれている情報であって、前記バッファ部で保持されている音声データに関する情報を抽出する埋込情報抽出部と、
前記抽出した情報をもとに、前記バッファ部で保持されている音声データを取得し、通話相手より受信した音声データと前記バッファ部より取得した音声データを合成するエコーキャンセル処理部と、
を有することを特徴とする通話装置。
【請求項６】
第１および第２の通話装置をそれぞれ有する端末間でパケットを利用して双方向通話を行う通話システムであって、
前記第１の通話装置は、当該通話装置で入力した音声を前記第２の通話装置へデータ送信する際に、当該通話装置にて再生および出力した音声がエコーとして前記第２の通話装置へ送信されるデータへいかなるタイミングで重畳しているかを示す情報を前記送信されるデータへ組み込む機能ブロックを有し、
前記第２の通話装置は、当該通話装置で入力した音声を前記第１の通話装置へデータ送信する際に、当該通話装置にて入力した音声を一時的に保持し、前記第１の通話装置から受信したデータに前記出力した音声がエコーとして重畳されているタイミングに関する情報を抽出し、前記受信したデータを当該通話装置で音声として出力する際に、その音声と前記一時的に保持されている音声とを合成し前記エコーを取り除く機能ブロックを有することを特徴とする通話システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声通話における通話品位を向上させる技術に関する。本発明は、特に音声通信におけるエコーキャンセル技術に関する。
【０００２】
【従来の技術】
インターネット関連技術の技術革新が進んだことにより、ＶｏＩＰ（Ｖｏｉｃｅ  ｏｖｅｒ  ＩＰ）と呼ばれるインターネットを利用した音声通話が行われるようになっている。さらに今後、インターネットプロトコルがＩＰｖ６になると、様々な端末に固有のＩＰアドレスを付与することができるようになる。その結果、多様な製品間で、当初想定されていないような通信が行われると期待されている。
【０００３】
ＶｏＩＰによる通話は普及期にあり、通話品位を向上される様々な技術が提案されている。そのような技術の中で、サーバ・クライアント形態に基づくビデオ会議システムの音声配信において、通話品位の低下の原因の一つであるエコーをキャンセルする技術が開示されている（特許文献１参照）。
【０００４】
この技術では、サーバはすべてのクライアントから音声を集め、合成した音声を各クライアントに配信する。クライアントはサーバに音声データを送信する際に、自己を識別する情報を付加するとともに、その音声データを一時的に保持する。サーバは、各クライアントから受信した音声を合成してクライアントに送信する。また、サーバは音声を合成する際に、付加されていた識別情報も組み込む。一方、クライアントは、自己の識別情報がサーバから受信した音声データに含まれている場合は、受信した音声データから自己の音声を減算して出力する。これによって、エコーの発生を抑えている。
【０００５】
【特許文献１】
特開平１０−１６２４２３９号公報
【０００６】
【発明が解決しようとする課題】
無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やブルートゥース（登録商標）などの通信装置の小型化が進み、さらに無線ＬＡＮのアクセスポイントの設置も進んでおり、今後場所を選ばずインターネットに接続できるようになる。上述のように、インターネットプロトコルがＩＰｖ６に進むことにより、かつては予想もされなかった機器に通信機能が付与され、それら機器どうしでパケットを利用した双方向通話も可能となる。
【０００７】
双方向通話では、一般的な問題として上述のようにエコーの発生があり、これを解消するためＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）技術が利用されている。
【０００８】
このような状況において、本発明者は次の認識をするに至った。すなわち、端末同士がそれぞれＤＳＰ装置のようなエコーキャンセル装置を搭載できればよいが、端末の種類によっては搭載が難しいケースもある。例えば、デジタルカメラのような端末では本来音声通話は想定されず、音声通話のためにＤＳＰ装置を搭載することは、価格上昇を招くため望ましくない。また、小型化が求められる場合、スペースの観点からも搭載が難しいことがある。
【０００９】
本発明は、このような状況に鑑みなされたものであり、その目的は、パケットを利用して双方向通信する際に、通話品位の低下を抑制する技術を提供することにある。
【００１０】
【課題を解決するための手段】
本発明のある態様は、通話方法に関する。この方法は、符号化された音声データを復号してスピーカより出力するステップと、マイクロフォンから入力された音声を符号化して符号化データを生成するステップと、スピーカから出力された所定の音声がマイクロフォンからエコーとして入力されるタイミングを特定するステップとを含み、特定されたタイミングを示す情報と所定の音声が関連づけられて符号化データに組み込まれる。
【００１１】
本発明の別の形態も通話方法に関する。この方法は、自装置で入力した音声を他装置へデータ送信する際に、自装置にて再生および出力した音声がエコーとして他装置へ送信されるデータへいかなるタイミングで重畳しているかを示す情報を当該送信されるデータへ組み込む。
【００１２】
本発明の別の態様も通話方法に関する。この方法は、自装置で入力した音声を他装置へデータ送信する際に、自装置にて入力した音声を一時的に保持し、他装置から受信したデータに出力した音声がエコーとして重畳されているタイミングに関する情報を抽出し、自装置で音声として出力する際に、エコーを取り除く。
【００１３】
本発明の別の態様は、通話装置に関する。この装置は、パケットを利用し双方向通話を行う通話装置であって、符号化された音声データが含まれるパケットから音声データを復号しスピーカより音声として出力する出力音声制御部と、マイクロフォンから音声を取得し、取得した音声を所定の長さの音声フレームに変換し、その音声フレームを符号化しパケットに変換する入力音声制御部と、前記スピーカから出力された音声が前記マイクロフォンからエコーとして音声フレームに重畳されるタイミングをその音声フレームが変換されたパケットに組み込む同期情報付加部と、を有する。この通話装置は、デジタルカメラやビデオカメラに備えられてもよい。この場合、それらカメラで撮影された画像データとリンクされ音声データの送受信が行われてもよい。
【００１４】
本発明の別の態様も通話装置に関する。この装置は、パケットを利用し双方向通話を行う通話装置であって、当該装置より通話相手に送信した音声データを、所定の大きさの音声フレーム単位もしくはパケット単位で一時的に保持するバッファ部と、通話相手より受信した音声データが含まれるパケットに埋め込まれている情報であって、バッファ部で保持されている音声データに関する情報を抽出する埋込情報抽出部と、抽出した情報を元に、バッファ部で保持されている音声データを取得し、通話相手より受信した音声データと前記バッファ部より取得した音声データを合成するエコーキャンセル処理部と、を有する。
【００１５】
本発明の別の態様は、通話システムに関する。このシステムは、第１および第２の通話装置をそれぞれ有する端末間でパケットを利用して双方向通話を行う通話システムであって、第１の通話装置は、当該通話装置で入力した音声を第２の通話装置へデータ送信する際に、当該通話装置にて再生および出力した音声がエコーとして第２の通話装置へ送信されるデータへいかなるタイミングで重畳しているかを示す情報をその送信されるデータへ組み込む機能ブロックを有し、第２の通話装置は、当該通話装置で入力した音声を第１の通話装置へデータ送信する際に、当該通話装置にて入力した音声を一時的に保持し、第１の通話装置から受信したデータに出力した音声がエコーとして重畳されているタイミングに関する情報を抽出し、受信したデータを当該通話装置で音声として出力する際に、その音声と一時的に保持されている音声とを合成しエコーを取り除く機能ブロックを有する。
【００１６】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００１７】
【発明の実施の形態】
以下の実施の形態では、インターネットを介して二つの端末間でＶｏＩＰにより音声通話を行う。一方の端末はパーソナルコンピュータ（以下、「ＰＣ」と略す）を、もう一方の端末はデータ通信機能を有するデジタルカメラを想定する。本実施の形態では、それら二つの端末間は一般的にＤＳＰ装置で構成される専用のエコーキャンセル装置を用いずにエコーキャンセルを実現する。これら端末間で音声通話を行う場合、ＰＣでは、送信した音声データを一時的に保持しておく。デジタルカメラは、スピーカーから出力された音声とマイクロフォンに入力された音声の同期情報を取得し、音声を符号化する際にその同期情報を付加してＰＣに送信する。ＰＣは、同期情報をもとに一時的に保持されている音声データを受信データから減算しエコーを抑える。つまり、デジタルカメラは、ＰＣでエコーキャンセルを行う際の同期情報を提供し、エコーキャンセルはＰＣのみで行われる。
【００１８】
図１は、本実施の形態に係るＰＣ側通話装置９０を備えるＰＣ２００とデジタルカメラ側通話装置１０を備えるデジタルカメラ１００がインターネット３００に接続された通話システム１８を示している。デジタルカメラ側通話装置１０は、無線ＬＡＮ機器やブルートゥース機器などの無線通信装置を備えアンテナ１２を介して無線によりインターネット３００に接続する。ＰＣ２００とデジタルカメラ１００は、音声通話機能を有し、これら二つの端末間でＶｏＩＰにより音声通話が行われる。
【００１９】
図２は、デジタルカメラ１００に搭載されるデジタルカメラ側通話装置１０の構成を示す。デジタルカメラ側通話装置１０は、一般的な無線によるデータの送受信を行うアンテナ１２およびアンテナ共有部１４と、受信データ制御部２０と、送信データ制御部４０と、同期情報制御部６０と、カメラ側スピーカ６２と、カメラ側マイクロフォン６４と、を備える。
【００２０】
受信データ制御部２０は、変調された受信パケットを復調する復調部２２と、復調された受信パケットを保持し待ち時間を調整するカメラ側ジッタバッファ２４と、受信パケットに含まれ符号化されている音声データを復号するカメラ側復号処理部３０と、復号された音声データの出力のタイミング調整を行う出力バッファ３２と、音声データをデジタル信号からアナログ信号に変換しカメラ側スピーカ６２に出力するカメラ側ＤＡ変換部２８を備える。
【００２１】
送信データ制御部４０は、カメラ側マイクロフォン６４から入力されたアナログ信号の音声データをデジタル信号に変換するカメラ側ＡＤ変換部５０と、デジタル信号に変換された音声データの出力タイミングを調整する入力バッファ５４と、音声データの符号化を行いパケットに変換するカメラ側符号化処理部５２と、ＰＣ２００側でエコーキャンセル処理を行う際に利用する情報（以下、「エコーキャンセル用同期情報」ともいう）を所定のパケットのヘッダに付加する同期情報付加部４６と、カメラ側送信バッファ４４と、変調部４２とを備える。
【００２２】
図３は、ＰＣ２００に搭載されるＰＣ側通話装置９０の構成を示す。ＰＣ側通話装置９０は、インターネット３００を介して音声データをパケットとして送受信する通信部１１０と、エコーキャンセル処理部１１２と、パケットに所定の処理を施し音声データを生成する出力制御部１３０と、その音声データを外部に音声として出力するＰＣ側スピーカ１７６を備える。ＰＣ側通話装置９０はさらに、外部の音声を取得するＰＣ側マイクロフォン１７８と、ＰＣ側マイクロフォン１７８から入力された音声データに後述の所定の処理を施しパケットに変換する入力制御部１５０と、第２擬似エコー生成部１７４と、をさらに備える。
【００２３】
エコーキャンセル処理部１１２は、受信したパケットからエコーキャンセル用同期情報を抽出する埋込情報抽出部１１４と、パケットの送信タイミングを調整するＰＣ側エコーバッファ１７２と、抽出したエコーキャンセル用同期情報をもとにＰＣ側エコーバッファ１７２に一時的に保持されている音声データをＰＣ側エコーバッファ１７２から後述の第１擬似エコー生成部１１８に送るバッファ制御部１１６と、抽出したエコーキャンセル用同期情報とＰＣ側エコーバッファ１７２から取得した音声データから擬似エコーを生成する第１擬似エコー生成部１１８とを備える。また、バッファ制御部１１６は、ＰＣ側エコーバッファ１７２から第１擬似エコー生成部１１８へエコー除去の利用のために音声データを送信した際に、その音声データをＰＣ側エコーバッファ１７２から消去する。
【００２４】
出力制御部１３０は、符号化されている音声データを復号し所定の大きさの音声フレームに変換するＰＣ側復号処理部１３２と、変換された音声フレームと第１擬似エコー生成部１１８で生成された擬似エコーを合成しエコーを取り除く出力側エコー除去部１３４と、音声としての出力のタイミング調整を行いジッタを軽減するＰＣ側ジッタバッファ１３６と、デジタル信号をアナログ信号に変換するＰＣ側ＤＡ変換部１３８とを備える。第２擬似エコー生成部１７４は、ＰＣ側スピーカ１７６から出力される音声を擬似エコーとして生成し、出力側エコー除去部１５４に伝達する。
【００２５】
入力制御部１５０は、音声フレームを符号化しパケットに変換するＰＣ側符号化処理部１５２と、ＰＣ側マイクロフォン１７８から入力された音声と生成された擬似エコーを合成することでデジタルカメラ１００に送信すべき音声に含まれるエコーを低減する出力側エコー除去部１５４と、アナログ信号をデジタル信号へ変換するＰＣ側ＡＤ変換部１５６とを備える。出力側エコー除去部１５４でエコーの原因が取り除かれた音声データは、ＰＣ側符号化処理部１５２に送られるとともにＰＣ側エコーバッファ１７２にも送られ、送信済み音声データとして音声フレーム単位で一時的に保持される。
【００２６】
図４は、デジタルカメラ１００における処理の流れを音声データに着目して示している。図４を用いて、上述の構成によるエコーキャンセル用同期情報の音声パケットへの付加手順を説明する。ここでは、ＰＣ２００から受信するパケットとして第１〜３の受信パケットＲｘａ〜Ｒｘｃを想定し、これらのパケットは、それぞれ符号化音声データ領域ＣＤとヘッダ領域Ｈに分けられる。これらパケットは一旦カメラ側ジッタバッファ２４に保持され、所期のタイミングでカメラ側復号処理部３０によって復号され音声フレームＤＦからなる第１〜３の出力音声フレームＲｘａａ〜Ｒｘｃｃに変換される。続いて、第１〜３の出力音声フレームＲｘａａ〜Ｒｘｃｃはカメラ側ＤＡ変換部２８でデジタル信号からアナログ信号に変換されカメラ側スピーカ６２から音声として出力される。ここで、第１〜３の受信パケットＲｘａ〜Ｒｘｃにはそれぞれパケット番号としてＲｘａ〜Ｒｘｃが付与されいているものとする。
【００２７】
一方、カメラ側マイクロフォン６４から入力された音声は、カメラ側ＡＤ変換部５０を経て所定の大きさの第１〜３の入力音声フレームＴｘａａ〜Ｔｘｃｃに変換され入力バッファ５４に入力される。これら音声フレームは、カメラ側符号化処理部５２で符号化音声データ領域ＣＤとヘッダ領域Ｈからなる第１〜３の送信パケットＴｘａ〜Ｔｘｃに変換され所期のタイミングで変調部４２に出力される。
【００２８】
ここで、入力バッファ５４に第３の入力音声フレームＴｘｃｃの先頭となる音声が入力されたとき、出力バッファ３２では、第１の出力音声フレームＲｘａａが出力の途中であり、未出力の音声データが残っている。この残っている音声データの量をオフセットＦＯとする。
【００２９】
ここで、同期情報制御部６０は、第１の出力音声フレームＲｘａａの復号化前のパケットである第１の受信パケットＲｘａのパケット番号Ｒｘａとオフセット量ＦＯを取得し、同期情報付加部４６に通知する。同期情報付加部４６は、第３の入力音声フレームＴｘｃｃが符号化される際にそのヘッダ領域にパケット番号Ｒｘａとオフセット量ＦＯをエコーキャンセル用同期情報として付加する。
【００３０】
ここで、エコーキャンセル用同期情報の付加処理は、すべての入力音声フレームに対してなされてもよいが、一旦同期が確立すれば所定の期間は同期情報がなくても概ね同期をとることが可能となる。そこで、デジタルカメラ１００の処理負荷を低減するために、例えば５秒毎や１０フレーム毎など所定の間隔でエコーキャンセル用同期情報の付加処理がなされる。エコーキャンセル用同期情報にはこの処理周期に関する情報も付加されてもよい。所定の間隔で前述の付加処理を行うことで、例えば一部のパケットがインターネット３００を通過中に消失し同期がずれてしまっても、ＰＣ２００側で同期の修正が可能となり通話品位の低下を抑制できる。以下、エコーキャンセル用同期情報の付加は３フレーム毎に行われ、エコーキャンセル用同期情報として、処理周期「３フレーム」も付加されるものとする。
【００３１】
図５は、ＰＣ２００によるエコーキャンセル処理手順を示すタイミングチャートを示している。ここでは第１〜３受信パケットＲｘ１〜Ｒｘ３の流れを示す。いま、第１の受信パケットＲｘ１のヘッダ領域Ｈにエコーキャンセル用同期情報が付加されている。例えば、エコーキャンセル用同期情報としてパケット番号Ｔｘ１、オフセットＦＯ、処理周期３が記述されており、埋込情報抽出部１１４でこのエコーキャンセル用同期情報がヘッダ領域Ｈより抽出される。抽出されたエコーキャンセル用同期情報は、バッファ制御部１１６に通知される。
【００３２】
バッファ制御部１１６は、ＰＣ側エコーバッファ１７２からエコーキャンセル用同期情報をもとに第１擬似エコー生成部１１８で擬似エコーを生成するために必要とされる音声フレーム、ここでは第１〜第４の送信済み音声データＴｘ１１〜Ｔｘ４４を取り出し第１擬似エコー生成部１１８に送信する。
【００３３】
第１擬似エコー生成部１１８は、先頭のデータとして第１の送信済み音声データＴｘ１１のオフセットＯＦに対応するデータ、次に第２の送信済み音声データＴｘ２２、第３の送信済み音声データＴｘ３３、最後に第４の送信済み音声データＴｘ４４のオフセットＯＦに対応するデータをのぞいた部分となるように擬似エコーを生成する。生成された擬似エコーは出力側エコー除去部１３４に送られ、第１〜３の復号済み音声フレームから構成される音声データから減算される。これによって、エコーが除去される。
【００３４】
図６は、デジタルカメラ１００によるエコーキャンセル用同期情報の付加処理の手順を示すフローチャートである。同期情報制御部６０は、エコーキャンセル用同期情報の付加処理を行う処理周期を、例えば３フレームと設定する（Ｓ１０）。これは、デジタルカメラ１００が自動で設定してもよいし、そのユーザの操作を受けて設定してもよい。音声通話が開始されると（Ｓ１２）、無音状態か否かが判定される（Ｓ１４）。つまり、カメラ側マイクロフォン６４から音声の入力があるか否かが判定される。無音状態である場合（Ｓ１４のＹ）、音声の入力があるまで無音状態の判定が継続される。無音状態でない場合（Ｓ１４のＮ）、エコーキャンセル用同期情報の付加処理が開始され（Ｓ１６）、処理周期タイマが始動する（Ｓ１８）。続いて、処理周期タイマをカウントアップする（Ｓ２０）。次に、音声通話が終了しているか否かが判定され（Ｓ２２）、音声通信が終了である場合（Ｓ２２Ｙ）、ＰＣ２００との通信が切断される。音声通信を継続する場合（Ｓ２２のＮ）、処理周期タイマのカウント値が処理終了時間であるか否か、ここでは３フレーム分の音声が入力されたかを判定する（Ｓ２４）。処理終了時間に達しない場合（Ｓ２４のＮ）、Ｓ２０のステップに戻る。処理終了時間に達した場合（Ｓ２４のＹ）、Ｓ１４のステップに戻り、以降上記の一連の処理ステップを継続する。
【００３５】
図７は、ＰＣ２００において、受信したパケットからエコーを取り除いてスピーカから音声を出力する手順を示すフローチャートである。まず、埋込情報抽出部１１４は受信したパケットのヘッダ領域からエコーキャンセル用同期情報の有無を確認し、存在する場合、エコーキャンセル用同期情報を抽出する（Ｓ３０）。続いて、カメラ側復号処理部３０はパケットを復号し音声フレームに変換する（Ｓ３２）。これと平行して、バッファ制御部１１６は、抽出したエコーキャンセル用同期情報をもとに擬似エコーを生成するために必要なＰＣ側エコーバッファ１７２に保持されている送信済み音声データを取りだし、第１擬似エコー生成部１１８に送る（Ｓ３４）。第１擬似エコー生成部１１８は、送信済み音声データから擬似エコーを生成する（Ｓ３６）。つづいて、出力側エコー除去部１３４は、復号した音声フレームから生成した擬似エコーを減算し、エコー除去処理を行う（Ｓ３８）。エコーが除去された音声は、ＰＣ側ジッタバッファ１３６でジッタタイミングの調整が行われ（Ｓ４０）、ＰＣ側ＤＡ変換部１３８を経てＰＣ側スピーカ１７６から出力される（Ｓ４２）。つぎに、音声通信が終了か否かが判定され（Ｓ４４）、音声通信が継続される場合（Ｓ４４のＮ）、Ｓ３０のステップに戻り上述の一連の処理が行われる。音声通信が終了の場合（Ｓ４４のＹ）、デジタルカメラ１００との通信が切断される。
【００３６】
図８はＰＣ２００において、ＰＣ側マイクロフォン１７８から入力された音声に施される処理手順を示したフローチャートである。ＰＣ側マイクロフォン１７８から入力された音声は、ＰＣ側ＡＤ変換部でデジタル信号からアナログ信号に変換され出力側エコー除去部に送られ、デジタルカメラ１００に送信する音声データからエコーを除去する（Ｓ５０）。エコーが除去された音声データは、フレーム単位で、ＰＣ側エコーバッファ１７２に保持されるとともに（Ｓ５２）、ＰＣ側符号化処理部で音声データが符号化され（Ｓ５４）、パケットが生成されデジタルカメラ１００に送信される（Ｓ５６）。つぎに、音声通信が終了か否かが判定され（Ｓ５８）、音声通信が継続される場合（Ｓ５８のＮ）、Ｓ５０のステップに戻り上述の一連の処理が行われる。音声通信が終了の場合（Ｓ５８のＹ）、デジタルカメラ１００との通信が切断される。
【００３７】
実施の形態では、ＰＣ２００においてＰＣ側エコーバッファ１７２は音声フレームとして音声データを一時的に保持したがこれに限らず、符号化した後、つまりパケットとして保持してもよい。図９は、ＰＣ２００の構成の変形例であり、ＰＣ側エコーバッファ１７２は音声フレームとして音声データをパケットとして保持する。図３で示した構成と異なる点は、データバッファ復号処理部１８０を含むことにある。バッファ制御部１１６は、エコーキャンセル用同期情報にもとづき、ＰＣ側エコーバッファ１７２から所定のパケットを取りだし、データバッファ復号処理部１８０に送る。データバッファ復号処理部１８０は、パケットを音声フレームに復号して第１擬似エコー生成部１１８に送る。
【００３８】
上述の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００３９】
以上、本発明によれば、エコーキャンセル専用のＤＳＰ装置を使用せずに、エコーキャンセルを実現することができる。特に、デジタルカメラのように本来通話が想定されていない機器であっても、コストの上昇を抑えつつ、また処理負荷を抑えつつエコーキャンセルを実現できる。本発明のように、比較的低負荷な処理でエコーキャンセルが実現できるため、電池の消耗を抑えることができるといった点も効果的である。
【００４０】
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４１】
また、本発明の別形態として以下のようなシステムも考えられる。第１および第２の通話装置をそれぞれ有する端末間でパケットを利用して双方向通話を行う通話システムであって、前記第１の通話装置は、第２の通話装置から送信されたパケットから符号化された音声データを復号し音声フレームである復号音声フレームに変換し、復号した音声データをスピーカに出力する出力音声制御部と、マイクロフォンから音声データを取得し、取得した音声データを所定の大きさの音声フレームである入力音声フレームに変換しその音声フレームを符号化しパケットに変換する入力音声制御部と、前記入力音声フレームの先頭となる音声データが前記マイクロフォンに入力された時点において前記出力制御部から前記スピーカへ出力された音声データが含まれていた第２の通話装置より送信されたパケットおよび前記音声データの復号音声フレームに含まれる未出力のデータ量を特定する同期情報特定部と、前記特定されたパケットおよび前記未出力のデータ量を前記入力音声フレームが符号化されて含まれるパケットに付加する同期情報付加部と、を有し、前記第２の通話装置は、前記第１の通話装置に送信した音声データを所定の大きさの音声フレームもしくはパケット単位で一時的に保持するバッファ部と、前記第２の通話装置より受信したパケットより、前記第２の通話装置の同期情報付加部で付加された情報を抽出する埋込情報抽出部と、抽出された情報をもとに、前記バッファ部より音声データを取得するバッファ制御部と、前記バッファ部より取得した音声データを擬似エコーとして生成する擬似エコー生成部と、前記抽出された情報をもとに前記受信したパケットから復号された音声データと前記生成した擬似エコーの同期をとり、前記音声データから前記生成した擬似エコーを減算するエコーキャンセル処理部と、を有する。
【００４２】
【発明の効果】
本発明によると、パケットにより双方向通話が行われる装置において通話品位の低下が抑制される。また別の観点では、パケットにより双方向通話が行われる装置においてエコー除去が可能となる。
【図面の簡単な説明】
【図１】本実施の形態に係るＰＣ側通話装置を備えるＰＣとデジタルカメラ側通話装置を備えるデジタルカメラがインターネットに接続された通話システムを示す図である。
【図２】デジタルカメラに搭載されるデジタルカメラ側通話装置の構成図である。
【図３】ＰＣに搭載されるＰＣ側通話装置の構成図である。
【図４】デジタルカメラにおける処理の流れを音声データに着目して示す図である。
【図５】ＰＣにおけるエコーキャンセルの処理の流れを音声データに着目して示す図である。
【図６】デジタルカメラによるエコーキャンセル用同期情報の付加処理の手順を示すフローチャートである。
【図７】ＰＣにおいて受信したパケットからエコーを取り除いてスピーカから音声を出力する手順を示すフローチャートである
【図８】ＰＣにおいてマイクロフォンから入力された音声に施される処理手順を示すフローチャートである。
【図９】変形例におけるＰＣに搭載されるＰＣ側通話装置の構成図である。
【符号の説明】
１０  デジタルカメラ側通話装置、  ２０  受信データ制御部、  ３０  カメラ側復号処理部、  ３２  出力バッファ、  ４０  送信データ制御部、  ４６  同期情報付加部、  ６０  同期情報制御部、  ６２  カメラ側スピーカ、  ６４カメラ側マイクロフォン、  ９０  ＰＣ側通話装置、  １００  デジタルカメラ、  １１２  エコーキャンセル処理部、  １１４  埋込情報抽出部、  １１６バッファ制御部、  １１８  第１擬似エコー生成部、  １３０  出力制御部、１３２  ＰＣ側復号処理部、  １３４  出力側エコー除去部、１７６  ＰＣ側スピーカ、  １７８  ＰＣ側マイクロフォン。
【図１】
2004153583.tif 000003
【図２】
2004153583.tif 000004
【図３】
2004153583.tif 000005
【図４】
2004153583.tif 000006
【図５】
2004153583.tif 000007
【図６】
2004153583.tif 000008
【図７】
2004153583.tif 000009
【図８】
2004153583.tif 000010
【図９】
2004153583.tif 000011