(57)【要約】【課題】  通話の音声に対してＢＧＭや効果音の音量レベルは、予め設定された所定のレベルに固定されている。【解決手段】  デコード部１７のデコード出力（ＰＣＭデータ）には、ユーザが設定するＳＥ音量レベルであるゲイン係数ｋ２がゲイン調整部１８により乗算される。このゲイン調整部１８の乗算出力は、加算部１３に供給される。デコード部２０のデコード出力には、ユーザが設定するＢＧＭ音量レベルであるゲイン係数ｋ３がゲイン調整部２１により乗算される。このゲイン調整部２１の乗算出力は、加算部１３に供給される。加算部１３は、３つのゲイン調整部１２、１８、２１の乗算出力を飽和処理をしつつ加算し、加算出力をエンコード部２２に供給する。【選択図】  図２
2005045738.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して音声による対話のための双方向通信を行う通話装置において、
送信系として、
収音した音声を電気信号に変換する音声変換手段からの音声信号に可変のゲイン係数を乗じてゲインを調整する第１のゲイン調整手段と、
音のデータをファイル単位で記憶している音データ記憶手段と、
前記音データ記憶手段から読み出したファイル単位の音データをデコードするデコード手段と、
前記デコード手段からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第２のゲイン調整手段と、
前記第１のゲイン調整手段からの第１の出力と前記第２のゲイン調整手段からの第２の出力とを合成する合成手段と、
前記合成手段の合成出力をエンコードするエンコード手段と、
前記エンコード手段からのエンコード出力を前記ネットワークに送信する送信手段とを備え、
受信系として、
前記ネットワークを介して他の通話装置の送信手段から送信されてきたエンコード出力を受信する受信手段と、
前記受信手段で受信されたエンコードデータをデコードするデコード手段と、
前記デコード手段からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第３のゲイン調整手段と、
前記第３のゲイン調整手段からの出力を音に変換して出力する音出力手段と
を備える
ことを特徴とする通話装置。
【請求項２】
前記音データ記憶手段は、数分間単位で継続する音である音楽や、数秒間単位の効果音のデータを記憶していることを特徴とする請求項１記載の通話装置。
【請求項３】
前記音データ記憶手段は、前記音楽や効果音のファイルを、ネットワークに接続されたサーバからダウンロードして記憶していることを特徴とする請求項２記載の通話装置。
【請求項４】
前記音楽や効果音のファイルには、デフォルト音量及び音量幅の情報が記述されていることを特徴とする請求項３記載の通話装置。
【請求項５】
前記双方向通信はインターネットを介して行われることを特徴とする請求項１記載の通話装置。
【請求項６】
前記インターネットを介して行われる双方向通信は、リアルタイム・トランスポート・プロトコルにしたがった通信であることを特徴とする請求項５記載の通話装置。
【請求項７】
前記送信系は前記エンコード手段からのエンコード出力をパケット化して前記送信手段に渡すパケット化手段を備え、前記受信系は前記受信手段が受信したパケットを解くデパケット化手段を備えることを特徴とする請求項６記載の通話装置。
【請求項８】
他の通話装置と前記合成手段からの合成出力を用いた通話を行っている途中で、送信側にて保留ボタンが操作されたときには、前記第２のゲイン調整手段は前記音データ記憶手段に記憶されている数分間単位で継続する音である音楽データに乗算するゲイン係数を予め設定された所定の値に置き換えることを特徴とする請求項１記載の通話装置。
【請求項９】
前記第１のゲイン調整手段は、送信側にて保留ボタンが操作されたときには、音声変換手段からの音声信号に０を乗算して音声をオフにすることを特徴とする請求項８記載の通話装置。
【請求項１０】
送信側にて保留ボタンが操作されたときには、前記音声変換手段をオフにすることを特徴とする請求項８記載の通話装置。
【請求項１１】
ネットワークを介して音声による対話のための双方向通信を行う通話方法において、
送信側にあっては、収音した音声を電気信号に変換する音声変換手段からの音声信号に可変のゲイン係数を乗じてゲインを調整する第１のゲイン調整工程と、
音のデータをファイル単位で記憶している音データ記憶手段から読み出したファイル単位の音データをデコードするデコード工程と、
前記デコード工程からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第２のゲイン調整工程と、
前記第１のゲイン調整工程からの第１の出力と前記第２のゲイン調整工程からの第２の出力とを合成する合成工程と、
前記合成工程の合成出力をエンコードするエンコード工程と、
前記エンコード工程からのエンコード出力を前記ネットワークに送信する送信工程と、
受信側にあっては、前記ネットワークを介して送信工程から送信されてきたエンコード出力を受信する受信工程と、
前記受信工程で受信されたエンコードデータをデコードするデコード工程と、
前記デコード工程からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第３のゲイン調整工程と、
前記第３のゲイン調整工程からの出力を音に変換して出力する音出力工程と
を備える
ことを特徴とする通話方法。
【請求項１２】
前記音データ記憶手段は、数分間単位で継続する音である音楽や、数秒間単位の効果音のデータを記憶していることを特徴とする請求項１１記載の通話方法。
【請求項１３】
前記双方向通信はインターネットを介して行われることを特徴とする請求項１１記載の通話方法。
【請求項１４】
前記インターネットを介して行われる双方向通信は、リアルタイム・トランスポート・プロトコルにしたがった通信であることを特徴とする請求項１１記載の通話方法。
【請求項１５】
前記送信側は前記エンコード工程からのエンコード出力をパケット化して前記送信工程に渡すパケット化工程を備え、前記受信側は前記受信工程が受信したパケットを解くデパケット化工程を備えることを特徴とする請求項１４記載の通話方法。
【請求項１６】
他の通話装置と前記合成工程からの合成出力を用いた通話を行っている途中で、送信側にて保留ボタンが操作されたときには、前記第２のゲイン調整工程は前記音データ記憶手段に記憶されている数分間単位で継続する音である音楽データに乗算するゲイン係数を予め設定された所定の値に置き換えることを特徴とする請求項１１記載の通話方法。
【請求項１７】
前記第１のゲイン調整工程は、送信側にて保留ボタンが操作されたときには、音声変換手段からの音声信号に０を乗算して音声をオフにすることを特徴とする請求項１６記載の通話方法。
【請求項１８】
送信側にて保留ボタンが操作されたときには、前記音声変換手段をオフにすることを特徴とする請求項１６記載の通話方法。
【請求項１９】
ネットワークに接続された複数の通話装置を用いて音声による対話のための双方向通信を行う通話システムにおいて、
前記複数の通話装置は、送信系として、
収音した音声を電気信号に変換する音声変換手段からの音声信号に可変のゲイン係数を乗じてゲインを調整する第１のゲイン調整手段と、
音のデータをファイル単位で記憶している音データ記憶手段と、
前記音データ記憶手段から読み出したファイル単位の音データをデコードするデコード手段と、
前記デコード手段からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第２のゲイン調整手段と、
前記第１のゲイン調整手段からの第１の出力と前記第２のゲイン調整手段からの第２の出力とを合成する合成手段と、
前記合成手段の合成出力をエンコードするエンコード手段と、
前記エンコード手段からのエンコード出力を前記ネットワークに送信する送信手段とを備え、
受信系として、
前記ネットワークを介して他の通話装置の送信手段から送信されてきたエンコード出力を受信する受信手段と、
前記受信手段で受信されたエンコードデータをデコードするデコード手段と、
前記デコード手段からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第３のゲイン調整手段と、
前記第３のゲイン調整手段からの出力を音に変換して出力する音出力手段と
を備えることを特徴とする通話システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は高い音質環境下での通話を可能とする例えばインターネットのようなネットワークを用いた通話装置及び通話方法に関し、通話音声の他にバックグランドミュージック（Back ground music：ＢＧＭ）或いは効果音（Sound effect：ＳＥ）を送受信する通話装置及び通話方法、並びに通話システムに関する。
【背景技術】
【０００２】
本件出願人は、特開２００２−３４４５７１号公報にて、音楽を聴きながら通話を行うことができるようにし、より楽しく通話を楽しむことができる通話装置及び通話方法等に関する技術を開示した。この通話装置は、ＢＧＭとして用いる音楽コンテンツデータを記憶手段に記憶しており、相手と通話手段により通話が行われているとき、再生手段により記憶手段から音楽コンテンツを再生する。このとき、制御手段により、相手からの音声とコンテンツの再生音の両方が聞こえるように制御している。また、通話手段は、コンテンツの再生音を相手側にも送信する。なお、通話中にあってＢＧＭとして用いる音楽の再生レベルは、予め設定されている所定のレベルに低下させる。この技術により、ユーザは、通話をしつつ、音楽をＢＧＭとして楽しむことが可能となる。
【０００３】
また、本件出願人は、特開平７−１４３２２１号公報にて、保留音として用いる複数の音楽コンテンツを外部から電話回線を介して取り込み、識別データに対応付けて光磁気ディスクに記録し、識別データに基づいたユーザの選択等に応じて保留音として再生することができる電話装置に関する技術を開示した。
【０００４】
【特許文献１】特開２００２−３４４５７１号公報
【特許文献２】特開平７−１４３２２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、前記特許文献１に開示された技術を用いると、通話の音声に対してＢＧＭや効果音の音量レベルは、予め設定された所定のレベルに固定されることになり、使用する環境によっては利用者にとってＢＧＭやＳＥの音量レベルが大き過ぎると感じ、通話音声を聞きにくいものとする虞がある。また、逆に折角のＢＧＭやＳＥの音量レベルが小さすぎて使いにくいものとなる。
【０００６】
また、通話中にＢＧＭを流す電話装置において、前記特許文献２に開示された技術を用いて保留音を記憶媒体に記憶しておくと、前記ＢＧＭとは異なる音楽データを専用の記憶部に記憶することになるので記憶媒体に記憶するべき他のデータ、例えば留守電のメッセージ等の記憶量が制限を受けてしまうことになる。
【課題を解決するための手段】
【０００７】
本発明に係る通話装置は、前記課題を解決するために、ネットワークを介して音声による対話のための双方向通信を行う通話装置において、送信系として、収音した音声を電気信号に変換する音声変換手段からの音声信号に可変のゲイン係数を乗じてゲインを調整する第１のゲイン調整手段と、音のデータをファイル単位で記憶している音データ記憶手段と、前記音データ記憶手段から読み出したファイル単位の音データをデコードするデコード手段と、前記デコード手段からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第２のゲイン調整手段と、前記第１のゲイン調整手段からの第１の出力と前記第２のゲイン調整手段からの第２の出力とを合成する合成手段と、前記合成手段の合成出力をエンコードするエンコード手段と、前記エンコード手段からのエンコード出力を前記ネットワークに送信する送信手段とを備え、受信系として、前記ネットワークを介して他の通話装置の送信手段から送信されてきたエンコード出力を受信する受信手段と、前記受信手段で受信されたエンコードデータをデコードするデコード手段と、前記デコード手段からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第３のゲイン調整手段と、前記第３のゲイン調整手段からの出力を音に変換して出力する音出力手段とを備える。
【０００８】
第１のゲイン調整手段は通話のための音声に可変のゲイン係数を乗じてゲインを調整し、第２のゲイン調整手段は音データに可変のゲイン係数を乗じてゲインを調整する。つまり、音声と音データは別々にゲインが調整される。
【０００９】
また、本発明の通話装置によれば、他の通話装置と合成手段からの合成出力を用いた通話を行っている途中で、送信側にて保留ボタンが操作されたときには、第２のゲイン調整手段が音データ記憶手段に記憶されている数分間単位で継続する音である音楽データに乗算するゲイン係数を予め設定された所定の値に置き換える。
【００１０】
本発明に係る通話方法は、前記課題を解決するために、ネットワークを介して音声による対話のための双方向通信を行う通話方法において、送信側にあっては、収音した音声を電気信号に変換する音声変換手段からの音声信号に可変のゲイン係数を乗じてゲインを調整する第１のゲイン調整工程と、音のデータをファイル単位で記憶している音データ記憶手段から読み出したファイル単位の音データをデコードするデコード工程と、前記デコード工程からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第２のゲイン調整工程と、前記第１のゲイン調整工程からの第１の出力と前記第２のゲイン調整工程からの第２の出力とを合成する合成工程と、前記合成工程の合成出力をエンコードするエンコード工程と、前記エンコード工程からのエンコード出力を前記ネットワークに送信する送信工程と、受信側にあっては、前記ネットワークを介して送信工程から送信されてきたエンコード出力を受信する受信工程と、前記受信工程で受信されたエンコードデータをデコードするデコード工程と、前記デコード工程からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第３のゲイン調整工程と、前記第３のゲイン調整工程からの出力を音に変換して出力する音出力工程とを備える。
【００１１】
第１のゲイン調整工程は通話のための音声に可変のゲイン係数を乗じてゲインを調整し、第２のゲイン調整工程は音データに可変のゲイン係数を乗じてゲインを調整する。つまり、音声と音データは別々にゲインが調整される。
【００１２】
本発明に係る通話システムは、前記課題を解決するために、ネットワークに接続された複数の通話装置を用いて音声による対話のための双方向通信を行う通話システムにおいて、前記複数の通話装置は、送信系として、収音した音声を電気信号に変換する音声変換手段からの音声信号に可変のゲイン係数を乗じてゲインを調整する第１のゲイン調整手段と、音のデータをファイル単位で記憶している音データ記憶手段と、前記音データ記憶手段から読み出したファイル単位の音データをデコードするデコード手段と、前記デコード手段からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第２のゲイン調整手段と、前記第１のゲイン調整手段からの第１の出力と前記第２のゲイン調整手段からの第２の出力とを合成する合成手段と、前記合成手段の合成出力をエンコードするエンコード手段と、前記エンコード手段からのエンコード出力を前記ネットワークに送信する送信手段とを備え、受信系として、前記ネットワークを介して他の通話装置の送信手段から送信されてきたエンコード出力を受信する受信手段と、前記受信手段で受信されたエンコードデータをデコードするデコード手段と、前記デコード手段からのデコード出力に可変のゲイン係数を乗じてゲインを調整する第３のゲイン調整手段と、前記第３のゲイン調整手段からの出力を音に変換して出力する音出力手段とを備える。
【００１３】
第１のゲイン調整手段は通話のための音声に可変のゲイン係数を乗じてゲインを調整し、第２のゲイン調整手段は音データに可変のゲイン係数を乗じてゲインを調整する。つまり、音声と音データは別々にゲインが調整される。
【発明の効果】
【００１４】
本発明の通話装置によれば、第１のゲイン調整手段が通話のための音声に可変のゲイン係数を乗じてゲインを調整し、第２のゲイン調整手段が音データに可変のゲイン係数を乗じてゲインを調整するので、ＢＧＭやＳＥの音量レベルを、通話音声の音量レベルとは別に調整することによって、高品質の通話音声を守りながらも、利用者の使い易い、好みに応じた利用、演出を可能とする。
【００１５】
また、本発明の通話装置によれば、他の通話装置と合成手段からの合成出力を用いた通話を行っている途中で、送信側にて保留ボタンが操作されたときには、第２のゲイン調整手段が音データ記憶手段に記憶されている数分間単位で継続する音である音楽データに乗算するゲイン係数を予め設定された所定の値に置き換えるので、特に保留音用のデータを記憶する必要がない。つまり、ＢＧＭを保留音として用い、保留音としのて専用ファイルを不要とし、記憶容量を減らすことがない。また、ＢＧＭを保留音として用いるときにあっては、最適な音量レベルとすることができる。また、再生機能を一つにできることでシステムをシンプルにすることができる。
【００１６】
本発明の通話方法によれば、第１のゲイン調整工程が通話のための音声に可変のゲイン係数を乗じてゲインを調整し、第２のゲイン調整工程が音データに可変のゲイン係数を乗じてゲインを調整するので、ＢＧＭやＳＥの音量レベルを、通話音声の音量レベルとは別に調整することによって、高品質の通話音声を守りながらも、利用者の使い易い、好みに応じた利用、演出を可能とする。
【００１７】
本発明の通話システムによれば、通話装置の第１のゲイン調整手段が通話のための音声に可変のゲイン係数を乗じてゲインを調整し、第２のゲイン調整手段が音データに可変のゲイン係数を乗じてゲインを調整するので、ＢＧＭやＳＥの音量レベルを、通話音声の音量レベルとは別に調整することによって、高品質の通話音声を守りながらも、利用者の使い易い、好みに応じた利用、演出を可能とする。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態としてボイス・オーバー・アイピー（Voice over IP：ＶｏＩＰ）と呼ばれるインターネット電話のプロトコルに従ったＶｏＩＰ通話システムと、このシステムに用いられるＶｏＩＰクライアントを挙げる。
【００１９】
先ず、ＶｏＩＰ通話システムの概略について説明する。このＶｏＩＰ通話システムは、ＶｏＩＰクライアント間の通話音声の他にバックグランドミュージック（Back ground music：ＢＧＭ）或いは効果音（Sound effect：ＳＥ）を送受信する。
【００２０】
図１に示すように、ＶｏＩＰ通話システム１にあってＶｏＩＰクライアント（Client）２は、例えば公衆回線等３によりインターネット４に接続され、同じくインターネット４に接続されている他のＶｏＩＰクライアント５と音声による対話のための双方向の通信（対話）を行う。インターネット４には、ＶｏＩＰサーバ（Server）６も接続されており、ＶｏＩＰに基づいた通信の制御等を行う。なお、このＶｏＩＰ通話システム１では、ＶｏＩＰクライアント２とＶｏＩＰクライアント５の二者間の通話を例に挙げるが、ＶｏＩＰクライアントは二つに限らず、よって通話システムへの参加者は２以上であることはもちろんである。
【００２１】
インターネット４は、一般公衆回線などの通信回線や、情報通信ネットワークを複数接続することによって世界中に拡がったネットワーク環境である。現在、広帯域、高速な通信回線の普及によってブロードバンド伝送（Broadband Transmission）を可能としている。光ファイバー、非対称ディジタル加入者線、無線等を用い、500kbps以上の通信回線でネットワークを構成している。
【００２２】
ＶｏＩＰサーバ６は、ＶｏＩＰ通話システム１にあって契約者のＩＰアドレスの管理や、認証、あるいは通信の制御を行う。ワークステーションのようなコンピュータより構成されている。もちろん、課金処理のためのサーバや、契約者のＩＰアドレス他管理情報を処理するサーバを別に設けてもよい。
【００２３】
ＶｏＩＰクライアント２は、マイクロフォンとスピーカ、又はマイクロフォン７ａとヘッドフォン７ｂとをセットにしたヘッドセット７を接続した例えばパーソナルコンピュータ（Personal computer：ＰＣ）である。ＰＣがソフトウェアで実現されるＶｏＩＰクライアントプログラム２ａを実行することによりＶｏＩＰクライアント２になる。なお、以下では、ＶｏＩＰクライアント２がＶｏＩＰクライアント５に電話をかける場合、つまりＶｏＩＰクライアント２が始めに送信し、ＶｏＩＰクライアント５が受信するという状況を想定する。もちろん、ＶｏＩＰクライアント５も、ＶｏＩＰクライアントプログラム５ａを実行するＰＣよりなり、始めに送信側となるときには本発明に基づいて同様の動作を行う。
【００２４】
送信側であるＶｏＩＰクライアント２は、ＶｏＩＰ通話中に背景音として例えば数分間単位で継続する音である音楽（Back ground music：ＢＧＭ）等や、例えば数秒間単位の効果音（Sound effect：ＳＥ）を通話音声に合成していわゆるミキシングをする。ＶｏＩＰクライアント２は、通話音はもちろん、背景音や効果音の音量レベルも個別に調整することにより、本発明の課題、すなわちヘッドセット７のマイクロフォン７ａより入力される通話音が固定の音量レベルとされた背景音によって聞きとりにくかったり、逆に背景音としての効果が発揮できないという問題を解決する。
【００２５】
以下、ＶｏＩＰクライアント２が背景音や効果音の音量レベルを個別に調整できる構成、及び動作について図２を参照して説明する。ＶｏＩＰクライアント２は、ＶｏＩＰクライアントプログラム２ａを実行することにより、送信系１０、受信系３０がそれぞれ機能的に以下に説明するように構成される。先ず、送信系１０にあって、マイクロフォン７ａにて収音されて電気信号に変換されたユーザの音声に基づく電気信号はマイクキャプチャー部１１にて取り込まれる。マイクキャプチャー部１１が取り込んだ音声に基づく電気信号には、ユーザが設定するマイク音量レベルであるゲイン係数ｋ１がゲイン調整部１２により乗算される。このゲイン調整部１２の乗算出力は、ミキシングを行うことになる合成部である加算部１３に供給される。
【００２６】
また、ＶｏＩＰクライアント２は、例えば、マシンガンの銃声、雷鳴、拍手音、笑い声など、数秒間単位の効果音を例えばＰＣＭデータにしてからそれぞれＭＰ３（MPEG-1 Audio Layer-III）や、MPEG4、あるいはＡＴＲＡＣ（Adaptive Transform Acoustic Coding）等の圧縮技術により予め圧縮し、ファイル単位のＳＥデータとしてＳＥファイル記憶部１４に複数ファイル分記憶している。ＳＥファイル記憶部１４としては、後述するようなハードディスクドライブ（ＨＤＤ）や、ＲＯＭ、光磁気ディスクが挙げられる。
【００２７】
また、ＶｏＩＰクライアント２は、例えば、波の音、小鳥のさえずり、或いは様々なジャンルの音楽などよりなる、数分間単位の背景音を例えばＰＣＭデータにしてからそれぞれＭＰ３や、MPEG4、あるいはＡＴＲＡＣ等の圧縮技術により予め圧縮し、ファイル単位のＢＧＭデータとしてＢＧＭファイル記憶部１５に複数ファイル分記憶している。
【００２８】
ＳＥファイル記憶部１４に記憶されているＳＥファイルは、使用者の所望によって選択されるとＳＥファイル読み出し部１６によって図示しないＲＡＭに読み出されながらデコード部１７にてデコードされてＰＣＭデータとなる。デコード部１７のデコード出力（ＰＣＭデータ）には、ユーザが設定するＳＥ音量レベルであるゲイン係数ｋ２がゲイン調整部１８により乗算される。このゲイン調整部１８の乗算出力は、加算部１３に供給される。
【００２９】
ＢＧＭファイル記憶部１５に記憶されているＢＧＭファイルも、使用者の所望によって選択されるとＢＧＭファイル読み出し部１７によって図示しないＲＡＭに読み出されながらデコード部２０にてデコードされてＰＣＭデータとなる。デコード部２０のデコード出力には、ユーザが設定するＢＧＭ音量レベルであるゲイン係数ｋ３がゲイン調整部２１により乗算される。このゲイン調整部２１の乗算出力は、加算部１３に供給される。加算部１３は、３つのゲイン調整部１２、１８、２１の乗算出力を飽和処理をしつつ加算し、加算出力をエンコード部２２に供給する。
【００３０】
エンコード部２２は、加算部１３の加算出力（ＰＣＭデータ）をＭＰ３や、MPEG4、あるいはＡＴＲＡＣ等の圧縮技術により数十ｋbps、例えば６４kbpsに圧縮する。このエンコード部２２が行う、ＭＰ３や、MPEG4、あるいはＡＴＲＡＣ等の圧縮技術は、ＣＤで採用されているＰＣＭオーディオデータ等に対して施される高能率の音響圧縮符号化復号化技術である。よって、パケット化されてからインターネットを介して伝送され、受信側にて再生されたオーディオは、ステレオ２チャンネル化が可能であり、また高音質である。
【００３１】
この圧縮データは、リアルタイム・トランスポート・プロトコル（Real-time Transport Protocol：ＲＴＰ）に従ってデータをパケット化するＲＴＰパケット化（packetize）部２３に供給される。ＲＴＰパケット化部２３は、前記圧縮データをＲＴＰのパケットに入れ、さらにＵＤＰ、ＩＰとパケッタイズする。ＲＴＰに従ったパケット化については詳細を後述する。パケット化されたパケットデータは送信部２４からインターネットに送られる。
【００３２】
受信系３０にあって、インターネット４を介して他のＶｏＩＰクライアント５から送信されてきたパケットデータは受信部３１によって受信される。受信部３１で受信されたパケット化データは、ＲＴＰデパケット化（depacketize）部３２にて解かれる。デジッタ（de-jitter）部３３は、ＲＴＰデパケット化部３２にてＩＰ、ＵＤＰから解かれたＲＴＰのタイムスタンプ、シーケンシャルナンバーを基に到着時間の補正を行う。
【００３３】
パケット補償（packet loss compensator）部３４は前記ＲＴＰのタイムスタンプ、シーケンシャルナンバーを基にパケット損失の補償を行い、補償データをデコード部３５に送る。デコード部３５は、到着時間の補正、パケットロスの補償が行われた圧縮データをＰＣＭデータにデコードし、ＰＣＭデータをゲイン調整部３６に送る。ゲイン調整部３６は、前記ＰＣＭデータに使用者が設定する再生音量レベルであるゲイン係数ｋ５を乗算する。このゲイン調整部３６の乗算出力は加算部３７に送られる。また、送信される音声を通話相手と共有するため、ゲイン調整部３８において送信音声データに使用者が設定するループバック音量レベルであるゲイン係数ｋ４を乗算する。ゲイン調整部３８の乗算出力も加算部３７に供給される。
【００３４】
さらに、このＶｏＩＰクライアント２は、着信音（Ring Tone）を例えばＰＣＭデータにしてからそれぞれＭＰ３や、MPEG4、あるいはＡＴＲＡＣ等の圧縮技術により予め圧縮し、ファイル単位の着信音データとして着信音ファイル記憶部３９に複数ファイル分記憶している。
【００３５】
着信音ファイル記憶部３９からの着信音ファイルは、使用者の所望によって予め選択されており、着信のタイミングに従ってリングトーン読み出し部４０によって図示しないＲＡＭに読み出され、デコード部４１にてＰＣＭデータにデコードされる。デコード部４１のデコード出力は、ゲイン調整部４２及びゲイン調整部４３に供給される。ゲイン調整部４２は、使用者が設定するヘッドフォン着信音量レベルであるゲイン係数ｋ６をリングトーンのデコード出力（ＰＣＭデータ）に乗算して加算部３７に供給する。加算部３７は、ゲイン調整部３６の乗算出力である通話音声と背景音等のミキシング出力（ＰＣＭデータ）にゲイン調整部３８の乗算出力である自分の通話音のＰＣＭデータとを加算し、加算出力をヘッドフォン再生部４４に供給する。ヘッドフォン再生部４４は、前記加算出力をアナログ信号に変換してから増幅し、ヘッドフォン７ｂに供給する。ヘッドフォン７ｂは、使用者の耳に前記ミキシング出力を発音する。
【００３６】
また、加算部３７は、他のＶｏＩＰクライアント５からの電話がかかってきたタイミングにて、リングトーンファイル読み出し部４０が読み出したリングトーンファイルのデコード出力（ＰＣＭデータ）に使用者が設定したヘッドフォン着信音量レベルであるゲイン係数ｋ６の乗算されたデータを、ヘッドフォン再生部４４に供給する。ヘッドフォン再生部４４は、前記ゲイン係数ｋ６の乗算されたリングトーンデータをアナログ信号に変換してからヘッドフォン７ｂに供給する。よって、ヘッドフォン７ｂは他のＶｏＩＰクライアント５からの電話がかかってきたタイミングで、使用者が設定したヘッドフォン着信音量レベルの着信音を使用者の耳に発音する。
【００３７】
ゲイン調整部４３は、デコード部４１からのデコード出力であるリングトーンのＰＣＭデータに使用者の設定するスピーカ着信音音量レベルであるゲイン係数ｋ７を乗算し、スピーカ再生部４５に供給する。スピーカ再生部４５は、前記乗算出力をアナログ信号に変換してから増幅しスピーカ４６に供給する。スピーカ４６は、使用者がスピーカ用に設定したスピーカ着信音音量レベルの着信音を発音する。
【００３８】
次に、ＲＴＰに基づいたパケット化及びデパケット化について説明しておく。ＲＴＰは、インターネット等のＩＰネットワークにおいて、リアルタイムに音声や動画を送信／受信するトランスポートプロトコルである。ＲＦＣ１８８９で勧告されている。ＲＴＰは、トランスポート層に位置し、一般にユーザ・データグラム・プトロコル（User Datagram Protocol：ＵＤＰ）上でリアルタイム・コントロール・プトロコル（Real-time Control Protcol）とともに用いられる。
【００３９】
ＲＴＰパケットは、図３に示すように、ＩＰヘッダ、ＵＤＰヘッダ、ＲＴＰヘッダ及びＲＴＰデータからなる。ＲＴＰヘッダには、バージョン情報（Verasion：Ｖ）、パディング（Padding：Ｐ）、拡張ヘッダ（extension：Ｘ）の有無、送信元（Contoributing source：ＣＲＳＣ）数、マーカ情報（Marker：Ｍ）、ペイロードタイプ（Payload Type：ＰＴ）、シーケンス番号（Sequence Number）、ＲＴＰタイムスタンプ、同期送信元（Sychronization Source：ＳＳＲＣ）識別子、及び寄与送信元（Contoributeing source：ＣＲＳＣ)識別子を格納する各フィールドが設けられている。
【００４０】
図２におけるＲＴＰパケット化部２３は、エンコード部２２の出力である圧縮データを、前述したＲＴＰに従ってパケット化する。圧縮データそのものは図３に示すＲＴＰペイロード部分に含まれる。このＲＴＰパケットを送信部２４からインターネット４を介して他のＶｏＩＰクライアント（例えば図１のＶｏＩＰクライアント５）に送る。
【００４１】
他のＶｏＩＰクライアント５の受信系３０では、受信部３１により前記ＲＴＰパケットを受信する。ここでは、他のＶｏＩＰクライアント５の動作になるが、図２を用いて説明する。ＲＴＰデパケット化部３２は、ＲＴＰヘッダとＲＴＰデータをＩＰヘッダ、ＵＤＰヘッダから分離する。ＲＴＰヘッダに格納されているシーケンス番号及びタイプスタンプをデジッタ部３３に送る。
【００４２】
デジッタ部３３は、前記シーケンス番号及びタイプスタンプを基に到着時刻の不均等を補正する。ＲＴＰパケットは、他のデータが伝送されているインターネットによって送信されてくるので、伝送が込んでいるときの影響を受けたりし、その到着時刻は等間隔ではない。時間軸上で詰まったり、伸びたりして、通信間隔が不均等になることがある。そこで、デジッタ部３３は、前記シーケンス番号及びタイプスタンプを基に補正し、等間隔とする。
【００４３】
また、パケット補償部３４は、前記シーケンス番号及びタイプスタンプを基にパケットの損失を補正する。ＲＴＰパケットは、インターネットによって送受信されるので、パケットが欠落したり、受信不能になることがある。そこで、パケット補償部３４は、欠落したパケットの代わりにその前又は後ろのパケットと同じパケットを使用したり、欠落したデータを０にする等してパケットの損失を補償する。
【００４４】
そして、デコード部３５は、到着時刻が補正され、パケット損失が補償された前記通話音と背景音等のミキシングデータをデコードし、ＰＣＭデータにする。
【００４５】
このような機能構成のＶｏＩＰクライアント２にあって、本発明を適用することにより、特徴的となるのは、通話音はもちろん、背景音の音量レベルも個別に調整することができることである。
【００４６】
通話音の音量レベルの調整は、ゲイン調整部１２にて音声データにユーザが設定するマイク音量レベルであるゲイン係数ｋ１を乗算することによって行われる。また、効果音又はＢＧＭの音量レベルの調整は、ゲイン調整部１８、又はゲイン調整部２１にて各オーディオデータにユーザが設定するＳＥ音量レベルであるゲイン係数ｋ２、又はＢＧＭ音量レベルであるゲイン係数ｋ３を乗算することによって行われる。
【００４７】
各ゲイン調整部１２、ゲイン調整部１８、ゲイン調整部２１にて音量レベルが調整された後の、通話音データ、効果音又はＢＧＭのオーディオデータは加算部１３にて合成され、エンコード部２２にてエンコードされた後、ＲＴＰパケット化部２３にてパケット化され、送信部２４から通話相手の他のＶｏＩＰクライアント５に送信される。
【００４８】
通話相手のＶｏＩＰクライアント５は、インターネット４を介して伝送されてきたＲＴＰパケットを受信部３１にて受信し、ＲＴＰデパケット化部３２によりデパケット化し、デジッタ部３３により到着時刻の間隔を補正し、パケット補償部３４によりパケット損失を補償した後、デコード部３５にてＰＣＭデータにデコードする。デコードされた後のオーディオデータ（ＰＣＭデータ）には、受信側使用者により、音量レベルであるゲイン係数ｋ５がゲイン調整部３６により乗算されて、送信者からの通話音を、ＢＧＭ又はＳＥとミキシングした状態でヘッドフォン４４により聞くことができる。
【００４９】
このＶｏＩＰクライアント２は、次の図４に示す開放型システム間相互接続（Open System Interconnection：ＯＳＩ）のアーキテクチャに基づく各階層のプロトコルに応じたソフトウェアモジュールを実行することにより前記図２に示した機能を達成する。
【００５０】
図４において下位層から上位層に向かって各階層を説明する。先ず、物理層としての機能にはユニバーサル・シリアル・バス（Universal Serial Bus：ＵＳＢ）カメラドライバー、ＵＳＢオーディオドライバ及び各種ドライバがある。カメラドライバからのビデオデータやオーディオドライバからのオーディオデータの伝送条件の物理的条件を合わせるレイヤである。次に、データリンク層としての機能には、オペレーティングシステム（Operating System：ＯＳ）がある。隣接ノード間の誤りのないデータ転送を実行するためのものである。
【００５１】
ネットワーク層としての機能には、インターネットプロトコル（Internet Protocol：ＩＰ）がある。ネットワーク層は、データ送受信に使用する通信経路を選択し、フロー制御・品質制御などの通信制御を行うところである。信頼性を追求しないコネクションレス（Conectionless)パケット転送プロトコルであるＩＰは、信頼性保証機能、フロー制御機能、エラー回復機能を上位階層（トランスポート層とアプリケーション層）に任せている。
【００５２】
トランスポート層としての機能には、トランスポート・コントロール・プロトコル（Transport Control Protocol）／ユーザ・データグラム・プロトコル（User Datagram Protocol）がある。トランスポート層では、ＩＰアドレスを使用してエンド・ツー・エンドの伝送を行う。ネットワークの種類に依存せず、要求される品質クラスに従ってフロー制御や順序制御を行う。ＴＣＰは信頼性保証機能を持ち、転送したデータの各バイトにシーケンス番号を付け、受信側から受け取り通知（ＡＣＫ）が送られてこなければデータを再送する。ＵＤＰは、アプリケーション間のデータグラムの送信機能を提供する。ＩＰネットワークを用いて、音声・動画像をストリーミング再生する場合、一般にエラー時に再送を行うＴＣＰのようなトランスポートプロトコルは使用できない。また、ＴＣＰは、１対１通信用のプロトコルであり、複数の相手に情報を送信することができない。そこで、このような用途には、ＵＤＰが用いられる。
【００５３】
ＵＤＰは、アプリケーションのプロセスがリモートマシン上の他のアプリケーションのプロセスへデータを転送することを、最小のオーバーヘッドで行えるように設計されている。そのため、ＵＤＰのヘッダに入る情報は、送信元ポート番号、宛先ポート番号、データ長、チェックサムのみであり、ＴＣＰにあるパケットの順序を表す番号を入れるフィールドがないので、ネットワーク上で異なる経路を介して伝送されるなどによりパケットの順序が入れ替わってしまった場合に、その順序を正しい状態に戻す処理を行うことができない。また、送信時のタイムスタンプ等の時間情報を入れるフィールドは、ＴＣＰにもＵＤＰにもない。
【００５４】
セッション層としての機能には、セッション・イニシエーション・プロトコル（Session Initiation Protocol：ＳＩＰ）と、本発明の要部となる前記通話音とＢＧＭ又はＳＥの合成処理ソフトウェアに必要とされるモジュールがある。保留音発生とＢＧＭ合成と着信音発生とコーデック（codec）とＲＴＰである。セッション層は、情報の転送制御を行う。アプリケーション間における対話モードを管理して会話単位の制御を行う。ＳＩＰは、ＩＰネットワーク上でマルチメディアセッションを確立・変更・終了するための、アプリケーション層のシグナリングプロトコルである。ＲＦＣ３２６１で標準化されている。
【００５５】
プレゼンテーション層としての機能には、ＶｏＩＰ通話制御がある。プレゼンテーション層では、アプリケーションで送受信する情報の表現形式を管理して、データの変換や暗号化を行う。
【００５６】
アプリケーション層としての機能には、グラフィカルユーザインターフェース（Graphical User Interface：ＧＵＩ）がある。アプリケーション層では、ユーザプログラムで使用する通信機能の外部仕様を管理して、それに基づく情報のやり取りを行う。
【００５７】
次に、実際に前記ソフトウェアモジュールを実行するＶｏＩＰクライアント２のハードウェア構成を説明する。図５はＶｏＩＰクライアント２のＰＣとしての構成を表している。図５において、ＣＰＵ（Central Processing Unit）５１は、ＲＯＭ（Read Only Memory）５２に記憶されている前記ソフトウェアモジュールを構成する各種プログラム、または記憶部５８からＲＡＭ（Random Access Memory）５３にロードされた前記ソフトウェアモジュールを構成する各種プログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００５８】
ＣＰＵ５１，ＲＯＭ５２及びＲＡＭ５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インターフェース５５も接続されている。入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、ＣＲＴ、ＬＣＤなどよりなるディスプレイ、並びに、ヘッドフォンやスピーカなどよりなる出力部５７、ハードディスクなどより構成される記憶部５８、モデム、ターミナルアダプタなどより構成される通信部５９が接続されている。ヘッドセット７のマイクロフォン７ａは入力部５６に含まれる。また、ヘッドフォン７ｂは出力部５７に含まれる。
【００５９】
通信部５９は、インターネット４を介しての通信処理を行う。ＣＰＵ５１から提供されたデータを送信する。また通信部５９は通信相手から受信したデータをＣＰＵ５１、ＲＡＭ５３、記憶部５８に出力する。記憶部５８はＣＰＵ５１との間でやり取りし、情報の保存・消去を行う。通信部５９はまた、他のクライアントとの間で、アナログ信号またはデジタル信号の通信処理を行う。
【００６０】
入出力インタフェース５５にはまた、必要に応じてドライブ６０が接続され、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、或いは半導体メモリ６４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５８にインストールされる。
【００６１】
なお、記憶部５８は例えばＨＤＤであり、図２に示したＳＥファイル記憶部１４、ＢＧＭファイル記憶部１５、着信音ファイル記憶部３９を構成する。
【００６２】
以上のハードウェア構成は、ＶｏＩＰクライアント２及び５のＰＣ構成を示すとともに、ＶｏＩＰサーバ６や、後述のＷｅｂサーバの構成を示すものでもある。
【００６３】
次に、出力部５７を構成するディスプレイに表示されるＧＵＩ（Graphical Use Interface）について図６を参照して説明する。このＧＵＩは、ＶｏＩＰクライアントのアプリケーション層に属する。ＰＣをユーザが視覚的に操作するためのインターフェースであり、ユーザの手入力情報をハンドリングする。このＧＵＩは、上部から下部に向かって、アプリケーション制御部７１、情報表示部７２、ダイヤル部７３、ヘッドセットボリューム部７４、スピーカボリューム部７５、効果音（ＳＥ）選択表示部７６、ＳＥ制御部７７、ＢＧＭ選択表示部７８、ＢＧＭ制御部７９を備えている。
【００６４】
アプリケーション制御部７１は、ＶｏＩＰクライアントアプリケーションの終了処理を行う。情報表示部７２は、ダイヤル番号、相手情報（話中等）を表示する。ダイヤル部７３は、ＶｏＩＰ相手先をダイヤルするテンキーである。ヘッドセットボリューム部７４は、ヘッドセット７のヘッドフォン７ｂから出力される音量を調節するためのものである。使用者がマウスを用いてスライダ７４ａを左右に移動することにより、ゲイン調整部３６におけるゲイン係数ｋ５を設定することになる。また、ヘッドフォン７ｂから出力される着信音の音量を調節するために用いてもよい。この場合には、使用者がマウスを用いてスライダ７４ａを左右に移動することにより、ゲイン調整部４２におけるゲイン係数ｋ６を設定することになる。
【００６５】
スピーカボリューム部７５は、スピーカ４６から出力される着信音のボリュームを調整するためのものである。使用者がマウスを用いてスライダ７５ａを左右に移動することにより、ゲイン調整部４３におけるゲイン係数ｋ７を設定することになる。
【００６６】
ＳＥ選択表示部７６は、ユーザに選択させる使用可能なＳＥ音源データファイル（ＳＥファイル記憶部１４に記憶されているＳＥファイル）を表示するものであり、例えば銃声音、雷音、拍手の音、歓声等の効果音を使用者に選択させるために表示する。ＳＥ制御部７７は、効果音の再生及び停止、並びに音量調整を、再生ボタン７７ｂ、停止ボタン７７ｃ及びスライダ７７ａを用いた使用者にマウス等の入力部を介して行わせる。
【００６７】
例えば、使用者がマウスを用いてＳＥ選択表示部７６にて所望のＳＥを選択し、スライダ７７ａを適切な位置に移動し、再生ボタン７７ｂをクリックしたとする。すると、デコード部１７は、ＳＥファイル読み出し部１６で読み出された所望のＳＥファイルをデコードし、ゲイン調整部１８にてスライダ７７ａに対応したＳＥ音量レベルであるゲイン係数ｋ２がＳＥファイルのＰＣＭデータに乗算され加算部１３に出力される。これにより、効果音の各種効果音で使用者が通話相手への気持ち等を表現することができる。
【００６８】
ＢＧＭ選択表示部７８は、ユーザに選択させる使用可能なＢＧＭ音源データファイルを表示する。ＢＧＭ制御部７９は、ＢＧＭの再生及び停止、並びに音量調整を、再生ボタン７９ｂ、停止ボタン７９ｃ及びスライダ７９ａを用いた使用者にマウス等の入力部を介して行わせる
例えば、使用者がマウスを用いてＢＧＭ選択表示部７８にて所望のＢＧＭを選択し、スライダ７９ａを適切な位置に移動し、再生ボタン７９ｂをクリックしたとする。すると、デコード部２０は、ＢＧＭファイル読み出し部１９で読み出された所望のＢＧＭファイルをデコードし、ゲイン調整部２１にてスライダ７９ａに対応したＢＧＭ音量レベルであるゲイン係数ｋ３がＢＧＭファイルのＰＣＭデータに乗算され加算部１３に出力される。これにより、ＳＥと同様、使用者自身が選択し、調節した音量により、使用者の気分やその場の雰囲気を通信相手へ伝えることができる。
【００６９】
したがって、ＶｏＩＰクライアント２は、前記ソフトウェアモジュールを構成する各種プログラムを実行することにより、従来、マイクロフォンより入力される通話音が固定の音量レベルとされた背景音によって聞きとりにくくなったり、逆に背景音としての効果が発揮できないという問題を解決することができる。また、送信側及び受信側にてＰＣＭデータを用い、これをＭＰ３や、MPEG4、あるいはＡＴＲＡＣ等の圧縮技術に圧縮しているので、高音質のオーディオデータの伝送を実現でき、また例えば２チャンネル再生を可能としている。よって、通話音と背景音等を適切にミキシングすることにより、送信者側からの通話音の定位を際だたせることができる。
【００７０】
次に、ＶｏＩＰクライアント２が適用できるＶｏＩＰ通話システムの他の具体例について図７、図８を参照しながら説明する。図７に示すように、このＶｏＩＰ通話システム９０は、ＶｏＩＰサーバ６と同じくセンタ内、或いは近傍に、ＶｏＩＰサーバ６と連携しているＷｅｂサーバ９１を備えている。Ｗｅｂサーバ９１は、前記ＳＥファイルや、ＢＧＭファイル等を音源データとしてデータベース９２に格納している。つまり、ＳＥやＢＧＭを例えばＰＣＭデータにしてからそれぞれＭＰ３（MPEG-1 Audio Layer-III）や、MPEG4、あるいはＡＴＲＡＣ（Adaptive Transform Acoustic Coding）等の圧縮技術により予め圧縮したファイル単位のデータを記憶している。また、ＶｏＩＰクライアントから音源データのダウンロード要求を受けたときのユーザの情報をダウンロードユーザ情報としてデータベース９３に格納している。
【００７１】
ＶｏＩＰクライアント２及び５は、Ｗｅｂブラウザ２ｃ及び５ｃを利用してＷｅｂサーバ９１にアクセスする機能を持っている。そして、ＳＥファイルや、ＢＧＭファイル等の音源データをＷｅｂサーバ９１を管理する業者に金銭を支払うことを条件に、データベース９２からダウンロードすることができる。ダウンロードした音源データファイルは、記憶部５８のようなＨＤＤに形成される音源データ記憶部２ｂ及び５ｂ（ＳＥファイル記憶部１４とＢＧＭファイル記憶部１５からなる）に格納される。
【００７２】
Ｗｅｂサーバ９１には、音源データファイル毎にダウンロードを行った使用者のＩＤ／パスワードをユーザ情報（ダウンロードユーザ情報）としてデータベース９３に記憶する機能を有する。
【００７３】
Ｗｅｂサーバ９１がインターネット４上に接続されていることにより、例えばＶｏＩＰクライアント２は、ＶｏＩＰ通話前はもちろん、通話中にも、使用可能な音源データを指定し、かつ入力音声データファイルとミキシングすることができる。ミキシングされた音源データファイルと入力音声データは、規定ＣＯＤＥＣによって、エンコード、パケット化され、周期的に通話相手のＶｏＩＰクライアントに送信される。
【００７４】
そして、通話相手のＶｏＩＰクライアント５は、周期的に受信したパケットをデコードし、音源データストリームと音声データストリームを同時に聴取できる。
【００７５】
なお、Ｗｅｂサーバ９１のデータベース９２に格納されている音源データファイルには、個々のファイル内に図８に示すようにデフォルト音量８３、及び音量幅８４の情報を持たせている。ファイル構成を詳細に説明すると、ファイルヘッダ８１の後に、ＳＥ選択表示部７６や、ＢＧＭ選択表示部７８に表示するファイル名／画像８２が割り当てられる。次に、ファイル毎に適切に調整されたデフォルトの音量値８３、最小と最大の音量幅８４が続き、その後に音源データ８５が割り当てられる。ファイル名／画像８２、デフォルトの音量値８３、最小と最大の音量幅８４は、音源データ８５の付加情報８６である。
【００７６】
このように、Ｗｅｂサーバ９１のデータベース９２に格納されている音源データファイルには、個々にファイル内にデフォルト音量値８３及び、音量幅８４の情報を持たせるので、音源データ毎に適切な音量が設定できる。このため、使用者が予め音量調整を行わなくとも、背景音や、効果音を迅速に発揮できる。
【００７７】
また、ＶｏＩＰクライアント２及び５は、ＢＧＭを保留音として用いることができる。以下、ＶｏＩＰクライアント２がＢＧＭファイル記憶部１５のＢＧＭファイルを保留音として再生する動作について説明する。
【００７８】
保留音は、図９（１）のように保留者（ユーザＡ）が音源を持つ場合と、図９（２）のように保留者（ユーザＡ）と会話中の話者（ユーザＡと通話中のユーザＢ）が持つ場合の２通りが考えられる。保留者が音源を持つ図９（１）の場合は、図２に示したＢＧＭファイル記憶部１５と、ＢＧＭファイル読み出し部１９と、デコード部２０と、ゲイン調整部２１からなるＢＧＭ再生系と全く同じ仕組みで発信することができる。よって、ＢＧＭ再生系の仕組みそのままで保留音を実現することができる。
【００７９】
しかし、ＢＧＭはその利用形態から保留音としては、音量が小さく、適切な音量でない場合が多い。そこで、ＢＧＭを保留音として用いる場合には、音量を自動的に調整することが考えられる。
【００８０】
例えば、ＶｏＩＰクライアント２側から送信をしてＢＧＭとミキシングしながら通話中、使用者が図１０のＧＵＩ上の保留ボタン１００をクリックすると、ＢＧＭとして設定された音量に代わり、保留音に予めセットされた、より大きめの音量に係数ｋ３をゲイン調整部２１にて自動的に切り替えるようにする。
【００８１】
図１１には、保留音ルーチンの一例を示す。前記ＧＵＩの保留ボタン１００がクリックされ保留ＯＮとされとことをステップＳ１にて判定する（ＹＥＳ）と、ＶｏＩＰクライアント２は、再生ファイルをＢＧＭファイルから保留ファイルに切り替え（ステップＳ２）、通話中であったときのＢＧＭの係数ｋ３をＭ１（メモリ）に代入する（ステップＳ３）。そして、ＢＧＭの係数ｋ３を予めプリセットされている保留値のレベルに設定する（ステップＳ４）。これにより、保留音用にＢＧＭの音量レベルが大きくなる。次に、ＧＵＩにて保留ボタンがクリックされ、オフとされたと判定すると（ステップＳ５）、再生ファイルを保留ファイルからＢＧＭファイルに切り替え（ステップＳ６）、ＢＧＭ用にＭ１（メモリ）に代入していた値を係数ｋ３に代入してＢＧＭとして用いる。
【００８２】
また、保留音に切り替える際に同時にマイクロフォン７ａの音量をミュート（MUTE）するべくゲインを零にするようにしてもよい。この場合の保留ルーチンの一例を図１２に示す。前記ＧＵＩの保留ボタン１００がクリックされ保留ＯＮとされとことをステップＳ１１にて判定する（ＹＥＳ）と、ＶｏＩＰクライアント２は、再生ファイルをＢＧＭファイルから保留ファイルに切り替え（ステップＳ１２）、通話中であったときのＢＧＭの係数ｋ３をＭ１（メモリ）に代入し、かつマイクロフォン７ａ出力に乗算していた係数ｋ１の値をＭ２（メモリ）に代入する（ステップＳ１３）。そして、ＢＧＭの係数ｋ３を予めプリセットされている保留値のレベルに設定し、かつマイクロフォン７ａ用の係数ｋ１をヌル（NULL）に設定する（ステップＳ１４）。これにより、保留音用にＢＧＭの音量レベルが大きくなり、かつマイクロフォン７ａがオフとされる。次に、ＧＵＩにて保留ボタンがクリックされ、オフとされたと判定すると（ステップＳ１５）、再生ファイルを保留ファイルからＢＧＭファイルに切り替え（ステップＳ１６）、ＢＧＭ用にＭ１（メモリ）に代入していた値を係数ｋ３に代入してＢＧＭとして用い、かつマイクロフォン７ａ用の係数ｋ１をメモリ（Ｍ２）に記憶しておいた値にする（ステップＳ１７）。以上により、保留ボタンが押されるとＢＧＭの音量レベルを自動的に調整し、保留音として用いるとともに、マイクロフォン７ａをオフにする動作が可能となる。また、再度保留ボタンがクリックされ保留オフとされると、ＢＧＭ用の音量レベルに戻るとともにマイクロフォン７ａのスイッチがオンになる。
【００８３】
したがって、ＢＧＭを保留音として用いるときには、ＢＧＭの係数ｋ３を自動的にプリセットされた値にし、適切な音量の保留音として用いることができる。また、保留音としてＢＧＭを用いることにより、ＶｏＩＰクライアント２の構成をシンプルにすることができる。
【００８４】
次に、聴覚心理特性を利用した高能率音響圧縮符号化及び復号伸張方法の一具体例について説明する。これは、図２に示した、エンコード部、デコード部にて用いられるデータのコーデック方法に適用できる。もちろん、音源データとして予めＨＤＤに格納されていり、ＳＥファイル、ＢＧＭファイルもこのコーデック方法により圧縮、伸張される。
【００８５】
図１３及び図１４は、夫々高能率音響圧縮符号化部及び高能率音響復号伸張部を示すブロック図である。高能率音響圧縮符号化部１１０は、図２に示すエンコード部２２に対応するものであり、図１３に示すように、時間周波数分解部１１１と、量子化部１１２と、聴覚心理モデル部１１３と、帯域割当て部１１４と、マルチプレクス１１５とを有する。
【００８６】
時間周波数分解部１１１は、時間軸の信号を所定時間単位でブロック化あるいはフレーム化してこのフレーム毎の時間軸の信号を周波数軸上の信号に変換（スペクトル変換）して複数の周波数帯域に分割する。
【００８７】
聴覚心理モデル部１１３は、一般に高域ほど帯域幅が広くなるような臨界帯域（クリティカルバンド）と呼ばれている帯域幅で、オーディオ信号を複数（例えば２５バント）の帯域に分割する等の処理を行い、帯域割当て部１１４は、各帯域毎に所定のビット配分或いは、各帯域毎に適応的なビット割当て（ビットアロケーション）を行う。例えば、モディファイド離散コサイン変換（modified discrete cosine transform：ＭＤＣＴ）処理されて得られた係数データをビットアロケーションによって符号化する際には、各フレーム毎のＭＤＣＴ処理により得られる各帯域毎のＭＤＣＴ係数データに対して、適応的なビット数が割当てられる。
【００８８】
量子化部１１２は、帯域毎に割り当てられたビット数に基づき、量子化ステップ又は量子化サイズを決定して量子化する。
【００８９】
マルチプレクス１１５は、量子化されたデータを、帯域割当て部により割り当てられたビット数等の副情報と共に多重化して出力する。
【００９０】
このような高能率符号化方法によれば、音響情報チャンネルの全てのチャンネルを合わせた総ビットレ−トを可変とし、かつ一定の最大値を越えないようなビット配分を行なわせることができる。
【００９１】
また、図１４に示すように、高能率音響復号伸張部１２０は、デマルチプレクス１２１と、逆量子化１２２と、時間周波数再構成部１２３とを有する。デマルチプレクス１２１は、高能率符号化されたデータが入力され、これをデマルチプレクスする。逆量子化部１２２は、出マルチプレクス１２１より取り出された帯域情報等の副情報に基づき量子化データを逆量子化し、時間周波数再構成部１２３は、時間軸上のデータを周波数軸上のデータに変換して出力する。
【００９２】
このような高能率音響圧縮符号化部１１０により、高品質の通話を可能とする。
【００９３】
なお、実施の形態では、ＶｏＩＰクライアントとして、ＰＣにてＶｏＩＰクライアントプログラムを実行するという構成としたが、ＶｏＩＰクライアントとしては図２に示したような機能を行う携帯電話、ＰＤＡ等でもよい。さらに、図２に示した機能部をハードウェアとして実現する装置でもよい。
【図面の簡単な説明】
【００９４】
【図１】ＶｏＩＰ通話システムの構成図である。
【図２】ＶｏＩＰクライアントの機能ブロック図である。
【図３】ＲＴＰパケットのフォーマット図である。
【図４】ＶｏＩＰクライアントが実行するソフトウェアモジュール示す図である。
【図５】ＶｏＩＰクライアントとなるＰＣのハードウェア構成図である。
【図６】ＶｏＩＰクライアントの表示部に表示されるＧＵＩを示す図である。
【図７】他のＶｏＩＰ通話システムの構成図である。
【図８】Ｗｅｂサーバのデータベースに格納されている音源データファイルのフォーマット図である。
【図９】保留音の音源を説明するための図である。
【図１０】ＧＵＩ上の保留ボタンを示す図である。
【図１１】保留音ルーチンの処理手順を示すフローチャートである。
【図１２】保留音ルーチンの他の処理手順を示すフローチャートである。
【図１３】高能率音響圧縮符号化部を示すブロック図である。
【図１４】高能率音響圧縮復号伸張部を示すブロック図である。
【符号の説明】
【００９５】
１  ＶｏＩＰシステム、２，５  ＶｏＩＰクライアント、４  インターネット、６  ＶｏＩＰサーバ、７  ヘッドセット、１２  ゲイン調整部、１３  合成部、１４  ＳＥファイル、１５  ＢＧＭファイル、１７  デコード部、１８  ゲイン調整部、２１  ゲイン調整部、２２  エンコード、３６  ゲイン調整部、４２  ゲイン調整部、４３  ゲイン調整部
【図１】
2005045738.tif 000003
【図２】
2005045738.tif 000004
【図３】
2005045738.tif 000005
【図４】
2005045738.tif 000006
【図５】
2005045738.tif 000007
【図６】
2005045738.tif 000008
【図７】
2005045738.tif 000009
【図８】
2005045738.tif 000010
【図９】
2005045738.tif 000011
【図１０】
2005045738.tif 000012
【図１１】
2005045738.tif 000013
【図１２】
2005045738.tif 000014
【図１３】
2005045738.tif 000015
【図１４】
2005045738.tif 000016