(57)【特許請求の範囲】
【請求項１】
３地点以上の各地点から送られた音声パケットをそれぞれ、パケット化周期よりも短い時間単位（以下、サブフレーム長単位という）に分割して、分割音声パケットを出力する時間方向分割部と、
各上記地点に対応する上記分割音声パケットそれぞれから、少なくとも第１音声符号と第２音声符号を取り出すデマルチプレクシング部と、
各上記地点に対応する上記第１音声符号をそれぞれ復号して第１音声信号を出力するデコーダと、
各上記地点に対応する上記第１音声信号をミキシングして各上記地点向けの混合音声信号を出力するミキシング部と、
各上記地点に対応する上記混合音声信号をそれぞれ符号化して混合音声符号を出力するエンコーダと、
各上記地点の中から発話地点を決定して、当該発話地点に対応する制御信号を出力する地点選択部と、
各上記地点のうち上記制御信号に応じて定まる地点向けとして、各上記地点に対応する上記第２音声符号のうち上記制御信号に応じて定まる第２音声符号を出力する第２音声符号切替部と、
各上記地点に対応する上記混合音声符号と、上記第２音声符号切替部が出力した各上記地点に対応する第２音声符号とを結合して、サブフレーム長単位の単位音声パケットを出力するマルチプレクシング部と、
各上記地点に対応する上記単位音声パケットを複数結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力する時間方向結合部と
を含み、
上記地点選択部は、
各上記地点に対応する上記第１音声信号の二乗和、または、上記第１音声信号の絶対値の平均、または、上記第１音声符号から正負符号を除いたサンプル毎のコードの平均値のいずれか（以下、パワーという）を求める音響属性決定部と、
各上記地点に対応する上記パワーに対して決定基準を適用して、各上記地点の中から現在の発話地点を決定する発話地点決定部と、
発話地点を表す情報を記憶するメモリと、
決定された発話地点に対応する制御信号を出力する制御信号出力部とを含み、
上記決定基準は、
上記パワーが最大の地点が上記メモリから取得した１サブフレーム前の主たる発話地点と同一の地点である場合に、上記１サブフレーム前の主たる発話地点と同一の地点を現在のサブフレームの主たる発話地点であると決定する、上記パワーに対する決定基準よりも、
上記パワーが最大の地点が上記１サブフレーム前の主たる発話地点と異なる地点である場合に、上記１サブフレーム前の主たる発話地点と異なる地点を現在のサブフレームの主たる発話地点であると決定する、上記パワーに対する決定基準の方が高い、ものであり、
上記発話地点決定部は、上記決定基準の下で、発話地点を決定する
ことを特徴とする多地点接続装置。
【請求項２】
請求項１に記載の多地点接続装置において、
或る一地点が主たる発話地点として判定されたサブフレームが長時間継続するほど、上記パワーが最大の地点が１サブフレーム前の主たる発話地点と異なる地点である場合の上記決定基準を高める
ことを特徴とする多地点接続装置。
【請求項３】
請求項１に記載の多地点接続装置において、
上記決定基準は、
現在のサブフレームについて各上記地点に対応するパワーのうち最大のパワーが、１サブフレーム前の主たる発話地点に対応するパワーのα倍以上（ただし、αは１よりも大きい正数とする）である場合は主たる発話地点を当該最大のパワーに対応する地点に変更し、α倍に満たない場合は主たる発話地点を１サブフレーム前の主たる発話地点のまま変更しない、ものである
ことを特徴とする多地点接続装置。
【請求項４】
請求項２に記載の多地点接続装置において、
上記決定基準は、
現在のサブフレームについて各上記地点に対応するパワーのうち最大のパワーが、
１サブフレーム前の主たる発話地点に対応するパワーのα倍以上（αは１よりも大きい正数とする）［ただし、当該１サブフレーム前までの連続する複数のサブフレームで同じ地点が主たる発話地点とされた場合には、β倍以上（βは上記αよりも大きい正数とする）とする］である場合は主たる発話地点を当該最大のパワーに対応する地点に変更し、
α倍に満たない場合は主たる発話地点を１サブフレーム前の主たる発話地点のまま変更しない、ものである
ことを特徴とする多地点接続装置。
【請求項５】
３地点以上の各地点から送られた音声パケットをそれぞれ、パケット化周期よりも短い時間単位（以下、サブフレーム長単位という）に分割して、分割音声パケットを出力する時間方向分割部と、
各上記地点に対応する上記分割音声パケットそれぞれから、少なくとも第１音声符号と第２音声符号を取り出すデマルチプレクシング部と、
各上記地点に対応する上記第１音声符号をそれぞれ復号して第１音声信号を出力するデコーダと、
各上記地点に対応する上記第１音声信号をミキシングして各上記地点向けの混合音声信号を出力するミキシング部と、
各上記地点に対応する上記混合音声信号をそれぞれ符号化して混合音声符号を出力するエンコーダと、
各上記地点の中から発話地点を決定して、当該発話地点に対応する制御信号を出力する地点選択部と、
各上記地点のうち上記制御信号に応じて定まる地点向けとして、各上記地点に対応する上記第２音声符号のうち上記制御信号に応じて定まる第２音声符号を出力する第２音声符号切替部と、
各上記地点に対応する上記混合音声符号と、上記第２音声符号切替部が出力した各上記地点に対応する第２音声符号とを結合して、サブフレーム長単位の単位音声パケットを出力するマルチプレクシング部と、
各上記地点に対応する上記単位音声パケットを複数結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力する時間方向結合部と
を含み、
上記地点選択部は、
各上記地点に対応する上記第１音声信号の二乗和、または、上記第１音声信号の絶対値の平均、または、上記第１音声符号から正負符号を除いたサンプル毎のコードの平均値のいずれか（以下、パワーという）を求める音響属性決定部と、
各上記地点に対応する上記パワーを記憶するメモリと、
各上記地点に対応する現在の上記パワーと、上記メモリに記憶された各上記地点に対応する過去の上記パワーとに基づき、各上記地点の中から現在の発話地点を決定する発話地点決定部と、
決定された発話地点に対応する制御信号を出力する制御信号出力部と
を含み、
上記発話地点決定部は、
各地点に対応する現在のサブフレームのパワー値について各地点間の差が閾値よりも小さいときには、１サブフレーム前の各地点に対応するパワー値についての各地点間の大小関係を上記決定に加味する
ことを特徴とする多地点接続装置。
【請求項６】
３地点以上の各地点から送られた音声パケットをそれぞれ、パケット化周期よりも短い時間単位（以下、サブフレーム長単位という）に分割して、分割音声パケットを出力する時間方向分割部と、
各上記地点に対応する上記分割音声パケットそれぞれから、少なくとも第１音声符号と第２音声符号を取り出すデマルチプレクシング部と、
各上記地点に対応する上記第１音声符号をそれぞれ復号して第１音声信号を出力するデコーダと、
各上記地点に対応する上記第１音声信号をミキシングして各上記地点向けの混合音声信号を出力するミキシング部と、
各上記地点に対応する上記混合音声信号をそれぞれ符号化して混合音声符号を出力するエンコーダと、
各上記地点の中から発話地点を決定して、当該発話地点に対応する制御信号を出力する地点選択部と、
各上記地点のうち上記制御信号に応じて定まる地点向けとして、各上記地点に対応する上記第２音声符号のうち上記制御信号に応じて定まる第２音声符号を出力する第２音声符号切替部と、
各上記地点に対応する上記混合音声符号と、上記第２音声符号切替部が出力した各上記地点に対応する第２音声符号とを結合して、サブフレーム長単位の単位音声パケットを出力するマルチプレクシング部と、
各上記地点に対応する上記単位音声パケットを複数結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力する時間方向結合部と
を含み、
上記地点選択部は、
各上記地点に対応する上記第１音声信号の二乗和、または、上記第１音声信号の絶対値の平均、または、上記第１音声符号から正負符号を除いたサンプル毎のコードの平均値のいずれか（以下、パワーという）を求める音響属性決定部と、
各上記地点に対応する上記パワーを記憶するメモリと、
各上記地点に対応する現在の上記パワーと、上記メモリに記憶された各上記地点に対応する過去の上記パワーとに基づき、各上記地点の中から現在の発話地点を決定する発話地点決定部と、
決定された発話地点に対応する制御信号を出力する制御信号出力部と
を含み、
上記発話地点決定部は、
１サブフレーム前の各地点に対応するパワー値についての各地点間の大小関係が、各地点に対応する現在のサブフレームのパワー値についての各地点間の大小関係よりも顕著である場合は、１サブフレーム前の各地点に対応するパワー値についての各地点間の大小関係に基づいて、主たる発話地点を決定する
ことを特徴とする多地点接続装置。
【請求項７】
３地点以上の各地点から送られた音声パケットをそれぞれ、パケット化周期よりも短い時間単位（以下、サブフレーム長単位という）に分割して、分割音声パケットを出力する時間方向分割ステップと、
各上記地点に対応する上記分割音声パケットそれぞれから、少なくとも第１音声符号と第２音声符号を取り出すデマルチプレクシングステップと、
各上記地点に対応する上記第１音声符号をそれぞれ復号して第１音声信号を出力するデコーディングステップと、
各上記地点に対応する上記第１音声信号をミキシングして各上記地点向けの混合音声信号を出力するミキシングステップと、
各上記地点に対応する上記混合音声信号をそれぞれ符号化して混合音声符号を出力するエンコーディングステップと、
各上記地点の中から発話地点を決定して、当該発話地点に対応する制御信号を出力する地点選択ステップと、
各上記地点のうち上記制御信号に応じて定まる地点向けとして、各上記地点に対応する上記第２音声符号のうち上記制御信号に応じて定まる第２音声符号を出力する第２音声符号切替ステップと、
各上記地点に対応する上記混合音声符号と、上記第２音声符号切替ステップで出力された各上記地点に対応する第２音声符号とを結合して、サブフレーム長単位の単位音声パケットを出力するマルチプレクシングステップと、
各上記地点に対応する上記単位音声パケットを複数結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力する時間方向結合ステップと
を有し、
上記地点選択ステップは、
各上記地点に対応する上記第１音声信号の二乗和、または、上記第１音声信号の絶対値の平均、または、上記第１音声符号から正負符号を除いたサンプル毎のコードの平均値のいずれか（以下、パワーという）を求める音響属性決定ステップと、
各上記地点に対応する上記パワーに対して決定基準を適用して、各上記地点の中から現在の発話地点を決定する発話地点決定ステップと、
発話地点を表す情報をメモリに記憶する記憶ステップと、
決定された発話地点に対応する制御信号を出力する制御信号出力ステップとを有し、
上記決定基準は、
上記パワーが最大の地点が上記メモリから取得した１サブフレーム前の主たる発話地点と同一の地点である場合に、上記１サブフレーム前の主たる発話地点と同一の地点を現在のサブフレームの主たる発話地点であると決定する、上記パワーに対する決定基準よりも、
上記パワーが最大の地点が上記１サブフレーム前の主たる発話地点と異なる地点である場合に、上記１サブフレーム前の主たる発話地点と異なる地点を現在のサブフレームの主たる発話地点であると決定する、上記パワーに対する決定基準の方が高い、ものであり、
上記発話地点決定ステップでは、上記決定基準の下で、発話地点を決定する
ことを特徴とする多地点接続方法。
【請求項８】
請求項７に記載の多地点接続方法において、
或る一地点が主たる発話地点として判定されたサブフレームが長時間継続するほど、上記パワーが最大の地点が１サブフレーム前の主たる発話地点と異なる地点である場合の上記決定基準を高める
ことを特徴とする多地点接続方法。
【請求項９】
請求項７に記載の多地点接続方法において、
上記決定基準は、
現在のサブフレームについて各上記地点に対応するパワーのうち最大のパワーが、１サブフレーム前の主たる発話地点に対応するパワーのα倍以上（ただし、αは１よりも大きい正数とする）である場合は主たる発話地点を当該最大のパワーに対応する地点に変更し、α倍に満たない場合は主たる発話地点を１サブフレーム前の主たる発話地点のまま変更しない、ものである
ことを特徴とする多地点接続方法。
【請求項１０】
請求項８に記載の多地点接続方法において、
上記決定基準は、
現在のサブフレームについて各上記地点に対応するパワーのうち最大のパワーが、
１サブフレーム前の主たる発話地点に対応するパワーのα倍以上（αは１よりも大きい正数とする）［ただし、当該１サブフレーム前までの連続する複数のサブフレームで同じ地点が主たる発話地点とされた場合には、β倍以上（βは上記αよりも大きい正数とする）とする］である場合は主たる発話地点を当該最大のパワーに対応する地点に変更し、
α倍に満たない場合は主たる発話地点を１サブフレーム前の主たる発話地点のまま変更しない、ものである
ことを特徴とする多地点接続方法。
【請求項１１】
３地点以上の各地点から送られた音声パケットをそれぞれ、パケット化周期よりも短い時間単位（以下、サブフレーム長単位という）に分割して、分割音声パケットを出力する時間方向分割ステップと、
各上記地点に対応する上記分割音声パケットそれぞれから、少なくとも第１音声符号と第２音声符号を取り出すデマルチプレクシングステップと、
各上記地点に対応する上記第１音声符号をそれぞれ復号して第１音声信号を出力するデコーディングステップと、
各上記地点に対応する上記第１音声信号をミキシングして各上記地点向けの混合音声信号を出力するミキシングステップと、
各上記地点に対応する上記混合音声信号をそれぞれ符号化して混合音声符号を出力するエンコーディングステップと、
各上記地点の中から発話地点を決定して、当該発話地点に対応する制御信号を出力する地点選択ステップと、
各上記地点のうち上記制御信号に応じて定まる地点向けとして、各上記地点に対応する上記第２音声符号のうち上記制御信号に応じて定まる第２音声符号を出力する第２音声符号切替ステップと、
各上記地点に対応する上記混合音声符号と、上記第２音声符号切替ステップで出力された各上記地点に対応する第２音声符号とを結合して、サブフレーム長単位の単位音声パケットを出力するマルチプレクシングステップと、
各上記地点に対応する上記単位音声パケットを複数結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力する時間方向結合ステップと
を有し、
上記地点選択ステップは、
各上記地点に対応する上記第１音声信号の二乗和、または、上記第１音声信号の絶対値の平均、または、上記第１音声符号から正負符号を除いたサンプル毎のコードの平均値のいずれか（以下、パワーという）を求める音響属性決定ステップと、
各上記地点に対応する上記パワーをメモリに記憶する記憶ステップと、
各上記地点に対応する現在の上記パワーと、上記メモリに記憶された各上記地点に対応する過去の上記パワーとに基づき、各上記地点の中から現在の発話地点を決定する発話地点決定ステップと、
決定された発話地点に対応する制御信号を出力する制御信号出力ステップと
を有し、
上記発話地点決定ステップでは、
各地点に対応する現在のサブフレームのパワー値について各地点間の差が閾値よりも小さいときには、１サブフレーム前の各地点に対応するパワー値についての各地点間の大小関係を上記決定に加味する
ことを特徴とする多地点接続方法。
【請求項１２】
３地点以上の各地点から送られた音声パケットをそれぞれ、パケット化周期よりも短い時間単位（以下、サブフレーム長単位という）に分割して、分割音声パケットを出力する時間方向分割ステップと、
各上記地点に対応する上記分割音声パケットそれぞれから、少なくとも第１音声符号と第２音声符号を取り出すデマルチプレクシングステップと、
各上記地点に対応する上記第１音声符号をそれぞれ復号して第１音声信号を出力するデコーディングステップと、
各上記地点に対応する上記第１音声信号をミキシングして各上記地点向けの混合音声信号を出力するミキシングステップと、
各上記地点に対応する上記混合音声信号をそれぞれ符号化して混合音声符号を出力するエンコーディングステップと、
各上記地点の中から発話地点を決定して、当該発話地点に対応する制御信号を出力する地点選択ステップと、
各上記地点のうち上記制御信号に応じて定まる地点向けとして、各上記地点に対応する上記第２音声符号のうち上記制御信号に応じて定まる第２音声符号を出力する第２音声符号切替ステップと、
各上記地点に対応する上記混合音声符号と、上記第２音声符号切替ステップで出力された各上記地点に対応する第２音声符号とを結合して、サブフレーム長単位の単位音声パケットを出力するマルチプレクシングステップと、
各上記地点に対応する上記単位音声パケットを複数結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力する時間方向結合ステップと
を有し、
上記地点選択ステップは、
各上記地点に対応する上記第１音声信号の二乗和、または、上記第１音声信号の絶対値の平均、または、上記第１音声符号から正負符号を除いたサンプル毎のコードの平均値のいずれか（以下、パワーという）を求める音響属性決定ステップと、
各上記地点に対応する上記パワーを記憶するメモリと、
各上記地点に対応する現在の上記パワーと、上記メモリに記憶された各上記地点に対応する過去の上記パワーとに基づき、各上記地点の中から現在の発話地点を決定する発話地点決定ステップと、
決定された発話地点に対応する制御信号を出力する制御信号出力ステップと
を有し、
上記発話地点決定ステップでは、
１サブフレーム前の各地点に対応するパワー値についての各地点間の大小関係が、各地点に対応する現在のサブフレームのパワー値についての各地点間の大小関係よりも顕著である場合は、１サブフレーム前の各地点に対応するパワー値についての各地点間の大小関係に基づいて、主たる発話地点を決定する
ことを特徴とする多地点接続方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル化された音声、音楽などの音響信号（以下、本明細書では音声信号ということにする。）を、ディジタル通信網を介して送受信する際に、複数地点の音声信号をミキシングして各地点へ混合信号を配信する多地点接続技術に関する。
【背景技術】
【０００２】
パケット通信網をはじめとするディジタル通信網を介し、３地点以上の複数地点間で音声信号を送受信する利用（例えば音声会議である。）が増えている。音声会議システムを構築するためには、多地点接続装置と呼ばれるサーバ装置を通信網上に配置し、複数地点から送られてくる音声信号をミキシングして、各地点に配信する方法が知られている。
【０００３】
図１は、３地点で音声会議を行う場合に、多地点接続装置（MCU）１００が中核となって各地点間の相互通信が実現することを示す概念図である。図２は、多地点接続装置１００に含まれる多地点ミキシング部１１０の構成例を示している。Ａ、Ｂ、Ｃ各地点から送られた各音声符号は、それぞれデコーダ１１２ａ，１１２ｂ，１１２ｃで、例えばＰＣＭ形式のディジタル音声信号に復号される。PCMミキシング部１１１は、各復号済みディジタル音声信号を用いて、各地点向けの混合信号を作成する。例えば、地点Ａ向けの混合信号は、地点Ｂと地点Ｃの信号が混合されたものであり、地点Ｂ向けの混合信号は、地点Ａと地点Ｃの信号が混合されたものである。混合信号に自地点信号を含めない理由は、自分の声がエコーとして戻ってくることを防ぐためである。各地点向けの混合信号は、それぞれエンコーダ１１３ａ，１１３ｂ，１１３ｃによってエンコードされて、各地点に配信される。
【０００４】
このような多地点接続装置１００において、デコーダ１１２ａ，１１２ｂ，１１２ｃとエンコーダ１１３ａ，１１３ｂ，１１３ｃに多くの演算処理が必要になると、多地点接続装置１００に多大な負荷がかかることが課題となる。例えば、音声符号化方式として、ITU-T（International Telecommunication Union - Telecommunication Standardization Sector） G.711（非特許文献１参照）が用いられる場合には、デコーダ１１２ａ，１１２ｂ，１１２ｃ、エンコーダ１１３ａ，１１３ｂ，１１３ｃとも、必要な演算処理は少ないため、多地点接続装置１００に多大な負荷はかからない。しかし、例えば、音声符号化方式として、広帯域音声符号化方式であるITU-T G.722（非特許文献２参照）が用いられる場合には、G.711を利用する場合に比べて、多くの演算処理が必要となり、結果、１台の多地点接続装置１００で処理できる地点数が大幅に減ってしまうという問題につながる。
【０００５】
このような問題に対して、音声符号化方式として、G.711をコアとするエンベデド符号化方式（スケーラブル符号化方式とも言う。）を用い、多地点接続装置１００の処理として、選択ミキシング（パーシャルミキシングとも言う。）を用いる方法が提案されている。この処理の詳細は、非特許文献３および非特許文献４に記載されている。
【０００６】
図３は、非特許文献３に記載されている、選択ミキシングによる多地点接続装置１００に含まれる機能構成例である。ＰＣＭミキシング部１１１は図２に示すＰＣＭミキシング部１１１と同一であるので説明を省略する。各地点から送られてきた音声パケットはそれぞれ、デマルチプレクシング部（ｄｅＭＵＸ）１１４ａ，１１４ｂ，１１４ｃで、G.711ビット（第１音声符号）、拡張ビット（第２音声符号）、制御情報に分離される。各地点に対応するG.711ビットはそれぞれ、G.711デコーダ１１２ａ，１１２ｂ，１１２ｃで復号され、ＰＣＭミキシング部１１１で混合された後、G.711エンコーダ１１３ａ，１１３ｂ，１１３ｃでエンコードされて、各地点向けのG.711ビットが作成される。
【０００７】
各地点の音声パケットから分離された拡張ビットはそれぞれ、拡張ビット切替部１１７に入力される。また、各地点の音声パケットから分離された制御情報は、地点選択部１１６に入力される。地点選択部１１６は、各地点の制御情報を用いて、主たる発話地点と、従たる発話地点を時々刻々決定し、拡張ビット切替部１１７を制御するための制御信号を出力する。仮に、ある時点における主たる発話地点をＡ、従たる発話地点をＢとすると、拡張ビット切替部１１７は、地点ＢとＣ向けには、地点Ａの拡張ビットを、地点Ａ向けには地点Ｂの拡張ビットを出力するように動作する。各地点向けのG.711ビットと拡張ビットはそれぞれ、マルチプレクシング部（ＭＵＸ）１１５ａ，１１５ｂ，１１５ｃでそれぞれ結合されて、各地点に各地点向けの音声パケットが送信される。
【０００８】
なお、図３に示す構成において、G.711符号化方式、およびG.711デコーダ１１２ａ，１１２ｂ，１１２ｃ、G.711エンコーダ１１３ａ，１１３ｂ，１１３ｃは、他の符号化方式、および対応するエンコーダ、デコーダでもよく、一般に、エンコード、デコードにかかる処理量の少ない符号化方式が望ましい。また、拡張ビットは、G.711.1音声符号化方式の場合であればG.711コアレイヤを除く低域拡張レイヤと高域拡張レイヤのための音声符号に相当する。また、制御情報は、音声符号にマルチプレクスされて独立して送られる情報のほか、G.711ビット、G.711デコーダの出力であるＰＣＭ音声信号、または拡張ビットを用いて、多地点ミキシング部内で作成される情報などである。一般に、制御情報としては、音声信号（G.711デコーダの出力であるＰＣＭ音声を含む）のパワー、音声／非音声区間情報（ＶＡＤともいう）、有声音／無声音の識別情報などが用いられる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】ITU-T Recommendation G.711, "Pulse Code Modulation (PCM) of voice frequencies," ITU-T, 1988.
【非特許文献２】ITU-T Recommendation G.722, "7kHz Audio-Coding within 64kbit/s," ITU-T, 1988.
【非特許文献３】「A G.711 Embedded Wideband Speech Coding for VoIP Conferences」, IEICE TRANS. INF. & SYST., VOL.E89-D, No 9, 2006.
【非特許文献４】「広帯域音声符号化の国際標準ITU-T G.711.1」, NTT技術ジャーナル, Vol.20 No. 5, 2008.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
図３に示すように、音声パケットに含まれる一部の音声符号のみを従来通りにミキシングし、音声パケットに含まれる他の音声符号は、ミキシングしないで時々刻々切り替える選択式として処理とする場合においては、地点選択部および拡張ビット切替部の処理アルゴリズムによって、各地点で再生されるミキシング音声の品質が劣化する可能性がある。
【００１１】
また、上記非特許文献３では、ＶＡＤ情報を用いて、200ms以下の周期での発話地点の切り替えを抑止するアルゴリズムが例示されている。このアルゴリズムでは、頻繁な切り替えによる耳障りなノイズが発生しないというメリットがある反面、発話地点の切り替わり目では、一時的に主たる発話地点の声が、3.4kHz帯域の狭帯域音声として聞こえてしまい、7kHz帯域の広帯域音声と、3.4kHz帯域の狭帯域音声の切り替わり感が目立つという課題があった。
【００１２】
そこで本発明は、音質劣化の少ない多地点接続技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、３地点以上の各地点から送られた音声パケットをそれぞれ、パケット化周期よりも短い時間単位（サブフレーム長単位）に分割して、分割音声パケットを出力し［時間方向分割処理］、各地点に対応する分割音声パケットそれぞれから、少なくとも第１音声符号と第２音声符号を取り出し［デマルチプレクシング処理］、各地点に対応する第１音声符号をそれぞれ復号して第１音声信号を出力し［デコーディング処理］、各地点に対応する第１音声信号をミキシングして各地点向けの混合音声信号を出力し［ミキシング処理］、各地点に対応する混合音声信号をそれぞれ符号化して混合音声符号を出力し［エンコーディング処理］、各地点の中から発話地点を決定して、当該発話地点に対応する制御信号を出力し［地点選択処理］、各地点のうち制御信号に応じて定まる地点向けとして、各地点に対応する第２音声符号のうち制御信号に応じて定まる第２音声符号を出力し［第２音声符号切替処理］、各地点に対応する混合音声符号と、第２音声符号切替処理で出力された各地点に対応する第２音声符号とを結合して、サブフレーム長単位の単位音声パケットを出力し［マルチプレクシング処理］、各地点に対応する単位音声パケットを複数結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力する［時間方向結合処理］。
【００１５】
あるいは、地点選択処理は、各地点に対応する第１音声符号の音響属性を求める音響属性決定処理と、各地点に対応する第１音声符号の音響属性を記憶する処理と、各地点に対応する第１音声符号の現在の音響属性と、各地点に対応する第１音声符号の過去の音響属性とに基づき、各地点の中から現在の発話地点を決定する発話地点決定処理と、決定された発話地点に対応する制御信号を出力する制御信号出力処理を行うようにしてもよい。
【００１６】
あるいは、地点選択処理は、各地点に対応する第１音声符号の音響属性を求める音響属性決定処理と、各地点に対応する第１音声符号の音響属性に基づき、各地点の中から現在の発話地点を決定する発話地点決定処理と、発話地点を表す情報を記憶する処理と、決定された発話地点に対応する制御信号を出力する制御信号出力処理を行うようにしてもよい。
【発明の効果】
【００１８】
本発明に拠れば、パケット化周期よりも短い時間単位で処理を行い、その後にパケット化周期を持つ音声パケットに回復することから、耳障りなノイズが発生しないことと、広帯域音声と狭帯域音声の切り替わりが目立たないことの両立が可能となり、少ない演算量で、音質劣化の少ない多地点接続技術が実現できる。
【図面の簡単な説明】
【００１９】
【図１】３地点で音声会議を行う場合に、多地点接続装置（MCU）が中核となって各地点間の相互通信が実現することを示す概念図。
【図２】従来の多地点接続装置に含まれる多地点ミキシング部の機能構成例を示す図。
【図３】従来の選択ミキシングによる多地点接続装置に含まれる機能構成例を示す図。
【図４】第１実施形態の多地点接続装置の機能構成例を示すブロック図。
【図５】第１実施形態の多地点接続装置における処理フローを示す図。
【図６】第２実施形態の多地点接続装置の機能構成例を示すブロック図。
【図７】第２実施形態の多地点接続装置における処理フローを示す図。
【図８】制御情報計算・地点選択部１１６ｐの構成例１の機能構成例を示すブロック図。
【図９】制御情報計算・地点選択部１１６ｐの構成例１における処理フローを示す図。
【図１０】制御情報計算・地点選択部１１６ｐの構成例２の機能構成例を示すブロック図。
【図１１】制御情報計算・地点選択部１１６ｐの構成例２における処理フローを示す図。
【図１２】制御情報計算・地点選択部１１６ｐの構成例３の機能構成例を示すブロック図。
【図１３】制御情報計算・地点選択部１１６ｐの構成例３における処理フローを示す図。
【図１４】制御情報計算・地点選択部１１６ｐの構成例４の機能構成例を示すブロック図。
【図１５】制御情報計算・地点選択部１１６ｐの構成例４における処理フローを示す図。
【発明を実施するための形態】
【００２０】
［第１実施形態］
例えば、パケット通信網を介して音声パケットを送受信する場合には、パケット化周期と呼ばれる、１つの音声パケットに入れる音声符号に対応する音声信号の時間長を決めて通信する。一般には、パケット化周期は、１０ミリ秒または２０ミリ秒とする場合が多い。一方、各音声符号化方式には、エンコード／デコード処理を行う最小時間単位として、フレームと呼ばれる時間長がある。例えば、G.711.1のフレーム長は５ミリ秒である。また、フレーム長は２０ミリ秒であるが、内部情報の一部がそれよりも短い時間単位、例えば５ミリ秒に分けることができる構造になっている音声符号化方式もある。このようなフレームよりも短い時間単位は、サブフレームと呼ばれる。
【００２１】
図４に、本発明による第１実施形態の多地点接続装置２００の構成例を示す。多地点接続装置２００は、図３に示す多地点接続装置１００に時間方向分割部１２０ａ，１２０ｂ，１２０ｃおよび時間方向結合部１２１ａ，１２１ｂ，１２１ｃが付加された構成を持つ。図５に、第１実施形態の多地点接続装置２００の処理フローを示す。
【００２２】
この多地点接続装置２００では、まず時間方向分割部１２０ａ，１２０ｂ，１２０ｃが、各地点から受信した音声パケットをそれぞれ、可能な限り、パケット化周期よりも短い時間単位（以下、サブフレーム長単位という。）に分割して、分割音声パケットを出力する（ステップＳ１）。ただし、時間方向分割部１２０ａ，１２０ｂ，１２０ｃが分割する処理対象は音声パケットのペイロード（音声情報に関連するデータのまとまり）である。具体的には、時間方向分割部１２０ａは、Ａ地点から受信した音声パケットを、可能な限り、パケット化周期よりも短いサブフレーム長単位に分割して、分割音声パケットを出力する。時間方向分割部１２０ｂはＢ地点から受信した音声パケットに対して、時間方向分割部１２０ｃはＣ地点から受信した音声パケットに対して、時間方向分割部１２０ａと同様の処理を行う。なお、時間方向分割部１２０ａ，１２０ｂ，１２０ｃの入力および出力は、それぞれ通信網を介した送受信のための狭義のパケット形式（ヘッダ情報等を含む）である必要はなく、例えば一定の時間単位に区切られた符号列であってもよい。
【００２３】
そして、デマルチプレクシング部（ｄｅＭＵＸ）１１４ａ，１１４ｂ，１１４ｃが、各地点に対応するサブフレーム長単位の分割音声パケットをそれぞれ、G.711ビット（第１音声符号）、拡張ビット（第２音声符号）、制御情報に分離する（ステップＳ２）。具体的には、デマルチプレクシング部１１４ａは、Ａ地点に対応するサブフレーム長単位の分割音声パケットをそれぞれ、G.711ビット、拡張ビット、制御情報に分離する。デマルチプレクシング部１１４ｂは、Ｂ地点に対応するサブフレーム長単位の分割音声パケットそれぞれに対して、デマルチプレクシング部１１４ｃは、Ｃ地点に対応するサブフレーム長単位の分割音声パケットそれぞれに対して、デマルチプレクシング部１１４ａと同様の処理を行う。
【００２４】
各地点に対応するG.711ビットはそれぞれ、G.711デコーダ１１２ａ，１１２ｂ，１１２ｃで復号され（ステップＳ３）、ＰＣＭミキシング部１１１（図２参照）で混合された後（ステップＳ４）、G.711エンコーダ１１３ａ，１１３ｂ，１１３ｃでエンコードされて、各地点向けのG.711ビットが作成される（ステップＳ５）。
【００２５】
すなわち、G.711デコーダ１１２ａ，１１２ｂ，１１２ｃは、デマルチプレクシング部１１４ａ，１１４ｂ，１１４ｃから送られてきたサブフレーム長単位の各G.711ビットをそれぞれ、例えばＰＣＭ形式のディジタル音声信号（第１音声信号）に復号する。具体的には、G.711デコーダ１１２ａは、デマルチプレクシング部１１４ａから送られてきたサブフレーム長単位の各G.711ビットを、ＰＣＭ形式のディジタル音声信号に復号する。G.711デコーダ１１２ｂは、デマルチプレクシング部１１４ｂから送られてきたサブフレーム長単位の各G.711ビットに対して、G.711デコーダ１１２ｃは、デマルチプレクシング部１１４ｃから送られてきたサブフレーム長単位の各G.711ビットに対して、G.711デコーダ１１２ａと同様の処理を行う。
【００２６】
そして、PCMミキシング部１１１は、サブフレーム長単位の各復号済みディジタル音声信号を用いて、各地点向けの混合音声信号を作成する。この例であれば、地点Ａ向けの混合音声信号は地点Ｂと地点Ｃの各復号済みディジタル音声信号が混合されたものであり、地点Ｂ向けの混合音声信号は地点Ａと地点Ｃの各復号済みディジタル音声信号が混合されたものであり、地点Ｃ向けの混合音声信号は地点Ａと地点Ｂの各復号済みディジタル音声信号が混合されたものである。混合信号に自地点信号を含めない理由は、既述のとおり、自分の声がエコーとして戻ってくることを防ぐためである。なお、各地点向けの混合音声信号の作成方法に限定はなく、例えばPCMミキシング部１１１が図２に示す構成を持つ場合、地点Ｂと地点Ｃの各復号済みディジタル音声信号が混合されたもの（地点Ａ向けの混合音声信号）は、地点Ａと地点Ｂと地点Ｃの各復号済みディジタル音声信号が混合されたものから地点Ａの復号済みディジタル音声信号を差し引いて作成される。同様に、地点Ａと地点Ｃの各復号済みディジタル音声信号が混合されたもの（地点Ｂ向けの混合音声信号）は、地点Ａと地点Ｂと地点Ｃの各復号済みディジタル音声信号が混合されたものから地点Ｂの復号済みディジタル音声信号を差し引いて作成され、地点Ａと地点Ｂの各復号済みディジタル音声信号が混合されたもの（地点Ｃ向けの混合音声信号）は、地点Ａと地点Ｂと地点Ｃの各復号済みディジタル音声信号が混合されたものから地点Ｃの復号済みディジタル音声信号を差し引いて作成される。また、このように全地点の各復号済みディジタル音声信号を混合した総合混合信号から目的地点の復号済みディジタル音声信号を差し引いて、当該目的地点向けの混合音声信号を作成する作成方法に限定されず、目的地点以外の各地点の各復号済みディジタル音声信号を混合して当該目的地点向けの混合音声信号を作成してもよい。
【００２７】
次いでG.711エンコーダ１１３ａ，１１３ｂ，１１３ｃは、各地点向けのサブフレーム長単位の混合音声信号をそれぞれG.711エンコードして、混合音声符号を出力する。具体的には、G.711エンコーダ１１３ａは、サブフレーム長単位の地点Ａ向けの各混合音声信号をG.711エンコードしてG.711ビット（混合音声符号）を出力する。G.711エンコーダ１１３ｂは、サブフレーム長単位の地点Ｂ向けの各混合音声信号に対して、G.711エンコーダ１１３ｃは、サブフレーム長単位の地点Ｃ向けの各混合音声信号に対して、G.711エンコーダ１１３ａと同様の処理を行う。
【００２８】
各地点に対応する制御情報はそれぞれ、地点選択部１１６に入力される。地点選択部１１６は、各地点の制御情報を用いて、主たる発話地点と従たる発話地点を時々刻々決定し、拡張ビット切替部１１７を制御するための制御信号を出力する（ステップＳ６）。制御信号は、発話地点に対応して生成される信号である。拡張ビットは、既述のとおり、G.711.1音声符号化方式の場合であればG.711コアレイヤを除く低域拡張レイヤと高域拡張レイヤのための音声符号に相当する。また制御情報は、サブフレーム長単位の分割音声パケットにマルチプレクスされて独立して送られる情報のほか、G.711ビット、G.711デコーダの出力であるＰＣＭ音声信号、または拡張ビットを用いて、多地点ミキシング部内で作成される情報などでもよい。例えば、制御情報としては、音声信号（G.711デコーダの出力であるＰＣＭ音声を含む）のパワー、音声／非音声区間情報（ＶＡＤ）、有声音／無声音の識別情報などが用いられる。
【００２９】
地点選択部１１６からの制御信号に基づいて、拡張ビット切替部１１７は、拡張ビット切替部１１７に入力された各地点に対応する拡張ビットのうち出力地点に対応する拡張ビットを選択し、マルチプレクシング部（ＭＵＸ）１１５ａ，１１５ｂ，１１５ｃのうち出力地点に対応するマルチプレクシング部に対して選択された拡張ビットを出力する（ステップＳ７）。この処理は出力地点に対応して行われる。つまり、拡張ビット切替部１１７は、各地点のうち制御信号に応じて定まる地点向けとして、各地点に対応する拡張ビットのうち制御信号に応じて定まる拡張ビットを出力する。
【００３０】
例えば、出力地点が主たる発話地点である場合、拡張ビット切替部１１７は、従たる発話地点の拡張ビットを選択し、主たる発話地点に対応するマルチプレクシング部に選択された拡張ビットを出力する。出力地点が主たる発話地点以外の発話地点である場合、拡張ビット切替部１１７は、主たる発話地点の拡張ビットを選択し、当該出力地点に対応するマルチプレクシング部に選択された拡張ビットを出力する。
具体例として、ある時点における主たる発話地点をＡ、従たる発話地点をＢとすると、地点選択部１１６からの制御信号に基づいて、拡張ビット切替部１１７の第１切替制御部１１７ａは、出力地点Ａに対応する拡張ビットとして地点Ｂの拡張ビットを選択し、拡張ビット切替部１１７の第２切替制御部１１７ｂは、出力地点Ａに対応するマルチプレクシング部に選択された拡張ビットを出力する。また、地点選択部１１６からの制御信号に基づいて、拡張ビット切替部１１７の第１切替制御部１１７ａは、出力地点ＢとＣに対応する拡張ビットとして地点Ａの拡張ビットを選択し、拡張ビット切替部１１７の第２切替制御部１１７ｂは、出力地点ＢとＣに対応する各マルチプレクシング部に選択された拡張ビットを出力する。
【００３１】
そして、マルチプレクシング部（ＭＵＸ）１１５ａ，１１５ｂ，１１５ｃは、対応する地点向けのG.711ビット（混合音声符号）と拡張ビット（第２音声符号）をそれぞれ結合して、サブフレーム長単位の単位音声パケットを出力する（ステップＳ８）。つまり、マルチプレクシング部１１５ａは、G.711エンコーダ１１３ａが出力した地点Ａ向けのサブフレーム長単位のG.711ビットと拡張ビット切替部１１７が出力した拡張ビット（この例では従たる発話地点Ｂの拡張ビット）を結合して、サブフレーム長単位の単位音声パケットを出力する。同様に、マルチプレクシング部１１５ｂは、G.711エンコーダ１１３ｂが出力した地点Ｂ向けのG.711ビットと拡張ビット切替部１１７が出力した拡張ビット（この例では主たる発話地点Ａの拡張ビット）を結合して、サブフレーム長単位の単位音声パケットを出力し、マルチプレクシング部１１５ｃは、G.711エンコーダ１１３ｃが出力した地点Ｃ向けのG.711ビットと拡張ビット切替部１１７が出力した拡張ビット（この例では主たる発話地点Ａの拡張ビット）を結合して、サブフレーム長単位の単位音声パケットを出力する。なお、サブフレーム長単位の単位音声パケットは、音声情報に関連するデータのまとまり（ペイロード）であり、通信網を介した送受信のための狭義のパケット形式である必要はない。
【００３２】
次いで、時間方向結合部１２１ａ，１２１ｂ，１２１ｃは、マルチプレクシング部１１５ａ，１１５ｂ，１１５ｃが出力した、サブフレーム長単位の複数の単位音声パケットを時間方向で結合して、パケット化周期の時間単位を持つ送信用音声パケットを各出力地点に向けて出力する（ステップＳ９）。つまり、時間方向結合部１２１ａは、マルチプレクシング部１１５ａが出力した、サブフレーム長単位の複数の単位音声パケットを時間方向で結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力地点Ａに向けて出力する。同様に、時間方向結合部１２１ｂは、マルチプレクシング部１１５ｂが出力した、サブフレーム長単位の複数の単位音声パケットを時間方向で結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力地点Ｂに向けて出力し、時間方向結合部１２１ｃは、マルチプレクシング部１１５ｃが出力した、サブフレーム長単位の複数の単位音声パケットを時間方向で結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力地点Ｃに向けて出力する。なお、時間方向で単位音声パケットを結合する処理において、単純に単位音声パケットを時間順に並べる結合方法に限定されず、単位音声パケット内あるいは単位音声パケット間で符号（レイヤ）を入れ替えてもよい。例えば、各単位音声パケットに含まれるG.711ビットを時間方向に連結したものと、各単位音声パケットに含まれる拡張ビットを時間方向に連結したものとを結合して、パケット化周期の時間単位を持つ送信用音声パケットを生成してもよい。
【００３３】
［第２実施形態］
図６に、本発明による第２実施形態の多地点接続装置３００の構成例を示す。図７に、第２実施形態の多地点接続装置３００の処理フローを示す。多地点接続装置３００は、図４に示す多地点接続装置２００と異なり、地点選択部１１６の替わりに制御情報計算・地点選択部１１６ｐを備えている。デマルチプレクシング部１１４ａ，１１４ｂ，１１４ｃと制御情報計算・地点選択部１１６ｐ以外の各機能の処理および手順は第１実施形態と同じであるから、重複説明に替えてこれを援用する。以下、制御情報計算・地点選択部１１６ｐの処理を主題として説明する。
【００３４】
時間方向分割部１２０ａ，１２０ｂ，１２０ｃが、音声パケットをサブフレーム長単位に分割すると、分割音声パケットに含まれる地点選択部１１６のための制御情報がサブフレーム長単位の制御に対応していない場合がある。つまり、第１実施形態では、デマルチプレクシング部（ｄｅＭＵＸ）１１４ａ，１１４ｂ，１１４ｃが、各地点に対応するサブフレーム長単位の分割音声パケットをそれぞれ、G.711ビット、拡張ビット、制御情報に分離したが、サブフレーム長単位の制御情報を得られない場合がある（ステップＳ２ａ）。第２実施形態はこのような状況に対応する形態であり、制御情報計算・地点選択部１１６ｐがG.711ビットを利用して発話地点を決定して、制御信号を生成する（ステップＳ６ａ）。
【００３５】
制御情報計算・地点選択部１１６ｐの各機能構成例およびその処理フローを図８−図１５に示す。
＜構成例１＞
図８に、制御情報計算・地点選択部１１６ｐの構成例１を示す。図９に、制御情報計算・地点選択部１１６ｐの構成例１の処理フローを示す。パワー計算部１１６１ａ，１１６１ｂ，１１６１ｃは、サブフレーム長単位で入力された各地点のG.711ビットから、サブフレーム長単位のパワーを計算する（ステップＳ６ａ１１）。パワーは、G.711ビットをG.711デコーダでデコードしたＰＣＭ信号の二乗和によって求めることができる。または、パワーの代替値として、上記ＰＣＭ信号の絶対値の平均や、G.711ビットから正負符号を除いた１サンプル毎のコードの平均値を用いてもよい（以下、総称してパワーという。）。発話地点決定部１１６２は、各地点のパワーを比較して、パワーが最も大きい地点を主たる発話地点、二番目にパワーが大きい地点を従たる発話地点として決定し、これらを表す情報を出力する（ステップＳ６ａ１２）。制御信号出力部１１６３は、発話地点決定部１１６２から与えられた主たる発話地点と従たる発話地点の情報を用いて、拡張ビット切替部１１７を制御するための制御信号を出力する（ステップＳ６ａ１３）。
【００３６】
＜構成例２＞
図１０は、制御情報計算・地点選択部１１６ｐの構成例２を示す。図１１に、制御情報計算・地点選択部１１６ｐの構成例２の処理フローを示す。
この構成例２は、図８に示す構成例１の機能構成に加えて、各地点に対応するメモリ１１６４ａ，１１６４ｂ，１１６４ｃを含む。発話地点決定部１１６２とメモリ１１６４ａ，１１６４ｂ，１１６４ｃ以外の各機能の処理は構成例１と同じであるから、重複説明に替えてこれを援用する。
【００３７】
パワー計算部１１６１ａ，１１６１ｂ，１１６１ｃによってサブフレーム毎に計算された各地点のパワーは、メモリ１１６４ａ，１１６４ｂ，１１６４ｃに一時蓄積される（ステップＳ６ａ２）。発話地点決定部１１６２は、各地点に対応する現在のサブフレームのパワーのほか、メモリ１１６４ａ，１１６４ｂ，１１６４ｃに蓄積されている各地点に対応するサブフレームのパワーの時系列を用いて、主たる発話地点と従たる発話地点を決定し、これらを表す情報を出力する（ステップＳ６ａ２２）。例えば、各地点に対応する現在のサブフレームのパワー値について各地点間の差が閾値よりも小さいときには、この大小関係に、１サブフレーム前の各地点に対応するパワー値についての各地点間の大小関係を加味して、主たる発話地点と従たる発話地点を決定する。あるいは、１サブフレーム前の各地点に対応するパワー値についての各地点間の大小関係が、各地点に対応する現在のサブフレームのパワー値についての各地点間の大小関係よりも顕著である場合は、１サブフレーム前の各地点に対応するパワー値についての各地点間の大小関係に基づいて主たる発話地点と従たる発話地点を決定してもよい。あるいは、各地点に対応する現在のサブフレームのパワー値と１サブフレーム前の各地点に対応するパワー値の平均について各地点間で大小比較をして、主たる発話地点と従たる発話地点を決定してもよい。
【００３８】
＜構成例３＞
図１２は、制御情報計算・地点選択部１１６ｐの構成例３を示す。図１３に、制御情報計算・地点選択部１１６ｐの構成例３の処理フローを示す。
この構成例３は、図８に示す構成例１の機能構成に加えて、主従を決定された発話地点に対応するメモリ１１６５ａ，１１６５ｂを含む。発話地点決定部１１６２とメモリ１１６５ａ，１１６５ｂ以外の各機能の処理は構成例１と同じであるから、重複説明に替えてこれを援用する。
【００３９】
構成例３では、発話地点決定部１１６２が決定した主従の各発話地点に関する情報がメモリ１１６５ａ，１１６５ｂに一時蓄積される（ステップＳ６ａ３）。発話地点決定部１１６２は、メモリ１１６５ａ，１１６５ｂから取得した１サブフレーム前の主従の各発話地点に関する情報に応じて、主従の各発話地点を決定するための決定基準を変更し、当該基準の下、各地点に対応する現在のサブフレームのパワーを用いて主たる発話地点と従たる発話地点を決定し、これらを表す情報を出力する（ステップＳ６ａ３２）。
【００４０】
主従の各発話地点を決定する処理では先に主たる発話地点を決定してから従たる発話の決定を行うところ、発話地点決定部１１６２は、まず、メモリ１１６５ａから取得した１サブフレーム前の主たる発話地点に関する情報に応じて、主たる発話地点を決定するための決定基準を変更し、当該基準の下、各地点に対応する現在のサブフレームのパワーを用いて主たる発話地点を決定し、これを表す情報を出力する。
【００４１】
例えば、１サブフレーム前の主たる発話地点が地点Ａで、現在のサブフレームについて各地点のパワーのうち地点Ａのパワーが最大であれば、引き続き主たる発話地点を地点Ａとする。１サブフレーム前の主たる発話地点が地点Ａで、現在のサブフレームについて各地点のパワーのうち地点Ｂのパワーが最大であれば、単純に主たる発話地点を地点Ｂとする図８に示す構成例１と異なり、例えば、現在のサブフレームについて地点Ｂのパワーが地点Ａのパワーよりもα倍以上大きい場合は主たる発話地点を地点Ｂに変更するが、地点Ｂのパワーのほうが大きくても地点Ａのパワーのα倍に満たない場合は、主たる発話地点を地点Ａのまま変更しないという処理を行う（ただし、αは正の実数であり通常１よりも大きい正数である。）。
【００４２】
この処理は、主たる発話地点の継続は容易に、主たる発話地点の変更には高いハードルを設けることを意味し、必要以上に頻繁に発話地点が切り替わることを防ぐ効果がある。また、或る一地点が主たる発話地点として判定されたサブフレームが長時間継続するほど、他の地点に主たる発話地点が切り替わるハードルをより高くするルールも採用可能である。例えば、連続する４サブフレームで同じ地点が主たる発話地点とされた場合は、発話地点の切り替わりに次のサブフレームでβ倍以上のパワー差を必要とするという制約を課すことが許される。このβはαと別個独立に設定される正の実数であり、通常はαよりも大きい値とされる。
【００４３】
また、上述の主たる発話地点を決定する処理に続いて、発話地点決定部１１６２は、メモリ１１６５ｂから取得した１サブフレーム前の従たる発話地点に関する情報に応じて、従たる発話地点を決定するための決定基準を変更し、当該基準の下、各地点に対応する現在のサブフレームのパワーを用いて従たる発話地点を決定し、これを表す情報を出力する。
【００４４】
例えば、≪１≫上述の主たる発話地点を決定する処理において、１サブフレーム前の従たる発話地点Ｂが主たる発話地点に昇格しなかった場合、次のような処理を行う。１サブフレーム前の従たる発話地点が地点Ｂで、現在のサブフレームについて各地点のパワーのうち地点Ｂのパワーが上述の処理で決定された主たる発話地点を除いて最大である場合、引き続き従たる発話地点を地点Ｂとする。１サブフレーム前の従たる発話地点が地点Ｂで、現在のサブフレームについて各地点のパワーのうち地点Ｃのパワーが上述の処理で決定された主たる発話地点を除いて最大である場合、単純に従たる発話地点を地点Ｃとする図８に示す構成例１と異なり、例えば、現在のサブフレームについて地点Ｃのパワーが地点Ｂのパワーよりもγ倍以上大きい場合は従たる発話地点を地点Ｃに変更するが、地点Ｃのパワーのほうが大きくても地点Ｂのパワーのγ倍に満たない場合は、従たる発話地点を地点Ｂのまま変更しないという処理を行う（ただし、γは正の実数であり通常１よりも大きい正数である。）。
【００４５】
≪２≫上述の主たる発話地点を決定する処理において、１サブフレーム前の従たる発話地点Ｂが主たる発話地点に昇格した場合、次のような処理を行う。１サブフレーム前の主たる発話地点Ａを１サブフレーム前の従たる発話地点とみなして、前述の場合≪１≫と同様の処理を行う。すなわち、１サブフレーム前の従たる発話地点が地点Ａであり、現在のサブフレームについて各地点のパワーのうち地点Ａのパワーが上述の処理で決定された主たる発話地点を除いて最大である場合、従たる発話地点を地点Ａとする。１サブフレーム前の従たる発話地点が地点Ａであり、現在のサブフレームについて各地点のパワーのうち地点Ｃのパワーが上述の処理で決定された主たる発話地点を除いて最大である場合、単純に従たる発話地点を地点Ｃとする図８に示す構成例１と異なり、例えば、現在のサブフレームについて地点Ｃのパワーが地点Ａのパワーよりもγ倍以上大きい場合は従たる発話地点を地点Ｃに変更するが、地点Ｃのパワーのほうが大きくても地点Ａのパワーのγ倍に満たない場合は、従たる発話地点を地点Ａとするという処理を行う（ただし、γは正の実数であり通常１よりも大きい正数である。）。
【００４６】
なお、場合≪２≫において、１サブフレーム前の主たる発話地点Ａを１サブフレーム前の従たる発話地点とみなして現在のサブフレームの従たる発話地点を決定する上述の処理に替えて、次のような処理を行ってもよい。すなわち、メモリ１１６５ｂの蓄積内容をクリアし、現在のサブフレームの従たる発話地点を、構成例１で説明した処理と同様に、現在のサブフレームのパワーを用いて決定する。
【００４７】
このように、従たる発話地点の決定処理についても、主たる発話地点の決定処理と同様に、従たる発話地点の継続を容易にし、従たる発話地点の変更には高いハードルを設けることで、必要以上に頻繁に発話地点が切り替わることを防ぐようにしてもよい。また、或る一地点が従たる発話地点として判定されたサブフレームが長時間継続するほど、他の地点に従たる発話地点が切り替わるハードルをより高くするルールも採用可能である。例えば、連続する４サブフレームで同じ地点が従たる発話地点とされた場合は、発話地点の切り替わりに次のサブフレームでθ倍以上のパワー差を必要とするという制約を課すことが許される。このθはγと別個独立に設定される正の実数であり、通常はγよりも大きい値とされる。
【００４８】
なお、構成例３において、従たる発話地点を決定するための決定基準を変更することは必須ではなく、この場合、メモリ１１６５ｂは不要である（つまり、従たる発話地点は構成例１に準拠して決定される。）。
【００４９】
＜構成例４＞
図１４は、制御情報計算・地点選択部１１６ｐの構成例４を示す。図１５に、制御情報計算・地点選択部１１６ｐの構成例４の処理フローを示す。
この構成例４は、図１０に示す構成例２の機能構成と図１２に示す構成例３の機能構成との複合形態である。各機能の処理は構成例２および構成例３の説明によって既に明らかであるから、重複説明に替えてこれを援用する。
【００５０】
構成例４は、発話地点決定部１１６２が、各地点に対応する現在のサブフレームのパワーと、メモリ１１６４ａ，１１６４ｂ，１１６４ｃに蓄積されている各地点に対応する各サブフレームのパワーの時系列と、メモリ１１６５ａ，１１６５ｂに蓄積されている主従の各発話地点に関する情報とを用いて、現在のサブフレームにおける主従の各発話地点の決定を行い、これらを表す情報を出力する（ステップＳ６ａ４）。この決定処理として、まず構成例２による決定処理を行い、次いで構成例３による決定処理を行う二段階方式や、まず構成例３による決定処理を行い、次いで構成例２による決定処理を行う二段階方式や、構成例２による決定アルゴリズムと構成例３による決定アルゴリズムを融合させた決定処理などが実施できる。例えば、１サブフレーム前の主たる発話地点が地点Ａである場合、連続する直前の２サブフレームについて地点Ｂのパワーが最大となった場合に主たる発話地点を地点Ｂに切り替えるという決定処理が行われる。
【００５１】
なお、構成例４において、従たる発話地点を決定するための決定基準を変更することは必須ではなく、この場合、メモリ１１６５ｂは不要である（つまり、従たる発話地点は構成例１または構成例２に準拠して決定される。）。
【００５２】
上述の各実施形態では、音声符号化方式としてG.711.1を採用したがこれに限定されず、他の音声符号化方式であってもよい。また、第２実施形態では制御情報としてのパワーをG.711ビットを利用して計算し、このパワーを利用して発話地点を決定したが、このような処理に限定されない。制御情報として音声信号（G.711デコーダの出力であるＰＣＭ音声を含む）のパワー、音声／非音声区間情報（ＶＡＤ）、有声音／無声音の識別情報などの音響属性を、G.711デコーダの出力であるＰＣＭ音声信号や拡張ビットから求める処理としてもよい。
【００５３】
例えばコンピュータによって多地点接続装置を実現する場合であれば、実施形態に係わる多地点接続装置は、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部〔これらは、単純な中継基地局として多地点接続装置を実現する場合には必ずしも必要ではない。〕、多地点接続装置の外部に通信可能な通信装置（例えばモデム）が接続可能な通信部、ＤＳＰ〔ＣＰＵでも良い。またキャッシュメモリなどを備えていてもよい。〕、メモリであるＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）やハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＤＳＰ、ＲＡＭ、ＲＯＭ、外部記憶装置間のデータのやり取りが可能なように接続するバスなどを備えている。また必要に応じて、多地点接続装置に、ＣＤ−ＲＯＭなどの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。
【００５４】
多地点接続装置の外部記憶装置には、多地点接続のためのプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている〔例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておく形態も許される。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭなどに適宜に記憶される。
【００５５】
具体的には、外部記憶装置には、３地点以上の各地点から送られた音声パケットをそれぞれ、パケット化周期よりも短いサブフレーム長単位に分割して、分割音声パケットを出力するためのプログラム、各地点に対応する分割音声パケットそれぞれから、少なくとも第１音声符号と第２音声符号を取り出すためのプログラム、各地点に対応する第１音声符号をそれぞれ復号して第１音声信号を出力するためのプログラム、各地点に対応する第１音声信号をミキシングして各地点向けの混合音声信号を出力するためのプログラム、各地点に対応する混合音声信号をそれぞれ符号化して混合音声符号を出力するためのプログラム、各地点の中から発話地点を決定して、当該発話地点に対応する制御信号を出力するためのプログラム、各地点のうち制御信号に応じて定まる地点向けとして、各地点に対応する第２音声符号のうち制御信号に応じて定まる第２音声符号を出力するためのプログラム、各地点に対応する混合音声符号と、第２音声符号切替処理で出力された各地点に対応する第２音声符号とを結合して、サブフレーム長単位の単位音声パケットを出力するためのプログラム、各地点に対応する単位音声パケットを複数結合して、パケット化周期の時間単位を持つ送信用音声パケットを出力するためのプログラムが記憶されている。その他、これらのプログラムに基づく処理を制御するための制御プログラムも適宜に保存しておく。
【００５６】
実施形態に係る多地点接続装置では、外部記憶装置〔あるいはＲＯＭなど〕に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてＲＡＭに読み込まれて、ＤＳＰで解釈実行・処理される。その結果、ＤＳＰが所定の機能（時間方向分割部、デマルチプレクシング部、デコーダ、ミキシング部、エンコーダ、地点選択部、第２音声符号切替部（拡張ビット切替部）、マルチプレクシング部、時間方向結合部）を実現することで、多地点接続が実現される。
【００５７】
このほか本発明である多地点接続装置・方法は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記多地点接続装置・方法において説明した処理は、記載の順に従って時系列に実行される趣旨ではなく、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００５８】
また、上記多地点接続装置における処理機能をコンピュータによって実現する場合、多地点接続装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記多地点接続装置における処理機能がコンピュータ上で実現される。
【００５９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００６０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００６１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００６２】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、多地点接続装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005572338.tif 000002
【図２】
0005572338.tif 000003
【図３】
0005572338.tif 000004
【図４】
0005572338.tif 000005
【図５】
0005572338.tif 000006
【図６】
0005572338.tif 000007
【図７】
0005572338.tif 000008
【図８】
0005572338.tif 000009
【図９】
0005572338.tif 000010
【図１０】
0005572338.tif 000011
【図１１】
0005572338.tif 000012
【図１２】
0005572338.tif 000013
【図１３】
0005572338.tif 000014
【図１４】
0005572338.tif 000015
【図１５】
0005572338.tif 000016