(57)【要約】【課題】ミキシング後の通話品質・音質の劣化を低減せしめる話者選択を行う。【解決手段】継続状態更新部１０１は、一つの入力地点から送られた音声パケットに含まれるＶＡＤフラグを用いて、当該地点の発話継続状態を示す指標である継続状態指標を更新する。話者切換判断部１０２は、各地点の継続状態指標および各入力地点から送られた音声パケットそれぞれに含まれる音響特徴量（音声情報）と、１フレーム前の話者の入力地点を指示する話者番号とを用いて、話者番号によって指示される入力地点の継続状態指標が発話継続中を示すものであれば、現フレームにおける話者の入力地点を話者指標によって指示される入力地点とし、話者指標によって指示される入力地点の継続状態指標が発話終了を示すものであれば、各入力地点の音声情報を比較して現フレームにおける話者の入力地点を決定する。【選択図】図５
2008141505.tif 000002
【特許請求の範囲】
【請求項１】
３地点以上の各地点（以下、入力地点と云う。）から送られた音声パケットに対して、話者選択をしてミキシングを行う音声ミキシングにおける話者選択装置であって、
一つの入力地点から送られた音声パケットに含まれる１フレーム（以下、現フレームと云う。）の音声符号が音声区間のものであるかあるいは非音声区間のものであるかのいずれであるかを示す判定結果（以下、ＶＡＤフラグという。）を用いて、当該入力地点の発話継続状態を示す指標である継続状態指標を更新する継続状態更新手段を各入力地点に対応して備えるとともに、
各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームの音声符号の音響特徴量（以下、音声情報という。）と、１フレーム前の話者の入力地点を指示する話者指標とを入力とし、
上記話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける話者の入力地点を上記話者指標によって指示される入力地点として決定し、
上記話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、各入力地点の上記音声情報を比較して現フレームにおける話者の入力地点を決定する話者切換判断手段と
を備えた
ことを特徴とする話者選択装置。
【請求項２】
上記話者切換判断手段を、
各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームの音声符号の音響特徴量（以下、音声情報という。）と、１フレーム前の主たる話者である第一話者の入力地点を指示する第一話者指標と、１フレーム前の第一話者を除いて主たる話者である第二話者の入力地点を指示する第二話者指標とを入力とし、
上記第一話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものである場合に、
現フレームにおける第一話者の入力地点を上記第一話者指標によって指示される入力地点として決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第二話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、上記第一話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、
上記第一話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものである場合に、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第一話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、上記第二話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、各入力地点の上記音声情報を比較して現フレームにおける第一話者の入力地点を決定して、この決定された第一話者の入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定するもの
に替えたことを特徴とする請求項１に記載の話者選択装置。
【請求項３】
３地点以上の各地点（以下、入力地点と云う。）から送られた音声パケットに対して、話者選択をしてミキシングを行う音声ミキシングにおける話者選択装置であって、
各入力地点に対応して、
一つの入力地点から送られた音声パケットに含まれる１フレーム（以下、現フレームと云う。）の音声符号が音声区間のものであるかあるいは非音声区間のものであるかのいずれであるかを示す判定結果（以下、ＶＡＤフラグという。）を用いて、当該入力地点の発話継続状態を示す指標である継続状態指標を更新する継続状態更新手段と、
一つの入力地点から送られた過去および現在の各音声パケットに含まれるフレームごとの音声符号の音響特徴量（以下、音声情報という。）を蓄積する音声情報蓄積手段と、
上記音声情報蓄積手段に蓄積された上記音声情報から１つの音声情報（以下、選択音声情報と云う。）を選択する音声情報探索手段と
を備えるとともに、
各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームに対応する上記音声情報と、１フレーム前の話者の入力地点を指示する話者指標と、上記選択音声情報とを入力とし、
上記話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものである場合に、
上記話者指標によって指示される入力地点以外の入力地点であって継続状態指標が発話継続中を示している入力地点（以下、発話継続他地点と云う。）の上記音声情報と、上記話者指標によって指示される入力地点の上記選択音声情報とをそれぞれ比較して、
上記選択音声情報よりも上記発話継続他地点の上記音声情報が話者適格である場合には、各入力地点の上記音声情報を比較して現フレームの話者の入力地点を決定し、
上記発話継続他地点の上記音声情報よりも上記選択音声情報が話者適格である場合には、現フレームの話者の入力地点を上記話者指標によって指示される入力地点として決定し、
上記話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものである場合に、
各入力地点の上記音声情報を比較して現フレームの話者の入力地点を決定する
話者切換判断手段と
を備えた
ことを特徴とする話者選択装置。
【請求項４】
上記話者切換判断手段を、
各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームに対応する上記音声情報と、１フレーム前の主たる話者である第一話者の入力地点を指示する第一話者指標と、１フレーム前の第一話者を除いて主たる話者である第二話者の入力地点を指示する第二話者指標と、上記選択音声情報とを入力とし、
上記第一話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものである場合（以下、第１の場合と云う。）であって、かつ、上記第一話者指標によって指示される入力地点以外の入力地点であって継続状態指標が発話継続中を示している入力地点（以下、発話継続他地点と云う。）の上記音声情報と、上記第一話者指標によって指示される入力地点の上記選択音声情報とをそれぞれ比較して、上記発話継続他地点の上記音声情報よりも上記選択音声情報が話者適格である場合に、
現フレームにおける第一話者の入力地点を上記第一話者指標によって指示される入力地点として決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第二話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、上記第一話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、
上記発話継続他地点の上記音声情報と、上記第一話者指標によって指示される入力地点の上記選択音声情報とをそれぞれ比較して、上記選択音声情報よりも上記発話継続他地点の上記音声情報が話者適格である場合かつ上記第１の場合に、あるいは、上記第一話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものである場合に、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第一話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、上記第二話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、各入力地点の上記音声情報を比較して現フレームにおける第一話者の入力地点を決定して、この決定された第一話者の入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定するもの
に替えたことを特徴とする請求項３に記載の話者選択装置。
【請求項５】
上記音声情報を、音声のパワーまたはピッチの相関値であるとし、
上記選択音声情報は、上記音声情報蓄積手段に蓄積された上記音声情報のうち、音声のパワーの最大値または音声のピッチの相関値の最大値である
ことを特徴とする請求項３または請求項４に記載の話者選択装置。
【請求項６】
上記継続状態指標を整数値とし、予め決められた閾値以上／より大の上記継続状態指標は発話継続中を表し、上記閾値未満／以下の上記継続状態指標は発話終了を表すとし、
上記継続状態更新手段は、上記ＶＡＤフラグが音声区間を表す場合には、現在の上記継続状態指標に所定の正値を加えることで上記継続状態指標を更新し、上記ＶＡＤフラグが非音声区間を表す場合には、現在の上記継続状態指標から上記所定の正値と同じまたは異なる所定の正値を減じることで上記継続状態指標を更新する
ことを特徴とする請求項１から請求項５のいずれかに記載の話者選択装置。
【請求項７】
上記継続状態指標に上限および下限を設け、
上記継続状態更新手段は、上記上限を超えては上記継続状態指標の加算更新をせず、また、上記下限を下回っては上記継続状態指標の減算更新をしない
ことを特徴とする請求項６に記載の話者選択装置。
【請求項８】
３地点以上の各地点（以下、入力地点と云う。）から送られた音声パケットに対して、話者選択をしてミキシングを行う音声ミキシングにおける話者選択方法であって、
継続状態更新手段が、一つの入力地点から送られた音声パケットに含まれる１フレーム（以下、現フレームと云う。）の音声符号が音声区間のものであるかあるいは非音声区間のものであるかのいずれであるかを示す判定結果（以下、ＶＡＤフラグという。）を用いて、当該入力地点の発話継続状態を示す指標である継続状態指標を更新する継続状態更新ステップを各入力地点に対応して有するとともに、
話者切換判断手段が、各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームの音声符号の音響特徴量（以下、音声情報という。）と、１フレーム前の話者の入力地点を指示する話者指標とを入力とし、
上記話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける話者の入力地点を上記話者指標によって指示される入力地点として決定し、
上記話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、各入力地点の上記音声情報を比較して現フレームにおける話者の入力地点を決定する話者切換判断ステップと
を有する
ことを特徴とする話者選択方法。
【請求項９】
上記話者切換判断ステップを、
話者切換判断手段が、各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームの音声符号の音響特徴量（以下、音声情報という。）と、１フレーム前の主たる話者である第一話者の入力地点を指示する第一話者指標と、１フレーム前の第一話者を除いて主たる話者である第二話者の入力地点を指示する第二話者指標とを入力とし、
上記第一話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものである場合に、
現フレームにおける第一話者の入力地点を上記第一話者指標によって指示される入力地点として決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第二話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、上記第一話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、
上記第一話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものである場合に、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第一話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、上記第二話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、各入力地点の上記音声情報を比較して現フレームにおける第一話者の入力地点を決定して、この決定された第一話者の入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定するもの
に替えたことを特徴とする請求項８に記載の話者選択方法。
【請求項１０】
３地点以上の各地点（以下、入力地点と云う。）から送られた音声パケットに対して、話者選択をしてミキシングを行う音声ミキシングにおける話者選択方法であって、
各入力地点に対応して、
継続状態更新手段が、一つの入力地点から送られた音声パケットに含まれる１フレーム（以下、現フレームと云う。）の音声符号が音声区間のものであるかあるいは非音声区間のものであるかのいずれであるかを示す判定結果（以下、ＶＡＤフラグという。）を用いて、当該入力地点の発話継続状態を示す指標である継続状態指標を更新する継続状態更新ステップと、
音声情報蓄積手段が、一つの入力地点から送られた音声パケットに含まれるフレームの音声符号の音響特徴量（以下、音声情報という。）を蓄積する音声情報蓄積ステップと、
音声情報探索手段が、上記音声情報蓄積手段に蓄積された上記音声情報から１つの音声情報（以下、選択音声情報と云う。）を選択する音声情報探索ステップと
を有するとともに、
話者切換判断手段が、各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームに対応する上記音声情報と、１フレーム前の話者の入力地点を指示する話者指標と、上記選択音声情報とを入力とし、
上記話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものである場合に、
上記話者指標によって指示される入力地点以外の入力地点であって継続状態指標が発話継続中を示している入力地点（以下、発話継続他地点と云う。）の上記音声情報と、上記話者指標によって指示される入力地点の上記選択音声情報とをそれぞれ比較して、
上記選択音声情報よりも上記発話継続他地点の上記音声情報が話者適格である場合には、各入力地点の上記音声情報を比較して現フレームの話者の入力地点を決定し、
上記発話継続他地点の上記音声情報よりも上記選択音声情報が話者適格である場合には、現フレームの話者の入力地点を上記話者指標によって指示される入力地点として決定し、
上記話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものである場合に、
各入力地点の上記音声情報を比較して現フレームの話者の入力地点を決定する
話者切換判断ステップと
を有する
ことを特徴とする話者選択方法。
【請求項１１】
上記話者切換判断ステップを、
話者切換判断手段が、各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームに対応する上記音声情報と、１フレーム前の主たる話者である第一話者の入力地点を指示する第一話者指標と、１フレーム前の第一話者を除いて主たる話者である第二話者の入力地点を指示する第二話者指標と、上記選択音声情報とを入力とし、
上記第一話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものである場合（以下、第１の場合と云う。）であって、かつ、上記第一話者指標によって指示される入力地点以外の入力地点であって継続状態指標が発話継続中を示している入力地点（以下、発話継続他地点と云う。）の上記音声情報と、上記第一話者指標によって指示される入力地点の上記選択音声情報とをそれぞれ比較して、上記発話継続他地点の上記音声情報よりも上記選択音声情報が話者適格である場合に、
現フレームにおける第一話者の入力地点を上記第一話者指標によって指示される入力地点として決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第二話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、上記第一話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、
上記発話継続他地点の上記音声情報と、上記第一話者指標によって指示される入力地点の上記選択音声情報とをそれぞれ比較して、上記選択音声情報よりも上記発話継続他地点の上記音声情報が話者適格である場合かつ上記第１の場合に、あるいは、上記第一話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものである場合に、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第一話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、上記第二話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、
上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、各入力地点の上記音声情報を比較して現フレームにおける第一話者の入力地点を決定して、この決定された第一話者の入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定するもの
に替えたことを特徴とする請求項１０に記載の話者選択方法。
【請求項１２】
上記音声情報を、音声のパワーまたはピッチの相関値であるとし、
上記選択音声情報は、上記音声情報蓄積手段に蓄積された上記音声情報のうち、音声のパワーの最大値または音声のピッチの相関値の最大値である
ことを特徴とする請求項１０または請求項１１に記載の話者選択方法。
【請求項１３】
上記継続状態指標を整数値とし、予め決められた閾値以上／より大の上記継続状態指標は発話継続中を表し、上記閾値未満／以下の上記継続状態指標は発話終了を表すとし、
上記継続状態更新ステップは、上記ＶＡＤフラグが音声区間を表す場合には、現在の上記継続状態指標に所定の正値を加えることで上記継続状態指標を更新し、上記ＶＡＤフラグが非音声区間を表す場合には、現在の上記継続状態指標から上記所定の正値と同じまたは異なる所定の正値を減じることで上記継続状態指標を更新する
ことを特徴とする請求項８から請求項１２のいずれかに記載の話者選択方法。
【請求項１４】
上記継続状態指標に上限および下限を設け、
上記継続状態更新ステップは、上記上限を超えては上記継続状態指標の加算更新をせず、また、上記下限を下回っては上記継続状態指標の減算更新をしない
ことを特徴とする請求項１３に記載の話者選択方法。
【請求項１５】
請求項１から請求項７のいずれかに記載された話者選択装置としてコンピュータを機能させるための話者選択プログラム。
【請求項１６】
請求項１５に記載の話者選択プログラムを記録した、コンピュータに読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者選択技術に関する。より詳しくは、音声ミキシングにおける話者選択技術に関する。
【背景技術】
【０００２】
ディジタル通信網であるパケット通信網を介して多地点（３地点以上を多地点と云い、以下同様とする。）を結び、音声パケット通信で多地点音声通信（例えば多地点音声会議である。）を行うことが増えている。
【０００３】
図１に、３つの地点Ａ、Ｂ、Ｃから送られた音声パケットを音声ミキシング装置でミキシングして、ミキシング後の音声パケットを地点Ｄに送る構成例の概要を示す。
地点Ａの音声パケット送信部（９００Ａ）は、地点Ａでの入力音声信号〔離散化された音声信号や音楽信号などの音響信号を総称して音声信号と云うことにする。〕を音声パケットＡに変換して、パケット通信網（９５０）経由で音声ミキシング装置（９７０）に送り出す。同様に、地点Ｂの音声パケット送信部（９００Ｂ）は、地点Ｂでの入力音声信号を音声パケットＢに変換して、パケット通信網（９５０）経由で音声ミキシング装置（９７０）に送り出し、地点Ｃの音声パケット送信部（９００Ｃ）は、地点Ｃでの入力音声信号を音声パケットＣに変換して、パケット通信網（９５０）経由で音声ミキシング装置（９７０）に送り出す。音声ミキシング装置（９７０）は、音声パケットＡ、音声パケットＢ、音声パケットＣから１地点分の音声パケットを作成の上、これをパケット通信網（９５０）経由で地点Ｄに送り出す。地点Ｄの音声パケット受信部（９００Ｄ）は、受信した音声パケットを出力音声信号に変換する。
なお、図１では、説明を簡単にするため入力が３地点、出力が１地点の例を示しているが、入力は何地点でもよい。また、通常の多地点音声通信利用においては、入力地点と出力地点は同一であり、入力がＡ、Ｂ、Ｃ地点であれば、出力もＡ、Ｂ、Ｃの３地点分必要であり、地点ＤはＡ、Ｂ、Ｃのいずれかの例であると読み替えるとよい（以下、同様である。）。
【０００４】
従来、このような多地点音声通信の用途においては、音声符号化方法としてＩＴＵ−Ｔ〔International Telecommunication Union-Telecommunication Standardization Sector：国際電気通信連合電気通信標準化部門〕  Ｇ．７１１が利用されることがほとんどであった。
その理由は、音声ミキシング装置において、各地点から送られてくる音声パケットに含まれる音声符号をいったんデコードし、ＰＣＭ（Pulse Code Modulation）信号レベルでミキシング処理を行った後、再度エンコード処理を行って各地点向けの音声パケットを生成する必要があり、Ｇ．７１１以外の符号化方式では、音声ミキシング装置に多大な負荷がかかるためである。
【０００５】
このような状況において本発明者らは、本発明に先立ち、音声符号化方式としてＧ．７１１よりも音質の良い広帯域音声符号化方式を用いながら、音声ミキシング装置に多大な負荷のかからない多地点ミキシング方法を実現した（特許文献１参照。）。
図２および図３に特許文献１に開示される多地点ミキシング方法の一例を示す。ただし図２は図１における１地点分の音声パケット送信部の機能構成例を示し、図３では、送信側として地点Ａ、受信側として地点Ｄのみを記載し、地点Ｂ、Ｃは省略した。地点Ｂ、Ｃでの処理は地点Ａでの処理と同様である。
【０００６】
特許文献１に開示される多地点ミキシング方法では、フレームと呼ばれる所定時間長（例えば１０ｍｓ〜２０ｍｓ程度である。）ごとに区切った入力音声信号を音声波形符号化部（９０１）が音声符号に変換してこれを出力する。また、音声区間検出部（９０２）がフレーム毎にそれが音声区間のものであるか非音声区間のものであるかを示す判定結果（以下、ＶＡＤフラグと云う。）を出力する。さらに、音声情報取得部（９０４）は、入力音声信号の音響特徴量である音声情報を取得する。音声情報としては、例えば入力音声信号の音声のパワーやピッチの相関値とすることができる。音声情報の取得方法として、入力音声信号の音声波形の二乗和を計算することによってパワーを求めてもよいし、入力音声信号の音声波形のピッチの相関値を求めてもよい。そして、パケット構成部（９０３）がＶＡＤフラグおよび音声情報を音声符号とともに音声パケットに組み込んでこれをパケット通信網（９５０）へ送っている。
【０００７】
パケット通信網（９５０）を介して音声パケットを受け取った音声ミキシング装置（９７０）では、パケット分解部（９７１）が、音声パケットから音声符号、ＶＡＤフラグおよび音声情報を取り出す。
更に、音声符号分解部（９７２）が、音声符号を低域符号および高域符号に分解し、低域符号は低域ミキシング部（９７３）に、高域符号は高域切換部（９７４）に送られる。ここで、高域符号は拡張レイヤ符号のひとつであり、高域符号は任意の拡張レイヤ符号に読み替えてもよいものとする（以下同様である。）。
【０００８】
低域ミキシング部（９７３）は、各地点からの低域符号を受け取ってデコードし、出力する地点毎にミキシング音声を生成してこれを低域符号に変換し、この低域符号を音声符号結合部（９７５）に送る。
【０００９】
話者選択部（９７６）は、各地点からのＶＡＤフラグおよび音声情報を参照して、時々刻々、どの地点が主たる発言者であるのかの自動判定処理を行ったうえで、話者の入力地点を指示する話者指標（以下、話者番号と云う。）を出力する。
【００１０】
高域切換部（９７４）は、各地点からの高域符号を受け取り、話者番号を用いて、出力する地点毎に高域符号を１地点分選択し、音声符号結合部（９７５）に送る。
【００１１】
音声符号結合部（９７５）は、低域符号と高域符号とを結合して音声符号を生成し、この音声符号をパケット構成部（９７７）に送る。パケット構成部（９７７）は受け取った音声符号から音声パケット生成して、この音声パケットを出力する。
【００１２】
特許文献１には、話者選択部（９７６）の話者選択方法として、サンプル当たりの平均パワーが最も大きく、かつ音声区間と判別された対地の高域符号（拡張レイヤ情報）を選択すること、および、あまり頻繁に話者が切り替わると異音が聴こえる可能性や、不自然な再生音声になる可能性があるので、ある一定時間（切換制限時間；例えば４０ms〜２００ms）以上は話者を切り替えないようにすることが述べられている。
【特許文献１】特開２００５−２２９２５９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
一般的な人間の会話では、３割〜５割程度は非音声区間が含まれている。それにも関らず、送信側の入力音声信号に人間の声が背景雑音として含まれている場合や、双方向通信の場合で他の地点の音声が音響スピーカから再生され、それがエコーとなってマイクから入ってしまった場合などには、その地点が実際には発言していないにもかかわらず背景雑音やエコーを入力音声信号として音声区間と判定されてしまうことがあり、正しく音声区間を判定できない。結果として、話者選択部において複数の話者（地点）の何れが発言者（発言地点）であるかを正しく判定できず、主たる発言者の自動判定の誤り、あるいは、誤って発話中に音声符号の切り替えが発生して、ミキシング後の通話品質・音質が劣化するという懸念がある。
【００１４】
このような懸念に対して、話者選択方法として、各地点の音声情報と音声区間と判定されているか否かを示すＶＡＤフラグを利用して、音声区間と判定された話者（地点）のうち音声のパワーが最大の地点を発言者（発言地点）とする方法では、入力音声レベルが変動した場合や、地点毎に入力音声レベルが異なる場合などに、正確に発言者（発言地点）を判定することができず、上記懸念を十分に払拭できるとは必ずしも言い切れない。
【００１５】
また、話者選択方法として、一定時間は発言者（発言地点）を切り替えない方法では、短時間の間に実際の発話者（発言地点）が変わった場合には正確に発言者（発言地点）を判定することができず、上記懸念を十分に払拭できるとは必ずしも言い切れない。
【００１６】
そこで本発明は、少なくとも入力音声レベルが変動したり、入力音声レベルが地点毎に異なる場合でも、ミキシング後の通話品質・音質の劣化を低減せしめる話者選択装置、方法、プログラムおよびその記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決するため、本発明では、３地点以上の各地点（以下、入力地点と云う。）から送られた音声パケットに対して、話者選択をしてミキシングを行う音声ミキシングにおける話者選択であって、一つの入力地点から送られた音声パケットに含まれる１フレーム（以下、現フレームと云う。）の音声符号が音声区間のものであるかあるいは非音声区間のものであるかのいずれであるかを示す判定結果（以下、ＶＡＤフラグという。）を用いて、当該入力地点の発話継続状態を示す指標である継続状態指標を更新し、各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームの音声符号の音響特徴量（以下、音声情報という。）と、１フレーム前の話者の入力地点を指示する話者指標とを用いて、上記話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける話者の入力地点を上記話者指標によって指示される入力地点として決定し、上記話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、各入力地点の上記音声情報を比較して現フレームにおける話者の入力地点を決定する。継続状態指標の更新は上記入力地点ごとに行う。
【００１８】
このように、音声パケットに含まれるＶＡＤフラグによって更新される継続状態指標を用いて、継続状態指標が発話継続中を表すものであるか発話終了を表すものであるかを判定し、それが発話継続中であれば話者を引き続き話者とするが、それが発話終了であれば音声情報を用いて話者の探索を行う。このように音声のパワーを話者選択における直接の指標としないため、話者選択において、送信側の入力音声レベルの異同や変動の直接の影響を受けることがない。
【００１９】
上記の構成においては、各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームの音声符号の音響特徴量（以下、音声情報という。）と、１フレーム前の主たる話者である第一話者の入力地点を指示する第一話者指標と、１フレーム前の第一話者を除いて主たる話者である第二話者の入力地点を指示する第二話者指標とを用いて、上記第一話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものである場合に、現フレームにおける第一話者の入力地点を上記第一話者指標によって指示される入力地点として決定し、上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第二話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、上記第一話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、上記第一話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものである場合に、上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第一話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、上記第二話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、各入力地点の上記音声情報を比較して現フレームにおける第一話者の入力地点を決定して、この決定された第一話者の入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定するようにしてもよい。
【００２０】
複数の人間が例えば不規則に入れ替わって発言するような現実の自然な会話の音声パケット通信のように複数の話者選択を行う場合であっても、第一話者および第二話者について継続状態指標を用いた話者選択を行うことで、話者選択において、送信側の入力音声レベルの異同や変動の直接の影響を受けることがない。
【００２１】
あるいは、３地点以上の各地点（以下、入力地点と云う。）から送られた音声パケットに対して、話者選択をしてミキシングを行う音声ミキシングにおける話者選択であって、一つの入力地点から送られた音声パケットに含まれる１フレーム（以下、現フレームと云う。）の音声符号が音声区間のものであるかあるいは非音声区間のものであるかのいずれであるかを示す判定結果（以下、ＶＡＤフラグという。）を用いて、当該入力地点の発話継続状態を示す指標である継続状態指標を更新し、一つの入力地点から送られた過去および現在の各音声パケットに含まれるフレームごとの音声符号の音響特徴量（以下、音声情報という。）を蓄積し、上記音声情報蓄積手段に蓄積された上記音声情報から１つの音声情報（以下、選択音声情報と云う。）を選択し、各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームに対応する上記音声情報と、１フレーム前の話者の入力地点を指示する話者指標と、上記選択音声情報とを用いて、上記話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものである場合に、上記話者指標によって指示される入力地点以外の入力地点であって継続状態指標が発話継続中を示している入力地点（以下、発話継続他地点と云う。）の上記音声情報と、上記話者指標によって指示される入力地点の上記選択音声情報とをそれぞれ比較して、上記選択音声情報よりも上記発話継続他地点の上記音声情報が話者適格である場合には、各入力地点の上記音声情報を比較して現フレームの話者の入力地点を決定し、上記発話継続他地点の上記音声情報よりも上記選択音声情報が話者適格である場合には、現フレームの話者の入力地点を上記話者指標によって指示される入力地点として決定し、上記話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものである場合に、各入力地点の上記音声情報を比較して現フレームの話者の入力地点を決定するとすることもできる。継続状態指標の更新、音声情報の蓄積、選択音声情報の選択は、上記入力地点単位で行う。
【００２２】
このように、１フレーム前まで発話地点と判定されていた地点の継続状態指標が発話継続中を表している場合においても、１フレーム前まで発話地点と判定されていた地点以外の地点であって継続状態指標が発話継続中を表している地点の音声情報と、１フレーム前まで発話地点と判定されていた地点の音声情報から選択された選択音声情報とをそれぞれ比較して、選択音声情報よりも他の地点の音声情報の方が話者適格である場合には、各地点の音声情報を比較して新たな話者地点を決定するので、入力音声信号に背景雑音が含まれるなどして、第一話者に対応するＶＡＤフラグが音声区間を示し続けるような状況に対して話者選択を適正化することができる。なお、音声のパワーを話者選択における直接の指標としないため、話者選択において、送信側の入力音声レベルの異同や変動の直接の影響を受けることがない。
【００２３】
このような構成にあっては、各入力地点の上記継続状態指標と、各入力地点から送られた音声パケットそれぞれに含まれる現フレームに対応する上記音声情報と、１フレーム前の主たる話者である第一話者の入力地点を指示する第一話者指標と、１フレーム前の第一話者を除いて主たる話者である第二話者の入力地点を指示する第二話者指標と、上記選択音声情報とを用いて、上記第一話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものである場合（以下、第１の場合と云う。）であって、かつ、上記第一話者指標によって指示される入力地点以外の入力地点であって継続状態指標が発話継続中を示している入力地点（以下、発話継続他地点と云う。）の上記音声情報と、上記第一話者指標によって指示される入力地点の上記選択音声情報とをそれぞれ比較して、上記発話継続他地点の上記音声情報よりも上記選択音声情報が話者適格である場合に、現フレームにおける第一話者の入力地点を上記第一話者指標によって指示される入力地点として決定し、上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第二話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、上記第一話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、上記発話継続他地点の上記音声情報と、上記第一話者指標によって指示される入力地点の上記選択音声情報とをそれぞれ比較して、上記選択音声情報よりも上記発話継続他地点の上記音声情報が話者適格である場合かつ上記第１の場合に、あるいは、上記第一話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものである場合に、上記第二話者指標によって指示される入力地点の上記継続状態指標が発話継続中を示すものであれば、現フレームにおける第一話者の入力地点を上記第二話者指標によって指示される入力地点として決定し、上記第二話者指標によって指示される入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定し、上記第二話者指標によって指示される入力地点の上記継続状態指標が発話終了を示すものであれば、各入力地点の上記音声情報を比較して現フレームにおける第一話者の入力地点を決定して、この決定された第一話者の入力地点以外の各入力地点の上記音声情報を比較して現フレームにおける第二話者の入力地点を決定するとすることもできる。
【００２４】
複数の人間が例えば不規則に入れ替わって発言するような現実の自然な会話の音声パケット通信のように複数の話者選択を行う場合であっても、第一話者および第二話者について継続状態指標を用いた話者選択を行うことで、話者選択において、送信側の入力音声レベルの異同や変動の直接の影響を受けることがない上、入力音声信号に背景雑音が含まれるなどして、第一話者に対応するＶＡＤフラグが音声区間を示し続けるような状況に対して話者選択を適正化することができる。
【００２５】
なお、上記音声情報を音声のパワーまたはピッチの相関値であるとし、上記選択音声情報は、上記音声情報蓄積手段に蓄積された上記音声情報のうち、音声のパワーの最大値または音声のピッチの相関値の最大値であるとすることができる。
【００２６】
なお、上記継続状態指標の更新について、上記継続状態指標を整数値とし、予め決められた閾値以上／より大の上記継続状態指標は発話継続中を表し、上記閾値未満／以下の上記継続状態指標は発話終了を表すとし、上記ＶＡＤフラグが音声区間を表す場合には、現在の上記継続状態指標に所定の正値を加えることで上記継続状態指標を更新し、上記ＶＡＤフラグが非音声区間を表す場合には、現在の上記継続状態指標から上記所定の正値と同じまたは異なる所定の正値を減じることで上記継続状態指標を更新することができる。
【００２７】
このように、数値の継続状態指標が時々刻々のＶＡＤフラグによって加減されることになり、この値によって継続状態指標が発話継続中を表すものであるか発話終了を表すものであるかを判定し、それが発話継続中であれば話者を引き続き話者とするが、それが発話終了であれば音声情報を用いて話者の探索を行うことから、短時間の間に実際の発話者（発言地点）が変わる場合などにも滑らかな話者切換となり、ミキシング後の通話品質・音質の劣化を低減できる。
【００２８】
また、上記継続状態指標に上限および下限を設け、上記上限を超えては上記継続状態指標の加算更新をせず、また、上記下限を下回っては上記継続状態指標の減算更新をしないとしてもよい。
【００２９】
本発明の話者選択装置としてコンピュータを機能させる話者選択プログラムによって、コンピュータを話者選択装置として作動処理させることができる。そして、この話者選択プログラムを記録した、コンピュータに読み取り可能なプログラム記録媒体によって、他のコンピュータを話者選択装置として機能させることや、話者選択プログラムを流通させることなどが可能になる。
【発明の効果】
【００３０】
本発明によれば、ＶＡＤフラグによって更新される継続状態指標を用いて、継続状態指標が発話継続中を表すものであるか発話終了を表すものであるかを判定し、それが発話継続中であれば話者を引き続き話者とするが、それが発話終了であれば音声情報を用いて話者の探索を行うことから、音声のパワーを話者選択における直接の指標としないため、話者選択において、送信側の入力音声レベルの異同や変動などの直接の影響を受けることがなく、ミキシング後の通話品質・音質の劣化を低減せしめる話者選択が行える。
【００３１】
また、１フレーム前まで発話地点と判定されていた地点の継続状態指標が発話継続中を表している場合においても、各地点の音声情報をもとに第一話者の再探索の要否を判定することで（監視機能）、入力音声信号に背景雑音が含まれるなどして第一話者に対応するＶＡＤフラグが音声区間を示し続けるような状況に対しても、話者選択を適正化することができる。また、数値の継続状態指標を時々刻々のＶＡＤフラグで加減し、この継続状態指標の値によって継続状態指標が発話継続中を表すものであるか発話終了を表すものであるかを判定し、それが発話継続中であれば話者を引き続き話者とするが、それが発話終了であれば音声情報を用いて話者の探索を行うことから、短時間の間に実際の発話者（発言地点）が変わる場合などにも滑らかな話者切換となる（緩衝機能）。このように、入力音声信号に背景雑音が含まれる場合や、短時間の間に実際の発話者（発言地点）が変わる場合などでも、監視・緩衝の機能によるこれらの状況に対する耐性を持ち、ミキシング後の通話品質・音質の劣化を低減せしめる話者選択が行える。
【００３２】
また、継続状態指標を更新して、この継続状態指標が発話継続中を表すものであるか発話終了を表すものであるかを判定するという、少ない演算量でこのような効果を得ることができるから、本発明の話者選択を適用することによる音声ミキシングの品質劣化を招く虞もない。
【発明を実施するための最良の形態】
【００３３】
≪第１実施形態≫
本発明である話者選択装置・方法の第１実施形態を説明する。
本発明の第１実施形態である話者選択装置（１）は、それ単体で独立に存在するよりは、例えば音声ミキシングを行う音声ミキシング装置を構成するエンティティとして存在するのが一般的である。さらに云えば、話者選択装置（１）は、音声ミキシング装置とは容易に分離可能に音声ミキシング装置を構成するエンティティではなく、音声ミキシング装置自体の一部の機能に着眼して片面的に評価したものと云うこともできる。要するに、話者選択装置（１）は、音声ミキシング装置そのものであることが一般的である。具体的には、話者選択装置（１）の機能をデジタルシグナルプロセッサや専用ＬＳＩに実装して、話者選択装置（１）を実現することができる。
ただし、単体独立のエンティティとして存在すること、音声ミキシング装置とは容易に分離可能に音声ミキシング装置を構成するエンティティであることを排除する趣旨ではない。例えば話者選択自体を目的とするならば、話者選択装置（１）を単体独立のエンティティとして実現することに何らの妨げは無い。
ここで音声ミキシング装置は、例えば専用のハードウェアで構成された専用機やパーソナルコンピュータのような汎用機といったコンピュータで実現されるとし、単体独立のエンティティとして話者選択装置（１）を実現する場合も同様である。
【００３４】
以下、話者選択装置を、コンピュータ（汎用機）で実現する場合の話者ミキシング装置（５００）を構成するエンティティとして説明する。このとき、話者選択装置が話者ミキシング装置（５００）を構成する機能上のエンティティであることを意識して、話者選択装置を話者選択部と呼称することにする。なお、本発明である話者選択の特徴を明らかにする観点から、話者選択に係る機能・処理を中心に説明する。
【００３５】
図４に話者ミキシング装置（５００）のハードウェア構成例を示す。
図４に例示するように、話者ミキシング装置（５００）は、キーボード、ポインティングデバイスなどが接続可能な入力部（１１）、液晶ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどが接続可能な出力部（１２）、話者ミキシング装置（５００）外部に通信可能な通信装置（例えば通信ケーブル、ＬＡＮカード、ルータ、モデムなど）が接続可能な通信部（１３）、ＤＳＰ（Digital Signal Processor）（１４）〔ＣＰＵ（Central Processing Unit）でも良い。またキャッシュメモリやレジスタ（１９）などを備えていてもよい。〕、メモリであるＲＡＭ（１５）、ＲＯＭ（１６）やハードディスク、光ディスク、半導体メモリなどである外部記憶装置（１７）並びにこれらの入力部（１１）、出力部（１２）、通信部（１３）、ＤＳＰ（１４）、ＲＡＭ（１５）、ＲＯＭ（１６）、外部記憶装置（１７）間のデータのやり取りが可能なように接続するバス（１８）を有している。また必要に応じて、話者選択装置（１）に、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）などの記憶媒体を読み書きできる装置（ドライブ）などを設けるとしてもよい。
【００３６】
話者ミキシング装置（５００）の外部記憶装置（１７）には、話者選択のためのプログラム、音声ミキシングの処理に必要になる一般的なプログラムが保存記憶されている〔外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに保存記憶させておくなどでもよい。〕。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に保存記憶される。
【００３７】
より具体的には、話者ミキシング装置（５００）の外部記憶装置（１７）〔あるいはＲＯＭなど〕には、各地点の発話継続状態を更新するためのプログラム、全地点の中で主として発言している地点の話者（第一話者）の発話継続状態および第一話者地点を除いた地点の中で主として発言している地点の話者（第二話者）の発話継続状態を検証して、第一話者および第二話者を選択するためのプログラム、音声ミキシングの処理に必要になる一般的なプログラムが保存記憶されている。その他、これらのプログラムに基づく処理を制御するための制御プログラムも適宜に保存しておけばよい。
【００３８】
話者選択の処理において必要となるデータは、話者地点ごとの音声パケットに添付された、ＶＡＤフラグとこれに対応付けられた音声情報である。これらのデータは、パケット分解部の分解作用によって音声パケットから得ることができる。音声情報としては、既述のとおり、例えば音声符号の音声のパワーやピッチの相関値とすることができる。音声情報の取得方法は、例えばパワーを音声情報とする場合に、音声符号にパワーを示す符号が含まれている場合はそれを参照してもよいし、パワーを示す符号が含まれていない場合は音声符号を一旦デコードし、フレーム内の音声波形の二乗和を計算することによってパワーを求めてもよい。
音声パケットから得たこれらのデータは、例えば適宜の揮発性メモリに記憶しておく。ＶＡＤフラグとこれに対応付けられた音声情報は、一般的には、音声パケットに含まれる音声符号に対応付けられている。
【００３９】
第１実施形態に係る話者ミキシング装置（５００）では、上記各プログラムとこの各プログラムの処理に必要なデータ（ＶＡＤフラグ、音声情報）が必要に応じてＲＡＭ（１５）に読み込まれて、ＤＳＰ（１４）で解釈実行・処理される。その結果、ＤＳＰ（１４）が所定の機能（話者選択部、パケット分解部、音声符号分解部、低域ミキシング部、高域切換部、音声符号結合部、パケット構成部）を実現することで、本発明である話者選択を行うことを含む音声ミキシングが実現される。話者ミキシング装置（５００）の要諦をなす本発明の話者選択部は、継続状態更新部、話者切換判断部を含む。
【００４０】
そこで次に、図面を参照して、音声ミキシング装置（５００）における話者選択処理の流れを順次説明する。
【００４１】
まず、図５に、第１実施形態の話者選択部（１００）の機能構成例を示す。なお、既述と同様に、第１実施形態では入力が３地点の場合を例とし、実際には地点数は複数地点であれば何地点でもよい。
また、図中では各地点に対応した機能構成部の符号に地点Ａ、Ｂ、Ｃを含めて区別しているが、以下の説明では、特に断りのない限り、或る地点に対応する機能構成部で代表して説明を行う。つまり、例えば、図中の継続状態更新部（１０１Ａ）（１０１ｂ）（１０１Ｃ）を、以下の説明では特に断りのない限り継続状態更新部（１０１）に代表して説明する（以下同様）。
【００４２】
話者選択部（１００）は、入力される地点数と少なくとも同数の継続状態更新部（１０１）と、１つの話者切換判断部（１０２）とを含む構成である。
話者選択部（１００）は、各地点の音声パケットに含まれるＶＡＤフラグおよび音声情報を受け取る（ステップＳ３０１）。例えば、ＶＡＤフラグの値として、非音声区間は０、音声区間は１が割り当てられているものとする。音声情報は、既述のとおり、音声のパワーやピッチの相関値とすることができる。
ＶＡＤフラグは、話者選択部（１００）内の各地点ごとに対応する継続状態更新部（１０１）に入力され、音声情報は、話者選択部（１００）内の話者切換判断部（１０２）に入力される。
【００４３】
継続状態更新部（１０１）は、音声ミキシング装置（５００）に順次に入力される各地点からの音声パケットから得られるＶＡＤフラグの時系列を受けて、現在の継続状態指標の値を更新し、更新した継続状態指標を話者切換判断部（１０２）に送る（ステップＳ３０２）。
継続状態指標は、各地点の発話継続状態を示す指標であり、所定のルールに従って継続状態指標を定義することができる。この実施形態では、継続状態指標を整数値として定義し、正整数は発話継続中を表し、０または負整数は発話終了を表すとする。
【００４４】
継続状態指標の値を更新する具体的な処理例は、下記のとおりである。
継続状態指標の初期値を０とし、直近に入力されたＶＡＤフラグが１であれば現在の継続状態指標に１を加算、直近に入力されたＶＡＤフラグが０であれば現在の継続状態指標から１を減算する。加算時は２ずつ、減算は１ずつというように、加算と減算が異なってもよい。また、継続状態指標の値がＮ（Ｎは予め決められた１以上の整数）以上のときはＭ（Ｍは予め決められた１以上の整数）ずつ加算、Ｎ未満の場合はＬ（Ｌは予め決められた１以上の整数）ずつ加算というように、継続状態指標のそのときの値によって加算する数を変動させてもよい。減算の場合についても、同様に、継続状態指標のそのときの値によって減算する数を変動させてもよい。
なお、継続状態指標を整数値として定義し、正整数は発話継続中を表し、０または負整数は発話終了を表すとしたが、上記の如く加減算の方法によっては、継続状態指標が予め決められた閾値以上（あるいは閾値より大）を発話継続中、当該閾値未満（あるいは閾値以下）を発話終了としてもよい。
【００４５】
継続状態指標の上限〔より正確には、この上限は上記閾値よりも大とされる。〕を予め決めておき、それを超えて加算しないとすることが好ましい。また、継続状態指標の下限は上記閾値か当該閾値よりも小の予め決められた値〔上記の例で云えば、０または予め決めた負の値である。〕とし、それを下回るようには減算しないとすることが好ましい。
【００４６】
継続状態指標の上限値を大きく設定しておくと、実際に発話が終了した後、後述する高域切換部（５０４）によって高域の地点が切り替わるまでの時間が長くなる。逆に継続状態指標の上限値を小さく設定しておくと、実際に発話が終了した後、高域の地点が切り替わるまでの時間を短くすることができる。あまり頻繁に切り替わるとミキシング後の音質が劣化し、切り替わり時間があまり長いと切り替わり時に不自然な音になるので、上限値は、例えば上記特許文献１に記載されている４０ｍｓ〜２００ｍｓの切換制限時間に対応する値にするのがよい。
【００４７】
下限値についても、継続状態指標の下限値を例えば−３のように小さく設定しておくと、実際に発話が開始した後、高域の地点が切り替わるまでの時間が長くなる。逆に継続状態指標の下限値を例えば−１や０のように大きく設定しておくと、実際に発話が開始した後、高域の地点が切り替わるまでの時間を短くすることができる。なお、突発的に発生した一時的な音（例えば、発声していない話者の背後などで物が落下した時に発生する雑音などである。）に対して、これが音声区間のものと判断されて話者切換が行われることを防止する観点からは、下限値を例えば−１〔より正確には、上記閾値よりもわずかに小さい値とされる。〕に設定しておくのがよい。つまり、上記閾値よりもわずかに小と設定された下限値が上記のような突発的に発生した一時的な音に起因する話者切換を緩衝する役割を果たすことになる。
【００４８】
話者切換判断部（１０２）は、継続状態更新部（１０１）が出力した各地点の継続状態指標と、話者選択部（１００）に入力された各地点の音声情報とを受け取り、第一話者の地点を示す話者指標（以下、第一話者番号と云う。）と第二話者の地点を示す話者指標（以下、第二話者番号と云う。）を出力する（ステップＳ３０３）。
【００４９】
図６−２に、話者切換判断部（１０２）における話者選択処理のフローチャート（ステップＳ３０３の詳細）を示す。下記各処理の情報処理主体は話者切換判断部（１０２）である。
ここで第一話者番号と第二話者番号は、各入力地点に割り当てられた番号とし、例えば地点Ａは０、地点Ｂは１、地点Ｃは２とする。
第一話者番号と第二話者番号の初期値は、任意の地点のものでよい。ただし、同じ値とはしないものとする。例えば、第一話者番号の初期値を０、第二話者番号の初期値を１とする。
【００５０】
〈ステップＳ１〉
まず、１つ前のフレーム〔なお、１フレームは音声パケットに含まれる音声符号に対応する。〕における第一話者番号を取得する（１フレーム前の第一話者番号は、ＲＡＭなどのメモリに適宜保存されている。１つ前のフレームが無い場合は話者番号の初期値を用いればよい。）。これをＴ１（ｋ−１）とする。引数のｋは現在のフレーム番号を表すものとし、ｋ−１は１フレーム前のフレーム番号を意味する。
【００５１】
〈ステップＳ２〉
第一話者番号Ｔ１（ｋ−１）が示す地点の継続状態指標から、第一話者とされた地点の発話継続状態を判別する。例えば、継続状態指標が正であれば発話継続中、０または負であれば発話終了とする。
【００５２】
〈ステップＳ３〉
ステップＳ２の処理における継続状態の判別結果で、第一話者番号Ｔ１（ｋ−１）が示す地点が発話継続中であればステップＳ４の処理を行ない、発話終了であればステップＳ５の処理を行う。
【００５３】
〈ステップＳ４〉
第一話者番号Ｔ１（ｋ−１）が示す地点が発話継続中と判断された場合には、第一話者の再検索フラグを０にリセットする。再検索フラグの値０は再検索不要を示すものとする。
【００５４】
〈ステップＳ５〉
第一話者番号Ｔ１（ｋ−１）が示す地点が発話終了と判断された場合には、第一話者の再検索フラグを１にセットする。再検索フラグの値１は再検索が必要であることを示すものとする。
【００５５】
〈ステップＳ６〉
次に、ステップＳ１の処理と同様にして、１フレーム前の第二話者番号を取得する（１フレーム前の第二話者番号は、ＲＡＭなどのメモリに適宜保存されている。１つ前のフレームが無い場合は話者番号の初期値を用いればよい。）。これをＴ２（ｋ−１）とする。
【００５６】
〈ステップＳ７〉
第二話者番号Ｔ２（ｋ−１）が示す地点の継続状態指標から、第二話者とされた地点の発話継続状態を判別する。判別方法は、ステップＳ２の処理の場合と同様に継続状態指標が正であれば発話継続中、０または負であれば発話終了とする。但し、判断基準は第一話者地点と第二話者地点で異なってよい。
【００５７】
〈ステップＳ８〉
ステップＳ７処理における継続状態の判別結果で、第二話者番号Ｔ２（ｋ−１）が示す地点が発話継続中であればステップＳ９の処理を行ない、発話終了であればステップＳ１０の処理を行う。
【００５８】
〈ステップＳ９〉
第二話者番号Ｔ２（ｋ−１）が示す地点が発話継続中と判断された場合には、第二話者の再検索フラグを０にリセットする。再検索フラグの値０は再検索不要を示すものとする。
【００５９】
〈ステップＳ１０〉
第二話者番号Ｔ２（ｋ−１）が示す地点が発話終了と判断された場合には、第二話者の再検索フラグを１にセットする。再検索フラグの値１は再検索が必要であることを示すものとする。
【００６０】
〈ステップＳ１１〉
第一話者の再検索フラグの値が０であればステップＳ１２の処理を、第一話者の再検索フラグの値が１であればステップＳ１５の処理を行う。
【００６１】
〈ステップＳ１２〉
第一話者の再検索フラグが０の場合には、現フレームにおける第一話者番号Ｔ１（ｋ）には引き続き１フレーム前における第一話者番号Ｔ１（ｋ−１）をセットする。
【００６２】
〈ステップＳ１３〉
次いで、第二話者の再検索フラグの値を調べ、第二話者の再検索フラグの値が０であればステップＳ１４の処理を、第二話者の再検索フラグの値が１であればステップＳ１８の処理を行う。
【００６３】
〈ステップＳ１４〉
第二話者の再検索フラグが０の場合には、１フレーム前における第二話者番号Ｔ２（ｋ−１）を現フレームにおける第二話者番号Ｔ２（ｋ）にセットする。
【００６４】
〈ステップＳ１５〉
ステップＳ１１の処理において、第一話者の再検索フラグが１の場合には、第二話者の再検索フラグの値によって、第二話者の再検索フラグの値が０であればステップＳ１６の処理を、第二話者の再検索フラグの値が１であればステップＳ１７の処理を行う。
【００６５】
〈ステップＳ１６〉
第二話者再検索フラグが０の場合には、１フレーム前における第二話者番号Ｔ２（ｋ−１）を現フレームにおける第一話者番号Ｔ１（ｋ）にセットする。続いて、ステップＳ１８の処理を行う。
【００６６】
〈ステップＳ１７〉
第二話者の再検索フラグが１の場合には、第一話者地点を探索する。探索方法は、例えば、継続状態指標が発話継続中を示す地点の中から、音声情報――例えばパワーやピッチの相関値――が最大の地点を第一話者地点とする方法に拠ればよい。続いて、ステップＳ１８の処理を行う。
【００６７】
〈ステップＳ１８〉
ステップＳ１３の処理において第二話者の再検索フラグが１の場合、ステップＳ１６あるいはステップＳ１７のいずれかの処理が終了した場合には、現フレームの第一話者番号Ｔ１（ｋ）が示す地点を除く地点から第二話者地点を探索する。この具体的な探索手順は、ステップＳ１７の処理における第一話者地点の探索と同様でよい。
【００６８】
このように、第１実施形態では、前フレームの段階で第一話者が発話継続中であれば、そのまま前フレームの段階での第一話者を現フレームの第一話者とする。この場合、第二話者について、これが前フレームの段階で発話継続中であれば、そのまま前フレームの段階での第二話者を現フレームの第二話者とし、前フレームの段階で発話終了であれば、第一話者の地点を除く各地点の話者の中から現フレームの第二話者を探索する。また、前フレームの段階で第一話者が発話終了であれば、前フレームの段階での第二話者の発話継続状態に依存して処理が展開される。つまり、前フレームの段階での第二話者が発話継続中であれば、この前フレームの段階での第二話者を現フレームの第一話者とし、ここで第一話者とされた地点を除く各地点の話者の中から現フレームの第二話者を探索する。前フレームの段階での第二話者が発話終了であれば、まず各地点の話者の中から現フレームの第一話者を探索して、次いで、ここで第一話者とされた地点を除く各地点の話者の中から現フレームの第二話者を探索する。
【００６９】
以下、図７を参照して、第１実施形態の話者選択部（１００）を適用した音声ミキシング装置（５００）における音声ミキシング処理について説明を加える。ここでは、３地点入力３地点出力の例で説明する。
【００７０】
パケット分解部（５０１）は、音声パケットから音声符号、ＶＡＤフラグおよび音声情報を取り出す。音声符号は、音声符号分解部（５０２）の入力となる。ＶＡＤフラグおよび音声情報は、話者選択部（１００）の入力となる。
【００７１】
音声符号分解部（５０２）は、音声符号を低域符号および高域符号に分解し、低域符号は低域ミキシング部（５０３）に、高域符号は高域切換部（５０４）に送られる。既述のとおり、高域符号は拡張レイヤ符号のひとつであり、高域符号は任意の拡張レイヤ符号に読み替えてもよい。
【００７２】
低域ミキシング部（９７３）は、低域復号部（５０３１）、ミキシング部（５０３２）および低域符号化部（５０３３）を含んで構成される。まず、低域復号部（５０３１）が、各地点からの低域符号を受け取ってこれをデコードし、低域信号を得る。次いでミキシング部（５０３２）が、全ての地点の低域信号を加算して総低域信号を得て、各地点ごとに総低域信号から各地点の低域信号を除外して、各地点向けの低域信号を生成する。例えばＡ地点用の低域符号化部（５０３３Ａ）は、Ａ地点向けの低域信号を符号化して（Ａ地点向けの）低域符号を生成し、この低域符号を音声符号結合部（５０５Ａ）に送る。Ｂ地点用の低域符号化部（５０３３Ｂ）、Ｃ地点用の低域符号化部（５０３３Ｃ）についても同様である。
【００７３】
話者選択部（１００）は、既述のとおり、各地点からのＶＡＤフラグおよび音声情報を参照して、第一話者番号および第二話者番号を出力する。第一話者番号および第二話者番号は、高域切換部（５０４）の入力となる。
【００７４】
高域切換部（５０４）は、各地点からの高域符号を受け取るとともに、第一話者番号および第二話者番号を受取ると、高域符号を切り替えて各音声符号結合部（５０５Ａ）（５０５Ｂ）（５０５Ｃ）に出力する。
第一話者番号の示す地点が地点Ａであり、第二話者番号の示す地点が地点Ｂである例で具体的に説明する。第一話者の音声については、第１切換部（５０４１）が地点Ａの高域符号を選択し、第２切換部（５０４２）が第一話者番号の示す地点以外の地点――つまり、地点Ｂ宛ておよび地点Ｃ宛て――を出力先として選択して、地点Ａの高域符号が音声符号結合部（５０５Ｂ）および音声符号結合部（５０５Ｃ）に送られる。また、第二話者の音声については、第１切換部（５０４１）が地点Ｂの高域符号を選択し、第２切換部（５０４２）が第一話者番号の示す地点である地点Ａを出力先として選択して、地点Ｂの高域符号が音声符号結合部（５０５Ａ）に送られる。
【００７５】
音声符号結合部（５０５）は、低域符号と高域符号とを結合して音声符号を生成し、この音声符号をパケット構成部（５０７）に送る。パケット構成部（５０７）は受け取った音声符号を用いて音声パケット生成して、この音声パケットを対象の地点に対して出力する。
【００７６】
≪第１実施形態の変形例≫
次に、第１実施形態の変形例を説明する。
第１実施形態は、話者選択部（１００）が第一話者番号および第二話者番号を出力する形態であった。これに対して、第１実施形態の変形例は、簡易な形態として第一話者番号のみを出力する形態である。ここでは、第１実施形態と異なる部分について説明を行う。
【００７７】
図８に、第１実施形態の変形例における話者選択処理のフローチャート（上記ステップＳ３０３相当）を示す。下記各処理の情報処理主体は話者切換判断部（１０２）である。
ステップＳ１からステップＳ５の各処理は、第１実施形態と同様である。第１実施形態の変形例では、ステップＳ４またはステップＳ５の処理に続いて、第１実施形態の上記ステップＳ１１の処理を行う。第１実施形態におけるステップＳ６からステップＳ１０の各処理は不要である。
第１実施形態の変形例では、ステップＳ１１の処理の後、第一話者の再検索フラグの値が０であればステップＳ１２の処理を行う。そして、上記ステップＳ１３、ステップＳ１４の各処理を経ることなく終了である。ステップＳ１１の処理の後、第一話者の再検索フラグの値が１であれば上記ステップＳ１７の処理を行う。そして、上記ステップＳ１８の処理を経ることなく終了である。なお、第１実施形態におけるステップＳ１５、ステップＳ１６の各処理は不要である。
【００７８】
なお、図８に示すフローチャートから明らかなように、実質的にステップＳ４、ステップＳ５、ステップＳ１１の各処理は不要である。従って、ステップＳ３の処理を、ステップＳ２の処理における継続状態の判別結果で、第一話者番号Ｔ１（ｋ−１）が示す地点が発話継続中であればステップＳ１２の処理を行ない、発話終了であればステップＳ１７の処理を行うとしてもよい。
【００７９】
この第１実施形態の変形例が端的に示すように、本発明の基本的な特徴は、ＶＡＤフラグの時系列によって継続状態指標を逐次に更新して、継続状態指標が発話継続中を表すものであるか発話終了を表すものであるかを判定し、それが発話継続中であれば第一話者を引き続き第一話者とするが、それが発話終了であれば音声情報を用いて第一話者の探索を行うことにある。
上記の第１実施形態は、この基本的特徴の所作を第一話者および第二話者の組み合わせにおいて行うものと評することができる。
【００８０】
第１実施形態の変形例の話者選択部（１００）を適用した音声ミキシング装置（５００）における音声ミキシング処理について説明を加える。ここでは第１実施形態の場合とは異なる部分についてのみ説明を行う。
【００８１】
話者選択部（１００）は、既述のとおり、各地点からのＶＡＤフラグおよび音声情報を参照して、第一話者番号のみを出力する。第一話者番号は、高域切換部（５０４）の入力となる。
【００８２】
高域切換部（５０４）は、各地点からの高域符号を受け取るとともに、第一話者番号を受取ると、高域符号を切り替えて各音声符号結合部（５０５Ａ）（５０５Ｂ）（５０５Ｃ）に出力する。
第一話者番号の示す地点が地点Ａである例で具体的に説明する。第一話者の音声について、第１切換部（５０４１）が地点Ａの高域符号を選択し、第２切換部（５０４２）が第一話者番号の示す地点以外の地点――つまり、地点Ｂ宛ておよび地点Ｃ宛て――を出力先として選択して、地点Ａの高域符号が音声符号結合部（５０５Ｂ）および音声符号結合部（５０５Ｃ）に送られる。このとき、第一話者番号の示す地点が地点Ａに対応する音声符号結合部（５０５Ａ）には、高域が無音の符号を送るとすればよい。
【００８３】
≪第２実施形態≫
以下、本発明の第２実施形態を説明する。
図９に第２実施形態における話者選択部（２００）の機能構成例を示す。なお、記述と同様に、第１実施形態では入力が３地点の場合を例とし、実際には地点数は複数地点であれば何地点でもよい。
【００８４】
第２実施形態は、１フレーム前まで発話地点と判定されていた地点の継続状態指標が発話継続中を表している場合においても、１フレーム前まで発話地点と判定されていた地点以外の地点のうち継続状態指標が発話継続中を表している地点の音声情報と、１フレーム前まで発話地点と判定されていた地点の音声情報から選択された選択音声情報とをそれぞれ比較して、選択音声情報よりも他の地点の音声情報の方が話者適格である場合には、各地点の音声情報を比較して新たな話者地点を決定する形態である。この第２実施形態は、入力音声信号に背景雑音が含まれるなどして、第一話者に対応するＶＡＤフラグが音声区間を示し続けるような状況に対して、各地点の音声情報をもとに第一話者の再探索の要否を判定することで話者選択を適正化するものである。
【００８５】
第２実施形態は、第１実施形態の話者選択部（１００）の機能構成に、バッファ（１０３）と音声情報探索部（１０４）が追加された構成である。説明を簡単にするため、図５と同一の部分の説明は省略し、第１実施形態との差異について説明を行う。
【００８６】
話者選択部（２００）に入力された音声情報は、話者切換判断部（１０２）に送られるとともに、バッファ（１０３）に送られてこれに蓄積される（ステップＳ３０２１）。バッファ（１０３）は、過去のフレームにおける音声情報を予め決められたフレーム数分だけ蓄積することのできる記憶手段である。バッファ（１０３）は、ＲＡＭ（１５）やレジスタ（１９）などで実現可能であり、例えばシフトバッファとしてもよい。
【００８７】
音声情報探索部（１０４）は、バッファ（１０３）内を探索して、予め決められた過去一定時間内における音声情報から１つの音声情報（選択音声情報）を選択して、話者切換判断部（１０２）に送る（ステップＳ３０２２）。選択音声情報の選択方法は、音声情報の種類によって適宜に定めることができ、バッファ（１０３）に蓄積された音声情報のうち最も話者適格を示す音声情報（選択音声情報）を選択する。例えば、音声情報が音声のパワーやピッチの相関値であれば、その最大値を選択音声情報とすることができる。なお、選択音声情報の選択は、１フレーム前において第一話者とされた地点に対応する音声情報探索部（１０４）が行うことで足りる。
【００８８】
話者切換判断部（１０２）は、各地点ごとの継続状態指標および音声情報、第一話者の選択音声情報を受け取り、第一話者番号および第二話者番号を出力する（ステップＳ３０３’）。
【００８９】
図１０−２に、第２実施形態の話者切換判断部（１０２）における話者選択処理のフローチャート（ステップＳ３０３’の詳細）を示す。下記各処理の情報処理主体は話者切換判断部（１０２）である。
第２実施形態における話者選択処理のフローチャートは、第１実施形態のそれに対して、ステップＳ３１とステップＳ３２の各処理が追加された処理となっている。第２実施形態における話者選択処理の説明についても、第１実施形態における話者選択処理と同一の部分は説明を省略する。
【００９０】
〈ステップＳ３〉
ステップＳ２の処理における継続状態の判別結果で、第一話者番号Ｔ１（ｋ−１）が示す地点が発話継続中であればステップＳ３１の処理を行ない、発話終了であればステップＳ５の処理を行う。
【００９１】
〈ステップＳ３１〉
第一話者番号Ｔ１（ｋ−１）が示す地点が発話継続中と判断された場合には、第一話者番号Ｔ１（ｋ−１）が示す地点の選択音声情報と他の地点の音声情報から強制切断が必要であるかどうかの判別をする。ここで強制切断とは、たとえ継続状態指標が発話継続中を示していても、再検索フラグの値を１――つまり、再検索を要とする――に強制的にセットすることを云う。
例えば、音声情報を音声パワーの値とすれば、Ｔ１（ｋ−１）が示す地点の選択音声情報（例えば、音声パワーの最大値）が予め決められた閾値より小さく、かつ、Ｔ１（ｋ−１）が示す地点の選択音声情報が、他の地点の音声情報のいずれかよりも小さく、かつ、Ｔ１（ｋ−１）が示す地点の選択音声情報よりも音声情報の大きい地点の継続状態指標が発話継続中を示す場合には強制切断が必要と判断し、そうでない場合には強制切断は不要と判断する。
【００９２】
〈ステップＳ３２〉
強制切断が必要か不要かによって、強制切断が不要であればステップＳ４の処理を行ない、強制切断が必要であればステップＳ５の処理を行う。
【００９３】
〈ステップＳ４〉
強制切断が不要の場合は、第一話者の再検索フラグを０にリセットする。
【００９４】
〈ステップＳ５〉
ステップＳ３の処理において継続判別結果で発話終了と判断された場合と、ステップＳ３２の処理において強制切断判別で強制切断必要と判断された場合には、第一話者の再検索フラグを１にセットする。
【００９５】
ステップＳ６の処理以降は、第１実施形態における話者選択処理と同じである。
【００９６】
≪第２実施形態の変形例≫
次に、第２実施形態の変形例を説明する。
第２実施形態は、話者選択部（１００）が第一話者番号および第二話者番号を出力する形態であった。これに対して、第２実施形態の変形例は、簡易な形態として第一話者番号のみを出力する形態である。つまり、第２実施形態の変形例は、第１実施形態の変形例に類似の形態である。第２実施形態と異なる部分について説明を行う。
【００９７】
図１１に、第２実施形態の変形例における話者選択処理のフローチャートを示す（上記ステップＳ３０３’相当）。下記各処理の情報処理主体は話者切換判断部（１０２）である。
ステップＳ３１およびステップＳ３２を含むステップＳ１からステップＳ５の各処理は、第２実施形態と同様である。第２実施形態の変形例では、ステップＳ４またはステップＳ５の処理に続いて、第２実施形態の上記ステップＳ１１の処理を行う。第２実施形態におけるステップＳ６からステップＳ１０の各処理は不要である。
第２実施形態の変形例では、ステップＳ１１の処理の後、第一話者の再検索フラグの値が０であればステップＳ１２の処理を行う。そして、上記ステップＳ１３、ステップＳ１４の各処理を経ることなく終了である。ステップＳ１１の処理の後、第一話者の再検索フラグの値が１であれば上記ステップＳ１７の処理を行う。そして、上記ステップＳ１８の処理を経ることなく終了である。なお、第２実施形態におけるステップＳ１５、ステップＳ１６の各処理は不要である。
【００９８】
なお、図１１に示すフローチャートから明らかなように、実質的にステップＳ４、ステップＳ５、ステップＳ１１の各処理は不要である。従って、ステップＳ３２の処理で強制切断不要と判断された場合には、ステップＳ１２の処理を行うようにし、ステップＳ３の処理において継続判別結果で発話終了と判断された場合と、ステップＳ３２の処理において強制切断判別で強制切断必要と判断された場合には、ステップＳ１７の処理を行うとしてもよい。
【００９９】
第２実施形態の変形例の話者選択部（１００）を適用した音声ミキシング装置（５００）における音声ミキシング処理については、第１実施形態の変形例と同じであるから、説明を省略する。
【０１００】
以上の各実施形態では、話者選択装置を音声ミキシング装置の機能上のエンティティ（話者選択部）として説明をしたが、話者選択装置を単体独立のエンティティとして例えばコンピュータ（汎用機）で実現するとしても、上記実施形態に述べた話者選択部の機能構成やこれを実現するコンピュータ（汎用機）のハードウェア構成と実質的に異なることがない。
【０１０１】
以上の実施形態の他、本発明である話者選択装置・方法は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記話者選択装置・方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１０２】
また、上記話者選択装置における処理機能をコンピュータによって実現する場合、話者選択装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記話者選択装置における処理機能がコンピュータ上で実現される。
【０１０３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１０４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１０５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１０６】
また、コンピュータ上で所定のプログラムを実行させることにより、話者選択装置を構成するとしてもよいが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【産業上の利用可能性】
【０１０７】
本発明は、各地点から送られてくる音声パケットに含まれる音声に背景雑音が含まれている場合や、入力音声レベルが変動した場合や、各地点の入力音声レベルが異なる場合や、短時間の間に実際の発話者（発言地点）が変わった場合でも、より正確な発言者の選択が可能となり、結果としてミキシング後の音質の劣化が少ない安定したミキシング音声を得ることが可能となるから、音声パケット通信による多地点音声通信に有用である。
【図面の簡単な説明】
【０１０８】
【図１】多地点音声通信のシステム構成例を示す図。
【図２】音声パケット送信部の機能構成例を示す図。
【図３】音声ミキシング装置の機能構成例を示す図。
【図４】音声ミキシング装置のハードウェア構成例を示す図。
【図５】第１実施形態の話者選択装置の機能構成例を示す図。
【図６−１】第１実施形態における話者選択処理の流れを示す図。
【図６−２】第１実施形態における話者選択処理において話者切換判断部の詳細な処理フローを示す図。
【図７】第１実施形態の話者選択装置（話者選択部）を適用した音声ミキシング装置の機能構成例を示す図。
【図８】第１実施形態の変形例における話者選択処理において話者切換判断部の詳細な処理フローを示す図。
【図９】第２実施形態の話者選択装置の機能構成例を示す図。
【図１０−１】第２実施形態における話者選択処理の流れを示す図。
【図１０−２】第２実施形態における話者選択処理において話者切換判断部の詳細な処理フローを示す図。
【図１１】第２実施形態の変形例における話者選択処理において話者切換判断部の詳細な処理フローを示す図。
【符号の説明】
【０１０９】
１００    話者選択部
１０１    継続状態更新部
１０２    話者切換判断部
１０３    バッファ
１０４    音声情報最大値探索部
２００    話者選択部
５００    音声ミキシング装置
５０１Ａ、５０１Ｂ、５０１Ｃ    パケット分解部
５０２Ａ、５０２Ｂ、５０２Ｃ    音声符号分解部
５０３    低域ミキシング部
５０３１Ａ、５０３１Ｂ、５０３１Ｃ    低域復号部
５０３２    ミキシング部
５０３２Ａ、５０３２Ｂ、５０３２Ｃ    低域符号化部
５０４    高域切換部
５０５Ａ、５０５Ｂ、５０５Ｃ    音声符号結合部
５０７Ａ、５０７Ｂ、５０７Ｃ    パケット構成部
【図１】
2008141505.tif 000003
【図２】
2008141505.tif 000004
【図３】
2008141505.tif 000005
【図４】
2008141505.tif 000006
【図５】
2008141505.tif 000007
【図６−１】
2008141505.tif 000008
【図６−２】
2008141505.tif 000009
【図７】
2008141505.tif 000010
【図８】
2008141505.tif 000011
【図９】
2008141505.tif 000012
【図１０−１】
2008141505.tif 000013
【図１０−２】
2008141505.tif 000014
【図１１】
2008141505.tif 000015