(57)【要約】      （修正有）【課題】第１、第２の収音エリアのエリア収音を行う際に、第２の収音エリアに存在する話者の数や位置を考慮して各話者の音声をエリア収音する。【解決手段】複数のマイクアレイユニットからの入力信号に基づいて、対応者エリアＡ１及びそれぞれの相談者席中央エリアＡ２−１、相談者左側席エリアＡ２−２、及び相談者右側席エリアＡ２−３に対してエリア収音処理を行い、それぞれのサブエリアについてサブエリア音が発生しているか否かを検出し、それぞれのサブエリアに対するエリア音検出処理の判定結果の組み合わせパターンに応じて第２の話者エリアの収音結果の内容を判断して収音結果を取得し、第１の話者エリアと第２の話者エリアのエリア収音処理の結果を出力する。【選択図】図２
2020191530.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数の話者が位置する第１の話者エリアと、前記第１の話者エリアの話者と対話する１又は複数の話者が位置する第２の話者エリア内の複数のサブエリアに指向性を向けることが可能な複数のマイクロホンを備える複数のマイクアレイを備える複数のマイクアレイユニットからの入力信号に基づいて、それぞれの前記マイクアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて、前記第１の話者エリア、及びそれぞれのサブエリアに対してエリア収音処理を行うエリア音抽出手段と、
それぞれのサブエリアについてサブエリア音が発生しているか否かを検出するエリア音検出処理を行うエリア音検出手段と、
それぞれのサブエリアに対するエリア音検出処理の判定結果の組み合わせパターンに応じて、前記第２の話者エリアの収音結果の内容を判断するエリア音判断処理を行い、エリア音判断処理に応じた信号を前記第２の話者エリアの収音結果として取得するエリア音処理手段と、
前記第１の話者エリアのエリア収音処理の結果と、前記エリア音処理手段が取得した前記第２の話者エリアのエリア収音処理の結果を出力する出力手段と
を有することを特徴とする収音装置。
【請求項２】
前記エリア音抽出手段は、前記第２の話者エリア内の第１のサブエリアと、前記第１のサブエリアから前記第１の話者エリアを見た場合に前記第１のサブエリアの左側に隣接する第２のサブエリアと、前記第１のサブエリアから前記第１の話者エリアを見た場合に前記第１のサブエリアの右側に隣接する第３のサブエリアについてそれぞれエリア収音処理を行うことを特徴とする請求項１に記載の収音装置。
【請求項３】
前記エリア音処理手段は、エリア音検出処理の結果、前記第１のサブエリア、前記第２のサブエリア、及び前記第３のサブエリアの全てについてサブエリア音が発生していないという判定結果だった場合、前記第２の話者エリアの収音結果として無音の信号を出力することを特徴とする請求項２に記載の収音装置。
【請求項４】
前記エリア音処理手段は、エリア音検出処理の結果、前記第１のサブエリア、前記第２のサブエリア、及び前記第３のサブエリアのうち、いずれか１つについてだけサブエリア音が発生していた場合、サブエリア音が発生していた１つのサブエリアについてだけ収音対象として選択し、前記第２の話者エリアの収音結果として、選択したサブエリアのエリア収音処理の結果を出力することを特徴とする請求項２又は３に記載の収音装置。
【請求項５】
前記エリア音処理手段は、エリア音検出処理の結果、前記第２のサブエリアと前記第３のサブエリアだけサブエリア音が発生していた場合、サブエリア音が発生していた２つのサブエリアについてだけ収音対象として選択し、前記第２の話者エリアの収音結果として、選択したサブエリアのエリア収音処理の結果を出力することを特徴とする請求項２〜４のいずれかに記載の収音装置。
【請求項６】
前記エリア音処理手段は、エリア音検出処理の結果、前記第１のサブエリアと前記第２のサブエリアの２つのサブエリアでだけサブエリア音が発生していた場合、又は、前記第１のサブエリアと前記第３のサブエリアの２つのサブエリアでだけサブエリア音が発生していた場合、サブエリア音が発生していた２つのサブエリアのエリア収音処理の結果について類似度合を算出し、前記類似度合が所定以上であった場合サブエリア音が発生していた２つのサブエリアのうちいずれか一方若しくは出力レベルの大きい方だけを収音対象として選択し、前記類似度合が所定未満であった場合サブエリア音が発生していた２つのサブエリアの両方について収音対象として選択し、前記第２の話者エリアの収音結果として、選択したサブエリアのエリア収音処理の結果を出力することを特徴とする請求項２〜５のいずれかに記載の収音装置。
【請求項７】
前記エリア音処理手段は、エリア音検出処理の結果、前記第１のサブエリア、前記第２のサブエリア、及び前記第３のサブエリアの全てについてサブエリア音が発生しているという判定結果だった場合、前記第２のサブエリアと前記第３のサブエリアについてだけ収音対象として選択し、前記第２の話者エリアの収音結果として、選択したサブエリアのエリア収音処理の結果を出力することを特徴とする請求項２〜６のいずれかに記載の収音装置。
【請求項８】
前記エリア音抽出手段は、前記第２の話者エリア内の第１のサブエリアと、前記第１のサブエリアから前記第１の話者エリアを見た場合に前記第１のサブエリアの左側又は右側に隣接する第２のサブエリアについてエリア収音処理を行うことを特徴とする請求項１に記載の収音装置。
【請求項９】
前記エリア音処理手段は、エリア音検出処理の結果、前記第１のサブエリア及び前記第２のサブエリアの両方についてサブエリア音が発生していないという判定結果だった場合、前記第２の話者エリアの収音結果として無音の信号を出力することを特徴とする請求項８に記載の収音装置。
【請求項１０】
前記エリア音処理手段は、エリア音検出処理の結果、前記第１のサブエリア又は前記第２のサブエリアのいずれか一方についてだけサブエリア音が発生していた場合、サブエリア音が発生していたサブエリアについてだけ収音対象として選択し、前記第２の話者エリアの収音結果として、選択したサブエリアのエリア収音処理の結果を出力することを特徴とする請求項８又は９に記載の収音装置。
【請求項１１】
前記エリア音処理手段は、エリア音検出処理の結果、前記第１のサブエリアと前記第２のサブエリアの両方についてサブエリア音が発生していた場合、２つのサブエリアのエリア収音処理の結果について類似度合を算出し、前記類似度合が所定以上であった場合、前記第１のサブエリアと前記第２のサブエリアのエリア収音処理の結果を統合した信号又は前記第１のサブエリアと前記第２のサブエリアのエリア収音処理の結果のうちいずれか任意の一方のみ若しくは出力レベルが大きい方のみを出力し、前記類似度合が所定未満であった場合、前記第１のサブエリアと前記第２のサブエリアの両方について出力することを特徴とする請求項８〜１０のいずれかに記載の収音装置。
【請求項１２】
コンピュータを、
１又は複数の話者が位置する第１の話者エリアと、前記第１の話者エリアの話者と対話する１又は複数の話者が位置する第２の話者エリア内の複数のサブエリアに指向性を向けることが可能な複数のマイクアレイからの入力信号に基づいて、それぞれの前記マイクアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて、前記第１の話者エリア、及びそれぞれのサブエリアに対してエリア収音処理を行うエリア音抽出手段と、
それぞれのサブエリアについてサブエリア音が発生しているか否かを検出するエリア音検出処理を行うエリア音検出手段と、
それぞれのサブエリアに対するエリア音検出処理の判定結果の組み合わせパターンに応じて、前記第２の話者エリアの収音結果の内容を判断するエリア音判断処理を行い、エリア音判断処理に応じた信号を前記第２の話者エリアの収音結果として取得するエリア音処理手段と、
前記第１の話者エリアのエリア収音処理の結果と、前記エリア音処理手段が取得した前記第２の話者エリアのエリア収音処理の結果を出力する出力手段と
して機能させることを特徴とする収音プログラム。
【請求項１３】
収音装置が行う収音方法において、
エリア音抽出手段、エリア音検出手段、エリア音処理手段及び出力手段を有し、
前記エリア音抽出手段は、１又は複数の話者が位置する第１の話者エリアと、前記第１の話者エリアの話者と対話する１又は複数の話者が位置する第２の話者エリア内の複数のサブエリアに指向性を向けることが可能な複数のマイクアレイからの入力信号に基づいて、それぞれの前記マイクアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて、前記第１の話者エリア、及びそれぞれのサブエリアに対してエリア収音処理を行い、
前記エリア音検出手段は、それぞれのサブエリアについてサブエリア音が発生しているか否かを検出するエリア音検出処理を行い、
前記エリア音処理手段は、それぞれのサブエリアに対するエリア音検出処理の判定結果の組み合わせパターンに応じて、前記第２の話者エリアの収音結果の内容を判断するエリア音判断処理を行い、エリア音判断処理に応じた信号を前記第２の話者エリアの収音結果として取得し、
前記出力手段は、前記第１の話者エリアのエリア収音処理の結果と、前記エリア音処理手段が取得した前記第２の話者エリアのエリア収音処理の結果を出力する
ことを特徴とする収音方法。
【請求項１４】
１又は複数の話者が位置する第１の話者エリアと、前記第１の話者エリアの話者と対話する１又は複数の話者が位置する第２の話者エリア内の複数のサブエリアに指向性を向けることが可能な複数のマイクアレイユニットと、前記第１の話者エリア及び前記第２の話者エリアのエリア収音処理を行う収音装置を備える収音システムにおいて、前記収音装置として請求項１〜１１のいずれかに記載の収音装置を適用したことを特徴とする収音システム。
【請求項１５】
前記収音装置によるエリア収音処理の結果を記録する記録装置をさらに備えることを特徴とする請求項１４に記載の収音システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、収音装置、収音プログラム、収音方法、及び収音システムに関し、例えば、雑音環境下で用いられる対面録音システム等の特定のエリアの音を強調し、それ以外のエリアの音を抑制するシステムに適用し得る。
【背景技術】
【０００２】
現在、顧客との電話応対業務を行なうコールセンタを構成するシステムでは、オペレータの応対技術向上やコンプライアンス遵守やトラブル防止／対策等のため、オペレータと顧客との間の会話内容を記録（録音）する通話録音システム（収音システム）の導入が進んでいる。また、通常、ＢｔｏＣ（Ｂｕｓｉｎｅｓｓ  ｔｏ  Ｃｏｎｓｕｍｅｒ）ビジネスを行う企業においてコールセンタ以外の顧客との接点として、電話応対ではなく顧客と対面して直接対話を行なう各種営業店窓口がある。住宅ローン、相続、資産運用などの相談を行なう金融機関相談窓口が、その代表的なものである。現在、このような営業店窓口でも、前記コールセンタと同様の目的で、対応者と相談者（顧客）の対話内容を記録したいという要望が高まっている。以下では、前記の「通話録音システム」に対し、こちらを「対面録音システム」と呼ぶ。
【０００３】
従来の通話録音システムでは、オペレータ側と顧客側では、発話の場も、ヘッドセットや受話器等の受音デバイスも分離されており、会話は、オペレータの声と顧客の声を労せずに分離収録可能である。一方、従来の対面録音システムでは、通常、対応者と相談者の間の卓上１箇所に置かれたマイクロホン（モノラルまたはステレオ）によって収録されるため、対応者、相談者の声は区別されることなく混在して録音されることになる。このことは、録音データを用いた対話内容の確認や、音声認識技術を用いた対話内容のテキスト化や、ナレッジマネジメント（例えば、テキストマイニング）への活用等、その後のデータ活用に対して大きな障害となる。収録音声に音声認識を適用するには、対応者と相談者の音声が分離されていることは勿論、実環境における様々な周囲音（隣接ブースにおける会話音、バックオフィスの会話、機器騒音、待合室会話、順番を告げる呼び出しアナウンス等々）の混入を防ぐ必要がある。
【０００４】
ところで、雑音環境下で音声通録システムや音声認識応用システムを利用する場合、必要な目的音声と同時に混入する周囲の雑音は、対話内容の聞き取りを阻害し、収録された音声の音声認識率の低下をもたらす厄介な存在である。従来、このような複数の音源が存在する環境下において、特定の方向の音のみ分離・収音することで不要音の混入を避け必要な目的音を得る技術として、マイクアレイを用いたビームフォーマ（Ｂｅａｍ  Ｆｏｒｍｅｒ；以下、「ＢＦ」とも呼ぶ）がある。ＢＦとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である（非特許文献１参照）。ＢＦは、加算型と減算型の大きく２つの種類に分けられる。特に減算型ＢＦは、加算型ＢＦに比べ、少ないマイクロホン数で指向性を形成できるという利点がある。
【０００５】
図１２は、マイクロホン数が２個（Ｍ１、Ｍ２）の場合の減算型ＢＦ４００に係る構成を示すブロック図である。
【０００６】
減算型ＢＦ４００は、遅延器４１０と減算器４２０を有している。
【０００７】
減算型ＢＦ４００は、目的とする方向に存在する音（以下、「目的音」と呼ぶ）が各マイクロホンに到来する信号の時間差を算出し、遅延器４１０により遅延を加えることにより目的音の位相を合わせる。このときの時間差は下記（１）式により算出される。ここで、ｄはマイクロホン間の距離であり、ｃは音速であり、τｉは遅延量であり、θＬは各マイクロホンを結んだ直線に対する垂直方向から目的方向への角度である。
【０００８】
また、ここで、遅延器４１０は、死角がマイクロホンＭ１とマイクロホンＭ２の中心に対し、マイクロホンＭ１の方向に存在する場合、マイクロホンＭ１の入力信号ｘ１（ｔ）に対し遅延処理を行う。その後、減算器４２０が、（２）式に従った減算処理を行う。
【０００９】
減算器４２０では、周波数領域でも同様に減算処理を行うことができ、その場合（２）式は以下の（３）式のように変更される。
【数１】
2020191530.tif 000003
【００１０】
ここでθＬ＝±π／２の場合、形成される指向性は図１３（ａ）に示すように、カージオイド型の単一指向性となり、θＬ＝０，πの場合は、図１３（ｂ）のような８の字型の双指向性となる。ここでは、入力信号から単一指向性を形成するフィルタを「単一指向性フィルタ」、双指向性を形成するフィルタを「双指向性フィルタ」と呼ぶものとする。
【００１１】
減算器４２０では、スペクトル減算法（Ｓｐｅｃｔｒａｌ  Ｓｕｂｔｒａｃｔｉｏｎ；以下、「ＳＳ」とも呼ぶ）を用いることで、双指向性の死角に強い指向性を形成することもできる。ＳＳによる指向性は、（４）式に従い全周波数、もしくは指定した周波数帯域で形成される。（４）式では、マイクロホンＭ１の入力信号Ｘ１を用いているが、マイクロホンＭ２の入力信号Ｘ２でも同様の効果を得ることができる。ここでβはＳＳの強度を調節するための係数である。（４）式に従ってＳＳの処理を行う際、減算時に値がマイナスになった場合は、０または元の値を小さくした値に置き換えるフロアリング処理を行う。この方式は、双指向性フィルタにより目的方向以外に存在する音（以下、「非目的音」と呼ぶ）を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音方向を強調することができる。
【数２】
2020191530.tif 000004
【００１２】
ある特定のエリア内に存在する音（以下、「目的エリア音」と呼ぶ）だけを収音したい場合、減算型ＢＦを用いるだけでは、そのエリアの周囲に存在する音源（以下、「非目的エリア音」と呼ぶ）も収音してしまう可能性がある。そこで、特許文献１の記載技術では、複数のマイクアレイを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音を収音する手法（エリア収音）を提案している。
【００１３】
図１４は、２つのマイクアレイＭＡ１、ＭＡ２を用いて、目的エリアの音源からの目的エリア音を収音する処理について示した説明図である。
【００１４】
図１４（ａ）は、各マイクアレイの構成例について示した説明図である。図１４（ｂ）、図１４（ｃ）は、それぞれ図１４（ａ）に示すマイクアレイＭＡ１、ＭＡ２のＢＦ出力について周波数領域で示したグラフ（イメージ図）である。エリア収音では、図１４（ａ）に示すようは、マイクアレイＭＡ１、ＭＡ２の指向性を別々の方向から収音したいエリア（目的エリア）で交差させて収音する。図１４（ａ）の状態では、各マイクアレイＭＡ１、ＭＡ２の指向性に目的エリア内に存在する音（目的エリア音）だけでなく、目的エリア方向の雑音（非目的エリア音）も含まれている。しかし、図１４（ｂ）、図１４（ｃ）に示すように、マイクアレイＭＡ１、ＭＡ２の指向性を周波数領域で比較すると、目的エリア音成分はどちらの出力にも含まれるが、非目的エリア音成分は各マイクアレイで異なることになる。従来のエリア収音技術では、このような特性を利用し、２つのマイクアレイＭＡ１、ＭＡ２のＢＦ出力に、共通に含まれる成分以外を抑圧することで目的エリア音のみ抽出することができる。
【００１５】
図１４（ａ）のような環境で従来のエリア収音処理を行う場合、まず各マイクアレイのＢＦ出力に含まれる目的エリア音の振幅スペクトルの比率を推定し、それを補正係数とする例として２つのマイクアレイを使用することになる。このとき、目的エリア音振幅スペクトルの補正係数は、「（５）、（６）式」または「（７）、（８）式」により算出される。ここで、Ｙ１ｋ（ｎ）、Ｙ２ｋ（ｎ）はマイクアレイＭＡ１、ＭＡ２のＢＦ出力の振幅スペクトルであり、Ｎは周波数ピンの総数であり、ｋは周波数であり、α１（ｎ）、α２（ｎ）は各ＢＦ出力に対する振幅スペクトル補正係数である。また、ここで、ｍｏｄｅは最頻値、ｍｅｄｉａｎは中央値を表している。
【数３】
2020191530.tif 000005
【００１６】
その後、補正係数により各ＢＦ出力を補正し、ＳＳすることで、目的エリア方向に存在する非目的エリア音を抽出することができる。さらに、抽出した非目的エリア音を各ＢＦの出力からＳＳすることにより目的エリア音を抽出することができる。例えば、マイクアレイＭＡ１からみた目的エリア方向に存在する非目的エリア音Ｎ１（ｎ）を抽出するには、（９）式に示すように、マイクアレイＭＡ１のＢＦ出力Ｙ１（ｎ）からマイクアレイＭＡ２のＢＦ出力Ｙ２（ｎ）に振幅スペクトル補正係数的を掛けたものをＳＳする。同様に（１０）式に従い、マイクアレイＭＡ２からみた目的エリア方向に存在する非目的エリア音Ｎ２（ｎ）を抽出する。
【００１７】
その後、（１１）、（１２）式に従い、各ＢＦ出力から非目的エリア音をＳＳして目的エリア音を抽出することができる。（１１）式は、マイクアレイＭＡ１を基準として、また（１２）式は、マイクアレイＭＡ２を基準として目的エリア音を抽出することを示している。なお、（１１）式、（１２）式において、γ１（ｎ）、γ２（ｎ）はＳＳ時の強度を変更するための係数である。
【数４】
2020191530.tif 000006
【００１８】
以上のように、特許文献１の手法では、複数のマイクアレイの指向性を異なる方向から目的エリアに向けて交差させ、各マイクアレイの指向性出力から共通に含まれる成分を抽出する。これにより、特許文献１の手法では、周囲に種々の不要音源が存在する環境であっても、対応者席、相談者席といった特定のエリアの音を強調・収音することができる。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２０１４−０７２７０８号公報
【非特許文献】
【００２０】
【非特許文献１】浅野太著，“音響テクノロジーシリーズ１６  音のアレイ信号処理−音源の定位・追跡と分離−”，日本音響学会編，コロナ社，２０１１年２月２５日発行
【発明の概要】
【発明が解決しようとする課題】
【００２１】
ところで、対面の相談窓口では、応対者席とカウンターを挟んで対面する相談者席の２つのエリアを個別に強調・収録する必要がある。また、図１５に示すように、実際の相談窓口では、対応者側は通常１人だが、相談者側は必ずしも１人とは限らない。例えば、相談者は家族（例えば、親兄弟や配偶者など）を伴って訪れる場合も少なくない。そのため、一般的な相談窓口では、相談者側に２席以上用意されている。相談者が１人の場合と２人の場合では、相談者の会話する位置も変わってくる。例えば、図１５（ａ）に示すように、相談者１人の場合は、概ね対応者の正面中央に座るケースが多いが、図１５（ｃ）、図１５（ｄ）に示すように空いた席に手荷物を置き、左右どちらかに座る場合もある。また、相談者が２人で訪れれば、図１５（ｂ）に示すように２席に１人ずつ座って対話することになる。これらのケースを考慮すると、収録すべき相談者側のエリアは複数の領域に分けて収音エリアを設定可能である必要がある。
【００２２】
以上のような問題に鑑みて、第１の側の収音エリア（例えば、相談窓口における応対者側の席）と第２の側の収音エリア（例えば、相談窓口における相談者側の席）のエリア収音を行う際に、第２の側の収音エリアに存在する話者の数や位置を考慮して各話者の音声をエリア収音するのに最適なエリア収音処理を選択するこことができる収音装置、収音プログラム、収音方法、及び収音システムが望まれている。
【課題を解決するための手段】
【００２３】
第１の本発明の収音装置は、（１）１又は複数の話者が位置する第１の話者エリアと、前記第１の話者エリアの話者と対話する１又は複数の話者が位置する第２の話者エリア内の複数のサブエリアに指向性を向けることが可能な複数のマイクロホンを備える複数のマイクアレイを備える複数のマイクアレイユニットからの入力信号に基づいて、それぞれの前記マイクアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて、前記第１の話者エリア、及びそれぞれのサブエリアに対してエリア収音処理を行うエリア音抽出手段と、（２）それぞれのサブエリアについてサブエリア音が発生しているか否かを検出するエリア音検出処理を行うエリア音検出手段と、（３）それぞれのサブエリアに対するエリア音検出処理の判定結果の組み合わせパターンに応じて、前記第２の話者エリアの収音結果の内容を判断するエリア音判断処理を行い、エリア音判断処理に応じた信号を前記第２の話者エリアの収音結果として取得するエリア音処理手段と、（４）前記第１の話者エリアのエリア収音処理の結果と、前記エリア音処理手段が取得した前記第２の話者エリアのエリア収音処理の結果を出力する出力手段とを有することを特徴とする。
【００２４】
第２の本発明の収音プログラムは、コンピュータを、（１）１又は複数の話者が位置する第１の話者エリアと、前記第１の話者エリアの話者と対話する１又は複数の話者が位置する第２の話者エリア内の複数のサブエリアに指向性を向けることが可能な複数のマイクアレイからの入力信号に基づいて、それぞれの前記マイクアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて、前記第１の話者エリア、及びそれぞれのサブエリアに対してエリア収音処理を行うエリア音抽出手段と、（２）それぞれのサブエリアについてサブエリア音が発生しているか否かを検出するエリア音検出処理を行うエリア音検出手段と、（３）それぞれのサブエリアに対するエリア音検出処理の判定結果の組み合わせパターンに応じて、前記第２の話者エリアの収音結果の内容を判断するエリア音判断処理を行い、エリア音判断処理に応じた信号を前記第２の話者エリアの収音結果として取得するエリア音処理手段と、（４）前記第１の話者エリアのエリア収音処理の結果と、前記エリア音処理手段が取得した前記第２の話者エリアのエリア収音処理の結果を出力する出力手段として機能させることを特徴とする。
【００２５】
第３の本発明は、収音装置が行う収音方法において、（１）エリア音抽出手段、エリア音検出手段、エリア音処理手段及び出力手段を有し、（２）前記エリア音抽出手段は、１又は複数の話者が位置する第１の話者エリアと、前記第１の話者エリアの話者と対話する１又は複数の話者が位置する第２の話者エリア内の複数のサブエリアに指向性を向けることが可能な複数のマイクアレイからの入力信号に基づいて、それぞれの前記マイクアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて、前記第１の話者エリア、及びそれぞれのサブエリアに対してエリア収音処理を行い、（３）前記エリア音検出手段は、それぞれのサブエリアについてサブエリア音が発生しているか否かを検出するエリア音検出処理を行い、（４）前記エリア音処理手段は、それぞれのサブエリアに対するエリア音検出処理の判定結果の組み合わせパターンに応じて、前記第２の話者エリアの収音結果の内容を判断するエリア音判断処理を行い、エリア音判断処理に応じた信号を前記第２の話者エリアの収音結果として取得し、（５）前記出力手段は、前記第１の話者エリアのエリア収音処理の結果と、前記エリア音処理手段が取得した前記第２の話者エリアのエリア収音処理の結果を出力することを特徴とする。
【００２６】
第４の本発明は、１又は複数の話者が位置する第１の話者エリアと、前記第１の話者エリアの話者と対話する１又は複数の話者が位置する第２の話者エリア内の複数のサブエリアに指向性を向けることが可能な複数のマイクアレイユニットと、前記第１の話者エリア及び前記第２の話者エリアのエリア収音処理を行う収音装置を備える収音システムにおいて、前記収音装置として第１の本発明の収音装置を適用したことを特徴とする。
【発明の効果】
【００２７】
本発明によれば、第１の側の収音エリアと第２の側の収音エリアのエリア収音を行う際に、第２の側の収音エリアに存在する話者の数や位置を考慮して各話者の音声をエリア収音するのに最適なエリア収音処理を選択するこことができる。
【図面の簡単な説明】
【００２８】
【図１】第１の実施形態に係る収音システム（収音装置を含む）の機能的構成について示したブロック図である。
【図２】第の１実施形態で設定する収音エリアについて示した説明図（イメージ図）である。
【図３】第１の実施形態に係るマイクアレイユニットの配置イメージの例について示した図である。
【図４】第１の実施形態に係る各マイクアレイユニットの構成について示した図である。
【図５】第１の実施形態に係る各マイクアレイユニットで形成されるマイクアレイの構成について示した図である。
【図６】第１の実施形態に係る収音装置のハードウェア構成の例について示したブロック図である。
【図７】第２の実施形態に係る収音システム（収音装置を含む）の機能的構成について示したブロック図である。
【図８】第の２実施形態で設定する収音エリアについて示した説明図（イメージ図）である。
【図９】第２の実施形態に係るマイクアレイユニットの配置イメージの例について示した図である。
【図１０】第２の実施形態に係る各マイクアレイユニットの構成について示した図である。
【図１１】第２の実施形態に係る各マイクアレイユニットで形成されるマイクアレイの構成について示した図である。
【図１２】従来の減算型ＢＦ（マイクロホンの数が２個の場合）の構成を示すブロック図。
【図１３】従来の減算型ＢＦ（マイクロホンの数が２個の場合）により形成される指向性フィルタの例について示した説明図。
【図１４】従来の収音装置において、２つのマイクアレイのビームフォーマ（ＢＦ）による指向性を別々の方向から目的エリアへ向けた場合の構成例について示した説明図。
【図１５】相談窓における人員配置のバリエーションを示した説明図（イメージ図）である。
【発明を実施するための形態】
【００２９】
（Ａ）第１の実施形態
以下、本発明による収音装置、収音プログラム、収音方法、及び収音システムの第１の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の収音システムを対面録音システムに適用した例について説明する。
【００３０】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の対面録音システム１の全体構成を示すブロック図である。
【００３１】
対面録音システム１は、相談窓口等において対応者と相談者の音声を区別して収音し、記録する装置であり、マイクアレイ部１００、収音装置２００、及び記録装置３００を有している。
【００３２】
マイクアレイ部１００は、相談窓口において対応者及び相談者の音声を捕捉する手段である。
【００３３】
収音装置２００は、マイクアレイ部１００で捕捉した音響信号に基づいて、対応者と相談者の音声を区別して収音する装置である。
【００３４】
記録装置３００は、収音装置２００が収音した音声（対応者及び相談者の音声）や、収音した音声に基づく会話の内容をテキスト化したデータを記録する装置である。
【００３５】
ここで、対面録音システム１において、収音する対象となる収音エリアについて図２を用いて説明する。
【００３６】
図２は、対面録音システム１において、収音する対象となる収音エリアとその周辺の環境について示した図である。
【００３７】
図２では、矩形のカウンターテーブルＣＴを挟んで対応者と相談者が位置する例について示している。すなわち、図２では、カウンターテーブルＣＴを挟んで対応者と相談者が対向するように位置する場合について示している。
【００３８】
図２に示すように、この実施形態では、１人の対応者が位置する収音エリア（以下、「対応者エリアＡ１」と呼ぶ）と表す）と、対応者エリアＡ１に位置する対応者と対話する相談者が位置する収音エリア（以下、「相談者エリアＡ２」と呼ぶ）が設定されているものとする。この実施形態では、図２に示すように、相談者エリアＡ２内には、さらに、相談者席中央エリアＡ２−１、相談者左側席エリアＡ２−２、及び相談者右側席エリアＡ２−３という３つの収音エリア（サブエリア）が設定されているものとする。
【００３９】
上述の図１５に示すように、実際の相談窓口では、対応者側は通常１人だが、相談者側は複数人存在する場合がある。相談窓口における図１４に示すようなケースを考慮すると、収録すべき相談者側の収音エリアは、図２に示すように、正面中央（相談者席中央エリアＡ２−１）、左右どちらか一方（相談者左側席エリアＡ２−２又は相談者右側席エリアＡ２−３のどちらか一方）、左右両方（相談者左側席エリアＡ２−２及び相談者右側席エリアＡ２−３の両方）と３箇所のエリア（相談者席中央エリアＡ２−１、相談者左側席エリアＡ２−２、及び相談者右側席エリアＡ２−３）を個別に強調・収音できることが望ましい。
【００４０】
なお、図２に示すように、第１の実施形態において、相談者左側席エリアＡ２−２と相談者右側席エリアＡ２−３は、それぞれ相談者席中央エリアＡ２−１に横方向（相談者から見て左右方向）で隣接する収音エリアとなる。また、図２では、対応者エリアＡ１（例えば、対応者エリアＡ１の中心点）と相談者席中央エリアＡ２−１（例えば、相談者席中央エリアＡ２−１の中心点）とを結ぶ線ＣＬ１と、線ＣＬ１と直交する線ＣＬ２とが図示されている。この実施形態の例では、図２に示す通り、線ＣＬ１の中間点とカウンターテーブルＣＴの中心点が一致し、線ＣＬ２は線ＣＬ１の中心点を通る線であるものとする。
【００４１】
次に、マイクアレイ部１００の内部構成について説明する。
【００４２】
マイクアレイ部１００は、２つのマイクアレイユニットＭＡＵ１、ＭＡＵ２を有している。
【００４３】
図３は、マイクアレイユニットＭＡＵ１、ＭＡＵ２の配置構成の例について示した図である。
【００４４】
図３では、上方向からマイクアレイユニットＭＡＵ１、ＭＡＵ２が配置された領域を見た場合の図となっている。
【００４５】
第１の実施形態のマイクアレイ部１００では、線ＣＬ１の左右に分けてマイクアレイユニットＭＡＵ１、ＭＡＵ２を配置する構成となっている。図３の例では、マイクアレイユニットＭＡＵ１、ＭＡＵ２は、線ＣＬ２上で線ＣＬ１を挟んで対照となる位置に配置されている。言い換えると、図３の例では、相談者席中央エリアＡ２−１から見てカウンターテーブルＣＴの左側にマイクアレイユニットＭＡＵ１が配置され、同じく右側にマイクアレイユニットＭＡＵ２が配置された構成となっている。
【００４６】
次に、第１の実施形態における各マイクアレイユニットの構成について図４を用いて説明する。
【００４７】
図４（ａ）に示すように、相談者側から見て左側に設置されたマイクアレイユニットＭＡＵ１は、マイクロホンｍｃ１を端点として、マイクロホンｍｃ１から見て対応者エリアＡ１の方向に略直交する線分上に配置したマイクロホンｍｃ２と、マイクロホンｍｃ１を端点として、マイクロホンｍｃ１から見て相談者席中央エリアＡ２−１の方向に略直交する線分上に配置されるマイクロホンｍｃ３と、マイクロホンｍｃ１から見て相談者左側席エリアＡ２−２の方向に略直交する線分上に配置されるマイクロホンｍｃ４を有している。なお、この実施形態では、図３に示すように、マイクアレイユニットＭＡＵ１（マイクロホンｍｃ１）から見て相談者席中央エリアＡ２−１の方向の先には、相談者右側席エリアＡ２−３が位置するようにマイクアレイユニットＭＡＵ１が配置されているものとする。
【００４８】
また、図４（ｂ）に示すように、相談者側から見て右側に設置されたマイクアレイユニットＭＡＵ２は、マイクロホンｍｃ５を端点として、マイクロホンｍｃ５から見て対応者エリアＡ１の方向に略直交する線分上に配置したマイクロホンｍｃ６と、マイクロホンｍｃ５を端点として、マイクロホンｍｃ５から見て相談者席中央エリアＡ２−１の方向に略直交する線分上に配置されるマイクロホンｍｃ７と、マイクロホンｍｃ５から見て相談者右側席エリアＡ２−３の方向に略直交する線分上に配置されるマイクロホンｍｃ８を有している。なお、この実施形態では、図３に示すように、マイクアレイユニットＭＡＵ２（マイクロホンｍｃ５）から見て相談者席中央エリアＡ２−１の方向の先には、相談者左側席エリアＡ２−２が位置するように、マイクアレイユニットＭＡＵ２（マイクロホンｍｃ５）が配置されているものとする。
【００４９】
図５は、マイクアレイ部１００の各マイクアレイユニットで形成されるマイクアレイで用いられるマイクロホンの組み合わせについて示した図である。
【００５０】
マイクアレイ部１００では、マイクアレイユニットＭＡＵ１、ＭＡＵ２を構成する８つのマイクロホンｍｃ１〜ｍｃ８の組み合わせによってマイクアレイを構成することができる。この実施形態では、図５（ａ）に示すようにマイクロホンｍｃ１、ｍｃ２によりマイクアレイＭＡ１が形成され、マイクロホンｍｃ１、ｍｃ３によりマイクアレイＭＡ２が形成され、マイクロホンｍｃ１、ｍｃ４により、マイクアレイＭＡ３が形成されるものとする。また、この実施形態では、図５（ｂ）に示すように、マイクロホンｍｃ５とマイクロホンｍｃ６によりマイクアレイＭＡ４が形成され、マイクロホンｍｃ５とマイクロホンｍｃ７によりマイクアレイＭＡ５が形成され、マイクロホンｍｃ５とマイクロホンｍｃ８によりマイクアレイＭＡ６が形成されるものとする。
【００５１】
次に、収音装置２００の内部構成について説明する。
【００５２】
図１に示すように、収音装置２００は、信号入力部２０１、時間／周波数変換部２０２、指向性形成部２０３、エリア音抽出部２０４、エリア音検出部２０６、及びエリア音選択部２０７、及び周波数／時間変換部２０８を有している。収音装置２００を構成する各要素の詳細については後述する。
【００５３】
収音装置２００は、例えば、プロセッサやメモリ等を備えるコンピュータにプログラム（実施形態に係る収音プログラムを含む）を実行させるようにしてもよいが、その場合であっても、機能的には、図１のように示すことができる。収音装置２００の各構成要素の処理の詳細については後述する。
【００５４】
図６は、収音装置２００のハードウェア構成の例について示したブロック図である。なお、図６における括弧内の符号は後述する第２〜第４の実施形態で用いられる符号である。
【００５５】
図６では、収音装置２００をソフトウェア（コンピュータ）を用いて構成する際の構成について示している。
【００５６】
図６に示す収音装置２００は、ハードウェア的な構成要素として、少なくとも信号入力部２０１と、プログラム（実施形態の収音プログラムを含むプログラム）がインストールされたコンピュータ５００を有している。
【００５７】
信号入力部２０１は、例えば、Ａ／Ｄコンバータを用いて構成することができる。なお、コンピュータ５００自体にＡ／Ｄコンバータが搭載されていれば、信号入力部２０１を別途設ける必要はない。
【００５８】
コンピュータ５００は、信号入力部２０１から供給される音響信号（デジタル音響信号）にエリア収音処理を施して出力する処理を行う。この実施形態では、コンピュータ５００に、この実施形態の収音プログラムを含むプログラム（ソフトウェア）がインストールされているものとする。
【００５９】
なお、コンピュータ５００は、収音プログラム専用のコンピュータとしてもよいし、他の機能（例えば、記録装置３００）のプログラムと共用される構成としてもよい。
【００６０】
図６に示すコンピュータ５００は、プロセッサ５０１、一次記憶部５０２、及び二次記憶部５０３を有している。一次記憶部５０２は、プロセッサ５０１の作業用メモリ（ワークメモリ）として機能する記憶手段であり、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の高速動作するメモリが適用される。二次記憶部５０３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）やプログラムデータ（実施形態に係る収音プログラムのデータを含む）等の種々のデータを記録する記憶手段であり、例えば、ＦＬＡＳＨメモリやＨＤＤ等の不揮発性メモリが適用される。この実施形態のコンピュータ５００では、プロセッサ５０１が起動する際、二次記憶部５０３に記録されたＯＳやプログラム（実施形態に係る収音プログラムを含む）を読み込み、一次記憶部５０２上に展開して実行する。
【００６１】
なお、コンピュータ５００の具体的な構成は図６の構成に限定されないものであり、種々の構成を適用することができる。例えば、一次記憶部５０２が不揮発メモリ（例えば、ＦＬＡＳＨメモリ等）であれば、二次メモリについては除外した構成としてもよい。
【００６２】
次に、記録装置３００の機能的構成について説明する。
【００６３】
記録装置３００は、対話記録部３０１及び対話蓄積部３０２を有している。
【００６４】
記録装置３００についても、コンピュータにプログラムを実行させることでソフトウェア的に構成してもよいが、その場合であっても、機能的には、図１のように示すことができる。収音装置２００の各構成要素の処理の詳細については後述する。
【００６５】
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の対面録音システム１の動作を説明する。
【００６６】
以下、図１を用いて本発明の実施形態に対面録音装置の動作を詳細に説明する。
【００６７】
信号入力部２０１は、８つのマイクロホンｍｃ１〜ｍｃ８で収音した音響信号をアナログ信号からデジタル信号に変換し、時間／周波数変換部２０２に供給する。以下では、マイクロホンｍｃ１〜ｍｃ８で収音したデジタル形式の音響信号（以下、「入力信号」とも呼ぶ）を、それぞれｘ１〜ｘ８と表す。
【００６８】
時間／周波数変換部２０２ではマイクロホン信号を時間領域から周波数領域へ変換する。以下では、入力信号ｘ１〜ｘ８を周波数領域に変換した信号を、それぞれＸ１〜Ｘ８と表す。
【００６９】
指向性形成部２０３は、周波数変換された各マイクロホンの入力信号（Ｘ１〜Ｘ８）を用いて、（３）式、（４式）に従いＢＦにより指向性を形成する。以下では、マイクアレイアＭＡ１〜ＭＡ６によるＢＦ出力を、それぞれＹ１〜Ｙ６と表す。
【００７０】
図３に示すように、マイクアレイＭＡ１によるＢＦ出力Ｙ１の指向性は対応者エリアＡ１の方向に向けられており、マイクアレイＭＡ２によるＢＦ出力Ｙ２の指向性は相談者席中央エリアＡ２−１及び相談者右側席エリアＡ２−３の方向にむけられおり、マイクアレイＭＡ３によるＢＦ出力Ｙ３の指向性は相談者左側席エリアＡ２−２の方向にむけられている。また、図３に示すように、マイクアレイＭＡ４によるＢＦ出力Ｙ４の指向性は対応者エリアＡ１の方向に向けられており、マイクアレイＭＡ５によるＢＦ出力Ｙ５の指向性は相談者席中央エリアＡ２−１及び相談者左側席エリアＡ２−２の方向にむけられおり、マイクアレイＭＡ６によるＢＦ出力Ｙ６の指向性は相談者右側席エリアＡ２−３の方向にむけられている。
【００７１】
したがってＢＦ出力Ｙ１とＢＦ出力Ｙ４の指向性は対応者エリアＡ１で交差し、ＢＦ出力Ｙ２とＢＦ出力Ｙ５の指向性は相談者席中央エリアＡ２−１で交差し、ＢＦ出力Ｙ２とＢＦ出力Ｙ６の指向性は相談者右側席エリアＡ２−３で交差し、ＢＦ出力Ｙ３とＢＦ出力Ｙ５の指向性は相談者左側席エリアＡ２−２で交差する。
【００７２】
エリア音抽出部２０４は、互いに交差するＢＦ出力からそれぞれ、エリア音を強調・抽出する。すなわち、エリア音抽出部２０４は、指向性形成部２０３で生成されたＢＦ出力Ｙ１〜Ｙ６の互いに指向性が交差する２つの組み合わせから、前記従来技術で示した（９）式、もしくは（１０）式と同様の方法でＳＳし、目的エリア方向に存在する非目的エリア音を抽出する。さらに、エリア音抽出部２０４は、抽出した雑音を各ＢＦの出力から（１１）式、もしくは（１２）式と同様の方法でＳＳすることにより目的エリア音を抽出する。
【００７３】
具体的には、エリア音抽出部２０４は、ＢＦ出力Ｙ１とＢＦ出力Ｙ４に基づいて対応者エリアＡ１を目的エリアとするエリア収音処理を行った結果（以下、「対応者エリア音Ｚ１」と表す）を取得し、ＢＦ出力Ｙ２とＢＦ出力Ｙ５に基づいて相談者席中央エリアＡ２−１を目的エリアとするエリア収音処理を行った結果（以下、「相談者席中央エリア音Ｚ２」と呼ぶ）を取得し、ＢＦ出力Ｙ２とＢＦ出力Ｙ６に基づいて相談者右側席エリアＡ２−３を目的エリアとするエリア収音処理を行った結果（以下、「相談者右側席エリア音Ｚ４」と呼ぶ）を取得し、ＢＦ出力Ｙ３とＢＦ出力Ｙ５に基づいて相談者左側席エリアＡ２−２を目的エリアとするエリア収音処理を行った結果（以下、「相談者左側席エリア音Ｚ３」と呼ぶ）を取得する。
【００７４】
エリア音抽出部２０４は、エリア音抽出の際に、本来「（５）式、（６）式」、あるいは「（７）式、（８）式」と同様な方法で各マイクアレイのＢＦ出力に含まれる目的エリア音の振幅スペクトルの比率を推定し、それを補正係数とする必要があるが、この実施形態においては、構成、説明の簡単のため省略する。
【００７５】
ところで、相談者側３つのエリア（Ａ２−１〜Ａ２−３）には、常に目的音（相談者が発話した音声）が存在するわけではない。先に述べたように相談者は１人で中央に着座する場合、あるいは１人でも中央に寄らず左右に寄って相談することもあり得る。この場合は、相談者側の３つの収音エリア（Ａ２−１〜Ａ２−３）の何れか１つだけが目的音エリアとなる。相談者が２人で訪れた場合は、左右に分れて座るため、相談者左側席エリアＡ２−２、相談者右側席エリアＡ２−３の両エリアが、それぞれ目的音エリアとなる。
【００７６】
収音装置２００では、相談者側については、前記３つの収音エリア（Ａ２−１〜Ａ２−３）のエリア収音結果から各エリアにおける目的音の有無を判定し、相談者側の各収音エリア（Ａ２−１〜Ａ２−３）の目的エリア音の存在状況に応じて、抽出・記録すべき対話音声を適切に選択するものとする。
【００７７】
この実施形態のエリア音検出部２０６では、エリア音検出部２０６が、相談者側の３つの収音エリア（Ａ２−１〜Ａ２−３）のそれぞれについて目的エリア音（相談者の発話した音声）が存在するか否かを判定するものとする。すなわち、エリア音検出部２０６は、収音エリアＡ２−１〜Ａ２−３のそれぞれに対して、目的エリア音（相談者が発話した音声）が存在するか否かを判定する。エリア音検出部２０６において、各収音エリア内の目的エリア音の存在の有無を判定する方法としては種々の方法を適用することができる。例えば、エリア音検出部２０６では、エリア収音出力と入力音との振幅スペクトル比を用いる方法や、エリア収音を行なう際のＢＦ出力間のコヒーレンスを用いる方法を適用することができるが、この実施形態のエリア音検出部２０６では、振幅スペクトル比を用いる方法が適用されるものとする。
【００７８】
振幅スペクトル比算出部２０５は、時間／周波数変換部２０２からは、相談者側３つのエリア音抽出に係る入力信号（Ｘ１、Ｘ３、Ｘ４、およびＸ５、Ｘ７、Ｘ８）を、エリア音抽出部２０４からは相談者側のエリア音出力Ｚ２、Ｚ３、Ｚ４を取得して、振幅スペクトル比の算出を行う。例えば振幅スペクトル比算出部２０５は、以下の（１３）式、（１４）式、（１５）式を用いて、エリア音出力Ｚ２、Ｚ３、Ｚ４と入力信号の振幅スペクトル比を周波数ごとに算出する。さらに、振幅スペクトル比算出部２０５は、以下の（１６）式、（１７）式、（１８）式を用いて、全周波数の振幅スペクトル比を加算して、振幅スペクトル比加算値Ｕ２、Ｕ３、Ｕ４を求める。
【数５】
2020191530.tif 000007
【００７９】
ここで（１３）式、（１４）式、（１５）式において、Ｗｉｎ２はエリア音出力Ｚ２の算出に用いたマイクアレイの入力信号の振幅スペクトルであり、Ｗｉｎ３はエリア音出力Ｚ３の算出に用いたマイクアレイの入力信号の振幅スペクトルであり、Ｗｉｎ４はエリア音出力Ｚ４の算出に用いたマイクアレイの入力信号の振幅スペクトルである。そこで、振幅スペクトル比算出部２０５は、Ｗｉｎ２、Ｗｉｎ３、Ｗｉｎ４として、エリア音出力Ｚ２、Ｚ３、Ｚ４の算出でそれぞれメイン（基準）として用いたマイクアレイＭＡ２、ＭＡ３、ＭＡ６の振幅スペクトルを充てるものとする。振幅スペクトル比算出部２０５では、各マイクアレイの振幅スペクトルとして、それぞれのマイクアレイを構成する２つマイクロホンの何れか一方の入力信号の振幅スペクトルを適用してもよいし、２つマイクロホンの入力信号の平均を適用するようにしてもよい。
【００８０】
（１６）式を用いて行われる処理で得られるＵ２は、エリア音出力Ｚ２の各周波数の振幅スペクトル比Ｒ２ｉ（ｉは周波数）を周波数の下限ｊから上限ｋでの帯域で足し合わせた振幅スペクトル比加算値である。（１７）式の処理を用いて行われるＵ３は、エリア音出力Ｚ３の各周波数の振幅スペクトル比Ｒ３ｉ（ｉは周波数）を、周波数の下限ｊから上限ｋでの帯域で足し合わせたものである。（１８）式を用いた処理で得られるＵ４は、エリア音出力Ｚ４の各周波数の振幅スペクトル比Ｒ４ｉ（ｉは周波数）を、周波数の下限ｊから上限ｋでの帯域で足し合わせたものである。ここで、振幅スペクトル比算出部２０５において演算対象とする周波数の帯域を制限しても良い。例えば、振幅スペクトル比算出部２０５において演算対象を音声情報が十分に含まれる１００Ｈｚから６ｋＨｚに制限して、上記演算を行うようにしても良い。
【００８１】
そして、エリア音検出部２０６は、振幅スペクトル比算出部２０５により算出した振幅スペクトル比加算値を予め設定した閾値と比較し、エリア音が存在するかしないかを判定し、その判定結果をエリア音選択部２０７に供給する。以下では、収音エリアＡ２−１〜Ａ２−３のそれぞれに対する目的エリア音検出の判定結果をステータスＳ１〜Ｓ３（エリア音存在ステータス）と表すものとする。Ｓ１〜Ｓ３は、それぞれ目的エリア音有りを示す「Ｔｒｕｅ」又は目的エリア音無し（目的エリア音不検出）を示す「Ｆａｌｓｅ」のいずれかの値で示されるものとして説明する。
【００８２】
エリア音選択部２０７は、収音エリアが１つで選択の余地がない対応者側を除き、ステータスＳ２、Ｓ３、Ｓ４を用いて、以下の手順に則って、エリア音出力Ｚ２、Ｚ３、Ｚ４から記録すべき相談者側の対話音声（相談者側の目的エリア音）を適切に選択する。具体的には、エリア音選択部２０７は、ステータスＳ２、Ｓ３、Ｓ４のパターン（組み合わせ）に応じて、エリア音出力Ｚ２、Ｚ３、Ｚ４から記録すべき相談者側の対話音声（以下、「相談者音声」とも呼ぶ）を選択する。以下では、ステータスＳ２、Ｓ３、Ｓ４のパターン（以下、「ステータスパターン」と呼ぶ）ごとに、エリア音選択部２０７が選択するエリア音出力のパターンを説明する。
【００８３】
［第１のステータスパターン］
Ｓ２（中）、Ｓ３（左）、Ｓ４（右）のすべてがｆａｌｓｅ（エリア音が存在しない）のパターン（以下、「第１のステータスパターン」と呼ぶ）が発生した場合、エリア音選択部２０７は、いずれのエリア音出力も選択せず、相談者音声として無音を出力する。なお、第１のステータスパターンの場合、エリア音選択部２０７は、相談者側の音声信号を出力しない処理を行うようにしてもよい。
【００８４】
［第２のステータスパターン］
Ｓ２（中）、Ｓ３（左）、Ｓ４（右）のうちいずれか１つがｔｒｕｅ（エリア音が存在）のパターン（以下、「第２のステータスパターン」と呼ぶ）が発生した場合、エリア音選択部２０７は、相談者１人が発言したと認識し、当該エリア音が存在したエリア（ステータスがｔｒｕｅのエリア）のエリア音出力を、相談者側音声として出力する。
【００８５】
［第３のステータスパターン］
Ｓ３（左）、Ｓ４（右）の２つがｔｒｕｅのパターン（以下、「第３のステータスパターン」と呼ぶ）が発生した場合、エリア音選択部２０７は、左右のエリア（Ａ２−２、Ａ２−３）のそれぞれにエリア音が存在することから、相談者側には２人の相談者がおり、２人の相談者が同時に発言したと判断し、エリア音出力Ｚ３、Ｚ４双方を相談者音声として選択・出力する。
【００８６】
［第４のステータスパターン］
「Ｓ２（中）、Ｓ３（左）」もしくは「Ｓ２（中）、Ｓ４（右）」の２つがｔｒｕｅのパターン（以下、「第４のステータスパターン」と呼ぶ）が発生した場合、相談者席中央エリアＡ２−１と相談者左側席エリアＡ２−２、相談者席中央エリアＡ２−１と相談者右側席エリアＡ２−３は、それぞれ互いに近接・重複していることから、相談者の位置によって１人の相談者の声が２つのエリアで重複して検出された可能性が高い。第４のステータスパターンが発生した場合、エリア音選択部２０７は、ｔｒｕｅとなった２つのエリア音出力のうち、何れか任意の一方、あるいは両者の出力レベルを評価し、大きい方を相談者音声として出力する。
【００８７】
ただし、上述のように、収音エリアＡ２−１〜Ａ２−３では、元々エリア重複部分があることから、第４のステータスパターンが発生した場合でも、相談者側に相談者が２人存在し左側もしくは右側の相談者が中央よりに寄って中央エリアで検出される可能性もある。
【００８８】
そこで、第４のステータスパターンが発生した場合、エリア音選択部２０７は、前記どちらか一方を選択するという判断に先立って、同時にｔｒｕｅとなった２つのエリア音出力（「Ｚ２、Ｚ３」、または「Ｚ２、Ｚ４」）について類似度を判定する。同時にｔｒｕｅとなった２つのエリア音出力の類似度が高ければ、当該２つのエリア音出力は、同一音声が２つのエリアで重複して検出されたことを示すと推定できる。そこで、エリア音選択部２０７は、同時にｔｒｕｅとなった２つのエリア音出力の類似度が高い場合（例えば、類似度合が所定の閾値以上の場合）、前記のルールに則って、同時にｔｒｕｅとなった２つのエリア音出力から何れか一方を選択するものとする。一方、同時にｔｒｕｅとなった２つのエリア音出力の類似度が低い場合（例えば、所定の閾値より類似度合が低い場合）、エリア音選択部２０７は、相談者席中央エリアＡ２−１で検出されたエリア音は、中央よりに寄った２人目の話者の発話と推定することができる。そこで、同時にｔｒｕｅとなった２つのエリア音出力の類似度が低い場合、エリア音選択部２０７は、同時にｔｒｕｅとなった２つのエリア音出力をそれぞれ別個の相談者音声として選択（２エリアを個別に相談者音声として選択）するものとする。
【００８９】
エリア音選択部２０７における類似度の計算方法は限定されないものであり、２つの信号の相関度合に基づいて算出する方法や、２つの信号のコヒーレンスに基づいて算出する方法等種々の計算方法を適用することができる。
【００９０】
［第５のステータスパターン］
Ｓ２（中）、Ｓ３（左）、Ｓ４（右）のすべてがｔｒｕｅのパターン（以下、「第４のステータスパターン」と呼ぶ）が発生した場合、相談者側の左右の収音エリア（Ａ２−２、Ａ２−３）に座った２人の話者のどちらか一方が中央より寄り、２つの収音エリア（Ａ２−１、Ａ２−２の組み合わせのエリア、又は、Ａ２−１、Ａ２−３の組み合わせのエリア）で重複して検出された可能性が高いと推定できる。そこで、第４のステータスパターンが発生した場合、エリア音選択部２０７は、２人の相談者の音声の分離度を高めるため、エリア音出力Ｚ３、Ｚ４の２つをそれぞれ相談者音声として選択・出力するものとする。
【００９１】
以上のように、エリア音選択部２０７は、ステータスパターンに応じて、エリア音出力Ｚ２、Ｚ３、Ｚ４から記録すべき相談者側の対話音声を選択する。そして、エリア音選択部２０７は、選択した相談者側の対話音声（エリア音出力Ｚ２、Ｚ３、Ｚ４から選択したエリア音出力又は無音）と対応者側の対話音声（対応者エリア音Ｚ１）を、周波数／時間変換部２０８に供給する。
【００９２】
エリア音選択部２０７から対話音声として供給された各エリア音出力は、周波数／時間変換部２０８で時間信号に変換され、記録装置３００に供給される。
【００９３】
次に、記録装置３００の動作について説明する。
【００９４】
記録装置３００では、収音装置２００から対話音声（対応者及び相談者のエリア音出力）が供給されると、対話記録部３０１に供給される。
【００９５】
対話記録部３０１は、供給される対話音声のデータを対話蓄積部３０２に供給して蓄積・保持させる。
【００９６】
以上のように、この実施形態では、収音装置２００で取得された対話音声が、記録装置３００に供給され、記録・活用される。
【００９７】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。
【００９８】
第１の実施形態の収音装置では、対応者と相談者の発話した音声を収音する際に、相談者が１人なのか２人なのか、あるいは相談者の着座位置が何所なのかの状況変化に拘わらず、３つの収音エリアＡ２−１〜Ａ２−３に対するエリア音の検出結果（ステータスＳ２、Ｓ３、Ｓ４）のパターンに応じて、各相談者の発話した音声を適切に分離・収音することができる。
【００９９】
（Ｂ）第２の実施形態
以下、本発明による収音装置、収音プログラム、収音方法、及び収音システムの第２の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の収音システムを対面録音システムに適用した例について説明する。
【０１００】
（Ｂ−１）第２の実施形態の構成
図１０は、第２の実施形態の対面録音システム１Ａの全体構成を示すブロック図である。図１０では、上述の図１と同一又は対応する部分に、同一又は対応する符号を付している。以下では、第２の実施形態について第２の実施形態との差異を中心に説明する。
【０１０１】
第２の実施形態の対面録音システム１Ａでは、マイクアレイ部１００と収音装置２００とが、それぞれマイクアレイ部１００Ａと収音装置２００Ａに置き換わっている点で第２の実施形態と異なっている。
【０１０２】
また、第２の実施形態のマイクアレイ部１００Ａでは、マイクアレイユニットＭＡＵ１、ＭＡＵ２が、それぞれマイクアレイユニットＭＡＵ１Ａ、ＭＡＵ２Ａに置き換わっている点で第２の実施形態と異なっている。マイクアレイユニットＭＡＵ１Ａは、第１の実施形態と同様にｍｃ１〜ｍｃ４を有している。また、マイクアレイユニットＭＡＵ２Ａは、第１の実施形態と同様にｍｃ５〜ｍｃ８を有している。ただし、第２の実施形態では、各マイクアレイユニットを構成するマイクロホンの配置位置が異なっている。
【０１０３】
さらに、第２の実施形態の収音装置２００Ａでは、エリア音選択部２０７と周波数／時間変換部２０８が、エリア音選択部２０７Ａと周波数／時間変換部２０８Ａに置き換わり、さらにエリア音加算部２０９が追加されている点で第１の実施形態と異なっている。
【０１０４】
また、第２の実施形態における収音装置Ａのハードウェア構成は、第１の実施形態と同様に、図６を用いて示すことができる。図６における括弧内の符号は、第２の実施形態でのみ用いられる符号である。
【０１０５】
ここで、第２の実施形態の対面録音システム１Ａにおいて、収音する対象となる収音エリアについて図８を用いて説明する。
【０１０６】
図８は、第２の実施形態の対面録音システム１Ａにおいて、収音する対象となる収音エリアとその周辺の環境について示した図である。
【０１０７】
第１の実施形態では、相談者エリアＡ２に３つのサブエリアとしての収音エリア（Ａ２−１〜Ａ１−３）を設定したが、第２の実施形態では、マイクアレイユニットＭＡＵ１Ａ、ＭＡＵ２Ａのマイクロホン配置を調整することで、図８に示すように、相談者が１人の場合および相談者が２人の場合を２つの収音エリア（サブエリア）でカバーするものとする。第２の実施形態では、相談者エリアＡ２に、収録すべき相談者側の収音エリア（サブエリア）として、相談者側から見て右側のエリア（以下、「相談者右側席エリアＡ２−４」と呼ぶ）と、相談者側から見て左側のエリア（以下、「相談者左側席エリアＡ２−５」と呼ぶ）の２箇所の収音エリアが設定されているものとする。なお、この実施形態では、図８に示すように、相談者右側席エリアＡ２−４と相談者左側席エリアＡ２−５とは、線ＣＬ１の周辺で重複する領域が存在するものとする。
【０１０８】
次に、マイクアレイ部１００Ａの内部構成について説明する。
【０１０９】
図９は、マイクアレイユニットＭＡＵ１Ａ、ＭＡＵ２Ａの配置構成の例について示した図である。
【０１１０】
図９では、上方向からマイクアレイユニットＭＡＵ１Ａ、ＭＡＵ２Ａが配置された領域を見た場合の図となっている。
【０１１１】
図９に示すように、第２の実施形態のマイクアレイ部１００Ａにおいて、マイクアレイユニットＭＡＵ１Ａ、ＭＡＵ２Ａを配置する位置は、第１の実施形態と同様であるため詳しい説明を省略する。
【０１１２】
マイクアレイユニットＭＡＵ１ＡおよびマイクアレイユニットＭＡＵ２Ａにおいて、指向性Ｙ２および指向性Ｙ６を、第１の実施形態（上述の図３参照）に比べ、やや中央より（線ＣＬ１の方向）に向けることで、互いに重複エリアを有する２つの収音エリア（相談者右側席エリアＡ２−４、相談者左側席エリアＡ２−５）を設定することが出来る。これにより、第２の実施形態では、相談者右側席エリアＡ２−４に着席した相談者の対話音声と、相談者左側席エリアＡ２−５に着席した相談者の対話音声を別個に収音することができる。なお、第２の実施形態の収音装置２００Ａでは、相談者が１人で相談者側の中央の位置（相談者右側席エリアＡ２−４と相談者左側席エリアＡ２−５とが重複する領域）に着席した場合、当該相談者の会話は、重複を有する２つの相談者側の収音エリア（相談者右側席エリアＡ２−４、相談者左側席エリアＡ２−５）の何れか一方、もしくは両エリアで収音することができる。
【０１１３】
次に、第２の実施形態における各マイクアレイユニットＭＡＵ１Ａ、ＭＡＵ２Ａの構成について図１０を用いて説明する。
【０１１４】
図１０（ａ）に示すように、相談者側から見て左側に設置されたマイクアレイユニットＭＡＵ１Ａは、マイクロホンｍｃ１を端点としてマイクロホンｍｃ１から見て対応者席方向に略直交する線分上に配置したマイクロホンｍｃ２と、マイクロホンｍｃ１を端点としてマイクロホンｍｃ１から見て相談者右側席エリアＡ２−４の方向に略直交する線分上に配置されるマイクロホンｍｃ３と、マイクロホンｍｃ１を端点としてマイクロホンｍｃ１から見て相談者左側席エリアＡ２−５に略直交する線分上に配置されるマイクロホンｍｃ４とを有している。
【０１１５】
図１０（ｂ）に示すように、相談者側から見て右側に設置されたマイクアレイユニットＭＡＵ２Ａは、マイクロホンｍｃ５を端点としてマイクロホンｍｃ５から見て対応者席方向に略直交する線分上に配置したマイクロホンｍｃ６と、マイクロホンｍｃ５を端点としてマイクロホンｍｃ５から見て相談者左側席エリアＡ２−５方向に略直交する線分上に配置されるマイクロホンｍｃ７と、マイクロホンｍｃ５を端点としてマイクロホンｍｃ５から相談者右側席エリアＡ２−４方向に略直交する線分上に配置されるマイクロホンｍｃ８とを有している。
【０１１６】
図１１は、マイクアレイ部１００Ａの各マイクアレイユニットで形成されるマイクアレイで用いられるマイクロホンの組み合わせについて示した図である。
【０１１７】
図１１に示すように、マイクアレイユニットＭＡＵ１Ａ、マイクアレイユニットＭＡＵ２Ａを構成する８つのマイクロホンｍｃ１〜ｍｃ８によりマイクアレイＭＡ１〜ＭＡ６が形成される組合せは、第１の実施形態（上述の図５参照）と同様であるため、詳しい説明を省略する。
【０１１８】
（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の対面録音システム１Ａの動作を説明する。
【０１１９】
以下では、対面録音システム１Ａの動作について第１の実施形態との差異を中心に説明する。
【０１２０】
信号入力部２０１は、８つのマイクロホンｍｃ１〜ｍｃ８で収音した音響信号をアナログ信号からデジタル信号（ｘ１〜ｘ８）に変換し、時間／周波数変換部２０２に送る。周波数変換部２０２ではマイクロホン信号を時間領域から周波数領域の信号（Ｘ１〜Ｘ８）へ変換する。
【０１２１】
指向性形成部２０３は、周波数変換された各マイクロホンの入力信号（Ｘ１〜Ｘ８）を用いてＢＦにより指向性を形成する。
【０１２２】
ここでは、マイクアレイＭＡ１〜ＭＡ６のそれぞれによるＢＦ出力をＹ１、Ｙ２、Ｙ３、Ｙ４、Ｙ５、Ｙ６とする。この実施形態では、図９〜図１１に示すように、Ｙ１の指向性は対応者エリアＡ１の方向に向けられており、Ｙ２の指向性は相談者右側席エリアＡ２−４の方向に向けられており、Ｙ３の指向性は、相談者左側席エリアＡ２−５を向いている。また、この実施形態では、Ｙ４の指向性は対応者の方向に向けられており、Ｙ５の指向性は相談者左側席エリアＡ２−５の方向に向けられており、Ｙ６の指向性は相談者右側席エリアＡ２−４に向けられている。
【０１２３】
エリア音抽出部２０４は、指向性形成部２０３で生成されたＢＦ出力Ｙ１〜Ｙ６の互いに指向性が交差する２つの組み合わせから、目的エリア音を抽出する。この実施形態では、図３、図５に示すようにＢＦ出力Ｙ１とＹ４は対応者エリアＡ１で交差し、ＢＦ出力Ｙ２とＹ６は相談者右側席エリアＡ２−４エリアで交差し、ＢＦ出力Ｙ３とＹ５は相談者左側席エリアＡ２−５エリアで交差する。エリア音抽出部２０４は、互いに交差するＢＦ出力からそれぞれ、対応者エリアＡ１のエリア収音結果（対応者エリア音Ｚ１）、相談者右側席エリアＡ２−４のエリア収音結果（相談者右側席エリア音Ｚ４）、相談者左側席エリアＡ２−５のエリア収音結果（相談者左側席エリア音Ｚ３）を強調・抽出する。
【０１２４】
振幅スペクトル比算出部２０５では、第１の実施例と同様の手法により、相談者側の２つの収音エリア（Ａ２−４、Ａ２−５）のそれぞれについて振幅スペクトル比加算値を求める。この実施形態では、相談者右側席エリアＡ２−４の振幅スペクトル比加算値を「Ｕ２」、相談者左側席エリアＡ２−５の振幅スペクトル比加算値を「Ｕ３」と表すものとする。
【０１２５】
エリア音検出部２０６Ａは、振幅スペクトル比算出部２０５で算出した振幅スペクトル比加算値Ｕ２、Ｕ３をそれぞれ予め設定した閾値と比較し、相談者側の２つの収音エリア（Ａ２−４、Ａ２−５）のそれぞれについてエリア音が存在するかしないかを判定する。この実施形態では、相談者右側席エリアＡ２−４エリアについての判定結果を「Ｓ２」と表し、相談者左側席エリアＡ２−５についての判定結果を「Ｓ３」と表すものとする。
【０１２６】
次にエリア音選択部２０７Ａにおける、相談者側２つのエリア収音結果（Ｚ２、Ｚ３）の選択方法について説明する。
【０１２７】
エリア音選択部２０７Ａは、収音エリアが１つで選択の余地がない対応者側を除き、ステータスＳ２、Ｓ３を用いて、以下の手順に則って、エリア音出力Ｚ２、Ｚ３から記録すべき相談者側の対話音声（相談者側の目的エリア音）を適切に選択する。具体的には、エリア音選択部２０７Ａは、ステータスＳ２、Ｓ３のステータスパターンに応じて、エリア音出力Ｚ２、Ｚ３から記録すべき相談者側の対話音声（相談者音声）を選択する。以下では、ステータスＳ２、Ｓ３のステータスパターンごとに、エリア音選択部２０７Ａが選択するエリア音出力のパターンを説明する。
【０１２８】
［第６のステータスパターン］
Ｓ２（右）、Ｓ３（左）が共にｆａｌｓｅ（エリア音が存在しない）のパターン（以下、「第６のステータスパターン」と呼ぶ）が発生した場合、エリア音選択部２０７Ａは、いずれのエリア音出力も選択せず、相談者音声として無音を出力する。なお、第６のステータスパターンの場合、エリア音選択部２０７Ａは、相談者音声を出力しない処理を行うようにしてもよい。
【０１２９】
［第７のステータスパターン］
Ｓ２（右）、Ｓ３（左）のうちいずれか１つがｔｒｕｅ（エリア音が存在）のパターン（以下、「第７のステータスパターン」と呼ぶ）が発生した場合、エリア音選択部２０７Ａは、相談者１人が発言したと認識し、当該エリア音が存在したエリア（ステータスがｔｒｕｅのエリア）のエリア音出力を、相談者側音声として出力する。
【０１３０】
［第８のステータスパターン］
Ｓ２（右）、Ｓ３（左）が共にｔｒｕｅのパターン（以下、「第８のステータスパターン」と呼ぶ）が発生した場合、左右に座った２人の相談者（相談者左側席エリアＡ２−５に着席した相談者と相談者右側席エリアＡ２−４に着席した相談者）が同時に発話し、左右それぞれのエリア（Ａ２−４、Ａ２−５）で収音されたケース（以下、「第１のケース」と呼ぶ）と、中央に座った１人の相談者の発話が左右２つのエリア（Ａ２−４、Ａ２−５）で同時に収音されたケース（以下、「第２のケース」と呼ぶ）の２通りのケースが考えられる。
【０１３１】
第８のステータスパターンが発生した場合、エリア音選択部２０７Ａは、上記の２つのケースの何れに該当するかを判断するため、２つのエリア音出力Ｚ２、Ｚ３の類似度を判定する。エリア音選択部２０７は、２つのエリア音出力Ｚ２、Ｚ３の類似度が低い場合（例えば、所定の閾値より類似度合が低い場合）は第１のケースが発生したと判断し、２つのエリア音出力Ｚ２、Ｚ３の類似度が高い場合（例えば、類似度合が所定の閾値以上の場合）第２のケースが発生したと判断する。
【０１３２】
なお、エリア音選択部２０７Ａにおける類似度の計算方法は限定されないものであり、第１の実施形態と同様の処理を適用することができる。
【０１３３】
そして、第１のケースが発生したと判断した場合、エリア音選択部２０７Ａは、左右２つのエリア音出力Ｚ２、Ｚ３それぞれを記録のため周波数／時間変換部２０８Ａに供給する。一方、第２のケースが発生したと判断した場合、エリア音選択部２０７Ａは、第１の実施形態のように中央エリアを設けず左右２エリア（Ａ２−４、Ａ２−５）を設けたことで、１人の相談者の発話成分が２エリア（Ａ２−４、Ａ２−５）に分散して収録されたと考え、エリア音加算部２０９に対して、２エリアのエリア音出力Ｚ２、Ｚ３を統合した結果を周波数／時間変換部２０８Ａに供給するように指示する。この場合、エリア音選択部２０７Ａは、相談者側のエリア音出力を周波数／時間変換部２０８Ａに供給しない。この実施形態では、第２のケースとなった場合、エリア音加算部２０９が左右２つのエリア音出力Ｚ２、Ｚ３を加算した結果を、相談者音声として周波数／時間変換部２０８Ａに供給する。
【０１３４】
なお、第２のケースの場合、Ｚ２、Ｚ３を統合（加算）せずに、Ｚ２、Ｚ３のうち、何れか任意の一方が周波数／時間変換部２０８Ａに供給されるようにしてもよいし、Ｚ２、Ｚ３のうち出力レベルが大きい方のみが周波数／時間変換部２０８Ａに供給されるようにしてもよい。
【０１３５】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。
【０１３６】
第２の実施形態の収音装置２００Ａでは、対応者と相談者の発話した音声を収音する際に、相談者が１人なのか２人なのか、あるいは相談者の着座位置が何所なのかの状況変化に拘わらず、２つの収音エリアＡ２−４、Ａ２−５に対するエリア音の検出結果（ステータスＳ２、Ｓ３）のパターンに応じて、各相談者の発話した音声を適切に分離・収音することができる。
【０１３７】
（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【０１３８】
（Ｃ−１）上記の各実施形態では２つのマイクアレイユニットを用いて対応者エリアと相談者エリアを収音する例について示したが、対応者エリアＡ１、及び相談者エリアＡ２の各サブエリアを別個にエリア収音することができれば、具体的なマイクアレイユニットの数や各マイクアレイユニットの構成については限定されないものである。例えば、マイクアレイユニットの数は３つ以上であってもよい。
【０１３９】
（Ｃ−２）上記の各実施形態では、相談者エリアＡ２におけるサブエリアが３つの場合と２つの場合について示したが、相談者エリアＡ２内のサブエリアの数は限定されないものである。例えば、相談者エリアＡ２内で、４つのサブエリアを設けて、別個に収音可能な構成としてもよい。
【０１４０】
（Ｃ−３）上記の各実施形態では、相談者側の収音エリアのみを複数のサブエリアに分割して収音したが、対応者側でも分野の専門家を交えて相談するケースもあり、対応者側の収音エリアも複数のサブエリアに分割して収音するようにしてもよい。
【符号の説明】
【０１４１】
１、１Ａ…対面録音システム、１００、１００Ａ…マイクアレイ部、ＭＡＵ１、ＭＡＵ１Ａ、ＭＡＵ２、ＭＡＵ２Ａ…マイクアレイユニット、ＭＡ１〜ＭＡ６…マイクアレイ、ｍｃ１〜ｍｃ８…マイクロホン、２００、２００Ａ…収音装置、２０１…信号入力部、２０２…時間／周波数変換部、２０３…指向性形成部、２０４…エリア音抽出部、２０５…振幅スペクトル比算出部、２０６、２０６Ａ…エリア音検出部、２０７、２０７Ａ…エリア音選択部、２０８、２０８Ａ…周波数／時間変換部、２０９…エリア音加算部、３００…記録装置、３０１…対話記録部、３０２…対話蓄積部、５００…コンピュータ、５０１…プロセッサ、５０２…一次記憶部、５０３…二次記憶部。
【図１】
2020191530.tif 000008
【図２】
2020191530.tif 000009
【図３】
2020191530.tif 000010
【図４】
2020191530.tif 000011
【図５】
2020191530.tif 000012
【図６】
2020191530.tif 000013
【図７】
2020191530.tif 000014
【図８】
2020191530.tif 000015
【図９】
2020191530.tif 000016
【図１０】
2020191530.tif 000017
【図１１】
2020191530.tif 000018
【図１２】
2020191530.tif 000019
【図１３】
2020191530.tif 000020
【図１４】
2020191530.tif 000021
【図１５】
2020191530.tif 000022