(57)【要約】【課題】音源方向の検出を行うことで、少数の撮像手段により明瞭な画像を効率的に取得可能な撮像装置および撮像方法を提供する。【解決手段】２個の音源方向検出部５０ａ，５０ｂは、それぞれ複数のマイクロフォンを備え、各マイクロフォンの音声信号の音圧レベルにより音源方向の検出を行う。音源位置推定部７０は、音源方向検出部５０ａ，５０ｂで検出された音源方向に基づいて、撮像対象部屋Ｒ１の中の音源位置を幾何学的に推定する。撮像部６０ａ，６０ｂは、推定された音源位置を指向して撮影するように制御される。撮影された映像データは、画像認識部８０により画像認識処理される。画像認識部８０は、被写体（音源）が大きく表示されるように、撮像部６０ａのズーム機能を制御する。【選択図】図２４
2005151042.tif 000002
【特許請求の範囲】
【請求項１】
指向性を有する少なくとも２つのマイクロフォンを、それぞれ異なる集音方向を指向するように配し、前記マイクロフォンが集音する音圧に基づいて、１つのマイクロフォンを選択する２以上のマイクロフォン選択手段と、
前記２以上のマイクロフォン選択手段によりそれぞれ選択された複数のマイクロフォンのうち、少なくとも２つのマイクロフォンが指向する方向に基づいて、音源位置を特定する音源位置特定手段と
を具備する音源位置特定装置。
【請求項２】
指向性を有する少なくとも２つのマイクロフォンを、それぞれ異なる集音方向を指向するように配し、前記マイクロフォンが集音する音圧に基づいて、１つのマイクロフォンを選択する２以上のマイクロフォン選択手段と、
前記２以上のマイクロフォン選択手段によりそれぞれ選択された複数のマイクロフォンのうち、少なくとも２つのマイクロフォンが指向する方向に基づいて、音源位置を特定する音源位置特定手段と、
回動により撮像方向を可変とする撮像手段と、
前記音源位置特定手段により特定された音源位置を前記撮像手段が撮像するように、前記撮像手段を回動させて撮像方向を制御する撮像方向制御手段と
を具備する撮像装置。
【請求項３】
前記撮像手段により得られた映像を表示する表示手段
をさらに有し、
前記音源特定位置により特定された音源位置を拡大して前記表示手段に表示させる
請求項２記載の撮像装置。
【請求項４】
前記表示手段が表示する映像の中から、特定の対象を認識する画像認識手段
をさらに有し、
画像認識手段により認識された前記特定の対象を拡大して前記表示手段に表示させる
請求項３記載の撮像装置。
【請求項５】
指向性を有する少なくとも２つのマイクロフォンを、それぞれ異なる集音方向を指向するように配し、前記マイクロフォンが集音する音圧に基づいて、１つのマイクロフォンを選択する２以上のマイクロフォン選択部と回動により撮像方向を可変とする撮像部とを有する監視方法であって、
前記２以上のマイクロフォン選択部によりそれぞれ選択された複数のマイクロフォンのうち、少なくとも２つのマイクロフォンが指向する方向に基づいて、音源位置を特定するステップと、
特定された音源位置を前記撮像部が撮像するように、前記撮像部を回動させるステップと
を具備する撮像方法。
【請求項６】
撮像部が撮像した音源位置を拡大して表示するステップ
をさらに具備する請求項５記載の撮像方法。
【請求項７】
撮像部が撮像した映像を表示するステップと、
表示した映像の中から、特定の対象を認識するステップと、
認識された前記特定の対象を拡大して表示するステップと
をさらに具備する請求項５記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体が発する音情報に基づいて物体位置を特定して撮像する音源位置特定装置および撮像装置並びに撮像方法に関するものである。
【背景技術】
【０００２】
近年、所定の空間を撮像対象として自動的に映像を取り込む撮像装置が一般に普及している。
たとえば、近年の犯罪の凶悪化に伴い、安全（セキュリティ）のため、監視対象の部屋の所定の場所に、撮像装置の撮像手段としてのカメラを取り付け、監視対象の部屋を長時間撮影して記録することが行われている。また、セキュリティ以外にも、たとえば、保育所に預けた子供を外部から監視するために、その子供のいる部屋を、部屋に設置された監視用のカメラにより撮影する等が行われている。
このような場合に、従来は、監視対象の部屋ができるだけ広範囲に撮影できる場所を選択して監視用カメラを設置し、監視用カメラにより得られた映像を記録・管理していた。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、従来の撮像装置において、監視用カメラとして、１つまたは少数のカメラを監視対象の部屋に設置する場合、その部屋を極力広範囲に撮影可能とするため、各カメラを常に広角で用いなければならず、明瞭な画像を得ることが難しいという問題がある。
一方、監視対象の部屋の広範囲に対して鮮明な画像を記録しようとする場合には、多数の監視用カメラが必要である場合があり、撮像装置全体として高価となるという問題がある。
また、通常、セキュリティ用の映像等には音声が記録されておらず、後に映像を再生する場合には、音声がないために記録情報として十分ではない。たとえば、監視対象においてどの程度の被害を受けたのかについて、音声に基づいて確認をすることができない。
【０００４】
本発明はかかる事情に鑑みてなされたものであり、その目的は、物体が発する音情報に基づいて物体位置を特定して撮像することで、少数の撮像手段により明瞭な画像を効率的に取得可能な音源位置特定装置および撮像装置並びに撮像方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するための本発明の第１の観点は、指向性を有する少なくとも２つのマイクロフォンを、それぞれ異なる集音方向を指向するように配し、前記マイクロフォンが集音する音圧に基づいて、１つのマイクロフォンを選択する２以上のマイクロフォン選択手段と、前記２以上のマイクロフォン選択手段によりそれぞれ選択された複数のマイクロフォンのうち、少なくとも２つのマイクロフォンが指向する方向に基づいて、音源位置を特定する音源位置特定手段とを具備する音源位置特定装置である。
【０００６】
上記目的を達成するための本発明の第２の観点は、指向性を有する少なくとも２つのマイクロフォンを、それぞれ異なる集音方向を指向するように配し、前記マイクロフォンが集音する音圧に基づいて、１つのマイクロフォンを選択する２以上のマイクロフォン選択手段と、前記２以上のマイクロフォン選択手段によりそれぞれ選択された複数のマイクロフォンのうち、少なくとも２つのマイクロフォンが指向する方向に基づいて、音源位置を特定する音源位置特定手段と、回動により撮像方向を可変とする撮像手段と、前記音源位置特定手段により特定された音源位置を前記撮像手段が撮像するように、前記撮像手段を回動させて撮像方向を制御する撮像方向制御手段とを具備する撮像装置である。
【０００７】
好適には、前記撮像装置は、前記撮像手段により得られた映像を表示する表示手段をさらに有し、前記音源特定位置により特定された音源位置を拡大して前記表示手段に表示させる。
【０００８】
好適には、前記撮像装置は、前記表示手段が表示する映像の中から、特定の対象を認識する画像認識手段をさらに有し、画像認識手段により認識された前記特定の対象を拡大して前記表示手段に表示させる。
【０００９】
上記目的を達成するための本発明の第３の観点は、指向性を有する少なくとも２つのマイクロフォンを、それぞれ異なる集音方向を指向するように配し、前記マイクロフォンが集音する音圧に基づいて、１つのマイクロフォンを選択する２以上のマイクロフォン選択部と回動により撮像方向を可変とする撮像部とを有する監視方法であって、前記２以上のマイクロフォン選択部によりそれぞれ選択された複数のマイクロフォンのうち、少なくとも２つのマイクロフォンが指向する方向に基づいて、音源位置を特定するステップと、特定された音源位置を前記撮像部が撮像するように、前記撮像部を回動させるステップとを具備する。
【００１０】
上記本発明の第１の観点に係る音源位置特定装置によれば、２以上のマイクロフォン選択手段において、指向性を有する少なくとも２つのマイクロフォンを、それぞれ異なる集音方向を指向するように配されており、各マイクロフォン選択手段が、それぞれのマイクロフォンからの集音信号を音圧レベルに基づいて主発音と判断するマイクロフォンを特定するため、特定されたマイクロフォンの指向方向に応じた発音方向を特定する。音源位置特定手段では、２以上のマイクロフォン選択手段がそれぞれ特定したマイクロフォンから、少なくとも２つのマイクロフォンが指向する方向に基づいて、幾何学的関係から音源位置を一意に定めることができる。
【発明の効果】
【００１１】
本発明によれば、少数の撮像手段により明瞭な画像を効率的に取得可能であるため、撮像装置全体として安価となる利点がある。
【発明を実施するための最良の形態】
【００１２】
以下、後述する本発明の第１〜３の実施形態の説明の便宜のため、はじめに、本発明の撮像装置のマイクロフォン選択手段としての通話装置（双方向通話装置）について述べる。
図１（Ａ）〜（Ｃ）は本発明の通話装置が適用される１例を示す構成図である。
図１（Ａ）に図解したように、遠隔に位置する２つの会議室９０１、９０２にそれぞれ通話装置１Ａ、１Ｂが設置されており、これらの通話装置１Ａ、１Ｂが電話回線９２０で接続されている。
図１（Ｂ）に図解したように、２つの会議室９０１、９０２において、双方向通話装置１Ａ、１Ｂがそれぞれテーブル９１１、９１２の上に置かれている。ただし、図１（Ｂ）においては、図解の簡略化のため、会議室９０１内の双方向通話装置１Ａについてのみ図解している。会議室９０２内の双方向通話装置１Ｂも同様である。双方向通話装置１Ａ、１Ｂの外観斜視図を図２に示す。
図１（Ｃ）に図解したように、双方向通話装置１Ａ、１Ｂの周囲にそれぞれ複数（本実施の形態においては６名）の会議参加者Ａ１〜Ａ６が位置している。ただし、図１（Ｃ）においては、図解の簡略化のため、会議室９０１内の双方向通話装置１Ａの周囲の会議参加者のみ図解している。他方の会議室９０２内の双方向通話装置１Ｂの周囲に位置する会議参加者の配置も同様である。
【００１３】
本発明の双方向通話装置は、たとえば、２つの会議室９０１、９０２との間で電話回線９２０を介して音声による応答が可能である。
通常、電話回線９２０を介しての会話は、一人の話者と一人の話者同士、すなわち、１対１で通話を行うが、本発明の双方向通話装置は１つの電話回線９２０を用いて複数の会議参加者Ａ１〜Ａ６同士が通話できる。ただし、詳細は後述するが、音声の混雑を回避するため、同時刻（同じ時間帯）の話者は、相互に一人に限定する。
本発明の双方向通話装置は音声（通話）を対象としているから、電話回線９２０を介して音声を伝送するだけである。換言すれば、テレビ会議システムのような多量の画像データは伝送しない。さらに、本発明の双方向通話装置は会議参加者の通話を圧縮して伝送しているので電話回線９２０の伝送負担は軽い。
【００１４】
双方向通話装置の構成
図２〜図４を参照して本発明の１実施の形態としての双方向通話装置の構成について述べる。
図２は本発明の１実施の形態としての双方向通話装置の斜視図である。
図３は図２に図解した双方向通話装置の断面図である。
図４は図１に図解した双方向通話装置のマイクロフォン・電子回路収容部の平面図であり、図３の線Ｘ−Ｘ−Ｙにおける平面図である。
【００１５】
図２に図解したように、双方向通話装置１は、上部カバー１１と、音反射板１２と、連結部材１３と、スピーカ収容部１４と、操作部１５とを有する。
図３に図解したように、スピーカ収容部１４は、音反射面１４ａと、底面１４ｂと、上部音出力開口部１４ｃとを有する。音反射面１４ａと底面１４ｂで包囲された空間である内腔１４ｄに受話再生スピーカ１６が収容されている。スピーカ収容部１４の上部に音反射板１２が位置し、スピーカ収容部１４と音反射板１２とが連結部材１３によって連結されている。
【００１６】
連結部材１３内には拘束部材１７が貫通しており、拘束部材１７は、スピーカ収容部１４の底面１４ｂの拘束部材・下部固定部１４ｅと、音反射板１２の拘束部材固定部１２ｂとの間を拘束している。ただし、拘束部材１７はスピーカ収容部１４の拘束部材・貫通部１４ｆは貫通しているだけである。拘束部材１７が拘束部材・貫通部１４ｆを貫通してここで拘束していないのはスピーカ１６の動作によってスピーカ収容部１４が振動するが、その振動を上部音出力開口部１４ｃの周囲においては拘束させないためである。
【００１７】
スピーカ
相手会議室の話者が話した音声は、受話再生スピーカ１６を介して上部音出力開口部１４ｃから抜け、音反射板１２の音反射面１２ａとスピーカ収容部１４の音反射面１４ａとで規定される空間に沿って軸Ｃ−Ｃを中心として３６０度の全方位に拡散する。
音反射板１２の音反射面１２ａの断面は図解したように、ゆるやかなラッパ型の弧を描いている。音反射面１２ａの断面は軸Ｃ−Ｃを中心として３６０度にわたり（全方位）、図解した断面形状をしている。
同様にスピーカ収容部１４の音反射面１４ａの断面も図解したように、ゆるやかな凸面を描いている。音反射面１４ａの断面も軸Ｃ−Ｃを中心として３６０度にわたり（全方位）、図解した断面形状をしている。
【００１８】
受話再生スピーカ１６から出た音Ｓは、上部音出力開口部１４ｃを抜け、音反射面１２ａと音反射面１４ａとで規定される断面がラッパ状の音出力空間を経て、音声応答装置１が載置されているテーブル９１１の面に沿って、軸Ｃ−Ｃを中心として３６０度全方位に拡散していき、全ての会議参加者Ａ１〜Ａ６に等しい音量で聞き取られる。本実施の形態においては、テーブル９１１の面も音伝播手段の一部として利用している。
受話再生スピーカ１６から出力された音Ｓの拡散状態を矢印で図示した。
【００１９】
音反射板１２は、プリント基板２１を支持している。
プリント基板２１には、図４に平面を図解したように、マイクロフォン・電子回路収容部２のマイクロフォンＭＣ１〜ＭＣ６、発光ダイオードＬＥＤ１〜６、マイクロプロセッサ２３、コーデック（ＣＯＤＥＣ）２４、第１のディジタルシグナルプロセッサ（ＤＳＰ１）ＤＳＰ２５、第２のディジタルシグナルプロセッサ（ＤＳＰ２）ＤＳＰ２６、Ａ／Ｄ変換器ブロック２７、Ｄ／Ａ変換器ブロック２８、増幅器ブロック２９などの各種電子回路が搭載されており、音反射板１２はマイクロフォン・電子回路収容部２を支持する部材としても機能している。
【００２０】
プリント基板２１には、受話再生スピーカ１６からの振動が音反射板１２を伝達してマイクロフォンＭＣ１〜ＭＣ６などに進入して騒音とならないように、受話再生スピーカ１６からの振動を吸収するダンパー１８が取り付けられている。ダンパー１８は、ネジと、このネジとプリント基板２１との間に挿入された防振ゴムなどの緩衝材とからなり、緩衝材をネジでプリント基板２１にネジ止めしている。すなわち、緩衝材によって受話再生スピーカ１６からプリント基板２１に伝達される振動が吸収される。これにより、マイクロフォンＭＣ１〜ＭＣ６は、スピーカ１６からの音の影響を受けない。
【００２１】
マイクロフォンの配置
図４に図解したように、プリント基板２１の中心軸Ｃから放射状に等間隔（本実施の形態では６０度間隔で）で６本のマイクロフォンＭＣ１〜ＭＣ６が位置している。各マイクロフォンは単一指向性を持つマイクロフォンである。その特性については後述する。
各マイクロフォンＭＣ１〜ＭＣ６は、共に柔軟性または弾力性のある第１のマイク支持部材２２ａと第２のマイク支持部材２２ｂとで、揺動自在に支持されており（図解を簡単にするため、マイクロフォンＭＣ１の部分の第１のマイク支持部材２２ａと第２のマイク支持部材２２ｂとについてのみ図解している）、上述した緩衝材を用いたダンパー１８による受話再生スピーカ１６からの振動の影響を受けない対策に加えて、柔軟性または弾力性のある第１のマイク支持部材２２ａと第２のマイク支持部材２２ｂとで受話再生スピーカ１６からの振動で振動するプリント基板２１の振動を吸収して受話再生スピーカ１６の振動の影響を受けないようにして、受話再生スピーカ１６の騒音を回避している。
【００２２】
図３に図解したように、受話再生スピーカ１６はマイクロフォンＭＣ１〜ＭＣ６が位置する平面の中心軸Ｃ−Ｃに対して垂直に指向しており（本実施の形態においては上方向に向いている（指向している））、このような受話再生スピーカ１６と６本のマイクロフォンＭＣ１〜ＭＣ６の配置により、受話再生スピーカ１６と各マイクロフォンＭＣ１〜ＭＣ６との距離は等距離となり、受話再生スピーカ１６からの音声は、各マイクロフォンＭＣ１〜ＭＣ６に対しほとんど同音量、同位相で届く。ただし、上述した音反射板１２の音反射面１２ａおよびスピーカ収容部１４の音反射面１４ａの構成により、受話再生スピーカ１６の音が直接マイクロフォンＭＣ１〜ＭＣ６には直接入力されないようにしている。加えて、上述したように、緩衝材を用いたダンパー１８と、柔軟性または弾力性のある第１のマイク支持部材２２ａと第２のマイク支持部材２２ｂとを用いることにより、受話再生スピーカ１６の振動の影響を低減している。
会議参加者Ａ１〜Ａ６は、通常、図１（Ｃ）に例示したように、音声応答装置１の周囲３６０度方向に、６０度間隔で配設されているマイクロフォンＭＣ１〜ＭＣ６の近傍にほぼ等間隔で位置している。
【００２３】
発光ダイオード
後述する話者を決定したことを通報する手段として発光ダイオードＬＥＤ１〜６がマイクロフォンＭＣ１〜ＭＣ６の近傍に配置されている。
発光ダイオードＬＥＤ１〜６は上部カバー１１を装着した状態でも、全ての会議参加者Ａ１〜Ａ６から視認可能に設けられている。したがって、上部カバー１１は発光ダイオードＬＥＤ１〜６の発光状態が視認可能なように透明窓が設けられている。もちろん、上部カバー１１に発光ダイオードＬＥＤ１〜６の部分に開口が設けられていてもよいが、マイクロフォン・電子回路収容部２への防塵の観点からは透光窓が好ましい。
【００２４】
プリント基板２１には、後述する各種の信号処理を行うために、第１のディジタルシグナルプロセッサ（ＤＳＰ１）２５、第２のディジタルシグナルプロセッサ（ＤＳＰ２）２６、各種電子回路２７〜２９が、マイクロフォンＭＣ１〜ＭＣ６が位置する部分以外の空間に配置されている。
本実施の形態においては、ＤＳＰ２５を各種電子回路２７〜２９とともにフィルタ処理、マイクロフォン選択処理などの処理を行う信号処理手段として用い、ＤＳＰ２６をエコーキャンセラーとして用いている。
【００２５】
図５は、マイクロプロセッサ２３、コーデック２４、ＤＳＰ２５、ＤＳＰ２６、Ａ／Ｄ変換器ブロック２７、Ｄ／Ａ変換器ブロック２８、増幅器ブロック２９、その他各種電子回路の概略構成図である。
マイクロプロセッサ２３はマイクロフォン・電子回路収容部２の全体制御処理を行う。  コーデック２４は相手方会議室に送信する音声を圧縮符号化する。
ＤＳＰ２５が下記に述べる各種の信号処理、たとえば、フィルタ処理、マイクロフォン選択処理などを行う。
ＤＳＰ２６はエコーキャンセラーとして機能する。
図５においては、Ａ／Ｄ変換器ブロック２７の１例として、４個のＡ／Ｄ変換器２７１〜２７４を例示し、Ｄ／Ａ変換器ブロック２８の１例として、２個のＤ／Ａ変換器２８１〜２８２を例示し、増幅器ブロック２９の１例として、２個の増幅器２９１〜２９２を例示している。
その他、マイクロフォン・電子回路収容部２としては電源回路など各種の回路がプリント基板２１に搭載されている。
【００２６】
図４においてプリント基板２１の中心軸Ｃに対してそれぞれ対称（または対向する）位置に一直線上に配設された１対のマイクロフォンＭＣ１−ＭＣ４：ＭＣ２−ＭＣ５：ＭＣ３−Ｍ６が、それぞれ２チャネルのアナログ信号をディジタル信号に変換するＡ／Ｄ変換器２７１〜２７３に入力されている。本実施の形態においては、１個のＡ／Ｄ変換器が２チャネルのアナログ入力信号をディジタル信号に変換する。そこで、中心軸Ｃを挟んで一直線上に位置する２個（１対）のマイクロフォン、たとえば、マイクロフォンＭＣ１とＭＣ４の検出信号を１個のＡ／Ｄ変換器に入力してディジタル信号に変換している。また、本実施の形態においては、相手の会議室に送出する音声の話者を特定するため、一直線上に位置する２個のマイクロフォンの音声の差、音声の大きさなどを参照するから、一直線上に位置する２個のマイクロフォンの信号を同じＡ／Ｄ変換器に入力すると、変換タイミングもほぼ同じになり、２個のマイクロフォンの音声出力の差をとるときにタイミング誤差が少ない、信号処理が容易になるなどの利点がある。
なお、Ａ／Ｄ変換器２７１〜２７４は可変利得型増幅機能付きのＡ／Ｄ変換器２７１〜２７４として構成することもできる。
Ａ／Ｄ変換器２７１〜２７４で変換したマイクロフォンＭＣ１〜ＭＣ６の集音信号はＤＳＰ２５に入力されて、後述する各種の信号処理が行われる。
ＤＳＰ２５の処理結果の１つとして、マイクロフォンＭＣ１〜ＭＣ６のうちの１つを選択した結果が、発光ダイオードＬＥＤ１〜６に出力される。
【００２７】
ＤＳＰ２５の処理結果が、ＤＳＰ２６に出力されてエコーキャンセル処理が行われる。ＤＳＰ２６は、たとえば、エコーキャンセル送話処理部とエコーキャンセル受話部とを有する。
ＤＳＰ２６の処理結果が、Ｄ／Ａ変換器２８１〜２８２でアナログ信号に変換される。Ｄ／Ａ変換器２８１からの出力が、必要に応じて、コーデック２４で符号化されて、増幅器２９１を介して電話回線９２０（図１（Ａ））のラインアウトに出力され、相手方会議室に設置された音声応答装置１の受話再生スピーカ１６を介して音として出力される。
相手方の会議室に設置された双方向通話装置１からの音声が電話回線９２０（図１（Ａ））のラインインを介して入力され、Ａ／Ｄ変換器２７４においてディジタル信号に変換されて、ＤＳＰ２６に入力されてエコーキャンセル処理に使用される。また、相手方の会議室に設置された双方向通話装置１からの音声は図示しない経路でスピーカ１６に印加されて音として出力される。
Ｄ／Ａ変換器２８２からの出力が増幅器２９２を介してこの双方向通話装置１の受話再生スピーカ１６から音として出力される。すなわち、会議参加者Ａ１〜Ａ６は、上述した受話再生スピーカ１６から相手会議室の選択された話者の音声に加えて、その会議室のいる発言者が発した音声をも受話再生スピーカ１６を介して聞くことが出来る。
【００２８】
マイクロフォンＭＣ１〜ＭＣ６
図６は各マイクロフォンＭＣ１〜ＭＣ６の特性を示すグラフである。
各単一指向特性マイクフォンは発言者からマイクロフォンへの音声の到達角度により図６に図解のように周波数特性、レベル特性が変化する。複数の曲線は、集音信号の周波数が、１００Ｈｚ、１５０Ｈｚ、２００Ｈｚ、３００Ｈｚ、４００Ｈｚ、５００Ｈｚ、７００Ｈｚ、１０００Ｈｚ、１５００Ｈｚ、２０００Ｈｚ、３０００Ｈｚ、４０００Ｈｚ、５０００Ｈｚ、７０００Ｈｚの時の指向性を示している。ただし、図解を簡単にするため、図６は代表的に、１５０Ｈｚ、５００Ｈｚ、１５００Ｈｚ、３０００Ｈｚ、７０００Ｈｚについての指向性を図解している。
【００２９】
図７（Ａ）〜（Ｄ）は音源の位置とマイクロフォンの集音レベルの分析結果を示すグラフであり、双方向通話装置１と所定距離、たとえば、１．５メートルの距離にスピーカを置いて各マイクロフォンが集音した音声を一定時間間隔で高速フーリエ変換（ＦＦＴ）した結果を示している。Ｘ軸が周波数を、Ｙ軸が信号レベルを、Ｚ軸が時間を表している。
図６の指向性を持つマイクロフォンを用いた場合、マイクロフォンの正面に強い指向性を示す。本実施の形態においては、このような特性を活用して、ＤＳＰ２５においてマイクロフォンの選定処理を行う。
【００３０】
本発明のように指向性を持つマイクロフォンではなく無指向性のマイクロフォンを用いた場合、マイクロフォン周辺の全ての音を集音するので発言者の音声と周辺ノイズとのＳ／Ｎが混同してあまり良い音が集音できない。これを避けるため、本発明においては、指向性マイクロフォン１本で集音することによって周辺のノイズとのＳ／Ｎを改善している。
さらに、マイクロフォンの指向性を得る方法として、複数の無指向性マイクロフォンを使用したマイクアレイを用いることができるが、このような方法では、複数の信号の時間軸（位相）の一致のため複雑な処理を要するため、時間がかかり応答性が低いし、装置構成を複雑になる。すなわち、ＤＳＰの信号処理系にも複雑な信号処理を必要とする。本発明は図６に例示した指向性のあるマイクロフォンを用いてそのような問題を解決している。
また、マイクアレイ信号を合成して指向性収音マイクロフォンとして利用するためには外形形状が通過周波数特性によって規制され外形形状が大きくなるという不利益がある。本発明はこの問題も解決している。
【００３１】
通話装置の装置構成の効果
上述した構成の通話装置は下記の利点を示す。
（１）等角度で放射状かつ等間隔に配設された偶数個のマイクロフォンＭＣ１〜ＭＣ６と受話再生スピーカ１６との位置関係が一定であり、さらにその距離が非常に近いことで受話再生スピーカ１６から出た音が会議室（部屋）環境を経てマイクロフォンＭＣ１〜ＭＣ６に戻ってくるレベルより直接戻ってくるレベルが圧倒的に大きく支配的である。そのために、スピーカ１６からマイクロフォンＭＣ１〜ＭＣ６に音が到達する特性（信号レベル（強度）、周波数特性（ｆ特）、位相）がいつも同じである。つまり、本発明の実施の形態における双方向通話装置１においてはいつも伝達関数が同じという利点がある。
（２）それ故、話者が異なった時に相手方会議室に送出するマイクロフォンの出力を切り替えた時の伝達関数の変化がなく、マイクロフォンを切り替える都度、マイクロフォン系の利得を調整をする必要がないという利点を有する。換言すれば、本双方向通話装置の製造時に一度調整をすると調整をやり直す必要がないという利点がある。
（３）上記と同じ理由で話者が異なった時にマイクロフォンを切り替えても、エコーキャンセラー（ＤＳＰ２６）が一つでよい。ＤＳＰは高価であり、種々の部材が搭載されて空きが少ないプリント基板２１に複数のＤＳＰを配置する必要がなく、プリント基板２１におけるＤＳＰの配置するスペースも少なくてよい。その結果、プリント基板２１、ひいては、本発明の通話装置を小型にできる。
（４）上述したように、受話再生スピーカ１６とマイクロフォンＭＣ１〜ＭＣ６間の伝達関数が一定であるため、たとえば、±３ｄＢもあるマイクロフォン自体の感度差調整を双方向通話装置のマイクロフォンユニット単独で出来るという利点がある。感度差調整の詳細は後述する。
（５）双方向通話装置１が搭載されるテーブルは、通常、円いテーブル（円卓）または多角テーブルを用いるが、双方向通話装置１１内の一つの受話再生スピーカ１６で均等な品質の音声を軸Ｃを中心として３６０度全方位に均等に分散（拡散）するスピーカシステムが可能になった。
（６）受話再生スピーカ１６から出た音は円卓のテーブル面を伝達して（バウンダリ効果）会議参加者まで有効に能率良く均等に上質な音が届き、会議室の天井方向に対しては対向側の音と位相がキャンセルされて小さな音になり、会議参加者に対して天井方向からの反射音が少なく、結果として参加者に明瞭な音が配給されるという利点がある。
（７）受話再生スピーカ１６から出た音は等角度で放射状かつ等間隔に配設された全てのマイクロフォンＭＣ１〜ＭＣ６に同時に同じ音量で届くので発言者の音声なのか受話音声なのかの判断が容易になる。その結果、マイクロフォン選択処理の誤判別が減る。その詳細は後述する。
（８）偶数個、たとえば、６本のマイクロフォンを等角度で放射状かつ等間隔で、対向する１対のマイクロフォンを一直線上に配置したことで方向検出の為のレベル比較が容易に出来る。
（９）ダンパー１８、マイクロフォン支持部材２２などにより、受話再生スピーカ１６の音による振動が、マイクロフォンＭＣ１〜ＭＣ６の集音に与える影響を低減することができる。
（１０）図３に図解したように、構造的に、受話再生スピーカ１６の音が直接、マイクロフォンＭＣ１〜ＭＣ６には伝搬しない。したがって、この双方向通話装置１においは受話再生スピーカ１６からのノイズの影響が少ない。
【００３２】
変形例
図２〜図３を参照して述べた通話装置１は、下部に受話再生スピーカ１６を配置させ、上部にマイクロフォンＭＣ１〜ＭＣ６（および関連する電子回路）を配置させたが、受話再生スピーカ１６とマイクロフォンＭＣ１〜ＭＣ６（および関連する電子回路）の位置を、図８に図解したように、上下逆にすることもできる。このような場合でも上述した効果を奏する。
【００３３】
マイクロフォンの本数は６には限定されず、４本、８本などと任意の偶数本のマイクロフォンを等角度で放射状かつ等間隔で軸Ｃを複数対それぞれ一直線に（同方向に）、たとえば、マイクロフォンＭＣ１とＭＣ４のように一直線に配置する。２本のマイクロフォンＭＣ１、ＭＣ４を対向させて一直線に配置する理由は、マイクロフォンの選定して話者を特定するためである。
【００３４】
信号処理内容
以下、主として第１のディジタルシグナルプロセッサ（ＤＳＰ）２５で行う処理内容について述べる。
図９はＤＳＰ２５が行う処理の概要を図解した図である。以下、その概要を述べる。
【００３５】
（１）周囲のノイズの測定
初期動作として、好ましくは、双方向通話装置１が設置される周囲のノイズの測定する。
双方向通話装置１は種々の環境（会議室）で使用されうる。マイクロフォンの選択の正確さを期し、双方向通話装置１の性能を高めるために、本発明においては、初期段階において、双方向通話装置１が設置される周囲環境のノイズを測定し、そのノイズの影響をマイクロフォンで集音した信号から排除することを可能とする。
もちろん、双方向通話装置１を同じ会議室で反復して使用するような場合、事前にノイズ測定が行われており、ノイズ状態が変化しないような場合にこの処理は割愛できる。
なお、ノイズ測定は通常状態においても行うことができる。
ノイズ測定の詳細は後述する。
【００３６】
（２）議長の選定
たとえば、双方向通話装置１を双方向会議に使用する場合、それぞれの会議室における議事運営を取りまとめる議長がいることが有益である。したがって、本発明の１態様としては、双方向通話装置１を使用する初期段階において、双方向通話装置１の操作部１５から議長を設定する。議長の設定方法としては、たとえば、操作部１５の近傍に位置する第１マイクロフォンＭＣ１を議長用マイクロフォンとする。もちろん、議長用マイクロフォンを任意のものにすることもできる。
なお、双方向通話装置１を反復して使用する議長が同じ場合はこの処理は割愛できる。あるいは、事前に議長が座る位置のマイクロフォンを決めておいてもよい。その場合はその都度、議長の選定動作は不要である。
もちろん、議長の選定は初期状態に限らず、任意のタイミングで行うことができる。
議長選定の詳細は後述する。
【００３７】
（３）マイクロフォンの感度差調整
初期動作として、好ましくは、受話再生スピーカ１６とマイクロフォンＭＣ１〜ＭＣ６との音響結合が等しくなるように、マイクロフォンＭＣ１〜ＭＣ６の信号を増幅する増幅部の利得または減衰部の減衰値を自動的に調整する。
感度差調整については後述する。
【００３８】
通常処理として下記に例示する各種の処理を行う。
（４）マイクロフォン選択、切り替え処理
１つの会議室において同時に複数の会議参加者が通話すると、音声が入り交じり相手側会議室内の会議参加者Ａ１〜Ａ６にとって聞きにくい。そこで、本発明においては、原則として、ある時間帯には１人ずつ通話させる。そのため、ＤＳＰ２５においてマイクロフォンの選択・切り替え処理を行う。
その結果、選択されたマイクロフォンからの通話のみが、電話回線９２０を介して相手方会議室の音声応答装置１に伝送されてスピーカから出力される。もちろん、図５を参照して述べたように、選択された話者のマイクロフォンの近傍のＬＥＤが点灯し、さらに、その部屋の双方向通話装置１のスピーカからも選択された話者の音声を聞くことができ、誰が許可された話者かを認識することができる。
この処理により、発言者に対向した単一指向性マイクの信号を選択し、送話信号として相手方にＳ／Ｎの良い信号を送ることを目的としている。
（５）選択したマイクロフォンの表示
話者のマイクロフォンが選択され、話すことが許可された会議参加者のマイクロフォンがどれであるかを、会議参加者Ａ１〜Ａ６全員に容易に認識できるように、発光ダイオードＬＥＤ１〜６の該当するものを点灯させる。
（６）上述したマイクロフォン選択処理の背景技術として、または、マイクロフォン選択処理を正確に遂行するため下記に例示する各種の信号処理を行う。
（ａ）マイクロフォンの集音信号の帯域分離と、レベル変換処理
（ｂ）発言の開始、終了の判定処理
発言者方向に対向したマイク信号の選択判定開始トリガとして使用するた              め。
（ｃ）発言者方向マイクロフォンの検出処理
各マイクロフォンの集音信号を分析し、発言者の使用しているマイクロフ              ォンを判定するため。
（ｄ）発言者方向マイクロフォンの切り換えタイミング判定処理、および、検出された発言者に対向したマイク信号の選択切り替え処理
上述した処理結果から選択したマイクロフォンへ切り換えの指示をする。        （ｅ）通常動作時のフロアノイズの測定
【００３９】
フロア（環境）ノイズの測定
この処理は双方向通話装置の電源投入直後の初期処理と通常処理に分かれる。
なお、この処理は下記の例示的な前提条件の下に行う。
【００４０】
【表１】
2005151042.tif 000003
【００４１】
【表２】
2005151042.tif 000004
【００４２】
【表３】
2005151042.tif 000005
【００４３】
双方向通話装置１の電源投入直後、ＤＳＰ２５は図１０〜図１２を参照して述べる下記のノイズ測定を行う。
双方向通話装置１の電源投入直後のＤＳＰ２５の初期処理は、フロアノイズと基準信号レベルを測定し、その差を元に話者と本システムとの有効距離の目安と発言開始、終了判定閾値レベルの設定するために行う。
ＤＳＰ２５内の音圧レベル検出部でピークホールドしたレベル値を一定時間間隔、たとえば、10mSecで読み出し、単位時間の値の平均値を算出しフロアノイズとする。そして、ＤＳＰ２５は測定されたフロアノイズレベルを元に発言開始の検出レベル、発言終了の検出レベルの閾値を決定する。
【００４４】
図１０、処理１：テストレベル測定
ＤＳＰ２５は、図１０に図解した処理に従い、図５に図解した受話信号系のラインイン端子にテストトーンを出力し、受話再生スピーカ１６からの音を各マイクロフォンＭＣ１〜ＭＣ６で集音し、その信号を発言開始基準レベルとして平均値を求める。
【００４５】
図１１、処理２：ノイズ測定１
ＤＳＰ２５は、図１１に図解した処理に従い、各マイクロフォンＭＣ１〜ＭＣ６からの集音信号のレベルをフロアノイズレベルとして一定時間収集し、平均値を求める。
【００４６】
図１２、処理３：有効距離試算
ＤＳＰ２５は、図１２に図解した処理に従い、発言開始基準レベルとフロアノイズレベルを比較し、双方向通話装置１の設置されている会議室などの部屋の騒音レベルを推定し、本双方向通話装置１が良好に働く発言者と本双方向通話装置１との有効距離を計算する。
【００４７】
マイク選択禁止判定
処理３の結果、フロアノイズの方が発言開始基準レベルより大きい（高い）場合、ＤＳＰ２５はそのマイクロフォンの方向に強大なノイズ源が有ると判定し、その方向のマイクロフォンの自動選択を禁止に設定し、それを、たとえば、発光ダイオードＬＥＤ１〜６または操作部１５に表示する。
【００４８】
しきい値決定
ＤＳＰ２５は、図１３に図解したように、発言開始基準レベルとフロアノイズレベルを比較し、その差から発言開始、終了レベルの閾値を決定する。
【００４９】
ノイズ測定に関する限り、次の処理は通常処理なので、ＤＳＰ２５は各タイマ（カウンタ）をセットして次処理の準備をする。
【００５０】
ノイズ通常処理
ＤＳＰ２５は、双方向通話装置１の初期動作時の上記ノイズ測定の後も、通常動作状態において、図１４に示す処理に従って、ノイズ処理を行い、６本のマイクロフォンＭＣ１〜ＭＣ６に対しそれぞれ選択された発言者の音量レベル平均値と発言終了検出後のノイズレベルを測定し一定時間単位で、発言開始、終了判定閾値レベルを再設定する。
【００５１】
図１４、処理１：ＤＳＰ２５は、発言中か発言終了かの判断で処理２か処理３への分岐を決定する。
【００５２】
図１４、処理２：発言者レベル測定
ＤＳＰ２５は、発言中の単位時間、たとえば、１０秒分のレベルデータを複数回、たとえば、１０回分平均して発言者レベルとして記録する。
単位時間内に発言終了になった場合、新たな発言開始まで時間計測及び発言レベル測定を中止し、新たな発言検出後、測定処理を再開する。
【００５３】
図１４、処理３：フロアノイズ測定２
ＤＳＰ２５は、発言終了検出後から発言開始までの間の単位時間、たとえば、１０秒分のノイズレベルデータを複数回、たとえば、１０回分平均してフロアノイズレベルとして記録する。
単位時間内に新たな発言があった場合は、ＤＳＰ２５は途中で時間計測及びノイズ測定を中止し、新たな発言終了検出後、測定処理を再開する。
【００５４】
図１４、処理４：閾値決定２
ＤＳＰ２５は、発言レベルとフロアノイズレベルを比較し、その差から発言開始、終了レベルの閾値を決定する。
なおこのほかに応用として、発言者の発言レベルの平均値が求められているのでそのマイクロフォンに対向した発言者固有の発言開始、終了検出閾値レベルを設定することもできる。
【００５５】
フィルタ処理による各種周波数成分信号の生成
図１５はマイクロフォンで集音した音信号を前処理として、ＤＳＰ２５で行うフィルタリング処理を示す構成図である。図１５は１マイクロフォン（チャネル（１集音信号））分の処理について示す。
各マイクロフォンの集音信号は、たとえば、１００Ｈｚのカットオフ周波数を持つアナログ・ローカットフィルタ１０１で処理され、１００Ｈｚ以下の周波数が除去されたフィルタ処理された音声信号がＡ／Ｄ変換器１０２に出力され、Ａ／Ｄ変換器１０２でディジタル信号に変換された集音信号が、それぞれ７．５ＫＨｚ、４ＫＨｚ、１．５ＫＨｚ、６００Ｈｚ、２５０Ｈｚのカットオフ周波数を持つ、ディジタル・ハイカットフィルタ１０３ａ〜１０３ｅ（総称して１０３）で高周波成分が除去される（ハイカット処理）。ディジタル・ハイカットフィルタ１０３ａ〜１０３ｅの結果はさらに、減算器１０４ａ〜１０４ｄ（総称して１０４）において隣接するディジタル・ハイカットフィルタ１０３ａ〜１０３ｅのフィルタ信号ごとの減算が行われる。
本発明の実施の形態において、ディジタル・ハイカットフィルタ１０３ａ〜１０３ｅおよび減算器１０４ａ〜１０４ｄは、実際はＤＳＰ２５において処理している。Ａ／Ｄ変換器１０２はＡ／Ｄ変換器ブロック２７の１つとして実現できる。
【００５６】
図１６は、図１５を参照して述べたフィルタ処理結果を示す周波数特性図である。このように１つの指向性を持つマイクロフォンで集音した信号から、各種の周波数成分をもつ複数の信号が生成される。
【００５７】
バンドパス・フィルタ処理およびマイク信号レベル変換処理
マイクロフォン選択処理の開始のトリガの１つに発言の開始、終了の判定を行う。そのために使用する信号が、ＤＳＰ２５で行う図１７に図解したバンドパス・フィルタ処理およびレベル変換処理によって得られる。図１７はマイクロフォンＭＣ１〜ＭＣ６で集音した６チャネル（ＣＨ）の入力信号処理中の１ＣＨのみを示す。
ＤＳＰ２５内のバンドパス・フィルタ処理およびレベル変換処理部は、各チャネルのマイクロフォンの集音信号を、それぞれ１００〜６００Ｈｚ、２００〜２５０Ｈｚ、２５０〜６００Ｈｚ、６００〜１５００Ｈｚ、１５００〜４０００Ｈｚ、４０００〜７５００Ｈｚの帯域通過特性を持つバンドパス・フィルタ２０１ａ〜２０１ａ（総称してバンドパス・フィルタ・ブロック２０１）と、元のマイクロフォン集音信号および上記帯域通過集音信号をレベル変換するレベル変換器２０２ａ〜２０２ｇ（総称して、レベル変換ブロック２０２）を有する。
【００５８】
各レベル変換部２０２ａ〜２０２ｇは、信号絶対値処理部２０３とピークホールド処理部２０４を有する。したがって、波形図を例示したように、信号絶対値処理部２０３は破線で示した負の信号が入力されたとき符号を反転して正の信号に変換する。ピークホールド処理部２０４は、信号絶対値処理部２０３の出力信号の最大値を保持する。ただし、本実施の形態では、時間の経過により、保持した最大値は幾分低下していく。もちろん、ピークホールド処理部２０４を改良して、低下分を少なくして長時間最大値を保持可能にすることもできる。
【００５９】
バンドパス・フィルタについて述べる。双方向通話装置１に使用するバンドパス・フィルタは、たとえば、２次ＩＩＲハイカット・フィルタと、マイク信号入力段のローカット・フィルタのみでバンドパス・フィルタを構成している。
本実施の形態においては周波数特性がフラットな信号からハイカットフィルタを通した信号を引き算すれば残りはローカットフィルタを通した信号とほぼ同等になることを利用する。
周波数−レベル特性を合わせる為に、１バンド余分に全体帯域通過のバンドパス・フィルタが必要となるが、必要とするバンドパス・フィルタのバンド数＋１のフィルタ段数とフィルタ係数により必要とされるバンドパスが得られる。今回必要とされるハンドパス・フィルタの帯域周波数はマイク信号１チャネル（ＣＨ）当りで下記６バンドのバンドパス・フィルタとなる。
【００６０】
【表４】
2005151042.tif 000006
【００６１】
この方法でＤＳＰ２５における上記のＩＩＲ・フィルタの計算プログラムは、６ＣＨ（チャネル）×５（ＩＩＲ・フィルタ) ＝３０のみである。
従来のバンドパス・フィルタの構成と対比する。バンドパス・フィルタの構成は２次ＩＩＲフィルタを使用するとして、本発明のように６本のマイク信号にそれぞれ６バンドのバンドパス・フィルタを用意すると、従来方法では、６×６×２＝７２回路のＩＩＲ・フィルタ処理が必要になる。この処理には、最新の優秀なＤＳＰでもかなりのプログラム処理を要し他の処理への影響が出る。
本発明の実施の形態においては、100Hzのローカット・フィルタは入力段のアナログフィルタで処理する。用意する２次ＩＩＲハイカット・フィルタのカットオフ周波数は、250Hz,600Hz,1.5KHz,4KHz,7.5KHzの５種類である。このうちのカットオフ周波数7.5KHzのハイカット・フィルタは、実はサンプリング周波数が 16KHzなので必要が無いが、減算処理の過程で、ＩＩＲフィルタの位相回りの影響で、バンドパス・フィルタの出力レベルが減少する現象を軽減する為に意図的に被減数の位相を回す。
【００６２】
図１８は図１７に図解した構成による処理をＤＳＰ２５で処理したときのフローチャートである。
【００６３】
図１８に図解したＤＳＰ２５におけるフィルタ処理は１段目の処理としてハイパス・フィルタ処理、２段目の処理として１段目のハイパス・フィルタ処理結果からの減算処理を行う。図１６はその信号処理結果のイメージ周波数特性図である。下記、〔ｘ〕は図１６における各処理ケースを示す。
【００６４】
第一段階
〔１〕全体帯域通過フィルタ用として、入力信号を7.5KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカット合わせにより [100Hz-7.5KHz] のバンドパス・フィルタ出力となる。
【００６５】
〔２〕入力信号を4KHzのハイカットフィルタに通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-4KHz] のバンドパス・フィルタ出力となる。
【００６６】
〔３〕入力信号を1.5KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-1.5KHz] は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-1.5KHz] 入力のアナログのローカットフィルタとの組み合わせにより [100Hz-1.5KHz] のバンドパス・フィルタ出力となる。  
【００６７】
〔４〕入力信号を600KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-600Hz] のバンドパス・フィルタ出力となる。
【００６８】
〔５〕入力信号を250KHzのハイカットフィルタを通す。このフィルタ出力信号は入力のアナログのローカットフィルタとの組み合わせにより [100Hz-250Hz] のバンドパス・フィルタ出力となる。
【００６９】
第二段階
〔１〕バンドパス・フィルタ(BPF5=[4KHz〜7.5KHz])は、フィルタ出力[1]-[2]([100Hz〜7.5KHz] - [100Hz〜4KHz])の処理を実行すると上記信号出力[4KHz〜7.5KHz]となる。
〔２〕バンドパス・フィルタ(BPF4=[1.5KHz〜4KHz])は、フィルタ出力[2]-[3]([100Hz〜4KHz] - [100Hz〜1.5KHz])の処理を実行すると、上記信号出力[1.5KHz〜4KHz]となる。
〔３〕バンドパス・フィルタ(BPF3=[600Hz〜1.5KHz])は、フィルタ出力[3]-[4]([100Hz〜1.5KHz] - [100Hz〜600Hz])の処理を実行すると、上記信号出力[600Hz〜1.5KHz]となる。
〔４〕バンドパス・フィルタ(BPF2=[250Hz〜600Hz])は、フィルタ出力[4]-[5]([100Hz〜600Hz] - [100Hz〜250Hz]) の処理を実行すると上記信号出力[250Hz〜600Hz]となる。  〔５〕バンドパス・フィルタ(BPF1=[100Hz〜250Hz])は上記[5]の信号をそのままで出力信号[5]とする。
〔６〕バンドパス・フィルタ(BPF6=[100Hz〜600Hz])は[4]の信号をそのままで上記（４）の出力信号とする。
ＤＳＰ２５における以上の処理で必要とされるバンドパス・フィルタ出力が得られる。  
【００７０】
入力されたマイクロフォンの集音信号ＭＩＣ１〜ＭＩＣ６は、ＤＳＰ２５において、全帯域の音圧レベル、バンドパス・フィルタを通過した６帯域の音圧レベルとして表５のように常時更新される。
【００７１】
【表５】
2005151042.tif 000007
【００７２】
表５において、たとえば、L1-1はマイクロフォンＭＣ１の集音信号が第１バンドパス・フィルタ２０１ａを通過したときのピークレベルを示す。
発言の開始、終了判定は、図１７に図示した100Hz〜600Hzのバンドパス・フィルタ２０１ａを通過し、レベル変換部２０２ｂで音圧レベル変換されたマイクロフォン集音信号を用いる。
【００７３】
従来のバンドパス・フィルタの構成は、バンドパス・フィルタ１段当りにハイ・パスフィルタとロー・パスフィルタの組み合わせで行うので、本実施の形態で使用する仕様の３６回路のバンドパス・フィルタを構築すると７２回路のフィルタ処理が必要となる。これに対して本発明の実施の形態のフィルタ構成は上述したように簡単になる。
【００７４】
発言の開始・終了判定処理
第１のディジタルシグナルプロセッサ（ＤＳＰ１）２５は、音圧レベル検出部から出力される値を元に、図１９に図解したように、マイクロフォン集音信号レベルがフロアノイズより上昇し、発言開始レベルの閾値を越した場合発言開始と判定し、その後開始レベルの閾値よりも高いレベルが継続した場合発言中、発言終了の閾値よりレベルが下がった場合をフロアノイズと判定し、発言終了判定時間、たとえば、０．５秒間継続した場合発言終了と判定する。
発言の開始、終了判定は、図１７に図解したマイク信号変換処理部２０２ｂで音圧レベル変換された１００Ｈｚ〜６００Ｈｚのバンドパス・フィルタを通過した音圧レベルデータ（マイク信号レベル（１））が図１９に例示した閾値レベル以上になった時から発言開始と判定する。
ＤＳＰ２５は、頻繁なマイクロフォン切り替えに伴う動作不良を回避するため、発言開始を検出してから、発言終了判定時間、たとえば、０．５秒間は次の発言開始を検出しないようにしている。
【００７５】
マイクロフォン選択
ＤＳＰ２５は、相互通話システムにおける発言者方向検出および発言者に対向したマイク信号の自動選択を、いわゆる、「星取表方式」に基づいて行う。
図２０は双方向通話装置１の動作形態を図解したグラフである。
図２１は双方向通話装置１の通常処理を示すフローチャートである。
【００７６】
双方向通話装置１は図２０に図解したように、マイクロフォンＭＣ１〜ＭＣ６からの集音信号に応じて音声信号監視処理を行い、発言開始・終了判定を行い、発言方向判定を行い、マイクロフォン選択を行い、その結果を発光ダイオードＬＥＤ１〜６に表示する。
以下、図２１のフローチャートを参照して双方向通話装置１におけるＤＳＰ２５を主体として動作を述べる。なお、マイクロフォン・電子回路収容部２の全体制御はマイクロプロセッサ２３によって行われるが、ＤＳＰ２５の処理を中心に述べる。
【００７７】
ステップ１：レベル変換信号の監視
マイクロフォンＭＣ１〜ＭＣ６で集音した信号はそれぞれ、図１６〜図１８、特に、図１７を参照して述べた、バンドパス・フィルタ・ブロック２０１、レベル変換ブロック２０２において、７種類のレベルデータとして変換されているから、ＤＳＰ２５は各マイクロフォン集音信号についての７種類の信号を常時監視する。
その監視結果に基づいて、ＤＳＰ２５は、発言者方向検出処理１、発言者方向検出処理２、発言開始・終了判定処理のいずれかの処理に移行する。
【００７８】
ステップ２：発言開始・終了判定処理
ＤＳＰ２５は図１９を参照して、さらに下記に詳述する方法に従って、発言の開始、終了の判定を行う。ＤＳＰ２５が処理が発言開始を検出した場合、ステップ４の発言者方向の判定処理へ発言開始検出を知らせる。
なお、ステップ２における発言の開始、終了の判定処理が発言レベルが発言終了レベルより小さくなった時、発言終了判定時間（たとえば、0.5秒）のタイマを起動し発言終了判定時間、発言レベルが発言終了レベルより小さい時、発言終了と判定する。
発言終了判定時間以内に発言終了レベルより大きくなったら再び発言終了レベルより小さくなるまで待ちの処理に入る。
【００７９】
ステップ３：発言者方向の検出処理
ＤＳＰ２５における発言者方向の検出処理は、常時発言者方向をサーチし続けて行う。その後、ステップ４の発言者方向の判定処理へデータを供給する。
【００８０】
ステップ４：発言者方向マイクの切り換え処理
ＤＳＰ２５に発言者方向マイクの切り換え処理におけるタイミング判定処理はステップ２の処理とステップ３の処理の結果から、その時の発言者検出方向と今まで選択していた発言者方向が違う場合に、新たな発言者方向のマイク選択をステップ４のマイク信号切り換え処理へ指示する。
ただし、議長のマイクロフォンが操作部１５から設定されていて、議長のマイクロフォンと他の会議参加者とが同時的に発言がある場合、議長の発言を優先する。
この時に、選択されたマイク情報を発光ダイオードＬＥＤ１〜６に表示する。
【００８１】
ステップ５：マイクロフォン集音信号の伝送
マイク信号切り換え処理は６本のマイク信号の中からステップ４処理により選択されたマイク信号のみを送話信号として、双方向通話装置１から電話回線９２０を介して相手側の双方向通話装置に伝送するため、図５に図解した電話回線９２０のラインアウトへ出力する。
【００８２】
発言開始レベル閾値、発言終了閾値の設定
処理１：電源を投入直後に各マイクロフォンそれぞれの所定時間、たとえば、１秒間分のフロアノイズを測定する。
ＤＳＰ２５は、音圧レベル検出部のピークホールドされたレベル値を一定時間間隔、本実施の形態では、たとえば、10mSec間隔で読み出し、所定時間、たとえば、１分間の値の平均値を算出しフロアノイズとする。
ＤＳＰ２５は測定されたフロアノイズレベルを元に発言開始の検出レベル（フロアノイズ +9dB)、発言終了の検出レベルの閾値（フロアノイズ＋６ｄＢ）を決定する。ＤＳＰ２５は、以後も、音圧レベル検出器のピークホールドされたレベル値を一定時間間隔で読み出す。
発言終了と判定された時は、ＤＳＰ２５は、フロアノイズの測定として働き、発言開始の検出し、発言終了の検出レベルの閾値を更新する。
【００８３】
この方法によれば、この閾値設定はマイクロフォンの置かれた位置のフロアノイズレベルがそれぞれ違うので各マイクロフォンにそれぞれ閾値が設定出来され、ノイズ音源によるマイクロフォンの選択における誤判定を防げる。
【００８４】
処理２：周辺ノイズ（フロアノイズの大きい）部屋への対応
処理２は処理１ではフロアノイズが大きく自動で閾値レベルを更新されると、発言開始、終了検出がしにくい時の対策として下記を行う。
ＤＳＰ２５は、予測されるフロアノイズレベルを元に発言開始の検出レベル、発言終了の検出レベルの閾値を決定する。
ＤＳＰ２５は、発言開始閾値レベルは発言終了閾値レベルより大きく（たとえば、３dB以上の差)に設定する。
ＤＳＰ２５は、音圧レベル検出器でピークホールドされたレベル値を一定時間間隔で読み出す。
【００８５】
この方法によれば、この閾値設定は閾値が全てのマイクロフォンに対して同じ値なので、ノイズ源を背にした人と、そうでない人とで声の大きさが同程度で発言開始が認識できる。
【００８６】
発言開始判定
処理１：６個のマイクロフォンに対応した音圧レベル検出器の出力レベルと、発言開始レベルの閾値を比較し発言開始レベルの閾値を越した場合発言開始と判定する。
ＤＳＰ２５は、全てのマイクロフォンに対応した音圧レベル検出器の出力レベルが、発言開始レベルの閾値を越した場合は、受話再生スピーカ１６からの信号であると判定し、発言開始とは判定しない。なぜなら、受話再生スピーカ１６と全てのマイクロフォンＭＣ１〜ＭＣ６との距離は同じであるから、受話再生スピーカ１６からの音は全てのマイクロフォンＭＣ１〜ＭＣ６にほぼ均等に到達するからである。
【００８７】
処理２：図４に図解した６個のマイクロフォンについての６０度の等角度で放射状かつ等間隔の配置で、指向性軸を反対方向に１８０度ずらした単一指向性マイク２本（マイクロフォンＭＣ１とＭＣ４、マイクロフォンＭＣ２とＭＣ５、マイクロフォンＭＣ３とＭＣ６）の３組構成し、マイク信号のレベル差を利用する。すなわち下記の演算を実行する。  
【００８８】
【表６】
2005151042.tif 000008
【００８９】
ＤＳＰ２５は上記絶対値[１],[２],[３]と発言開始レベルの閾値を比較し発言開始レベルの閾値を越した場合発言開始と判定する。
この処理の場合、処理１のように全ての絶対値が発言開始レベルの閾値より大きくなることは無いので（受話再生スピーカ１６からの音が全てのマイクロフォンに等しく到達するから）、受話再生スピーカ１６からの音か話者からの音声かの判定は不要になる。
【００９０】
発言者方向の検出処理
発言者方向の検出には図６に例示した単一指向性マイクロフォンの特性を利用する。単一指向特性マイクロフォンは発言者からマイクロフォンへの音声の到達角度により図６に例示したように、周波数特性、レベル特性が変化する。その結果を図７（Ａ）〜（Ｄ）に例示した。図７（Ａ）〜（Ｄ）は、双方向通話装置１から所定距離、たとえば、１．５メートルの距離にスピーカーを置いて各マイクロフォンが集音した音声を一定時間間隔で高速フーリエ変換（ＦＦＴ）した結果を示す。Ｘ軸が周波数を、Ｙ軸が信号レベルを、Ｚ軸が時間を表している。横線は、バンドパス・フィルタのカットオフ周波数を表し、この線にはさまれた周波数帯域のレベルが、図１５〜図１８を参照して述べたマイク信号レベル変換処理からの５バンドのバンドパス・フィルタを通した音圧レベルに変換されたデータとなる。
【００９１】
本発明の１実施の形態としての双方向通話装置１における発言者方向の検出のために実際の処理として適用した判定方法を述べる。
各帯域バンドパス・フィルタの出力レベルに対しそれぞれ適切な重み付け処理（１ｄＢフルスパン（1dBFs）ステップなら0dBFsの時０、-3dBFsなら３というように、又はこの逆に）を行う。この重み付けのステップで処理の分解能が決まる。
１サンプルクロック毎に上記の重み付け処理を実行し、各マイクの重み付けされた得点を加算して一定サンプル数で平均値化して合計点の小さい（大きい）マイク信号を発言者に対向したマイクロフォンと判定する。この結果をイメージ化したものが下記表７である。
【００９２】
【表７】
2005151042.tif 000009
【００９３】
表７に例示したこの例では一番合計点が小さいのは第１マイクロフォンＭＣ１なので、ＤＳＰ２５は第１マイクロフォンＭＣ１の方向に音源が有る（話者がいる）と判定する。ＤＳＰ２５はその結果を音源方向マイク番号という形で保持する。
上述したように、ＤＳＰ２５は各マイクロフォン毎の周波数帯域のバンドパス・フィルタの出力レベルに重み付けを付けを実行し、各帯域バンドパス・フィルタの出力の、得点の小さい（または大きい）マイク信号順に順位をつけ、１位の順位が３つの帯域以上に有るマイク信号を発言者に対向したマイクロフォンと判定する。そして、ＤＳＰ２５は第１マイクロフォンＭＣ１の方向に音源が有る（話者がいる）として、下記表８のような成績表を作成する。
【００９４】
【表８】
2005151042.tif 000010
【００９５】
実際には部屋の特性により音の反射や定在波の影響で、必ずしも第１マイクロフォンＭＣ１の成績が全てのバンドパス・フィルタの出力で一番となるとは限らないが、５バンド中の過半数が１位であれば第１マイクロフォンＭＣ１の方向に音源が有る（話者がいる）と判定することができる。ＤＳＰ２５はその結果を音源方向マイク番号という形で保持する。
【００９６】
ＤＳＰ２５は各マイクロフォンの各帯域バンドパス・フィルタの出力レベルデータを下記表９に示した形態で合計し、レベルの大きいマイク信号を発言者に対向したマイクロフォンと判定し、その結果を音源方向マイク番号という形で保持する。
【００９７】
【表９】
2005151042.tif 000011
【００９８】
発言者方向マイクの切り換えタイミング判定処理
図２１のステップ２の発言開始判定結果により起動し、ステップ３の発言者方向の検出処理結果と過去の選択情報から新しい発言者のマイクロフォンが検出された時、ＤＳＰ２５は、ステップ５のマイク信号の選択切り替え処理へマイク信号の切り換えコマンドを発効すると共に、発光ダイオードＬＥＤ１〜６へ発言者マイクが切り替わったことを通知し、発言者に自分の発言に対し本双方向通話装置１が応答した事を知らせる。
【００９９】
反響の大きい部屋で、反射音や定在波の影響を除くため、ＤＳＰ２５は、マイクロフォンを切り換えてから発言終了判定時間（たとえば、0.5 秒)経過しないと、新しいマイク選択コマンドの発効は禁止する。
図２１のステップ１のマイク信号レベル変換処理結果、および、ステップ３の発言者方向の検出処理結果から、本実施の形態においては、マイク選択切り替えタイミングは２通りを準備する。
【０１００】
第１の方法：発言開始が明らかに判定できる時
選択されていたマイクロフォンの方向からの発言が終了し新たに別の方向から発言があった場合。
この場合は、ＤＳＰ２５は、全てのマイク信号レベル(１)とマイク信号レベル(２)が発言終了閾値レベル以下になってから発言終了判定時間（たとえば、0.5 秒)以上経過してから発言が開始され、どれかのマイク信号レベル(１)が発言開始閾値レベル以上になった時発言が開始されたと判断し、音源方向マイク番号の情報を元に発言者方向に対向したマイクロフォンを正当な集音マイクロフォンと決定し、ステップ５のマイク信号選択切り替え処理を開始する。
【０１０１】
第２の方法：発言継続中に新たに別の方向からより大きな声の発言があった場合
この場合はＤＳＰ２５は発言開始（マイク信号レベル(１)が閾値レベル以上になった時）から発言終了判定時間（たとえば、0.5 秒)以上経過してから判定処理を開始する。  発言終了検出前に、３の処理からの音源方向マイク番号が変更になり、安定していると判定された場合、ＤＳＰ２５は音源方向マイク番号に相当するマイクロフォンに現在選択されている発言者よりも大声で発言している話者がいると判断し、その音源方向マイクロフォンを正当な集音マイクロフォンと決定し、ステップ５のマイク信号選択切り替え処理を起動する。
【０１０２】
検出された発言者に対向したマイク信号の選択切り替え処理
ＤＳＰ２５は図２１のステップ４の発言者方向マイクの切り換えタイミング判定処理からのコマンドで選択判定されたコマンドにより起動する。
ＤＳＰ２５のマイク信号の選択切り替え処理は、図２２に図解したように、６回路の乗算器と６入力の加算器で構成する。マイク信号を選択する為には、ＤＳＰ２５は選択したいマイク信号が接続されている乗算器のチャネルゲイン（チャネル利得：CH Gain）を〔１〕に、その他の乗算器のCH Gainを〔０〕とする事で、加算器には選択された（マイク信号×〔１])の信号と（マイク信号×〔０])の処理結果が加算されて希望のマイク選択信号が出力に得られる。
【０１０３】
上記の様にチャネルゲインを[１]か[０]に切り換えると切り換えるマイク信号のレベル差によりクリック音が発生する可能性が有る。そこで、双方向通話装置１では、図２３に図解したように、CH Gainの変化を[１]から[０]へ、[０]から[１]へ変化するのに、切替遷移時間、たとえば、１０ｍ秒の時間で連続的に変化させてクロスするようにして、マイク信号のレベル差によるクリック音の発生を避けている。              
【０１０４】
また、チャネルゲインの最大を[1]以外、たとえば[0.5]の様にセットする事で後段のＤＳＰ２５におけるエコーキャンセル処理動作の調整を行うこともできる。
【０１０５】
上述したように、本発明の実施形態の通話装置は、ノイズの影響を受けず、有効に会議などの通話装置に適用できる。
【０１０６】
本発明の実施形態の通話装置は構造面から下記の利点を有する。
（１）複数の単一指向性を持つマイクロフォンと受話再生スピーカとの位置関係が一定であり、さらにその距離が非常に近いことで受話再生スピーカから出た音が会議室（部屋）環境を経て複数のマイクロフォンに戻ってくるレベルより直接戻ってくるレベルが圧倒的に大きく支配的である。そのために、受話再生スピーカから複数のマイクロフォンに音が到達する特性（信号レベル（強度）、周波数特性（ｆ特）、位相）がいつも同じである。つまり、通話装置においてはいつも伝達関数が同じという利点がある。
【０１０７】
（２）それ故、マイクロフォンを切り替えた時の伝達関数の変化がなく、マイクロフォンを切り替える都度、マイクロフォン系の利得を調整をする必要がないという利点を有する。換言すれば、通話装置の製造時に一度調整をするとやり直す必要がないという利点がある。
【０１０８】
（３）上記と同じ理由でマイクロフォンを切り替えても、ディジタルシグナルプロセッサ（ＤＳＰ）で構成するエコーキャンセラが一つでよい。ＤＳＰは高価であり、種々の部材が搭載されて空きが少ないプリント基板にＤＳＰを配置するスペースも少なくてよい。  
【０１０９】
（４）受話再生スピーカと複数のマイクロフォン間の伝達関数が一定であるため、±３ｄＢもあるマイクロフォン自体の感度差調整をユニット単独で出来るという利点がある。  （５）通話装置が搭載されるテーブルは、通常、円卓を用いるが、通話装置内の一つの受話再生スピーカで均等な品質の音声を全方位に均等に分散（閑散）するスピーカシステムが可能になった。
【０１１０】
（６）受話再生スピーカから出た音はテーブル面を伝達して（バウンダリ効果）会議参加者まで有効に能率良く均等に上質な音が届き、会議室の天井方向に対しては対向側の音  と位相キャンセルされて小さな音になり、会議参加者に対して天井方向からの反射音が少なく、結果として参加者に明瞭な音が配給されるという利点がある。
【０１１１】
（７）受話再生スピーカから出た音は複数の全てのマイクロフォンに同時に同じ音量で届くので発言者の音声なのか受話音声なのかの判断が容易になる。その結果、マイクロフォン選択処理の誤判別が減る。
【０１１２】
（８）偶数個のマイクロフォンを等間隔で配置したことで方向検出の為のレベル比較が容易に出来る。
【０１１３】
（９）緩衝材を用いたダンパー、柔軟性または弾力性を持つマイクロフォン支持部材などにより、マイクロフォンが搭載されているプリント基板を介して伝達され得る受話再生スピーカの音による振動が、マイクロフォンの集音に影響を低減することができる。
【０１１４】
（１０）受話再生スピーカの音が直接、マイクロフォンには進入しない。したがって、この双方向通話装置においは受話再生スピーカからのノイズの影響が少ない。
【０１１５】
上述した通話装置は信号処理面から下記の利点を有する。
（ａ）複数の単一指向性マイクを等間隔で放射状に配置して音源方向を検知可能とし、マイク信号を切り換えてＳ／Ｎの良い音、クリアな音を集音（収音）して、相手方に送信することができる。
（ｂ）周辺の発言者からの音声をＳ／Ｎ良く集音して、発言者に対向したマイクを自動選択できる。
（ｃ）本発明においては、マイク選択処理の方法として通過音声周波数帯域を分割し、それぞれの分割された周波数帯域事のレベルを比較する事で、信号分析を簡略化している。
（ｄ）本発明のマイク信号切り換え処理をＤＳＰの信号処理として実現し、複数の信号をすべてにクロス・フェード処理する事で切り換え時のクリック音を出さないようにしている。
（ｅ）マイク選択結果を、発光ダイオードなどの表示手段、または、外部への通知処理することができる。したがって、たとえば、テレビカメラへの発言者位置情報として活用することもできる。
【０１１６】
以上、双方向通話装置１の構成、処理動作について詳述した。
本双方向通話装置１の上述した効果・特徴を応用した技術が、後述する本発明の実施形態である撮像装置である。
すなわち、本発明に係る撮像装置は、上述した双方向通話装置１の特徴点、つまり、偶数個のマイクロフォンが等間隔で配置され、発音方向の検出が可能である点を、撮像装置に応用した技術である。
【０１１７】
実施形態
図２４は、本実施形態における撮像装置４０の構成を説明するための図である。
図２４に示すとおり、撮像装置４０は、２以上のマイクロフォン検出手段としての音源方向検出部５０ａ，５０ｂと、撮像手段としての撮像部６０ａ，６０ｂと、音源位置特定手段としての音源位置推定部７０と、画像認識手段としての画像認識部８０とを有している。
撮像装置４０の撮像対象は、図２４において線で囲まれた範囲の部屋Ｒ１であり、撮像対象の部屋Ｒ１の中に、音源方向検出部５０ａ，５０ｂおよび撮像部６０ａ，６０ｂが配置される。
音源位置推定部７０および画像認識部８０についても、撮像対象の部屋Ｒ１の中に配置させてもよいが、必ずしもその必要はないので、図２４においては、部屋Ｒ１の外に配置させている。
【０１１８】
音源方向検出部５０ａ，５０ｂと音源位置推定部７０は、それぞれ電気的に接続されており、また、撮像部６０ａ，６０ｂと音源位置推定部７０は、それぞれ電気的に接続されている。さらに、撮像部６０ａ，６０ｂと画像認識部８０が、それぞれ電気的に接続されている。
【０１１９】
撮像対象である部屋Ｒ１の中に、音源方向検出部５０ａ，５０ｂと撮像部６０ａ，６０ｂをどのように配置するかについては、自由に設定することが可能である。ただし、撮像部６０ａ，６０ｂは、撮像対象の部屋Ｒ１を極力広範囲に撮影可能とする観点から、図２４に示すように、部屋Ｒ１の中の相対する位置に配置させることが望ましい。
また、音源方向検出部５０ａ，５０ｂは、音源方向を広範囲に特定するように、お互い極力離れた位置に配置することが望ましい。
【０１２０】
以下、撮像装置４０の各構成要素について説明する。
音源方向検出部５０ａ，５０ｂ
音源方向検出部５０ａ，５０ｂは、それぞれすでに詳述した双方向通話装置１と同一である。すなわち、６本のマイクロフォンを６０度間隔で全方位に均等に配置し、各マイクロフォンが入力する音声信号に基づいて、音源の方向検出のためのレベル比較を行い、レベルの大きいマイクロフォンを選択する。
選択されたマイクロフォンは、各音源方向検出部５０ａ，５０ｂに実装されたＤＳＰ２５ａ，２５ｂにおいて、音源方向マイク番号ＭＣ＿ａ，ＭＣ＿ｂとして保持される。
そして、各音源方向検出部５０ａ，５０ｂで選択された音源方向マイク番号ＭＣ＿ａ，ＭＣ＿ｂは、図２４に示す信号Ｓ５７ａ，Ｓ５７ｂとして、後述する音源位置推定部７０に供給される。
【０１２１】
撮像部６０ａ，６０ｂ
撮像部６０ａ，６０ｂは、動画映像を撮影可能な撮像手段としてのズームレンズ付カメラを含んで構成される。たとえば、ＣＣＤ等の撮像デバイスを備えたディジタルカメラを含み、撮影した動画を順次、それぞれ撮像信号Ｓ６８ａ，Ｓ６８ｂとして画像認識部８０へ転送する。
撮像部６０ａ，６０ｂは、撮像対象である部屋Ｒ１の全域を撮影可能なように、図２４の水平方向に回転運動が可能なように構成される。
そして、撮像部６０ａ，６０ｂは、たとえばステッピングモータ等の回動手段（図示しない）およびモータ制御回路を備えている。
【０１２２】
モータ制御回路は、後述する音源位置推定部７０より、それぞれパン制御信号として供給されるＳ７６ａ，Ｓ７６ｂに基づいて、撮像部６０ａ，６０ｂの水平方向位置を決定すべくモータを制御する。
なお、本発明の撮像方向制御手段は、本実施形態における撮像部６０ａ，６０ｂのモータ制御回路に相当する。
モータ制御回路は、後述する画像認識部８０より、ズーム制御信号として供給されるＳ８６ａ，Ｓ８６ｂに基づいて、それぞれ撮像部６０ａ，６０ｂのズーム制御を行う。
【０１２３】
音源位置推定部７０
音源位置推定部７０は、各音源方向検出部５０ａ，５０ｂから供給される音源方向マイク番号ＭＣ＿ａ，ＭＣ＿ｂ（信号Ｓ５７ａ，Ｓ５７ｂ）に基づいて、音源位置の推定を行う。音源方向マイク番号ＭＣ＿ａ，ＭＣ＿ｂがそれぞれ指向する方向の交点は、図２４で示す部屋Ｒ１の水平平面上で一意に定まり、その交点を音源位置と推定する。
【０１２４】
なお、各音源方向検出部５０ａ，５０ｂは、前述したとおり、それぞれ複数のマイクロフォンから入力される音声信号の音圧レベル比較を行うことにより音源方向マイク番号ＭＣ＿ａ，ＭＣ＿ｂを選択するが、いわゆる星取表方式で最終的にマイク番号を決定しているため、音源方向については若干の誤差を含んでいる。しかしながら、後述するように、音源位置推定部７０で推定された音源位置に基づいて、撮像部６０ａ，６０ｂのズーム制御を行うことにより、被写体を拡大して捉えるように調整されるため、音源位置推定部７０で行われる音源位置の推定が若干の誤差を含んでいても、問題はない。
【０１２５】
また、音源位置推定部７０は、書換可能な不揮発性メモリを内蔵している。このメモリには、部屋Ｒ１における音源方向検出部５０ａ，５０ｂおよび撮像部６０ａ，６０ｂの水平平面上に配置された位置情報があらかじめ記憶されており、音源位置推定部７０は、算出した音源位置と、メモリに記憶された撮像部６０ａ，６０ｂの位置情報とから幾何学演算を行い、それぞれ撮像部６０ａ，６０ｂが音源位置を捉えるために必要な回転角度を算出する。
音源位置推定部７０は、それぞれ撮像部６０ａ，６０ｂが音源位置を捉えるために必要な回転角度を含むパン制御信号Ｓ７６ａ，Ｓ７６ｂを、それぞれ撮像部６０ａ，６０ｂに対して出力する。
【０１２６】
画像認識部８０
画像認識部８０は、撮像部６０ａ，６０ｂで取り込まれた動画データを、図２４に示す信号Ｓ６８ａ，Ｓ６８ｂとして逐次入力する。実際には、撮像部６０ａ，６０ｂが取得したデータをフレーム単位で順次画像認識部８０内のバッファに転送し、画像認識部８０では、フレーム単位のデータを動画データとして保持する。
なお、撮像対象の部屋Ｒ１の外部から撮像部６０ａ，Ｓ６０ｂで撮影された映像を表示するする表示手段（たとえば、ＬＣＤ等）を内蔵している。この表示手段は、本発明の表示手段に相当する。
また、表示手段は、画像認識部８０と電気的に接続された外部に設置してもよい。
【０１２７】
また、画像認識部８０は、上述した表示手段に表示された映像データの中から、被写体である人間を特定するために、画像認識処理を行う。
画像認識処理としては、すでに様々な公知の技術が知られており、これらの公知技術を適用することが可能である。一般に、画像認識処理では、下記の処理が行われる。
【０１２８】
すなわち、認識対象の画像の一部とテンプレート（検索形状）の相関係数を計算し、その相関係数に基づいてテンプレートと近い特徴を持った画像の一部の位置を特定する。
具体的には、以下のステップを実行する。
ａ．画像の正規化を行う。
ｂ．最も一致する可能性のある複数の位置を粗くサーチ（検索）
ｃ．検索された複数の位置について相関係数を計算する。
ｄ．相関が最も高い位置を絞り込む。
その際、画像認識対象物の輪郭に着目し、テンプレートの画像の輪郭特徴を抽出することにより、その輪郭をモデルとして登録する手法もとられる。そして、そのテンプレートの輪郭特徴と対象画像の輪郭特徴から、上述の相関係数を計算する。すなわち、両者の輪郭がどの程度類似しているかについての計算を行う。
以上のステップにより、テンプレートに最も合致する可能性の高い画像の位置が特定される。
【０１２９】
本実施形態では、人間の顔に相当するテンプレート（輪郭特徴）を画像認識部８０が保持し、このテンプレートに基づいて、撮像部６０ａ，６０ｂから取得した動画データに現れる人間の顔の輪郭をサーチ（検索）する。そして、上述した画像認識処理により、画像認識部８０は、サーチ（検索）対象である人間の顔の位置が、撮像部６０ａ，６０ｂの画面上のどの位置にあるのかを認識できる。
【０１３０】
撮像部６０ａ，６０ｂの画面上の顔の位置を認識すると、画像認識部８０は、撮像部６０ａ，６０ｂが画像認識対象である顔を画面の中心領域に大きく撮影するように、撮像部６０ａ，６０ｂそれぞれのズーム制御量を算出し、ズーム制御信号Ｓ８６ａ，Ｓ８６ｂとして、撮像部６０ａ，６０ｂのモータ制御回路に出力する。
【０１３１】
以上、本実施形態における撮像装置４０の各構成要素について説明した。
次に、図２５〜図２８に関連付けて、撮像装置４０の動作について説明する。
【０１３２】
撮像装置の動作
図２５は、本実施形態における撮像装置４０の処理動作の概要を説明するための図である。
図２５においては、撮像対象である部屋Ｒ１に存在する物体ＯＢＪ１が音を発した場合に、撮像部６０ａ，６０ｂにより物体ＯＢＪ１の画像が取り込まれる動作を示している。  物体ＯＢＪ１が音を発すると、まず、音源方向検出部５０ａ，５０ｂにより音源方向が特定される。すなわち、音源方向検出部５０ａ，５０ｂは、図２５で示す線Ｌ５０ａ，Ｌ５０ｂの方向が音源方向であることを特定する。
図２５では、線Ｌ５０ａ，Ｌ５０ｂが示す方向と、音源方向検出部５０ａ，５０ｂのマイクロフォンが指向する方向とが一致しないが、図２５は説明の便宜のための図であり、音源方向検出部５０ａ，５０ｂのマイクロフォンの数を６本より多い数にすれば、特定する音源方向の分解能が向上し、両者を一致させることが可能である。ここでは、音源方向検出部５０ａ，５０ｂの位置とそれらのマイクロフォンの数が適切に設定されて、音源検出方向が線Ｌ５０ａ，Ｌ５０ｂが示す方向と一致したものとして説明する。
【０１３３】
図２６は、本実施形態における撮像装置４０のメイン処理のフローチャートの１例である。メイン処理は、図２４に図示しないＣＰＵにより、音源位置推定部７０および画像認識部８０が制御されて実行される。
図２６において、音を検出すると、一連の処理が開始される（ステップＳＴ１０）。
すなわち、音を検出すると、音を検出した音源方向検出部５０ａ，５０ｂが特定した音源方向が前回検出したときと比較して変化があるか否かがチェックされる（ステップＳＴ１１）。
音源方向検出部５０ａ，５０ｂのそれぞれが特定した音源方向が、前回特定した方向と同じであれば、前回と同じ位置で物体ＯＢＪ１が発音していると考えられるので、撮像部６０ａ，６０ｂの回転制御は必要なく、処理は終了する。
音源方向検出部５０ａ，５０ｂのそれぞれが特定した音源方向が、前回特定した方向と異なる場合には、前回と異なる位置で物体ＯＢＪ１が発音していると考えられるので、音源位置推定処理（ステップＳＴ１２）および画像認識処理（ステップＳＴ１３）を実行する。
【０１３４】
図２７は、本実施形態における撮像装置４０の音源位置推定処理を示すフローチャートであり、図２６で説明したメイン処理のステップＳＴ１２で呼び出される。
図２７に示すとおり、先ず、音源方向検出部５０ａ，５０ｂの音源方向検出データ（音源方向マイク番号）に変化があることを確認すると（ステップＳＴ２０）、２つの音源方向検出部の検出データ（音源方向マイク番号）に基づいて、その交点を算出する（ステップＳＴ２１）。
すなわち、音源位置推定部７０では、音源方向検出部５０ａが設置された位置情報（座標情報）を記憶しているので、この位置情報に基づいて、図２５に示す物体ＯＢＪ１の位置（音源位置）を線Ｌ５０ａ，Ｌ５０ｂの交点として算出する（ステップＳＴ２２）。
さらに、音源位置推定部７０は、それぞれ撮像部６０ａ，６０ｂが音源位置を捉えるために必要な回転角度を含むパン制御信号Ｓ７６ａ，Ｓ７６ｂを、それぞれ撮像部６０ａ，６０ｂに対して出力する。
パン制御信号Ｓ７６ａ，Ｓ７６ｂを受けて、撮像部６０ａ，６０ｂのモータ制御回路は、撮像部６０ａ，６０ｂを水平方向に回動させて（パンさせて）、音源位置を撮影対象とするようにモータを制御する（ステップＳＴ２３）。
これにより、図２５に示すように、撮像部６０ａ，６０ｂは、線Ｌ６０ａ，Ｌ６０ｂで示す方向にそれぞれ回動され、被写体として物体ＯＢＪ１を捉える。
【０１３５】
図２８は、本実施形態における撮像装置４０の画像認識処理を示すフローチャートであり、図２６で説明したメイン処理のステップＳＴ１３で呼び出される。
音源位置推定処理により、音源位置が撮影対象となるように撮像部６０ａ，６０ｂが回動されると、画像認識部８０において、映像出力があるか否かが先ずチェックされ（ステップＳＴ３０）、次に、画像認識処理アルゴリズムに従い、物体ＯＢＪ１の輪郭をサーチする（ステップＳＴ３１）。
たとえば、画像認識のためのテンプレートとして人間の顔を登録していた場合には、画像データの一部の輪郭特徴と登録された顔の輪郭特徴の相関関係が計算され、相関関係が高い画像データの一部を人間の顔と認識する。
そして、画像認識部８０は、被写体の顔と認識した画像データの部分が、画面に大きく表示されるようにズーム制御量を算出し、算出したズーム制御量を含むズーム制御信号Ｓ８６ａ，Ｓ８６ｂを撮像部６０ａ，６０ｂに対して送出する（ステップＳＴ３２）。
ズーム制御信号Ｓ８６ａ，Ｓ８６ｂを受けた撮像部６０ａ，６０ｂのモータ制御回路は、それぞれ撮像部６０ａ，６０ｂのズーム制御を行う結果、たとえば被写体の顔が画面に大きく表示される。
【０１３６】
以上説明したように、本実施形態における撮像装置によれば、複数のマイクロフォンにより音源方向を特定する複数の音源方向検出部と、当該複数の音源方向検出部で特定されたマイク番号に基づいて音源位置を推定する音源位置推定部と、音源位置推定部で推定された音源位置に対して回動し動画撮影を行う撮像部と、撮像部で得られた動画データに基づいて画像認識処理を行い被写体を特定するとその被写体を拡大して捉えるように撮像部を制御する画像認識部８０と、を備えているので、以下の効果を得ることができる。
【０１３７】
すなわち、音源である人間を含む物体（被写体）の位置を把握することができるため、比較的少ない数の撮像手段により、被写体を明瞭に撮影することが可能となるとともに、撮像装置全体としてのシステムコストが抑制できる。
【０１３８】
撮像手段を撮像対象の部屋の両側に配置した場合には、被写体に対して相対する２方向からの撮影ができるため、特に物体が人間である場合には、顔などの身体的な特徴をより明瞭に捉えることが可能となる。
【０１３９】
なお、上述した実施形態の内容に拘泥せず、本発明の要旨を変更しない範囲で様々な実施形態の変更が可能である。
【０１４０】
たとえば、上記実施形態においては、音源方向検出部５０ａ，５０ｂは、それぞれ６本の指向性マイクロフォンを有することとしたが、集音方向が互いに異なる少なくとも２本の指向性マイクロフォンを有する音源方向検出部が少なくとも２以上あり、少なくとも２以上ある音源方向検出部が互いに離れた位置にあれば、幾何学的に音源位置が一意に定まるため、上述した実施形態のように、必ずしも指向性マイクロフォンが６本均等に配置する必要はない。
【０１４１】
もっとも、音源方向検出部が有する指向性マイクロフォンの数が多いほど、推定する音源位置の精度が向上するので、指向性マイクロフォンの数は多ければ多いほど望ましいということが言える。ただし、監視方向を限定すれば、少ないマイクロフォンの数でもある程度音源位置推定の精度を向上することが可能である。
たとえば、図２４で明らかなように、音源方向検出部５０ａ，５０ｂの音源位置推定部７０が配置される側は、監視領域が非常に少ないため、６本の指向性マイクロフォンをすべて撮像部６０ｂ側に指向するように配置すれば、マイクロフォンの数を増加させなくても、音源位置の推定精度が向上する。
【０１４２】
また、上記実施形態の撮像装置においては、２個の音源方向検出部により構成したが、２個に限定されず、たとえば３個，４個の音源方向検出部により構成することで、音源位置推定部７０で算出する音源位置の精度が向上すると同時に、部屋Ｒ１のより広い範囲が撮像部により撮影可能となる。これにより、撮影上のいわゆる死角になる領域が減少する。
【０１４３】
また、音源方向検出部を３個以上有する場合には、３次元での音源位置の検出も可能となるため、その場合には、撮像部に対して、さらにチルト（上下方向の回動）機能を付加することで、撮像対象の部屋において、３次元の任意の位置における撮影を行うことも可能となる。
【０１４４】
また、画像認識部８０は、撮像部６０ａ，６０ｂが画像認識対象である顔を画面の中心領域に大きく撮影するように、撮像部６０ａ，６０ｂそれぞれのズーム制御量を算出し、ズーム制御信号Ｓ８６ａ，Ｓ８６ｂとして、撮像部６０ａ，６０ｂのモータ制御回路に出力することとしたが、このようなフィードフォワード制御ではなく、フィーバックサーボによる制御系を構成してもよい。すなわち、画面上の顔の位置と目標値（本来画面中央に大きく映し出されるべき顔の位置）の差分を、画像認識部８０から撮像部６０ａ，６０ｂへフィードバックし、撮像部６０ａ，６０ｂのモータ制御回路がズーム制御量を決定するように構成してもよい。
【０１４５】
上述した実施形態では、画像認識部８０が、画像認識処理により顔等の対象物を特定した後に、撮像部６０ａ，６０ｂに対して、必要なズーム制御量を算出することとしたが、音源位置の座標が音源位置推定部７０により特定されているので、音源位置の座標から必要なズーム制御量を算出することもできる。この場合には、画像認識処理を実行した場合のように、対象物の大きさに応じた正確なズーム制御量を算出できないが、画像認識処理が必要ないので、ズーム制御の応答が早く、システム全体として安価となる利点がある。
【図面の簡単な説明】
【０１４６】
【図１】（Ａ）は双方向通話装置が適用される１例しての会議システムの概要を示す図であり、（Ｂ）は（Ａ）における通話装置が載置される状態を示す図であり、（Ｃ）はテーブルに載置された通話装置と会議参加者との配置を示す図である。
【図２】双方向通話装置の斜視図である。
【図３】図１に図解した双方向通話装置の内部断面図である。
【図４】図１に図解した双方向通話装置の上部カバーを取り外したマイクロフォン・電子回路収容部の平面図である。
【図５】マイクロフォン・電子回路収容部の主要回路の接続状態を示す図であり、第１のディジタルシグナルプロセッサ（ＤＳＰ１）および第２のディジタルシグナルプロセッサ（ＤＳＰ２）の接続の接続状態を示している。
【図６】図４に図解したマイクロフォンの特性図である。
【図７】（Ａ）〜（Ｄ）は、図６に図解した特性を持つマイクロフォンの指向性を分析した結果を示すグラフである。
【図８】双方向通話装置の変形態様の部分構成図である。
【図９】第１のディジタルシグナルプロセッサ（ＤＳＰ１）における全体処理内容の概要を示すグラフである。
【図１０】双方向通話装置のノイズ測定方法の第１形態を示すフローチャートである。
【図１１】双方向通話装置のノイズ測定方法の第２形態を示すフローチャートである。
【図１２】双方向通話装置のノイズ測定方法の第３形態を示すフローチャートである。
【図１３】双方向通話装置のノイズ測定方法の第４形態を示すフローチャートである。
【図１４】双方向通話装置のノイズ測定方法の第５形態を示すフローチャートである。
【図１５】本発明の通話装置内のフィルタリング処理を示す図面である。
【図１６】図１５の処理結果を示す周波数特性図である。
【図１７】バンドパス・フィルタリング処理とレベル変換処理を示すブロック図である。
【図１８】図１７の処理を示すフローチャートである。
【図１９】双方向通話装置の発言開始、終了を判定する処理を示すグラフである。
【図２０】双方向通話装置の通常処理の流れを示すグラフである。
【図２１】双方向通話装置の通常処理の流れを示すフローチャートである。
【図２２】双方向通話装置のマイクロフォン切り替え処理を図解したブロック図である。
【図２３】双方向通話装置のマイクロフォン切り替え処理の方法を図解したブロック図である。
【図２４】本発明の実施形態である撮像装置の構成の１例を示す図である。
【図２５】本発明の実施形態である撮像装置の動作原理を示す図である。
【図２６】本発明の実施形態である撮像装置の処理動作を示すフローチャートである。
【図２７】本発明の実施形態である撮像装置の音源位置推定処理の処理動作を示すフローチャートである。
【図２８】本発明の実施形態である撮像装置の画像認識処理の処理動作を示すフローチャートである。
【符号の説明】
【０１４７】
１…双方向通話装置、ＭＣ１〜ＭＣ６…マイクロフォン、１６…受話スピーカ、２３…マイクロプロセッサ、２４…コーデック、２５…第１のディジタルシグナルプロセッサ（ＤＳＰ１）、２６…第２のディジタルシグナルプロセッサ（ＤＳＰ２）、２７…Ａ／Ｄ変換器ブロック、２８…Ｄ／Ａ変換器ブロック、２９…増幅器ブロック、４０…撮像装置、５０ａ，５０ｂ…音源方向検出部、６０ａ，６０ｂ…撮像部、７０…音源位置推定部、８０…画像認識部。
【図１】
2005151042.tif 000012
【図２】
2005151042.tif 000013
【図３】
2005151042.tif 000014
【図４】
2005151042.tif 000015
【図５】
2005151042.tif 000016
【図６】
2005151042.tif 000017
【図７】
2005151042.tif 000018
【図８】
2005151042.tif 000019
【図９】
2005151042.tif 000020
【図１０】
2005151042.tif 000021
【図１１】
2005151042.tif 000022
【図１２】
2005151042.tif 000023
【図１３】
2005151042.tif 000024
【図１４】
2005151042.tif 000025
【図１５】
2005151042.tif 000026
【図１６】
2005151042.tif 000027
【図１７】
2005151042.tif 000028
【図１８】
2005151042.tif 000029
【図１９】
2005151042.tif 000030
【図２０】
2005151042.tif 000031
【図２１】
2005151042.tif 000032
【図２２】
2005151042.tif 000033
【図２３】
2005151042.tif 000034
【図２４】
2005151042.tif 000035
【図２５】
2005151042.tif 000036
【図２６】
2005151042.tif 000037
【図２７】
2005151042.tif 000038
【図２８】
2005151042.tif 000039