(57)【要約】【課題】  撮像装置の焦点を的確に制御すること。【解決手段】  複数のマイクロホンアレイ２及び３に接続された撮像装置１を制御する制御装置５は、マイクロホンアレイ２及び３から出力される信号に基づき、各マイクロホンアレイ２及び３に対する音源の角度を算出し、該算出した角度及びマイクロホンアレイ２及び３間の距離及び角度に基づき、マイクロホンアレイ２に対する音源の距離を算出し、算出した角度に基づき撮像装置１の撮像角度を制御し、さらに、算出した距離に基づき撮像装置１の焦点を制御する。【選択図】図１
2007214753.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置を制御する制御方法であって、
それぞれが予め定められた位置に設置される複数のマイクロホンアレイから出力される信号に基づき、各マイクロホンアレイに対する音源の角度を算出するステップと、
該算出した角度並びにマイクロホンアレイ間の距離及び角度に基づき、マイクロホンアレイに対する音源の距離を算出するステップと、
前記算出した角度に基づき前記撮像装置の撮像角度を制御するステップと、
前記算出した距離に基づき前記撮像装置の焦点を制御するステップと
を備えることを特徴とする制御方法。
【請求項２】
撮像装置を制御する制御装置であって、
それぞれが予め定められた位置に設置される複数のマイクロホンアレイから出力される信号に基づき、各マイクロホンアレイに対する音源の角度を算出する角度算出手段と、
該算出した角度並びにマイクロホンアレイ間の距離及び角度に基づき、マイクロホンアレイに対する音源の距離を算出する距離算出手段と、
前記算出した角度に基づき前記撮像装置の撮像角度を制御する手段と、
前記算出した距離に基づき前記撮像装置の焦点を制御する手段と
を備えることを特徴とする制御装置。
【請求項３】
距離に対応付けてズーム倍率が記述されたズーム倍率テーブルから、前記距離算出手段により算出した距離に対応するズーム倍率を読み出す手段と、
該読み出したズーム倍率に従い前記撮像装置のズームを制御する手段と
を備えることを特徴とする請求項２に記載の制御装置。
【請求項４】
前記撮像装置と前記マイクロホンアレイとが一体的に構成されていることを特徴とする請求項２に記載の制御装置。
【請求項５】
前記角度算出手段により算出した角度及び前記距離算出手段により算出した距離を前記撮像装置と前記マイクロホンアレイとの位置関係に基づいて補正する手段
をさらに備えることを特徴とする請求項２に記載の制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロホンアレイから出力される信号に基づいて、撮像装置を制御する制御方法及び該方法に用いられる制御装置に関する。
【背景技術】
【０００２】
近年、車両等にカメラを設置し、車内でＴＶ電話としてまたは防犯装置として活用する試みがなされている（例えば、特許文献１）。特許文献１に記載の車載カメラ装置は、複数のマイクを使用し、これらのマイクの出力を元に話者の位置を検出して、話者が中心となるようにカメラの向き及びズーム倍率を変更するようにしている。さらに音源（例えば話者）の方向を検出するために、複数のマイクロホンを備えたマイクロホンアレイを用いる技術が知られている（例えば特許文献２及び非特許文献１）
【特許文献１】特開２００３−１１２５８０号公報
【特許文献２】特開２００４−１２１５１号公報
【非特許文献１】大賀寿郎、金田豊、山崎芳男著、「音響システムとディジタル処理」、社団法人電子情報通信学会（平成７年３月２５日  初版  Ｐ．１７３〜Ｐ．２１８）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の車載カメラ装置は、マイクの出力を元にカメラの向きを決定しているが、カメラから話者までの正確な距離を把握することはできなかった。そのため、制御するカメラの焦点を正確に合わせることができない問題または、最適なズーム倍率を決定することが困難であるという問題があった。
【０００４】
本発明は斯かる事情に鑑みてなされたものであり、その目的は、複数のマイクロホンアレイから出力される信号を元に音源との角度及び距離を算出することにより、撮像装置の焦点を的確に制御することが可能な制御方法及び該制御方法に用いる制御装置を提供することにある。
【０００５】
また、本発明の目的は、距離に応じてズーム倍率を決定することにより、最適な大きさで話者を撮像することが可能な制御装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る制御方法は、撮像装置を制御する制御方法であって、それぞれが予め定められた位置に設置される複数のマイクロホンアレイから出力される信号に基づき、各マイクロホンアレイに対する音源の角度を算出するステップと、該算出した角度並びにマイクロホンアレイ間の距離及び角度に基づき、マイクロホンアレイに対する音源の距離を算出するステップと、前記算出した角度に基づき前記撮像装置の撮像角度を制御するステップと、前記算出した距離に基づき前記撮像装置の焦点を制御するステップとを備えることを特徴とする。
【０００７】
本発明に係る制御装置は、撮像装置を制御する制御装置であって、それぞれが予め定められた位置に設置される複数のマイクロホンアレイから出力される信号に基づき、各マイクロホンアレイに対する音源の角度を算出する角度算出手段と、該算出した角度並びにマイクロホンアレイ間の距離及び角度に基づき、マイクロホンアレイに対する音源の距離を算出する距離算出手段と、前記算出した角度に基づき前記撮像装置の撮像角度を制御する手段と、前記算出した距離に基づき前記撮像装置の焦点を制御する手段とを備えることを特徴とする。
【０００８】
本発明に係る制御装置は、距離に対応付けてズーム倍率が記述されたズーム倍率テーブルから、前記距離算出手段により算出した距離に対応するズーム倍率を読み出す手段と、該読み出したズーム倍率に従い前記撮像装置のズームを制御する手段とを備えることを特徴とする。
【０００９】
本発明に係る制御装置は、前記撮像装置と前記マイクロホンアレイとが一体的に構成されていることを特徴とする。
【００１０】
本発明に係る制御装置は、前記角度算出手段により算出した角度及び前記距離算出手段により算出した距離を前記撮像装置と前記マイクロホンアレイとの位置関係に基づいて補正する手段をさらに備えることを特徴とする。
【発明の効果】
【００１１】
本発明にあっては、複数のマイクロホンアレイを用いて算出した角度に基づき撮像装置の撮像角度を制御すると共に、算出した距離に基づき撮像装置の焦点を制御するので、焦点が正しく決定した状態で、音源を撮像装置により撮像することが可能となる。
【発明を実施するための最良の形態】
【００１２】
（実施の形態１）
以下、本発明を、その実施の形態を示す図面に基づいて詳述する。図１は、本発明の実施の形態１に係る制御システムの概略的な構成を示す模式図である。また、図２は、図１に示す制御システムの詳細な構成を示す模式図である。図１及び図２において、制御システムは、例えば、車両内に設置され、音源である車内の話者Ｕと、遠隔地にいる通話相手との映像通話を実現するために、本制御システムが得た話者Ｕの映像及び音声を、ネットワークＮを通じて送信し、通話相手の映像及び音声を、ネットワークＮを介して受信する。なお、本制御システムは、上記に限らず、自動車以外の場所に設置されても良いし、不審者又はペットの監視システムに適用されても良いし、ＴＶ会議に適用されても構わない。
【００１３】
映像通話のために、制御システムは、撮像装置１、第１マイクロホンアレイ２、第２マイクロホンアレイ３、支持機構４、制御装置５を備えている。
【００１４】
撮像装置１は、図１及び図２に示すように、撮像装置１の筐体前面Ｆａに配置されるレンズ１１を備える。撮像装置１は、レンズ１１に加え、図２に示すように、レンズ１１と、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）１２と、信号処理部１３と、ズーム制御部１４と、焦点制御部１５とを備える。
【００１５】
レンズ１１は、車室内に向けて設置され、被写体としての話者Ｕからの入力光学像をＣＣＤ１２に出射する。ＣＣＤ１２は、レンズ１１からの出射光学像を電気信号に変換して信号処理部１３に出力する。信号処理部１３は、入力電気信号に例えば符号化を行って、映像信号を生成し、制御装置５に出力する。また、ズーム制御部１４及び焦点制御部１５は、制御装置５からのズーム制御信号及び距離制御信号（それぞれ詳細は後述）を受け取り、受信制御信号それぞれに基づいて、撮像装置１のズーム倍率及び焦点を調整する。なお、ズーム倍率の調整は光学的に行っても良いし、デジタルズームによる拡大・縮小を行っても良い。
【００１６】
第１マイクロホンアレイ２は、図１に示すように、例えば４つのマイクロホン２１〜２４を含む。マイクロホン２１〜２４は、本実施の形態では、撮像装置１の筐体の前面Ｆａに固定的に配置される。より具体的には、レンズ１１の光軸から各マイクロホン２１〜２４までの距離が実質同一となる前面Ｆａの位置に、各マイクロホン２１〜２４は矩形状に配置される。各マイクロホン２１〜２４は、話者Ｕから発せられる音声を集め、集めた音声を電気信号（以下、音声信号と称する）に変換して、制御装置５に出力する。
【００１７】
第２マイクロホンアレイ３は、車室内において、第１マイクロホンアレイ２とは異なる位置（例えば、ピラーＰ又は天井Ｐ）に固定的に設置され、第１マイクロホンアレイ２に含まれるマイクロホンと例えば同数のマイクロホン３１〜３４を含む。マイクロホン３１〜３４は、第２マイクロホンアレイ３の前面Ｆｂ上に矩形状に配置され、話者Ｕから発せられる音声から生成された音声信号を制御装置５に出力する。
【００１８】
また、撮像装置１は、例えば撮像装置１の設置時又は電源投入時に、予め定められた初期位置に制御装置５により位置決めされる。この位置決めにより、撮像装置１に固定されている第１マイクロホンアレイ２もまた位置決めされる。従って、初期位置にある第１マイクロホンアレイ２と、第２マイクロホンアレイ３との相対的な配置関係は既知である。具体的には、初期位置のマイクロホン２１〜２４の中心と、マイクロホン３１〜３４の中心との間の距離（以下、初期距離Ｄｉと称する）は既知であり、また、初期位置の前面Ｆａからの法線（垂線）と、初期位置のマイクロホン２１〜２４の中心及びマイクロホン３１〜３４の中心を結ぶ線とがなす水平方向の角度（以下、水平方向の初期角度θｈ）及び鉛直方向の角度（以下、鉛直方向の初期角度θｖ）も既知である。以下では、初期角度θｈ及びθｖが、初期角度情報として参照される。
【００１９】
なお、本実施の形態では、第１マイクロホンアレイ２及び第２マイクロホンアレイ３は４つのマイクロホンを含むとして説明するが、複数のマイクロホンを含めば良い。また、複数のマイクロホンは円周上に配置されても良い。また、本制御システムは、第１マイクロホンアレイ２及び第２マイクロホンアレイ３の２つを備えるとして説明するが、３つ以上のマイクロホンアレイを備えていれば良い。
【００２０】
また、図１において、支持機構４は、撮像装置１の筐体底面に配置されており、この支持機構４を介して、撮像装置１は車室に取り付けられる。このような支持機構４１は、角度制御部４１と、駆動部４２とを含む。角度制御部４１は、上記初期位置を基準として、制御装置５からの角度制御信号（詳細は後述）で指定された水平方向の角度及び鉛直方向の角度の分だけ、撮像装置１及び第１マイクロホンアレイ２を水平方向及び鉛直方向へ、駆動部４２を介して回動させる。この撮像装置１が水平方向へ回動する角度及び鉛直方向へ回動する角度は、第１マイクロホンアレイ２の回動角度情報として参照される。
【００２１】
制御装置５は、本実施形態では、撮像装置１の筐体内に配置されており、話者Ｕの映像を表す映像信号及び話者Ｕの音声を表す音声信号の送信と、通話相手の映像を表す映像信号及び通話相手の音声を表す音声信号の受信とを制御する。さらに、制御装置５は、撮像装置１から話者Ｕまでの距離を示す距離制御信号と、該距離に基づき得られる撮像装置１のズーム倍率を示すズーム制御信号と、上述の角度制御信号とを生成する。このような処理のために、制御装置５は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５１、記憶部５２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５３、通信部５４、インタフェース５５を含んでいる。また、制御装置５には、入力部５６、表示部５７及びスピーカ５８が接続される。
【００２２】
ＣＰＵ５１は、バス５９により、上述の各構成と接続され、それらを制御する。また、ＣＰＵ５１は、典型的には記憶部５２からＲＡＭ５３に展開された制御プログラムに従って、種々のソフトウェア機能を実行する。制御プログラムは、Ｃ言語等のプログラミング言語で記述されている。
【００２３】
記憶部５２は、例えばハードディスクドライブで構成され、図２に示すように、位置関係情報ファイル５２１及びズーム倍率テーブル５２２と、上記制御プログラムとして少なくとも角度算出プログラム５２３及び距離算出プログラム５２４とを少なくとも記憶する。
【００２４】
位置関係情報ファイル５２１は、撮像装置１（第１マイクロホンアレイ２）及び第２マイクロホンアレイ３の相対的な位置関係を示す情報（詳細は後述する）を含む。
【００２５】
ここで、図３は、図２に示すズーム倍率テーブル５２２のレコードレイアウトを示す模式図である。図３において、ズーム倍率テーブル５２２は、距離フィールド及びズーム倍率フィールドから構成される。距離フィールドには、撮像装置１と話者Ｕとの間の距離が複数個記述される。また、各距離に対応付けられたズーム倍率フィールドには、距離毎の撮像装置１のズーム倍率が記述される。例えば話者Ｕと撮像装置１との間の距離が３ｍと距離算出プログラム５２４により算出された場合、ＣＰＵ５１は、ズーム倍率テーブル５２２を検索し、算出した３ｍという距離に対応付けられたズーム倍率「２倍」を抽出する。その後、ＣＰＵ５１は、ズーム倍率「２倍」を指定するズーム制御信号を撮像装置１のズーム制御部１４に出力する。ズーム制御部１４は、入力ズーム制御信号で指定されたズーム倍率に、撮像装置１のズームを設定する。
【００２６】
角度算出プログラム５２３は、ＣＰＵ５１が、第１マイクロホンアレイ２及び第２マイクロホンアレイ３から出力される音声信号を用い、第１マイクロホンアレイ２に対する話者Ｕの第１角度情報と、第２マイクロホンアレイ３に対する話者Ｕの第２角度情報を得るためのプログラムである。ここで、第１角度情報は、第１マイクロホンアレイ２の前面Ｆａの法線（垂線）と、第１マイクロホンアレイ２（マイクロホン２１〜２４）の中心と話者Ｕとを結ぶ線とがなす水平方向の角度（以下、水平角度）α１及び鉛直方向の角度（以下、鉛直角度）β１とを含む。第２角度情報は、第１角度情報と類似する情報であるが、第１マイクロホンアレイ２ではなく、第２マイクロホンアレイ３を基準とする話者Ｕとの水平角度α２及び鉛直角度β２である。なお、このような第１角度情報及び第２角度情報を得る方法は、例えば非特許文献１において詳述されているので、以下ではその説明を簡素化する。
【００２７】
距離算出プログラム５２４は、角度算出プログラム５２３により得られた第１角度情報及び第２角度情報を使って、第１マイクロホンアレイ２から話者Ｕまでの距離（以下、話者距離という）を算出するプログラムである。
【００２８】
以下、図４Ａ、図４Ｂ及び図５を参照して、距離算出プログラム５２４による話者距離の算出手順を説明する。
【００２９】
まず、図４Ａは第１マイクロホンアレイ２及び第２マイクロホンアレイ３の３次元座標空間における配置関係を示す模式図である。図４Ａに示すように、マイクロホン２１〜２４はそれぞれ、３次元座標系の原点Ａから互いに等距離であって、ＺＹ平面内に位置する（つまり、図４Ａの例では、前面Ｆａの法線方向がＸ軸の正方向に一致する）と仮定する。なお、以下では、原点Ａは、必要に応じて、第１マイクロホンアレイ２の中心点Ａとして参照される。また、第２マイクロホンアレイ３のマイクロホン３１〜３４の中心点Ｂと、中心点Ａとからの距離はＤｍｉｃとおく。このＤｍｉｃは、中心点Ａが前述の初期位置にある場合、既知の値であり初期距離Ｄｉとなる。また、撮像装置１の回動に伴い、中心点Ａが移動したとしても、初期位置を基準とする中心点Ａの現在位置もわかるので、距離Ｄｍｉｃは既知の値となる。
【００３０】
ここで、点Ｃは、Ｚ軸の負方向から中心点ＢをＸＹ平面に投影した点である。よって、角ＡＣＢが直角となる。また、中心点Ａが初期位置にある場合、前述の通り、マイクロホン２１〜２４の中心点Ａとマイクロホン３１〜３４の中心点Ｂとを結ぶ線と、Ｘ軸（つまり、初期位置の前面Ｆａの法線）とがなす鉛直方向の初期角度θｖと一致する。よって、中心点Ａが初期位置にある場合には、角ＣＡＢは既知であり、その角度を既知の値Ａｖ１とおく。また、中心点Ａが移動したとしても、初期位置を基準とする中心点Ａの現在位置もわかるので、角度ＣＡＢは既知の値となる。
【００３１】
また、点ＣからＸ軸に対する垂線と、Ｘ軸との交点を点Ｅとすると、角ＣＡＥは、中心点Ａが初期位置にある場合、前述の水平方向の初期角度θｈとなり既知である。この場合における角ＣＡＥの値を既知の値Ａｈ１とおく。値Ａｈ１は、中心点Ａが移動したとしても、上述の理由から既知である。以上のＡｈ１、Ａｖ１及びＤｍｉｃが既知の値として位置関係情報ファイル５２１に記述される。また上記の既知の値を使って、辺ＡＣはＤｍｉｃ×ｃｏｓＡｖ１となる。
【００３２】
次に、図４Ｂは、話者Ｕ、第１マイクロホンアレイ２及び第２マイクロホンアレイ３の位置関係を示す模式図である。図４において、話者Ｕの位置である点Ｆと第１マイクロホンアレイ２の中心点Ａとの間の距離が求めるべき距離Ｄである。
【００３３】
まず、点ＦがＺ軸の負方向からＸＹ平面上に投影された点をＧとすると、角ＡＧＦは直角となる。角ＧＡＦは、前述の第１マイクロホンアレイ２を基準とする鉛直角であり、その角度は上述の角度算出プログラム５２３によりβ１と算出される。これにより線分ＡＧの長さＤ×ｃｏｓβ１が得られる。同じく線分ＡＧとＸ軸とのなす角度α１は、第１マイクロホンアレイ２を基準とする水平角であり、角度算出プログラム５２３により求められる。
【００３４】
また、図５は、図４Ｂに示すＺ軸の正方向から負方向をみたＸＹ座標系を示す模式図である。点Ｂを始点とする、第２マイクロホンアレイ３の前面Ｆｂからの法線ｈと、該点Ｂ及び点Ｆを結ぶ線とがなす角度は角度算出プログラム５２３により角度Ａｈ２として得られる。また、点Ａの現在位置は既知であるため、線分ＡＢと上記法線ｈとがなす角度は、既知量でありα２となる。また、三角形ＡＢＦの内角をそれぞれ、角ＢＡＦ＝Ａａ、角ＡＢＦ＝Ａｂ、角ＡＦＢ＝Ａｃとした場合、Ａａ＝|Ａｈ１−α１|、Ａｂ＝|Ａｈ２−α２|及びＡｃ＝|１８０°−（Ａａ＋Ａｂ）|となる。
【００３５】
また、三角形ＡＢＦの関係により、Ｄ×ｃｏｓβ１÷ｓｉｎＡｂ＝Ｄｍｉｃ×ｃｏｓＡｖ１÷ｓｉｎＡｃである。この等式を変形して第１マイクロホンアレイ２と音源Ｆとの距離ＤはＤ＝Ｄｍｉｃ×ＳｉｎＡｂ×ｃｏｓＡｖ１÷（ｓｉｎＡｃ×ｃｏｓβ１）となる。この距離Ｄを求めるための算出式が距離算出プログラム５２４に記述される。また、この算出式において、Ａｖ１、Ａｈ１、Ｄｍｉｃ及びα２が、位置関係情報ファイル５２１に予め記述される。
【００３６】
ＣＰＵ５１は、角度算出プログラム５２３により得られる角度β１及びα１、並びに角度Ａｈ２を同様に位置関係情報ファイル５２１に書き込む。ＣＰＵ５１は、位置関係情報ファイル５２１に記憶されたこれら値を読み出し、距離算出プログラム５２４を実行して代入することにより、第１マイクロホンアレイ２と話者Ｕとの距離Ｄを得ることができる。なお、本実施の形態においては、第１マイクロホンアレイ２と撮像装置１とが一体的に構成されているので撮像装置１と話者Ｕとの距離も同じく距離Ｄとなる。ＣＰＵ５１は、導出した距離Ｄを示す距離制御信号を生成して、撮像装置１の焦点制御部１５に出力する。
【００３７】
再度図２を参照する。図２において、通信部５４は、例えばＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）カード又はモデムで構成され、通信網Ｎに接続されており、第１マイクロホンアレイ２または第２マイクロホンアレイ３から出力される音声信号、及び撮像装置１から出力される映像信号を、ＣＰＵ５１の制御下で通信網Ｎに送出する。また、通信部５４は、通信網Ｎを介して、通話相手側から送られてくる音声信号及び映像信号を、ＣＰＵ５１の制御下で受信する。
【００３８】
インタフェース５５には、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポートが用いられ、第１マイクロホンアレイ２及び第２マイクロホンアレイ３が接続される。インタフェース５５は、各マイクロホンアレイ２及び３から出力された音声信号をＣＰＵ５１へ出力する。
【００３９】
入力部５６及び表示部５７は例えばタッチパネルディスプレイ（タッチスクリーン）等により構成され、入力部５６から入力された情報はＣＰＵ５１へ出力され、また、各種画像は、ＣＰＵ５１からの制御下で表示部５７に表示される。
【００４０】
上記入力部５６には、撮像装置１の初期位置、第２マイクロホンアレイ３の設置位置、前述の初期距離Ｄｉ、及び前述の初期角度θｈ及びθｖが入力される。ＣＰＵ５１は、これらの入力情報の組み合わせを、記憶部５４内の位置関係情報ファイル５２１に予め書き込む。なお、位置関係情報ファイル５２１の内容をユーザはディスプレイ５３を介して確認することができる。さらに、位置関係情報ファイル５２１の内容は、入力部５６を操作することにより書き換え可能である。
【００４１】
スピーカ５８は、ＣＰＵ５１の制御下で、少なくとも、通話相手側の音声信号を出力する。
【００４２】
次に、上記のような構成を有する制御システムの動作について説明する。図６は、図２に示す制御装置５の制御処理手順を示すフローチャートである。まず、撮像装置１と一体構成の第１マイクロホンアレイ２と、第２マイクロホンアレイ３とが車内の所定位置に所定角度で取り付けられる。その後、入力部５６が操作され、第１マイクロホンアレイ２と第２マイクロホンアレイ３との間の距離が前述の初期距離Ｄｉとして入力される（ステップＳ５１）。さらに、第１マイクロホンアレイ２及び第２マイクロホンアレイ３の配置関係について、前述の初期角度θｈ及びθｖがとして入力される（ステップＳ５２）。ＣＰＵ５１は入力部５６からの入力情報を受け付け、位置関係情報ファイル５２１に書き込む（ステップＳ５３）。
【００４３】
ステップＳ５３の後、話者Ｕが映像通話を行う際、ＣＰＵ５１は、角度算出プログラム５２３を起動し、話者Ｕからの音声信号を第１マイクロホンアレイ２及び第２マイクロホンアレイ３からそれぞれ集音する。集音された音声信号を用いて、ＣＰＵ５１は角度算出プログラム５２３に従い、前述の第１角度情報（前述の角度α１及びβ１）及び第２角度情報（前述の角度α２及びβ２）を取得し（ステップＳ５４）、取得した第１角度情報及び第２角度情報を位置関係情報ファイル５２１に書き込む。
【００４４】
続いて、ＣＰＵ５１は距離算出プログラム５２４を起動し、上述した距離Ｄの算出式に、位置関係情報ファイル５２１に現在記述される初期距離Ｄｉ、水平方向の初期角度θｈ、鉛直方向の初期角度θｖ、及び線分ＡＢと法線ｈとがなす角度α２（図５を参照）をそれぞれ、Ｄｍｉｃ、Ａｈ１、Ａｖ１及びα２として代入する。さらに、ＣＰＵ５１は、ステップＳ５４で得られる角度β１、α１及びＡｈ２を距離Ｄの算出式に代入して、第１マイクロホンアレイ２と話者Ｕとの距離Ｄを算出する（ステップＳ５５）。
【００４５】
本実施の形態においては第１マイクロホンアレイ２と撮像装置１とが一体的に構成されているので、ステップＳ５４で得られる第１角度情報を構成する水平角度α１及び鉛直角度β１だけ第１マイクロホンアレイ２を回動させると、第１マイクロホンアレイ２と話者Ｕとが正対することになる。
【００４６】
ＣＰＵ５１は、前述の角度制御信号を生成し、撮像装置１に出力する（ステップＳ５６）。具体的には、角度制御部４１へ角度制御信号が出力され、角度制御部４１は、入力角度制御信号で指定された水平角度α１及び鉛直角度β１に、撮像装置１（第１マイクロホンアレイ２）を駆動部４２を介して回動させ、これによって、撮像装置１を話者Ｕの方向に向ける。
【００４７】
また、ステップＳ５６の後に、ＣＰＵ５１は、ステップＳ５５で求めた距離Ｄに対応するズーム倍率をズーム倍率テーブル５２２から読み出す（ステップＳ５７）。ＣＰＵ５１は、読み出したズーム倍率を含むズーム制御信号を生成し、ズーム制御部１４に出力する（ステップＳ５８）。ズーム制御部１４は、入力ズーム制御信号で指定されたズーム倍率になるようレンズ１１を駆動する。これにより話者Ｕを、所定の大きさで画面内に撮像することができる。
【００４８】
続いて、ＣＰＵ５１は、ステップＳ５５で求めた距離Ｄを含む距離制御信号を生成し、焦点制御部１５に出力する（ステップＳ５９）。距離制御信号は焦点制御部１５に出力され、焦点制御部１５は、入力距離制御信号で指定された距離Ｄに撮像装置１の焦点を合わせる。
【００４９】
ＣＰＵ５１はその後、撮像装置１から得られる映像信号、並びに、第１マイクロホンアレイ２及び第２マイクロホンアレイ３の少なくとも一方から出力される音声信号を、通信網Ｎを介して他の機器へ送信する。これにより、話者Ｕ側から映像通話のための映像及び音声が他の機器に送られることになる。
【００５０】
また、ＣＰＵ５１は、向き変更後の第１のマイクロホンアレイ２及び第２のマイクロホンアレイ３の値Ａｖ１、Ａｈ１、Ｄｍｉｃ及びα２に、位置関係情報ファイル５２１に現在記述される値Ａｖ１、Ａｈ１、Ｄｍｉｃ及びα２を更新する（ステップＳ６０）。これによって、２回目以降の処理についても正しく行うことが可能となる。
【００５１】
以上説明したように本実施の形態１によれば、ＣＰＵ５１は、変位可能な撮像装置１と話者Ｕの距離Ｄを距離算出プログラム５２４により求め、求めた距離Ｄに基づいて撮像装置１の焦点及びズームを制御する。また、ＣＰＵ５１は、角度算出プログラム５２３を実行することにより得られる第１角度情報に基づいて、撮像装置１の向きを制御するので、従来よりも撮像装置１の焦点、さらにはズームを的確に調整することができる。
【００５２】
（実施の形態２）
実施の形態２は撮像装置１と第１マイクロホンアレイ２とが一体的に構成されていない形態に関する。図７は、本発明の実施の形態２に係る制御システムの概略的な構成を示す模式図である。図７において、本実施の形態２の制御システムは、実施の形態１の制御システムと比較すると、第１マイクロホンアレイ２が第２マイクロホンアレイ３と同様にピラーＰ又は天井Ｐに固定的に設置される点で相違する。それ以外に両実施の形態に係る制御システムの間に構成面での相違点は無い。それ故、図７において、図１の構成に相当するものには同一の参照符号を付け、それぞれの説明を省略し、以下では処理面での相違について説明する。
なお、本実施の形態２では、撮像装置１及び第１マイクロホンアレイ２が一体構成でないため、以下では、撮像装置１の前面に参照符号「Ｆｃ」を付け、第１マイクロホンアレイ２の前面に参照符号「Ｆａ」を付ける。
【００５３】
ＣＰＵ５１は、実施の形態１で述べたと同様に、角度算出プログラム５２３並びに距離算出プログラム５２４を用いて、第１角度情報、第２角度情報、角度α１及びβ１並びに話者距離を算出する。このように算出した値に加え、ＣＰＵ５１はさらに、第１マイクロホンアレイ２に対する撮像装置１の水平方向及び鉛直方向の角度及び、両者の距離を用いて、下記に述べる処理により、話者Ｕ（点Ｆ）を基準とする撮像装置１の水平方向及び鉛直方向の角度及び両者の距離を算出する。
【００５４】
図８は、図７に示す撮像装置１、第１マイクロホンアレイ２、第２マイクロホンアレイ３及び話者Ｕの位置関係を示す模式図である。また、図９は、図８に示すＺ軸の正方向から負方向をみたときの模式図である。
【００５５】
図８には、説明の便宜上、Ｘ’軸、Ｙ’軸及びＺ’軸からなる第２の３次元座標系が示される。Ｘ’軸は、レンズ１１の光軸に一致し、Ｚ’軸は鉛直方向を示し、Ｙ’軸は、Ｘ’軸及びＺ’軸の双方に直交する。また、第２の３次元座標系の原点Ｈは、レンズ１１の頂点に便宜上設定される。撮像装置１のレンズ１１は、第１マイクロホンアレイ２とは別のＸ’Ｙ’Ｚ’座標系の原点Ｈに設置される。Ｘ’軸は、レンズ１１の光軸に一致し、Ｘ’軸は互いに平行であり、同様にＹ軸及びＹ’軸、並びに、Ｚ軸及びＺ’軸も互いに平行である。
【００５６】
点Ｉは、点ＦをＸ’Ｙ’平面上に投影した点であり、よって、角ＨＩＦは直角である。ここで、線分ＨＦの長さが、撮像装置１（つまり、点Ｈ）と話者Ｕ（つまり点Ｆ）との距離である。また、Ｘ’軸と線分ＨＩとがなす角は、撮像装置１に対する話者Ｕの水平角であり、その角度はα３である。さらに、角ＩＨＦは、撮像装置１に対する話者Ｕの鉛直角であり、その角度はβ３である。
【００５７】
また、図９において、△ＨＡＦの角ＨＡＦをＡｊ、角ＡＦＨをＡｋ、及び角ＡＨＦをＡｉとし、Ｘ’軸と線分ＡＨとがなす角をＡｈ３とすると、線分ＡＦはＤｍｉｃ×ｃｏｓＡｖ１×ｓｉｎＡｂ÷ｓｉｎＡｃである。また線分ＨＦ２  及びＨＦは、線分ＡＦ及び線分ＡＨを用いて、次式（１）及び（２）以下のように表すことができる。
【００５８】
ＨＦ２  ＝ＡＦ２  ＋ＡＨ２  −２ＡＦ×ＡＨｃｏｓＡｊ  …（１）
ＨＦ＝√（ＡＦ２  ＋ＡＨ２  −２ＡＦ×ＡＨｃｏｓＡｊ）  …（２）
なお、線分ＡＨの長さは、撮像装置１と第１マイクロホンアレイ２との距離であり、既知の値である。また、ｓｉｎＡｉ＝ＡＦ÷ＨＦ×ｓｉｎＡｊであることから、Ａｉはａｒｃｓｉｎ（ＡＦ÷ＨＦ×ｓｉｎＡｊ）となり、α３はＡｈ３−Ａｉにより求めることが出来る。
【００５９】
図８において、線分ＩＧの長さは、第１マイクロホンアレイ２と撮像装置１とのＺ軸方向の距離であり、既知の値として取得することができる。線分ＧＦは、実施の形態１で求めた距離Ｄにｓｉｎβ１を乗じて求めることができる。従ってｔａｎβ３＝（ＩＧ＋ＧＦ）÷ＨＩであることから、β３＝ａｒｃｔａｎ｛（ＩＧ＋ＧＦ）÷ＨＩ｝となり、撮像装置１と話者Ｕとの距離ＨＦは（ＩＧ＋ＧＦ）÷ｓｉｎβ３となる。
【００６０】
上述した撮像装置１と話者Ｕとのなす角α３及びβ３を算出する数式は角度算出プログラム５２３に記述されており、ＣＰＵ５１は、実施の形態１で算出した第１マイクロホンアレイ２と話者Ｕとの距離Ｄ、及び撮像装置１と第１マイクロホンアレイ２との距離ＡＨ等を、角度算出プログラム５２３に記述された数式へ代入することにより角α３及びβ３を算出する。同様に、撮像装置１と話者Ｕとの距離ＨＦを算出する数式は距離算出プログラム５２４に記述されており、ＣＰＵ５１は算出した角α３及びβ３及び撮像装置１と第１マイクロホンアレイ２との距離ＩＧ等を記述された数式へ代入することにより距離ＨＦを算出する。
【００６１】
図１０は、図７に示す制御装置５の制御処理手順を示すフローチャートである。ステップＳ５１〜ステップＳ５５までの処理は実施の形態１と同様であるので、図示を省略する。
【００６２】
撮像装置１と第１マイクロホンアレイ２とが一体的に構成されていないにもかかわらず、ステップＳ５４及びステップＳ５５において算出した話者Ｕに対する角度及び距離を用いた場合、正確な角度制御、ズーム制御及び焦点制御が実行できないため以下の補正処理を行う。ステップＳ５５以降、制御装置５のＣＰＵ５１は予め入力された撮像装置１と第１マイクロホンアレイ２との距離ＡＨ及びＩＧを記憶部５４から読み出す（ステップＳ１０１）。
【００６３】
ＣＰＵ５１は角度算出プログラム５２３を実行し、ステップＳ５５において算出した第１マイクロホンアレイ２と話者Ｕとの距離Ｄ及び読み出した撮像装置１と第１マイクロホンアレイ２との距離ＡＨ等を代入して、撮像装置１と第１マイクロホンアレイ２とのなす角α３及びβ３を算出し（ステップＳ１０２）、算出した角α３及びβ３を位置関係情報ファイル５２１に記憶する。
【００６４】
続いて、ＣＰＵ５１は距離算出プログラム５２４を実行し、ステップＳ１０２において算出した角α３及びβ３並びに読み出した距離ＩＧ等を代入することにより距離ＨＦを算出し（ステップＳ１０３）、算出した距離ＨＦを位置関係情報ファイル５２１に記憶する。
【００６５】
ＣＰＵ５１は、位置関係情報ファイル５２１に記憶した角α３及びβ３を読み出し、この読み出した角α３及びβ３を含む角度制御信号を生成し、実施の形態１と同様にして、撮像装置１の撮像角度（水平方向角及び鉛直方向角）を制御する（ステップＳ１０４）。
【００６６】
また、ＣＰＵ５１は、位置関係情報ファイル５２１から距離ＨＦを読み出し、読み出した距離ＨＦをもとにズーム倍率テーブル５２２を検索し、対応するズーム倍率を読み出す（ステップＳ１０５）。ＣＰＵ５１は、実施の形態１と同様に、読み出したズーム倍率を含むズーム指定信号を使って、撮像装置１のズーム制御を行う（ステップＳ１０６）。
【００６７】
続いてＣＰＵ５１は、位置関係情報ファイル５２１から距離ＨＦを読み出し、読み出した距離ＨＦを含む距離制御信号を使って、撮像装置１の焦点を制御する（ステップＳ１０７）。具体的にはＣＰＵ５１は読み出した距離ＨＦを含む距離制御信号を焦点制御部３２へ出力する。焦点制御部３２は、入力距離制御信号に含まれる距離ＨＦに、向きが変更済みの撮像装置１の焦点を合わせる。
【００６８】
また、ＣＰＵ５１は、ステップＳ６０と同様に、位置関係情報ファイル５２１に現在記述される値Ａｖ１、Ａｈ１、Ｄｍｉｃ及びα２を更新する（ステップＳ１０８）。
以上述べた如く撮像装置１と第１マイクロホンアレイ２とが、一定的に構成されていない場合でも、ステップＳ５４において算出した角度及びステップＳ５５において算出した距離を撮像装置１と第１マイクロホンアレイ２との位置関係に基づいて補正することにより、撮像装置１の最適な制御が可能となる。
【００６９】
本実施の形態２は以上の如き構成としてあり、その他の構成及び作用は実施の形態１と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
【産業上の利用可能性】
【００７０】
本発明に係る制御方法及び制御装置は、撮像装置及び複数のマイクロホンアレイを有する車載用の通信部、監視装置またはＴＶ会議システム等に適用される。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施の形態１に係る制御システムの概略的な構成を示す模式図
【図２】制御装置及び撮像装置のハードウェア構成を示すブロック図
【図３】ズーム倍率テーブルのレコードレイアウトを示す説明図
【図４Ａ】第１マイクロホンアレイ２及び第２マイクロホンアレイ３の３次元座標空間における配置関係を示す模式図
【図４Ｂ】話者Ｕ、第１マイクロホンアレイ２及び第２マイクロホンアレイ３の位置関係を示す模式図
【図５】図４Ｂに示すＺ軸の正方向から負方向をみたＸＹ座標系を示す模式図
【図６】図２に示す制御装置５の制御処理手順を示すフローチャート
【図７】本発明の実施の形態２に係る制御システムの概略的な構成を示す模式図
【図８】図７に示す撮像装置１、第１マイクロホンアレイ２、第２マイクロホンアレイ３及び話者Ｕの位置関係を示す模式図
【図９】図８に示すＺ軸の正方向から負方向をみたときの模式図
【図１０】図７に示す制御装置５の制御処理手順を示すフローチャート
【符号の説明】
【００７２】
１  撮像装置
１１  レンズ
１２  ＣＣＤ
１３  信号処理部
１４  ズーム制御部
１５  焦点制御部
２  第１マイクロホンアレイ
２１，２２，２３，２４  マイクロホン
３  第２マイクロホンアレイ
３１，３２，３３，３４  マイクロホン
４  支持機構
４１  角度制御部
４２  駆動部
５  制御装置
５１  ＣＰＵ
５２  記憶部
５２１  位置関係情報ファイル
５２２  ズーム倍率テーブル
５２３  角度算出プログラム
５２４  距離算出プログラム
５３  ＲＡＭ
５４  通信部
５５  インタフェース
５６  入力部
５７  表示部
５８  スピーカ
５９  バス
【図２】
2007214753.tif 000003
【図３】
2007214753.tif 000004
【図４Ａ】
2007214753.tif 000005
【図４Ｂ】
2007214753.tif 000006
【図５】
2007214753.tif 000007
【図６】
2007214753.tif 000008
【図７】
2007214753.tif 000009
【図８】
2007214753.tif 000010
【図９】
2007214753.tif 000011
【図１０】
2007214753.tif 000012
【図１】
2007214753.tif 000013