(57)【特許請求の範囲】
【請求項１】
カメラの動作を制御するカメラ制御装置であって、
音声を取得する取得手段と、
前記取得手段で取得した前記音声の発生方向を検知する検知手段と、
前記取得手段で取得した前記音声を認識する音声認識手段と、
前記検知手段が検知した前記音声の発生方向に前記カメラの撮像方向を制御する制御手段と、
を備え、
前記制御手段は、前記音声認識手段が前記音声を音声コマンドとして認識したときは、前記検知手段が検知した前記音声の発生方向に前記カメラの撮像方向を制御することを抑制し、
前記取得手段は、第１マイクロホンと第２マイクロホンとを含み、
前記検知手段は、前記第１マイクロホンに入力された音声の発生方向を検知し、
前記音声認識手段は、前記第２マイクロホンに入力された音声を認識し、
前記制御手段は、前記音声認識手段が前記音声を音声コマンドとして認識し、かつ、前記音声コマンドが前記カメラを前記音声の発生方向に制御するコマンドであるときは、前記検知手段が検知した前記音声の発生方向に前記カメラの撮像方向を制御するものであり、
前記音声認識手段は、前記取得手段が音声の取得を開始してから所定の時間間隔で音声認識を行い途中の音声認識結果を逐次取得し、
前記制御手段は、前記途中の音声認識結果を得た時点で前記カメラの撮像方向の制御を実行し、前記途中の音声認識結果が音声コマンドであるときは、前記検知手段が検知した前記音声の発生方向に前記カメラの撮像方向を制御することを抑制し、
前記制御手段は更に、前記途中の音声認識結果を取得している間は、音声コマンドの音声認識スコアと音声コマンド以外の音声認識スコアとの差が小さいほど、前記カメラの制御速度を小さくする
ことを特徴とするカメラ制御装置。
【請求項２】
音声コマンドと、前記音声コマンドが前記カメラを前記音声の発生方向に制御するコマンドであるかを示す情報との対応表を保持する保持手段を有することを特徴とする請求項１に記載のカメラ制御装置。
【請求項３】
音声コマンドと、前記音声コマンドによる前記カメラの制御内容を示す制御情報と、前記音声コマンドが前記制御情報とは独立に前記カメラを前記音声の発生方向に制御するコマンドであるかを示す情報との対応表を保持する保持手段を有することを特徴とする請求項１に記載のカメラ制御装置。
【請求項４】
前記音声認識手段が前記音声を音声コマンドとして認識した場合、前記対応表に基づいて、該認識した音声コマンドに対応する制御情報に従う処理を実行する処理手段を更に備えることを特徴とする請求項３に記載のカメラ制御装置。
【請求項５】
ユーザが音声コマンドの入力を指示するための音声入力ボタンを更に備え、
前記音声認識手段は、前記音声入力ボタンの押下をトリガとして音声認識を開始することを特徴とする請求項１に記載のカメラ制御装置。
【請求項６】
前記制御手段は、前記途中の音声認識結果を取得している間は、音声コマンドの音声認識スコアと音声コマンド以外の音声認識スコアとの差が閾値よりも大きい時間にのみ、前記検知手段が検知した前記音声の発生方向への前記カメラの撮像方向の制御及びその抑制の切り換えが可能であることを特徴とする請求項１に記載のカメラ制御装置。
【請求項７】
カメラの動作を制御するためのカメラ制御方法であって、
取得手段が、音声を取得する取得ステップと、
検知手段が、前記取得ステップで第１マイクロホンを介して取得した前記音声の発生方向を検知する検知ステップと、
音声認識手段が、前記取得ステップで第２マイクロホンを介して取得した前記音声を認識する音声認識ステップと、
制御手段が、前記検知ステップで検知した前記音声の発生方向に前記カメラの撮像方向を制御する制御ステップと、
を有し、
前記制御ステップは、前記音声認識ステップで前記音声が音声コマンドとして認識されたときは、前記検知ステップで検知された前記音声の発生方向に前記カメラの撮像方向を制御することを抑制し、
前記制御ステップは更に、前記音声認識ステップで前記音声を音声コマンドとして認識され、かつ、前記音声コマンドが前記カメラを前記音声の発生方向に制御するコマンドであるときは、前記検知ステップで検知された前記音声の発生方向に前記カメラの撮像方向を制御し、
前記音声認識ステップは、前記取得ステップで音声の取得を開始してから所定の時間間隔で音声認識を行い途中の音声認識結果を逐次取得し、
前記制御ステップは、前記途中の音声認識結果を得た時点で前記カメラの撮像方向の制御を実行し、前記途中の音声認識結果が音声コマンドであるときは、前記検知ステップで検知した前記音声の発生方向に前記カメラの撮像方向を制御することを抑制し、
前記制御ステップは更に、前記途中の音声認識結果を取得している間は、音声コマンドの音声認識スコアと音声コマンド以外の音声認識スコアとの差が小さいほど、前記カメラの制御速度を小さくする
ことを特徴とするカメラ制御方法。
【請求項８】
前記制御ステップは、前記音声認識ステップで前記音声が音声コマンドとして認識されたときは、音声コマンドと該音声コマンドが前記カメラを前記音声の発生方向に制御するコマンドであるかを示す情報との対応表に基づいて、前記検知ステップで検知された前記音声の発生方向に前記カメラの撮像方向を制御することを特徴とする請求項７に記載のカメラ制御方法。
【請求項９】
前記制御ステップは、前記音声認識ステップで前記音声が音声コマンドとして認識されたときは、音声コマンドと、該音声コマンドによる前記カメラの制御内容を示す制御情報と、該音声コマンドが前記制御情報とは独立に前記カメラを前記音声の発生方向に制御するコマンドであるかを示す情報との対応表に基づいて、前記認識された音声コマンドに対応する制御情報に従う処理を実行するともに、前記カメラの前記音声の発生方向への制御を行うか否かを決定することを特徴とする請求項７に記載のカメラ制御方法。
【請求項１０】
前記音声認識ステップは、ユーザが音声コマンドの入力を指示するための音声入力ボタンの押下をトリガとして音声認識を開始することを特徴とする請求項８に記載のカメラ制御方法。
【請求項１１】
前記制御ステップは、前記途中の音声認識結果を取得している間は、音声コマンドの音声認識スコアと音声コマンド以外の音声認識スコアとの差が閾値よりも大きい時間にのみ、前記検知ステップで検知した前記音声の発生方向への前記カメラの撮像方向の制御及びその抑制の切り換えが可能であることを特徴とする請求項７に記載のカメラ制御方法。
【請求項１２】
コンピュータを請求項１乃至６のいずれか１項に記載のカメラ制御装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの動作を制御するカメラ制御装置及び方法に関する。
【背景技術】
【０００２】
音声で機器を制御する種々の技術が開発されているが、機器が入力した音声を扱う場合には、制御用の音声が悪影響を与えることがある。例えばビデオカメラは、音声を画像と共に収録することを本質的機能とするが、その収録中に制御用の音声も一緒に録音されてしまうという問題がある。そこで、入力される音声から、機器制御用の音声を抑圧する方法が提案されている（例えば、特許文献１乃至３）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−６１４９７号公報
【特許文献２】特開２００１−２０３９７４号公報
【特許文献３】特開２００３−２９８９１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
テレビ会議システムなどで使われるカメラの中には、発言者の方向に自動的にカメラの撮像方向を向けるものがある。このカメラは、入力された音声を用いて発言者の方向を検知するため、カメラ制御用の音声が悪影響を与えることがある。例えば、カメラ制御として、音声コマンド「ホワイトボード」が認識された場合ホワイトボードの方向にカメラを向けるように構成されている場合を考える。この場合において、音声コマンドとして「ホワイトボード」と発声したにもかかわらず、この音声の方向が検知され、その発声者の方向へカメラが向いてしまう。これは意図したカメラの動作ではない。
【０００５】
そこで、上述のビデオカメラの場合と同様に、カメラに入力される音声から、カメラ制御用の音声を抑圧する方法が考えられる。しかし、カメラ制御用の音声コマンドとして「こっち」と発声した場合にもこの音声を抑圧してしまうと、その発言者の方向を検知できなってしまう。そのため、意図した動作が行えない。
【０００６】
このように、音源方向を捉えて撮像装置をその音源方向に追従させる機能と、音声コマンドにより撮像装置の動作を制御する機能とを持たせる場合、互いの制御が干渉し両機能が意図どおりに働かないという問題がある。
【課題を解決するための手段】
【０００７】
本発明は、上述したような問題を解決することを目的としている。
本発明の一側面によれば、カメラの動作を制御するカメラ制御装置であって、音声を取得する取得手段と、前記取得手段で取得した前記音声の発生方向を検知する検知手段と、前記取得手段で取得した前記音声を認識する音声認識手段と、前記検知手段が検知した前記音声の発生方向に前記カメラの撮像方向を制御する制御手段とを備え、前記制御手段は、前記音声認識手段が前記音声を音声コマンドとして認識したときは、前記検知手段が検知した前記音声の発生方向に前記カメラの撮像方向を制御することを抑制し、前記取得手段は、第１マイクロホンと第２マイクロホンとを含み、前記検知手段は、前記第１マイクロホンに入力された音声の発生方向を検知し、前記音声認識手段は、前記第２マイクロホンに入力された音声を認識し、前記制御手段は、前記音声認識手段が前記音声を音声コマンドとして認識し、かつ、前記音声コマンドが前記カメラを前記音声の発生方向に制御するコマンドであるときは、前記検知手段が検知した前記音声の発生方向に前記カメラの撮像方向を制御するものであり、前記音声認識手段は、前記取得手段が音声の取得を開始してから所定の時間間隔で音声認識を行い途中の音声認識結果を逐次取得し、前記制御手段は、前記途中の音声認識結果を得た時点で前記カメラの撮像方向の制御を実行し、前記途中の音声認識結果が音声コマンドであるときは、前記検知手段が検知した前記音声の発生方向に前記カメラの撮像方向を制御することを抑制し、前記制御手段は更に、前記途中の音声認識結果を取得している間は、音声コマンドの音声認識スコアと音声コマンド以外の音声認識スコアとの差が小さいほど、前記カメラの制御速度を小さくすることを特徴とするカメラ制御装置が提供される。
【発明の効果】
【０００８】
本発明によれば、音源方向を捉えて撮像装置をその音源方向に追従させる機能と、音声コマンドにより撮像装置の動作を制御する機能とが、互いに干渉して悪影響を及ぼすことなく首尾よく動作するようになる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係るカメラ制御装置のハードウェア構成を示すブロック図。
【図２】実施形態に係るカメラ制御装置の機能構成を示すブロック図。
【図３】実施形態に係るカメラ制御装置の処理手順を示すフローチャート。
【図４】実施形態における音声コマンド表の例を示す図。
【図５】実施形態に係るカメラ制御装置の機能構成を示すブロック図。
【図６】実施形態に係るカメラ制御装置の処理手順を示すフローチャート。
【図７】実施形態における音声コマンド表の例を示す図。
【図８】実施形態に係るカメラ制御装置をテレビ会議に適用した場合を説明する図。
【図９】実施形態に係るカメラ制御装置を音声リモコンとして実現した例を示す図。
【図１０】実施形態に係るカメラ制御装置の処理手順を示すフローチャート。
【図１１】実施形態に係る途中の音声認識スコアの比較を説明する図。
【図１２】実施形態に係る発言に対する撮像方向制御のタイミングを説明する図。
【図１３】実施形態における音声認識スコアと撮像方向制御の関係を示す図。
【図１４】実施形態における、音声認識スコアと撮像方向制御及び制御速度との関係を示す図。
【図１５】実施形態における音声認識スコアと制御速度の関係を示す図。
【図１６】、
【図１７】実施形態に係るカメラ制御装置の処理手順を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
【００１１】
（実施形態１）
図１において、本発明の一実施形態に係るカメラ制御装置のハードウェア構成を示すブロック図である。１０１はＣＰＵ（中央処理装置）で、システム制御部として装置全体の動作を制御する。１０２はＲＯＭで、制御プログラムを格納する。具体的には、後述する音声によるカメラ制御を行うプログラムを格納する。１０３はＲＡＭである。これはＣＰＵ１０１のワークエリアを提供し、各種データなどを保持するために用いられる。１０４は記憶装置で、ハードディスクなどからなる。例えば、後述する音声コマンド表を格納する。音声によるカメラ制御を行うプログラムをこの記憶装置１０４に格納することも可能である。１０５は、音声による制御の対象とするカメラ（撮像装置）である。この被制御装置としてのカメラ１０５は、その撮像方向を制御可能に構成されている。１０６は音声を収集するマイクロホンである。
【００１２】
図２は、本発明の一実施形態に係るカメラ制御装置の機能構成を示すブロック図である。音声取得部２０１は、外部で発生した音声を取得し、音声方向検知部２０２及び音声認識部２０５へ送る。音声取得部２０１はマイクロホン１０６で実現される。なお、音声方向検知部２０２が音声の発生方向を容易に検知できるようにするためには、２本以上のマイクロホンから構成されることが好ましい。
【００１３】
音声方向検知部２０２は、音声取得部２０１から送られる音声の発生方向を検知する。ここで、検知した音声の発生方向へ、カメラ２０４の撮像方向を制御するために必要な、パン・チルト・ズーム情報を生成する。生成したパン・チルト・ズーム情報は、撮像方向制御部２０３へと送られる。
【００１４】
音声認識部２０５は、音声取得部２０１から送られる音声を認識し、音声コマンドを出力する。入力した音声が音声コマンドとして認識されなかった場合は、音声コマンドでないことを出力する。カメラ制御装置をテレビ会議に用いた場合、通常の会話音声は音声コマンドとして認識されない。
【００１５】
音声認識部２０５が認識可能な音声コマンドは、音声コマンド表２０６で定義される。音声コマンド表２０６は、カメラ制御装置を用いる場面に応じて、適切なものを用いる。ここでは、カメラ制御装置を用いる場面の例として、図８の場面を想定する。
【００１６】
図８は、自分側と相手側の拠点を結んでテレビ会議を行う場面を示している。それぞれの拠点にカメラ制御装置が設置されている。カメラ制御装置同士は、例えばネットワークを通じてつながっている。自分側のモニタには、相手側のカメラ制御装置のカメラ２０４が撮像した映像を表示する。相手側のモニタには、自分側のカメラ制御装置のカメラ２０４が撮像した映像を表示する。自分側の出席者はＡさん、Ｂさん、Ｃさんであるとする。相手側の出席者はＸさん、Ｙさんであるとする。
【００１７】
図８の場面において、自分側のカメラ制御装置で用いる音声コマンド表２０６の例を図４（ａ）に示す。図示のように、各音声コマンドには、「音声」、「制御情報」、「検知した音声方向への制御」の属性情報が関連付けられている。「音声」は、音声コマンドに対応する音声を音素などで表したものである。「制御情報」は、カメラ２０４をどう制御するかの指示である。例えば、音声コマンド「ホワイトボード」を認識した場合は、カメラ２０４の撮像方向をホワイトボードへ向ける。音声コマンド「Ｘさん」を認識すると、相手側のカメラ２０４の撮像方向をＸさんへ向ける。「検知した音声方向への制御」は、音声取得部２０１が取得した音声を音声コマンドと認識した場合に、カメラ２０４の撮像方向を音声の発生方向へ追従制御するか否かの指示である。値が「○」の音声コマンドの場合、カメラ２０４の撮像方向を、検知した音声の発生方向へ追従させる。つまり、カメラ２０４の音声の発生方向への追従制御を抑制しない。値が「×」の音声コマンドの場合、カメラ２０４の撮像方向を、検知した音声の発生方向へ追従させない。つまり、カメラ２０４の音声の発生方向への追従制御を抑制する。
【００１８】
「検知した音声方向への制御」の値を「○」にする音声コマンドは、音声コマンドの発声者へ、カメラ２０４の撮像方向を向けるものである。発声者の方向は、音声方向検知部２０２が検知した方向である。例えば音声コマンド「こっち」である。
【００１９】
また例えば、音声コマンド「Ｘさん」は、相手側のカメラ２０４の撮像方向を、Ｘさんへ向けるコマンドである。このとき、呼び出されたＸさんにとって、呼び出したのは誰かがわかるのが望ましい。そこで、自分側のカメラ２０４の撮像方向を、発声者Ａさんの方向へ向ける。
【００２０】
「検知した音声方向への制御」の値を「×」にする音声コマンドの発声者へ、カメラ２０４の撮像方向を向けないものである。例えば、「ホワイトボード」は、音声コマンドの発声者ではなく、ホワイトボードの方向へ、カメラ２０４の撮像方向を向ける。
【００２１】
撮像方向制御部２０３は、音声方向検知部２０２が生成したパン・チルト・ズーム情報と、音声認識部２０５が認識した音声コマンドを用いて、カメラ２０４の撮像方向を制御する。以下、図８の場面を用いて、いくつかの事例について説明する。特に断りが無い場合、自分側の拠点にあるカメラ制御装置の動作について説明する。
【００２２】
［Ａさんが（音声コマンド以外の）通常の発言を行った場合：］
音声取得部２０１がＡさんの発言を音声として取得する。音声方向検知部２０２は、取得した音声の発生方向を検知する。ここで音声の発生方向はＡさんの方向である。次に、Ａさんの方向へ、カメラ２０４の撮像方向を制御するために必要な、パン・チルト・ズーム情報を生成する。一方、音声認識部２０５は、リジェクション機能を用いて、取得した音声が音声コマンドでないことを認識する。
【００２３】
音声認識では、各音声コマンドの確からしさを計算し、最も確からしさが高いものを結果として出力する。音声コマンド以外の音声が入力された場合、この確からしさが低い値となる。例えば、閾値を設け、確からしさが閾値以下の場合、音声コマンドでないと認識する。あるいは、あらゆる発話をモデル化したＧＢＧ（ガーベッジ）モデルを用いても良い。音声認識コマンドに近い音声が入力された場合には、音声コマンドのモデルのスコアのほうが、ＧＢＧモデルのスコアよりも大きくなる。一方、音声コマンドと異なる音声が入力された場合には、ＧＢＧモデルのスコアのほうが、音声コマンドのモデルのスコアよりも大きくなる。
【００２４】
以上の結果を用いて、撮像方向制御部２０３は、カメラ２０４の撮像方向を制御する。取得した音声は音声コマンドでない。よって、音声方向検知部２０２が生成したパン・チルト・ズーム情報を用いて、カメラ２０４を制御する。カメラ２０４の撮像方向をＡさんへ向ける。相手側のモニタにＡさんが映る。
【００２５】
［Ａさんが「ホワイトボード」と音声コマンドを発声した場合：］
音声取得部２０１がＡさんの発声を音声として取得する。音声方向検知部２０２は、取得した音声の発生方向を検知する。ここで音声の発生方向はＡさんの方向である。次に、Ａさんの方向へ、カメラ２０４の撮像方向を制御するために必要な、パン・チルト・ズーム情報を生成する。一方、音声認識部２０５は、取得した音声を音声認識し、音声コマンド「ホワイトボード」を認識する。
【００２６】
以上の結果を用いて、撮像方向制御部２０３は、カメラ２０４の撮像方向を制御する。図４（ａ）の音声コマンド表２０６によれば、音声コマンド「ホワイトボード」の「検知した音声方向への制御」の値は「×」である。よって、音声方向検知部２０２が生成したパン・チルト・ズーム情報は用いない。音声コマンド「ホワイトボード」の制御情報を用いて、カメラ２０４を制御する。カメラ２０４の撮像方向をホワイトボードへ向ける。相手側のモニタにホワイトボードが映る。なお、カメラ２０４の撮像方向をホワイトボードへ向けるために必要なパン・チルト・ズーム情報は、予め設定しておくものとする。
【００２７】
［Ａさんが「こっち」と音声コマンドを発声した場合：］
音声取得部２０１がＡさんの発声を音声として取得する。音声方向検知部２０２は、取得した音声の発生方向を検知する。ここで音声の発生方向はＡさんの方向である。次に、Ａさんの方向へ、カメラ２０４の撮像方向を制御するために必要な、パン・チルト・ズーム情報を生成する。一方、音声認識部２０５は、取得した音声を音声認識し、音声コマンド「こっち」を認識する。
【００２８】
以上の結果を用いて、撮像方向制御部２０３は、カメラ２０４の撮像方向を制御する。音声コマンド「こっち」の「検知した音声方向への制御」の値は「○」である。よって、音声方向検知部２０２が生成したパン・チルト・ズーム情報を用いて、カメラ２０４を制御する。これによりカメラ２０４の撮像方向をＡさんへ向ける。相手側のモニタにはＡさんが映ることとなる。音声コマンド「こっち」の制御情報は無いので、音声コマンドに対する制御は行わない。
【００２９】
音声コマンド「こっち」のように、予め制御情報（パン・チルト・ズーム）を設定することができない音声コマンドを処理することが可能となる。発言者により、「こっち」の方向が異なる。
【００３０】
［Ａさんが「Ｘさん」と音声コマンドを発声した場合：］
音声取得部２０１がＡさんの発声を音声として取得する。音声方向検知部２０２は、取得した音声の発生方向を検知する。ここで音声の発生方向はＡさんの方向である。次に、Ａさんの方向へ、カメラ２０４の撮像方向を制御するために必要な、パン・チルト・ズーム情報を生成する。一方、音声認識部２０５は、取得した音声を音声認識し、音声コマンド「Ｘさん」を認識する。
【００３１】
以上の結果を用いて、撮像方向制御部２０３は、カメラ２０４の撮像方向を制御する。音声コマンド「Ｘさん」の「検知した音声方向への制御」の値は、「○」である。よって、音声方向検知部２０２が生成したパン・チルト・ズーム情報を用いて、カメラ２０４を制御する。カメラ２０４の撮像方向をＡさんへ向ける。相手側のモニタにＡさんが映る。
【００３２】
一方、音声コマンド「Ｘさん」の制御情報は、相手側のカメラ制御装置へ送られる。この制御情報を用いて、相手側の撮像方向制御部２０３が、相手側のカメラ２０４の撮像方向をＸさんへ向ける。自分側のモニタにＸさんが映る。なお、相手側のカメラ２０４の撮像方向をＸさんへ向けるために必要なパン・チルト・ズーム情報は、相手側のカメラ制御装置に、予め設定しておくものとする。
【００３３】
Ａさんは、相手側のＸさんと会話を開始するときに、音声コマンド「Ｘさん」を発声する。１つの音声コマンド「Ｘさん」により、自分側のカメラ２０４をＡさんに向け、相手側のカメラ２０４をＸさんに向けることができる。互いのモニタに、ＡさんとＸさんが映り、ＡさんとＸさんの会話をサポートする。このように、音声方向検知部２０２が生成したパン・チルト・ズーム情報と、音声認識部２０５が認識した音声コマンドを協調させ、柔軟に機器を制御することが可能となる。
【００３４】
図３は、本発明の一実施形態に係るカメラ制御装置の処理手順を示すフローチャートである。Ｓ３０１で、音声取得部２０１が、外部で発声した音声を取得したか否かを判定する。音声を取得した場合はＳ３０２へ進む。音声を取得しなかった場合はＳ３０１へ戻る。
【００３５】
Ｓ３０２で、音声方向検知部２０２が、取得した音声の発生方向を検知する。次に、検知した音声の発生方向へ、カメラ２０４の撮像方向を制御するために必要な、パン・チルト・ズーム情報を生成する。生成したパン・チルト・ズーム情報を撮像方向制御部２０３へ送る。
【００３６】
Ｓ３０３で、音声認識部２０５が、取得した音声を認識する。音声認識するための認識語彙は、例えば図４（ａ）に示す音声コマンドである。さらに音声コマンド以外の発話を認識する一手法としてＧＢＧモデルを追加しても良い。
【００３７】
Ｓ３０４で、音声認識部２０５が、音声認識の結果を用いて、取得した音声が音声コマンドか否かを判定する。音声コマンドの場合はＳ３０５へ進む。音声コマンドでない場合はＳ３０７へ進む。
【００３８】
Ｓ３０５で、撮像方向制御部２０３が、音声コマンドの制御情報に従ってカメラ２０４を制御する。Ｓ３０６で、撮像方向制御部２０３が、音声コマンドが所定の音声コマンドか否かを判定する。所定の音声コマンドとは、「検知した音声方向への制御」の値が「○」のものである。所定の音声コマンドの場合はＳ３０７へ進む。所定の音声コマンドでない場合はＳ３０１へ戻る。
【００３９】
Ｓ３０７で、撮像方向制御部２０３が、送られたパン・チルト・ズーム情報を用いて、カメラ２０４の撮像方向を制御する。
【００４０】
なお、Ｓ３０１とＳ３０２の順番は逆でも良い。音声方向検知をした上で、音の中に音声が入力されているか否かを判定する。
また、本実施形態では図８のような自分側と相手側の拠点を結んでテレビ会議を行う場面でのユースケースとして説明したが、自分側の拠点一箇所におけるユースケースにおいても本発明は適用される。例えばミーティングの議事録を映像として記録する場合などに有効である。
【００４１】
なお、本実施形態では音声認識部２０５が認識する音声コマンドとして図４（ａ）のように、音声方向への制御を行う音声コマンドと音声方向への制御を行わない音声コマンドの二種類がある。しかし本発明はこれに限るものではなく、音声コマンドは全て音声方向への制御を行わないようにしても良い。図４（ｂ）はその場合の音声コマンド表の例である。この場合、「検知した音声方向への制御」を表すフラグを持つ必要はない。またこの場合、Ｓ３０６は常にＮＯへ進む。
【００４２】
（実施形態２）
上述の実施形態１では、音声取得部２０１が取得した音声を、音声方向検知部２０２と音声認識部２０５が共に利用する。ここでは、音声取得部２０１を、第１マイクロホン５０１と第２マイクロホン５０７に分離した実施形態について説明する。
【００４３】
図５は、本実施形態に係るカメラ制御装置の機能構成を示すブロック図である。第１マイクロホン５０１は、音声方向検知部５０２が利用する。検知した音声方向へカメラ５０４を正しく向けるためには、第１マイクロホン５０１とカメラ５０４の位置関係が固定されるのが望ましい。例えば、第１マイクロホン５０１とカメラ５０４をカメラ制御装置の本体に組み込む構成とする。カメラ５０４の位置を変更しても、第１マイクロホン５０１とカメラ５０４の位置関係が固定されたままとなる。また、第１マイクロホン５０１は音声の方向を検知するため、２本以上のマイクロホンで構成されることが好ましい。
【００４４】
第２マイクロホン５０７は、音声認識部５０８が利用する。音声認識率を向上させるためには、第２マイクロホン５０７が発声者の近くにあるのが望ましい。また、参加者が複数いる場合は、発声している参加者のそばに、随時移動できることが望ましい。例えば、第２マイクロホン５０７を本体から分離可能な構成とする。第２マイクロホン５０７と本体は、有線又は無線で通信を行う。発声者は、第２マイクロホン５０７を、自分のそばに置いて利用することが可能となる。または、発声者は、第２マイクロホン５０７を、手に持って利用することも可能である。
【００４５】
音声方向検知部５０２は、第１マイクロホン５０１から入力される音声の発生方向を検知する。そして、検知した音声の発生方向へ、カメラ５０４の撮像方向を制御するために必要な、パン・チルト・ズーム情報を生成する。生成したパン・チルト・ズーム情報は、撮像方向制御部５０３へ送られる。
【００４６】
音声入力ボタン５０５は、音声認識を開始するためのトリガとして用いられる。音声入力ボタンの押下が検知されると、押下信号が、音声認識部５０８と抑制部５０６へ送られる。音声入力ボタン５０５は、ハードボタンに限らず、ソフトで実装されたＧＵＩのボタンでもよい。
【００４７】
音声認識部５０８は、音声入力ボタン５０５の押下信号を受けると、第２マイクロホン５０７から入力される音声を認識し、音声コマンドを出力する。音声認識部５０８が認識可能な音声コマンドは、音声コマンド表５０９に定義される。図８の場面において自分側のカメラ制御装置で用いる音声コマンド表５０９の例を図７に示す。各音声コマンドには、「音声」、「制御情報」、「音声方向制御抑制信号」の属性情報が関連付けられている。ここで、「音声方向制御抑制信号」は、カメラ５０４を音声の発生方向に制御しない指示を表す。
【００４８】
音声認識部５０８は、認識した音声コマンドの制御情報を撮像方向制御部５０３へ送る。また、「音声方向制御抑制信号」の値が「有り」の場合、音声方向制御抑制信号を抑制部５０６へ送る。
【００４９】
抑制部５０６は、音声方向検知部５０２が検知した音声の発生方向へ、カメラ５０４の撮像方向を制御することを抑制するか否かを判定する。判定に利用する情報は、音声入力ボタン５０５からの押下信号と、音声認識部５０８からの音声方向制御抑制信号である。押下信号が無し又は音声方向制御抑制信号が無しの場合、「抑制しない」と判定する。押下信号が有りかつ音声方向制御抑制信号が有りの場合、「抑制する」と判定する。判定結果を撮像方向制御部５０３へ送る。
【００５０】
撮像方向制御部５０３は、音声方向検知部５０２から送られるパン・チルト・ズーム情報と、音声認識部５０８から送られる制御情報と、抑制部５０６の判定結果を用いて、カメラ５０４の撮像方向を制御する。以下、図８の場面を用いて、いくつかの事例について説明する。特に断りがない場合、自分側の拠点にあるカメラ制御装置の動作について説明する。
【００５１】
［Ａさんが通常の発言で「ホワイトボード」と発声した場合：］
Ａさんの発声を、第１マイクロホン５０１と第２マイクロホン５０７が拾う。ここで音声方向検知部５０２は、音声の発生方向としてＡさんの方向を検知する。音声入力ボタン５０５が押下されないため、抑制部５０６と音声認識部５０８から、撮像方向制御部５０３へ送られる情報はない。撮像方向制御部５０３は、音声方向検知部５０２から送られる情報に基づいて、カメラ５０４の撮像方向を制御する。こうしてカメラ５０４は、Ａさんの方向を向く。
【００５２】
［Ａさんが音声入力ボタン５０５を押下し、「ホワイトボード」と発声した場合：］
Ａさんの発声を、第１マイクロホン５０１と第２マイクロホン５０７が拾う。音声方向検知部５０２が、音声の発生方向としてＡさんの方向を検知する。音声認識部５０８が、音声コマンド「ホワイトボード」を認識する。音声コマンド「ホワイトボード」は、「音声方向制御抑制信号」の値が「有り」である。音声方向検知部５０２が検知した音声の発生方向へ、カメラ５０４の撮像方向を制御することを抑制すると、抑制部５０６が判定する。撮像方向制御部５０３は、音声認識部５０８から送られる制御情報に基づいて、カメラ５０４の撮像方向を制御する。こうしてカメラ５０４は、ホワイトボードの方向を向く。
【００５３】
［Ａさんが音声入力ボタンを押下し、「こっち」と発声した場合：］
Ａさんの発声を、第１マイクロホン５０１と第２マイクロホン５０７が拾う。音声方向検知部５０２が、音声の発生方向としてＡさんの方向を検知する。音声認識部５０８が、音声コマンド「こっち」を認識する。音声コマンド「こっち」は「音声方向制御抑制信号」の値が「無し」である。音声検知部５０２が検知した音声の発生方向へ、カメラ５０４の撮像方向を制御することを抑制しないと、抑制部５０６が判定する。撮像方向制御部５０３は、音声方向検知部５０２から送られる情報に基づいて、カメラ５０４の撮像方向を制御する。こうしてカメラ５０４は、Ａさんの方向を向く。
【００５４】
［Ａさんが音声入力ボタンを押下し、「Ｘさん」と発声した場合：］
Ａさんの発声を、第１マイクロホン５０１と第２マイクロホン５０７が拾う。音声方向検知部５０２が、音声の発生方向としてＡさんの方向を検知する。音声認識部５０８が、音声コマンド「Ｘさん」を認識する。音声コマンド「Ｘさん」は「音声方向制御抑制信号」の値が「無し」である。音声検知部５０２が検知した音声の発生方向へ、カメラ５０４を制御することを抑制しないと、抑制部５０６が判定する。撮像方向制御部５０３は、音声方向検知部５０２から送られる情報に基づいて、カメラ５０４の撮像方向を制御する。こうしてカメラ５０４は、Ａさんの方向を向く。
【００５５】
一方、音声コマンド「Ｘさん」の制御情報は、相手側のカメラ制御装置に送られる。相手側のカメラ５０４は、Ｘさんの方向を向く。
【００５６】
図６は、本発明の一実施形態に係るカメラ制御装置の処理手順を示すフローチャートである。
【００５７】
Ｓ６０１で、音声方向検知部５０２が、第１マイクロホン５０１に、音声入力が有るか無いかを判定する。音声入力が有る場合はＳ６０２へ進む。音声入力が無い場合はＳ６０１へ戻る。
【００５８】
Ｓ６０２で、音声方向検知部５０２が、第１マイクロホン５０１へ入力された音声の発生方向を検知する。
【００５９】
Ｓ６０３で、抑制部５０６が、音声入力ボタン５０５からの押下信号の有無を判定する。押下信号が有る場合はＳ６０４へ進む。押下信号が無い場合はＳ６０８へ進む。
【００６０】
Ｓ６０４で、音声認識部５０８が、第２マイクロホン５０７から入力される音声を認識する。
【００６１】
Ｓ６０５で、音声認識部５０８が、入力音声が音声コマンドとして認識されたか、すなわち、音声認識に成功したか否かを判定する。音声認識に成功した場合はＳ６０６へ進む。入力音声が音声コマンドとして認識されなかった、すなわち、音声認識に失敗した場合はＳ６０１へ戻る。
【００６２】
Ｓ６０６で、撮像方向制御部５０３が、音声コマンドの制御情報に基づいて、カメラ５０４を制御する。
【００６３】
Ｓ６０７で、抑制部５０６が、音声認識部５０８からの音声方向制御抑制信号の有無を判定する。音声方向制御抑制信号が有る場合はＳ６０１へ戻る。音声方向制御抑制信号が無い場合はＳ６０８へ進む。
【００６４】
Ｓ６０８で、撮像方向制御部５０３が、音声方向検知部５０２が検知した音声の発生方向へ、カメラ５０４の撮像方向を制御する。
【００６５】
（実施形態３）
図５から音声入力ボタン５０５を取り除いた構成をとることも可能である。
【００６６】
この場合、第２マイクロホン５０７が音声入力を検出すると、「音声入力有り」の情報を、音声認識部５０８と抑制部５０６へ送る。音声認識部５０８は、音声入力ボタン５０５の押下信号の代わりに、第２マイクロホン５０７からの「音声入力有り」の情報を用いて処理を行う。抑制部５０６は、音声入力ボタン５０５の押下信号の代わりに、第２マイクロホン５０７からの「音声入力有り」の情報を用いて処理を行う。
【００６７】
（実施形態４）
第２マイクロホン５０７と音声入力ボタン５０５を音声リモコンとして本体から分離した構成例を、図９に示す。
【００６８】
第１マイクロホン５０１と音声方向検知部５０２と撮像方向制御部５０３とカメラ５０４は本体に組み込む。抑制部５０６と音声認識部５０８と音声コマンド表５０９は、本体と音声リモコンのどちらに組み込んでもよい。また、例えば赤外線を利用して、本体と音声リモコンの間の通信を行う。
【００６９】
（実施形態５）
実施形態１では、入力された音声を認識して、音声コマンドか否か、あるいは所定の音声コマンドか否かで、音声方向へカメラの撮像方向を制御するか否かを決定している。ここで音声認識部２０５は、音声取得部２０１が取得する音声コマンドや音声コマンド以外の発言が終了した時点で認識結果を取得することになる。従って、カメラ制御の開始は音声コマンドや音声コマンド以外の発言が終了した後になる。しかし本発明はこれに限るものではない。本実施形態では、発言者の発言中に、途中までの音声認識結果を所定の時間間隔で逐次取得して、その結果に基づいて逐次カメラの制御を決定する。なお、本実施形態では、音声コマンドの種類によって音声方向への制御を区別せず、図４（ｂ）に示す音声コマンド表の音声コマンドを認識する例を説明する。
【００７０】
図１０は本実施形態に係るカメラ制御装置の処理手順を示すフローチャートである。Ｓ１００１で、音声取得部２０１が、外部で発声した音声を取得したか否かを判定する。音声を取得した場合はＳ１００２へ進む。音声を取得しなかった場合はＳ１００１へ戻る。
【００７１】
Ｓ１００２で、音声方向検知部２０２が、取得した音声の発生方向を検知する。次に、検知した音声の発生方向へ、カメラ２０４の撮像方向を制御するために必要な、パン・チルト・ズーム情報を生成する。生成したパン・チルト・ズーム情報は撮像方向制御部２０３へ送られる。
【００７２】
Ｓ１００３で、音声認識部２０５が、音声入力有りと判定された時点から現時点までに取得した音声を使って音声認識する。音声が発言の途中である場合も、途中までの音声で認識する。所定の長さの時間Ｔごとに逐次、認識結果を出力する。
【００７３】
Ｓ１００４で、音声認識部２０５が、今回の音声認識結果と１つ前（所定の時間Ｔ前）の音声認識結果を比較する。１つ前の音声認識結果が音声コマンドかつ今回の音声認識結果と異なる場合は、Ｓ１００５に進む。音声入力開始からはじめの音声認識結果の場合、１つ前の音声認識結果が音声コマンドでない場合、１つ前と今回の音声コマンドが等しい場合は、Ｓ１００６に進む。
【００７４】
Ｓ１００５では、撮像方向制御部２０３が、１つ前の音声コマンドに対する処理（後述のＳ１００８で行われた処理）をキャンセルする。
【００７５】
Ｓ１００６では、音声認識部２０５が、音声認識の結果を用いて、取得した音声が音声コマンドか否かを判定する。音声コマンドでない場合はＳ１００７へ進む。音声コマンドの場合はＳ１００８へ進む。
Ｓ１００７では、撮像方向制御部２０３が、音声方向検知部２０２から送られたパン・チルト・ズーム情報を用いて、カメラ２０４の撮像方向を制御する。
【００７６】
Ｓ１００８では、撮像方向制御部２０３が、音声コマンドの制御情報（ズームする、登録されたホワイトボードの方向に向く等）に従ってカメラ２０４を制御する。
Ｓ１００９では、撮像方向制御部２０３が、カメラ２０４を音声方向に制御することを抑制する。それまでに既に音声方向へカメラのパン・チルト・ズームが動いている場合には、音声方向から音声入力前にカメラの向いていた方向あるいは音声コマンドの制御情報の示す方向に戻すよう制御する。
【００７７】
なお、Ｓ１００８とＳ１００９とによる制御情報は組み合わせて制御情報を作ってカメラ２０４を制御する。従って、音声コマンドの内容によって、音声入力前にカメラの向いていた方向を向く場合と、音声コマンドの示す方向を向く場合とが存在する。
【００７８】
例えば、音声方向に制御中に音声認識結果が音声コマンド「ズーム」となった場合、Ｓ１００８では音声コマンドに従ってズームを拡大する制御情報を生成する。Ｓ１００９では音声方向にパン、チルトが制御されていたカメラを元の方向へ戻す制御を行う。そのためこれらを組み合わせ、ズームは拡大し、パン、チルトは音声入力前と同じ方向へと制御する。一方、音声方向に制御中に音声認識結果が音声コマンド「ホワイトボード」となった場合、Ｓ１００８では音声コマンドに従ってホワイトボードに向ける制御情報を生成する。Ｓ１００９では音声方向に制御されていたカメラのパン、チルトを元の方向へ戻そうとする。しかしここで、Ｓ１００８で生成した、ホワイトボードに向けるパン、チルトの制御情報があるため、制御情報は音声入力前に向いていた方向ではなく、ホワイトボードの方向に向く制御情報となる。
【００７９】
Ｓ１０１０で、音声認識部２０５が、取得した音声に含まれる人の声の区間が終了したか否かを判定する。人の声の区間が終了していないと判定した場合には、Ｓ１００３に戻り、さらに所定時間後の途中音声認識結果を取得する。人の声の区間が終了したと判定した場合には、Ｓ１０１１に進む。
【００８０】
Ｓ１０１１で、音声認識部２０５が、その時間での認識結果に認識結果を確定し、撮像方向制御部２０３が、カメラの撮像方向制御を確定する。すなわち、確定した認識結果に基づく撮像方向制御が実行された状態でカメラを固定する。
【００８１】
なお、Ｓ１００１とＳ１００２の順番は逆でも良い。音声方向検知をした上で、音の中に音声が入力されているか否かを判定する。なお、本実施形態は図８のような自分側と相手側の拠点を結んでテレビ会議を行う場面でも良いし、自分側の拠点一箇所において議事録を記録する場面でも良い。
【００８２】
図１１は、音声認識部２０５が、音声入力途中の認識結果を出力する様子を説明する図である。同図において、１１０１は音声コマンドなどの単語を表現するＨＭＭ（ヒドゥン・マルコフ・モデル）などのモデルである。１１０２は、モデル１１０１を構成する状態である。モデル１１０１は、１つ以上の状態と、状態間の遷移（自己ループを含む）で構成される。１１０３は、音声コマンド以外のあらゆる発話をモデル化したＧＢＧ（ガーベッジ）モデルである。音声認識コマンドに近い音声が入力された場合には、音声コマンドのモデルのスコアのほうが、ＧＢＧモデルのスコアよりも大きくなる。一方、音声コマンドと異なる音声が入力された場合には、ＧＢＧモデルのスコアのほうが、音声コマンドのモデルのスコアよりも大きくなる。実施形態１では、各音声コマンドの確からしさを計算して音声コマンド以外の発言であると認識するとして説明したが、本実施形態ではこのＧＢＧモデルを用いて音声コマンド以外の発言であることを判定する。
【００８３】
通常の音声認識では、発話区間が終了した時点で、各モデルの最終状態（図１１の各モデルの中で、一番右端の状態）におけるスコアを比較することで、どれが尤もらしい認識結果かを求める。これに対して、Ｓ１００３で実行する途中までの音声認識においては、各単語において全ての状態１１０２におけるスコアを比較し、その中で最大のスコアをその単語のスコアとする。この単語スコアを、全ての音声コマンドのモデルおよびＧＢＧモデルで比較することで、最もスコアの高いモデルを、その時点での認識結果として得る。
【００８４】
図１２は、本実施形態における音声認識と撮像方向制御の例を挙げた図である。同図の（ａ）は、「ホワイトボード」という音声コマンドを音声取得部２０１から入力した場合の例である。同図の横軸は時間軸であり、１２０１は「ホワイトボード」という発声がその時間区間に入力されている様子を示し、そして１２０１の中の文字が、その文字の音がその時間に入力されている様子を示す。
【００８５】
実施形態１の場合、音声認識部２０５は音声全体が入力された後に音声認識結果を出力するため、同図のt_endになるまではカメラ制御は行われない。これに対して本実施形態の場合、Ｓ１００１で音声入力を検知してから所定時間Ｔごとに、Ｓ１００３で音声認識部２０５が途中音声認識結果を出力する。所定時間Ｔは、例えば１００ミリ秒とする。音声認識部２０５が１０ミリ秒ずつ音声の特徴量を分析する場合、１０サンプルだけ分析を進めるごとに途中音声認識結果を出力することになる。図１２（ａ）では、時刻t_1において音声コマンド「ホワイトボード」が認識されるため、Ｓ１００９によって音声方向への撮像方向制御が抑制される。一方、音声コマンドに基づくホワイトボードへの撮像方向制御は実行される。さらに時刻が進み、t_2, t_3と進んでも認識結果は変わらず、最終的にt_endで制御が確定する。
【００８６】
図１２（ｂ）は、音声コマンド以外の発言を入力した場合の例である。この場合、撮像方向制御は音声方向に向けるべきであるが、実施形態１の場合、同図のt_endになるまではカメラ制御は行われない。これに対して本実施形態の場合、t_1の時点で音声コマンドのモデルよりもＧＢＧモデルのほうがスコアが大きくなり、音声コマンド以外であるという途中認識結果が出る。これに従って、Ｓ１００７で撮像方向制御部２０３が、音声方向に撮像方向を制御する。さらに時刻が進み、t_2, t_3と進んでも認識結果は変わらず、最終的にt_endで制御が確定する。従って、実施形態１よりも早い時刻t_1でカメラをユーザに向けることができる。
【００８７】
図１２（ｃ）は、音声コマンド以外の発言のはじめに、音声コマンド「ホワイトボード」に一致する単語を含む場合の制御の様子を示している。（ｃ）の場合、時刻t_1からt_5までは、音声認識部２０５が途中音声認識結果として「ホワイトボード」を得る。そのため、撮像方向制御部２０３は、Ｓ１００８で音声コマンドに対応する撮像方向制御を行い、Ｓ１００９で音声方向への撮像方向制御を抑制する。一方、t_6の時点では「ホワイトボードに書」までの音声が入力されるため、音声認識部２０５では「ホワイトボード」のモデルよりもＧＢＧモデルのスコアが大きくなり、音声コマンド以外であるという認識結果を得る。そのため、この時点でＳ１００５で、音声コマンド「ホワイトボード」に対応するホワイトボード方向への制御をキャンセルし、さらにＳ１００７で音声方向へのカメラ制御を開始する。そしてt_endにてこの制御が確定する。この場合、一度は望ましい制御とは異なる「ホワイトボード」に関わる制御がされるものの、その後音声認識が進むことにより修正し、実施形態１のときと比較して、時刻t_endよりも早い時刻t_6で音声方向にカメラを向けることが可能となる。
【００８８】
図１２（ｄ）は、音声コマンド以外の発言の途中に音声コマンド「ズーム」に一致する単語を含む場合の制御の様子を示している。この場合、時刻t_1からt_4までは音声コマンドに一致しない発言のため、Ｓ１００７で音声方向へ撮像方向を制御する。ここでt_6において音声コマンド「ズーム」に一致する音声が含まれるが、t_6で認識される音声は「このカメラのズーム」となるため、音声認識結果は音声コマンド「ズーム」よりも音声コマンド以外のほうが音声認識のスコアが高くなり、そのまま制御される。この場合、t_1で制御開始した音声方向への制御がt_endで確定するので、実施形態１のときと比較して、時刻t_endよりも早い時刻t_1で音声方向にカメラを向けることが可能となる。
【００８９】
図１２（ｅ）は、音声コマンド「ズーム」の音声の前に短い雑音が入った例である。同図において、時刻t_1、t_2では、ＧＢＧモデルのスコアが大きくなり、音声コマンド以外の発言であると判定して音声方向へ撮像方向を制御する。ここでt_3になると音声コマンド「ズーム」の一部が音声の大部分を占めるため、音声コマンド「ズーム」を認識結果として得る。すると撮像方向制御部２０３は、Ｓ１００８において音声コマンド「ズーム」に従ってズームを変更するよう制御し、さらにＳ１００９において音声方向への撮像方向制御を抑制する。ここで既にt_1において音声方向への制御を開始しているため、撮像方向制御部２０３は、撮像方向を元の方向へ戻すよう制御する。そして時刻t_endで制御が確定する。従って、一度は望ましい制御とは異なる音声方向へ制御されるものの、その後音声認識が進むことにより修正し、実施形態１のときと比較して、時刻t_endよりも早い時刻t_3で音声方向にカメラを向けることが可能となる。
【００９０】
（実施形態６）
実施形態５では、途中の音声認識結果に応じて、音声方向への撮像方向制御を行うか抑制するかを逐次切り換えている。本実施形態ではさらに、制御するか抑制するかを短時間で切り換えないように、音声認識スコアに閾値を用意する。本実施形態の様子を図１３に示す。
【００９１】
図１３は、横軸に時間軸をとり、音声コマンドのモデルのスコアとＧＢＧモデルのスコアの差をグラフにした図である。同図の（ａ）は、実施形態５のとおり、音声コマンドのモデルのスコアとＧＢＧモデルのスコアとを比較して、スコアの大きいほうの認識結果に基づいて逐次制御を切り替える場合のグラフである。同図において、１３０１は音声コマンドのモデルのスコアとＧＢＧモデルのスコアの差を表すプロットである。プロット１３０１は、音声認識部２０５がスコアを出力する時間Ｔごとに得る。１３０２は、各時刻の制御を表す。スコアの差が負になると音声方向へ制御し、正になると音声方向への制御を抑制することになる。１３０２を見ると、音声の途中で制御が何度も切り換っていることがわかる。
【００９２】
これに対し、図１３（ｂ）は、スコアの差に閾値αを用意し、音声入力の途中ではスコアの差がαを超えた場合にのみ制御を切り換えることを表す。１３０３はこの場合の各時刻の制御を表す。スコアの差が閾値αを超えるまでは、スコアが逆転する可能性が高いとして制御を切り換えない。同図では（音声コマンドのモデルのスコア−ＧＢＧモデルのスコア）が−αを下回った時点で音声方向への制御を開始し、さらにその後αを上回った時点で音声方向への制御を抑制するよう制御している。１３０２と１３０３を比較すると、１３０３が安定して制御を切り換えていることがわかる。
【００９３】
また、このとき望ましくは、音声区間が終了した時点では、スコアの差がα以上であってもα未満であっても、終了した時点でのスコアが高いほうに基づいて制御するか抑制するかを決定する。なお、ここで図１３（ｂ）においてスコアの差の閾値αと−αは、α１と−α２のように絶対値が異なっていても構わない。
【００９４】
（実施形態７）
実施形態５および実施形態６では音声コマンドのモデルのスコアとＧＢＧモデルのスコアとを比較して音声方向への撮像方向制御を行うか抑制するかを切り換えている。この際に、撮像方向制御部２０３は、スコアの差の大きさに応じてカメラの制御速度を変化させても良い。これによって、撮像方向が切り換るときに滑らかな制御を行うことができる。
【００９５】
図１４は、図１３（ｂ）のように閾値αを超えたときのみ撮像制御の切り換えを行う場合において、さらにカメラの制御速度を閾値αによって切り換えた例を示す。同図において、スコアの差がα以上の場合には、制御が切り換る可能性が低いので通常速度で撮像方向を制御する。一方、スコアの差がα未満の場合には、制御が切り換る可能性が高いので、通常速度よりも遅い速度で制御する。なお、速度を決定する閾値は、制御を決定する閾値αと異なっていても良い。また、スコアの差の閾値αと−αは、α１と−α２のように絶対値が異なっていても構わない。
【００９６】
また、スコアの差に応じて速度をより細かく制御しても良い。図１５は、スコアの差に対するカメラの制御速度を表す図である。スコアの差が大きくなるほどカメラの制御速度を速くし、最大値V_maxに達した後はスコアの差が広がっても一定の速度とする。このようにスコアの差に応じて細かくカメラの速度を制御することで、音声認識部２０５の途中の認識結果が切り換っても、滑らかな撮像方向制御を行うことができる。
【００９７】
なお、ここで図１５のグラフは、音声コマンドのスコアがＧＢＧモデルのスコアよりも高い場合と低い場合とで形状が異なっていても構わない。この場合、音声方向へ制御する場合と元の方向へ戻す場合とでスコアの差に対する速度が異なることになる。
【００９８】
（実施形態８）
実施形態５では音声コマンドか音声コマンド以外の発言かに基づいて音声方向へ制御するか抑制するかを逐次決定して制御している。しかし本発明はこれに限るものではなく、実施形態１と同様に音声コマンドを抑制する音声コマンドと抑制しない音声コマンドに分類し、それによって処理を変えても良い。この場合、例えば、音声認識のための音声コマンド表として図４（ａ）を用いる。
【００９９】
この実施形態によるフローチャートを図１６に示す。同図において、Ｓ１００１からＳ１０１１は図１０と同様の処理である。Ｓ１６０１において、撮像方向制御部２０３が、音声コマンドが所定の音声コマンドか否かを判定する。
【０１００】
所定の音声コマンドとは、図４（ａ）において「検知した音声方向への制御」の値が「○」のものである。これによって、音声方向への制御を抑制する音声コマンド「ズーム」、「ホワイトボード」が入力された場合は音方向への制御が行われない。一方、音声方向へ制御する音声コマンド「こっち」、「Ｘさん」が入力された場合は音方向への制御が、途中の認識結果が出た時点ですぐに制御される。
【０１０１】
例えば、図８のように自分側と相手側の拠点を結んでテレビ会議を行う場面を想定する。ここで自分側の拠点で、Ａさんが「Ｘさんの意見に賛成です。」と発言したとする。このとき、途中までの発言「Ｘさん」の時点で、音声認識部２０５はＳ１００３において音声コマンド「Ｘさん」と認識する。すると撮像方向制御部２０３は、Ｓ１００８で音声コマンド「Ｘさん」に基づいて相手側の拠点のカメラをＸさんに向けるよう制御する。さらに音声コマンド「Ｘさん」はＳ１６０１で、音声方向への撮像方向制御を抑制しない所定のコマンドに該当するので、Ｓ１００７に進み、撮像方向制御部２０３は、Ａさんの方向へ自分側の拠点のカメラを制御する。しかし発言が進み、「Ｘさんの意見に」まで入力されると、音声認識部２０５はＳ１００３において音声コマンド以外と認識する。すると撮像方向制御部２０３は、Ｓ１００５で、前の時刻で行った音声コマンド「Ｘさん」に対する制御をキャンセルする。すなわち、相手側の拠点のカメラをＸさんの方向から制御前の方向に戻す。一方、音声コマンド以外という認識結果によりＳ１００６からＳ１００７に進み、Ａさんの方向への自分側の拠点のカメラ制御は継続する。
【０１０２】
（実施形態９）
実施形態５では、音声コマンドに対する制御（ズーム、ホワイトボードに向けるなど）もＳ１００８において途中の音声認識結果に基づいて処理している。しかし本発明はこれに限るものではなく、音声コマンドに対する制御は音声認識結果が確定してから制御しても良い。この場合、音声方向への撮像方向制御のみ、早期に制御を実行し、音声コマンドに対しては音声が最後まで入力された時点で確実に実行することができる。
【０１０３】
図１７は本実施形態に係るカメラ制御装置の処理手順を示すフローチャートである。Ｓ１７０１で、音声取得部２０１が、外部で発声した音声を取得したか否かを判定する。音声を取得した場合はＳ１７０２へ進む。音声を取得しなかった場合はＳ１７０１へ戻る。
【０１０４】
Ｓ１７０２で、音声方向検知部２０２が、取得した音声の発生方向を検知する。次に、検知した音声の発生方向へ、カメラ２０４の撮像方向を制御するために必要な、パン・チルト・ズーム情報を生成する。生成したパン・チルト・ズーム情報を撮像方向制御部２０３へ送る。
【０１０５】
Ｓ１７０３で、音声認識部２０５が、音声入力有りと判定された時点から現時点までに取得した音声を使って音声認識する。音声が発言の途中である場合も、途中までの音声で認識する。所定の長さの時間ごとに逐次、認識結果を出力する。
【０１０６】
Ｓ１７０４で、音声認識部２０５が、音声認識の結果を用いて、取得した音声が音声コマンドか否かを判定する。音声コマンドでない場合はＳ１７０５へ進む。音声コマンドの場合はＳ１７０６へ進む。
【０１０７】
Ｓ１７０５では、撮像方向制御部２０３が、音声方向検知部２０２から送られたパン・チルト・ズーム情報を用いて、カメラ２０４の撮像方向を制御する。Ｓ１７０６では、撮像方向制御部２０３が、カメラ２０４を音声方向に制御することを抑制する。既にそれまでにカメラのパン・チルト・ズームが、音声入力前にカメラが向いていた元の方向から動いている場合には、元の方向に戻すよう制御する。
【０１０８】
Ｓ１７０７で、音声認識部２０５が、取得した音声に含まれる人の声の区間が終了したか否かを判定する。人の声の区間が終了していないと判定した場合には、Ｓ１７０３に戻り、さらに所定時間後の途中音声認識結果を取得する。人の声の区間が終了したと判定した場合には、Ｓ１７０８に進む。
【０１０９】
Ｓ１７０８で、音声認識部２０５が、その時間での認識結果に認識結果を確定し、撮像方向制御部２０３が、カメラの撮像方向制御を確定する。Ｓ１７０９で、認識結果が音声コマンドであった場合は、Ｓ１７１０で、撮像方向制御部２０３が、音声コマンドの制御情報に従ってさらにカメラ２０４を制御する。
【０１１０】
Ｓ１７０１とＳ１７０２の順番は逆でも良い。音声方向検知をした上で、音の中に音声が入力されているか否かを判定する。
なお、本実施形態は図８のような自分側と相手側の拠点を結んでテレビ会議を行う場面でも良いし、自分側の拠点一箇所において議事録を記録する場面でも良い。
【０１１１】
（他の実施形態）
以上、本発明の実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０１１２】
なお、本発明は、前述した実施形態の各機能を実現するプログラムを、システム又は装置に直接又は遠隔から供給し、そのシステム又は装置に含まれるコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。
【０１１３】
したがって、本発明の機能・処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。
【０１１４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１１５】
プログラムを供給するためのコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、記録媒体としては、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１１６】
また、プログラムは、クライアントコンピュータのブラウザを用いてインターネットのホームページからダウンロードしてもよい。すなわち、ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードしてもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードする形態も考えられる。つまり、本発明の機能・処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の構成要件となる場合がある。
【０１１７】
また、本発明のプログラムを暗号化してコンピュータ読み取り可能なＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体に格納してユーザに配布してもよい。この場合、所定条件をクリアしたユーザにのみ、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報で暗号化されたプログラムを復号して実行し、プログラムをコンピュータにインストールしてもよい。
【０１１８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現されてもよい。なお、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行ってもよい。もちろん、この場合も、前述した実施形態の機能が実現され得る。
【０１１９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ってもよい。このようにして、前述した実施形態の機能が実現されることもある。
【図１】
0005495612.tif 000002
【図２】
0005495612.tif 000003
【図３】
0005495612.tif 000004
【図４】
0005495612.tif 000005
【図５】
0005495612.tif 000006
【図６】
0005495612.tif 000007
【図７】
0005495612.tif 000008
【図８】
0005495612.tif 000009
【図９】
0005495612.tif 000010
【図１０】
0005495612.tif 000011
【図１１】
0005495612.tif 000012
【図１２】
0005495612.tif 000013
【図１３】
0005495612.tif 000014
【図１４】
0005495612.tif 000015
【図１５】
0005495612.tif 000016
【図１６】
0005495612.tif 000017
【図１７】
0005495612.tif 000018