(57)【要約】【課題】  カメラの台数と撮影対象数との関係が変わった場合でも、撮影が単調になるのを避け、無駄な映像を撮影したり、撮影すべき映像を撮影できなかったりすることを防ぐ。【解決手段】  一又は複数台のカメラ１と、カメラ１のカメラワークを制御する制御装置３とにより構成されるカメラ制御システムにおいて、撮影対象数を取得する撮影対象数取得部４と、撮影対象数取得部４により取得される撮影対象数とカメラ１の台数とを比較する比較部３３と、比較部３３による比較の結果に応じてカメラ１のカメラワークを制御するカメラワーク制御部３２及びカメラワーク選択部３４とを備えている。【選択図】  図２
2007067963.tif 000002
【特許請求の範囲】
【請求項１】
一又は複数台の撮像装置と、前記撮像装置を制御する制御装置とにより構成される撮像装置の制御システムであって、
撮影対象数を取得する撮影対象数取得手段と、
前記撮影対象数取得手段により取得される撮影対象数と前記撮像装置の台数とを比較する比較手段と、
前記比較手段による比較の結果に応じて前記撮像装置を制御する制御手段とを備えたことを特徴とする撮像装置の制御システム。
【請求項２】
前記比較手段による比較の結果、撮像装置の台数が撮影対象数以上である場合、前記制御手段は、余剰の撮像装置を決めることを特徴とする請求項１に記載の撮像装置の制御システム。
【請求項３】
前記余剰の撮像装置以外の撮像装置が撮影対象を追跡撮影することを特徴とする請求項２に記載の撮像装置の制御システム。
【請求項４】
前記余剰の撮像装置に、広角撮影、領域分割撮影、複数の撮影対象の撮影、特定の撮影対象の撮影のいずれかを行わせることを特徴とする請求項２又は３に記載の撮像装置の制御システム。
【請求項５】
前記余剰の撮像装置の電源を落とすことを特徴とする請求項２又は３に記載の撮像装置の制御システム。
【請求項６】
前記比較手段による比較の結果、撮像装置の台数が撮影対象数よりも少ない場合、前記制御手段は、注目すべき撮影対象を撮影する撮像装置を順次割り当てることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置の制御システム。
【請求項７】
一又は複数台の撮像装置を制御するための撮像装置の制御装置であって、
撮影対象数を取得する撮影対象数取得手段により取得される撮影対象数と前記撮像装置の台数とを比較する比較手段と、
前記比較手段による比較の結果に応じて前記撮像装置を制御する制御手段とを備えたことを特徴とする撮像装置の制御装置。
【請求項８】
一又は複数台の撮像装置を制御するための撮像装置の制御方法であって、
撮影対象数を取得する撮影対象数取得手段により取得される撮影対象数と前記撮像装置の台数とを比較する比較手順と、
前記比較手順による比較の結果に応じて前記撮像装置を制御する制御手順とを有することを特徴とする撮像装置の制御方法。
【請求項９】
一又は複数台の撮像装置を制御するためのコンピュータプログラムであって、
撮影対象数を取得する撮影対象数取得手段により取得される撮影対象数と前記撮像装置の台数とを比較する比較処理と、
前記比較処理による比較の結果に応じて前記撮像装置を制御する制御処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の制御システム、撮像装置の制御装置及び方法、並びにコンピュータプログラムに関し、例えばテレビ会議システム（リモート会議システム）、監視システム、遠隔講義中継システム等に利用して好適なものである。
【背景技術】
【０００２】
テレビ会議システムや監視システム等の分野においては、カメラと、カメラのパラメータ等をネットワークを介して遠隔から制御可能なユーザ端末とによりシステムが構成される。かかるシステムでは、ユーザが遠隔のカメラを制御し、それにより撮影された映像を受信して表示できるようになっている。この場合に、カメラの撮影姿勢を変えるために、パン・チルト・ズーム制御が可能な雲台付きカメラが用いられる。
【０００３】
さらに、テレビ会議や遠隔監視等の際に、ユーザが希望するカメラ姿勢等を簡単かつ瞬時に指示できるようにすることを目的として、例えば特許文献１では、雲台付きカメラで撮影した映像と、広角カメラにより撮影した映像とをパーソナルコンピュータに伝送するカメラ制御システムが開示されている。
【０００４】
図９に、特許文献１に開示されたカメラ制御システムの特徴をよく表現した図を示す。雲台付きカメラ８０１で撮影した映像と、雲台付きカメラ８０１で撮影できる全範囲を広角カメラ８０２で撮影した映像とを、画像デジタル回路８０３、画像処理回路８０４、８０５、画像符号化回路８０６、通信制御回路８０７を介してパーソナルコンピュータＰＣ８０８に伝送する。各映像をＰＣ８０８にて表示することにより、利用者はいま所望する詳細な映像だけでなく、その周辺の映像もほぼリアルタイムに近い形で見ることができるようになっており、これら映像を見ながら雲台付きカメラ８０１の撮影姿勢を遠隔制御することで、詳細画像の表示をその周辺の状況変化等に応じて瞬時に変えることができる。
【０００５】
【特許文献１】特開２０００−３２３１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１では、カメラの台数と撮影対象数（例えばテレビ会議システムの場合、参加者人数）との関係が変わることを想定していないため、撮影対象数が変わっても、雲台付きカメラのカメラ制御は同じであり、撮影が単調になってしまう。例えば、テレビ会議システムを想定し、一つの会議室に雲台付きカメラが３台で、参加者が３人の場合、１人１台に割り振って追跡撮影を行えばよいが、参加者が２人以下の場合、ほぼ同一の映像を複数のカメラで撮影することになり、無駄な映像を撮影することになる。逆に、参加者が４人以上の場合、撮影すべきにも関わらず撮影できない領域が発生してしまうおそれがある。また、会議の途中から参加者が２人から４人に増えたときや、逆に４人から２人に減ったときといったように、参加者人数が途中で変わった場合、カメラ制御の設定を変更する必要があった。このように、カメラの台数と撮影対象数との関係が変わることを想定したカメラ制御システムがないという課題は、特許文献１に開示されたものに限らず、従来のテレビ会議システムや監視システムに共通した課題である。
【０００７】
本発明は上記のような点に鑑みてなされたものであり、カメラの台数と撮影対象数との関係が変わった場合でも、撮影が単調になるのを避け、無駄な映像を撮影したり、撮影すべき映像を撮影できなかったりすることを防ぐことを目的とする。
【課題を解決するための手段】
【０００８】
本発明による撮像装置の制御システムは、一又は複数台の撮像装置と、前記撮像装置を制御する制御装置とにより構成される撮像装置の制御システムであって、撮影対象数を取得する撮影対象数取得手段と、前記撮影対象数取得手段により取得される撮影対象数と前記撮像装置の台数とを比較する比較手段と、前記比較手段による比較の結果に応じて前記撮像装置を制御する制御手段とを備えた点に特徴を有する。
本発明による撮像装置の制御装置は、一又は複数台の撮像装置を制御するための撮像装置の制御装置であって、撮影対象数を取得する撮影対象数取得手段により取得される撮影対象数と前記撮像装置の台数とを比較する比較手段と、前記比較手段による比較の結果に応じて前記撮像装置を制御する制御手段とを備えた点に特徴を有する。
本発明による撮像装置の制御方法は、一又は複数台の撮像装置を制御するための撮像装置の制御方法であって、撮影対象数を取得する撮影対象数取得手段により取得される撮影対象数と前記撮像装置の台数とを比較する比較手順と、前記比較手順による比較の結果に応じて前記撮像装置を制御する制御手順とを有する点に特徴を有する。
本発明によるコンピュータプログラムは、一又は複数台の撮像装置を制御するためのコンピュータプログラムであって、撮影対象数を取得する撮影対象数取得手段により取得される撮影対象数と前記撮像装置の台数とを比較する比較処理と、前記比較処理による比較の結果に応じて前記撮像装置を制御する制御処理とをコンピュータに実行させる点に特徴を有する。
【発明の効果】
【０００９】
本発明によれば、撮像装置の台数と撮影対象数との関係に応じて撮像装置を制御するようにしたので、撮影が単調になるのを避け、無駄な映像を撮影したり、撮影すべき映像を撮影できなかったりすることを防ぐことができる。特に、定常的に又は定期的に撮影対象数を取得するようにすれば、撮像装置の制御動作中に撮影対象者数に変更があった場合でも、その変更に応じて撮像装置を制御することが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
第１の実施形態として本発明をテレビ会議システム（リモート会議システム）に適用した例を説明する。図１はテレビ会議システムの全体構成を示す図である。会議室に設置されたテーブル６に対して着席位置が予め特定されており、図示例では、５つの着席位置Ａ〜Ｅが特定されているものとする。
【００１１】
図１において、カメラ１は会議の参加者を撮影するものであり、少なくとも一台、好ましくは複数台設置されている。各カメラ１はパン、チルト駆動が可能な雲台に搭載され、さらにズーム機構を備える。
【００１２】
映像表示装置２は同時に会議を行う遠隔地の映像を表示する。
【００１３】
カメラ制御装置３はカメラ１の制御を行うためのものである。本実施形態では、カメラ１が複数台ある場合、それら複数台のカメラ１を一つのカメラ制御装置３で制御するものとするが、一台のカメラ１につき一つのカメラ制御装置３で制御するようにしてもよい。
【００１４】
参加者人数取得部４は会議の参加者人数（撮影対象数）を取得する。この参加者人数取得部４についての詳細は後述する。
【００１５】
マイク５は着席位置Ａ〜Ｅごとにテーブル６上に載置され、カメラ制御装置３に接続する。
【００１６】
本システムにおいては、着席位置の数がカメラ１の台数よりも多いものとする。一例として、着席位置の数が５、カメラ１の台数が４であるとして説明する。また、カメラ１のパン・チルト・ズーム制御を適宜なものとすれば、すべての着席位置に参加者が着席している場合でも、設置されたカメラ１の台数で同時にすべての参加者を撮影することができるものとする。
【００１７】
図２はカメラ制御装置３の機能構成を示す図である。カメラ制御装置３において、参加者人数記録部３１は、参加者人数取得部４で取得される参加者人数が記録される。
【００１８】
カメラワーク制御部３２は、各カメラ１のパン・チルト・ズーム制御、すなわちカメラワーク制御を行う。カメラワーク制御部３２は、カメラ１の台数が参加者人数以上の場合にカメラワーク制御を行う第１のカメラワーク制御部３２ａと、カメラ１の台数が参加者人数よりも少ない場合にカメラワーク制御を行う第２のカメラワーク制御部３２ｂとを有する。なお、図示例では、一つのカメラワーク制御部３２が第１のカメラワーク制御部３２ａと第２のカメラワーク制御部３２ｂとを有する構成を示したが、第１のカメラワーク制御部３２ａと第２のカメラワーク制御部３２ｂとが別構成となっていてもよい。
【００１９】
比較部３３は、参加者人数記録部３１に記録された参加者人数と、カメラ１の台数とを比較する。
【００２０】
カメラワーク選択部３４は、比較部３３による比較の結果に応じて、カメラワーク制御部３２へカメラワークを指示する。また、カメラワーク選択部３４は、カメラ１の台数が参加者人数以上の場合にカメラワークを指示する第１のカメラワーク選択部３４ａと、カメラ１の台数が参加者人数よりも少ない場合にカメラワークを指示する第２のカメラワーク選択部３４ｂとを有する。なお、図示例では、一つのカメラワーク選択部３４が第１のカメラワーク選択部３４ａと第２のカメラワーク選択部３４ｂとを有する構成を示したが、第１のカメラワーク選択部３４ａと第２のカメラワーク選択部３４ｂとが別構成となっていてもよい。
【００２１】
画像処理部３５は、各カメラ１で撮影した映像をデジタル画像処理する。構図データベース３６は、ハードディスクなどの記録媒体によって構成され、構図データを格納する。
【００２２】
本実施の形態では、カメラ１ごとに、図３（ａ）、（ｂ）に示すように会議室全体の構図（画角）で撮影（広角撮影）するためのパラメータ（パン、チルトの角度、ズーム倍率）が事前に得られている。構図データベース３６には、図３（ａ）、（ｂ）に示すような構図で撮影するためのパラメータ（パン、チルトの角度、ズーム倍率）が各カメラ１の識別番号に紐付けられた状態で登録される。
【００２３】
また、構図データベース３６には、４台のカメラ１により撮影する基本となる構図データが登録されている（図４（ａ）〜（ｄ）を参照）。これら構図データは、テレビ会議の開始前に各カメラ１により撮影されたものであり、同時にすべての参加者を撮影したものとなっている。構図データベース３６には、図４（ａ）〜（ｄ）に示す各構図データとともに、これら構図で撮影するためのパラメータ（パン、チルトの角度、ズーム倍率）が各カメラ１の識別番号に紐付けられた状態で登録される。また、各カメラ１が着席位置Ａ〜Ｅのうちどれを撮影しているかについての情報も登録される。
【００２４】
以下、図５のフローチャートを参照して、本実施形態のテレビ会議システムにおける処理動作について説明する。テレビ会議の開始時に、その起動処理として、構図データベース３６からパラメータを取得し、４台のカメラ１により図４（ａ）〜（ｄ）に示した構図で撮影するようにカメラワーク制御を行う（ステップＳ１０１）。
【００２５】
また、比較部３３において、参加者人数記録部３１に記録された参加者人数と、カメラ１の台数とを比較する（ステップＳ１０２）。
【００２６】
比較部３３による比較の結果、カメラ１の台数が参加者人数以上の場合、各カメラ１で撮影した映像をデジタル画像処理して得られた画像と、構図データベース３６に登録されている基本となる構図データ（図４（ａ）〜（ｄ））とを照合する（ステップＳ１０３）。
【００２７】
照合の結果、人物が撮影されていないカメラ１があると判定した場合、そのカメラ１を余剰カメラとし、構図データベース３６から会議室全体の構図で撮影するためのパラメータを取得して、そのパラメータに従ってカメラワーク制御を行う。
【００２８】
また、照合の結果、すべてのカメラ１が少なくとも１人の参加者を撮影していると判定した場合、どのカメラ１がどの着席位置の人物を重複撮影しているか特定する。例えば、図４において、着席位置Ｃ、Ｄに人物が存在しないと判定された場合であって、着席位置Ｂに人物が存在すると判定された場合、図４（ｂ）、（ｃ）を撮影しているカメラ１が着席位置Ｂの人物を重複撮影していると特定する。そして、そのうちいずれか一方のカメラを余剰カメラとし、構図データベース３６から会議室全体の構図で撮影するためのパラメータを取得して、そのパラメータに従ってカメラワーク制御を行う。なお、本実施の形態では、着席位置に対応する画像領域において、カメラからの画像データと構図データベースに蓄積された構図データに差異が生じた場合、その着席位置に人物が存在しないと判断するものとする。また、図４（ａ）〜（ｄ）に示す構図データ内の着席位置が重複して撮影されている領域に関する情報が構図データベース３６に格納されているものとする。
【００２９】
以上のようにして余剰カメラが決められたならば（ステップＳ１０４）、余剰カメラ以外のカメラ１を追跡カメラとし、その後のカメラワークにおいて、参加者を追跡撮影するようにカメラワーク制御を行う（ステップＳ１０５）。
【００３０】
一方、比較部６での比較の結果、カメラ１の台数が参加者人数よりも少ない場合、人物追跡を行うためにはカメラ１の台数が足りない。そこで、参加者が発言するごとに、その発言者を注目すべき人物として撮影するカメラ１を順次割り当てる（ステップＳ１０７）。この場合に、発言者は、マイク５を用いて入力された音声出力レベルから特定する。
【００３１】
例えば最初にある人物が発言した場合、１番目に発言者を撮影するよう割り当てられたカメラ１によりその第１の発言者を撮影する。なお、構図上、１番目に発言者を撮影するよう割り当てられたカメラ１により第１の発言者を撮影できない場合は、その代替として、他のカメラ１（例えば２番目に発言者を撮影するよう割り当てられたカメラ１）により第１の発言者を撮影する。
【００３２】
また、１番目に発言者を撮影するよう割り当てられたカメラ１により第１の発言者を撮影している途中に第２の人物が発言したような場合、２番目に発言者を撮影するよう割り当てられたカメラ１によりその第２の発言者を撮影する。なお、発言が続き、新たな発言者に割り当てるカメラ１がなくなった場合は、最も以前に割り当てられたカメラ１を新たな発言者に割り当てる制御が実行される。
【００３３】
なお、ここではマイク５を利用したが、カメラ１からの画像に基づいてジェスチャを行っている人物を特定し、その人物を注目すべき人物とするようにしてもよい。また、マイク５でなく、カメラ１からの画像に基づいて人の口元の動きを判定し、発言者を特定するようにしてもよい。
【００３４】
基本的には、終了指示があるまで、ステップＳ１０５による撮影、或いは、ステップＳ１０７による撮影を続行するが（ステップＳ１０６、Ｓ１０８）、例えば参加者人数取得部４が定常的に又は定期的に参加者人数を取得し、ステップＳ１０５、Ｓ１０７での撮影途中に参加者人数に変化があった場合、ステップＳ１０２に戻るようにすればよい。
【００３５】
ここまではカメラ１の制御について説明してきたが、以下では、図６、７を参照して、参加者人数を取得する参加者人数取得部４について説明する。図６に示す例は、参加者人数を入室時にカウントし、参加者人数記録部３１に記録する構成としたものである。また、図７に示す例は、参加者が集まってから、すなわち参加者を入室後にカウントし、参加者人数記録部３１に記録する構成としたものである。
【００３６】
図６（ａ）に示す例は、参加者は名札等に組み込まれているタグ１１を身に付け、会議室に入室するごとにリーダ１２で認識させるものである。リーダ１２は、会議室に入室した人数から会議室にいる人数を求め、それを参加者人数として参加者人数記録部３１に記録する。
【００３７】
また、図６（ｂ）に示す例は、参加者の入室をカメラ１で撮影し、その撮影画像を画像処理部３５でデジタル画像処理して人の画像を抽出する等して、参加者人数を参加者人数記録部３１に記録するようにしたものである。
【００３８】
一方、図７（ａ）に示す例は、参加者が会議室に入室し、着席した状態をカメラ１で撮影し、その撮影画像を画像処理部３５でデジタル画像処理して人の画像を抽出する等して、参加者人数を参加者人数記録部３１に記録するようにしたものである。
【００３９】
また、図７（ｂ）に示す例は、会議室のテーブル上にリーダ１２を設置し、参加者が身に付けている名札等に組み込まれているタグ１１から参加者人数をカウントし、参加者人数記録３１に記録するようにしたものである。
【００４０】
以上述べたように、カメラ１の台数と参加者人数との関係に応じてカメラワークを制御するようにしたので、撮影が単調になるのを避け、無駄な映像を撮影したり、撮影すべき映像を撮影できなかったりすることを防ぐことができる。
【００４１】
（他の実施形態）
カメラ１の台数が参加者人数以上の場合に、余剰カメラが広角撮影でなく、予め設定登録された特定の人物（会議の意思決定者等）を撮影したり、複数人を撮影したりするようにしてもよい。また、余剰カメラに行わせる撮影の種類を、会議室や遠隔地でその都度選択できるようにしてもよい。さらに、省電力化を測るために余剰カメラの電源を落とすようにしてもよい。
【００４２】
また、カメラ１の台数が参加者人数以上の場合に余剰カメラを決めるに際して、上記第１の実施形態のように構図データベース３６を用いる以外に以下に示す方法が考えられる。図８に示すように、それぞれの参加者の顔又は体の少なくともいずれかの正面を基準に所定の角度の範囲、例えば正面から±３０度以内で撮影できるカメラ１と、正面を基準に所定の角度の範囲を超えるカメラ１とを分別する。そして、前者のカメラ１を参加者追跡カメラとし、後者のカメラ１を余剰カメラと決めるようにしてもよい。
【００４３】
具体的には、ある参加者について、複数のカメラ１が顔又は体の少なくともいずれかの正面を基準に所定の角度の範囲に入った場合は、その角度が最も小さなカメラ１を参加者追跡カメラとする。図８では、参加者Ａについて正面から所定の範囲（±３０度以内）のカメラ１はカメラ１ａ、１ｂ、１ｃとなるが、その中で最も正面に近い状態で撮影できるカメラ１はカメラ１ａであり、また、参加者Ｂについて最も正面に近い状態で撮影できるカメラ１はカメラ１ｄなので、それぞれを参加者追跡カメラとして設定することになる。すなわち、参加者追跡カメラに該当しないカメラ１はカメラ１ｂ、１ｃである。なお，ここでは参加者の顔又は体の少なくともいずれかの正面を基準としたが、正面からオフセットの角度をもたせたところを基準としてもよい。
【００４４】
以上説明した実施形態ではテレビ会議システム（リモート会議システム）を例として説明したが、これに限定されるものではない。例えば、セキュリティ用途では監視カメラ、教育や訓練では遠隔講義中継に用いることができる。さらに、撮影対象を競技者に限定すれば、あらかじめカメラ１の台数と参加者人数が既知であるが、参加者人数を競技者だけの場合と、競技者と観戦者の場合とで選択すればスポーツ中継に用いても有効である。
【００４５】
なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、カメラ制御装置３のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００４６】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４７】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４８】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００５０】
【図１】本実施形態のテレビ会議システムの全体構成を示す図である。
【図２】カメラ制御装置の機能構成を示す図である。
【図３】広角撮影時の構図の例を示す図である。
【図４】構図データベースに登録される構図データの例を示す図である。
【図５】本実施形態のテレビ会議システムにおける処理動作について説明するためのフローチャートである。
【図６】参加者人数取得手段について説明するための図である。
【図７】参加者人数取得手段について説明するための図である。
【図８】余剰カメラを決める別の手法を説明するための図である。
【図９】従来のカメラ制御システムの構成を示す図である。
【符号の説明】
【００５１】
１    カメラ
２    映像表示装置
３    カメラ制御装置
４    参加者人数取得部
５    マイク
６    テーブル
３１  参加者人数記録部
３２  カメラワーク制御部
３３  比較部
３４  カメラワーク選択部
３５  画像処理部
３６  構図データベース
【図１】
2007067963.tif 000003
【図２】
2007067963.tif 000004
【図３】
2007067963.tif 000005
【図４】
2007067963.tif 000006
【図５】
2007067963.tif 000007
【図６】
2007067963.tif 000008
【図７】
2007067963.tif 000009
【図８】
2007067963.tif 000010
【図９】
2007067963.tif 000011