(57)【要約】【課題】    学生、一般聴講者等が端末を見てもめまいを起こさないと共に、教師側が質問者の顔を画面上で把握でき、かつ遠隔地点でも講義に参加している感じが得られる移動体撮像システムを得る。【解決手段】  教壇側を視野とする第１の撮像手段３と、教壇側から学生側を視野とする第２の撮像手段４とを備え、第１の撮像手段３は、第１の広角カメラ１及び第１の追尾用カメラ２を有し、第２の撮像手段４が第２の広角カメラ５と第２の追尾用カメラ６を有する。そして、第１の撮像手段３によって、教壇上のターゲット（学生、先生）を検出し、新たなターゲットが多数であってもズームアップして追尾する。また、第２の撮像手段４によって、ホストコンピュータ１０のモニタに受講学生全員の画像又は質問者のズームアップ画像を表示することを可能する。【選択図】      図１
2005033570.tif 000002
【特許請求の範囲】
【請求項１】
聴講会場の講師が講義する教壇側の映像をネットワークを介して受講者端末に提供する一方、前記講師から受講者側を見た受講者側の映像を、講師側の端末、指定の端末に提供する移動体撮像方法であって、
（ａ）．前記講師側の第１の広域映像、第１のズーム映像からなる講師側画像を第１の撮像手段で撮影させる工程と、
（ｂ）．前記受講者側の第２の広域映像及び第２のズーム映像からなる受講者側画像を第２の撮影手段で撮影する工程とを有し、
主制御装置は、
（ｃ）．前記第１の撮像手段の前記講師側画像を前記ネットワークを介して前記講師側の端末又は指定の端末に提供する工程と、
（ｄ）．前記講師側画像の第１の広域映像から第１のターゲットを検出して追尾すると共に、その第１のターゲットの前記第１のズーム映像を前記ネットワークを介して前記講師側の端末、指定の端末に提供する工程と、
（ｅ）．前記第２の撮像手段の受講者側画像を前記ネットワークを介して前記講師側の端末又は指定の端末に提供する工程と、
（ｆ）．前記受講者側画像から第２のターゲットを検出して前記講師の端末、指定の端末に前記第２のターゲットの第２のズーム映像を撮影させて前記ネットワークを介して前記講師の端末、指定の端末に提供する工程と
を有することを特徴とする移動体画像提供方法。
【請求項２】
（ｇ）．予め設定されているモードに基づいて、前記（ａ）、（ｃ）、（ｄ）の工程とからなる組み合わせ又は前記（ｂ）、（ｅ）、（ｆ）の工程とからなる組み合わせを選択する工程と、  
を有することを特徴とする請求項１記載の移動体画像提供方法。
【請求項３】
前記指定の端末は、遠隔地点の遠隔視聴者端末又は前記聴講会場内の受講者の端末であることを特徴とする請求項１又は２のいずれかに記載の移動体画像提供方法。
【請求項４】
ホストコンピュータが聴講会場の講師が講義する教壇側の映像をネットワークを介して受講者端末に提供する一方、前記講師から受講者側を見た受講者側の映像を、講師側の端末、指定の端末に提供する移動体画像提供システムであって、
前記講師側の広域映像を撮影する第１の広角カメラ及びパン、チルト動作でズーム映像を撮影する第１の追尾カメラとからなる第１の撮影装置と、
前記受講者側の広域映像を撮影する第２の広角カメラ及びパン、チルト動作でズーム映像を撮影する第２の追尾カメラとからなる第２の撮影装置と、
前記第１の広角カメラの広域映像から前記講師側のターゲットを検出して追尾すると共にその第１のズーム映像を前記第１の広角カメラの広域映像に代わって前記第１のズーム映像を送信する第１の主制御装置と、
前記第２の撮影装置からの第２の広域映像に動きがあったときは、その動き検出画像に基づく受講者側のターゲットを認識した位置に前記第２の追尾カメラを制御して、その受講者側のターゲットの第２のズーム映像を撮影させ、該第２のズーム映像を送信する第２の主制御装置と、
前記ホストコンピュータは、
前記講師の端末が指定したモードに基づいて前記第１の撮影装置と前記第２の主制御装置との組み合わせ又は前記第２の撮像装置と前記第２の主制御装置との組み合わせで動作させる手段と、
前記第１の主制御装置からの第１の広角カメラの映像、前記第１のズーム映像、前記第２の主制御装置からの第２の広角カメラの映像、前記第２のズーム映像を前記講師側の端末、遠隔地点の受講者端末に送信する手段と
を有することを特徴とする移動体画像提供システム。
【請求項５】
前記第１の撮像装置、第２の撮像装置は、一方を、パン及びチルト動作する追尾撮像手段とし他方を一定視野角で一定方向を撮像する監視撮像手段として、監視映像領域内における移動体のズームイン又はズームアウト映像を得ることを特徴とする請求項４記載の移動体画像提供システム。
【請求項６】
前記第２の主制御装置、第１の主制御装置は、
予め設定されている検出領域に前記移動体を検出したときは、該検出毎に、前記移動体が予め設定されているセンスエリアに存在するかどうかを判定する手段と、
前記ターゲットが前記センスエリアに所定個数以下存在しているときは、これらのターゲットが含まれる所定のズーム比になるまで、段階的にズームアウトさせる手段と、
を有することを特徴とする請求項４又は５のいずれかに記載の移動体画像提供システム。
【請求項７】
前記ターゲットの認識は、
動き検出エリアと、センスエリアとを有し、前記広域映像のターゲットが前記動き検出エリアに新たに存在し、かつ前記センスエリアに存在したときにそのターゲットの位置に前記ズームインさせることを特徴とする請求項４、５又は６のいずれかに記載の移動体画像提供システム。
【請求項８】
前記第１の主制御部、第２の主制御部はホストコンピュータに接続され、
ホストコンピュータは、
少なくとも、受講モード及び視聴覚モードを有し、受講モードが選択されたときは、前記第２の主制御部を介して前記第２の撮像手段を動作させて前記受講者のズーム映像を撮影させる手段と、
前記視聴覚モードが選択されたときは、前記第１の主制御部を介して前記第１の撮像手段を動作させて前記講師側のズーム映像を撮影させる手段と、
前記受講モード、視聴覚モードの両方が選択されたときは、前記第１の主制御部及び第２の主制御部を動作させて、受講者側のズーム映像、講師側のズーム映像を撮影させる手段と
を有することを特徴とする請求項４、５、６又は７のいずれかに記載の移動体画像提供システム。
【請求項９】
前記ホストコンピュータは、ｗｅｂサーバ機能を有し、前記講師側の端末から外部の受講者端末の選択があったとき、前記外部の受講者端末に対して、撮影コマンドを送信して、前記外部の受講者端末から外部の受講者の映像を送信させ、これを講師側端末に提供する手段
を有することを特徴とする請求項４、５、６、７又は８のいずれかに記載の移動体画像提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数台の撮像装置を用いて移動対象物となる移動物体を適切に捉えて、当該移動物体の状況に合わせて映像を適宜な速度で追尾可能とする移動体画像提供システムに関するものである。
【背景技術】
【０００２】
近年、スーパーマーケットやコンビニエンスストア、パチンコなどの大型店舗が増加している。
【０００３】
このような店舗は、市民生活態様の変化に伴って、営業時間が深夜に及びものなど長時間化する傾向にある。このため、テレビカメラ（ＴＶ）により、昼夜お客や店員の行動を監視する監視システムが多く利用される傾向にある。  そして、このような監視システムにより、お客の混雑度の把握及び犯罪等を未然に防ぐように考慮されていることは周知のことである。
【０００４】
しかして、近年のマルチメディア関連技術の発展およびネットワーク技術の大幅な普及に伴ない大容量の情報をネットワーク上に送信できるブロードバンドが採用されている。
【０００５】
このようなブロードバンドは、例えば1.5Ｍ，８Ｍ〜２０Ｍなど大容量情報を送信することができるため、ＴＶカメラを用いた遠隔地医療システムおよび遠隔地教育など高精細度情報の送信にも採用されつつあるのが現状である。
【０００６】
つまり、ＴＶカメラによる遠隔地視聴システムにより時間および空間を超えた形での情報の取得が可能となっている。
【０００７】
例えば大学の講義、結婚式、コンサート等の映像をリアルタイムで遠隔地に送信して、遠隔地のユーザが視聴できるようになっている。
【０００８】
また、遠隔地視聴システムのような教育または監視にも使える撮像システムでは、例えば特許文献１の特開平5−334572号公報がある。この文献１は、監視のための広角用のＴＶカメラと追尾用のＴＶカメラを共用して一方で全体空間を撮影し、その全体映像より映像の変化を捉えて他方の追尾用のＴＶカメラで映像を取得している。
【特許文献１】特許文献１：特開平５−３３４５７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記のような方式は、一方向から見た映像を配信するシステムであるから、例えば学校の講義においては、教壇側の映像は配信できるが、質問者の顔をとらえた映像は配信できないという課題があった。
【００１０】
例えば、大教室で講義を行った場合には、講師と学生との距離があって、質問者の顔を教師が把握できないことになる。
【００１１】
さらに、上記したような撮像システムを使用して例えば遠隔地視聴教育を行う場合、通常の監視システムに採用されている自動追尾システムをそのまま利用すると、例えば教壇上の教師の行動を捉えようとした時は、追尾性能がそのまま反映され端末機の視聴者（学生）にとっては、送信さけれる追尾映像の目まぐるしい変化に対応することができず、めまいを起こしてしまうばかりか、講義などを集中して視聴できる状態にならない。
【００１２】
このようなことを解決するために、カメラを人的に操作したのではこれまた生産性が低下するばかりか人件費もかさみ、さらにカメラマンの各人の感性により撮影された映像の品位にばらつきが生じて、これまた有効な手段ではない。
【００１３】
従って、学生、一般聴講者等が端末を見てもめまいを起こさないと共に、教師側が質問者の顔を画面上で把握できると共に、講義中における教師側の映像、質問者の顔の映像を配信して、遠隔地点でも講義に参加している感じが得られるシステムを得ることが望ましい。
【課題を解決するための手段】
【００１４】
本発明は、聴講会場の講師が講義する教壇側の映像をネットワークを介して受講者端末に提供する一方、前記講師から受講者側を見た受講者側の映像を、講師側の端末、指定の端末に提供する移動体撮像方法である。
【００１５】
（ａ）．前記講師側の第１の広域映像、第１のズーム映像からなる講師側画像を第１の撮像手段で撮影させる工程と、（ｂ）．前記受講者側の第２の広域映像及び第２のズーム映像からなる受講者側画像を第２の撮影手段で撮影する工程とを有する。
【００１６】
主制御装置は、（ｃ）．前記第１の撮像手段の前記講師側画像を前記ネットワークを介して前記講師側の端末又は指定の端末に提供する工程と、（ｄ）．前記講師側画像の第１の広域映像から第１のターゲットを検出して追尾すると共に、その第１のターゲットの前記第１のズーム映像を前記ネットワークを介して前記講師側の端末、指定の端末に提供する工程と、（ｅ）．前記第２の撮像手段の受講者側画像を前記ネットワークを介して前記講師側の端末又は指定の端末に提供する工程と、（ｆ）．前記受講者側画像から第２のターゲットを検出して前記講師の端末、指定の端末に前記第２のターゲットの第２のズーム映像を撮影させて前記ネットワークを介して前記講師の端末、指定の端末に提供する工程とを備えたことを要旨とする。
【００１７】
また、本発明は、ホストコンピュータが聴講会場の講師が講義する教壇側の映像をネットワークを介して受講者端末に提供する一方、前記講師から受講者側を見た受講者側の映像を、講師側の端末、指定の端末に提供する移動体画像提供システムである。前記講師側の広域映像を撮影する第１の広角カメラ及びパン、チルト動作でズーム映像を撮影する第１の追尾カメラとからなる第１の撮影装置と、前記受講者側の広域映像を撮影する第２の広角カメラ及びパン、チルト動作でズーム映像を撮影する第２の追尾カメラとからなる第２の撮影装置と、前記第１の広角カメラの広域映像から前記講師側のターゲットを検出して追尾すると共にその第１のズーム映像を前記第１の広角カメラの広域映像に代わって前記第１のズーム映像を送信する第１の主制御装置と、前記第２の撮影装置からの第２の広域映像に動きがあったときは、その動き検出画像に基づく受講者側のターゲットを認識した位置に前記第２の追尾カメラを制御して、その受講者側のターゲットの第２のズーム映像を撮影させ、該第２のズーム映像を送信する第２の主制御装置とを備える。
【００１８】
前記ホストコンピュータは、  前記講師の端末が指定したモードに基づいて前記第１の撮影装置と前記第２の主制御装置との組み合わせ又は前記第２の撮像装置と前記第２の主制御装置との組み合わせで動作させる手段と、  前記第１の主制御装置からの第１の広角カメラの映像、前記第１のズーム映像、前記第２の主制御装置からの第２の広角カメラの映像、前記第２のズーム映像を前記講師側の端末、遠隔地点の受講者端末に送信する手段とを備えたことを要旨とする。
【発明の効果】
【００１９】
以上のように本発明によれば、講師の講義中には講師の動きを追尾しながら、その講師のズーム映像が遠隔視聴者端末に表示される。また、教室内で質問があったときは、講師側のモニタ、遠隔視聴者端末には質問者のズームイン画像が得られるので、講師、遠隔視聴者はどんな方が質問したかを把握できるという効果がある。
【００２０】
また、視聴者側の端末には、講師がセンスエリア内にあって移動すると、その講師のズーム映像（ズームイン）が表示され、センスエリアを出たときはズームアウト映像に直ちに代わるので、視聴者はめまいを覚えることなく自然に見ることができる。
【００２１】
このため、特定のプロのカメラマンのような人を利用する事も無いので、コストを低減できる。
【００２２】
また、外部の視聴者の端末に講義の映像（講師側、教室内の質問者）を提供して、視聴者から質問があったときに、その顔映像を講師の端末に表示するので、遠隔地点の視聴者と、教室内の視聴者と、講師が同じ教室にいる感覚で受講できるという効果がある。
【００２３】
さらに、教壇に多数の学生が上がった場合は、学生数に応じたズーム比の画像を遠隔視聴者端末に提供するので、教壇の多数の学生の映像を所定のズーム比で遠隔視聴者が見ることができる。
【発明を実施するための最良の形態】
【００２４】
＜実施の形態１＞
図１は実施の形態１の移動体画像提供システムの概略構成図である。図１に示すように、教壇側を視野とする第１の撮像手段３と、教壇側から学生側を視野とする第２の撮像手段４とを備え、第１の撮像手段３は、第１の広角カメラ１及び第１の追尾カメラ２を有している。また、第２の撮像手段４が第２の広角カメラ７と第２の追尾用カメラ６を有している。
【００２５】
そして、第１の撮像手段３によって、教壇上のターゲット（学生、先生）を検出し、この学生ターゲットが多数のときには、学生ターゲット人数に応じた一定のズーム率で追尾撮影し、その追尾映像をホストコンピュータ１０（先生側に配置）が遠隔視聴者端末３１に送信する。また、学生ターゲットが１個の場合は、この学生ターゲットを追尾し、停止したときにズームインする。
【００２６】
さらに、第２の撮像手段４によって、教室内の学生全員の画像（受講者画像又は視聴者画像という）又は質問者のズームアップ画像を撮影し、これらの画像をホストコンピュータ１０（教壇側に設ける）がモニタ８に表示することを可能としている。
【００２７】
（各部の構成）
前述の第１の追尾用カメラ２（ドームカメラ）及び第２の追尾用カメラ６はドーム状の外形形状を呈し内部にはカメラ部（図示せず）を備え、基部にはカメラ部をパン及びチルト動作させる駆動部をそれぞれ内蔵して天井等に固定されている。
【００２８】
また、第１の広角カメラ１は第１の追尾用カメラ２の後方になるように、第２の広角カメラ７は第２の追尾用カメラ４の後方になるように、それぞれ所定間隔をおいて教室の天井に取り付けられている。第１の広角カメラ１は、追尾用カメラ２のドーム下部と教壇とを視野としている。第２の広角カメラ７は、第２の追尾用カメラ６の下部と学生側（聴講者側）を視野としている。
【００２９】
また、第１の追尾用カメラ２及び第１の広角カメラ１は、第１の自動追尾装置１２に接続され、この第１の自動追尾装置１２によって遠隔制御される。この第１の自動追尾装置１２は、第１の画像出力装置１３に接続されている。これらを総称して教壇側監視用主制御装置１４ともいう。
【００３０】
一方、第２の撮像手段４は、図１に示すように、教壇側から受講学生を監視する第２の広角カメラ７と第２の追尾カメラ６とを第２の自動追尾装置１６に接続し、第２の自動追尾装置１６は第２の画像出力装置１７に接続している。これらを総称して生徒側監視用主制御装置１９ともいう。
【００３１】
前述の第１の自動追尾装置１２及び第２の自動追尾装置１６は、それぞれがＣＰＵ、ＤＳＰ、ＲＡＭ、ＲＯＭ等（図示せず）によって、動き検出部、ターゲット追尾部、多数ターゲット範囲設定部、追尾カメラ制御部（ズーム機能を含む）等を実現している。
【００３２】
すなわち、広角カメラで捉えた広域映像の動き検出エリア内の移動体（学生、先生、…等：ターゲット）を動き検出部で検出し、移動体が学生であり、その学生数が一定数であれば、これらの学生を視野とする範囲を多数ターゲット範囲設定部が定めると共に、その中心を追尾点とする。そして、ターゲット追尾部がこの追尾点を追尾する。
【００３３】
つまり、多数のターゲットが存在したときは、一定のズーム率で追尾撮影を可能にしている。
【００３４】
第１の画像出力装置１３及び第２の画像出力装置１７は、自動追尾装置１２からの教壇監側視画像、自動追尾装置１６からの学生側監視用画像を入力し、これらの画像を増幅してホストコンピュータ１０の主コンピュータ２１に送出する。
【００３５】
（自動追尾装置の構成）
第１の自動追尾装置１２、第２の自動追尾装置１６は図２に示す構成を有している。本実施の形態では、第１の自動追尾装置１２を代表にして説明する。
【００３６】
図２は第１の自動追尾装置１２の概略構成図である。図２に示すように、第１の自動追尾装置１２は、動き検出部１２０と、ターゲット追尾部１２１と、追尾カメラ制御部１２２と、多数ターゲット範囲設定部１２３等を備えている。
【００３７】
動き検出部１２は、第１の広角カメラ１の光電変換された出力信号をデジタル画像信号に変換して第１のフレームメモリに保存し、第２のフレームメモリ（前回の画像用）に保存されている画像の画素値（例えば輝度）の差分を画素毎に求め、その差（絶対値）が大きい画素を「１」、小さい画素を「０」とした画素を生成（これを動き検出画像と本実施の形態では称する）する。前述の動き検出のために、動き検出部１２０は、メモリ１２４に予め設定されている動き検出エリア、マスクエリア等に基づいてターゲットを検出する。
【００３８】
ターゲット追尾部１２１は、動き検出画像から値「１」の画素の「島（連結領域）」を切り出し、この切り出したターゲットが予め設定されているセンスエリアに存在するときに新たなターゲットと認識する。そして、切り出されたターゲットに対するシンボル符号（ターゲットがいると推定される座標を含むシンボル符号：追尾位置情報）を生成する（追尾）。但し、システム起動直前は、１個のターゲットのみを検出する。また、多数のターゲットを検出したとき、シンボル符号（追尾位置情報ともいう）を多数ターゲット範囲追尾設定部に出力する。
【００３９】
また、１個のターゲットを検出している場合に、そのターゲットが動きを停止したときは、ターゲット追尾停止信号（シンボル符号を含む）を出力している。
【００４０】
多数ターゲット範囲追尾設定部１２３は、図３に示すように、センスエリアに、例えば第１ターゲット（先生）の他に、第２ターゲット（学生）、第３ターゲット（学生）を示すシンボル符号（２個）がターゲット追尾部１２１から入力したときは、このシンボル符号に対応する第２のターゲット、第３のターゲットを引き当てる。つまり、第１のターゲット（先生）は、除かれる。
【００４１】
そして、第２のターゲット、第３のターゲットの重心を定め、センスエリアの両端から第２のターゲット、第３のターゲットの重心までの距離（Ｌ１、Ｌ２）を求め、センスエリア長ＬからＬ１、Ｌ２を引いて、所定の長ｍを加算して水平範囲を定める。そして、所定高さｈの範囲Ｇｉを求め、この範囲の中心を追尾位置とする。つまり、第２，第３のターゲットの重心を結ぶ直線上に範囲Ｇｉの追尾点が定められる。
【００４２】
ターゲット追尾部１２１は、範囲Ｇｉと、追尾点（座標位置）とからなる追尾情報を追尾カメラ制御部１２２に出力する。
【００４３】
追尾カメラ制御部１２２は、第１の追尾カメラ２のチルト角、パン角、ズーム比等を記憶し、前述の追尾情報を入力する毎に、この追尾情報の追尾位置に基づくチルト角、パン角を制御させてターゲットが第１の追尾カメラ２の視野角内に収まるようにして、かつ範囲Ｇｉのズーム比を制御する。この制御は、目的の角度になるように、それぞれの角度と速度とをそれぞれ制御する。つまり、追尾位置を目標値とする速度制御を行って角度制御に切り替えている。
【００４４】
映像重ね部３１は、広角カメラ１からの広角カメラ映像又は追尾カメラ映像若しくは両方の映像を重ね合わせて画像出力装置１３に送出する。
【００４５】
但し、学生側監視用主制御装置１９の自動追尾装置１６は、第２の送受信装置１９に接続され、システムオンに伴って、第２の広角カメラ７の広角カメラ映像（生徒側広角カメラ映像）を画像出力装置１７を介してホストコンピュータ８に送出する。
【００４６】
また、第２の自動追尾装置１６は、システムオン後に第１のターゲット（先生）が得られた場合において、学生が立ち上がったときは、その学生の移動を検出して質問者のターゲット）と認識し、所定のズーム比でズームアップさせる。そして、このズームアップ映像をホストコンピュータ８に送出する。
【００４７】
このときのセンスエリア及び検出エリアは、図４に示すように着席範囲に対して上に長方形の形で設定されている。
【００４８】
一方、ホストコンピュータ１０は、アクセスポイントである送受信装置２５に接続されている。
【００４９】
また、モニタ８に対して学生監視用制御装置１９からの学生画像または遠隔視聴者端末３１が撮影した遠隔者画像を表示させる。
【００５０】
また、ホストコンピュータ１０は、教壇監視用主制御装置１４からの教壇側画像をネットワーク（ブロードバンド）を介して遠隔視聴者端末３１に送信する。
【００５１】
さらに、ホストコンピュータ１０には、スピーカ（図示せず）、液晶ＴＶが接続され、スピーカからは質問者（遠隔視聴者、学生、）及び先生の音声を発生させ、携帯コントローラ２８の指示に基づいて遠隔視聴者の映像を液晶ＴＶ（プロジェクタでもよい）に表示させる。
【００５２】
また、本実施の形態は大教室で使用する場合もある。このような場合は広角カメラ、追尾用カメラは、図５（ａ）に示すように多数設ける場合もある。また、図５（ｂ）に示すように、階段教室の床に対して光軸中心が平行になるように広角カメラを設け、追尾用カメラを広角カメラの上に設けてもよい。
【００５３】
さらに、ホストコンピュータ１０は、教室番号に年月日、講義開始時間、終了時間、講義名、担当講師名等を対応させた講義情報を予め保存している（図６）参照）。この講義情報は、月単位、週単位で管理するのが好ましい。
【００５４】
さらに、ホストコンピュータ１０は、図７に示すモード表が予め記憶されている。このモード表は視聴覚教室モード、受講モード、監視モード等があり、マスク、ペン、チルト、速度、センス色等を行うかどうかを決めるものである。
【００５５】
例えば、図８に示す表示される視聴覚教室モード、受講モード、監視モードが選択されると、ホストコンピュータのモード表に対応したマトリックスで基準の制御情報が決まるようにしている。そして、選択されたマトリックス情報が自動追尾装置に設定される。
【００５６】
さらに、図示しない各設備のコントロールボックスに接続され、このコントロールボックスは、液晶ＴＶ、ビュアー、プロゼェクター、照明コントロールボックス等に接続されている。
【００５７】
（動作説明）
図９は本実施の形態１のシステムの動作を説明するシーケンス図である。本実施の形態では、教室内の質問者は立ち上がることにしている。また、遠隔視聴者は、質問がある場合は、端末３１に表示している質問ボタンを選択すると決めている。
【００５８】
このような取り決めの元で、先生は教室に入ると、携帯コントローラ２８を操作して、システムオン（受講モード）をホストコンピュータ１０に送信させる（ｄ１）。ホストコンピュータ１０は、システムオン信号を送受信装置２５を介して受信したときは、直ちに学生側監視用主制御装置１９及び教壇監視用主制御装置１４を起動させる（ｄ２）。このシステムオン信号は、携帯コントローラ２８のＩＤ、送受信装置２５のＩＤ、講師コード（講義名、担当講師、年月日、時間）からなる。
【００５９】
また、ホストコンピュータ１０は、システムオン信号を受信したときは、予め保存されている該当の教室の初期教室画像（図１０参照）を抽出してモニタ８に送信する（ｄ３）。
【００６０】
また、教壇側監視用主制御装置１４は、システムオンに伴って広角カメラ１が撮影した教壇側画像をホストコンピュータ１０に送出し（ｄ４）、ホストコンピュータ１０は教壇側画像をネットワークを介して遠隔者端末３１に送信し（ｄ５）、かつモニタ８に送出する（ｄ６）。このときの教壇側画像の推移については後述する。
【００６１】
また、学生側監視用主制御装置１９は、システムオンに伴って広角カメラ７が撮影した学生側画像をホストコンピュータ１０に送出する（ｄ７）。ホストコンピュータ１０は学生側画像の入力に伴って、教壇側画像に代えて学生側画像をモニタ８に出力する（ｄ８）。
【００６２】
そして、学生が立ち上がると、学生側監視用主制御装置１９は、この学生を含んだ学生側画像をホストコンピュータ１０に送出し（ｄ９）、ホストコンピュータ１０は遠隔視聴者端末３１及びモニタ８に送信する（ｄ１０、ｄ１１）。
【００６３】
学生側監視用主制御装置１９は、図４に示すように、動き検出エリア（センスエリアと同じにしている）を設定しているので、学生が立ち上がったときは、動き検出部がその学生の動き検出画像をとらえる。
【００６４】
次に、ターゲット追尾部１２１が図４に示すセンスエリアに存在しているときは新たなターゲットとして認識し、このターゲット（質問者ターゲット）の重心（中心部）を決めて追尾カメラ制御部１２２に追尾させると共に、所定のズーム比で質問者ターゲットをズームインさせる（図１１参照）。
【００６５】
すなわち、学生側監視用主制御装置１９からは、この質問者のズームイン画像がホストコンピュータ１０に送出される（ｄ１２）。
【００６６】
ホストコンピュータ１０は、質問者のズームイン画像を遠隔視聴者端末３１及びモニタ８に送信する（ｄ１３、ｄ１４）。すなわち、遠隔視聴者端末３１及びモニタ８には、立ち上がって質問の意思を示した質問者のズームアップ画像が表示されることになる。
【００６７】
そして、図９に示すように、質問者が座ると、図４に示すセンスエリア及び動き検出エリアを出ることになるからターゲット追尾部１２１は、その質問者のターゲットの追尾を解除する。この追尾解除に伴って、追尾カメラ制御部１２２は、学生全員をとらえるズーム比でズームアウトする。
【００６８】
すなわち、前述の教壇側画像がホストコンピュータ１０に送出されて（ｄ１５）、モニタ８及び遠隔視聴者端末３１に送信される（ｄ１６，ｄ１７）。
【００６９】
一方、遠隔視聴者が遠隔視聴者端末３１の質問ボタン（図示せず）を操作して質問する場合もある。この質問ボタンの選択によって、遠隔視聴者端末３１は、視聴者ＩＤと質問コードとをホストコンピュータ１０に送信する（ｄ１８）。
【００７０】
ホストコンピュータ１０には、教室番号に年月日、講義開始時間、終了時間、講義名、担当講師名、視聴者登録許可ＩＤ等を対応させた講義情報を予め保存している。この講義情報は、月単位、週単位で管理するのが好ましい。
【００７１】
ホストコンピュータ１０は、遠隔視聴者端末３１からの視聴者質問情報の視聴者ＩＤと講義情報とを比較し、一致しるＩＤが存在したときは、その視聴者からの質問を受け付け、視聴者ＩＤに対応させて記憶している地域名及び氏名（遠隔質問者情報）をモニタ８に送信する（ｄ１９）。つまり、どこの誰かが分かるようにしている。
【００７２】
先生は携帯コントローラ２８を操作してモニタ８に表示された遠隔質問者情報を選択すると（ｄ２０）、ホストコンピュータ１０は直ちに遠隔視聴者端末３１に対して映像要求コマンドを送信し（ｄ２１）、遠隔地点の視聴者の画像を撮影させて送信させる（ｄ２２）。
【００７３】
ホストコンピュータ１０は、この遠隔地点の視聴者の画像をモニタ８に送信させる（ｄ２３）。すなわち、先生は、遠隔地点の視聴者の顔が分かるので、どんな方が質問しているかを把握できる。
【００７４】
（教壇側監視用主制御装置の動作）
ここで、教壇側監視用主制御装置の動作について説明を補充する。初めに先生は、ホストコンピュータ１０を操作して、システムオンを行うと、図１０に示す各種機器を操作する操作アイコン、教室のイメージ図が表示される。こイメージ図は教室に応じて表示される。
【００７５】
そして、例えば、先生が教壇に入ると、広角カメラ１が撮影した映像は図１２（ａ）に示す全体を撮影した教壇側画像となる。
【００７６】
さらに先生が進んで行くと、教壇監視用主制御装置１４の自動追尾装置１２の動き検出部１２０は、以下に説明する処理によって先生の動き画像を検出し、ターゲット追尾部１２１、追尾カメラ制御部１２２が図１２（ｂ）のズーム映像を得る。
【００７７】
具体的には、動き検出部１２０がメモリ（ＲＯＭ、ＲＡＭ）に保存されている動き検出エリア（座標で定義）と広角カメラ１で撮影した教壇側画像と比較し、この教壇側画像が動き検出エリアに存在したときは、動き検出画像（先生）として検出する。
【００７８】
次に、ターゲット追尾部１２１が先生の動き検出画像を切り出し、このターゲットの追尾位置情報を生成する。ターゲット追尾部１２１は、メモリに保存されているセンスエリアに（図１２のｃを参照）、ターゲットが存在しているときに（ターゲットを検出したとき）、追尾位置情報を追尾カメラ制御部１２２に出力してズームインさせる。
【００７９】
センスエリアは、追尾カメラのチルト方向の動きを抑制するための手段として簡易的な方法として横一文字にしている。
【００８０】
追尾カメラ制御部１２２は、追尾位置情報に基づいて追尾カメラのパン・チルト、ズーム比等を制御する。これによって、図１１（ｂ）に示すズーム映像が得られることになる。
【００８１】
すなわち、広角カメラの映像は映像切出し手段（図示せず）にて所定の映像として取り出されることにより、これに基づくカメラ制御情報が追尾カメラの駆動部（図示せず）に送出されて、追尾カメラがパン／チルト動作を行う。
【００８２】
このズーム映像（先生）が画像出力装置に取り込まれてホストコンピュータに出力されて、ＨＤＤ（圧縮）に保存される。
【００８３】
そして、学生が何らかの質問で教壇に上がったとすると（図１３のａを参照）、動き検出部１２０は、前回の広角カメラ映像と今回の広角カメラ映像と比較して、センスエリアの場合は学生を新たなターゲットして認識する。この認識によって、遠隔視聴者端末３１には図１３（ａ）に示す学生と先生を視野とする全体の映像が送信される。つまり、画像が切り替わる。そして、ターゲット追尾部１２１は、新たなターゲットの追尾位置情報を求めて追尾カメラ制御部１２２に出力する。追尾カメラ制御部１２２は新たなターゲットに対してチルト、パン、ズーム比を求めてズームインさせる（図１３（ｂ）参照）。
【００８４】
さらに、学生が新たに入って教壇に学生が二人になったときは（図１４（ａ）参照）、先生と先の学生の追尾を停止させると共に、新たなターゲットの追尾位置情報を多数ターゲット範囲追尾設定部１２３に出力する。
【００８５】
また、多数ターゲット範囲追尾設定部１２３は、ターゲットが複数となったので、生徒二人の中心に追尾位置情報を定めている。
【００８６】
つまり、、第２のターゲット、第３のターゲットの重心を定め、センスエリアの両端から第２のターゲット、第３のターゲットの重心までの距離（Ｌ１、Ｌ２）を求め、センスエリア長ＬからＬ１、Ｌ２を引いて、所定の長ｍを加算して水平範囲を定める。そして、所定高さｈの範囲Ｇｉを求め、この範囲の中心を追尾位置とする。つまり、第２，第３のターゲットの重心を結ぶ直線上に範囲Ｇｉの追尾点が定められる。
【００８７】
これによって、追尾カメラ制御部は、二人の学生が収まるようにチルト、パン角度、ズーム比を求めてズームアップして追尾する（図１４（ｂ）参照）。
【００８８】
従って、自動追尾装置７からは、学生二人を纏めてズームインした映像が出力される。
【００８９】
さらに、図１５に示すようにマスクエリアを設定できるようにし、例えばプロゼェクターが投影した映像等を誤ってターゲットとして認識しないようにするのが好ましい。このマスク領域は色を付与しておくのが好ましい。
【００９０】
次に、前述の動き検出及び追尾処理について図１６のフローチャートを用いて説明を補充する。本実施の形態は自動追尾装置１２を代表にして説明する。
【００９１】
動き検出部１２０は、システムオンに伴ってメモリの動き検出エリアと、センスエリアとマスクエリアとホストコンピュータ１０からのモード表に基づく制御値を内部に設定する（Ｓ１６０１）。
【００９２】
次に、動き検出・切り出し処理を行う（Ｓ１６０２）。動き検出部１２０で動き検出エリアで動き検出を行い、その動き検出映像をターゲット追尾部１２２が切り出して、シンボル符号を定めている。
【００９３】
本実施の形態ではシステムオン直後であるから追尾カメラ２は、ズームアウトされているので、広角カメラ１の教室全体の映像が取得されている。
【００９４】
次に、システムオン直後かどうかを判断する（Ｓ１６０３）。ステップＳ１６０３において、システムオン直後と判断したときは、ターゲットは１個かどうかを判断する（Ｓ１６０４）。ステップＳ１６０４において、ターゲットが１個と判断したときは、追尾処理部が第１ターゲットを中心として一定範囲をズームインさせる追尾処理を行う（Ｓ１６０５）。つまり、先生が動き検出エリアに入り、かつセンスエリアに存在するときは、新たなターゲットとして認識し、ズームイン処理が行われる
また、ステップＳ１６０４において、ターゲットが１個ではないと判定したときは（生徒が入ってきたとき、）、ターゲットは２個以上かどうかを判断する（Ｓ１６０６）。
【００９５】
ステップＳ１６０６において、ターゲットが２個以上と判定したときは、ターゲット数を判定する（Ｓ１６０７）。ステップＳ１６０７において、ターゲット数が２個以内と判定したときは、ターゲット追尾部は、第１のターゲット（先生）に対してズームアウトをさせる信号を生成し（Ｓ１６１１ａ）、初めの小ターゲット（生徒）を基準にして所定の範囲をズームインする制御信号を生成して（Ｓ１６１１ｂ）、処理をステップＳ１６１０に移す。
【００９６】
また、ステップＳ１６０７において、ターゲット数が３個以上と判定したときは、第１のターゲットをズームアウトさせ（Ｓ１６０８）、小ターゲット同士（生徒）の距離を求め、この距離を基準にしたズームイン範囲を決定して、ズームインさせ（Ｓ１６０９）、追尾処理を行う（Ｓ１６１０）。つまり、生徒がセンスエリアを出たときは、先生のターゲットに追尾が引き継がれる。
【００９７】
従って、ターゲットがセンスエリアから抜け出るとズームアウトになるが、その後カメラアングルを引いたのと同じ広角カメラ映像が学生端末に表示されることになるから自然な状態となり、遠隔教育などには好ましい撮影形態となる。このため聴講生はカメラ酔いをするようなことも無く自然な映像を取得できる。
【００９８】
そして、引き続き、講義が開始され、先生に対して複数の学生が教壇に近づき（レポート提出及びロールプレーイングのような）センスエリア内に入るとシステムは複数（例えば３以上の複数）であると認識し、追尾カメラ２にズームアウト信号を送信）して映像はズームアウトしたものとなる。このズームアウト動作は、撮像領域をセンタ位置に戻した後に実行される。また、ズームアウト動作は、先にズームアウトしてからセンター位置にもどす方法も有効であり、ターゲットを写しながら、プリセット・センタ位置に戻るので、物体を見のがさないことになり、より効果的である。
【００９９】
＜実施の形態２＞
図１７は実施の形態２の自動追尾装置の詳細構成図である。図１７において図１と同一のものは同一符号を付している。
【０１００】
実施の形態２のシステムは、広角カメラ２の広域映像を動き検出部１２０の動き検出手段１２０ａが入力し、動き検出部１２０が変化があった画像情報（セルの集合）のみを検出する。そして、この検出画像がメモリ１２０ｂの動き検出エリアに存在しているかどうかを判断する。このとき、関係のない箇所を検出しないようにメモリ１２０ｃのマスクエリアを避けて検出している。
【０１０１】
また、メモリ１２１ｂには、特定の色を検出するためのセンス色、特定形状のものがあるかどうかを検出するためのセンス形状とを保存している。
【０１０２】
ターゲット追尾部１２１の切り出し手段１２１ａは、動きがある画像を検出すると、動いている物体の有無と、切り出した動き検出画像の大きさと、位置と、移動方向と、移動速度と、センスエリアを通過したかどうかの有無と、動き検出画像が特定の色を有しているかの有無とをバッファ５０に保存する。
【０１０３】
また、切り出し手段１２１ａは、バッファ５１にメモリ１２１ｂに基づく特定形状を検出したかの有無と、その特定形状の大きさと、種類とをバッファ５１に保存している。
【０１０４】
これらは、システムバスに接続され、コンピュータ４１（ＣＰＵ４１）で解読されて、追尾カメラ２の制御データが得られるようにしている。
【０１０５】
また、追尾カメラ２からのアナログ映像信号は、Ａ／Ｄ変換手段５３でデジタル変換されてＣＰＵ４１によって画像記憶装置６０に保存（ＨＤＤ、ＭＰＥＧ、ＪＰＥＧ圧縮）される。
【０１０６】
また、集音マイク４３の音声信号はＡ／Ｄ変換手段５４によってデジタル変換されて、ＣＰＵ４１によって画像記憶装置１６に保存される。
【０１０７】
一方、ＣＰＵ４１は、バッファメモリ５０、５１に保存されているデータを順次読込み、バッファ５６に保存すると共に、位置情報に基づいてパン、チルト各、ズーム比を制御する追尾制御信号を、バッファ５６のカメラ状態から生成して追尾カメラ制御部１２２に出力する。
【０１０８】
追尾カメラ制御部１２２は、メモリ４０のカメラパラメータを読み込んで、追尾制御信号に基づくコントロール信号を追尾カメラ２０に力する。
【０１０９】
また、メモリ５５には、教室毎の情報（マスク範囲、動き検出エリア、センスエリア、特定のセンス色等）が操作手段によって保存され、これらの教室情報をシステムオンに伴って動き検出部１２０、ターゲット追尾部１２１に設定している。
【０１１０】
さらに、メモリ５５には、映像ジェスチャー、音声ジェスチャーを保存することで、特定のジェスチャー、音声を発生したときに、ズームインするようにしている。
【０１１１】
そして、各種機器の操作と共にカメラの使用モードを切り換えるメニューを呼び出すことにより、例えば視聴覚教育モード、監視モード、及び受講モードに適宜変更することもできるようにしている。本実施の形態では視聴覚教育モードに設定とする。
【０１１２】
＜実施の形態４＞
本実施の形態４は、各学生が学生端末を備え、この学生端末の画面に教壇側画像または質問者のズームアップ画像を表示させるシステムである。
【０１１３】
図１８は実施の形態４の移動体撮像システムの概略構成図である。本実施の形態では、教壇側監視用主制御装置２６が自動追尾装置１２と画像出力装置１３とアクセスポイントである送受信装置２７とを備える。また、生徒側監視用主制御装置２８は、自動追尾装置１６と画像出力装置１７とアクセスポイントである送受信装置２９とを備えている。
【０１１４】
また、教室内のテーブルには、学生端末９ｉ（９ａ、９ｂ、９ｃ、…：マイク付きが好ましい）を備えている。
【０１１５】
そして、第１の撮像手段３によって撮影された教壇上のターゲット（学生、先生）の追尾映像（教壇側画像）をホストコンピュータ４０を介して学生端末９ｉ（９ａ、９ｂ、９ｃ、…）、遠隔視聴者端末３１に送信する。
【０１１６】
また、第２の撮像手段４によって撮影された学生側画像を学生端末９ｉ、モニタ８、遠隔視聴者端末３１に送信する。
【０１１７】
（各部の構成）
学生端末９ｉ（９ａ、９ｂ、…）は、本システムの映像の提供を受けるときは、学生番号、講義番号、年月日、学生ＩＤ、コンテンツ種類（追尾ズーム映像の有無）等からなる端末要求情報を入力させて、教壇側画像（広角、追尾、ズーム含む）又は学生側画像の提供を受ける。  前述の端末要求情報、映像の送受信のために無線ＰＣカードで行える機能を有している。
【０１１８】
前述の送受信装置（アクセスポイント）は、それぞれが教室の壁、天井に設けられている。これらの送受信装置は、内部にＭＡＣ回路、ベースバンドプロセッサ、周波数変換回路、アンテナ（ダイパーシティ方式）、ＲＡＭ、ＲＯＭ、ＣＰＵ等を備え、学生端末９ｉから端末要求情報を受信したとき、この端末要求情報を画像出力装置に送出し、許可信号を得たとき、自動追尾装置の広角カメラ映像、追尾ズーム映像をその学生端末９ｉに送信する。
【０１１９】
一方、ホストコンピュータ４０は、学生端末からのコンテンツ種別を判断し、質問者のズームの要求があるときは、課金処理をする機能を有している。つまり、質問者のズーム画面は本システムでは課金を行う。
【０１２０】
＜実施の形態５＞
実施の形態５は先生が追尾している場合で、複数（１名〜５名）の学生が教壇に上がって来たとすると、最初は先生だけを追尾させる。
【０１２１】
そして、自動追尾装置１６は、学生が１名、２名…とセンスエリアに入ってきた場合、学生１人目でターゲットチェンジをし、学生が２人目以上入ってきた場合、入ってきた学生全員（リミットは例えば５名）が撮影できるように、追尾用カメラ２を徐々に若しくはステップでズームを引かせるようにする。
【０１２２】
また、このときに、ある学生（動いている）が先生と交叉してしまった場合は、先生も学生と見なして、ズームのターゲットとして認識する。そして、例えば６人目の学生が入ってきたら、センター位置でズームを引ききってしまう動作をさせる。、
なお、上記実施の形態の各自動追尾装置をカメラと一体化したカメラ装置として構成してもよい。
【図面の簡単な説明】
【０１２３】
【図１】本実施の形態１の移動体画像提供システムの概略構成図である。
【図２】本実施の形態１の自動追尾装置の概略構成図である。
【図３】多数ターゲットのズームインを説明する説明図である。
【図４】教室内の質問者を検出するための検出エリア、センスエリアを説明する説明図である。
【図５】撮像装置を多数設けた場合の説明図である。
【図６】講義情報の説明図である。
【図７】設定状況モード表の説明図である。
【図８】カメラモードの設定画面を説明する説明図である。
【図９】本実施の形態の動作を説明するシーケンス図である。
【図１０】初期画面を説明する説明図である。
【図１１】質問者ズーム表示を説明する説明図である。
【図１２】広角カメラ、パンチルト、追尾を説明する説明図である。
【図１３】検出エリア（センスエリア、動き検出エリア）の説明図である。
【図１４】多数ターゲット追尾を説明する説明図である。
【図１５】本実施の形態のマスクエリアの説明図である。
【図１６】実施の形態１の自動追尾装置の動作を説明するフローチャートである。
【図１７】本実施の形態２の自動追尾装置の概略構成図である。
【図１８】本実施の形態４の移動体撮像システムの概略構成図である。
【符号の説明】
【０１２４】
３  第１の撮像手段
４  第２の撮像手段
９  教室内の学生端末
１２  第１の自動追尾装置
１４  教壇側監視用主制御装置
１６  第２の自動追尾装置
１９  生徒側監視用主制御装置
【図１】
2005033570.tif 000003
【図２】
2005033570.tif 000004
【図３】
2005033570.tif 000005
【図４】
2005033570.tif 000006
【図５】
2005033570.tif 000007
【図６】
2005033570.tif 000008
【図７】
2005033570.tif 000009
【図８】
2005033570.tif 000010
【図９】
2005033570.tif 000011
【図１０】
2005033570.tif 000012
【図１１】
2005033570.tif 000013
【図１２】
2005033570.tif 000014
【図１３】
2005033570.tif 000015
【図１４】
2005033570.tif 000016
【図１５】
2005033570.tif 000017
【図１６】
2005033570.tif 000018
【図１７】
2005033570.tif 000019
【図１８】
2005033570.tif 000020