(57)【要約】【課題】所定の被写体を自動的に撮影できるようにする。【解決手段】撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置であって、前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理手段と、前記第１の撮影処理手段により撮影された画像から被写体を識別する被写体識別手段と、前記被写体識別手段により識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定手段と、前記被写体特定手段により特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理手段と、前記第１の撮影処理手段により撮影された画像及び前記第２の撮影処理手段により撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理手段とを有する。【選択図】図５
2010004480.tif 000002
【特許請求の範囲】
【請求項１】
撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置であって、
前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理手段と、
前記第１の撮影処理手段により撮影された画像から被写体を識別する被写体識別手段と、
前記被写体識別手段により識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定手段と、
前記被写体特定手段により特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理手段と、
前記第１の撮影処理手段により撮影された画像及び前記第２の撮影処理手段により撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理手段とを有することを特徴とする撮像装置。
【請求項２】
卓上型の撮像装置であって、前記撮像部の少なくともパンニングが可能とされていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
３６０度エンドレスにパンニング可能であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
音声を入力する音声入力手段を更に有し、
前記被写体特定手段は、前記音声入力手段により入力された音声の方向情報に基づいて被写体を特定することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項５】
前記被写体識別手段により識別された被写体から選択された被写体の選択情報を受信する選択情報受信処理手段を更に有し、
前記被写体特定手段は、前記選択情報受信処理手段により受信された被写体の選択情報に基づいて被写体を特定することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【請求項６】
前記被写体識別手段により識別された被写体の位置情報を取得する位置情報取得手段を更に有し、
前記第２の撮影処理手段は、前記位置情報取得手段により取得された位置情報に基づいて、前記撮像部の撮影方向を変えることを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【請求項７】
前記第１の撮影処理手段により撮影された画像からパノラマ画像を生成するパノラマ画像生成手段を更に有し、
前記送信処理手段は、前記第１の撮影処理手段により撮影された画像として、前記パノラマ画像生成手段により生成されたパノラマ画像を送信することを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【請求項８】
前記パノラマ画像生成手段は、前記被写体識別手段により識別された複数の被写体の間に生じる空間部分を間引いてパノラマ画像を生成することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記パノラマ画像生成手段により生成されたパノラマ画像で、前記第２の撮影処理手段により撮影されている被写体を識別する識別情報を表示する識別情報表示制御手段を更に有することを特徴とする請求項７又は８に記載の撮像装置。
【請求項１０】
画像を表示する表示部を更に有することを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。
【請求項１１】
前記表示部の向きを可変としたことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置と、少なくとも表示部を備えた外部機器とがネットワークを介して接続されるネットワークシステムであって、
前記撮像装置は、
前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理手段と、
前記第１の撮影処理手段により撮影された画像から被写体を識別する被写体識別手段と、
前記被写体識別手段により識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定手段と、
前記被写体特定手段により特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理手段と、
前記第１の撮影処理手段により撮影された画像及び前記第２の撮影処理手段により撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理手段とを有し、
前記外部機器は、
前記撮像装置から受信した画像情報を前記表示部に表示する表示制御手段を有することを特徴とするネットワークシステム。
【請求項１３】
撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置の制御方法であって、
前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理ステップと、
前記第１の撮影処理ステップにより撮影された画像から被写体を識別する被写体識別ステップと、
前記被写体識別ステップにより識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定ステップと、
前記被写体特定ステップにより特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理ステップと、
前記第１の撮影処理ステップにより撮影された画像及び前記第２の撮影処理ステップにより撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１４】
撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置を制御するためのプログラムであって、
撮像部の撮影方向を変えながら撮影を行う第１の撮影処理ステップと、
前記第１の撮影処理ステップにより撮影された画像から被写体を識別する被写体識別ステップと、
前記被写体識別ステップにより識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定ステップと、
前記被写体特定ステップにより特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理ステップと、
前記第１の撮影処理ステップにより撮影された画像及び前記第２の撮影処理ステップにより撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部の撮影方向を可変とした撮像装置、ネットワークシステム、制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、専用回線、ＩＳＤＮ等の電話回線、インターネット回線等を用いたテレビ会議システムと称されるネットワークシステムにより、複数の遠隔地間でテレビ会議を行うことが盛んになってきている（例えば、特許文献１参照）。
【０００３】
ここで、一般的なテレビ会議システムについて図８を参照して説明する。図８は、テレビ会議が行われている状態を示す俯瞰図である。会議テーブル２０１が中央に配置され、会議の出席者２０５〜２０９が会議テーブル２０１を囲むように着席している。会議テーブル２０１上には、会議用の集音マイク２１０が配置されている。会議テーブル２０１の前方には、全ての出席者２０５〜２０９が見られるように大型スクリーンのモニタ２０２が配置されている。モニタ２０２にはスピーカが内蔵されている。また、モニタ２０２の上部やモニタ２０２の側方等には、カメラ２０３、２０４が配置されている。カメラ２０３、２０４は、一点差線で示すように全ての出席者２０５〜２０９を撮影できるように配置されている。
【０００４】
上述したカメラ２０３、２０４は、レンズ部をパン方向に回動させるパンニング駆動機構及びチルト方向に回動させるチルティング駆動機構を有する、いわゆるパンチルトカメラである。さらに、カメラ２０３、２０４は、ズーム機構を有する。上述したパンニング駆動機構、チルティング駆動機構及びズーム機構は、会議の出席者（例えば出席者２０７）がリモートコントローラ（リモコン２１１）を用いて遠隔操作できるように構成されている。したがって、必要に応じてリモコン２１１を操作することで、例えば出席者２０５〜２０９の一人をズームアップ等することができる。
【０００５】
ここで、図８に示すシステムは、同様に構成された一又は複数の遠隔地のシステムと接続されている。すなわち、モニタ２０２等に内蔵されている回路や回線２１２を介して、インターネット２１３に接続され、遠隔地に設置されたシステムと通信することができる。より具体的に説明すると、カメラ２０３、２０４により撮影された映像は、カメラ２０３、２０４又はモニタ２０２内に内蔵されたコーデック回路に入力される。また、集音マイク２１０により集音された音声は、音声ミキシングされて、コーデック回路に入力される。コーデック回路に入力された映像と音声とは、符号化や多重化等の処理が行われた後、回線２１２を介して遠隔地に設置されたシステムに送信される。遠隔地に設置されたシステムでは、符号化等の処理が行われた映像と音声とを、コーデック回路により復号化する。復号化された映像はモニタに出力される。また、復号化された音声は、モニタの内蔵スピーカにより出力される。
【０００６】
このように構成されたテレビ会議システムでは、モニタ２０２に、遠隔地に設置されたカメラにより撮影された映像と、現地のカメラ２０３、２０４により撮影された映像とが、ピクチャー・イン・ピクチャー形式等で表示される。したがって、複数の遠隔地間でリアルタイムでの会議を行うことができる。
【０００７】
【特許文献１】特開平６−１４１３１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述したテレビ会議システムでは、カメラ２０３、２０４は、全ての出席者２０５〜２０９を撮影できるように配置されているため、モニタ２０２では、出席者が小さく表示されてしまう。例えば、発言者等をモニタ２０２上で確認することが困難になるという問題が生じ、この問題は出席者が多くなるほど顕著になってしまう。
【０００９】
ここで、出席者２０７がリモコン２１１を介して、カメラ２０３、２０４に設けられたパンニング駆動機構、チルティング駆動機構及びズーム機構を操作して、発言者等をズームアップして、モニタ２０２上に表示することが考えられる。
しかしながら、この場合、出席者２０７が発言者等を探し出し、リモコン２１１を介して、パンニング駆動機構、チルティング駆動機構及びズーム機構を操作することは容易ではない。また、出席者２０７がリモコン２１１を介して操作した場合、操作情報が送信された後、カメラの姿勢動作、カメラのズーム動作、画像のコーデック処理、画像の伝送及びデコード等を経て、モニタ２０２に表示されるため、表示までの時間を要してしまう。
【００１０】
本発明は上述したような問題点に鑑みてなされたものであり、所定の被写体を自動的に撮影できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置であって、前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理手段と、前記第１の撮影処理手段により撮影された画像から被写体を識別する被写体識別手段と、前記被写体識別手段により識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定手段と、前記被写体特定手段により特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理手段と、前記第１の撮影処理手段により撮影された画像及び前記第２の撮影処理手段により撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理手段とを有することを特徴とする。
本発明は、撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置と、少なくとも表示部を備えた外部機器とがネットワークを介して接続されるネットワークシステムであって、前記撮像装置は、前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理手段と、前記第１の撮影処理手段により撮影された画像から被写体を識別する被写体識別手段と、前記被写体識別手段により識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定手段と、前記被写体特定手段により特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理手段と、前記第１の撮影処理手段により撮影された画像及び前記第２の撮影処理手段により撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理手段とを有し、前記外部機器は、前記撮像装置から受信した画像情報を前記表示部に表示する表示制御手段を有することを特徴とする。
本発明は、撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置の制御方法であって、前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理ステップと、前記第１の撮影処理ステップにより撮影された画像から被写体を識別する被写体識別ステップと、前記被写体識別ステップにより識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定ステップと、前記被写体特定ステップにより特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理ステップと、前記第１の撮影処理ステップにより撮影された画像及び前記第２の撮影処理ステップにより撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理ステップとを有することを特徴とする。
本発明は、撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置を制御するためのプログラムであって、撮像部の撮影方向を変えながら撮影を行う第１の撮影処理ステップと、前記第１の撮影処理ステップにより撮影された画像から被写体を識別する被写体識別ステップと、前記被写体識別ステップにより識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定ステップと、前記被写体特定ステップにより特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理ステップと、前記第１の撮影処理ステップにより撮影された画像及び前記第２の撮影処理ステップにより撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理ステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１２】
本発明によれば、外部からの情報に基づいて被写体を特定し、所定の被写体（例えば発言者）を自動的に撮影することができる。したがって、本発明の撮像装置をテレビ会議システムに用いた場合、会議の臨場感を損なわず、円滑な会議が可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本実施形態に係る撮像装置であるテレビ会議用モニタリングカメラ（以下、カメラ１００という）の一例を示す外観斜視図である。図２は、カメラ１００を図１に示す矢印Ａ方向からみた背面図である。
【００１４】
図１に示すように、カメラ１００は、下方から順に本体部６、ディスプレイ５を具備する液晶パン部４、カメラヘッド部２を搭載したパン部３を備え、全体が略円錐台形状を呈する卓上型のカメラである。
【００１５】
パン部３には、水平方向に配置された撮像部であるカメラヘッド部２が搭載されている。カメラヘッド部２は略円柱状をなし、その長手方向における中央にはレンズ部１が設けられている。カメラ１００には、図１及び図２に示すＸ軸を中心としてカメラヘッド部２を回動させるチルティング駆動機構が設けられている。また、カメラ１００には、図１及び図２に示すＺ軸を中心としてパン部３を回動させるパンニング駆動機構が設けられている。パンニング駆動機構としては、例えば差動ギアを用い、さらにスリップリング機構を付加することにより３６０度エンドレスにパンニング可能に構成されている。
【００１６】
また、パン部３の外周部には、後述するリモートコントローラ（以下、リモコンという）からの指示を受光するリモコン受光部７、８が左右２箇所に設けられている。また、パン部３の外周部には、音声を入力する音声入力装置としてパン側マイク９が設けられている。
【００１７】
液晶パン部４の外周面には、表示部として液晶ディスプレイ等のディスプレイ５が設けられている。また、液晶パン部４の外周部には、音声を出力する音声出力装置としてスピーカ１０が左右２箇所に設けられている。カメラ１００には、図１及び図２に示すＺ軸を中心として液晶パン部４を回動させるパンニング駆動機構が設けられている。
【００１８】
本体部６の外周部には、音声を入力する音声入力装置として本体側マイク部１１が設けられている。また、図２に示すように、本体部６の外周部には、インターネット接続用の外部インターネット端子１２、メモリ取り付け用のスロット１３、外部マイク端子１４、オーディオ出力端子１５及びビデオ出力端子１６が設けられている。
【００１９】
なお、上述したパン部３及び液晶パン部４は、それぞれが互いに独立してパン方向に回動できるように構成する場合について説明したが、この場合に限られずパン部３及び液晶パン部４を一体で構成してもよい。
【００２０】
次に、カメラ１００の機能構成について図３を参照して説明する。図３はカメラ１００の機能構成を示すブロック図である。
コントローラ２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェース等を内蔵したマイクロコンピュータである。このコントローラ２１の制御に基づいて、カメラ１００の各構成要素が動作する。
【００２１】
例えば、カメラユニット２２により撮影された画像情報は、カメラユニット２２の内部のＣＣＤ等で電気信号に変換され、カメラ回路２３に出力される。その後、画像情報は、液晶表示回路２４に出力され、コントローラ２１の指示によりディスプレイ５に表示される。
また、カメラユニット２２により撮影された画像情報は、同時にカメラ回路２３を介して画像処理回路２６に出力される。そして、画像処理回路２６により画像処理された後、人物認識回路２７により画像に含まれる人物の認識（識別）、確認が行われる。人物の識別情報は、コントローラ２１に出力される。
【００２２】
第１マイク部２８、第２マイク部２９に入力された音声情報は、音声電気信号に変換され、音声回路３０に出力される。音声電気信号は、音声回路３０により増幅、Ａ／Ｄ変換され、コントローラ２１の指示により音量等が適切に調整された後、音声方向検出回路３１に出力される。ここで、例えば第１マイク部２８は、図１に示すパン側マイク９である。また、第２マイク部２９は、図１に示す本体側マイク部１１である。さらに、外部マイク用を接続することができる外部マイク端子１４も設けられている。
【００２３】
音声方向検出回路３１は、第１マイク部２８、第２マイク部２９等、複数のマイク部に入力された音声信号情報から、音声が発生する方向を検出し、方向情報としてコントローラ２１に出力する。
【００２４】
カメラ駆動回路／駆動機構３３は、コントローラ２１の指示により、対応するモータを駆動して、フォーカス、ズーム及びアイリスの制御、調整を行う。
また、パンチルト駆動回路／駆動機構３４は、パンニング駆動機構、チルティング駆動機構を駆動する。パンチルト駆動回路／駆動機構３４は、コントローラ２１の指示により、パン／チルト駆動モータを駆動して、カメラユニット２２（図１に示すカメラヘッド部２）の姿勢の駆動動作を制御、位置制御を行う。
【００２５】
上述した人物認識回路２７では、人物の認識等を行い、識別情報をコントローラ２１に出力したとき、その時点でのレンズの位置情報をコントローラ２１に出力する。通常、パン方向及びチルト方向に回動できるカメラは、電源投入時又はリセット時にホームポジションを確認するためにイニシャライズ動作を行う必要がある。したがって、イニシャライズ動作されたホームポジション位置からカメラユニット２２がパン方向及びチルト方向に移動した位置までに発生した信号等をカウントすることで、位置情報を検出する。位置情報の検出方法としては、例えばパンニング駆動機構及びチルティング駆動機構を駆動するモータがパルスモータであれば、パルス駆動をカウントすることにより検出する。また、パンニング駆動機構及びチルティング駆動機構を駆動するモータにエンコーダを内蔵されていれば、エンコーダ情報より検出する。さらに、パンニング駆動機構のパン軸及びチルティング駆動機構のチルト軸に外部エンコーダを設けることにより位置情報を検出してもよく、位置情報の検出方法はどのようなものであってもよい。
【００２６】
次に、カメラ回路２３からの映像信号は、ビデオエンコード回路３５に出力され、デジタル信号に符号化される。また、音声回路３０からの音声信号は、オーディオエンコード回路３６に出力され、デジタル信号に符号化される。符号化された映像信号、符号された音声信号及び位置情報等は、多重化回路３７に出力される。多重化回路３７では、映像信号、音声信号及び位置情報等が多重化されて、通信制御回路３８に出力される。その後、これらの信号は、インターネット回路３９を介して、コントローラ２１の指示により図２に示す外部インターネット端子１２から外部に送信される。
【００２７】
一方、インターネットを介して外部から入力された信号は、インターネット回路３９及び通信制御回路３８に入力された後、分離回路４０に出力される。分離回路４０では、多重化された映像信号、音声信号及び位置情報等を分離する。
分離された映像信号は、ビデオデコード回路４１に出力され復号化される。復号化された映像信号は、液晶表示回路２４に出力されて、ディスプレイ５に表示される。また、ビデオ出力端子１６にモニタ等が接続されている場合、復号化された映像信号は、映像表示回路４３に出力されて、モニタにも表示される。
分離された音声信号は、オーディオデコード回路４２に出力され復号化される。復号化された音声信号は、スピーカ駆動回路４５に出力された後、スピーカ１０により音声出力される。また、オーディオ出力端子１５に外部スピーカが接続されている場合、復号化された音声信号は、外部スピーカにより音声出力することができる。
分離回路４０で分離された、遠隔地にある相手側のカメラの位置情報は、コントローラ２１に出力される。
【００２８】
カメラ１００には、記憶装置であるメモリ４８が設けられている。メモリ４８は、カメラ１００に対して着脱可能なメモリ及び内蔵されたメモリ等が含まれる。着脱可能なメモリとして、例えばＣＦカードやＳＤカード等のようなリムーバブル記憶媒体及びリムーバブル型のＨＤ（ハードディスク）等がある。また、内蔵されたメモリとして、例えば内蔵されたＨＤ（ハードディスク）やメモリ等がある。メモリ４８には、インターネットから取得した情報、ユーザが作成又は準備した画像やテキストデータ等を記憶することができる。メモリ４８に記憶されたデータは、コントローラ２１の指示により、例えば液晶表示回路２４を介してディスプレイ５に表示することができる。
【００２９】
また、リモコン受光部７、８では、リモコンからの指示を受信する。なお、リモコン受光部７、８では、赤外線通信やブルートゥース通信等の無線通信を受信することができる。リモコン受光部７、８で受信された信号は、受信回路５０を介して、コントローラ２１に指示信号として出力される。
【００３０】
また、ディスプレイ５の表面にはタッチパネル５１が設けられている。タッチパネル５１には、ユーザのタッチパネル５１に対するタッチパネル操作を検出したり、タッチパネル５１を駆動、制御及び動作させたりするタッチパネル駆動回路５２が接続されている。
【００３１】
また、パン駆動回路／駆動機構５３は、液晶パン部４のパンニング駆動機構を駆動する回路及び駆動機構である。
【００３２】
次に、上述したカメラ１００を用いたテレビ会議システムについて、図４を参照して説明する。ここでは、Ｐ地点とＱ地点との間で行うテレビ会議システムについて説明する。図４は、Ｐ地点及びＱ地点で会議が行われている状態を示す俯瞰図である。
【００３３】
図４に示すように、Ｐ地点では、会議テーブル７２が中央に配置され、会議の出席者７７〜８１が会議テーブル７２を囲むように着席している。会議テーブル７２上には、カメラ１００が配置されている。会議テーブル７２の前方には、全ての出席者７７〜８１が見られるように大型スクリーンのモニタ７３が配置されている。モニタ７３にはスピーカが内蔵されている。カメラ１００とモニタ７３とは、映像接続ケーブル７４及び音声接続ケーブル７５により接続されている。また、カメラ１００はインターネット接続用ケーブル７６により、インターネットに接続、通信できるように構成されている。なお、Ｑ地点のシステムも同様な構成であり、カメラ１００やモニタ７３と同様のカメラ１００´やモニタ７３´等が設けられている。ここで、カメラ１００´は、表示部を備えた外部機器に対応する。
【００３４】
会議の出席者７７〜８１のうち出席者７９は、カメラ１００に対して操作を行うことができるリモコン８２を所持している。出席者７９は、リモコン８２を用いてカメラ１００のパン部３や液晶パン部４のパン方向又はチルト方向への回動、ズームアップ、スピーカ１０の音量調整等のカメラ操作を行うことができる。出席者７９は、リモコン８２を用いて、切り替え操作を行うことで、Ｑ地点に設置されたカメラ１００´を操作することもできる。
【００３５】
次に、上述したように構成されたカメラ１００の処理動作について図５のフローチャートを参照して説明する。図５に示すフローチャートの処理は、カメラ１００の電源がオンにされてから開始される。なお、ここでは、Ｐ地点に設置されたカメラ１００の処理を中心に説明するが、Ｑ地点に設置されたカメラ１００´においても同様な処理を行う。
【００３６】
まず、ステップＳ１０において、カメラ１００のコントローラ２１は、イニシャライズ動作を行い、カメラユニット２２のホームポジションを確認する。ここで、本実施形態のホームポジション位置は、カメラユニット２２における撮影方向が図４に示す矢印Ｂ方向の位置とする。
次に、ステップＳ１１において、コントローラ２１は、パンチルト駆動回路／駆動機構３４を介して、カメラユニット２２をホームポジション位置から、３６０度、パンニングさせる。ここでは、カメラユニット２２は時計方向に回動するものとする。
このとき、コントローラ２１は、パンニングしているカメラユニット２２により所定間隔で静止画の撮影を行う。具体的には、カメラユニット２２が３６０度回動している間、撮影した静止画を並べたときに少なくとも静止画間で隙間ができないような間隔で撮影を行う。カメラ１００は、出席者７７〜８１の中央に設置されていることから、撮影された画像には被写体として、出席者７７〜８１が洩れなく写っていることになる。なお、カメラユニット２２は、静止画の代わりに動画を撮影してもよい。上述した処理は、第１の撮影処理手段の一例に対応する。
【００３７】
次に、ステップＳ１２において、コントローラ２１は、人物認識回路２７を介して、撮影した画像の画像情報から人物の識別を行う。ここで、人物認識回路２７に用いられる人物認識のアルゴリズムとしては、例えば、時間的に近接した２枚の映像を比較し、全く動かないものと僅かに動くものとを識別し、僅かに動くものを人物として特定し、その輪郭を切り抜く方法等がある。上述した処理は、被写体識別手段の一例に対応する。
また、人物の識別を行うとき、コントローラ２１は、識別した人物の位置情報を取得する。具体的には、上述したように、ホームポジション位置からのパンニング機構のパルスモータのパルス駆動をカウントしたり、エンコーダ情報を取得したりすることにより位置情報を取得する。上述した処理は、位置情報取得手段の一例に対応する。
【００３８】
ここで、コントローラ２１は、識別した人物とその人物に対応する位置情報とを関連付けてメモリ４８に記憶する。なお、ステップＳ１２の処理は、ステップＳ１１において、カメラユニット２２が３６０度パンニングし、撮影している処理と並行して行ってもよく、カメラユニット２２が３６０度パンニングし、撮影が終了した後に行ってもよい。また、人物の識別の精度を向上させるために、カメラユニット２２は、再度３６０度パンニングして、人物を確認する処理を行ってもよい。
【００３９】
次に、ステップＳ１３において、撮影した画像をＰ地点又はＱ地点に設置されたモニタ７３、７３´等に表示するために、コントローラ２１は、画像処理回路２６を介してパノラマ画像を生成する。具体的には、ステップＳ１１にて撮影した複数の画像を合成することによりパノラマ画像を生成する。上述した処理は、パノラマ画像生成手段の一例に対応する。
ここで、Ｐ地点において生成されたパノラマ画像の一例を図６（ａ）に示す。図６（ａ）には、カメラユニット２２がパン方向に回動した１周分の画像がパノラマ画像として表示されている。図６（ａ）では、図４に対応する出席者７９、７８、７７、８１、８０が左側から順番に並んで表示されている。また、出席者７７と出席者８１との間には、モニタ７３が表示されている。
ここで、図６（ａ）に示す画像では、人物と人物との間に余分な画像があるため、画像を視聴し難い。そこで、コントローラ２１は、画像処理回路２６を介して、人物と人物との間に生じる空間を間引いて合成した画像を生成する。具体的には、コントローラ２１は、図６（ａ）に示す空間部分ｈ１〜ｈ４を間引いた、人物のサムネイル画像を生成し、合成する。ここで、空間を間引いて生成されたパノラマ画像の一例を図６（ｂ）に示す。図６（ｂ）に示す画像では、人物のみが表示されて、画像が簡略化されるので画像を視聴し易くなる。
【００４０】
次に、ステップＳ１４において、コントローラ２１は、通信制御回路３８及びインターネット回路３９を介して、生成したパノラマ画像情報をＱ地点のカメラ１００´に送信する。上述した処理は送信処理手段の一例に対応する。
また、後述するように、パノラマ画像情報を受信したＱ地点のカメラ１００´は、受信したパノラマ画像をカメラ１００´に設けられたディスプレイに表示する。上述した処理は、表示制御手段の一例に対応する。また、パノラマ画像の画像情報を受信したＱ地点のカメラ１００´は、受信したパノラマ画像をカメラ１００´に接続されたモニタ７３´にも表示する。
【００４１】
次に、ステップＳ１５において、カメラ１００のコントローラ２１は、外部からの情報を検出したか否か、すなわち音声方向検出回路３１を介して方向情報を取得したか否かを判定する。例えば、会議中に出席者７７〜８１の何れかの者が発言した場合、第１マイク部２８、第２マイク部２９及び外部用マイク等により音声が入力される。入力された音声は、音声回路３０により適正な出力に変更される。音声方向検出回路３１では、第１マイク部２８、第２マイク部２９及び外部用マイクの位置関係から、音声回路３０により変更された音声が、どの方向から入力（発声）されたかを判断し、コントローラ２１に方向情報として出力する。コントローラ２１は、方向情報を取得した場合、ステップＳ１６に処理を進め、方向情報を取得していない場合、ステップＳ１７に処理を進める。
【００４２】
ステップＳ１６において、コントローラ２１は、取得した方向情報とステップＳ１２において記憶した位置情報とを比較して、取得した方向情報と合致する又は略合致する位置情報を検出する。次に、コントローラ２１は、検出した位置情報から、位置情報に関連付けて記憶した人物を特定する。上述した処理は被写体特定手段の一例に対応する。
次に、コントローラ２１は、カメラユニット２２の撮影方向が、特定した人物を撮影する方向になるように、パンチルト駆動回路／駆動機構３４を介して、カメラユニット２２をパンニングさせる。なお、このとき、コントローラ２１は、カメラユニット２２の撮影方向が特定した人物になるように、カメラユニット２２をチルティングさせてもよい。また、コントローラ２１は、カメラ駆動回路／駆動機構３３を介して特定した人物をズームアップしてもよい。続いて、コントローラ２１は、カメラユニット２２を介して特定した人物の動画を撮影する。上述した処理は、第２の撮影処理手段の一例に対応する。
【００４３】
また、コントローラ２１は、通信制御回路３８及びインターネット回路３９を介して、撮影した人物の動画情報を逐次、Ｑ地点のカメラ１００´に送信する。上述した処理は送信処理手段の一例に対応する。
なお、コントローラ２１は、撮影した人物の動画情報をＱ地点のカメラ１００´に最初に送信するとき、特定した人物を識別する特定情報も送信するものとする。
【００４４】
次に、動画情報を受信したＱ地点のカメラ１００´は、受信した動画をカメラ１００´に設けられたディスプレイに逐次表示する。上述した処理は、表示制御手段の一例に対応する。また、Ｑ地点のカメラ１００´は、受信した動画をカメラ１００´に接続されたモニタ７３´にも表示する。
【００４５】
ここで、Ｑ地点のカメラ１００´のディスプレイに表示される画面の画像の一例を図７に示す。なお、Ｑ地点のカメラ１００´に接続されたモニタ７３´にも同様な画像が表示される。図７に示す画面では、表示領域Ｋ１、表示領域Ｋ２及び表示領域Ｋ３に区分けされている。表示領域Ｋ１には、Ｑ地点のカメラ１００´のコントローラが、受信したパノラマ画像を表示する。したがって、表示領域Ｋ１には、Ｐ地点にいる会議の出席者７９、７８、７７、８１、８０のサムネイル画像からなるパノラマ画像が表示される。表示領域Ｋ２には、Ｑ地点のカメラ１００´のコントローラが、受信した動画情報を表示する。ここで、例えばＰ地点において、出席者７７が発言している場合、表示領域Ｋ２には、出席者７７の動画がリアルタイムで表示される。表示領域Ｋ３には、Ｑ地点のカメラ１００´が撮影している画像、すなわちＰ地点のカメラ１００のディスプレイ５に表示されている画像がサブ画面として表示される。
【００４６】
また、表示領域Ｋ１には、Ｑ地点のカメラ１００´のコントローラがステップＳ１６で受信した特定情報に基づいて、識別表示を表示している。上述した処理は、識別情報表示制御手段の一例に対応する。具体的には、表示領域Ｋ２において、動画が表示されている出席者７７、すなわち発言者に対応する人物に識別表示が表示されている。ここで、識別表示は、例えば図７に示すように人物の背景の色を変更したり、人物の背景や人物自体を点滅させたりする表示である。なお、識別表示は上述したものに限られず、例えば、図７に示す出席者７９に付加されているようなマーク７９ｂ及びマーク７９ｂを点滅させるようにしてもよく、他の人物と識別できるものであればどのようなものであってもよい。
【００４７】
また、図７に示す画面の表示領域Ｋ２の端部には、表示領域８３〜８６が区分けされて表示されている。ここで、Ｑ地点のカメラ１００´はＰ地点のカメラ１００と同様、ディスプレイの表面にタッチパネルが設けられている。したがって、表示領域８３〜８６にディスプレイ操作に関する操作ボタンを割り当てておくことで、Ｑ地点のカメラ１００´は表示領域８３〜８６に応じた処理を行うことができる。例えば、表示領域８３には、表示領域Ｋ２と表示領域Ｋ３とを切り替える表示ボタンａを割り当てる。また、表示領域８４には、カメラ操作に関するコマンドボタンｂを割り当てる。また、表示領域８５には、カメラの起動の終了コマンドを含むメニューボタンｃを割り当てる。また、表示領域８６には、カメラのメモリに記憶されている会議のアジェンダ、原稿及びデータ等を表示したり、選択したりするコマンドボタンｄを割り当てる。また、発言者の順番を決めることにより、タッチパネル上のボタンａ〜ｄ、又はリモコンの操作により、次に発言する予定の人物に液晶パン部をあらかじめ回転させておき、その人物に原稿やデータ等を予め表示しておくことができる。
【００４８】
次に、図５に示すフローチャートに戻り、ステップＳ１５において、Ｐ地点のカメラ１００が音声を検出せず、ステップＳ１７の処理に進んで場合について説明する。
ステップＳ１７において、カメラ１００のコントローラ２１は、外部からの情報を検出したか否か、すなわち通信制御回路３８及びインターネット回路３９を介して、人物の選択情報を受信したか否かを判定する。より具体的に説明すると、Ｑ地点にいるユーザが、図７に示す表示領域Ｋ１に表示されている出席者７７〜８１のうち任意の人物を直接、押下して、選択するタッチパネル操作を行う場合について想定する。その場合、Ｑ地点のカメラ１００´のコントローラは、タッチパネル駆動回路を介して、タッチパネル操作において選択された人物の選択情報を検出する。上述した処理は選択情報検出手段の一例に対応する。
次に、Ｑ地点のカメラ１００´のコントローラは、検出した選択情報を通信制御回路及びインターネット回路を介してＰ地点のカメラ１００に送信する。上述した処理は選択情報送信処理手段の一例に対応する。
Ｐ地点のカメラ１００のコントローラ２１は、通信制御回路３８及びインターネット回路３９を介して人物の選択情報を受信した場合、ステップＳ１８に処理を進める。上述した処理は選択情報受信処理手段の一例に対応する。人物の選択情報を受信しない場合、ステップＳ１９に処理を進める。
【００４９】
ステップＳ１８では、コントローラ２１は取得した選択情報に基づいて人物を特定する。上述した処理は被写体特定手段の一例に対応する。
その後、ステップＳ１６の処理と同様に、コントローラ２１は、カメラユニット２２の撮影方向が、特定した人物を撮影する方向になるように、パンチルト駆動回路／駆動機構３４を介して、カメラユニット２２をパンニングさせる。また、コントローラ２１は、カメラユニット２２を介して特定した人物の動画を撮影する。さらに、コントローラ２１は、通信制御回路３８及びインターネット回路３９を介して、撮影した人物の動画の動画情報を逐次、Ｑ地点のカメラ１００´に送信する。Ｑ地点のカメラ１００´のディスプレイでは、タッチパネル操作において選択された人物が動画で表示される。
その後、ステップＳ１５に戻り、カメラ１００のコントローラ２１は、音声方向検出回路３１を介して方向情報を取得したか否かを判定する。
【００５０】
ステップＳ１７において、コントローラ２１が、人物の選択情報を取得せず、ステップＳ１９の処理に進んだ場合について説明する。
ステップＳ１９では、コントローラ２１が、タッチパネル駆動回路５２を介して、ユーザによるタッチパネル操作を検出したか否かを判定する。コントローラ２１は、タッチパネル操作を検出した場合、ステップＳ２０に処理を進め、タッチパネル操作を検出しない場合、ステップＳ１５に処理を進める。
【００５１】
ステップＳ２０において、コントローラ２１は、タッチパネル駆動回路５２を介して、タッチパネル操作が撮影を終了する指示であるか否かを判定する。コントローラ２１は、撮影を終了する指示のタッチパネル操作である場合、図５に示すフローチャートを終了し、その他の指示のタッチパネル操作である場合、ステップＳ２１に処理を進める。
ステップＳ２１では、コントローラ２１は、タッチパネル操作に応じた処理を行う。例えば、タッチパネル操作がメモリ４８に記憶されている会議のアジェンダ、原稿及びデータ等をディスプレイ５に表示する指示の場合、コントローラ２１はこの指示に応じた処理を行う。
【００５２】
また、会議中には出席者が退席したり、新たな出席者が参加したりする場合がある。そこで、上述したステップＳ１６又はステップＳ１８において、カメラユニット２２をパンニングさせるときに、コントローラ２１は、パンニングしているカメラユニット２２により再度、所定間隔で静止画の撮影を行ってもよい。静止画の撮影を行った後、上述したステップＳ１２〜ステップＳ１４のように、再度、人物を認識する等の処理を行うことにより、コントローラ２１は、動画を撮影するための人物特定の精度を向上させることができる。また、Ｑ地点において、ディスプレイ及びモニタにより、現在Ｐ地点の会議に参加している出席者を確認することができる。
【００５３】
このように、本実施形態によれば所定の被写体、すなわち発言者や他地点のユーザによって選択された人物の動画を自動的にリアルタイムで撮影することができる。したがって、例えばユーザがリモコンにより発言者や選択された人物を撮影する操作等を行う必要がないので、撮影を円滑に行うことができる。
また、他地点のディスプレイ又はモニタには、表示された複数の人物のうち、発言者には識別表示が表示されるため、視聴者は容易に発言者を特定することができる。
【００５４】
また、テレビ会議システムに用いるときに、カメラ１００を会議テーブル７２の中央に配置することにより、カメラ１００から会議の出席者７７〜８１までの距離が略同じ距離であり、全ての出席者７７〜８１を撮影することができる。
また、カメラ１００にはディスプレイ５とスピーカ１０とが設けられている。ディスプレイ５には他の地点の発言者の動画が表示されると共に、スピーカ１０では発言者の音声が出力される。このように映像の出力方向と音声の出力方向とが同一であるために、視聴者は違和感なく視聴することができる。
【００５５】
また、カメラ１００にはカメラユニット２２とパン側マイク９とが設けられている。カメラユニット２２では発言者の動画を撮影すると共にパン側マイク９では音声を入力する。このように、撮影の入力方向と音声の入力方向とが同一であるため、発言者の撮影及び発言者の音声の何れも良好に入力することができる。
また、パン部３と液晶パン部４とが同期して回動する場合、発言者はディスプレイ５を見ながら発言するため、発言者の顔正面とカメラユニット２２のレンズ部１とが対面する。したがって、他の地点のディスプレイには、発言者の顔正面の動画が表示されるために、顔の表情の変化等が分かり、会議の臨場感を向上させることができる。
【００５６】
なお、本実施形態ではＰ地点のカメラ１００とＱ地点のカメラ１００´とを接続してテレビ会議システムを構成したが、他の複数の地点のカメラと接続してテレビ会議システムを構成してもよい。
また、本実施形態ではテレビ会議モニタリングカメラをテレビ会議システムに用いる場合について説明したが、この場合に限られない。例えば家庭でのコミュニケーションカメラやネットワークカメラ等を用いてシステムを構成してもよい。また、管理カメラやセキュリティカメラ等を用いてセキュリティシステムを構成してもよい。
また、本実施形態では、カメラユニット２２が撮影する被写体を人物とする場合についてのみ説明したが、この場合に限られない。例えば、被写体は動物や物品であってもよい。
【００５７】
上述した本発明の実施形態における撮像装置及びネットワークシステムを構成する各手段、並びに撮像装置の制御方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００５８】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。
【００５９】
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００６０】
従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００６１】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６２】
更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６３】
【図１】本実施形態に係るカメラの斜視図である。
【図２】本実施形態に係るカメラの背面図である。
【図３】本実施形態に係るカメラのブロック図である。
【図４】本実施形態に係るテレビ会議システムの構成を示す図である。
【図５】本実施形態に係るカメラの動作処理を示すフローチャートである。
【図６】本実施形態に係るパノラマ画像の一例を示す図である。
【図７】遠隔地のディスプレイに表示される画像の一例を示す図である。
【図８】従来のテレビ会議システムの構成の一部を示す図である。
【符号の説明】
【００６４】
１００  カメラ
１      レンズ部
２      カメラヘッド部
３      パン部
４      液晶パン部
５      ディスプレイ
６      本体部
７      リモコン受光部
８      リモコン受光部
９      パン側マイク
１０    スピーカ
１１    本体側マイク部
１２    外部インターネット端子
１３    メモリスロット
１４    外部マイク端子
１５    オーディオ出力端子
１６    ビデオ出力端子
２１    コントローラ
２２    カメラユニット
２３    カメラ回路
２４    液晶表示回路
２６    画像処理回路
２７    人物認識回路
２８    第１マイク部
２９    第２マイク部
３０    音声回路
３１    音声方向検出回路
３２    外部マイク端子
３３    カメラ駆動回路／駆動機構
３４    パンチルト駆動回路／駆動機構
３５    ビデオエンコード回路
３６    オーディオエンコード回路
３７    多重化回路
３８    通信制御回路
３９    インターネット回路
４０    分離回路
４１    ビデオデコード回路
４２    オーディオデコード回路
４３    映像表示回路
４５    スピーカ駆動回路
４８    メモリ
５０    受信回路
５１    タッチパネル
５２    タッチパネル駆動回路／駆動機構
５３    パン駆動回路／駆動機構
７２    会議テーブル
７３    モニタ
【図１】
2010004480.tif 000003
【図２】
2010004480.tif 000004
【図３】
2010004480.tif 000005
【図４】
2010004480.tif 000006
【図５】
2010004480.tif 000007
【図６】
2010004480.tif 000008
【図７】
2010004480.tif 000009
【図８】
2010004480.tif 000010