(57)【要約】  本発明は、カメラにより取り込まれたビデオ枠内の参加者と該参加者のそれぞれの位置を検出し、そして前記検出された参加者の位置と寸法とに基づいて、全参加者の最良光景を取り込むために最適のカメラの配向及びズームを自動的に決定し、使用するために、ビデオ検出技術を使っている。【選択図】  図２
2010533416.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ会議システムに付随する画像ピックアップデバイスの配向及びズームを自動的に操縦する方法であって、
前記画像ピックアップデバイスにより枠内に囲まれる画像を表す画像信号を前記画像ピックアップデバイスで発生する過程と、そして
前記画像内の対象を識別するために該画像信号を処理する過程と、そして、もし予め決められたイベントが起こると、
該画像ピックアップデバイスを初期配向へ操縦する過程と、
基準点に対する全ての識別された対象の位置と該対象のそれぞれの寸法とを決定する過程と、
前記画像内の関心範囲であるが、前記関心範囲が少なくとも全ての識別された対象を含む該関心範囲を規定する過程と、
前記規定された関心範囲を枠内に囲むよう該画像ピックアップデバイスを操縦する過程と、を具備する方法。
【請求項２】
該画像ピックアップデバイスを操縦する前記過程が、
該画像ピックアップデバイスの方位角及び迎角を変える過程と、そして
該画像ピックアップデバイスのズームを変える過程と、を備える請求項１に記載の方法。
【請求項３】
該画像ピックアップデバイスを初期配向へ操縦する前記過程が、
該画像ピックアップデバイスを最大視野へズームアウトし、該画像ピックアップデバイスを予め規定されたパン及びチルトのシーケンスにより動かし、該デバイスが位置する室を出来るだけ多く枠内に囲む過程を更に備える請求項１に記載の方法。
【請求項４】
該画像信号がビデオ画像の枠を表しており、そして該対象を識別する過程が
前記ビデオ枠内の顔及び／又は頭の画像を検出する過程と、
該検出された顔／頭を１連の枠を通して追跡する過程と、
検出値を顔／頭として識別する過程であって、前記検出値が予め決められた数の連続する枠の全部の中で起こる場合のみ、該検出値を顔／頭として識別する過程と、を更に有する請求項１に記載の方法。
【請求項５】
該関心範囲を規定する過程が、
第１範囲用の１セットのマージンを規定する過程であって、前記第１範囲が顔及び／又は頭の前記検出画像の全部を囲む最小の規定可能な範囲である該第１範囲用の１セットのマージンを規定する過程と、そして
１セットのオフセット値だけ前記マージンを拡張することにより前記関心範囲を規定する過程と、を更に備える請求項４に記載の方法。
【請求項６】
該関心範囲が標準画像アスペクト比を適合させるよう更に拡張される請求項５に記載の方法。
【請求項７】
前記関心範囲が対象又は対象のグループのクローズアップ光景を表す請求項１に記載の方法。
【請求項８】
前記予め規定されるイベントが、
該ビデオ会議システムをスイッチオンする過程、会議召集始動請求を受信又は送信する過程、及び／又はユーザーからのコマンドを受信する過程、を具備する請求項１に記載の方法。
【請求項９】
前記方法が、
基準点に対するオーディオ源の位置を決めるために、１セットのオーディオピックアップデバイスからのオーディオ信号を処理する過程を更に具備する請求項１に記載の方法。
【請求項１０】
前記予め規定されるイベントが、
枠内に囲まれた関心範囲の外部のオーディオ源の存在を検出する過程を具備する請求項８に記載の方法。
【請求項１１】
前記予め規定されたイベントが、
枠内に囲まれた関心範囲からの１人以上の参加者の消失を検出する過程を具備する請求項１に記載の方法。
【請求項１２】
ビデオ会議システムに付随する画像ピックアップデバイスにより枠内に囲まれる画像を表す画像信号を発生する該画像ピックアップデバイスの配向及びズームを自動的に操縦するシステムであって、前記画像内の対象を識別するため、そして全ての該識別された対象の基準点に対する位置と該対象のそれぞれの寸法とを決定するため、該画像信号を処理するよう構成されたビデオ検出ユニットを具備している自動的に操縦するシステムにおいて、
前記画像内の関心範囲であり、前記範囲が少なくとも該全ての識別された対象を有する、該範囲を規定するよう構成された画像処理ユニットと、
予め規定されたイベント発生時、
該画像ピックアップデバイスを初期配向へ操縦し、
前記関心範囲に対応するカメラ座標を前記画像処理ユニットから受信し、
前記規定された関心範囲を枠内に囲むよう該画像ピックアップデバイスを操縦するよう構成された制御ユニットと、を更に具備する自動的に操縦するシステム。
【請求項１３】
該画像信号がビデオ画像の枠を表し、該識別された対象が前記ビデオの枠内の顔及び／又は頭の検出された画像である請求項１２に記載の自動的に操縦するシステム。
【請求項１４】
該検出された顔及び／又は頭を１連の枠を通して追跡するよう、そして
前記検出が予め規定された数の連続枠の全てで起こる場合のみ、該検出を顔／頭として識別するよう、構成された顔追跡ユニットを更に具備する請求項１３に記載の自動的に操縦するシステム。
【請求項１５】
前記画像処理ユニットが、
顔及び／又は頭の前記検出された画像の全部を囲む最小の規定可能な範囲である第１長方形範囲用に１セットのマージンを規定するよう、そして
１セットのオフセット値だけ前記マージンを拡張することにより前記関心範囲を規定するよう更に構成される請求項１３に記載の自動的に操縦するシステム。
【請求項１６】
該関心範囲が標準画像アスペクト比を適合させるよう更に拡張される請求項１５に記載の自動的に操縦するシステム。
【請求項１７】
カメラ座標内のオーディオ源の位置を決定するために、１セットのオーディオピックアップデバイスからのオーディオ信号を処理するよう構成されたオーディオ源探索部を更に具備する請求項１３−１６の何れか１に記載の自動的に操縦するシステム。
【請求項１８】
前記制御ユニットが、
該オーディオ源探索部からオーディオ源座標を受信するよう、そして
前記オーディオ源座標を現在の視野と比較するよう、更に構成される請求項１３−１７の何れか１に記載の自動的に操縦するシステム。
【請求項１９】
前記画像ピックアップデバイスが前記画像ピックアップデバイスの位置付け用にカメラ制御ユニットを有しており、前記制御ユニットは該画像ピックアップデバイスの配向及びズーム用の制御信号を前記カメラ制御ユニットに供給し、該制御信号は前記関心範囲に基づき発生される請求項１３−１８の何れか１に記載の自動的に操縦するシステム。
【請求項２０】
前記予め規定されたイベントが、
現在の視野の外部にあるオーディオ源の存在の検出を含む前記請求項の１つに記載の自動的に操縦するシステム。
【請求項２１】
前記予め規定されたイベントが、
該枠内に囲まれた関心範囲からの１人以上の参加者の消失の検出を備える前記請求項１２−２０の何れか１に記載の自動的に操縦するシステム。
【請求項２２】
前記予め規定されたイベントが、
現在の枠内に囲まれた関心範囲の外部にあるオーディオ源の存在の検出を備える請求項１２−２１の何れか１に記載の自動的に操縦するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ会議と、カメラの配向及びズームの自動調整と、に関する。
【背景技術】
【０００２】
大抵の高級ビデオ会議システムでは、パン、チルト、及びズームの能力を有する高品質カメラが、会議室及び会議参加者の光景を枠内に囲むため使われる。典型的に、該カメラは広い視野｛エフオーブイ（ＦＯＶ）｝と、高い機械的ズーム能力を有する。これは会議室の良好な展望と、参加者のクローズアップ画像取り込み能力と、の両者を可能にする。該カメラからのビデオ流れは圧縮され、該ビデオ会議の１つ以上の受信サイトへ送信される。該会議の全サイトは、該会議の他のサイトからのライブのビデオ及びオーディオを受信し、かくして視覚及び音響の両情報を用いた実時間通信が可能となる。
【０００３】
ビデオ会議は、目的、参加者数、会議室レイアウト、他の面に関して、非常に多彩である。各会合構成は、最適な光景を提示するためにカメラの個別調整を要するのが典型的である。ビデオ会議の前及び途中の両面で、カメラの調整を要する。例えば、１６人まで座るビデオ会議室で、１６ケの利用可能シート位置の全部を枠内に囲むようビデオカメラが予めセットされるのは当然である。しかしながら、もし２，３人の参加者しかいないなら、広い視野のカメラ設定は非常に乏しい視覚表現を受信端に与える。
【０００４】
カメラの調整は該カメラのパン、チルト及びズームを手動で制御するか、又は予め規定されたカメラ位置の設定の間で選択するか、何れかにより遠隔制御を介して行われるのが典型的である。これらの予め規定された位置は手動でプログラムされる。屡々、ビデオ会議の前又は途中で、ユーザーはカメラの手動制御で予め支配されることを欲しなかったり、或いは経験の少ないユーザーはカメラの視野を変える可能性（又は方法）さえ知らない。従って、カメラはビデオ会議で準最適程度に調整された侭であることが多く、未熟なビデオに帰着する。
【０００５】
それ故、ビデオ会議室内の全情景向けに良好なカメラ配向を保証するために、自動視野調整システムが望ましい。
【０００６】
カメラ追跡能力を有する幾つかのビデオ会議システムは存在する。しかしながら、これらのシステムの目的はカメラを活動話者に自動焦点合わせすることである。これらのシステムは、マイクロフォンアレーを用いたオーディオ信号処理に依る、及び／又は画像処理との組み合わせた、話者探索（ｓｐｅａｋｅｒ  ｌｏｃａｌｉｚａｔｉｏｎ）に基づくのが典型的である。
【０００７】
或るデジタルビデオカメラ｛例えば、ウエブカムス（ｗｅｂ−ｃａｍｓ）｝はデジタルのパン、チルト及びズームの限られた範囲内で、１人の人間を検出し、中心に据え、そして追従するために、ビデオ解析を使う。しかしながら、これらのシステムは１人の人間用にしか好適でなく、該カメラが最初に正しく位置付けられることを要し、非常に限定されたデジタル作動範囲しか有しない。
【０００８】
従って、上記従来技術は何れもビデオ会議設定でのカメラの自動構成用のシステムを述べていない。
【特許文献１】米国特許第５，７７８，０８２号明細書
【発明の概要】
【０００９】
本発明の目的は、従来技術の上記問題の少なくとも１つを解決する方法とシステムを提供することである。
【００１０】
一緒に綴じられた独立請求項で規定された特徴は本方法とシステムを特徴付ける。
【図面の簡単な説明】
【００１１】
本発明をより容易に理解することを可能にするために下記論議は付随図面を参照する。
【図１】典型的ビデオ会議室を図解する。
【図２】本発明の“最良光景”探索部の部品を略図で示す。
【図３】該“最良光景”探索部の動作のフローチャートである。
【図４】典型的ビデオ会議状況と、画像ピックアップデバイスの例示用初期配向と、を略図で示す。
【図５】２人の参加者を有する画像内の顔検出を図解する。
【図６】１つの例示用の規定された関心範囲（“最良光景”）を図解する。
【図７】もう１つの例示用の規定された関心範囲（“最良光景”）を図解する。
【図８】図６の前記規定された範囲のカメラ枠内囲みを図解する。
【図９】現在の枠内に囲まれた画像の外部で検出されたオーディオ源を図解する。
【図１０】図９の前記オーディオ源を表す参加者を含むカメラ枠内囲みを図解する。
【図１１】カメラ視野を去る１参加者を図解しており、
【図１１ａ】１人の人間が会議を去ることを図解する。
【図１１ｂ】１人の人間が枠のエッジ近くにいることを図解する。
【図１１ｃ】残った２人の人間を図解する。
【図１１ｄ】該残った人間の最適光景を図解する。
【実施例１】
【００１２】
下記では、好ましい実施例を説明し、付随する図面を参照することにより本発明を論ずる。しかしながら、当業者は他の応用及び変型も、一緒に綴じた独立請求項で規定される本発明の範囲に入ることを理解するであろう。
【００１３】
図１は例示用ビデオ会議システム２０を有する典型的ビデオ会議室１０を図解する。ビデオ会議システム２０は通常下記部品；すなわち、コーデック１１（オーディオ及びビデオ情報のコーディング及びデコーディング用）、ユーザー入力デバイス８（すなわち、遠隔制御部又はキーボード）、画像取り込みデバイス６（カメラ）、オーディオ取り込みデバイス４；７（マイクロフォン）、ビデオディスプレー９（スクリーン）及びオーディオ再生デバイス５（ラウドスピーカー）、から成る。高級ビデオ会議システム｛ブイシーエ
ス（ＶＣＳ）｝はモーター駆動のパン、チルト、及びズーム能力を有する高品質カメラ６を使う。
【００１４】
本発明は、参加者と、カメラ６により取り込まれたビデオ枠内の該参加者のそれぞれの位置を検出するため、そして前記検出された参加者の位置と寸法に基づき、全参加者の最良光景を取り込むように最適のカメラ配向及びズームを自動的に決定し、使うため、ビデオ検出技術を使う。
【００１５】
何が、ビデオ会議に於ける参加者の集合の“最良光景（ｂｅｓｔ  ｖｉｅｗ）”であるか、については多くの意見がある。しかしながら、下記では、“最良光景”は、参加者グループのクローズアップを指し、そこでは、ビデオ枠の中心が該グループの中心と実質的に一致し、ズーム程度は前記グループ付近に密接に適合した画像を与える。しかしながら、該画像は余りに密接であってはならず、少なくとも該参加者の上半身を示し、ビデオ枠を出ることなく該参加者が僅かに動く余地を与える。
【００１６】
図２は本発明の“最良光景”探索部５２内のモジュールを示す。ビデオ検出ユニット３０は、取り込まれたビデオ信号の枠内に対象、例えば、顔及び／又は頭を連続して検出するよう構成される。予め規定されたイベント（例えば、ブイシーエスがスイッチオンされた時、ユーザー入力デバイス８を通して始動された時、他）に際して、カメラはその最大視野までズームアウトし、そして該システムが置かれた室１０の出来るだけ多くを取り込める予め規定されたパン及びチルト配向（方位角及び迎角）まで動く。該ビデオ検出ユニット３０は該ビデオ信号内の枠を解析し、予め決められた静止基準点（例えば、該枠の中心）に対する該ビデオ枠内の全ての顔／頭と、それらの位置、を検出する。該ビデオ画像内の該顔／頭の位置と寸法（又は面積）はカメラ座標（方位角及び迎え角そしてズーム係数）に変換される。各検出された顔／頭についての情報（例えば、位置、寸法、他）は顔追跡ユニット３５を経由して画像処理ユニット５０へ送られる。前記顔／頭情報に基づいて、該画像処理ユニットは、少なくとも全ての検出された顔／頭を含む長方形範囲を規定する。予め規定された規則のセットは該範囲が如何に規定されるべきかを指示し、該範囲は該枠内に人々の最良光景を表す（又はビデオ会議室１０）。該規定された範囲及びその位置のカメラ座標（方位角及び迎角とズーム係数）は制御ユニット４５に送信される。該制御ユニットはカメラ制御ユニット１２にカメラを前記カメラ座標へ動かすよう指示し、該カメラ６のパン、チルト及びズームは該規定された範囲に対応する画像を枠内に囲むよう調整される。
【００１７】
画像ピックアップデバイス（又はカメラ）６は該画像ピックアップデバイスの位置付け用のカメラ制御ユニット１２を有する。該カメラ制御ユニット１２は該画像ピックアップデバイス６のパン及びチルト配向とズーム程度を制御する、モーターを有する操縦機構である。該カメラ制御ユニット１２は要求によりその現在の方位角及び迎角とズーム係数を報告し返すことも出来る。画像処理ユニット５０と制御ユニット４５は該カメラ制御ユニット１２に制御信号を供給する。カメラ制御ユニット１２はカメラ座標システムを使うが、該システムはカメラ６に対する取り込まれた枠の方向とズームの程度とを説明する方位角及び迎角とズーム係数とに基づいた位置を指示する。ビデオ検出ユニット３０は、該枠がカメラ６により取り込まれた時、カメラ６の方位角及び迎角とズーム係数を使って、ビデオ（又は画像）座標システムで表された座標測定値を、カメラ座標システムで表される座標測定値に、変換するよう構成される。
【００１８】
図３は“最良光景”探索部５２の動作のフローチャートである。カメラ６は１連の枠（画像）を有するビデオ信号を出力する。該枠はビデオ検出ユニット３０により解析される。予め規定されたイベントに際して、該カメラ制御ユニット１２はカメラを初期配向へ動かすよう指示される（過程６０）。該初期配向の目的は、カメラが会議室内の全ての人を
“見る”ことが出来ることを確認することである。この様な初期配向を決める幾つかの方法がある。
【００１９】
図４を参照し、本発明の１例示用実施例によると、カメラはその最大視野までズームアウトし、そして室１０ａを出来るだけ多く取り込める、及び／又は会合する参加者を見出す最高確率を有する室の部分を取り込める、予め規定されたパン及びチルト配向１３まで動く。該予め規定されたパン及びチルト配向（すなわち初期配向）はセットアップ機能（例えば、カメラを最適初期位置へ手動で移動させ、次いでその位置を保存する）を通して該システムに手動で入れられるか、又はそれがデフォールト工場値であるのが典型的である。
【００２０】
本発明のもう１つの例示用実施例によれば、該カメラは、最大視野を用い、何処で該セットの視野が重なり合うか、初期配向のセット（１４，１５）を調べることにより室全体を取り込むよう構成される。大抵の場合、２つの配向のセットで充分である。しかしながら、該配向の数はカメラの最大視野により、３、４、５、６、他であってもよい。各配向（１４，１５）について、顔及び／又は頭とそれらのそれぞれの位置を検出するよう、１つ以上のビデオ枠がビデオ検出ユニット３０により解析される。該配向を全て解析した後、該画像処理ユニット５０は検出した全参加者を含む該パン及びチルト配向を計算し、前記計算された配向を初期配向と規定する。
【００２１】
ビデオ検出ユニット３０はビデオ枠内の顔及び／又は頭を検出し、位置を知る（過程７０）ため該カメラ６からのビデオ信号２５を解析する。該ビデオ検出ユニット３０は検出された顔／頭の位置の或る予め決められた、静止基準点（例えば、ビデオ画像の中心）からのオフセットを測定する。
【００２２】
対象検出用には種々のアルゴリズムが使われてもよい。任意のビデオ枠が与えられると、顔検出アルゴリズムの目標は、画像内に何等かの顔があるか否かを決定し、もしあれば、顔の各画像の画像位置と面積（寸法）を返すことである。図５を参照し、本発明の１つの例示用実施例に依ると、解析窓３３は該画像上で移動する（又は走査する）。解析窓３３の各位置について、解析窓３３内の画像情報は、少なくとも典型的な顔の特徴の存在に関し解析される。しかしながら、本発明はこの種の顔検出法の使用に限定されないことは理解されるべきである。更に、頭検出アルゴリズムも、頭がカメラの方へ配向されてない参加者を検出するために使われてもよい。
【００２３】
顔／頭の画像が検出されると、該ビデオ検出ユニット３０は顔／頭の前記画像を囲む長方形セグメント（又はボックス）を規定する。本発明の１実施例によれば、前記長方形セグメントは前記解析窓３３である。顔／頭の画像を含む前記セグメントの位置が、該ビデオ枠に基づくビデオ座標システムに対し測定される。該ビデオ座標システムはカメラ６により取り込まれた各枠に適用される。該ビデオ座標システムは水平又はｘ軸と、垂直又はｙ軸を有する。画素又は画像の位置を決定すると、ビデオ検出ユニット３０はその画素の又は画像のビデオ枠のｘ軸及びｙ軸に対するその位置を決定する。本発明の１例示用実施例では、該解析窓３３の中心点３１（窓の半ばの画素）は位置基準点であり、その位置は前記ビデオ座標システム内の座標ｘ及びｙにより規定される。該ビデオ検出ユニット３０が枠内の全ての顔／頭の位置（ｘ、ｙ）及び寸法（例えば、ｄｘ＝２０，ｄｙ＝２４画素）を計算すると、該ビデオ検出ユニット３０は、顔／頭の各画像用の該カメラ座標システム内の方位角及び迎角での対応する位置（α、ψ）及び寸法（Δα、Δψ）を計算する（過程８０）ために該ビデオ枠、光学及び力学の知識を使う。各顔／頭用の該カメラ座標は次いで顔追跡ユニット３５へ送られる。
【００２４】
顔追跡ユニット３５は現在のビデオ枠から検出された顔と、前のビデオ枠で検出された
顔との相関を取り、それに伴い該検出された顔を１連の枠を通して追跡する。１連の枠を通して実質的に同じ位置で顔／頭が検出される場合のみ、該検出結果は正の検出結果として有効化される。何よりもこれは、幾つかの連続ビデオ枠で同じ検出が起こるのでないならば、誤った顔検出を防止する。又もし顔検出ユニットが、顔が前に検出されたと実質的に同じ座標で顔の検出に失敗した場合、該画像追跡ユニットは、該検出が幾つかの連続枠で検出に失敗しないならば、その顔が該画像に不在であると考えない。これは誤った否定的検出を防止することになる。更に、該追跡はビデオ枠内で移動している参加者の適切な位置を得ることを許容する。この追跡を実行するために、顔追跡ユニット３５は各検出された顔用の追跡フアイルを創り、保持する。該追跡フアイルは例えばメモリーデバイス内に記憶されてもよい。
【００２５】
過程９０で、該画像処理ユニット５０は関心範囲３４（最良光景）を規定する。関心範囲３４は図６で示され、そこでは前記範囲３４は少なくとも全ての顔の検出画像をその枠内に有する。
【００２６】
本発明の１実施例に依れば、各顔の位置（α、ψ）及びそれらの対応する寸法（α、ψ）に基づき、該画像処理ユニット５０は１セットのマージン（Ｍ１、Ｍ２、Ｍ３そしてＭ４）で制限された第１範囲を計算するが、そこでは前記マージンは最も左の顔セグメントの左側（Ｍ１）、最も上の顔セグメントの上側（Ｍ３）、最も右の顔セグメントの右側（Ｍ２）そして最も底部の顔セグメントの底部側（Ｍ４）、から得られる。前記第１範囲の中心の位置（αｆａ、ψｆａ）は前記マージンに基づきカメラ座標内で今や計算出来る。前記第１範囲の位置は基準点（α０、ψ０）に関係し、方位角及び迎角がゼロの時に該カメラの方向であるのが典型的である。更に、該第１範囲の幅と高さはズーム係数（Ｚｆａ）に変換される。
【００２７】
この第１範囲は参加者の顔に非常に近く、この例示用実施例に示される様に２人しか参加者がいない時は特に、該参加者の最も快適な光景（最良光景）は表さない。従って、前記マージン（Ｍ１、Ｍ２、Ｍ３及びＭ４）が計算された時、１セットのオフセット値ａ，ｂ，ｃ及びｄにより前記マージンを拡大することにより第２範囲（最良光景フレーム３４）が規定される。これらのオフセット値は等しいか、又はそれらは、例えば、参加者の頭の上よりも参加者の前のテーブルをより多く取り込むよう変わってもよい。該オフセット値は予めセットされ、静止しているか、或いはそれらは各状況に適合するよう計算されてもよい。
【００２８】
もう１つの例示用実施例に依れば、該最良光景枠３４は、計算されたズーム係数Ｚｆａから補償値Ｚｃを引き算し、カメラを追加距離だけズームアウトさせるだけにより規定される。該補償値Ｚｃは静止しているか、或いは第１範囲ズーム係数Ｚｆａの寸法により線形的に変化してもよい。
【００２９】
図７は初期カメラ配向から取られた例示用ビデオ枠を略図で示す。３つの顔が該ビデオ枠内で検出され、画像処理ユニット５０は最良光景枠３４を規定し、該最良光景枠の位置（αｆａ、ψｆａ）を計算した。
【００３０】
ビデオ会議システム用の大抵の画像ピックアップデバイス６は標準テレビジョン画像アスペクト比、例えば、４：３（１．３３：１）又は１６：９（１．７８：１）で動作する。上記説明の様に、大抵の計算された最良光景枠３４は標準、例えば４：３又は１６：９から逸れたアスペクト比を有するので、ズーム座標を決める時或る考慮が行われねばならない。Ａψは範囲３４の最短エッジなので、もしカメラが精確な高さＡψを取り込むためにズームインすれば、そのアスペクト比が規定された範囲と異なるため、該範囲の大きな部分は該カメラ内の光感応範囲（例えば、画像センサー）をミスするであろう。もし該カ
メラが該規定された範囲３４の精確な幅Ａαを取り込むためにズームインすれば、情報が失われることはない。
【００３１】
従って、本発明の例示用実施例に依れば、最良光景枠３４の２つの辺Ａψ及びＡαが比較される。該２辺の各々は、それぞれ水平及び垂直方向で画像枠内に関心範囲を適合させるのに必要なズーム係数を規定する。かくして、ズーム度は２つの計算されたズーム係数の最小のもので規定され、関心範囲は関心範囲へズームする時切り落とされないことを保証する。
【００３２】
過程１００で、該画像処理ユニット５０は制御ユニット４５を経由してカメラ制御ユニット１２に過程９０から得られたカメラ位置付け指令（αｆａ、ψｆａ、Ｚ）を供給する。一旦カメラ位置付け指令が受信されると、該カメラは該ビデオ会議内の参加者の最良光景を得るために、指示された座標へ動き、ズームする。図８は図６の会議室１０ａから参加者１及び２の最良光景を示す。
【００３３】
カメラが新配向へ動く時、該カメラはイベントが検出されるまでその配向に留まるだろう（過程１１０）。前述の様に、カメラは或る予め規定されたイベントの時は、該カメラを初期配向へ動かす（過程６０）ようにだけ指示される。この様な予め規定されるイベントは、ビデオ会議システムがスタートする時、該システムがスリープモードから目覚まされる時、該システムが会議召集始動請求を受ける、又は送る時、例えば遠隔制御又はキーボード経由でユーザーにより始動される時、他を含む。通常、参加者の最適な光景が見出された時、カメラの配向を変えるニーヅは普通は少ない。しかしながら、ビデオ会議中に、該配向を再構成する必要が生じる状況、例えば、参加者の１人が去る、新参加者が到着する、参加者の１人が彼／彼女の席を換える、他、が起こるかも知れない。この様な状況の時、ユーザーの１人は、勿論、遠隔制御部のボタンを押すことにより再位置付け（過程６０）を始動してもよい。しかしながら、この様なイベントの自動検出が好ましい。
【００３４】
従って、本発明の１実施例に依れば、過程１１０のイベントトリガーとしてオーディオ源探索が使われる。上記で論じた様に、図８は大きな会議室１０ａの２人の参加者１及び２の最適光景を示す。図８で見られる様に、この光景でカメラは極めて広くズームインされ、もし１人の人間が後れて該会議に加わり、椅子１２の１つに座るなら、彼／彼女はカメラにより取り込まれないだろう。会合に加わる時は、挨拶及び／又は自己紹介するのが普通である。これは礼儀の問題であり、新参加者がその会議に加わったことを他の参加者（オーディオ面のみで参加してもよい）に注意するためでる。公知のオーディオ源探索配備７；４０を使うことにより、該ビデオ会議システムはオーディオ源（参加者）２００がカメラの現在の視野の外部に突き止められたことを検出してもよい。該オーディオ源探索部４０はカメラ座標内で動作する。該オーディオ源が該オーディオ源探索部４０により検出され、位置を知られると、該探索部は該オーディオ源座標を該制御ユニット４５へ送る。もし該オーディオ源座標が該カメラの現在の視野内にあれば、何も行われない。しかしながら、もし該オーディオ源座標が現在の視野の外部にあれば、該制御ユニットは現在の視野が全参加者を取り込んでないことを指示し、過程６０−１００の検出過程が繰り返される。結果は図１０で見られる。従って、本発明の１実施例に依れば、カメラの現在の視野の外部の少なくとも１つのオーディオ源のこの様な検出は過程６０−１００の繰り返しをトリガーする過程１１０のイベントと考えられる。
【００３５】
オーディオ源探索配備は公知であり、ここでは詳細には論じない。それらは一般に複数の空間的に隔てられたマイクロフォン７であり、該マイクロフォンの出力の信号間の遅延差の決定に基づくことが多い。もし該マイクロフォンの位置と、該源と該種々のマイクロフォンの間の伝播路間の遅延差と、が既知であれば、該源の位置は計算され得る。オーディオ源探索部の１例は特許文献１で示される。
【００３６】
本発明のもう１つの実施例に依れば、もう１つの予め規定されたイベントは、会議室（又は視野）を去る参加者が検出された時である。この様な検出は前述の追跡機能に依る。図１１ａに示す様に、参加者が該室を去る時、追跡フアイル又は追跡履歴は検出された顔の位置／場所（α、ψ）が位置（α３、ψ３）から該枠のエッジに近い位置（α４、ψ４）へ変化することを枠のシーケンス（図１１ａ−１１ｂ）上で示す。もし同じ顔の検出データが突然消え（最早顔を検出しない）、或る時間枠（図１１ｃ）内で戻らないなら、該顔検出データは会議を去る参加者と考えられる。この様なイベントの検出時、該カメラの視野を図１１ｄに示す新しい最適光景に調整するために過程６０−１００が繰り返される。
【００３７】
本発明のなおもう１つの実施例に依れば、もう１つの予め規定されるイベントはビデオ枠のエッジの近くで動きが検出された時である。ビデオ会議室に入った全部の人が同時に話をスタートすることはない。これはその状況、参加者の年長順、他に依る。従って、本システムが新しい到着を検出し、応じて作動する前に或る時間を要する。戻って図９を参照すると、例え或る参加者の大部分がカメラの視野外にあっても、彼の１部分３８はビデオ枠内に取り込まれる。人は静止家具に対し完全に静止して座るのは稀なので、該部分３８はビデオ検出ユニット３５により画像内の動きとして容易に検出され得る。この様なイベントの検出時（動きは画像／枠のエッジの近くで検出される）、該カメラの視野を新しい最適光景に調整するために過程６０−１００が繰り返される。
【００３８】
本発明のシステムはビデオ会議室内の全参加者の最良の視覚的表現を自動的に得る新規の方法を提供する。更に、該システムは、会議室からの退出、会議室への入室、の様な新状況に自動的に適合し、応じて視覚表現を変える。本発明は優れた視覚的経験へのユーザーにより親しみ易いアプローチを提供する。
【図１】
2010533416.tif 000003
【図２】
2010533416.tif 000004
【図３】
2010533416.tif 000005
【図４】
2010533416.tif 000006
【図５】
2010533416.tif 000007
【図６】
2010533416.tif 000008
【図７】
2010533416.tif 000009
【図８】
2010533416.tif 000010
【図９】
2010533416.tif 000011
【図１０】
2010533416.tif 000012
【図１１】
2010533416.tif 000013
【国際調査報告】
2010533416.tif 000014
2010533416.tif 000015
2010533416.tif 000016
2010533416.tif 000017
2010533416.tif 000018