(57)【特許請求の範囲】
【請求項１】
プレゼンタと視覚教具との複合イメージであって投影されるスライドイメージのような複合イメージを含み、遠隔位置に表示するためのプレゼンテーションを自動的にビデオ記録する方法であって、
ａ）閾値バイアスパラメータと最小モーションパラメータとブランクスクリーン時間パラメータとモーションなし時間パラメータとを含む予め定めた初期設定パラメータと、スライド解析基準とを設定するステップと、
ｂ）スライドカメラから獲得されるビデオフレームであるスライドイメージを収集するステップと、
ｃ）前記閾値バイアスパラメータを参照して現在のビデオノイズ閾値を決定するステップと、
ｄ）前記モーションなし時間パラメータと前記最小モーションパラメータとが設定され、前記現在のビデオノイズ閾値が決定された場合において、前記スライドイメージにモーションがあるかどうかを判定するステップと、
ｅ）前記ブランクスクリーン時間パラメータが設定された場合において、前記スライドイメージがブランクであるか否かを判定するステップと、
ｆ）前記遠隔の視聴者に適正なイメージを選択し表示するステップであって、仮に前記スライドイメージがブランクでなく、該スライドイメージにおいてモーションがない場合に、前記スライドイメージを選択するステップと
を備えたことを特徴とする方法。
【請求項２】
請求項１において、
ｇ）トラッキングカメラから獲得されるビデオフレームであるプレゼンタイメージを収集するステップをさらに含み、
前記複合イメージは、前記プレゼンタイメージと前記スライドイメージとを組み合せたものを含み、
前記プレゼンタイメージは、前記トラッキングカメラが位置を変更している間、表示されない
ことを特徴とする方法。
【請求項３】
請求項１において、前記ステップｂ）は、
前記スライドカメラからの第１のビデオイメージをデジタル化してフレームバッファに記憶するステップと、
前記デジタル化された第１のビデオイメージを前記フレームバッファからプロセッサメモリにコピーし、前記コピーされた第１のビデオイメージを対応する第１のクロックタイムに関係付けをし、前記コピーされた第１のビデオイメージが前イメージとして指定されるステップと、
前記スライドカメラからの第２のビデオイメージをデジタル化して前記フレームバッファに記憶するステップと、
前記デジタル化された第２のビデオイメージを前記フレームバッファから前記プロセッサメモリにコピーし、前記コピーされた第２のビデオイメージを対応する第２のクロックタイムに関係付けをし、前記コピーされた第２のビデオイメージが現在イメージとして指定されるステップと
をさらに含むことを特徴とする方法。
【請求項４】
請求項３において、前記ステップｃ）は、
前イメージおよび現在イメージの対応する閾値ボックスの領域内にある、前記前イメージと前記現在イメージとのすべてのピクセル差における最大ピクセル差を計算するステップであって、前記閾値ボックス内にモーションがない領域が予想されるステップと、
現在のビデオノイズレベルを判定するため、前記閾値バイアスを前記最大ピクセル差に加算し、得られた値を閾値として指定するステップと
をさらに含むことを特徴とする方法。
【請求項５】
請求項１において、前記ステップｄ）は、
前記前イメージおよび前記現在イメージの対応する探索ボックスの領域であって、モーションの有無が評価されるイメージ領域を含む探索ボックスの領域内において、それぞれのピクセル差が前記閾値を超えるかどうかを判定するステップと、
前記探索ボックス内にある他のモーションがブロックボックスに隣接している場合を除き、モーションが無視される領域を含む前記現在イメージ内で、ブロックボックスの領域を指定するステップと、
前記ブロックボックス領域内および前記ブロックボックス領域外で、１つ以上のモーション境界ボックス領域を指定するステップと
をさらに含み、
前記モーション境界ボックスは、前記閾値を超える前記探索ボックスの領域内にあるすべてのピクセル差を含む最少サイズ矩形領域を含み、
前記ブロックボックス内にモーション境界ボックスが１つしかないときに、前記探索ボックスはモーションがないとみなされ、
モーション境界ボックスが前記ブロックボックス外にあり、前記ブロックボックス内にあるモーション境界ボックスに隣接しているときに、前記モーション境界ボックスを単一の結合されたモーション境界ボックスに結合し、
前記結合されたモーション境界ボックス内にある前記閾値より上のピクセル差数が、前記最小モーション値よりも大きい場合に、前記スライドイメージにモーションがあるとみなされ、前記現在イメージの時間がモーション時間として指定される
ことを特徴とする方法。
【請求項６】
請求項１において、前記ステップｅ）は、
前記モーション境界ボックス内のピクセルが無視される場合を除き、前記探索ボックスの領域内にある前記現在イメージの複数の各ピクセル走査ラインに沿って、ピクセル輝度値が突然変化した数をカウントするステップであって、
前記モーション境界ボックス外にある任意の前記ピクセル走査ライン上で輝度が突然変化した前記数が、所定の最少エッジカウントを超える場合に、前記スライドイメージが偽ブランク状態とみなされ、
そうでない場合には、前記スライドイメージがブランク状態であるとみなされ、
前記現在イメージが一方の状態から他方の状態に変わるときに、前記変化の時間をモーション時間および変更時間の両方として指定するステップと、
現時点の現在イメージと以前のモーション時間および変更時間との間で経過した時間の差を計算するステップと
をさらに含むことを特徴とする方法。
【請求項７】
請求項１において、前記ステップｆ）は、
前記モーションなし時間の所定の値を超えた時間間隔で前記スライドイメージがモーションなしの状態である場合に、前記スライドイメージを表示しないステップと、
前記ブランクスクリーン時間の所定の値を超えた時間間隔で前記スライドイメージがブランク状態である場合に、前記スライドイメージを表示しないステップと、
前記スライドイメージが表示されないときに、前記プレゼンタイメージのような別のイメージを表示用に選択するステップと
をさらに含むことを特徴とする方法。
【請求項８】
プレゼンタと視覚教具との複合イメージであって投影されるスライドイメージのような複合イメージと、オーディトリアム環境とを含み、遠隔位置に表示するためのプレゼンテーションを自動的にビデオ記録するビデオ記録装置を有するシステムであって、
前記プレゼンタと、前記視覚教具と、前記オーディトリアム環境とを視ることが可能であり、対応するトラッキングビデオ信号をそれから生成することが可能なトラッキングカメラと、
前記視覚教具を視ることが可能であり、対応するスライドビデオ信号をそれから生成することが可能なスライドカメラと、
前記トラッキングカメラの出力に接続されたビデオミキサと、
前記ビデオ記録装置をコントロールするプロセッサと、スライドフレームバッファと、スライドビデオアナログデジタルコンバータとを備えたシステムコンピュータと
をさらに備え、
前記トラッキングカメラは、スライドビデオ信号を生成し、前記ビデオミキサと、前記スライドビデオアナログデジタルコンバータに出力し
前記トラッキングカメラおよび前記スライドビデオアナログデジタルコンバータは、前記スライドビデオ信号をデジタル化し、このデジタル化されたビデオ信号を前記スライドフレームバッファにストアし、
前記プロセッサは、前記スライドフレームバッファにストアされた前記デジタル化されたビデオ信号を解析し、前記ビデオミキサへのイメージ選択命令を生成し、前記トラッキングカメラへのコントロール命令も生成し、
前記ビデオミキサは、前記トラッキングカメラおよびスライドカメラから受け取った前記トラッキングイメージおよびスライドビデオイメージを、前記イメージ選択命令に従って前記遠隔の視聴者に表示するために個別または組み合わせて選択し、
前記トラッキングカメラは、前記コントロール命令に従って前記プレゼンタを視るために任意選択で位置決めされ、
前記プロセッサは、前記トラッキングカメラが前記コントロール命令に従って位置を変更する間、前記ビデオミキサに対して、前記イメージ選択命令を発行して、前記トラッキングカメラからのビデオイメージの選択を遅らせるように命令する
ことを特徴とする装置。
【請求項９】
請求項８において、前記スライドカメラからのスライドビデオ信号に結合されたスライドビデオ分配増幅器をさらに備え、
前記ビデオミキサは、前記スライドビデオ分配増幅器の出力に接続されており、
前記システムコンピュータは、スライドフレームバッファと、スライドビデオアナログデジタルコンバータとをさらに備え、
前記スライドカメラは、前記スライドビデオ信号を前記スライドビデオ分配増幅器に出力する
ことを特徴とする装置。
【発明の詳細な説明】
【０００１】
（発明の分野）
本発明は、自動カメラ選択システムに関する。具体的には、本発明は、話し手および視覚教具を含むオーディトリアムタイプのプレゼンテーションを記録するビデオ用の自動システムに関する。
【０００２】
（発明の背景）
自動カメラコントロールソフトウェアは、１９９４年、オーディトリアムタイプの環境でプレゼンテーションを行う話し手を自動的にトラッキングするものであり、Ｂｅｌｌｃｏｒｅで開発された。これは、当初、Ｉ−Ｓｅｅ−Ｙｏｕ（商標）と呼ばれていたが、現在では、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍ（商標）トラッキングカメラと呼ばれている。その後分かったことであるが、幾つかの同じソフトウェアアルゴリズムを使用しているコンピュータプログラムは、視覚教具投影スクリーン上のテレビジョンイメージ（以下、「スライドイメージ」という）を解析できる。この投影スクリーンは話し手の話を補助するため、話し手が教具を示すものである。このソフトウェア解析によれば、投影スクリーン上に興味深いスライドイメージが存在するか否か（すなわち、スクリーンがブランクでないこと）を判定することができる。興味深いスライドイメージが存在すると判定すると、「Ｉ−Ｓｅｅ−Ｙｏｕディレクタ」というプログラムは、Ｉ−Ｓｅｅ−Ｙｏｕカメラコントロールソフトウェアに命令して、当該トラッキングモードを次のようなモードに切り換える。すなわち、Ｉ−Ｓｅｅ−Ｙｏｕトラッキングカメラが、動く話し手をコーナ（ｃｏｒｎｅｒ）モード（たとえば、トラッキングカメライメージの左下隅）で保持するモードに切り換える。ついで、ビデオミキサの特殊エフェクト機能を用いて、スライドのイメージと話し手のイメージとを電子的に混合し、遠隔の視聴者に、彼らが要求すると思われる両方のイメージを表示することができる。
【０００３】
スライドイメージがブランクであると、Ｉ−Ｓｅｅ−ＹｏｕディレクタのソフトウェアはＩ−Ｓｅｅ−Ｙｏｕカメラコントロールソフトウェアに命令して、通常モード、すなわち動く話し手をトラッキングカメライメージの中央部に位置させるモードに、再度、切り換えさせ、ビデオミキサに命令して、遠隔の視聴者のためのプログラムとして、トラッキングカメライメージを選択させる。
【０００４】
１９９４年２月、３月、４月に、Ｂｅｌｌｃｏｒｅで実験を行なったが、その結果によれば、これら２つのソフトウェアシステム、すなわち、Ｉ−Ｓｅｅ−ＹｏｕカメラコントロールとＩ−Ｓｅｅ−Ｙｏｕディレクタは、同じコンピュータハードウェアを共用し、個別のアルゴリズムを、互いに著しく干渉せずに、パフォームすることができた。さらに、Ｉ−Ｓｅｅ−Ｙｏｕディレクタソフトウェアはビデオミキサに命令して、適時に、幾つかのビデオ入力から選択できる能力があり、得られたプログラムは視聴者に受け入れられることが分かった。
【０００５】
Ｅｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅｓ − Ａｔ Ｃｕｒｒｅｎｔ Ｒｅｐｏｒｔ（Ｍｉｃｈａｅｌ Ｂｉａｎｃｈｉ， ４／２５／９４）というタイトルのビデオテープが、Ｉ−Ｓｅｅ−ＹｏｕカメラコントロールソフトウェアとＩ−Ｓｅｅ−Ｙｏｕディレクタソフトウェアの両方を用いて作成された。このビデオテープが示すものは、Ｉ−Ｓｅｅ−Ｙｏｕカメラコントロールソフトウェアが、話をしている話し手を通常モードとコーナモードの両方で追いかけ、他方、Ｉ−Ｓｅｅ−Ｙｏｕディレクタソフトウェアが、話し手イメージとスライドイメージの両方か、話し手イメージのみかいずれかの特殊エフェクトを選択する様子であった。
【０００６】
Ｉ−Ｓｅｅ−ＹｏｕカメラコントロールソフトウェアとＩ−Ｓｅｅ−Ｙｏｕディレクタソフトウェアを、典型的なオーディトリアムスピーチのため、すなわち、１人の話し手がステージに立ち、投影された視覚教具を用いて視聴者に話をするため、さらに開発するために、設計目標、すなわち、
ａ）当該システムは比較的低価格にすべきである。
ｂ）当該システムは、ほとんどの場合、人が介在せずに、結果的に許容できるものにすべきである。
ｃ）当該システムは、話し手の動作を制限するとしても、その制限は少なくすべきである。
を確立した。
【０００７】
そこで、本発明の目的は、前述の目的を達成する自動カメラコントロール方法および装置を提供することにある。
【０００８】
（発明の概要）
本発明の実施形態によれば、自動カメラ選択システムは、遠隔の視聴者に対して表示するためのオーディトリアムタイプのプレゼンテーションを記録する。視聴者は空間的または時間的に遠隔である可能性があることに留意されたい。表示されるプレゼンテーションには、プレゼンタと、投影されるスライドイメージなどの視覚教具との合成イメージが含まれる。本発明のシステムはコンピュータによってコントロールされ、
ａ）予め定めた初期設定設定パラメータを設定するステップ。
ｂ）視覚教具に向けられたカメラ（以下、「スライドカメラ」という）から得られるビデオフレームであるスライドイメージを収集するステップ。このスライドカメラからのイメージを、以下、「スライドイメージ」という。
ｃ）現在のビデオノイズ閾値を決定するステップ。
ｄ）スライドイメージにモーションがあるかどうかを判定するステップ。
ｅ）スライドイメージがブランクであるか否かを判定するステップ。
ｆ）プレゼンタイメージを収集するステップであって、このプレゼンタイメージがトラッキングカメラから得られるビデオフレームであるステップ。
ｇ）遠隔の視聴者に対して適正なイメージを選択し表示するステップ。
をパフォームする。
【０００９】
前記ステップｇ）で表示されるイメージは、次のようなガイドラインに従って、本発明のソフトウェアによって選択される。
スライドイメージはモーションが検出されたときに選択される。
適正であれば、プレゼンタイメージとスライドイメージを組み合せたものを含む合成イメージが選択される。
静止スライドイメージかブランクのスライドイメージは避ける。
トラッキングカメラの構えを変えている間は、プレゼンタイメージは表示されない。
【００１０】
前記の手順をパフォームするため、システムコンピュータはトラッキングカメラとスライドカメラの両方をコントロールするが、トラッキングカメラはプレゼンタと視覚教具の両方を表示することが可能であり、同様に、必要であれば、スライドカメラが視覚教具を表示するためにセットアップされている間、オーディトリアムの環境も表示することが可能である。さらに、システムカメラのビデオ信号は必要に応じて、
ａ）ストレージおよびイメージ解析のための、コントロールコンピュータ内のビデオデジタイザおよびバッファ、
ｂ）遠隔の視聴者に表示するための、個別か組み合わるかのいずれかで、ビデオ信号が選択されるビデオミキサ
に転送される。
【００１１】
さらに、ビデオ信号転送を補助するものとしてビデオ分配増幅器を使用することができる。前述のガイドラインに従って、この選択プロセスは例示的にシステムソフトウェアによってコントロールされる。
【００１２】
さらに、ビデオミキサはトラッキングカメラおよびスライドカメラの入力に加えて、他のカメラソースからの追加のビデオ信号入力を受信することも可能であり、システムソフトウェアがこれを選択することもできる。
【００１３】
（発明の詳細な説明）
本発明の一実施形態は、以下、「ＡｕｔｏＡｕｄｉｔｏｒｉｕｍ」システムと呼ぶものである。これは、記録またはブロードキャストのいずれかか、両方のためにプレゼンテーションをキャプチャするのに用いられる環境およびカメラシステムである。さらに、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍシステム内のトラッキングカメラを自動的にコントロールするソフトウェアを、以下、「ＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラ」という。一方、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍシステム内のトラッキングカメラおよびスライドカメラの両方と通信する付加的なソフトウェアシステムを、以下、「ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタ」ソフトウェアという。米国特許第５，４３４，６１７号の番号をここに記載して本明細書の一部とする。米国特許第５，４３４，６１７号は、発明の名称がＡｕｔｏｍａｔｉｃ Ｔｒａｃｋｉｎｇ Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍであって、本出願の発明人が取得し、本出願の譲受人が譲り受けた特許であり、前記ＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラについて記載したものである。
【００１４】
図１は典型的なオートオーディオ動作環境を示す。この環境は本発明のＡｕｔｏＡｕｄｉｔｏｒｉｕｍシステムのベースとして使用されるものである。この環境は本質的には会議室であって、プレゼンテーション中、話し手が立つ明白な場所が設けてある。プレゼンテーションに用いる視覚教具が表示されることになる明白な場所も存在する。以下の説明では、視覚教具を「スライド」とし、プレゼンテーションを行う話し手を常に「人物」とする。
【００１５】
図２は本発明のシステムに不可欠な２つのカメラの配置と、会議室に設けたステージとそれらの関係を示す。スライドカメラは視覚教具（例えば、スライド）を見るのに使用され、トラッキングカメラは人物の動きを自動的に追うのに使用されるＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラである。スクリーン上にスライドがなければ、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタソフトウェアは、トラッキングカメラに命令して、通常のＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラアルゴリズムを用いて、人物の普通のピクチャを撮らせる。このピクチャは、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタソフトウェアシステムがＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラを使用して生成することが可能なイメージの１つである。
【００１６】
一例として、次のような図はＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタシステムが作成する他のイメージを示す。すなわち、スクリーン上にスライドがある場合は、本発明のシステムはスライドと人物の両方を表示する組合せイメージを構成する。
【００１７】
図３は、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラソフトウェアに命令して、トラッキングされている人物を、トラッキングカメラのイメージの左下隅（ｌｏｗｅｒ−ｌｅｆｔ ｃｏｒｎｅｒ）に配置させる組み合わせイメージの一部である。これを「コーナショット（ｃｏｒｎｅｒ ｓｈｏｔ）」と呼ぶ。
【００１８】
図４は、スライドカメラによって撮影され、「スライドイメージ」と呼ばれる組合せイメージの他の部分を示す。ここで、スライド自体がテレビイメージの中心部を占めたり、フレームを満たすものではないことに注意されたい。
【００１９】
図５はビデオミキサの特殊エフェクト機能を用いて先の２つのイメージを組み合わせた結果を示す。これを「組合せショット」と呼ぶ。この具体的なケースでは、スライドの一部がコーナショットの一部に見えることに注意されたい。この例におけるコーナショットはイメージ領域の約２０％を占め、実際のスライドイメージは約５０％を占める。
【００２０】
前記の設計目標に従って本発明のシステムをインプリメントするため、ある仮定を行なった。これらの仮定を要約すると次のようになる。すなわち、
ａ）解析される視覚教具はスライドイメージ内の周知のポジションにある。この周知のポジションはシステムインストール時か、システムセットアップ時に規定することができる（これらの要件は、いくつかの特殊なケースでは、緩和できる。）この周知の場所を「探索ボックス」と呼ぶ。
ｂ）スクリーンの前を歩く人物の頭をスライドイメージ内の探索ボックス内におさめることができれば、
探索ボックスのどの部分が含まれるかを判定し、当該部分上に「ブロックボックス」を規定し、ブロックボックス内の当該モーションを無視できるようにするか、
このアルゴリズムは、スクリーン上のスライドイメージとスクリーンの前に立つ人物のイメージとを区別することができないため、ときにはスライドイメージに切り換えることもあり得るという前提を受け入れるか
のいずれかが可能になる。
ｄ）組合せショットでは、人物のイメージ部が常時表示される。これは、カメラを向ける確定領域内に人物が存在していることが期待できること、またはＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラコントロールソフトウェアなどのトラッキングシステムによってほとんどいつも人物が視界の中におさめられることを意味する。
ｅ）遠隔の視聴者に適したイメージが選択されなくても、そのようなことが頻繁に発生しなければ、さほど深刻な問題にならない。
【００２１】
図６は本発明のＡｕｔｏＡｕｄｉｔｏｒｉｕｍシステムのシステムアーキテクチャを示す。このシステムは、
ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタをランするプロセッサであって、（後述する）スライド解析アルゴリズムと、ビデオミキサコントロールプロトコルと、他の支援ソフトウェア機能をインプリメントするプロセッサと、
必要に応じてビデオイメージをデジタルデータとしてストアするためのオプションとしてのフレームバッファと、
必要に応じてビデオイメージ信号をデジタルイメージデータに変換するためのビデオＡ／Ｄ（ａｎａｌｏｇ−ｔｏ−ｄｉｇｉｔａｌ）コンバータと
を有するＰＣタイプのコンピュータ上でラン（ｒｕｎ）させることができる。
【００２２】
ＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラコントロールシステムの個々のコンポーネントは、説明を簡単にするため、図６に示していない。しかし、同じコンピュータが同じプロセッサを使用してＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムと同時にＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラアルゴリズムをランする。例を挙げると、このシステムのＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラ部とシステムのＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタ部は、各々、独自のビデオＡ／ＤコンバータＳフレームバッファを有する。
【００２３】
図６を説明する。本発明のシステムの基本オペレーションは次の通りである。すなわち、
１）スライドカメラ（図６Ａ）からのビデオ信号は、ビデオ分配増幅器によって複製される。２つの同じビデオ信号（ＶＳ１およびＶＳ２）がビデオ分配増幅器から、それぞれ、コンピュータとビデオミキサに出力される。あるいはまた、同じビデオ信号を得る他の方法を利用することも可能である。
２）ビデオ信号ＶＳ１はビデオＡ／Ｄコンバータによってキャプチャされ、フレームバッファ内のデジタルイメージデータとしてストアされる。
３）このプロセッサはスライド解析アルゴリズムを利用してフレームバッファからのデジタルイメージデータを解析し、ビデオミキサと、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラコントロールソフトウェアへの命令を計算する。
４）副次的な作用であるが、このプロセッサはスライド解析アルゴリズムに関連する情報を表示するイメージを展開することもできる。このイメージをコンピュータコンソールに表示することが可能である（図６Ｂ）。
５）このビデオミキサと通信されるプロセッサ命令は、ＡＳＣＩＩ ＲＳ−２３２コマンドの形をとる。しかし、他の通信プロトコルを用いて他のタイプのビデオミキサと通信することも可能である。
６）このビデオミキサはこれらのコマンドを受け取ることによって、ビデオ信号を個別的または組合せて選択する。その結果、選択ビデオ出力（図６Ｃ）となる、すなわち、記録され、および／または、ブロードキャストされるプログラムになる。
７）選択ビデオを生成するのに用いることのできるビデオ信号は、スライドカメラ（図６Ａ）か、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラ（図６Ｄ）か、他のカメラから得ることができる。これらのカメラは全てビデオ信号をビデオミキサに出力する。
【００２４】
ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタソフトウェアの全体的なアウトラインを要約すると次のようになる。すなわち、
１）アルゴリズムを初期設定する。
２）スライドカメラからスライドイメージ（ビデオイメージ）を収集する。
３）現行のビデオノイズ閾値を決定する。
４）スライドイメージの中にモーションがあるか否かを判定する。
５）投影（イメージ）スクリーンがブランクであるか否かを判定する。
６）遠隔の視聴者に適正なイメージを示す。
６．１）スライドイメージにモーションがある場合のスライドイメージを選択する。
６．２）可能ならば、トラッキングカメライメージとスライドイメージを組み合わせる。
６．３）長時間持続する静止スライドイメージを避ける。
６．４）ブランクのスライドイメージを避ける。
６．５）トラッキングカメラが元の状態に戻るのを待ってからそのイメージを表示する。
７）トラッキングカメラの該当ショットがノーマルショットであるか、コーナショットであるかを判定する。
７．１）該当ショットが変更された場合、トラッキングカメラに該当ショットを生成するよう命令する。
８）次のスライドイメージを収集する。
【００２５】
ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムと、それによるスライド解析アルゴリズムの実施態様を詳細に説明するため、まず、次の図に関していくつかの用語および定義を確立する必要がある。
【００２６】
図７はスライドカメラによって撮影される、「スライドイメージ」と呼ばれる典型的なイメージを示す。この例では、映像を含む投影スクリーンがスライドイメージ全体を占めていないことに注意されたい。しかし、ビデオエフェクトをズームすることができるビデオミキサを用いれば、投影スクリーンがスライドイメージ全体を占めることが可能である。
【００２７】
図８は「ボックス」と呼ばれるスライドイメージ内の対象領域を規定したものを示す。これはＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタが使用する。普通、スライドカメラが会議室に導入された後に、各ボックスがアルゴリズムに従って規定され、これらのボックス規定が一定に保たれるものと期待される。しかし、状態によっては、いくつかのボックスの集合を規定して、各用途に向けた適正な集合を選択したり、特定の用途に向けたボックスの特定の集合を規定したりすることが必要になる場合もある。
【００２８】
図８では、この閾値ボックスは、モーションを見る可能性のないスライドイメージのある領域、例えば、投影スクリーンの外側領域と、人物の頭の高さより上の領域を占めるように配置されている。この閾値ボックス内の領域は充分に照明されていなくてもよい。ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムはこの閾値ボックスを用いてスライドイメージにおけるビデオノイズを評価するので、ビデオノイズには不感になる。
【００２９】
探索ボックスは、スライド解析アルゴリズムがスライドの有無を探索することになる領域を規定するとともに、スライドイメージ内の投影スクリーンの領域におおよそ対応している。
【００３０】
このブロックボックスは、探索ボックス内の領域であって、モーションが存在する可能性があるが、普通は無視するのが望ましい領域を規定する。例えば、図７ないし図１１は本発明のシステムが導入される部屋を示す。人物が不用意に投影スクリーンの前を歩いた場合に、当該イメージは探索ボックス内に入るため、スライドまたは有効モーションとして投影スクリーン上に現れることになる。スライド解析アルゴリズムは、探索ボックス内の他のモーションがブロックボックス内のモーションに近接する場合を除いて、ブロックボックス内のモーションを無視する。したがって、「有意（ｓｉｇｎｉｆｉｃａｎｔ）モーション」という用語は、探索ボックスに含まれブロックボックスに含まれないモーションと定義され、「無意（ｉｎｓｉｇｎｉｆｉｃａｎｔ）モーション」という用語は、探索ボックスに含まれ全面的にブロックボックスにも含まれるモーションと定義される。
【００３１】
「モーション境界ボックス」という用語は、探索ボックス内のすべての「ピクセル差」（後に定義する）であって、閾値ボックスにおいて検出されるビデオノイズレベルを上回るピクセル差を含む最少サイズの長方形と定義される。この閾値を上回るピクセル差の数を長方形に関連づけて後の参考とする。図９はモーション境界ボックスが全面的にブロックボックス内に包括され、無意モーションと見なされる場合を示す。
【００３２】
図１０には、ブロックボックス内のモーション境界ボックスとブロックボックス外のモーション境界ボックスの両方を示す。図１１は図１０の２つのモーション境界ボックスを結合してできた単一のモーション境界ボックスを示す。これは、有意モーションに関係付けをしたモーション境界ボックスである。
【００３３】
ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタシステムの本インプリメントでは、前記ボックスがそれぞれ長方形であり、タイプは１種類である。しかし、一般には、各領域の形状は任意であり、スライドイメージ内のこれらの各ボックスが複数の形状をとることがありうる。
【００３４】
これらのボックスの役割については、スライド解析アルゴリズムについての次の説明においてより詳細に説明する。
【００３５】
スライド解析アルゴリズムを詳細に説明するため、次の用語の定義を行なう。すなわち、
ａ）ピクセル値．．．各ピクセルの輝度（ブライトネス）。一般に、０は黒に相当し、最大ピクセル値（すなわち、２５５）は白に相当する。本発明の実施形態は色彩情報を使用していないが、そうすることも可能であることに注意されたい。
ｂ）ピクセル差．．．２つのピクセル値の差の絶対値。一般に、ピクセル差は同じ位置にある２つのピクセルの間で計算されるが、ビデオフレーム上では異なった時間に取り込まれる。
ｃ）閾値．．．有効であると見なされる最小ピクセル差。これは、一般に、ビデオノイズによって生じるピクセル差をちょうど上回るように設定される。ビデオノイズのレベルを決定するための他のアルゴリズムを使用できることに注意されたい。
ｄ）長方形．．．ビデオフレームからのｘｍｉｎ、ｘｍａｘ、ｙｍｉｎ、ｙｍａｘ座標によって定められるスライドイメージの長方形領域。本発明のシステムにおいて、「ｘ」は、ｘｍｉｎを左端としｘｍａｘを右端とする走査ラインに沿うピクセルの数に対応する。「ｙ」は、ｙｍｉｎを上端としｙｍａｘを下端とする走査ラインにおける数に相当する。
ｅ）スクリーン状態．．．投影スクリーンの現行の状態。可能値はブランクか、偽（ｎｏｔ）ブランクである。偽ブランクスクリーンでは、スクリーン状態は「モーションを伴わない偽ブランク」または「有意モーションを伴う偽ブランク」のいずれかになる。
【００３６】
以下のステップはスライド解析アルゴリズムの予め定めた設定を行うもので、一度だけ実行すればアルゴリズムが開始する。
ａ）システム導入時に以下の予め定めたシステムパラメータを設定する。
【００３７】
閾値バイアス    測定されたビデオノイズにこの値を加えて閾値を生成する。これにより、モーションによって生じるピクセル差のみを使用してモーション境界ボックスを探索することができる。閾値バイアスの値は実験によって決定される。例として、３０に設定する。
【００３８】
最小モーション    これは、「有意」モーションと見なされるモーションに対して認識すべき閾値を上回るピクセル差の数である。その数は例えば実験によって決定することができる。例として、５０に設定する。
【００３９】
ブランクスクリーン時間    これは、他のショットを選択するまでスクリーンをブランクにしておかなければならない時間（秒数）である。例として、５秒間に設定する。
【００４０】
モーションなし時間    これは、他のショットを選択するまで偽ブランクスクリーンがモーションを示すことができない時間（秒数）である。例として、９０に設定する。
【００４１】
遷移ショット時間    これは、トラッキングカメラが新しいパラメータにリセットするまでに要する時間（秒数）である。
ｂ）投影スクリーンのスクリーンステートを「ブランク」に設定する。
ｃ）ビデオＡ／Ｄコンバータによってスライドカメラからのビデオイメージをデジタル化し、フレームバッファにストアする。
ｄ）デジタル化したイメージをフレームバッファからプロセッサメモリにコピーし、現行のクロックタイムをそのイメージに関係付けをする。このコピーを「前イメージ」と呼ぶ。
【００４２】
続いて、スライド解析アルゴリズムは次のステップに進む。アルゴリズムの各部について、まず、その部分の目的を記載し、次に、それを遂行するステップについて記載する。各ステップは、Ａのような太文字で表示する。
【００４３】
１）ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムは前イメージと比較するためのイメージを必要とする。
Ａ    ビデオＡ／Ｄコンバータによってスライドカメラからのイメージをデジタル化し、フレームバッファにストアする。
Ｂ    プロセッサはデジタル化したイメージをフレームバッファから自分のメモリにコピーし、現行のクロックタイムをそのイメージに関係付けをする。このコピーを「現在イメージ」と呼ぶ。
【００４４】
２）静止ビデオイメージでは、前イメージにおける各ピクセル値を現在イメージにおける対応するピクセル値から引くと、その差は常に０になるはずである。しかし、その差は、現実には、
−カメラのイメージ作成部におけるノイズ、
−カメラのイメージ作成回路におけるノイズ、
−配線におけるノイズ、
−ビデオＡ／Ｄコンバータの回路におけるノイズ、
の要因によってほぼ必ず以外の値になる。
ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムは、ノイズを無視し、前イメージと現在イメージとの有意差のみに注意を向ける必要がある。
Ｃ    ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムは、閾値ボックス内のすべてのピクセル差の最大ピクセル差を計算する。ついで近似的な現行ビデオノイズレベルに閾値バイアスを加算し、その値を閾値に指定する。閾値を上回るピクセル差を有意差と見なすことになる。ビデオノイズのレベルを決定するための他のアルゴリズムを使用できることに注意されたい。
【００４５】
３）これらのステップにおいて、スライド解析アルゴリズムは投影スクリーンに関係付けをしたモーションが存在するか否かを判定する。
Ｄ    探索ボックス内において、スライド解析アルゴリズムは現在イメージと前イメージの間で閾値を上回るピクセル差を探索する。
Ｅ    ついで、ブロックボックス内のピクセル差とブロックボックス外のピクセル差について、個別的なモーション境界ボックスが生成される。
Ｆ    ブロックボックス内にただ１つのモーション境界ボックスが存在する場合は、スクリーン状態を「モーションなし」に設定する。
Ｇ    ブロックボックスの外側にモーション境界ボックスが存在し、それがブロックボックスの内側のモーション境界ボックスに隣接している場合は、これら２つのモーション境界ボックスを結合して単一のボックスにする。
Ｈ    結合したモーション境界ボックス内の閾値を上回るピクセル差の数が最小モーション値より大きい場合は、「有意モーション」を検出し、現在イメージの時間をモーション時間として記録する。
【００４６】
４）スライド解析アルゴリズムは、次にスライドイメージを調べて、スライド提示があるか否かを判定する。すなわち、投影スクリーンが偽ブランクであるか否かを確認する。
【００４７】
所与のピクセルの周囲のピクセルを調査し、ピクセル値の大きな変化を探索することによって、そのアルゴリズムはスライドイメージを、スライド提示を有するものか（偽ブランク）、ブランク投影スクリーンに分類できるほどの可視エッジがイメージ内に存在するか否かを判定することができる。
【００４８】
次のステップにおいて、スライド解析アルゴリズムは、投影スクリーンが偽ブランクであるかブランクであるかを判定するために探索ボックス内の現在イメージを調査する。
【００４９】
Ｉ    探索ボックス内の走査ラインに沿って鮮鋭エッジ、すなわち輝度値の急激な変化を探索する。全面的にブロックボックスの内側にあるモーション境界ボックス内のピクセルを無視する。
Ｊ    ある特定の走査ライン上で「最少エッジカウント」値よりも多くの鮮鋭エッジが見つかった場合は、その投影スクリーンを偽ブランクにして指定する。そうでない場合は、その投影スクリーンをブランクにして指定する。
Ｋ    投影スクリーンが指定状態を変えた場合は、現在イメージの時間をモーション時間および変更時間として記録する。
Ｌ    現在イメージの時間を「現時点（ｎｏｗ）」として、前回の変更時間からの経過時間と前回のモーション時間からの経過時間を計算する。
【００５０】
５）スライドイメージにおけるスライドの有無と、スライドイメージ内のモーションの有無に基づいて、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムは、人物と、スライドと、他の任意のイメージソースとのイメージから選択された適正なイメージを遠隔の視聴者に表示する。このことを、ビデオミキサに次のような命令、すなわち、
−スライドイメージが変わるか、人物がスライドイメージを指したとき、迅速にスライドイメージを表示する。
【００５１】
−スライドイメージが適度な時間の間、ブランクの状態にあるとき、スライドイメージを表示しない。
−投影スクリーンが偽ブランクであり、長時間、有意モーションをとらえなかったときは、スライドイメージの表示と表示なしを周期的に繰り返す。
を送ることによって実行する。
【００５２】
その目的は、スライドイメージが「なにか関心を引くもの」を含むか否かに基づいて、遠隔の視聴者に適正なイメージを表示することである。すなわち、「なにか関心を引くもの」とは、
−スライドイメージにおける最近の変化。
−スライドイメージ内の有意モーション。
−話を提供する人物。
−その他のショット。
と定義することができる。
【００５３】
次の「規則」およびコメントはこれらの定義に適応する。すなわち、
５．１）スライドイメージにモーションがあるとき、そのスライドイメージを選択する。
Ｍ    スライドイメージが変化するか、ブロックボックスの外側に存在する探索領域の部分の中にモーションがあるとき、常に、遠隔の視聴者に対してスライドイメージを表示する。
【００５４】
５．２）可能であれば、トラッキングカメライメージとスライドイメージを組み合わせる。
【００５５】
図１２は本発明のシステムがそれらを組み合わせる方法を示す。これにより、遠隔の視聴者が人物のイメージとスライドのイメージの両方を同時にビューすることができる。
【００５６】
５．３）長時間持続する静止スライドイメージを避ける。
【００５７】
モーションなし時間の間（本実施形態では、９０秒間）、スライドイメージの探索ボックス内にモーションがなければ、それは、人物が積極的にスライドを参照していないことを示唆するものである。さらに、遠隔の視聴者はスライドイメージを吟味する時間が充分にあり、おそらくそれをよく覚えているため、スライドイメージを取り除いても彼らにとって不都合なことはないものと考えられる。
【００５８】
Ｎ    スクリーン状態がモーションなし時間の間（本実施形態では、９０秒間）モーションのない状態であった場合は、話をしている人物のイメージなどの他のイメージを選択する。
【００５９】
５．４）ブランクスライドイメージを避ける。
【００６０】
Ｏ    スクリーン状態がブランクスクリーン時間の間（本実施形態では、５秒間）、ブランクになっている場合は、常に、話をしている人物のイメージなどの他のイメージを選択する。
【００６１】
５．５）トラッキングカメラが元の状態に戻るのを待ってからそのイメージを表示する。
【００６２】
本発明のシステムでは、図１２のコーナに人物を表示しているのと同じＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラを使用してその人物をとらえる。前のショットから後のショットか、あるいはその逆に遷移するときは、前のコーナモードからノーマルモードと、その逆に変化するトラッキングカメラのモーションは示されない。
【００６３】
図１２の組合せショットから人物だけのショットに遷移する場合は、本発明のシステムは、トラッキングカメラまたはスライドカメラ以外の異なるカメラを用いて撮影することができるステージ領域全体のワイドショットなどの他のイメージを表示する。このショットを表示しながら、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタソフトウェアはトラッキングカメラに対して、コーナショットからノーマルショットに切り換えるよう命令する。トラッキングカメラがその新しいパラメータに適応するための遷移ショット時間の間（本実施形態では、８秒間）待機してから、ビデオミキサに対してトラッキングカメラを選択するよう命令する。
【００６４】
Ｐ    組合せスライドおよびトラッキングカメラショットからトラッキングカメラショットに切り換えるよう命令されたら、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムが最初にビデオミキサに対して、遷移ショットと呼ばれる他のカメラショットを選択するよう命令する。ついで、トラッキングカメラサブシステムに対して、コーナモード（人物がトラッキングカメライメージのコーナに表示される）からノーマルモード（人物がトラッキングカメライメージの中央に表示される）に切り換えるよう命令する。遷移ショット時間が経過したら、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムはトラッキングカメラショットを選択する。
【００６５】
組合せショットに戻ることが望まれる場合は、本発明のシステムは即座にスライドイメージのみを表示する（人物がコーナに表示されない）。ついで、トラッキングカメラに対して、コーナショットに切り換えるよう命令する。
【００６６】
ついで、トラッキングカメラがその新しいパラメータに適応した後に、システムは組合せショットを表示する。
【００６７】
Ｑ    トラッキングカメラショットから組合せショットに切り換えるよう命令されたら、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムは最初にビデオミキサに対して、スライドイメージのみを選択するよう命令する。ついで、トラッキングカメラサブシステムに対して、ノーマルモードからコーナモードに切り換えるよう命令する。遷移ショット時間が経過したら、ＡｕｔｏＡｕｄｉｔｏｒｉｕｍディレクタアルゴリズムは組合せショットを選択する。
【００６８】
６）次のスライドイメージを収集する。
Ｒ    ステップＡに戻る。
【００６９】
要約すれば、話し手および視覚教具を含むオーディトリアムタイプのプレゼンテーションを記録し、遠隔の視聴者に表示するための自動カメラコントロール方法および装置を開示するものである。さらに、開示の発明は完全に自動化されており、オペレータを必要としない。
【００７０】
本発明の上述の実施形態は例示にすぎない。当業者は、本発明の精神および範囲から逸脱することなく、数多くの代替実施形態を考えることができる。
【図面の簡単な説明】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【図１】本発明による典型的なオペレーティング環境を示す図である。
【図２】図１の典型的なオペレーティング環境を上方から見た図である。
【図３】ＡｕｔｏＡｕｄｉｔｏｒｉｕｍトラッキングカメラを用いて例示的に撮影した、スライドイメージと組み合わせるのに好適なコーナショットを示す図である。
【図４】話し手のイメージと組み合わせるのに好適なスライドイメージを示す図である。
【図５】コーナショットおよびスライドイメージの一部を構成した組合せショットを示す図である。
【図６Ａ】本発明のシステムアーキテクチャを示す構成図である。
【図６Ｂ】コンピュータコンソールのスライド解析アルゴリズムのビデオ表示を示す図である。
【図６Ｃ】プログラムとＶＣＲに対する選択ビデオを示す図である。
【図６Ｄ】トラッキングカメラからのビデオを示す図である。
【図７】図４からのショットを組み込んだ、スライドカメラで撮影したスライドイメージを示す図である。
【図８】本発明による、スライドイメージの主要領域を画定する「ボックス」を示す図である。
【図９】本発明による、ブロックボックス内にモーション境界ボックス全体を表示する図である。
【図１０】本発明による、ブロックボックスと探索ボックスとの間を分割するモーション境界ボックスを示す図である。
【図１１】本発明による、組み合わされたモーション境界ボックスを示す図である。
【図１２】本発明による、図５からのショットを組み込む話し手のコーナイメージと組み合わされたスライドイメージ（組合せショット）を示す図である。
【図１】
0003619455.tif 000002
【図２】
0003619455.tif 000003
【図３】
0003619455.tif 000004
【図４】
0003619455.tif 000005
【図５】
0003619455.tif 000006
【図６Ａ】
0003619455.tif 000007
【図６Ｂ】
0003619455.tif 000008
【図６Ｃ】
0003619455.tif 000009
【図６Ｄ】
0003619455.tif 000010
【図７】
0003619455.tif 000011
【図８】
0003619455.tif 000012
【図９】
0003619455.tif 000013
【図１０】
0003619455.tif 000014
【図１１】
0003619455.tif 000015
【図１２】
0003619455.tif 000016