(57)【特許請求の範囲】
【請求項１】
少なくとも２人の参加者が同時に存在する場所で使用するカメラ装置であって、
前記それぞれの参加者により携行又は装着されてそれぞれのビデオストリームを提供する少なくとも２つのカメラと、
各々が前記カメラのそれぞれに連結されてそれぞれの音声ストリームを提供する少なくとも２つのマイクロフォンと、
前記音声ストリームを同時に受け取り、そこから、所定の第１の１つ又は複数の基準のセットに従って単一の音声出力信号を選択的に導出する音声信号ミキサと、
前記ビデオストリームを同時に受け取り、そこから、所定の第２の１つ又は複数の基準のセットに従って単一のビデオ出力信号を導出するビデオ信号選択回路と、
を備えることを特徴とするカメラ装置。
【請求項２】
前記導出された単一の音声出力信号は、前記単一の音声出力信号及び前記単一のビデオ出力信号が互いに相応関係を有するような前記第２の基準のセットと関連付けられることを特徴とする請求項１に記載のカメラ装置。
【請求項３】
前記単一の音声出力信号と前記単一のビデオ出力信号とを結合することによって複合音声／視覚出力信号を生成する結合器を更に備えることを特徴とする請求項１に記載のカメラ装置。
【請求項４】
前記カメラのうちの第１のカメラは、前記参加者のうちの第１の参加者によって携行又は装着され、他の参加者の前記それぞれのビデオストリームを取り込むことを特徴とする請求項１に記載のカメラ装置。
【請求項５】
前記第１のカメラは、前記第１の参加者により前記他の参加者に向けられることを特徴とする請求項４に記載のカメラ装置。
【請求項６】
前記カメラのうちの第２のカメラは、前記他の参加者によって携行又は装着され、前記第１の参加者の前記それぞれのビデオストリームを取り込むことを特徴とする請求項２に記載のカメラ装置。
【請求項７】
前記音声信号ミキサは、前記音声ストリームの各々を判断する音声判断手段を更に備え、前記第１の基準のセットに従って関連のある音声ストリームを特定することを特徴とする請求項１に記載のカメラ装置。
【請求項８】
前記基準の第１のセットは、前記関連のある音声ストリームが前記関連のある参加者からの発話を含むという条件を更に含むことを特徴とする請求項７に記載のカメラ装置。
【請求項９】
前記第１の基準のセットは、前記関連のある音声ストリームが音量の閾値を超えるという条件を更に含むことを特徴とする請求項７に記載のカメラ装置。
【請求項１０】
前記第１の基準のセットは、最も関連のある音声ストリームが明瞭さの閾値を超えるという条件を更に含むことを特徴とする請求項７に記載のカメラ装置。
【請求項１１】
前記第１の基準のセットは、前記関連のある音声ストリームであると思われる複数の音声ストリームが同時にある場合に、最も音量の高い音声ストリームが前記関連のある音声ストリームとして選択される、という条件を更に含むことを特徴とする請求項７に記載のカメラ装置。
【請求項１２】
前記第１の基準のセットは、前記関連のある音声ストリームであると思われる複数の音声ストリームが同時にある場合に、最も明瞭な前記音声ストリームが前記関連のある音声ストリームとして選択される、という条件を更に含むことを特徴とする請求項７に記載のカメラ装置。
【請求項１３】
前記第１の基準のセットは、前記関連のある音声ストリームであると思われる複数の音声ストリームが同時にある場合に、既存の関連のある音声ストリームが、その音量が所定閾値レベルを下回るまで維持される、という条件を更に含むことを特徴とする請求項７に記載のカメラ装置。
【請求項１４】
前記第１の基準のセットは、前記関連のある音声ストリームであると思われる複数の音声ストリームが同時にある場合に、既存の関連のある音声ストリームが、その明瞭さが所定閾値レベルを下回るまで維持される、という条件を更に含むことを特徴とする請求項７に記載のカメラ装置。
【請求項１５】
前記音声信号ミキサは、前記単一の音声出力信号として前記関連のある音声ストリームを選択的に送出するように構成されることを特徴とする請求項７に記載のカメラ装置。
【請求項１６】
前記音声信号ミキサは、前記関連のある音声ストリームに最も大きく重み付けされる前記音声ストリームのうちの少なくとも２つの混合物を選択的に送出するように構成されることを特徴とする請求項１５に記載のカメラ装置。
【請求項１７】
前記音声信号ミキサは、如何なる信号も前記関連のある音声ストリームであると判断されない場合に、ゼロ信号，前記音声ストリームの複合物，及び別の音声ストリームから成るグループから選択される少なくとも１つから構成される１つの信号を供給するように構成されることを特徴とする請求項１５に記載のカメラ装置。
【請求項１８】
前記ビデオ信号選択回路は、何れのビデオストリームが何れの参加者の画像を含むかを識別する参加者識別手段を更に備えることを特徴とする請求項１に記載のカメラ装置。
【請求項１９】
前記参加者識別手段は、
各参加者の外見と相応関係を有する情報を格納する手段と、
前記外見についての情報を前記ビデオストリームの画像情報に対して照合する照合手段と、
を更に備えることを特徴とする請求項１８に記載のカメラ装置。
【請求項２０】
前記参加者識別手段は、前記参加者を識別する際に使用する、各参加者に関連付けられたタグを更に備えることを特徴とする請求項１８に記載のカメラ装置。
【請求項２１】
前記参加者識別手段は、前記参加者を識別する際に使用する、各カメラに関連付けられたタグを更に備えることを特徴とする請求項１８に記載のカメラ装置。
【請求項２２】
前記タグは、光タグであることを特徴とする請求項２０に記載のカメラ装置。
【請求項２３】
前記タグは、無線タグであることを特徴とする請求項２０に記載のカメラ装置。
【請求項２４】
前記タグは、赤外線タグであることを特徴とする請求項２０に記載のカメラ装置。
【請求項２５】
前記タグは、音響タグであることを特徴とする請求項２０に記載のカメラ装置。
【請求項２６】
前記参加者識別手段は、第２の基準に従って、有用なビデオストリームに対応する前記参加者の画像を含む少なくとも１つのビデオストリームを識別するように構成される手段を更に備えることを特徴とする請求項１８に記載のカメラ装置。
【請求項２７】
前記ビデオ信号選択回路は、第２の基準に従って、前記ビデオストリームを解析することにより関連のある音声ストリームと相応関係を有する唇の動きを識別しそれにより有用なビデオストリームを識別するように構成された参加者識別手段を更に備えることを特徴とする請求項１に記載のカメラ装置。
【請求項２８】
前記ビデオストリームが、
（ａ）それが閾値レベルを下回る動きのあるカメラから発生する
（ｂ）それが表す画像が焦点の閾値内にある
（ｃ）それが表す画像が参加者の画像のものである
という基準から構成されるグループから選択された少なくとも１つの基準に従う場合に、前記ビデオストリームのうちの１つを有用であるとして受け入れるように構成されたビデオ評価手段を前記ビデオ信号選択回路が更に備えることを特徴とする請求項１に記載のカメラ装置。
【請求項２９】
前記基準は、少なくとも閾値期間に前記条件（ａ）〜（ｃ）のうちの少なくとも１つに従うことを特徴とする請求項２８に記載のカメラ装置。
【請求項３０】
前記ビデオ信号選択回路は、前記第２の基準のセットに従って前記ビデオストリームから前記ビデオストリームの何れが最も有用なものであるかを識別するように判断するビデオ判断手段を更に備えることを特徴とする請求項１に記載のカメラ装置。
【請求項３１】
前記ビデオ判断手段は、最も関連のある音声信号に関連する前記参加者からの前記ビデオストリームを、それが有用であると判断された唯一のストリームである場合にのみ、最も有用なものとして受け入れるように構成されることを特徴とする請求項３０に記載のカメラ装置。
【請求項３２】
前記ビデオ信号選択回路は、前記最も有用なビデオストリームを前記単一のビデオ出力信号として選択的に通過させるビデオ選択器手段を更に備えることを特徴とする請求項３１に記載のカメラ装置。
【請求項３３】
代替ビデオ信号を供給する代替手段を更に備え、前記ビデオ信号選択回路は、最も有用なビデオ信号が存在しない場合に前記代替ビデオ信号を通過させるように構成されることを特徴とする請求項３２に記載のカメラ装置。
【請求項３４】
代替ビデオ信号を供給する代替手段を更に備え、前記ビデオ信号選択回路は、最も有用なビデオ信号が存在しない場合に代替画像を通過させるように構成されることを特徴とする請求項３２に記載のカメラ装置。
【請求項３５】
前記代替手段は、
（ａ）メモリと、
（ｂ）前記参加者の全てを見るための追加のカメラと、
（ｃ）前記ビデオストリームに対し前記参加者の画像を含むキーフレームを導出するキーフレーム手段と、
から構成されるグループから選択される少なくとも１つを含むことを特徴とする請求項３３に記載のカメラ装置。
【請求項３６】
前記代替ビデオ信号は、関連のある音声ストリームと相応関係を有する前記参加者の画像を更に含むことを特徴とする請求項３３に記載のカメラ装置。
【請求項３７】
前記ビデオ信号選択回路は、前記単一のビデオストリームからの連続したビデオクリップを、前記単一のビデオストリームの部分が閾値を超える長さである場合に、前記カメラのうちの他のカメラからのクリップの挿入により分割するように構成されることを特徴とする請求項１に記載のカメラ装置。
【請求項３８】
前記ビデオ信号選択回路は、前記単一のビデオストリームからの連続したビデオクリップを、前記単一のビデオストリームの部分が閾値を超える長さである場合に、そこから導出されるキーフレームからのクリップの挿入により分割するように構成されることを特徴とする請求項１に記載のカメラ装置。
【請求項３９】
前記ビデオ信号選択回路は、前記単一のビデオストリームからの連続したビデオクリップを、前記単一のビデオストリームの部分が閾値を超える長さである場合に、別の画像の挿入により分割するように構成されることを特徴とする請求項１に記載のカメラ装置。
【請求項４０】
前記カメラのうちの少なくとも１つの撮像レンズを更に備え、前記撮像レンズは、前記参加者の頭部に装着されることを特徴とする請求項１に記載のカメラ装置。
【請求項４１】
前記マイクロフォンは、前記参加者に装着されることを特徴とする請求項１に記載のカメラ装置。
【請求項４２】
前記マイクロフォンは、前記カメラの一部であることを特徴とする請求項１に記載のカメラ装置。
【請求項４３】
複数のカメラの各々の少なくとも撮像レンズが、或る場所に同時に存在する複数の参加者のそれぞれによって保持又は装着されている場合に、前記複数のカメラから編集済みビデオ信号を生成する方法であって、
少なくとも２人の参加者からの同時の音声ストリームを受け取るステップと、
所定の第１の１つ又は複数の基準のセットに従って前記音声ストリームから単一の音声出力信号を選択的に導出するステップと、
前記複数のカメラのうちの少なくとも２つからの同時のビデオストリームを受け取るステップと、
所定の第２の１つ又は複数の基準のセットに従って前記ビデオストリームから単一のビデオ出力信号を導出するステップと、
を含むことを特徴とする方法。
【請求項４４】
前記単一の音声出力信号と前記単一のビデオ出力信号とを結合して複合編集済み音声／視覚出力信号を生成するステップを更に含むことを特徴とする請求項４３に記載の方法。
【請求項４５】
前記第１の基準のセットに従って関連のある音声ストリームを特定することを更に含むことを特徴とする請求項４３に記載の方法。
【請求項４６】
前記第１の基準のセットは、明瞭さ，音量，及び発話内容のうちの少なくとも１つを更に含むことを特徴とする請求項４５に記載の方法。
【請求項４７】
前記関連のある音声ストリームを、単独で又は他の音声ストリームと混合して前記単一の音声出力信号として選択することを特徴とする請求項４５に記載の方法。
【請求項４８】
前記関連のある音声ストリームを他の音声ストリームと混合することにより、前記単一の音声出力信号を導出することを特徴とする請求項４５に記載の方法。
【請求項４９】
前記第２の基準のセットに従って前記ビデオストリームを判断するステップを更に含み、前記第２の基準のセットは、焦点の度合い，カメラの動き，及び画像における参加者の存在から構成されるグループから選択されたものを含むことを特徴とする請求項４３に記載の方法。
【請求項５０】
前記ビデオストリームのうちの１つを、前記単一のビデオ出力信号として選択することを特徴とする請求項４３に記載の方法。
【請求項５１】
前記選択されたビデオストリームは、関連のある音声ストリームを提供している前記参加者の画像を含むことを特徴とする請求項５０に記載の方法。
【請求項５２】
前記ビデオストリームを、所定の最小数を越える参加者が同じ領域を見ているか否かを確かめるように処理し、そうである場合には、前記選択されたビデオストリームは前記領域の画像を含むことを特徴とする請求項５０に記載の方法。
【請求項５３】
複数のカメラのうちの少なくとも１つの撮像レンズが或る場所に同時に存在する複数の参加者のそれぞれによって保持又は装着される場合に、前記複数のカメラから編集済みビデオ信号を生成するシステムであって、
少なくとも２人の参加者からの同時の音声ストリームを受け取り、そこから、所定の第１の１つ又は複数の基準のセットに従って単一の音声出力信号を選択的に導出する手段と、
前記カメラのうちの少なくとも２つからの同時のビデオストリームを受け取り、そこから、所定の第２の１つ又は複数の基準のセットに従って単一のビデオ出力信号を導出する手段と、
を備えることを特徴とするシステム。
【請求項５４】
複数のカメラのうちの少なくとも１つの撮像レンズが或る場所に同時に存在する複数の参加者のそれぞれによって保持又は装着される場合に、前記複数のカメラから編集済みビデオ信号を生成する、コンピュータ読取可能媒体に格納されたプログラムであって、
少なくとも２人の参加者からの同時の音声ストリームを受け取り、そこから、所定の第１の１つ又は複数の基準のセットに従って単一の音声出力信号を選択的に導出すること、
前記カメラのうちの少なくとも２つからの同時のビデオストリームを受け取り、そこから、所定の第２の１つ又は複数の基準のセットに従って単一のビデオ出力信号を導出すること、
を実行するように構成されたロジックを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
［発明の詳細な説明］
本発明は、包括的には、画像取込装置に関し、更に詳細には、複数のカメラの出力を編集する装置及び方法に関する。
【０００２】
［優先権の主張］
この出願は、参照により本明細書に全体が援用される２００３年７月２４日に出願され出願番号ＧＢ０３７１３０２．８を有する「Editing Multiple Camera Outputs」と題された同時係属中の英国特許出願に基づいた優先権を主張する。
【背景技術】
【０００３】
家庭用ビデオカメラは、ますます一般的になってきており、より一層長い期間にわたって画像及び音声データを取り込むことができる。最近の開発は、非常に長い期間にわたって連続して記録することができるウェアラブルカメラがまもなく入手可能になることを示しており、これが、異なる人々の間の対話、例えば２人以上の人の間での対話、又は物語が展開するに従いその人の表現が変化する１人の人が１人又は複数の人に対してする物語を話す場合を含む、広範な事象を取込むようになることが期待される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
単一のカメラを使用してかかる事象を記録することが、積極的な話者の音声によりカメラのパン及びチルトが話者を視野内に入れるように調整される、参照により本明細書に援用される米国特許第５，８４４，５９９号（Hildin）と、聴衆に話をしている人をカメラが追跡する、参照により本明細書に援用される米国特許第５，４３４，６１７号と、におけるように知られている。しかしながら、結果としての生又は編集済みビデオにおいて２つ以上の異なる視点を迅速に切り替えることは可能でなく、カメラの位置は、１つしかない。これにより、ビデオは、例えば会話が単一視点から追われる場合、見るのが面倒になる可能性がある。話者がカメラのマイクロフォンから異なる距離にいる場合、音声品質もまた、非常に変わりやすい可能性がある。
【０００５】
未熟なユーザには更に困難なことに、家庭用ビデオの編集は、現在において特に容易な工程ではなく、一般に、何れが保持すべき関心のある部分であるかを判断するために記録の全体を見る必要がある。個々のカメラからの出力の自動編集システムが、入手可能となってきている。例示的なシステムは、参照により本明細書に援用されるＧＢ−Ａ−２３８０３４８に記載されている。
【０００６】
当然ながら、原理上、後に複数のカメラの信号を手動で編集して単一の許容可能な信号にすることを意図して複数の参加者の各々にカメラを割り当てることにより、状況を改善することができる。参加者が各カメラを、例えばその視野方向が会話を追うことができるように操作し制御することができるが、ハンドヘルドカメラは、正しく操作されるのがうまくいかなくなるという点で、参加者に対して煩わしく厄介となる場合があるということが予期される。別法として、各カメラを、例えば割り当てられた参加者を見るように、参加者とは別個に取り付けることができるが、その場合、そこから取得されるビューは常に同じであり、マイクロフォンがその割り当てられた参加者から更に離れているため音声品質が劣化し、また他の参加者及び他の雑音からより多くの音声を拾うことにもなる。
【０００７】
更に、後の編集プロセスの純然たる困難さ，複雑性，及び長さは、人々がこの考えを、必然でない限り採用するのを思いとどまるためには十分である。同じ事象を記録するために複数のカメラを使用する場合、複数の付随する音声信号（音声ストリーム）をいかに扱うかに関する判断に加えて、如何なる時にも２つ以上の同時に記録されたカメラ画像出力（ビデオストリーム）のうちの何れが選択されるかについての判断が必要である。しかしながら、参照により本明細書に援用される米国特許第５，２０６，９２９号（Langford）におけるように、ある程度は自動化されているが、ユーザは編集結果を決定するために記録の全てを完全に見る必要のある、複数の記録を編集することが知られている。
【０００８】
参照により本明細書に援用される国際特許出願ＷＯ００／２７１２５（Telecordia）は、異なるソースからのビデオ信号を自動的に結合し又は選択して編集結果を提供するシステムで、遠隔の聴衆に対して表示するための聴衆席タイプのプレゼンテーションを記録することに関して説明されるシステムに関する。また、プレゼンテーションにおいてプレゼンターと聴衆との両方を記録するという問題を扱う、参照により本明細書に援用される、Yong Rui等による論文「Videography for Telepresentations」、Technical Report MSR-TR-2001-92、2/10/01、Microsoft Research、Microsoft Corporationもある。参照により本明細書に援用される国際特許出願第９９／５６２１４号（Sensormatic）は、格納されたシーケンスの一部が選択的に再生されるために強調表示される適用を含む、様々な目的に対して音声及びビデオストリームを解析する装置を開示する。
【０００９】
対照的に、当然ながら、専門的に製作される素材は、一般に、熟練した操作者により注意深く設置され、操縦され、操作される複数のカメラを使用し、編集結果は、各カメラからの複数のクリップに他のカメラからのクリップが散在したものから構成され、それにより、最も興味あるビューとみなされるものをその間ずっと表示することにより、閲覧者の関心を維持し刺激する。更に、優れた音声品質のために任意にポータブルマイクロフォンを使用することができ、従来の周知の技術によって音声を混合することができる。多くの場合、必要な結果を提供するために、シーンのいくつかのテイク（take）が必要であり、各テイク中に会話の流れを必ず繰り返す。これは、費用のかかるオプションであり、例えば自然に発生した原稿のない会話を記録することが望まれる、より正式でない又は家庭用の製作物に対しては全く適さない。
【課題を解決するための手段】
【００１０】
種々の実施形態は、複数のカメラから編集済みビデオ信号を生成するシステム及び方法を提供する。簡単に言えば、一実施形態は、カメラの各々の少なくとも撮像レンズが、或る場所に同時に存在する複数の参加者のそれぞれによって保持又は装着（着用）されるものである、複数のカメラから編集済みビデオ信号を生成する方法であり、少なくとも２人の参加者からの同時の音声ストリームを受け取るステップと、所定の第１の１つ又は複数の基準のセットに従って音声ストリームから単一の音声出力信号を選択的に導出するステップと、カメラのうちの少なくとも２つからの同時のビデオストリームを受け取るステップと、所定の第２の１つ又は複数の基準のセットに従ってビデオストリームから単一のビデオ出力信号を導出するステップと、を含む方法である。
【００１１】
他の実施形態は、少なくとも２人の参加者が同時に存在する場所で使用する装置であって、それぞれの参加者により携行又は装着されそれぞれのビデオストリームを提供する少なくとも２つのカメラと、カメラのそれぞれに連結し、各々がそれぞれの音声ストリームを提供するようになっている、少なくとも２つのマイクロフォンと、音声ストリームを同時に受け取り、そこから、所定の第１の１つ又は複数の基準のセットに従って単一の音声出力信号を選択的に導出するようになっている、音声信号ミキサと、ビデオストリームを同時に受け取り、そこから、所定の第２の１つ又は複数の基準のセットに従って単一のビデオ出力信号を導出するようになっている、ビデオ信号選択回路と、を備える装置を含む。
【発明を実施するための最良の形態】
【００１２】
図面の構成要素は、必ずしも互いに一定の比率で縮小されていない。各図を通して同じ参照番号は対応する部分を示している。
【００１３】
例示的な実施形態は、少なくとも２人の参加者が同時に存在する場所で使用するカメラ装置を提供し、この装置は、それぞれの参加者が携行するか又は装着（着用）する、それぞれの画像ビデオストリームを提供する少なくとも２つの個人用カメラと、上記カメラのうちの少なくとも２つのそれぞれに連結し、各々がそれぞれの音声ストリームを提供するようになっているマイクロフォンと、同時の音声ストリームを受け取り、そこから、所定の第１の１つ又は複数の基準のセットに従って単一の音声出力信号を選択的に導出するようになっている音声信号混合手段と、同時の画像ビデオストリームを受け取り、そこから、所定の第２の１つ又は複数の基準のセットに従って単一のビデオ出力信号を導出するようになっているビデオ信号混合手段と、を備える。
【００１４】
参加者が携行するか又は装着する個人用カメラの提供は、特にそれがウェアラブル（着用可能）である場合には、更に特にカメラ又は少なくともその撮像光学系が頭部に装着されるようになっている場合には、殆どの環境においてビューが会話の流れを追う、すなわち現話者に向けられることが予期されるため、カメラの向きの問題を解決するために大いに役立つ。しかしながら、実施形態は、また、参加者が、カメラ、例えば連続して作動したままにされるビデオカメラをビューファインダ又はカメラコントロールを連続して監視することなしに概して正しい方向に向けるよう期待され得る場合には、人の別の場所に装着される（例えば、バッジの一部として）カメラ又は撮像光学系の使用とハンドヘルドカメラの使用とを包含してもよい。従来技術の多くでは、カメラは、一般に、固定位置に置かれかつ／又は非参加者によって操作される、ということに留意しなければならない。
【００１５】
更に、マイクロフォンがユーザ（参加者）に密接に関連付けされる場合、例えばマイクロフォンが参加者によって別々に装着されるようになっているかカメラ自体の一部を形成するようにする場合には、その参加者からの音声品質が向上する。
【００１６】
当業者に理解されるように、「混合手段」という用語は、任意の時点で複数の信号のうちの１つを選択的に通過させる手段を意味するように使用してもよい。説明する実施形態では、この種の動作をビデオ信号に適用する。
【００１７】
しかしながら、特に音声信号の場合には、「混合手段」は、別法として所望の結果を取得するために複数のソースからの同時信号を結合する手段を意味してもよい。様々な実施形態において、カッティング，フェーディング，及びクロスフェーディングを含む何れかの又は両方のタイプの動作を使用してもよい。
【００１８】
後述する実施形態では、音声混合手段は、マイクロフォンから音声ストリームを受け取って評価することにより、第１の１つ又は複数の所定基準のセットを使用して最高関連性を有するように判断されるストリームを識別する。そして、このストリームを提供するマイクロフォンに対応する参加者（話者）を識別し、その後に、その参加者の画像を含むビデオストリームを識別する。第２の１つ又は複数の基準のセットを使用して、その時点で選択されるビデオ信号として使用される最も有用なビデオストリームを識別するように試みる。
【００１９】
例示的なビデオ信号は、話者の画像を含むため、話者のカメラからのビデオストリームとはならない。しかしながら、場合によっては、別のビデオストリームを採用してもよい。例えば、本明細書で説明するように、実施形態は、特定のストリームから参加者の対の間の対話を検出することができてもよく（画像をすばやく見ること又はビデオストリームのオプティカルフロー解析等）、対の一方又は他方の画像を提供するストリームを一時的に最も重要なストリームとして採用してもよい。別法として、或いは、更に、２人以上の参加者（参加者の所定数に対し低い閾値を設定してもよい）がシーン又は物体等の同じ領域を見ている時を検出するために、様々な実施形態を採用してもよく、シーン又は物体のビューを提供するストリームを、一時期最も重要なストリームであるものとして採用してもよい。如何なる最も有用なストリームも存在しない場合、異なる信号、例えば話者のキーフレームか又はシーン全体を見ている固定カメラからの信号に置き換えてもよい。
【００２０】
単一のビデオストリームが、過度に時間が長いために最も有用であると判断される場合があり、それにより編集結果が視覚的に退屈なものになる可能性がある。従って、実施形態を、かかるストリームが分割され、一部が他の有用なビデオストリーム（又は先の段落の最後に述べた異なる信号）に置き換えられるように構成してもよい。このような状況では、有用なビデオストリームは、参加者の画像に関する基準（ｂ）を必ずしも満たす必要はなく、カットアウェイショットと等価な、他の参加者ではなく別の場所を見ている参加者からの安定したビデオストリームが、同程度に適しており、編集結果において視覚的関心全体を増大させる可能性が高い。
【００２１】
基準の第１のセットに従って如何なる音声ストリームも適切であると判断されない期間、例えば、如何なる参加者も話をしていない「静寂期間（静穏期間）」が存在する場合がある。これらの期間を編集信号から省略してもよく、結果としてこれらの期間の如何なるビデオ画像信号も省略する。実施形態によっては、かかる「静寂期間」を、それらが閾値長を上回る場合はその閾値長まで単に低減し、そうでない場合は保持し、これらの期間を占有するために、選択されたビデオストリームを可能な場合は何れかの終端で延長するか又は異なるビデオストリームを採用する。
【００２２】
別法として、かかる「静寂期間」中、代替の音声信号を採用してもよい。例えば、音声信号の全ての混合であってよい。この場合、付随するビデオ画像を選択するために規則があることになる。また、既存のビデオ画像が、許容不可能となるまで続いてもよく、許容不可能となる時点で、入手可能な場合は別の許容可能な画像に置き換えてもよく、或いはシーン全体を見ているカメラからの画像を採用してもよく、或いは２つ以上のかかる画像が同時に入手可能である場合には、許容可能なビデオ画像間の切替えを採用してもよい。また、後者の技術を、１つのカメラからのビューが少なくとも閾値期間に選択された場合にはいつでも採用してもよい。
【００２３】
２つ以上の音声ストリームが等しい関連性を有するように判断される場合、例えば２人以上の参加者が同時に話をしている場合には、ストリームを混合するために音声信号ミキサを採用してもよく、各話者に対して２つ以上の許容可能なストリームが入手可能な場合には、何れのビデオストリームを選択すべきかを選択するための規則が整うことになる。
【００２４】
このように、音声信号処理手段は、上記音声ストリームの各々を判断することにより、如何なる時点でも第１の基準のセットに従って、上記同時の音声ストリームがある場合にはその何れが最も関連があるかを識別する音声判断手段を有してもよい。この第１のセットは、例えば、（ａ）対応する参加者からの発話を含む関連があるストリーム、（ｂ）閾値より上の音量及び／又は明瞭さを有する関連があるストリーム、及び（ｃ）最も関連がある可能性がある（例えば、条件（ａ）及び（ｂ）の一方又は両方によって判断されるように）複数の音声ストリームが同時にある場合に、最も音量の大きい信号が最も関連があるとして選択される等の１つ又は複数の条件があってもよい。
【００２５】
上記条件（ｃ）により、会話の流れの変化をより容易に追うことができるようになる。条件（ｃ）に対する代替態様は、最も関連がある可能性がある複数の音声ストリームが同時にある場合に、既存の最も関連がある音声信号が、その音量及び／又は明瞭さが所定閾値レベルを下回るまで最も関連があるものとして維持される、という条件である。これにより、既存の発話を、編集バージョンにおいて全体としてより容易に追うことができる。実際には、全ての重要な寄与に従うことができるように２人以上の参加者からの音声を混合しかつ／又はフェーディングさせるために、当業者に既知の技法を採用してもよい。例えば、各音声ストリームに対し、それらの判断された関連性に従って重み付けを与えてもよい。
【００２６】
条件（ｂ）及び（ｃ）における音量に関して、自然に大声であるか又は自身のマイクロフォンの近くに位置する参加者が、声が小さいか又は自身のマイクロフォンから比較的遠い参加者より、編集されたストリームにおいて優位を占めないために、音声判断手段を適応可能にすることができる。
【００２７】
後述する実施形態では、音声信号混合手段を、最も関連があると判断された出力音声ストリームを音声信号として選択的に送出するか、又は最も関連がある音声ストリームが最も重み付けされる少なくとも２つの音声ストリームの混合を提供するように構成する。必要な場合（すなわち、編集済み信号に「静寂期間」が含まれる場合）、音声混合手段を、如何なる信号も最も関連があると判断されない場合に、以下のグループから１つの信号を供給するように構成してもよい。すなわち、（ｉ）ゼロ信号、（ｉｉ）上記音声ストリームの複合物、（ｉｉｉ）例えば、シーン全体を見ているカメラに対応するか又はその一部を形成するマイクロフォン等、シーン全体から音声を受け取るマイクロフォンからの、別の音声ストリーム、又は（ｉｖ）「静寂期間」の開始前に存在するストリームである。
【００２８】
第２の基準又は基準のセットを使用して、何れのビデオストリームが有用であるかを評価し、複数のかかるストリームがある場合は何れが最も有用なものであるかを判断してもよい。
【００２９】
任意のビデオストリームに対し、これらを、（ａ）個々のビデオストリーム自体から判断されるような画質と、（ｂ）個々のビデオストリーム自体から判断されるような画像的関心と、（ｃ）他のストリームに基づく基準と、を表す基準に分割してもよい。
【００３０】
可能性のある基準（ａ）の例示的な非網羅的リストは、次の通りである。
ａ１．それが、閾値レベルを下回る動きのあるカメラから発生するか？
ａ２．それが表す画像が焦点の閾値内にあるか？
ａ３．それが所望の程度の構図を有するか？
ａ４．それが、少なくとも閾値期間に選択された条件ａ１〜ａ３のうちの１つ又はセットには何にでも従うか？
【００３１】
基準ａ３及びａ４に関して、好ましい構図には、参加者の顔又は参加者、より好ましくはカメラを見ている参加者の存在が含まれる。また、例えば参加者の画像を足首，膝，又は肘等の望ましくない位置で切断することを回避するために、フレームエッジに対する参加者画像の位置等の他の詳細も考慮することができる。
【００３２】
後述するヘッドマウント型タグの使用は、それが人に取り付けられるかヘッドマウント型カメラに取り付けられるかに係らず、タグがカメラの視野内で検出される場合にカメラが頭部を指していることが分かるため、更なる利点を有する。
【００３３】
あり得る基準（ｂ）の例示的な非網羅的なリストは、次の通りである。
ｂ１．それが表している画像は参加者のものであるか？
ｂ２．参加者の顔に普通でない表情が検出されたか？
ｂ３．それは、意味ありげにジェスチャしている参加者を表すか？
ｂ４．それが、少なくとも閾値期間に選択された条件ｂ１〜ｂ３のうちの１つ又はセットには何にでも従うか？
【００３４】
ビデオ信号混合手段の様々な実施形態は、ビデオストリームを、それが上に列挙した基準（ａ）及び／又は（ｂ）のうちの少なくとも１つか又は指定された組合せに従う場合に有用であるとして受け入れるように構成された、ビデオ評価手段を有してもよい。本明細書で説明する実施形態では、基準ａ１、ａ３、ａ４及びｂ１を採用し、基準ａ２に対し、カメラのオートフォーカス機構が常に十分な程度の焦点を提供すると想定する。
【００３５】
基準（ｃ）の例は、以下の通りである。
ｃ１．それは、最も関連がある音声信号を供給している参加者の画像を含むか？
ｃ２．所定数（１を含む）を超える参加者が異なる視点からにも係らず同じ一般的な領域（物体又はビュー）を見ているか？
【００３６】
基準ｃ１に関連して、装置は、参加者識別手段を有してもよい。
【００３７】
一実施形態では、参加者識別手段は、何れのビデオストリームが何れの参加者の画像を含むかを識別するためのものであり、かかる場合、それは、ビデオ信号混合手段の一部を形成してもよい。例えば、
（ｉ）  参加者識別手段は、各参加者の外見に関する情報を格納する手段と、その情報を上記ビデオストリームの画像情報と照合させる照合手段と、を有してもよい。この情報を、装置の使用に先立って格納してもよく、或いは使用中に異なる音声及びビデオストリームの解析及び相関によって取得してもよい。或いは、
（ｉｉ）  各参加者又はカメラに対して、例えばカメラの一部であるか若しくは例えば参加者の頭部又は身体に装着される、光タグを対応させてもよい。タグは、直接、又は（タグが自己を特定する場合は）タグと参加者との間の既知でありかつ格納された関連により、参加者を識別するためにビデオストリームから検索することができる情報（例えば、パッシブパターン或いは放出される光信号の符号化）を提供する。
そして、参加者識別手段の出力は、最も関連がある音声ストリームを提供している参加者に対して相関され続ける。この種の構成を、本明細書で説明する実施形態に採用する。
【００３８】
別法として、或いは、更に、参加者識別手段は、ビデオストリームを解析して上述した最も関連がある音声ストリームと相応関係を有する唇の動きを識別するためのものであってもよい。このように音声及びビデオストリームから話者と話者の外見の特性との相関を導出することが可能であるため、この種の構成を使用して装置の使用中に参加者の外見に関する情報を導出することも可能である。
【００３９】
タグが設けられる場合には、ビデオストリームからの検出による光タグの使用が可能である。それは、タグを検出することにより、参加者が見られているということが確かめられるためである。しかしながら、放出信号が参加者を識別するために使用される符号化情報を含む場合には、非光タグ、例えば音響又は無線タグを採用するか、又はビデオストリームから以外の検出により光タグを使用することも可能である。何れの場合も、好ましくはカメラに配置されるか又は使用中にそれに隣接して配置される何らかの他の形態のタグ検出手段を、その検出領域がカメラと少なくともおよそ同じ方向であるように設けることが必要となり、それにより、識別された参加者をビデオストリームにより確実に関連付けることができる。タグ検出手段の出力を、タグ又はタグ装着者を識別するタグ読取手段に結合し、この情報をビデオ信号混合手段によって使用されるように結合する。タグ読取手段を、例えばカメラにあるタグ検出手段に、又はビデオ信号混合手段に物理的に連結してもよい。このため、この種の構成において、参加者識別手段は、全体的に又は部分的にビデオ信号混合手段とは別個であってもよい。
【００４０】
基準ｃ２に関して、今までは、殆どの場合、可能であれば話者を見ることが望ましいと仮定していた（例外は、１人の話者の過度に長いビューを分割する場合）。しかしながら、参加者の１人以上、おそらくはその全員が、共通の点、例えば関心のある展示品，物体，又はシーンの方を向いており、おそらくは１人の参加者がそれについて話している、という状況もある。これは、共有された関心、従って編集されたビデオに示されるべき非常に顕著なビューを確実に示す可能性がある。
【００４１】
かかる状況の自動検出は、参照により本明細書に援用される「Multi-view Matching for Unordered Image Sets」、F Schaffalitzky等、European Conference on Computer Vision 2002、pp414-431に述べられているようなワイドベースラインステレオマッチング技法によって可能である。より高速であるが頑強ではない代替実施形態は、カメラ自体の電子コンパス又はジャイロ等の動きセンサを使用して異なるカメラの位置及び／又は方向を比較し相関させる。従って、基準ｃ２を満たすことは、関連するビデオストリームのうちの任意のものを最も有用なものとして選択することができることを意味し、その後、他の何らかの基準に基づき、例えばランダムに又は他の基準（ａ）及び／又は（ｂ）に基づいて、それらの間の最終ビデオストリーム選択に対する判断を行なうことができる。
【００４２】
実際に、参加者のグループが共通する物体又は領域に対してどのように向いているかは、その物体又は領域に組み合わすことができる顕著性の新たな測度である。例えば、かかる顕著性測度を、（ａ）同時に見ている参加者の数に従って、（ｂ）物体又は領域が各参加者によって観察されている期間（例えば移動時間窓における）の合計（全ての参加者に対し）に従って、又は（ｃ）少なくとも最小数（１より多い）の参加者が物体又はビューを観察する期間に従って、導出することができる。測度（ｂ）を、例えば参加者の総数で除算することにより、又は時間窓の間の任意の参加者による最長の連続した観察のみを含めることにより（それにより、参加者が同じ窓で２回見る場合、最も長く見たもののみが考慮される）、変更することができる。同様に、測度（ｃ）を、例えば最小数より多くの参加者が見ている期間の一部に対し固定して又は不定に重み付けすることにより変更することができる。
【００４３】
従って、実施形態は、人々のグループに近接する物体又は領域の顕著性を、その物体又は領域がグループの個々のメンバーによって如何に観察されるかに応じて測定することにも広がる。
【００４４】
有用であるとして評価されるビデオストリームに対し、基準（ａ）〜（ｃ）の任意のものをそれ自体で若しくは任意の適当な算術的及び／又は論理的組合せにより採用することができる、ということを理解すべきである。更に、最終結果に異なって寄与するように、異なる基準に対して異なって重み付けることができる。例えば、基準が満たされるか否かを決める異なる重み付けを付加することにより、合計が全有用性を示す閾値レベルに達するか否かを判断することができる。また、先の基準はあり得る唯一の基準ではなく、他の基準を単独で又は論理的組合せにより使用することができる、ということも理解すべきである。
【００４５】
実際に、各基準はビデオストリームの顕著性を示すため、複数の基準に基づいて何らかの形態のマーキング方式を採用することができ、最高にマーキングされたストリームを最も顕著な又は最も有用なストリームとする。
【００４６】
しかしながら、本明細書で説明する実施形態では、基準ａ及びｂを、何れのビデオストリームが有用であるかを判断するために採用する。複数の有用なストリームがある場合には、それらの間で更なる判断を行なうことにより、編集されたビデオストリームに組み込む最も有用なストリームを識別し、これは、上述したｃ１及びｃ２のうちの一方又は両方（説明したようにｃ１）を採用してもよい。両基準を採用する場合には、何れが最も有用なビデオストリームであるかを判断する際に如何なる対立も回避するために、通常では一方（例えば、ｃ１）を他方（例えば、ｃ２）より優先させる。話者に対するより、何が見られているかに対してより重要性が付与される可能性のある、展示会、例えば美術館又は博物館に行っているか若しくは実演に参加している場合等の状況では、基準ｃ２に対して優先権を与えてもよい。
【００４７】
このように、ビデオ信号混合手段は、更に、複数の有用なビデオストリーム（もしあれば）を、上記第２の基準のセットに従ってあるならば何れのビデオストリームが最も有用であるかを識別するように判断する、ビデオ判断手段を有してもよい。特に、ビデオ判断手段を、最も有用であると判断されているものから最も関連がある音声信号に対応する参加者からのビデオストリームを、それが有用であると判断された唯一のストリームである場合にのみ受け入れるように構成してもよい。
【００４８】
ビデオ信号処理手段は、最も有用なビデオストリームを上記の単一のビデオ出力信号として選択的に通過させるビデオ選択器手段を有してもよい。
【００４９】
更に、装置実施形態はまた、代替ビデオ信号を供給する代替手段も有し、ビデオ選択器を、如何なる上記の最も有用なビデオ信号も存在しない場合に代替ビデオ信号を通過させるように構成する。
【００５０】
代替手段の例示的な形態には、（ａ）メモリと、（ｂ）参加者の全てを見ている追加のカメラと、（ｃ）上記ビデオストリームに対し上記参加者の画像を含むキーフレームを導出するキーフレーム手段と、のうちの１つ又は複数が含まれる。例えば、メモリ（ａ）における代替ビデオ信号は、上記の最も関連がある音声ストリームに対応する参加者の画像を含んでもよい。
【００５１】
長々と話している話者の連続した単一ビューは、退屈である可能性がある。従って、改善として、ビデオ信号処理手段を、閾値を超える長さを有する単一の最も有用なビデオストリームからの連続したビデオクリップを、上記カメラのうちの他のものからのクリップ（有用なビデオストリームの全体のうちのいくつか）、又はそこから導出されたキーフレーム、又はシーン全体を見ているカメラからのクリップの挿入により分割するように構成することができる。これらのクリップは、話者のものであってもなくてもよく、例えば、話しかけられている人の映像を含んでもよい。別法として、上記基準ｃ２に従って非参加者シーンの任意の一般的なビューか又は上記基準（ａ）のうちの１つ又は複数に従って許容可能であるとして識別される非参加者シーンのビューを含んでもよい。従って、展覧会にいる場合、１人の参加者が特定の展示品に関して長々と話している可能性があり、その展示品を見ている参加者もいれば話者を見ている参加者もいる可能性があり、それによって編集されたプログラムには、展示品と話者との交互のビューが現れる可能性がある。
【００５２】
上述した手段のうちの任意のものにより何れのカメラが何れの人を見ているかを識別することができることの更なる利点は、ビデオストリームが有用であるか否かを判断するために相応関係を有するマップを導出することが可能である、ということである。例えば、４人以上の参加者の集まりにおいて、第１の参加者が第２の参加者に話しかけている間に、第３の参加者が第４の参加者を見る可能性がある。この動作を検出することができ、潜在的な使用に対しそのビデオストリームに、例えば第２の参加者を示している最も有用なストリーム内に挿入されたクリップとしてか又はそれ自体で最も有用なストリームとして、相応関係を有する顕著性を付与することができる。
【００５３】
カメラのうちの少なくとも１つに、特に（ただし排他的にではなく）頭部に装着されないカメラ又は撮像光学系に対してパン，チルト，及びズームのうちの少なくとも１つを制御する手段を設けてもよい。これは、例えば後述するタイプの最も関連がある音声ストリームを提供している参加者に向けられることにより、音声ストリームに応答してもよい。それは、更に又は別法として、例えばそのカメラからのビデオストリームの解析によって提供されるような画像の構図と、特にそのカメラからのビデオストリームによって提供されるような現在見られている参加者のフレームにおける位置と、に応答してもよい。
【００５４】
様々な実施形態は、複数のカメラ、少なくとも或る場所に同時に存在するそれぞれの参加者によって装着又は携行される各上記カメラの撮像レンズからの編集済みビデオ信号を生成する方法まで広がる。この方法は、少なくとも２人の参加者からの同時の音声ストリームを受け取りそこから所定の第１の１つ又は複数の基準のセットに従って単一の音声出力信号を選択的に導出すること、カメラのうちの少なくとも２つからの同時の画像ビデオストリームを受け取りそこから所定の第２の１つ又は複数の基準のセットに従って単一のビデオ出力信号を導出すること、とを含む。
【００５５】
実施形態は、上記第１の基準のセットに従って最も関連がある音声ストリームを識別することを含んでもよく、後者は、明瞭さ，音量，及び発話内容の存在のうちの少なくとも１つを含んでもよい。最も関連がある音声ストリームを、上記の単一出力信号として単独で又は他の上記音声ストリームと混合して選択してもよい。
【００５６】
実施形態では、ビデオストリームのうちの１つを単一のビデオ出力信号として選択する。この目的で、ビデオストリームを第２の基準に従って判断する。第２の基準には、焦点の度合い，カメラの動き，画像における参加者の存在，それが上述した最も関連がある音声ストリームを提供している参加者の画像を含むか否か、のうちの少なくとも１つを含む。
【００５７】
ビデオストリームが選択される期間は、異なる音声ストリームが最初に選択される期間に一致する必要はない。特に、ビデオストリームを切断するためにいつが最適であるかを判断する規則が認識されており、それにより、ビデオストリームを開始する時に、例えば、話者が変わった時を、音声ストリームの変化に反映されるように、話者の変更が発生する時点から離れるように調整してもよい。また、これを、「静寂期間」が編集された音声ストリームにおいて少なくとも部分的に保持される場合、例えば既存のビデオストリームが適当なビデオ切断点まで又はそれが許容不可能となるまで継続することが可能とされ得る場合に、適用してもよい。かかる場合、静寂期間が実際に編集結果から削除される際に、調整されたビデオ切断時に適応するために、選択された音声ストリームをいくつかの静寂期間の開始及び終了を含むように延長させる調整が必要なことがある。
【００５８】
様々な実施形態を説明する目的で、以下のリストは、発生する可能性があり編集されたビデオが要求される事象Ｅ０〜Ｅ１９のシーケンスである。事象Ｅｎを等しく間隔が空けられているように示すが、これは単に説明の便宜上のものであり、それらの発生時点は実際には決して等しく間隔が空けられていない可能性がある、ということを理解しなければならない。
【００５９】
Ｅ０  ３人の参加者Ａ〜Ｃが集まった。各々に、マイクロフォンを含む頭部装着型カメラが取り付けられる。誰も話していない。Ａ及びＢは下を見ており、Ｃは他の２人から顔を背けている。
Ｅ１  ＡがＢを見る
Ｅ２  Ａが話す
Ｅ３  ＢがＡの方に顔を上げる
Ｅ４  Ａがうなずく
Ｅ５  Ｃが向きを変えてＡを見る
Ｅ６  Ａがうなずくのをやめる
Ｅ７  Ｂが再び下を見る
Ｅ８  Ａが話すのをやめ、まだＢを見ている
Ｅ９  ＢがＣの方に顔を上げる
Ｅ１０  Ｂが向きを変えてＡを見る
Ｅ１１  Ｂが話す
Ｅ１２  Ｃが向きを変えてＢを見る
Ｅ１３  Ｂがまだ話している間にＣが話す
Ｅ１４  Ｂが向きを変えてＣを見る
Ｅ１５  Ｂが話すのをやめる
Ｅ１６  Ａが向きを変えてＣを見る
Ｅ１７  Ｃが話すのをやめ再び顔を背ける
Ｅ１８  Ａが話す
Ｅ１９  Ｂが向きを変えてＡを見る
【００６０】
図１は、第１実施形態による装置の概略的な構成を示す略ブロック回路図である。
【００６１】
図１に示す実施形態を、以下の機能を実行するように構成する。
１．参加者Ａ〜Ｃのうちの少なくとも１人が話している期間を識別し、そこから音声スクリプトを集めること。
２．カメラのうちの何れかが許容可能な画像を提供している画像信号を生成しているか否かを確かめること。
３．音声スクリプトに応じて、カメラのうちの１つからの画像信号か又はメモリからの画像信号を選択するビデオスクリプトを生成すること。
４．音声及びビデオスクリプトを使用して単一の編集済み音声／ビデオストリームを生成するために３つのカメラからビデオストリームと音声ストリームとを選択的に結合すること。
【００６２】
図１において、３つのカメラ１Ａ〜１Ｃ（英字が参加者を示す）が、エディタ４に供給される別個の音声ストリーム２（２Ａ〜２Ｃ）とビデオ（画像信号）ストリーム３（３Ａ〜３Ｃ）とを提供する。実施形態によっては、カメラ出力は、後に音声成分とビデオ成分とに分離される複合音声／視覚信号であってもよい。エディタ４は、上述したタスク（１〜４）を実行するように動作する。
【００６３】
信号２Ａ〜２Ｃは、また、バッファ又はディレイ５を介して、エディタ４によって制御される音声信号ミキサ６（音声混合手段）に供給される。信号３Ａ〜３Ｃは、また、バッファ又はディレイ７を介して、ビデオ信号選択回路８に供給される。ビデオ信号選択回路８は、参加者Ａ〜Ｃの各々の静止画像を表す事前記録されたビデオ信号を含むメモリ９にも結合されている。音声信号ミキサ６は、エディタ４からの音声スクリプト信号１０により、編集済み音声ストリーム１２を提供するように制御され、ビデオ信号選択回路８は、エディタ４からのビデオスクリプト信号１１により、バッファリングされた信号３Ａ〜３Ｃのうちの１つか又は参加者のうちの１人に対するメモリ９からの信号を選択することにより編集済みビデオストリーム１３を提供するように制御される。後者は、結合器１４において編集済み音声ストリーム１２と結合されることにより、複合編集済み音声／視覚出力信号１５を生成する。
【００６４】
バッファ５及び７（効果的には各個々のストリームに対して１つのバッファ）は、エディタ４と対応する音声信号ミキサ６及びビデオ信号選択回路８とが作用する時間を見越し、本質的にリアルタイムプロセスであるものにおいてビデオ及び音声ストリームの同期を維持するように動作する。しかしながら、構成を僅かに変更することにより、それらを図３に示す第２実施形態のようにレコーダ／メモリに置き換えてもよい。
【００６５】
エディタ４を、その必要な機能を行なう個々の専用ブロック回路から構成することができるが、好ましくは、それはソフトウェアによって駆動される回路構成である。
【００６６】
図２は、共通の活動に係る３人の参加者、例えば、ピクニックでの又は浜辺にいる、おらくは砂の城を建てるか又はゲームをするような何かをしている子供及び／又は大人か、興味の或る場所を訪れているか若しくは陸上競技又は競馬等のイベントを観ている人々か、誕生日パーティ又は他のパーティか、若しくは単にテーブルを囲むか又はバーで単に座っている人々にも対応する様々な事象を示すチャートである。従来技術の殆どは、人々が比較的静止している状況においてのみ使用することができるが、実施形態は、かかる状況と人々が自由に動き回り自由に互いと対話する場合との両方に有用である、ということに留意しなければならない。図２のプロット２Ａ〜２Ｃに示すように、エディタ４（図１参照）は、音声ストリーム２Ａ〜２Ｃを受け取り、信号レベルが閾値レベルを上回り発話信号（笑い声又は他の何らかの非発話信号とは対照的に）である場合を判断する。それは、また、カメラマイクロフォンと接続されている（又は結合されている）ので、関連して話している参加者（複数可）も識別する。
【００６７】
エディタ４は、また、ビデオストリーム３Ａ〜３Ｃを受け取り、画質が許容可能である時を判断する。この実施形態では、エディタ４を、過度なカメラの動きを示す信号と、別の参加者を表していない信号と、閾値レベルを下回る持続時間を有する場合を除いて許容可能な信号（これは、異なるカメラ出力間の許容できない高速な切替えを回避する）と、を拒絶するように構成する。
【００６８】
過度なカメラの動きは、例えば、オプティックフロー解析によって検出してもよい。別法として、個々のカメラ（又は参加者の頭部）に、同じ目的のための加速度計又はジャイロ等の動き検出器を設けてもよく、その結果としての信号は、エディタ４に送出される。
【００６９】
カメラが受け取っている画像が別の参加者を表すか否かを、例えばメモリ９（図１）における事前格納された画像の詳細か又は格納された画像に関する画像解析により検出する他の方法があるが、この特定の実施形態では、タグを各カメラに関連付ける（その上か又はカメラを装着又は携行している参加者の頭部又は身体の上部に位置する）。タグのタイプに応じて、専用検出器（例えば、赤外線，無線，又は音響）が必要な場合がある。実施形態によっては、タグを、かかるタグが別のカメラから検出される場合に、その存在が、参加者が他のカメラによって見られているという事実を示すように、カメラの上か又はカメラに直接隣接して取り付ける。一実施形態では、タグは、見られている参加者を識別する役割を果たす情報（例えば、放出される音響，赤外線又は無線信号の符号化，若しくは赤外線パターン）を提供する。
【００７０】
一実施形態では、タグは、可視又は赤外線バーコード（パッシブタグ）等の光タグ、若しくは変調赤外線ＬＥＤ等のアクティブ発光タグであり、それは画像信号の解析から認識することができる。しかしながら、上述したように、それは、カメラ／参加者における適当な受信機によって検出される、異なるタイプのタグ、例えば音響，光，又は無線エミッタであってもよく、結果としての信号はエディタ４に結合される。パッシブ及び（僅かに低い程度で）アクティブ光タグは、その検出が、適切に方向付けられた検出器（例えば、カメラ自体）を必要とするため、参加者がカメラの視野内にいることを確実に示す、という利点を有し、一方、他のタイプの放射線のそれほど指向性の強くない特性は、これをそれほど確実にしない。
【００７１】
結果としての許容可能な信号を図２のプロット３Ａ〜３Ｃに示す。許容可能であることの開始時点が必ずしも事象Ｅｎと同時に発生するとは限らない、ということが認められよう。事象Ｅｎが発生する際の開始時点を時刻ｔｎとして示す。許容可能であることの終了時点もまたそれと同時であるとは限らないが、図示するように、簡単のために何れの場合でも同時である。プロット３Ｂの第２のライン（ｔ４からＥ１０までの間のライン）を示すが、それを、それが許容可能であるためには短すぎることを示すように破線ボックス内に配置されている。
【００７２】
動作の一形態では、エディタ４を、間に発生する静寂期間が省略される、編集された音声スクリプトを生成するように構成する。単一の参加者が話している場合には、その音声ストリームを最も適切であるとして選択し、エディタ４は、音声信号ミキサ６（図１参照）に対し、その音声ストリームのみを選択するように命令する。そして、同時のビデオストリームを検査することにより、少なくとも１つが話者の画像を含むか否かを確かめる。このため、例えば、参加者Ｂが事象Ｅ１１とＥ１５との間で話し、ストリーム３Ａがこの期間の全てに対して参加者Ｂを示す一方で、ストリーム３Ｃは、この期間の時刻ｔ８からＥ１５までの期間のみをカバーする。しかしながら、参加者ＡがＥ２とＥ８との間で話す場合には、ストリーム３Ｂは、ｔ３とＥ７との間でのみ参加者Ａの画像を提供し、同様に参加者Ｃは、期間Ｅ１３〜Ｅ１７のうちの期間ｔ６〜Ｅ１７の間にのみ撮像される。
【００７３】
単一の話者が単一のビデオストリームによって撮像される場合には、そのストリームを最も適切であるものとして選択する。話者が複数のストリームによって撮像される場合には、最も完全な適用範囲を提供するストリームを、最も適切であるものとして選択する。話者が話している間に複数のストリームが完全な適用範囲を提供する場合には、何らかの所定基準（例えばランダム）に基づきそれらの間で最も長い許容可能なストリーム、検出可能な場合に話しかけられている参加者から発生するストリーム等を選択する。話者が如何なるビデオストリームによっても撮像されない場合には、いくつかの実施形態によりメモリ９から話者の静止画像を選択する。
【００７４】
この種の動作を行なうためには、ビデオストリームの各々により何れの参加者が撮像されているかを判断することが必要であり、プロット３Ａ〜３Ｃの各々が、何れの参加者が見られているかを示す、ということが留意されよう。これは、装着者を識別する情報を提供するタグを使用することにより最も容易に達成されるが、この場合もまた、画像解析等の他の技法を使用してもよい。
【００７５】
Ｅ１３とＥ１５との間のように、複数の話者が同時に話している場合には、エディタ４は、音声信号ミキサ６に対して関連があるストリームを混合するように命令する。ビデオストリームを検査することにより、少なくとも１人の話者に対し適当なストリームがあるか否かを判断する。１人の話者のみがそのように当てはまる場合には、エディタ４は、選択回路８に対してそのストリームを選択するように命令する。何れの話者も当てはまらない場合には、ビデオ信号選択回路８を、メモリ９（図１参照）から話者のうちの１人、例えば最も声の大きい話者の静止画像を選択するように制御する。複数の話者が当てはまる場合には、ビデオ信号選択回路８を、単一のビデオストリーム、例えば最も声の大きい話者のビデオストリームを選択するように制御する。
【００７６】
結果としての音声及びビデオストリームを図２のライン１２及び１３に示す。そこでは、ハッチングされたラインＥ０〜Ｅ２、Ｅ８〜Ｅ１１及びＥ１７〜Ｅ１８が、編集バージョンから削除された部分を表す（このため、例えばＥ８とＥ１１とは一致する）。プロット１２の上の文字（複数可）は、話者（複数可）を示し、プロット１３の上の文字は、選択されたビデオストリームを提供する参加者カメラか又はメモリを示す（このため、Ｍ（Ａ）はメモリ９における参加者Ａの画像である）。ライン１２及び１３を、それぞれミキサ６と選択回路８との動作を制御するスクリプト信号１０及び１１（図１参照）に対する対の一方としてみなしてもよい。
【００７７】
上記動作の変形例では、間で起こる細切れの「静寂」期間を保持する。それらの期間中、音声ストリームを、音声信号ミキサ６において適当に混合してもよい。実際には、上記動作期間中並びにこの変形例における期間中に、音声信号ミキサ６を、雰囲気を提供するために非話者ストリームからの音声を少量で付加するように制御することが可能である。「静寂」期間中、選択回路８を、既存の選択されたビデオストリームをそれが許容可能であり続ける限り通過させ、最近の話者の許容可能なストリームが存在しない場合は他の許容可能なストリームを全て通過させ、又は如何なる許容可能なビデオストリームも入手可能でない場合には、メモリ９からの画像又は画像のシーケンスを通過させ続けるように制御する。結果としての編集されたビデオストリームを、図２のライン１３’に示し、バッファ５及び７（図１参照）の長さが十分である場合には、初期期間Ｅ０〜Ｅ２を割り当てることが可能である。
【００７８】
動作の何れの形態においても、エディタ４を、ビデオ信号選択回路８（図１参照）を、所定閾値期間に達した後の既存の選択されたビデオストリームから例えば利用可能である場合には別の許容可能なビデオストリームに切り替えるように制御するように構成してもよい。
【００７９】
図３は、メモリ９（図１参照）を省略した装置の第２実施形態を示し、この場合には、参加者が位置する領域の全体を見る追加のカメラ１６が設けられる。この実施形態では、ビデオストリームと音声ストリームとを記録した後に編集を実行する。
【００８０】
各々のカメラ１Ａ，１Ｂ，１Ｃ，及び１６からの４つの音声ストリーム２Ａ，２Ｂ，２Ｃ，及び１７のセットと、４つのビデオストリーム３Ａ，３Ｂ，３Ｃ，及び１８のセットとを、中央制御装置２１からの信号２２，２３の制御に基づいてそれぞれのレコーダ又はメモリ１９，２０に別々に記録する。後に、プロセッサ２１を、記録された音声及びビデオストリームを解析並びに音声及びビデオスクリプトの生成のために検索する制御信号２２，２３を生成するように作動する。カメラ自体のメモリを使用することも同様に可能であり、必要なものは、もとの信号を繰り返し呼び戻す機能のみである。この場合もまた、カメラ１Ａ，１Ｂ，１Ｃ，及び１６からの信号は、レコーダ１９，２０の前又は後の何れかにおいて音声及びビデオストリームに分割される、複合音声／視覚信号であってもよい。
【００８１】
音声及びビデオストリームが検索されると、中央制御装置２１は、また、制御信号２４によりエディタを作動し、第１の実施形態と同様にそれらを判断させ、最初にエディタに格納される音声及びビデオスクリプト信号を供給させる。ストリームの全体が判断されると、中央制御装置２１は、メモリ１９，２０を作動して２つのストリームをもう一度再現させ、また、上述したように結合器１４から複合編集済み音声／視覚信号１５の最終的な生成のために音声信号ミキサ６及びビデオ信号選択回路８にスクリプト信号１０，１１をそれぞれ供給する。メモリ１９，２０からの２つのストリームの二重読出しにより、大きいバッファの使用が回避されるが、必要な場合には、２つのストリームと制御信号１０，１１との同期のために調整を可能ならしめるバッファを提供してもよい。
【００８２】
この実施形態では、如何なる許容可能なビデオストリームも入手可能でない場合には、第１実施形態のメモリ９の出力の代りに、追加のカメラからのビデオストリーム１８を編集されたストリームとして使用し、すなわち図２のライン１３又は１３’におけるＭへの参照を信号１８への参照に置き換える。どの参加者も話していない場合（すなわち、図２のライン１２の細切れ領域）、音声ストリーム１７を編集された音声ストリームとして採用し、任意に音声ストリーム２Ａ〜２Ｃと混合する。
【００８３】
より高度かつ複雑な実施形態では、特定の時点、例えば、見られている領域において動きが殆ど発生していない場合には、ビデオストリームを切断することが望ましいということを考慮する。かかる時点の判断を、既知の技法によって行なうことができ、その判断には、許容可能なビデオストリームの利用可能な長さを変更する、概して許容可能なビデオストリームを短縮する傾向がある、という効果がある。
【００８４】
これを、図３の実施形態として、図２の最下ライン１３”に示しており、この実施形態では、先行するラインは音声ストリームを示している。殆どの場合、音声ストリームは僅かに遅く選択され（ｔ１０，ｔ１２，ｔ１４，ｔ１６）、僅かに早く終了する（ｔ１１，ｔ１５）ことが分かるであろう。しかしながら、ｔ１３の場合には、利用可能なビデオストリームが静寂期間Ｅ８〜Ｅ１１に連続するため、ｔ１３はＥ８の僅か後に発生し、そのため、静寂期間の開始後の切断点を選択することができる。
【００８５】
図３に関して説明するような記録後編集プロセスにおいて、しかしながらまた恐らくはリアルタイムで処理する場合には、記録されたストリームと再生されるストリームの全ての間における同期を保証することが必要である。これを、カメラタイムスタンプを使用することにより、音声ストリーム間の相関を保証することにより、或いは各ストリームに対し基準信号、例えば他のカメラの各々によって受け取られ記録される、１つのカメラによって周期的に放出される識別子信号を参照させることにより、行ってもよい。
【００８６】
図１及び図３の装置をカメラの全てとは別個のものとして示しているが、代替実施形態では、それを、他のカメラの全てと通信するマスタカメラに組み込んでもよい。
【００８７】
エディタ４をソフトウェアによってプログラム可能な回路を使用して実施する場合には、エディタ４が、複数の異なるモードで、例えば図１に関して示した動作と図３に関して示した動作とを切り替えるように動作するようにエディタ４を構成することが可能である。ハードワイヤードの専用回路で実施するかソフトウェアで実施するかにかかわらず、編集プロセスを指示するパラメータを選択し変更する、例えば何れの基準（ａ）〜（ｃ）が使用されるかを選択する、及び、任意の１つのビデオクリップの最大長を設定する、ユーザ操作可能コントロールを設けてもよい。
【００８８】
図４は、複数のカメラから編集済みビデオ信号を生成する様々な実施形態によって使用されるプロセスを示すフローチャート４００である。このフローチャート４００は、様々な実施形態によって使用されるソフトウェアのあり得る実施態様のアーキテクチャ，機能，及び動作を示している。これに関し、各ブロックは、指定された論理機能（複数可）を実施する１つ又は複数の実行可能命令を含むモジュール，セグメント，又はコードの一部を表してもよい。また、代替実施態様によっては、ブロックに示す機能が、図４に示す順序とは異なる順序で発生してもよく、或いは追加の機能を含んでもよい、ということも留意しなければならない。例えば、後により明らかとなるように、関連する機能に応じて、図４において連続して示す２つのブロックを、実際には実質的に同時に実行してもよく、それらブロックを時に逆の順序で実行してもよく、或いはブロックのいくつかを全ての場合で実行しなくてもよい。かかる変更及び変形の全ては、本明細書においてこの開示の範囲内に含まれることが意図されている。
【００８９】
上述したように、図４は、複数のカメラからの編集されたビデオ信号を生成する、様々な実施形態によって使用されるプロセスを示すフローチャート４００である。少なくとも１つの実施形態において、プロセスは、少なくとも、或る場所に同時に存在する複数の参加者のそれぞれによって保持され又は装着されるカメラの各々の撮像レンズを使用して、複数のカメラから編集済みビデオ信号を生成する。プロセスは、ブロック４０４において開始する。ブロック４０６において、少なくとも２人の参加者からの同時の音声ストリームを受け取る。ブロック４０６において、１つ又は複数の基準の所定の第１のセットに従って、音声ストリーム信号から単一の音声出力信号を導出する。ブロック４０８において、少なくとも２つのカメラからの同時のビデオストリームを受け取る。ブロック４１０において、１つ又は複数の基準の所定の第２のセットに従って、ビデオストリームから単一のビデオ出力信号を導出する。プロセスは、ブロック４１２で終了する。
【図面の簡単な説明】
【００９０】
【図１】第１実施形態による装置の概略的な構成を示す概略的に示すブロック回路図である。
【図２】共通の活動に関係する３人の参加者に対応する様々な事象を示すチャートである。
【図３】第２実施形態を概略的に示すブロック回路図である。
【図４】例示的な実施形態によって使用されるプロセスのフローチャートである。
【図１】
0004638183.tif 000002
【図２】
0004638183.tif 000003
【図３】
0004638183.tif 000004
【図４】
0004638183.tif 000005