(57)【要約】ビデオ通信システムを使用してリモートビューアにビデオ画像を供給する方法は、リモートビューイング環境におけるリモートビューイングクライアントに通信ネットワークにより接続されるローカル環境におけるビデオ通信クライアントを有するビデオ通信システムを動作させるステップ、ローカル環境のビデオ画像を捕捉するステップ、捕捉されたビデオ画像を分析して、ローカル環境において進行しているアクティビティを検出するステップ、リモートビューアの関心を示す属性に関してビデオ画像において検出されたアクティビティを特徴付けるステップ、容認可能なビデオ画像が利用可能であるかを判定するステップ、リモートビューイングクライアントが参加しているか又は離脱しているかの示唆を受信するステップ、リモートジューイングクライアントが参加している場合に、進行しているアクティビティの容認可能なビデオ画像をリモートビューイングクライアントに送信するステップ、又は、リモートビューイングクライアントが離脱している場合に、容認可能なビデオ画像をメモリに記録するステップ、を含む。
2013504933.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ通信システムを使用してリモートビューアにビデオ画像を供給する方法であって、
リモートビューイング環境におけるリモートビューイングクライアントに通信ネットワークにより接続されるローカル環境におけるビデオ通信クライアントを有するビデオ通信システムを動作させるステップと、前記ビデオ通信クライアントは、ビデオ捕捉装置、イメージディスプレイ、及びビデオ分析コンポーネントを有するコンピュータを有しており、
通信イベントの間に前記ビデオ捕捉装置を使用して前記ローカル環境のビデオ画像を捕捉するステップと、
捕捉されたビデオ画像を分析して、前記ビデオ分析コンポーネントにより前記ローカル環境において進行しているアクティビティを検出するステップと、
リモートビューアの関心を示す属性に関して前記ビデオ画像の検出されたアクティビティを特徴付けするステップと、
特徴付けされたアクティビティ及び定義されたローカルユーザの許可に応じて、容認可能なビデオ画像が利用可能であるかを判定するステップと、
前記リモートビューイングクライアントが参加しているか又は離脱しているかの示唆を受信するステップと、
前記リモートジューイングクライアントが参加している場合に、前記進行しているアクティビティの容認可能なビデオ画像を前記リモートビューイングクライアントに送信するステップ、又は、前記リモートビューイングクライアントが離脱している場合に、前記容認可能なビデオ画像をメモリに記録し、前記リモートビューイングクライアントが参加していることの示唆が受信されたときに、記録されたビデオ画像を前記リモートビューイングクライアントに送信するステップと、
を含むことを特徴とする方法。
【請求項２】
前記ビデオ画像が容認可能ではないと判定されたとき、前記ビデオ画像は送信又は記録されず、前記メモリから削除される、
請求項１記載の方法。
【請求項３】
前記ビデオ捕捉装置により捕捉された少なくとも１つの静止画像は、前記ビデオ画像が容認可能ではないと判定されたとき、通信イベントの一部の間に前記リモートビューイングクライアントに送信される、
請求項１記載の方法。
【請求項４】
前記リモートビューイングクライアントが参加していることの示唆は、前記リモートビューイングクライアントが動作中であり、リモートビューアが前記リモートビューイング環境に存在し、前記リモートビューアが前記リモートビューイングクライアントを見ているときに、前記リモートビューイングクライアントから受信される、
請求項１記載の方法。
【請求項５】
前記リモートビューイングクライアントが離脱していることの示唆は、前記リモートビューイングクライアントが動作中ではないとき、又はリモートビューアが前記リモートビューイング環境に存在しないとき、或いは前記リモートビューアが前記リモートビューイングクライアントを見ていないときに、前記リモートビューイングクライアントから受信される、
請求項１記載の方法。
【請求項６】
前の示唆が受信された後に、前記リモートビューイングクライアントのステータスの後続する示唆を参加又は離脱として受信するステップを更に含む、
請求項１記載の方法。
【請求項７】
ビデオの送信又はビデオの記録に関して、前記ビデオ通信クライアントの挙動は、参加又は離脱としての前記リモートビューイングクライアントのステータスにおける変化に応答して変化する、
請求項６記載の方法。
【請求項８】
前記特徴付けされたアクティビティの示唆又は前記捕捉されたビデオ画像の決定された受容性の示唆は、前記リモートビューイングクライアントに供給される、
請求項１記載の方法。
【請求項９】
前記検出されたアクティビティは、動き分析から導出された定量的な基準に基づいて特徴付けされる、
請求項１記載の方法。
【請求項１０】
前記検出されたアクティビティは、人の存在又はアイデンティティ、動物の存在又はアイデンティティ、アクティビティの対応、又は日時を含む意味的な属性に基づいて特徴付けされる、
請求項１記載の方法。
【請求項１１】
前記ビデオ画像のコンテンツの受容性は、人、動物の存在、又は画像のコンテンツにおける所定のアクティビティに関連する基準を使用して決定される、
請求項１記載の方法。
【請求項１２】
利用可能なビデオ画像のコンテンツの受容性は、確率値により特徴付けされる、
請求項１記載の方法。
【請求項１３】
ビデオ画像が捕捉されている間に、更新された確率値が決定され、
前記ビデオ通信クライアントの挙動は、前記確率値の変化に応答して変化する、
請求項１２記載の方法。
【請求項１４】
前記ビデオ通信クライアントの挙動は、捕捉されたビデオ画像が前記リモートビューイングクライアントに送信されるか、又は後の送信のために記録されるか、又は前記メモリから削除されるかを変えることで変化する、
請求項１３記載の方法。
【請求項１５】
前記ビデオ画像の受容性は、容認不可能、一般的又は容認可能として前記ビデオ画像のコンテンツを分類することを含む受容性のランキングにより特徴付けされる、
請求項１記載の方法。
【請求項１６】
前記定義されたローカルユーザの許可は、どのようなタイプのビデオ画像のコンテンツが記録又は送信されるか、誰がビデオ画像を視聴することを許可されるか、記録されたビデオを何回視聴することができるか、又は記録されたビデオを前記リモートビューイングクライアントでどの位長く保持することができるか、に関する制限を含む、
請求項１記載の方法。
【請求項１７】
前記ビデオ通信クライアントは、進行しているアクティビティのビデオ画像又は記録されたビデオ画像のいずれかが視聴のために利用可能であることを示す警告を前記リモートビューイングクライアントに提供する、
請求項１記載の方法。
【請求項１８】
前記記録されたビデオ画像は、人の存在又はアイデンティティ、動物の存在又はアイデンティティ、アクティビティのタイプ、日時、又は記録されたビデオの期間を含む様々な基準に関して特徴付けされる、
請求項１記載の方法。
【請求項１９】
前記アクティビティの検出又は前記ビデオ画像の特徴付けは、イメージ差の分析、動き分析、顔の検出、目の検出、体形の検出、皮膚の色の分析、又はこれらの組み合わせを含む、
請求項１記載の方法。
【請求項２０】
前記ビデオ通信クライアント及び前記リモートビューイングクライアントは、リモートユーザ又はローカルユーザがビデオの視聴、送信、記録又はプライバシーの好みを定義するユーザインタフェースを提供する、
請求項１記載の方法。
【請求項２１】
１以上のビデオ通信のイベントから容認可能なビデオ画像についてアクティビティの時間記録が決定され、
前記アクティビティの時間記録は、前記ビデオ通信クライアント又はリモートビューイングクライアントの何れかのユーザインタフェースで提供される、
請求項２０記載の方法。
【請求項２２】
進行しているアクティビティのビデオ画像は、前記ビデオ通信クライアントに関連するメモリに記録される、
請求項１記載の方法。
【請求項２３】
前記記録されたビデオ画像は、前記リモートビューイングクライアントに関連するメモリに記録される、
請求項１記載の方法。
【請求項２４】
前記ビデオ通信クライアントは、複数のリモートビューイングクライアントに通信ネットワークにより接続され、
進行しているアクティビティのビデオ画像又は記録されたビデオ画像の何れかは、所与のリモートビューイングクライアントが参加しているか又は離脱しているかに応じて、前記リモートビューイングクライアントに送信される、
請求項１記載の方法。
【請求項２５】
ローカルユーザの許可又はリモートユーザの好みは、それぞれのリモートビューイングについて定義される、
請求項２４記載の方法。
【請求項２６】
前記ビデオ通信クライアントは、１以上の環境センサを更に含み、
前記１以上の環境センサのうちの１つは、動き検出器、光検出器、赤外線感知カメラ、生体電気検出センサ、近接センサ、又はマイクロフォンである、
請求項１記載の方法。
【請求項２７】
ビデオ通信システムを使用してリモートビューアにビデオ画像を供給する方法であって、
リモートビューイング環境におけるリモートビューイングシステムに通信ネットワークにより接続されるローカル環境におけるビデオ通信システムを動作させるステップと、前記ビデオ通信システムは、ビデオ捕捉装置、イメージディスプレイ、及びビデオ分析コンポーネントを有するコンピュータを有しており、
前記ビデオ捕捉装置を使用して前記ローカル環境のビデオ画像を捕捉するステップと、
捕捉されたビデオ画像を前記ビデオ分析コンポーネントを使用して分析し、前記ローカル環境において進行しているアクティビティを検出するステップと、
リモートビューアの関心を示す属性に関して、前記ビデオ画像において検出されたアクティビティを特徴付けするステップと、
特徴付けされたアクティビティ及び定義されたローカルユーザの許可に応じて、容認可能なビデオ画像が利用可能であるか否かを判定するステップと、
リモートビューアが前記リモートビューイングシステムを視聴することにおいて参加しているかに関する示唆を受信するステップと、
リモートビューアが前記リモートビューイングシステムを視聴することにおいて参加している場合に前記リモートビューイングシステムに容認可能なビデオコンテンツを供給するステップと、
を含むことを特徴とする方法。
【請求項２８】
ビデオ通信システムを使用してリモートビューアにビデオ画像を供給する方法であって、
リモートビューイング環境におけるリモートビューイングシステムに通信ネットワークにより接続されるローカル環境におけるビデオ通信システムを動作させるステップと、前記ビデオ通信システムは、ビデオ捕捉装置、イメージディスプレイ、ビデオ分析コンポーネントを有するコンピュータを有しており、
前記ビデオ捕捉装置を使用して前記ローカル環境のビデオ画像を捕捉するステップと、
捕捉されたビデオ画像を前記ビデオ分析コンポーネントを使用して分析し、前記ローカル環境におけるアクティビティを検出するステップと、
リモートビューアの関心を示す属性に関して前記ビデオ画像において検出されたアクティビティを特徴付けるステップと、
特徴付けされたアクティビティ及び定義されたローカルユーザの許可に応じて、容認可能なビデオ画像が利用可能であるかを判定するステップと、
ビューアが前記リモートビューイングシステムを視聴することに参加しているかの示唆を受信するステップと、
前記ビューアが前記リモートビューイングシステムを視聴することに参加していない場合に前記容認可能なビデオ画像を記録するステップと、
を含むことを特徴とする方法。
【請求項２９】
前記ビューアが前記リモートビューイングシステムを視聴することに参加していることの示唆が受信されたとき、記録されたビデオ画像を前記リモートビューイングシステムに送信するステップを更に含む、
請求項２８記載の方法。
【請求項３０】
前記リモートビューアの関心は、前記リモートビューア環境及び前記リモートビューア自身のビデオ画像を使用して決定され、前記ビデオ画像は、前記リモートビューイングクライアントにより分析され、アイデンティティ、アクティビティ、注意力、又はリモートビューアの関心を示す情緒反応を含むビューアの属性が決定される、
請求項２８記載の方法。
【請求項３１】
前記リモートビューアの関心は、前記ビューアに関する意味的なデータを使用して決定される、前記意味的なデータは、カレンダーのデータ、前記リモートビューアと前記ローカルユーザとの関係を示すデータ、或いは、視聴の挙動又は視聴の好みを示す履歴データを含む、
請求項２８記載の方法。
【請求項３２】
前記リモートビューアの関心は、利用可能な記録されたビデオ画像に対して前記リモートビューイングクライアントにより優先付けされ、前記利用可能な記録されたビデオ画像は、優先付けされたビューアの関心に基づいて視聴のためにリモートビューアに提供される、
請求項２８記載の方法。
【請求項３３】
ビデオ通信システムを使用してリモートビューアにビデオ画像を供給する方法であって、
リモートビューイング環境におけるリモートビューイングクライアントに通信ネットワークにより接続されるローカル環境におけるビデオ通信クライアントを有するビデオ通信システムを動作させるステップと、前記ビデオ通信クライアントは、ビデオ捕捉装置、イメージディスプレイ、及びビデオ分析コンポーネントを有するコンピュータを有しており、
通信のイベントの間に前記ビデオ捕捉装置を使用して前記ローカル環境のビデオ画像を捕捉するステップと、
捕捉されたビデオ画像を前記ビデオ分析コンポーネントにより分析し、前記ローカル環境において進行しているアクティビティを検出するステップと、
前記リモートビューアが参加している場合に、前記進行しているアクティビティの容認可能なビデオ画像を前記リモートビューイングクライアントに送信するステップ、又は前記リモートビューアが離脱している場合に、前記ローカルビデオ通信のクライアントのメモリ又は前記リモートビューイングクライアントのメモリに、容認可能なビデオ画像を記録するステップと、
を含むことを特徴とする方法。
【請求項３４】
前記ローカルユーザの許可は、前記記録されたビデオ画像が前記ローカルビデオ通信クライアントのメモリ又は前記リモートビューイングクライアントのメモリに記録される、
請求項３３記載の方法。
【請求項３５】
前記リモートビューアのステータスの参加又は離脱としての決定は、前記ローカルビデオ通信クライアント又は前記リモートビューイングクライアントの何れかで行われる、
請求項３３記載の方法。
【請求項３６】
ローカル環境のビデオ画像を捕捉するビデオ捕捉装置を含むローカルビデオ通信クライアントと、
通信ネットワークにより前記ローカルビデオ通信クライアントに接続されるリモートビューイング環境におけるリモートビューイングクライアントと、
前記ビデオ通信クライアントを制御するコンピュータと、
前記コンピュータに接続されるメモリシステムであって、前記ローカル環境のビデオ画像を前記ビデオ捕捉装置を使用して捕捉し、捕捉されたビデオ画像を分析して前記ローカル環境におけるアクティビティを検出し、リモートビューアの関心を示す属性に関して前記ビデオ画像において検出されたアクティビティを特徴付け、特徴付けられたアクティビティと定義されたローカルユーザの許可に応じて、容認可能なビデオ画像が利用可能であるかを判定し、前記リモートビューイングクライアントが参加しているか又は離脱しているかの示唆を受信し、前記リモートビューイングクライアントが参加している場合に、容認可能なビデオ画像を前記リモートビューイングクライアントに供給するか、又は前記リモートビューイングクライアントが離脱している場合に、容認可能なビデオ画像をメモリに記憶し、前記リモートビューイングクライアントが参加していることの示唆が受信されたときに、記録されたビデオ画像を前記リモートビューイングクライアントに供給する指示を記憶するメモリシステムと、
を備えるビデオ通信システム。
【請求項３７】
前記ビデオ通信クライアントは、１以上の環境センサを更に含み、
前記１以上の環境センサのうちの１つは、動き検出器、光検出器、赤外線検出器、生体電気検出センサ、近接センサ又はマイクロフォンである、
請求項３６記載のシステム。
【請求項３８】
ビデオ捕捉装置は、前記捕捉されたビデオ画像の視野を変更するために制御可能なパン、チルト、又はズーム機能を有する、
請求項３６記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２以上の位置間でのリアルタイムのビデオ通信リンクを提供するビデオ通信システムに関するものであり、より詳細には、ローカル環境におけるアクティビティを検出及び特徴付けし、次いで、特徴付けされた画像の受容性及びリモートビューイングシステムのユーザのステータスの両者に依存して、遠隔地におけるライブ視聴又は時間シフトされた視聴の何れかのため、ビデオ画像を送信又は記憶する自動化された方法に関する。
【背景技術】
【０００２】
現在、ビデオ通信は、ウェブカム、携帯電話、電話会議、或いは、パーシャルソリューション又はニッチマーケットのソリューションを提供するテレプレゼンスシステムを含む様々な例によれば、依然として急を要する分野である。
【０００３】
第一の実用的なテレビ電話システムは、1964年のニューヨーク世界博覧会でベル研究所により提示された。その後、AT&Tは、Picturephoneというブランド名で様々な形態でこのシステムを商品化した。しかし、Picturephoneは、非常に制限された商業的成功であった。低解像度、カラー画像形成のなさ、及び乏しい音声と映像の同期を含む技術的課題は、パフォーマンスに影響を与え、興味を引くことを制限した。さらに、Picturephoneは、参加者のポートレートフォーマットの画像を基本として、非常に制限された視野を画像形成するものであった。これは、Picturephoneカメラの制限された捕捉の視野においてユーザを位置合わせする手段を記載する、W.Reaによる米国特許第3495908号から良好に理解することができる。従って、画像は、僅かな背景の情報と共に捕捉されるか、又は背景の情報なしで捕捉される。さらに、Picturephoneのユーザのプライバシーを保持する唯一の適応は、ビデオ伝送をオフにするオプションであった。
【０００４】
より知られていない代替として、“Media  spaces”は、展望を示す別の例示的なビデオ通信技術である。“Media  space”は、公称で、２つの位置間での「常時オン」又は「ほぼ常時オン」のビデオ接続である。メディアスペースの第一の係る例は、米国カリフォルニア州Palo  AltoにあるXerox  Palo  Alto  Research  Centerで1980年に開発され、オフィス間の常時オンであるリアルタイムの音声及び映像接続を提供した（書籍“Media  Space:  20+  years  of  Mediated  Life”,  Ed.  Steve  Harris,  Springer-Verlag,  London,  2009を参照されたい）。
【０００５】
関連する例として、文献“The  Video  Window  System  in  Informal  Communications”Proceedings  of  the  1990  ACM  conference  on  Computer-Supported  Cooperative  WorkにおいてRobert  S.  Fish,  Robert  E.  Kraut及びBarbara  L.  Chalfonteにより記載される“Video  Window”は、職場の同僚間での非公式の協働コミュニケーションを働きかける試みとして、大型スクリーンをもつ全二重のテレビ会議を提供している。係るシステムは、会議室の設定に比較して非公式の通信を可能にするが、これらのシステムは、住居環境における個人向けではなく、仕事向けに開発されており、住居の事項及び状況を想定していない。
【０００６】
また、Video  Windowにおける接続は、相互の関係を表しており、これは、あるクライアントが送信している場合、他のクライアントも送信し、あるクライアントが接続を絶った場合、他のクライアントも接続を絶つことを意味する。相互の関係が仕事の環境で望まれる一方、家庭環境間の通信について望まれない。特に、それぞれの家族にそれら自身の空間及び送出されるビデオマテリアルに対する完全な制御を与えるように、それぞれのユーザが、それらの側が捕捉及び送信しているときを判定するのを可能にすることが望まれる。また、Video  Windowは、大型テレビサイズのディスプレイを利用している。係るディスプレイサイズが家庭にとって適切であるかが問題である。
【０００７】
別の関連するメディアスペースの例は、Marilyn  M.  Mantei等による文献“Experience  in  the  Use  of  a  Media  Space”Proceedings  of  the  1991  ACM  Conference  on  Human  Factors  in  Computing  Systemsに記載される“CAVECAT”（Computer  Audio  Video  Enhanced  Collaboration  And  Telepresence）である。CAVECATによれば、共働者は、メディアスペースのクライアントを動作させ、次いで、同様にメディアスペースを動作させている他の共働者のオフィスを覗き込むことができる。全ての接続されたオフィスからのビデオは、グリッドで示される。従って、システムは、複数の位置間でライブの映像を共有するために表面上は設計される。これは、複数の家族間で接続して映像を共有する家庭用の設定と対照的である。代わりに、家族は、別の１つの家とのみ接続するのを望む場合がある。また、CAVECATは、人々のグループとは対照的に固定された位置におけるオフィス内の個人を捕捉することが意図される。係るように、システムは、一人のユーザの近いビューを提供するために設定され、システムを移動するのを許容しない。また、このシステムは、色の共通の領域に配置された場合、複数の人物がビデオ通信システムを使用しているか又はビデオ通信システムにさらされる家庭での設定とは対照的である。同様に、家族は、どのようなアクティビティを遠隔地にいる家族と共有するのを望むかに依存して、ビデオ通信クライアントを物理的に移動するのを望む場合がある。
【０００８】
研究者達は、概して、仕事場での設定から家庭での設定にメディア空間の概念の変換を追及することができていない。家庭向けのメディアスペースは、プライバシーの問題及びネットワーク帯域幅の問題に関連する制約がこの応用において制限された関心を有することを前提として、距離を通して家族と接続する大きな潜在能力を有する。結果として、研究は、代わりに、例えばデジタルピクチャフレームに組み込まれたステータスインジケータ、遠隔地の家における存在を示すためにオンにされるランプといった、抽象化された表現を使用して、アクティビティ及び健康の認識を提供することができる家族に接続する他のツールで、注意を向けさせている。
【０００９】
この必要最低限度の研究にも係らず、多くの人々は、現在、距離が離れた家族と接続するためのビデオ通信システムの方を向いている。これは、Skype,  Google  Talk又はWindows  Live  Messageのようなビデオ通信チャネルを提供するインスタントメッセージシステムの現在の使用により証明される。従って、変化するユーザの年齢及びスキルレベルを関して、ユーザのプライバシー及び使用の容易さを含めて、家庭に固有の特別の問題について最適化されたビデオ通信システムを開発することが有利である。同様に、ユーザ又は視聴者の存在に関して、ビデオ通信の間に捕捉されるユーザアクティビティの可変の範囲、関与するローカルユーザの数及び同一性、又は通信イベントの間のユーザのアクティビティの変化する性質の全てがシステム設計に影響を及ぼす可能性がある。
【００１０】
住環境においてテストされる１つの例示的なプロトタイプのメディアスペースは、Carman  Neustaedter及びSaul  Greenbergによる文献“The  Design  of  a  Context  Aware  Home  Media  Space  for  Balancing  Privacy  and  Awareness”Proceedings  of  the  Fifth  International  Conference  on  Ubiquitous  Computing  (2003)に記載されている。このシステムは、在宅勤務者とオフィス内の同僚との間の通信を容易にするシステムの使用を記載するので、仕事に重点を置いている。著者は、個人のプライバシーの問題は、オフィスに基づいたメディアスペースについてよりも家庭のユーザにとって問題であることを認識している。プライバシーの拡大する状況は、システムがオンであることを家庭のユーザが忘れているとき、又は他の個人が、ホームオフィスにあるシステムの視野に油断して歩き回るときに生じる可能性がある。記載されるシステムは、スケジューリングされたホームオフィスの位置、人のカウント、物理的な制御及びジェスチャの認識、並びに、ビジュアル及びオーディオのフィードバックメカニズムを含む様々な方法を使用して、これらのリスクを低減する。しかし、このシステムは家に位置される一方、居住者による個人の通信が意図されていない。係るように、このシステムは、１以上の個人のプライバシーの維持においてこれらの個人を支援する一方、１以上の個人の個人的なアクティビティに適合することができる居住の通信システムを表現しない。
【００１１】
ビデオを記録し、後の時点でこれを再生する機能をもつ様々なシステムは、開発されている。例として、W3システム（Where  Were  We）は、Scott  L.  Minneman  and  Steve  R.  Harrison  による文献“Where  Were  We:  making  and  using  near-synchronous,  pre-narrative  video”Proceedings  of  the  1993  ACM  International  Conference  on  Multimedにおいて記載される。W3システムのコンポーネントは、Chiu等による米国特許第6239801号、Moram等による米国特許第5717879号、Goldberg等による米国特許第5692213号において記載される。W3システムは、映像と音声の両者を使用して、個人間の会話とホワイトボードの手書きのメモを含む、会議のアクティビティを記録する。これらは、記録された内容において指標を形成するユーザインタフェースを通した明示的なアクションと同様に、ホワイトボードの手書きのような明示的なユーザアクションを含む。会議の参加者は、次いで、指標を使用して、リアルタイムで会議の間に何が以前に記録されたかを検討することができる。再生及び検討は、システムに接続された任意の数のコンピュータで行われる。このシステムは、メディアスペースに概念的に類似しているが、このシステムは、一般的に言えば、延長された時間（例えば全日）にわたり継続するビデオ会議システム又はメディアスペースではなく、短時間（例えば75分未満）の会議向けに設計されている。また、W3は、全てのコンテンツが記録に値することを想定している。
【００１２】
別の例として、“Video  Traces”と呼ばれるシステムは、Michel  Nunes等による文献“What  Did  Miss?  Visualizing  the  Past  through  Video  Traces”Proceedings  of  the  2007  European  Conference  on  Computer  Supported  Cooperative  Workに記載されている。Video  Tracesは、常時オンのカメラからの映像を記録し、それを後の検討のために可視化する。画素の列は、それぞれのビデオフレームから採取され、隣接するビデオフレームからの列と連結される。時間が経つにつれて（例えば時間、日、週等）、長期にわたり画素列が構築され、生じている過去のアクティビティの外観を提供する。ユーザは、ビデオを検討するために、このビデオのタイムラインと対話する。タイムライン内の画素の列をクリックすると、現時点で記録されたフルビデオが再生される。このシステムは、大量のビデオデータを可視化して、ユーザにその迅速な検討を可能にする１つの方法を提示する。連結された画素の列は、記録されたビデオの高水準の外観を提供する。さらに、このシステムは、２つのサイト又はクライアント間のネットワーク化されたサポートを提供せす、これにより、このシステムは、スタンドアロンクライアントとなり、ビデオ通信システムではない。従って、このシステムを使用して、複数の接続されたクライアントから記録されたビデオを検討することは可能ではない。また、全てのコンテンツは、アクティビティが画像形成された領域で生じているか否かに係らず、記録に値することが想定され、時系列で表示される。家庭環境内のビデオ通信システム又はメディアスペースは、必ずしも、送信及び／又は記録すべき関連するビデオ又は興味のあるビデオを常に含まない。さらに、不要なビデオを送信又は記録することは、ネットワークの帯域幅に更なる制約を課す。
【００１３】
これまで、ビデオの記録及び管理を時間的に管理する家庭内の使用向けのメディアスペースの例は未だない。このタイプのシステムを時間シフトされたメディアスペース又は時間シフトされたビデオ通信システムと呼ぶ。それは、このシステムがシステムにより記録されたビデオを視聴する時間をユーザがシフトするのを可能にするからである。家庭向けの時間シフトされたメディアスペース又はビデオ通信システムは、全ての家族のメンバのプライバシーの問題、システムが捕捉する（又は捕捉しない）アクティビティ、及び遠隔地にいる視聴者の可用性（又は可用性のなさ）と同様に、家庭におけるシステムの配置に特定の注意を払う必要がある。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
要約すれば、社会的、技術的及び個人的に選択された家庭の設定から、ビデオ通信のための実時間の台本のないイベントのビデオ捕捉のシステムの配置が必要とされており、未だ達成されていないままである。特に、古典的なメディアスペースと同様に、多くの一般に利用可能なビデオ通信システムによる問題点は、家庭のルーチン及び家庭環境において容易に適合するために設計されていないことである。すなわち、これらの多くの一般に利用可能なビデオ通信システムは、家族が該システムに家庭で機能するのを必要とする状況及び環境に対処することができない。むしろ、これらの設計は、家庭で容易にアクセス可能な位置に配置されるか又は配置されないデスクトップコンピュータについて一般に設計される仕事の環境から移される。また、これらの設計は、家族のメンバにコンピュータにログオンするか又は通信を開始する前にアプリケーションを起動することを要求する。従来のメディアスペース及びビデオ通信のソリューションは、一般に、アクティビティ又はユーザの存在に係らず、全てのコンテンツをブロードキャスト又はストリーミングしている。総合すれば、これらの要件は、毎日の通信のために係る技術を開始及び使用することを家族にとって非常に困難にする。従って、家族は、使用が容易であってエントリ及び使用のための少ない障壁を提供する、容易にアクセス可能なビデオ通信システムから利益を得る。
【課題を解決するための手段】
【００１５】
本願発明は、ビデオ通信システムを使用してリモートビューアにビデオ画像を供給する方法を提示するものであり、当該方法は、以下のステップを含む。リモートビューイング（遠隔視）環境におけるリモートビューイングクライアントに通信ネットワークにより接続されるローカル環境におけるビデオ通信クライアントを含むビデオ通信システムを動作させるステップ。ビデオ通信クライアントは、ビデオ捕捉装置、イメージディスプレイ、及びビデオ分析コンポーネントを有するコンピュータを含む。通信イベントの間にビデオ捕捉装置を使用してローカル環境のビデオ画像を捕捉するステップ。捕捉されたビデオ画像をビデオ分析コンポーネントで分析して、ローカル環境において進行しているアクティビティを検出するステップ。リモートビューアの関心を示す属性に関して、ビデオ画像において検出されたアクティビティを特徴付けるステップ。特徴付けされたアクティビティ及び定義されたローカルのユーザ許可に応じて、容認可能なビデオ画像が利用可能であるかを判定するステップ。リモートビューイングクライアントが参加しているか又は離脱であるかに関する示唆を受信するステップ。リモートビューイングクライアントが参加している場合、リモートビューイングクライアントに進行しているアクティビティの容認可能なビデオ画像を送信し、リモートビューイングクライアントが参加していない場合、容認可能なビデオ画像をメモリに記憶し、リモートビューイングクライアントが参加したことの示唆が受信された後の時間で、リモートビューイングクライアントに記録されたビデオ画像を送信するステップ。
【００１６】
本発明は、どのような他のアクティビティが家庭環境において進行しているかに依存して、ユーザがビデオ通信システムに参加又は離脱している家庭環境においてビデオ通信システムを使用するためのソリューションを提供するという利点を有する。  
本発明は、リモートユーザがビデオ画像の視聴に参加していないとき、ビデオ画像は後の視聴のために記録されないという更なる利点を有する。  
本発明は、ユーザの好みの設定を指定して所望のプライバシーのルールを実現するための、送信者と受信者の両者のためのメカニズムを提供するという更なる利点を有する。
【図面の簡単な説明】
【００１７】
【図１】ネットワークを通してローカル環境とリモート環境との間で接続されるビデオ通信クライアント装置を有する、ビデオ通信システムを示す全体システムを例示する図である。
【図２】ローカル環境において動作しているビデオ通信クライアントを例示する図である。
【図３Ａ】ビデオ通信クライアント装置の動作の特徴を例示する図である。
【図３Ｂ】ビデオ通信クライアント装置の１実施の形態の動作の特徴を更に詳細に例示する図である。
【図４】本発明の方法に係るビデオ通信システムの動作方法を例示するフローチャートである。
【図５】対応する所望の結果と共に、ビデオ通信システムで遭遇する様々な状態の例を与える表である。
【図６】関連するビデオの動作状態及びビデオの動作状態を判定するための関連する確率と共に、カメラにより捕捉されるイベント又はアクティビティの時系列を例示する図である。
【発明を実施するための形態】
【００１８】
本発明は、本明細書で記載される実施の形態の組み合わせを含む。「特定の実施の形態」等に対する参照は、本発明の少なくとも１つの実施の形態で存在する特徴を示す。「実施の形態」又は「特定の実施の形態」等に対する個別の参照は、必ずしも同じ実施の形態を示すものではないが、係る実施の形態は、特に断りがないか又は当業者にとって容易に明らかでない限り、相互に排他するものではない。「方法」又は「複数の方法」の参照における単数又は複数の使用は、限定するものではない。文脈により明示的に示されないか又は要求されない限り、単語「又は“or”」は、排他するものではない意味でこの開示において使用されることに留意されたい。
【００１９】
家族は、特に距離により離れているときに、接続された状態にある現実の必要及び願望を有する。例えば、家族は、異なる街に住んでいるか、更には異なる国に住んでいる場合がある。この距離の障壁は、最愛の人と通信したり、最愛の人を見たり、又はアクティビティを共有するのを非常に困難にする可能性がある。これは、人は、互いに物理的に近くないためである。典型的に、家族は、電話、電子メール、インスタントメッセージ又はテレビ会議のような技術を使用することで、この距離の障壁を克服する。全てのこれらのうち、ビデオは、人の好適な対話モードである向かい合わせの状況に最も類似した設定を提供する技術である。係るように、ビデオは、AT&TのPicturephoneの原型にまで遡り、距離の離れた家族のための潜在的な通信ツールとして考えられる。
【００２０】
本発明は、ネットワーク化されたビデオ通信システム（図１参照）を提供する。このネットワーク化されたビデオ通信システムは、ビデオ通信クライアント３００又は３０５（図３Ａ及び図３Ｂを参照）を利用し、このビデオ通信クライアントは、画像捕捉装置１２０を使用してビデオ画像を捕捉し、ビデオ管理プロセス５００（図４参照）を使用して、１以上のビデオシーン６２０（図２及び図６参照）を有するライブのビデオ通信イベント又は記録されたビデオ通信イベント６００の間に、それらのアクティビティに参加したユーザ１０のビデオ画像を提供する。特に、本発明は、家庭での使用向けに特に設計された常時オン（殆ど常時オン）のビデオ通信システム又はメディアスペースのソリューションを提供する。それぞれの場所で、システムは、デジタルピクチャフレーム又は情報機器のような専用装置において実行され、ビデオ通信に接続される家の任意の位置に装置を配置するのを容易にする。また、システムは、ラップトップコンピュータ又はデジタルテレビジョンのような多目的装置の機能として提供することもできる。何れのケースであっても、ビデオ通信システムは、シングルボタンの押下で、この装置にアクセス可能であり、家庭からライブビデオの捕捉及びブロードキャストを取り囲んでいるプライバシーの問題を軽減する機能を更に提供する。また、本システムは、家族のメンバにより望まれる場合、延長された時間（時間又は日）を通してビデオを捕捉及びブロードキャストするために設計される。従って、システムは、仕事場のメディアスペースと同種の常時オンにされるか、又は殆ど常時オンにされる。これにより、遠隔地の家族は、子供の遊び又は食事の時間のような典型的な毎日のアクティビティを視聴し、分散された家族を心配するのを良好に支援する。また、システムは、典型的な電話の使用と類似したやり方で、目的のある実時間のビデオ通信向けに使用することができるが、このメディアスペースシステムの非公式な拡張された動作は、電話の使用に典型的なモードである。
【００２１】
本発明は、特に延長された時間について使用されるときといった、家庭環境に対するメディアスペースの概念を適合させることについて、幾つかの課題が存在するという認識により開発される。
【００２２】
第一に、帯域幅が依然として問題である。延長された時間について連続して２以上の家間でビデオをブロードキャストすることは、多くのネットワークの帯域幅を必要とし、遅延の問題を被る可能性がある。従って、家庭向けの係るメディアスペースの潜在的な利点をなお提供しつつ、送信されるビデオの量を低減することが望まれる。従って、本発明の１つの可能な機能として、ユーザのアクティビティ及び居住のメディアスペース又はビデオ通信システムの前の存在を感知する技術が提供される。次いで、このシステムは、その動作の設定を調整する。
【００２３】
第二に、捕捉及び送信されたコンテンツを視聴する個人又は家族のメンバは、常に存在するわけではなく又は常に該コンテンツを利用可能なわけではなく、従って彼等の視聴に関連する視聴のコンテンツを容易に失う可能性があることが認識される。たとえば、彼等は、その日の間に異なる時間で家にあるか、又はビデオ通信システムの使用に揃わない異なる時間ゾーンで生活する場合がある。従って、本発明は、見逃す場合があるコンテンツを記録し、次いで、視聴者が望むか又はビデオ通信システムの前に存在するときに再生を可能にする方法を提供する。さらに、この方法は、遠隔地のシステム又は視聴者（参加又は離脱）の決定された状態に基づいて、ユーザ（視聴者）の存在及び可用性を判定するすることに依存して、記録及び再生制御を調節する。従って、本発明のビデオ通信システムは、ビデオ管理プロセスを利用して、ライブモード（現在のアクティビティの進行しているビデオを提供）及び時間シフトモード（コンテンツは、前もって記録されており、ユーザがそれを視聴するために利用可能なときに再生される）という、捕捉及び記録の２つのモードを提供する。係るように、本発明のメディアスペース又はビデオ通信のクライアントは、延長された時間について連続して動作され、ローカルメディアスペース又はビデオ通信のクライアントでのリアルタイムのイベント（アクティビティ）のビデオの実際の送信又は記録は、遠隔的にリンクされたメディアスペース又はビデオ通信クライアントに関するステータスの決定と同様に、アクティビティの感知及び特徴付けの組み合わせに依存する。
【００２４】
これは、図１のブロック図により良好に理解され、図１は、ローカルの場所３６２に位置されるローカルのビデオ通信クライアント３００（又はメディアスペースクライアント）と、遠隔地３６４に位置される類似の遠隔のビデオ通信クライアント３０５（又はメディアスペースクライアント又はリモートビューイングクライアント）とを有するネットワーク化されたビデオ通信システム２９０（又はメディアスペース）の１実施の形態を示す。例示された実施の形態では、ビデオ通信システム３００及び３０５のそれぞれは、ローカルサイト３６２でのローカルユーザ１０ａ（視聴者／被写体）と遠隔地３６４でのリモートユーザ１０ｂ（視聴者／被写体）との間の通信向けの電子画像形成装置１００を有する。また、それぞれのビデオ通信クライアント３００及び３０５は、ハンドシェイクプロトコル、プライバシープロトコル及び帯域幅の制約を受けて、通信ネットワーク３６０にわたりビデオ画像の捕捉、処理、送信又は受信を管理するため、コンピュータ３４０（中央処理装置（CPU））、画像処理プロセッサ３２０及びシステムコントローラ３３０を有する。通信コントローラ３５５は、一方の場所から他の場所に画像及び他のデータを送信するための、有線又は無線ネットワークチャネルのような通信チャネルへのインタフェースとして機能する。通信ネットワーク３６０は、ローカルサイト３６２及び遠隔地３６４を接続するとき、リモートサーバ（図示せず）によりサポートされる。
【００２５】
図１に示されるように、それぞれの電子画像形成装置１００は、ディスプレイ１１０、１以上の画像捕捉装置１２０、及び１以上の環境センサ１３０を含む。コンピュータ３４０は、ディスプレイドライバ及び画像捕捉制御機能を提供する、イメージプロセッサ３２０及びシステムコントローラ３３０の制御を調整する。イメージプロセッサ３２０、システムコントローラ３３０又はその両者は、コンピュータ３４０に統合される。ビデオ通信クライアント３００のコンピュータ３４０は、名目上、ローカルサイト３６２に配置されるが、その機能の幾つかの部分が、ネットワーク化されたビデオ通信システム２９０（例えばサービスプロバイダ）内のリモートサーバに遠隔的に配置されるか、又はリモートサイト３６４にあるリモートビデオ通信クライアント３０５に配置される。本発明の１実施の形態では、システムコントローラ３３０は、カメラの視野角、フォーカス又は他の画像捕捉の特性を制御するコマンドを画像捕捉装置１２０に提供する。
【００２６】
図１のネットワーク化されたメディアスペース又はビデオ通信システム２９０は、特にある居住の位置から別の位置へといった、テレビ会議又はテレビ電話を有利にもサポートする。１以上のビデオシーンを含むビデオ通信イベントの間、ローカルサイト３６２にあるビデオ通信クライアント３００は、ローカルビデオ及びオーディオ信号をリモートサイト３６４に送信し、リモートビデオ及びオーディオ信号をリモートサイト３６４から受信する。期待されるように、ローカルサイト３６２にあるローカルユーザ１０ａは、ディスプレイ１１０にローカルに表示される画像として、（リモートサイト３６４に位置される）リモートユーザ１０ｂを見ることができ、人間の対話性を向上する。イメージプロセッサ３２０は、ローカルサイト３６２での画像捕捉の品質を改善し、ローカルディスプレイ１１０で表示される画像の品質を改善し、（データ圧縮、暗号化等による）遠隔通信のためのデータの処理を含めて、双方向通信を容易にする多数の機能を提供する。
【００２７】
図１は、特定の実施の形態に係るコンポーネントの一般的な構成を例示する。他の構成もまた、本発明の範囲において使用される。例えば、画像捕捉装置１２０及びディスプレイ１１０は、ビデオ通信クライアント３００又は３０５の統合の一部として、フレーム（図示せず）のような１つの筐体に組み立てられる。また、この装置の筐体は、イメージプロセッサ３２０、通信コントローラ３５５、コンピュータ３４０又はシステムコントローラ３３０のような、ビデオ通信クライアント３００又は３０５の他のコンポーネントを含む。
【００２８】
図２は、ローカルサイトでの彼／彼女のローカル環境４１５におけるローカルビデオ通信クライアント３００を動作するユーザ１０を示す。この例となる説明では、ユーザ１０は、１以上のビデオシーン６２０の間又は通信イベント６００における時間イベントの間で行われる、台所における行動に従事している。ユーザ１０は、周辺光２００により照明されており、この周辺光は、家の構造に搭載されるローカルビデオ通信クライアント３００と相互作用する、赤外線（IR）源１３５からの赤外光を任意に含むことができる。ビデオ通信クライアント３００は、画像捕捉装置１２０及びマイクロフォン１４４（何れも図示せず）を利用して、ユーザ１０に一般に向けられる破線により示される、角度幅（全角度θ）からの画像の視野（FOV）４２０、及びオーディオ視野４３０からのデータを取得する。
【００２９】
次いで、図３Ａ及び図３Ｂは、ビデオ通信クライアント３００又は３０５の実施の形態の更なる詳細を示す。それぞれのビデオ通信クライアント３００又は３０５は、電子画像形成装置１００、画像捕捉装置１２０、コンピュータ３４０、メモリ３４５、及び様々なやり方で結合又は統合される画像分析コンポーネント３８０を含む様々な他のコンポーネントを含む装置である。図３Ａは、特に、画像捕捉装置１２０、及びディスプレイスクリーン１１５を有する画像表示装置（ディスプレイ１１０）を含むように示される電子画像形成装置１００の構築に応じて拡張される。コンピュータ３４０は、システムコントローラ３３０、メモリ３４５（データストレージ）、及び通信ネットワーク３６０との通信のために通信コントローラ３５５と共に、電子画像形成装置１００の筐体１４６に組み立てられるか、又は代替的に、個別に配置され、電子画像形成装置１００に無線で接続されるか又は配線を介して接続される。また、電子画像形成装置１００は、少なくとも１つのマイクロフォン１４４及び少なくとも１つのスピーカ１２５（オーディオエミッタ）を含む。ディスプレイ１１０は、スプリットスクリーン画像１６０がスクリーン１１５の一部に表示することができるように、ピクチャインピクチャの表示機能を有する。スプリットスクリーン画像１６０は、パーシャルスクリーンイメージ又はピクチャ−イン−ピクチャ画像と呼ばれる。
【００３０】
ディスプレイ１１０は、液晶ディスプレイ（LCD）デバイス、有機発光ダイオード（OLED）デバイス、CRT、投影型ディスプレイ、光誘導型ディスプレイ、このタスクに適した任意の他のタイプの電子画像表示装置である。ディスプレイスクリーン１１５のサイズは、必ずしも制約されないが、ラップトップサイズのスクリーン又はこれより小型のスクリーンから、大きなファミリールームのディスプレイまで、少なくとも変動する。複数のネットワーク化されたディスプレイスクリーン１１５又はビデオ通信クライアント３００は、居住環境又はローカル環境４１５において使用される。
【００３１】
電子画像形成装置１００は、様々な環境センサ１３０、動き検出器１４２、光検出器１４０又は赤外線（IR）感知カメラのような他のコンポーネントを、電子画像形成装置１００の筐体１４６において統合することができる個別の装置として含む。光検出器１４０は、周辺の可視光（λ）又は赤外光を検出する。また、光感知機能は、個別の専用の周辺光検出器１４０を有することなしに、画像捕捉装置１２０によりダイレクトにサポートされる。
【００３２】
それぞれの画像捕捉装置１２０は、名目上、ビデオ画像と同様に、静止画像を捕捉する、画像形成レンズ及びイメージセンサ（図示せず）を有する、電子的又はデジタルカメラである。イメージセンサは、当該技術分野で一般に使用されているCCD又はCMOS装置である。画像捕捉装置１２０は、画像の視野（FOV）からの画像の捕捉を変更又は制御するため、自動又は手動の光学的又は電子的なパン、チルト又はズーム機能により、調節可能である。画像の視野４２０にオーバラップして、又は画像の視野にオーバラップすることなしに、複数の画像捕捉装置１２０を使用することもできる。これらの画像捕捉装置１２０は、図３Ａに示されるように、筐体１４６に統合することができるか、又は図３Ｂに示されるように外部に位置される。画像捕捉装置１２０が筐体１４６に統合される場合、画像捕捉装置は、ディスプレイスクリーン１１５の周りに位置されるか、ディスプレイスクリーン１１５の背後に組み込まれる。組み込まれたカメラは、スクリーン自身を通してユーザ１０とローカル環境４１５の画像を捕捉し、これにより、ユーザと視聴者との間のアイコンタクトの知覚が改善される。
【００３３】
画像捕捉装置１２０及びマイクロフォン１４４は、個別の専用の動き検出器１４２を有することなしに、動き検出機能をサポートする。また、図３Ａは、電子画像形成装置１００が筐体１４６に統合されるユーザインタフェースコントロール１９０を有することを例示する。これらのユーザインタフェースコントロール１９０は、ボタン、ダイアル、タッチスクリーン、ワイヤレスコントロール、又はこれらの組み合わせ、或いは他のインタフェースコンポーネントを使用する。
【００３４】
図３Ａ及び図３Ｂは、ビデオ通信クライアント３００が、コンピュータ３４０に接続されるオーディオプロセッサ３２５に接続されるマイクロフォン１４４及びスピーカ１２５を含むオーディオシステム３１５を備えることを例示する。オーディオシステムプロセッサ３２５は、全方向マイクロフォン又は方向性マイクロフォン或いは、コンピュータ３４０により使用される信号にオーディオシステムプロセッサ３２５により変換することができるフォーマットに音のエネルギーを変換する機能を実行する他の装置に接続される。また、オーディオシステムプロセッサは、他のオーディオ通信コンポーネント及び音声通信分野で当業者にとって知られている他のサポートコンポーネントを含むこともできる。スピーカ１２５は、スピーカ、又は、オーディオプロセッサにより生成される信号に応答して音のエネルギーを生成可能な任意の形式の既知の装置を備え、他のオーディオ通信コンポーネント及びオーディオ通信分野で当業者に知られている他のサポートコンポーネントを含むことができる。オーディオシステムプロセッサ３２５は、コンピュータ３４０からの信号を受信し、これらの信号を、必要に応じて、スピーカ１２５に音を発生させる信号に変換する。マイクロフォン１４４、スピーカ１２５、オーディオシステムプロセッサ３２５又はコンピュータ３４０の何れか又は全部は、増幅、フィルタリング、変調又は任意の既知の改善を含めて、捕捉されたオーディオ信号、又は放出されたオーディオ信号の改善を提供するため、単独で使用されるか、組み合わせて使用される。
【００３５】
図３Ｂは、ビデオ通信クライアント３００のシステムエレクトロニクスの部分の設計に応じて拡張される。この中の１つのサブシステムは、画像捕捉装置１２０及びイメージプロセッサ３２０を含む画像捕捉システム３１０である。別のサブシステムは、マイクロフォン１２５、スピーカ１２５、及びオーディオシステムプロセッサ３２５を含むオーディオシステム３１５である。コンピュータ３４０は、破線により示されるように、画像捕捉システム３１０、イメージプロセッサ３２０、オーディオシステムプロセッサ３２５、システムコントローラ３３０、及びビデオ分析コンポーネント３８０にリンクされる。第二の環境センサ１３０は、コンピュータ３４０によりサポートされるか、又は必要に応じてそれら自身専用のデータプロセッサ（図示せず）によりサポートされる。破線は、ビデオ通信クライアント３００における様々な他の重要な相互接続（有線又は無線）を示す一方、相互接続の例示は、単なる代表的なものであって、様々な電力リード線、内部信号及びデータパスをサポートするため、図示されない様々な相互接続が必要とされる。メモリ３４５は、ランダムアクセスメモリ（RAM）装置、コンピュータハードドライブ又はフラッシュドライブを含む１以上の装置であり、ストリーミングビデオの複数のビデオフレームの系列を保持して、進行しているビデオ画像データの分析及び調整をサポートするフレームバッファ３４７を含む。また、コンピュータ３４０は、ユーザインタフェースにアクセスするか又はユーザインタフェースにリンクされ、ユーザインタフェースは、ユーザインタフェースコントロール１９０を含む。ユーザインタフェースは、キーボード、ジョイスティック、マウス、タッチスクリーン、プッシュボタン、又はグラフィカルユーザインタフェースを含む多くのコンポーネントを含む。また、スクリーン１１５は、タッチスクリーンの機能を有し、ユーザインタフェースコントロール１９０としての役割を果たす。
【００３６】
画像捕捉装置１２０から捕捉されているビデオコンテンツは、ビデオ分析コンテンツ３８０により連続して分析され、ビデオ通信クライアント３００が送信又は記録のためにビデオを処理すべきかを判定するか、又は代替的に、フレームバッファ３４７からビデオが消失するのを可能にする。同様に、他のリモートビデオ通信クライアント３０５（図１）から受信されている信号又はビデオは、ビデオ分析コンポーネント３８０により連続して分析され、ローカルに捕捉されたビデオが即座に送信されるべきか又は後の送信及び再生のために記録されるべきかを判定し、リモートクライアントから受信されたビデオがローカルに再生されるか又は後の視聴のために保存されるかを判定する。ローカルビデオ通信クライアント３００で捕捉されたビデオは、ローカル通信クライアント３００又はリモートビデオ通信クライアント３０５の何れかで記録又は記憶できることに留意されたい。
【００３７】
図４は、リアルタイムのビデオストリームで生じている時間イベントが、（送信又は記録といった）利用されるべき通信イベント６０であるか又はビデオシーン６２０であるか、或いは（フレームバッファ３４７から削除される）省略すべき非イベント又は非インタラクティブ性であるかを判定するため、ビデオ通信クライアント３００により使用されるオペレーショナルビデオ管理プロセス５００の１実施の形態を示す。ビデオ管理プロセス５００は、アクティビティを検出（又は定量化）するために進行しているビデオ捕捉のビデオ分析を含み、続いて検出されたアクティビティが（ビデオ送信又はビデオ記録にとって）容認可能であるか否かを判定するビデオ特徴付けを含む。ビデオ管理プロセス５００のビデオ分析は、捕捉されたビデオを分析する１以上のアルゴリズム又はプログラムを含むビデオ分析コンポーネント３８０により提供される。例えば、図３Ｂに示されるように、ビデオ分析コンポーネント３８０は、動き分析コンポーネント３８２、ビデオコンテンツ特徴付けコンポーネント３８４、及びビデオセグメント化コンポーネント３８６を含む。ビデオコンテンツは、図４の受容性テスト５２０当たり容認可能であると見なされる場合、一連の判定ステップは、リモートビデオ通信クライアント３０５（又はリモートビューイングクライアント）でのユーザ１０が参加している（進行しているアクティビティのライブビデオを視聴するために利用可能）か、参加していない（ライブビデオを視聴するために利用可能ではない）と考えられるかを判定することが後に行われる。前者の場合、ビデオはライブでリモートビデオ通信クライアント３０５に送信される（ライブビデオを送信するステップ５５０を参照）。後者の場合、一連のステップ（ビデオを記録するステップ５５５、記録されたビデオを特徴付けするステップ５６０、プライバシーの制約を適用するステップ５６５、ビデオ処理ステップ５７０、及び記録されたビデオを送信するステップ５７５）は、時間シフトされた視聴のために送信前に、ビデオを記録、特徴付け及び処理することに従う。
【００３８】
ビデオ管理プロセス５００に関して更に詳細には、ビデオ分析コンポーネント３８０は、アクティビティを検出するステップ５１０を使用してビデオ通信クライアント３００の前でのアクティビティをはじめに検出して、ビデオを捕捉するステップ５０５で捕捉されたビデオを分析する。ビデオ分析コンポーネント５１０は、フレームバッファ３４７を通して送出される、画像捕捉装置１２０により収集され、イメージプロセッサ３２０により処理されたビデオデータに特に依存する。アクティビティは、現在のフレームと前のフレームとの間で生じるイメージ差（image  difference）を探すためのビデオフレームの比較を含めて、当該技術分野で知られている様々な画像処理及び分析技術を使用して、アクティビティを検出するステップ５１０により感知される。相当な変化が存在する場合、アクティビティが生じていると可能性が高い。アクティビティのレベルは、関与している参加者（ユーザ又は動物）の数と同様に、速度（m/s）、加速度（m/s2）、範囲（メートル）、幾何形状又は領域（m2）、又は方向（半径方向又は幾何学的な座標）を含む様々な特性に関連する基準を使用して定量的に測定される。最も簡単には、ビデオを捕捉することができる、何かが生じているかを示すために所定の量の検出されたアクティビティが必要とされる。別の例として、簡単な動き又はアクティビティの分析は、シーン変化を識別し、一般的に移動している非動物のオブジェクトの動きに典型的な動きの基準から生物の存在を示す基準を提供する。例えば、人間の存在を検出するため、動きの頻度の分析が使用される。
【００３９】
上述されたように、ビデオ通信クアイアント３００は、赤外線動き検出器、生体電気検出センサ、マイクロフォン１４４、又は近接センサを含めて、他の環境センサ１３０から収集されたデータを使用する。赤外動き検出器の場合、赤外線の場における動きが検出される場合、アクティビティが生じている可能性が高い。動き分析コンポーネント３８２がビデオ動き分析プログラム又はアルゴリズムを含むことができる一方、必要に応じて、（オーディオ、近接性、超音波、又は生体電気を含む）他のタイプの感知されたデータを使用する他の動き分析技術を提供することができる。使用される様々な環境センサ及びこれらのセンサが収集するデータのタイプに依存して、ビデオ通信クライアント３００は、潜在的な関心のある時間イベントが、イベントがビデオストリームで目に見えるようになる前に生じることの予備の認識又は警告を受ける。これらの警告は、ビデオ通信クライアント３００を、ビデオ分析アルゴリズムがより積極的に使用される高いモニタリング又は分析の状態にトリガする。代替的に、これらの他のタイプの感知されたデータは、潜在的なビデオイベントが現実に生じている受容性を提供するために分析される。例えば、P.Fry  et  alによる“Detection  of  animate  or  ianimate  objects”と題された米国特許出願第12/406186で記載されるように、生体電気センサ及びカメラからの信号は、非動物（生きていない）オブジェクトからの動物（生きている）オブジェクトの存在を識別するために連帯して使用される。潜在的に、ビデオ通信クライアント３００は、そのイベントのアクティビティが利用可能となる前の時点から、所与の通信イベント６００のオーディオを送信又は記録することができる。
【００４０】
しかし、一般に、ひとたびビデオ通信クライアント３００がオンにされると、ビデオ分析コンポーネント３８０は、ビデオを捕捉するステップ５０５を使用して、ビデオを捕捉し続け、その間、アクティビティを検出するステップ５１０を使用してビデオストリームにおけるアクティビティを検出しようとする。アクティビティが検出された場合、ビデオ分析コンポーネント３８０は、捕捉されたビデオコンテンツが送信されるか又は記録されるか或いはその両者が行われるために容認可能であるかを判定するため、ビデオコンテンツの特徴付けコンポーネント３８４のアルゴリズム又はプログラムを使用してアクティビティを特徴付けするステップ５１５を適用する。これらのアルゴリズム又はプログラムは、例えば顔検出、頭部形状又は皮膚領域の検出、目の検出、体形の検出、衣服の検出、又は関節の肢の検出に基づいて、ビデオコンテンツを特徴付けする。好ましくは、ビデオコンテンツの特徴付けコンポーネント３８４は、他の偶発的な動き又はアクティビティからビデオにおける動物又は人物（ユーザ１０）の存在を判定し、次いで、動物の存在から人物の存在を区別することができる。人物が存在する場合、ビデオコンテンツの特徴付けコンポーネント３８４は、（食事、ジャンプ、又は拍手のような）アクティビティタイプにより進行しているアクティビティを特徴付けするか、或いは、顔又は音声認識アルゴリズムを使用して人間の同一性を判定する。さらに、ビデオコンテンツ特徴付けコンポーネント３９４は、動き分析コンポーネント３８２と協働して、アクティビティレベルが変化しているときを判定するため、アクティビティレベルを定量的に分析する。
【００４１】
例えば、ビデオコンテンツ特徴付けコンポーネント３８４内の目又は顔の検出アルゴリズムを使用して、ビデオ分析コンポーネント３８０は、ある人物が画像捕捉装置１２０により捕捉されたシーンにあるかを判定する。ある人物の頭部の姿勢がサイドに向いたか又は人物の頭部が不明確な場合、顔の検出は、ある人物がビデオシーンにあるかを正確に判定することが不可能であり、頭部の形状又は体形の検出のようなアルゴリズムが判定を与えることができる。代替的に、動き追跡、又は関節の肢に基づいた動き分析、又は、顔が検出された最後の既知の時間を使用する確率追跡アルゴリズムは、確率分析法と共に、それらの頭部の姿勢が変化したときでさえ（これは、顔又は目の検出を更に困難にする場合がある）、ある人物がビデオスクリーンにあることを判定することができる。
【００４２】
ひとたびアクティビティがアクティビティを検出ステップ５１０によりビデオ画像において検出され、次いでアクティビティを特徴付けするステップ５１５により特徴付けされると、ビデオ通信クライアント３００は、ビデオコンテンツが受容性テスト５２０を使用してビデオ送信又は記録のために容認可能であるかを次に判定する。受容性は、ビデオ通信クライアント３００のローカルユーザ、又はリモートビューアにより提供されたユーザの好みの設定により決定される。典型的に、これらのユーザの好みの設定は、ユーザインタフェース制御１９０を介してユーザ１０により前に確定される。デフォルトの好みの設定を提供することもでき、これらがローカルユーザ又はリモートユーザにより上書きされない限りビデオ通信クライアント３００により使用される。
【００４３】
一般に、ローカルユーザ及びリモートユーザの両者は、彼等自身のビデオ通信クライアント３００に関して送信又は受信するため、彼等が受容性であると考えるビデオコンテンツのタイプを判定することができる。すなわち、ユーザ１０は、リモートビデオ通信クライアント３０５と共有されるビデオ通信クライアント３０５により送信するために、彼等が許容可能であると考えるビデオコンテンツのタイプを判定し、他のビデオ通信クライアント３０５から受信するために、彼等が容認可能であると考えるビデオのタイプを判定する。一般に、ローカルユーザの好みの設定又は許可は、特定のリモートユーザがそれを視聴するのを望むか否かに係らず、それらのローカルサイトから送信されるためにどのようなコンテンツが利用可能であるかの判定における優先度を有する。しかし、リモートユーザは、リモートビデオ通信クライアント３０５に利用可能なコンテンツを受け入れるかの判定において優先度を有する。ユーザ１０が好み又は許可の設定を提供することができない場合、デフォルトの好みの設定を使用することができる。
【００４４】
受容性は、個人の好み、文化的又は宗教的な影響、アクティビティのタイプ、又は日時を含む様々な属性に依存する。送出されるコンテンツの受容性は、誰が受信者であるか、又はコンテンツがライブで送信されるか又は時間シフトされた視聴のために記録されるかに依存する。例えば、ユーザは、人物のビデオ、ペットのビデオ、或いは、送信又は記録されるように光における変化をもつビデオのような１以上のタイプのビデオコンテンツを選択することができる。例えば、光における変化をもつビデオは、世俗的なものであると考えられ、カメラが窓を含む領域又は窓の近くの領域を捕捉する場合に外の天気における変化を示し、又は、夜に眠ろうとしているのを示すか、朝に目を覚まそうとしていることを示す家における人為的な光の使用における変化を示す。受容性は、例えば一般的な受容性（4）のような中間のランキングをもつ、最も高い受容性（10）から全く容認できない受容性（1）までといった、関連付けされたランキングで定義される。次いで、この情報は、利用可能なビデオのタイプを示すため、リモートビデオ通信クライアント３０５に送信される。他の特徴付けデータ、特に、（人、動物、同一性又はアクティビティのタイプを含む）アクティビティ又は関連する属性を記述する意味データを供給することもできる。ユーザ１０は、必要に応じて、ビデオ通信クライアント３００の使用の間に、このリストを更新することもできる。任意の更新は、何れか又は全部の専用のリモートビデオ通信クライアント３０５とビデオ分析コンポーネント３８０に送信され、次いで、容認可能なコンテンツを選択する新たな好みの設定を使用することができる。
【００４５】
受容性テスト５２０は、捕捉されたビデオコンテンツに現れるアクティビティ又はその属性を特徴付けすることで得られた結果又は値を、ビデオ通信クライアント３００及び３０５のローカル又はリモートユーザにより供給されたような、係る属性又はアクティビティの予め決定された容認可能なコンテンツに比較することで動作する。アクティビティが許容可能でない場合、ビデオは、それぞれのリモートビデオ通信クライアント３０５に実時間で送信されず、将来の送信及び再生のために記録されない。この場合、ビデオを削除するステップ５２５は、フレームバッファ３４７からビデオを削除する。次いで、進行しているビデオ捕捉及びモニタリング（ビデオを捕捉するステップ５０５及びアクティビティを検出するステップ５１０）が継続する。任意の代替として、ローカルユーザの好みは、ローカル使用のためにビデオを記録するステップ５５７を開始し、このステップの間、ローカル環境におけるアクティビティの容認可能なビデオ画像は、結果として得られる記録されたビデオがリモートサイト３６４に送信されているか否かに係らず、自動的に記録される。この結果として得られる記録されたビデオは、プライバシーの制約に従って特徴付けされ、送信のために記録された時間シフトされたビデオに類似したやり方で処理される。
【００４６】
しかし、アクティビティが容認可能であると受容性テスト５２０が判定した場合、リモートステータスを判定するステップ５２０を使用して、ユーザのビデオ通信クライアント３００に現在接続されているビデオ分析コンポーネント３０５（又はリモートビューイングクライアント）のステータスを判定する。図４の例示的な実施の形態は、リモートステータスを判定するステップ５３０を、リモートビデオ通信クライアント３０５又はリモートユーザ１０のステータスを参加“engage”又は離脱“disengage”として判定するため、一連のテスト（リモートシステムのオンテスト５３５、リモートビューアの存在テスト５４０、及びリモートビューアの視聴テスト５４５）を実行するものとして示している。ビデオ通信クライアント３００は、通信ネットワーク３６０に接続されている他のリモートビデオ通信クライアント３０５の一部又は全部に、現在の進行しているライブのビデオコンテンツが利用可能であることを通知する。次いで、リモートビデオ通信クライアント３０５は、リモートサイト３６４での視聴状態を判定し、様々なステータスインジケータを、ローカルの、コンテンツを発しているビデオ通信クライアント３００に送信する。リモートステータスを判定するステップ５３０は、何れか受信されたステータスインジケータの重要性を評価するために様々なテストを実行する。
【００４７】
リモートシステムのオンテスト５３５は、リモートシステムが「オン（作動）」状態にあるか又は「オフ（非作動）」状態にあるかを判定する。最も簡単には、リモートビデオ通信クライアント３０５がオフである場合、「離脱」状態が生成され、この状態は、ローカルサイトでビデオ記録するビデオを記録するステップ５５５をトリガする。ローカルビデオクライアント３０５が通信ネットワーク３６０を通して複数のリモートビデオ通信クライアント３０５と同時に対話している場合、混合されたステータスインジケータは、同じビデオシーン６２０のライブビデオ送信及び時間シフトされたビデオ記録の両者が行われる。
【００４８】
リモートビデオ通信クライアント３０５がオンであるとリモートシステムのオンテスト５３５が判定したとき、より多くのリモートステータス情報が必要とされる。つぎに、１以上のリモートユーザがリモートビデオ通信クライアント３０５のサイトに存在するかを判定するため、リモートビューアの存在テスト５４０が使用される。例えば、リモートビューアの存在テスト５４０は、音声感知、動き感知、体形、頭部姿勢、又は顔認識アルゴリズムを適用して、リモートユーザが存在しているかを判定する。最も簡単には、リモートビデオ通信クライアント３０５の前に誰も存在しない場合、「離脱」のステータスインジケータが生成され、このステータスインジケータは、ローカルサイト３６２でビデオを記録するビデオを記録するステップ５５５をトリガする。
【００４９】
潜在的なユーザ１０のちょっとした存在は、ユーザの利用可能性を示さない。これは、ユーザの注意が、ローカルビデオ通信クライアント３００から到来するビデオを視聴するために利用可能ではない場合があるためである。リモートビューアの視聴テスト５４５は、この問題を解決するのを試みる。１つのアプローチとして、リモートビデオ通信クライアント３０５は、ディスプレイ１１０の前にあるユーザ１０の視線を監視することで、１以上のリモートビューアがそれらのディスプレイ１１０を実際に見ているときを判定することで、リモートビューアの注意力を評価することができる。また、リモートビデオ通信クライアント３０５は、顔認識アルゴリズムを使用してリモートビューアが視聴しているかを推定し、顔が認識された場合、人物の顔がディスプレイ１１０の完全な視界にあり、ユーザ１０がディスプレイ１１０を視聴している高い可能性がある。同様に、リモートユーザ１０が（例えばユーザインタフェース１９０上のボタンを押下することで）リモートビデオ通信クライアント３０５と現在対話している場合、ビデオ通信クライアント３００は、ユーザがディスプレイ１１０を見ている高い可能性により解決する。係る場合には、リモートビューアの視聴テスト５４５は、「参加」のステータスインジケータを提供し、このステータスインジケータは、ローカルサイト３６２からのビデオ送信を可能にする、ライブビデオを送信するステップ５５０をトリガする。リモートビューアの視聴テスト５４５が「離脱」のステータスインジケータを提供した場合、ビデオを記録するステップ５５５は、ローカルサイトでビデオを記録するためにトリガされる。
【００５０】
勿論、ローカルビデオ通信クライアント３００から通信ネットワーク３６０にわたり送信されたライブのビデオコンテンツを視聴する以外の目的で、ディスプレイを見ているリモートユーザが存在することも可能である。従って、リモートビデオ通信クライアント３０５は、リモートユーザの警告するステップ５５２を介して、リアルタイムコンテンツが１以上のネットワーク化されたビデオ通信クライアント３００から利用可能であることを示す警告（音声又は映像）をリモートユーザに供給することができる。動物又は人、又はアクティビティタイプの存在のようなアクティビティを記述する意味的なメタデータは、リモートユーザがビデオの視聴に関心があるかを判定するのを支援するため、リモートユーザに供給することもできる。この意味的なデータは、リモート通信クライアント３０５が視聴可能なコンテンツをビューアのアイデンティティに自動的にリンクし、コンテンツを特定の関心のある潜在的なビューアに提供するのを支援する。リアルタイムのビデオ画像は、ビューアの関心が誘発されるのを確かめるために短時間の間に供給される。リモートユーザ１０は、ビデオを見るための位置に着き、この位置で、リモートビューアの視聴テスト５４５は、「参加」のステータスを提供することができ、ローカルビデオ通信クライアント３００は、ライブビデオを送信するステップ５５０を作動する。代替的に、ユーザインタフェース制御１９０を使用して、リモートユーザは、１以上のネットワーク化されたリモートビデオ通信クライアント３０５から実時間のビデオコンテンツを視聴する意思を示すことができる。この意思、又はその意思のなさは、ステータスインジケータ信号として、リモートビューアの視聴テスト５４５に供給される。
【００５１】
リモートビューアの視聴テスト５４５が、参加しているリモートビューアが存在すると判定した場合、ライブビデオを送信するステップ５５０を使用して、ライブビデオの送信が開始される。しかし、リモートビデオ通信クライアント３０５又はリモートユーザ１０の状態が離脱として決定されたとき、ビデオを記録するステップ５５５によりビデオの記録が行われる。ひとたびビデオが記録されると、記録されたビデオを特徴付けするステップ５６０により、記録されたビデオは、意味的に特徴付けされる。例えば、記録されたビデオを特徴付けするステップ５６０は、ビデオコンテンツの特徴付けコンポーネント３８４を利用して、アクティビティ（アクティビティのタイプ）及び捕捉されたユーザ又は動物を識別する。記録されたビデオを特徴付け５６０は、通信イベント６００の記録されたビデオの適切な期間を判定するため、ビデオ分割コンポーネント３８６を使用した時間分割を含む。さらに、プライバシーの制約が参照され、プライバシーの制約を適用するステップ５６５により適用される。記録されたビデオは、特徴付け及びプライバシーの制約に従って、ビデオを処理するステップ５７０を使用して任意に処理される。例えば、記録されたビデオは、短い長さにされ、再構成され、又は難読化フィルタにより修正される。次いで、記録されたビデオを送信するステップ５７５は、（アクティビティ、関与する人、期間、日時、位置等のような）ビデオを記述する付随するメタデータと共に、記録されたビデオを承認されたリモートビデオ通信クライアント３０５に送信する。記録されたビデオは、ビデオの長さがある閾値を超える場合の送信の前に、ビデオ通信クライアント３００により複数のビデオクリップの分割される。分割は、データ送信の適切なビデオの長さと、ビデオ分析コンポーネント３８０により検出されたアクティビティにおける変化との組み合わせに基づいて行われる。ライブビデオの送信又は時間シフトされた視聴のためのビデオ記録は、送信又は記録のための条件がもはや満たされないときに停止する。次いで、ローカルビデオ通信クライアント３００は、ビデオを捕捉するステップ５０５及びアクティビティを検出するステップ５１０に戻る。
【００５２】
このように、例示的なビデオ管理プロセス５００は、一連のステップ及びテストを利用して、利用可能なビデオコンテンツをどのように管理するかを判定する。図５は、様々な条件の別のビューがライブビデオの送信、時間シフトされた視聴のためのビデオ記録、又はビデオの削除（すなわち送信及び記録されない）につながることを示す表を例示する。第一の例（第一の行）では、受容性テスト５２０は、特徴付けされたビデオコンテンツの属性と決定されたビデオコンテンツの属性に関連するユーザの好みとの比較を使用して、利用可能なビデオコンテンツが送信のために容認可能ではない（例えばランキング1）ことを判定する。結果として、リモートビューア又はリモートクライアントのステータスに係らず、ビデオコンテンツは送信又は記録されない。
【００５３】
第二の例（図５における表の第二の行）では、受容性のテスト５２０は、利用可能なビデオコンテンツが容認可能なコンテンツを有するが、一般的又は不確かな関心（例えばランキング3-5）であると考えられると判定する。例えば、一般的なコンテンツは、猫のみからなるビデオを含む場合がある。この例では、リモートシステムのオンテスト５３５は、リモートビデオ通信クライアント３０５がオンであると判定し、リモートビューアの存在テスト５４０がリモートユーザ１０が存在すると判定する。リモートユーザ１０が一般的又は最低限の関心のコンテンツを視聴する意思である場合、視聴者は参加していると考えられ、（ライブビデオを送信するステップ５５０により）進行している一般的なアクティビティのライブビデオのコンテンツが送信される。他方で、リモートビューアがライブビデオとして一般的なコンテンツを見ることに関心がない場合、「離脱された」分類は、一般的なコンテンツの容認可能性の分類を有するビデオが記録されるべきではないことをユーザの好みの設定が示さない限り、ビデオを記録するステップ５５５を開始する。その場合、進行しているビデオ記録又は送信は、一般的なビデオを削除するステップ５２６により停止される。
【００５４】
第三の例（図５における表の第三の行）では、受容性テスト５２０は、利用可能なビデオコンテンツが、ビデオを非常に容認可能（例えばランキング6又はそれ以上）であると分類するビデオ分析コンポーネント３８０により有効にされる、容認可能なコンテンツを有することを判定する。リモートステータスを判定するステップ５３０が離脱のステータス（リモートシステムがオフであるか又はリモートビューアが見ていないことを示す）を返した場合、ライブビデオは送信されないが、将来の時間シフトされた送信及び再生を見込んで記録される。
【００５５】
第四の例（図５における表の第四の行）では、受容性テスト５２０は、利用可能なビデオコンテンツが利用可能なコンテンツを有しており、第三の例におけるように、ビデオを非常に容認可能（例えばランキング6又はそれ以上）であるとして分離することを判定する。しかし、この場合、リモートステータスを判定するステップ５３０は、参加のステータスを戻す（リモートシステムがオンであり、リモートビューアが見ていることを示す）。従って、進行しているアクティビティの画像捕捉装置１２０により捕捉されたビデオは、送信され、ライブモードでリモートビデオ通信クライアント３０５で再生される。任意に、ビデオコンテンツは、（例えば、第二のリモートシステムが離脱していることが発見されたか、又はリモートビューアがライブビデオの送信とビデオ記録の両者を要求した場合といった）後の時間で時間シフトされた視聴のために記録される。
【００５６】
図５は、ビデオ送信、ビデオ記録又はコンテンツの削除を決定する幾つかの基本的な状況を例示しているが、状況は、動的とすることができ、現在のビデオの状態を変えることができる。特に、リモートビューアの関心は、ビデオの利用可能な警告に応答してユーザインタフェースの使用により又はリモートビューア環境のビデオ分析によりオリジナルに決定されたように、変えることができる。１つの例として、ユーザの存在なしにオンにされていたリモートビデオ通信クライアント３０５は、潜在的なビューが現在存在することの信号を送出する。この場合、リモートステータスをモニタするステップ５８０（図４）は、動的なシステム応答を容易にすることができる。例として、ローカルビデオ通信クライアント３００は、「進行中の」ビデオが利用可能であることを示す信号を供給する。音声又は映像の警告により有効にされる「進行中の」ビデオを提供するステップ５８５は、リモートビデオ通信クライアント３０５で見られるライブビデオのリモートユーザ１０への送信を提供するために使用される。リモートユーザがビューアとして「参加」になった場合、（ビデオを記録するステップ５５５を使用して）全体の通信イベント６００をなお記録することができるが、（ライブビデオを送信するステップ５５０を使用して）「進行中の」ビデオにおける進行中の部分が送信される。
【００５７】
代替的に、リモートユーザは、それらのリモート通信クライアント３０５でローカルビデオクライアント３００からのライブビデオを見始めるが、関心又は可用性を失う場合がある。リモートユーザがライブビデオ画像を見始めるが、ビデオイベントが終わる前に関心をそらしたか又は注意をそらした場合があることが懸念される場合、リモートユーザ１０は、ライブビデオの送信及びビデオ記録を同時に要求する。また、リモートユーザは、記録することなしにライブで送信していた「進行中の」イベントについて、ビデオ記録を開始することを要求する。
【００５８】
ビデオが時間シフトされた送信及び再生についてローカルに記録される場合、リモートビデオ通信クライアント３０５は、リモートユーザ１０による視聴のために記録されたビデオを受動的に提供するか又は能動的に提供する。例えば、受動モードでは、あるアイコンは、ビデオが視聴のために利用可能であることを示すことができる。次いで、リモートユーザは、このアイコンを選択し、このビデオコンテンツに関する（記録されたビデオを特徴付けするステップ５６０により決定されたように）詳細を知り、それを見ることを決定する場合がある。能動モードでは、オーカルビデオ通信クライアント３００は、リモートビデオ通信クライアント３０５がオンであり、リモートユーザが存在し、リモートビデオ通信クライアント３０５と相互作用していることを示す信号を受信する。この場合、リモートユーザは、時間シフトされたビデオの再生を開始するように促される。リモートユーザは、ユーザインタフェースコントロール１９０を使用して適切な選択を行うことで、その時間で再生するか、又は待って後にそれを見るかを選択する。代替的に、ユーザの好みの設定に依存して、リモートユーザが指定された時間長の間にリモートビデオ通信クライアント３０５の前に存在すると判定された場合、時間シフトされたビデオは、受動的な視聴の経験を提供するために自動的に再生される。
【００５９】
勿論、サムネイル又はキーフレーム画像、アイコン、オーディオトーン、短いビデオ、グラフィカルなビデオアクティビティの時系列、又はビデオアクティビティのリストを含めて、様々な警告の通知手段を使用することができる。警告の通知は、ライブ又は記録されたビデオを視聴する機会は、携帯電話、無線接続された装置又は他の接続された装置を通して伝達することができるので、リモートビデオ通信クライアント３０５への伝達において本質的に制限されない。
【００６０】
前の例では、ビデオを受信するクライアントは、ビデオを送出するクライアントからのビデオコンテンツが利用可能であることを潜在的なリモートビューアに受動的に警告するか又は能動的に警告する。代替的に、リモートビデオ通信クライアント３０５は、その後の視聴のために利用可能な記録されたビデオクリップ又はレコードのリストを示唆することができ、この場合、ビデオレコードのリストは、特定のイベント、パーティ、アクティビティ、関与する参加者、又は時間的情報を含めて、レコードのコンテクストに関連する意味的な情報により要約される。要約のリストは、イベント又はストーリのタイトル、意味的な記述、キーとなるビデオフレーム、又は短いビデオの抜粋を使用して、プレビュー及び選択のために提供される。次いで、リモートビューアは、視聴のために所望の予め記録された情報を選択する。その時、選択されたビデオイベントが送信される。代替的に、予め記録されたビデオの全体のリストが既に送信されている場合、選択されたマテリアルが視聴のために表示され、残りのマテリアルは、自動的にアーカイブされるか又は削除される。
【００６１】
別の実施の形態では、リモートビデオ通信クライアント３０５は、ローカルサイト３６２又はリモートサイト３６４で収集された様々な意味的な情報に基づいて、優先付けされたキュー又はレコードのリストを示唆する。リモートビューア又はローカルユーザに関する意味的な、文脈上の、他のタイプの情報は、ユーザインタフェース、適切なアルゴリズムを使用したビデオ及びオーディオ分析、又は他の方法を介して取得することができる。また、この意味的な情報は、リモートビューアの特性（アイデンティティ、性、年齢、人口統計データ）、リモートビューアとローカルユーザとの関係、心理学的な情報、カレンダーデータ（休日、誕生日、又は他のイベント）、所与のビデオが捕捉したアクティビティを視聴する受容性、に関するデータを含む。また、ビデオ通信クライアントは、視聴の挙動の履歴、視聴のために前に選択されたか又は定期的に選択されたビデオ捕捉されたマテリアルのタイプ、或いは他の基準をプロファイリングする意味的なデータを収集及び分析する。リモートビューアに関するこのタイプの情報は、２方向のビデオ通信の履歴の間に達成されるように、リモートビューアサイトでの相互の記録及び視聴に基づいてビデオクライアントにとって容易に利用可能とすることができる。
【００６２】
例えば、リモートビューアが祖母の孫を含む送信されたライブ又は記録されたビデオを好んで視聴するパターンを有する祖母である場合、リモートビデオ通信クライアントは、彼女の孫をそこに有する視聴のためにビデオクリップに優先付けして提供する。別の例として、リモートビューアが彼の息子が行っているのと同じＴＶでのスポーツのアクティビティを見るのを楽しむ父親である場合、リモートビデオクライアントは、スポーツのアクティビティと、同じスポーツアクティビティを見ている彼の息子の振興しているビデオの両者を視聴する機会を父親に提供する。また、システムは、視聴者に自動的に警告する。実時間の潜在的な関心のレコードが行われているので、実時間のビデオ通信が確立され、両方の当事者は、パーティ、ディナー又は映画の視聴のような同期を共有する体験を楽しむことができる。最後に、リモートビューアの感情的な応答は、例えばどのような特定のイベント、コンテンツ、又はユーザ及びビューアの関係が特定の関心であるかを認識し、これにより利用可能なビデオレコードが送信され、アーカイブされ、警告によりハイライト表示され、又は視聴のために優先付けされるように、顔表現認識のアルゴリズム、オーディオ分析方法又は他の方法を使用してリモートビデオクライアントにより記録することができる。
【００６３】
また、リモートユーザ１０は、ビデオクリップを選択してこれを再生することで、ユーザインタフェース制御１９０を通して予め記録されたビデオを評価することができる。記録されたビデオコンテンツを視聴するとき、ユーザは、ポーズ、ストップ、再生、早送り、又は巻き戻しのような様々な動作を行うことで、ビデオの再生を制御する。ユーザインタフェース制御１９０は、ビデオを供給したビデオ通信クライアント３００での所与の期間（例えば日、週、月等）を通したアクティビティのレベル、表示された期間内での１以上のビデオ通信イベント６００を有する記録されたビデオクリップの位置、及び、ユーザがライブ又は記録されたビデオを視聴している時間における特定のポイント、を表示するグラフィカルな時間記録を提示する。これにより、ユーザは、ビデオクリップが所与の期間内でどのようにフィットするかを理解することができる。ビデオコンテンツ特徴付けコンポーネント３８４により導出される値を使用して、時間記録のアクティビティレベルが決定される。
【００６４】
ローカルユーザ１０は、様々なメカニズムが、それらのプライバシーを維持して、それらのビデオ通信クライアント３００から利用可能にされたビデオコンテンツを制御するのを望むことが期待される。例えば、ユーザ１０は、ユーザインタフェース制御１９０を使用して、ビデオの捕捉、記録又は送信からそれらのビデオ通信クライアント３００を手動で停止する。この動作により、ライブのビデオ送信は、時間シフトされた再生のためのビデオ記録と同様に停止される。同様に、予め記録されたビデオは前に記述された基準に基づいてなお送信されるが、画像捕捉装置１２０がオフにされている間に、ビデオは捕捉又は送信されない。ユーザ１０は、時間シフトされた視聴のため、それらのローカルビデオ通信クライアント３００でビデオを記録を手動で開始し、停止することができる。従って、ライブビデオは、後の再生のために慎重に記録される。このように、必要に応じて、ユーザは記録を通して完全な制御を有し、遊んでいる子供又は第一歩を歩く子供のような特定のビデオのセグメントを記録することができる。次いで、これらは、ローカルビデオ通信クライアント３００により時間遅延された視聴のためにリモートビデオ通信クライアント３０５に送信される。
【００６５】
また、様々な他のプライバシーの特徴は、本発明のビデオ通信システム２９０により提供される。例えば、ユーザインタフェース制御１９０により、ユーザ１０は、プライバシーフィルタのレンジを選択するのを可能にし、ユーザのプライバシーのコントローラ３９０（図３Ｂ）により、慎重に、自由に適用されるか、又はコンテンツに依存して適用される。ユーザ１０は、どの位ビデオが不明瞭にされるか又はマスクされるかを決定する難読化の関連する値と共に、ぼやけのフィルタリング、画素化（pixelize）フィルタリング、実世界のウィンドウブラインド（real  world  window  blinds）に類似したプライバシーフィルタリング技術のような、多数のビデオ難読化フィルタから選択することで、ユーザインタフェース制御１９０においてこれらプライバシーの期待値を設定することができる。ぼやけフィルタリングの場合、当該技術分野で知られている画像処理技術は、畳込みカーネルを使用して画像をぼやけさせるために適用される。「ウィンドウブラインド」の場合、画素の行は、阻止され、人物が実世界のブラインドを持つウィンドウの一部を「阻止」するやり方に類似して送信されない。また、音声のみ、映像のみ、又は断続的な静止画像のような他のフィルタが選択されるか、カスタマイズすることもできる。また、難読化のプライバシーフィルタの適用は、人又は動物、アイデンティティ、アクティビティ、又は日時を含めて、ビデオコンテンツ又は意味的な要素に依存することもできる。同様に、プライバシーフィルタは、ライブビデオのみ、記録されたビデオ捕捉のみ、又はライブビデオの送信と記録されたビデオ捕捉の両者が許可される状況を判定することができる。ビデオが送信に適していると判定されるそれぞれの場合、ユーザプライバシーコントローラ３９０は、ビデオの送信の前に、プライバシーの制約をビデオに適用することができる。これは、ライブビデオを送信するステップ５５０（図４）及び記録されたビデオを送信するステップ５７５の両者について行われる。
【００６６】
また、ユーザ１０は、それらのユーザインタフェース制御１９０を使用して、プライバシーコントローラ３９０により管理される、それら時間シフトされた記録されたビデオの視聴について、プライバシーのオプションを特に設定することができる。例えば、ユーザ１０は、ユーザが接続されるそれぞれのリモートビデオ通信クライアント３０５についてこれらオプションを設定する。デフォルトの値は、ユーザ１０がこれらを更新することができるが、新たなリモートビデオ通信クライアント３０５に適用される。また、ユーザ１０は、記録されたコンテンツがどの位視聴することができるか、及び記録されたコンテンツの存続期間の両者を選択することができる。例えば、ユーザ１０は、潜在的に感度の高いアクティビティが繰返し見られるのを望まないため、プライバシーの理由のために一度だけ視聴することができる。対照的に、全員が同時にそれらのビデオ通信クライアント３００の周りにいない場合に複数の家族のメンバがビデオを見るように、ユーザは、ビデオが複数回見られるのを可能にするように選択される。データストレージスペースをコンピュータに保存するため、ユーザ１０は、記録されたビデオをそれらのコンピュータにどの位長く残すかを選択する場合がある。設定時間の後、記録されたビデオは、自動的に削除される場合がある。
【００６７】
ライブビデオとして伝達されるか又は記録されたビデオとして伝達されるかに係らず、所定の専用のユーザ１０によってのみの視聴に、幾つかのユーザ１０がそれらのコンテンツを視聴するのを制限するのを望むことが想定される。ユーザのアイデンティティは、顔認証、音声認証、又は他の生体測定の手掛かり、或いはパスワード又は電子鍵を含む様々な手段により検証される。
【００６８】
ローカルビデオ通信クライアント３００及び第二のネットワーク化されたリモートビデオ通信クライアント３０５を有する、図１に示されるビデオ通信システム２９０について、送信側及び受信側の役割は、何れかのクライアントがライブ又は時間シフトされたビデオの何れかを送出又は受信する点で、名目上相互関係を表すものである。また、上述されたように、ローカル環境４１５からのビデオコンテンツは、リモートサイト３６４でのリモートビデオ通信クライアント３０５によるものではなく、ローカルサイト３６２でのローカルビデオ通信クライアント３００により記録される。係るように、ローカルユーザ１０は、それらのコンテンツのプライバシーを良好に制御することができる。しかし、ローカルユーザ１０が、それら自身のローカルサイト３６２からのライブイベントのビデオ記録がローカルではなくリモートに行われるのを可能にする意思がある状況が存在する。従って、本発明の代替的な実施の形態では、第二のリモートサイト３６４でリモートビデオ通信クライアント３０５におけるメモリ３４５への第一のローカルサイト３６２からのビデオの記録が可能となる。係る例では、リモートステータスを決定するステップ５３０におけるテストは、リモートサイト３６４でのアクティビティのステータスインジケータを使用してリモートビデオ通信クライアント３０５で実行される。更に別の代替として、ビデオ管理プロセス５００が、リモートステータスを判定するステップ５００はリモートビデオ通信クライアント３０５で実行される状況で行われ、ビデオは、ローカルビデオ通信クライアント３００のメモリ３４５に最初に記録されることが理解される。以上のように、これら代替的な動作の実施の形態は、必ずしも相互関係を表すものではない。
【００６９】
様々な他のユーザの特徴を提供することができることに留意されたい。ローカルユーザ１０は、ライブ又は記録されたビデオの何れかを視聴するため、リモートユーザに警告するステップ５５２を使用して、リモートユーザの注意を得るために提供される警告に影響を及ぼすことができる。例えば、ローカルユーザ１０は、リモートユーザの注意を得るため、遠隔地で再生されるべき音を選択することが可能となる。それぞれビデオ通信クライアント３００でのユーザは、どのような音がこの機能にリンクされ、リモートユーザがそれらのビデオ通信クライアント３００における通知ボタンを押したときに再生されるかを選択することができる。ビデオがライブモードで送信されているとき、音声の通知は映像と共に実時間で再生される。ビデオが時間シフトモードの一部として記録されるとき、通知の音声は、映像と共に、これらが生じる同時のシーケンスで記録及び再生される。
【００７０】
ユーザインタフェース制御１９０の他のオプションとして、ビデオ通信クライアント３００は、スタイラスインタラクティブディスプレイのスタイラス、タッチセンシティブディスプレイのフィンガー、或いは標準のCRT，LCD又は投影型ディスプレイを使用したマウスのような、各種ユーザインタフェースのモダリティが設けられる。ユーザ１０は、これらの機能を使用して、リモートビューアのために手書きのメッセージ又は図を残すことができる。また、ユーザ１０は、メッセージを消去し、それらの書面の色を変えることができる。ライブモードにおいて、これらのメッセージは、実時間で送信される。時間シフトされたモードで、メッセージは、記録され、次いでそれらが描かれるとの同じ時間シーケンスで再生される。これにより、視聴者は、どの時点でメッセージが作成されたかを理解することができる。
【００７１】
また、ユーザ１０は、ボタンを押して保持することによるか、又は長い音声送信のためのオン／オフボタンを押すことによるような、１以上のインタラクションのモダリティを使用してビデオ通信クライアント３００間で音声を送信する任意のオーディオリンクをオンにすることができる。ビデオ通信クライアント３００がライブモードにある場合、音声が実時間で送信される。ビデオ通信クライアント３００が時間シフトモードにある場合、音声が映像と共に記録され、再生が行われるとき、オリジナルに捕捉されたのと同じ時間シーケンスで音声が再生される。
【００７２】
図６は、潜在的なビデオシーン６２０の系列を含む通信イベント６００に関する、メディアスペース又はビデオ通信クライアント３００の例示的な使用を示す。「イベント“Events”」とラベル付けされた図６の上の部分に示されるように、期間ｔ1〜ｔ8において一連の時間イベントが生じており、関連するビデオシーン６２０を有する。ビデオシーン６２０は、連続的であるが、必ずしも等しい期間ではない。通信イベント６００は、一連の連続的又は時間的に隣接するビデオシーン６２０を名目上有しており、このビデオシーンは、ライブビデオ、記録されたビデオ又はこれらの両者としてローカルユーザとリモートユーザとの間で共有される。「ビデオ“Video”」とラベル付けされた図６の中央の部分は、ビデオ通信クライアント３００が異なる時間イベント（期間及びビデオシーン６２０）と関連して提供する一連のビデオ捕捉アクションを例示する。この例では、ローカルユーザ１０ａは、人又は動物を含むライブ又は記録されたビデオの送信を可能にするユーザの好みの設定を調節しており、リモートユーザ１０ｂは、人を含むコンテンツであって、動物のみを含むコンテンツではないコンテンツを視聴するために彼の好みの設定を調節している。
【００７３】
期間ｔ1の間、ローカルサイト３６２でのローカルビデオ通信クライアント３００は、関連するビデオシーン６２０においてアクティビティが存在しないことを検出し、リモートサイト３６４でのリモートビデオ通信クライアント３０５にライブ又は記録されたビデオを送信しないことを選択する。従って、時間ｔ2に関連するビデオシーンについて捕捉されたビデオが送信又は記録される場合、期間ｔ2に近い期間ｔ1の一部が含まれるが、通信イベント６００は、期間ｔ1と関連するビデオシーン６２０を含まない可能性がある。任意に、ユーザは、ユーザの好みの設定を調節し、ローカルビデオ通信クライアント３００が偶発的な静止画像を送信すべきことを指定する。リモートユーザ１０ｂがそれらのリモートビデオ通信クライアント３０５の近くにあり、第一のネットワーク化されたリモートビデオ通信クライアント３０５の位置でのアクティビティのステータスを調べるため、該リモートビデオ通信クライアント３０５を見る場合がある。
【００７４】
期間ｔ2の間、ローカルビデオ通信クライアント３００のビデオ分析コンポーネント３８０によりアクティビティが検出され、人（ローカルユーザ１０ａ）ではなく動物１５が存在することが判定される。ローカルビデオ通信クライアント３００は、このビデオコンテンツを送信、記録又は削除することができるが、人が存在せず、且つリモートビデオ通信クライアント３０５が動物のみのコンテンツに関心がないため、このコンテンツは削除される（ビデオは送信されないか又は記録されない）。この例では、期間ｔ2に関連するビデオシーン６２０は、通信イベント６００の一部にならない。前述のように、偶発的な静止画像は、ユーザの好みの設定に依存して任意に送信される。
【００７５】
期間ｔ3の間、２人の子供（ローカルユーザ１０ａ）は、ローカル環境４１５及び画像捕捉装置１２０の視野４２０に入り、ローカルビデオ通信クライアント３００は、ビデオ分析コンポーネント３８０を使用して、このアクティビティを検出し、ビデオシーン６２０に２人が存在することを認識する。リモートビデオ通信クライアント３０５がオンであり、少なくとも１つのリモートユーザ１０ｂが存在し、リモートビデオ通信クライアント３０５を見ている場合（１以上のリモートユーザが参加している）、通信イベント６００が開始され、アクティビティのライブビデオが送信され、リモートサイト３６４で再生される。しかし、リモートクライアントがオンであるか、又は少なくとも１つのビューアが存在せず、見ていない場合、そのビデオは、後の送信及び再生のために記録される。
【００７６】
期間ｔ4の間、動物１５がビデオシーン６２０で現れる。動物と子供の両者がビデオコンテンツに存在する場合、動物のみがビデオコンテンツに存在し、一方で子供が音声においてなお検出される場合、又は動物のみが存在する場合を含めて、様々な状況が生じる可能性がある。例えば、第一の場合、通信イベント６００は、ビデオ送信又は記録を介して継続する。動物のみが存在する場合、ライブのビデオ送信又はビデオ記録は、時間の閾値が経過する前に、子供がビデオに再び現れないか又は別の人がビデオに現れることが明らかになるまで継続する。ライブのビデオ送信の場合、送信及び通信イベント６００は、ひとたび時間の閾値が経過すると終了する。勿論、記録されたビデオによれば、例えば子供が現れない場合、その後のビデオ分析（記録されたビデオを特徴付けるステップ５６０及びビデオ処理ステップ５７０）は、ビデオがリモートビデオ通信クライアント３０５に送信される前に、この前に記録された動物のみを含むビデオを除くことができる。子供が周辺の存在する（オーディオのみ）例示的な中間の場合、ビデオを継続する確率は、次第に減少する場合がある。しかし、（期間ｔ5における）子供の再出現により、連続するビデオストリームを提供することが好ましくなる。
【００７７】
図６の例に続いて、ｔ5とｔ6の期間の部分に及んでアクティビティにおける一時的な停止が生じており、この場合、ビデオ送信又は記録は停止し、通信イベント６００が終了する。しかし、大人（ローカルユーザ１０ａ）が期間ｔ6の間にシーンに入り、ビデオ送信又は記録が再開し、新たな通信イベント６００を潜在的に開始する。期間ｔ7の間、大人が離れ、アクティビティが検出されない時間の閾値の後、ローカルビデオ通信クライアント３００は、ビデオの送信又は記録を停止する（又は任意に偶発的な静止画像のみを送信することに戻る）。
【００７８】
次いで、期間ｔ8の間、笑顔が描かれている風船（オブジェクト４０）によりこの例では表される、潜在的に問題のあるコンテンツが捕捉されたビデオコンテンツに現れる。ローカルビデオ通信クライアント３００は、このコンテンツを送信又は記録すべきかを判定する必要がある。顔又は目の検出に基づいてビデオコンテンツの分析は、肯定的返答を「人が存在する」判定に誤って与え、組み合わせ分析又は確率分析のような他の技術は、シーンに人が実際に存在しないことを判定するために有効である。ビデオコンテンツの分析が人又は動物が存在しないと適切に判定すると仮定すると、アクティビティは、「その他」として分類され、ローカルビデオ通信クライアント３００は、ビデオを送信又は記録しない（しかし偶発的な静止画像を任意に送信する）。
【００７９】
先の説明で示したように、適切なビデオの応答の判定（送信、記録又は削除）は、台本にないライブイベントに存在する本質的な不確かさと同様に、ローカルユーザとリモートユーザの好みの設定の両者に依存する。「確率“Probability”」とラベル付けされた図６の下側の部分は、先に記載された一連の例示的なイベントに従ってビデオを送信又は記録する確率を表すビデオ分析コンポーネント３８０により決定された確率又は信頼値を示す。従って、ビデオ捕捉の確率が低い（ｔ1のような）期間が示され、ビデオ捕捉の確率が高い（ｔ3及びｔ5のような）他の期間が示される。また、ビデオ捕捉の確率が中間又は不確かな値である（ｔ2，ｔ4及びｔ8のような）期間が存在する。
【００８０】
前の説明において、ビデオ通信クライアント３００、及びそれらの画像捕捉装置１２０及びビデオ分析コンポーネント３８０は、ライブ又は記録されたビデオの何れかにおけるユーザのアクティビティを検出及び特徴付けするサポート機能を提供するため、動き分析コンポーネント３８２及びビデオコンテンツ特徴付けコンポーネント３８４に依存する動作プロセスに関して記載された。動き検出、アクティビティ検出及びアクティビティの特徴付けは、マイクロフォン１４４により収集されたオーディオ又は生体電気センサを含む他の二次的な環境センサ１３０からのデータを含む非ビデオデータを使用したが、ビデオ及び画像データの使用は、本願発明にとって興味深い。アクティビティを検出するステップ５１０の場合、時間的に近いか又は隣接するビデオフレームは、動き又はアクティビティを示すさを探すために互いに比較される。相対的なイメージ差の分析は、画像の相関及び相互の情報計算と同様に、前景と後景の分割技術を使用するものであり、実時間で動作するために十分にロバスト且つ迅速である。しかし、画像の特徴付け（例えばアクティビティを検出するステップ５１０又は記録されたビデオを特徴付けするステップ５６０）は、あるタイプの移動するオブジェクト又は生物を別のタイプの移動するオブジェクト又は生物から区別するための更なる技術又は知識を必要とする。アクティビティを検出するステップ５１０が実時間で生じる一方、記録された画像を特徴付けするステップ５６０は、時間シフトされた前もって記録されたビデオを特徴付けするために使用され、分析時間は、その場合には重要ではない。ビデオ通信クライアント３００により使用されるビデオ又は静止画像からのアクティビティを特徴付けする様々な方法は、頭部、顔又は目の検出分析、動き分析、体形の分析、パーソンインボックス（person-in-box）分析、IR画像形成又はその組み合わせを含む。
【００８１】
記載されたように、ビデオ通信クライアント３００及び３０５は、（例えばアクティビティを特徴付けするステップ５１５又は記録されたビデオを特徴付けするステップ５６０において）ライブ（進行している）又は記録されたビデオを特徴付けすること、ローカル又はリモートユーザに利用可能なビデオコンテンツを特徴付けること、及びビデオコンテンツに関するプライバシーの管理の判定を容易にすることを含めて、様々なやり方で意味データを利用する。ビデオ分析コンポーネント３８０は、主に、ビデオコンテンツを分析して、捕捉されたアクティビティに関連する適切な意味的なデータを判定する。この意味的なデータ又はメタデータは、生体又は非生体のオブジェクトの動き又はアクティビティを特徴付けする動き分析からの定量的な基準を含む。それぞれの通信イベント６００に関連するビデオ捕捉されたアクティビティの時間、日付及び期間は、意味的なメタデータとして供給されるか、アクティビティの時間記録に含まれる。また、意味的なデータは、（人、動物、アイデンティティ、又はアクティビティのタイプを含めて）アクティビティ又は関連される属性を特徴付け、（低い関心の平凡なコンテンツ、平凡な関心、又は高い関心を含む）受容性のランキング、又は確率分析の結果を含む。
【００８２】
意味的なデータとして供給することができる記述的な属性の例は、以下を含む。  
・人について、大人、子供、年齢、身長、性別、民族性、衣服スタイル。  
・動物について、（猫又は犬のような）種、品種、サイズ、色。  
・アクティビティについて、食事、料理、ゲームを行う、笑う、ジャンプする。
【００８３】
確かに、ビデオ分析コンポーネント３８０が画像を調べて人を発見したとき、顔又は頭部を対象とするアルゴリズムは、最優先の値を与えることがある。顔のモデルは、顔のポイント、ベクトル又はテンプレートにより記述される顔の特徴に鍵を掛ける。高速の顔検出プログラムをサポートする簡略化された顔モデルは、本発明の実施の形態にとって適している。実際に、多くの顔検出プログラムは、必ずしも人体定位サーチに依存することなしに、目、鼻及び口のような目立った顔の特徴を迅速にサーチすることができる。歴史的には、最初に提案された顔認識モデルは、“Pentland”モデルであり、M.Trurk及びA.Pentlandよる文献“Eigenfaces  for  Recognition”（Journal  of  Cognitive  Neuroscience,  Vol  3,  No.1.  71-86,1991）に記載されている。Pentlandモデルは、ダイレクトオン（direct-on）顔画像を評価することが意図される２次元モデルである。このモデルは、大部分の顔データを捨て、目、口及び幾つかの他の特徴がどこにあるかを示すデータを保持する。これらの特徴は、テクスチャ分析により探される。このデータから、顔をモデル化する（目、口、鼻のような）定義された顔ポイントのセットに関連する固有ベクトル（方向及び範囲）が抽出される。Pentlandモデルは正規化のための正確な目の位置を必要とするので、姿勢及び照明の変化に感度が高い。また、基本的な顔モデルは、例えばきめのある壁の表面のクロック又は部分を人気の（sought  after）顔の特徴として識別して、誤判定となる傾向がある。Pentlandモデルは機能するが、その限界に対処する新たなモデルにより大いに改善されている。
【００８４】
１つの係る例として、T.F.Cootes,  C.J.Tayler  ,  D,Cooper及びJ.Grahamによる文献“Active  Shape  Models  −  Their  Training  and  Application”（Computer  Vision  and  Image  Understanding  61,  pp.38-59,  Jan.  1995）に記載されるActive  Shape  Model（ASM）を使用することができる。顔に特化したASMは、82の顔の特徴点を含む顔モデルを提供する。定位された顔の特徴は、特定の特徴点間の距離、又は特定の特徴点のセットを接続する線により形成される角度、或いは顔の外観における変化を記述する基本的な成分に特徴点を投影する係数により特徴付けされる。これらのアーク長の特徴は、異なる顔のサイズにわたり正規化するために瞳孔間距離により分割される。この拡張されたActive  Shape  Modelは、照明における変動、及び推薦から１５°の姿勢の傾きに及ぶ姿勢の変動を扱うことができるので、Pentlandモデルよりもロバストである。他のオプションは、AAM（Active  Appearance  Model）及び３次元合成モデルを含む。AAMは、しわ、髪及び影のようなテクスチャデータを使用し、特に識別及び認識タスクについてロバストである。３次元合成モデルは、顔及び頭部をマッピングする３次元幾何学的形状を利用し、変化する姿勢の認識タスクにとって特に有効である。しかし、これらのモデルは、Pentland又はASMアプローチの何れかよりも目に付くほど計算が集中する。
【００８５】
また、人間の顔は、直接的な目の検出方法を使用して画像において定位される。１つの例として、A.L.Yulle,  P.W.Hallinan及びDavid  S.Cohen（International  Journal  of  Computer  Vision,  Vol.8,  pp.99-111,  1992）に記載されるような目に特化した変形可能なテンプレートを使用して目が定位される。変形可能なテンプレートは、一般化されたサイズ、形状及び目の感覚を特徴付ける。別の例示的な目に向けられるテンプレートは、目−鼻−目の幾何学的形状に関連する影−ハイライト−影のパターンについて画像をサーチする。しかし、単独の目の検出は、人又は他の生物を信頼性高く定位するために画像全体をサーチするために乏しい方法である。従って、目の検出方法は、人又は動物が存在するという予備的な分類を検証するため、他の特徴分析技術（例えば体、髪、頭部、顔検出）と組み合わせて最良に使用される。
【００８６】
以上のように、画像における人間又は動物を定位するロバスト性又は速度は、画像を分析して頭部又は人体の特徴を定位することで改善することができる。１つの例として、人間の顔は、名目上円形の人間の皮膚の領域について画像をサーチすることで定位される。例として、S.D.Cottonによる文献“Developing  a  predictive  model  of  human  skin  coloring”（Proc.  SPIE,  Vol.2708,  pages  814-825,  1996）は、人種的及び民族的に感度がない皮膚の色モデルを記載している。このタイプの皮膚の色モデルを使用して、画像は、全ての民族グループの皮膚のトーンに共通する色データについて分析され、これにより人種、民族又は挙動因子から統計的な混乱が低減される。この統計的な技術は高速である一方、髪に支配される姿勢を含めて頭部の姿勢における方向的な変動は、分析を複雑にする可能性がある。さらに、この技術は、動物に役立たない。
【００８７】
体形の画像分析の例として、D.Forsyth等による文献“Finding  People  and  Animals  by  Guided  Assembly”（Proceedings  of  the  Conference  on  Image  Processing,  Vol.3,  pp.5-8,  1997）は、基本的な幾何学的形状を使用する体制又はグループ化ルールに基づいて人及び動物を発見し、関節の形成を識別する方法を記載している。人体の画像は、一連の相互作用する幾何学的な形状に分割され、これらの形状の配置は、既知の体制と相関付けされる。体形の分析は、動きの特徴、頻度、及び様々な関節の肢の方向を分析し、頭部を他の肢から区別するように、期待される動きのタイプに比較することで向上される。人又は動物の人体及び頭部の形状は、一連の予め定義された人体又は頭部の形状のテンプレートを使用することで画像において定位される。また、この技術は、アクティビティをアクティビティのタイプの特徴付けするために分析において使用される。この場合、一連のテンプレートは、共通の人体の姿勢又は向きの範囲を表すために使用される。同様に、ビデオ通信クライアント３００は、当該技術分野において知られている身長及び年齢推定アルゴリズムを使用して大人と子供とを区別する。
【００８８】
別の例として、ビデオ通信クライアント３００はIRに感度が高い画像捕捉装置１２０を必要とし、そうでなければIR光源１３５を必要とするが、IR画像形成は、人体の形状の画像形成と顔の特徴の画像形成の両者について使用することができる。Dowdall等による文献“Face  detection  in  the  near-IR  spectrum”（Proc.  SPIE,  Vol.5074,  pp.745-756,  2003）は、２つのIRカメラ及び下側IR帯域（0.8-1.4μｍ）及び上側IR帯域（1.4-2.4μｍ）を使用する顔検出システムを記載している。これらのシステムは、画像の分析を定位する皮膚検出プログラムと、これに続く、眉及び目を重視する特徴に基づいた顔検出プログラムとを採用する。近赤外線（NIR）光で見たときに、人間及び動物の外観が変化することを述べることは重要である。例えば、鍵となる人間の顔の特徴は、（例えば髪、皮膚、及び目）は、波長帯域に依存して現実の生活とは異なって（暗く又は明るく等）見える。例として、1.4μｍ以下のNIRでは、皮膚は最小限で吸収し、共に光を良好に透過及び反射し、他の特徴に比較して明るく見える傾向にある。皮膚の画像の表面のテクスチャは低減され、皮膚に磁器のような外観の品質を与える。一方、1.4μｍを超えて、皮膚は、非常に吸収し、他の特徴に比較して暗く見える。別の例として、幾つかの目は、赤外光において非常に良好に写真写りが良く、他の目は、非常に悩ませる。深い青の空のような深い青の目は、非常に暗く、又は黒にさえ見える傾向にある。猫又は犬のような擬人化して描かれた動物１５のIR画像は、使用されるスペクトル帯域につれて変動する可能性がある。従って、これらの画像形成の差は、人体の特徴の検出の試みを支援するか又は混乱させる可能性がある。しかし、IR画像の解釈は、更なるスペクトルの情報を必要とする可能性がある。
【００８９】
最後の例として、目の可視性が「特別な」状況により改善される場合、目は、画像において非常に迅速に定位されることがある。目の１つの例は、赤目の効果であり、この場合、人間の目は、フラッシュ写真の間に一直線（又はほぼ一直線）から画像形成されたときに、可視性を改善する。フラッシュ写真を必要としない別の特別の場合として、多くの一般的な動物の目は、アイシャイン“eye-shine”のために可視性を増加する。犬や猫のような一般的な夜行性の進化した動物は、「脈絡層タペタム」と呼ばれる目の背後における内部の非常に反射する皮膜層のため、優れた低い光視力を有する。脈絡層タペタムは、網膜の背後からの逆反射光に作用し、その光を吸収して見る付加的な機会を動物に与えるが、アイシャインを形成し、この場合、目は輝いているように見える。動物のアイシャインが人間における赤目の作用よりも頻繁に知覚される一方、角度感知効果（正常眼の〜15°の範囲でのみ検出可能）でもある。しかし、周囲に関してアイシャインの目の高い輝度又は高いコントラストのため、動物の頭部又は体について画像をサーチするよりも、アイシャインを示している目を発見することは、容易且つ迅速である。
【００９０】
画像における日と又は動物を定位又は識別するこれらの画像分析技術及び他の画像分析技術は継続して開発又は改善されているが、本発明のネットワーク化されたビデオ通信システム２９０のビデオ分析コンポーネント３８０により適用されたときにアクティビティ検出又は画像の特徴付けを提供する最良の方法を識別することは必要ではない。しかし、更なる考慮に値する本発明への係る方法の適用に関するサブタイトルが存在する。さらに、図６に関して、時間ｔ2の間、犬（動物１５）が存在している。好ましくは、ビデオ通信クライアント３００は、（アクティビティを検出するステップ５１０を使用して）アクティビティを最初に検出し、アクティビティを特徴付けするステップ５１５の結果に基づいて、動物のみのアクティビティが「許容可能」であるか、或いはライブで送信又は記録されないと考えられるかを（受容性テスト５２０を使用して）判定する。図６の下側の部分は、様々な期間について（送信されるか又は記録される）ビデオ捕捉の確率を示す。期間ｔ2の場合、中間の確率は、破線で示されている。中間の結果は、ビデオ分析コンポーネント３８０及びビデオコンテンツ特徴付けコンポーネント３８４が動物１５が存在すること、又は動物１５のみが存在することの判定に問題を有する場合に生じる。例えば、中間の結果が顔又は頭部の検出画像の分析方法のみに基づいて行われる場合、体形又は体の動きの検出の画像分析方法を消化するより多くの時間が必要とされる場合がある。より明確な結果が得られた後、確率が増加又は減少する場合がある（破線）。また、確率は、動物のみのコンテンツが送出者（ローカルビデオ通信クライアント３００）により一般的であると考えられるが、ビューア（リモートビデオ通信クライアント３０５）により所望のコンテンツであるとして考えられる場合があるので、受容性のランキングに依存することもできる。
【００９１】
正しいビデオ捕捉の確率又は不確かさは、属性の値に割り当てられた信頼度を測定するため、信頼値を使用して定量化することができる。信頼値は、パーセンテージ（0-100%）又は確率（0-1）として表現されることがある。図６における確率グラフを考慮して、信頼性の閾値が使用される場合がある。幾つかのユーザ１０は、正しい分析（P>0.85）の高い信頼をもつコンテンツのみがそれらのビデオ通信クライアント３００により送信又は記録されることを必要とする。他のユーザは、より耐性がある場合がある。例えば、信頼値が所与の信頼の閾値４５０（例えば0.7）を超える場合、後続のビデオ分析がコンテンツを解明するまで、コンテンツが許容可能であると考えられると仮定して、ビデオは、上述したように送信又は記録される。一方、信頼値がビデオを送信又は記録するために必要とされる信頼の閾値４５０を下回る場合、さらに、信頼値が不確かなコンテンツが廃棄されない低い信頼の閾値４６０（例えば0.3）を超える場合、ビデオは、一時的に緩衝されるか又は記録される。所与の期間の後、信頼値が閾値のマージンにあるか、又は閾値を下回る場合、バッファ又はメモリが空にされ、ビデオが送信又は記録されない。しかし、信頼値が第一の閾値を超えて増加する場合、緩衝されたコンテンツは、必要に応じて送信又は記録される。従って、送信又は記録されたビデオは、低度の信頼のビデオを含む高度の信頼のビデオを含む部分を囲んでいる更なる映像を含む場合がある。ビデオ画像のコンテンツが正しい又は容認可能であることを示す確率又は信頼度は、付随するメタデータとしてビデオと共に供給される。
【００９２】
また、図６は、顔をもつ風船であるオブジェクト４０により表される問題となるコンテンツが期間ｔ8で存在する場合を示している。係る例では、ビデオ分析コンポーネント３８０は、ある人物が特にリアルタイムで現実に存在しないことを判定する特定の問題を有する。潜在的にマイクロフォン１４４又は生体電気センサのような他の環境センサ１３０から収集されたデータのデータ分析は、例えば関連する生物（ローカルユーザ１０ａ又は動物１５）を非生物から正しく区別することで分類を提供する。時計の文字盤のような一般的に混乱させるオブジェクトを識別する技術を含む他の画像分析技術も分類を提供することができる。しかし、画像の分析は、顔人体は検出されないが、顔が検出された場合、解決されない明白な矛盾に到達する可能性がある。係る状況において、ビデオ捕捉管理は、信頼の閾値４５０及び４６０又は受容性のランキングに関連するユーザの好みの設定に依存することができる。
【００９３】
上述されたように、受容性は、受信者が誰か、コンテンツがライブで送信されるか又は時間シフトされた視聴のために記録されるかと同様に、個人の好み、文化的又は宗教的な影響、アクティビティのタイプ、人又は動物の存在、又は日時を含む様々な要素に依存することができる。例として、ビデオ通信クライアント３００は、顔認識を使用して、どの家族のメンバ又は家族の客が捕捉された画像に存在するかを識別する。同様に、ビデオ捕捉は、アイデンティティに基づくこともできる。
【００９４】
別の例として、ユーザは、コンテンツが送信又は記録されることが許容される日時又は関連する週の曜日を選択することができる。例えば、ユーザは、平日の午前９時と午後９時の間で送信されることが許可される。これは、この時間の範囲外では、コンテンツを見るためにリモートビューアにとって適切な状態に準備されない可能性があるためである。同様に、ユーザ１０は、週末のアクティビティにおける変化と睡眠のパターンのため、コンテンツが週末の午前１１時と午後１１の間でのみ視聴可能であると決定する場合がある。コンピュータ３４０により提供されるシステム時間を分析することで、ビデオ通信クライアント３００により捕捉の時間が検出される。
【００９５】
同様に、ユーザは、照明レベルに基づいてコンテンツを送信することを選択する。例えば、ユーザは、それらのビデオ通信クライアント３００をダイニングルームに配置し、自然光又は人為的な照明の何れかを通して、ダイニングルームが照明されたときにのみビデオを送信又は受信するのを許容することを判定する。これは、家族の食事時間が捕捉されるか又は送信のために記録されることを意味する。照明レベルにおける変化は、日時と共に使用することができる。例えば、ユーザは、ある日において光が最初に照明された後に、ビデオを３０分送信又は記録するのを開始するように彼等の好みを設定する。光が最初に照明された時点は、朝に目を覚ます誰かを示す。この時点の後の３０分は、ビデオ通信システムにより捕捉又は記録される適切なやり方で彼等の外観を適切にする時間を与える（例えば髪をとかす、パジャマを着替える）。先の例に記載されたような光レベルにおける変化は、光検出器１４０又は捕捉されたビデオ画像の画像分析で検出される場合がある。
【００９６】
上述されたユーザの好みと組み合わせて、ビデオ通信クライアント３００は、捕捉されたビデオが送信又は記録のために容認可能であるかを判定するため、受容性テスト５２０の間に決定木を使用することができる。ビデオが送信又は受信のために容認可能ではないことをユーザが選択したコンテンツを含む場合、これらのシステムのアクションは許可されない。他方で、ビデオが送信又は記録するのが容認可能なコンテンツのユーザ選択に整合するコンテンツのみを含む場合、これらのシステムのアクションが許可される。例えば、ユーザは、人物のみであって動物を含まないビデオを午前９時から午後９時の間に送信すうことが可能であると指定する場合がある。さらに、ユーザは、ビデオが午後５時から午後９時の間に生じる場合、ビデオが時間シフトのためにのみ記録することができることを指定し、その時間で、仕事から家に帰り、ユーザの子どもとの家族のアクティビティを行う。午前９時と午後９時の間で、人物のみであって動物を含まない場合、ビデオが送信される。しかし、リモートビューアが参加していない場合、ビデオは後の視聴のために記録されない。これは、記録のためにユーザにより設定された好みに条件が一致しないからである。同様に、ユーザは、不確定のコンテンツに対処するため、判定プロセスの間に使用される受容性のランキング又は信頼の閾値４５０及び４６０を予め決定することができる。
【００９７】
また、画像の受容性は、ユーザの好み、画像分析の特徴付けのロバスト性、及び意味的なコンテンツの定義以外の他の要素に関して決定することができる。特に、あるビューアの画像の受容性は、画像の焦点、色及びコントラストを含めて、画像の品質の属性に依存することもできる。ビデオ通信クライアント３００のビデオ分析コンポーネント３８０は、係る属性に関してビデオシーン６２０のビデオ捕捉を能動的に管理するアルゴリズム又はプログラムを含む。同様に、画像捕捉装置１２０がパン、チルト及びズーム機能を有する場合、ライブの台本なしの通信イベント６００を視聴しているときでさえ、ビューアの体験を改善するために画像のトリミング又はフレーミングが自動的に調整される。Kurtz等による“Automated  Videography  Based  Communication”と題された同一出願人により2009年5月23日に提出された米国特許出願第12/408898号は、これを達成することができる方法を記載している。
【００９８】
また、記録されたビデオがユーザが実際に視聴するのを望むものであるか、どのようなやり方で（例えば受動的な視聴又は能動的な視聴）ユーザがビデオを視聴するのを望むかを判定するため、ユーザが読むか又は視聴することができる、記録されたビデオと記憶される更なるメタデータを記録されたビデオが有することに留意されたい。この意味的なメタデータは、記録されたビデオを特徴付けするステップ５６０の結果として、ビデオ分析コンポーネント３８０により提供される。確かに、アクティビティ、参加者、日時、及び期間に関する情報が提供される。さらに、メタデータは、先に記載されたように、ビデオを分析することで得られた信頼値を含む。次いで、この情報は、信頼値が関連されるビデオ系列における時間の示唆と共にユーザに表示される。例えば、高い信頼度の領域は、ビューアが見るべき重要な領域を示唆する。信頼度の少ない領域は、重要度の低い領域を示唆する。また、ビデオ内のそれぞれのフレーム又はフレームのグループのアクティビティレベルは、記録されたビデオと共に視覚化することができる更なるメタデータとして記憶され、従ってユーザは、その視聴の前又は視聴の間にコンテンツを再び評価することができる。より詳細には、図６により指摘されるように、アクティビティのタイムラインは、捕捉されたビデオコンテンツを注釈を付ける付随する意味的なメタデータと共に、ローカルユーザ又はリモートユーザの何れかに供給することができる。
【００９９】
さらに、時間シフトされた視聴のビデオ通信クライアント３００により生成された記録されたビデオは、記録されたビデオの様子又は外観を変えるため、イメージプロセッサ３２０により（ビデオ処理のステップ５７０の間に）処理される。これらの変化は、焦点、色、コントラスト又はイメージトリミングに対する代替を含む。１つの例として、前に記録されたビデオを変更して、よりシネマの外観にするVronay等による米国特許出願公開第2006/0251384号、又はKim等による文献“Cinematized  Reality:  Cinematographic  3D  Video  System  for  Daily  Life  Using  Multiple  Outer/Inner  Cameras”（IEEE  Computer  Vision  and  Pattern  Recognition  Workshop,  2006）に記載される概念は、現在の目的に適用又は適合される。例えば、Vronay等は、より専門的（及び動的）な視覚的な印象をもつビデオを生成するために１以上のカメラにより収集される前もって記録されたビデオストリームの処理において主に使用される自動化されたビデオエディタ（AVE）をッ記載している。また、それぞれのシーンは、最終的なショットの選択に影響を及ぼす可能性があるオブジェクト、人、又は他の手掛かりを識別するシーン分析モジュールにより分析される。ベストショット選択モジュールは、あるシーンのそれぞれの部分について最良のショットを選択するため、ショット分析データ、ショットの選択及びショットの優先順位付けに関するシネマルールを適用する。最終的に、AVEは、それぞれのビデオストリームについて決定された最良のショットの選択に基づいて、最終的なビデオ及びそれぞれのショットを構築する。
【０１００】
ビデオ通信クライアント３００は、１以上のリモートビデオ通信クライアント３０５に同時に接続される。これらの多数当事者の状況において、それぞれのビデオ通信クライアント３００は、ネットワーク化されたビデオ通信システム２９０の一部として、通信ネットワーク３６０にわたり接続された他のリモートビデオ通信クライアント３０５のそれぞれとダイレクトに接続される。ユーザインタフェース制御１９０を使用して、それぞれの接続について、ユーザ１０は、どのようなコンテンツが送信又は記録について容認可能であるか、及びどのようなプライバシーの制約がそれぞれ送信又は記録されたビデオストリームに適用されるかについて、特定の好みを作成することができる。例えば、ユーザ１０が４つのリモートビデオ通信クライアント３０５とそれらのローカルビデオ通信クライアント３００を接続する場合、ユーザ１０は、適切であると見なされるとき、ぞれぞれのリモートビデオ通信クライアント３０５について１度として、４度にわたり許容可能なコンテンツについて好みを設定する。勿論、ユーザは、それぞれのクライアントについて同じとなるように全ての好みを設定する。それぞれのリモートビデオ通信クライアント３０５とのリモートユーザの関与は、クライアント毎に評価される。例えば、２つのリモートビデオ通信クライアントＢ及びＣに接続されたローカルビデオ通信クライアントＡを想像されたい。Ａで捕捉されるビデオは、Ｂ及びＣの両者に送信されることが許容されると見なされる。Ｂでのユーザがビデオ通信システムに参加しており、Ｃでのユーザが参加していない場合、Ａは、コンテンツをＢに送信し、Ｃへの後の送信及び時間遅延された再生のためにコンテンツを記録する。
【０１０１】
話は変わり、先の説明において、ビデオ通信システム２９０は、類似の、もしそうでないなら同一の機能を有するスックなくとも２つのビデオ通信クライアント（３００及び３０５）を接続するものとして記載された。しかし、この構成は、多くのケースで有効である一方、この本質的に相互関係を表す機能は要件ではない。例えば、リモートビデオ通信クライアント３０５（リモートビューイングクライアント）は、イメージディスプレイ１１０を有するが、画像捕捉装置１２０を有さない。係るように、リモートビデオ通信クライアント３０５は、ローカル通信クライアント３００から送信されたビデオを受信及び表示することができるが、ローカルビデオ通信クライアント３００に送信される、ビデオ又は静止画像又はアクティビティをリモート環境で捕捉することができない。しかし、リモートビューアのステータス又はリモートビューイングクライアントのステータスに関するデータは、リモートサイトでのカメラのない環境のセンサ１３０又はユーザインタフェース１９０を使用してなお収集され、ビデオを送信する通信クライアントに供給される。
【０１０２】
更なる検討事項として、S.Conversy,  W.Mackay,  M.beaudouin  Lafon及びN.Rousselによる“Video  Probe:  Sharing  Pictures  of  Everyday  Life”（Proceedings  of  the  15th  French  Speaking  Conference  on  Human-Computer  Interaction,  pp.228-231,  2003）に記載されるビデオプローブシステムは、本発明のシステムと幾つかの共通点を有する。ビデオプローブは、カメラと、好ましくは家に置かているか又は壁に到着されているディスプレイとから構成される。カメラがその前にある動きを検出した後、オブジェクト又は人物が３秒間じっとしている場合、カメラは、静止画像を捕捉する。結果として得られる静止画像は、接続されるビデオプローブクライアントに送信され、ここでユーザは、静止画像を視聴、削除、又は後の視聴のために記憶することができる。本発明における記録機能は、ビデオプローブの画像捕捉に類似しているが、本発明は、（単一画像とは対照的に）ビデオ系列としてビデオ画像を送信又は記録し、後者の場合、ビデオ系列は、後処理されるか、適切なビデオ系列に分割される。また、本発明は、アクティビティの特性（人の検出、動物の検出、又はアクティビティのタイプを含む）と、受容性の基準、プライバシーの基準、又はローカルユーザ及びリモートユーザの両者により供給される他の好みに基づいて適切なコンテンツを選択するための更に洗練された基準を提供する。さらに、本発明のビデオ通信クライアント３００は、（参加又は離脱としての）リモートビデオ通信クライアント３０５及びリモートユーザ１０のステータスに基づいて、利用可能なビデオコンテンツを何時送信、記録、再生又は無視するかを判定する。ビデオプローブは、受信するクライアントでの可用性又は受容性に関するステータス又は好みを考慮しない。
【０１０３】
ビデオ通信クライアント３００及び関連するビデオ管理プロセス５００を有効にするプログラム及びアルゴリズムは、本発明の機能をサポートする構成要素となるコンポーネント（コンピュータ３４０及びメモリ３４５を含む）を有するハードウェアシステムに供給される。コンピュータ読み取り可能な媒体及びプログラムストレージデバイスがマシン又はプロセッサにより読み取り可能な命令又はアルゴリズムのプログラムを有形に実施又は担持する本発明により予定される他の実施の形態は、媒体に記憶される命令又はデータ構造を実行するハードウェアシステムに命令又はアルゴリズムを提供する。係るコンピュータメディアは、汎用又は特定用途向けコンピュータによりアクセスされる利用可能な媒体である。係るコンピュータ読み取り可能な媒体は、例えばRAM,  ROM,  EEPROM,  CD-ROM,  DVD又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気ディスクストレージデバイスのような物理的にコンピュータ読み取り可能な媒体を有する。汎用又は特定用途向けコンピュータによりアクセスされるソフトウェアプログラムを担持又は記憶するために使用される他の媒体は、本発明の範囲に含まれると考えられる。
【０１０４】
本発明は、本発明の所定の好適な実施の形態を特に参照しながら詳細に説明されたが、変形及び変更が本発明の精神及び範囲で実施されることを理解されたい。本明細書で記載される装置又は方法は、様々なタイプのサポートハードウェア及びソフトウェアを使用して、多数の異なる対応のシステムで実施することができる点が強調される。また、図面は縮尺するように描かれていないが、これら実施の形態で使用されるキーコンポーネント及び原理を例示するものである。
【符号の説明】
【０１０５】
１０：ユーザ
１０ａ：ローカルユーザ
１０ｂ：リモートユーザ
１５：動物
４０：オブジェクト
１００：電子画像形成装置
１１０：ディスプレイ
１１５：スクリーン
１２０：画像捕捉装置
１２５：スピーカ
１３０：環境センサ
１３５：IR光源
１４０：光検出器
１４２：動き検出器
１４４：マイクロフォン
１４６：筐体
１６０：スプリットスクリーン画像
１９０：ユーザインタフェース制御
２００：周囲光
２９０：ネットワーク化されたビデオ通信システム
３００：ビデオ通信クライアント
３０５：リモートビデオ通信クライアント
３１０：画像捕捉システム
３１５：オーディオシステム
３２０：イメージプロセッサ
３２５：オーディオシステムプロセッサ
３３０：システムコントローラ
３４０：コンピュータ
３４５：メモリ
３４７：フレームバッファ
３５５：通信コントローラ
３６０：通信ネットワーク
３６２：ローカルサイト
３６４：リモートサイト
３８０：ビデオ分析コンポーネント
３８２：動き分析コンポーネント
３８４：ビデオコンテンツ特徴付けコンポーネント
３８６：ビデオ分割コンポーネント
３９０：ユーザプライバシーコントローラ
４１５：ローカル環境
４２０：画像の視野
４３０：音声の視野
４５０：信頼度の閾値
４６０：下側の信頼度の閾値
５００：ビデオ管理プロセス
５０５：ビデオ捕捉ステップ
５１０：アクティビティ検出ステップ
５１５：アクティビティ特徴付けステップ
５２０：受容性テスト
５２５：ビデオ削除ステップ
５２６：一般的なビデオの削除ステップ
５３０：リモートステータス判定ステップ
５３５：リモートシステムオンテスト
５４０：リモートビューア存在テスト
５４５：リモートビューア視聴テスト
５５０：ライブビデオ送信ステップ
５５２：リモートユーザ警告ステップ
５５５：ビデオ記録ステップ
５５７：ローカル使用向けビデオ記録ステップ
５６０：記録ビデオ特徴付けステップ
５６５：プライバシー制約適用ステップ
５７０：ビデオ処理ステップ
５７５：記録ビデオ送信ステップ
５８０：リモートステータ監視ステップ
５８５：「進行中」ビデオ申し出ステップ
５９０：表
６００：通信イベント
６２０：ビデオシーン
【図１】
2013504933.tif 000003
【図２】
2013504933.tif 000004
【図３Ａ】
2013504933.tif 000005
【図３Ｂ】
2013504933.tif 000006
【図４】
2013504933.tif 000007
【図５】
2013504933.tif 000008
【図６】
2013504933.tif 000009
【国際調査報告】
2013504933.tif 000010
2013504933.tif 000011