【手続補正書】
【提出日】令和2年1月6日(2020.1.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディスプレイ上で再生しているビデオとの視聴者エンゲージメントを定量化するためのシステムであって、
前記ディスプレイの前の視聴エリアを撮像するように配設された、前記視聴エリアの画像データを取得するための少なくとも１つのカメラと、
前記ディスプレイに近接して配設された、前記ディスプレイに結合されたスピーカによって発せられたオーディオデータを取得するためのマイクロフォンと、
前記少なくとも１つのカメラおよび前記マイクロフォンに動作可能に結合された、プロセッサ実行可能命令を記憶するためのメモリと、
前記少なくとも１つのカメラ、前記マイクロフォン、および前記メモリに動作可能に結合されたプロセッサとを備え、ここにおいて、前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記少なくとも１つのカメラからの前記画像データ、および前記マイクロフォンからの前記オーディオデータを受信することと、
前記オーディオデータに少なくとも一部基づいて、前記ディスプレイ上に表示された前記ビデオの識別情報を決定することと、
前記画像データに少なくとも一部基づいて、前記視聴エリア中に存在する人々の第１の数、および前記視聴エリア中の前記ビデオにエンゲージしている人々の第２の数を推定することと、
人々の前記第１の数および人々の前記第２の数に少なくとも一部基づいて、前記ビデオの前記視聴者エンゲージメントを定量化することと
を行う、システム。
【請求項２】
前記ビデオは、セットトップボックスを介して提供されるテレビ番組を含み、前記プロセッサは、前記セットトップボックスに接続されない、請求項１に記載のシステム。
【請求項３】
前記少なくとも１つのカメラは、実質的に毎秒１フレーム以上のフレームレートで前記画像データを取得する、請求項１に記載のシステム。
【請求項４】
前記プロセッサは、身体骨格検出に基づいて、前記視聴エリア中に存在する人々の前記第１の数を推定する、請求項１に記載のシステム。
【請求項５】
前記プロセッサは、視線追跡に基づいて、前記ビデオにエンゲージしている人々の前記第２の数を推定する、請求項１に記載のシステム。
【請求項６】
前記マイクロフォンは、約０．１Ｈｚの取得レートで前記オーディオデータを取得する、請求項１に記載のシステム。
【請求項７】
前記プロセッサは、オーディオ信号フィンガープリンティングを使用して、前記ビデオの前記識別情報を決定する、請求項１に記載のシステム。
【請求項８】
前記プロセッサは、
前記ビデオについての注意レートを推定することによって前記視聴者エンゲージメントを定量化し、前記注意レートは、所与の時間期間にわたる、前記視聴エリア中の人々の前記第１の数に対する、前記ビデオにエンゲージしている人々の前記第２の数の比を表す、請求項１に記載のシステム。
【請求項９】
前記ビデオは、複数のビデオ中の一意のビデオであり、前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データと前記視聴エリア中に潜在的に存在する人々に関する人口統計学的情報とに基づいて、視聴者カウントとポジティブ持続時間比とを推定し、前記視聴者カウントは、各一意のビデオにエンゲージしている人々の前記第２の数を表し、前記ポジティブ持続時間比は、前記一意のビデオの持続時間に対する、前記視聴エリア中の人々が前記一意のビデオを見ることによって費やされた合計時間の比を表す、
請求項８に記載のシステム。
【請求項１０】
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データに少なくとも一部基づいて、前記視聴エリア中に存在する各人物の識別情報を決定することと、
識別された各人物についての前記視聴者エンゲージメントを定量化することと
を行う、請求項１に記載のシステム。
【請求項１１】
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
人々の前記第１の数および人々の前記第２の数を前記メモリに記憶することと、
前記画像データを消去および／または上書きすることと
を行う、請求項１に記載のシステム。
【請求項１２】
前記プロセッサに動作可能に結合された、人々の前記第１の数と人々の前記第２の数とをリモートサーバに送信するためのネットワークインターフェース
をさらに備える、請求項１に記載のシステム。
【請求項１３】
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記視聴エリア中に存在する各人物の感情を推定する
請求項１に記載のシステム。
【請求項１４】
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記オーディオデータに少なくとも一部基づいて、前記複数のビデオ中のあらかじめ決定されたビデオが前記ディスプレイ上に表示されているかどうかを決定し、ここにおいて、前記視聴者エンゲージメントを定量化することは、前記あらかじめ決定されたビデオが表示されているかどうかに少なくとも一部基づく、
請求項１に記載のシステム。
【請求項１５】
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データから前記視聴エリア中の各人物についての人口統計学的情報を推定すること
を行う、請求項１に記載のシステム。
【請求項１６】
前記人口統計学的情報は、年齢、性別、民族グループ、および顔の表情を含む、請求項１５に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１５３
【補正方法】変更
【補正の内容】
【０１５３】
[0181]特許請求の範囲において、ならびに上記の明細書において、「備える」、「含む（including）」、「搬送する（carrying）」、「有する（having）」、「含んでいる（containing）」、「伴う（involving）」、「保持する（holding）」、「から構成される（composed of）」など、すべての移行句は、非限定的なもの、すなわち、限定はしないが含むことを意味するものであることを理解されたい。「からなる」および「から本質的になる」という移行句のみが、それぞれ、米国特許庁特許審査基準、セクション２１１１．０３に記載されている、限定的または半限定的な移行句であるものとする。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ディスプレイ上で再生しているビデオとの視聴者エンゲージメントを定量化するためのシステムであって、
前記ディスプレイの前の視聴エリアを撮像するように配設された、前記視聴エリアの画像データを取得するための少なくとも１つのカメラと、
前記ディスプレイに近接して配設された、前記ディスプレイに結合されたスピーカによって発せられたオーディオデータを取得するためのマイクロフォンと、
前記少なくとも１つのカメラおよび前記マイクロフォンに動作可能に結合された、プロセッサ実行可能命令を記憶するためのメモリと、
前記少なくとも１つのカメラ、前記マイクロフォン、および前記メモリに動作可能に結合されたプロセッサとを備え、ここにおいて、前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記少なくとも１つのカメラからの前記画像データ、および前記マイクロフォンからの前記オーディオデータを受信することと、
前記オーディオデータに少なくとも一部基づいて、前記ディスプレイ上に表示された前記ビデオの識別情報を決定することと、
前記画像データに少なくとも一部基づいて、前記視聴エリア中に存在する人々の第１の数、および前記視聴エリア中の前記ビデオにエンゲージしている人々の第２の数を推定することと、
人々の前記第１の数および人々の前記第２の数に少なくとも一部基づいて、前記ビデオの前記視聴者エンゲージメントを定量化することと
を行う、システム。
［Ｃ２］
前記ビデオは、セットトップボックスを介して提供されるテレビ番組を含み、前記プロセッサは、前記セットトップボックスに接続されない、上記Ｃ１に記載のシステム。
［Ｃ３］
前記少なくとも１つのカメラは、可視カメラと赤外線カメラとを含み、前記画像データは、前記可視カメラによって取得された第１の画像と、前記赤外線カメラによって取得された第２の画像とを含む、上記Ｃ１に記載のシステム。
［Ｃ４］
前記プロセッサ実行可能命令の実行時に、前記プロセッサはさらに、
前記第１の画像から人々の第１の未処理の数、および前記第２の画像から人々の第２の未処理の数を推定することと、
前記第１の未処理の数または前記第２の未処理の数のうちの少なくとも一方における、可能性のあるエラーを検出するために、前記第１の未処理の数を前記第２の未処理の数と比較することと
を行う、上記Ｃ３に記載のシステム。
［Ｃ５］
前記少なくとも１つのカメラは、実質的に毎秒１フレーム以上のフレームレートで前記画像データを取得する、上記Ｃ１に記載のシステム。
［Ｃ６］
前記プロセッサは、身体骨格検出に基づいて、前記視聴エリア中に存在する人々の前記第１の数を推定する、上記Ｃ１に記載のシステム。
［Ｃ７］
前記プロセッサは、視線追跡に基づいて、前記ビデオにエンゲージしている人々の前記第２の数を推定する、上記Ｃ１に記載のシステム。
［Ｃ８］
前記マイクロフォンは、約０．１Ｈｚの取得レートで前記オーディオデータを取得する、上記Ｃ１に記載のシステム。
［Ｃ９］
前記プロセッサは、オーディオ信号フィンガープリンティングを使用して、前記ビデオの前記識別情報を決定する、上記Ｃ１に記載のシステム。
［Ｃ１０］
前記プロセッサは、
前記ビデオについての注意レートを推定することによって前記視聴者エンゲージメントを定量化し、前記注意レートは、所与の時間期間にわたる、前記視聴エリア中の人々の前記第１の数に対する、前記ビデオにエンゲージしている人々の前記第２の数の比を表す、上記Ｃ１に記載のシステム。
［Ｃ１１］
前記ビデオは、複数のビデオ中の一意のビデオであり、前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データと前記視聴エリア中に潜在的に存在する人々に関する人口統計学的情報とに基づいて、視聴者カウントとポジティブ持続時間比とを推定し、前記視聴者カウントは、各一意のビデオにエンゲージしている人々の前記第２の数を表し、前記ポジティブ持続時間比は、前記一意のビデオの持続時間に対する、前記視聴エリア中の人々が前記一意のビデオを見ることによって費やされた合計時間の比を表す、
上記Ｃ１０に記載のシステム。
［Ｃ１２］
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データに少なくとも一部基づいて、前記視聴エリア中に存在する各人物の識別情報を決定することと、
識別された各人物についての前記視聴者エンゲージメントを定量化することと
を行う、上記Ｃ１に記載のシステム。
［Ｃ１３］
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
人々の前記第１の数および人々の前記第２の数を前記メモリに記憶することと、
前記画像データを消去および／または上書きすることと
を行う、上記Ｃ１に記載のシステム。
［Ｃ１４］
前記プロセッサに動作可能に結合された、人々の前記第１の数と人々の前記第２の数とをリモートサーバに送信するためのネットワークインターフェース
をさらに備える、上記Ｃ１に記載のシステム。
［Ｃ１５］
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記視聴エリア中に存在する各人物の感情を推定する
上記Ｃ１に記載のシステム。
［Ｃ１６］
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記オーディオデータに少なくとも一部基づいて、前記複数のビデオ中のあらかじめ決定されたビデオが前記ディスプレイ上に表示されているかどうかを決定し、ここにおいて、前記視聴者エンゲージメントを定量化することは、前記あらかじめ決定されたビデオが表示されているかどうかに少なくとも一部基づく、
上記Ｃ１に記載のシステム。
［Ｃ１７］
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データから前記視聴エリア中の各人物についての人口統計学的情報を推定すること
を行う、上記Ｃ１に記載のシステム。
［Ｃ１８］
前記人口統計学的情報は、年齢、性別、民族グループ、および顔の表情を含む、上記Ｃ１７に記載のシステム。
［Ｃ１９］
ディスプレイ上に示されるビデオとの視聴者エンゲージメントを定量化する方法であって、
少なくとも１つのカメラを用いて、前記ビデオが前記ディスプレイ上に示されている間、前記ディスプレイの前の視聴エリアの画像を取得することと、
マイクロフォンを用いて、前記ディスプレイに結合されたスピーカによって発せられた前記ビデオのサウンドトラックを表すオーディオデータを取得することと、
前記少なくとも１つのカメラおよびプロセッサに動作可能に結合された前記プロセッサを用いて、前記オーディオデータに少なくとも一部基づいて、前記ビデオの識別情報を決定することと、
前記プロセッサを用いて、前記画像データに少なくとも一部基づいて、前記ビデオが前記ディスプレイ上に示されている間の前記視聴エリア中に存在する人々の第１の数、および前記視聴エリア中の前記ビデオにエンゲージしている人々の第２の数を推定することと、
前記プロセッサによって、前記ビデオの前記識別情報、人々の前記第１の数、および人々の前記第２の数をリモートサーバに送信することと
を備える、方法。
［Ｃ２０］
前記画像を取得することは、可視カメラを使用して前記視聴エリアの第１の画像を取得することと、赤外線（ＩＲ）カメラを使用して前記視聴エリアの第２の画像を取得することとを含む、上記Ｃ１９に記載の方法。
［Ｃ２１］
前記視聴エリア中の人々の前記第１の数を推定することは、
前記第１の画像データから人々の第１の未処理の数、および前記第２の画像データから人々の第２の未処理の数を推定することと、
前記第１の未処理の数または前記第２の未処理の数のうちの少なくとも一方における、可能性のあるエラーを検出するために、前記第１の未処理の数を前記第２の未処理の数と比較することと
を含む、上記Ｃ２０に記載の方法。
［Ｃ２２］
前記画像データを取得することは、実質的に毎秒２０フレーム以上のフレームレートで前記視聴エリアの画像を取得することを含む、上記Ｃ１９に記載の方法。
［Ｃ２３］
前記オーディオデータを取得することは、約０．１Ｈｚの取得レートで前記オーディオデータを取得することを含む、上記Ｃ１９に記載の方法。
［Ｃ２４］
前記ビデオの前記識別情報を決定することは、オーディオ信号フィンガープリンティングに基づく、上記Ｃ１９に記載の方法。
［Ｃ２５］
前記視聴エリア中に存在する人々の前記第１の数を推定することは、身体骨格検出に基づく、上記Ｃ１９に記載の方法。
［Ｃ２６］
前記少なくともオンビデオにエンゲージしている人々の前記第２の数を推定することは、視線追跡に基づく、上記Ｃ１９に記載の方法。
［Ｃ２７］
複数の世帯中の各家世帯において、人々の前記第１の数および人々の前記第２の数に少なくとも一部基づいて、前記ビデオの前記視聴者エンゲージメントを定量化することをさらに備える、上記Ｃ１９に記載の方法。
［Ｃ２８］
前記視聴者エンゲージメントを定量化することは、
前記ビデオについての注意レートを推定することであって、前記注意レートは、前記視聴エリア中の人々の前記第１の数に対する、前記ビデオにエンゲージしている人々の前記第２の数の比を表す、推定することと、
複数のビデオ中の各一意のビデオについて、前記複数のビデオ中の前記ビデオの前記注意レートに基づいて注意インデックスを決定することと
を含む、上記Ｃ２７に記載の方法。
［Ｃ２９］
前記ビデオは、複数のビデオ中の一意のビデオであり、前記方法は、
前記画像データと前記複数の世帯中の各世帯に関する人口統計学的情報とに基づいて、視聴者カウントとポジティブ持続時間比とを推定することをさらに備え、前記視聴者カウントは、各一意のビデオにエンゲージしている人々の前記第２の数を表し、前記ポジティブ持続時間比は、前記一意のビデオの持続時間に対する、前記複数の世帯中の人々が前記一意のビデオを見ることによって費やされた合計時間の比を表す、
上記Ｃ２８に記載の方法。
［Ｃ３０］
前記画像データに少なくとも一部基づいて、前記視聴エリア中に存在する各人物の識別情報を決定することをさらに備え、
ここにおいて、前記ビデオの前記視聴者エンゲージメントを定量化することは、識別された各人物についての前記視聴者エンゲージメントを定量化することを含む、
上記Ｃ２７に記載の方法。
［Ｃ３１］
人々の前記第１の数と人々の前記第２の数とをリモートサーバに送信することをさらに備え、ここにおいて、前記視聴者エンゲージメントを定量化することは、前記リモートサーバにおいて行われる、上記Ｃ２７に記載の方法。
［Ｃ３２］
前記オーディオデータに少なくとも一部基づいて、前記複数のビデオ中のあらかじめ決定されたビデオが前記ディスプレイ上に表示されているかどうかを決定することをさらに備え、ここにおいて、前記視聴者エンゲージメントを定量化することは、前記あらかじめ決定されたビデオが表示されているかどうかに少なくとも一部基づく、
上記Ｃ２７に記載の方法。
［Ｃ３３］
人々の前記第１の数および人々の前記第２の数を、前記プロセッサに動作可能に結合されたメモリに記憶することと、
前記画像データを消去および／または上書きすることと
をさらに備える、上記Ｃ１９に記載の方法。
［Ｃ３４］
前記視聴エリア中に存在する各人物の感情を推定することをさらに備える、上記Ｃ１９に記載の方法。
［Ｃ３５］
前記画像データから前記視聴エリア中の各人物についての人口統計学的情報を推定すること
をさらに備える、上記Ｃ１９に記載の方法。
［Ｃ３６］
前記人口統計学的情報を推定することは、年齢、性別、民族グループ、および顔の表情を推定することを含む、上記Ｃ３５に記載の方法。
［Ｃ３７］
ディスプレイ上で再生しているビデオとの視聴者エンゲージメントを評価するためのシステムであって、前記ディスプレイは、前記ビデオのサウンドトラックを発するスピーカに結合され、前記システムは、
第１のサンプルレートで、前記ビデオが前記ディスプレイ上で再生している間、前記ディスプレイの前の視聴エリアの可視画像を取得するための可視カメラと、
前記第１のサンプルレートで、前記ビデオが前記ディスプレイ上で再生している間、前記ディスプレイの前の前記視聴エリアの赤外線画像を取得するための赤外線カメラと、
前記ディスプレイに近接して配設された、前記第１のサンプルレートよりも低い第２のサンプルレートで、前記ビデオが前記ディスプレイ上で再生している間、前記スピーカによって発せられた前記サウンドトラックのサンプルを取得するためのマイクロフォンと、
前記可視カメラ、前記赤外線カメラ、および前記マイクロフォンに動作可能に結合されたプロセッサであって、
（ｉ）前記サウンドトラックの前記サンプルに基づいて前記ビデオを識別すること、
（ｉｉ）前記可視画像および前記赤外線画像に基づいて、前記ビデオが前記ディスプレイ上で再生している間の前記視聴エリア中の人々の数、および前記ビデオにエンゲージしている人々の数を推定すること、ならびに
（ｉｉｉ）前記サウンドトラックの前記サンプル、前記可視画像、および前記赤外線画像を上書きおよび／または消去すること
を行うためのプロセッサと、
前記プロセッサに動作可能に結合された、前記ビデオの識別情報、前記ビデオが前記ディスプレイ上で再生している間の前記視聴エリア中の人々の前記数、および前記ビデオにエンゲージしている人々の前記数の表現を記憶するためのメモリと、
前記プロセッサに動作可能に結合された、前記表現をサーバに送信するためのネットワークインターフェースと
を備える、システム。
［Ｃ３８］
複数のビデオ中の一意のビデオについての視聴者エンゲージメントを定量化する方法であって、
複数の世帯中の各世帯において、ディスプレイの前の視聴エリアの画像データを取得することと、
前記ディスプレイが前記複数のビデオ中のビデオを示しているかどうかを決定することと、
前記複数のビデオ中の各一意のビデオについて、前記画像データおよび前記複数の世帯中の各世帯に関する人口統計学的情報に基づいて、（ｉ）視聴レートおよび（ｉｉ）ウォッチングレートを推定することであって、前記視聴レートは、ビデオを示しているディスプレイの合計数に対する、前記視聴エリア中の人々の合計数の比を表し、前記ウォッチングレートは、前記複数の世帯中の人々の合計数に対する、ディスプレイがビデオを示している世帯中の人々の合計数の比を表す、推定することと、
前記複数のビデオ中の各一意のビデオについて、前記視聴レートおよび前記ウォッチングレートに基づいて、視聴可能性インデックスを決定することと
を備える、方法。
［Ｃ３９］
前記複数のビデオ中の各一意のビデオについて、前記画像データおよび前記複数の世帯中の各世帯に関する人口統計学的情報に基づいて、（ｉｉｉ）視聴者カウントおよび（ｉｖ）ポジティブ持続時間比を推定することであって、前記視聴者カウントは、各一意のビデオにエンゲージしている人々の合計数を表し、前記ポジティブ持続時間比は、前記一意のビデオの持続時間に対する、前記複数の世帯中の人々が前記一意のビデオを見ることによって費やされた合計時間の比を表す、推定することと、
前記視聴者カウントおよび前記ポジティブ持続時間比に基づいて、前記視聴可能性インデックスを重み付けすることと
をさらに備える、上記Ｃ３８に記載の方法。
［Ｃ４０］
前記複数のビデオ中の前記一意のビデオにわたる前記視聴可能性インデックスを正規化することをさらに備える、上記Ｃ３９に記載の方法。
［Ｃ４１］
前記画像データを取得することは、光学カメラを使用して前記視聴エリアの第１の画像を取得することと、赤外線（ＩＲ）カメラを使用して前記視聴エリアの第２の画像を取得することとを含む、上記Ｃ３８に記載の方法。
［Ｃ４２］
前記ディスプレイが前記ビデオを示しているかどうかを決定することは、信号フィンガープリンティング技法を介した前記視聴エリアのオーディオデータに少なくとも一部基づく、上記Ｃ３８に記載の方法。
［Ｃ４３］
前記視聴レートと前記ウォッチングレートとをリモートサーバに送信することをさらに備え、ここにおいて、前記視聴可能性インデックスは、前記リモートサーバによって推定される、
上記Ｃ３８に記載の方法。