【手続補正書】
【提出日】平成19年3月27日(2007.3.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データ及び音声データを処理する装置であって、
少なくとも１台のカメラにより記録され且つ複数の人物の動きを示す画像データを処理して、各人物を三次元で追跡する画像処理手段と、
音声データを処理して、音声の到達方向を判定する音声処理手段と、
画像処理手段により実行される処理の結果と、音声処理手段により実行される処理の結果とに基づいて、どの人物が話しているかを判定する話者識別手段と、
受信した音声データを処理して、話者識別手段により実行される処理の結果に従って音声データからテキストデータを生成する音声認識処理手段とを備えることを特徴とする装置。
【請求項２】
音声認識処理手段は、人物ごとの対応する音声認識パラメータを格納する記憶手段と、話者識別手段により話していると判定された人物に従って音声データを処理するために使用すべき音声認識パラメータを選択する手段とを含むことを特徴とする請求項１記載の装置。
【請求項３】
画像処理手段は、処理される画像データを提供する各カメラの位置と向きを定義するカメラ校正データを使用して画像データを処理することにより各人物を追跡するように構成されていることを特徴とする請求項１又は２記載の装置。
【請求項４】
画像処理手段は、各人物の頭部を追跡することにより各人物を追跡するように構成されていることを特徴とする請求項１乃至３のいずれか１項に記載の装置。
【請求項５】
画像処理手段は、少なくとも話をしている各人物がどこを見ているかを判定するために画像データを処理するように構成されていることを特徴とする請求項１乃至４のいずれか１項に記載の装置。
【請求項６】
話者識別手段は、受信した画像データの所定のフレームについて画像処理手段及び音声処理手段により実行される処理の結果を使用して話者を識別できない場合、少なくとも１つの他のフレームに対して画像処理手段及び音声処理手段により実行される処理の結果を使用して所定のフレームにおいて話をしている人物を識別するように構成されていることを特徴とする請求項１乃至５のいずれか１項に記載の装置。
【請求項７】
受信した画像データ、音声データ、音声認識処理手段により生成されるテキストデータ、及び少なくとも話をしている各人物がどこを見ているかを定義する視線データの少なくとも一部を格納するデータベースを更に具備し、前記データベースは、対応するテキストデータと視線データとが互いに関連すると共に、対応する画像データ及び音声データとも関連するようにデータを格納する構成であることを特徴とする請求項１乃至６のいずれか１項に記載の装置。
【請求項８】
データベースに格納するために、画像データ及び音声データを圧縮する手段を更に具備することを特徴とする請求項７記載の装置。
【請求項９】
画像データ及び音声データを圧縮する手段は、画像データ及び音声データをMPEGデータとして符号化する手段であることを特徴とする請求項８記載の装置。
【請求項１０】
所定の期間にわたり、その所定の期間中に所定の人物がその他の人物の各々を見るのに費やした時間の割合を定義するデータを生成する手段を更に具備し、データベースは、そのデータが対応する画像データ、音声データ、テキストデータ及び視線データと関連するようにデータを格納する構成であることを特徴とする請求項７乃至９のいずれか１項に記載の装置。
【請求項１１】
所定の期間は所定の人物が話をしていた期間である請求項１０記載の装置。
【請求項１２】
画像データ及び音声データを処理する装置において、
少なくとも１台のカメラにより記録され且つ複数の人物の動きを示す画像データを処理して、各人物を三次元で追跡する画像処理手段と、
音声データを処理して、音声の到達方向を判定する音声処理手段と、
画像処理手段により実行される処理の結果と、音声処理手段により実行される処理の結果とに基づいて、どの人物が話しているかを判定する話者識別手段とを具備することを特徴とする装置。
【請求項１３】
画像処理手段は、処理される画像データを提供する各カメラの位置と向きを定義するカメラ校正データを使用して画像データを処理することにより各人物を追跡するように構成されていることを特徴とする請求項１２記載の装置。
【請求項１４】
画像処理手段は、各人物の頭部を追跡することにより各人物を追跡するように構成されていることを特徴とする請求項１２又は１３に記載の装置。
【請求項１５】
画像処理手段は、少なくとも話をしている各人物がどこを見ているかを判定するために画像データを処理するように構成されていることを特徴とする請求項１２乃至１４のいずれか１項に記載の装置。
【請求項１６】
話者識別手段は、受信した画像データの所定のフレームについて画像処理手段及び音声処理手段により実行される処理の結果を使用して話者を識別できない場合、少なくとも１つの他のフレームに対して画像処理手段及び音声処理手段により実行される処理の結果を使用して所定のフレームにおいて話をしている人物を識別するように構成されていることを特徴とする請求項１２乃至１５のいずれか１項に記載の装置。
【請求項１７】
画像データ及び音声データを処理する方法において、
少なくとも１台のカメラにより記録され且つ複数の人物の動きを示す画像データを処理して、各人物を三次元で追跡する画像処理ステップと、
音声データを処理して、音声の到達方向を判定する音声処理ステップと、
画像処理ステップで実行される処理の結果と、音声処理ステップで実行される処理の結果とに基づいて、どの人物が話しているかを判定する話者識別ステップと、
受信した音声データを処理して、話者識別ステップで実行される処理の結果に従って音声データからテキストデータを生成する音声認識処理ステップとを備えることを特徴とする方法。
【請求項１８】
音声認識処理ステップは、人物ごとに格納されている音声認識パラメータから、話者識別ステップで話していると判定された人物に従って音声データを処理するために使用すべき音声認識パラメータを選択することを含むことを特徴とする請求項１７記載の方法。
【請求項１９】
画像処理ステップでは、処理される画像データを提供する各カメラの位置と向きを定義するカメラ校正データを使用して画像データを処理することにより各人物を追跡することを特徴とする請求項１７又は１８記載の方法。
【請求項２０】
画像処理ステップでは、各人物の頭部を追跡することにより各人物を追跡することを特徴とする請求項１７乃至１９のいずれか１項に記載の方法。
【請求項２１】
画像処理ステップでは、少なくとも話をしている各人物がどこを見ているかを判定するために画像データを処理することを特徴とする請求項１７乃至２０のいずれか１項に記載の方法。
【請求項２２】
話者識別ステップでは、受信した画像データの所定のフレームについて画像処理ステップ及び音声処理ステップにより実行される処理の結果を使用して話者を識別できない場合、少なくとも１つの他のフレームに対して画像処理ステップ及び音声処理ステップにより実行される処理の結果を使用して所定のフレームにおいて話をしている人物を識別することを特徴とする請求項１７乃至２１のいずれか１項に記載の方法。
【請求項２３】
音声認識処理ステップで生成されるデータを搬送する信号を発生するステップを更に含むことを特徴とする請求項１７乃至２２のいずれか１項に記載の方法。
【請求項２４】
受信した画像データ、音声データ、音声認識処理ステップにより生成されるテキストデータ、及び少なくとも話をしている各人物がどこを見ているかを定義する視線データの少なくとも一部をデータベースに格納するステップを更に含み、データは、対応するテキストデータと視線データとが互いに関連すると共に、対応する画像データ及び音声データとも関連するようにデータベースに格納されることを特徴とする請求項１７乃至２３のいずれか１項に記載の方法。
【請求項２５】
画像データ及び音声データは圧縮された形態でデータベースに格納されることを特徴とする請求項２４記載の方法。
【請求項２６】
画像データ及び音声データはMPEGデータとして格納されることを特徴とする請求項２５記載の方法。
【請求項２７】
所定の期間にわたり、その所定の期間中に所定の人物がその他の人物の各々を見るのに費やした時間の割合を定義するデータを生成するステップと、そのデータが対応する画像データ、音声データ、テキストデータ及び視線データと関連するようにデータをデータベースに格納するステップとを更に含むことを特徴とする請求項２４乃至２６のいずれか１項に記載の方法。
【請求項２８】
所定の期間は所定の人物が話をしていた期間であることを特徴とする請求項２７記載の方法。
【請求項２９】
データベースを格納されているデータと共に搬送する信号を発生するステップを更に含むことを特徴とする請求項２４乃至２８のいずれか１項に記載の方法。
【請求項３０】
信号の記録を生成するために信号を直接に又は間接的に記録するステップを更に含むことを特徴とする請求項２９記載の方法。
【請求項３１】
画像データ及び音声データを処理する方法において、
少なくとも１台のカメラにより記録され且つ複数の人物の動きを示す画像データを処理して、各人物を三次元で追跡する画像処理ステップと、
音声データを処理して、音声の到達方向を判定する音声処理ステップと、
画像処理ステップにより実行される処理の結果と、音声処理ステップにより実行される処理の結果とに基づいて、どの人物が話しているかを判定する話者識別ステップとを備えることを特徴とする方法。
【請求項３２】
画像処理ステップでは、処理される画像データを提供する各カメラの位置と向きを定義するカメラ校正データを使用して画像データを処理することにより各人物を追跡することを特徴とする請求項３１記載の方法。
【請求項３３】
画像処理ステップでは、各人物の頭部を追跡することにより各人物を追跡することを特徴とする請求項３１又は３２記載の方法。
【請求項３４】
画像処理ステップでは、少なくとも話をしている各人物がどこを見ているかを判定するために画像データを処理することを特徴とする請求項３１乃至３３のいずれか１項に記載の方法。
【請求項３５】
話者識別ステップでは、受信した画像データの所定のフレームについて画像処理ステップ及び音声処理ステップにより実行される処理の結果を使用して話者を識別できない場合、少なくとも１つの他のフレームに対して画像処理ステップ及び音声処理ステップにより実行される処理の結果を使用して所定のフレームにおいて話をしている人物を識別することを特徴とする請求項３１乃至３４のいずれか１項に記載の方法。
【請求項３６】
話者識別ステップで識別された話者のアイデンティティを搬送する信号を発生するステップを更に含むことを特徴とする請求項３１乃至３５のいずれか１項に記載の方法。
【請求項３７】
プログラム可能処理装置を請求項１乃至１６の少なくとも１項に記載の装置として構成させるための命令を格納することを特徴とする記憶装置。
【請求項３８】
プログラム可能処理装置を請求項１７乃至３６の少なくとも１項に記載の方法を実行するように動作可能にさせるための命令を格納することを特徴とする記憶装置。
【請求項３９】
画像データ及び音声データを処理する装置であって、
少なくとも１台のカメラにより記録され且つ複数の人物の動きを示す画像データを処理して、各人物がどこを見ているかを判定すると共に、複数の人物がどこを見ているかに基づいてどの人物が話しているかを判定する画像処理手段と、
人物が話した言葉を定義する音声データを処理して、画像処理手段により実行される処理の結果に従って音声データからテキストデータを生成する音声処理手段とを備えることを特徴とする装置。
【請求項４０】
音声処理手段は、人物ごとの対応する音声認識パラメータを格納する記憶手段と、画像処理手段により話をしていると判定された人物に従って音声データを処理するために使用すべき音声認識パラメータを選択する手段とを含むことを特徴とする請求項３９記載の装置。
【請求項４１】
画像処理手段は、処理される画像データを提供する各カメラの位置と向きを定義するカメラ校正データを使用して画像データを処理することにより、各人物がどこを見ているかを判定するように構成されていることを特徴とする請求項３９又は４０記載の装置。
【請求項４２】
画像処理手段は、各人物の頭部の位置と向きを三次元で追跡するために画像データを処理することにより、各人物がどこを見ているかを判定するように構成されていることを特徴とする請求項３９乃至４１のいずれか１項に記載の装置。
【請求項４３】
画像処理手段は、各々の人物を見ている人物の数に基づいてどの人物が話をしているかを判定するように構成されていることを特徴とする請求項３９乃至４２のいずれか１項に記載の装置。
【請求項４４】
画像処理手段は、各人物が誰を見ているかを定義する値を人物ごとに生成し且つそれらの値を処理して、話をしている人物を判定するように構成されていることを特徴とする請求項４３記載の装置。
【請求項４５】
画像処理手段は、話をしている人物が他の人物の大半が見ている人物であることを判定するように構成されていることを特徴とする請求項３９乃至４４のいずれか１項に記載の装置。
【請求項４６】
画像データ、音声データ、音声処理手段により生成されるテキストデータ、及び各人物がどこを見ているかを定義する視線データを格納するデータベースを更に備え、前記データベースは、対応するテキストデータと視線データとが互いに関連すると共に、対応する画像データ及び音声データとも関連するようにデータを格納する構成であることを特徴とする請求項３９乃至４５のいずれか１項に記載の装置。
【請求項４７】
データベースに格納するために、画像データ及び音声データを圧縮する手段を更に備えることを特徴とする請求項４６記載の装置。
【請求項４８】
画像データ及び音声データを圧縮する手段は、画像データ及び音声データをMPEGデータとして符号化する手段であることを特徴とする請求項４７記載の装置。
【請求項４９】
所定の期間にわたり、その所定の期間中に所定の人物がその他の人物の各々を見るのに費やした時間の割合を定義するデータを生成する手段を更に備え、データベースは、そのデータが対応する画像データ、音声データ、テキストデータ及び視線データと関連するようにデータを格納する構成であることを特徴とする請求項４６乃至４８のいずれか１項に記載の装置。
【請求項５０】
所定の期間は所定の人物が話をしていた期間であることを特徴とする請求項４９記載の装置。
【請求項５１】
画像データを処理する装置において、少なくとも１台のカメラにより記録され且つ複数の人物の動きを示す画像データを処理して、各人物がどこを見ているかを判定すると共に、複数の人物がどこを見ているかに基づいてどの人物が話しているかを判定する画像処理手段を備えることを特徴とする装置。
【請求項５２】
画像処理手段は、処理される画像データを提供する各カメラの位置と向きを定義するカメラ校正データを使用して画像データを処理することにより、各人物がどこを見ているかを判定するように構成されていることを特徴とする請求項５１記載の装置。
【請求項５３】
画像処理手段は、各人物の頭部の位置と向きを三次元で追跡するために画像データを処理することにより、各人物がどこを見ているかを判定するように構成されていることを特徴とする請求項５１又は５２記載の装置。
【請求項５４】
画像処理手段は、各々の人物を見ている人物の数に基づいてどの人物が話をしているかを判定するように構成されていることを特徴とする請求項５１乃至５３のいずれか１項に記載の装置。
【請求項５５】
画像処理手段は、各人物が誰を見ているかを定義する値を人物ごとに生成し且つそれらの値を処理して、話をしている人物を判定するように構成されていることを特徴とする請求項５４記載の装置。
【請求項５６】
画像処理手段は、話をしている人物が他の人物の大半が見ている人物であることを判定するように構成されていることを特徴とする請求項５１乃至５５のいずれか１項に記載の装置。
【請求項５７】
画像データ及び音声データを処理する方法において、
少なくとも１台のカメラにより記録され且つ複数の人物の動きを示す画像データを処理して、各人物がどこを見ているかを判定すると共に、複数の人物がどこを見ているかに基づいてどの人物が話しているかを判定する画像処理ステップと、
人物が話した言葉を定義する音声データを処理して、画像処理手段により実行される処理の結果に従って音声データからテキストデータを生成する音声処理ステップとを備えることを特徴とする方法。
【請求項５８】
音声処理ステップは、人物ごとに格納されているそれぞれの音声認識パラメータから、画像処理ステップで話をしていると判定された人物に従って音声データを処理するために使用すべき音声認識パラメータを選択するステップを含むことを特徴とする請求項５７記載の方法。
【請求項５９】
画像処理ステップでは、処理される画像データを提供する各カメラの位置と向きを定義するカメラ校正データを使用して画像データを処理することにより、各人物がどこを見ているかを判定することを特徴とする請求項５７又は５８記載の方法。
【請求項６０】
画像処理ステップでは、各人物の頭部の位置と向きを三次元で追跡するために画像データを処理することにより、各人物がどこを見ているかを判定することを特徴とする請求項５７乃至５９のいずれか１項に記載の方法。
【請求項６１】
画像処理ステップでは、各々の人物を見ている人物の数に基づいてどの人物が話をしているかを判定することを特徴とする請求項５７乃至６０のいずれか１項に記載の方法。
【請求項６２】
画像処理ステップでは、各人物が誰を見ているかを定義する値を人物ごとに生成し且つそれらの値を処理して、話をしている人物を判定することを特徴とする請求項６１記載の方法。
【請求項６３】
画像処理ステップでは、話をしている人物が他の人物の大半が見ている人物であることを判定することを特徴とする請求項５７乃至６２のいずれか１項に記載の方法。
【請求項６４】
画像データ、音声データ、音声処理手段により生成されるテキストデータ、及び各人物がどこを見ているかを定義する視線データをデータベースに格納するステップを更に含み、前記データベースは、対応するテキストデータと視線データとが互いに関連すると共に、対応する画像データ及び音声データとも関連するようにデータを格納することを特徴とする請求項５７乃至６３のいずれか１項に記載の方法。
【請求項６５】
画像データ及び音声データは圧縮された形態で格納されることを特徴とする請求項６４記載の方法。
【請求項６６】
画像データ及び音声データはMPEGデータとして格納されることを特徴とする請求項６５記載の方法。
【請求項６７】
所定の期間にわたり、その所定の期間中に所定の人物がその他の人物の各々を見るのに費やした時間の割合を定義するデータを生成するステップと、そのデータが対応する画像データ、音声データ、テキストデータ及び視線データと関連するようにデータをデータベースに格納するステップとを更に含むことを特徴とする請求項６４乃至６６のいずれか１項に記載の方法。
【請求項６８】
所定の期間は所定の人物が話をしていた期間であることを特徴とする請求項６７記載の方法。
【請求項６９】
データベースを格納されているデータと共に搬送する信号を発生するステップを更に含むことを特徴とする請求項６４乃至６８のいずれか１項に記載の方法。
【請求項７０】
信号の記録を生成するために信号を直接に又は間接的に記録するステップを更に含むことを特徴とする請求項６９記載の方法。
【請求項７１】
画像データを処理する方法において、少なくとも１台のカメラにより記録され且つ複数の人物の動きを示す画像データを処理して、各人物がどこを見ているかを判定すると共に、複数の人物がどこを見ているかに基づいてどの人物が話しているかを判定するステップを備えることを特徴とする方法。
【請求項７２】
処理される画像データを提供する各カメラの位置と向きを定義するカメラ校正データを使用して画像データを処理することにより、各人物がどこを見ているかを判定することを特徴とする請求項７１記載の方法。
【請求項７３】
各人物の頭部の位置と向きを三次元で追跡するために画像データを処理することにより、各人物がどこを見ているかを判定することを特徴とする請求項７１又は７２記載の方法。
【請求項７４】
各々の人物を見ている人物の数に基づいてどの人物が話をしているかを判定することを特徴とする請求項７１乃至７３のいずれか１項に記載の方法。
【請求項７５】
各人物が誰を見ているかを定義する値を人物ごとに生成し且つそれらの値を処理して、話をしている人物を判定することを特徴とする請求項７４記載の方法。
【請求項７６】
話をしている人物が他の人物の大半が見ている人物であることを判定することを特徴とする請求項７１乃至７５のいずれか１項に記載の方法。
【請求項７７】
プログラム可能処理装置を請求項３９乃至５６の少なくとも１項に記載の装置として構成させるための命令を格納することを特徴とする記憶装置。
【請求項７８】
プログラム可能処理装置を請求項５７乃至７６の少なくとも１項に記載の方法を実行するように動作可能にさせるための命令を格納することを特徴とする記憶装置。