【手続補正書】
【提出日】平成19年3月27日(2007.3.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラにより記録され且つ複数の人物の動きを示す画像データを受信する手段と、
どの人物が現在話しているかを判定する話者識別手段と、
話者の視線の先にいる人物を判定する手段と、
話者の位置と、話者の視線の先にいる人物の位置とを判定する手段と、
判定された話者及び話者の視線の先にいる人物の位置に基づいて、受信した画像データから画像データを選択するカメラ選択手段とを具備することを特徴とする画像処理装置。
【請求項２】
カメラ選択手段は、話者と話者の視線の先にいる人物の双方が現れている画像データを選択するように構成されていることを特徴とする請求項１記載の装置。
【請求項３】
カメラ選択手段は、少なくともカメラの一部が話者及び話者の視線の先にいる人物を捉えている複数の視野の画質を表す画質値を生成し、且つどのカメラが最高の画質を表す画質値を有しているかに基づいて画像データを選択するように構成されていることを特徴とする請求項２記載の装置。
【請求項４】
カメラ選択手段は、どのカメラが話者及び話者の視線の先にいる人物を捉える視野を有しているかを判定し、且つ話者及び話者の視線の先にいる人物を捉える視野を有しているカメラごとに画質値をそれぞれ生成するように構成されていることを特徴とする請求項３記載の装置。
【請求項５】
カメラ選択手段は、話者の頭部の位置及び向きと、話者の視線の先にいる人物の頭部の位置及び向きとに従って各画質値を生成するように構成されていることを特徴とする請求項３又は４記載の装置。
【請求項６】
カメラ選択手段は、
それぞれの対の位置ごとに画像データを選択すべきカメラを定義するデータを格納するデータ格納手段と、
データ格納手段に格納されたデータを使用して、話者及び話者の視線の先にいる人物の位置に従って画像データを選択する手段とを具備することを特徴とする請求項１又は２記載の装置。
【請求項７】
話者の視線の先にいる人物を判定する手段と、話者及び話者の視線の先にいる人物の位置を判定する手段とは、話者の視線の先にいる人物及び位置を判定するために少なくとも一台のカメラからの画像データを処理する画像処理手段を具備することを特徴とする請求項１乃至６のいずれか１項に記載の装置。
【請求項８】
画像処理手段は、少なくとも一台のカメラからの画像データを処理することにより、各人物及び各人物の視線の先にいる人物の位置を判定するように構成されていることを特徴とする請求項７記載の装置。
【請求項９】
画像処理装置は、各人物の頭部の位置及び向きを三次元で追跡するように構成されていることを特徴とする請求項７又は８記載の装置。
【請求項１０】
話者識別手段は、それぞれが対応する１人の人物に割り当てられている複数のマイクロホンからの音声データを受信し、且つ音声データが受信されたマイクロホンに基づいてどの人物が話しているかを判定するように構成されていることを特徴とする請求項１乃至９のいずれか１項に記載の装置。
【請求項１１】
人物が話した言葉を定義する音声データを処理して、話者識別手段により実行された処理の結果に従って音声データからテキストデータを生成する音声処理手段を更に具備することを特徴とする請求項１乃至１０のいずれか１項に記載の装置。
【請求項１２】
音声処理手段は、人物ごとの音声認識パラメータを格納する格納手段と、話者識別手段により現在話していると判定された人物に従って音声データを処理するために使用すべき音声認識パラメータを選択する手段とを含むことを特徴とする請求項１１記載の装置。
【請求項１３】
受信した画像データ、音声データ及び音声処理手段により生成されたテキストデータの少なくとも一部と、少なくとも現在話している人物の視線の先にいる人物を定義する視線データとを格納するデータベースを更に具備し、データベースは、対応するテキストデータと視線データとが互いに関連すると共に、対応する画像データ及び音声データとも関連するようにデータを格納すべく構成されていることを特徴とする請求項１１又は１２記載の装置。
【請求項１４】
データベースに格納するために画像データ及び音声データを圧縮する手段を更に具備することを特徴とする請求項１１記載の装置。
【請求項１５】
画像データ及び音声データを圧縮する手段は、画像データ及び音声データをMPEGデータとして符号化する手段を具備することを特徴とする請求項１４記載の装置。
【請求項１６】
所定の期間にわたり、その所定の期間中に所定の人物が他の人物をそれぞれ見るのに費やした時間の割合を定義するデータを生成する手段を更に具備し、データベースは、データが対応する画像データ、音声データ、テキストデータ及び視線データと関連するようにデータを格納するように構成されていることを特徴とする請求項１３乃至１５のいずれか１項に記載の装置。
【請求項１７】
所定の期間は、所定の人物が話をしていた期間であることを特徴とする請求項１６記載の装置。
【請求項１８】
複数のカメラにより記録され且つ複数の人物の動きを示す画像データを受信する手段と、
どの人物が現在話しているかを判定する話者識別手段と、
話者の視線の先にある物体を判定する手段と、
話者の位置及び話者の視線の先にある物体の位置を判定する手段と、
判定された話者及び話者の視線の先にある物体の位置に基づいて、受信した画像データから画像データを選択するカメラ選択手段とを具備することを特徴とする画像処理装置。
【請求項１９】
複数のカメラにより記録された、複数の人物の動きを示す画像データを処理して、格納するための画像データを選択する方法であって、
どの人物が現在話しているかを判定する話者識別ステップと、
話者の視線の先にいる人物を判定するステップと、
話者の位置と、話者の視線の先にいる人物の位置とを判定するステップと、
判定された話者及び話者の視線の先にいる人物の位置に基づいて、画像データを選択するカメラ選択ステップとを備えることを特徴とする方法。
【請求項２０】
カメラ選択ステップでは、話者と話者の視線の先にいる人物の双方が現れている画像データを選択することを特徴とする請求項１９記載の方法。
【請求項２１】
カメラ選択ステップでは、少なくともカメラの一部が話者及び話者の視線の先にいる人物を捉えている複数の視野の画質を表す画質値を生成し、且つどのカメラが最高の画質を表す画質値を有しているかに基づいて画像データを選択することを特徴とする請求項２０記載の方法。
【請求項２２】
カメラ選択ステップでは、どのカメラが話者及び話者の視線の先にいる人物を捉える視野を有しているかを判定し、且つ話者及び話者の視線の先にいる人物を捉える視野を有しているカメラごとに画質値をそれぞれ生成するように処理を実行することを特徴とする請求項２１記載の方法。
【請求項２３】
カメラ選択ステップでは、話者の頭部の位置及び向きと、話者の視線の先にいる人物の頭部の位置及び向きとに従って各画質値を生成することを特徴とする請求項２１又は２２記載の方法。
【請求項２４】
カメラ選択ステップでは、それぞれの対の位置ごとに画像データを選択すべきカメラを定義する事前格納済みデータを使用して、話者及び話者の視線の先にいる人物の位置に従って画像データを選択することを特徴とする請求項１９又は２０記載の方法。
【請求項２５】
話者の視線の先にいる人物を判定するステップ及び話者及び話者の視線の先にいる人物の位置を判定するステップでは、話者の視線の先にいる人物及び位置を判定するために少なくとも一台のカメラからの画像データを処理することを特徴とする請求項１９から２４のいずれか１項に記載の方法。
【請求項２６】
前記少なくとも一台のカメラからの画像データを処理して、各人物及び各人物の視線の先にいる人物の位置を判定することを特徴とする請求項２５記載の方法。
【請求項２７】
各人物の頭部の位置及び向きを三次元で追跡するように画像データを処理することを特徴とする請求項２５又は２６記載の方法。
【請求項２８】
それぞれが対応する１人の人物に割り当てられている複数のマイクロホンからの音声データを受信し、且つ話者識別過程では、音声データが受信されたマイクロホンに基づいてどの人物が話しているかを判定することを特徴とする請求項１９乃至２６のいずれか１項に記載の方法。
【請求項２９】
人物が話した言葉を定義する音声データを処理して、話者識別過程により実行された処理の結果に従って音声データからテキストデータを生成する音声処理ステップを更に含むことを特徴とする請求項１９乃至２８のいずれか１項に記載の方法。
【請求項３０】
音声処理ステップは、人物ごとに格納されている音声認識パラメータの中から、話者識別過程により現在話していると判定された人物に従って音声データを処理するために使用すべき音声認識パラメータを選択することを特徴とする請求項２９記載の方法。
【請求項３１】
受信した画像データ、音声データ及び音声処理過程で生成されたテキストデータの少なくとも一部と、少なくとも現在話している人物の視線の先にいる人物を定義する視線データとをデータベースに格納するステップを更に含み、データは、対応するテキストデータと視線データとが互いに関連すると共に、対応する画像データ及び音声データとも関連するようにデータベースに格納されることを特徴とする請求項２９又は３０記載の方法。
【請求項３２】
画像データ及び音声データは 圧縮された形態でデータベースに格納されることを特徴とする請求項３１記載の方法。
【請求項３３】
画像データ及び音声データはMPEGデータとして格納されることを特徴とする請求項３２記載の方法。
【請求項３４】
所定の期間にわたり、その所定の期間中に所定の人物が他の人物をそれぞれ見るのに費やした時間の割合を定義するデータを生成するステップと、データが対応する画像データ、音声データ、テキストデータ及び視線データと関連するようにデータをデータベースに格納するステップとを更に含むことを特徴とする請求項３１乃至３３のいずれか１項に記載の方法。
【請求項３５】
所定の期間は、所定の人物が話をしていた期間であることを特徴とする請求項３４記載の方法。
【請求項３６】
カメラ選択ステップで選択された画像データを定義する情報を搬送する信号を発生するステップを更に含むことを特徴とする請求項１９乃至３５のいずれか１項に記載の方法。
【請求項３７】
データベースを格納されているデータと共に搬送する信号を発生するステップを更に含むことを特徴とする請求項３１乃至３５のいずれか１項に記載の方法。
【請求項３８】
信号を直接に又は間接的に記録して、その記録を生成するステップを更に含むことを特徴とする請求項３７記載の方法。
【請求項３９】
複数のカメラにより記録された、複数の人物の動きを示す画像データを処理して、格納するために画像データを選択する方法であって、
どの人物が現在話しているかを判定する話者識別ステップと、
話者の視線の先にある物体を判定するステップと、
話者の位置及び話者の視線の先にある物体の位置を判定するステップと、
判定された話者及び話者の視線の先にある物体の位置に基づいて、画像データを選択するカメラ選択ステップとを備えることを特徴とする方法。
【請求項４０】
プログラム可能処理装置を請求項１乃至１８の少なくとも１項に記載の装置として構成させるための命令を格納することを特徴とする記憶装置。
【請求項４１】
プログラム可能処理装置を請求項１９乃至３９の少なくとも１項に記載の方法を実行可能な状態にさせるための命令を格納することを特徴とする記憶装置。