【手続補正書】
【提出日】平成19年3月15日(2007.3.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
会議映像情報から、当該会議映像中における会議の参加者の状態としてい定義される１以上の物理事象を含む部分映像情報を抽出する抽出手段と、
前記抽出手段によって抽出された部分会議映像情報について前記１以上の物理事象を抽象化した機能行為に基づいて、前記部分会議映像情報に対して索引を付加する付加手段とを備えることを特徴とする会議映像処理装置。
【請求項２】
前記会議映像処理装置は更に、前記付加手段によって付加された索引結果に基づいて、前記会議映像情報を要約した会議映像を作成する作成手段を備えることを特徴とする請求項１記載の会議映像処理装置。 
【請求項３】
前記会議映像処理装置は更に、前記作成手段により要約した会議映像を記録する記録手段を備えることを特徴とする請求項２に記載の会議映像処理装置。 
【請求項４】
前記会議映像処理装置は更に、同じ時間帯に撮影した前記会議映像が複数あった際に、これらの会議映像を同期させる同期手段を備えることを特徴とする請求項１から請求項３のいずれか一項に記載の会議映像処理装置。 
【請求項５】
前記付加手段は、前記１以上の物理事象の所要時間の論理和から前記機能行為の所要時間を算出することを特徴とする請求項１から請求項４のいずれか一項に記載の会議映像処理装置。 
【請求項６】
前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者のジェスチャーから前記機能行為を特定することを特徴とする請求項１から請求項５のいずれか一項に記載の会議映像処理装置。 
【請求項７】
前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の口の動きから前記機能行為を特定することを特徴とする請求項１から請求項６のいずれか一項に記載の会議映像処理装置。 
【請求項８】
前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の視線から前記機能行為を特定することを特徴とする請求項１から請求項７のいずれか一項に記載の会議映像処理装置。 
【請求項９】
前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の頭部の動きから前記機能行為を特定することを特徴とする請求項１から請求項８のいずれか一項に記載の会議映像処理装置。 
【請求項１０】
前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の物を書く動作から前記機能行為を特定することを特徴とする請求項１から請求項９のいずれか一項に記載の会議映像処理装置。 
【請求項１１】
前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の椅子から立ち上がる動作から前記機能行為を特定することを特徴とする請求項１から請求項１０のいずれか一項に記載の会議映像処理装置。 
【請求項１２】
前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の所定の入力装置へのタイピング動作から前記機能行為を特定することを特徴とする請求項１から請求項１１のいずれか一項に記載の会議映像処理装置。 
【請求項１３】
前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の顔の表情から前記機能行為を特定することを特徴とする請求項１から請求項１２のいずれか一項に記載の会議映像処理装置。 
【請求項１４】
前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の音声データに基づいて前記機能行為を特定することを特徴とする請求項１から請求項１３のいずれか一項に記載の会議映像処理装置。 
【請求項１５】
前記作成手段は、前記機能行為のうちの発言、質問、発言型共有情報空間操作、質問型共有情報空間操作もしくは不発言型共有情報空間操作である能動的機能行為または発言型思考の機能行為を集めた振り返り用の会議映像を作成することを特徴とする請求項２から請求項１４のいずれか一項に記載の会議映像処理装置。 
【請求項１６】
前記作成手段は、前記機能行為のうちの発言、質問、発言型思考または発言型共有情報空間操作を集めた閲覧用の会議映像を作成することを特徴とする請求項２から請求項１５のいずれか一項に記載の会議映像処理装置。 
【請求項１７】
前記作成手段は、前記機能行為のうちの発言、発言型思考または発言型共有情報空間操作を集めた役員用の会議映像を作成することを特徴とする請求項２から請求項１６のいずれか一項に記載の会議映像処理装置。 
【請求項１８】
会議映像情報から、当該会議映像中における会議の参加者の状態としてい定義される１以上の物理事象を含む部分映像情報を抽出する抽出ステップ、
前記抽出手段によって抽出された部分会議映像情報について前記１以上の物理事象を抽象化した機能行為に基づいて、前記部分会議映像情報に対して索引を付加する付加ステップをコンピュータに実行させるためのプログラム。 
【請求項１９】
前記プログラムは更に、前記付加ステップによって付加された索引結果に基づいて、前記会議映像情報を要約した会議映像を作成する作成ステップを前記コンピュータに実行させることを特徴とする請求項１８記載のプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記課題を解決するために、本発明の会議映像処理装置は、請求項１記載のように、会議映像情報から、当該会議映像中における会議の参加者の状態としてい定義される１以上の物理事象を含む部分映像情報を抽出する抽出手段と、前記抽出手段によって抽出された部分会議映像情報について前記１以上の物理事象を抽象化した機能行為に基づいて、前記部分会議映像情報に対して索引を付加する付加手段とを備えることを特徴とする。請求項１記載の発明によれば、１以上の物理事象を抽象化した機能行為に基づいて会議映像情報を編集することができる。これにより、会議後に会議映像を視聴する者にとって有用な会議映像を提供できる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明は、請求項５に記載のように、請求項１から請求項４のいずれか一項に記載の会議映像処理装置において、前記付加手段は、前記１以上の物理事象の所要時間の論理和から前記機能行為の所要時間を算出することを特徴とする。請求項５記載の発明によれば、１以上の物理事象の所要時間の論理和から機能行為の所要時間を算出することで、物理事象を抽象化することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、本発明は、請求項６に記載のように、請求項１から請求項５のいずれか一項に記載の会議映像処理装置において、前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者のジェスチャーから前記機能行為を特定することを特徴とする。請求項６記載の発明によれば、会議参加者のジェスチャーから物理事象を抽象化した機能行為を特定できる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明は、請求項７に記載のように、請求項１から請求項６のいずれか一項に記載の会議映像処理装置において、前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の口の動きから前記機能行為を特定することを特徴とする。請求項７記載の発明によれば、会議参加者の口の動きから物理事象を抽象化した機能行為を特定できる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明は、請求項８に記載のように、請求項１から請求項７のいずれか一項に記載の会議映像処理装置において、前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の視線から前記機能行為を特定することを特徴とする。請求項８記載の発明によれば、会議参加者の視線から物理事象を抽象化した機能行為を特定できる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、本発明は、請求項９に記載のように、請求項１から請求項８のいずれか一項に記載の会議映像処理装置において、前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の頭部の動きから前記機能行為を特定することを特徴とする。請求項９記載の発明によれば、会議参加者の頭部の動きから物理事象を抽象化した機能行為を特定できる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、本発明は、請求項１０に記載のように、請求項１から請求項９のいずれか一項に記載の会議映像処理装置において、前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の物を書く動作から前記機能行為を特定することを特徴とする。請求項１０記載の発明によれば、会議参加者の物を書く動作から物理事象を抽象化した機能行為を特定できる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、本発明は、請求項１１に記載のように、請求項１から請求項１０のいずれか一項に記載の会議映像処理装置において、前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の椅子から立ち上がる動作から前記機能行為を特定することを特徴とする。請求項１１記載の発明によれば、会議参加者の椅子から立ち上がる動作から物理事象を抽象化した機能行為を特定できる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
また、本発明は、請求項１２に記載のように、請求項１から請求項１１のいずれか一項に記載の会議映像処理装置において、前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の所定の入力装置へのタイピング動作から前記機能行為を特定することを特徴とする。請求項１２記載の発明によれば、会議参加者の入力装置へのタイピング動作から物理事象を抽象化した機能行為を特定できる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、本発明は、請求項１３に記載のように、請求項１から請求項１２のいずれか一項に記載の会議映像処理装置において、前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の顔の表情から前記機能行為を特定することを特徴とする。請求項１３記載の発明によれば、会議参加者の顔の表情から物理事象を抽象化した機能行為を特定できる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
また、本発明は、請求項１４に記載のように、請求項１から請求項１３のいずれか一項に記載の会議映像処理装置において、前記付加手段は、少なくとも前記部分会議映像情報に含まれる会議参加者の音声データに基づいて前記機能行為を特定することを特徴とする。請求項１４記載の発明によれば、音声データに基づいて物理事象を抽象化した機能行為を特定できる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、本発明は、請求項１５に記載のように、請求項２から請求項１４のいずれか一項に記載の会議映像処理装置において、前記作成手段は、前記機能行為のうちの発言、質問、発言型共有情報空間操作、質問型共有情報空間操作もしくは不発言型共有情報空間操作である能動的機能行為または発言型思考の機能行為を集めた振り返り用の会議映像を作成することを特徴とする。請求項１５記載の発明によれば、会議に参加した人が後で参加した会議の映像を振り返って見る際に便利な会議映像を作成できる。例えば、参加者は能動的機能行為または発言型思考の機能行為の中から任意の機能行為を選んで振り返り用の会議映像を作成することもできる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、本発明は、請求項１６に記載のように、請求項２から請求項１５のいずれか一項に記載の会議映像処理装置において、前記作成手段は、前記機能行為のうちの発言、質問、発言型思考または発言型共有情報空間操作を集めた閲覧用の会議映像を作成することを特徴とする。請求項１６記載の発明によれば、会議に参加していない人が会議の映像を閲覧する際に便利な会議映像を作成できる。この閲覧用の会議映像は振り返り用の会議映像を更に要約したものである。参加者は閲覧用の会議映像に該当する機能行為の中から任意の機能行為を選んで閲覧用の会議映像を作成することもできる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
また、本発明は、請求項１７に記載のように、請求項２から請求項１６のいずれか一項に記載の会議映像処理装置において、前記作成手段は、前記機能行為のうちの発言、発言型思考または発言型共有情報空間操作を集めた役員用の会議映像を作成することを特徴とする。請求項１７記載の発明によれば、役員等のエグゼクティブな人が会議の映像を見る際に便利な会議映像を作成できる。この役員用の会議映像は振り返り用の会議映像を更に要約したものである。参加者は役員用の会議映像に該当する機能行為の中から任意の機能行為を選んで役員用の会議映像を作成することもできる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】削除
【補正の内容】
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】削除
【補正の内容】
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
また、本発明のプログラムは、請求項１８に記載のように、会議映像情報から、当該会議映像中における会議の参加者の状態としてい定義される１以上の物理事象を含む部分映像情報を抽出する抽出ステップ、前記抽出手段によって抽出された部分会議映像情報について前記１以上の物理事象を抽象化した機能行為に基づいて、前記部分会議映像情報に対して索引を付加する付加ステップをコンピュータに実行させる。請求項１８記載の発明によれば、１以上の物理事象を抽象化した機能行為に基づいて会議映像情報を編集することができる。これにより、会議後に会議映像を視聴する者にとって有用な会議映像を提供できる。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
また、本発明は、請求項１９に記載のように、請求項１８記載のプログラムにおいて、更に、前記付加ステップによって付加された索引結果に基づいて、前記会議映像情報を要約した会議映像を作成する作成ステップを前記コンピュータに実行させることを特徴とする。請求項１９記載の発明によれば、機能行為に基づいて会議映像情報を要約した会議映像を作成するので、会議後に会議映像を視聴する者にとって有用な会議映像を提供できる。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
次に、要約規則生成ステップＳ３１について詳細に説明する。図８は、要約規則生成ステップＳ３１の詳細を示すフローチャートである。要約規則生成ステップＳ３１は、要約メニュー１８ｂの中の「振り返り用の会議映像」、「閲覧用の会議映像」および「役員用の会議映像」を選択することにより処理が始まる。ここで、振り返り用の会議映像とは、会議に参加した人が後で参加した会議の映像を振り返って見る際に便利な会議映像である。閲覧用の会議映像とは、会議に参加していない人が会議の映像を閲覧する際に便利な会議映像である。役員用の会議映像とは、役員等のエグゼクティブな人が会議の映像を見る際に便利な会議映像である。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
バック・チャネルとは、参加者が議論を続ける場合の確認のサインを意味する。例えば、うなずきまたは「へぇー」などの短い言語的なメッセージがバック・チャネルに該当する。質問とは、回答者に対して発言権をオープンのままにする質問を意味する。確認の質問とは、回答者に対して発言権を与えないことを意図した質問を意味する。この確認の質問は、通常短いメッセージである。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】０１３５
【補正方法】変更
【補正の内容】
【０１３５】
事象索引付けステップＳ５１においては、索引付加部５は、メディア層２２ｃに対応する映像データの索引付けを行う。具体的には、索引付加部５は、部分会議映像抽出部４において抽出された部分会議映像データから会議参加者の視線やうなずきなどの各物理事象を特定し、索引付けおよび映像データの構造化を行う。機能行為索引付けステップＳ５２においては、索引付加部５は、機能行為層２２ｂに対応する映像データの索引付けを行う。具体的には、索引付加部５は、メディア層２２ｃとして構造化された物理事象の索引データに基づいて機能行為を特定し、索引付けおよび映像データの構造化を行う。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】０１３８
【補正方法】変更
【補正の内容】
【０１３８】
なお、上記において、シーンの境界を特定する際には、金子らの“ゆう度比検定を用いたＭＰＥＧビットストリームからの動画像カット検出手法”,電子情報通信学会論文誌D-II vol. J82-D-II, No.3, pp.361-370(1990)を用いることができる。また、複数のカットで一つのシーンが構成されている場合には、Boreczkyらの“An Interactive Comic Book Presentation for Exploring Video”, CHI2000 CHI Letters, volume 2, issue 1, pp.185-192,(2000)において利用されているクラスタリング手法を用いて、複数のカットを一つのシーンとしてまとめて取り扱うことができる。Boreczkyらは、ビデオのすべてのフレームをクラスタリングしている。ここでは、フレームは、階層的集団クラスタリング技術(hierarchical agglomerative clustering technique)のいわゆる完全リンク法(complete link method)を使ってクラスタリングされる。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】０１４３
【補正方法】変更
【補正の内容】
【０１４３】
次に、索引付加部５における機能行為の特定方法について説明する。索引付加部５は、１以上の物理事象の所要時間の論理和から機能行為の所要時間を算出する。この機能行為の所要時間は、機能行為の開始時刻と機能行為の終了時刻から特定することが可能で、前述の機能行為索引付けに利用することができる。つまり、機能行為の所要時間を映像データの構造化に応用することができる。また、索引付加部５は、部分会議映像情報に含まれる会議参加者のジェスチャー、会議参加者の口の動き、会議参加者の視線、会議参加者の頭部の動き、会議参加者の物を書く動作、会議参加者の椅子から立ち上がる動作、会議参加者の所定の入力装置へのタイピング動作、会議参加者の顔の表情、会議参加者の音声データなどから機能行為を特定する。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】０１６７
【補正方法】変更
【補正の内容】
【０１６７】
次に、バックチャネル(Backchannel)の場合について説明する。図２１は、バックチャネル(Backchannel)の機能行為に関するタイムラインの図である。図２１の横軸は時間(の経過)を示す。図２１の(a)バックチャネル(うなずき)の動画像源データ、(b)バックチャネルのジェスチャー(うなずきに伴う「手を叩く」動作)の画像データ、(c)バックチャネル(うなずき)の首を振る動作の画像データ、(d)会議参加者の口の動きの画像データ、および(e)バックチャネル(「へぇー」)の音声データは、前述のメディア層のデータと捉えることができる。一方、(f)バックチャネルとして特定される所要時間(時間帯)は、機能行為層のデータと捉えることができる。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】０１６９
【補正方法】変更
【補正の内容】
【０１６９】
ここで、会議参加者としてAliceが会議に参加している場合に、そのAliceがバックチャネルをしようとしたとき、上述の(a)バックチャネルの動画像源データ、(b)バックチャネルのAliceのジェスチャー(Aliceの手を叩く動作)の画像データ、(c)Aliceのうなずき(首を振る動作)の画像データ、(d)会議参加者Aliceの口の動きの画像データ、および(e)バックチャネル(Aliceの「へぇー」)の音声データは、すべてAliceに関するメディア層のデータと捉えることができる。また、(e)バックチャネルとして特定される所要時間(時間帯)は、Aliceに関する機能行為層のデータと捉えることができる。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
ここで、うなずき(首を振る動作)の画像データの所要時間などの特定には、前田らの「自然対話におけるジェスチャーの相互的関係の分析」情報処理学会研究報告Vol.2003, No.9,ヒューマンインタフェース102-7(2003.1.31),pp.39-46の方法を利用することができる。また、頭部位置の位置および姿勢の検出に関しては、藤井らの「大型情報表記環境のための頭部位置・姿勢検出手法とその応用」情報処理学会研究報告Vol.2002, No.38,ヒューマンインタフェース98-6(2002.5.17),pp.33-40に記載の手法を利用することができる。また、首振り動作の検出については、久保らの「首振り動作による障害者用PC操作支援ツールの検討」電子情報通信学会技術報告HCS2000-5(2000-04),pp.29-36記載の方法を利用することができる。