(57)【要約】【課題】オーディオビジュアルプレゼンテーションのコンテンツを要約及び索引付けするための方法及び装置。【解決手段】オーディオビジュアルプレゼンテーションの要約作成方法は、オーディオビジュアルプレゼンテーションのフレームをセグメント化することから始まる。その次に、セグメント化されたフレームのスライド領域が識別される。そして、スライド領域の中にある線を表わすヒストグラムが生成される。次に、逐次フレームと関連付けられる動領域がヒストグラムから削除される。コンピュータ可読媒体、リアルタイムのミーティング要約作成を可能にするシステム、及び集積回路も提供している。【選択図】  図１
2005108225.tif 000002
【特許請求の範囲】
【請求項１】
画像データをセグメント化するための方法であって、
画像データの現フレームと関連付けられる画素を識別し、
現フレームと関連付けられた画素の周囲の画素からなる近傍を識別し、該識別作業は、
３次元近傍を生成することを含み、
現フレームと関連付けられた画素と画素近傍と関連付けられた各画素との距離を比較して最小距離を判定し、
その最小距離に基づいて現フレームと関連付けられた画素が画像データの現セグメントに属するかどうか判定してなることを特徴とする方法。
【請求項２】
現フレームと関連付けられた画素が画像データの現セグメントに属するかどうか判定する方法操作は、
しきい値を確立し、
そのしきい値を最小距離と比較することを含み、最小距離がしきい値に満たなければ、現フレームと関連付けられた画素は現セグメントに属することを特徴とする請求項１に記載の方法。
【請求項３】
３次元近傍を生成する方法操作は、
近傍の現フレームの将来画素値の代わりに過去フレームの画素と関連付けられた画素値を代入することを含むことを特徴とする請求項１に記載の方法。
【請求項４】
３次元近傍は現フレームからの２次元と過去フレームからの１次元を有することを特徴とする請求項１に記載の方法。
【請求項５】
方法操作は画像データの現フレーム全体を一回のパスで完了することを特徴とする請求項１に記載の方法。
【請求項６】
オーディオビジュアルプレゼンテーションの要約を作成するための方法であって、
オーディオビジュアルプレゼンテーションのフレームをセグメント化し、
セグメント化されたフレームのスライド領域を識別し、
スライド領域の中の線を表わすヒストグラムを生成し、
逐次フレームと関連付けられる動領域をヒストグラムから削除してなることを特徴とする方法。
【請求項７】
スライド領域と関連付けられる保持されたスライドからヒストグラムを生成し、
スライド領域の中の線を表わすヒストグラムを、保持されたスライドからのヒストグラムと突き合せることをさらに有することを特徴とする請求項６に記載の方法。
【請求項８】
セグメント化されたフレームのスライド領域を識別する方法操作は、
スライド領域の形状比を判定することを含むことを特徴とする請求項６に記載の方法。
【請求項９】
スライド領域の中の線を表わすヒストグラムを生成する方法操作は、
スライド領域のテキスト及び図形のエッジを検出し、
エッジを表わすデータをパラメータ空間に変換することを含むことを特徴とする請求項６に記載の方法。
【請求項１０】
逐次フレームと関連付けられる動領域をヒストグラムから削除する方法操作は、
前景シルエットをキャプチャし、
その前景シルエットをコピーし、
コピーされた前景シルエットに最新のタイムスタンプを割り当て、
モーションマスクを生成することを含み、該モーションマスク内に在するエッジはヒストグラムから除外されることを特徴とする請求項６に記載の方法。
【請求項１１】
オーディオビジュアルプレゼンテーションのフレームをセグメント化する方法操作は、
因果的順序でフレームの各画素値を近傍の画素値と比較することを含むことを特徴とする請求項６に記載の方法。
【請求項１２】
近傍画素値は５個の近傍の画素値を含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
５個の近傍の画素値には、そのフレームからの２個の前の隣接する画素値と、前のフレームからの対応する画素値と、前のフレームからの２個の隣接する画素値とがあることを特徴とする請求項１２に記載の方法。
【請求項１４】
画像データをセグメント化するためのプログラム命令を有するコンピュータ可読媒体であって、
画像データの現フレームと関連付けられる画素を識別するためのプログラム命令と、
現フレームと関連付けられた画素の周囲の画素からなる近傍を定義するためのプログラム命令とを有し、該定義するための命令は、
３次元の近傍を生成するためのプログラム命令を含み、
現フレームと関連付けられる画素と画素近傍と関連付けられる各画素との距離を比較して最小距離を判定するためのプログラム命令と、
最小距離に基づいて現フレームと関連付けられた画素が画像データの現セグメントに属しているかどうか判定するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
【請求項１５】
現フレームと関連付けられた画素が画像データの現セグメントに属しているかどうか判定するためのプログラム命令は、
しきい値を確立するためのプログラム命令と、
しきい値を最小距離と比較するためのプログラム命令とを含み、最小距離がしきい値よりも小さければ現フレームと関連付けられた画素は現セグメントに属することを特徴とする請求項１４に記載のコンピュータ可読媒体。
【請求項１６】
３次元近傍を生成するためのプログラム命令は、
近傍の現フレームの将来画素値の代わりに過去フレームの画素と関連付けられた画素値を代入するためのプログラム命令を含むことを特徴とする請求項１４に記載のコンピュータ可読媒体。
【請求項１７】
オーディオビジュアルプレゼンテーションの要約を作成するための命令プログラムを有するコンピュータ可読媒体であって、
オーディオビジュアルプレゼンテーションのフレームをセグメント化するためのプログラム命令と、
セグメント化されたフレームのスライド領域を識別するためのプログラム命令と、
スライド領域の中の線を表わすヒストグラムを生成するためのプログラム命令と、
逐次フレームと関連付けられた動領域をヒストグラムから削除するためのプログラム命令とを有することを特徴とするコンピュータ可読媒体。
【請求項１８】
スライド領域と関連付けられる保持されたスライドからヒストグラムを生成するためのプログラム命令と、
スライド領域の中の線を表わすヒストグラムを、保持されているスライドからのヒストグラムと突き合せるためのプログラム命令とをさらに有することを特徴とする請求項１７に記載のコンピュータ可読媒体。
【請求項１９】
セグメント化されたフレームのスライド領域を識別するためのプログラム命令は、
スライド領域の形状比を判定するためのプログラム命令を含むことを特徴とする請求項１７に記載のコンピュータ可読媒体。
【請求項２０】
スライド領域の中の線を表わすヒストグラムを生成するためのプログラム命令は、
スライド領域のテキスト及び図形のエッジを検出するためのプログラム命令と、
エッジを表わすデータをパラメータ空間に変換するためのプログラム命令とを含むことを特徴とする請求項１７に記載のコンピュータ可読媒体。
【請求項２１】
逐次フレームと関連付けられた動領域をヒストグラムから削除するためのプログラム命令は、
前景シルエットをキャプチャするためのプログラム命令と、
前景シルエットをコピーするためのプログラム命令と、
コピーされた前景シルエットに最新のタイムスタンプを割り当てるためのプログラム命令と、
モーションマスクを生成するためのプログラム命令とを含み、モーションマスク内に在するエッジはヒストグラムから除外されることを特徴とする請求項１７に記載のコンピュータ可読媒体。
【請求項２２】
オーディオビジュアルプレゼンテーションをキャプチャ及び要約するように構成されたシステムであって、
プレゼンテーションからオーディオ信号及びビデオ信号をキャプチャできる記録装置と、
その記録装置と通信しているコンピューティング装置とからなり、コンピューティング装置はオーディオビジュアルプレゼンテーションのオーディオビジュアルデータにアクセスすることができ、コンピューティング装置にはスライドセグメンテーションモジュールがあり、スライドセグメンテーションモジュールは単一パスのカラーセグメンテーションスキームに従ってビデオ信号のフレームからスライド領域を抽出するように構成されていることを特徴とするシステム。
【請求項２３】
記録装置はカムコーダであることを特徴とする請求項２２に記載のシステム。
【請求項２４】
コンピューティング装置にはショット検出モジュールがあり、ショット検出モジュールはビデオ信号の隣接フレーム間でスライド領域のエッジ情報を比較するように構成されていることを特徴とする請求項２２に記載のシステム。
【請求項２５】
コンピューティング装置にはモーション抑制モジュールがあり、モーション抑制モジュールはスライド領域の前を動くことによって生じたアーティファクトを削除するように構成されていることを特徴とする請求項２４に記載のシステム。
【請求項２６】
スライドセグメンテーションモジュールはさらに、現フレームからの画素値を現フレームからの隣接画素値及び前のフレームからの隣接画素値の両方と比較するように構成され、前のフレームからの隣接画素値は現フレームの将来画素の位置に対応することを特徴とする請求項２２に記載のシステム。
【請求項２７】
スライドセグメンテーションモジュールはさらに、スライド領域を抽出するのに使用するために３次元の近傍を作成するように構成され、３次元近傍は現フレームにおける２次元と前のフレームにおける１次元を含んでいることを特徴とする請求項２２に記載のシステム。
【請求項２８】
リアルタイムでミーティング要約作成ができるように構成されたシステムであって、
ミーティングと関連付けられるプレゼンテーションをキャプチャするように構成された画像キャプチャ装置を備え、
キャプチャされたプレゼンテーションデータを画像キャプチャ装置から受け取るように構成されたメディアサーバを備え、メディアサーバはミーティングに使用するプレゼンテーションメディアのコピーにアクセスでき、メディアサーバはさらにキャプチャされたプレゼンテーションデータからプレゼンテーションに対応する要約データを生成するように構成されており、要約データはミーティングのプレゼンテーションメディアの変化点と関連付けられ、さらに
メディアサーバと通信しているクライアントを備え、クライアントは要約データを受け取れることを特徴とするシステム。
【請求項２９】
プレゼンテーションメディアはスライドプレゼンテーションであることを特徴とする請求項２８に記載のシステム。
【請求項３０】
画像キャプチャ装置及びメディアサーバと通信しているコンピューティング装置をさらに備え、コンピューティング装置はスライドセグメンテーションモジュールを有し、スライドセグメンテーションモジュールは単一パスのカラーセグメンテーションスキームに従ってプレゼンテーションのフレームからスライド領域を抽出するように構成されており、コンピューティング装置はさらにビデオ信号の隣接フレーム間でスライド領域のエッジ情報を比較するように構成されたショット検出モジュールを有し、ショット検出モジュールにはモーション抑制モジュールがあり、モーション抑制モジュールはスライド領域の前で動くことによって生じたアーティファクトを削除するように構成されていることを特徴とする請求項２８に記載のシステム。
【請求項３１】
要約データは、対応するプレゼンテーションメディアのコピーと関連付けられるプレゼンテーションメディアの変化点のイメージを有する目次であることを特徴とする請求項２８に記載のシステム。
【請求項３２】
プレゼンテーションメディアの変化点はミーティングでスライドが変わる時点と関連付けられることを特徴とする請求項２８に記載のシステム。
【請求項３３】
集積回路であって、
画像データのフレームを領域にセグメント化するように構成されたセグメンテーション回路機構を備え、セグメンテーション回路機構は領域それぞれと関連付けられるカラー特性及び形状特性を分析して領域の一つをスライド領域として識別できるものであり、さらに
画像データの隣接フレーム間を比較してスライド領域のエッジ情報を分析することにっよりフレームと関連付けられるフレームグループを識別するように構成されたショット検出回路機構を備えることを特徴とする集積回路。
【請求項３４】
さらにテンプレートマッチング回路機構を備え、テンプレートマッチング回路機構はフレームグループを表わすキーフレームをオリジナルスライド領域と突き合せるように構成されていることを特徴とする請求項３３に記載の集積回路。
【請求項３５】
ショット検出回路機構はさらに、
スライド領域の前を動くことによって生じたアーティファクトを削除するように構成されたモーション抑制回路機構があることを特徴とする請求項３３に記載の集積回路。
【請求項３６】
セグメンテーション回路機構はさらに、スライド領域を識別する際に使用する３次元近傍を定義するように構成されており、３次元近傍には画像データの現フレームにおける２次元と画像データの前のフレームにおける１次元とが含まれることを特徴とする請求項３３に記載の集積回路。
【請求項３７】
モーション抑制回路機構は、
前景シルエットをキャプチャするための回路機構と、
前景シルエットをコピーするための回路機構と、
コピーされた前景シルエットに最新のタイムスタンプを割り当てるための回路機構と、
アーティファクトを除外するためのモーションマスクを生成するための回路機構とを含んでいることを特徴とする請求項３５に記載の集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には情報処理に関し、より具体的にはオーディオビジュアルプレゼンテーションのコンテンツの要約作成及び索引付けを行なうための方法及び装置に関する発明である。
【背景技術】
【０００２】
プレゼンテーションは、重要なよく使われる通信手段である。学術及び産業の分野で、そうしたプレゼンテーションのキャプチャは後からオンラインで見るために遠隔教育や技術研修といった用途で日常的になってきている。インターネットはいつでもどこでも使えるから、セミナーを記録し、コンテンツをオンラインに載せることにより、ユーザはどこにいても、いつでも、また誰でも見ることができるようになる。さらに、セミナーで複数のプレゼンテーションが同時に行われている場合には、出席したいプレゼンテーションが一つ以上あっても、同時に行なわれている複数のプレゼンテーションのうちの一つを選んで出席するしかない。
【０００３】
自動ビデオ要約作成の今までの作業は、大きく分けて３つのエリアのうちの一つに入れられるのが特徴と言えるかもしれない：セグメンテーション、分析、及びプレゼンテーション。セグメンテーションにはビデオフレームの区分化が伴う。オーディオビジュアルプレゼンテーションのドメインについて言えば、セグメンテーションには照明状況、話し手の動き、カメラのパン／ズームの変化を考慮しなければならない。オーディオビジュアルプレゼンテーションをセグメント化する現在使用可能な技法の欠点の一つは、変化する照明状況、話し手の動き、カメラのパン／ズームに有効に対応できないことである。さらに、一旦セグメント化されてしまったらオーディオビジュアルコンテンツに索引付けできる使用可能な技法はないし、ユーザが簡単に検索できるようにコンテンツを要約するための技法もない。ユーザが計算資源の限られたハンドヘルドデバイスでビデオデータにアクセスする場合、問題はもっと深刻になる。
【０００４】
【特許文献１】米国特許第6,408,028号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そのために、先行技術の抱える問題を解決して、自動索引付け並びにユーザが欲しい情報の所在を効率よく突き止められるようにするオーディオビジュアルプレゼンテーションのコンテンツを要約するための効果的なスキームを可能にする必要がある。
【課題を解決するための手段】
【０００６】
大まかに言えば、本発明はオーディオビジュアルプレゼンテーションのコンテンツをリアルタイムで自動的に要約できる方法及びシステムを提供することによってこうしたニーズに応えるものである。本発明は、方法として、システムとして、コンピュータ可読媒体として、或いは装置としてなど、数多くのやり方で実現できることを理解すべきである。本発明の実施例をいくつか以下に説明する。
【０００７】
一つの実施例において、画像データをセグメント化するための方法で提供している。この方法は画像データの現フレームと関連付けられる画素を識別することから始まる。次に、現フレームと関連付けられる画素の周囲に画素からなる近傍が定義される。近傍の定義の一つは３次元の近傍を生成することである。次に、現フレームと関連付けられる画素と近傍画素と関連付けられる各画素との距離を比較して最小距離が判定される。その次に、最小距離に基づいて、現フレームに関連付けられる画素が画像データの現セグメントに属するかどうか判定される。
【０００８】
別の実施例において、オーディオビジュアルプレゼンテーションの要約を作成するための方法を提供している。この方法は、オーディオビジュアルプレゼンテーションのフレームをセグメント化することから始まる。次に、セグメント化されたフレームのスライド領域が識別される。次に、そのスライド領域の中の線を表わすヒストグラムが生成される。そして、そのヒストグラムから逐次フレーム(successive frames)と関連付けられる動領域(moving regions)が削除(suppress)される。
【０００９】
また別の実施例において、画像データをセグメント化するためのプログラム命令を有するコンピュータ可読媒体を提供している。このコンピュータ可読媒体には画像データの現フレームと関連付けられる画素を識別するためのプログラム命令が入っている。現フレームと関連付けられる画素の周囲に画素からなる近傍を定義するためのプログラム命令を提供しており、近傍を定義するためのプログラム命令の一部は３次元の近傍を生成するためのプログラム命令である。現フレームと関連付けられる画素と近傍の画素と関連付けられる各画素との距離を比較して最小距離を判定するためのプログラム命令を含んでいる。最小距離に基づいて、現フレームに関連付けられる画素が画像データの現セグメントに属するかどうか判定するためのプログラム命令も含んでいる。
【００１０】
さらに別の実施例において、オーディオビジュアルプレゼンテーションの要約を作成するためのプログラム命令を有するコンピュータ可読媒体を提供している。このコンピュータ可読媒体はオーディオビジュアルプレゼンテーションのフレームをセグメント化するためのプログラム命令を含んでいる。セグメント化されたフレームのスライド領域を識別するためのプログラム命令を提供している。スライド領域の中の線を表わすヒストグラムを生成するためのプログラム命令及びそのヒストグラムから逐次フレームと関連付けられる動領域を削除するためのプログラム命令を含んでいる。
【００１１】
別の実施例において、オーディオビジュアルプレゼンテーションをキャプチャ及び要約するように構成されたシステムを提供している。このシステムにはプレゼンテーションからのオーディオ信号及びビデオ信号をキャプチャできる記録装置がある。この記録装置と通信しているコンピューティング装置を含んでいる。このコンピューティング装置はオーディオビジュアルプレゼンテーションのオーディオビジュアルデータにアクセスできる。コンピューティング装置は、単一パスのカラーセグメンテーションスキームに従ってビデオのフレームからスライド領域を抽出するように構成されたスライドセグメンテーションモジュールを有している。
【００１２】
また別の実施例において、ミーティングの要約をリアルタイムで作成できるように構成されたシステムを提供している。このシステムにはミーティングと関連付けられるプレゼンテーションをキャプチャするように構成された画像キャプチャ装置がある。キャプチャされたプレゼンテーションデータを画像キャプチャ装置から受け取るように構成されたメディアサーバを含んでいる。メディアサーバはミーティングに使われるプレゼンテーションメディアのコピーにアクセスできる。メディアサーバはさらに、キャプチャされたプレゼンテーションデータからプレゼンテーションに対応する要約データを生成するように構成されている。要約データはミーティングにおけるプレゼンテーションメディアの変化点と関連付けられている。メディアサーバと通信しているクライアントも含んでいる。クライアントは要約データを受け取れる。
【００１３】
さらにまた別の実施例において、集積回路を提供している。この集積回路は画像データのフレームを領域にセグメント化するように構成されたセグメンテーション回路機構を有している。セグメンテーション回路機構は、領域各々と関連付けられる色特性及び形状特性を分析して領域のうちの一つをスライド領域と識別することができる。画像データの隣接フレーム間で比較してスライド領域のエッジ情報を分析することによりそのフレームと関連付けられるフレームグループを識別するように構成されたショット検出回路機構も含んでいる。
【００１４】
発明のその他の態様並びに効果については、添付の図面と共に、発明の原理を例を挙げて説明している以下の詳細な明細書から明白になる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を図面に基づいて説明する。
【実施例１】
【００１６】
発明をオーディオビジュアルプレゼンテーションの要約作成を自動的に生成するためのシステム及び方法として説明する。しかしながら、当業者ならば、開示に照らして、本発明は具体的な詳細を部分的に或いは全面的に知らなくても実施できることが明白である。また、他の場合には、本発明を不要に曖昧にしないために、よく知られた操作については詳細に説明しない。
【００１７】
本書で説明している実施例は、リアルタイムでオーディオビジュアルプレゼンテーションをキャプチャし自動的に要約作成する方法及びシステムを提供している。ビデオ、オーディオ、及びスライドプレゼンテーションから、対応するスライド及びビデオファイルにリンクしている主要な見出しをハイライトしている目次（ＴＯＣ）が自動的に生成される。従って、プレゼンテーションを記録したオーディオビジュアル、つまりスライドプレゼンテーションにアクセスできると共に保持されているプレゼンテーション材料にアクセスできるので、プレゼンテーションのＴＯＣを構築してユーザがプレゼンテーションの特定のセグメントを選択できるようにすることができる。さらに、ＴＯＣによるプレゼンテーションの要約作成、又はその他の何らかの適した要約作成技法により、例えば、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、ウェブタブレットなどといったハンドヘルド装置をもっているユーザが要約頁を見れるようになる。その後、ユーザはハンドヘルド装置の限られた資源で処理できるビデオの特定のフレームをダウンロードすることができる。それとは対照的に、プレゼンテーションのビデオストリームは、消費者用ハンドヘルド装置の計算能力を超える。
【００１８】
以下により詳細に説明するように、システムの主要モジュールの中にはスライドセグメンテーションモジュール、ショット検出モジュール、テンプレートマッチングモジュールがある。スライドセグメンテーションモジュールは、カムコーダなどプレゼンテーションを記録するデジタル記録装置の各フレームからスライド領域を抽出するように構成されている。ショット検出モジュールが次に、スライドの変化に応じてビデオフレームのグループを識別する。テンプレートマッチングモジュールが次に、抽出されたスライド領域を分析することによって、保持されているスライドを対応するビデオショットにリンクさせる。
【００１９】
システムへの入力は、例えば、デジタルカムコーダ又はその他任意の適したデジタルビデオレコーダなど、プレゼンテーション又はミーティングの記録装置から生成されたオーディオビジュアル信号と、スライドプレゼンテーションなどオリジナルのプレゼンテーションメディアからのテキスト情報との組合せである。一つの実施例において、スライドプレゼンテーションはパワーポイントプレゼンテーションである。システムに入力するために、プレゼンテーションから記録されたオーディオビジュアル及びオリジナルプレゼンテーションメディアにアクセスできると仮定している。さらに、投影されたプレゼンテーションメディアのスライドは記録されたデジタルビデオによってキャプチャされている。
【００２０】
図１は、発明の一つの実施例による、オーディオビジュアルプレゼンテーションの目次の生成と関連付けられるモジュールを示す高レベルのブロック図である。ビデオフレーム１００はスライドセグメンテーションモジュール１０２によって受け取られる。スライドセグメンテーションモジュール１０２は、以下により詳細に説明するように、テンプレートマッチングのためにビデオフレーム１００からスライドを抽出するように構成されている。分かるように、スライドプレゼンテーションモジュール１０２はスライド領域の所在を突き止めるモジュール１１０と関連付けられている。一つの実施例において、スライドセグメンテーションはビデオの各フレームに先ずカラーセグメンテーションを適用することによって実行される。スライド領域はそれから、コンパクトな形状を有する支配的な一貫性のあるカラー領域として識別される（例えば、スライドに対する三角形状比）。
【００２１】
図１のショット検出モジュール１０４は、次に、スライドセグメンテーションモジュール１０２から抽出されたスライドと関連付けられているビデオデータのセグメントの全フレームを識別するために、差異を求めてビデオデータの逐次フレーム間の比較が行なわれる。以下に詳細に説明するように、ショット検出モジュール１０４はモジュール１１２と関連付けられており、そこでフレームごとに同じスライドを有するビデオデータのセグメントを識別するためにスライドの変化が検出される。基本的に、ショット検出モジュール１０４はスライドの変化に基づいてビデオをショットに構文解析する。各ショットは単一スライドからコンテンツをプレゼンテーションしている話し手を効果的にキャプチャしている。一つの実施例においては、ロバストにするために、エッジ検出及びバイナリしきい値化を用いてスライド領域が１ビット表現に変換される。１ビット表現は次にハフパラメータドメイン(Hough parameter domain)に変換され、ハフパラメータからエッジヒストグラムが生成される。エッジヒストグラム間の相関を用いてスライドの相似性のトレースを生成する。このトレースにおけるピークを用いてスライドの変化及びショットの境界を検出する。ショット検出モジュール１０４にはその一部として、例えば、話し手や話し手がコントロールしている物体など、スライド領域を横切り、誤ったスライドの変化を引き起こす動く物体の影響を軽減するように構成されたモーション抑制(motion suppression)モジュールがある。
【００２２】
引き続き図１において、ショット検出モジュール１０４がキャプチャしたビデオデータのセグメントを表わすキーフレーム(key frame)は次に、テンプレートマッチングモジュール１０６により、保持されているスライド１０８と突き合される。すなわち、オリジナルスライド１０８のうちの一つを判定及び突き合せるために、モジュール１１４でオリジナルスライドにリンクされているマッチングアルゴリズムがショット検出モジュール１０４からのキーフレームデータを処理する。この場合、抽出されたスライド領域だけが入ったキーフレームをテンプレートとして使用し、オリジナルスライドの各々（又はオリジナルスライドのコピー）に対して突き合せる。ロバストにするために、マッチングアルゴリズムはエッジ検出及びバイナリしきい値化を用いてキーフレーム及びオリジナルスライドを１ビット表現に前処理する。１ビット表現は次に、空間Ｘ／Ｙ投影を用いてエッジヒストグラムに変換される。対応するエッジヒストグラム上にカイ二乗距離(chi-squared metric)を用いてキーフレーム及びオリジナルスライドとの相似性が測られる。その後、モジュール１１６からビデオプレゼンテーションの要約が生成される。
【００２３】
図２は、従来の画像セグメンテーションシステムがいかに画素を因果的順序(causal order)で４個の先行画素と比較することに限定されているかを示す概略図である。これにおいて、画素（i,j）１２０ｅは、画素位置１２０ａから１２０ｄと関連付けれた先行画素ラベルを含んだビデオデータのフレームと関連付けられている。しかしながら、画素位置１２０ｆから１２０ｉと関連付けられるラベルはこの時点では未だ知られていない。従って、従来の方法は２ステップ処理を用いることがある。すなわち、第１ステップはフレームを走査してデータを取得し、それから第２ステップを用いてセグメンテーションを行なう。もしくは、従来のプロセスは画素位置１２０ｆから１２０ｉの将来データを無視することがある。どちらにおいても、上記のごとく、因果的制約条件により、従来の画像セグメンテーションシステムが画素を４個の先行画素と因果的順序で比較するだけに限定される。
【００２４】
図３は、発明の一つの実施例による、因果的順序で参照画素(reference pixel)を現フレームと前のフレームから５個の近傍画素と比較するための技法を表わす概略図である。この場合、３次元の近傍が作成され、そこでは、２次元が現フレーム、つまりｘ座標及びｙ座標で表わされ、１次元は時間、つまりその前のフレームで表わされる。よって、近傍として空間及び時間特性を考慮する。知られているように位置１２２ａ及び１２２ｂと関連付けられる画素は現フレームからきていることを理解すべきである。それに対して、位置１２２ｃ、１２２ｄ、１２２ｅと関連付けられる画素は前のフレームから来ている。よって、位置１２２ｃから１２２ｅと関連付けれる画素は前のフレームから将来情報を借用する。当業者ならば、前のフレームの画素は対応する現フレームの画素と比べて有意な違いがないから、本書で説明しているカラーセグメンテーション技法には前のフレームの画素が良好な近似値の役目を果たすことを理解するだろう。
【００２５】
図４は、発明の一つの実施例による、ビデオデータのフレームを処理するときの走査線の順番の模式的表現である。これにおいて、走査線はフレーム１２３の左上の画素から始まり、図４に表わされているようにフレーム全体をジグザグに進んでいる。任意の適した走査線の順番を採用して構わないので、当業者ならば、走査線の順番は例を示すためで限定の意味ではないことが明白である。さらに、本書の実施例で任意の適した数の先行画素を使用して構わないから、近傍の５個の先行画素は例であって限定の意味ではない。
【００２６】
表１は、ビデオセグメンテーションで上述の５個の先行画素を使用するように構成された単一パスのセグメンテーションアルゴリズムを例をあげて説明するものである。
【００２７】
【表１】
2005108225.tif 000003
【００２８】
左上の画素から始まって、図４で説明したように単一パスのアルゴリズムはフレーム全体をジグザグに進む。画素（i,j;k）ごとに、アルゴリズムが画素（i,j;k）と図３で説明したその画素の因果的先行画素のラベルとの距離を比較する。本書で用いているように、「画素間の距離」という表現は対応する画素間のユークリッド距離のことであることを理解すべきである。言うまでもなく、距離計算には画素と関連付けられるカラーモデルを考慮に入れる。一つの実施例において、最小距離が次にしきい値と比較され、画素（i,j;k）が現セグメントに属しているかどうか決定される。画素が現セグメントに属していなければ、アルゴリズムはラベルｉを全てチェックし、低いしきい値と比較して画素が前のセグメントに属しているか決定する。事実上、これは、セグメントが接続していないために作成される小さな孤立したセグメントの数を減らす。画素が未だどのセグメントにも属していなければ、画素（i,j;k）だけを保有する新たなセグメントが作られる。
【００２９】
画像セグメンテーションでは一回目のセグメンテーションの後にマージ処理(merge process)がよく使用される。しかしながら、マージ処理は普通、反復手法で設計されている。従来のマージ処理で欠かせない予測不能な時間を回避するために、本書で説明している実施例はマージ・イン・タイム(merge-in-time)手法を採用している。マージ・イン・タイム手法は、現フレームからのラベル（i-1,j,k）及びラベル（i,j-1,k）を前のフレームからのラベル（i,j,k-1）と比較して次のフレームでセグメントをマージするという手法である。この手法は実行時間が長くなる危険性なしにフラグメントを安全にマージする。
【００３０】
図５Ａから５Ｃは、図３及び表１に関して説明したカラーセグメンテーションスキャンに基づくセグメンテーション結果を表わしている。図５Ａはビデオデータフレーム１２４を表わす。ビデオデータフレーム１２４はスライドプレゼンテーションを含んでいる。スライドプレゼンテーションには、例えば、プロジェクタからの反射光１２８など、アーティファクトが入っているかもしれない。図５Ｂは、上述のカラーセグメンテーション技法、つまりスライドセグメンテーションを適用した後の図５Ａに基づくビデオデータフレーム１２４を表わす。図５Ｂ内でシェーディングが異なる領域がカラーセグメンテーション技法により識別される。例えば、領域１２６ａは一つの支配的な一貫性のある領域を表わし、領域１２６ｂはもう一つの支配的な一貫性のある領域を表わす。領域１２６ｃはまた別の支配的な一貫性のある領域を表わしている。図５Ｃは図５Ｂから抽出されたスライド領域１２６ｂを表わしている。すなわち、表１に示したアルゴリズムなど、単一パスのセグメンテーションアルゴリズムを用いて、スライド領域を識別することができる。先に述べたように、セグメント化された領域を各々、支配的な一貫性のあるカラータイプとして識別することができる。次に、スライド領域を識別するように構成された形状比を用いてスライド領域を残りの領域から識別することができる。さらに、形状比を調べる前にしきい値を用いて小さな領域を切り捨てても構わない。当業者ならば、抽出されたスライド領域１２６ｂは照明状態が暗いためにコントラストがほとんどないことと、プロジェクタからの反射光１２８などアーティファクトを含んでいることがすぐ分かるだろう。
【００３１】
図６は、発明の一つの実施例による、スライド領域の１ビット表現を生成するためのモジュールを示す概略図である。一致を見出すために抽出されたスライド領域を用いてデータベーススライドに対して直接比較するのではなく、保持されているプレゼンテーションスライドに対して抽出されたスライド領域をより効率よく突き合せるために抽出されたスライド領域を図６に示したモジュールによりクリーンアップする。スライド領域１２６ｂと関連付けられるコントラストはモジュール１３２においてストレッチがかけられる。一つの実施例において、輝度ヒストグラムがスライド領域の上に生成され、０〜２５５の範囲をカバーするようになるまでヒストグラムの２終点でストレッチがかけられる。当業者ならば、モジュール１３２のコントラストストレッチによりスライドのコンテンツの鮮鋭度が大きく増すことがすぐ分かるだろう。次に、生成された輝度ヒストグラムに対してモジュール１３４においてエッジ検出器が適用される。一つの実施例において、エッジ検出器はスマートなエッジ検出器だけれども、任意の適したエッジ検出器で構わない。当業者ならば、モジュール１３４のエッジ検出器はスライド領域の中のテキスト及び図形の重要な輪郭を捉えるように構成されていることを理解するだろう。エッジ検出器の出力は次に、モジュール１３６への入力となり、そこで１ビット表現のエッジ及び線がハフ変換を用いてパラメータ空間に変換される。
【００３２】
一般に知られているように、ハフ変換は幾何学的プリミティブを抽出する、よく使用される方法である。本書で説明している実施例について言えば、スライド領域内のテキスト及び図形の輪郭に関心がある。ハフ変換は次の方程式に従って線をｘ−ｙ空間領域(spatial domain)から（ρ,θ）パラメータ領域に変換する。
【００３３】
ρ = x*cos(θ) + y*sin(θ)        (1)
【００３４】
ここで、ρはその線から原点までの距離で、θは原点からその線に向かう直線ベクトルに対し直角をなす垂線と軸ｘとのなす角である。画像の中の画素はどれでも複数の線に属している可能性があるから、直線パラメータ（ρ,θ）の強さを測るアキュムレータＡ（ρ,θ）を維持する。次に、アキュムレータ値をしきい値化して線と雑音特徴とを区別する。次に、スライド領域の中の線を表わす１次元のヒストグラムがアキュムレータから生成される。
【００３５】
図５Ｃのスライド領域１２６ｂの貧弱なコントラスト及び照明に加え、話し手がスライド領域の前面を入ってきてテキスト領域を遮ったり影を生じたりすることがあることを理解すべきである。遮りや影から、ハフ変換によってキャプチャされるエッジや線が生まれることがある。従って、さえぎりや影を補償するために、モーション抑制モジュール１３８でモーションマスクが生み出される。以下に説明するように、モーションマスクは動領域を検出してその領域をエッジヒストグラム１４０から削除する。
【００３６】
図７は、発明の一つの実施例による、図６のモーション抑制を示す、より詳細な概略図である。スライド領域１２６ｂがモジュール１５０に渡され、そこで隣接するフレーム間の輝度チャネルのフレーム差が判定される。さらに、フレーム差のバイナリしきい値が計算され、その結果を用いてシルエットが生成される。モジュール１５０の出力はモジュール１５２に渡され、そこでシルエットが別の画像にコピーされ、最新のタイムスタンプ値が割り当てられる。しきい値以下の画素をゼロに設定するようにタイムデルタが設定される。この複合モーション履歴画像（ＭＨＩ：motion history image）には今ではタイムスタンプによってグループにまとめられたモーション領域があることを理解すべきである。モジュール１５２のための複合モーション履歴画像は次にモジュール１５４に渡され、そこで上から下に向かって段々に進むフラッドフィル(downward stepping flood fill)を用いて最新のモーション領域をモーションマスク１５６にグループ化及びセグメント化される。当業者ならば、モーション抑制モジュールによりモーションマスク内に在するエッジはいまや図６で説明したエッジヒストグラムから除外されていることがすぐ分かるだろう。
【００３７】
図８は、発明の一つの実施例による、モーションマスクの絵画図である。これにおいて、逐次ビデオフレーム１４２、１４４、１４６の中には、スライド領域１２６ｂがあり、プレゼンテーションを行なっている人の手がスライド領域１２６ｂを覆って動いている。分かるように、手のイメージ１４４ａから１４４ｎはビデオデータの逐次フレームを下向き方向に移動してスライド領域１２６ｂを部分的に遮っている。図７で説明したモーション抑制モジュールを用いて図８のモーションマスク１５６が生成される。よって、逐次フレーム全体の手の動きがキャプチャされ、本書で説明する実施例が手のイメージの動きによって導入されたアーティファクトを無視できるようになる。一つの実施例において、モーション抑圧モジュール１３８は、以下にさらに説明するように、誤ったスライドの変化を抑制するのを援助する。
【００３８】
図９は、発明の一つの実施例による、ビデオプレゼンテーションの様々なフレーム時のスライドの変化を表わすビデオトレースである。これにおいて、ピーク１６０ａから１６０ｇ及び対応するビデオフレーム１６０ａ‐１から１６０ｇ‐１はスライドが変えられている変化点を示している。従って、ビデオフレーム１６０ａ‐１から１６０ｇ‐１と関連付けられるスライド領域はキーフレームを表わし、キーフレームはオリジナルスライドを対応するビデオショットにリンクするテンプレートとして使用することができる。隣接フレームからのエッジヒストグラムが、方程式（２）に記述しているように相関測度(correlation measure)を用いて比較される。
【００３９】
【数１】
2005108225.tif 000004
方程式２から導出された相関値を用いてビデオトレースを生成し、トレースにおけるピークはショットの変化に対応する。モーション抑圧によって、相関比較から動領域を削除することによって図９のフレーム３０００〜４０００間の誤ったピークを減らせることを理解すべきである。
【００４０】
図１０は、発明の一つの実施例による、テンプレートマッチングモジュールを表わす概略図である。これにおいて、スライド領域１２６ｂは、図６で説明したコントラストストレッチモジュール１３２と同じように機能するヒストグラムストレッチモジュール１６２により処理される。モジュール１６２の出力はモジュール１３４に渡され、そこで先に説明したようにエッジ検出が行なわれる。エッジ検出モジュール１３４の出力は次に空間投影モジュール１６４に渡される。これにおいて、ｘ及びｙの軸上にエッジの大きさ(edge magnitude)を投影することによって１次元ヒストグラムが生成される。そのヒストグラムを、例えば、スライドなど、オリジナルプレゼンテーションメディアのヒストグラムと比較するために、スライドから生成された画像に同じような処理が行なわれる。すなわち、オリジナルプレゼンテーションメディアに対して、エッジ検出、空間比較、相関比較が実行される。その次に、最も相関しているスライド領域、つまりキーフレームに対してオリジナルスライドが相関比較により突き合わされる。オリジナルプレゼンテーションメディア又はそのコピーは十分な品質レベルを有しているから、オリジナルプレゼンテーションメディアはヒストグラムストレッチをかける必要がないことを理解すべきである。
【００４１】
図１１は、プレゼンテーションからビデオをキャプチャ及び要約し、要約をユーザに電子メールで送ることができるシステムの高レベルの概略図である。画像キャプチャ装置１７３はプレゼンテーション１７０のビデオイメージをキャプチャする。キャプチャされたビデオデータはラップトップコンピュータ１７２に送られる。ラップトップコンピュータ１７２は、先に説明したスライドセグメンテーション、ショット検出、テンプレートマッチングモジュールを実行するように構成することができる。言うまでもなく、ラップトップコンピュータ１７２は、本書で説明している機能を実行できるように構成されている任意の適したコンピューティング装置で構わない。ラップトップコンピュータ１７２はメディアサーバ１７４と通信している。一つの実施例において、ラップトップコンピュータはビデオをプレゼンテーションのオリジナルスライドに対応するショットにセグメント化する。ビデオショットは次に、例えば、Motion Picture Export Group（ＭＰＥＧ）やその他の適した音声ビデオ圧縮標準に符号化され、メディアサーバ１７４に保持される。別の実施例において、目次１７８として構築されたウェブページのサマリが作成され、メディアサーバ１７４に保持される。
【００４２】
引き続き図１１において、目次１７８には多数の索引があり、各索引はスライド１７８ａの表題、スライド１７８ａのサムネール、及び対応するビデオストリームにリンクしているキーフレーム１７８ｂを含んでいる。従って、メディアサーバ１７４から電子メールで送られてきたデータを受け取るように構成されたコンピューティング装置（クライアント）をもっているユーザに、保持されているウェブページを電子メールで送ることができる。例えば、パーソナルデジタルアシスタント（ＰＤＡ）１７６、ラップトップ１８０や電子メールを受け取れるその他の適した装置をウェブページの受取人にしてもいい。一旦クライアントがウェブページを受け取ったら、ユーザは目次を手っ取り早く拾い読みしてプレゼンテーションの概要を捉える。ユーザはサムネールからサムネール１７８ｃの全スクリーン版にアクセスしたり、又はキーフレーム１７８ｂにより対応するビデオショットをダウンロードすることもできる。当業者ならば、ハンドヘルド装置の能力を超えそうなビデオストリーム全体を受け取るのとは対照的に、資源が限られた受信装置、つまりハンドヘルド電子装置でいまやキーフレーム或いはビデオショットを見ることができることがすぐ分かるだろう。一つの実施例において、本書で説明している自動要約作成技法をラップトップ１７２ではなくメディアサーバ１７４で実行してもいい。
【００４３】
上に説明した実施例はソフトウェアで又はハードウェアで実現することができる。当業者ならば、モジュールは上に説明した機能を提供するように構成された論理ゲートを有する半導体チップとして実施して構わないことが分かるだろう。例えば、VERILOGなどハードウェア記述言語（ＨＤＬ）を用いてファームウェア及び本書で説明している必要な機能を提供するための論理ゲートのレイアウトを合成して自動要約作成技法及び関連する機能をハードウェアで実現することができる。
【００４４】
図１２は、発明の一つの実施例による、オーディオビジュアルプレゼンテーションの要約を作成するための方法操作を表わすフローチャートである。この方法は、オーディオビジュアルプレゼンテーションのフレームをセグメント化する操作１９０から始まる。これにおいては、図３〜５Ｃに関して先に説明したカラーセグメンテーション技法を用いてオーディオビジュアルプレゼンテーションのフレームを支配的な一貫性のある領域にセグメント化することができる。この方法は次に操作１９２に進み、セグメント化されたフレームのスライド領域が識別される。ここでは、形状比といった特定の特性を用いてスライド領域を識別する。さらに、ビデオフレームの小さな領域を除去するためにしきい値を用いても構わない。
【００４５】
図１２の方法は次に操作１９４に進み、スライド領域の中の線を表わすヒストグラムが生成される。ここでは、ショット検出モジュールを用いてヒストグラムを生成することができる。この方法は次に操作１９６に進み、逐次フレームと関連付けられる動領域がヒストグラムから削除される。一つの実施例では、上に説明したようにモーション抑制を用いて、スライド領域を横切ってショット検出時に誤った警告を生じる動く物体の影響を減らす。さらに、保持されているスライドのオリジナル又はコピーとスライド領域を相関比較により突き合せるために、ヒストグラムにテンプレートマッチングを実行してもいい。従って、スライド領域が入ったビデオフレーム及び相関したスライドのオリジナル又はコピーを用いて、図１１で説明した要約作成など、要約を作成する。
【産業上の利用可能性】
【００４６】
要約すると、上に説明した発明はオーディオビジュアルプレゼンテーションのリアルタイムの要約作成を可能にする。要約によりユーザは時間のかかるセミナーやプレゼンテーションを拾い読みし、特定のコンテンツを手っ取り早く且つ効率よく見ることができるようになる。さらに、記録されているコンテンツをサーバに保持してユーザがインターネットでアクセスできるようにすることができる。資源に限界があるクライアントがビデオストリーム全体を処理できない場合、要約によりクライアントはプレゼンテーションの特定のショットを見れるようになる。従って、ビデオ記録装置を用いてプレゼンテーションをキャプチャし、キャプチャされたデータをプレゼンテーションに使用されたスライドにアクセスできるコンピュータに送ることもできる。スライドセグメンテーションモジュール、ショット検出モジュール、及びテンプレートマッチングモジュールにより、プレゼンテーションの要約作成を実現できる。一つの実施例において、要約は目次の形式になっている。
【００４７】
上記の実施例を考えれば、発明はコンピュータシステムに格納されているデータを伴うコンピュータで実現される操作を用いることを理解すべきである。こうした操作は物理的数量の物理的操作(manipulation)を要する操作(operation)を含む。必ずしもそうとは限らないが、普通はそうした数量は格納、転送、結合、比較、その他の操作が可能な電気信号又は磁気信号という形式をとる。さらに、実行される操作は生成、識別、判定、又は比較といった表現で言及されることが多い。
【００４８】
上に説明した発明は、ハンドヘルド装置、マイクロプロセッサ、マイクロプロセッサベースの又はプログラマブル消費者向けエレクトロニクス、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成と共に実施可能である。発明は、通信ネットワークでリンクされている遠隔処理装置がタスクを実行する分散型コンピューティング環境で実施してもいい。
【００４９】
発明は、コンピュータ可読媒体上にコンピュータ可読コードとして実施することもできる。コンピュータ可読媒体は、後からコンピュータシステムで読み出させるデータを格納できる任意のデータストレージ装置である。コンピュータコードが実施されている電磁搬送波もコンピュータ可読媒体の一つである。コンピュータ可読媒体の例としては、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ‐ＲＯＭ、ＣＤ‐Ｒ、ＣＤ‐ＲＷ、磁気テープ、その他の光学式及び非光学式データストレージ装置などがある。コンピュータ可読コードを分散して格納及び実行できるようにコンピュータ可読媒体をネットワーク結合コンピュータシステムで分散することもできる。
【００５０】
上記の発明をはっきり理解できるように或る程度詳細に説明してきたが、添付の請求項の範囲内で一定の変更及び修正を実施できることはすぐ分かるだろう。よって、本願の実施例は説明で限定ではないと考えるべきで、発明は本書で述べた詳細に限定されるものではなく、添付の請求項の範囲及びそれと同等の範囲内で修正可能である。請求項において、要素及び／又はステップは、請求項にはっきりと記載されていない限り、操作の特定の順番を暗に示しているものではない。
【図面の簡単な説明】
【００５１】
【図１】発明の一つの実施例による、オーディオビジュアルプレゼンテーションの目次の生成と関連付けられるモジュールを示す高レベルのブロック図。
【図２】従来の画像セグメンテーションシステムがいかに画素を因果的順序で４個の先行画素と比較することに限定されているかを示す概略図。
【図３】発明の一つの実施例による、因果的順序で参照画素を現フレーム及び前のフレームからの５個の近傍画素と比較するための技法を表わす概略図。
【図４】発明の一つの実施例による、ビデオデータのフレームを処理するときの走査線の順番の模式的表現。
【図５】図３及び表１に関して説明したカラーセグメンテーションスキャンに基づくセグメンテーション結果を表わしている。
【図６】発明の一つの実施例による、スライド領域の１ビット表現を生成するためのモジュールを示す概略図。
【図７】発明の一つの実施例による、図６のモーション抑制を示す、より詳細な概略図。
【図８】発明の一つの実施例による、モーションマスクの絵画図。
【図９】発明の一つの実施例による、ビデオプレゼンテーションの様々なフレーム時のスライドの変化を表わすビデオトレース。
【図１０】発明の一つの実施例による、テンプレートマッチングモジュールを表わす概略図。
【図１１】プレゼンテーションからビデオをキャプチャ及び要約作成し、要約をユーザに電子メールで送ることができるシステムの高レベルの概略図。
【図１２】発明の一つの実施例による、オーディオビジュアルプレゼンテーションの要約を作成するための方法操作を表わすフローチャート。
【符号の説明】
【００５２】
１００：  ビデオフレーム
１０２：  スライドセグメンテーションモジュール
１１０：  スライド領域の所在を突き止めるモジュール
１０４：  ショット検出モジュール
１１２：  モジュール
１０６：  テンプレートマッチングモジュール
１０８：  オリジナルスライド
１１４：  モジュール
１１６：  モジュール
１２０ａ：  画素位置
１２０ｂ：  画素位置
１２０ｃ：  画素位置
１２０ｄ：  画素位置
１２０ｅ：  画素
１２０ｆ：  画素位置
１２０ｇ：  画素位置
１２０ｈ：  画素位置
１２０ｉ：  画素位置
１２２ａ：  位置
１２２ｂ：  位置
１２２ｃ：  位置
１２２ｄ：  位置
１２２ｅ：  位置
【図１】
2005108225.tif 000005
【図２】
2005108225.tif 000006
【図３】
2005108225.tif 000007
【図４】
2005108225.tif 000008
【図５】
2005108225.tif 000009
【図６】
2005108225.tif 000010
【図７】
2005108225.tif 000011
【図８】
2005108225.tif 000012
【図９】
2005108225.tif 000013
【図１０】
2005108225.tif 000014
【図１１】
2005108225.tif 000015
【図１２】
2005108225.tif 000016