(57)【要約】本発明は、客体形状情報を利用した要約画像抽出装置及びその方法と、それを利用した動画像の要約及び索引システム及び方法に関する。本発明は、分割された動画像において客体の変化する形状を記述する。本発明で用いる記述子は、形状基盤要約画像（Ｓｈａｐｅ  ｓｅｑｕｅｎｃｅ  ｉｍａｇｅ）とその形状基盤要約画像のための特徴情報（Ｔｅｘｔｕｒｅ  Ｄｅｓｃｒｉｐｔｏｒ）である。形状基盤要約画像は、スクリーン上で客体の位置を維持しながら客体の形状を重畳することによって獲得される。形状基盤要約画像に適用される特徴情報を使用して、形状基盤要約画像間の類似度を測定することによって、動画像対動画像をマッチングできる。
2005517319.tif 000002
【特許請求の範囲】
【請求項１】
動画像の要約及び索引システムにおいて、
動画像を符号化し分割するための動画像の符号化及び分割手段と、
符号化及び分割された動画像を構成する連続した画像から形状基盤要約画像フレームを構成する要約画像の抽出手段と、
前記動画像の符号化及び分割手段で符号化及び分割された動画像と、前記要約画像の抽出手段から抽出された形状基盤要約画像フレームとを格納するための画像格納手段と、
使用者から画像に関する質疑を入力されて質疑を分析する質疑分析手段と、
前記質疑分析手段により分析された質疑に該当する符号化及び分割された動画像と形状基盤要約画像フレームとを前記画像格納手段から読み取って、該当結果を検索使用者に見せる結果表示手段と
を含むことを特徴とする客体形状情報を利用した動画像の要約及び索引システム。
【請求項２】
前記画像格納手段に格納された符号化及び分割された動画像と形状基盤要約画像フレームとからメタデータを抽出するためのメタデータの抽出手段と、
前記メタデータの抽出手段から抽出されたメタデータを格納するためのメタデータの格納手段と
をさらに含むことを特徴とする請求項１に記載の客体形状情報を利用した動画像の要約及び索引システム。
【請求項３】
前記結果表示手段は、
前記質疑分析手段により分析された質疑に該当する符号化及び分割された動画像と形状基盤要約画像フレームとメタデータとを前記画像格納手段及び前記メタデータの格納手段から読み取って、該当結果を検索使用者に見せることを特徴とする請求項２に記載の客体形状情報を利用した画像要約及び索引システム。
【請求項４】
前記要約画像の抽出手段は、
符号化及び分割された動画像を構成する連続した画像から形状基盤要約画像フレームを構成し、形状基盤要約画像フレームの特徴を表すテクスチャで表現される特徴情報を抽出することを特徴とする請求項１、２および３に記載の客体形状情報を利用した画像要約及び索引システム。
【請求項５】
前記画像格納手段は、
前記動画像の符号化及び分割手段で符号化及び分割された動画像と、前記要約画像の抽出手段から抽出された形状基盤要約画像フレーム及びテクスチャで表現される特徴情報を格納することを特徴とする請求項４に記載の客体形状情報を利用した画像要約及び索引システム。
【請求項６】
前記結果表示手段は、
前記質疑分析手段により分析された質疑に該当する符号化及び分割された動画像と形状基盤要約画像フレームとテクスチャで表現される特徴情報とメタデータとを前記画像格納手段及び前記メタデータの格納手段から読み取って、該当結果を検索使用者に見せることを特徴とする請求項５に記載の客体形状情報を利用した画像要約及び索引システム。
【請求項７】
動画像の要約及び索引システムにおいて、
動画像を符号化し分割するための動画像の符号化及び分割手段と、
符号化及び分割された動画像を構成する連続した画像から形状基盤要約画像フレームを構成し、形状基盤要約画像フレームの特徴を表すテクスチャで表現された符号化された特徴情報を抽出するための要約画像の抽出手段と、
前記動画像の符号化及び分割手段で符号化及び分割された動画像と前記要約画像の抽出手段から抽出された形状基盤要約画像フレーム及びテクスチャで表現される特徴情報とを格納するための画像格納手段と、
前記画像格納手段に格納された符号化及び分割された動画像と形状基盤要約画像フレームとテクスチャで表現される特徴情報とからメタデータを抽出するためのメタデータの抽出手段と、
前記メタデータの抽出手段から抽出されたメタデータを格納するためのメタデータの格納手段と、
使用者から画像に関する質疑を入力されて質疑を分析する質疑分析手段と、
前記質疑分析手段により分析された質疑に該当する符号化及び分割された動画像と形状基盤要約画像フレームとテクスチャで表現される特徴情報とメタデータとを前記画像格納手段及び前記メタデータの格納手段から読み取って、該当結果を検索使用者に見せる結果表示手段と
を含むことを特徴とする客体形状情報を利用した画像要約及び索引システム。
【請求項８】
前記要約画像の抽出手段は、
符号化及び分割された動画像を構成する連続した画像から客体の形状を抽出するための客体形状抽出手段と、
前記客体形状抽出手段から抽出された形状情報を利用して、形状基盤要約画像フレームを下式
Ｐ（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）｜Ｓ２（ｘ，ｙ）｜．．．｜Ｓｎ（ｘ，ｙ）
により構成して前記画像格納手段に格納する要約画像構成手段であって、Ｓｉは分割された動画像のｉ番目の二値形状情報、Ｐ（ｘ，ｙ）は特徴情報の水平位置ｘ、垂直位置ｙの画素値、Ｓｉ（ｘ，ｙ）は同じ位置の二値形状情報の画素値、｜はＯＲ論理である要約画像構成手段を含むことを特徴とする請求項７に記載の客体形状情報を利用した画像要約及び索引システム。
【請求項９】
内容基盤の画像検索のため、前記要約画像構成手段から伝達された形状基盤要約画像フレームから形状基盤要約画像フレームの特徴を表すテクスチャで表現される特徴情報を抽出して、前記画像格納手段に格納する特徴情報の抽出手段をさらに含むことを特徴とする請求項８に記載の客体形状情報を利用した画像要約及び索引システム。
【請求項１０】
要約画像の抽出装置において、
符号化及び分割された動画像を構成する連続した画像から客体の形状を抽出するための客体形状抽出手段と、
前記客体形状抽出手段から抽出された形状情報を利用して、形状基盤要約画像フレームを下式
Ｐ（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）｜Ｓ２（ｘ，ｙ）｜．．．｜Ｓｎ（ｘ，ｙ）
により構成するための要約画像構成手段であって、Ｓｉは分割された動画像のｉ番目の二値形状情報、Ｐ（ｘ，ｙ）は要約画像フレームの水平位置ｘ、垂直位置ｙの画素値、Ｓｉ（ｘ，ｙ）は同じ位置の二値形状情報の画素値、｜はＯＲ論理である要約画像構成手段を含むことを特徴とする客体形状情報を利用した要約画像の抽出装置。
【請求項１１】
内容基盤の画像検索のため、形状基盤要約画像フレームから形状基盤要約画像フレームの特徴を表すテクスチャで表現される特徴情報を抽出するための特徴情報の抽出手段をさらに含むことを特徴とする請求項１０に記載の客体形状情報を利用した要約画像の抽出装置。
【請求項１２】
前記形状情報は、
二値情報であって、形状の輪郭であるか、その他の領域であるかを表す形状の画素情報であることを特徴とする請求項１０または１１に記載の客体形状情報を利用した要約画像の抽出装置。
【請求項１３】
要約画像の抽出装置に適用される要約画像の抽出方法において、
符号化及び分割された動画像を構成する連続した画像から客体の形状を抽出する第１ステップと、
抽出された形状情報を利用して形状基盤要約画像フレームを下式
Ｐ（ｘ，ｙ）＝Ｓ１（ｘ、ｙ）｜Ｓ２（ｘ、ｙ）｜．．．｜Ｓｎ（ｘ、ｙ）
により構成する第２ステップであって、但し、Ｓｉは分割された動画像のｉ番目の二値形状情報、Ｐ（ｘ，ｙ）は要約画像フレームの水平位置ｘ、垂直位置ｙの画素値、Ｓｉ（ｘ，ｙ）は同じ位置の二値形状情報の画素値、｜はＯＲ論理である第２ステップを含むことを特徴とする客体形状情報を利用した要約画像の抽出方法。
【請求項１４】
内容基盤の画像検索のため、形状基盤要約画像フレームから形状基盤要約画像フレームの特徴を表すテクスチャで表現された特徴情報を抽出する第３ステップをさらに含むことを特徴とする請求項１３に記載の客体形状情報を利用した要約画像の抽出方法。
【請求項１５】
前記形状情報は、
二値情報であって、形状の輪郭であるか、その他の領域であるかを表す形状の画素情報であることを特徴とする請求項１３または１４に記載の客体形状情報を利用した要約画像の抽出方法。
【請求項１６】
プロセッサを備えた要約画像の抽出装置に、
符号化及び分割された動画像を構成する連続した画像から客体の形状を抽出する第１機能と、
抽出された形状情報を利用して形状基盤要約画像フレームを下式
Ｐ（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）｜Ｓ２（ｘ，ｙ）｜．．．｜Ｓｎ（ｘ，ｙ）
により構成する第２機能であって、Ｓｉは分割された動画像のｉ番目の二値形状情報、Ｐ（ｘ，ｙ）は要約画像フレームの水平位置ｘ、垂直位置ｙの画素値、Ｓｉ（ｘ，ｙ）は同じ位置の二値形状情報の画素値、｜はＯＲ論理である第２機能を実現させることを特徴とするプログラムを記録したコンピュータで読み出すことのできる記録媒体。
【請求項１７】
内容基盤の画像検索のため、形状基盤要約画像フレームから形状基盤要約画像フレームの特徴を表すテクスチャで表現された特徴情報を抽出する第３機能をさらに実現させることを特徴とする請求項１６に記載のプログラムを記録したコンピュータで読み出すことのできる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一つの動画像を代表する画像フレームを要約情報として利用する動画像の要約及び索引技術分野に関し、動画像を構成する各々の画像フレームから画像客体の形状及び位置を抽出し、これを一枚の画像フレームに合成することによって、一枚の画像フレームに画像客体の形状変化を表すことのできる客体形状情報を利用した要約画像の抽出装置及びその方法と、それを利用した動画像の要約及び索引システムと、前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体に関する。
【背景技術】
【０００２】
動画像が表現する客体の形状は人間の視覚的認識において、極めて重要な特徴である。一般的に動画像の形状を表す特徴量である形状記述子（Ｓｈａｐｅ  Ｄｅｓｃｒｉｐｔｏｒ）には、輪郭基盤形状記述子（Ｃｏｎｔｏｕｒ−Ｂａｓｅｄ  Ｓｈａｐｅ  Ｄｅｓｃｒｉｐｔｏｒ）及び領域基盤形状記述子（Ｒｅｇｉｏｎ−Ｂａｓｅｄ  Ｄｅｓｃｒｉｐｔｏｒ）があり、このような記述子は、イメージ検索のための領域を記述する。
【０００３】
従来、動画像を構成する画像フレームを抽出して要約情報として用いた。画像フレームを抽出する例として、動画像の最初の画像、あるいは最後の画像を用いる方法などがあり、動画像の時間の流れによる変化を表すため、一つの画像フレームでなくいくつかの画像フレームを利用する場合もする。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、動画像が表現する客体の形状情報とその変化は極めて重要な要約情報であるにも関わらず、従来は、動画像内の画像客体の動きや形状の変化などを表すことができず、また動画像において構成画像客体の変化を見るためには、動画像再生装置を動作すべきであるので、複雑な再生のための処理及び時間が要求された。
【０００５】
したがって、画像客体を構成する形状情報（客体形状情報）を利用して、動画像が表現する画像客体の変化を效率的に表現し、これを動画像の要約及び索引技術、動画像の要約及びメタデータの抽出などのための動画像著作道具の製作などに用いることのできる方案が必然的に要求される。
【０００６】
本発明は、上述した要求に鑑みてなされたものであって、カメラの動きや客体自体の動きによって、画像客体の画像、または位置変化を表現する動画像から画像客体の一連の変化する形状及び位置を抽出し、これを一つの画像フレームとして代表することによって、動画像が表現する客体の形状、または位置変化を記述できる客体形状情報を利用した要約画像抽出装置及びその方法と、それを利用した動画像の要約及び索引システムと、前記方法を実現させるためのプログラムを記録したコンピュータで読み出すことのできる記録媒体を提供することをその目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る記述子は、動画像を構成する個々の画像フレームが表現する客体を、各画像フレームから当該客体が占める位置をそのまま維持した状態で重畳させることによって獲得される形状基盤要約画像（Ｓｈａｐｅ−ｓｅｑｕｅｎｃｅ  ｉｍａｇｅ）と当該形状基盤要約画像の質感記述子（Ｔｅｘｔｕｒｅ  Ｄｅｓｃｒｉｐｔｏｒ）である。
【０００８】
本発明の一実施形態に係る記述子は、動画像検索及び動画像対動画像マッチング（Ｓｅｇｍｅｎｔ  ｔｏ  Ｓｅｇｍｅｎｔ  Ｍａｔｃｈｉｎｇ）に用いることができる。
【０００９】
動画像対動画像マッチングは、本発明の一実施形態によって動画像を代表する質感記述子を用いて、本発明の一実施形態によって各動画像を代表する形状基盤の要約画像間に類似度、例えば距離測定を行うことによって達成できる。
【００１０】
また、本発明の一実施形態によって動画像を代表する形状基盤要約画像は、使用者に当該動画像の内容を検索しなくても当該動画像が表現する客体の全体的な変化を認識させ得る。
【００１１】
本発明は、動画像を構成する連続した画像フレームの各々から客体の形状を抽出して二値化された画像に変換した後、それらを一つの画像フレームに表すことによって、極めて少ない情報量のみで動画像を代表することによって、動画像の索引などに利用できる。
【００１２】
すなわち、本発明は動画像を構成する各々の画像フレームから画像客体の形状情報（客体形状情報）を抽出して、一つの画像フレームに各形状情報を位置と形状を維持しながら表現することによって、一つの画像フレームに動画像が表現する画像客体の形状変化を表すことによって、極めて小量の情報量と計算量で動画像を要約、索引できる。
【００１３】
インターネット、デジタルＴＶ、ＤＶＤ、ＩＭＴ−２０００、超高速ネットワークなどの発達によって、動画像コンテンツは、教育、娯楽、医療、科学など多くの分野において多くのコンテンツが製作されて、マルチメディアデータベース、遠隔監視、デジタルＴＶ、インターネット放送、ＶＯＤ（Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）などで活用されている。したがって、本発明は使用者が所望する動画像情報を效率的に検索して使用する技術が必須的なこのような応用分野で用いられる。
【発明の効果】
【００１４】
上述したように、本発明の方法は、プログラムで具現され、コンピュータで読み出すことのできる記録媒体（ＣＤ  ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスクなど）に格納することができる。
【００１５】
上述したように、本発明は、従来の代表画像フレームによる要約技術が提供できなかった一つの画像フレームに画像客体の形状と位置の変化を含んでいるので、使用者による動画像検索をさらに効果的、かつ効率的にできる効果がある。
【００１６】
また、本発明は、要約画像フレームに質感記述子を抽出して、動画像に対する内容基盤検索を效率的に提供できる効果がある。
【００１７】
また、本発明は、動画像コンテンツに関連したマルチメディアデータベース、遠隔監視、デジタルＴＶ、インターネット放送、ＶＯＤなどのシステム及び応用において、使用者がさらに效率的に使用できる機能を提供する効果がある。
【発明を実施するための最良の形態】
【００１８】
以下、添付された図面を参照し、発明に係る好ましい一実施形態を詳細に説明する。
【００１９】
図１は、本発明に係る動画像の要約及び索引システムの一実施形態の構成図であって、図面において１０は動画像の符号化及び分割器、２０は要約画像抽出器、３０はメタデータ抽出器、４０は画像データベース、５０は結果表示器、６０は要請器、７０はメタデータのデータベースを各々示す。
【００２０】
図１に示すように、本発明に係る動画像の要約及び索引システム（動画像検索及びストリーミングシステム）は、動画像を符号化し分割するための動画像の符号化及び分割器１０と、符号化及び分割された動画像（Ｖｉｄｅｏ  Ｓｅｇｍｅｎｔ）を構成する連続した画像から形状基盤要約画像フレーム（Ｓｈａｐｅ−ｓｅｑｕｅｎｃｅ  ｉｍａｇｅ）を構成し、形状基盤要約画像フレームの特徴を表すテクスチャで表現される特徴情報（Ｔｅｘｔｕｒｅ  Ｄｅｓｃｒｉｐｔｏｒ）を抽出するための要約画像抽出器２０と、動画像の符号化及び分割器１０で符号化及び分割された動画像と要約画像抽出器２０から抽出された形状基盤要約画像フレーム及びテクスチャで表現される特徴情報を格納するための画像データベース４０と、画像データベース４０に格納された符号化及び分割された動画像、形状基盤要約画像フレームとテクスチャで表現される特徴情報からメタデータを抽出するためのメタデータ抽出器３０と、メタデータ抽出器３０から抽出されたメタデータを格納するためのメタデータデータベース７０と、使用者から画像に関する質疑を入力されて質疑を分析する要請器６０と、要請器６０により分析された質疑に該当する符号化及び分割された動画像と形状基盤要約画像フレームとテクスチャで表現される特徴情報とメタデータを画像データベース４０及びメタデータデータベース７０から読み取って、該当結果を検索使用者に見せる結果表示器５０とを含む。
【００２１】
前記符号化及び分割された動画像、形状基盤要約画像フレーム、テクスチャで表現される特徴情報、メタデータを、独立的に使用者に提供することができる。
【００２２】
前記したような構成を有する本発明の一実施形態に係る動画像の要約及び索引システムの動作を述べる。
【００２３】
入力された動画像は、動画像の符号化及び分割器１０で符号化され分割されて、画像データベース４０に格納される。また、分割された動画像は要約画像抽出器２０に伝送される。そうすると、要約画像抽出器２０は形状基盤要約画像を構成する。この場合、要約画像抽出器２０から抽出された分割動画像の要約画像フレームは画像データベース４０に格納される。
【００２４】
一方、メタデータ抽出器３０は、画像データベース４０に格納された動画像と要約画像フレームとからメタデータを抽出してメタデータデータベース７０に格納する。
【００２５】
以後、動画像の要約及び索引システム（動画像検索及びストリーミングシステム）は、使用者から使用者要請器６０を通して使用者が所望する動画像に関する質疑を受け入れて処理し、その結果（使用者が所望する情報）を結果表示器５０に見せる。すなわち、使用者が要約情報を要求すると、画像データベース４０から抽出された特徴情報を使用者に見せ、使用者の要請によってメタデータデータベース７０を通した検索サービス、動画像ストリーミングサービスなどを提供する。
【００２６】
図２は、本発明に係る図１の要約画像の抽出装置の一実施形態の構成図であって、図面の２１は客体形状抽出器、２２は要約画像構成器、２３は特徴情報抽出器を各々示す。
【００２７】
図２に示すように、前記図１の要約画像抽出器２０は、符号化及び分割された動画像を構成する連続した画像フレーム各々から客体の形状を抽出するための客体形状抽出器２１と、客体形状抽出器２１手段から抽出された形状情報を利用して形状基盤要約画像フレームを下記の（数式１）により構成して、画像データベース４０に格納する要約画像構成器２２と、内容基盤の画像検索のため、要約画像構成器２２に伝達された形状基盤要約画像フレームから形状基盤要約画像フレームの特徴を表すテクスチャで表現される特徴情報を抽出して、画像データベース４０に格納する特徴情報抽出器２３とを含む。
【００２８】
客体形状抽出器２１は、分割された動画像を構成する連続した画像フレームの各々から客体の形状を抽出する。ここで、画像フレームから客体の形状を抽出する全てのアルゴリズムを用いることができる。例えば、背景色が画像客体の色と分離される動画像である場合、簡単な「Ｃｈｒｏｍａ−Ｋｅｙ」基盤アルゴリズムを使用できる。
【００２９】
抽出された形状の画素の情報は、二値情報であって、形状を表す値とその以外の領域であるバックグラウンドを表す値で表現される。
【００３０】
要約画像構成器２２は、抽出された形状情報を利用して要約画像フレームを構成する。
【００３１】
分割された動画像を構成するｉ番目の画像フレームから抽出した二値形状情報をＳｉとする場合、分割された動画像から、＜Ｓ１、Ｓ２、．．．、Ｓｎ＞のｎ個の一連の二値形状情報が抽出される。要約画像フレームの水平位置ｘ、垂直位置ｙの画素Ｐ（ｘ、ｙ）の値は前記ｎ個の二値形状情報の画素値Ｓｉ（ｘ、ｙ）から、下記の（式１）により求めることができる。ここで｜はＯＲ論理を意味する。  
Ｐ（ｘ，ｙ）＝Ｓ１（ｘ，ｙ）｜Ｓ２（ｘ，ｙ）｜．．．｜Ｓｎ（ｘ，ｙ）    （式１）
式１のように、各画像客体を重畳させる過程において、各画像客体は、本来の位置を維持する。したがった、式１のように、各画像客体を重畳させる過程において各画像客体の本来の位置を維持させるため、各画像客体の二値形状情報が抽出される過程で各画像客体の中心位置情報も共に抽出されて、前記重畳過程で利用され得る。位置情報は、画像客体を含む最も小さい閉曲線（Ｔｉｇｈｔｅｓｔ  Ｂｏｕｎｄｉｎｇ  Ｂｏｘ  ｏｆ  ｔｈｅ  Ｓｈａｐｅ）の中心点から得られる。
【００３２】
一方、式１のように、各画像客体を重畳させる過程において、形状基盤要約画像フレームにイメージが全て満たされることを防止するため、重畳される画像フレームの個数ｎは、所定の数以内に制限できる。
【００３３】
形状基盤要約画像フレームを生成するため、動画像から画像フレームｎ個を選択する方法は多様である。例えば、ＭＰＥＧ−７形状記述子（Ｓｈａｐｅ  Ｄｅｓｃｒｉｐｔｏｒ）で形状距離（Ｓｈａｐｅ  Ｄｉｓｔａｎｃｅ）を測定して、隣接する画像フレームと最も差別される画像フレームとしてｎ個の画像フレームを選択できる。また、同一な時間的間隔を維持するため、固定された間隔を周期として選択される画像フレームでｎ個の画像フレームを構成できる。
【００３４】
式１によって、各画像客体を重畳させることによって生成される形状基盤要約画像情報は、当該動画像が表現する画像客体の形状及び位置の変化に対する軌跡情報を含む。形状基盤要約画像を構成する客体の画素値として当該客体の画像フレーム番号を用いると、形状基盤要約画像から特定客体を抽出することもできる。式１によって各画像客体を重畳させることによって生成された形状基盤要約画像は、所定の大きさに正規化され得る。
【００３５】
特徴情報抽出器２３は、要約画像フレームの特徴を表す記述子を抽出する。要約画像は画像フレームとして、形状と質感などの特徴を表す従来の多様な記述子方法から多様な形態の記述子が抽出され得る。この場合、抽出された記述子は画像データベース４０に格納されて、内容基盤動画像検索で特徴ベクトルとして利用され得る。
【００３６】
図３は、本発明に係る要約画像の抽出方法に対する一実施形態のフローチャートである。図３に示すように、本発明に係る要約画像の抽出方法は、まず符号化及び分割された動画像を構成する連続した画像フレーム３０１各々から客体の形状を抽出する（３０２）。以後、抽出された客体形状情報を利用して形状基盤要約画像フレームを式１により構成する（３０３）。この場合の要約画像フレームは、画像データベース４０に格納される。
【００３７】
次いで、内容基盤の画像検索のため、形状基盤要約画像フレームから形状基盤要約画像フレームの特徴を表すテクスチャで表現される特徴情報を抽出する（３０４）。この場合のテクスチャで表現された特徴情報も画像データベース４０に格納される。
【００３８】
図４は要約画像の例を示している。要約画像に代表される分割された動画像は、４個の連続した画像フレーム（画像１、画像２、画像３、画像４）から構成されており、各画像フレームが表現する画像客体である楕円（画像１の形状、画像２の形状、画像３の形状、画像４の形状）の形状と位置が変化している。
【００３９】
上述したように動画像を構成する画像フレームの各々から画像客体の一連の形状情報及び位置情報を抽出して、要約画像フレームに各形状情報を（各画像客体の形状を維持しながら）合成して表示している。結果的に、要約画像フレーム一つに動画像が表現する画像客体の変化する形状情報を含んでいる（４ａ）。
【００４０】
なお、本発明は、上記の実施形態として開示した範囲に限定されるものではない。本発明に係る技術的思想から逸脱しない範囲内で多くの改良、変更が可能であり、それらも本発明の技術的範囲に属する。
【図面の簡単な説明】
【００４１】
【図１】本発明に係る動画像の要約及び索引システムの一実施形態の構成図である。
【図２】本発明に係る図１の要約画像の抽出装置の一実施形態の構成図である。
【図３】本発明に係る要約画像の抽出方法に対する一実施形態フローチャートである。
【図４】本発明の実施例に係る要約画像構成の例示図である。
【図１】
2005517319.tif 000003
【図２】
2005517319.tif 000004
【図３】
2005517319.tif 000005
【図４】
2005517319.tif 000006
【国際調査報告】
2005517319.tif 000007