(57)【要約】【課題】動画像をその付帯情報を用いて分割する際、分割に使用する付帯情報を選択することができなかった。【解決手段】分割に使用可能な付帯情報を選択可能とし、また選択した付帯情報による分割結果と分割に用いる付帯情報との関係とを２次元配列表示する。２次元配列表示のユーザインタフェースを介し、ユーザは分割条件の追加や変更、削除を行いながら、最終的な分割条件を決定することが可能である。【選択図】  図６
2004363831.tif 000002
【特許請求の範囲】
【請求項１】
動画像に関する付帯情報を取得する付帯情報収集手段と、
前記付帯情報を選択可能なユーザインタフェースを提示する表示手段と、
前記付帯情報のうち、前記ユーザインタフェースを介して選択された選択付帯情報に基づいて前記動画像を複数の区間に分割するための分割情報を生成する分割情報生成手段とを有することを特徴とする動画像処理装置。
【請求項２】
前記表示手段が、前記分割情報に基づいて前記動画像を分割した場合に得られるであろう結果を、時間と前記選択付帯情報の種別を軸とした２次元配列表示したユーザインタフェースを提示することを特徴とする請求項１記載の動画像処理装置。
【請求項３】
前記２次元配列表示は、前記分割情報に基づいて分割された動画像の各区間を代表するサムネイル画像を、当該各区間が対応する時間区分と、当該各区間の分割に用いられた前記付帯情報の種別に対応する区分とが交差する位置に配置してなることを特徴とする請求項２記載の動画像処理装置。
【請求項４】
前記表示手段が、前記２次元配列表示したユーザインタフェースを介した指示に応じ、前記付帯情報のうち、前記選択付帯情報以外の付帯情報を選択するためのユーザインタフェースを表示することを特徴とする請求項２又は請求項３記載の動画像処理装置。
【請求項５】
前記分割情報生成手段が、前記選択付帯情報以外の付帯情報の選択に応じて前記分割情報を更新し、
前記表示手段が、前記更新された分割情報に基づいて前記２次元配列表示したユーザインタフェースを更新することを特徴とする請求項４記載の動画像処理装置。
【請求項６】
前記２次元配列表示したユーザインタフェースを介して削除指示があった場合、前記分割情報生成手段が、前記２次元配列表示したユーザインタフェースにおいて選択されている動画像の区間が削除されるように前記分割情報を更新し、
前記表示手段が、前記更新された分割情報に基づいて前記２次元配列表示したユーザインタフェースを更新することを特徴とする請求項４又は請求項５記載の動画像処理装置。
【請求項７】
前記２次元配列表示したユーザインタフェースを介し、前記２次元配列表示されている付帯情報項目のいずれかに対する分割条件設定があった場合、前記分割情報生成手段が、前記分割条件設定に従って前記分割情報を更新し、
前記表示手段が、前記更新された分割情報に基づいて前記２次元配列表示したユーザインタフェースを更新することを特徴とする請求項４乃至請求項６のいずれか１項に記載の動画像処理装置。
【請求項８】
前記２次元配列表示したユーザインタフェースを最初に提示した際に用いた分割情報を記憶する記憶手段を更に有し、
前記２次元配列表示したユーザインタフェースを介して初期状態への復帰が指示された場合、前記分割情報生成手段が、前記記憶手段に記憶された分割情報によって前記分割情報を更新し、
前記表示手段が、前記更新された分割情報に基づいて前記２次元配列表示したユーザインタフェースを更新することを特徴とする請求項４乃至請求項７のいずれか１項に記載の動画像処理装置。
【請求項９】
前記付帯情報収集手段が前記動画像から取得する付帯情報には、前記動画像に予め付与されている付帯情報と、前記動画像の解析により取得される付帯情報とが含まれることを特徴とする請求項１乃至請求項８のいずれか１項に記載の動画像処理装置。
【請求項１０】
動画像に関する付帯情報を取得する付帯情報収集ステップと、
前記付帯情報を選択可能なユーザインタフェースを提示する表示ステップと、前記付帯情報のうち、前記ユーザインタフェースを介して選択された選択付帯情報に基づいて前記動画像を複数の区間に分割するための分割情報を生成する分割情報生成ステップとを有することを特徴とする動画像処理方法。
【請求項１１】
コンピュータ装置を、請求項１乃至請求項９のいずれか１項に記載の動画像処理装置として機能させるコンピュータプログラム。
【請求項１２】
請求項１１記載のコンピュータプログラムを格納したコンピュータ装置読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を動画像の付帯情報の変化点等を利用して分割する技術に関する。
【０００２】
【従来の技術】
一般に、特許文献１や特許文献２に見られるように、
【０００３】
・動画の撮像装置の操作（パン、チルト、ズームなど）
・撮像装置の状態（フォーカス、ホワイトバランスなど）
・ユーザにより付与されたテキストデータ（タイトル、人名、場所名など）
・画像を解析して得られる特徴量（色、輝度など）
（これら付帯情報を総称して以下、メタデータと呼ぶ）を用い、メタデータの変化点や、メタデータが所定の条件を満たす点で動画像を自動分割する技術が開発されている。動画像を自動分割することによって、所望の場所からの再生や、動画編集、自動的な動画像の要約を可能としている。
メタデータに基づく動画像の自動分割の概念を図１を用いて説明する。
【０００４】
図１（ａ）は、ある動画についてのメタデータ項目例として、日付、Ｚｏｏｍ、フレーム内の色の分布、場所名を、区間単位にまとめたものである。日付は日付の変化点により分けてその前後を区間としている。Ｚｏｏｍは操作ごとに区間としている。色分布はフレーム単位に色の分布を求め、フレーム間で大きく変化した点で分け、その前後を区間としている。場所名はユーザが付与した区間がそのまま区間となっている。以上のようにメタデータの変化点や付与対象区間などをもとにメタデータを区間単位にまとめる。
【０００５】
図１（ｂ）は、これら区間単位にまとめられたメタデータ、日付、Ｚｏｏｍ、色分布、場所名の区分点（変化点）を用いて動画像の分割を行った結果を示している。図１に示したように、複数種類のメタデータ項目について、いずれかのメタデータ項目において区分点が出現した時点で動画を分割したものが分割結果となる。図１（ｂ）におけるＴｈｕｍｂ−ＡからＴｈｕｍｂ−Ｊは、動画の最初及び最後の画像フレーム及び、各分割点の画像フレームを縮小して形成したサムネイル画像である。
【０００６】
分割結果は、例えばＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）によって図１５のように表示される。図１５において、５０００は分割結果ウィンドウである。タイトルバー５００１は、「分割結果ウィンドウ」であることをユーザに知らせるものである。５００２は、この列が分割点であることを示したものである。５００３は分割点に相当するサムネイルである。時間は上から下に進むものとして表示されている。なお、Ｔｈｕｍｂ−Ａは動画像の開始点、Ｔｈｕｍｂ−Ｊは動画像の終了点に相当するサムネイルである。５００４は、この列が分割長であることを示したものである。５００５は、各分割部分について分割長を時間で示したものである。なお、Ｔｈｕｍｂ−Ｊは動画像の終了点のサムネイルであり、分割長は存在しないため、「−−：−−：−−」と表示されている。
【０００７】
【特許文献１】
特開平０８−１６３４８８号公報
【特許文献２】
特許第３１９２６６３号公報
【０００８】
【発明が解決しようとする課題】
上述した従来技術においては、様々なメタデータ項目の区分点を用いて動画像を自動分割可能であるが、例えば図１に示す例では、４つのメタデータ項目のいずれかにおける区分点で動画が自動分割され、任意のメタデータ項目についての区分点を用いての自動分割は実現されていなかった。すなわち、自動分割に使用するメタデータ項目は選択できず、固定であったために、所望の区間に分割することは非常に困難であった。
【０００９】
ここで、メタデータ項目を選択する重要性について述べる。
まず、動画の内容によって、自動分割に用いるメタデータ項目の重要度が変化することがある。例として、メタデータ項目として、場所名、人名が付与されている場合について述べる。まず、結婚披露宴を撮影した場合について考える。基本的に披露宴会場の中で起こるイベントを撮影しているために、場所名が変化してもあまり意味がない。一方、新郎、新婦、友人、親戚、会社の上司など、様々な人が撮影対象となるので、人名は変化に富んでいる。よって、人名で分割した方が適切な区間を得ることが期待できる。次に、家族旅行での撮影の場合について考える。観光地をいくつも訪れるので場所名でまとまった区間は重要となる。一方、撮影される人は大抵の場合、家族の人に限られるので、人名も家族の人数分しか存在しない。よって、人名で分割するよりも、場所名で分割した方が適切な区間を得ることが期待できる。
【００１０】
また、編集の際の意図によって、同じ動画を対象としていても、自動分割に用いるメタデータ項目の重要度が変化することがある。例えば、前述の家族旅行の撮影の場合、通常は前述した通り観光地（場所）ごとに動画をまとめていくが、家族の特定の人物（例えば子供）についてのみの動画を作りたい場合は、人物名で分割する必要がでてくる。
【００１１】
また、撮影者の違いによっても、同じ内容の動画であっても、重要となるメタデータが異なってくる。例えば、ズーム操作を多用する撮影者もいれば、パン操作を多用する撮影者もいる。それぞれで、ズーム、パンの重要度が異なってくる。
【００１２】
よって、動画編集などを行うユーザが、対象となる動画像の内容をよく知っている場合（ユーザ自身で撮影した場合など）、ユーザによるメタデータ項目の選択が重要である。しかしながら、従来の方法ではこの手段が与えられておらず、自動分割されても意図通りの分割結果が得られないため、結合やさらに分割するなどの手間が生じていた。
【００１３】
また、動画像の内容を知らない場合であっても、やはり同様の問題が生じる。この場合は、メタデータ項目の重要度を確認するために、それぞれのメタデータと対応する分割点を、一覧する手段が更に必要となる。しかし当然のことながら、従来の方法ではこのような手段は提供されておらず、このような場合に、適切な分割結果を得ることは、なおさら困難であった。
【００１４】
本発明は、上記の問題に鑑みてなされたものであり、自動分割に使用するメタデータ項目の選択を適切に行える手段を提供することにより、再生や編集作業を容易に行えるようにすることを目的とする。
【００１５】
【課題を解決するための手段】
上述の目的を達成するため、本発明による動画像処理装置は、動画像に関する付帯情報を取得する付帯情報収集手段と、付帯情報を選択可能なユーザインタフェースを提示する表示手段と、付帯情報のうち、ユーザインタフェースを介して選択された選択付帯情報に基づいて動画像を複数の区間に分割するための分割情報を生成する分割情報生成手段とを有することを特徴とする。
【００１６】
また、本発明の目的は、動画像に関する付帯情報を取得する付帯情報収集ステップと、付帯情報を選択可能なユーザインタフェースを提示する表示ステップと、付帯情報のうち、ユーザインタフェースを介して選択された選択付帯情報に基づいて動画像を複数の区間に分割するための分割情報を生成する分割情報生成ステップとを有することを特徴とする動画像処理方法によっても達成される。
【００１７】
さらに、本発明の目的は、コンピュータ装置を、本発明の動画像処理装置として機能させるコンピュータプログラム及び、このコンピュータプログラムを格納したコンピュータ装置読み取り可能な記録媒体によっても達成される。
【００１８】
【発明の実施の形態】
以下、本発明の好適な実施形態について、添付の図面を用いて説明する。なお、本実施形態では、メタデータを用いて自動分割するための分割情報を生成し、その結果を用いて動画再生リストを作成する処理に関して説明するが、動画再生リストの作成は分割情報を利用する処理の一例であって、分割情報が他の処理に対しても利用可能であることは言うまでもない。
【００１９】
図２は、本実施形態における動画像処理装置の制御構成を示すブロック図である。図２において、ＣＰＵ２０１は、本実施形態の動画像管理装置における各種制御を実行する。ＲＯＭ２０２は、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。ＲＡＭ２０３は、ＣＰＵ２０１が処理するための制御プログラムを格納するとともに、ＣＰＵ２０１が各種制御を実行する際の作業領域を提供する。キーボード２０４、マウス２０５は、ユーザによる各種入力操作環境を提供する。
【００２０】
外部記憶装置２０６は、例えばハードディスクやフロッピディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性の半導体メモリ等の少なくとも１つで構成される。表示器２０７は、ディスプレイなどで構成され、動画像管理装置の処理結果やＧＵＩ画面等をユーザに対して表示する。ネットワークインタフェース（ＮＩＣ）２０８は、ＵＳＢ，ＩＥＥＥ１３９４、イーサネット（登録商標）、モデム等、外部機器との通信インタフェースであり、ローカル接続又はネットワーク接続された他の機器との通信を可能とする。また、バス２１１は動画像管理装置を構成する各ブロック間を接続する。
【００２１】
なお、図２の構成において、外部記憶装置２０６は動画像管理装置に内蔵されている必要はなく、ネットワークインタフェースを介してアクセス可能に接続されたものであってもよい。
【００２２】
図３は、本実施形態における動画像処理装置の機能構成を示すブロック図である。蓄積部３００は、外部記憶装置２０６で構成され、動画像・メタデータ・分割情報・動画再生リストを蓄積する。動画像はビデオカメラやデジタルカメラ等、他の撮像機器で撮像され、撮像された画像が記録された記録媒体、例えば半導体メモリや光ディスク等のリムーバブル記録媒体を読み取り可能な装置を外部記憶装置２０６として利用したり、ＮＩＣ２０８よりネットワークを経由して他の機器より蓄積部３００に読み込んだりしてもよい。
【００２３】
メタデータも他の機器によって予め付与されていたものを、動画像と同様な方法で取り込むことができる。なお、このときのメタデータは後述する形式で格納されているものとする。更に、メタデータは本動画像処理装置で付与することもできる。分割情報、動画再生リストは本動画像処理装置で生成されて蓄積される。
【００２４】
分割情報決定部３０１は、蓄積部３００より読み込んだメタデータや、メタデータ抽出部３０４より得たメタデータをもとに分割情報を生成し、所望の分割を決定するものである。ユーザ操作部３０２は、ユーザによる指示や入力を、キーボード２０４及びマウス２０５などを介して、取得するものである。表示部３０３は表示器２０７によって構成され、分割情報決定部３０１によって生成された分割結果などを、ユーザに表示するものである。メタデータ抽出部３０４は、蓄積部３００に蓄積された動画像やメタデータを解析して、新たにメタデータを抽出するものであり、ユーザ操作部３０２の操作に応じ、必要な際に起動される。再生順序指定部３０５は、分割情報決定部３０１で決定された分割区間について、その順序を指定することで、再生順序を指定するものである。再生部３０６は、分割情報決定部３０１で分割情報を決定するまでの確認時の再生や、再生順序指定部３０５で指定された再生順序に応じて、蓄積部３００から動画像を読み出して再生し、表示部３０３に表示するものである。
【００２５】
メタデータを動画像に付与する方法としては大きく分けると次の３つがあげられる。本実施形態においてはいずれの方法を用いても良い。また、他の方法で付与されても構わない。
【００２６】
（方法１）動画像を撮像する撮像機器において付与する方法
撮像機器のズームボタンなどの操作ボタンなどから、また、撮像機器が有する時計や各種センサなどから、撮影中の、撮像機器の操作や撮影機器の状態などの情報を得て付与することができる。項目としては、撮影日時、ズーム、フォーカス、ホワイトバランス、ゲイン、シャッタースピード、パン、チルト、ＡＥモードなどが上げられる。また、撮像機器に外付けされる機器から得られる情報（例えばＧＰＳセンサから得られる座標情報など）が付加されることもある。
【００２７】
（方法２）ユーザが付与する方法
撮影後に、動画像を再生させながら、ユーザが動画像中の区間を指定して、撮影されている人物の名前、場所などに関する情報を入力していくことで付与することができる。
【００２８】
（方法３）動画像を解析して付与する方法
撮影された動画像の解析を行い、特徴量を抽出し、これをメタデータとして付与することができる。項目としては、動画フレーム内の色の分布、輝度、顔領域の存在などがあげられる。
【００２９】
例えば、色の分布については、夫々のフレームを図１６に示すように縦横に複数のブロックに分割し、それぞれのブロックに関してＲＧＢ各チャンネルの平均値を算出して、この特徴量をフレーム単位の色の分布のメタデータとする。更に、前のフレームと現在のフレームの対応するブロック同士のＲＧＢ各チャンネルの差の二乗和を求めこれをフレーム間類似性距離とする。その計算式の一例を以下に示す。
【００３０】
Σ（ｉ＝１からｋまで）｛（Ｐ１ｉＲ−Ｐ２ｉＲ）２＋（Ｐ１ｉＧ−Ｐ２ｉＧ）２＋（Ｐ１ｉＢ−Ｐ２ｉＢ）２｝    式１
但し、
ｉ  ：処理中のブロックをあらわす
Ｋ  ：分割ブロック数
Ｐ１ｉＲ  ：直前のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ１ｉＧ  ：直前のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ１ｉＢ  ：直前のフレームのｉ番目のブロックのＢチャンネルの平均値
Ｐ２ｉＲ  ：現在のフレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ２ｉＧ  ：現在のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ２ｉＢ  ：現在のフレームのｉ番目のブロックのＢチャンネルの平均値
【００３１】
式１で求められるフレーム間類似性距離が小さいほど、２つのフレームの色の分布が類似しており、大きいほど類似していない。そして、例えば、ある閾値以上のフレーム間類似性距離を持つフレーム、すなわち前フレームとの類似性が低いフレームを変化点と見なす。そして、変化点の前後を区間とし、これを区間単位のメタデータとする。
【００３２】
各フレームの輝度についても同様に図１６に示すようなブロック分割を行い、ブロック内の平均輝度などを求め、この特徴量をフレーム単位のメタデータとすることが可能である。
【００３３】
顔領域の存在についても、フレームの中央付近の色成分を解析し、肌色の成分が所定の閾値よりも多い時に顔が存在すると推定し、存在すると推定される最初のフレームと最後のフレームを変化点としてメタデータを付加する方法などが上げられる。また、テンプレートマッチング等によって顔の存在を検出するなど、他の方法を用いても良い。
【００３４】
本実施形態では、メタデータのみを集め１つのファイルにし、蓄積部３００に記憶するものとする。
【００３５】
図１１は、蓄積部３００に記憶されるメタデータの記述の一例を示す図である。図１１に示す例において、メタデータは、ＸＭＬ（ｅＸｔｅｎｓｉｖｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）形式で記述されている。１４０１はＸＭＬ文書に関するヘッダ部で、ＸＭＬのバージョンや文字エンコード方式などのＸＭＬ宣言が記述されている。１４０２は文書本体の部分である。文書本体は、１４０３のような、”＜”と”＞”で挟まれる開始タグと、１４０４のような”＜／”と”＞”で挟まれ、開始タグと対応する終了タグとの間で挟まれている、内容１４０５のからなる要素から構成される。
【００３６】
開始タグと終了タグには、タグの間にどのような内容が記述されるかが示される。各要素は階層的に記述することが可能である。この例では、ルート要素（最上位の階層）である「メタデータ集合」の下に「メタデータ」が存在し、「メタデータ」の下に「対象動画」、「区間」、とメタデータ項目（本例では「Ｚｏｏｍ」）の要素が存在し、「対象動画」の下には「パス」が存在し、「区間」の下に「開始点」、「長さ」の要素が存在し、「Ｚｏｏｍ」の下に「方向」、「開始倍率」、「終了倍率」が存在している。このように「メタデータ」は「メタデータ集合」の下に羅列して記述される。
【００３７】
そして、まず、各「メタデータ」の対象となっている動画ファイルの位置を記述する。これは「対象動画」の要素として「パス」をもっており、例えば蓄積部３００に記憶された対象動画ファイルのファイルパスが記述される。次に、各「メタデータ」の「区間」が記述され、これは「開始点」と「長さ」で記述される。「開始点」にはタイムコードで、「長さ」には開始点から終了点までの時間で記述されている。この際、フレーム単位のメタデータを記述したい場合は、「長さ」に０と記述する。「区間」に対応するメタデータの具体的な内容はその次に記述され、本例では「Ｚｏｏｍ」が記述されている。「Ｚｏｏｍ」は「方向」と「開始倍率」と「終了倍率」の要素をもっており、「方向」はズーム操作の方向でズームインのときはイン、ズームアウトの時はアウトと記述される。「開始倍率」は操作開始におけるズーム倍率であり、本例では１倍を示す１が記述されている。「終了倍率」は操作終了におけるズーム倍率であり、本例では２．５倍となっている。
【００３８】
図４Ａ〜図４Ｃは、本実施形態における動画像処理装置の動画分割処理手順を示したフローチャートである。動画分割処理は、例えばユーザ操作部３０２から分割対象動画の選択と、分割処理の指示があった場合に実行される。
【００３９】
まず、ステップＳ４０１において、分割情報決定部３０１は蓄積部３００を参照し、メタデータファイルから、対象動画について付与されているメタデータの項目をチェックし、自動分割に利用できるメタデータ項目のリストを作成する。この際、メタデータファイルに存在せず、かつ動画像処理装置によって新たに付加可能なメタデータ項目についてもリスト中に含ませる。
【００４０】
次に、ステップＳ４０２において、ステップＳ４０１で作成した、自動分割に利用可能なメタデータ項目を表示部３０３に一覧表示する。次に、ステップＳ４０３において、ユーザがユーザ操作部３０２を介して、利用するメタデータ項目の選択が完了したかどうかを判定する。完了するまで、待ちつづける。
【００４１】
ここで、ステップＳ４０２において、利用可能なメタデータ項目の表示及び選択を行うために表示するユーザインタフェースの一例を図５を用いて説明する。５００は利用可能メタデータ選択ウィンドウである。タイトルバー５０１は、表示中の画面が「利用可能メタデータ選択ウィンドウ」であることをユーザに知らせるものである。メタデータ項目表示領域５０２には、利用可能（選択可能）なメタデータ項目のリストが表示されている。
【００４２】
本実施形態においては、メタデータ項目表示領域で下線付きで表示されているものが、既に選択されたメタデータである。項目の選択は通常ＧＵＩにおいて採用されている任意の方法により行うことが可能であり、例えばポインタ５０４をマウス２０５で操作し、所望の項目をポインタ５０４で示してクリックすることにより選択動作とすることができる。また、後述する分割決定ウィンドウで表示する際の順番を指定するために、項目をドラッグする等によって表示順序を変更可能に構成しても良い。なお、図に例示したように複数の項目を指定することが可能である。また、イタリック体で表示されているのは、本動画像処理装置によって付与可能なメタデータ項目であることを示している。これにより、予め付与されていない場合でも、本リストにある項目については、メタデータを抽出することができる。ＯＫボタン５０３は、マウス２０５でクリックするか、キーボード２０４の対応するキーを押下することにより操作可能であり、ＯＫボタン５０３の操作によって利用可能なメタデータ項目の選択を完了する。ポインタ５０４は、例えばマウス２０５のポインタであり、これを操作することによってユーザは動画像処理装置に各種の指示を与えることができる。
【００４３】
ＯＫボタン５０３の操作により分割に使用するメタデータ項目が設定されると（ステップＳ４０３においてＹＥＳ）、選択された項目の中に抽出が必要な項目（前述のイタリック体で表示された項目）があるかどうかをチェックする（ステップＳ４０４）。なければ、ステップＳ４０５とＳ４０６をスキップしてステップＳ４０７へ進む。あれば、ステップＳ４０５において、メタデータ抽出部３０４によって動画像を解析し、該当メタデータ項目の抽出を行う。抽出は例えば前述の方法３として説明した方法を用いることができる。そして、ステップＳ４０６において、蓄積部３００のメタデータファイルに所定の形式（本実施形態においては上述のＸＭＬ形式）で追加する。これは、抽出したメタデータを、他の装置でも利用可能なようにするためである。
【００４４】
次に、ステップＳ４０７において、分割情報決定部３０１は蓄積部３００から読み込んだメタデータ及び、メタデータ抽出部３０４で抽出したメタデータ（ただし、これはステップＳ４０４でＹＥＳのときのみ存在）を読み込んで、分割情報を生成する。
【００４５】
ここで、分割情報について説明する。
本実施形態では、分割情報は、これを一つのファイルにし、蓄積部３００に記憶するものとする。なお、記憶に際し、分割情報であることが識別可能なよう、専用の拡張子をつけるか、専用のディレクトリを用意することが好ましい。分割情報は、動画再生リストを作るための作業ファイルである。よって例えば、他のユーザへの配布用に動画ファイルのダビングを行う時には、コピーする必要の無いファイルである。こういった場合には、拡張子やディレクトリで判断して、分割情報のファイルだけをコピーしないようにすることができる。
【００４６】
図１２は、蓄積部３００に記憶される分割情報の記述の一例を示す図である。本実施形態において、分割情報は図１１に示したメタデータと同様、ＸＭＬ形式で記述される。データ構造に関しての基本的な説明は図１１と同じなので、ここでは省略し、各要素についての説明を行う。「分割情報集合」には、分割された区間ごとの情報である、「分割情報」という要素が存在し、例示したように分割情報の数分並べて記述される。「分割情報」には「対象画像」、「区間」、「サムネイル」、「項目行」という要素が存在する。「対象動画」は、分割情報の対象となる動画の情報である。中身の説明は図１１のメタデータの場合と同様なので省略する。
【００４７】
「区間」は、分割された区間の情報である。中身の説明は図１１のメタデータの場合と同様なので省略する。「サムネイル」は、区間を代表するサムネイルに関する情報である。「対象動画」と同様に「パス」という要素を持ち、後述するステップＳ４０８の処理で生成されるサムネイルのファイルが格納されているファイルパスが記述される。「項目行」には、区間内での各項目に対応する情報である、「区間内項目情報」という要素がある。「区間内項目情報」は、項目数分存在し、分割決定ウィンドウ図６（後述）で表示する順番に項目行内に並べて記述される。
【００４８】
「区間内項目情報」には、「項目名」、「付与対象」、「分割基準」と必要に応じてメタデータの内容に相当する要素を記述することができる。「項目名」は、メタデータ項目名が記述される。「付与対象」はＴＲＵＥであれば、「項目名」にあるメタデータが、区間内に存在することを示し、ＦＡＬＳＥであれば、存在しないことを示す。「分割基準」はＴＲＵＥであれば区間の分割基準となったメタデータ項目であり、ＦＡＳＬＥであれば、分割基準ではないことを示す。メタデータの内容に相当する要素は、本例では、「項目名」が場所名のところで、メタデータの要素である「場所名」が、メタデータファイルよりコピーされている。このとき、メタデータファイルには、「場所名」の要素として「国」、「県」、「市」、「町」、「丁目」、「番地」などが存在していても、図６の分割決定ウィンドウ（後述）上で表示したい要素だけコピーしておけばよい。この例では、「市」のみがコピーされている。
【００４９】
ここで、図４ＡにおけるステップＳ４０７で行う、分割情報の生成処理の詳細について、図１３のフローチャートを用いて説明する。
まず、ステップＳ１６０１において、対象となるメタデータ項目の中でフレーム単位となっているもの（「区間」の「長さ」が０に設定されているもの）があれば、区間単位とする。例えば、前述の色の分布が、フレーム単位に付与されていた場合は、前述の方法で特徴量同士の距離を求め、所定値以上の距離となったところを変化点として、その前後を区間とする。
【００５０】
次に、ステップＳ１６０２において、区間単位のメタデータを参照して、所定の条件に基いて項目ごとの分割区間を決定する。所定の条件の例をいくつかあげる。例えば、前述の日付の場合であれば、メタデータの付与区間をそのまま日付の分割区間とする。また例えば、Ｚｏｏｍの場合に、ズームインの区間のみという条件であれば、「方向」を参照し、インの区間のみを採用する。また例えば、Ｚｏｏｍの場合に、操作終了点を変化点とするという条件であれば、操作終了点の前後を区間とする、というものがある。
【００５１】
次に、ステップＳ１６０３において、項目ごとの分割区間の論理和を取り、これを最終的な分割区間とする（すなわち、いずれかの項目において変化点（区分点）が現れる毎に分割される）。次に、ステップＳ１６０４において、まず先頭の分割区間に着目する。次に、ステップＳ１６０５において、図６の分割決定ウィンドウ（後述）上で表示する順番のはじめの項目に着目する。分割決定ウィンドウ（後述）上で表示する順番は、予め定められた順番であっても、利用可能メタデータ選択ウィンドウ（図５）にて指定した順番であっても構わない。
【００５２】
次に、ステップＳ１６０６において、着目している分割区間内で、着目しているメタデータ項目が付与されているかどうかを判定する。これは、図１１の各「メタデータ」内の要素である「区間」とメタデータの内容を示すタグ（「Ｚｏｏｍ」）などを、着目している分割区間のタイムコード等を用いて参照すれば判定できる。付与されていれば、ステップＳ１６０７で「分割情報」内の「付与対象」をＴＲＵＥに設定する。付与されていなければステップＳ１６０８でＦＡＬＳＥに設定する。次に、ステップＳ１６０９で、分割の基準となった項目であるかを判定する。これは、「付与対象」がＴＲＵＥだったときに、「メタデータ」内の「区間」の「開始点」と「分割情報」内の「区間」の「開始点」が一致しているかどうかで判定できる。一致していれば、ステップＳ１６１０において「分割基準」をＴＲＵＥに設定する。一致していないときと、当然ながらそもそも付与対象区間でなかったときは、ステップＳ１６１１で「分割基準」をＦＡＬＳＥに設定する。
【００５３】
次に、ステップＳ１６１２において、表示可能なメタデータ内容があるかをチェックする。これは処理装置の能力などに応じて表示可能なメタデータ項目の内容を予め決めておき、これに該当するものであるかどうかをチェックすることにより実現できる。図１２の例では、「場所名」については、「市」のみを表示可能としている。表示可能なものがあれば、ステップＳ１６１３において、「メタデータ」より該当する要素のみ（例では「市」）を分割情報にコピーする。
【００５４】
次に、ステップＳ１６１４において、次のメタデータ項目に着目し、次のメタデータ項目があれば、ステップＳ１６０６からステップＳ１６１３までを繰り返す。表示すべきメタデータ項目の最後の項目まで行っていたならば、次に、ステップＳ１６１５へ進む。ステップＳ１６１５では、次の分割区間に着目する。次の分割区間が存在するならば、ステップＳ１６０５からステップＳ１６１４までを繰り返す。存在しないならば、分割情報を作り終えているので、本処理を終了する。
【００５５】
図４Ａに戻って、ステップＳ４０８において、分割情報決定部３０１はサムネイルを作成する。蓄積部３００を参照し、動画像から「分割情報」の「開始点」に相当するフレームを抜き出して、これを縮小することでサムネイルを作成する。作成したサムネイルは、ＪＰＥＧやビットマップなどの形式で別ファイルとして蓄積部３００に蓄積し、上述の通り分割情報にファイルのパスを格納する。
【００５６】
次に、ステップＳ４０９において、分割結果を時間軸とメタデータ項目の軸の２次元の配列で表示部３０３に表示を行う。次に、ステップＳ４１０において、ＲＡＭ２０３上に作成した分割情報を、上述のように専用の拡張子を付与する等して蓄積部３００に保存する。これは、他の機器で分割情報を使用することを可能とするためと、後述するように図６の分割決定ウィンドウを初期状態に戻すためである。そして、図４Ｂに示すステップＳ４１１からステップＳ４２７の処理により、ユーザ操作部３０２を介したユーザ操作に従った分割点の決定を行う。
【００５７】
ここで、ステップＳ４０９において、分割結果を表示し、分割点の決定を行う際のユーザインタフェースの一例である分割決定ウィンドウについて、図６を用いて説明する。
【００５８】
６００は分割決定ウィンドウである。タイトルバー６０１は、表示中のウィンドウが「分割決定ウィンドウ」であることをユーザに知らせるものである。６０２で示すような、「Ｔｈｕｍｂ−Ａ」等は分割点のフレーム（分割区間の先頭フレーム）のサムネイルである。このようなサムネイルが、縦軸を分割された区間（時間は上から下に進む）、横軸をメタデータ項目にしたときに該当するところに配置されて表示される（以降、横軸方向のひとまとまりを区間行、縦軸方向のひとまとまりを項目列と呼ぶ）。
【００５９】
６０３の行の日付から場所名までは、各項目列に対応するメタデータ項目の名称を表示するものである。６０２のＴｈｕｍｂ−Ａは、動画像の先頭フレームに位置し、また、日付項目の変化点で区切られているので、この位置に表示されている。なお、区間の先頭が複数のメタデータ項目で分割されている場合は、区間行上に複数のサムネイルが配置されることになる。例えば、動画像の先頭フレームは色項目によっても分割されているため、Ｔｈｕｍｂ−Ａは色項目においても表示されている。Ｔｈｕｍｂ−Ｊについても同様である。
【００６０】
そして、６０４のように空白となっているところは、分割区間に該当する項目のメタデータは存在するものの、分割基準でない場合である。そして、６０５のように斜線で表示されているところは、該当する分割区間内に該当する項目のメタデータが付与されていないことを示している。このようにサムネイルが配置された位置で、分割された区間の時間上の位置と、分割の基となったメタデータ項目を把握することができ、項目後とに分割した時の区間も把握しやすくなる。
【００６１】
さらに、日付や場所名などのように容易に表示が可能なもの（テキストデータなど）は、６０６のようにサムネイル上にオーバーレイ表示する。これによって、分割の基準をより詳細に把握できる。６０７は、この列が分割長であることを示したものである。６０８は該当する時間行の分割の長さを時間で示したものである。これは分割長の長さを把握することができれば、どのようなものでもよく、例えば、始点と終点のタイムコードであっても、長さに対応したアイコンを作成し、これを表示するようにしても構わない。以上のような表示をすることにより、分割すべき動画中の範囲と、分割を決定する際に必要なメタデータ項目を、ユーザは把握しやすくなる。
【００６２】
６０９の縦方向に並んだボタンは、各区間行の選択を指示するための区間選択ボタンである。黒に反転しているボタンの区間が選択されていることを示している。６１０は横方向に並んだボタンは、各項目列の選択を指示するための項目選択ボタンである。項目選択ボタンは、区間選択ボタン６０９において選択されている区間で分割基準となっているメタデータ項目が黒に反転表示される。逆に、項目選択ボタン６１０で選択された項目で分割される区間をボタン６０９の反転表示によって示しても良い。例えば、区間選択ボタン６０９と項目選択ボタン６１０のどちらか先に押された方に対応して、もう一方のボタンの表示状態が変化するようにすることができる。
【００６３】
削除ボタン６１２は、区間選択ボタン６０９、項目選択ボタン６１０で選択された区間行や項目列の削除を指示するボタンである。これにより分割の範囲としない区間行を削除したり、不要な分割の基になったメタデータ項目の項目行を削除したりすることができる。ＯＫボタン６１２は、区間選択ボタン６０９、項目選択ボタン６１０で選択された区間を、最終分割として決定することを指示するボタンである。リセットボタン６１３は、やり直しを行いたい場合に、削除等をおこなった状態を初期の状態に戻すためのボタンである。ポインタ６１４は、ＧＵＩの操作を行うためのポインタであり、通常はマウス２０５で操作することで装置に各種の指示を与えることができる。
【００６４】
また、６０２などのサムネイルをポインタ６１４で示し、マウス２０５をダブルクリックする等の操作を行うことで該当区間を再生し、確認することができる。このときは、図７に例示する再生ウィンドウが別に開き、この画面上で再生される。図７において、７００は再生ウィンドウである。タイトルバー７０１は、このウィンドウが「再生ウィンドウ」であることをユーザに知らせるものである。動画再生領域７０２は、再生された動画が表示される領域である。
【００６５】
このようにボタン等を操作することで、ユーザは分割の決定を試行錯誤しながら行うことができる。
なお、ＧＵＩの表示やユーザ操作の検出、操作に応じた各種処理は、分割情報決定部３０１が行う。実際には、ＣＰＵ２０１がキーボード２０４やマウス２０５の動作を検出しながら、適切な処理を行うことで実現される。
【００６６】
次に、図４Ｂに移って、ステップＳ４１１において、メタデータ抽出指定があったどうかをチェックする。メタデータ抽出指定は、図５を用いて説明した利用可能メタデータ選択ウィンドウにおける指定とは別に、特定の区間について更に詳細な分割を行うためのメタデータ項目を指定するものである。
【００６７】
メタデータ抽出指定は、図６における区間選択ボタン６０９で範囲を指示し、反転表示（黒表示）されている区間選択ボタン６０９上で、例えばマウス２０５の右ボタンをクリックをして抽出可能メタデータ選択ウィンドウを表示させ、この中から選択することによって可能となる。
【００６８】
ここで、抽出可能なメタデータを選択する際のユーザインタフェースの一例を図８を用いて説明する。８００は抽出可能メタデータ選択ウィンドウである。タイトルバー８０１は、「抽出可能メタデータ選択ウィンドウ」であることをユーザに知らせるものである。８０２は、指定された区間で抽出可能なメタデータ項目のリストを表示する領域である。具体的には、指定された区間に存在するメタデータ項目をメタデータファイルを参照して取得し、分割決定ウィンドウに表示されていない項目を表示する。この中で、下線付きで表示されているものが、選択されたメタデータである。ＯＫボタン８０３は、押下することにより抽出可能なメタデータ項目の選択を完了する。ポインタ８０３は、これを操作することによって各種の指示を与えることができる。
【００６９】
抽出可能メタデータ選択ウィンドウ８００を操作することにより、分割結果を確認した結果、他のメタデータ項目により更に細かく分割することができる。また、部分的にしかメタデータが付与されていない場合に、付与されていない区間（６０５など）に対してメタデータを抽出し、分割することができる。
【００７０】
ステップＳ４１１において、メタデータ抽出指示が無ければ、ステップＳ４１２に進み、分割条件の設定が行われたかどうかをチェックする。分割条件の指定は、例えば色による分割など、所定の閾値によって分割がなされるメタデータ項目について、ステップＳ４０７において用いられた条件を変更して再度分割を行いたい場合に実行することができる。例えば、ユーザが条件を指定したいメタデータ項目の名称が表示されている領域６０３をポインタ６１４で示した状態でマウス２０５の右ボタンをクリックすると、分割条件設定ウィンドウが表示され、このウィンドウ中で設定を行うことによって条件設定が可能となる。なお、更に、区間選択ボタン６０９にて、分割させる範囲を指定可能に構成してもよい。
【００７１】
ここで、分割条件の設定をする際のユーザインタフェースの一例を図９を用いて説明する。９００は分割条件設定ウィンドウである。タイトルバー９０１は、「分割条件設定ウィンドウ」であることをユーザに知らせるものである。９０２は、条件設定をしているメタデータ項目の名称などを表示する領域である。、条検値の設定９０３は、閾値などの条件をユーザ操作部３０２を構成するキーボード２０４を操作して設定する。ＯＫボタン９０４は、押下することにより条件設定を完了する。ポインタ９０５は、これを操作することによって各種の指示を与えることができる。設定できる条件としては、メタデータを抽出する時の条件、フレーム単位のメタデータを区間単位のメタデータとする時の条件、区間単位のメタデータから分割区間を採用するときの条件がある。
【００７２】
分割条件設定ウィンドウ９００を操作することにより、分割結果を確認した結果、特定のメタデータ項目の分割結果が期待通りで無かった場合に、分割に関する条件を変更して再度分割させることができる。
【００７３】
次に、ステップＳ４１１にて指定が有った場合か、ステップＳ４１２にて条件設定が行われた場合は、ステップＳ４１３に進み適用範囲の確認を行う。これは区間選択ボタン６０９にて選択された区間を検出し、それに対応する区間を分割情報より読み出すことにより行う。
【００７４】
次に、ステップＳ４１４において、ステップＳ４１３で確認された適用範囲内について、ステップＳ４１１にて選択されたメタデータ項目か、ステップＳ４１２で条件設定されたメタデータ項目についてメタデータの抽出を行う。もちろん、ステップＳ４１２で設定された条件がメタデータ抽出に関するものである場合は、設定された条件をもとにメタデータ抽出を行う。例えば、Ｚｏｏｍ項目において、「ＩＮ」の区間のみが条件設定された場合には、その条件にあうメタデータを抽出する。次に、ステップＳ４１５において、抽出されたメタデータに基いて分割情報の生成をステップＳ４０７と同様にして行う。もちろん、ステップＳ４１２で設定された条件が分割情報生成に関するものである場合は、設定された条件をもとに分割情報の生成をステップＳ４０７と同様にして行う。
【００７５】
次に、ステップＳ４１７において、生成された分割情報のサムネイルをステップＳ４０８と同様にして作成する。次に、ステップＳ４１７において、生成された分割情報を追加してステップＳ４０９と同様に２次元配列表示を行う。次に、ステップＳ４１８において、生成された分を追加した分割情報を蓄積部３００に保存する。理由はステップＳ４１０と同様である。
【００７６】
次に、ステップＳ４１２にて条件設定が行われていなかったときか、ステップＳ４１８の処理を終えたら、ステップＳ４１９へ進み、項目選択ボタン６１０にて削除指示がなかったかどうかをチェックする。指示がなければ、ステップＳ４２０とステップＳ４２１はスキップする。指示があれば、ステップＳ４２０に進み、削除範囲の確認を行う。
【００７７】
ここで、項目選択ボタン６１０のみが選択されていれば、選択された項目行全体を削除の範囲とする。また、区間選択ボタン６０９のみが選択されていれば、選択された項目行全体を削除の範囲とする。例えば、図６に示すような、両方のボタンが反転表示されているような場合、削除したくない行または列において反転表示されてるボタンをクリックすることによりその反転表示を解除することが可能である。
【００７８】
次にステップＳ４２１に進み、削除範囲について分割決定ウィンドウ６００について削除を行う。そして、ＲＡＭ２０３上の分割情報から削除する。次に、ステップＳ４２２へ進み、削除されたことにより変化した分割長を再計算し、表示を行う。
【００７９】
次に、ステップＳ４２３において６０２などのサムネイルがダブルクリックされ、再生指示されたかどうかをチェックする。再生指示されていなければ、次のステップＳ４２４はスキップされる。再生指示されていれば、ステップＳ４２４へ進み、再生ウィンドウ７００にて、指定されたサムネイルに対応する区間を再生する。これにより、区間の内容を確認することができる。
【００８０】
次に、ステップ４２５において、リセットボタン６１３によってリセット指示があったかどうかを判定する。指示されていれば、ステップ４２７において、蓄積部３００より分割情報を読み出して、再表示を行う。これにより、分割決定の操作をはじめからやり直すことができる。
【００８１】
次に、ステップ４２３において、ＯＫボタン６１２が押され、区間選択ボタン６０９や項目選択ボタン６１０で選択された区間を、最終分割として決定したかどうかを判定する。ＯＫボタン６１２が押されていなければ、まだ分割決定が完了していないので、ステップＳ４１１へ戻る。押されていれば、次のステップＳ４２８へ進み、再生順序の指定を行う。
以上、ステップＳ４１１からステップＳ４２７によって、ユーザは所望の分割点を得られるまで、試行錯誤することが可能である。
【００８２】
ここで、ステップＳ４２８で表示される、再生順序を指定する際のユーザインタフェースの一例を図１０を用いて説明する。１０００は再生順序指定ウィンドウである。タイトルバー１００１は、このウィンドウが「再生順序指定ウィンドウ」であることをユーザに知らせるものである。１００２はこの列が再生順序であることを示したものである。１００３のように再生順序が表示されている。１００４はこの列が決定された分割点の最初のフレームのサムネイルの表示領域であることを示している。１００４は図１５の５００２と、１００５は５００３と、１００６は５００４と、１００７は５００５と同様であるので説明は省略する。１００８の太枠は２行目が選択されていることを示す。これを選択されている枠を上下にドラッグすることで再生順序の入れ替えを設定することができる。ＯＫボタン１００９はその押下により、順序の入れ替えの終了を指示するボタンである。ポインタ１０１０は、これを操作することによって各種の指示を与えることができる。
【００８３】
次に、ステップＳ４２８において、図１０の再生順序指定ウィンドウで、順序の指定が行われたかどうかを判定する。これは、ポインタ１０１０により選択及びドラッグが行われたかどうかで判定できる。入れ替え指示があれば、ステップＳ４２９において、ドラッグ後の位置に応じて順序の入れ替えをして、表示内容を更新する。
【００８４】
次に、ステップＳ４３０において、再生順序の決定がなされたかを判定する。これは、１００９のＯＫボタンが押下されたかどうかで判定できる。決定されていなければ、ステップＳ４２８へ戻りステップＳ４２９までの処理を繰り返す。決定されていれば、ステップＳ４３１に移り再生リストを生成する。再生リストは、分割情報中の対象動画と区間を指定された順序にコピーすることで生成できる。そして、ステップＳ４３２において動画再生リストを蓄積部３００に保存する。これは、他の再生機器でも利用できるようにするためである。そして、ステップＳ４３３において、図７の再生ウィンドウにおいて、指定された再生順序通りに動画が再生される。
【００８５】
ここで、動画再生リストについて説明する。
本実施形態では、動画再生リストは、これを一つのファイルにし、蓄積部３００に記憶するものとする。
【００８６】
図１４は動画再生リストの記述例を示す図である。本実施形態において、動画再生リストは、図１１のメタデータと同様にＸＭＬ形式で記述される。データ構造に関しての基本的な説明は図１１と同じなので、ここでは省略し、各要素についての説明を行う。「再生順序」には、再生する順番に「対象動画」、「区間」のペアで、記述されている。「対象動画」、「区間」は「分割情報」中のものをコピーしたものである。再生部３０６は、順序通りに対象となる動画の区間を再生していくことで、ユーザが所望する内容の動画を再生することができる。
【００８７】
以上のようにして、自動分割に用いるメタデータ項目を適切に選択し、また、その条件の設定を行うことによって、ユーザが所望する分割区間を得て、動画再生リストを作成することができる。
【００８８】
【他の実施形態】
上述の実施形態では生成した分割情報を動画再生リストの生成に利用する場合を例に挙げたが、分割情報は他の様々な用途に用いることも可能である。例えば、分割情報に基いて一つの動画ファイルを分割し、複数の動画ファイルを生成する。分割情報に指定された区間が、動画像ファイルの一部のときは、指定区間のみを抜き出して、新たな一つの動画ファイルを生成する。分割情報に指定された区間の一部（例えば先頭の２秒間）のみを再生し、ダイジェスト再生を行う。以上のような用途が考えられる。
【００８９】
本実施形態では、動画像と一部のメタデータは他の機器で撮像及び、付与されているものとしたが、ひとつの機器として構成しても、もちろん構わない。
【００９０】
本実施形態では、分割情報と動画像中の区間との関連付けは、分割情報中に記述したが、関連付けの情報のみをまとめて、管理ファイルとして、例えばＸＭＬの形式で作成しておいても構わない。
【００９１】
本実施形態では、メタデータ、分割情報を、ＸＭＬの形式（テキストデータ）で記述したが、１例であって、もちろん、バイナリで表現しても構わない。
【００９２】
本実施形態では、動画像処理装置において付与可能なメタデータとして色の分布を用いたが、これに限定されるものではなく、例えば、輝度、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量、顔認識など複数挙げられる。
【００９３】
本実施形態で、分割情報には、メタデータの内容を表示可能なものだけコピーすることにしたが、もちろん、容量などの制限がなければ、全てコピーしておいて、表示するときに、表示可能なものだけ表示するようにしても構わない。
【００９４】
本実施形態では、図６に示す２次元配列表示において、区間を行、メタデータ項目を列としたが、もちろん、メタデータ項目を行、メタデータ項目を列とするように表示しても構わない。
【００９５】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００９６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００９７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００９８】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００９９】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【０１００】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【０１０１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１０３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１０４】
【発明の効果】
以上説明したように、本発明によれば、動画像の内容や、動画編集の意図に応じて、ユーザがメタデータ項目やその条件を設定が可能となる。また、分割情報は汎用的な形式で記述することにより、装置依存性が小さく、広く利用することが可能である。
【図面の簡単な説明】
【図１】メタデータによる動画像の自動分割の概念を示す図である
【図２】本発明の実施形態における動画像処理装置の制御構成を示すブロック図である
【図３】本発明の実施形態における動画像処理装置の機能構成を示すブロック図である
【図４Ａ】
【図４Ｂ】
【図４Ｃ】本発明の実施形態における動画像処理装置の処理手順を示したフローチャートである
【図５】本実施形態おける、分割に利用可能なメタデータ項目を選択する際のユーザインタフェースの一例を示す図である。
【図６】本実施形態おける、分割点の決定を行う際のユーザインタフェースの一例を示す図である。
【図７】本実施形態おける、再生ウィンドウの一例を示した図を示す図である。
【図８】本実施形態おける、抽出可能なメタデータを選択する際のユーザインタフェースの一例を示す図である。
【図９】本実施形態おける、分割条件の設定をする際のユーザインタフェースの一例を示す図である。
【図１０】本実施形態おける、再生順序を指定する際のユーザインタフェースの一例を示す図である。
【図１１】本実施形態おける、メタデータの記述の一例を示す図である。
【図１２】本実施形態おける、分割情報の記述の一例を示す図である。
【図１３】本実施形態における動画像処理装置の分割情報生成処理の詳細を示したフローチャートである。
【図１４】本実施形態おける、分割情報の記述の一例を示す図である。
【図１５】従来技術による分割結果の表示の例を示す図である。
【図１６】ブロック分割の一例を示す図である。
【図１】
2004363831.tif 000003
【図２】
2004363831.tif 000004
【図３】
2004363831.tif 000005
【図４Ａ】
2004363831.tif 000006
【図４Ｂ】
2004363831.tif 000007
【図４Ｃ】
2004363831.tif 000008
【図５】
2004363831.tif 000009
【図６】
2004363831.tif 000010
【図７】
2004363831.tif 000011
【図８】
2004363831.tif 000012
【図９】
2004363831.tif 000013
【図１０】
2004363831.tif 000014
【図１１】
2004363831.tif 000015
【図１２】
2004363831.tif 000016
【図１３】
2004363831.tif 000017
【図１４】
2004363831.tif 000018
【図１５】
2004363831.tif 000019
【図１６】
2004363831.tif 000020