(57)【要約】【課題】撮影装置の操作や状態の変化によって、動画が多くの区間に分割されるような場合でも、所望の場所を素早く見つけることを可能にし、再生や編集作業を容易に行えるようにする。【解決手段】動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報を含むカメラ付与情報が、各項目毎に読み出し可能に登録された動画像データを読み出し（ステップＳ１００１）、処理する動画像処理方法において、複数項目より選択された１つ又は複数の項目によって構成される項目グループ（観点）を定義し、該項目グループに属する項目に対応する分割情報を統合することにより、当該項目グループに対応したサブショットを生成する（ステップＳ１００２）。このようなサブショットを複数種類の項目グループについて生成し、これらを当該動画像データに対応させて保持する（ステップＳ１００４）。【選択図】  図１０
2004336380.tif 000002
【特許請求の範囲】
【請求項１】
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて、当該動画像を分割するための分割情報を生成する第１生成工程と、
前記第１生成工程で生成された前記複数項目の夫々に対応する分割情報を各項目毎に読み出し可能に、当該動画データに対応付けて登録する登録工程と、
前記複数項目より選択された１つ又は複数の項目に対応する分割情報を統合することにより、当該項目の組み合わせに対応した統合分割情報を生成する第２生成工程とを備えることを特徴とする動画像処理方法。
【請求項２】
前記第２生成工程により、複数種類の項目の組み合わせについて統合分割情報を生成し、各組み合わせを識別する識別情報に対応付けて保持する保持工程を更に備えることを特徴とする請求項１に記載の動画像処理方法。
【請求項３】
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報が、各項目毎に読み出し可能に登録された動画像データを処理する動画像処理方法であって、
前記複数項目より選択された１つ又は複数の項目によって構成される項目グループを定義し、該項目グループに属する項目に対応する分割情報を統合することにより、当該項目グループに対応した統合分割情報を生成する第１生成工程と、
前記第１生成工程により、複数種類の項目グループについて統合分割情報を生成し、これらを前記動画像データに対応させて保持する保持工程とを備えることを特徴とする動画像処理方法。
【請求項４】
前記統合分割情報を前記動画像データに対応させて記録媒体に記録する記録工程を更に備えたことを特徴とする請求項３に記載の動画像処理方法。
【請求項５】
前記複数種類の項目グループの各々に関して、対応する統合分割情報によって動画像データを分割した際の各区間を代表する代表画像を登録する登録工程を更に備えることを特徴とする請求項３に記載の動画像処理方法。
【請求項６】
前記複数種類の項目グループより所望の項目グループを指定させる指定工程と、
前記指定工程で指定された項目グループに対応して登録されている代表画像を表示する表示工程とを更に備えることを特徴とする請求項５に記載の動画像処理方法。
【請求項７】
前記表示工程で表示された代表画像より指示された代表画像に対応する動画像データの区間について所定の処理を実行する実行工程を更に備えることを特徴とする請求項６に記載の動画像処理方法。
【請求項８】
前記項目グループとは、撮影した際の環境、撮影した被写体、撮影した際の被写体サイズ、動画像に付与した効果、のいずれかであることを特徴とする請求項１乃至７のいずれかに記載の動画像処理方法。
【請求項９】
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて、当該動画像を分割するための分割情報を生成する第１生成手段と、
前記第１生成手段で生成された前記複数項目の夫々に対応する分割情報を各項目毎に読み出し可能に、当該動画データに対応付けて登録する登録手段と、
前記複数項目より選択された１つ又は複数の項目に対応する分割情報を統合することにより、当該項目の組み合わせに対応した統合分割情報を生成する第２生成手段とを備えることを特徴とする動画像処理装置。
【請求項１０】
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて、当該動画像を分割するための分割情報を生成する第１生成手段と、
前記第１生成手段で生成された前記複数項目の夫々に対応する分割情報を各項目毎に読み出し可能に、当該動画データに対応付けて登録する登録手段と、
前記複数項目より選択された１つ又は複数の項目に対応する分割情報を統合することにより、当該項目の組み合わせに対応した統合分割情報を生成する第２生成手段とを備えることを特徴とする動画像処理装置。
【請求項１１】
請求項１乃至８のいずれかに記載の動画像処理方法をコンピュータに実行させるための制御プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１２】
請求項１乃至８のいずれかに記載の動画像処理方法をコンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を撮像装置の操作や撮像装置の状態の変化点等を利用して分割する技術に関する。
【０００２】
【従来の技術】
一般に、特許文献１や特許文献２に見られるように、動画の撮像装置の操作（パン、チルト）や、撮像装置の状態の変化点（フォーカスなど）ごとに動画像の分割を行うことによって、所望の場所からの再生や、動画編集、自動的な動画像の要約を可能とし、内容の確認を容易にしている。このような方法は、特に、１つの動画中に様々な撮影対象が含まれていたり、撮影環境が変化したりした場合に有効である。
【０００３】
【特許文献１】
特開平０８−１６３４８８号公報
【特許文献２】
特許第３１９２６６３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、１つの動画が長ければ長いほど、そして、その動画に含まれる撮影対象や撮影環境の変化が多ければ多いほど、従来の手法では、動画はたくさんの区間に分割されてしまうことになる。
【０００５】
例えば、図１７は従来の技術による動画像の分割を説明する図である。（ａ）は、同じ動画に対して、撮像装置に対する操作区間や撮像装置の状態の変化点（Ｇａｉｎ、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ、被写体距離、Ｚｏｏｍ、Ｐａｎ）を項目ごとに示している。また、（ｂ）は、これらＧａｉｎ、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ、被写体距離、Ｚｏｏｍ、Ｐａｎを用いて動画像の分割を行った結果を示している。図１７に示したように、複数種類の項目による分割個所が混在することにより、動画像が多くの区間に細分化されてしまう。また、複数の種類の項目によって区間が決定されているところでは、区間が意味のある単位とならない（ここで意味のある単位とは、例えば、被写体Ａが映っている区間、というものである）。例えば、図１７のＡの区間は、Ｗｈｉｔｅ  Ｂａｌａｎｃｅの変化点で始まり、Ｐａｎ操作の終了点で終わっており、意味のある単位となっていない。
【０００６】
上記のような動画像は特にアマチュアの撮影者が、撮影を行った場合に顕著に見られる傾向である。アマチュアの撮影者は、撮影に不慣れなため、撮影対象を探しながら撮影するなどの傾向があるからである。そして、このような状況では、動画中の所望の区間を探すにも、ひとつひとつの区間の確認に時間がかかってしまい、結局は、ユーザへの負担を軽減できたことにならない。
【０００７】
本発明は、上記の問題に鑑みてなされたものであり、撮影装置の操作や状態の変化によって、動画が多くの区間に分割されるような場合でも、所望の場所を素早く見つけ、再生や編集作業を容易に行えるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するための本発明による動画像処理方法は、
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて、当該動画像を分割するための分割情報を生成する第１生成工程と、
前記第１生成工程で生成された前記複数項目の夫々に対応する分割情報を各項目毎に読み出し可能に、当該動画データに対応付けて登録する登録工程と、
前記複数項目より選択された１つ又は複数の項目に対応する分割情報を統合することにより、当該項目の組み合わせに対応した統合分割情報を生成する第２生成工程とを備える。
【０００９】
また、上記の目的を達成するための本発明の他の態様による動画像処理方法は、
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報が、各項目毎に読み出し可能に登録された動画像データを処理する動画像処理方法であって、
前記複数項目より選択された１つ又は複数の項目によって構成される項目グループを定義し、該項目グループに属する項目に対応する分割情報を統合することにより、当該項目グループに対応した統合分割情報を生成する第１生成工程と、
前記第１生成工程により、複数種類の項目グループについて統合分割情報を生成し、これらを前記動画像データに対応させて保持する保持工程とを備える。
【００１０】
また、上記の目的を達成するための本発明による動画像処理装置は以下の構成を備える。すなわち、
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて、当該動画像を分割するための分割情報を生成する第１生成手段と、
前記第１生成手段で生成された前記複数項目の夫々に対応する分割情報を各項目毎に読み出し可能に、当該動画データに対応付けて登録する登録手段と、
前記複数項目より選択された１つ又は複数の項目に対応する分割情報を統合することにより、当該項目の組み合わせに対応した統合分割情報を生成する第２生成手段とを備える。
【００１１】
更に、上記の目的を達成するための本発明の他の態様による動画像処理装置は以下の構成を備える。すなわち、
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて、当該動画像を分割するための分割情報を生成する第１生成手段と、
前記第１生成手段で生成された前記複数項目の夫々に対応する分割情報を各項目毎に読み出し可能に、当該動画データに対応付けて登録する登録手段と、
前記複数項目より選択された１つ又は複数の項目に対応する分割情報を統合することにより、当該項目の組み合わせに対応した統合分割情報を生成する第２生成手段とを備える。
【００１２】
【発明の実施の形態】
以下、本発明の好適な実施形態について添付の図面を用いて説明する。
【００１３】
〔第１実施形態〕
図１は第１実施形態による動画像処理システムの構成を示すブロック図である。図１において１０１０は撮像装置であり動画像を撮像する。１０２０は記憶媒体であり、動画像などを格納しておくのに用いられる。１０３０はブラウズ装置であり、記憶媒体１０２０に含まれた動画像を閲覧し、再生する。以下、本実施形態による撮像装置１０１０とその制御方法および記憶媒体の実施形態について説明する。
【００１４】
図２は本実施形態における撮像装置の構成を示すブロック図である。図２において、１１はレンズ部であり、被写体距離を調整するフォーカスレンズと焦点距離を調整するズームレンズとを含み、被写体を撮像素子１３上に結像させる。１２は絞りであり、撮像素子１３に到達する光量を調節する。１３は撮像素子であり、であり、入力した光を電気信号に変換するＣＣＤを含む。１４はサンプルホールド・ＡＧＣ回路であり、サンプルホールドおよびゲイン調整を行う。１５はＡ／Ｄ変換部であり、アナログデジタル変換（Ａ／Ｄ変換）を行う。１６は映像信号処理部であり、信号を処理して映像信号を生成する。１８はノイズリダクション部（ＮＲ）であり、フィールドメモリを有し、映像信号のノイズを除去する。１９はレンズ位置検出部であり、レンズの位置を検出する。２０はレンズ駆動部であり、レンズを駆動する。
【００１５】
２１はシステム制御部であり、撮像装置全体を制御する。図３はシステム制御部２１の構成を示すブロック図である。システム制御部２１は周知のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、Ｉ／Ｏインターフェース３０４、およびバス３０５を有する。ＲＯＭ３０２には、ＣＰＵ３０１によって実行される後述のプログラム、テーブル値などが格納されている。
【００１６】
２２はユーザ操作部であり、ユーザが撮像装置を操作するためのキーが配置されている。２３はズームをワイド（広角＝画像縮小）方向に動作させるワイド・キー、２４はテレ（望遠＝画像拡大）方向に移動させるテレ・キーである。ワイド・キー２３およびテレ・キー２４は、例えばシーソー型の連動したキーであり、どちらのキーがどの程度の押し圧により押されているかを示す出力信号をシステム制御部２１に出力する。なお押し圧は拡大縮小のスピードを決定する。２９は録画ボタンであり、ＯＮされるとシステム制御部２１は撮像装置を録画状態にする。３０はモードダイヤルであり、ユーザはこれを操作することで各種の設定を行う。例えば、フォーカスモード（自動／手動）、露光モード（自動、ゲイン優先、シャッタ速度優先、絞り優先、手動）、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ  Ｍｏｄｅ（以下、ＷＢ  Ｍｏｄｅと表記する）（プリセット−太陽光、くもり、電球、蛍光灯）などである。
【００１７】
設定された情報はシステム制御部２１へ入力され、システム制御部２１が設定に応じて撮像装置を制御する。ノイズリダクション部（ＮＲ）１８は巡回型ノイズリダクション回路で構成される。２６は、映像データをＭＰＥＧ−２の形式に符号化するＭＰＥＧ  ＣＯＤＥＣである。２７は記録部であり、記録媒体を駆動し、情報を記録するドライブなどで構成される。２８は記録媒体であり、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、ハードディスク、不揮発性の半導体メモリ（例えばフラッシュメモリ）などである。２５は、Ｘ方向回転速度検出であり、撮像装置を水平方向に振ったときの速度をジャイロセンサなどを用いて検出する。３１は、Ｙ方向回転速度検出であり、撮像装置を垂直方向に振ったときの速度をＸ方向回転速度検出２５と同様に、ジャイロセンサなどを用いて検出する。
【００１８】
以上のような構成を備える撮像装置の動作概要を説明する。レンズ部１１より受光した被写体からの光は、絞り１２によりその光量が調整され、撮像素子１３の面上に結像する。そして、撮像素子１３によって電気信号に変換された後、サンプルホールド・ＡＧＣ部１４を介してＡ／Ｄ変換部１５によりＡ／Ｄ変換され、映像信号処理部１６に入力する。映像信号処理部１６では、入力信号に対して輝度および色成分毎にアパーチャ補正、ガンマ補正、ホワイトバランス補正などの処理が施されて映像信号が生成され、ノイズリダクション部１８へ出力する。ノイズリダクション部１８では、システム制御部２１からの制御信号により制御され、映像信号のノイズを除去する。ノイズが除去された映像信号は、ＭＰＥＧ  ＣＯＤＥＣ２６に出力される。ＭＰＥＧ  ＣＯＤＥＣ２６では、入力された映像信号の符号化を行う。このとき、ＭＰＥＧ  ＣＯＤＥＣ２６は、システム制御部２１から入力されるカメラ付与情報（後述する）を符号化された映像信号と共にファイルとして格納し、ＭＰＥＧ  ＣＯＤＥＣ２６に接続された記録装置などに出力する。
【００１９】
システム制御部２１は、撮像装置各部を制御するとともに、ズーム操作キー部２２のワイド・キー２３およびテレ・キー２４が押されていると、レンズ駆動部２０の制御または電子ズーム部１７の制御を行い、ズームをワイド方向またはテレ方向に移動させる。また、システム制御部２１は、レンズ位置検出部１９からのレンズ位置検出信号により、ズームレンズ１１がテレ端（最望遠端点）、ワイド端（最広角端点）あるいはテレ端とワイド端のどこに位置する（ズーム倍率）のかを判断する。
【００２０】
また、システム制御部２１は、ノイズリダクション部１８に出力する制御信号により、光学ズームの停止時と動作時でノイズリダクションの制御値を切り換える。これによって、ノイズリダクションの効き量、つまりノイズの除去量を可変する。このとき、切り換えられる制御値は巡回係数Ｋである。また、上記制御信号による制御値の切り換えは被写体の明るさによっても行われる。すなわち、被写体の明るさが暗くなるにつれて映像信号のＳ／Ｎが悪くなるので、それを補うためにノイズリダクションの効き量を大きくするように制御値を切り換える。また、システム制御部２１は、被写体からの光信号の量に対し、生成する映像信号のレベルを所定値に維持するため、絞り１２、サンプルホールド・ＡＧＣ部１４、電子シャッタ（図２では、電子シャッタを省略している）などを制御しており、これらの露出制御に用いる絞り値、ＡＧＣゲイン、電子シャッタスピードなどにより、被写体の明るさを総合的に判断する。
【００２１】
以上の構成において、本実施形態の撮像装置は、撮影した各フレームにカメラ付与情報を付与する。カメラ付与情報とは、撮像装置が付与可能な動画像に関連する情報のことである。これは、システム制御部２１が、映像信号処理部１６、ノイズリダクション部１８、電子ズーム部１７、レンズ駆動部２０を制御するときに使用したアパーチャ補正、ガンマ補正、ＷＢ補正に関する情報や、レンズ位置検出部１９、Ｘ方向回転速度検出２５などのセンサから得た情報、ユーザ操作部２２から得たユーザによる設定に関する情報（ＷＢ  Ｍｏｄｅなど）、ユーザ操作部２２から得たユーザの操作（ズーム操作など）に関する情報など、各種の付帯情報を含む。なお、図２では不図示であるが、温度計・湿度計など、他のセンサを備えれば、この情報をカメラ付与情報として用いることが可能であるし、撮像装置１０１０に接続されるストロボなどのアクセサリや、計測機器など、外部機器の情報も、映像との対応関係がとれれば、カメラ付与情報として用いることが可能である。
【００２２】
次に、撮像装置１０１０の動画撮影処理の手順を図４に示したフローチャートを参照して説明する。まず、ステップＳ４０１において、ユーザが、録画ボタン２９をＯＮして、録画開始を指示したかどうかを判定する。録画開始が指示されるまで、撮像装置１０１０は待機状態となる。録画開始が指示されると、録画状態となり、ステップＳ４０２へ進む。このとき、録画開始の時刻を、システム制御部２１からＭＰＥＧ  ＣＯＤＥＣ２６へ送り、ファイルのヘッダに記述する。ステップＳ４０２０において、上述したように各種センサなどの情報をもとにシステム制御部２１が、撮像装置１０１０を制御して、１フレーム分の画像を撮像する。このとき、撮像装置１０１０の制御情報はフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。制御情報の形式の一例として、以下の表１にＧａｉｎに関する設定情報を示す。
【００２３】
【表１】
2004336380.tif 000003
【００２４】
次に、ステップＳ４０３において、ユーザがカメラ操作部２２を介してカメラの設定を行ったかどうかを判定する。カメラの設定が行われたときは、ステップＳ４０４において、システム制御部２１はカメラの設定を変更する。このとき、変更したカメラの設定情報をフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。カメラ付与情報としての設定情報の形式の一例として、以下の表２に、ＷＢに関する設定情報を示す。
【００２５】
【表２】
2004336380.tif 000004
【００２６】
次に、ステップＳ４０５において、カメラが操作されたかどうかを判定する。カメラ操作がなされたか否かは、例えば、ズーム操作であれば、ユーザ操作部２２のワイド・キー２３、テレ・キー２４が操作されたかで判定できるし、パン・チルト操作であれば、Ｘ方向回転速度検出２５、Ｙ方向回転速度検出３１により検出が可能である。カメラが操作されていれば、ステップＳ４０６に進み、システム制御部２１は操作に合わせて、各種センサ情報をチェックしながら撮像装置を制御する。このとき、操作に関する情報をフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。カメラ付与情報としての操作情報の形式の一例として、以下の表３に、Ｚｏｏｍ及びＰａｎに関する設定情報を示す。
【００２７】
【表３】
2004336380.tif 000005
【００２８】
以上のステップＳ４０２、Ｓ４０４、Ｓ４０６において、ＲＡＭ３０３に保持されたフレーム単位のカメラ付与情報は、フレーム単位にビットフィールドで管理し、これを所定のフレーム数分保持する。次にステップＳ４０７において、ＲＡＭ３０３に保持されたフレーム単位のカメラ付与情報を、カメラ付与情報の項目ごとに参照し、区間単位にまとめられるものがあれば、まとめてＲＡＭ３０３に保持する。
【００２９】
以下の表４〜６に、区間単位のカメラ付与情報の項目の例を示す。区間単位にまとめるとは、例えばＧａｉｎに関して区間単位にまとめるのであれば、Ｇａｉｎの値が０であるフレーム群に対応する区間を１つの区間、０より大きいフレーム群に対応する区間を１つの区間とする。また、ＷＢであれば、同じＷＢ  ｍｏｄｅであるフレーム群に対応する区間を一つの区間とする。また、Ｚｏｏｍであれば、Ｚｏｏｍ操作の開始から終了までのフレーム群に対応する区間を一つの区間とする。Ｐａｎであれば、Ｐａｎ操作の開始から終了までのフレーム群に対応する区間を一つの区間とする。なお、このとき、区間の開始点と終了点のフレーム位置を当該ショットの撮影開始からの時間情報として関連付けて記憶しておく。なお、区間の開始点と終了点はフレーム位置を特定できればよいので、時間情報の代わりにフレーム番号を用いてもよい。
【００３０】
【表４】
2004336380.tif 000006
【００３１】
【表５】
2004336380.tif 000007
【００３２】
【表６】
2004336380.tif 000008
【００３３】
次に、ステップＳ４０８において、ユーザが、録画ボタン２９をＯＦＦするなどして、録画終了指示をしたかどうかを判定する。録画終了指示されていなければ、上述のステップＳ４０２からステップＳ４０７を繰り返し、録画を続ける。録画終了が指示された場合はステップＳ４０９へ進み、ＲＡＭ３０３に保持された区間単位のカメラ付与情報を格納する。すなわち、区間単位のカメラ付与情報は、全て、システム制御部２１からＭＰＥＧ  ＣＯＤＥＣ２６に送られ、映像データの後半部にフッタとして付与され、記録部２７へ送られる。この方法としては、例えば、区間単位のカメラ付与情報をプライベートストリームにして、ＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）パケットにしたものを末尾に追記すればよい。なお、本実施形態では、録画開始から終了までの１ショットを１ファイルとし、１つのショットに関するカメラ操作情報をそのファイルのフッタとして付与する。
【００３４】
上記区間単位のカメラ付与情報をフッタとして格納する際の形式の一例を図５に示す。図５は、記憶媒体２８の中に記録されている動画像ファイルに含まれるカメラ付与情報の格納形式を示したものである。この動画像ファイルには、動画像の情報とともに、その内容などの情報を簡潔に表現したカメラ付与情報が添付されている。すなわち、動画像ファイルはファイル内に動画像格納領域とカメラ付与情報格納領域とを保有しており、図５のカメラ付与情報の格納形式は、このカメラ付与情報格納領域の内部の構造を示したものである。カメラ付与情報の格納領域５０１は、固定長サイズのカメラ付与情報項目５０２をいくつか保有し、あまった領域を空き領域５０３とする構成を有する。
【００３５】
図６は、図５に示したカメラ付与情報項目５０２の内部構造を示した図である。図６においてカメラ付与情報項目６０１は、固定長の項目をいくつか保有している。カメラ付与情報項目６０１の内部は、大きく２つに分けられ、一つはカメラ付与情報の属性情報６０２であり、もう一つはカメラ付与情報６０５である。カメラ付与情報の属性情報６０２はさらに内部構造を持ち、カメラ付与情報の付与対象区間情報６０３、カメラ付与情報のタイプ番号６０４を含む。
【００３６】
カメラ付与情報のタイプ番号６０４は、カメラ付与情報を識別するための情報であり、撮影時のズーム情報であれば「１０」といった具合に、個々のカメラ付与情報に対して予め割り当てられた識別用の番号を格納するものである。このタイプ番号６０４を利用することで、動画処理装置は、動画像ファイル内の特定のカメラ付与情報を検索することが可能になる。また、カメラ付与情報の付与対象区間情報６０３は、このカメラ付与情報の対象とする動画像データの区間を時間情報で表現したものである。
【００３７】
次に、以上説明した撮像装置によって得られた動画像ファイルをブラウズする、本実施形態のブラウズ装置について説明する。
【００３８】
図７は、本実施形態におけるブラウズ装置の制御構成を示すブロック図である。図７において、７０１はＣＰＵであり、本実施形態のブラウズ装置における各種制御を実行する。７０２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。７０３はＲＡＭであり、ＣＰＵ７０１が処理するための制御プログラムを格納するとともに、ＣＰＵ７０１が各種制御を実行する際の作業領域を提供する。７０４はキーボード、７０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００３９】
７０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性の半導体メモリ（例えばフラッシュメモリ）等の少なくとも何れかで構成される。７０７は表示器であり、ディスプレイなどで構成され、ＣＰＵ７０１の制御下で各種処理結果等をユーザに対して表示する。７０８はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。７１１はバスであり、上記構成を接続する。
【００４０】
図８は、本実施形態のブラウズ装置の機能構成を示すブロック図である。８０１は記憶媒体であり、図２の記憶媒体２８に対応する。８０２は読取部であり、記憶媒体８０１上の動画像及びカメラ付与情報を読み取る。８０３はサブショット分割部であり、動画像データのフッタ部に付加されている上述のカメラ付与情報を基に動画像を意味のある区間（サブショット）に分割する。８０７はサムネイル作成部であり、サブショット分割部８０３で決定された区間に対してサムネイルを作成する。８０６は記録部であり、サブショット分割部８０３で決定された分割点をサブショット情報として記憶媒体８０１上に記録するとともに、後述のサムネイル抽出部８０７によって作成されたサムネイルを記憶媒体８０１上に記録する。８０４はユーザ操作部であり、キーボード７０４・マウス７０５を含んで構成され、動画再生指示などを与えるものである。８０５は閲覧・再生部であり、ユーザ操作部８０４を介したユーザの指示に基いて、表示器７０７上での動画ファイルの閲覧、再生などを可能とするものである。
【００４１】
ここで、サブショット分割について更に説明する。図１５は、サブショット分割の概要を説明する図である。１５０１から１５０４は同じ動画像ファイル（同じショット）中の動画像データを表しており、それぞれ観点に基づいて、意味のある区間（サブショットと呼ぶ）に分割されている。なお、「分割」するという表現は、サブショット単位の分割点を決定することを意味するものであり、実際に動画像ファイルを切り離すことを意味するものではない。
【００４２】
図１５において、１５０１は撮影した際の環境の観点で動画像を分割したものであり、ここでは、屋内の蛍光灯下で撮影された区間（ａ１）、屋外の太陽光下で撮影された区間（ａ２）の２つのサブショットに分割された例を示している。１５０２は、ｂ）撮影した被写体の観点で分割しており、ここでは、被写体Ａを撮影した区間（ｂ１，ｂ３）、被写体Ｂを撮影した区間（ｂ２，ｂ４）、被写体Ｃを撮影した区間（ｂ５）の５つのサブショットに分割された例を示している。１５０３は、撮影した時の画角の観点で分割しており、ここでは、アップで撮影した区間（ｃ１，ｃ３，ｃ５）、全体を撮影した区間（ｃ２，ｃ４，ｃ６）の６つのサブショットに分割した例を挙げている。なお、アップか全体かはＺｏｏｍ倍率により判断することができる（この意味で、アップした区間はズームインした区間と等価である）  。１５０４は、２つ以上の観点に基いて分割した場合の例であり、撮影した際の環境の観点（１５０１）と撮影した被写体の観点（１５０２）で分割した結果（分割を統合した結果）を示す。１５０２のｂ３の区間中に蛍光灯区間（ａ１）と太陽光区間（ａ２）が存在するので、１５０４に示される分割結果は、１５０２より１つ多い、６つのサブショットで構成される。
【００４３】
図９は、本実施形態のブラウズ装置によるユーザインターフェースの例を示す図である。９０１は、サムネイル及び動画再生用の表示領域である。表示領域９０１は、閲覧時はショットまたはサブショットのサムネイルを表示し、動画再生時は再生された動画像を表示する。９０２はポインタであり、ショットまたはサブショットを選択し、再生指示を行うときに使用される。９０３はスクロールバーであり、表示領域９０１にサムネイルを表示する際、表示すべきサムネイルの枚数が表示の限界（図９では９枚）を超えた場合に、これを操作することで一度に表示できないサムネイルを順に表示させることができる。９０４は、観点指定ボタンであり、サブショット分割の観点を指定するものである。本実施形態では、「撮影環境」、「被写体」及び「画角」の３つの観点が用意されている。９０５はＯＫボタンであり、このボタンがＯＮされた場合は、観点指定ボタン９０４で指定された観点に応じて分割されたサブショットの一覧を表示領域９０１に表示する。９０６は終了ボタンであり、本装置に処理の終了を指示するものである。
【００４４】
図１６は、図９の表示領域９０１における、それぞれの操作に応じた表示状態を示す図である。図９の（ａ）ショット閲覧時は、各ショットに対応するサムネイルの一覧を表示する。次に、ポインタ９０２で所望のサムネイル（ショット）を選択し（図１６では太枠で表現され、ショットＢが選択されていることを示している）、観点指定ボタン９０４でサブショット分割の観点を指定（図９では「被写体」が指定されている）した後、ＯＫボタン９０５をＯＮすると、選択されたショット（図ではショットＢ）のサブショット（「被写体」の観点による動画像が分割状態）を表示する（図１６では観点ｂとする）。そして、サブショットをポインタ９０２で選択し（図１６ではＢ−ｂ２が選択されている）、ダブルクリックすると、選択したサブショットの先頭より動画像が再生され、表示領域９０１に表示される（図１６の（ｃ））。なお、もちろん、（ａ）のショット閲覧時においてショットを選択し、ダブルクリックすることにより、当該ショットの先頭から動画を再生させてみることも可能である。
【００４５】
以上のような本実施形態のブラウズ装置の動作について図１０を参照してより詳細に説明する。図１０は、本実施形態によるブラウズ装置の動作例を示したフローチャートである。
【００４６】
本装置の処理は大きく、ステップＳ１００１からステップＳ１００４までのサブショット分割処理と、ステップＳ１００５からステップＳ１０１０までのブラウジング処理とに分けられる。
【００４７】
まず、サブショット分割処理から述べる。ステップＳ１００１において、読取部８０２は記憶媒体８０１より全ての動画像ファイルを読み出し、それぞれに含まれる動画像データと複数のカメラ付与情報（以下、カメラ付与情報リストと記す）を得る。次に、ステップＳ１００２において、サブショット分割部８０３は、読み出されたカメラ付与情報リストをもとに、観点別にサブショット分割を行い、各観点毎に分割点を決定する（処理の詳細は後述する）。次に、ステップＳ１００３において、サムネイル作成部８０７は、当該ブラウズ装置でサブショットを一覧するために表示するサムネイル画像を作成する。サムネイル画像はサブショットの区間の先頭フレームを動画像から取得し、縮小することによって得ることが出来る。ただし、もちろん、一覧表示の形態、及びサムネイルの生成は上記に限られるものではなく、サブショットの内容をおおよそ把握できればどのような形態であっても構わない。
【００４８】
次に、ステップＳ１００４において、記録部８０６はサブショット分割の結果をサブショット情報として記憶媒体８０１に記録する。これは、必須のものではないが、このようなサブショット情報を記憶媒体８０１に記録しておくことによって、他の機器においてもサブショット分割の結果を利用することができる。
【００４９】
ここでサブショット情報を格納する際の形式の例を説明する。図１３は、記憶媒体８０１の中に記録されている動画像ファイルのサブショット情報の格納形式を示したものである。図１３に示すように、図５において説明したカメラ付与情報格納領域の後にサブショット情報格納領域を追加し保有する。図１３に示されるサブショット情報の格納形式はこのサブショット格納領域の内部の構造を示したものである。
【００５０】
サブショット格納領域１３０１は、さらに内部で２つの領域に別れており、一つはサブショット・インデックスの格納領域１３０２であり、もう一つはサムネイル画像の格納領域１３０５である。サブショット・インデックスの格納領域１３０２は、固定長サイズのサブショット・インデックス１３０３をいくつか保有し、あまった領域を空き領域１３０４とする構成を有する。また、サムネイル画像の格納領域１３０５は、サムネイル画像１３０６をいくつか保有し、余った領域を空き領域１３０７とする構成を有する。
【００５１】
図１４は、図１３中のサブショット・インデックス１３０３の内部構造を示した図である。サブショット・インデックス１４０１は、固定長の項目をいくつか保有している。サブショットの区間情報１４０２は、サブショットの区間を時間情報で表現したものであり、ショット内の１つのサブショットを指示するためのものである。なお、サブショット区間は、カメラ付与情報と同様にフレーム番号で表してもよい。観点のタイプ番号１４０３は、サブショット分割時の観点（後述する）を識別するための番号である。サムネイル画像の格納位置情報１４０４は、サブショットに対応する、サムネイル画像の格納領域中のサムネイル画像の格納位置を、例えば本領域の先頭からのオフセットで表すものである。
【００５２】
次に、図１１Ａ、図１１Ｂを用いて、ステップＳ１００２のサブショット分割処理の詳細な手順を説明する。
【００５３】
まず、「撮影環境」の観点に関するサブショット分割を行う。ステップＳ１１０１において、撮影環境の観点に関するカメラ付与情報項目が存在するかをチェックする。撮影環境に関連する具体的な項目としては、フォーカス、ＩＲＩＳ、Ｇａｉｎ、ＷＢ、ＡＥ  Ｍｏｄｅなど様々なものがあるが、本実施形態では説明のために、ＷＢとＧａｉｎを用いる。ＷＢは撮影の環境に応じて設定が変更される。例えば、太陽光の下では、ユーザによりプリセットの太陽光に設定され、蛍光灯の下では、ユーザによってプリセットの蛍光灯に設定される。そこで、ＷＢ  Ｍｏｄｅが違う場合は撮影環境も変化したと判断できる。また、Ｇａｉｎは、非常に暗い環境での撮影時に、プラスになり、撮像装置が画像の明るさを補正する手段として用いられる。よって、Ｇａｉｎがプラスであるかどうかで、撮影環境が変化していると判断できる。
【００５４】
さて、ＷＢとＧａｉｎのどちらもカメラ付与情報項目リストの中に存在しなければ、「撮影環境」を観点とするサブショット分割はできないので、ステップＳ１１０２からＳ１１０４までをスキップし、次のステップＳ１１０５へ進む。ＷＢまたはＧａｉｎのどちらか一つが存在するならば、ステップＳ１１０２へ進み、ＷＢまたはＧａｉｎの付与対象区間をそのままサブショット区間とし、サブショットの区間情報１４０２へそのままコピーする。ＷＢとＧａｉｎの両方が存在するならば、ステップＳ１１０３へ進み、ＷＢとＧａｉｎの付与対象区間のＯＲをとり、その結果をサブショット区間としてサブショットの区間情報１４０２へそのままコピーする。次に、ステップＳ１１０４において、ステップＳ１１０２またはステップＳ１１０３で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として「撮影環境」を表す１を付与し、観点タイプ番号１４０３として記録する。
【００５５】
このように、「撮影環境」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、それぞれの区間のＯＲを取ることによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となる。
【００５６】
次に、「被写体」の観点に関するサブショット分割を行う。ステップＳ１１０５において、被写体の観点に関するカメラ付与情報項目が存在するかをチェックする。被写体の観点に関連する具体的な項目としては、Ｐａｎ、Ｔｉｌｔなど様々なものが考えられるが、本実施形態では説明のためにＰａｎのみを用いる。被写体Ａから被写体Ｂへと撮影中に視点を移動させるには、ユーザは撮像装置を水平方向に振り動かすＰａｎ操作を行う必要がある。よって、Ｐａｎ操作が行われる前と後では、被写体が変化していると判断できる。
【００５７】
Ｐａｎがカメラ付与情報項目リストの中に存在しなければ、被写体の観点に関するサブショット分割（ステップＳ１１０６からＳ１１０９まで）をスキップし、次のステップＳ１１１０へ進む。一方、カメラ付与情報項目リスト中にＰａｎが存在するならば、ステップＳ１１０６へ進み、Ｐａｎの付与対象区間を全てサブショット区間対象リストへコピーする。サブショット区間対象リストは、テンポラリとして使用するもので、カメラ付与情報格納領域５０１と同じ形式である。
【００５８】
次に、ステップＳ１１０７へ進み、サブショット区間対象リストに、Ｐａｎ操作のない区間を無操作区間として挿入する。このとき、タイプ番号６０４には、無操作を表すために、特殊な番号（例えば０）などを記録する。次に、ステップＳ１１０８へ進み、サブショット区間対象リストの中の無操作区間の開始位置からパンの終了までをサブショット区間とし、サブショットの区間情報１４０２へコピーしていく。ただし、ショットの終端が無操作区間である場合は、これをそのままサブショット区間とする（図示せず）。次に、ステップＳ１１０９において、ステップＳ１１０８で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として「被写体」を表す２を付与し、観点のタイプ番号１４０３に記録する。なお、本実施形態では無操作区間の開始位置からパンの終了までをサブショット区間とするが、これは、パン中は、被写体が変化している区間であるので一つ前の区間の一部とみなし、一つのサブショット区間とするためである。
【００５９】
次に、「画角」の観点に関するサブショット分割を行う。ステップＳ１１１０において、画角の観点に関するカメラ付与情報項目が存在するかをチェックする。画角の観点に関連する具体的な項目としては、Ｚｏｏｍ、Ｄｉｇｉｔａｌ  Ｚｏｏｍなど様々なものがあるが、本実施形態では説明のために、Ｚｏｏｍであるとする。画角を調整し、例えば、被写体Ａの全体を写した後に、被写体Ａの顔をアップで撮影するためには、ユーザはＺｏｏｍをテレ側に操作する必要がある。よって、Ｚｏｏｍ操作を行った後は、画角が変更されていると判断できる。
【００６０】
さて、Ｚｏｏｍがカメラ付与情報項目リストの中に存在しなければ、画角の観点に関するサブショット分割（ステップＳ１１１１からＳ１１１６まで）をスキップする。Ｚｏｏｍが存在するならば、ステップＳ１１１１へ進み、Ｚｏｏｍの付与対象区間を全て上述のサブショット区間対象リストへコピーする。次に、ステップＳ１１１２において、Ｚｏｏｍの操作量が所定値以下であるかを判定する。このような判定を行う理由は、操作量が小さい場合は、画角を微調整しただけであると判断出来るからである。なお、操作量は開始ズーム倍率と終了ズーム倍率の差の絶対値で表すことができる。また、所定値としては、１．５倍が望ましいが、特に限定されるものではない。所定値以下のＺｏｏｍがあれば、ステップＳ１１１３へ進み、サブショット分割対象リストから所定値以下のＺｏｏｍを削除する。
【００６１】
次に、ステップＳ１１１４へ進み、サブショット区間対象リストに、Ｚｏｏｍ操作の無い区間を無操作区間として挿入する。次に、ステップＳ１１１５０へ進み、サブショット区間対象リストの中の無操作区間の開始位置からＺｏｏｍの終了までをサブショット区間とし、サブショットの区間情報１４０２へコピーしていく。ただし、ショットの終端が無操作区間である場合は、これをそのままサブショット区間とする（図示せず）。次に、ステップＳ１１１６において、ステップＳ１１１５で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として、「画角」を表す３を付与し、観点のタイプ番号１４０３に記録する。なお、本実施形態では無操作区間の開始位置からＺｏｏｍの終了までをサブショット区間とするが、これは、Ｚｏｏｍ中は、画角が変化している区間であるので一つ前の区間の一部とみなし、一つのサブショット区間とするためである。
【００６２】
次に、図１０に戻り、ステップＳ１００５からステップＳ１０１０のブラウジング処理について述べる。
【００６３】
ステップＳ１００５において、各動画像ファイル（ショット）中を代表するサムネイルを、表示領域９０１に表示する。ショットを代表するサムネイルとしては、例えば、先頭に登録されているサブショットのサムネイルを使用する方法が考えられる。しかし、もちろん、ショット用のサムネイルを別途作成しておくなどの方法を用いても構わない。ショットの中身を概観できる目的が達成されればよいのである。なお、サムネイルは表示領域９０１の中で、例えばファイルのヘッダに記述されている撮影開始時刻順に、一番上の行から下の行へ、行の中では、左から右へ向かって、並べられる。
【００６４】
次に、ステップＳ１００６において、サブショット表示指示があったかを判定する。これは、図９のＯＫボタン９０５がＯＮされたかどうかによって判定できる。ＯＮされていなければ、ステップＳ１００７をスキップし、ステップＳ１０００８に進む。ＯＫボタン９０５がＯＮされた場合は、ステップＳ１００７に進み、観点指定ボタン９０４で指定された観点に応じて分割されたサブショットを表示する。例えば、撮影環境が指定されていた場合は、観点のタイプ番号１４０３に１が設定されているサブショットのみを読み出し、サムネイル画像を表示する。なお、本実施形態では、複数の観点を同時に選択することも可能であり、例えば、「撮影環境」と「被写体」が指定された場合は、観点のタイプ番号１４０３が１と２のサブショットを読み出し、図１５の１５０４に示したようにサブショット区間のＯＲを取り、その結果を表示する。
【００６５】
次に、ステップＳ１００８において、動画の再生指示が行われたかどうかを判定する。これは、ポインタ９０２を使って特定のショットまたはサブショットをダブルクリックしたかどうかで判定できる。再生指示されていなければ、ステップＳ１００９をスキップしてステップＳ１０１０に進む。一方、再生が指示されていれば、ステップＳ１００９に進み、指定されたショットまたはサブショットの先頭から動画像を再生する。なお、再生後はもとのショット、または、サブショット一覧表示に戻る（図示せず）。次にステップＳ１０１０において、終了指示されたかどうかを判定する。これは、図９の終了ボタン９０６がＯＮされたかどうかで判定できる。終了が指示されていなければ、上述のステップＳ１００６からステップＳ１００９を繰り返す。終了指示されていれば、ステップＳ１０１０より本処理を終了する。
【００６６】
以上のように上記第１実施形態によれば、撮影装置の操作や状態の変化によって動画が多くの区間に分割された場合でも、所望の観点によリ動画を分割したサブショットを得ることができ、その分割された各区間がサムネイルによって示される。このためユーザは、当該動画の所望の場所を素早く見つけることができ、再生や編集作業を容易に行える。
【００６７】
〔第２実施形態〕
次に、第２実施形態について説明する。上述の第１実施形態では、撮像装置１０１０に備えられているセンサや操作部の情報、または、制御情報を、カメラ付与情報として付与した。第２実施形態では、撮像データを解析することによって抽出が可能なカメラ付与情報を、撮影後に付与してカメラ付与情報として利用する。
【００６８】
動画像処理システムの構成、及び、撮像装置１０１０やブラウズ装置１０３０の構成等は第１実施形態とほぼ同様であるので、説明を省略し、相違点のみを以下に述べる。
【００６９】
図１２はブラウズ装置１０３０の機能構成を示すブロック図である。１２０１から１２０７までは第１の実施形態（図８）の８０１から８０７と同じ構成であるので説明は省略する。１２０８はカメラ付与情報抽出部であり、読取部１２０２を介して記憶媒体１２０１より読み出された映像データを解析し、撮像装置１０１０で付与していないカメラ付与情報を抽出する。ここでは、例としてパン、チルトが撮像装置１０１０によって付与されていないものとして説明する。
【００７０】
パン・チルトを映像データから抽出する手法としては、ハフ変換を用いて動きのベクトルの消失点を求め、複数有る消失点のうちの最大の投票数を得た消失点を背景に対する消失点とし、パン・チルトに関する拘束式を説くなどの手法がある。パン・チルトと消失点との関係やパン・チルトを求める手法は、例えば「金谷健一著、『画像理解』、森北出版」などに詳しい。このように、映像データを解析することによって、求めたカメラ付与情報を更に追加して、サブショット分割部１２０３で活用することが可能である。
【００７１】
以上のようにして得られたパン、チルト情報は、図５で説明したカメラ付与情報格納領域に追加され、図１３のようなサブショット情報格納領域を生成する際に用いられる。
【００７２】
〔他の実施形態〕
上記第１、２の実施形態では、撮像装置１０１０とブラウズ装置１０３０の２つの装置を用いて構成されたが、撮像装置１０１０が十分な処理能力があれば、撮像装置１０１０にブラウズ装置１０３０の機能を包含させ、１つの装置で構成してもかまわない。この場合であっても、サブショット情報を記憶媒体１０２０に記録するようにすれば、他の機器においてサブショット分割の結果を利用することが可能となる。
【００７３】
また、第１、第２実施形態では、サブショット分割部８０３、サムネイル作成部８０７、カメラ付与情報抽出部１２０８は、ブラウズ装置１０３０上に構成したが、撮像装置１０１０に十分な処理能力があれば、これらを、撮像装置１０１０上に構成しても構わない。この場合、ブラウズ装置１０３０は、サブショット情報が記録された記憶媒体１０２０からサブショット情報を読み出すことにより上述したブラウズ処理が可能となる。
【００７４】
また、第１、第２実施形態では、撮像装置１０１０が区間単位のカメラ付与情報を撮影中に生成し、記憶媒体１０２０に記録したが、撮像装置１０１０に十分なメモリや処理能力がなければ、フレーム単位のカメラ付与情報を記録しておき、後で、区間ごとにまとめる処理を行ってもよい。その際、フレーム単位にカメラ付与情報を格納する方法は、画像データの管理情報中の未使用領域などに、格納する方法がある。具体的には、例えば、ＭＰＥＧ−２ストリームであれば、ピクチャヘッダのユーザ領域に格納する方法がある。
【００７５】
また、撮像装置１０１０に区間単位のカメラ付与情報を記録する能力があっても、フレーム単位のカメラ付与情報も記録しておくように構成してももちろん構わない。こうしておけば、記録は冗長になるが、ファイル操作が行われて区間単位のカメラ付与情報が損なわれたり、変更が必要となった場合でも、フレーム単位のカメラ付与情報から、再集計し、区間単位のカメラ付与情報を作成しなおすことが可能となる。
【００７６】
また、第１、２の実施形態では、区間単位のカメラ付与情報、サブショット情報をバイナリ形式で格納されたが、撮像装置１０１０に十分な処理能力があれば、或いは、ブラウズ装置１０３０を使用して、テキスト形式や独自のＤＴＤ（Ｄｏｃｕｍｅｎｔ  Ｔｙｐｅ  Ｄｅｆｉｎｉｔｉｏｎ）を定義し、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｅ）形式等で表現する事ももちろんかまわない。また、ＭＰＥＧ７にしたがった形式で格納する場合は、Ｓｅｇｍｅｎｔ  ＤＳに格納すれば良い。
【００７７】
また、第１、２の実施形態では、カメラ付与情報、及び、サブショット情報を記憶媒体２８、８０１、１２０１を介してやり取りしたが、ＩＥＥＥ１３９４などの通信手段を設け、これによってやり取りするように構成しても構わない。
【００７８】
また、第１、第２の実施形態では、１つのショットを１つの動画像ファイルとしたが、複数のショットを１つの動画像ファイルとしても構わない。この場合は、各ショットとカメラ付与情報、サブショット情報の対応がとれるように、識別番号などを振り、関連付けしておけばよい。
【００７９】
また、第１、第２の実施形態では、サブショット分割の観点として、撮影環境、被写体、画角の３つを上げたが、これに限られるものではなく、例えば、エフェクトを付与しているかどうか、など、様々な観点が考えられる。
【００８０】
更に、第１、２の実施形態では、サブショット分割の結果をブラウジングに利用したが、サブショットを基本単位とし、観点種別の指定手段を設ければ、動画編集、フレーム印刷、ダイジェスト再生など、様々な方法で利用することができることは理解されることである。例えば、動画編集であれば、撮影対象のショットを、観点別にサブショット分割すれば、その分割位置を編集のＩｎ・Ｏｕｔ点の指定に利用できる。フレーム印刷であれば、サブショットごとに、フレーム印刷の候補を、例えば、サブショット区間の中央のフレームを抜き出して提示することで、観点別にフレーム印刷候補を提示できる。ダイジェスト再生であれば、サブショットの先頭の数秒ずつを再生されることで、指定された観点別のダイジェスト再生を行うことが出来る。
【００８１】
以上説明したように、上記各実施形態によれば、ユーザが着目している観点を指定することによって、指定された観点に応じたサブショットを得ることが可能となるので、ユーザは素早く所望のサブショットを入手することができる。また、サブショットの情報に観点を関連付けて、記憶媒体に記憶することによって、様々な機器での利用が可能となる。
【００８２】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発生のメモリカード、ＲＯＭなどを用いることができる。
【００８５】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
【発明の効果】
以上説明したように、本発明によれば、撮影装置の操作や状態の変化によって、動画が多くの区間に分割されるような場合でも、所望の場所を素早く見つけ、再生や編集作業を容易に行える。
【図面の簡単な説明】
【図１】実施形態における動画像処理システムの概略構成を表すブロック図である。
【図２】実施形態による撮像装置の構成を示すブロック図である。
【図３】図２の撮像装置におけるシステム制御部の構成を示すブロック図である。
【図４】実施形態の撮像装置による動画撮像処理の手順を示すフローチャートである。
【図５】カメラ付与情報の格納形式の一例を示す図である。
【図６】図５に示すカメラ付与情報項目の内部構造の一例を示す図である。
【図７】実施形態によるブラウズ装置の制御構成を示すブロック図である。
【図８】ブラウズ装置の第１実施形態における機能構成を示すブロック図である。
【図９】ブラウズ装置のユーザインターフェースの一例を示す図である。
【図１０】ブラウズ装置の動作例を示したフローチャートである。
【図１１Ａ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｂ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１２】第２実施形態におけるブラウズ装置の機能構成を示すブロック図である。
【図１３】実施形態によるサブショット情報の格納形式の一例を示す図である。
【図１４】図１３に示すサブショット・インデックスの内部構造の一例を示す図である。
【図１５】サブショット分割の概要を説明する図である。
【図１６】図９に示したユーザインターフェースにおける表示領域の動作の一例を示す図である。
【図１７】一般的な動画分割を説明する図である。
【図１】
2004336380.tif 000009
【図２】
2004336380.tif 000010
【図３】
2004336380.tif 000011
【図４】
2004336380.tif 000012
【図５】
2004336380.tif 000013
【図６】
2004336380.tif 000014
【図７】
2004336380.tif 000015
【図８】
2004336380.tif 000016
【図９】
2004336380.tif 000017
【図１０】
2004336380.tif 000018
【図１１Ａ】
2004336380.tif 000019
【図１１Ｂ】
2004336380.tif 000020
【図１２】
2004336380.tif 000021
【図１３】
2004336380.tif 000022
【図１４】
2004336380.tif 000023
【図１５】
2004336380.tif 000024
【図１６】
2004336380.tif 000025
【図１７】
2004336380.tif 000026