(57)【要約】【課題】事前情報を必要とせずに、多くの人が意図する重要シーンの自動抽出を行う。【解決手段】映像を撮影して記録する第１の撮像装置と、映像を撮像して記録する状況に関する情報を記録状況情報として生成し記録状況受信装置に対して送信する第２の撮像装置と、前記第２の撮像装置から送信される記録状況情報を受信して記録状況インデックスとして記録する記録状況受信装置と、前記記録状況インデックスに基づいて記録された映像データから選択すべき重要シーンを決定する編集装置とを備える。【選択図】図１
2010199816.tif 000002
【特許請求の範囲】
【請求項１】
映像を撮像して記録する第１の撮像装置と、
映像を撮像して記録する状況に関する情報を記録状況情報として生成し記録状況受信装置に対して送信する記録状況送信手段を備える第２の撮像装置と、
前記第２の撮像装置から送信される前記記録状況情報を受信して記録状況インデックスとして記録する記録状況インデックス付与手段を備える記録状況受信装置と、
前記記録状況インデックスに基づいて前記第１の撮像装置が撮像した映像データから選択すべき重要シーンを決定するシーン切り出し手段を備える編集装置と、
を備える映像編集システム。
【請求項２】
映像を撮像して記録する状況に関する情報を記録状況情報として生成し記録状況受信装置に対して送信する記録状況送信手段を備える複数の第２の撮像装置と、
前記第２の撮像装置から送信される前記記録状況情報を受信して記録状況インデックスとして記録する記録状況インデックス付与手段を備える記録状況受信装置と、
前記記録状況インデックスに基づいて前記第２の撮像装置のうち少なくともいずれか１つが撮像した映像データから選択すべき重要シーンを決定するシーン切り出し手段を備える編集装置と、
を備える映像編集システム。
【請求項３】
前記第２の撮像装置は、
被写体を撮像するための撮像部と、
前記撮像部にて撮像された映像データを記録するための映像記録手段と、
操作者が操作を入力するための操作入力手段と、
を備え、
前記記録状況送信手段は、前記操作入力手段から指示される操作内容を前記記録状況情報として操作時刻と共に送信し、
前記記録状況インデックス付与手段は、前記第２の撮像装置から送信される前記記録状況情報および前記操作時刻を受信して記録状況インデックスとして記録する、
請求項１および２のいずれかに記載の映像編集システム。
【請求項４】
前記シーン切り出し手段は、前記操作時刻の重複度合いに基づいて重要シーンを選択する請求項３記載の映像編集システム。
【請求項５】
前記シーン切り出し手段は、前記操作時刻に基づいて重要シーン候補を算出し、前記重要シーン候補の重複度合いを示す多重度を算出し、前記多重度に基づいて重要シーンを選択する請求項３記載の映像編集システム。
【請求項６】
前記記録状況インデックスは、各撮影機器のユニークな識別子である撮影機器情報を含む請求項３記載の映像編集システム。
【請求項７】
前記シーン切り出し手段は、前記撮像装置のすべての記録状況インデックスに基づいてシーンを切り出す第１のシーン切り出し方法と、任意の撮影機器に対応したシーンを切り出す第２のシーン切り出し方法とを備えた請求項３記載の映像編集システム。
【請求項８】
前記シーン切り出し手段は、第１のシーン切り出し方法と第２のシーン切り出し方法とを切り替えて実行することが可能な編集方法選択手段を備えた請求項３記載の映像編集システム。
【請求項９】
前記編集装置は、複数の映像データと再生区間から構成されるプレイリストを作成するプレイリスト作成手段を備えた請求項３記載の映像編集システム。
【請求項１０】
被写体を撮像するための撮像部と、
前記撮像部にて撮像された映像データを記録するための映像記録手段と、
操作者が操作を入力するための操作入力手段と、
前記操作入力手段から指示される操作内容を前記記録状況情報として操作時刻と共に送信する記録状況送信手段と、
を備えた撮像装置。
【請求項１１】
撮像装置における操作時刻を含む記録状況インデックスを入力とし、前記記録状況インデックスに基づいて、前記操作時刻の重複度合いに基づいて重要シーンを選択するシーン切り出し手段を備える、
映像編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影映像に対応付けられて記録される複数の入力手段の操作情報に基づいて、重要シーンの自動抽出を行う撮像装置、映像編集装置及び映像編集システムに関する。
【背景技術】
【０００２】
近年、光ディスクや、半導体メモリ等のランダムアクセス可能な記録媒体に、映像データや音声データをファイル化して記録する装置が一般的になり、例えば、放送局や映像制作会社等においても、このような記録媒体を備えた編集装置を利用して映像編集作業が行われている。また、磁気テープ媒体に記録する撮影機材を用いる場合でも、磁気テープ媒体上の映像データや音声データをファイル化してから上記と同様に映像編集作業を行うことが多い。
【０００３】
一方、講演会や結婚式、演劇等の行事は、あらかじめ決められたスケジュールに従って進行される。従来、講演会や結婚式等の行事の様子を撮影し、編集する場合には、行事の進行に沿って重要部分の近辺の撮影を行い、編集時に撮影した素材データから特に重要な区間（重要シーン）を切り出す作業を行っている。
【０００４】
これらの背景に基づいて、撮影前に撮影方法やタイトルを含むシナリオデータを入力し、そのシナリオデータに従って撮影ガイダンスを行う技術（例えば、特許文献１参照。）が開示されている。一方、パーソナルコンピュータでプレゼンテーションを行う場合、プレゼンテーション資料の表示を切り替える際に、切り替え操作情報を送信して映像データを分割する技術（例えば、特許文献２参照。）が開示されている。また、ＲＦＩＤを用いてＲＦＩＤを付けた被写体が撮影された重要シーンを切り出す技術（例えば、特許文献３参照。）が開示されている。
【特許文献１】特開２００６−１７４３１８号公報
【特許文献２】特開２００４−２３６２３８号公報
【特許文献３】特開２００７−６７５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された従来の構成は、スケジュール情報（シナリオデータ）に基づいてガイダンスを行うために、撮影以前にスケジュール情報（シナリオデータ）等の事前情報を作成する手間が必要となるという課題がある。また、特許文献２に開示された従来の構成は、１つの操作（表示切替）に基づいて映像データを分割しているために、操作間違え等の影響を受け、多くの人が意図した分割が困難であるという課題がある。さらに、特許文献３に開示された従来の構成においても、例えば、被写体による分類については有効な技術であるが、特筆すべき重要シーン以外のシーンも切り出され、重要シーンを取捨選択する手間がかかるという課題がある。
【０００６】
上記課題に鑑みて本発明の映像編集システムは、事前情報を必要とせずに、多くの人が意図する重要シーンの自動抽出（自動切り出し）を行うことを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の映像編集システムは、映像を撮像して記録する第１の撮像装置と、映像を撮像して記録する状況に関する情報を記録状況情報として生成し記録状況受信装置に対して送信する記録状況送信手段を備える第２の撮像装置と、第２の撮像装置から送信される記録状況情報を受信して記録状況インデックスとして記録する記録状況インデックス付与手段を備える記録状況受信装置と、記録状況インデックスに基づいて第１の撮像装置が撮像した映像データから選択すべき重要シーンを決定するシーン切り出し手段を備える編集装置とを備える。
【発明の効果】
【０００８】
本発明の映像編集システムによれば、シナリオデータ等の事前情報を必要とせず、各撮像装置での記録状況に基づいて、撮影した映像データから重要シーンを自動的に切り出すことが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１０】
図１は、本発明の一実施の形態における映像編集システムの構成を示すブロック図である。本実施の形態では、映像を記録媒体に記録する撮像記録装置と、記録媒体に記録された映像データから重要シーンを切り出して編集するための編集装置とを有する。撮像記録装置は、記録状況送信手段を備えず、編集対象となる動画像データを記録するための第１の撮像記録装置と、記録状況送信手段を備える第２の撮像記録装置とに区別することができ、第２の撮像記録装置は複数備えることが可能な構成とする。
【００１１】
第１の撮像記録装置および第２の撮像記録装置は、各々カメラレコーダおよびデジタルスチルカメラのうちいずれかである。本実施の形態の映像編集システムは、第１の撮像記録装置の具体例をカメラレコーダ１とし、また第２の撮像記録装置の具体例をカメラレコーダ２１およびデジタルスチルカメラ２２の各々１台とした構成を例として説明するが、第１の撮像記録装置および第２の撮像記録装置の具体例や台数がこれと異なる場合でも同様の処理を行うことで実現できる。
【００１２】
このような映像編集システムは、映像制作事業者等を対象とした業務用途を目的とするシステムであり、講演会、結婚式、音楽コンサートや演芸会等の会場での行事の撮影、映像編集等に利用される。例えば、講演会、結婚式会場において、カメラレコーダ１で取得した映像データは、カメラレコーダ１に対して着脱可能な記録媒体に記録され、さらに、編集室内において、他の映像データと共に、この記録媒体に記録された映像データを用いて編集作業が行われる。
【００１３】
図１に示すように、本映像編集システムは、大きく第１の撮像記録装置としてのカメラレコーダ１と、第２の撮像記録装置としてのカメラレコーダ２１と、第２の撮像記録装置としてのデジタルスチルカメラ２２と、カメラレコーダ１により撮像した動画像データを記録するための記録媒体１０と、カメラレコーダ２１により撮像した動画像データを記録するための記録媒体１１３と，デジタルスチルカメラ２２により撮像した静止画データを記録するための記録媒体１２３と、記録状況インデックスファイルを生成し、生成した記録状況インデックスファイルを記録媒体１５０に対して記録するインデックスファイル記録装置３と、インデックスファイル記録装置３により生成された記録状況インデックスファイルを記録するための記録媒体１５０と、記録媒体１０及び記録媒体１１３、１２３に記録された動画像データを編集するための編集装置２とを含む構成である。なお、第１の撮像記録装置としてのカメラレコーダ１と、第２の撮像記録装置としてのカメラレコーダ２１と、第２の撮像記録装置としてのデジタルスチルカメラ２２とを総称して単に撮像記録装置と呼ぶこととする。
【００１４】
カメラレコーダ１は、被写体を撮像し、映像データとしての動画像データを出力する撮像部１００と、撮像された動画像データを記録する映像記録手段１０４とを備える。また、撮像部１００は、被写体を撮像し、動画像データを映像記録手段１０４に提供する。映像記録手段１０４は、映像処理を施した後、記録媒体１０に動画像データを映像ファイルとしての動画像ファイルとして記録する。映像記録手段１０４は、供給された動画像データを圧縮符号化することもできる。圧縮符号化方式としては、例えば広く利用されているＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２方式や、ＭＰＥＧ−４／ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）方式、あるいは業務用のデジタルＶＴＲ（Ｖｉｄｅｏ  Ｔａｐｅ  Ｒｅｃｏｄｅｒ）の規格の一つであるＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）−３１４Ｍ（ＤＶ−Ｂａｓｅｄ  ２５Ｍ）規格が挙げられる。なお、本発明は、圧縮符号化方式に依存しないため、どのような圧縮符号化方式でも用いることができる。また、記録媒体１０に十分な記録容量が確保できる場合には、動画像データに対して圧縮符号化を施さなくてもよい。本実施の形態では、動画像データの有効画素の輝度信号と色差信号とを順番に並べてファイルとする非圧縮ファイル形式にて記録する例を説明する（具体例は後述する）。
【００１５】
カメラレコーダ２１は、被写体を撮像するための撮像部１１０と、撮像部１１０にて撮像された動画像データを記録するための映像記録手段１１４と、操作者が操作を入力するための操作入力手段１１１と、操作入力手段１１１から指示される操作内容と操作時刻とを送信する記録状況送信手段１１２とを備える。撮像部１１０は、被写体を撮像して映像データとしての動画像データを生成する。映像記録手段１１４は、撮像部１１０にて撮像された動画像データを動画像ファイルとして記録媒体１１３に記録する。カメラレコーダ２１においても、カメラレコーダ１と同様に圧縮符号化方式に依存しないため、どのような圧縮符号化方式でも構わない。動画像ファイルについては、カメラレコーダ１と同様に非圧縮ファイル形式を用いる（ファイル形式の１具体例については後述する）。操作入力手段１１１は、操作者がカメラレコーダ２１に対して録画開始、録画終了等の操作を入力するための入力手段である。記録状況送信手段１１２は、操作入力手段１１１において操作者から指示された操作内容を記録状況情報として、その時の操作時刻や撮影機器情報等と関連付けてインデックスファイル記録装置３における記録状況受信手段１５２に送信する。
【００１６】
デジタルスチルカメラ２２は、静止画データを撮像するための撮像部１２０と、撮像部１２０にて撮像された静止画データを記録するための映像記録手段１２４と、操作者が操作を入力するための操作入力手段１２１と、操作入力手段１２１から指示される操作内容と操作時刻とを送信する記録状況送信手段１２２とを備える。撮像部１２０は、被写体を撮像して映像データとしての静止画データを生成する。映像記録手段１２４は、撮像部１２０にて撮像された静止画データを映像ファイルとしての静止画ファイルとして記録媒体１２３に記録する。デジタルスチルカメラ２２においても、静止画の圧縮符号化方式に依存しないため、どのような圧縮符号化方式でも構わない。静止画ファイルについては、静止画の非圧縮ファイル形式であるＲＡＷデータ形式として用いた例を説明する。これらのファイル形式は一般的に広く実用されている形式であるので具体的な説明を省略する。操作入力手段１２１は、操作者がデジタルスチルカメラ２２に対してシャッターを切る（撮影をする）等の操作を入力するための入力手段である。記録状況送信手段１２２は、操作入力手段１２１において操作者から指示された操作内容を記録状況情報として、その時の操作時刻や撮影機器情報等と関連付けてインデックスファイル記録装置３における記録状況受信手段１５２に送信する。
【００１７】
インデックスファイル記録装置３は、記録状況受信手段１５２と、記録状況インデックス付与手段１５１とを備える。記録状況受信手段１５２は、カメラレコーダ２１およびデジタルスチルカメラ２２から送信される記録状況情報、操作時刻および撮影機器情報等を受信する。記録状況インデックス付与手段１５１は、記録状況受信手段１５２にて受信した記録状況情報、操作時刻および撮影機器情報等を記録状況インデックスとして記録媒体１５０に記録する。
【００１８】
編集装置２は、インデックス解釈手段２０１と、シーン切り出し手段２０２と、プレイリスト作成手段２０３と、映像編集手段２０４とを備える。インデックス解釈手段２０１は、記録媒体１５０に記録された記録状況インデックスを解析する手段であり、解析結果をシーン切り出し手段２０２に提供する。シーン切り出し手段２０２は、提供された記録状況インデックスの解析結果に基づいて重要シーンを切り出し、重要シーンの区間情報をプレイリスト作成手段２０３に提供し、重要シーンを含む動画像データを映像編集手段２０４に提供する。プレイリスト作成手段２０３は、提供された重要シーンの区間情報からプレイリストファイルを作成する。映像編集手段２０４は、提供された重要シーンを含む動画像データから重要シーンを切り出して映像データを編集（例えば、カット編集）する。なお、記録媒体１０に記録される動画像データと記録媒体１５０に記録される記録状況インデックスとは、記録状況インデックスに含まれる操作時刻と動画像データに含まれる撮影時刻等の時刻情報とに基づいて対応付ける。これらの編集装置２における各手段や動画像データと記録状況インデックスとの対応付け等の詳細については後述する。
【００１９】
本実施の形態では、カメラレコーダ１、カメラレコーダ２１およびデジタルスチルカメラ２２は、業務用途や民生用途向けに発売されているカメラレコーダ及びデジタルスチルカメラに対し、主に通信機能を拡張して使用する。カメラレコーダ及びデジタルスチルカメラに必要な通信機能についての具体的な説明は後述する。また、記録媒体１０及び記録媒体１１３、１２３、１５０は、半導体メモリやハードディスクドライブや光ディスク等、ランダムアクセス可能な媒体であればよい。本実施の形態では、記録媒体１０及び１１３、１２３、１５０を半導体メモリとする例として説明する。また、編集装置２は、ノンリニア編集プログラムを実行するコンピュータとして実現されるものとする。ノンリニア編集プログラムは一般的に、コンピュータ上で動作し、記録媒体から映像データを取り込んでカット編集や映像加工を行う。本実施の形態では、一般的なノンリニア編集プログラムに対して、インデックス解釈手段２０１、シーン切り出し手段２０２、プレイリスト作成手段２０３をさらに追加したプログラムをコンピュータ上で動作させることで実現する。
【００２０】
以上のように構成された本映像編集システムにおいて、撮影から編集までの処理の流れの概要を説明する。ここで、講演会や結婚式、音楽コンサート、プレゼンテーション、演劇、芝居公演等の、撮影を行う対象となる行事（催し）を撮影対象行事と呼ぶ。この撮影対象行事の様子を撮影し、撮影した動画像データに対して行事後あるいは行事中に編集作業を行う。本発明は、大人数の観客（撮像記録装置の操作者）に対して撮影対象が物理的に集中しているような撮影対象行事の場合に最大の効果を発揮する。
【００２１】
まず、本実施の形態における各撮像記録装置の撮影方法について説明する。各撮像記録装置は共に、同一の撮影対象行事を撮影するものとする。
【００２２】
本実施の形態では、第２の撮像記録装置であるカメラレコーダ２１及びデジタルスチルカメラ２２の操作者としては、撮影対象行事の参列者や観客を想定している。また各操作者が、各自の撮像記録装置を使用して自由に撮影することを想定している。本実施の形態における映像編集システムは、撮影された回数が多い時間帯を重要シーンとして自動的にシーン切り出しを行う。例えば結婚式では、一般的に、新郎新婦入場など多くの人が重要と考えて撮影する部分が存在する。好ましくは、各操作者が重要と考えるシーンを撮影することであるが、各操作者が重要シーンを意識しないで撮影したとしても、多くの操作者が撮影した区間もまた重要といえる。例えば、演劇、芝居公演等において、クライマックスシーンなどに多くの観覧者（操作者）が感動して撮影を行うシーンが重要シーンと言える。すなわち、本発明の映像編集システムでは、撮影対象行事において単位時間当たりの記録回数（多重度）が多いシーン（区間）を重要シーンとして、撮影した動画像データからシーン切り出しを行う。また、撮影方法としては、例えば、演劇において出演する知人をアップで撮影する等、撮影対象行事の一部を撮影してもよいし、撮影対象行事の全体像を撮影してもよい。
【００２３】
一方、第１の撮像記録装置であるカメラレコーダ１の操作者（以下、主操作者と呼ぶ）は、撮影対象行事を撮影する役割を担っていることを想定している。主操作者は、主に撮影対象行事の全体像を撮影し、撮影対象行事が行われている間、継続して撮影していることが好ましい。カメラレコーダ１における撮影については、特に特殊な操作等はなく、一般的な撮影形態と同じく被写体を撮影すればよい。本実施の形態では一例として、カメラレコーダ１は、常に撮影対象行事を撮影し続けるものとして説明する。また、カメラレコーダ１にて撮影される動画像データは、主として編集時に利用する映像データとする。
【００２４】
次に、各撮像記録装置における撮影時の処理の流れを説明する。
【００２５】
まず、撮影対象行事が開始する直前に、主操作者がカメラレコーダ１に対して操作入力手段（図示せず）を介して記録開始を指示する。操作入力手段は、映像記録手段１０４に対して記録開始指示を通知する。映像記録手段１０４は、記録開始指示に基づき、撮像部１００で撮像された動画像データの記録媒体１０への記録を開始する。撮影対象行事が終了すれば、主操作者の操作入力手段を介した記録終了指示に従って映像記録手段１０４及び記録媒体１０における記録処理を停止する。すなわち、操作入力手段は、映像記録手段１０４に対して記録終了指示を通知する。映像記録手段１０４は、受信した記録終了指示に基づき、記録媒体１０に対する動画像データの記録を停止する。この一連の記録開始から記録終了までにおける動画像データを記録する処理は、カメラレコーダにて一般的に広く実現されている技術であるので具体的な説明は省略する。
【００２６】
一方、カメラレコーダ２１の操作者は、撮影対象行事中自由に、すなわち操作者の判断で撮影対象行事のうち任意のシーンの撮影を行う。操作者は撮影を行う場合に、操作入力手段１１１を介して記録開始を指示する。操作入力手段１１１は、映像記録手段１１４と記録状況送信手段１１２に対して記録開始指示を通知する。映像記録手段１１４は、記録開始指示に基づき、記録媒体１１３に対して動画像データの記録を行う。また、記録状況送信手段１１２は、操作入力手段１１１から受信した記録状況情報（例えば、操作者が記録開始指示を行ったことを示す情報）とその時の操作時刻と撮影機器情報とを関連付けて記録状況受信手段１５２に送信する。記録を終了する場合にも同様に、操作者は操作入力手段１１１を介して記録終了を指示し、映像記録手段１１４と記録状況送信手段１１２に対して記録終了指示を通知する。映像記録手段１１４は、受信した記録終了指示に基づき、記録媒体１１３に対する動画像データの記録を停止する。また、記録状況送信手段１１２は、記録開始時と同様に操作入力手段１１１から受信した記録状況情報（例えば、記録終了指示を示す情報）とその時の操作時刻と撮影機器情報とを関連付けて記録状況受信手段１５２に送信する。
【００２７】
ここで操作時刻とは、操作入力手段１１１が、操作者からの記録開始や終了等の指示を受けた時刻であり、撮像記録装置がＲｅａｌ  Ｔｉｍｅ  Ｃｌｏｃｋ機能を有する集積回路（ＲＴＣ）を搭載すれば取得可能である。操作入力手段１１１にて操作指示を受けた場合に、ＲＴＣからその時刻を取得し、その操作内容や撮影機器情報と一組にして保持すれば記録状況インデックスの関連付けが可能である。なお、各撮像記録装置のＲＴＣを同期させるため、撮影対象行事が始まる前に、例えば第２の撮像記録装置の各々は第１の撮像記録装置と通信を行い、各々のＲＴＣを第１の撮像記録装置のＲＴＣに同期させる処理を行うことが望ましい。
【００２８】
また撮影機器情報とは、カメラレコーダ２１の機器固有の識別子（ＤＥＶＩＣＥ  ＩＤ）であり、各機器に固有の文字列や番号を割り当てればよい。例えば本実施の形態では、カメラレコーダ２１のＤＥＶＩＣＥ  ＩＤを「ＭＶ０００１」とする。また、記録状況情報とは、記録開始指示、記録終了指示といった操作者の操作情報により撮像記録部に機器の動作を指示する情報を表す。
【００２９】
さらに、デジタルスチルカメラ２２の操作者は、カメラレコーダ２１の操作者と同様に各々自由に撮影を行う。カメラレコーダ２１とデジタルスチルカメラ２２との違いは、カメラレコーダ２１は動画像を撮影する機器であるのに対し、デジタルスチルカメラ２２は静止画を撮影する機器であり、撮影形式が異なる点である。この撮影形式の違いにより、記録開始と記録終了を指示するカメラレコーダ２１における動画像撮影と、記録指示のみの指示となるデジタルスチルカメラ２２における静止画撮影といった操作上の差異が生じる。
【００３０】
デジタルスチルカメラ２２における撮影時の処理の流れは、上述した撮影形式の差異以外はカメラレコーダ２１と同様である。すなわち、操作者が操作入力手段１２１を介して記録を指示すると、操作入力手段１２１は、映像記録手段１２４と記録状況送信手段１２２に対して記録指示を通知する。映像記録手段１２４は、記録指示に基づき、記録媒体１２３に対して静止画データの記録を行う。また、記録状況送信手段１２２は、操作入力手段１２１から受信した記録状況情報（例えば、記録指示）とその時の操作時刻と撮影機器情報とを関連付けて記録状況受信手段１５２に送信する。ここでは、デジタルスチルカメラ２２のＤＥＶＩＣＥ  ＩＤを「ＤＳＣ０００１」として説明する。
【００３１】
続いて、インデックスファイル記録装置３の動作について説明する。記録状況受信手段１５２は、第２の撮像記録装置、すなわちカメラレコーダ２１およびデジタルスチルカメラ２２から送信される記録状況情報（例えば、記録開始指示、記録終了指示、記録指示）と、操作時刻と、撮影機器情報とを受信し、これらを記録状況インデックス付与手段１５１に提供する。記録状況インデックス付与手段１５１は、供給された記録状況情報と操作時刻と撮影機器情報とを一組として互いに関連付け、記録状況インデックスとする。記録状況インデックス付与手段１５１はさらに、個々の記録状況インデックスをまとめて記録状況インデックスファイルとして記録媒体１５０に記録する。
【００３２】
図３は、記録状況インデックスを映像記録媒１０に記録するための記録状況インデックスファイルの１具体例を示す図である。記録状況インデックスファイルは、カンマを区切り文字とするＣｏｍｍａ  Ｓｅｐａｒａｔｅｄ  Ｖａｌｕｅｓ（ＣＳＶ）形式のテキストファイルとし、ファイル名を例えば、ＩｎｄｅｘＬｉｓｔ．ｔｘｔをとする。記録する内容（図３上の１行）は、順番にＩＮＤＥＸの番号、ＩＮＤＥＸ種別、撮影機器情報、操作時刻を表す。ＩＮＤＥＸの番号は、記録状況受信手段１５２が受信した記録状況情報の受信順に割り振られた通し番号であるが、記録状況インデックスファイルの作成時になんらかの項目をキーとしてソートしてから番号を振るようにしてもよい。ＩＮＤＥＸ種別は記録状況インデックスファイルの種類を表す。「ＰＯＩＮＴ」は、デジタルスチルカメラ２２における記録指示、「ＳＴＡＲＴ」は、カメラレコーダ２１における記録開始指示、「ＳＴＯＰ」は、カメラレコーダ２１における記録終了指示に対応する。これらは後で図２（２）に示す記録状況インデックスの例に対応しており、図２の説明については後述する。
【００３３】
なお、本実施の形態では、記録状況インデックスファイルを映像ファイルとは別ファイルに記録する形式を説明するが、第２の撮像記録装置で記録する映像ファイルに個々の記録状況情報を埋め込んで記録するようにしてもよい。この場合、第２の撮像記録装置の各々は、映像ファイルに記録状況インデックスを埋め込んで記録する。この映像ファイルをインデックスファイル記録装置３に入力し、インデックスファイル記録装置３が各映像ファイルから記録状況インデックスを抽出してまとめ、記録状況インデックスファイルを構築するようにしても同様の効果を発揮する。
【００３４】
次に、記録状況インデックスとカメラレコーダ１で撮影した動画像データとの対応と、シーン切り出し手段２０２によって行われる重要シーン切り出し（抽出）方式の概略を説明する。シーン切り出し手段２０２は、記録状況インデックスに含まれる操作時刻の重複度合いに基づいて、より多くの撮像記録装置で操作が行われた時間帯を重要シーンとして選択する。図２は、動画像データと記録状況インデックスによるシーン切り出し方式の概念を示す図である。図２（１）は記録状況インデックス（ＩＮＤＥＸ）とカメラレコーダ１で撮影した動画像データとの関係と、シーン切り出し処理の概念を表している。横軸は時間の経過を示している。図２（２）は、記録状況インデックスの１具体例を示した図であり、この内容を動画像データの時間軸に合わせて示したものが図２（１）となる。
【００３５】
ＩＮＤＥＸ（０１）、ＩＮＤＥＸ（０３）、ＩＮＤＥＸ（０５）は、デジタルスチルカメラ２２（ＤＥＶＩＣＥ  ＩＤがＤＳＣ０００１である）によって送信された記録状況インデックスである。ＩＮＤＥＸ（０２）、ＩＮＤＥＸ（０４）は、カメラレコーダ２１（ＤＥＶＩＣＥ  ＩＤがＭＶ０００１である）によって送信された記録状況インデックスである。例えば、ＩＮＤＥＸ（０１）は、時刻１０：０５：０５：００において、記録指示が行われたことを示す。また、ＩＮＤＥＸ（０２）とＩＮＤＥＸ（０４）は各々、時刻１０：０５：０６：００において記録開始指示が行われたこと、時刻１０：０５：１０：００において記録終了指示が行われたことを表す。さらに、１０：０５：０５：００とは、１０時０５分０５秒００フレームの意味であり、時間桁、分桁、秒桁、フレーム桁を表す。この形式は業務用途のカメラレコーダ等でタイムコードとして表される方法である。なお、デジタルスチルカメラ２２の操作時刻にフレームの概念がない場合は、例えば時刻情報のフレームの桁として００フレームを補うようにすればよい。
【００３６】
例えば、デジタルスチルカメラ２２からの記録状況情報の受信により付与された時刻１０：０５：０５：００における記録状況インデックスＩＮＤＥＸ（０１）は、時刻情報を用いて同時刻にカメラレコーダ１で撮影した動画像データと対応付けを行うことができる。なお、動画像データと記録状況インデックスとの対応付けに必要な動画像データの各フレームの撮影時刻は、動画像データの先頭フレームの撮影時刻とフレーム数から算出してもよいし、動画像データに時刻情報を多重化してもよいし、ＭＰＥＧ−２システム等で用いられるタイムスタンプ（例えば、Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を用いて対応付けを行ってもよい。本実施の形態では、動画像ファイルを、図１３に示すファイル形式のように各フレームの撮影時刻を動画像データに埋め込んだ形式にて記録する。図１３において、フレームｎにおける動画像データを動画像データ（ｎ）と表し、フレームｎにおける撮影時刻を撮影時刻情報（ｎ）と表しており、動画像データ（ｎ）は、輝度（Ｙ）と色差（Ｕ／Ｖ）データを順番に並べて記録する（例えば、一般的にＹＵＶ４２２と呼ばれる形式）。各フレームの撮影時刻を動画像データに埋め込むことにより、動画像データの各フレーム撮影時刻と操作時刻との一致を確認することができるので、後で編集装置２が動画像データと操作時刻との対応付けを行うことができる。ＩＮＤＥＸ（０２）、ＩＮＤＥＸ（０３）、ＩＮＤＥＸ（０４）、ＩＮＤＥＸ（０５）についても同様に動画像データとの対応付けが可能である。
【００３７】
編集装置２において、シーン切り出し手段２０２は、インデックス解釈手段２０１にて解釈される各記録状況インデックス（ＩＮＤＥＸ）に基づいて、重要シーン切り出しの候補となる区間（重要シーン候補）を算出する。これは、ＩＮＤＥＸ種別として、動画像（区間／ＳＴＡＲＴとＳＴＯＰの間）と静止画（点／ＰＯＩＮＴ）とが混在していることから生じる重要シーン抽出の精度の悪化を防ぐ目的で行う。例えば、ＩＮＤＥＸ種別が「ＰＯＩＮＴ」の場合には、操作時刻の前後一定の区間（図２の例では前後１フレーム）を重要シーン候補とする。ＩＮＤＥＸ種別が「ＳＴＡＲＴ」及び「ＳＴＯＰ」の場合には、同一撮影機器で撮影された、記録開始／終了の対になる「ＳＴＡＲＴ」と「ＳＴＯＰ」の間を重要シーン候補とする。図２の例であれば、ＤＥＶＩＣＥ  ＩＤが共にＭＶ０００１であるＩＮＤＥＸ（０２）とＩＮＤＥＸ（０４）に対応し、ＩＮＤＥＸ（０２）とＩＮＤＥＸ（０４）の間を重要シーン候補とする。
【００３８】
次に、上記の方法にて抽出された複数の重要シーン候補から重要ポイントを算出し、重要シーンを抽出する。図２のように重要シーン候補の重複（多重度）を算出し、多重度が閾値以上場合には、多重度が閾値以上になる区間の先頭フレーム（時刻）を重要ポイントして抽出する。図２の例であれば、閾値を３として重要ポイントを決定している。
【００３９】
以上のように決定された重要ポイントから前後一定区間の動画像データを重要シーンとして抽出する。図２の例では、前後一定区間を前２秒、後５秒としている。なお、重要ポイントや重要シーンは複数検出され、上記多重度の閾値により変動する。上記多重度の閾値は、記録状況受信手段１５２に接続する機器数に基づいて決定すればよい。接続機器数が多い場合には、多重度の閾値も大きな値にすればよく、接続機器数が少ない場合には、多重度の閾値も小さな値にすればよい。また、記録状況インデックスと動画像データとの対応付けの時間精度（時間分解能）により重要シーンの区間長等が変動するが、所望の区間長に基づいてフレーム単位や秒単位で自由に対応付けを行ってもよい。また、重要ポイントは、フレーム単位でなく、任意の区間長であってもよい。
【００４０】
以上、記録状況インデックスと動画像データとの対応付けと重要シーン抽出方式の概略を説明した。次に、記録状況インデックス情報を用いた編集装置２における編集（シーン切り出し及びプレイリスト作成）処理の流れを具体的に説明する。
【００４１】
まず、インデックス解釈手段２０１は、記録媒体１５０に記録された記録状況インデックスファイルを読み込み、図２（２）のような記録状況インデックスを管理するためのインデックステーブル（記録状況インデックスの集合）を作成する。このインデックステーブルは、シーン切り出し手段２０２にインデックステーブルを提供する。
【００４２】
シーン切り出し手段２０２は、インデックス解釈手段２０１から供給されたインデックステーブルを利用して上記で説明したアルゴリズムによって重要シーンの抽出（切り出し）を行い、プレイリスト作成手段２０３に提供する。このシーン切り出し手段２０２におけるシーン切り出し方法の具体例は後述する。
【００４３】
プレイリスト作成手段２０３は、シーン切り出し手段２０２からの重要シーン情報と、記録媒体１０に記録される映像データ識別子（例えば、動画像ファイルのファイル名）とに基づいてプレイリストを作成する。ここで、プレイリストとは、１つあるいは複数の動画像データの再生区間をリスト化したものであり、再生機（図示せず）はプレイリストに登録された再生区間を順番に再生するものとする。このプレイリスト作成手段２０３にて作成されたプレイリストはプレイリストファイルとして記録媒体１０及び１５０や図示しないその他の記録媒体に記録されて管理される。図４にプレイリストファイルの１具体例を示す。プレイリストファイルは、ＣＳＶ形式のテキストファイルとし、ファイル名を例えば、ＰｌａｙＬｉｓｔ．ｔｘｔとする。プレイリストファイルには、順番に動画像データのファイル名、１番目の項目で指定する動画像ファイルにおける再生開始時刻、１番目の項目で指定する動画像ファイルにおける再生終了時刻を記載する。図４に示すプレイリストファイルに対して、再生機は順番にＭＶ００００＿００００．ｄａｔファイルの１０：０５：０４：００に関連付けられた動画像データから１０：０５：１１：００に関連付けられた動画像データまで、ＭＶ００００＿００００．ｄａｔファイルの１２：３４：００：００に関連付けられた動画像データから１２：３７：００：００に関連付けられた動画像データまで、ＭＶ０００１＿０００１．ｄａｔファイルの００：００：１０：００に関連付けられた動画像データから００：１２：１２：００に関連付けられた動画像データまでを再生する。なお、プレイリスト作成手段２０３におけるプレイリスト作成方法の具体例は後述する。
【００４４】
映像編集手段２０４は、プレイリスト作成手段２０３が記録したプレイリストファイルを読み出し、記載されたプレイリストにしたがって再生区間以外の動画像データを削除（カット）してつなぎ合わせたり、字幕や映像効果を付与することにより、完全パッケージメディア（いわゆる「完パケ」）を作成する目的で利用される。これらの映像編集手段は、ノンリニア編集ソフトウエアとして一般的に広く知られている技術で実現できるため具体的な説明は省略する。
【００４５】
このようにして、記録状況インデックス情報を用いて重要シーンだけを自動抽出して再生することができる。
【００４６】
以上、本実施の形態における撮影や編集方法に関する処理の流れを説明したが、本実施の形態の映像編集システムにおいて、各処理やアルゴリズムについて具体的に説明する。
【００４７】
まず、本実施の形態におけるインデックスファイル記録装置３、カメラレコーダ２１、デジタルスチルカメラ２２に必要な通信機能について説明する。まず、カメラレコーダ２１及びデジタルスチルカメラ２２は、一般的なカメラレコーダ及びデジタルスチルカメラに対して記録状況送信手段１１２，１２２が追加された構成となっている。また、一般的な第２のカメラレコーダ及びデジタルスチルカメラとは、撮像した映像とその撮影時刻とを関連付けられた映像データ（動画像及び静止画データ）を記録媒体に記録する機能を備えたものである。これらの撮像記録装置は、業務用途や民生用途の撮像記録装置において一般的に広く実現されている技術であるため具体的な説明は省略する。
【００４８】
記録状況送信手段１１２、１２２と記録状況受信手段１５２における送受信方式について具体的に説明する。送受信方式の具体例として無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の無線通信技術を用いて送受信を行う第１の送受信方法と、信号線を用いて送受信を行う第２の送受信方法の２つの送受信方法を例として説明する。なお、本発明は、送受信方法に依存しないため記録状況情報と操作時刻と撮影機器情報とが送受信できる、あるいは、記録状況情報が送受信でき、受信側（記録状況受信手段１５２）にて操作時刻と撮影機器情報とを検出あるいは生成可能な方法であればよい。例えば操作時刻として、受信側が記録状況情報を受信した時刻を操作時刻としてもよく、受信側が記録状況情報を受信した回線やポートに応じて撮影機器情報を生成してもよい。
【００４９】
第１の送受信方法は、無線技術を用いて送受信する方法であり、例えば、無線ＬＡＮ技術を用いて記録状況インデックスを送受信する。本発明では、記録状況情報と操作時刻と撮影機器情報とを一組として関連付けを維持して転送できればよく、記録状況送信手段１１２、１２２から記録状況受信手段１５２への１方向の通信であればよい。これらの通信は無線ＬＡＮ技術において、例えば、特開２００３−２９８９１７号公報で開示されているような公知の技術で実現できる。第１の送受信方法は、結線が不要なため操作者や主操作者の利便性が高い。
【００５０】
一方、第２の送受信方法は、簡易に有線で実現する方法であり、１つの機器に対して１つの受信ポート（例えば、マイコン等のピン端子）を使用する方法である。まず、記録状況受信手段１５２において、各受信ポートにはあらかじめ撮影機器情報を割り当てておく。受信ポートには、例えば、記録中にＨｉｇｈになり、記録中以外の場合にはＬｏｗになる１ｂｉｔの記録状況信号を用いる。操作時刻は、記録状況受信手段１５２にＲＴＣを装備し、上記記録状況信号がＨｉｇｈからＬｏｗやＬｏｗからＨｉｇｈに変化する場合にＲＴＣから時刻を取得すればよい。また、記録状況信号が変化する場合に、信号が変化した受信ポートにあらかじめ割り当てている撮影機器情報を取得することにより記録状況インデックスの作成や、記録状況情報と操作時刻と撮影機器情報等の関連付けが可能である。一方、記録状況送信手段１１２、１２２では、例えば、操作入力手段１１１から記録開始指示を受けた場合には、記録状況信号をＨｉｇｈに、記録終了指示を受けた場合には記録状況信号をＬｏｗにすればよい。
【００５１】
次に、シーン切り出し手段２０２におけるシーン切り出し方法及びプレイリスト作成手段２０３におけるプレイリスト作成方法の詳細を説明する。
【００５２】
本実施の形態では、本線編集方式、端末同期編集方式、撮影機器別編集方式の３つの編集（シーン切り出し及びプレイリスト作成）方式の例を説明する。ここで、本線編集方式とは、記録媒体１５０に記録された記録状況インデックスファイルに基づいて、記録媒体１０に記録された動画像データを再生対象とするプレイリストを作成する編集方式である。なお、記録媒体１０に記録された動画像データのことを本線データと呼ぶことにする。また、端末同期編集方式とは、記録媒体１５０に記録された記録状況インデックスファイルに基づいて、本線データではない動画像データ、例えば、カメラレコーダ２１にて記録媒体１１３に記録される動画像データを再生対象とするプレイリストを作成する編集方式である。本方式においては、操作者が入力手段（図示せず）を通じて事前に再生対象を指定するものとする。さらに、撮影機器別編集方式とは、記録状況インデックスファイルの撮影機器情報に基づいて、任意の撮影機器のみで撮影されたシーンに対応する記録状況インデックスを使用して本線データを切り出し、本線データを再生対象とするプレイリストを作成する編集方法である。本方式においては、操作者が入力手段を通じて事前に撮影機器を指定するものとする。なお、上述した図２（１）に示すシーン切り出しの概要は本線編集方式の場合の例を説明している。また、本実施の形態ではこれら３つの編集方式を備えた構成について説明するが、このうちの一部を備えた構成としてもよいことはいうまでもない。
【００５３】
まず、シーン切り出し手段２０２におけるシーン切り出し方法について具体的に説明する。図５は、シーン切り出し手段２０２の詳細な構成を示すブロック図である。シーン切り出し手段２０２は、本線切り出し手段３００と端末同期切り出し手段３０１と撮影機器別切り出し手段３０２と、それらを選択する編集方法選択手段３０３とを含んで構成される。本線切り出し手段３００と端末同期切り出し手段３０１と撮影機器別切り出し手段３０２とは、上述した各編集方式に対応するシーン切り出し処理を行うブロックである。各切り出し手段の具体的な処理フローは後述する。また、編集方法選択手段３０３は、編集（シーン切り出し）方式を選択する手段であり、編集装置２の操作者の指示により、本線切り出し手段３００、端末同期切り出し手段３０１および撮影機器別切り出し手段３０２の中から１つの切り出し手段を選択する。すなわち、シーン切り出し手段２０２としては、３つの切り出し手段のうち、どれか１つの切り出し手段を利用することになる。なお、編集対象毎に切り出し手段を切り替えてもよい。
【００５４】
図６は、シーン切り出し手段２０２における基本的な処理の流れを示すフローチャートである。基本的な処理フローは、各シーン切り出し手段で共通な処理であり、処理の概要は図２において説明している。
【００５５】
まず、Ｓ１００において、シーン切り出し手段２０２は、記録状況インデックスファイルに記録された各記録状況インデックスに対して重要シーン候補を算出する。例えば、デジタルスチルカメラ２２における重要シーン候補（ｎ）は、下記の式で表される。
【００５６】
Ｔｓｔａｒｔ（ｎ）≦  重要シーン候補（ｎ）  ＜Ｔｓｔｏｐ（ｎ）
Ｔｓｔａｒｔ（ｎ）＝Ｔｉｎｄｅｘ（ｎ）−Ｔｏｆｆｓｅｔ
Ｔｓｔｏｐ（ｎ）＝Ｔｉｎｄｅｘ（ｎ）＋Ｔｏｆｆｓｅｔ
ここで、開始時刻Ｔｓｔａｒｔ（ｎ）は、重要シーン候補の開始時刻を表している。Ｔｓｔｏｐ（ｎ）は、重要シーン候補の終了時刻を表している。Ｔｉｎｄｅｘ（ｎ）は、ｎ番目の記録状況インデックス（ＩＮＤＥＸ）情報を表している。また、Ｔｏｆｆｓｅｔは、デジタルスチルカメラでの静止画撮影という１時刻を示す情報を区間の情報にするために操作時刻の前後に付加する一定区間（オフセット）であり、例えば、数秒程度の時間を設定しておけばよい。図２はＴｏｆｆｓｅｔを１秒とした例を図示している。
【００５７】
また、第２のカメラレコーダ２１における重要シーン候補の開始時刻は、記録状況情報が記録開始指示（「ＳＴＡＲＴ」）である場合の操作時刻と同一時刻であり、終了時刻は、記録状況情報が記録終了指示（「ＳＴＯＰ」）である場合の操作時刻と同一時刻にすればよい。
【００５８】
算出された重要シーン候補は、シーン切り出し手段２０２に保持される。
【００５９】
次に、Ｓ１０１において、切り出しシーン（重要シーン）を抽出する。このＳ１０１におけるシーン切り出しの方法が各シーン切り出し手段（本線切り出し手段３００、端末同期切り出し手段３０１、撮影機器別切り出し手段３０２）により異なる。
【００６０】
以下、各シーン切り出し手段におけるアルゴリズムの詳細を説明する。
【００６１】
図７は、本線切り出し手段３００および端末同期切り出し手段３０１におけるシーン切り出し方法の処理の流れを示すフローチャートである。本線切り出し手段３００と端末同期切り出し手段３０１のシーン切り出し方法の処理フローは同一である。基本的な概念はすでに図２を参照して説明したが、ここではさらに詳しく説明する。
【００６２】
まず、Ｓ２００において、重要シーン候補の多重度を算出する。ここで多重度とは、図２（１）の重要シーン候補（Ａ）、（Ｂ）、（Ｃ）に見られるような、各時刻における重要シーン候補の重なり数を表す。多重度は、各重要シーン候補の開始時刻と終了時刻から、各重要シーン候補の時間（区間）の重なりを算出すればよい。
【００６３】
シーン切り出し手段２０２は、記録媒体１０に記録されている本線データのすべての区間（撮影区間）について、すべての重要シーン候補の開始時刻と終了時刻から重要シーン候補間の重なり数を算出する。図１４は、多重度の算出方法の１具体例を示す図である。まず、時間軸のサンプリング単位を決定する。このサンプリング単位により多重度算出における時間精度が決まり、例えば、フレーム単位や秒単位にすることができる。フレーム単位でのサンプリングにより多重度を算出する方法が最も時間精度がよいが、同時に多重度算出のための処理負荷も増大することになる。図１４では、秒単位でサンプリングを行った場合の例として説明する。ただし、タイムコードはフレーム桁まで表記している。図１４は、横軸を時間軸として示している。図１４（１）は動画像データを示しており、動画像データの時間軸に対して、例えば、重要シーン候補（Ａ）、（Ｂ）、（Ｃ）が図１４のように算出されているものとする。ここで、重要シーン候補（Ａ）の開始時刻をＴｓｔａｒｔ（Ａ）、終了時刻をＴｓｔｏｐ（Ａ）、同様に重要シーン候補（Ｂ）、（Ｃ）の開始時刻、終了時刻をそれぞれＴｓｔａｒｔ（Ｂ）、Ｔｓｔｏｐ（Ｂ）、Ｔｓｔａｒｔ（Ｃ）、Ｔｓｔｏｐ（Ｃ）とする。
【００６４】
多重度算出処理は、例えば、記録媒体１０に記録されている本線データのすべての区間を上述のサンプリング単位にてサンプリングした多重度算出テーブルを保持する構成とする。多重度算出テーブルは、各重要シーン候補に対応する多重度テーブル（図１４では多重シーン候補（Ａ）、（Ｂ）、（Ｃ）に対応して多重度テーブル（Ａ）、（Ｂ）、（Ｃ）として図示）と、多重度結果テーブルとから構成される。例えば、多重度テーブル（Ａ）は、重要シーン候補（Ａ）に対応する多重度テーブルであり、重要シーン候補として算出された区間に含まれる時刻を１、含まれない時刻を０とする。同様に重要シーン候補（Ｂ）、（Ｃ）に各々対応する多重度テーブル（Ｂ）、（Ｃ）を算出する。次に、多重度結果テーブルは、ある時刻におけるすべての多重度算出テーブルの値を加算することで算出する。例えば、図１４において、時刻Ｔｓｔａｒｔ（Ａ）に該当する多重度結果テーブルの値は１になる。これは、時刻Ｔｓｔａｒｔ（Ａ）に該当する重要シーン候補が重要シーン候補（Ａ）のみであるためである。同様に、時刻Ｔｓｔａｒｔ（Ｂ）に該当する多重度結果テーブルの値は３になる。上述の処理を記録媒体１０に記録されている本線データのすべての区間に含まれるすべての時刻に対して行うことで、多重度結果テーブルが算出できる。すなわち、所望の時刻の多重度は、多重度結果テーブルにおける所望の時刻を参照すればわかる。なお、本実施の形態では多重度テーブルを利用して多重度を算出する方法を説明したが、各多重度テーブルを算出する際に、多重度結果テーブルに対して値を直接加算すれば、多重度テーブル（Ａ）、（Ｂ）、（Ｃ）を利用しなくても実現可能である。
【００６５】
次に、Ｓ２０１において、Ｓ２００にて算出した多重度による分岐処理を行う。閾値以上の多重度を持つ区間が存在する場合には、Ｓ２０２の処理に進み、閾値以上の多重度を持つ区間が存在しない場合には、処理を終了する。なお、閾値以上の多重度を持つ区間が存在しない場合には、閾値を下げて再度算出するようにしてもよい。
【００６６】
Ｓ２０２では、多重度が閾値以上である区間の先頭フレームを重要ポイントとして記憶する。例えば閾値を３とすれば、多重度が３以上の区間は時刻Ｔｓｔａｒｔ（Ｂ）（またはＴｓｔａｒｔ（Ｃ））から時刻Ｔｓｔｏｐ（Ａ）の直前までの１区間であるので、重要ポイントはＴｓｔａｒｔ（Ｂ）の１つだけとなる。これは図２を参照すると１０：０５：０６：００となる。
【００６７】
次に、Ｓ２０３において、Ｓ２０２にて算出した各重要ポイントから重要シーンを算出して出力する。ここでは、重要ポイントの前後一定時間分の動画像データを重要シーンとする。図２に示すように、重要ポイントが１０：０５：０６：００であり、前後一定区間を前２秒、後５秒とすれば、重要シーンは１０：０５：０４：００〜１０：０５：１１：００となる。なお、重要ポイントは、多重度が閾値以上である区間内であればどのフレームでもよい。
【００６８】
また、重要シーンの他の算出方法として、多重度が閾値以上である区間の長さが所定値以上であればこの区間をそのまま重要シーンとし、所定値未満であれば前後に一定区間を加えた区間とするようにしてもよい。
【００６９】
図８は、撮影機器別切り出し手段３０２におけるシーン切り出し方法の処理の流れを示すフローチャートである。Ｓ４００において、事前に操作者によって指定された任意の撮影機器情報のみをもつ記録情報インデックスから算出された重要シーン候補について、重要シーン候補の全区間を重要シーンとして出力する。これは、単純に重要シーン候補の開始時刻と終了時刻をそれぞれ重要シーンの開始時刻、終了時刻とすればよい。例えば、所望の撮影機器情報が「ＤＳＣ０００１」である場合には、図２の例で説明すると重要シーン候補（Ａ）、重要シーン候補（Ｃ）、重要シーン候補（Ｄ）が重要シーンになる。ただし、図２の例の場合には、重要シーン候補間で重なりがあるため、重なりがある重要シーン候補同士を連結し、１０：０５：０４：００〜１０：０５：０８：００、１０：０５：１５：００〜１０：０５：１７：００の２区間が重要シーンとなる。
【００７０】
次にプレイリスト作成手段２０３における、重要シーンからプレイリストを作成する方法について具体的に説明する。プレイリスト作成方法においても編集方式により処理が異なる。図９は、プレイリスト作成手段２０３の詳細な構成を示すブロック図である。シーン切り出し手段２０２と同様に、編集方法選択手段４０３が、編集方式によって各編集方式に対応するプレイリスト（適宜ＰＬと省略する）作成手段を選択する。本線ＰＬ作成手段４００は本線編集方式に対応し、端末同期ＰＬ作成手段４０１は端末同期編集方式に対応し、撮影機器別ＰＬ作成手段４０２は、撮影機器別編集方式に対応する。ここで、編集方法選択手段４０３と編集方法選択手段３０３は、同一の編集方式を選択するものとする。
【００７１】
まず、本線ＰＬ作成手段４００におけるプレイリスト作成方法は、図２の概要説明で説明したとおり、本線シーン切り出し手段３００により抽出された重要シーンの開始時刻と終了時刻とから再生区間を決定し、再生対象となる映像データを記録媒体１０に記録された動画像データ（本線データ）とする。例えば、記録媒体１０に記録された動画像データ（本線データ）のファイル名をＭＶ００００＿００００．ｄａｔとすると、図２の例の場合には、図１０に示すプレイリストが作成される。すなわち、再生区間を各重要シーンの開始時刻から終了時刻までとし、ＭＶ００００＿００００．ｄａｔを再生対象の映像データとするプレイリストを作成する。
【００７２】
次に、端末同期ＰＬ作成手段４０１におけるプレイリスト作成方法は、端末同期シーン切り出し手段３０１により検出された重要シーンの開始時刻と終了時刻とから再生区間を決定し、再生対象を（事前に指定したカメラレコーダ２１により記録される）記録媒体１１３に記録された動画像データとする。例えば、記録媒体１１３に記録された動画像データのファイル名をＭＶ０００１＿００００．ｄａｔとすると、図２の例の場合には、図１１に示すプレイリストが作成される。すなわち、再生区間を重要シーンの開始時刻から終了時刻までとし、ＭＶ０００１＿００００．ｄａｔを再生対象動画像データとするプレイリストを作成する。この端末同期編集方式は、本線データの代用として記録媒体１１３に記録された動画像データを利用する方法であり、例えば、本線データの動画像データの撮影状況が悪い場合に有効である。
【００７３】
次に、撮影機器別ＰＬ作成手段４０２におけるプレイリスト作成方法は、撮影機器別切り出し手段３０２により検出された重要シーンの開始時刻と終了時刻とから再生区間を決定し、再生対象を記録媒体１０に記録された動画像データ（本線データ）とする。例えば、記録媒体１０に記録された動画像データのファイル名をＭＶ００００＿００００．ｄａｔとし、所望の撮影機器情報が「ＤＳＣ０００１」であるとすると、図２の例の場合には、図１２に示すプレイリストが作成される。すなわち、撮影機器情報が「ＤＳＣ０００１」である重要シーンを再生区間とし、ＭＶ００００＿００００．ｄａｔを再生対象動画像データとするプレイリストを作成する。この撮影機器別編集方式は、デジタルスチルカメラ２２にて静止画を撮影した場合にも、デジタルスチルカメラ２２にて撮影した区間の動画像データを抽出することができる利点がある。なお、再生対象として本線データ以外の動画像データ（例えばカメラレコーダ２１で撮影したもの）を指定できるようにしてもよい。
【００７４】
なお、いずれのプレイリスト作成方法においても、シーン切り出し手段２０２が複数の重要シーンを抽出した場合には、それらを時間順に並べてプレイリストとすればよい。
【００７５】
以上のように、本実施の形態の映像編集システムによれば、編集効率を飛躍的に向上させることができ、利用者にとって利便性の高い編集システムを実現することができる。
【００７６】
なお本実施の形態では、第１の撮像記録装置と第２の撮像記録装置を備えた構成について説明したが、第１の撮像記録装置を含まない構成とすることもできる。すなわち、カメラレコーダ１も記録状況送信手段を備え、カメラレコーダ２１と同等な構成としてもよい。この場合、第２の撮像記録装置の中に、少なくとも１台動画像データを記録できるものが存在する必要がある。また、第２の撮像記録装置のうちいずれかが記録する動画像データを本線データとしてあらかじめ決めておくか、（特定の本線データが存在しないので）編集装置２における編集方式として端末同期編集方式か、あるいは撮影機器別編集方式（再生対象を本線データ以外とする）を選択するようにすることになる。
【００７７】
なお、記録状況インデックスファイルやプレイリストファイルを記録する際に、テキスト形式（ＣＳＶ形式）にて記録する方法を説明したが、例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）形式等のマークアップ言語や、テキスト形式をバイナリデータ化した形式等で記述しても同様の効果を発揮する。
【００７８】
なお、インデックスファイル記録装置３をカメラレコーダ１に含めてもよい。また、インデックスファイル記録装置３をカメラレコーダ１に含め、動画像データとインデックスファイルとを同じ記録媒体に記録するようにしてもよい。すなわち、記録媒体１０と記録媒体１５０とを１つの記録媒体としてもよい。この場合、記録媒体１０に記録する動画像データと、記録媒体１５０に記録するインデックスファイルとは別ファイルであるため、本実施の形態の記録媒体１０と記録媒体１５０とを１つの記録媒体として読み替えることで実現可能である。また、カメラレコーダ１で記録する動画像ファイルに記録状況インデックスを埋め込んで記録しておき、この動画像ファイルを編集装置２に入力し、編集装置２で記録状況インデックスを抽出するようにしてもよい。また、インデックスファイル記録装置３を編集装置２に含めてもよい。
【００７９】
なお、カメラレコーダ１、カメラレコーダ２１、デジタルスチルカメラ２２とインデックスファイル記録装置３は、それぞれ別の装置である構成を説明したが、例えば、複数の撮像部を備え、それぞれの撮像部で撮影した映像データを記録媒体に記録する映像記録装置のように同一の装置として実現した場合でも同様の効果を発揮する。同一の装置として実現する場合には、記録状況インデックスの送受信方式として、例えば、第２の送受信方法を利用する方が好ましい。さらに、編集装置２も同一の装置に含んだ構成でも同様の効果を発揮する。
【００８０】
なお、動画像と静止画を同時に記録可能な機器を用いても同様の効果を発揮する。この場合には、動画像を撮影する場合には、第２のカメラレコーダ２１として説明した方法で処理を行えばよく、静止画を撮影する場合には、デジタルスチルカメラ２２として説明した方法で処理を行えばよい。
【００８１】
なお、本実施の形態では、撮像部１００、１１０および１２０は常に撮像を行っており、各操作入力手段からの指示にしたがって映像記録手段１０４、１１４および１２４が記録を開始および終了する構成について説明したが、各操作入力手段からの指示を各撮像部に送るようにし、記録の開始および終了に合わせて撮像部での撮像を開始および終了するようにしてもよい。
【産業上の利用可能性】
【００８２】
本発明にかかる映像編集システムは、利用者のシーン切り出しにおける利便性を飛躍的に向上させるもので、半導体メモリや光ディスク等を応用した映像編集システムや映像編集装置や画像撮影装置等を含むイベント会場の設備等に広く適用可能である。
【図面の簡単な説明】
【００８３】
【図１】本発明の映像編集システムの構成を示すブロック図
【図２】記録状況インデックスによるシーン切り出し方式の概念を示す図
【図３】記録状況インデックスファイルの１具体例を示す図
【図４】プレイリストファイルの１具体例を示す図
【図５】シーン切り出し手段の詳細構成を示すブロック図
【図６】シーン切り出し手段における基本的な処理の流れを示すフローチャート
【図７】本線編集及び端末同期編集方式におけるシーン切り出しの処理の流れを示すフローチャート
【図８】撮影機器別編集方式におけるシーン切り出しの処理の流れを示すフローチャート
【図９】プレイリスト作成手段の詳細構成を示すブロック図
【図１０】本線編集方式におけるプレイリスト作成結果の１例を示す図
【図１１】端末同期編集方式におけるプレイリスト作成結果の１例を示す図
【図１２】撮影機器別編集方式におけるプレイリスト作成結果の１例を示す図
【図１３】動画像ファイルの記録形式の１例を示す概念図
【図１４】多重度の算出方法の１具体例を示す図
【符号の説明】
【００８４】
１  カメラレコーダ
２  編集装置
３  インデックスファイル記録装置
１０  記録媒体
２１  カメラレコーダ
２２  デジタルスチルカメラ
１００  撮像部
１０４  映像記録手段
１１０  撮像部
１１１  操作入力手段
１１２  記録状況送信手段
１１３  記録媒体
１１４  映像記録手段
１２０  撮像部
１２１  操作入力手段
１２２  記録状況送信手段
１２３  記録媒体
１２４  映像記録手段
１５０  記録媒体
１５１  記録情報インデックス付与手段
１５２  記録状況受信手段
２０１  インデックス解釈手段
２０２  シーン切り出し手段
２０３  プレイリスト作成手段
２０４  映像編集手段
３００  本線切り出し手段
３０１  端末同期切り出し手段
３０２  撮影機器別切り出し手段
３０３  編集方法選択手段
４００  本線ＰＬ作成手段
４０１  端末同期ＰＬ作成手段
４０２  撮影機器別ＰＬ作成手段
４０３  編集方法選択手段
【図１】
2010199816.tif 000003
【図２】
2010199816.tif 000004
【図３】
2010199816.tif 000005
【図４】
2010199816.tif 000006
【図５】
2010199816.tif 000007
【図６】
2010199816.tif 000008
【図７】
2010199816.tif 000009
【図８】
2010199816.tif 000010
【図９】
2010199816.tif 000011
【図１０】
2010199816.tif 000012
【図１１】
2010199816.tif 000013
【図１２】
2010199816.tif 000014
【図１３】
2010199816.tif 000015
【図１４】
2010199816.tif 000016