(57)【要約】【課題】ユーザの経験やデザインセンスに関わらず、短時間で見栄えの良いマルチメディア文書を作成することができるマルチメディアコンテンツ編集装置を得ることを目的とする。【解決手段】テンプレート情報格納部３に格納されているテンプレート情報を参照して、再生情報生成部２により生成された再生情報に含まれているカメラＩＤに対応する切出し区間の映像ストリームデータをコンテンツ要素として取得するコンテンツ取得部５を設け、そのテンプレート情報に定義されているレイアウト情報にしたがってコンテンツ取得部５により取得されたコンテンツ要素をレイアウトしてマルチメディア文書を作成する。【選択図】図１
2007199764.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１以上のストリームデータの中から所望のストリームデータの選択を受け付けるとともに、上記ストリームデータにおける切出し区間の指定を受け付けて、上記ストリームデータの識別情報と切出し区間を含む再生情報を生成する再生情報生成手段と、各ストリームデータの取得先とレイアウト情報が定義されているテンプレート情報を格納しているテンプレート情報格納手段と、上記テンプレート情報格納手段に格納されているテンプレート情報を参照して、上記再生情報生成手段により生成された再生情報に含まれている識別情報に対応するストリームデータの取得先を特定し、上記取得先から当該再生情報に含まれている切出し区間のストリームデータをコンテンツ要素として取得するコンテンツ取得手段と、上記テンプレート情報に定義されているレイアウト情報にしたがって上記コンテンツ取得手段により取得されたコンテンツ要素をレイアウトしてマルチメディア文書を作成するマルチメディア文書作成手段とを備えたマルチメディアコンテンツ編集装置。
【請求項２】
再生情報生成手段により生成された再生情報に含まれている識別情報に対応するストリームデータ以外のコンテンツ要素の取得先とレイアウト情報がテンプレート情報に含まれている場合、コンテンツ取得手段が上記ストリームデータを取得する際、上記ストリームデータ以外のコンテンツ要素も取得することを特徴とする請求項１記載のマルチメディアコンテンツ編集装置。
【請求項３】
再生情報生成手段により生成された再生情報を記録する一方、記録している１以上の再生情報の中から所望の再生情報の選択を受け付けて、上記再生情報をコンテンツ取得手段に出力する再生情報記録手段を設けたことを特徴とする請求項１または請求項２記載のマルチメディアコンテンツ編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、映像のストリームデータと、そのストリームデータに関連する種々の情報を取得して編集することにより、マルチメディア文書（マルチメディア形式のコンテンツ）を作成するマルチメディアコンテンツ編集装置に関するものである。
【背景技術】
【０００２】
映像監視やニュース報道では、撮影された映像から情報提供に適しているシーンを切出し、そのシーンの映像に関連する情報（例えば、説明文書、地図、天候等）を付加して、マルチメディア文書を作成することが一般的である。
そこで、従来のマルチメディアコンテンツ編集装置では、ユーザがマルチメディア文書のプレゼンテーション構造を記述しているテンプレート情報を選択した後、ユーザが各々独立したデータ検索手段を用いて、例えば、映像ストリームデータなどのコンテンツ要素を対話的に取得する。
そして、マルチメディアコンテンツ編集装置は、ユーザにより選択されたテンプレート情報にしたがってマルチメディアのコンテンツ要素を空間的（表示位置）／時間的（表示時刻）に編集して、マルチメディア文書を作成するようにしている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平３−１１６１９２号公報（第１０頁から第１５頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のマルチメディアコンテンツ編集装置は以上のように構成されているので、ユーザが各々独立したデータ検索手段を用いて、情報提供を行うコンテンツ要素を対話的に探索して取得する必要がある。そのため、ユーザが熟練者であっても、マルチメディア文書を作成するのに多くの時間を要し、例えば、災害等の緊急時にタイムリに情報を提供することができないことがあるなどの課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、ユーザの経験やデザインセンスに関わらず、短時間で見栄えの良いマルチメディア文書を作成することができるマルチメディアコンテンツ編集装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係るマルチメディアコンテンツ編集装置は、テンプレート情報格納手段に格納されているテンプレート情報を参照して、再生情報生成手段により生成された再生情報に含まれている識別情報に対応する切出し区間のストリームデータをコンテンツ要素として取得するコンテンツ取得手段を設け、そのテンプレート情報に定義されているレイアウト情報にしたがってコンテンツ取得手段により取得されたコンテンツ要素をレイアウトしてマルチメディア文書を作成するようにしたものである。
【発明の効果】
【０００７】
この発明によれば、テンプレート情報格納手段に格納されているテンプレート情報を参照して、再生情報生成手段により生成された再生情報に含まれている識別情報に対応する切出し区間のストリームデータをコンテンツ要素として取得するコンテンツ取得手段を設け、そのテンプレート情報に定義されているレイアウト情報にしたがってコンテンツ取得手段により取得されたコンテンツ要素をレイアウトしてマルチメディア文書を作成するように構成したので、ユーザの経験やデザインセンスに関わらず、短時間で見栄えの良いマルチメディア文書を作成することができる効果がある。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１はこの発明の実施の形態１によるマルチメディアコンテンツ編集装置を示す構成図であり、図において、ストリームデータ格納部１は少なくとも１以上の映像ストリームデータを格納しているデータベースである。
再生情報生成部２はストリームデータ格納部１に格納されている映像ストリームデータの中から所望の映像ストリームデータの選択を受け付けて、その映像ストリームデータを再生することにより、その映像ストリームデータにおける所望の映像シーン（切出し区間）の指定を受け付けて、その映像ストリームデータを識別する識別情報と、その映像シーン（切出し区間）が再生される時刻とを含む再生情報を生成する。なお、再生情報生成部２は再生情報生成手段を構成している。
【０００９】
テンプレート情報格納部３は各コンテンツ要素（例えば、映像ストリームデータ、説明文書、計測データ、地図など）の取得先を含むコンテンツ定義とレイアウト定義の情報から構成されているテンプレート情報を格納しているメモリであり、テンプレート情報格納部３は複数のテンプレート情報を格納している。なお、テンプレート情報格納部３はテンプレート情報格納手段を構成している。
関連データ格納部４は各種のコンテンツ要素に関連している関連データを格納しているデータベースである。
【００１０】
コンテンツ取得部５はテンプレート情報格納部３に格納されているテンプレート情報を参照して、再生情報生成部２により生成された再生情報に含まれている識別情報に対応する映像ストリームデータの取得先を特定し、その取得先から当該再生情報に含まれている再生時刻が示す映像シーンをコンテンツ要素として取得するとともに、その映像シーンに関連する関連データとして、その再生情報に定義されている映像ストリームデータ以外のコンテンツ要素（例えば、他の映像ストリームデータ、説明文書、計測データ、地図など）を取得する。なお、コンテンツ取得部５はコンテンツ取得手段を構成している。
文書構造化部６はテンプレート情報格納部３に格納されているテンプレート情報からレイアウト情報を読み出し、そのレイアウト情報にしたがってコンテンツ取得部５により取得されたコンテンツ要素をレイアウトしてマルチメディア文書（マルチメディア形式のコンテンツ）を作成する。なお、文書構造化部６はマルチメディア文書作成手段を構成している。
【００１１】
図２はこの発明の実施の形態１によるマルチメディアコンテンツ編集装置が適用される映像監視システムを示す構成図であり、図において、道路、河川、処理場などの監視エリアには、多数の監視カメラ２１や、雨量などを計測するセンサ２２が設置されている。
センサ２２は雨量などを計測すると、その計測データを専用広域網２４経由で監視センタの計測サーバ３４及び監視端末４２に配信する。
エンコーダ装置２３は監視カメラ２１により撮影された映像を圧縮符号化し、その映像の圧縮符号化データ（映像データ）を専用広域網２４経由で監視センタの映像サーバ３１及び監視端末４２にマルチキャスト配信する。
専用広域網２４は例えば光ファイバー等で構成されているネットワークである。
【００１２】
映像サーバ３１はエンコーダ装置２３から配信された映像データを時系列のストリームデータとして映像データベース３３に蓄積する。映像サーバ３１は、例えば、１週間分の最新の映像ストリームデータを常時記録するエンドレス記録方式（古いデータを最新のデータで上書きする記録方式）や、その映像ストリームデータの中で重要な映像シーンについては、上書きされないように記録する保存記録方式を採用することにより、常時発生して、データ量が大きな映像ストリームデータを限られた蓄積容量で効率的に記録するようにしている。カメラ台数が多い場合には複数の映像サーバ３１によって映像ストリームデータが分散蓄積される。
また、映像サーバ３１は可搬型のビデオカメラ３２により撮影された現場の映像ストリームデータについても、オフライン的に映像データベース３３に蓄積する。
【００１３】
計測サーバ３４はセンサ２２から配信された計測データを計測データベース３５に蓄積する。
地図サーバ３６は監視エリアの地図データを地図データベース３７に記録して管理している。
設備サーバ３８は監視対象となる設備の管理データを設備データベース３９に記録して管理している。
カメラ管理サーバ４０は監視カメラ２１の識別情報、エンコーダ装置２３のネットワークアドレス及び関連情報などをカメラ管理情報として、カメラ管理データベース４１に記録して管理している。
【００１４】
監視端末４２はエンコーダ装置２３及びセンサ２２から配信されたライブデータ（映像データ、計測データ）を取得し、あるいは、各種のサーバに蓄積されている蓄積データ（映像データ、計測データ、地図データ、設備データなど）を取得すると、これらのデータを表示する一方、種々のデータの中から必要なデータの選択を受け付けて、そのデータを理解し易い形式にレイアウトしてマルチメディア文書を作成するなどの処理を実施する。
この実施の形態１のマルチメディアコンテンツ編集装置は、監視端末４２の一部の機能を担うものである。
情報提供サーバ４３は監視端末４２により作成されたマルチメディア文書を提供情報データベース４４に蓄積するとともに、そのマルチメディア文書を公衆網５０経由で地域の住民や放送局等の関連機関に配信する。
【００１５】
図３はこの発明の実施の形態１によるマルチメディアコンテンツ編集装置により作成されるマルチメディア文書の画面例を示す説明図である。
図３の例では、提供情報のタイトル５１、例えば増水した河川や土砂崩れが発生した道路などの災害状況を解説する説明文章５２、例えば災害状況を生々しく伝える動画像である映像シーン５３、映像シーン５３を順方向、逆方向、あるいは、スティル再生する際に操作する映像再生ボタン５４、現在再生されている映像の撮影時刻５５などのコンテンツ要素が表示される。
また、図３の例では、災害地点を示す地図５６、雨量や水位等の計測データを示すグラフ５９などのコンテンツ要素が表示される。
【００１６】
なお、地図５６上には、災害の発生場所以外に、カメラの設置場所と撮影範囲を示すカメラアイコン５７や関連リンク５８が表示され、関連リンクを選択すると、例えば設備管理データなど、地図上の場所と関連する情報が表示される。
グラフ５９には、映像の再生と同期して移動する時刻カーソル６０が表示され、映像と計測データが視覚的に対応付けられる。
このようなマルチメディア文書の作成手順は、状況や目的に応じて様々であるが、代表的な作成手順の一つとして、ライブ映像や蓄積映像を監視して災害シーンを発見すると、その災害シーンの前後の時刻の計測データや設備管理データ等の関連情報を取得し、あるいは、災害地点の周囲の場所の計測データや設備管理データ等の関連情報を取得し、その関連情報や監視員による解説等を災害シーンに加えて、ビジュアルで直感的なマルチメディア文書を作成するものがある。
【００１７】
図４はこの発明の実施の形態１によるマルチメディアコンテンツ編集装置におけるマルチメディア文書の作成手順を示すフローチャートである。
図５は映像シーンの切出しを受け付ける操作画面を示す説明図であり、図６はカメラ管理情報を示す説明図であり、図７は映像記録管理情報を示す説明図である。
また、図８は再生情報生成部２により生成される再生情報を示す説明図であり、図９はテンプレート情報格納部３に格納されているテンプレート情報を示す説明図であり、図１０はマルチメディア文書のファイル構造を示す説明図である。
【００１８】
次に動作について説明する。
ユーザは、情報提供を行う映像シーンを決定するに際して、ストリームデータ格納部１には、少なくとも１以上の映像ストリームデータが格納されているので、再生情報生成部２を使用して、それらの映像ストリームデータの中から所望の映像ストリームデータを選択する（ステップＳＴ１）。
即ち、ユーザが映像ストリームデータの選択要求を再生情報生成部２に与えると、再生情報生成部２が図５に示すような操作画面を表示し、ユーザが図示せぬキーボードやマウスなどを使用して、操作画面の「ストリーム選択」ボタンをクリックすると、再生情報生成部２がカメラ一覧リストやカメラアイコンが重畳表示された地図を操作画面上にポップアップ表示する。
これにより、ユーザがカメラ一覧リストや地図を見て所望のカメラを選択して、そのカメラのＩＤを指定する。
また、ユーザは、操作画面の「撮影時刻」ボタンを操作して、撮影時刻を指定する。情報提供を行う映像シーンがライブ映像であれば、撮影時刻として現在時刻を指定し、蓄積映像であれば、撮影時刻としてアラーム発生時刻などを指定する。なお、「撮影時刻」ボタンは、再生中の映像の撮影時刻を表示する機能も有している。
【００１９】
再生情報生成部２は、情報提供を行う映像シーンがライブ映像である場合、カメラ管理サーバ４０により管理されている図６のカメラ管理情報を参照し、ユーザにより指定されたカメラＩＤに対応するライブ映像の配信元であるエンコーダ装置２３のマルチキャストアドレスを取得する。
なお、カメラ管理情報には、図６に示すように、ライブ映像の配信元の他に、カメラが設置されている地名やランドマーク等を示す補足情報、カメラの設置位置（緯度、経度）やカメラの撮影範囲を示す設置情報、カメラの周辺にある雨量計や設備のＩＤ（識別情報）などを示す関連データがカメラ毎に記述されており、後述のコンテンツ要素の取得に利用される。
【００２０】
再生情報生成部２は、情報提供を行う映像シーンが蓄積映像である場合、映像サーバ３１により管理されている図７の映像記録管理情報を参照し、ユーザにより指定されたカメラＩＤと撮影時刻から該当する映像ストリームデータを管理している映像サーバ（複数の映像サーバが存在している場合）のネットワークアドレスと映像ＩＤ（映像データの識別情報）を取得する。
この映像記録管理情報は２種類存在し、図７の例では、エンドレス記録用の映像記録管理情報と、保存記録用の映像記録管理情報とが示されている。
エンドレス記録用の映像記録管理情報は、カメラＩＤ、映像ＩＤ、映像サーバ３１のネットワークアドレス、現在時刻からの記録時間（時間長）、符号化方式や画像サイズ等を示す記録パラメータから構成されている。
また、保存記録用の映像記録管理情報は、映像ＩＤ、カメラＩＤ、映像サーバ３１のネットワークアドレス、記録パラメータ、保存記録されたイベントのＩＤやコメントなどの補足情報から構成されている。
【００２１】
再生情報生成部２は、上記のようにして、ライブ映像の配信元であるエンコーダ装置２３のマルチキャストアドレス、または、蓄積映像の管理元である映像サーバ３１のネットワークアドレスを取得すると、ライブ映像又は蓄積映像の映像ストリームデータを取得して、その映像ストリームを操作画面の映像エリアに再生する（ステップＳＴ２）。
これにより、ユーザが映像ストリームを見て、情報提供を行う映像シーンを探索する。
即ち、ユーザは、操作画面の「映像再生」ボタンを操作することにより、映像の再生・停止・巻戻し・早送りなどを行って情報提供を行う映像シーンを探索する。
ユーザは、情報提供を行う映像シーンを決定すると、操作画面の「切出し」ボタンを操作して、その映像シーンの代表画面の撮影時刻、開始の撮影時刻、終了の撮影時刻などを指定することにより、映像ストリームデータにおける当該映像シーンの切出し区間を指定する。
また、ユーザは、必要に応じて映像シーンのタイトルや説明も入力する。
【００２２】
再生情報生成部２は、ユーザが映像シーンの切出し区間を指定すると（ステップＳＴ３）、図８に示すように、ユーザにより指定されたカメラＩＤ、映像シーンの切出し区間を示す再生時刻（代表画面の撮影時刻、開始の撮影時刻、終了の撮影時刻）、タイトル、説明などを含む再生情報を生成し、その再生情報をコンテンツ取得部５に出力する（ステップＳＴ４）。
【００２３】
コンテンツ取得部５は、再生情報生成部２から出力された再生情報を入力すると（ステップＳＴ５）、テンプレート情報格納部３に格納されているテンプレート情報を入力する（ステップＳＴ６）。
ここで、テンプレート情報は、図９に示すように、コンテンツ定義とレイアウト定義の情報から構成されており、作成対象のマルチメディア文書を構成するコンテンツ要素毎に、当該コンテンツ要素のコンテンツＩＤ（コンテンツ要素を識別する情報）、コンテンツ定義、レイアウト定義の情報が記述されている。
コンテンツ定義には、コンテンツ要素の取得先や取得範囲などが定義されており、レイアウト定義には、コンテンツ要素の画面配置（コンテンツ要素を配置する画面上の位置）、コンテンツ要素の表示時刻、メディアの種類（例えば、文字、動画、ベクトル、図形、リンク、グラフなど）などが定義されている。
なお、図９のテンプレート情報は、図３のマルチメディア文書の画面に対応しており、テンプレート情報は、提供する情報の内容（災害の種類や状況）や、情報提供の対象者等により適するレイアウトが異なり、予めデザインセンスがある人が、複数のテンプレート情報を作成しておくようにする。
ユーザは、再生情報生成部２が再生情報を生成する際に、用意されている複数のテンプレート情報から適当なテンプレート情報を選択する。
【００２４】
コンテンツ取得部５は、テンプレート情報格納部３からテンプレート情報を入力すると、そのテンプレート情報を参照して、作成対象のマルチメディア文書に含める必要があるコンテンツ要素を特定する（ステップＳＴ７）。
図９の例では、８個のコンテンツ要素に関するコンテンツ定義とレイアウト定義の情報がテンプレート情報に含まれているので、８個のコンテンツ要素を作成対象のマルチメディア文書に含める必要があると認識する。
【００２５】
コンテンツ取得部５は、作成対象のマルチメディア文書に含める必要があるコンテンツ要素を特定すると、そのコンテンツ要素におけるコンテンツ定義の「取得先」を特定して、その取得先からコンテンツ要素を取得する（ステップＳＴ８）。
例えば、コンテンツＩＤ１の「タイトル」とコンテンツＩＤ２の「説明文章」は、取得先が「再生情報」と定義されており、メディアが「文字」と定義されているので、再生情報生成部２により生成された図８の再生情報に含まれている「タイトル」と「説明」の文字情報をコンテンツ要素として取得する。
【００２６】
また、コンテンツＩＤ３の「映像」は、取得先が「再生情報」と定義されており、メディアが「動画」と定義されているので、再生情報生成部２により生成された図８の再生情報に含まれている「カメラＩＤ」と「再生時刻」を取得する。
そして、映像サーバ３１に対して、そのカメラＩＤと再生時刻に対応する映像ストリームデータを管理している映像サーバと映像ＩＤを問い合わせて、その映像サーバから映像ＩＤに対応する映像シーンをコンテンツ要素として取得する。
【００２７】
また、コンテンツＩＤ４の「地図」は、取得先が「地図サーバ」と定義されており、メディアが「ベクトル」と定義されているので、地図サーバ３６からベクトルデータである地図データを地図コンテンツとして取得する。なお、地図の取得範囲は、コンテンツ定義に示されているように、再生情報に記述されているカメラの設置位置から５００ｍ四方の範囲である。カメラの設置位置は、再生情報のカメラＩＤと図６のカメラ管理情報から取得することができる。
【００２８】
コンテンツＩＤ５の「カメラアイコン」は、取得先が「カメラ管理サーバ」と定義されているので、カメラ管理サーバ４０からカメラの設置位置や撮影範囲を取得し、予め登録しているカメラアイコンの中からカメラＩＤに対応するカメラアイコンをコンテンツ要素として取得する。
また、コンテンツＩＤ６とコンテンツＩＤ７は関連リンクであり、そのリンク先である取得先が「設備管理サーバ」、取得範囲が「カメラ管理情報記述」と定義されているので、カメラ管理情報の関連データに記述されている設備ＩＤを取得し、設備管理サーバの所在および設備ＩＤから構成されるリンク情報をコンテンツ要素とする。
【００２９】
また、コンテンツＩＤ８の「計測データ」は、取得先が「計測サーバ」と定義されており、メディアが「グラフ」と定義されているので、計測サーバ３４から計測データをコンテンツ要素として取得する。なお、計測データは、計測サーバ３４に管理されている雨量データであり、カメラ管理情報の関連データに記述されている雨量計ＩＤから取得することができ、取得する範囲は再生情報に記述されている代表時刻の前後１時間となる。
なお、コンテンツ取得部５は、作成対象のマルチメディア文書に含める必要がある全てのコンテンツ要素を取得するまで、ステップＳＴ７〜ＳＴ８の処理を繰り返し実施する（ステップＳＴ９）。
【００３０】
文書構造化部６は、コンテンツ取得部５が作成対象のマルチメディア文書に含める必要がある全てのコンテンツ要素を取得すると、テンプレート情報格納部３に格納されている図９のテンプレート情報からレイアウト情報を読み出し、そのレイアウト情報にしたがって全てのコンテンツ要素を空間的及び時間的にレイアウトしてマルチメディア文書を作成する。
即ち、文書構造化部６は、テンプレート情報におけるレイアウト定義の「画面配置」からコンテンツ要素を配置するマルチメディア文書上の座標｛（Ｘｓ，Ｙｓ），（Ｘｅ，Ｙｅ）｝を特定するとともに、レイアウト定義の「表示時刻」からコンテンツ要素を表示する時刻を特定し、これらの座標や時刻を示すプレゼンテーション情報を作成する（ステップＳＴ１０）。
ここで、レイアウト定義の「表示時刻」には、コンテンツ要素の表示を開始する絶対的な時刻のほか、他のコンテンツ要素の表示時刻から当該コンテンツ要素の表示を開始するまでの相対的な時刻が記載される。また、当該コンテンツ要素を最後まで表示を行うことを示す“ｅｎｄ”が記載されることもある。
【００３１】
文書構造化部６は、上記のようにして、プレゼンテーション情報を作成すると、そのプレゼンテーション情報にしたがってコンテンツ取得部５により抽出された全てのコンテンツ要素を空間的及び時間的にレイアウトしてマルチメディア文書を作成し、そのマルチメディア文書を示す文書情報をファイル等の形式で出力する（ステップＳＴ１２）。
ただし、文書構造化部６は、例えば、コンテンツ取得部５により抽出されたコンテンツ要素のサイズがウィンドウサイズと異なる場合、そのコンテンツ要素のサイズを拡大縮小するなどのコンテンツ変換処理を実施する（ステップＳＴ１１）。
【００３２】
ここで、マルチメディア文書情報のファイル構造は、図１０に示すように、先頭にプレゼンテーション情報が配置され、その後にコンテンツ要素が配置される。
例えば、文字や数値など、データサイズが小さいコンテンツ要素は、その要素のデータそのものをファイル上に記録するが、例えば、映像や地図など、データサイズが大きいコンテンツ要素は、その要素のデータが記録されている映像サーバ３１や地図サーバ３６を参照するリンク情報（コンテンツリンク）がファイル上に記録される。
【００３３】
以上で明らかなように、この実施の形態１によれば、テンプレート情報格納部３に格納されているテンプレート情報を参照して、再生情報生成部２により生成された再生情報に含まれているカメラＩＤに対応する切出し区間の映像ストリームデータをコンテンツ要素として取得するコンテンツ取得部５を設け、そのテンプレート情報に定義されているレイアウト情報にしたがってコンテンツ取得部５により取得されたコンテンツ要素をレイアウトしてマルチメディア文書を作成するように構成したので、ユーザの経験やデザインセンスに関わらず、短時間で見栄えの良いマルチメディア文書を作成することができる効果を奏する。
【００３４】
また、この実施の形態１によれば、再生情報に定義されている映像ストリームデータ以外のコンテンツ要素（例えば、他の映像ストリームデータ、説明文書、計測データ、地図など）の取得先とレイアウト情報がテンプレート情報に含まれている場合、コンテンツ取得部５が映像ストリームデータを取得する際、映像ストリームデータ以外のコンテンツ要素も取得するように構成したので、映像ストリームに関連するデータも自動的に取得して、その関連データをマルチメディア文書に含めることができる効果を奏する。
【００３５】
実施の形態２．
図１１はこの発明の実施の形態２によるマルチメディアコンテンツ編集装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
再生情報管理部７は再生情報生成部２により生成された再生情報を再生情報格納部８に記録する一方、再生情報格納部８に記録されている１以上の再生情報の中から所望の再生情報の選択を受け付けて、その再生情報をコンテンツ取得部５に出力する。
再生情報格納部８は再生情報生成部２により生成された再生情報を記録するデータベースである。
なお、再生情報管理部７及び再生情報格納部８から再生情報記録手段が構成されている。
【００３６】
図１２はこの発明の実施の形態２によるマルチメディアコンテンツ編集装置におけるマルチメディア文書の作成手順を示すフローチャートである。
図１３は映像シーンの切出しを受け付ける操作画面を示す説明図であり、図１４は再生情報の選択を受け付ける操作画面を示す説明図である。
【００３７】
上記実施の形態１では、再生情報生成部２が再生情報を生成すると、その再生情報をコンテンツ取得部５に出力するものについて示したが、再生情報管理部７が再生情報生成部２により生成された再生情報を再生情報格納部８に記録し、再生情報格納部８に記録されている１以上の再生情報の中から所望の再生情報の選択を受け付けて、その再生情報をコンテンツ取得部５に出力するようにしてもよい。
具体的には、以下の通りである。
【００３８】
再生情報生成部２は、上記実施の形態１と同様に、ストリームデータ格納部１に格納されている映像ストリームデータの中から所望の映像ストリームデータの選択を受け付けて、その映像ストリームデータを再生することにより、その映像ストリームデータにおける所望の映像シーン（切出し区間）の指定を受け付けて、その映像ストリームデータを識別する識別情報と、その映像シーン（切出し区間）が再生される時刻とを含む再生情報を生成する。
ただし、上記実施の形態１では、ユーザが図５の操作画面を操作して、所望の映像ストリームデータや所望の映像シーン（切出し区間）を指定するものについて示したが、これに限るものではなく、例えば、ユーザが図１３の操作画面を操作して、所望の映像ストリームデータや所望の映像シーン（切出し区間）を指定するようにしてもよい。
【００３９】
図１３の例では、再生情報生成部２が操作画面のウィンドウを起動して、カメラＡの監視映像とカメラＢの監視映像を操作画面上に表示している。
ユーザが、カメラＡの監視映像とカメラＢの監視映像を見ているとき、例えばカメラＡの監視映像において、情報提供を行う必要がある重要な映像シーンを発見し、マウスカーソルをカメラＡの監視映像のウィンドウに移動して、右クリックメニューから「ストリーム切出し」を選択すると、カメラＡの監視映像のカメラＩＤと代表の撮影時刻を操作画面に表示する。
再生情報生成部２は、ユーザが操作画面の「切出し」ボタンを操作して、その映像シーンの代表画面の撮影時刻、開始の撮影時刻、終了の撮影時刻などを指定することにより、映像ストリームデータにおける当該映像シーンの切出し区間を指定し、また、映像シーンのタイトルや説明を指定すると、上記実施の形態１と同様に、カメラＩＤ、映像シーンの切出し区間を示す再生時刻（代表画面の撮影時刻、開始の撮影時刻、終了の撮影時刻）、タイトル、説明などを含む再生情報を生成する。
【００４０】
再生情報管理部７は、ユーザが操作画面の「登録」ボタンをクリックすると、再生情報生成部２により生成された再生情報を再生情報格納部８に記録する。
ステップＳＴ１〜ＳＴ４の処理は、再生情報の生成処理が完了するまで、繰り返し実施される（ステップＳＴ２０）。
【００４１】
再生情報管理部７は、ユーザから再生情報の選択要求を受けると、図１４に示すような操作画面のウィンドウを起動して、再生情報格納部８に記録されている１以上の再生情報の一覧を操作画面上に表示する（ステップＳＴ２１）。
ここで、再生情報の一覧画面は、図１４に示すように、再生情報のタイトルや撮影時刻等から構成されるリストの一覧のほか、再生情報に記述されている代表画面（静止画像）のサムネイル画像の一覧が表示される。
ユーザが再生情報の一覧画面において、任意のリスト又はサムネイル画像をクリックすると、そのリスト又はサムネイル画像に対応する再生情報を選択することができ（ステップＳＴ２２）、その再生情報の映像シーンが動画像として、操作画面の「映像」エリアに表示され、現在選択中の再生情報を確認することができる。
【００４２】
再生情報管理部７は、ユーザが操作画面の「確定」ボタンをクリックすると、現在選択中の再生情報をコンテンツ取得部５に出力する（ステップＳＴ２３）。
なお、操作画面の「編集」ボタンは、再生情報の一部を入力したり、既に入力されている再生情報を対話的に編集したりする際に使用するものである。
文書構造化部６の処理内容は、上記実施の形態１と同様であるため説明を省略する。
【００４３】
以上で明らかなように、この実施の形態２によれば、再生情報管理部７が再生情報生成部２により生成された再生情報を再生情報格納部８に記録する一方、再生情報格納部８に記録されている１以上の再生情報の中から所望の再生情報の選択を受け付けて、その再生情報をコンテンツ取得部５に出力するように構成したので、再生情報の選択処理、コンテンツ要素の取得処理及びマルチメディア文書の作成処理と、再生情報の生成処理とが独立した処理になる。そのため、情報提供を行う映像シーンを切出して、その映像シーンを識別する再生情報を生成する作業と、実際に映像シーンからマルチメディア文書を作成する作業を別々に行うことができる効果を奏する。
【００４４】
緊急時には、状況把握と対策立案が優先され、提供情報の作成は一段落した時点で行われることが多い。映像監視している際に再生情報生成部２を用いて、提供する可能性のある映像シーンをしおりのように再生情報リストに登録し、後で映像シーンを確認してマルチメディア形式の提供情報を作成することができれば、緊急の災害活動を妨げることなく、分かりやすい災害情報をタイムリに作成・提供することが可能になる。
また、災害報告や災害データベースなど、災害が終了した後の詳細な資料作りにも役立つようになる。
【００４５】
上記実施の形態１，２では、マルチメディアコンテンツ編集装置が災害時の情報を提供するマルチメディア文書を作成するものについて示したが、これに限るものではなく、例えば、セキュリティ監視を実施して、犯罪記録に役立つマルチメディア文書を作成したり、ＴＶニュースや教材資料などが記録されているマルチメディア文書を作成したりして、放送分野や教育分野などに適用するようにしてもよい。
【００４６】
また、上記実施の形態１，２では、ストリームデータの識別情報としてカメラＩＤを使用し、再生時刻として映像の撮影時刻を使用するものについて示したが、これに限定されるものではなく、例えば、既に製作されている映画の映像ストリームに対して、その映像ファイル名を識別情報として使用し、映画の先頭を開始時刻とする表示時刻を再生時刻として使用するようにしてもよい。
この際、いつどの俳優が何をするかを示す脚本情報を関連データとして、その映画のダイジェスト情報や感想文をマルチメディア文書に含めることも可能である。
【００４７】
また、上記実施の形態１，２では、図３及び図９に示すように、マルチメディア文書には再生情報に含まれるストリームデータが一つの例を示しているが、これに限定されるものではなく、例えば、図１４の操作画面において複数のストリームデータを選択し、それら複数のストリームデータおよび関連する他のデータから構成されるマルチメディア文書を生成する構成であってもよい。
【００４８】
また、上記実施の形態１，２では、ストリームデータとして、動画像である映像ストリームデータを使用するものについて示したが、これに限定されるものではなく、例えば、音声や音楽や計測データ等の時系列データをストリームデータとして使用するようにしてもよい。
さらに、上記実施の形態１，２では、再生情報とテンプレート情報に基づいて、コンテンツ要素の取得と、コンテンツ要素のレイアウトを自動的に行うものについて示したが、処理の途中で取得すべきコンテンツ要素やレイアウトの一部についてユーザに問合せて、指示を受ける半自動的な処理を行うようにしてもよい。あるいは、自動作成されたマルチメディア文書をユーザが更に編集することができるようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】この発明の実施の形態１によるマルチメディアコンテンツ編集装置を示す構成図である。
【図２】この発明の実施の形態１によるマルチメディアコンテンツ編集装置が適用される映像監視システムを示す構成図である。
【図３】この発明の実施の形態１によるマルチメディアコンテンツ編集装置により作成されるマルチメディア文書の画面例を示す説明図である。
【図４】この発明の実施の形態１によるマルチメディアコンテンツ編集装置におけるマルチメディア文書の作成手順を示すフローチャートである。
【図５】映像シーンの切出しを受け付ける操作画面を示す説明図である。
【図６】カメラ管理情報を示す説明図である。
【図７】映像記録管理情報を示す説明図である。
【図８】再生情報生成部により生成される再生情報を示す説明図である。
【図９】テンプレート情報格納部に格納されているテンプレート情報を示す説明図である。
【図１０】マルチメディア文書のファイル構造を示す説明図である。
【図１１】この発明の実施の形態２によるマルチメディアコンテンツ編集装置を示す構成図である。
【図１２】この発明の実施の形態２によるマルチメディアコンテンツ編集装置におけるマルチメディア文書の作成手順を示すフローチャートである。
【図１３】映像シーンの切出しを受け付ける操作画面を示す説明図である。
【図１４】再生情報の選択を受け付ける操作画面を示す説明図である。
【符号の説明】
【００５０】
１  ストリームデータ格納部、２  再生情報生成部（再生情報生成手段）、３  テンプレート情報格納部（テンプレート情報格納手段）、４  関連データ格納部、５  コンテンツ取得部（コンテンツ取得手段）、６  文書構造化部（マルチメディア文書作成手段）、７  再生情報管理部（再生情報記録手段）、８  再生情報格納部（再生情報記録手段）、２１  監視カメラ、２２  センサ、２３  エンコーダ装置、２４  専用広域網、３１  映像サーバ、３２  ビデオカメラ、３３  映像データベース、３４  計測サーバ、３５  計測データベース、３６  地図サーバ、３７  地図データベース、３８  設備サーバ、３９  設備データベース、４０  カメラ管理サーバ、４１  カメラ管理データベース、４２  監視端末、４３  情報提供サーバ、４４  提供情報データベース、５０  公衆網、５１  タイトル、５２  説明文章、５３  映像シーン、５４  映像再生ボタン、５５  撮影時刻、５６  地図、５７  カメラアイコン、５８  関連リンク、５９  グラフ、６０  時刻カーソル。
【図１】
2007199764.tif 000003
【図２】
2007199764.tif 000004
【図３】
2007199764.tif 000005
【図４】
2007199764.tif 000006
【図５】
2007199764.tif 000007
【図６】
2007199764.tif 000008
【図７】
2007199764.tif 000009
【図８】
2007199764.tif 000010
【図９】
2007199764.tif 000011
【図１０】
2007199764.tif 000012
【図１１】
2007199764.tif 000013
【図１２】
2007199764.tif 000014
【図１３】
2007199764.tif 000015
【図１４】
2007199764.tif 000016