(57)【要約】【課題】素材データの蓄積による記憶部の容量圧縮を軽減するビデオサーバシステムを提供する。【解決手段】  不必要検出手段１１０は、収録された映像を含む素材データ２１０のカラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせを含む編集不必要部分を検出して提示する。重複検出手段１２０は、素材データ２１０と、他の素材データ２１０との比較により重複部分を検出して提示する。編集履歴提示手段１３０は、素材データ２１０の編集での利用履歴により、編集に利用された箇所の編集状況を提示する。削除指定手段１４０は、素材データ２１０の各シーンのサムネイルを表示し、当該サムネイル毎に、素材データ２１０の削除対象箇所指定を取得する。映像削除手段１５０は、削除対象箇所のサムネイルに対応するシーンを、素材データ２１０から削除する。【選択図】図２
2020141178.tif 000002
【特許請求の範囲】
【請求項１】
収録された映像を含む素材データのカラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせを含む編集不必要部分を検出して提示する不必要検出手段と、
前記素材データと、他の素材データとの比較により重複部分を検出して提示する重複検出手段と、
前記素材データの編集での利用履歴により、編集に利用された箇所についての編集状況を提示する編集履歴提示手段と、
前記素材データの各シーンのサムネイルを表示し、当該サムネイル毎に、前記不必要検出手段により提示された前記編集不必要部分、前記重複検出手段により提示された前記重複部分、及び、前記編集履歴提示手段により提示された前記編集状況に対応して、前記素材データの削除対象箇所指定を取得する削除指定手段と、
前記削除指定手段により取得された前記削除対象箇所に対応する前記シーンを、前記素材データから削除する映像削除手段とを備える
ことを特徴とするビデオサーバシステム。
【請求項２】
前記特定文字は、前記素材データのタイトル又は伝送終了の文字を含む
ことを特徴とする請求項１に記載のビデオサーバシステム。
【請求項３】
前記特定文字を検出することにより収録開始又は終了の制御を行う
ことを特徴とする請求項１又は２に記載のビデオサーバシステム。
【請求項４】
前記重複検出手段は、
同じ内容がカメラアングル違いで複数存在したり、複数の担当者が同じ素材を収録したり、バックアップ収録によって同じ素材が二重に登録されていたりすることを比較して、前記重複部分を検出する
ことを特徴とする請求項１ないし３のいずれか１項に記載のビデオサーバシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主に放送局等で使用される、映像データを蓄積するビデオサーバを備えたビデオサーバシステムに関する。
【背景技術】
【０００２】
近年、放送局等において、編集用の素材となる映像データである素材データをビデオサーバ等に格納し、これをノンリニア編集し、放送用に送出するようなビデオサーバシステムが実用化されている。
【０００３】
このような従来のビデオサーバシステムとして、特許文献１を参照すると、編集用元素材と編集済素材との関係を抜き出した情報である元素材情報データを作成し、再び編集する場合には、編集済素材とプロジェクトデータと元素材情報データとを使用して編集する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−３４２１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような従来のビデオサーバシステムでは、ビデオサーバに編集元の素材データをそのまま、大量に蓄積するため、記憶容量が圧迫されていた。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、上述の問題を解消することを課題とする。
【課題を解決するための手段】
【０００７】
本発明のビデオサーバシステムは、収録された映像を含む素材データのカラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせを含む編集不必要部分を検出して提示する不必要検出手段と、前記素材データと、他の素材データとの比較により重複部分を検出して提示する重複検出手段と、前記素材データの編集での利用履歴により、編集に利用された箇所についての編集状況を提示する編集履歴提示手段と、前記素材データの各シーンのサムネイルを表示し、当該サムネイル毎に、前記不必要検出手段により提示された前記編集不必要部分、前記重複検出手段により提示された前記重複部分、及び、前記編集履歴提示手段により提示された前記編集状況に対応して、前記素材データの削除対象箇所指定を取得する削除指定手段と、前記削除指定手段により取得された前記削除対象箇所に対応する前記シーンを、前記素材データから削除する映像削除手段とを備えることを特徴とする。
本発明のビデオサーバシステムは、前記特定文字は、前記素材データのタイトル又は伝送終了の文字を含むことを特徴とする。
本発明のビデオサーバシステムは、前記特定文字を検出することにより収録開始又は終了の制御を行うことを特徴とする。
本発明のビデオサーバシステムは、前記重複検出手段は、同じ内容がカメラアングル違いで複数存在したり、複数の担当者が同じ素材を収録したり、バックアップ収録によって同じ素材が二重に登録されていたりすることを比較して、前記重複部分を検出することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、素材データから、カラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせ、他の素材データとの重複部分、及び編集状況をサムネイルに提示して、当該サムネイル毎に削除対象箇所を指定し、これを削除することで、記憶容量を削減可能なビデオサーバシステムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係るビデオサーバシステムＸの概略構成を示すシステム構成図である。
【図２】図１に示すビデオサーバと情報管理ＤＢの機能構成を示すブロック図である。
【図３】本発明の実施の形態に係る（ａ）学習処理及び（ｂ）素材削除処理の流れを示すフローチャートである。
【図４】図３（ａ）に示す学習処理における学習用の素材データの例を示す概念図である。
【図５】図３（ｂ）に示す素材削除処理の画面例である。
【図６】図３（ｂ）に示す素材削除処理の画面例である。
【発明を実施するための形態】
【００１０】
＜実施の形態＞
〔ビデオサーバシステムＸの制御構成〕
以下で、本発明の実施の形態について、図面を参照して説明する。
ビデオサーバシステムＸは、放送局等で使用されるビデオサーバシステムである。
図１によると、ビデオサーバシステムＸは、ビデオサーバ１、情報管理ＤＢ２、素材管理端末３、撮像部４、収録装置５、編集装置６、アーカイブ装置７、及び送出サーバ８を含む。各装置は、ネットワークＮで接続される。
【００１１】
ビデオサーバ１は、素材データ２１０（図２）を蓄積するビデオストレージを備え、この素材データ２１０を他装置へ送信するサーバ等の装置である。本実施形態において、ビデオサーバ１は、収録装置５で収録された素材（素材映像、収録素材）の素材データ２１０等を格納する素材映像サーバとして機能する。加えて、本実施形態においては、ビデオサーバ１は、ビデオストレージに収録されている素材データ２１０を解析し、記憶容量を圧縮することが可能である。
ビデオサーバ１の詳細については後述する。
【００１２】
情報管理ＤＢ２は、ビデオサーバ１の素材データ２１０の管理を行うデータベースを含むサーバである。情報管理ＤＢ２のデータベースの詳細については後述する。
【００１３】
素材管理端末３は、ビデオサーバ１の素材データ２１０の管理（素材管理）をする端末である。素材管理端末３は、例えば、ＰＣ（Personal Computer）や専用端末を用いることが可能である。素材管理端末３が行う素材管理としては、専用プログラムのＧＵＩ（Graphical User Interface）上で、素材データ２１０を選択しての削除の指示、アーカイブ指示、取り戻し指示等を行うことが可能である。このうち、削除の指示は、素材データ２１０そのものの削除、及び、編集不必要部分の削除についての指示を含む。アーカイブ指示は、素材データ２１０のアーカイブ装置７への移動の指示である。取り戻し指示は、アーカイブ装置７からの素材データ２１０のビデオサーバ１への移動の指示である。
このため、本実施形態において、素材管理端末３は、図示しない表示部、キーボード、ポインティングデバイス、操作器等を備えている。
【００１４】
撮像部４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等を用いたカメラ等の撮像装置である。
撮像部４は、撮像された画像をデジタル変換し、例えば、ＨＤ−ＳＤＩ規格の画像データとして、収録装置５へ送信する。この際、撮像部４に装着され、又は、外設されたマイクロフォン等からの音声データも、ほぼ同時に収録装置５へ送信してもよい。または、これらの画像データや音声データは、ミキサーや各種機材を介して、収録装置５へ送信することも可能である。加えて、撮像部４は、収録装置５と内蔵又は外付けで接続されていても、外部のカメラであってもよい。
【００１５】
収録装置５は、画像データや音声データ等を収録して、これらを画像や音声のエンコーダーを用いて、撮像された各種コーデックに符号化（変換）する装置である。
本実施形態において、収録装置５は、例えば、後述する撮像部４で撮像された非圧縮の画像データを収録して符号化する。また、収録装置５は、専用回線やネットワークＮを介して、他局等にあるサーバ、ＶＴＲ、その他の機器から画像データを収録してもよいし、ＭＸＦ（Media eXchange Format）等のファイルで取り込むことで収録してもよい。エンコーダーでの符号化に用いる映像符号化方式（コーデック）は、例えば、ＭＰＥＧ２、Ｈ．２６４、Ｈ．２６５等を用いることが可能であるが、これに限られない。符号化されたデータについて、収録装置５は、素材データ２１０として、ビデオサーバ１や送出サーバ８へ送信することが可能である。
【００１６】
編集装置６は、いわゆる汎用のノンリニア編集機である。編集装置６は、レンダリング編集、カット編集等の編集処理を行う。このうち、レンダリング編集は、ビデオサーバ１に格納された素材データ２１０を、実際にレンダリングしつつ編集する処理である。カット編集は、レンダリングを行わないでクリップ化する処理である。
【００１７】
本実施形態において、編集装置６は、図示しない表示部、キーボード、ポインティングデバイス、操作器等を備えている。さらに、編集装置６は、実際にこの編集作業を行うコンピュータである編集制御手段（編集手段）と、素材データ２１０や編集のタイムライン等を表示させる表示部（ディスプレイ）と、編集の指示を入力するための操作パネル（操作手段）等を備えている。
【００１８】
編集装置６は、ビデオサーバ１に対して素材データ２１０を参照することで、この画像をレンダリングして表示部でユーザに確認させる。この上で、編集装置６は、ユーザに操作パネルを操作させ、編集処理の対象となる部分を指定させて、カット編集やレンダリング編集等を実行する。そして、編集装置６は、編集後の素材データ２１０やクリップ化のための編集情報２３０（図２）を、ビデオサーバ１に送信して格納させる。この編集情報２３０は、情報管理ＤＢ２にも格納されて、管理される。
上述の編集処理の種類は、処理対象が映像の場合には、各種画像効果、クリップ間の接続とその効果、輝度や色の調整処理、フェードイン、フェードアウト、音量調整等を含む。
【００１９】
アーカイブ装置７は、ビデオサーバ１と同様なビデオストレージを備え、完成した番組や編集素材のファイル、すなわち放送映像を記録（アーカイブ）する装置である。
アーカイブ装置７に記録されたファイルは、番組の放送スケジュールに沿って送出サーバに転送されたり、編集装置６による番組編集処理に用いられる。
【００２０】
送出サーバ８は、いわゆる汎用の放送局用の送出サーバ等を含む送出設備の装置である。送出サーバ８は、ビデオサーバ１に記録されている素材データ２１０が編集された映像データやアーカイブ装置７に記録された放送映像等を放送出力（オンエア）する。加えて、送出サーバ８は、放送映像を、試写のために再生することも可能である。
【００２１】
ネットワークＮは、各装置を結ぶＬＡＮ（Local Area Network）、光ファイバー網、ｃ．ｌｉｎｋ、無線ＬＡＮ（ＷｉＦｉ）、携帯電話網等の各装置を相互に接続して通信を行う通信手段である。ネットワークＮは、専用線、イントラネット、インターネット等を用いてもよく、これらが混在しても、ＶＰＮ（Virtual Private Network）を構成していてもよい。さらに、ネットワークＮは、ＴＣＰ／ＩＰやＵＤＰ等のＩＰネットワークを用いて、各種プロトコルで接続されてもよい。
【００２２】
次に、図２により、ビデオサーバ１及び情報管理ＤＢ２の詳細について説明する。
ビデオサーバ１は、ハードウェア資源の一部として、制御部１０及び記憶部１１を備えている。
情報管理ＤＢ２は、データベースとして、記憶部２１を備えている。
【００２３】
制御部１０は、後述する機能部を実現し、本実施形態の収録中映像提供処理の各処理を実行する情報処理手段である。制御部１０は、例えば、ＣＰＵ（Central Processing Unit、中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Processor、特定用途向けプロセッサー）等で構成される。
【００２４】
記憶部１１は、一時的でない記録媒体である。記憶部１１は、例えば、ＳＳＤ（Solid State Disk）、ＨＤＤ（Hard Disk Drive）、磁気カートリッジ、テープドライブ、光ディスクアレイ等のビデオストレージとして構成される。
このビデオストレージには、例えば、素材映像のファイルである素材データ２１０、完成した番組等の放送映像等が格納される。ビデオサーバ１に格納されたファイルは、編集装置６による番組編集処理に用いられたり、アーカイブ装置７へ転送されたり、番組の放送スケジュールに沿って送出サーバ８に転送されたりする。これらのデータの詳細については後述する。
加えて、記憶部１１は、一般的なＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等も含んでいる。これらには、制御部１０が実行する処理のプログラム、データベース、一時データ、その他の各種ファイル等が格納される。
【００２５】
記憶部２１は、一時的でない記録媒体である。記憶部２１は、情報管理ＤＢ２の図示しない制御部から制御され、素材データ２１０の編集情報２３０やメタデータ２４０等が、データベースとして格納される。これらのデータは、ビデオサーバ１や素材管理端末３等から読み出し、書き込み可能である。
【００２６】
次に、ビデオサーバ１の機能構成並びにデータ、及び情報管理ＤＢ２のデータの詳細について説明する。
制御部１０は、学習手段１００、不必要検出手段１１０、重複検出手段１２０、編集履歴提示手段１３０、削除指定手段１４０、及び映像削除手段１５０を備える。
記憶部１１は、学習データ２００、素材データ２１０、サムネイルデータ２２０、及び編集情報２３０を格納する。
記憶部２１は、編集情報２３０、及びメタデータ２４０を格納する。
【００２７】
学習手段１００は、素材データ２１０に含まれるカラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせを学習し、これらのモデルを学習データ２００に格納する。この学習手法としては、パーセプトロンや各種ニューラルネットワークやディープラーニング等の機械学習による人工知能的手法、決定木やベイジアンネットワークやカーネルマシン等の各種統計手法、ＯＣＲ（Optical Character Recognition）による文字や画素データの認識や画像特徴量の算出や画素値の閾値による判断等を用いたヒューリスティック手法等、任意の画像（映像）解析の手法を用いることができる。
【００２８】
さらに、学習手段１００は、素材データ２１０を解析して、シーンを検出することが可能である。学習手段１００は、解析結果をメタデータ２４０として、情報管理ＤＢ２へ送信し、記憶部２１に格納させる。加えて、学習手段１００は、各シーンのサムネイルを作成して、サムネイルデータ２２０として、記憶部１１に格納する。または、学習手段１００は、このメタデータ２４０を、素材データ２１０に含ませることも可能である。上述のＭＸＦ形式であれば、素材映像とメタデータ２４０とをラッピングして記録することが可能である。
【００２９】
不必要検出手段１１０は、収録された映像を含む素材データ２１０のカラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせを含む編集不必要部分を検出する。ここで、本実施形態においては、この特定文字は、素材データ２１０のタイトル又は伝送終了の文字を含む。具体的には、不必要検出手段１１０は、例えば、学習手段１００で学習されたモデルから、これらの編集不必要部分を検出する。そして、不必要検出手段１１０は、削除指定手段１４０により表示された素材データ２１０の各シーンのサムネイルに、それぞれ、この編集不必要部分を提示する。
【００３０】
重複検出手段１２０は、素材データ２１０と、他の素材データ２１０との比較により重複部分を検出して提示する。本実施形態においては、重複検出手段１２０は、同じ内容がカメラアングル違いで複数存在したり、複数の担当者が同じ素材を収録したり、バックアップ収録によって同じ素材が二重に登録されていたりすることを比較して、重複部分を検出する。重複検出手段１２０は、検出された重複部分を、素材データ２１０の各シーンのサムネイルに提示する。
【００３１】
編集履歴提示手段１３０は、素材データ２１０の編集での利用履歴により、編集に利用された箇所についての編集状況を提示する。この際、編集履歴提示手段１３０は、編集情報２３０を情報管理ＤＢ２から取得して、この編集情報２３０に含まれる利用履歴を取得し、編集状況を算出する。
【００３２】
削除指定手段１４０は、素材データ２１０の各シーンのサムネイルを表示させる。本実施形態においては、削除指定手段１４０は、例えば、素材管理端末３にインストールされた専用ソフトウェアのＧＵＩの画面にて、サムネイルを表示可能なように、素材データ２１０のサムネイルデータ２２０を送信することで、これを表示部に表示させる。削除指定手段１４０は、この上で、この表示されたサムネイルのシーンについての削除対象箇所指定を取得する。
【００３３】
映像削除手段１５０は、削除指定手段１４０により取得された削除対象箇所のサムネイルに対応するシーンを、素材データ２１０から削除する。
【００３４】
学習データ２００は、学習済みのモデルのデータである。このモデルは、例えば、人工知能的手法、各種統計手法、ヒューリスティック手法等の学習済みのモデルであり、素材データ２１０からカラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせを検出可能である。
【００３５】
素材データ２１０は、ビデオサーバ１で用いられる、収録された素材の映像データである。素材データ２１０は、例えば、ＭＸＦ形式のファイルである。ＭＸＦは、いわゆる業務用映像ファイルを格納するコンテナフォーマットのファイルの一種である。具体的には、ＭＸＦは、カムコーダ、録画再生機、ノンリニア編集機、送出設備等の放送用装置機材に利用されており、映像や音声等の様々なフォーマットのデータを、メタデータ２４０とともにラッピングすることができる。
【００３６】
サムネイルデータ２２０は、シーンのダイジェストを示す、いわゆる「カットサムネイル」のデータである。具体的には、サムネイルデータ２２０は、素材データ２１０のシーン検出とメタデータ２４０の作成時に作成された、素材データ２１０のシーンの冒頭等の箇所の画像データを含む。サムネイルデータ２２０は、例えば、素材データ２１０よりも画像の解像度や大きさが小さくてもよい。加えて、サムネイルデータ２２０は、例えば、可逆又は不可逆圧縮されていてもよい。
【００３７】
編集情報２３０は、編集処理において用いられるデータである。編集情報２３０は、例えば、編集用データリスト（編集ＥＤＬ、Edit Decision List）等を含む。この編集用データリストは、ノンリニア編集の処理において、どのような処理を行うのかについての時、分、秒、フレームの情報を含む。このため、編集情報２３０は、例えば、ＭＸＦのマテリアルパッケージのような、ノンリニア編集時の対応する素材ファイルにおけるＩＮ点、ＯＵＴ点を示す出力タイムラインの情報を含んでいる。さらに具体的には、編集情報２３０は、例えば、処理対象となる部分の映像フレーム位置、映像上の座標、音声サンプルの位置の範囲、処理の内容等を含む。
【００３８】
これに加えて、本実施形態において、編集情報２３０は、素材データ２１０の編集での利用履歴を示すデータを含む。この利用履歴を示すデータは、例えば、タイムラインの情報が各シーンに対応づけられて、編集状況の情報として記録されてもよい。この際、編集状況の情報は、例えば、シーン毎に、編集時に利用されたか否かのフラグ又は使用回数（頻度）等を含む利用の状況を示す情報であってもよい。
【００３９】
メタデータ２４０は、素材データ２１０の属性を示すデータである。本実施形態において、メタデータ２４０は、例えば、素材データ２１０にラッピングされたメタデータと同様のデータを用いることが可能である。具体的には、メタデータ２４０として、シーンの種類（ラベル）が含まれている。このラベルは、不必要検出手段１１０により提示された編集不必要部分、重複検出手段１２０により提示された重複部分、及び、編集履歴提示手段１３０により提示された編集状況等を示す情報を含む。さらに、メタデータ２４０は、例えば、フレームレート、フレームサイズ、作成日（収録日時）、部署名、撮像部４の撮影者、その他の素材映像の各種情報を含めることができる。この各種情報としては、例えば、タイトルや内容、再生時間、シーンの情報、映像中の人物等を含む物体の情報等を用いることが可能である。
【００４０】
上述のビデオサーバ１の各機能部は、記憶部１１に記憶された制御プログラム等が制御部１０で実行されることにより実現される。
なお、これらの各機能部は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等により、回路的に構成されてもよい。
【００４１】
〔ビデオサーバシステムＸの学習処理及び素材削除処理〕
次に、図３〜図６を参照して、本発明の実施の形態に係るビデオサーバシステムＸ（編集システム）を用いた学習処理及び素材削除処理についてより詳しく説明する。
まず、本実施形態においては、素材データ２１０が収録装置５から収録され、ビデオサーバ１に格納される。これについて、素材管理端末３を操作するユーザーにより、学習処理が行われる。そして、ユーザーにより容量削減対象に選択された素材データ２１０について、学習処理により学習された学習データ２００を用いて、編集不必要部分が検出される。さらに、他の素材データ２１０との比較により、重複部分も検出される。この上で、編集状況も取得される。これらは、記憶容量を削減したい素材データ２１０のサムネイル上に表示され、素材管理端末３において確認された上で、ビデオサーバ１上で削除される。
以下で、本実施形態のビデオサーバシステムＸによる学習処理及び素材削除処理について、図３のフローチャートを用いて、ステップ毎に更に詳しく説明する。
【００４２】
まず、図３（ａ）により、本実施形態の学習処理について説明する。
ステップＳ１００において、学習手段１００は、削除映像指定学習処理を行う。
この処理においては、まず、ユーザーが素材管理端末３の専用プログラムを起動させる。これにより、素材管理端末３の制御部は、ビデオサーバ１と通信を開始する。
この上で、素材管理端末３は、ＧＵＩにて、学習用に設定された学習元の素材データ２１０（以下、単に「元データ」という。）をユーザーに指定させる。
ビデオサーバ１の学習手段１００は、このような元データに基づいて、編集不必要部分を検索するための各種手法での学習を行い、モデルを作成し、これを学習データ２００として記憶部１１に格納する。
【００４３】
図４（ａ）に、素材データ２１０の編集不必要部分を検索するための元データとなる素材データ２１０−１、図４（ｂ）に素材データ２１０−２の例を示す。
これらの例に示すように、収録された素材データ２１０は、冒頭にカラーバー（調整用信号）、本編素材、カラーバー又は黒映像の順というように、カラーバー又は黒映像と本編素材とが交互で作成されていることが多い。しかしながら、ビデオサーバ１へ格納後においては、本編素材以外の部分は、編集には不必要な編集不必要部分となる。
ここで、従来、カラーバーについては、放送局等によりカラーバーのパターンに違いがあるため、単純にパターンを登録しても、検出することは不可能であった。
さらに、黒映像の映像も、ロゴや電子透かし等がそのまま付加されていたり、画面の下部や上部等に、制御信号やタイムラインの信号等が目視可能な状態で収録されたりすることがあり得る。この場合は、黒映像を単純に検出するのに失敗する可能性がある。なお、本実施形態においては、青画像等の単一色の画像データを含む映像を、単に「黒映像」と称する。
【００４４】
加えて、図４（ｂ）に示すように、本編素材についても、フリップ等に映像のタイトルを記載し、それをカメラで撮影、被写体の撮影に移ることがある。この「タイトルを撮影」した映像も、ビデオストレージの記憶容量を圧迫する原因となる。さらに、本編素材として、伝送側が伝送開始のフリップを掲げれば、収録を開始し、伝送終了のフリップを掲げれば、収録を終了することがある。この場合、伝送終了のフリップとして「以上で伝送を終わります」「伝送終了」等と記載し、それが撮影され続けることもある。これも記憶容量を圧迫することがある。
【００４５】
このため、学習手段１００は、元データから必要な部分だけを選別できるように、学習データ２００を学習させる。具体的には、学習手段１００は、元データに含まれるカラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせを学習する。すなわち、これらは、個々に学習されてもよいし、これらの任意の組み合わせのモデルとして構成されてもよい。
なお、学習処理の元データとして用いる素材データ２１０は、後述する素材削除処理で不要部分を削除する素材データ２１０、比較するための他の素材データ２１０とは別のデータであってもよい。この場合でも、同じ放送局、プロダクション、同じタイトルの番組等の学習データ２００による検出に用いることが可能である。さらに、サブタイトル、部署名、収録日時等のメタデータ２４０に含まれる情報に対応して、元データを選択して、学習させてもよい。
以上により、本実施形態の学習処理を終了する。
【００４６】
次に、図３（ｂ）により、本実施形態の素材削除処理について説明する。
この処理では、ユーザーが素材管理端末３の専用プログラムのＧＵＩ上で、容量を削減したい素材データ２１０を、編集不必要部分の削除対象として選択する。すると、ビデオサーバ１の削除指定手段１４０は、選択された素材データ２１０のサムネイルデータ２２０を、素材管理端末３へ送信し、表示部に表示させる。
この上で、ビデオサーバ１は、以下の処理を行う。
【００４７】
まず、ステップＳ１０１において、不必要検出手段１１０が、不必要検出処理を行う。
不必要検出手段１１０は、収録された映像を含む、削除対象として選択された素材データ２１０のカラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせを含む編集不必要部分を検出して、素材管理端末３へ送信する。すると、素材管理端末３は、これを専用プログラム上のＧＵＩの表示画面において、サムネイル上に提示する。
【００４８】
図５により、編集不必要部分の素材管理端末３への提示について、具体的に説明する。
図５は、素材管理端末３での素材管理に用いられる専用プログラムにおいて、削除の対象となる素材データ２１０の部分を削除するＧＵＩを提供する部分削除画面の画面例５００を示す。
【００４９】
この画面例５００の表示欄６００は、素材データ２１０のメタデータ２４０に対応する情報を示す情報表示欄である。この例では、素材ＩＤ、タイトル、サブタイトル、部署名、収録日時等が表示される。
【００５０】
表示欄６１０は、タイムライン関連の情報を表示するタイムライン関連欄である。この例では、素材データ２１０のＩＮ点、ＯＵＴ点を示す出力タイムライン、再生操作ボタン、タイムライン上の削除範囲及び編集状況を示すバー、削除後の尺長を示す欄、シーンの「サムネイル表示」のボタン、シーン削除のチェックの規定指定ボタン等を含んでいる。このうち、バーにおいて、削除範囲はグレー、編集状況はハッチングで示す。規定指定ボタンは、カラーバー（ＣＢ）と黒映像について、規定としてチェックを外すように設定するボタンである。
【００５１】
表示欄６２０は、素材データ２１０の解析結果を含む各シーンのサムネイル画像を表示するサムネイル表示欄である。
この例において、文字が記載された各四角は、シーン検出されたサムネイルを示す。これらの文字は、「Ａ」「Ｂ」「Ｃ」……が本編素材の各シーン、「開始」が伝送開始のフリップを含むシーン、「完」が伝送終了のフリップを含むシーン、「黒」が黒映像のシーンであることを示す。
さらに、各サムネイルの横には、チェック欄が設けられている。本実施形態において、不必要検出手段１１０は、各サムネイルのチェックにより、そのシーンを残すか否かを提示する。加えて、このチェックは、後述する削除対象指定を行うための指示の箇所となる。
上述のように、規定指定ボタンが設定されていると、カラーバー（ＣＢ）映像、黒映像のシーンに対するサムネイルは、まとめてチェックオフとなる。すなわち、カラーバー（ＣＢ）や黒映像等を、自動的に削除対象として表示し、操作を簡便にする。
加えて、各サムネイルをダブルクリックすることで、このシーンからの試写も可能である。
【００５２】
次に、ステップＳ１０２において、重複検出手段１２０が、重複検出処理を行う。
上述したように、ビデオサーバ１に格納された素材データ２１０は、重複部分が存在することがある。
重複検出手段１２０は、情報管理ＤＢ２に対して、削除対象の素材データ２１０のメタデータ２４０を検索し、類似するメタデータ２４０の素材データ２１０を、上述の「他の素材データ２１０」として選択する。
そして、重複検出手段１２０は、削除対象の素材データ２１０と、他の素材データ２１０とについて、シーン単位で画像類似度やメタデータ２４０の類似度を比較して、重複部分を検出する。この際、重複検出手段１２０は、例えば、サムネイルデータ２２０間の類似度として、ＤＰ（Dynamic Programming）法やその他のローカルアラインメント等により比較してアラインメント（整列）し、スコアの合計を類似度として算出してもよい。さらに、重複検出手段１２０は、この重複部分の検出は、カメラアングル違いのシーンの検出、同じ素材が収録されていることの検出、同じシーンの二重登録等を検出する。
【００５３】
図６により、重複部分の素材管理端末３への提示について、具体的に説明する。
図６は、素材管理端末３での素材管理に用いられる専用プログラムにおいて、重複部分を提示する素材比較画面の画面例５０１を示す。
【００５４】
表示欄６３０は、上述の部分削除画面の画面例５００の表示欄６００の情報表示欄、及び表示欄６１０のタイムライン関連欄と類似する表示欄である。この例では、削除対象の素材データ２１０が「素材１」、他の素材データ２１０が「素材２」としてタブ表示可能なように構成されている。
【００５５】
表示欄６４０は、上述の画面例５００の表示欄６２０と同様のサムネイル表示欄である。重複検出手段１２０は、削除対象の素材データ２１０と、他の素材データ２１０とを比較できるように、検出された重複部分を提示する。この例では、アラインメントされた「Ａ」「Ｂ」「Ｃ」……と、類似の「Ａ’」「Ｂ’」「Ｃ’」のシーンのサムネイルが並べて提示されることで、比較が可能となる。さらに、各サムネイルの横には、削除対象指定を行うためのチェック欄が設けられている。加えて、素材１、素材２等の単位で素材データ２１０そのものの削除を行うための「素材１削除」「素材２削除」のボタンが設けられている。
【００５６】
次に、ステップＳ１０３において、編集履歴提示手段１３０が、編集状況提示処理を行う。
編集履歴提示手段１３０は、削除対象の素材データ２１０の編集情報２３０を情報管理ＤＢ２から取得して、これに含まれる編集での利用履歴を取得する。編集履歴提示手段１３０は、利用履歴に含まれる編集状況の情報を、各シーンのサムネイルに提示する。この際、編集履歴提示手段１３０は、編集情報２３０の編集ＥＤＬに基づいて、利用履歴から編集状況を算出して、利用されているシーンのサムネイルにマークを提示してもよい。
【００５７】
再び図５に戻って説明すると、表示欄６２０において、編集履歴提示手段１３０は、編集に利用された各シーンのサムネイル画像の上部に、編集状況を提示する。この例では、編集に利用されている部分がハッチングで表示され、利用されているシーンであることが示されている。同様に、表示欄６１０においても、タイムラインのバー上で、編集状況に基づいて、利用されている箇所がハッチング表示にて提示されている。
なお、図６においても、同様に、削除対象の素材データ２１０、及び他の素材データ２１０のそれぞれについて、編集状況を提示することが可能である。
【００５８】
次に、ステップＳ１０４において、削除指定手段１４０が、削除指定処理を行う。
削除指定手段１４０は、素材管理端末３の専用プログラムのＧＵＩ上で、ユーザーにより指定された素材データ２１０の削除対象箇所についての情報を、削除対象箇所指定として取得する。
すなわち、本実施形態においては、素材管理端末３は、編集状況を確認させた上で、編集不必要部分及び重複部分について、どのシーンを削除するかについての削除対象箇所指定を取得し、ビデオサーバ１へ送信することが可能である。
【００５９】
図５、図６の例で説明すると、ユーザーが表示欄６２０又は表示欄６４０のサムネイル表示欄においては、表示されたサムネイル上のチェックの有無を削除対象箇所指定として取得可能である。すなわち、ユーザーがチェックを外す操作をすると、削除対象箇所として指定される。これにより、素材データ２１０の不要な箇所を削除対象箇所として指定したり、同様の内容の箇所の重複する部分を削除対象箇所として指定したりすることが可能となる。
【００６０】
次に、ステップＳ１０５において、映像削除手段１５０が、映像削除処理を行う。
映像削除手段１５０は、削除対象箇所指定されたサムネイルに対応するシーンを、削除対象の素材データ２１０から削除する。
この際、映像削除手段１５０は、削除するシーンを確実に削除するため、当該シーンの境界の特定時間分は削除しないように構成してもよい。この特定時間は、例えば、数フレーム〜数十秒等の単位時間で、素材管理端末３の専用プログラムにて、ユーザーが指定可能であってもよい。また、ＭＰＥＧのＧＯＰ（Group of Pictures）の構造に対応した境界になるように削除したり、削除時にＩピクチャを作成したりしてもよい。
このような削除により、素材データ２１０の尺が短くなり、記憶容量が削減される。
以上により、本実施形態の素材削除処理を終了する。
【００６１】
以上のように構成することで、以下のような効果を得ることができる。
従来のビデオサーバシステム、特に編集装置を含むようなシステムでは、編集元の素材データ２１０が大量に蓄積されることがある。たとえば、イベント等でビデオサーバシステムの通常運用想定以上に素材データ２１０が入力されるとビデオサーバ１の記憶容量が上限に達してしまうことがある。このため、ビデオサーバ１に格納される素材データ２１０の容量を削減したいという技術的なニーズが存在した。
【００６２】
これに対して、本発明の実施の形態に係るビデオサーバシステムは、収録された映像を含む素材データ２１０のカラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせを含む編集不必要部分を検出して提示する不必要検出手段１１０と、素材データ２１０と、他の素材データ２１０との比較により重複部分を検出して提示する重複検出手段１２０と、素材データ２１０の編集での利用履歴により、編集に利用された箇所についての編集状況を提示する編集履歴提示手段１３０と、素材データ２１０の各シーンの該当サムネイルを表示し、当該サムネイル毎に、不必要検出手段１１０により提示された編集不必要部分、重複検出手段１２０により提示された重複部分、及び、編集履歴提示手段１３０により提示された編集状況に対応して、素材データ２１０の削除対象箇所指定を取得する削除指定手段１４０と、削除指定手段１４０により取得された削除対象箇所に対応するシーンを、素材データ２１０から削除する映像削除手段１５０とを備えることを特徴とする。
【００６３】
このように構成し、シーン検出された素材のダイジェストを示すサムネイルを表示し、削除対象箇所に指定することで、削除する箇所を容易に閲覧して確認しつつ、素材データ２１０から不要な映像を適切に削除することができる。これにより、不必要な映像が保存されないため、ビデオサーバ１の記憶容量を削減可能となる。よって、ビデオサーバ１の記憶容量に余裕をもたせることができる。
【００６４】
さらに、従来から、素材データ２１０は、冒頭にカラーバー（調整用信号）、本編素材、黒映像の順で作成されていることが多かった。すなわち、収録をする際、カラーバーや黒映像等の映像も素材データ２１０に収録されていた。一つの映像に含まれるカラーバーや黒映像の時間は少なくても、多くの素材データ２１０を格納するビデオサーバ１では、記憶容量を圧迫していた。
しかしながら、カラーバーについては、放送局等によりパターンに違いがあるため、単純にパターンを登録しても、検出することはできなかった。
これに対して、本実施形態のビデオサーバシステムは、収録された映像を含む素材データ２１０のカラーバー、特定文字の表示、及び黒映像のいずれか又は任意の組み合わせを含む編集不必要部分を学習する学習手段１００を備えることを特徴とする。
このように構成することで、カラーバーや黒映像を機械学習させ検出することが可能となる。よって、ビデオサーバ１に格納される素材データ２１０の記憶容量を削減可能となる。さらに、後述するように、検出条件にヒットした場合はカラーバーや黒映像は、検出後に自動的に除去することも可能となる。
【００６５】
加えて、従来のビデオサーバシステムにおける素材管理では、ビデオサーバ１へ保管後に本編以外の部分は不要であるため、従来は、映像を再生し、削除範囲のＩＮ点、ＯＵＴ点を指定して削除していた。この際、画面上では、メタデータ２４０のみしか確認できず、素材の中身は確認できなかった。さらに、操作画面が、素材を再生しながらＩＮ点、ＯＵＴ点を指定するだけなので、操作が煩雑であった。
これに対して、本実施形態のビデオサーバシステムは、サムネイルに提示された箇所を選択するという従来より容易な操作で、素材データ２１０の削除可否判断を行い、必要部分だけを選別し、不要箇所を削除することが可能となる。この際、カラーバーや黒映像等についても、自動的に削除対象として提示し、操作を簡便にすることができる。
【００６６】
さらに、本実施形態のビデオサーバシステムは、編集情報２３０は編集ＥＤＬの情報を含み、編集で利用されている部分にマークで提示することを特徴とする。
このように構成し、編集情報２３０で素材の利用履歴を管理しておき、編集状況を提示することで、ユーザーの削除可否判断を支援し、削除すべきでない箇所の削除を防ぐことが可能となる。
【００６７】
従来、収録する映像を送る側（伝送側）で、フリップ等に「以上で伝送を終わります」等と記載して、それを撮影し続けることがあった。これらが素材データ２１０に含まれ、ビデオサーバ１の記憶容量を圧迫することがあった。さらに、従来、フリップ等に伝送される映像のタイトルを記載して撮影し、その後、本編を撮影することがあった。この「タイトルを撮影」した映像も、記憶容量を圧迫していた。
これに対して、本発明の実施の形態に係るビデオサーバシステムは、特定文字は、素材データ２１０のタイトル又は伝送終了の文字を含むことを特徴とする。
このように構成することで、フリップ等に記載された素材データ２１０のタイトル又は伝送終了の特定文字を検出した場合、これを削除することができ、ビデオサーバ１に格納される素材データ２１０の記憶容量を少なくすることができる。
【００６８】
従来、ビデオサーバに保管する素材には、同じ内容がカメラアングル違いで複数存在したり、複数の担当者が同じ素材を収録したり、バックアップ収録などによって同じ素材が二重に登録されていたりした。
これに対して、本発明の実施の形態に係るは、重複検出手段１２０は、同じ内容がカメラアングル違いで複数存在したり、複数の担当者が同じ素材を収録したり、バックアップ収録によって同じ素材が二重に登録されていたりすることを比較して、重複部分を検出することを特徴とする。
このように構成することで、類似素材の比較表示により、重複する部分を削除指定できる。これにより、ビデオサーバ１に格納される素材データ２１０の記憶容量を少なくすることができる。
【００６９】
なお、上述の実施の形態では、一旦、ビデオサーバ１に格納された素材データ２１０の部分的な削除を行う例について記載した。
しかしながら、本発明のビデオサーバシステムは、素材データ２１０の素材管理時の削除のみならず、収録装置５からの素材データ２１０の収録時、アーカイブ装置７からの素材データ２１０の部分取り戻しの際等にも適用することが可能である。
【００７０】
たとえば、本発明の他の実施の形態に係るビデオサーバシステムとして、特定文字を検出することにより、収録開始又は終了の制御を行ってもよい。
このように構成し、本発明を収録時に適用する場合、フリップ等に記載された文字を検出することにより、収録を制御することが可能である。具体的には、収録装置５等で読み込んだ映像から特定文字を検出した場合、収録を開始又は終了（停止）することで、ビデオサーバ１のビデオストレージに格納される素材データ２１０の記憶容量を低減することが可能となる。
さらに、例えば、伝送側が伝送開始のフリップを掲げれば、収録を開始し、同様に、伝送終了のフリップを掲げれば、収録を終了することができる。すなわち、特定文字を検出した場合、収録を開始又は終了することが可能である。このため、収録操作をするユーザーが指示しなくても、自動的に収録をすることが可能となり、省力化することも可能となる。
【００７１】
上述の実施の形態では、サムネイルを表示し、削除対象箇所指定を取得してから、素材データのシーンを削除するように記載した。
しかしながら、映像削除手段１５０は、検索された編集不必要部分及び重複部分を素材データ２１０から自動的に削除するように構成してもよい。この際、編集状況によっては、素材データ２１０から、そのシーンを削除しないように構成してもよい。この場合、編集に一度でも使用されたか、又は、特定の閾値以上、使用されたシーンについては、削除しないように構成することが可能である。
【００７２】
さらに、学習手段１００を用いずに、既に学習された学習データ２００を用いて、編集不必要部分を削除するような構成も可能である。
【００７３】
さらに、本実施の形態における各手段は、それぞれ独立したハードウェアで実現されなくてもよく、さらに一つのハードウェアで複数の手段を実現してもよい。
【００７４】
具体的には、上述の実施の形態では、ビデオサーバ１により、各種処理を行うように記載した。
しかしながら、収録装置５が、収録時に、送出する映像データにメタデータ２４０を付加させたり、収録時にシーンを検出したり、カットサムネイルを作成して、メタデータ２４０やサムネイルデータ２２０を作成したりするように構成することも可能である。
このように構成することで、柔軟な構成に対応できる。
【００７５】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【符号の説明】
【００７６】
１  ビデオサーバ
２  情報管理ＤＢ
３  素材管理端末
４  撮像部
５  収録装置
６  編集装置
７  アーカイブ装置
８  送出サーバ
１０  制御部
１１、２１  記憶部
１００  学習手段
１１０  不必要検出手段
１２０  重複検出手段
１３０  編集履歴提示手段
１４０  削除指定手段
１５０  映像削除手段
２００  学習データ
２１０  素材データ
２２０  サムネイルデータ
２３０  編集情報
２４０  メタデータ
５００、５０１  画面例
６００、６１０、６２０、６３０、６４０  表示欄
Ｎ  ネットワーク
Ｘ  ビデオサーバシステム
【図１】
2020141178.tif 000003
【図２】
2020141178.tif 000004
【図３】
2020141178.tif 000005
【図４】
2020141178.tif 000006
【図５】
2020141178.tif 000007
【図６】
2020141178.tif 000008