(57)【特許請求の範囲】
【請求項１】
映像素材に記録された映像検索用のインデクスを制作する映像インデクス制作システムにおいて、前記映像素材から出力された映像信号および音声信号を圧縮する第１段階と、圧縮された前記映像信号および前記音声信号を用いてインデクスを作成する第２段階と、この第２段階で作成された前記インデクスが十分か否かを判定する第３段階と、この第３段階で、前記インデクスが十分でないと判定された場合に、十分でないと判定された前記インデクスの追加・修正を、インターネットを介してインターネットユーザに依頼する第４段階と、前記インデクスの追加・修正を受託したインターネットユーザに対し、圧縮された前記映像信号および前記音声信号を識別するコンテンツＩＤおよびパスワードを発行し、圧縮された前記映像信号および前記音声信号、前記インデクスをインターネットを介してブラウズできるようにする第５段階と、インターネットユーザが、圧縮された前記映像信号および前記音声信号、前記インデクスをブラウズして、前記インデクスに対し追加・修正する第６段階とからなる映像インデクス制作システム。
【請求項２】
インターネットユーザによって追加・修正されたインデクスが、インターネットを介してインデクスの追加・修正を依頼した依頼元に送信される段階が設けられた請求項１記載の映像インデクス制作システム。
【請求項３】
第３段階で、インデクスが十分と判定された場合に、十分と判定されたインデクスがデータベースに登録される段階を設けた請求項１記載の映像インデクス制作システム。
【請求項４】
第１段階の圧縮がＭＰＥＧ４で符号化される請求項１記載の映像インデクス制作システム。
【請求項５】
第１段階の圧縮が、圧縮度が相違する大小の２種類で行われ、インターネットユーザは圧縮度の大きい映像信号および音声信号をブラウズしてインデクスの追加・修正を行う請求項１記載の映像インデクス制作システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像素材に記録された映像内容を検索するためのインデクスを制作する映像インデクス制作システムに関する。
【０００２】
【従来の技術】
テレビカメラ等で撮影された映像は、通常、ビデオテープなどの映像素材に記録される。これら映像素材に記録された映像は、必要の都度、再生される。このように映像素材を再生する場合、必要な映像が検索できるように、映像素材に対してその映像内容を検索するための映像インデクスを付加する方法がある。
【０００３】
従来、映像インデクスを制作する場合、シーン検出技術や音声認識技術、テロップ認識技術などが利用されている。シーン検出技術を利用する方法は、たとえば、ビデオテープなどに記録された映像を再生し、連続する画面のうち隣り合うどうしの画面を構成する映像信号の差が基準値以上となった場合に、映像シーンが変化したと判定し、映像シーンが変化した時点の画像などを映像インデクスとして自動的に作成する方法である。また、音声認識技術を利用する方法は、映像とともに再生される音声を認識して、映像シーンの変化を判定し、映像シーンが変化した時点の画像などを映像インデクスとして自動的に作成する方法である。また、テロップ認識技術を利用する方法は、再生された画面に映し出されるテロップを認識して、映像シーンの変化を判定し、映像シーンが変化した時点の画像などを映像インデクスとして自動的に作成する方法である。
【０００４】
【発明が解決しようとする課題】
従来の映像インデクス制作システムは、シーン検出技術や音声認識技術、テロップ認識技術などを用いて映像インデクスを自動的に制作している。この方法は、映像インデクスを自動的に制作するため、映像インデクスを迅速に制作できるという利点がある。しかし、映像シーンが変化した時点の判定が難しく、誤りなどが発生し、高精度な映像インデクスの制作が困難になっている。
【０００５】
本発明は、上記した欠点を解決するもので、高精度の映像インデクスを制作できる映像インデクス制作システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、映像素材に記録された映像検索用のインデクスを制作する映像インデクス制作システムにおいて、前記映像素材から出力された映像信号および音声信号を圧縮する第１段階と、圧縮された前記映像信号および前記音声信号を用いてインデクスを作成する第２段階と、この第２段階で作成された前記インデクスが十分か否かを判定する第３段階と、この第３段階で、前記インデクスが十分でないと判定された場合に、十分でないと判定された前記インデクスの追加・修正を、インターネットを介してインターネットユーザに依頼する第４段階と、前記インデクスの追加・修正を受託したインターネットユーザに対し、圧縮された前記映像信号および前記音声信号を識別するコンテンツＩＤおよびパスワードを発行し、圧縮された前記映像信号および前記音声信号、前記インデクスをインターネットを介してブラウズできるようにする第５段階と、インターネットユーザが、圧縮された前記映像信号および前記音声信号、前記インデクスをブラウズして、前記インデクスに対し追加・修正する第６段階とからなっている。
【０００７】
【発明の実施の形態】
本発明の実施形態について図１を参照して説明する。符号１０は、映像変換工場などにおける映像インデクスの制作工程を示し、符号３０は映像インデクスの追加・修正工程を示している。
【０００８】
映像インデクスの制作工程１０は、たとえば全体が自動化されている。まず、ビデオテープ１１などの映像素材がカートマシン１２によってＶＴＲ１３にセットされる。その後、ＶＴＲ１３が動作状態に入り、ビデオテープ１１に記録されたアナログの映像信号および音声信号が再生され出力される。映像信号および音声信号は、通常、対になって記録され再生される。したがって、以下の説明では、映像信号と音声信号を併せて映像信号と表現する。
【０００９】
ＶＴＲ１３から出力された映像信号はＡ／Ｄ変換器１４でデジタル信号に変換される。デジタル信号に変換された映像信号は第１圧縮器１５および第２圧縮器１６に加えられる。
【００１０】
第１圧縮器１５では、たとえばＭＰＥＧ４で符号化され、画像圧縮された閲覧用映像信号が出力される。閲覧用映像信号は２分され、その一方はＭＰＥＧ４用データベース１７にファイルされる。ＭＰＥＧ４用データベース１７にファイルされた閲覧用映像信号は、ＭＰＥＧ４用データベース１７によって一定期間管理される。２分された他方の閲覧用映像信号はシーン検出装置１８に供給される。シーン検出装置１８では、閲覧用映像信号に変換された映像シーンの変化点が検出される。
【００１１】
シーン検出装置１８における映像シーンの変化点の検出には、たとえばシーン変化検出技術や音声認識技術、テロップ認識技術などが利用される。シーン変化検出技術を利用する方法は、閲覧用映像信号などで形成される互いに連続するシーンのうち、隣り合うどうしの画面を構成する映像信号の差が所定基準値以上となった場合に、映像シーンが変化したと判定する。また、音声認識技術を利用する方法は、映像とともに再生される音声を認識して、映像シーンの変化を検出する。また、テロップ認識技術を利用する方法は、再生されたシーンに映し出されるテロップを認識して、映像シーンの変化を検出する。
【００１２】
シーン検出装置１８において映像シーンの変化点が検出されると、シーン検出装置１８は、たとえば映像シーンの変化点を示す時間情報ｔ１、ｔ２、ｔ３、…を出力し、この時間情報をインデクス生成部１９に供給する。
【００１３】
インデクス生成部１９では、ＭＰＥＧ４用データベース１７にファイルされた閲覧用映像信号を用いて、映像シーンが変化した時点ｔ１、ｔ２、ｔ３、…におけるサムネイルなどの画像、および、映像シーンが変化した順番を示すシーン情報などの映像インデクスが自動的に作成される。インデクス生成部１９で作成された映像インデクスは、映像インデクス用データベース２０にファイルされる。このとき、自動作成された映像インデクスが不十分な場合は、データベース管理サーバ２１に登録される。
【００１４】
第２圧縮器１６では、たとえばＭＰＥＧ２で符号化され、画像圧縮した製品用映像信号が出力される。製品用映像信号は、第１圧縮器１５から出力される閲覧用映像信号よりも圧縮率が低く、画質も良好で、ＭＰＥＧ２用データベース２２にファイルされる。ＭＰＥＧ２用データベース２２にファイルされた製品用映像信号は、その後、たとえば映像インデクスなどが付され、外部の利用者などへの提供用に使用される。
【００１５】
上記したＭＰＥＧ４用データベース１７および映像インデクス用データベース２０、ＭＰＥＧ２用データベース２２はデータベース管理サーバ２１で管理される。たとえば、データベース管理サーバ２０は、各データベース１７、２０、２２の関係型データベース（以後ＲＤＢという）サーバとして機能する。また、第１圧縮器１５で符号化された閲覧用映像信号や第２圧縮器１６で符号化された製品用映像信号を管理し、インデクス生成部１９で作成された映像インデクスが完成したものであるか、あるいは、未完成なものであるかなども管理する。
【００１６】
そして、上記の映像インデクスの制作工程１０において、自動作成された映像インデクスが不十分な場合、映像インデクスの追加・修正工程３０に移る。
【００１７】
たとえば、自動作成された映像インデクスが不十分な場合、データベース管理サーバ２１とＬＡＮ３１などで接続されているインデクス追加・修正管理サーバ３２に、自動作成された映像インデクスが登録される。そして、インターネットＮを介して、あらかじめ登録してあるインターネット・ユーザたとえばＳＯＨＯ３３に対し、映像インデクスの追加・修正の作業が依頼される。
【００１８】
所定ＳＯＨＯ３３が映像インデクスの追加・修正作業を受託すると、ユーザ登録の認証を行い、映像インデクスの追加・修正を依頼する映像素材、たとえば閲覧用映像信号を識別するコンテンツＩＤやパスワードを発行し、インターネットＮを介して、たとえば閲覧用映像信号や自動作成された映像インデクスなどをブラウズできるようにする。
【００１９】
受託したＳＯＨＯ３３は、閲覧用映像信号などをブラウズしながら映像インデクスの不足を補い、誤りを修正する。そして、新たに追加し、あるいは内容を修正した映像インデクスをインデクス追加・修正管理サーバ３２を経て追加・修正作業の依頼元に送る。
【００２０】
上記したように、インデクス追加・修正管理サーバ３２は、登録されたＳＯＨＯ３３に対し、第１圧縮器１５で符号化された閲覧用映像信号や、自動作成された内容が不十分な映像インデクスなどを提示し、映像インデクスの不足や誤りの訂正を依頼する機能、データベース管理サーバ２１に対しデータベースの更新を通知する機能、追加・修正した映像インデクスをデータベース管理サーバ２１に送信する機能、および、ＳＯＨＯ３３の登録や秘密保守管理、作業の発注、検収・支払いなどを処理する機能を有している。
【００２１】
なお、図１では、データベース管理サーバ２１とインデクス追加・修正管理サーバ３２がＬＡＮ３１で接続されている。しかし、データベース管理サーバ２１とインデクス追加・修正管理サーバ３２は、共通する１つのサーバとして一体に構成することもできる。
【００２２】
次に、上記した手順について図２のフロー図を参照して説明する。
【００２３】
まず、ビデオテープ１１がカートマシーン１２にセットされ（ステップ３１）、カートマシーン１２によってビデオテープ１１がＶＴＲ１３に装填される。その後、ＶＴＲ１３が動作状態に入り、ＶＴＲ１３から出力されるアナログの映像信号がデジタル信号に変換される（ステップ３２）。
【００２４】
デジタル信号に変換された映像信号は第１圧縮器１５で符号化され、映像インデクス作成に使用される閲覧用映像信号が生成され、ＲＤＢとして機能するたとえばデータベース管理サーバ２１に登録される（ステップ３３）。その後、閲覧用映像信号を用いてインデクス生成部１９で映像インデクスが自動的に作成され、作成された映像インデクスは、ＲＤＢとして機能するたとえば映像インデクス用データベース２０に登録される（ステップ３４）。なお、ステップ３３と並行して、デジタル信号に変換された映像信号は第２圧縮器１６で符号化され、ＲＤＢとして機能するたとえばデータベース管理サーバ２１に登録される（ステップ３５）。
【００２５】
次に、映像インデクスが十分かどうかが判定される（ステップ３６）。ステップ３６で映像インデクスが十分と判定された場合は、ＲＤＢとして機能するたとえばデータベース管理サーバ２１に登録される（ステップ３７）。ステップ３６で、十分と判定されない場合、インデクス追加・修正管理サーバ３２に対し、映像インデクスが不十分な映像素材に関する情報が伝えられる（ステップ３８）。
【００２６】
次に、映像素材の内容に応じて、登録されたＳＯＨＯ３３の中から適切なＳＯＨＯ３３が選択され、映像インデクスの追加・修正作業が発注される。ＳＯＨＯ３３が追加・修正作業を受注すると、受注したＳＯＨＯ３３に対し、映像インデクスが不十分な映像素材を識別するコンテンツＩＤおよびパスワードが送られる（ステップ３９）。
【００２７】
次に、ＳＯＨＯ３３は、インデクス追加・修正管理サーバ３２にアクセスし、コンテンツＩＤとパスワードでログインし、指定された映像素材の閲覧用映像信号などをブラウズしながら映像インデクスを追加し、あるいは修正する（ステップ４０）。
【００２８】
次に、ＳＯＨＯ３３は、追加・修正した映像インデクスをインデクス追加・修正管理サーバ３２に返送する（ステップ４１）。
【００２９】
次に、追加・修正された映像インデクスが適切かどうかを別のＳＯＨＯ３３に評価させる（ステップ４２）。ステップ４２で、適切と評価された場合は、ステップ４１に戻り、追加・修正した映像インデクスをインデクス追加・修正管理サーバ３２に送る。ステップ４２で、適切と評価されない場合は、映像インデクスの追加・修正を行い（ステップ４３）、ステップ４１に戻り、追加・修正したインデクスをインデクス追加・修正管理サーバ３２に返送する。
【００３０】
次に、ステップ４１において、インデクス追加・修正管理サーバ３２に送られた映像インデクスをセンター、たとえば追加・修正作業の依頼元で評価する（ステップ４４）。ステップ４４で、十分という評価の場合は、ステップ３７に戻りＲＤＢとして機能するたとえばデータベース管理サーバ２１に登録する。ステップ４４で、十分でないという評価の場合は、ステップ４３に戻る。
【００３１】
ここで、映像インデクス制作作業および映像インデクスの追加・修正作業について図３の模式図を参照して説明する。
【００３２】
図３（ａ）は、たとえばテレビ放送用に制作された１つの番組を第２圧縮器１６で符号化した製品用映像信号を模式的に示している。たとえば符号Ａ〜Ｆは１つのまとまった映像シーンが記録された領域を示している。この場合、映像シーンの変化点が、たとえば映像信号の開始時刻からの経過時間ｔ１〜ｔ６で示されている。
【００３３】
図３（ｂ）は、図３（ａ）と同じ番組を第１圧縮器１５で符号化した閲覧用映像信号を模式的に示している。図３（ｂ）は、図３（ａ）と同じ内容の番組であるため、この場合も、１つのまとまった映像シーンの領域が符号Ａ〜Ｆで示され、また、映像シーンの変化点が経過時間ｔ１〜ｔ６で示されている。なお、閲覧用映像信号には、予め、番組情報および番組名、放送年月日、放送時間、アナウンサ、プロデューサ、長さ、シーンの数、シーンの目次などを示す第１の映像インデクスＰが付されている。
【００３４】
図３（ｃ）は、閲覧用映像信号を利用してインデクス生成部１９で自動作成した第２の映像インデクスＱ、たとえば１つの番組が複数のまとまった映像シーンから構成されている場合に、その映像シーンが何番目のまとまった映像シーンであるかを示すシーン情報ｑ１およびその映像シーンの開始時間（ｉｎ）や終了時間（ｏｕｔ）ｑ２、サムネイルｑ３などを示している。図３（ｃ）では、時間ｔ１、ｔ３、ｔ４、ｔ６において第２の映像インデクスＱ、たとえばＱ１、Ｑ３、Ｑ４、Ｑ６が生成されている。なお、サムネイルｑ３は、映像シーンの変化時点ｔ１〜ｔ６における画面の静止画、あるいは、映像シーンの変化時点ｔ１〜ｔ６以降に続く画面の動画などで構成される。また、サムネイルｑ３は、１つのまとまった映像シーンを構成する画面の中から、ある時間間隔で間欠的に抽出した映像で構成することもできる。
【００３５】
図３（ｄ）は、自動生成された第２の映像インデクスＱに対し、ＳＯＨＯで追加・修正した状態を示している。ＳＯＨＯでは、インターネットを介して配信される閲覧用映像信号および閲覧用映像信号に付された第１の映像インデクスＰ、自動生成された第２の映像インデクスＱを参照しながら、追加・修正の作業を行い、時間ｔ２、ｔ５において、第２の映像インデクスＱたとえばＱ２、Ｑ５を追加している。
【００３６】
上記した構成によれば、自動生成した映像インデクスについて、ＳＯＨＯなど専門性のあるインターネットユーザを活用して追加・修正している。したがって、映像インデクスの精度が向上し、誤りが少なくなる。また、インターネットユーザには、インタネットを介して閲覧用映像信号が提供される。そのため、映像インデクスの精度が向上し、誤りも少なくなり、また、作業も迅速化する。
【００３７】
この場合、閲覧用映像信号をＭＰＥＧ４で符号化し、製品用映像信号よりもビットレイトの低い高圧縮の映像信号を用いる。そのため、セキュリティを含めインタネットを利用する流通コストを低減できる。
【００３８】
なお、上記の実施形態では、映像素材がビデオテープの場合で説明している。しかし、本発明は、フィルムなど他の映像素材についても適用できる。
【００３９】
【発明の効果】
本発明によれば、高精度で誤りの少ない映像インデクスを作成できる映像インデクス制作システムを実現できる。
【図面の簡単な説明】
【図１】本発明の実施形態を説明するための構成図である。
【図２】本発明の実施形態の手順を説明するためのフロー図である。
【図３】本発明の実施形態を説明するための模式図である。
【符号の説明】
１０…映像インデクスの制作工程
１１…ビデオテープ
１２…カートマシン
１３…ＶＴＲ
１４…Ａ／Ｄ変換器
１５…第１圧縮器
１６…第２圧縮器
１７…ＭＰＥＧ４用データベース
１８…シーン検出装置
１９…インデクス生成部
２０…映像インデクス用データベース
２１…データベース管理サーバ
２２…ＭＰＥＧ２用データベース
３０…映像インデクスの追加・修正工程
３１…ＬＡＮ
３２…インデクス追加・修正管理サーバ
３３…ＳＯＨＯ
【図１】
0003710992.tif 000002
【図２】
0003710992.tif 000003
【図３】
0003710992.tif 000004