(57)【要約】【課題】  様々な動画像メディアフォーマットで記録される映像データを一元的に管理できるようにする。【解決手段】  映像データを複合化する２つ以上の複合化処理手段であって、それぞれが異なる動画像メディアフォーマットに対応した複合化を行うデコーダ（１０９、１１１〜１１３）を設け、映像データの動画像メディアフォーマットを判別し、その判別結果に応じて、メディアスイッチ１０４で使用するデコーダ（１０９、１１１〜１１３）を切り替えるようにする。【選択図】  図１
2006108916.tif 000002
【特許請求の範囲】
【請求項１】
映像データを受信する映像入力インターフェイスと、
前記映像データを複製する映像データ複製手段と、
前記映像データをデータ変換を行わずに記録する映像データ記録手段と、
前記映像データを複合化する２つ以上の複合化処理手段であって、それぞれが異なる動画像メディアフォーマットに対応した複合化を行う複合化処理手段と、
前記映像データの動画像メディアフォーマットを判別するフォーマット判別手段と、
前記フォーマット判別手段の結果に応じて使用する前記複合化処理手段を切り替えるメディアスイッチと、
前記各複合化処理手段から出力される情報に基づいてシーンチェンジを検知するシーン検知手段と、
前記シーン検知手段によりシーンチェンジが検知された際に、該当するフレームの管理情報であるフレーム管理情報を生成するフレーム管理情報生成手段と、
前記フレーム管理情報を記録するフレーム管理情報記録手段と
を有し、
前記映像データ複製手段により複製された映像データを、前記映像データ記録手段に出力するとともに、前記メディアスイッチに出力することを特徴とする動画像記録装置。
【請求項２】
前記各複合化処理手段から出力される映像データのサイド情報を取得するサイド情報取得手段を更に有し、
前記フレーム管理情報生成手段は、前記シーン検知手段によりシーンチェンジが検知された際に、前記サイド情報取得手段により取得された映像データのサイド情報を利用して前記フレーム管理情報を生成することを特徴とする請求項１に記載の動画像記録装置。
【請求項３】
前記各複合化処理手段から送出される映像データのフレーム画像データを用いてサムネイル画像を生成するサムネイル画像生成手段を更に有し、
前記サムネイル画像生成手段は、前記シーン検知手段によりシーンチェンジが検知された際に、該当するフレームの前記サムネイル画像を生成することを特徴とする請求項２に記載の動画像記録装置。
【請求項４】
前記シーン検知手段は、２つ以上の画像を比較することにより前記シーンチェンジを検知することを特徴とする請求項３に記載の動画像記録装置。
【請求項５】
前記シーン検知手段により比較される前記２つ以上の画像は、その全てが同一の前記複合化処理手段から出力された映像データのフレーム画像であることを特徴とする請求項４に記載の動画像記録装置。
【請求項６】
前記各複合化処理手段から出力される映像データのフレーム画像データの画像サイズを縮小して縮小フレーム画像を生成する画像縮小手段を更に有し、
前記シーン検知手段は、前記縮小フレーム画像を利用して前記シーンチェンジを検知することを特徴とする請求項４に記載の動画像記録装置。
【請求項７】
前記サムネイル生成手段は、前記サムネイル画像の生成の際に、前記画像縮小手段による前記縮小フレーム画像を利用することを特徴とする請求項６に記載の動画像記録装置。
【請求項８】
前記各複合化処理手段のうち、１つ以上の複合化処理手段が前記サイド情報に動きベクトル情報を含んだ前記映像データに対応するものであり、
前記シーン検知手段は、前記映像データに前記動きベクトル情報が存在する場合には、前記動きベクトル情報に基づいて前記シーンチェンジを検知し、前記映像データに前記動きベクトル情報が存在しない場合には、２つ以上の画像を比較することにより前記シーンチェンジを検知することを特徴とする請求項６に記載の動画像記録装置。
【請求項９】
前記映像データに前記動きベクトル情報が存在しない場合に、前記シーン検知手段により比較される前記２つ以上の画像は、その全てが同一の前記複合化処理手段から出力された映像データのフレーム画像であることを特徴とする請求項８に記載の動画像記録装置。
【請求項１０】
前記映像データに前記動きベクトル情報が存在しない場合に、
前記画像縮小手段は、当該映像データのフレーム画像データの画像サイズを縮小して前記縮小フレーム画像を生成し、前記シーン検知手段は、前記縮小フレーム画像を利用して前記シーンチェンジを検知することを特徴とする請求項８に記載の動画像記録装置。
【請求項１１】
前記サムネイル生成手段は、前記サムネイル画像の生成の際に、前記画像縮小手段による前記縮小フレーム画像を利用することを特徴とする請求項１０に記載の動画像記録装置。
【請求項１２】
前記複合化処理手段は、可変長符号複合化処理手段と、フレーム画像複合化処理手段とを含み、前記可変長符号複合化処理手段とフレーム画像複合化処理手段との間に前記サイド情報取得手段を設け、前記シーン検知手段により前記シーンチェンジが検知されるまで前記フレーム画像複合化処理手段を起動しないことを特徴とする請求項８〜１１のいずれか１項に記載の動画像記録装置。
【請求項１３】
前記映像データ記録手段は、前記映像データを可搬型記憶媒体に記録することを特徴とする請求項１〜１２のいずれか１項に記載の動画像記録装置。
【請求項１４】
前記映像データ記録手段は、シーケンシャルな書き込み方式により前記映像データを記録することを特徴とする請求項１〜１３のいずれか１項に記載の動画像記録装置。
【請求項１５】
映像データを複合化する２つ以上の複合化処理手段であって、それぞれが異なる動画像メディアフォーマットに対応した複合化を行う複合化処理手段と、
前記映像データの動画像メディアフォーマットを判別するフォーマット判別手段と、
前記フォーマット判別手段の結果に応じて使用する前記複合化処理手段を切り替えるメディアスイッチとを備えることを特徴とする動画像記録装置。
【請求項１６】
映像データを複合化する２つ以上の複合化処理手段であって、それぞれが異なる動画像メディアフォーマットに対応した複合化を行う複合化処理手段を備える動画像記録装置に用いる動画像処理方法であって、
前記映像データの動画像メディアフォーマットを判別するフォーマット判別処理と、
前記フォーマット判別処理の結果に応じて使用する前記複合化処理手段を切り替える切替処理とを含むことを特徴とする動画像処理方法。
【請求項１７】
映像データを複合化する２つ以上の複合化処理手段であって、それぞれが異なる動画像メディアフォーマットに対応した複合化を行う複合化処理手段を備える動画像記録装置に用いる動画像処理方法をコンピュータに実行させるためのプログラムであって、
前記映像データの動画像メディアフォーマットを判別するフォーマット判別処理と、
前記フォーマット判別処理の結果に応じて使用する前記複合化処理手段を切り替える切替処理とをコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラム記録したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを処理する動画像記録装置、動画像処理方法、当該動画像処理方法をコンピュータに実行させるためのプログラム及び当該プログラム記録するコンピュータ読み取り可能な記憶媒体に関するものである。
【背景技術】
【０００２】
近年、デジタル動画像圧縮技術の標準化が進み、さらに、高性能な演算処理回路、大容量記憶媒体が比較的安価で入手できるようになり、映像データとデジタル化して蓄積するハードディスクレコーダに代表されるマルチメディア機器が商品化されている。また、ＣＣＴＶに代表される監視市場においても、従来のテープによるアナログ録画からハードディスクを用いたデジタルビデオレコーダへのシフトが急速に行われている。個人が所有するデジタル動画像が日に日に増加することから、これらを快適にハンドリングすることが求められている。
【０００３】
これに対して、それぞれのデジタル動画像圧縮技術において、所望の映像データを見たいシーンから見るための検索技術や検索に利用するメタデータ等のインデキシング技術の提案が行われている。特に、動きベクトルを用いて高度な圧縮を行うＭＰＥＧ系では前述のような提案が活発に行われており、例えば、下記の特許文献１においては、ＭＰＥＧ動画像データのコード検知部、フレーム数算出部、ヘッダ情報作成部、テーブル作成部からなる頭出し再生用テーブルを用意し、視聴者がインデックス画像を選択することで頭出し再生要求が発生すると、前述の頭出し再生テーブルを参照してフレーム数及び先頭からのオフセットバイト数を読み出すことにより、瞬時に頭出し再生を行う提案がなされている。
【０００４】
一方、デジタル動画像圧縮技術の標準化が進むにつれて、それぞれの動画像メディアフォーマットが特定の分野で特化し、市場やユースケースにより複数の動画像メディアフォーマットを使い分けるようになっている。例えば、前述のハードディスクレコーダはＭＰＥＧ２を利用しており、一方、デジタルビデオレコーダはＪＰＥＧを基本にしたＭｏｔｉｏｎＪＰＥＧを利用している。
【０００５】
さらには、携帯電話への配信やデジタルテレビ放送においては、ＭＰＥＧ４やＨ．２６４などの規格も使用されている。用途に応じてこれらの動画像メディアフォーマットをリアルタイムで変換する技術の提案もなされている。例えば、下記の特許文献２に示されているようなＭＰＥＧ２のサイド情報に含まれる動きベクトルを利用することで効率良くＭＰＥＧ４データに変換すると同時に、ＭＰＥＧ２に含まれるサイド情報を用いてフレームのカット検出を行い、検索用のインデクスを生成する提案などがある。
【０００６】
今後、家庭内において、テレビジョン放送の録画再生、携帯電話やＰＤＡなどのモバイル端末での再生、監視カメラの導入など、ますます多くの動画像を扱うことが考えられる。現状では、これらの用途ごとに個別のハードウェアを用意する必要があり、増え続ける動画像データを一元的に整理することができない。また、上記の各提案は、特定の動画像メディアフォーマットに限定されたものであり、これらを一元的に扱う提案はなされていない。
【０００７】
【特許文献１】特開平９−１３３９１５号公報
【特許文献２】特開２００２−１８５９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、それぞれの動画像メディアフォーマットの特徴を最大限に生かしつつ、低コストで且つ利便性を飛躍的に向上させる動画像記録装置、動画像処理方法、プログラム及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は、映像データを複合化する２つ以上の複合化処理手段であって、それぞれが異なる動画像メディアフォーマットに対応した複合化を行う複合化処理手段と、前記映像データの動画像メディアフォーマットを判別するフォーマット判別手段と、前記フォーマット判別手段の結果に応じて使用する前記複合化処理手段を切り替えるメディアスイッチとを備えることを特徴とする動画像記録装置等を提供する。
【発明の効果】
【００１０】
本発明によれば、様々な動画像メディアフォーマットで記録される動画像データを一元的に管理することができる。これにより、それぞれの動画像メディアフォーマットの特徴を最大限に生かしつつ、低コストで且つ利便性を飛躍的に向上させることが可能となる。
【発明を実施するための最良の形態】
【００１１】
（第１の実施形態）
以下、本発明における第１の実施形態を図面に基づいて詳細に説明する。
図１は、本発明の第１の実施形態に係る動画像記録装置の構成の一例を示したブロック図である。
図１において、１００はインデキシング処理ブロックであり、内部動作については後に詳細を述べる。１５０はシステム全体の制御手段であり、ＣＰＵ、ＲＡＭ及び制御プログラムで構成されている。１０１は映像データが入力される映像入力インターフェイス（Ｉ／Ｆ）、１６０はハードディスクドライブに代表される大容量の映像データ記憶媒体、１０２は映像入力Ｉ／Ｆ（１０１）から送られた映像データを映像データ記憶媒体１６０へ蓄積する制御を行う映像データ記録手段である。
【００１２】
１０４は映像入力Ｉ／Ｆ（１０１）から送られた映像データの動画像メディアフォーマットを確認して動画像メディアフォーマットにより受信した映像データを後段の各種デコーダに振り分けるメディアスイッチ、１０５は映像データのフレーム間の差異を比較することでシーンチェンジを検出するシーン検知手段、１０６はシーン検知手段１０５でシーンチェンジを検出した際に、シーン検知手段１０５から送られるシーン検知通知を受信して、そのシーンのフレームに関する情報を管理するための構造化を行うフレーム管理情報生成手段、１０７はフレーム管理情報生成手段１０６からの要求に応じて該当フレームのサムネイルを生成するサムネイル生成手段である。
【００１３】
また、１７０はフレーム管理情報生成手段１０６で生成された管理情報を記録するフレーム管理情報記憶媒体、１０８はフレーム管理情報記憶媒体１７０へ記録する制御を行うフレーム管理情報記録手段である。１０９及び１１１〜１１３は動画像メディアフォーマットの複合化処理を行うデコーダ、１１４はデコーダ（１０９及び１１１〜１１３）から出力される映像データからサイド情報を読み出すサイド情報取得手段である。
【００１４】
図２は、映像入力Ｉ／Ｆ（１０１）における処理を示したフローチャートである。
映像データの入力方法としては、図１には不図示であるがネットワーク、ＵＳＢあるいはＩＥＥＥ１３９４などの高速通信手段、ハードディスクドライブをはじめとした記憶装置、デジタル放送あるいはアナルグ放送、アナログ信号をデジタル化するエンコーダとのバス接続手段などの形態は問わない。
【００１５】
まず、ステップＳ２０１では、映像データが入力される。続いて、ステップＳ２０２では、映像入力Ｉ／Ｆ（１０１）において、蓄積用途とインデキシング用途のために映像データを複製する。続いて、ステップＳ２０３では、蓄積用データが映像データ記録手段１０２に送出され、インデキシング用データがインデキシング処理ブロック１００に送出される。
【００１６】
図３は、映像データ記録手段１０２における処理を示したフローチャートである。
まず、ステップＳ３０１では、映像入力Ｉ／Ｆ（１０１）で複製された映像データを受信する。続いて、ステップＳ３０２では、受信した映像データを映像データ記録媒体１６０に記録する。
【００１７】
図４−１〜図４−３は、本発明の第１の実施形態に係る動画像記録装置のインデキシング処理ブロック１００における処理を示したフローチャートである。
【００１８】
まず、ステップＳ４０１では、映像入力Ｉ／Ｆ（１０１）で複製された映像データをメディアスイッチ１０４で受信する。続いて、ステップＳ４０２では、映像データの動画像メディアフォーマットを確認する。
【００１９】
動画像メディアフォーマットを確認した後、続いて、ステップＳ４０３及び４０４では、動画像メディアフォーマットをシーン検知手段１０５に通知し、さらに、シーン検知手段１０５からサムネイル生成手段１０７、フレーム管理情報生成手段１０６及びサイド情報取得手段１１４に当該動画像メディアフォーマットが通知される。これにより、動画像メディアフォーマットを通知された各手段は、処理を切り替えることができる。続いて、ステップＳ４０５では、映像データの続きが存在するか否かを判断する。この判断の結果、映像データの続きが存在しないと判断された場合には、当該処理を終了する。一方、ステップＳ４０５での判断の結果、映像データの続きが存在すると判断された場合には、図４−２のステップＳ４２１に進む。
【００２０】
続いて、図４−２のステップＳ４２１では、各デコーダ（１０９及び１１１〜１１３）において、送られた映像データを複合化する。ここで、復号化された映像データは、１フレームごとに可視化可能な画像であり、シーン検知手段１０５では前後のフレームと比較することによりシーンチェンジ等のシーン検知を行う。
【００２１】
続いて、ステップＳ４２２では、シーン検知手段１０５において、前後のフレームを比較するために、シーン検知に必要なフレーム数分のバッファリングを行う。
【００２２】
続いて、ステップＳ４２３では、バッファリングしたフレーム数が規定値に到達したか否かを判断する。この判断の結果、バッファリングしたフレーム数が規定値に到達していないと判断された場合には、図４−１のステップＳ４０５に戻る。一方、ステップＳ４２３での判断の結果、バッファリングしたフレーム数が規定値に到達したと判断された場合には、ステップＳ４２４に進む。
【００２３】
続いて、ステップＳ４２４では、フレーム画像間の輝度変化量、色合い変化量、動体認識による動体移動変化量などと、事前に登録した各変化量の閾値とを比較し、シーンチェンジの検出を行う。シーン検知処理が終了すると、続いて、ステップＳ４２５では、最も古いフレーム画像データをバッファから消去する。
【００２４】
続いて、ステップＳ４２６では、シーンの切換えが発生したか否かを判断する。この判断の結果、シーンの切換えが発生していないと判断された場合には、図４−１のステップＳ４０５に戻る。一方、ステップＳ４２６での判断の結果、シーンの切換えが発生したと判断された場合には、図４−３のステップＳ４３１に進む。
【００２５】
続いて、ステップＳ４３１では、シーン検知の発生をサイド情報取得手段１１４、フレーム管理情報生成手段１０６及びサムネイル生成手段１０７に通知する。ここで、ステップＳ４２５のフレーム画像データをバッファから消去する処理は、リングバッファを用いる場合には積極的に消去する必要はなく、また、処理手順としては、必ずしもステップＳ４３１のシーン検知の通知の前である必要はない。
【００２６】
続いて、ステップＳ４３２では、フレーム管理情報生成手段１０６において、シーンチェンジの発生したフレーム番号及び映像データの先頭アドレスからのオフセットアドレスをデコーダ（１０９及び１１１〜１１３）のいずれかから取得して、フレーム管理情報に書き込む。続いて、ステップＳ４３３では、フレーム管理情報生成手段１０６において、映像データのサイド情報をサイド情報取得手段１１４から取得して、フレーム管理情報に追加して書き込む。
【００２７】
続いて、ステップＳ４３４では、サムネイル生成手段１０６において、デコーダ（１０９及び１１１〜１１３）のいずれかから出力されたフレーム画像を受信し、サムネイルに適した画像サイズへの縮小を行う。続いて、ステップＳ４３５では、フレーム管理情報生成手段１０６において、縮小したフレーム画像をフレーム管理情報に追加して書き込む。
【００２８】
続いて、ステップＳ４３６では、フレーム管理情報記録手段１０８において、フレーム管理情報に、映像データ記録手段１０２により記録された映像データ記録情報を追加する。ここで、映像データ記録情報は、制御手段１５０及び映像データ記憶媒体１６０から取得される。続いて、ステップＳ４３７では、フレーム管理情報記録手段１０８において、フレーム管理情報をフレーム管理情報記憶媒体１７０に記録する。
【００２９】
本発明の第１の実施形態では、フレーム管理情報は、フレーム番号などの他にサイド情報に含まれるフレーム時刻や生成したサムネイル情報などを管理し、それらを関連付けるものであり、このようにフレーム管理情報を構成することにより、当該フレーム管理情報を用いて全ての映像データを一元的に管理することが可能になるとともに、シーンを選択すると即座に所望のシーンから再生・閲覧を行うことが可能になる。
【００３０】
（第２の実施形態）
以下、本発明における第２の実施形態を図面に基づいて詳細に説明する。
図５は、本発明の第２の実施形態に係る動画像記録装置の構成の一例を示したブロック図である。
図５において、５００はインデキシング処理ブロックであり、内部動作については後に詳細を述べる。５５０はシステム全体の制御手段であり、ＣＰＵ、ＲＡＭ及び制御プログラムで構成されている。５０１は映像データが入力される映像入力インターフェイス（Ｉ／Ｆ）、５６０はハードディスクドライブに代表される大容量の映像データ記憶媒体、５０２は映像入力Ｉ／Ｆ（５０１）から送られた映像データを映像データ記憶媒体５６０へ蓄積する制御を行う映像データ記録手段である。
【００３１】
５０４は映像入力Ｉ／Ｆ（５０１）から送られた映像データの動画像メディアフォーマットを確認して動画像メディアフォーマットにより受信した映像データを後段の各種デコーダに振り分けるメディアスイッチ、５０５は映像データのフレーム間の差異を比較することでシーンチェンジを検出するシーン検知手段、５０６はシーン検知手段５０５でシーンチェンジを検出した際に、シーン検知手段５０５から送られるシーン検知通知を受信して、そのシーンのフレームに関する情報を管理するための構造化を行うフレーム管理情報生成手段、５０７はフレーム管理情報生成手段５０６からの要求に応じて該当フレームのサムネイルを生成するサムネイル生成手段である。
【００３２】
また、５７０はフレーム管理情報生成手段５０６で生成された管理情報を記録するフレーム管理情報記憶媒体、５０８はフレーム管理情報記憶媒体５７０へ記録する制御を行うフレーム管理情報記録手段である。５１０はシーン検知手段１０５の処理に必要十分な画像サイズに縮小する画像縮小手段、５０９及び５１１〜５１３は動画像メディアフォーマットの複合化処理を行うデコーダ、５１４はデコーダ（５０９及び５１１〜５１３）から出力される映像データからサイド情報を読み出すサイド情報取得手段である。
【００３３】
図６は、映像入力Ｉ／Ｆ（５０１）における処理を示したフローチャートである。
映像データの入力方法としては、図５には不図示であるがネットワーク、ＵＳＢあるいはＩＥＥＥ１３９４などの高速通信手段、ハードディスクドライブをはじめとした記憶装置、デジタル放送あるいはアナルグ放送、アナログ信号をデジタル化するエンコーダとのバス接続手段などの形態は問わない。
【００３４】
まず、ステップＳ６０１では、映像データが入力される。続いて、ステップＳ６０２では、映像入力Ｉ／Ｆ（５０１）において、蓄積用途とインデキシング用途のために映像データを複製する。続いて、ステップＳ６０３では、蓄積用データが映像データ記録手段５０２に送出され、インデキシング用データがインデキシング処理ブロック５００に送出される。
【００３５】
図７は、映像データ記録手段５０２における処理を示したフローチャートである。
まず、ステップＳ７０１では、映像入力Ｉ／Ｆ（５０１）で複製された映像データを受信する。続いて、ステップＳ７０２では、受信した映像データを映像データ記録媒体５６０に記録する。
【００３６】
図８−１〜図８−３は、本発明の第２の実施形態に係る動画像記録装置のインデキシング処理ブロック５００における処理を示したフローチャートである。
【００３７】
まず、ステップＳ８０１では、映像入力Ｉ／Ｆ（５０１）で複製された映像データをメディアスイッチ５０４で受信する。続いて、ステップＳ８０２では、映像データの動画像メディアフォーマットを確認する。
【００３８】
動画像メディアフォーマットを確認した後、続いて、ステップＳ８０３及び８０４では、動画像メディアフォーマットをシーン検知手段５０５に通知し、さらに、シーン検知手段５０５からサムネイル生成手段５０７、フレーム管理情報生成手段５０６及びサイド情報取得手段５１４に当該動画像メディアフォーマットが通知される。これにより、動画像メディアフォーマットを通知された各手段は、処理を切り替えることができる。続いて、ステップＳ８０５では、映像データの続きが存在するか否かを判断する。この判断の結果、映像データの続きが存在しないと判断された場合には、当該処理を終了する。一方、ステップＳ８０５での判断の結果、映像データの続きが存在すると判断された場合には、図８−２のステップＳ８２１に進む。
【００３９】
続いて、図８−２のステップＳ８２１では、各デコーダ（５０９及び５１１〜５１３）において、送られた映像データを複合化する。ここで、復号化された映像データは、１フレームごとに可視化可能な画像であり、シーン検知手段５０５では前後のフレームと比較することによりシーンチェンジ等のシーン検知を行う。
【００４０】
続いて、ステップＳ８２２では、シーン検知の前段で画像縮小手段５１０において、シーン検知が可能な程度に画像の縮小処理を行う。ここでは、この縮小画像データを元にシーンチェンジの検出を行う。この構成により、フレームを比較する際に、高速で且つリアルタイムに処理を行うことが可能になる。続いて、ステップＳ８２３では、シーン検知手段５０５において、前後のフレームを比較するために、シーン検知に必要なフレーム数分のバッファリングを行う。ここで、画像縮小手段５１０を備えることにより、上述のフレーム画像のバッファ容量を少なくすることにも寄与し、安価に装置を提供することが可能となる。
【００４１】
続いて、ステップＳ８２４では、バッファリングしたフレーム数が規定値に到達したか否かを判断する。この判断の結果、バッファリングしたフレーム数が規定値に到達していないと判断された場合には、図８−１のステップＳ８０５に戻る。一方、ステップＳ８２４での判断の結果、バッファリングしたフレーム数が規定値に到達したと判断された場合には、ステップＳ８２５に進む。
【００４２】
続いて、ステップＳ８２５では、フレーム画像間の輝度変化量、色合い変化量、動体認識による動体移動変化量などと、事前に登録した各変化量の閾値とを比較し、シーンチェンジの検出を行う。シーン検知処理が終了すると、続いて、ステップＳ８２６では、最も古いフレーム画像データをバッファから消去する。
【００４３】
続いて、ステップＳ８２７では、シーンの切換えが発生したか否かを判断する。この判断の結果、シーンの切換えが発生していないと判断された場合には、図８−１のステップＳ８０５に戻る。一方、ステップＳ８２７での判断の結果、シーンの切換えが発生したと判断された場合には、図８−３のステップＳ８３１に進む。
【００４４】
続いて、ステップＳ８３１では、シーン検知の発生をサイド情報取得手段５１４、フレーム管理情報生成手段５０６及びサムネイル生成手段５０７に通知する。ここで、ステップＳ８２６のフレーム画像データをバッファから消去する処理は、リングバッファを用いる場合には積極的に消去する必要はなく、また、処理手順としては、必ずしもステップＳ８３１のシーン検知通知の前である必要はない。
【００４５】
続いて、ステップＳ８３２では、フレーム管理情報生成手段５０６において、シーンチェンジの発生したフレーム番号及び映像データの先頭アドレスからのオフセットアドレスを、デコーダ（５０９及び５１１〜５１３）のいずれかから取得して、フレーム管理情報に書き込む。続いて、ステップＳ８３３では、フレーム管理情報生成手段５０６において、映像データのサイド情報をサイド情報取得手段５１４から取得して、フレーム管理情報に追加して書き込む。続いて、ステップＳ８３４では、画像縮小手段５１０にサムネイル作成要求を行う。
【００４６】
続いて、ステップＳ８３５では、サムネイル生成手段５０６において、デコーダ（５０９及び５１１〜５１３）のいずれかから出力されたフレーム画像を受信し、サムネイルに適した画像サイズへの縮小を行う。ここで、サムネイル生成手段５０６と画像縮小手段５１０とを共通化すれば、より安価に装置を提供することが可能になる。続いて、ステップＳ８３６では、フレーム管理情報生成手段５０６において、縮小したフレーム画像をフレーム管理情報に追加して書き込む。
【００４７】
続いて、ステップＳ８３７では、フレーム管理情報記録手段５０８において、フレーム管理情報に、映像データ記録手段５０２により記録された映像データ記録情報を追加する。ここで、映像データ記録情報は、制御手段５５０及び映像データ記憶媒体５６０から取得される。続いて、ステップＳ８３８では、フレーム管理情報記録手段５０８において、フレーム管理情報をフレーム管理情報記憶媒体５７０に記録する。
【００４８】
本発明の第２の実施形態では、フレーム管理情報は、フレーム番号などの他にサイド情報に含まれるフレーム時刻や生成したサムネイル情報などを管理し、それらを関連付けるものであり、このようにフレーム管理情報を構成することにより、当該フレーム管理情報を用いて全ての映像データを一元的に管理することが可能になるとともに、シーンを選択すると即座に所望のシーンから再生・閲覧を行うことが可能になる。さらに、安価で高速な処理を行うことが可能になる。
【００４９】
（第３の実施形態）
以下、本発明における第３の実施形態を図面に基づいて詳細に説明する。
図９は、本発明の第３の実施形態に係る動画像記録装置の構成の一例を示したブロック図である。
図９において、９００はインデキシング処理ブロックであり、内部動作については後に詳細を述べる。９５０はシステム全体の制御手段であり、ＣＰＵ、ＲＡＭ及び制御プログラムで構成されている。９０１は映像データが入力される映像入力インターフェイス（Ｉ／Ｆ）、９６０はハードディスクドライブに代表される大容量の映像データ記憶媒体、９０２は映像入力Ｉ／Ｆ（９０１）から送られた映像データを映像データ記憶媒体９６０へ蓄積する制御を行う映像データ記録手段である。
【００５０】
９０４は映像入力Ｉ／Ｆ（９０１）から送られた映像データの動画像メディアフォーマットを確認して動画像メディアフォーマットにより受信した映像データを後段の各種デコーダに振り分けるメディアスイッチ、９０５は映像フレーム間の差異を検出する手段であって、メディアスイッチ９０４から通知された動画像メディアフォーマットにより検知する方法を切り替えるシーン検知手段、９０６はシーン検知手段９０５で所望のシーン検知が発生した際に、当該シーン検知の通知を受信して、そのシーンのフレームに関する情報を管理するための構造化を行うフレーム管理情報生成手段、９０７はフレーム管理情報生成手段９０６からの要求に応じて該当フレームのサムネイルを生成するサムネイル生成手段である。
【００５１】
また、９７０はフレーム管理情報生成手段９０６で生成された管理情報を記録するフレーム管理情報記憶媒体、９０８はフレーム管理情報記憶媒体９７０へ記録する制御を行うフレーム管理情報記録手段である。９０９はモーションＪＰＥＧに代表される動きベクトルを使用しない動画像メディアフォーマットの逆符号化を行うデコーダ、９１０はシーン検知手段９０５の処理に必要十分な画像サイズに縮小する画像縮小手段、９１１〜９１３はＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４に代表される動きベクトルを使用する動画像メディアフォーマットの逆符号化を行うデコーダの一部であり、主に映像データに付随するサイド情報を取り出せるデータ形式に変換する可変長符号複合化（ＶＤＬ）処理を行うデコーダ前段、９１４はデコーダ前段（９１１〜９１３）から出力される映像データからサイド情報を読み出し、後段の処理に映像データを送出するサイド情報取得手段、９１５〜９１７はサイド情報取得手段９１４から送出された映像データの複合化し、フレーム画像データを取り出すデコーダ後段である。
【００５２】
図１０は、映像入力Ｉ／Ｆ（９０１）における処理を示したフローチャートである。
映像データの入力方法は、には不図示であるがネットワーク、ＵＳＢあるいはＩＥＥＥ１３９４などの高速通信手段、ハードディスクドライブをはじめとした記憶装置、デジタル放送あるいはアナルグ放送、アナログ信号をデジタル化するエンコーダとのバス接続手段などの形態は問わない。
【００５３】
まず、ステップＳ１００１では、映像データが入力される。続いて、ステップＳ１００２では、映像入力Ｉ／Ｆ（９０１）において、蓄積用途とインデキシング用途のために映像データを複製する。続いて、ステップＳ１００３では、蓄積用データが映像データ記録手段９０２に送出され、インデキシング用データがインデキシング処理ブロック９００に送出される。
【００５４】
図１１は、映像データ記録手段９０２における処理を示したフローチャートである。
まず、ステップＳ１１０１では、映像入力Ｉ／Ｆ（９０１）で複製された映像データを受信する。続いて、ステップＳ１１０２では、受信した映像データを映像データ記録媒体９６０に記録する。
【００５５】
図１２−１〜図１２−４は、本発明の第３の実施形態に係る動画像記録装置のインデキシング処理ブロック９００における処理を示したフローチャートである。
【００５６】
まず、ステップＳ１２０１では、映像入力Ｉ／Ｆ（９０１）で複製された映像データをメディアスイッチ９０４で受信する。続いて、ステップＳ１２０２では、映像データの動画像メディアフォーマットを確認する。
【００５７】
動画像メディアフォーマットを確認した後、続いて、ステップＳ１２０３及び１２０４では、動画像メディアフォーマットをシーン検知手段９０５に通知し、さらにシーン検知手段９０５からフレーム管理情報生成手段９０６、サムネイル生成手段９０７及びサイド情報取得手段９１４に当該動画像メディアフォーマットが通知される。これにより、動画像メディアフォーマットを通知された各手段は、処理を切り替えることができる。続いて、ステップＳ１２０５では、映像データの続きが存在するか否かを判断する。この判断の結果、映像データの続きが存在しないと判断された場合には、当該処理を終了する。一方、ステップＳ８０５での判断の結果、映像データの続きが存在すると判断された場合には、ステップＳ１２０６に進む。
【００５８】
続いて、ステップＳ１２０６では、メディアスイッチ９０４において認された動画像メディアフォーマットが動きベクトル使用するフォーマットであるか否かを判断する。この判断の結果、動画像メディアフォーマットが動きベクトル使用するフォーマットであると判断された場合には、図１２−２のステップＳ１２２１に進む。一方、ステップＳ１２０６での判断の結果、動画像メディアフォーマットが動きベクトル使用するフォーマットでないと判断された場合には、図１２−３のステップＳ１２３１に進む。
【００５９】
ステップＳ１２０６において、動画像メディアフォーマットが動きベクトル使用するフォーマットであると判断された場合、本実施形態では、ＭＰＥＧ２を用いた例を示して以下に説明を行うが、ＭＰＥＧ４、Ｈ．２６４を始めとする動きベクトルを使用する様々な動画像メディアフォーマットを本実施形態に適用することも可能である。
【００６０】
まず、図１２−２のステップＳ１２２１では、ＭＰＥＧ２デコーダ前段９１１において、送られた映像データに対して可変長符号複合化（ＶＬＤ）処理を行う。ここで、ＶＬＤ処理を行うことにより、ＭＰＥＧ２データからのサイド情報の取得が可能になる。続いて、ステップＳ１２２２では、このサイド情報から動きベクトルを取得する。ここで、サイド情報取得手段９１４は、フレームバッファ（不図示）を備え、デコーダ後段（９１５〜９１７）においてデコードする際に必要なフレームデータをこのフレームバッファに保持している。
【００６１】
続いて、ステップＳ１２２３では、シーン検出手段９０５において、読み出した動きベクトルを予め登録された閾値と比較することによりシーンチェンジの発生を検知する。続いて、ステップＳ１２２４では、シーンの切換えが発生したか否かを判断する。この判断の結果、シーンの切換えが発生していないと判断された場合には、図１２−１のステップＳ１２０５に戻る。一方、ステップＳ１２２３での判断の結果、シーンの切換えが発生したと判断された場合には、ステップＳ１２２５に進む。
【００６２】
続いて、ステップＳ１２２５では、シーン検知の通知を受けたサイド情報取得手段９１４において、フレームバッファで保持していたフレームデータをデコーダ後段（９１５〜９１７）に送り、さらに、デコーダ後段（９１５〜９１７）において、所望のフレーム画像の生成を行う。また、このシーン検知の通知は、フレーム管理情報生成手段１０６にも送られる。上記のように構成することにより、さらに高速で且つリアルタイムに処理を可能とするに留まらず、必要な時にだけデコーダを動作させることにより、消費電力を抑制することが可能である。
【００６３】
一方、ステップＳ１２０６において、動画像メディアフォーマットが動きベクトル使用するフォーマットでないと判断された場合、本実施形態では、モーションＪＰＥＧを用いた例を示して以下に説明を行うが、ＤＶフォーマットを始めとする動きベクトルを使用しない様々な動画像メディアフォーマットを本実施形態に適用することも可能である。
【００６４】
まず、図１２−３のステップＳ１２３１では、モーションＪＰＥＧフルデコーダ９０９において、送られた映像データを複合化する。ここで、復号化された映像データは、１フレームごとに可視化可能な画像であり、シーン検知手段９０５では前後のフレームと比較することによりシーンチェンジ等のシーン検知を行う。
【００６５】
続いて、ステップＳ１２３２では、シーン検知の前段で画像縮小手段９１０において、シーン検知が可能な程度に画像の縮小処理を行う。ここでは、この縮小画像データを元にシーンチェンジの検出を行う。この構成により、フレームを比較する際に、高速で且つリアルタイムに処理を行うことが可能になる。続いて、ステップＳ１２３３では、シーン検知手段９０５において、前後のフレームを比較するために、シーン検知に必要なフレーム数分のバッファリングを行う。ここで、画像縮小手段９１０を備えることにより、上述のフレーム画像のバッファ容量を少なくすることにも寄与し、安価に装置を提供することが可能となる。
【００６６】
続いて、ステップＳ１２３４では、バッファリングしたフレーム数が規定値に到達したか否かを判断する。この判断の結果、バッファリングしたフレーム数が規定値に到達していないと判断された場合には、図１２−１のステップＳ１２０５に戻る。一方、ステップＳ１２３４での判断の結果、バッファリングしたフレーム数が規定値に到達したと判断された場合には、ステップＳ１２３５に進む。
【００６７】
続いて、ステップＳ１２３５では、フレーム画像間の輝度変化量、色合い変化量、動体認識による動体移動変化量などと、事前に登録した各変化量の閾値とを比較し、シーンチェンジの検出を行う。シーン検知処理が終了すると、続いて、ステップＳ１２３６では、最も古いフレーム画像データをバッファから消去する。
【００６８】
続いて、ステップＳ１２３７では、シーンの切換えが発生したか否かを判断する。この判断の結果、シーンの切換えが発生していないと判断された場合には、図１２−１のステップＳ１２０５に戻る。一方、ステップＳ１２３７での判断の結果、シーンの切換えが発生したと判断された場合には、図１２−４のステップＳ１２４１に進む。
【００６９】
続いて、ステップＳ１２４１では、シーン検知の発生をサイド情報取得手段９１４、フレーム管理情報生成手段９０６及びサムネイル生成手段９０７に通知する。ここで、ステップＳ１２３６のフレーム画像データをバッファから消去する処理は、リングバッファを用いる場合には積極的に消去する必要はなく、また、処理手順としては、必ずしもステップＳ１２４１のシーン検知通知の前である必要はない。
【００７０】
続いて、ステップＳ１２４２では、フレーム管理情報生成手段９０６において、シーンチェンジの発生したフレーム番号及び映像データの先頭アドレスからのオフセットアドレスを、デコーダ（９０９及び９１１〜９１３）のいずれかから取得して、フレーム管理情報に書き込む。続いて、ステップＳ１２４３では、フレーム管理情報生成手段９０６において、映像データのサイド情報をサイド情報取得手段９１４から取得して、フレーム管理情報に追加して書き込む。続いて、ステップＳ１２４４では、画像縮小手段９１０にサムネイル作成要求を行う。
【００７１】
続いて、ステップＳ１２４５では、サムネイル生成手段９０６において、デコーダ（９０９及び９１１〜９１３）のいずれかから出力されたフレーム画像を受信し、サムネイルに適した画像サイズへの縮小を行う。ここで、サムネイル生成手段９０６と画像縮小手段９１０とを共通化すれば、より安価に装置を提供することが可能になる。続いて、ステップＳ１２４６では、フレーム管理情報生成手段９０６において、縮小したフレーム画像をフレーム管理情報に追加して書き込む。
【００７２】
続いて、ステップＳ１２４７では、フレーム管理情報記録手段９０８において、フレーム管理情報に、映像データ記録手段９０２により記録された映像データ記録情報を追加する。ここで、映像データ記録情報は、制御手段９５０及び映像データ記憶媒体９６０から取得される。続いて、ステップＳ１２４８では、フレーム管理情報記録手段９０８において、フレーム管理情報をフレーム管理情報記憶媒体９７０に記録する。
【００７３】
本発明の第３の実施形態では、フレーム管理情報は、フレーム番号などの他にサイド情報に含まれるフレーム時刻や生成したサムネイル情報などを管理し、それらを関連付けるものであり、このようにフレーム管理情報を構成することにより、当該フレーム管理情報を用いて全ての映像データを一元的に管理することが可能になるとともに、シーンを選択すると即座に所望のシーンから再生・閲覧を行うことが可能になる。さらに、消費電力を抑制し、安価で高速な処理を行うことが可能になる。
【００７４】
また、不図示ではあるが、映像データ記憶媒体９６０とフレーム管理情報記憶媒体９７０とは同じハードウェアを用いることも可能である。しかし一方で、映像データ記録媒体９６０をフレーム管理情報記憶媒体９７０と異なるハードウェアにすることにより、映像データ記録媒体９６０に対して映像記録に特化したシーケンシャル記録を行い、今後予想される映像データのビットレートの増大による記憶媒体の書き込み速度に対する限界を引き上げることが可能となる。
【００７５】
図１３は、フレーム管理情報に記述される項目の一例を示した図である。また、図１４〜図１７は、フレーム管理情報における各項目をデータベースを用いて管理した際の具体例を示した図である。
上述したように、フレーム管理情報は、フレーム番号などの他にサイド情報に含まれるフレーム時刻や生成したサムネイル情報などを管理し、それらを関連付けるものであり、このフレーム管理情報をデータベースで管理することにより、シーンを選択すると即座に所望のシーンから再生・閲覧が可能になる。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１の実施形態に係る動画像記録装置の構成の一例を示したブロック図である。
【図２】映像入力Ｉ／Ｆにおける処理を示したフローチャートである。
【図３】映像データ記録手段における処理を示したフローチャートである。
【図４−１】本発明の第１の実施形態に係る動画像記録装置のインデキシング処理ブロックにおける処理を示したフローチャートである。
【図４−２】図４−１に引き続き、本発明の第１の実施形態に係る動画像記録装置のインデキシング処理ブロックにおける処理を示したフローチャートである。
【図４−３】図４−２に引き続き、本発明の第１の実施形態に係る動画像記録装置のインデキシング処理ブロックにおける処理を示したフローチャートである。
【図５】本発明の第２の実施形態に係る動画像記録装置の構成の一例を示したブロック図である。
【図６】映像入力Ｉ／Ｆにおける処理を示したフローチャートである。
【図７】映像データ記録手段における処理を示したフローチャートである。
【図８−１】本発明の第２の実施形態に係る動画像記録装置のインデキシング処理ブロックにおける処理を示したフローチャートである。
【図８−２】図８−１に引き続き、本発明の第２の実施形態に係る動画像記録装置のインデキシング処理ブロックにおける処理を示したフローチャートである。
【図８−３】図８−２に引き続き、本発明の第２の実施形態に係る動画像記録装置のインデキシング処理ブロックにおける処理を示したフローチャートである。
【図９】本発明の第３の実施形態に係る動画像記録装置の構成の一例を示したブロック図である。
【図１０】映像入力Ｉ／Ｆにおける処理を示したフローチャートである。
【図１１】映像データ記録手段における処理を示したフローチャートである。
【図１２−１】本発明の第３の実施形態に係る動画像記録装置のインデキシング処理ブロックにおける処理を示したフローチャートである。
【図１２−２】図１２−１に引き続き、本発明の第３の実施形態に係る動画像記録装置のインデキシング処理ブロックにおける処理を示したフローチャートである。
【図１２−３】図１２−１に引き続き、本発明の第３の実施形態に係る動画像記録装置のインデキシング処理ブロックにおける処理を示したフローチャートである。
【図１２−４】図１２−２又は図１２−３に引き続き、本発明の第３の実施形態に係る動画像記録装置のインデキシング処理ブロックにおける処理を示したフローチャートである。
【図１３】フレーム管理情報に記述される項目の一例を示した図である。
【図１４】フレーム管理情報における各項目をデータベースを用いて管理した際の具体例を示した図である。
【図１５】フレーム管理情報における各項目をデータベースを用いて管理した際の具体例を示した図である。
【図１６】フレーム管理情報における各項目をデータベースを用いて管理した際の具体例を示した図である。
【図１７】フレーム管理情報における各項目をデータベースを用いて管理した際の具体例を示した図である。
【符号の説明】
【００７７】
１００、５００、９００  インデキシング処理ブロック
１０１、５０１、９０１  映像入力インターフェイス（Ｉ／Ｆ）
１０２、５０２、９０２  映像データ記録手段
１０４、５０４、９０４  メディアスイッチ
１０５、５０５、９０５  シーン検知手段
１０６、５０６、９０６  フレーム管理情報生成手段
１０７、５０７、９０７  サムネイル生成手段
１０８、５０８、９０８  フレーム管理情報記録手段
１０９、１１１〜１１３、５０９、５１１〜５１３、９０９、９１１〜９１３、９１５〜９１７  デコーダ
１１４、５１４、９１４  サイド情報取得手段
１５０、５５０、９５０  制御手段
１６０、５６０、９６０  映像データ記憶媒体
１７０、５７０、９７０  フレーム管理情報記憶媒体
５１０、９１０  画像縮小手段
【図１】
2006108916.tif 000003
【図２】
2006108916.tif 000004
【図３】
2006108916.tif 000005
【図４−１】
2006108916.tif 000006
【図４−２】
2006108916.tif 000007
【図４−３】
2006108916.tif 000008
【図５】
2006108916.tif 000009
【図６】
2006108916.tif 000010
【図７】
2006108916.tif 000011
【図８−１】
2006108916.tif 000012
【図８−２】
2006108916.tif 000013
【図８−３】
2006108916.tif 000014
【図９】
2006108916.tif 000015
【図１０】
2006108916.tif 000016
【図１１】
2006108916.tif 000017
【図１２−１】
2006108916.tif 000018
【図１２−２】
2006108916.tif 000019
【図１２−３】
2006108916.tif 000020
【図１２−４】
2006108916.tif 000021
【図１３】
2006108916.tif 000022
【図１４】
2006108916.tif 000023
【図１５】
2006108916.tif 000024
【図１６】
2006108916.tif 000025
【図１７】
2006108916.tif 000026