(57)【要約】【課題】映像・音声データの途中にある特定区間の長短に係わらず安定して該区間を検出し、区間ごとの信号を分類して編集する。【解決手段】映像・音声データを受信する受信部１、映像・音声データを再生する再生部３、１１、１４を有する。そして映像の中で画面全体が単色であるフレームを検出する単色フレーム検出部１１ａ、検出したフレームの時間位置を示す再生時刻情報を記録するフレーム位置情報記録部１１ｂ、再生時刻情報により区分されたフレーム間隔が所定時間内に収まる第１の映像データと、前記所定時間をオーバーした第２の映像データとを分類して第１のファイルと、第２のファイルを構築する編集部１１ｃを有する。【選択図】      図１
2007124550.tif 000002
【特許請求の範囲】
【請求項１】
映像・音声データを受信する受信部と、
受信した映像・音声データを記録媒体に記録し、記録された前記映像・音声データを再生する再生部と、
前記再生部により再生された映像の中で画面全体が単色であるフレームを検出する単色フレーム検出部と、
前記検出したフレームの時間位置を示す再生時刻情報を記録するフレーム位置情報記録部と、
前記再生時刻情報により区分されたフレーム間隔が所定時間内に収まる第１の映像データと、前記所定時間をオーバーした第２の映像データとを分類して、前記第１の映像データ用のファイルと、前記第２の映像データ用のファイルを構築する編集部とを具備したことを特徴とする映像編集装置。
【請求項２】
音声レベル所定の時間以上、所定のレベル以下となったことを検出する無音区間検出部を備え、
前記フレーム位置記録部は、前記単色フレーム検出部により検出されたフレームの時刻と、前記無音区間の時刻が重なったときに、前記再生時刻情報を記録することを特徴とする請求項１記載の映像編集装置。
【請求項３】
前記フレーム位置記録部は、前記単色フレーム検出部が検出した連続する所定個数以上のフレームの間隔が、それぞれ所定の閾値Ａ以下である場合に、前記連続したフレームの先頭と最後のフレームの再生時刻情報を管理情報として保存することを特徴とする請求項１記載の映像編集装置。
【請求項４】
前記先頭と最後のフレームの再生時刻情報の間の映像データには、テキストデータ付与部により、テキストデータを付与することを特徴とする請求項３記載の映像編集装置。
【請求項５】
前記フレーム位置記録部は、前記単色フレーム検出部が検出した連続する所定個数以上のフレームの間隔が、それぞれ所定の時間Ｂの倍数である場合に、前記連続したフレームの先頭と最後のフレームの再生時刻情報を管理情報として保存することを特徴とする請求項１記載の映像編集装置。
【請求項６】
前記先頭と最後のフレームの再生時刻情報の間の映像データには、テキストデータ付与部により、テキストデータを付与することを特徴とする請求項５記載の映像編集装置。
【請求項７】
前記編集部は、前記分類した前記第１の映像データをコマーシャル映像データとして複数を繋げて前記第１のファイルに格納し、前記第２の映像データを本編映像データとして複数を繋げて前記第２のファイルにすることを特徴とする請求項１記載の映像編集装置。
【請求項８】
前記フレーム位置記録部は、前記単色フレーム検出部が検出した連続する所定個数以上のフレームの間隔が、それぞれ所定の閾値Ａ以下である場合に、前記連続したフレームの先頭と最後のフレームの再生時刻情報を管理情報として保存するか、または、前記単色フレーム検出部が検出した連続する所定個数以上のフレームの間隔が、それぞれ所定の時間Ｂの倍数である場合に、前記連続したフレームの先頭と最後のフレームの再生時刻情報を管理情報として保存するかのいずれか一方を採用していることを特徴とする請求項７記載の映像編集装置。
【請求項９】
前記先頭と最後のフレームの再生時刻情報の間の映像データには、テキストデータ付与部により、テキストデータを付与することを特徴とする請求項８記載の映像編集装置。
【請求項１０】
前記フレーム位置検出部は、単色フレームに移行するフェードイン状態を検出するフェードイン検出部を含み、フェードイン状態から単色フレームに変化したときを特定区間の最初とすることを特徴とする請求項１記載の映像編集装置。
【請求項１１】
前記フレーム位置検出部は、第１の単色フレームに移行するフェードイン状態を検出するフェードイン検出部を含み、フェードイン状態を検出したとき前記第１の単色フレームを特定区間の最初とし、第２の単色フレームから絵柄を含む通常フレームに移行するフェードアウト状態を検出するフェードアウト検出部を含み、フェードアウト状態を検出したときに、前記第２の単色フレームを前記特定区間の最後することを特徴とする請求項１記載の映像編集装置。
【請求項１２】
前記フレーム位置記録部は、前記単色フレーム検出部が検出した連続する所定個数以上のフレームの間隔が、それぞれ所定の閾値６０秒以下である場合に、前記連続したフレームの先頭と最後のフレームの再生時刻情報を管理情報として保存することを特徴とする請求項１記載の映像編集装置。
【請求項１３】
前記フレーム位置記録部は、前記単色フレーム検出部が検出した連続する所定個数以上のフレームの間隔が、それぞれ所定の時間１０秒もしくは１５秒のいずれかの倍数である場合に、前記連続したフレームの先頭と最後のフレームの再生時刻情報を管理情報として保存することを特徴とする請求項１記載の映像編集装置。
【請求項１４】
前記フレーム検出手段が検出する単色は、黒、白、紺、灰色のいずれかであることを特徴とする請求項１記載の映像編集装置。
【請求項１５】
映像・音声データを受信する受信部と、受信した映像・音声データを記録媒体に記録し、記録された前記映像・音声データを再生する再生部と、単色フレーム検出部と、フレーム位置情報記録部と、編集部とを有し、
前記単色フレーム検出部により、前記再生部により再生された映像の中で画面全体が単色であるフレームを検出し、
前記フレーム位置情報記録部により、前記検出したフレームの時間位置を示す再生時刻情報を記録し、
前記編集部により、前記再生時刻情報により区分されたフレーム間隔が所定時間内に収まる第１の映像データと、前記所定時間をオーバーした第２の映像データとを分類して、前記第１の映像データ用のファイルと、前記第２の映像データ用のファイルを構築することを特徴とする映像編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像編集装置と方法に関するものであり、映像・音声データの途中に含まれる特定の信号区間を検出し、映像・音声データの編集を行う装置及び方法に係わるものである。
【背景技術】
【０００２】
テレビジョン放送信号には、通常は、プログラムの境界、あるいはプログラムの途中においてコマーシャル（ＣＭ）タイムが設けられている。記録再生装置において、前記ＣＭ区間を、検出する方法としてし、本編とＣＭ区間である特定区間との間にあるブラックフレームを検出する方法がある。そして、ＣＭ区間の検出情報に基づいてＣＭ区間をスキップしながら本編を再生する技術がある（例えば特許文献１）。この技術ではスキップ時間が長時間続くと通常再生に戻るようになっている。
【特許文献１】特開平１１−８８３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の特定区間検出方法であると、映像の内容によっては、誤動作することがあり、信頼性の向上が要望されている。また特定区間が長い時間続くと従来の方法であると自動的に通常再生に戻ってしまうという問題がある。
【０００４】
そこで、この発明では映像・音声データの途中にある特定区間（たとえばＣＭ区間）の長短に係わらず安定して特定区間を検出し、しかも区間ごとの信号を分類して編集し、編集後の信号の取り扱いを容易にした映像編集装置と方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するためにこの発明では、映像・音声データを受信する受信部と、受信した映像・音声データを記録媒体に記録し、記録された前記映像・音声データを再生する再生部と、前記再生部により再生された映像の中で画面全体が単色であるフレームを検出する単色フレーム検出部と、前記検出したフレームの時間位置を示す再生時刻情報を記録するフレーム位置情報記録部と、前記再生時刻情報により区分されたフレーム間隔が所定時間内に収まる第１の映像データと、前記所定時間内に収まらない第２の映像データとを分類して、前記第１の映像データ用のファイルと、前記第２の映像データ用のファイルを構築する編集部とを具備したことを特徴とする。
【発明の効果】
【０００６】
上記の手段により、特定区間の長短に係わらず安定して特定区間を検出し、しかも区間ごとの信号を分類して編集し、編集後の信号の取り扱いが容易となる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照してこの発明の実施の形態を参照して説明する。図１はこの発明が適用された信号処理装置の構成例である。この信号処理装置は、例えばデジタルテレビジョン受信装置、あるいは情報記録再生装置などに適用可能である。
【０００８】
チューナ１は、例えばデジタル放送信号を受信し、受信信号を復調し、復調出力をトランスポートデコーダ２に供給する。トランスポートデコーダ２で選択された番組の映像データ・音声データはパケット毎オーディオビデオ（ＡＶ）デコーダ３に入力されて復調される。ＡＶデコーダ３で復調された音声出力は、出力端子４Ａに出力され、映像出力は、出力端子４Ｐに出力される。出力端子４Ｐの映像データには、合成回路５にて、オンスクリーンディスプレイ（ＯＳＤ）コントローラ６からの映像データが合成される場合もある。
【０００９】
ダイレクトＲＤＲＡＭ７は、ＡＶデコーダ３、或いはＯＳＤコントローラ６からのデータを一時的に格納するために利用される。ＳＤＲＡＭ８は、例えば受信信号のエラー訂正処理などを行うときに、一時的にデータを格納する場合に利用される。また、ＥＥＰＲＯＭ９は、例えば装置の機能を実行するプログラムあるいはパラメータなどを保存しておくために利用される。
【００１０】
１０は、メインバスであり、上記のトランスポートデコーダ２、ＡＶデコーダ３、ＯＳＤコントローラ６、ＳＤＲＡＭ８、ＥＥＰＲＯＭ９などに接続されている。そしてメインバス１０には、装置を統括する制御部としてのＣＰＵ１１が接続されている。さらにこの装置は、バス１０を介して外部機器と接続することが可能である。このためにメインバス１０には、モデムインターフェース１２ａ，リモコンインターフェース１２ｄ、ＡＴＡＰＩインターフェース１２ｅが接続されている。インターフェース１２ｅを介してハードディスクドライブ１３を接続することも可能である。またメインバス１０には、ＡＶエンコーダ１４が接続され、映像データを記録媒体に記録するために所定のフォーマット（例えばＤＶＤ規格）に変換することができる。
【００１１】
ここでＣＰＵ１１内部には、フレーム位置検出部１１ａ，フレーム位置情報記録部１１ｂ、編集部１１ｃが設けられている。さらにまた無音区間検出部１１ｄが設けられている。またメタデータ付与部１１ｅ、ファイル選択部１１ｆ，記録再生制御部１１ｇも設けられている。
【００１２】
上記のチューナ１、トランスポートデコーダ２は映像・音声データを受信する受信部として機能する。また、ＡＶデコーダ３、ＣＰＵ１１，エンコーダ１４などは、受信した映像・音声データを記録媒体に記録し、記録された前記映像・音声データを再生する再生部として機能する。記録媒体は、ＨＤＤ１３、メモリ８などである。
【００１３】
上記のフレーム検出部１１ａは、再生部により再生された映像の中で画面全体が単色であるフレームを検出する。フレーム位置情報記録部１１ｂは、検出したフレームの時間位置を示す再生時刻情報をＨＤＤ１３あるいはメモリ８，９に記録する。そして、編集部１１ｃは、再生時刻情報により区分されたフレーム間隔が所定時間内に収まる第１の映像データと、前記所定時間内に収まらない第２の映像データとを分類して、前記第１の映像データ用のファイルと、前記第２の映像データ用のファイルを構築する。また無音区間検出部１１ｄは、音声レベルが所定の時間以上、所定のレベル以下となったことを検出し、無音区間を検出し、その区間を示す時刻情報を生成することができる。
【００１４】
そして、フレーム位置記録部１１ｂは、単色フレーム検出部１１ａにより検出されたフレームの時刻と、無音区間の時刻が重なったときに、再生時刻情報をメモリに記録する。
【００１５】
図２には、映像ストリーム２００のフレームの並びを概念的に示している。単色フレームの場合、絵柄がないので、たとえば微分処理を行っても直流成分しか得られない。また特定の色成分の直流出力が１フレーム期間続くことになる。このことを利用して、単色フレームが検出される。単色フレームが検出されたら、その再生時刻情報がメモリに記録される。図の例では例えばフレームｆ１、ｆ２、ｆ３が単色フレームである。
【００１６】
図３には、再生時刻情報をメモリに記録する場合に、所定の条件を満足する場合に単色フレームの再生時刻情報を記録する例を示している。映像ストリームのフレームｆ３、ｆ５，ｆ６，ｆ７が、連続して単色フレームとして検出された例を示している。ここで、隣り合うフレーム間の時間をそれぞれＴ１，Ｔ２，Ｔ３とする。そしてＴ１＜Ａ，Ｔ２＜Ａ、Ｔ３＞Ａであったとする。つまり時間間隔Ｔ１，Ｔ２は、それぞれ閾値Ａより小さいが、間隔Ｔ３は、閾値Ｂより大きい。このような場合、この実施の形態では、閾値Ａよりも小さい間隔が連続している区間の最初と最後のフレームの再生時刻情報を記録するものである。
【００１７】
この実施の形態の場合は、例えば１つのコマーシャルが所定時間（閾値Ａ）よも短いことを前提としている。しかし、このようなコマーシャルが複数個、長時間連続しても、コマーシャル区間の最初と最後を検出することが可能である。
【００１８】
図４はさらに別の実施形態を示している。この例では、隣り合う単色フレームの時間間隔が所定時間の倍数である場合、その連続する区間を特定区間として決定する方法である。今、映像ストリームにおいて単色フレームｆ８、ｆ９、ｆ１０が検出されたものとする。ここで、隣り合うフレームの時間間隔がＴ４＝１０秒、Ｔ５＝２０秒であったとする。またここで参照される所定時間Ｂは、Ｂ＝１０秒であるものとする。すると、連続する時間間隔Ｔ４，Ｔ５は、それぞれ所定時間Ｂの倍数である。したがって、ｆ８と、ｆ１０の再生時刻情報がＣＭ区間の最初と最後のフレームであるものとして、この再生時刻情報をメモリに記録する。
【００１９】
図５は、さらにこの発明の他の実施の形態を示している。この例は、コマーシャル区間の最初と最後が特定された場合、その区間の映像データは、テキストデータを付与されるようにしている。テキストデータを付与するのはメタデータ付与部１１ｅである。つまりテキストデータは、再生時刻情報と関連付けて、例えばメモリに記憶される。そして映像データの再生時において、特定区間（元々はＣＭ区間）になると、映像データにテキストデータが多重されて出力される。この実施の形態は、図２、図３、図４で説明した実施の形態と組み合わせてもよいことは勿論である。
【００２０】
特定区間（ＣＭ区間）の置換方法は各種の実施形態が可能である。映像ストリームの再生中において、特定の区間になると、例えばテキストデータのみの映像を出力し、時間は常に一定にする。
【００２１】
なお上記した各実施の形態において、再生時刻情報をメモリに記録する条件としてさらに、音声データの無音区間を検出し、無音区間の時刻と再生時刻が重なったときに、前記再生時刻情報を記録ようにしてもよい。これにより、より正確に特定区間を管理することができる。
【００２２】
図６には、上記のように特定区間を検出した後、その再生時刻情報を用いて、編集部１１ｃにより、編集が行われる様子を示している。映像ストリーム２００の特定区間が決定されるが、編集を行う場合には、映像データのための第１のファイルと、特定区間の映像データ（ＣＭ映像データ）のための第２のファイルが形成される。第１のファイル２０１では、特定区間の映像データが抜き取られ、本編の映像データが繋げられている。また第２のファイル２０２では、本編の映像データが抜き取られ、特定区間の映像データ（ＣＭ映像データ）がつなげられている。もちろん両方のファイルは、記録メディアに記録されるときは、エンコーダにより符号化圧縮されて記録される。
【００２３】
図７、図８はこの発明のさらに他の実施の形態を示す説明図である。特定区間を検出する方法として、単色フレームを検出する上記の実施形態に加えて、フェードイン、フェードアウトを検出するようにしてもよい。図７ではフレームｆ３０が単色フレームであり、フレームｆ２６−ｆ２９が次第に暗くなりフェードインしている。そして単色フレームｆ３０の後に、例えばＣＭ区間が開始されている。図８では、フレームｆ４０が単色フレームであり、フレームｆ４１−ｆ４５が次第に明るくなりフェードアウトし、通常映像データ（本編の映像データ）が続いている。
【００２４】
本発明の装置では、このようにフェードインして単色フレームになったら、ＣＭ区間の開始位置であり、単色フレームからフェードアウトして本編映像になったら単色フレーム位置は、ＣＭ区間の終了位置であると判定する。そして開始位置のフレームの再生時刻情報と終了位置のフレームの再生時刻情報とを特定区間の判断情報としてメモリに記録する。
【００２５】
図９には、上記の実施形態において、再生時刻情報とともにメモリに記録される管理情報のフォーマットの例を示している。まず、単色フレームのフレーム識別子の記録エリア９０１が確保されている。図２の例で述べるとｆ１、ｆ２、ｆ３である。図３の例で述べると、ｆ４、ｆ６である、図４の例で述べるとｆ８、ｆ１０、図５の例で述べるｆ１１、ｆ１２である。次に再生時刻情報を記録するエリア９０２が確保されている。次にテキストデータの記録エリア９０３が確保されている。テキストデータとしては、例えば、次の本編（あるいはチャプター）の番組名、出演者、などの情報である。したがって、このテキストデータは、ユーザが入力してもよく、また、電子番組情報から取得して記録してもよい。
【００２６】
次の記録エリア９０４は、図８で説明した画面の方向を識別する識別子が記述されている。例えば当該フレームから前のフレームがフェードインしている場合には”１”が記述されており、当該フレームから以降のフレームがフェードアウトしている場合には、”２”が記述されている。なおフェードイン・フェードアウトは、映像データの１フレームごとの平均輝度の変化を検出し、高輝度から低輝度に次第に変化する区間、低輝度から高輝度に次第に変化する区間の検出と、広域成分のレベルの低下と増加を検出することで用意に判定することができる。
【００２７】
図１０には、本発明の装置の一実施の形態における動作例を示すフローチャートである。この動作は管理情報を作成する例であり、管理情報作成部１１ｂ１は、フレーム位置情報記録部１１ｂの中に含まれてもよい。
【００２８】
編集処理動作が開始されると、カウンタなどの初期化が行われて（ステップＳＡ１）、指定した番組に対して処理が開始される。指定した番組は、受信部で受信した映像・音声データであってもよい。さらに指定した番組は、記録媒体に記録された映像・音声データを再生部により再生して得られた信号であってもよい。
【００２９】
検査すべきフレームがあるかどうかを判定する（ステップＳＡ２）。フレームが単色フレームかどうかを判定する（ステップＳＡ３）。
【００３０】
単色フレームを検出した場合、音声レベルが所定値以下であるか、かつこの所定レベル以下を満たす期間が所定期間続いたかどうか、そして単色フレームを検出した時刻は、前記所定期間内であるかどうかを判定する（ステップＳＡ４）。この条件が満足されているときは、現在の単色フレームに関する管理情報をメモリに記録する（ステップＳＡ５）。
【００３１】
次に、単色フレームの管理情報が、複数ある場合、先の管理情報と現在の管理情報との間の時間間隔を測定した間隔測定タイマの値が所定の閾値Ａ以下であるかどうかを判定する（ステップＳＡ６）。
【００３２】
所定値Ａ以上であると、単色フレームカウンタを１にする（ステップＳＡ７）。このときのフレームがＣＭ区間の先頭候補となる。次に管理情報のテキストデータに例えばＣＭと記述する（ステップＳＡ８）。次に１つ前の単色フレームの管理情報のテキストデータを空にする（ステップＳＡ９）。
【００３３】
ステップＳＡ６において、間隔測定タイマの値が所定値Ａよりも小さい場合には、単色フレームカウンタに１を加えて（ステップＳＡ１１）、次のステップＳＡ１２に移る。ステップＳＡ１２では、単色フレームカウンタの値が所定数以下であるかどうかを判定する。所定数以下であれば、この例ではさらにＣＭ区間が続くものとして間隔測定タイマを初期化し（ステップＳＡ１３）、ステップＳＡ２に戻る。ステップＳＡ１２において、単色フレームカウンタの値が所定数を超えていれば、１つまえの単色フレームに対応する管理情報を削除し、今回の管理情報を保存する。そして今回の管理情報がＣＭ区間の最後のフレームであるとして設定する。
【００３４】
上記したようにこの発明によると、特定区間全体の長短に係わらず安定して特定区間を検出し、しかも区間ごとの信号を分類して編集し、編集後の信号の取り扱いが容易となる。なお無音区間を検出するには、音声データのレベルを監視する手段が用いられる。
【００３５】
また単色とは、黒、白、紺、灰色などいずれの色でもよいことは勿論である。さらに図１０のステップＳＡ１２で所定個数の単色フレームをカウントするとしたが、例えばこの個数は、３個である。また、図３、図４の実施形態で、所定値Ａ、所定時間Ｂを設定したが、この値Ａｈａ，例えば６０秒であり、またＢは、１０秒あるいは１５秒である。
【００３６】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００３７】
【図１】この発明が適用された信号処理装置のブロック構成を示す図である。
【図２】この発明の一実施の形態を説明するために示した映像ストリームの説明図である。
【図３】この発明の他の実施の形態を説明するために示した映像ストリームの説明図である。
【図４】この発明のさらに他の実施の形態を説明するために示した映像ストリームの説明図である。
【図５】この発明のまた他の実施の形態を説明するために示した映像ストリームの説明図である。
【図６】この発明のさらにまた他の実施の形態を説明するために示した映像ストリーム及びファイルの説明図である。
【図７】この発明のまた他の実施の形態を説明するために示した映像ストリームの説明図である。
【図８】この発明のさらにまた他の実施の形態を説明するために示した映像ストリームの説明図である。
【図９】この発明で採用された管理情報のフォーマットの例を示す説明図である。
【図１０】この発明の一動作例を説明するために示したフローチャートである。
【符号の説明】
【００３８】
１…チューナ、２…トランスポートデコーダ、３…ＡＶデコーダ、１４…ＡＶエンコーダ、１１…制御部（ＣＰＵ）、１１ａ…単色フレーム検出部、１１ｂ…フレーム位置情報記録部、１１ｃ…編集部、１１ｄ…無音区間検出部、１１ｅ…メタデータ付与部、１１ｆ…ファイル選択部。
【図１】
2007124550.tif 000003
【図２】
2007124550.tif 000004
【図３】
2007124550.tif 000005
【図４】
2007124550.tif 000006
【図５】
2007124550.tif 000007
【図６】
2007124550.tif 000008
【図７】
2007124550.tif 000009
【図８】
2007124550.tif 000010
【図９】
2007124550.tif 000011
【図１０】
2007124550.tif 000012