(57)【特許請求の範囲】
【請求項１】
音声サウンドトラックを伴う映像信号用の入力端子と該入力端子を介して受信された映像信号中のシーンチェンジを検出する手段とを有する映像シーンチェンジ検出装置であって、
前記シーンチェンジを検出する手段は、
前記音声サウンドトラックを受信しフィルタ処理するように結合され、背景音声信号レベルを周期的に決定するフィルタ手段と、
前記フィルタ手段が供給する前記背景音声信号レベルを受信するように結合され、前記決定された背景レベルの記録を保持する第１の記憶手段と、
前記フィルタ手段が供給する現在の背景音声信号レベルを受信するように結合された第１の入力と、前記第１の記憶手段からの出力を受け取るように結合された第２の入力とを有し、前記現在の背景レベルが記憶された最後の背景レベルと予め定められた量より大きく相違するとき、シーンチェンジをフラグする比較手段とを有することを特徴とする映像シーンチェンジ検出装置。
【請求項２】
請求項１記載の装置であって、前記第１の記憶手段は最後のＮ個（Ｎ≧２）の決定された背景レベルの記録を保持するよう構成され、前記装置は、さらに、前記第１の記億手段に結合され前記最後のＮ個の決定された背景レベルから平均背景音声信号レベルを発生する平均化手段を有し、前記比較手設が前記現在の背景レベルが前記決定された平均背景レベルと前記予め定められた量より大きく相違するとき、シーンチェンジをフラグするように構成されていることを特徴とする映像シーンチェンジ検出装置。
【請求項３】
請求項１または２記載の装置であって、映像信号の個々のフレームを識別することができ、且つ音声背景レベルの検出された不連続に対して予め定められた基準を満たすフレームをシーンチェンジフレームとしてフラグするように構成された手段をさらに有することを特徴とする映像シーンチェンジ検出装置。
【請求項４】
請求項３記載の装置であって、前記映像データはＭＰＥＧ標準方式に従って符号化され、前記予め定められた基準は、シーンチェンジフレームを音声背景レベルの不連続に続いて検出された最初のＩフレームとするものであることを特徴とする映像シーンチェンジ検出装置。
【請求項５】
請求項３記載のシーンチェンジ検出装置とリムーバブル記録キャリアに受信音声および映像信号を記録する記録手段とを有することを特徴とする映像記記録装置。
【請求項６】
請求項５記載の装置であって、さらに、前記シーンチェンジ検出装置および前記記録手段に結合されたプロセッサ手段を有し、該プロセッサ手段が前記シーンチェンジフレームと前記記録キャリア上のそれらの記録位置のリストを生成し、該リストを前記記録キャリアに記憶することができるように構成されていることを特徴とする映像記録装置。
【請求項７】
請求項６記載の装置であって、さらに、前記記録キャリアからの音声および映像信号を再生し、前記記録キャリアがシーンチェンジフレームのリストを含むかどうかを識別し、もしそうなら、ユーザ制御Ｉのもとに１つ以上のシーンチェンジフレームを識別し、前記１つ以上の各フレームを表示手段を介してユーザに提示することができるように構成されていることを特徴とする映像記録装置。
【請求項８】
請求項７記載の装置であって、さらに、一連のシーンチェンジフレームを前記記録キャリアから抽出し、縮小し、予め定められた配列で静的メニュスクリーンとして表示するよう構成された画像データ処理手段を具えることを特徴とする映像記録装置。
【請求項９】
請求項８記載の装置であって、さらに、ユーザが前記メニュスクリーン上の複数のシーンチェンジフレームから１つのフレームを選択できるユーザ操作可能な入力手段を有し、前記装置が選択されたシーンチェンジフレームから記録キャリアに記億された映像の再生を開始するように構成されていることを特徴とする映像記録装置。
【請求項１０】
音声サウンドトラックを伴う映像信号中の映像シーンチェンジを検出する方法であって、当該方法は、
音声サウンドトラックを周期的にフィルタリングして背景音声信号レベルを決定するステップと、
現在の背景音声レベルと前に決定された背景音声信号レベルとを比較して背景レベルの不連続部を識別するステップと、
背景音声レベルの不連続部またはその直後にはじまる映像信号を新しい映像シーンの第１のフレームとしてフラグするステップと、
を含むことを特徴とする映像シーンチェンジの検出方法。
【請求項１１】
音声および映像データと、シーンチェンジフレームのリストとを有する記録キャリアを作成する方法であって、
音声音響トラックを伴う映像信号を受け取るステップと、
請求項１０に記載の方法を用いて、前記入力を介して受け取った前記映像信号のシーンチェンジを検出するステップと、
前記映像信号とそれに伴う音声音響トラックとを前記記録キャリアに記録するステップと、
シーンチェンジフレームのリストを前記記録キャリアに記録するステップとを有する方法。
【請求項１２】
請求項１１に記載の方法であって、
前記記録キャリアはＤＶＤ−ＲＡＭ標準に従う光ディスクである方法。
【発明の詳細な説明】
この発明は音声および映像（ＡＶと称す）データストリームを処理し記録するのに使用される方法および装置、特に、これに限定されないが、シーンチェンジの自動検出および自動記録（ロギング）に関するものである。
幾つかの先行刊行物でシーンチェンジまたはシーンカットと呼ばれているものと本明細書で使用されるこれら言葉の意味との間の差異を以下に説明する。これら先行刊行物では、シーンチェンジ（編集点およびショットカットとも呼ばれる）とは映像の編集により生ずる映像ストリーム中の不連続部やシーン中のカメラショットの変化を示すものとして使用されてきたが：ここでは必要に応じてこのような事例をショットチェンジまたはショットカットと称する。本明細書ではシーンチェンジ（またはシーンカット）は表示材料中の前後関係や背景（コンテキスト）の変化を伴う点であるものとする。例えば、あるシーンは、会話してい２人の俳優を、それぞれの俳優の顔にフォーカスされた２つのカメラともっと広いまたは異なるアングルショットを与える１以上の付加的カメラとの間で繰り返えしショットチェンジして見せることができる。シーンチェンジは演技の位置や時間に変化がある時にのみに発生する。連続する映像フィールドまたはフレームの内容を比較してショットカットを検出するシステムは、映像プリンタの分野で既知である（ＵＳ４，９２０，４２３号明細書参照：この文献では中断を“シーン遷移”と称している）とともに、フォーマット変換システムの分野において既知である（ＥＰ−Ａ０，６８５，９６８号公報参照：フィールド組み合わせの不整合を避けるための編集点検出と補正）。
映像テープロギングにおける不連続部検出に使用される別の例がＤｕｂｎｅｒ他による国際特許出願ＷＯ９４／１１９９５号公報に記載されている。これに記載されている装置は、映像データおよび付随音声サウンドトラックの両者を記録する映像テープレコーダと一緒に、映像データを同時に受信するように結合されたデータ処理システムを具え、該データ処理システムがカット点で映像フレームをキャプチャーしそれを映像テープとは別に、例えばシステムをホスト処理するパーソナルコンバータのハードディスクに記憶することにより検出カット点のインデックスを発生させている。Ｄｕｂｎｅｒのシステムは監視カメラ、特に通常は無人の場所の長い一連の画像を記録する必要がある監視カメラからの映像信号をロギングするのに適していると説明されている。ここでも、連続するフレームからの画素値の比較を用いて可能な関心ある“中断”点を識別しているが、この場合これはシーン内容の変化（例えば視野内に発生する突然の動き）であり、これがフラグされる。データ処理要求を簡単化するために、比較は連続するフレームの小さな部分間でのみ行い、連続するフレームの小さな部分間の変化について数値を導出し、予め定められた閾値を越える値をショットカット又はシーン内容の顕著な変化を表すものとしている。
記載されている種々の実施例では、Ｄｕｂｎｅｒシステムは複数のキャプチャーフレームの縮小フレームからなるスクリーン表示を提供し、これらのフレームの全てをスクロールしたり選択する機能を備えている。映像テープのもとのフレームの位置を示すタイムスタンプに加えて、該フレームが次に選択される時に呼び出すべきコメントを打ち込むことにより、選択されたフレームに注釈を付す手段を備えている。さらに、一連のキャプチャーフレームに付随する音声波形のグラフ表示を提供する他の注釈機能を有し、ユーザはその波形表示にマーカを置いてシステムにより記録すべき付加的なカット点を示すことができる。
Ｄｕｂｎｅｒシステムは映像ストリームの監視および編集に対して多くの有用な特徴を提供するが、シーンカットとショットカットを区別することができず、両者を同一に取り扱っている。このような区別を行うシステムの要望があり、特に複雑な映像編集および記録装置に加えて、家庭用映像記録機器に使用可能なこの種のシステムの要望があることが認識された。
従って、本発明の目的は映像ストリーム中のシーンチェンジを検出しそれをショットカットと区別することができる手段を提供することにある。
さらに本発明の目的は記録された映像ストリーム中のシーンチェンジを検出し区別することができる映像記録手段を提供せんとするものである。
この目的を達成するために、本発明の第１の態様は、音声サウンドトラックを伴う映像信号の映像シーンチェンジを検出する方法であり、該方法は、
音声サウンドトラックをフィルタリングして背景音声信号レベルを周期的に決定するステップと、
現在の背景音声レベルと前に決定された背景音声信号レベルを比較して背景レベルの不連続部を識別するステップと、
背景音声不連続部またはその直後に始まる映像信号フレームを新しい映像シーンの第１のフレームとしてフラグするステップと、
を含むことを特徴とする。
シーンチェンジは一般に、音声背景レベルの不連続部を検出することにより、背景音声レベルが一般にほぼ一定のままになる単なるショットチェンジから識別し区別することができる。
本発明の他の態様は、音声サウンドトラックを伴う映像信号のための入力端子と当該入力端子を介して受信された映像信号のシーンチェンジを検出する手段とを具える映像シーンチェンジ検出装置であり、前記シーンチェンジ検出手段は、前記音声サウンドトラックを受信しフィルタリングして背景音声信号レベルを周期的に決定するフィルタ回路と、最後に決定された背景レベルの記録を保持する第１の記憶手段と、現在の背景レベルが記憶された最後の背景レベルと所定値より大きく相違するときシーンチェンジをフラグする比較手段とを具えることを特徴とする。
個々の背景レベル値の計算誤りにトレランスを導入するため、第１の記憶手段はさらに最後のＮ個（Ｎ≧２）の決定された背景レベルを保持するように構成することができ、前記装置は、さらに、前記第１の記憶手段に結合され前記最後のＮ個の決定された背景レベルから平均背景音声信号レベルを発生する平均化手段を具えることができる。前記比較手段は前記現在の背景レベルが前記決定された平均背景レベルと前記予め定められた量より大きく相違するとき、シーンチェンジをフラグするように構成することができる。
前記決定装置は、さらに、映像信号の個々のフレームを識別することができ且つ音声背景レベルの検出された不連続部に対して予め定められた基準を満たすフレームをシーンチェンジフレームとしてフラグするように構成された手段を具えることができる。映像データがＭＰＥＧ標準に従って符号化されている場合には、前記予め定められた基準は、シーンチェンジフレームを音声背景レベルの不連続部に続いて検出された最初のＩフレームとするのが適切である。
本発明の他の態様は、上記のシーンチェンジ検出装置を、受信音声および映像信号をリムーバブル記録キャリア上に記録する記録手段と一緒に具える映像記録装置を提供する。
このような映像レコーダでは、前記シーンチェンジ検出装置および前記記録手段に結合されたプロセッサ手段が設けられ、該プロセッサ手段は前記シーンチェンジフレームと前記記録キャリア上のそれらの記録位置のリストを生成することができる。プロセッサ手段は、好ましくは、さらに該シーンチェンジフレーム位置のリストを記録キャリアに記憶することができる。
上述の映像記録装置は、さらに、記録キャリアからの音声および映像信号を再生できるものとする。この場合には、前記記録キャリアがシーンチェンジフレームのリストを含むかどうかを識別し、もしそうなら、ユーザ制御のもとに１つ以上のシーンチェンジフレームを識別し、前記１つ以上の各フレームを表示手段を介してユーザに提示することができるように構成することができる。このような提示を達成するために、この装置は、さらに、一連のシーンチェンジフレームを前記記録キャリアから抽出し、縮小し、予め定められた配列で静的メニュスクリーンとして表示するよう構成された画像データ処理手段を具えることができる。このようなメニュスクリーンの機能を向上させるために、この装置は、さらに、ユーザが前記メニュスクリーン上の複数のシーンチェンジフレームから１つのフレームを選択できるユーザ操作可能な入力手段（例えば、マウスまたはジョイスチックコントローラ）を具え、選択されたシーンチェンジフレームから記録キャリアに記憶された映像の再生を開始するように構成することができる。
本発明は、さらに、上記の装置により記録された音声および映像データとシーンチェンジフレームのリストを有する記録キャリアを提供する。好適な実施例では、映像テープと比較して速いアクセス時間が可能であることを考慮して、この記録キャリアはＤＶＤ−ＲＡＭまたは同等の標準に従う光学ディスクとする。
本発明のさらなる特徴および利点は、以下に記載する図面を参照し実施例により詳細に説明される。
はじめに図１を参照するに、この図は本発明の原理、すなわち背景音声レベルの変化の検出を用いてシーンチェンジをショットカットと区別する基本原理を略図的に示している。図の上部は音声信号成分の時間対振幅のグラフである。図の下部は付随映像シーケンスを示し、１つのシーンSc(N-1)の最後の数ショットSh(x-1)；Sh(x)の後に次のシーンSc(N)のはじめの数ショットSh(1)；Sh(2)；Sh(3)が続くことを示している。図示のように、図の左側の音声信号の部分は、俳優の会話やナレーションの音声特徴に起因するピークが重畳されているにもかかわらず、基本音声振幅Ａ1を有するが、図の右側の音声信号の部分は基本（背景）振幅Ａ2を有し、これらのレベル間の遷移瞬時がラインtADで示されている。
新しいシーンSc(N)の映像成分の開始前に、わずかな時間づれＬがＡ1からＡ2への背景音声レベルの遷移後に続くことに注目されたい。これは録画済音声／映像データの提示で一般に見られる特徴であり、複数のシーン（音声伴奏を伴う）を別々に記憶しオンザフライ結合するインタラクティブアプリケーションではシーンSc(N)の開始は一般にtADと一致する。決定されたtADを有するシーンSc(N)の開始を正確に決定するために、別の技術を使用することができる。映像がＭＰＥＧ標準に従う公知の配列Ｉ，ＰおよびＢフレームのような個別に符号化されたフレームと差分符号化されたフレームの混合の場合には、引き続くシーンの最初のフレームはtAD後に遭遇する最初の個別に符号化化されたフレーム（Ｉフレーム）として取るのが好適である。満足な選択に加えて、この選択は以下に説明するようにディスプレイの抽出も簡単にする。
一寸高価ではあるが、シーンSc(N)の開始を正確に決定する別の技術は、背景音声レベル検出の技術を連続するフレームの画素データの比較に基づく慣用のショットカット検出技術と組み合わて用いるものである。すべてのショットチェンジが検出されるけれども、検出される背景音声レベルの変化と一致する、或いは、その直後のショットチェンジのみをシーンチェンジとして区別し記録する。
次に図２につき説明すると、図２には本発明を具体化する音声／映像記録および再生システムのブロック線図が示されている。例えば映像テーププレーヤまたはテレビジョン放送受信機からの出力であってよい音声／映像データＡＶINのソースからの信号が音声および映像成分を分離する第１の段１０に供給される。入力音声／映像データＡＶINはまたフォーマット化段１２にも供給され、そこで中央処理ユニットＣＰＵ１４の制御のもとに、記憶すべき形態により必要とされる信号処理やフォーマット編成を行う。図示の実施例では、段１２からのフォーマット化されたデータはそれを高密度光学ディスク１８に記録する記録／再生段１６に供給される。記憶手段としての高密度光学ディスクの使用は、アクセス速度の理由で特に好適であること明らかである。
入力段１０からの分離された音声成分はフィルタ段２０に供給される。このフィルタ段２０は音声波形の振幅を周期的にサンプルし（または常時監視し）、規則正しい間隔で、導出された背景音声レベルの値をその前に導出された複数の背景レベルを保持するメモリ２２に出力する。各瞬時に導出された音声背景レベルはメモリ２２と結合された比較段２４にも供給される。比較段２４は最後の（最新の）導出背景振幅値をメモリ２２からの前導出値と比較し、実質的な差（例えば予め定められた閾値を越える大きさの差）の場合には、比較器２４はシーンチェンジＳＣをＣＰＵ１４に指示する。次に、誤った結果を回避するために、ＣＰＵ１４はクリア信号ＣＬＲをメモリ２２へ送り、最後に記憶された背景振幅値を除くすべての記憶値を削除する。
比較器２４からのシーンチェンジＳＣ信号を受信すると、ＣＰＵ１４はフォーマット化段１２を介して（前に説明したように）新しいシーンの適切な最初の映像フレームを識別し、ディスク記録／再生段１６の制御を介して、ディスク１８上のこのフレームの記憶位置を識別する。前に述べたように、新しいシーンの最初の映像フレームの識別は、入力段１０からの分離された映像成分を受信するよう結合されたフレーム内容比較手段（破線のブロックで示す）の使用により随意に行うことができる。
映像信号は実時間で受信されるので、ＣＰＵ１４はシーンチェンジフレームおよびディスク１８上のそれらの位置の表を作成し、この表も入力映像の終わりにディスク１８上に適切に記録する。ＣＰＵ１４と結合されたシステムクロック２８を随意に用いて、入力映像信号の経過時間を監視し、タイムスタンプを発生させてこれをユーザに対する付加情報として後の提示のためにシーンチェンジフレームデータの表に含めることもできる。
ディスクからのデータの再生もＣＰＵ１４により記録／再生段１６を介して制御される。ディスクから読み取られた映像および音声データを受信するため、ディスプレイ３２へ信号を出力するディスプレイドライバ３０および１つまたは複数のスピーカ３６へ音声信号を出力する音声増幅段３４がそれぞれ結合される。ＣＰＵ１４の制御のもとに、さらに局部メモリ３８に記憶されたデータを参照してディスプレイドライバ３０はディスプレイ３２にメニュスクリーンを発生することができ、それによってキャプチャーシーンチェンジフレーム（および随意の時間スタンプ）をディスク１８の内容に対するインデックスとしてユーザに提示することができる。
かかるメニュスクリーンは図３に示され、このメニュスクリーンは予め発生され記憶された表を参照してディスク１８から読み取られた８つの順次にキャプチャーされたシーンチェンジフレームＦ１〜Ｆ８を含み、これらのフレームは図に示すように大きさが縮小されて表示される。好適な配列では、装置はユーザがＣＰＵを介して表示スクリーン上でカーソル４２を動かすことができるマウスまたはジョイスティックのようなユーザ操作可能な入力デバイス４０（図２参照）を含んでいる。表示スクリーンは、表示画像Ｆ１〜Ｆ８とカーソル４２に加えて、カーソルおよびユーザ入力デバイス４０で選択することにより、または、そのボタンの上にカーソルを置くことにより駆動される複数のユーザ操作可能ボタンを含んでいる。これらボタンと関連する機能は、図示の８画像より多数の画像がキャプチャーされる可能性が大きいので、キャプチャーシーンチェンジフレームを順方向および逆方向にスクロールする手段を含めるのが好ましい。他の可能な機能はキャプチャーフレームのシーケンスの開始に戻すインストラクション、メニュスクリーンを中止する（ノーマル再生動作に戻す）インストラクションおよび表示されたシーンチェンジフレームの選択された１つで記憶映像を再生開始するインストラクションを含んでいる。
この後者の機能と関連して、メニュからのシーンチェンジフレームの選択により該シーンチェンジフレームに続く選択された一連のフレームを再生することによってシーン内容の高速検索を可能にする利便性を提供することができる。これは比較的簡単な方法で達成でき、例えば、メニュスクリーン上のシーンチェンジフレームの位置に縮小された形で適切に表示されるＩフレーム（記録データがＭＰＥＧフォーマットである場合）を単に再生することにより達成することができる。これらシーンの縮小版は表示シーンチェンジフレームの所望の１つの上にカーソル４２を位置させることにより簡単に駆動することができる。
要約するに、音声／映像信号のシーンチェンジを（ショットカットまたは編集点と区別して）検出する装置が、このような検出を利用する映像記録およびロギング装置とともに開示されている。シーンチェンジを検出する手段は、映像信号を伴う音声サウンドトラックを受信しフィルタ処理して背景音声信号レベルを周期的に決定するためのフィルタ装置を具えている。現背景レベルと前背景レベルとを比較して、現背景レベルが前背景レベルと予め定められた量以上の差がある時シーンチェンジがフラグされる。このときシーンチェンジ位置の表を生成し、映像および音声データと一緒に記憶することができる。
以上添付図面を参照し実施例により本発明の実施の形態を説明してきたが、本発明はこれに限定されることなく発明の要旨内で各種の変形、変更の可能なことは当業者に自明であろう。
【図面の簡単な説明】
図１は音声信号レベル、映像ショットカットおよび映像シーンチェンジの間の関係を示し、
図２は本発明を具体化した音声／映像記録および再生装置のブロック線図を示し、
図３は図２の装置により発生されるスクリーン上のメニュ表示を示す。
【図１】
0004159611.tif 000002
【図３】
0004159611.tif 000003
【図２】
0004159611.tif 000004