(57)【特許請求の範囲】
【請求項１】
複数の画像が次々と切り替えられて表示される映像の信号を受け取り、前記信号に基づいて各画像の信号レベルを検出する画像レベル検出部と、
前記各画像のデータを含むデータストリームにインデックス情報を付加するコントローラと、
を有するデータ処理装置であって、
前記映像の信号は、前記各画像のＤＣ成分のデータとＡＣ成分のデータとに基づいて符号化されたデジタル信号であり、
前記画像レベル検出部は、連続する複数の画像の各ＤＣ成分のデータに基づいて各画像の信号レベルを検出し、検出した前記各画像の信号レベルに基づいて映像の切り替わり点を特定し、前記コントローラは前記切り替わり点に対応する前記データストリーム内のデータ位置にインデックス情報を付加し、
前記画像レベル検出部は、前記各信号レベルに基づいて、前記映像のフェードインの開始点を検出し、前記切り替わり点として特定する、データ処理装置。
【請求項２】
前記画像レベル検出部は、前記各信号レベルに基づいて、前記映像のフェードアウトの終了点を検出し、前記切り替わり点として特定する、請求項１に記載のデータ処理装置。
【請求項３】
前記コントローラは、前記切り替わり点の検出を開始する検出指示を出力し、
前記画像レベル検出部は、前記検出指示に応じて、前記映像のフェードインの開始点、および、フェードアウトの終了点の少なくとも一方を検出し、前記切り替わり点として特定する、請求項２に記載のデータ処理装置。
【請求項４】
前記映像上にＧＵＩ画像を混合するＧＵＩ混合部をさらに備え、
前記コントローラは、前記ＧＵＩ混合部を介して与えられた指示に応じて前記検出指示を出力する、請求項３に記載のデータ処理装置。
【請求項５】
前記画像レベル検出部は、前記検出指示を受け取った後の最初に検出された前記映像のフェードインの開始点およびフェードアウトの終了点の一方を、前記切り替わり点として特定する、請求項４に記載のデータ処理装置。
【請求項６】
前記コントローラは、前記切り替わり点に基づいて、前記映像のチャプターを設定する、請求項２に記載のデータ処理装置。
【請求項７】
前記映像上にＧＵＩ画像を混合するＧＵＩ混合部をさらに備え、
前記画像レベル検出部は、前記ＧＵＩ混合部を介して与えられたフェードインおよび／またはフェードアウトの検出指示に応じて、前記映像のフェードインの開始点およびフェードアウトの終了点の一方を検出し、前記切り替わり点として特定する、請求項６に記載のデータ処理装置。
【請求項８】
前記映像データを含むデータストリームが記録された記録媒体から、前記データストリームを再生する再生部と、
再生された前記データストリームをデコードして前記信号を生成し、前記映像データを取得するビデオデコード部とをさらに備えた、請求項２に記載のデータ処理装置。
【請求項９】
放送波を復調して前記映像データを含むデータストリームを出力する受信部と、
前記受信部から出力された前記データストリームをデコードして前記信号を生成し、前記映像データを取得するビデオデコード部とをさらに備えた、請求項２に記載のデータ処理装置。
【請求項１０】
前記画像レベル検出部は、前記映像の全区間のうちの所定区間において、前記切り替わり点を特定する、請求項３に記載のデータ処理装置。
【請求項１１】
前記画像レベル検出部は、ユーザが指定した区間および予め設定された区間の一方の区間を前記所定区間として、前記切り替わり点を特定する、請求項１０に記載のデータ処理装置。
【請求項１２】
前記映像上にＧＵＩ画像を混合するＧＵＩ混合部をさらに備え、
前記コントローラは、前記映像の全区間のうちの所定区間に対する前記インデックス情報の設定指示を受け取って、検出指示および混合指示を出力し、
前記画像レベル検出部は、前記検出指示に応じて、前記所定区間において前記切り替わり点を特定し、
前記ＧＵＩ混合部は、前記混合指示に応じて前記所定区間の前記映像を出力するとともに、特定された前記切り替わり点の存在を表示する、請求項２に記載のデータ処理装置。
【請求項１３】
前記映像の信号は、前記各画像のＤＣ成分のデータとＡＣ成分のデータとに基づいて符号化された、ＭＰＥＧ規格に基づくデータストリームのデジタル信号である、請求項２に記載のデータ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル放送等の映像信号を再生する技術に関する。
【背景技術】
【０００２】
デジタル化されて伝送される映像や音声といった情報を光ディスク等の記録媒体に記録するデジタル記録再生装置が実用化されている。これら記録媒体に記録されるデジタル映像ビットストリームは、その記録媒体容量を効率的に利用するために、例えばＭＰＥＧ２（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等により、フレーム内データ圧縮やフレーム間データ圧縮等により圧縮されて記録されることが一般的である。
【０００３】
また、デジタル再生装置により、記録された記録媒体を再生する際には、特別に頭出しをして再生したい再生開始位置をメモリや記録媒体に保存しておき、ユーザの好みに応じて自由に設定した再生開始位置から頭出し再生を行うことが可能である。また、特に複数回の書き換えが可能なデジタル記録再生装置においては、ユーザの好みに応じて、記録した映像や音声を切り取ったり、結合したりする編集機能を実現することが特に要望され、実用化されている。また、この編集作業においては、特にＴＶ放送から記録した番組に挿入されるコマーシャルを切り取る編集を行うことが多く想定される。
【０００４】
また、同じような考え方で、再生時にコマーシャル部分を早送りによりスキップしたいという要望も存在する。いずれもＴＶ放送から記録した番組の本編と挿入されたコマーシャルの境界を自動的に検出することが必要となる。したがって、ＴＶ放送の番組とコマーシャル部分の境界で記録した映像音声信号にインデックス点を打ち、再生時に自動的に早送りを行ってスキップするといった記録再生装置が考案されている。
【０００５】
以下、図７を参照しながら、従来の記録再生装置１７０の構成および動作を説明する。
【０００６】
図７は、従来の記録再生装置１７０の機能ブロックの構成を示す。記録再生装置１７０は、アンテナ７１と、デジタルチューナー７２と、記録再生部７３と、マイクロコントローラ３と、ストリーム分離部４と、ビデオデコード部５と、フレーム記憶部６と、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）混合部８と、ビデオ出力端子９と、オーディオデコード部１０と、オーディオ出力端子１１とを有する。記録媒体１として、例えば光ディスクを想定する。
【０００７】
記録再生装置１７０では、アンテナ７１で受信した放送波を、デジタルチューナー７２で受信し、映像音声を含むデジタルビットストリームに復調する。記録再生部７３はデジタルビットストリーム信号を記録するための信号に変換して記録媒体１に記録する。記録媒体１に記録されるデジタル映像・音声信号は記録されると同時に並行して、ストリーム分離部４で映像と音声ビットストリームにそれぞれ分離される。そして、それぞれビデオデコード部５およびオーディオデコード部１０へ入力される。ビデオデコード部５では、入力されたビデオビットストリームはフレーム記憶部６を用いてデコードされ、再生デコード画像を得る。
【０００８】
デコードされた画像は、ＧＵＩ混合部８において、必要な場合にはユーザとの機器操作インターフェイスを画面上に表示させるＧＵＩ画像を付加して、ビデオ出力端子９から出力され、ＴＶ等に接続される。オーディオデコード部１０でデコードされたオーディオ信号はオーディオ出力端子１１から出力され、ＴＶ等に接続される。この時、オーディオのモードがステレオからモノラル、あるいはデュアルモノラル（２ヶ国語放送）というように変化する時をオーディオデコード部１０で検出し、マイクロコントローラ３へ通知する。
【０００９】
マイクロコントローラ３は、記録時に検出したオーディオのモードの変化点において、インデックス点を示すインデックス信号を記録媒体１に記録する。したがって、放送番組の本編がデュアルモノラル（２ヶ国語）またはモノラルであり、コマーシャルがステレオ放送であった場合あるいはその逆のような場合において、本編とコマーシャルの境界でインデックス信号を記録することが可能となる。
【００１０】
したがって、再生時にインデックス信号を検出する毎に通常再生から早送り再生、早送り再生から通常再生と再生モードを自動的に切り換えることで、コマーシャルの自動早送り再生や、コマーシャル以外の自動早送り再生といった機能が実現できる。
【００１１】
本例ではデジタル放送と光ディスク記録媒体を利用した記録再生装置を例にあげたが、アナログ放送とデジタルＶＴＲ等の記録再生装置であってもまったく同様の構成で自動コマーシャルスキップ再生機能が実現できる。また、インデックス点の位置（インデックス信号が検出されたデータ位置）に基づいてユーザが編集を行って、コマーシャルカット機能を実現することも可能である。
【特許文献１】特開平６−２９５４８８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかし、この場合オーディオモードの切り替わり点の検出により本編とコマーシャルの境界を検出するため、映像の切り替わり点と完全に一致することは少ない。そのため１フレーム単位でコマーシャルカット編集を実現したい場合などは、コマーシャル境界がずれてしまい、コマーシャルの１シーンが一瞬だけ挿入されたり、本編がカットされてしまったりする等の問題があった。また、オーディオのモードが切り替わるコマーシャルのみにしか適用できず、アナログ放送の映画番組（二ヶ国語放送）等を除く多くの放送では適応できないという問題もあった。
【００１３】
本発明の目的は、記録再生装置においてコマーシャルスキップやコマーシャルカット編集に用いるために自動的に検出するコマーシャルと本編の境界を、１フレーム単位の高い精度で検出することである。
【課題を解決するための手段】
【００１４】
本発明によるデータ処理装置は、複数の画像から構成される映像の信号を受け取り、前記信号に基づいて所定の画像の信号レベルを検出する画像レベル検出部と、前記画像のデータを記憶するフレーム記憶部と、インデックス情報を付加するコントローラとを有する。前記画像レベル検出部は、連続する複数の画像の各信号レベルに基づいて映像の切り替わり点を特定し、前記コントローラは前記切り替わり点に対応する前記データストリーム内のデータ位置にインデックス情報を付加する。
【００１５】
前記画像レベル検出部は、前記各信号レベルに基づいて、前記映像のフェードインの開始点、および、フェードアウトの終了点の少なくとも一方を検出し、前記切り替わり点として特定してもよい。
【００１６】
前記コントローラは、前記切り替わり点の検出を開始する検出指示を出力し、前記画像レベル検出部は、前記検出指示に基づいて前記映像のフェードインの開始点、および、フェードアウトの終了点の少なくとも一方を検出し、前記切り替わり点として特定してもよい。
【００１７】
前記データ処理装置は、前記映像上にＧＵＩ画像を混合するＧＵＩ混合部をさらに備えていてもよい。前記コントローラは、前記ＧＵＩ混合部を介して与えられた指示に基づいて前記検出指示を出力してもよい。
【００１８】
前記画像レベル検出部は、前記検出指示を受け取った後の最初に検出された前記映像のフェードインの開始点およびフェードアウトの終了点の一方を、前記切り替わり点として特定してもよい。
【００１９】
前記コントローラは、前記切り替わり点に基づいて、前記映像のチャプターを設定してもよい。
【００２０】
前記データ処理装置は、前記映像上にＧＵＩ画像を混合するＧＵＩ混合部をさらに備えていてもよい。前記画像レベル検出部は、前記ＧＵＩ混合部を介して与えられたフェードインおよび／またはフェードアウトの検出指示に基づいて、前記映像のフェードインの開始点およびフェードアウトの終了点の一方を検出し、前記切り替わり点として特定してもよい。
【００２１】
前記映像の信号は、前記画像のＤＣ成分とＡＣ成分とに分解したデータに基づいて符号化されたデジタル信号であり、前記画像レベル検出部は、前記所定の画像のＤＣ成分に基づいて前記信号レベルを検出してもよい。
【００２２】
前記映像の信号はアナログ信号であり、前記画像レベル検出部は、前記所定の画像を構成する複数の画素の各信号レベルに基づいて、前記所定の画像の信号レベルを検出してもよい。
【００２３】
前記データ処理装置は、映像データをデコードして前記信号を生成するビデオデコード部をさらに備えていてもよい。前記画像レベル検出部は、前記ビデオデコード部によって生成された前記信号を受け取ってもよい。
【００２４】
前記データ処理装置は、前記映像データを含むデータストリームが記録された記録媒体から、前記データストリームを再生する再生部をさらに備えていてもよい。前記ビデオデコード部は、前記再生部によって再生された前記データストリームから前記映像データを取得してもよい。
【００２５】
前記データ処理装置は、放送波を復調して前記映像データを含むデータストリームを出力する受信部をさらに備えていてもよい。前記ビデオデコード部は、前記受信部によって出力された前記データストリームから前記映像データを取得してもよい。
【００２６】
前記画像レベル検出部は、前記映像の全区間のうちの所定区間において、前記切り替わり点を特定してもよい。
【００２７】
前記画像レベル検出部は、ユーザが指定した区間および予め設定された区間の一方の区間を前記所定区間として、前記切り替わり点を特定してもよい。
【００２８】
前記データ処理装置は、前記映像上にＧＵＩ画像を混合するＧＵＩ混合部をさらに備えていてもよい。前記コントローラは、前記映像の全区間のうちの所定区間に対する前記インデックス情報の設定指示を受け取って、検出指示および混合指示を出力し、前記画像レベル検出部は、前記検出指示に基づいて、前記所定区間において前記切り替わり点を特定し、前記ＧＵＩ混合部は、前記混合指示に基づいて前記所定区間の前記映像を出力するとともに、特定された前記切り替わり点の存在を表示してもよい。
【発明の効果】
【００２９】
本発明によれば、再生時にデコード部でデコードされた画像のレベルに基づいてフェードイン点またはフェードアウト点を検出することにより、番組本編とコマーシャルとの境界を高い精度で検出することができる。特にユーザが指示した再生地点付近に存在する境界を検出して、その境界の位置を特定するインデックス信号を記録することで、後に行う編集作業を高精度かつ効率的に行うことができる。
【発明を実施するための最良の形態】
【００３０】
以下、添付の図面を参照して、本発明によるデータ処理装置の実施形態を説明する。実施形態１および２においては、データ処理装置は、記録媒体に録画された映像および音声等の再生処理が可能であるとともに、それらの編集処理も可能である。一般に編集処理は記録機能を利用するため、以下の実施形態においてはデータ処理装置を記録再生装置として説明する。
【００３１】
（実施の形態１）
図１は、本実施形態による記録再生装置１００の機能ブロックの構成を示す。記録再生装置１００は、記録再生部２と、マイクロコントローラ３と、ストリーム分離部４と、ビデオデコード部５と、フレーム記憶部６と、画像レベル検出部７と、ＧＵＩ混合部８と、ビデオ出力端子９と、オーディオデコード部１０と、音声出力端子１１と、アンテナ１２および１３と、受信部１４とを備えている。
【００３２】
記録再生装置１００は、映像および音声を含む番組のデータを記録媒体１に蓄積することができる。このような番組は、デジタル放送波やアナログ放送波から取得できる。
【００３３】
図１においては、アンテナ１２はデジタル放送波を受け、アンテナ１３はアナログ放送波を受けて、その放送波を受信部１４に送る。受信部１４は、アンテナ１２からデジタル放送波を受けたときはそのデジタル放送波を復調して、映像音声を含む符号化されたデジタルビットストリームを取得し出力する。また、アンテナ１３からアナログ放送波を受けたときはそのアナログ放送波を復調して、映像音声を含む、符号化されていないデジタルビットストリーム（いわゆるベースバンド信号）を生成し、出力する。
【００３４】
記録再生部２は、符号化されたデジタルビットストリームを受け取ったときは、そのデジタルビットストリームに所定の処理を加えて記録媒体１に書き込む。所定の処理とは、再生時において、受け取った順序でそのデジタルビットストリームを出力するための時刻情報の付加処理などである。
【００３５】
また記録再生部２は、符号化されていないデジタルビットストリームを受け取ったときは、そのビットストリームをＭＰＥＧ規格等に基づいて圧縮符号化して記録媒体１に書き込む。
【００３６】
以下では記録媒体１には映像および音声を含む番組が既に格納されているとする。本実施形態においては、記録媒体１はブルーレイディスクに代表される光ディスクであるとして説明する。なお、一般的には光ディスクは可換媒体であるため、記録媒体１は記録再生装置１００の構成要素ではないが、例えば記録媒体１がハードディスクのような非可換媒体であれば記録再生装置１００の構成要素として取り扱えばよい。
【００３７】
本実施形態による記録再生装置１００の特徴のひとつは、映像を構成するフレーム画像の画像レベルに基づいてフェードイン開始点やフェードアウト終了点を自動的に検出することにある。検出された開始点や終了点は映像の切り替わり点として特定されるので、ユーザは検出された点をコマーシャルと本編の境界点であるかを確認できる。データ処理装置は、ユーザによって確認された映像の切り替わり点にインデックス点を打つ（インデックス信号を挿入する）ことができる。ユーザは後に行われる編集作業時等の任意のインデックス点から再生を開始し、編集等を実行できるため、作業を効率的に行うことができる。なお、開始点、終了点、切り替わり点、境界点等は、いずれも映像の構成単位を意味している。
【００３８】
本明細書においては、フレーム画像が映像の構成単位であるとする。すなわち複数のフレーム画像が所定の周波数で次々と切り替えられて映像が表示されるとする。なお、映像の構成単位として挙げるフレーム画像は例であり、フィールド画像であってもよい。
【００３９】
記録媒体１に記録された、映像データや音声データを含むデータストリームは、マイクロコントローラ３の指示により再生部２によって再生される。ここでいう「再生」とは、記録媒体１にレーザ光を放射して反射光を取得し、その反射光から記録媒体１に記録された情報を取得することをいう。記録媒体１には記録対象の情報に応じて、ピット（またはマーク）が形成されており、ピットとピット以外の部分の光学的特性が異なることを利用して、情報を記録し、記録された情報を再生することができる。
【００４０】
再生されたデータストリームは、例えば複数のＴＳパケットから構成されたＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）のようなビットストリームである。一般にＴＳパケットは通常４バイトのトランスポートパケットヘッダと、１８４バイトのペイロードとから構成されている。パケットヘッダには、そのパケットの種類を特定するパケット識別子（パケットＩＤ）が記述されている。例えば、ビデオＴＳパケットのＰＩＤは“０ｘ００２０”であり、オーディオＴＳパケットのＰＩＤは“０ｘ００２１”である。ペイロードにはエレメンタリデータや付加情報等が格納される。エレメンタリデータは、ビデオデータ、オーディオデータ等のコンテンツデータや、再生を制御するための制御データ等である。どのようなデータが格納されているかは、パケットの種類に応じて異なる。
【００４１】
ストリーム分離部４は、上述のパケットＩＤを利用することにより、映像データを含むＴＳパケットと、音声データを含むＴＳパケットとを分離する。そして、分離された各パケットから取得される映像データおよび音声データを出力する。出力された映像データはビデオデコード部５でフレーム記憶部６を用いてデコードされ、映像信号としてＧＵＩ混合部８に伝送される。ＧＵＩ混合部８は、映像信号に対してユーザの機器操作のためのインターフェイス画像の画像信号を重畳し、複合映像信号を生成する。複合映像信号はビデオ出力端子９から出力される。一方、音声データはオーディオデコード部１０によりデコードされ、音声信号として音声出力端子１１から出力される。
【００４２】
上述の手順にしたがって、記録再生装置１００は記録媒体１に記録された映像や音声等の情報を再生して映像（画像）信号や音声信号を出力する。特にＧＵＩ混合部８は再生対象となる映像にユーザに機器操作を行わせるためのインターフェイス画像を重畳させることができる。このインターフェイス画像を通して、ユーザは任意の映像フレームに対してインデックス点を打つことができる。「インデックス点を打つ」とは、任意の映像フレームから頭出し再生を可能とするためのインデックスを設定することをいい、具体的には特定のデータ位置にインデックス信号（インデックスを示す情報）を付加または挿入することをいう。インデックス信号として、記録媒体上のアドレス情報を利用することができる。すなわち、インデックス点を打つべきデータ位置のアドレス情報を記録媒体１に別途記録しておけばよい。記録再生装置１００はそのアドレス情報を再生時に読み出すことにより、そのアドレス情報によって特定される記録媒体１上の位置からビットストリームを再生することができる。インデックス信号は、例えばマイクロコントローラ３の指示に基づいて付加し挿入される。
【００４３】
インデックス点は上記のように容易に頭出しをして再生する場合のみならず、ストリームを切断する編集作業時においても利用される。すなわちインデックス点は、そのデータ位置でストリームを分割したり、あるインデックス点からあるインデックス点までの間を削除したり、インデックス点からインデックス点までの間をチャプターと定義し、チャプター単位で順序を並べ替えたり削除する等の編集作業時に利用される。これら編集作業を行う際には、高精度なフレーム単位でインデックス点を設定できることが好ましい。
【００４４】
図２は、ＧＵＩ混合部８によって生成されるＧＵＩ画像１２の例を示す。このＧＵＩ画像１２は、ＴＶ等の表示装置の画面に表示される。本例ではウインドウ１３内に再生画像をはめ込み、再生動作を行うとこの領域に再生画像が表示される。画面上にはチャプター設定ボタン１４を設け、リモコン操作等により任意のフレームにインデックス信号を挿入して、チャプターを作成することが可能である。この時ユーザは、リモコン操作により早送りやスロー、コマ送りといった操作で所望のフレームを画面上で確認しながら探すことができ、適切なフレームに対してインデックス点を設定できる。チャプターの設定は、その先頭および末尾に対応するインデックス点を特定すればよい。
【００４５】
ユーザが画面上で終了ボタン１５を押下して作業の終了を指示すると、全体画像１２には、例えば記録番組の先頭からの時間を示す表示窓１６が表示される。また画面上には、ストリーム全体の再生時間に対応したバー１７が表示される。バーに対してはストリーム中の現在の再生点１８が示される。これらの表示に基づいて、ユーザは所望の再生地点を探す際にこれらの情報を補助的に利用できる。さらにバーに対しては、インデックス信号が挿入されたストリーム内の時間位置を模式的に表示している。ＧＵＩ画像１２を通じて、基本的にはユーザが指定した自由な再生位置にインデックス信号を記録してチャプターを作成することができる。
【００４６】
本実施形態においては、フェードイン／アウト点検出を可能とするモードに切り換えた状態、または常にフェードイン／アウト点を検出可能な状態において、ユーザがチャプター作成ボタンを押した場合にその前後Ｎ秒間のフェードイン／アウト地点を自動的に検出してチャプターを打つことが可能である。Ｎはユーザが自由に設定できてもよいし、予め指定されていてもよい。上述のように、チャプターの作成時にはインデックス信号の記録（インデックス点の設定）が行われるため、任意の区間にインデックス点を設定できる。すなわち、チャプター作成ボタンの押下により、ユーザからのインデックス点の設定およびチャプターの作成が指示される。
【００４７】
ここで、図３を参照しながらフェードイン／アウト点検出の仕組みを説明する。図３（ａ）および（ｂ）は、画像レベル検出部７の出力信号を示す。画像レベル検出部７は、図３（ａ）の時刻２０〜３２および図３（ｂ）の時刻３３〜４５のタイミングで画像のレベルを検出し、その結果を出力している。この「画像」とは映像の構成単位であり、フレームなどとも呼ばれる。複数の画像が所定の周波数（例えばＮＴＳＣ方式では３０Ｈｚ）で次々と切り替えられることにより、映像として表示される。図示される各時刻の間隔は映像１フレームあたりの表示時間である。すなわち図３（ａ）および（ｂ）は、デコードした画像の画像レベルの変化を１フレーム毎に表している。
【００４８】
画像レベルは、例えばＭＰＥＧ２ストリームの場合は８ｘ８画素で構成されるＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）ブロックのＤＣ成分に基づいて計算される。ＭＰＥＧ２ビデオエレメンタリストリームでは、映像信号を圧縮し、ピクチャ層、スライス層、マクロブロック層の順に小さくなる階層構造で画像データが伝送される。ＤＣＴブロックはマクロブロック層において伝送される。たとえばフレーム構造では通常１フレーム画面を８ｘ８画素のＤＣＴブロックで分割した数に相当する個数だけ伝送される。
【００４９】
ＤＣＴブロックには、８ｘ８画素の平均画像レベルを表すＤＣ成分と、８ｘ８画素の周波数成分を表すＡＣ係数が順に伝送される。ビデオデコード部５においてマクロブロック層のデータをデコードするときには、たとえば画像レベル検出部７は、１フレーム画面期間においてＤＣ成分の値を加算し、あるいは平均値を計算することで、１フレーム全体のＤＣ成分の値（ＤＣＴブロック数分の画像レベルの合計値または平均値）を得ることができる。図３（ａ）および（ｂ）では、このようにして得られた値が各フレームの画像レベルとして記載されている。
【００５０】
例えば図３（ａ）は番組本編がフェードアウトしながら黒画面になり、直後にコマーシャルに切り替わる場合を示している。画像レベルはフレーム２１から２４のフレーム毎に滑らかに低くなり、フレーム２５、２６、２７等ではほぼ０に近づいた状態（フェードアウト終了時）から、コマーシャルに入った最初のフレーム２８で急激にレベルが大きくなっている。例えば画像レベル検出部７は、点線で示すような３段階のレベルを設けて画像レベルを監視する。そして、画像レベルがフレーム毎に単調減少を続け、最もレベルの低いゾーンに入った場合をフェードアウトしている状態と検出することは容易に可能である。また最もレベルの低いゾーンにあるフレーム２７から、例えば２段階を超えてレベルが大きくなっているフレーム２８については、黒画面から急に映像が始まったことを示している。したがって、この例の場合はアウト点と矢印で示すように、フレーム２７をフェードアウトした映像の最後のフレームと判定することができる。
【００５１】
同様に、図３（ｂ）にはフェードイン点を検出する場合のしくみを示している。点線で示す３段階のレベルで分けられたゾーンを１フレームのうちに越えて最もレベルの低いゾーンに入ったフレームをフレーム３８とする。その後、フレーム３９から４３にかけて、フレーム毎に画像レベルは単調増加を続けている。したがって、矢印イン点で示すようにフレーム３８までがフェードイン開始前であり、フレーム３８をフェードイン点（フェードイン開始時）と判定することが可能である。
【００５２】
これら３段階のレベル設定や判定方法は上で述べた以外にも様々な調整や判定精度を変えることでフェードイン／アウト点を検出することができる。
【００５３】
次に、図４を参照しながら、本実施形態による記録再生装置１００の動作を説明する。図４は、記録再生装置１００のチャプター登録モードの動作手順を示す。チャプター登録モードの開始時は、ユーザの指示によるインデックス点を打つ処理に入る。ステップ４９において、図２に示すＧＵＩ画像１２を表示して通常再生開始を行うと共に、ステップ５０で画像レベル検出部によるフェードイン／アウト点検出可能状態になる。さらにステップ５１においてユーザがシーンを探すために特殊再生指示を行った場合は早送りやスロー、コマ送りといった再生動作に追従する。ユーザは再生画面を見て、インデックス点を打ちたい付近でフェードイン／アウト点を見つけた場合、またはフェードイン／アウトがそろそろ出現しそうであると判断した場合に、ステップ５２においてチャプター作成を指示する。過去Ｎ秒以内にフェードイン／アウト点が出現していた場合はステップ５５に進み、ステップ５５においてフェードイン／アウト点検出を行っていた画像レベル検出部５およびマイクロコントローラ３は、その検出したフレームにインデックス点を打ちチャプターを登録する。また過去Ｎ秒以内に出現していなかった場合はステップ５４に進み、ユーザ指示点から通常再生を行ってフェードイン／アウト点を検出する。そして、ステップ５５に進んで検出したフレームにインデックス点を打ちチャプターを登録する。
【００５４】
その後、ステップ５６において終了ボタン１５が押下されたか否かが判断され、押下されていなければさらに次のインデックス点を打つ動作を継続する。終了ボタン１５が押された場合はチャプター登録モードを終了する。例えば、ＧＵＩ画面１２の表示を終了し、通常再生画面等に戻る。
【００５５】
上述のステップ５３および５５によれば、おおよその場所を探して再生しチャプター作成ボタンを押すだけで、１フレーム単位で正確に所望のフレームにインデックス点を打ってチャプターを作成することが可能となる。よって、ユーザがコマーシャルとの境界やシーンの変わり目等でフェードイン／アウト点を探してスローやコマ送りを繰り返していた手間がなくなるため、利便性が大幅に向上する。
【００５６】
インデックス点として挿入されたインデックス信号を検出することにより、そのフレームから頭出し再生をする、コマーシャルスキップ再生を行う、チャプター単位の編集を行う等の様々な機能を実現することが可能である。特に編集作業においてコマーシャルカットを繰り返し行う際に、効率的で高精度な編集点作成を行うことが可能となる。
【００５７】
なお、本実施形態ではＧＵＩ画像１２を用いて、ユーザが指示したフレーム付近でインデックス点を打つ構成を説明したが、再生中にユーザの指示なく完全に自動的にフェードイン／アウト点をすべて探してインデックス点を打つことも可能である。
【００５８】
（実施形態２）
本実施形態による記録再生装置の構成は、実施形態１と全く同様であり、図１に示される構成を持つ。よって本実施形態による記録再生装置は、引き続き「記録再生装置１００」として説明する。実施形態１では、ＧＵＩ画像１２（図２）を利用して、１つのチャプター作成指示ボタン１４でフェードイン／またはフェードアウト点を探してインデックス点を打つとして説明した。
【００５９】
本実施形態においては、ユーザがフェードイン点、またはフェードアウト点を明示的に指示して検出を行い、インデックス点を打つことが可能である。図５は、本実施形態によるＧＵＩ画像５７の例を示す。ＧＵＩ画像５７が実施形態１によるＧＵＩ画像１２（図２）と異なるのは、チャプター設定ボタン１４に代えてイン点検出ボタン４６およびアウト点検出ボタン４７を備えていることにある。それぞれのボタンを選択してユーザが指示することで、記録再生装置１００はフェードイン点およびフェードアウト点を別個に検出し、それぞれに対してインデックス点を打つことができる。
【００６０】
次に、本実施形態による記録再生装置１００の動作を説明する。図６は、記録再生装置１００のチャプター登録モードの動作手順を示す。チャプター登録モードの開始時は、ユーザの指示によるインデックス点を打つモードに入る。ステップＳ５９において、図５に示すＧＵＩ画像５７を表示して通常再生開始を行うと共に、ステップ６０において画像レベル検出部によるフェードイン／アウト点検出状態になる。さらにステップ６１においてユーザがシーンを探すために特殊再生指示を行った場合は早送りやスロー、コマ送りといった再生動作に追従する。ユーザは再生画面をみて、インデックス点を打ちたい付近でフェードイン／アウト点を見つけた場合、またはフェードイン／アウトがそろそろ出現しそうであると判断した場合に、ステップ６２においてチャプター作成を指示する。
【００６１】
このとき、ユーザはフェードイン点を見つけたいのか、フェードアウト点を見つけたいのかを選択してボタン４６または４７を押す。ステップ６３において、いずれのボタン４６または４７が押されたかを判定し、フェードイン点検出指示４６が押された場合はステップ６４に進む。ステップ６４においてフェードイン点検出を行っていた画像レベル検出部５とマイクロコントローラ３は、ステップ６８に進んでその検出したフレームにインデックス点を打ちチャプターを登録する。また過去Ｎ秒以内に出現していなかった場合はステップ６５に進み、ユーザ指示点から通常再生を行ってフェードイン点を検出する。そしてステップ６８において検出したフレームにインデックス点を打ちチャプターを登録する。
【００６２】
同様にフェードアウト点検出指示４７が押された場合は、ステップ６６に進む。フェードアウト点検出を行っていた画像レベル検出部５とマイクロコントローラ３は、過去Ｎ秒以内にフェードアウト点が出現していた場合はステップ６８に進んで、その検出したフレームにインデックス点をうちチャプターを登録する。また過去Ｎ秒以内に出現していなかった場合はステップ６７に進み、ユーザ指示点から通常再生を行ってフェードアウト点を検出する。そしてステップ６８において検出したフレームにインデックス点を打ちチャプターを登録する。
【００６３】
その後、ステップ６９において終了ボタン１５が押下されたか否かが判断され、押下されていなければさらに次のインデックス点を打つ動作を継続する。終了ボタン１５が押された場合はチャプター登録モードを終了する。例えば、ＧＵＩ画面５７の表示を終了し、通常再生画面等に戻る。
【００６４】
上述のステップ６３〜６８によれば、おおよその場所を探して再生し、かつフェードイン点かフェードアウト点かを選択してボタンを押すだけで１フレーム単位で正確に所望のフレームにインデックス点を打ってチャプターを作成することが可能となる。すなわち、番組本編からコマーシャルへ切り替わる点ではフェードアウトされることが多く、コマーシャルから番組本編へ切り替わる点ではフェードインされることが多いので、これらの場所でインデックス点を打ちたい場合、あらかじめフェードインかフェードアウトを選択して確実に番組境界を検出することが可能である。また、番組本編とコマーシャルの境界だけでなく、例えば歌手のプロモーションビデオの最初と最後、あるいは映像シーンの最初と最後といったフェードインで始まりフェードアウトで終わるようなフレームにインデックス点を効率的に打つことができる。よって、ユーザがコマーシャルとの境界やシーンの変わり目等でフェードイン／アウト点を探してスローやコマ送りを繰り返していた手間がなくなるため、利便性が大幅に向上する。
【００６５】
インデックス点が打たれた後は、実施形態１においても説明したと同様、インデックス点として挿入されたインデックス信号を検出することにより、そのフレームから頭出し再生をする、コマーシャルスキップ再生を行う、チャプター単位の編集を行う等の様々な機能を実現することが可能である。また、編集作業においてコマーシャルカットを繰り返し行う際に、効率的で高精度な編集点作成を行うことも可能となる。
【００６６】
なお、本実施形態においてもＧＵＩ画像５７を用いてインデックス点をユーザが指示した再生フレーム付近で打つ構成を説明したが、再生中にユーザの指示なく完全に自動的にフェードイン／アウト点をすべて探してインデックス点を打つことも可能である。
【００６７】
実施形態１および２においては、図１に示す再生機能に関連する処理のみを説明した。しかしこれは、従来例図７のような記録機能をもつ記録再生装置の構成を排除するものではない。記録機能を利用してインデックス点を打つ態様としては、例えば記録時において自動的にフェードイン／アウト点を検出してインデックス点を打ってもよい。ビデオデコード部を用いて画像をデコードしているため、記録時にも同様の処理が可能だからである。
【００６８】
なお、実施形態１および２共に、チャプター登録モードのＧＵＩ画像では、フェードイン／フェードアウト点を自動的に検出するボタンのみを表示しているが、通常のユーザが明確に指示したフレームにインデックス点を打つボタンを同時に表示し、ユーザがさらに動作の選択を行って実行させてもよい。
【００６９】
また、フェードイン、フェードアウト点を画像が黒レベル、すなわちレベルが低くなる部分を検出してインデックス点を打つとして説明したが、画像が白レベル、すなわちレベルが高くなる部分を検出してインデック信号を打つモードを併せ持ち、切り換え動作させてもよい。
【００７０】
また実施形態１および２共に、デジタル信号をデコードする際に画像レベルを検出する。この処理は、デジタル放送番組をデジタル情報として記録し、再生するときのみならず、アナログ放送番組をデジタル化して記録し、再生するときであっても適用できる。
【００７１】
さらに、上述の処理は、アナログ放送番組をデジタル化することなく記録し再生するときであっても適用可能である。具体的には、アナログ映像信号の画像レベルを検出して、インデックス点を打つことができる。
【００７２】
アナログ映像信号の映像にインデックス点を打つときには、Ａ／Ｄコンバータとアナログ信号用の画像レベル検出部が必要である。このＡ／Ｄコンバータは、アナログ映像信号をデジタル映像信号に変換する機能を有しており、たとえば記録再生部２にも含まれている。
【００７３】
またアナログ信号用の画像レベル検出部は、たとえば図１の画像レベル検出部７の位置に配置され、得られたデジタル映像信号の画像レベルを検出する機能を有している。ただし、得られたデジタル映像信号はＭＰＥＧ２ストリームではなく、符号化されていないため、上述のＤＣ成分を利用した処理はできない。
【００７４】
そこで画像レベル検出部は、画像を構成する複数の画素の各画像レベルをサンプリングし、１フレームの平均画像レベルを算出する。この平均画像レベルを上述のＤＣ成分の平均値に対応する値として利用すれば、画像レベル検出部はフェードイン点／フェードアウト点を検出できる。
【００７５】
実施形態１および２における記録再生装置１００の動作は、図４または図６に示す処理手順を規定したコンピュータプログラムに基づいて実現される。例えばマイクロコントローラ３は、そのようなコンピュータプログラムを実行することによって記録再生装置１００の各構成要素を動作させ、上述した処理を実現することができる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録して市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。これにより、コンピュータシステムを、上述のデータ処理装置と同等の機能を有する再生装置として動作させることができる。
【産業上の利用可能性】
【００７６】
本発明による記録再生装置は、画像のレベルを検出することによってフェードイン／フェードアウト点を検出し、番組本編とコマーシャルとの境界等の映像の境界を高い精度で検出することができる。この境界をインデックス点として登録することにより、後の編集作業を効率的に行うことが可能な記録再生装置を得ることができる。
【図面の簡単な説明】
【００７７】
【図１】実施形態１による記録再生装置１００の機能ブロックの構成を示す図である。
【図２】ＧＵＩ混合部８によって生成されるＧＵＩ画像１２の例を示す図である。
【図３】（ａ）および（ｂ）は、画像レベル検出部７の出力信号を示す図である。
【図４】実施形態１による記録再生装置のチャプター登録モードの動作手順を示すフローチャートである。
【図５】実施形態２によるＧＵＩ画像５７の例を示す図である。
【図６】実施形態２による記録再生装置のチャプター登録モードの動作手順を示すフローチャートである。
【図７】従来の記録再生装置１７０の機能ブロックの構成を示す。
【符号の説明】
【００７８】
１  記録媒体
２  再生部
３  マイクロコントローラ
４  ストリーム分離部
５  ビデオデコーダ
６  フレーム記憶部
７  画像レベル検出部
８  ＧＵＩ混合部
９  映像出力端子
１０  オーディオデコーダ
１１  音声出力端子
１２  ＧＵＩ画像
１３  ウインドウ画面
１４  チャプター設定ボタン
１５  終了ボタン
１６  時間情報
１７、１８  ストリーム全体の現在位置表示
１９  インデックス信号の位置
２０〜４５  画像レベル検出部の出力
４６  In点検出ボタン
４７  Out点検出ボタン
７１  アンテナ
７２  デジタルチューナー
７３  記録再生部
【図１】
0004932493.tif 000002
【図２】
0004932493.tif 000003
【図３】
0004932493.tif 000004
【図４】
0004932493.tif 000005
【図５】
0004932493.tif 000006
【図６】
0004932493.tif 000007
【図７】
0004932493.tif 000008