(57)【要約】  コンテンツ中の本編外シーンを確実に抽出可能な本編外シーン抽出装置およびそのプログラムを提供することを課題とする。  音声情報を含むコンテンツを取得するコンテンツ取得部２０と、取得したコンテンツの時間軸上における全コンテンツ区間から、音声情報に基づいて算出した音圧レベルが、所定の小音閾値以下となる小音圧区間を検索する小音圧区間検索部４１と、その検索結果に基づいて、全コンテンツ区間から、コマーシャルシーンを含む本編外シーンを抽出する本編外シーン抽出部３２と、を備え、当該本編外シーン抽出部３２は、小音圧区間検索部４１により２以上の小音圧区間が検索された場合、隣り合う小音圧区間が所定区間内に存在するか否かを判別し、隣り合う小音圧区間が所定区間内に存在する，その最初の小音圧区間の開始点から最後の小音圧区間の終了点までの連続小音圧区間を本編外シーンとして抽出するものである。
2007039998.tif 000002
【特許請求の範囲】
【請求項１】
音声情報を含むコンテンツを取得するコンテンツ取得手段と、
取得した前記コンテンツの時間軸上における全コンテンツ区間から、前記音声情報に基づいて算出した音圧レベルが、所定の小音閾値以下となる小音圧区間を検索する小音圧区間検索手段と、
前記小音区間検索手段の検索結果に基づいて、前記全コンテンツ区間から、コマーシャルシーンを含む本編外シーンを抽出する本編外シーン抽出手段と、を備え、
前記本編外シーン抽出手段は、
前記小音圧区間検索手段により２以上の小音圧区間が検索された場合、隣り合う小音圧区間が所定区間内に存在するか否かを判別し、
隣り合う小音圧区間が所定区間内に存在する場合、その最初の小音圧区間の開始点から最後の小音圧区間の終了点までの連続小音圧区間を本編外シーンとして抽出することを特徴とする本編外シーン抽出装置。
【請求項２】
前記全コンテンツ区間から、前記音声情報に基づいて算出した音圧レベルが、所定の大音閾値以上となる大音圧区間を検索する大音圧区間検索手段をさらに備え、
前記本編外シーン抽出手段は、
前記小音圧区間検索手段および前記大音圧区間検索手段の検索結果に基づいて、抽出した前記連続小音圧区間における前記大音圧区間の区間長の割合が所定割合以上であるか否かを判別し、
所定割合以上であると判別した場合に、当該連続小音圧区間を前記本編外シーンとして抽出することを特徴とする請求項１に記載の本編外シーン抽出装置。
【請求項３】
前記小音閾値、前記大音閾値、前記所定区間の区間長、前記所定割合の値のうち、少なくとも１以上の値を設定する所定値設定手段をさらに備えていることを特徴とする請求項２に記載の本編外シーン抽出装置。
【請求項４】
取得した前記コンテンツを記録するコンテンツ記録手段をさらに備え、
前記小音圧区間検索手段および前記大音圧区間検索手段は、前記コンテンツ記録手段による記録と同期して、それぞれ前記小音圧区間および前記大音圧区間を検索することを特徴とする請求項２に記載の本編外シーン抽出装置。
【請求項５】
前記全コンテンツ区間から、前記本編外シーン抽出手段により抽出した前記本編外シーンを除いた残区間の中から、前記コンテンツのダイジェストを作成するための要素となる部分シーンを抽出する部分シーン抽出手段と、
抽出した前記部分シーンを用いて、前記ダイジェストを作成するダイジェスト作成手段と、をさらに備えていることを特徴とする請求項１に記載の本編外シーン抽出装置。
【請求項６】
前記コンテンツは、映像情報を含むものであり、
前記全コンテンツ区間から、前記本編外シーン抽出手段により抽出した前記本編外シーンを除いた残区間の中から、前記コンテンツのサムネイルを作成するためのサムネイル画像を抽出するサムネイル画像抽出手段と、
抽出した前記サムネイル画像を用いて、前記サムネイルを作成するサムネイル作成手段と、をさらに備えていることを特徴とする請求項１に記載の本編外シーン抽出装置。
【請求項７】
コンピュータを、請求項１ないし６のいずれか１項に記載の本編外シーン抽出装置における各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声情報を含むコンテンツから、コマーシャルシーン等の本編外シーンを抽出する本編外シーン抽出装置およびそのプログラムに関するものである。
【背景技術】
【０００２】
近年、映像情報や音声情報を含むコンテンツ（テレビ放送番組など）を記録・再生可能な記録再生装置において、コマーシャルシーンのみを抽出して再生したり、逆に本編からコマーシャルシーンを削除して再生したりするものが知られている。例えば、特許文献１では、テレビジョン信号の中から無音声部分を検出し、当該無音声部分が所定の時間間隔（例えば１５秒）で２つ以上存在する場合、その部分をコマーシャルシーンであるものとして抽出している。
【特許文献１】特開平８―３１７３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の特許文献１に記載されたコマーシャルシーン抽出方法は、無音声部分が所定の時間間隔となる部分を抽出するため、海外放送、ＢＳ放送およびケーブルテレビなど、所定の時間間隔でコマーシャルが放送されない場合には適用できないといった問題があった。【０００４】
そこで、本発明は、コンテンツ中の本編外シーンを確実に抽出可能な本編外シーン抽出装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の本編外シーン抽出装置は、音声情報を含むコンテンツを取得するコンテンツ取得手段と、取得したコンテンツの時間軸上における全コンテンツ区間から、音声情報に基づいて算出した音圧レベルが、所定の小音閾値以下となる小音圧区間を検索する小音圧区間検索手段と、小音区間検索手段の検索結果に基づいて、全コンテンツ区間から、コマーシャルシーンを含む本編外シーンを抽出する本編外シーン抽出手段と、を備え、本編外シーン抽出手段は、小音圧区間検索手段により２以上の小音圧区間が検索された場合、隣り合う小音圧区間が所定区間内に存在するか否かを判別し、隣り合う小音圧区間が所定区間内に存在する場合、その最初の小音圧区間の開始点から最後の小音圧区間の終了点までの連続小音圧区間を本編外シーンとして抽出することを特徴とする。【０００６】
この構成によれば、音圧レベルが所定の小音閾値以下となる小音圧区間を検索し、隣り合う小音圧区間が所定区間内に存在する場合、その最初の小音圧区間の開始点から最後の小音圧区間の終了点までの連続小音圧区間を本編外シーンとして抽出するため、所定の時間間隔で放送されないコマーシャルシーンであっても、コンテンツ中の本編外シーンとして確実に抽出することができる。すなわち、海外放送、ＢＳ放送およびケーブルテレビの場合、コマーシャルの長さが一定でないことも多いが、そのような場合であっても、コマーシャル時間の長さに合わせて所定区間を設定しておくことで、１以上のコマーシャルシーンを本編外シーンとして抽出することができる。【０００７】
なお、「コンテンツ」には、映像情報および音声情報から成るもの（テレビジョン番組など）、並びに音声情報だけのもの（例えば音楽やラジオ番組など）が含まれる。また、「本編外シーン」とは、コマーシャルシーンの他、天気予報や番組コーナーなど、コンテンツの本編ではないと考えられる区間を指す。また、「隣り合う小音圧区間が所定区間内に存在する」とは、隣り合う小音圧区間の開始点間、隣り合う小音圧区間の終了点間、隣り合う小音圧区間の中心点間、先の小音圧区間の開始点から次の小音圧区間の終了点まで、先の小音圧区間の終了点から次の小音圧区間の開始点まで、のうちいずれかを指す。【０００８】
上記の本編外シーン抽出装置において、全コンテンツ区間から、音声情報に基づいて算出した音圧レベルが、所定の大音閾値以上となる大音圧区間を検索する大音圧区間検索手段をさらに備え、本編外シーン抽出手段は、小音圧区間検索手段および大音圧区間検索手段の検索結果に基づいて、抽出した連続小音圧区間における大音圧区間の区間長の割合が所定割合以上であるか否かを判別し、所定割合以上であると判別した場合に、当該連続小音圧区間を本編外シーンとして抽出することが好ましい。【０００９】
この構成によれば、検索した小音圧区間だけでなく、大音圧区間も考慮して、本編外シーンを抽出するため、より正確に本編外シーンを抽出することができる。例えば、小音圧区間にだけ基づいて本編外シーンを抽出すると、映画の静かなシーンなど本編の中の小音圧区間が連続して発生するシーンまでも抽出してしまうことがあるが、連続小音圧区間における大音圧区間の割合が所定割合以上であるものだけを抽出することで、そのような本編中のシーンを抽出してしまうことがない。なお、「連続小音圧区間における大音圧区間の区間長の割合」とは、連続小音圧区間の中に複数の大音圧区間が含まれる場合、その大音圧区間の区間長の合計が占める割合を指す。【００１０】
上記の本編外シーン抽出装置において、小音閾値、大音閾値、所定区間の区間長、所定割合の値のうち、少なくとも１以上の値を設定する所定値設定手段をさらに備えていることが好ましい。【００１１】
この構成によれば、視聴者の好みやニーズに応じて、小音圧区間の検索基準となる小音閾値、大音圧区間の検索基準となる大音閾値、連続小音圧区間の判別基準となる所定区間の区間長、並びに連続小音圧区間を本編外シーンと判別するか否かの基準となる所定割合の値を設定することができる。【００１２】
上記の本編外シーン抽出装置において、取得したコンテンツを記録するコンテンツ記録手段をさらに備え、小音圧区間検索手段および大音圧区間検索手段は、コンテンツ記録手段による記録と同期して、それぞれ小音圧区間および大音圧区間を検索することが好ましい。【００１３】
この構成によれば、コンテンツの記録に伴って小音圧区間および大音圧区間を検索するため、記録終了時には、小音圧区間および大音圧区間の検索を終えた状態となる。従って、コンテンツの記録後に小音圧区間および大音圧区間を検索する場合と比較して、その分本編外シーンの抽出に要する時間を短縮することができる。【００１４】
上記の本編外シーン抽出装置において、全コンテンツ区間から、本編外シーン抽出手段により抽出した本編外シーンを除いた残区間の中から、コンテンツのダイジェストを作成するための要素となる部分シーンを抽出する部分シーン抽出手段と、抽出した部分シーンを用いて、ダイジェストを作成するダイジェスト作成手段と、をさらに備えていることが好ましい。【００１５】
この構成によれば、コマーシャルシーンなど本編外シーンを含まない適切なダイジェストを作成することができる。なお、「ダイジェスト」とは、コンテンツの内容を要約した要約情報を指す。【００１６】
上記の本編外シーン抽出装置において、コンテンツは、映像情報を含むものであり、全コンテンツ区間から、本編外シーン抽出手段により抽出した本編外シーンを除いた残区間の中から、コンテンツのサムネイルを作成するためのサムネイル画像を抽出するサムネイル画像抽出手段と、抽出したサムネイル画像を用いて、サムネイルを作成するサムネイル作成手段と、をさらに備えていることが好ましい。【００１７】
この構成によれば、コマーシャルシーンなど本編外シーンを含まない適切なサムネイルを作成することができる。なお、「サムネイル」とは、コンテンツの内容を大まかに把握するための縮小画像を指す。また本発明は、代表サムネイルだけでなく、コンテンツ全体の内容把握を目的として一覧表示される複数のサムネイルを作成する場合にも適用可能である。【００１８】
本発明のプログラムは、コンピュータを、上記の本編外シーン抽出装置における各手段として機能させるためのものであることを特徴とする。【００１９】
このプログラムを用いることにより、コンテンツ中の本編外シーンを確実に抽出可能な本編外シーン抽出装置を実現することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る録音再生装置のブロック構成図である。
【図２】本編外シーンの抽出方法を説明する音圧レベル波形図である。
【図３】小音圧区間の検索処理を示すフローチャートである。
【図４】本編外シーンの抽出処理を示すフローチャートである。
【図５】本発明の応用例に係る録音再生装置のブロック構成図である。
【図６】部分シーンの抽出方法を説明するための音圧レベル波形図である。
【図７】ダイジェストおよびサムネイルの利用形態の一例を示す図である。
【符号の説明】
【００２１】
１０：録音再生装置，２０：コンテンツ取得部，３０：制御部，４０：音声解析部，５０：記憶部，６０：再生・表示部，６１：コンテンツ再生部，６２：ダイジェスト再生部，６３：サムネイル表示部，８１：受信アンテナ，８２：外部機器，９１：表示装置，９２：ＵＩ入力装置，ＤＨｓ：大音圧区間の開始点，ＤＨｅ：大音圧区間の終了点，ＤＳｓ：小音圧区間の開始点，ＤＳｅ：小音圧区間の終了点，ｈｌ：大音圧区間の区間長，ｓｌ：小音圧区間の区間長，ｔｐ：部分シーンの区間長，Ｔ：全コンテンツの区間長，ＴＨｂ：大音閾値，ＴＨｓ：小音閾値
【発明を実施するための最良の形態】
【００２２】
以下、添付の図面を参照して、本発明の一実施形態に係る本編外シーン抽出装置およびそのプログラムについて説明する。本発明は、コンテンツに含まれる音声情報に基づいて、コマーシャルシーンなど本編以外のシーンを抽出することを課題としたものであり、まず音圧レベルが所定の小音閾値以下となる小音圧区間を検索しておき、任意の隣り合う小音圧区間が所定区間内に存在する，その最初の小音圧区間の開始点から最後の小音圧区間の終了点までの連続小音圧区間を本編外シーンとして抽出することを特徴とするものである。そこで、本発明の本編外シーン抽出装置を、映像情報および音声情報を含むコンテンツの記録および再生を行う記録再生装置に適用した場合を例に挙げて説明する。【００２３】
図１は、本発明の一実施形態に係る記録再生装置１０のブロック構成図である。同図に示すように、記録再生装置１０は、外部からコンテンツを取得するコンテンツ取得部２０と、各種制御を行う制御部３０と、音声情報に基づく解析を行う音声解析部４０と、各種情報を記憶する記憶部５０と、放送コンテンツや各種情報の再生および表示を行う再生・表示部６０と、から成る。【００２４】
コンテンツ取得部２０は、受信アンテナ８１から、地上波、ＢＳ、ＣＳ等のテレビジョン放送を受信する場合やケーブルテレビを受信する場合、いわゆるチューナが主要構成要素となる。また、外部機器８２（外部出力端子を有するテレビ、ビデオ再生機、ＤＶＤ再生機、パーソナルコンピュータ、各種チューナ等）からコンテンツを取得する場合は、外部入力端子が主要構成要素となる。なお、特に図示しないが、コンテンツ取得部２０は、インターネットなど通信網を介して配信される映像／音楽データをコンテンツとして取得することも可能であり、その場合にはインターネット接続部分が主要構成要素となる。また、コンテンツ取得部２０として各種半導体メモリや各種光ディスクの読み取り装置を搭載している場合は、それらに記録されているコンテンツを取得することも可能である。【００２５】
制御部３０は、記録再生装置１０の各部を統括して各種制御を行うものであり、具体的には、取得したコンテンツを記録するコンテンツ記録部３１と、コンテンツの中から本編外シーンを抽出する本編外シーン抽出部３２と、本編外シーンを抽出する際の基準となる各種所定値を設定する所定値設定部３３と、を備えている。なお、「本編外シーン」とは、コマーシャルシーンの他、天気予報や番組コーナーなど、コンテンツの本編ではないと考えられる区間を指す。【００２６】
詳細については後述するが、本編外シーン抽出部３２では、後述する小音圧区間検索部４１および大音圧区間検索部４２の検索結果に基づいて、全コンテンツ区間（コンテンツの録画時間に相当）の中から本編外シーンを抽出する。また、所定値設定部３３では、これら２つの検索部４１，４２において小音圧区間および大音圧区間（図２参照）を検索する際の基準音圧レベルとなる２つの閾値、隣り合う小音圧区間を連続小音圧区間として統合するか否かを判別するための所定区間、連続小音圧区間が本編外シーンであるか否かを判別するための所定割合、の各値を設定する。【００２７】
音声解析部４０は、コンテンツに含まれる音声情報（音声波形情報）を解析して、単位時間あたりの平均音圧レベル（以下、単に「音圧レベル」と称する）を算出し、図２等に示すような音圧レベル波形を生成する。また、音声解析部４０は、コンテンツの中から平均音圧レベルが所定の閾値（以下、「小音閾値（ＴＨｓ）」と称する）以下となる区間（以下、「小音圧区間」と称する）を検索する小音圧区間検索部４１と、コンテンツの中から平均音圧レベルが所定の閾値（以下、「大音閾値（ＴＨｂ）」と称する）以上となる区間（以下、「大音圧区間」と称する）を検索する大音圧区間検索部４２と、を備えている。なお、小音閾値および大音閾値は、上記の所定値設定部３３によって設定された値に基づくものである。【００２８】
記憶部５０は、上記のコンテンツ記録部３１によって記録されたコンテンツの記録データ（以下、「コンテンツ記録データ」と称する）を記憶するコンテンツ記録データ記憶部５１と、小音圧区間検索部４１の検索結果を記憶する小音圧区間記憶部５２と、２つ以上の小音圧区間を統合した連続小音圧区間を記憶する連続小音圧区間記憶部５３と、大音圧区間検索部４１の検索結果を記憶する大音圧区間記憶部５４と、本編外シーン抽出部３２によって抽出された本編外シーンを記憶する本編外シーン記憶部５５と、所定値設定部３３によって設定された各種所定値を記憶する所定値記憶部５６と、を備えている。なお、記憶部５０は、ハードディスク、各種半導体メモリ、各種光ディスク等により構成可能であり、その種類は問わない。【００２９】
再生・表示部６０は、記録したコンテンツを再生するコンテンツ再生部６１を備えている。コンテンツ再生部６１は、上記のコンテンツ記録データ記憶部５１から読み出したコンテンツ記録データに基づいてコンテンツを再生し、表示装置９１に表示させる。【００３０】
ここで、上記のとおり構成された記録再生装置１０の一連の処理について、図２に示す音圧レベル波形の一例を参照して説明する。例えば、リモコン等のＵＩ（ユーザインターフェース）入力装置９２を用いて、ユーザ（視聴者）からコンテンツの記録が指示された場合、記録再生装置１０は、コンテンツ取得部２０を介してコンテンツを取得し、コンテンツ記録部３１によってこの取得したコンテンツを記録する。【００３１】
また、コンテンツの記録に同期して、小音圧区間検索部４１および大音圧区間検索部４２により、それぞれ小音圧区間および大音圧区間を検索する。具体的には、小音圧区間検索部４１により、音圧レベルが小音閾値（ＴＨｓ）以下となる小音圧区間を検索し（図２参照）、各小音圧区間の開始点（ＤＳｓ）のアドレスとその区間長（ｓｌ）とを示すデータを小音圧区間記憶部５２に記憶する。また、大音圧区間検索部４２により、音圧レベルが大音閾値（ＴＨｂ）以上となる大音圧区間を検索し（図２参照）、各大音圧区間の開始点（ＤＨｓ）のアドレスとその区間長（ｈｌ）とを示すデータを大音圧区間記憶部５４に記憶する。【００３２】
コンテンツの記録を終了すると、そのコンテンツ記録データはコンテンツ記録データ記憶部５１に格納しておく。また、本編外シーン抽出部３２により、小音圧区間記憶部５２に記憶されているデータに基づいて、まず連続小音圧区間を抽出する。例えば、図２に示すように、音圧レベルが小音閾値（ＴＨｓ）以下となる小音圧区間が６つ検出されている場合（第１小音圧区間〜第６小音圧区間）、隣り合う小音圧区間（例えば、第１小音圧区間と第２小音圧区間）において、先の小音圧区間（第１小音圧区間）の終了点（ＤＳｅ１）から次の小音圧区間（第２小音圧区間）の開始点（ＤＳｓ２）までの長さ（時間）が、所定区間Ｐｔ内である場合、これら先の小音圧区間（第１小音圧区間）の開始点（ＤＳｓ１）から次の小音圧区間（第２小音圧区間）の終了点（ＤＳｅ２）までを統合する。さら
に、この次の小音圧区間（第２小音圧区間）の終了点（ＤＳｅ２）から隣り合う小音圧区間（第３小音圧区間）の開始点（ＤＳｓ３）までの長さが、所定区間Ｐｔ内である場合、上記の先の小音圧区間（第１小音圧区間）の開始点（ＤＳｓ１）から、２つ隣の小音圧区間（第３小音圧区間）の終了点（ＤＳｅ３）までを統合する。なお、特に図示しないが、所定区間Ｐｔは、ＤＳｅ１〜ＤＳｓ２，ＤＳｅ２〜ＤＳｓ３，ＤＳｅ３〜ＤＳｓ４，ＤＳｅ５〜ＤＳｓ６の各区間以上の長さであって、ＤＳｅ４〜ＤＳｓ５の区間よりも短い長さである。【００３３】
このようにして、隣り合う小音圧区間が所定区間内に存在する場合、次々にその区間を統合していき、最初の小音圧区間の開始点から最後の小音圧区間の終了点までを連続小音圧区間として抽出する。すなわち、図２の例の場合、第４小音圧区間の終了点（ＤＳｅ４）から第５小音圧区間の開始点（ＤＳｓ５）までの長さが、所定区間Ｐｔを超えるため、第１小音圧区間の開始点（ＤＳｓ１）から第４小音圧区間の終了点（ＤＳｅ４）までを、１つ目の連続小音圧区間（連続小音圧区間１）として抽出することとなる。【００３４】
また、同様にして、第５小音圧区間の終了点（ＤＳｅ５）から第６小音圧区間の開始点（ＤＳｓ６）までの長さが、所定区間Ｐｔ以下であるため、第５小音圧区間の開始点（ＤＳｓ５）から第６小音圧区間の終了点（ＤＳｅ６）までを、２つ目の連続小音圧区間（連続小音圧区間２）として抽出する。なお、抽出した連続小音圧区間の開始点のアドレスとその区間長とを示すデータは、連続小音圧区間記憶部５３に記憶する。【００３５】
続いて、本編外シーン抽出部３２は、大音圧区間記憶部５４に記憶されているデータに基づいて、抽出した２つの連続小音圧区間が本編外シーンに該当するか否かを判別する。一般に、コマーシャルや番組宣伝コーナーの場合、バック音楽や効果音が用いられることが多いため、音圧レベルが高くなる時間が長い。これに対し、映画やドラマなどの静かなシーンは、音圧レベルが高くなることは少ない。従って、抽出した連続小音圧区間における大音圧区間の区間長の割合（連続小音圧区間の中に複数の大音圧区間が含まれる場合は、その大音圧区間の区間長の合計が占める割合）を算出し、その割合が所定割合γ（但しγは０＜γ＜１となる値，本実施形態では０．５に設定されているものとする）以上である場合、その連続小音圧区間を本編外シーンとして抽出する。【００３６】
従って、図２の例における連続小音圧区間１の場合、当該連続小音圧区間に含まれる３つの大音圧区間の区間長の合計（ｈｌ１＋ｈｌ２＋ｈｌ３）が、連続小音圧区間１の区間長（ＤＳｓ１〜ＤＳｅ４）の５割以上を占めるため、連続小音圧区間１を本編外シーンとして抽出する。抽出した本編外シーンの開始点のアドレスとその区間長とを示すデータは、本編外シーン記憶部５５に記憶する。一方、もう一つの連続小音圧区間２の場合、当該連続小音圧区間には大音圧区間が含まれないため、連続小音圧区間２は本編外シーンではないと判断する。【００３７】
なお、本編外シーン抽出部３２による抽出結果は、コンテンツのダイジェストやサムネイルの作成に利用する。これらは、コンテンツの内容把握を目的として再生・表示されることが多いため、コマーシャルシーンなどの本編外シーンが含まれることは望ましくないためである。なお、このように本編のみから抽出したシーンやカットを用いてダイジェストやサムネイルを作成する方法については、後に応用例として説明する。【００３８】
一方、ユーザは、ＵＩ入力装置９２を用いて、小音閾値（ＴＨｓ）、大音閾値（ＴＨｂ）、所定区間の区間長Ｐｔ、所定割合γ（０＜γ＜１）の値を設定・変更することが可能となっている（所定値設定部３３）。設定されたこれらの値は、所定値記憶部５６に記憶され、小音圧区間検索部４１や大音圧区間検索部４２における検索処理時や、本編外シーン抽出部３２における抽出処理時に参照される。但し、ユーザによって特に設定されない場合、これらは全てデフォルトの設定値を利用する。【００３９】
ここで、図３のフローチャートを参照し、小音圧区間検索部４１による小音圧区間の検索処理について説明する。当該処理は、コンテンツの記録に同期して、単位時間毎（例えば１／６０秒毎）に実行される。同図に示すように、まず単位時間における音圧レベルが、設定されている小音閾値以下であるか否かを判別する（Ｓ０１）。小音閾値以下でない場合（Ｓ０１：Ｎｏ）、１つ前の単位時間は小音閾値以下であったか否かを判別し（Ｓ０２）、小音閾値以下であった場合は（Ｓ０２：Ｙｅｓ）、小音圧区間の終了点を設定する（Ｓ０３）。【００４０】
一方、Ｓ０１において、今回検索対象となっている単位時間の音圧レベルが小音閾値以下であると判別した場合は（Ｓ０１：Ｙｅｓ）、１つ前の単位時間も小音閾値以下であったか否かを判別し（Ｓ０４）、小音閾値以下でなかった場合は（Ｓ０４：Ｎｏ）、小音圧区間の開始点を設定する（Ｓ０５）。【００４１】
小音圧区間の開始点または終了点の設定後、若しくはＳ０４において、１つ前の単位時間が小音閾値以下であったと判別した場合や（Ｓ０４：Ｙｅｓ）、Ｓ０２において、１つ前の単位時間が小音閾値以下でなかったと判別した場合は（Ｓ０２：Ｎｏ）、コンテンツの記録を終了したか否かを判別し（Ｓ０６）、終了していない場合は（Ｓ０６：Ｎｏ）、上記の処理を繰り返す。【００４２】
また、記録を終了した場合は（Ｓ０６：Ｙｅｓ）、Ｓ０５で小音圧区間の開始点を設定していれば小音圧区間の終了点が設定されているか否かを判別し（Ｓ０７）、設定されていない場合は（Ｓ０７：Ｎｏ）、小音圧区間の終了点を設定して（Ｓ０８）、処理を終了する。すなわち、小音圧区間の終了点が設定されないまま記録を終えた場合は終了点を設定して、処理を終了する。【００４３】
以上が、小音圧区間検索部４１における検索処理であるが、大音圧区間検索部４２における処理は、上記の小音圧区間の検索処理において、「小音圧区間」を「大音圧区間」に、また「小音閾値以下」を「大音閾値以上」に読み替えた処理に相当する。すなわち、実質的な処理内容は同様であるため、詳細な説明は省略する。【００４４】
次に、図４のフローチャートを参照し、本編外シーン抽出部３６による本実施形態の本編外シーンの抽出処理について説明する。当該本編外シーンの抽出処理は、図３に示した小音圧区間の検索処理結果により２つ以上の小音圧区間が検出された場合に実行する。また、コンテンツの記録終了時をトリガとして、処理を開始する。【００４５】
まず、図３に示した小音圧区間の検索処理結果に基づいて、最初の小音圧区間（例えば、第１小音圧区間）の終了点から所定区間内に次の小音圧区間（例えば、第２小音圧区間）の開始点が含まれているか否かを判別する（Ｓ１１）。含まれている場合は（Ｓ１１：Ｙｅｓ）、２つの小音圧区間を統合し、連続小音圧区間として連続小音圧区間記憶部５３（図１参照）に記憶する（Ｓ１２）。そして、全コンテンツ区間において最後の小音圧区間（図２の例の場合、第６小音圧区間）であるか否かを判別し（Ｓ１３）、最後でない場合は（Ｓ１３：Ｎｏ）、次の小音圧区間（例えば、第３小音圧区間）を調査する（Ｓ１４）。【００４６】
また、この小音圧区間（第３小音圧区間）も、先の小音圧区間（第２小音圧区間）から所定区間内に存在すると判別した場合は（Ｓ１１：Ｙｅｓ）、さらに記憶しておいた連続小音圧区間と、第３小音圧区間とを統合し、当該第３小音圧区間の終了点までを連続小音圧区間として記憶し直す（Ｓ１２）。すなわち、Ｓ１１において、次の小音圧区間が所定区間内に存在すると判別した場合は（Ｓ１１：Ｙｅｓ）、連続小音圧区間記憶部５３に記憶されている連続小音区間の区間長を示すデータを随時更新していく。【００４７】
また、Ｓ１３において、最後の小音圧区間であると判別した場合、すなわち全ての小音圧区間の調査を終えた場合は（Ｓ１３：Ｙｅｓ）、連続小音圧区間記憶部５３に記憶されている最初の連続小音圧区間から、大音圧区間の割合を調査する（Ｓ１５）。【００４８】
ここで、連続小音圧区間における大音圧区間の割合（大音圧区間の区間長の合計が連続小音圧区間を占める割合）が所定割合γ以上であると判別した場合は（Ｓ１６：Ｙｅｓ）、その連続小音圧区間を本編外シーンとして抽出する（Ｓ１７）。抽出した本編外シーンの開始点のアドレスとその区間長とを示すデータは、本編外シーン記憶部５５（図１参照）に格納しておき、後のダイジェスト作成処理またはサムネイル作成処理において利用する。【００４９】
そして、調査対象となっている連続小音圧区間が、最後の連続小音圧区間（図２の例の場合、連続小音圧区間２）であるか否かを判別し（Ｓ１８）、最後でない場合は（Ｓ１８：Ｎｏ）、次の連続小音圧区間を調査する（Ｓ１９）。また、最後である場合、すなわち全ての連続小音圧区間の調査を終了した場合は（Ｓ１８：Ｙｅｓ）、処理を終了する。【００５０】
以上のとおり、本実施形態によれば、まず音圧レベルが小音閾値以下となる小音圧区間を検索し、隣り合う小音圧区間が所定区間内に存在する，その最初の小音圧区間の開始点から最後の小音圧区間の終了点までの連続小音圧区間を本編外シーンの候補として抽出するため、所定の時間間隔で放送されないコマーシャルシーンでも、コンテンツ中の本編外シーンとして抽出することができる。従って、海外放送、ＢＳ放送およびケーブルテレビの場合、コマーシャルの長さが一定でないことも多いが、そのような場合であっても、確実に本編外シーンを抽出することができる。【００５１】
また、抽出した連続小音圧区間における大音圧区間の割合が所定割合以上であるものだけを本編外シーンとして抽出するため、例えば映画の静かなシーンなど本編中の小音圧区間が連続するようなシーンを誤って抽出してしまうことがない。【００５２】
また、コンテンツの記録に伴って小音圧区間および大音圧区間を検索するため、記録終了時には、小音圧区間および大音圧区間の検索を終えた状態となる。従って、コンテンツの記録後に、再度コンテンツを読み出して小音圧区間および大音圧区間を検索する必要が無く、その分ダイジェストの作成に要する時間を短縮することができる。【００５３】
なお、上記の例では、抽出した連続小音圧区間の中で、大音圧区間の区間長の割合が所定割合γ（０＜γ＜１）以上のものを本編外シーンとして抽出するものとしたが、抽出した連続小音圧区間を全て本編外シーンとして抽出しても良い。すなわち、図４のフローチャートに示した本編外シーンの抽出処理において、Ｓ１６以下の処理を省略して、連続小音圧区間＝本編外シーンとしても良い。この構成によれば、本編に含まれる静かなシーンを本編外シーンとして抽出してしまう可能性はあるが（図２の例において、連続小音圧区間２を本編外シーンと判断してしまう可能性はあるが）、抽出処理の制御を簡素化することができる。【００５４】
また、上記の例では、先の小音圧区間の終了点から次の小音圧区間の開始点までが所定区間Ｐｔ内である場合に、これらの小区間を統合するものとしたが、隣り合う小音圧区間の開始点間が所定区間Ｐｔ内である場合に、２つの小区間を統合するようにしても良い。その他、隣り合う小音圧区間の終了点間、隣り合う小音圧区間の中心点間、先の小音圧区間の開始点から次の小音圧区間の終了点まで、のいずれかで判断することも可能である。【００５５】
また、上記の例では、音声情報に基づいて本編外シーンとして抽出するものとしたが、過去に提案されているその他の各種コマーシャル検出方法を併用して、本編外シーンを抽出するようにしても良い。すなわち、映像情報に基づくシーンチェンジや、放送モード（２カ国語放送であるか否か、ステレオ放送であるか否かなど）も考慮して、本編外シーンを抽出しても良い。【００５６】
また、上記の例では、小音圧区間、連続小音圧区間、大音圧区間など、各区間の開始点のアドレスとその区間長とを示すデータを記憶するものとしたが、これに代えて各区間の開始点と終了点のアドレスを記憶しても良い。【００５７】
次に、図５ないし図７を参照し、本発明の応用例について説明する。ここでは、上記した本編外シーンの抽出処理を利用して、ダイジェストやサムネイルを作成する方法について説明する。なお、「ダイジェスト」とは、コンテンツの内容を要約した要約情報を指す。また、「サムネイル」とは、コンテンツの内容を大まかに把握するための縮小画像を指す。【００５８】
図５は、本応用例に係るブロック構成図であり、図６は、本応用例を説明するための一例となる音圧レベル波形を示したものであり、図７は、作成したダイジェストおよびサムネイルの利用形態の一例を示したものである。【００５９】
図５に示すように、本例における録音再生装置１０は、第１実施形態のブロック構成図と比較すると、制御部３０に、コンテンツの中からダイジェストを作成するための要素となる部分シーンを抽出する部分シーン抽出部３４と、ダイジェストを再生するためのダイジェスト再生情報を作成するダイジェスト作成部３５と、サムネイルとして表示するためのサムネイル画像を作成するサムネイル作成部３６とを備え、記憶部５０に、ダイジェスト再生情報を記憶するダイジェスト再生情報記憶部５７と、サムネイル画像を記憶するサムネイル画像記憶部５８とを備え、さらに再生・表示部６０に、ダイジェストを再生するダイジェスト再生部６２と、サムネイルを表示するサムネイル表示部６３と、を備えた点で異なる。【００６０】
部分シーン抽出部３４は、図６に示すように、本編外シーンの直後の所定区間（区間長：ｔｐ，図示斜線部）を、ダイジェストに含めるための１シーン（部分シーン）として抽出する。これは、例えばコンテンツがアニメの場合など、コマーシャル直後にアニメの題目やテロップが表示されることが多いため、これをダイジェストに含めることで、ユーザがより的確に内容を把握できるようにするためである。【００６１】
ダイジェスト作成部３５は、抽出された部分シーンに基づいて、ダイジェストを再生するためのダイジェスト再生情報を作成する。ダイジェスト再生情報としては、抽出された部分シーンの開始点（本編外シーンの終了点（図６の例の場合、ＤＳｅ４）に相当）のアドレスと、その区間長ｔｐとを示す区間データを作成する。作成したダイジェスト再生情報は、ダイジェスト再生情報記憶部５７に記憶しておく。なお、区間長ｔｐの値は、ユーザが任意に設定可能である。【００６２】
また、１つのコンテンツ中から、複数の部分シーンを抽出した場合は、時系列に従って組み込み順序を決定する。すなわち、０時から１時までの番組を記録した場合であって、１５分おきにコマーシャルが放送された場合（本編外シーンが抽出された場合）は、０時１５分付近で放送されたコマーシャルの直後の部分シーンを最初に組み込み、０時３０分付近で放送されたコマーシャルの直後の部分シーンを、２番目に組み込む。また、予め設定されているダイジェストの全体長さ（例えば２０秒）内に、抽出した全ての部分シーンが収まらないような場合は、組み込んだ部分シーンの合計長さがダイジェストの全体長さを超えた時点で、その部分シーンを削除し、さらに部分シーンが残っている場合はそれらも併せて削除する。すなわち、この場合ダイジェスト再生情報には、削除された部分シーンの開始点のアドレスとその区間長とを示す区間データは含まれない。【００６３】
サムネイル作成部３６は、抽出された部分シーンの最初のカット（フレーム）を読み出してサムネイル画像を作成する。作成したサムネイル画像は、サムネイル画像記憶部５８に記憶しておく。【００６４】
ダイジェスト再生部６２は、コンテンツ記録データ記憶部５１に記憶されているコンテンツ記録データの中から、ダイジェスト再生情報記憶部５７に記憶されているダイジェスト再生情報（１以上の区間データ（部分シーンの開始点を示すアドレスとその区間長とを示すデータ）から成る）に該当する部分シーンを読み出すことによってダイジェストの再生を行う。また、サムネイル表示部６３は、サムネイル画像記憶部５８に記憶されているサムネイル画像を読み出し、コンテンツの代表サムネイルとして表示装置９１に表示させる。【００６５】
ここで、図７を参照し、ダイジェスト再生部６２によるダイジェストの再生形態、サムネイル表示部６３によるサムネイルの表示形態の一例を説明する。同図に示す画面Ｄは、ユーザが、記録しておいた複数のコンテンツの検索を行う際に利用するＧＵＩ（グラフィカルユーザインターフェース）を示したものである。【００６６】
画面Ｄは、コンテンツのリストを表示するリスト表示エリアｄ１と、リストの中から選択されたコンテンツのダイジェストを表示するダイジェスト表示エリアｄ２と、選択されたコンテンツの詳細情報を表示する詳細情報表示エリアｄ３と、から成る。また、リスト表示エリアｄ１の一部は、各コンテンツの代表サムネイルを表示するサムネイル表示エリアｄ１１となっている。【００６７】
当該画面Ｄが表示された直後の状態では、リスト表示エリアｄ１に、代表サムネイルとタイトル名が表示され、リストの最上段に表示されたタイトル（図示の例では、「ミュージックベスト」）が選択された状態となっている。したがって、ダイジェスト表示エリアｄ２には、「ミュージックベスト」のダイジェストが表示され、詳細情報表示エリアｄ３には、「ミュージックベスト」の詳細情報（番組名、録画日時、録画チャンネル、出演者、番組内容など）が表示される。この状態で、ユーザにより再生指示が為されると、「ミュージックベスト」のコンテンツ再生を開始する。また、この状態で、ユーザにより削除指示が為されると、「ミュージックベスト」の録画データ（コンテンツ）を削除する。【００６８】
このように、ユーザが再生したいコンテンツ、または削除したいコンテンツを検索する際に、コマーシャルシーンなど本編以外のシーンを確実に排除したダイジェストやサムネイルを再生・表示させることで、ユーザはコンテンツの内容を短時間で、且つ的確に把握することができ、再生や削除の操作を効率的に行うことができる。【００６９】
また、ダイジェストの再生は、コンテンツ記録データの中からダイジェスト再生情報に該当する部分シーンを読み出すことによって行うため、コンテンツ記録データの一部を抽出したダイジェスト用のデータを作成して、コンテンツ記録データとは別に保存しておくといった必要が無い。このため、ダイジェスト保存用のメモリ（ダイジェスト再生情報記憶部５７）としては、ダイジェスト再生情報を保存するだけの容量で済む。【００７０】
なお、上記の例では、サムネイル作成部３６において、コンテンツの代表サムネイル画像を作成するものとしたが、コンテンツ全体の内容把握を目的として一覧表示される複数のサムネイルを作成する場合にも適用可能である。また複数のサムネイルを用いて、上記のサムネイル表示エリアｄ１１にスライド表示させるようにしても良い。また、部分シーンからサムネイル用のカットを抽出するのではなく、本編外シーン以外の区間から、任意にサムネイル用のカットを抽出しても良い。【００７１】
また、上記の例に示した録音再生装置１０における各部、並びに各機能をプログラムとして提供することも可能である。また、そのプログラムを記録媒体（図示省略）に格納して提供することも可能である。記録媒体としては、ＣＤ―ＲＯＭ、フラッシュＲＯＭ、メモリカード（コンパクトフラッシュ（登録商標）、スマートメディア、メモリースティック等）、コンパクトディスク、光磁気ディスク、デジタルバーサタイルディスク、フレキシブルディスクおよびハードディスク等を利用することができる。【００７２】
また、上述した実施例によらず、装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。また、録音再生装置１０以外にも、ビデオレコーダ、ＤＶＤレコーダ、パーソナルコンピュータ等に本発明の本編外シーン抽出機能を搭載可能である。
【図１】
2007039998.tif 000003
【図２】
2007039998.tif 000004
【図３】
2007039998.tif 000005
【図４】
2007039998.tif 000006
【図５】
2007039998.tif 000007
【図６】
2007039998.tif 000008
【図７】
2007039998.tif 000009
【国際調査報告】
2007039998.tif 000010
2007039998.tif 000011
2007039998.tif 000012
2007039998.tif 000013