(57)【要約】特徴量算出部（１２）は、受信したＡＶ信号から特徴量を算出する。無音区間検出部（１３）は、音声パワレベルが所定値以下の区間を無音区間として検出する。また、候補区間検出部（１４）は、音声パワレベルが所定値以上の区間をダイジェストシーン候補区間として検出する。ＣＭ区間判定部（１５）は、無音区間同士の時間間隔に基づいてＣＭ区間を判定する。ダイジェストリスト作成部（１６）は、ダイジェスト候補区間から、判定されたＣＭ区間に該当する区間を削除することで、ＣＭ区間を除いた番組区間中のダイジェストシーン情報を生成する。【特許請求の範囲】
【請求項１】
放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置であって、
所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する特徴量算出部と、
前記受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、前記特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する特定区間端検出部と、
前記特徴量が算出される度に、当該特徴量に基づいて、前記番組の全体の区間のうち前記特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成するダイジェストシーン情報作成部とを備える、ダイジェスト生成装置。
【請求項２】
前記ダイジェストシーン情報作成部は、
前記単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、前記受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出部を含み、
前記特定区間端検出部によって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間が前記ダイジェスト候補区間と重複するか否かを判定し、前記ダイジェスト区間検出部によって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する、請求項１に記載のダイジェスト生成装置。
【請求項３】
前記ダイジェストシーン情報作成部は、
前記算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶部を含み、
前記特徴量が算出される度に、前記一時記憶部に記憶されている特徴量にかかる時点が前記特定区間端検出部によって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分の放送信号に含まれるコンテンツのうちダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する、請求項１に記載のダイジェスト生成装置。
【請求項４】
前記特徴量算出部は、第１及び第２の特徴量を算出し、
前記特定区間端検出部は、第１の特徴量に基づいて特定区間の始端または終端を判定し、
前記ダイジェスト区間検出部は、第２の特徴量に基づいて前記ダイジェスト候補区間を検出する、請求項２に記載のダイジェスト生成装置。
【請求項５】
前記特定区間端検出部は、
前記特徴量が所定の条件を満たすとき、当該条件を満たす特徴量のみを含む区間を特定区間候補として検出する特定区間候補検出部と、
前記番組内における前記特定区間候補同士の時間差に基づいて特定区間の始端または終端となる候補を検出する特定区間判定部とを含む、請求項１に記載のダイジェスト生成装置。
【請求項６】
前記特定区間判定部は、前記特定区間候補が検出される度に、検出された特定区間候補から所定時間前の時点が既に検出された特定区間候補に含まれていれば、当該所定時間前の時点を特定区間の始端とし、当該特定区間候補を特定区間の終端として検出する、請求項５記載のダイジェスト生成装置。
【請求項７】
前記特定区間検出部は、
前記特定区間候補が検出される度に、最後に検出された特定区間候補から所定の第１時間前の時点に、または、当該最後に検出された特定区間候補から所定の第２時間前の時点に、すでに検出された特定区間候補が存在するか否かを判定する判定部と、
前記判定部によって特定区間候補が存在すると判定された場合、存在すると判定された特定区間候補および当該最後に検出された特定区間候補についてそれぞれ点数を加算する加算部と、
点数が所定値以上である対象候補が検出されてから所定の第３時間が経過する度に、当該対象候補から当該第３時間前の時点に、点数が当該所定値以上の特定区間候補が存在するか否かを判定し、存在しない場合、当該対象候補を特定区間の始端とする始端決定部と、
点数が所定値以上である対象候補が検出されてから所定の第３時間が経過する度に、当該第３時間が経過した時点に、点数が当該所定値以上の特定区間候補が存在するか否かを判定し、存在しない場合、当該対象候補を特定区間の終端とする終端決定部とを備える、請求項５記載のダイジェスト生成装置。
【請求項８】
前記特徴量算出部は、音声信号の音声パワレベルを前記特徴量として算出し、
前記特定区間候補検出部は、前記パワレベルが所定値以下の無音区間を前記特定区間候補として検出する、請求項５記載のダイジェスト生成装置。
【請求項９】
前記特徴量算出部は、映像信号に基づく輝度情報を前記特徴量として算出し、
前記特定区間候補検出部は、前記輝度情報の変化量が所定値以上であるシーンチェンジ点を前記特定区間候補として検出する、請求項５記載のダイジェスト生成装置。
【請求項１０】
放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成方法であって、
所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する特徴量算出ステップと、
前記受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、前記特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する特定区間端検出ステップと、
前記特徴量が算出される度に、当該特徴量に基づいて、前記番組の全体の区間のうち前記特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成するダイジェストシーン情報作成ステップとを備える、ダイジェスト生成方法。
【請求項１１】
前記ダイジェストシーン情報作成ステップは、
前記単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、前記受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出ステップを含み、
前記特定区間端検出ステップによって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間が前記ダイジェスト候補区間と重複するか否かを判定し、前記ダイジェスト区間検出ステップによって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する、請求項１０記載のダイジェスト生成方法。
【請求項１２】
前記ダイジェストシーン情報作成ステップは、
前記算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶ステップを含み、
前記特徴量が算出される度に、前記一時記憶ステップによって記憶された特徴量にかかる時点が前記特定区間端検出ステップによって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する、請求項１０記載のダイジェスト生成方法。
【請求項１３】
放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置のコンピュータに実行させるダイジェスト生成プログラムを格納した記録媒体であって、
所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する特徴量算出ステップと、
前記受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、前記特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する特定区間端検出ステップと、
前記特徴量が算出される度に、当該特徴量に基づいて、前記番組の全体の区間のうち前記特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成するダイジェストシーン情報作成ステップとを前記コンピュータに実行させるプログラムを格納した記録媒体。
【請求項１４】
前記ダイジェストシーン情報作成ステップは、
前記単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、前記受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出ステップを含み、
前記特定区間端検出ステップによって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間が前記ダイジェスト候補区間と重複するか否かを判定し、前記ダイジェスト区間検出ステップによって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する、請求項１３記載の記録媒体。
【請求項１５】
前記ダイジェストシーン情報作成ステップは、
前記算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶ステップを含み、
前記特徴量が算出される度に、前記一時記憶ステップによって記憶された特徴量にかかる時点が前記特定区間端検出ステップによって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する、請求項１３記載の記録媒体。
【請求項１６】
放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置に用いられる集積回路あって、
所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する特徴量算出部と、
前記受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、前記特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する特定区間端検出部と、
前記特徴量が算出される度に、当該特徴量に基づいて、前記番組の全体の区間のうち前記特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成するダイジェストシーン情報作成部とを備える、ダイジェスト生成装置に用いられる集積回路。
【請求項１７】
前記ダイジェストシーン情報作成部は、
前記単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、前記受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出部を含み、
前記特定区間端検出部によって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間が前記ダイジェスト候補区間と重複するか否かを判定し、前記ダイジェスト区間検出部によって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する、請求項１６記載の集積回路。
【請求項１８】
前記ダイジェストシーン情報作成部は、
前記算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶部を含み、
前記特徴量が算出される度に、前記一時記憶部に記憶されている特徴量にかかる時点が前記特定区間端検出部によって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する、請求項１６記載の集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、ダイジェストシーンの生成に関し、より特定的には、テレビ放送などから映像や音声の特徴量を算出し、これらを利用して特定の重要シーンを決定するダイジェストシーンの生成に関する。
【背景技術】
【０００２】  従来より、テレビ放送などから映像や音声の特徴量を算出し、これらを利用して重要シーンを決定するダイジェスト（要約）生成装置がある。このような装置においては、ダイジェストの生成につき、次のような方式が一般的に用いられる。まず、一度記録媒体に録画されたＡＶ信号から映像・音声の特徴量を１番組分算出し、それらの特徴量に基づきＣＭ区間を検出して、ダイジェスト再生のプレイリストなどの時刻情報をＣＭ区間以外から算出する方式がある。【０００３】  この方式を採用する従来のダイジェスト生成装置の構成について、図１４を用いて説明する。図１４は、ＣＭ区間を除外したダイジェストの生成を行うダイジェスト生成装置の構成例である。図１４において、受信部１０１は、放送電波を受信し、音声・映像信号（以下、ＡＶ信号）に復調する。大容量記憶媒体１０２は、受信したＡＶ信号を記録する媒体である。ＨＤＤ等がこれに該当する。特徴量抽出部１０３は、ダイジェスト生成のために必要な特徴量（以下、ダイジェスト特徴量）とＣＭ検出に必要な特徴量（以下、ＣＭ特徴量）とを大容量記憶媒体１０２に記憶されたＡＶ信号から算出する。ここで、ダイジェスト特徴量としては、動きベクトルや輝度情報に基づくシーンチェンジ検出結果、音声パワ、番組に付与されたテキスト情報、などが考えられる。また、ＣＭ特徴量としては、輝度情報に基づくシーンチェンジ検出結果や、音声無音部の情報、などが考えられる。ＣＭ検出部１０４は、算出されたＣＭ特徴量に基づきＣＭ区間（の始端・終端の時刻情報）を検出し、ダイジェスト検出部１０５に出力する。ＣＭ区間の検出方法としては、映像の輝度情報から映像シーンチェンジを検出し、その検出された時間間隔が一定の時間（１５秒、３０秒）であればＣＭ区間と判定する方法や、音声の無音部を検出し、同様に時間間隔を調べてＣＭ区間を判定する方法を用いる。ダイジェスト検出部１０５は、上記ダイジェスト特徴量とＣＭ検出部１０４から出力されたＣＭ区間情報とに基づき、ＣＭ区間外からダイジェストシーンを検出する。また、検出したダイジェストシーン（の始端・終端の時刻情報）をダイジェスト情報として再生制御部１０６に出力する。ダイジェストシーンの検出方法としては、スポーツ中継等の場合に、映像の動きベクトルから動きのスローなシーン（繰り返しのスローモーションシーン）を特定し、この直前の数カットを盛り上がっているシーンとして検出する方法（例えば特許文献１）や、音声パワ情報の局所的に大きい値を取るシーンを盛り上がっているシーンとして検出する方法（例えば特許文献２）、また番組に付与されたテキスト情報と映像・音声信号の特徴量とを組み合わせて重要シーンを検出する方法（例えば特許文献３）などを用いる。再生制御部１０６は、上記大容量記憶媒体１０２からＡＶ信号を読み出し、上記ダイジェスト情報に基づいてダイジェスト再生を行う。このような構成により、ユーザが録画した番組を視聴する際、すなわち、大容量記憶媒体１０２に記憶されたＡＶ信号を再生する際に、ＣＭ区間を除いた番組区間からダイジェストシーン情報を作成し、ダイジェスト再生を行うことが可能となる。【０００４】  また、番組の録画と並行して特徴量も算出しておき、当該特徴量を記録媒体に格納しておく方式もある。図１９は、録画処理と並行して特徴量を算出しながらリアルタイムにダイジェストシーン候補を検出してＣＭ特徴量と共に大容量記憶手段に記憶しておき、再生時にＣＭ区間を検出してダイジェストシーン候補の中からＣＭ区間に含まれるものを除外して正しいダイジェスト情報を生成するダイジェスト生成装置の構成例である。図１９において、受信部１０１は、受信したＡＶ信号を大容量記憶媒体１０２に記録するのに併せて、当該ＡＶ信号を特徴量抽出部１０３にも出力する。特徴量抽出部１０３は、ＣＭ特徴量を算出し、大容量記憶媒体１０２に格納する。これに併せて、特徴量抽出部１０３は、例えば音声のパワレベル等の、上記ダイジェスト特徴量をダイジェスト検出部１０５に出力する。ダイジェスト検出部１０５は、当該ダイジェスト特徴量を分析し、例えば音声のパワレベルが所定の閾値以上であるシーンをダイジェストシーン候補として検出する。そして、ダイジェスト検出部１０５は、検出したシーンについて、ダイジェスト候補情報として大容量記憶媒体１０２に格納する。つまり、番組録画と並行して、ダイジェスト候補となるシーンを検出することになる。そして、当該ダイジェスト候補情報（時刻情報）と、ＣＭ特徴量を大容量記憶媒体１０２に記録しておく。ここで、ＣＭ検出については、リアルタイムではＣＭ区間の始端・終端が特定できないため、ここでは、後の検出処理に必要なＣＭ特徴量のみを記録しておくものである。そして、当該録画した番組をユーザの指示で再生する際に、ＣＭ検出部１０４は、大容量記億媒体１０２から上記ＣＭ特徴量を読み込み、ＣＭ区間を検出する。そして、ＣＭ検出部１０４は、検出結果をＣＭ区間情報としてＣＭ区間除去部１０７に出力する。ＣＭ区間除去部１０７は、大容量記憶媒体１０２から読み込んだダイジェスト候補情報からＣＭ区間に該当する部分を削除して、ダイジェスト情報を作成する。つまり、録画時に、例えば音声パワレベルが所定値以上のシーンをＣＭ区間も含めて仮検出しておき、ダイジェスト候補情報として記録しておく。そして、録画終了後、例えば再生開始指示を受けた時に、当該録画された番組全体（の特徴量）を分析してＣＭ区間を検出し、ダイジェスト候補からＣＭ区間を差し引くことで、番組区間内のダイジェスト区間を抽出するものである。
【特許文献１】特開２００４−１２８５５０号公報
【特許文献２】特開平１０−０３９８９０号公報
【特許文献３】特開２００１−１１９６４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】  しかしながら、上述したようなダイジェスト生成装置においては、以下に示す問題点があった。まず、１つ目の方式では、録画終了後、例えばユーザによるダイジェスト再生開始指示を受けたタイミングで、特徴量算出、ＣＭ区間検出、ダイジェストシーン検出、およびダイジェスト情報作成という処理を行っている。従って、ダイジェスト再生の開始指示後、実際に再生が開始されるまでに上述の処理待ちの時間が発生してしまうという問題点がある。また、２つ目の方式では、録画時に特徴量の算出およびダイジェスト候補となるシーンの情報を検出する。そのため、１つ目の方式に比べて再生指示時に行われていた特徴量算出の処理にかかる時間を削減できる。しかし、ＣＭ区間の検出については、ＣＭ区間の始端終端がリアルタイムでは判断できないことから、やはり録画終了後（再生開始指示時等）に行っている。そのため、この方式であっても、ダイジェスト情報作成のための処理待ち時間は発生してしまう。特に、一般的なＤＶＤレコーダ等の民生機器は、パーソナルコンピュータに比べると約１／１０ほどの性能しか備えていないＣＰＵを搭載することが一般的である。そのため、上記処理待ちの時間も長くなり、当該待ち時間による不快感や使い勝手の悪さ等の悪印象をユーザに与えてしまう。【０００６】  それ故に、本発明の目的は、番組の録画終了後における当該番組のダイジェスト情報生成のための処理待ち時間がないダイジェスト生成装置を提供することである。
【課題を解決するための手段】
【０００７】  上記目的を達成するために、本発明は以下のような構成を採用した。【０００８】  第１の局面は、放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置であって、特徴量算出部と、特定区間端検出部と、ダイジェストシーン情報作成部とを備える。特徴量算出部は、所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する。特定区間端検出部は、前記受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、前記特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する。ダイジェストシーン情報作成部は、前記特徴量が算出される度に、当該特徴量に基づいて、前記番組の全体の区間のうち前記特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成する。【０００９】  第２の局面は、第１の局面において、ダイジェストシーン情報作成部は、単位時間分のＡＶ信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分のＡＶ信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、受信されたＡＶ信号についてダイジェスト候補区間を検出するダイジェスト区間検出部を含む。更に、ダイジェストシーン情報作成部は、特定区間端検出部によって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間がダイジェスト候補区間と重複するか否かを判定し、ダイジェスト区間検出部によって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する。【００１０】  第３の局面は、第１の局面において、ダイジェストシーン情報作成部は、算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶部を含む。また、ダイジェストシーン情報作成部は、特徴量が算出される度に、一時記憶部に記憶されている特徴量にかかる時点が特定区間端検出部によって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分の放送信号に含まれるコンテンツのうちダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する。【００１１】  第４の局面は、第２の局面において、特徴量算出部は、第１及び第２の特徴量を算出し、特定区間端検出部は、第１の特徴量に基づいて特定区間の始端または終端を判定し、ダイジェスト区間検出部は、第２の特徴量に基づいてダイジェスト候補区間を検出する。【００１２】  第５の局面は、第１の局面において、特定区間端検出部は、特徴量が所定の条件を満たすとき、当該条件を満たす特徴量のみを含む区間を特定区間候補として検出する特定区間候補検出部と、番組内における特定区間候補同士の時間差に基づいて特定区間の始端または終端となる候補を検出する特定区間判定部とを含む。【００１３】  第６の局面は、第５の局面において、特定区間判定部は、特定区間候補が検出される度に、検出された特定区間候補から所定時間前の時点が既に検出された特定区間候補に含まれていれば、当該所定時間前の時点を特定区間の始端とし、当該特定区間候補を特定区間の終端として検出する。【００１４】  第７の局面は、第５の局面において、特定区間検出部は、特定区間候補が検出される度に、最後に検出された特定区間候補から所定の第１時間前の時点に、または、当該最後に検出された特定区間候補から所定の第２時間前の時点に、すでに検出された特定区間候補が存在するか否かを判定する判定部と、判定部によって特定区間候補が存在すると判定された場合、存在すると判定された特定区間候補および当該最後に検出された特定区間候補についてそれぞれ点数を加算する加算部と、点数が所定値以上である対象候補が検出されてから所定の第３時間が経過する度に、当該対象候補から当該第３時間前の時点に、点数が当該所定値以上の特定区間候補が存在するか否かを判定し、存在しない場合、当該対象候補を特定区間の始端とする始端決定部と、点数が所定値以上である対象候補が検出されてから所定の第３時間が経過する度に、当該第３時間が経過した時点に、点数が当該所定値以上の特定区間候補が存在するか否かを判定し、存在しない場合、当該対象候補を特定区間の終端とする終端決定部とを備える。【００１５】  第８の局面は、第５の局面において、特徴量算出部は、音声信号の音声パワレベルを特徴量として算出し、特定区間候補検出部は、パワレベルが所定値以下の無音区間を特定区間候補として検出する。【００１６】  第９の局面は、第５の局面において、特徴量算出部は、映像信号に基づく輝度情報を特徴量として算出し、特定区間候補検出部は、輝度情報の変化量が所定値以上であるシーンチェンジ点を特定区間候補として検出する。【００１７】  第１０の局面は、放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成方法であって、特徴量算出ステップと、特定区間端検出ステップと、ダイジェストシーン情報作成ステップとを備える。特徴量算出ステップは、所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する。特定区間端検出ステップは、受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する。ダイジェストシーン情報作成ステップは、特徴量が算出される度に、当該特徴量に基づいて、番組の全体の区間のうち特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成する。【００１８】  第１１の局面は、第１０の局面において、ダイジェストシーン情報作成ステップは、単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出ステップを含む。また、ダイジェストシーン情報作成ステップは、特定区間端検出ステップによって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間がダイジェスト候補区間と重複するか否かを判定し、前記ダイジェスト区間検出ステップによって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する。【００１９】  第１２の局面は、第１０の局面において、ダイジェストシーン情報作成ステップは、算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶ステップを含む。また、ダイジェストシーン情報作成ステップは、特徴量が算出される度に、一時記憶ステップによって記憶された特徴量にかかる時点が特定区間端検出ステップによって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する。【００２０】  第１３の局面は、放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置のコンピュータに実行させるダイジェスト生成プログラムを格納した記録媒体であって、特徴量算出ステップと、特定区間端検出ステップと、ダイジェストシーン情報作成ステップとを格納している。特徴量算出ステップは、所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出するための処理である。特定区間端検出ステップは、受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出するための処理である。ダイジェストシーン情報作成ステップは、特徴量が算出される度に、当該特徴量に基づいて、番組の全体の区間のうち特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成するための処理である。【００２１】  第１４の局面は、第１３の局面において、ダイジェストシーン情報作成ステップは、単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出ステップを含む。また、ダイジェストシーン情報作成ステップは、特定区間端検出ステップによって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間が前記ダイジェスト候補区間と重複するか否かを判定し、ダイジェスト区間検出ステップによって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する。【００２２】  第１５の局面は、第１３の局面において、ダイジェストシーン情報作成ステップは、算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶ステップを含む。また、ダイジェストシーン情報作成ステップは、特徴量が算出される度に、一時記憶ステップによって記憶された特徴量にかかる時点が特定区間端検出ステップによって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する。【００２３】  第１６の局面は、放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置に用いられる集積回路あって、特徴量算出部と、特定区間端検出部と、ダイジェストシーン情報作成部とを備える。特徴量算出部は、所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する。特定区間端検出部は、受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する。ダイジェストシーン情報作成部は、特徴量が算出される度に、当該特徴量に基づいて、番組の全体の区間のうち特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成する。【００２４】  第１７の局面は、第１６の局面において、ダイジェストシーン情報作成部は、単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出部を含む。また、ダイジェストシーン情報作成部は、特定区間端検出部によって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間がダイジェスト候補区間と重複するか否かを判定し、ダイジェスト区間検出部によって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する。【００２５】  第１８の局面は、第１６の局面において、ダイジェストシーン情報作成部は、算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶部を含む。また、ダイジェストシーン情報作成部は、特徴量が算出される度に、一時記憶部に記憶されている特徴量にかかる時点が特定区間端検出部によって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシ���ン情報を生成する。
【発明の効果】
【００２６】  上記第１の発明によれば、番組を記録しながら特定区間（例えばＣＭ区間）を検出できるため、番組の記録と並行して、特定区間を除外したダイジェストシーン情報を生成することができる。これにより、録画終了後におけるダイジェストシーン情報生成のための処理待ち時間を無くすことができ、ユーザに快適なダイジェスト再生操作を提供することができる。更に、番組記録途中に追っかけ再生をする場合においても、当該記録途中の時点に近いところまでのダイジェスト再生を行うこともでき、より使い勝手の良い再生環境を提供することができる。【００２７】  上記第２乃至第３の発明によれば、上記第１の発明と同様の効果を得ることができる。【００２８】  上記第４の発明によれば、２種類の特徴量を用いることができる。そのため、特定区間あるいはダイジェスト区間のそれぞれの検出に適した特徴量を利用し、より的確に特定区間あるいはダイジェスト区間を検出することができる。【００２９】  上記第５乃至第６の発明によれば、特定区間候補同士の時間間隔に基づいて特定区間を判定する。これにより、特定区間をより的確に判定することができる。【００３０】  上記第７の発明によれば、特定区間候補につき、所定の時間間隔に基づいて点数付けを行う。これにより、特定区間の始端あるいは終端らしさが評価できる。さらに、点数の高い特定区間候補を特定区間の始端または終端とするため、番組中にたまたま存在した特定区間候補を、誤って特定区間の始端または終端であると判定することを防ぐことができる。その結果、より的確に特定区間を除外したダイジェストシーン情報を作成することができる。【００３１】  上記第８の発明によれば、無音区間を特定区間候補とする。これにより、例えばＣＭ区間のような、区間の最初と終わりが無音区間であるという性質を利用した的確な特定区間の検出ができる。【００３２】  上記第９の発明によれば、輝度情報が大きく変化したシーンチェンジ点を特定区間候補とする。そのため、輝度情報が大きく変化する番組から特定区間への変わり目について、特定区間候補とすることができ、その結果、より的確に特定区間を判定することができる。【００３３】  上記第１０乃至第１８の発明によれば、上記第１の発明と同様の効果を得ることができる。
【図面の簡単な説明】
【００３４】
【図１】図１は、第１の実施形態にかかるダイジェスト生成装置１０の構成を示すブロック図である。
【図２】図２は、本発明で用いられるデータの一例を示す図である。
【図３】図３は、ダイジェストシーンリスト生成処理を示すフローチャートである。
【図４】図４は、図３のステップＳ４で示した無音区間検出処理の詳細を示すフローチャートである。
【図５】図５は、図４のステップＳ１６で示したポイント評価処理の詳細を示すフローチャートである。
【図６】図６は、図３のステップＳ５で示した候補区間検出処理の詳細を示すフローチャートである。
【図７】図７は、図３のステップＳ６で示したＣＭ区間判定処理の詳細を示すフローチャートである。
【図８】図８は、ＣＭ区間判定処理におけるＣＭ区間判定の一例を示す図である。
【図９】図９は、図３のステップＳ７で示したダイジェストシーンリスト出力処理の詳細を示すフローチャートである。
【図１０】図１０は、第２の実施形態にかかるダイジェスト生成装置１０の構成を示すブロック図である。
【図１１】図１１は、本発明で用いられるデータの一例を示す図である。
【図１２】図１２は、第２の実施形態にかかるダイジェストシーンリスト生成処理を示すフローチャートである。
【図１３】図１３は、図１２のステップＳ６６で示した無音区間検出処理の詳細を示すフローチャートである。
【図１４】図１４は、従来の記録再生装置の構成を示すブロック図である。
【図１５】図１５は、従来の記録再生装置の構成を示すブロック図である。
【符号の説明】
【００３５】１０、３０  ダイジェスト生成装置
１１  受信部
１２  特徴量算出部
１３  無音区間検出部
１４  候補区間検出部
１５  ＣＭ区間判定部
１６、３２  ダイジェストリスト作成部
１７  大容量記録媒体
１８  再生制御部
２１  比較用特徴量情報
２２  無音始端情報
２３  候補始端情報
２４  無音区間情報
２５  候補区間情報
２６  暫定ＣＭ始端情報
２７  ＣＭ区間情報
２８  ダイジェストシーンリスト
３１  一時記憶部
３６  一時蓄積特徴量
３７  ダイジェスト直前情報
３８  ダイジェスト始端情報
【発明を実施するための最良の形態】
【００３６】  本発明は、番組の録画と並行して、ダイジェストシーンの位置を示すダイジェストシーンリストを作成していく。以下に説明する本実施形態においては、ダイジェストシーンは、音声パワレベルが局所的に大きい値を取るシーン、つまり、盛り上がっているシーンをダイジェストシーンとして採用する。そのため、音声パワレベルが所定値以上であるシーンをダイジェスト候補区間として抜き出しておく。その一方で、音声パワレベルが所定値以下の区間を無音区間として抜き出し、当該無音区間が、所定の間隔（例えば１５秒間隔）で現れた区間をＣＭ区間として抜き出しておく。これは、ＣＭ区間の最初と最後には無音区間があること、およびＣＭ区間の長さは一定であるという性質を有することから、無音区間が一定の間隔で現れる部分はＣＭ区間であると考えられるからである。そして、ＣＭ区間が１つ抜き出される度に、ダイジェスト候補区間の情報からＣＭ区間に該当する情報を除くことで、番組区間内のダイジェストシーンを示すダイジェストシーンリストを作成する。なお、本実施形態において、１つのＣＭ区間の長さは、最大で６０秒であるものとして説明する。【００３７】  （第１の実施形態）
図１は、本発明の第１の実施形態に係るダイジェスト生成装置の構成を示したブロック図である。図１において、ダイジェスト生成装置１０は、受信部１１と特徴量算出部１２と無音区間検出部１３と候補区間検出部１４とＣＭ区間判定部１５とダイジェストリスト作成部１６と大容量記録媒体１７と再生制御部１８とで構成される。【００３８】  受信部１１は、放送電波を受信し、画像信号及び音声信号（以下、ＡＶ信号）に復調する。また、受信部１１は、復調したＡＶ信号を、特徴量算出部１２、大容量記録媒体１７、再生制御部１８へ出力する。【００３９】  特徴量算出部１２は、上記ＡＶ信号を分析して特徴量を算出し、無音区間検出部１３および候補区間検出部１４に出力する。ここで、特徴量とは、番組内のＣＭ区間やダイジェストシーンを判別するために用いられるものである。ＣＭ区間を判定するための特徴量としては、上述のように無音区間の発生間隔に基づいてＣＭ区間を判定することから、音声信号のパワレベルやパワスペクトルなどの音声特徴量が該当する。一方、ダイジェストシーンを判定するための特徴量としては、例えば、映像信号の輝度情報や動きベクトル等の映像特徴量や、音声信号のパワレベルやパワスペクトルなどの音声特徴量が該当する。本実施形態では、ＣＭ区間およびダイジェストシーンの双方の判定に音声信号のパワレベルを特徴量として用いるものとして説明する。【００４０】  無音区間検出部１３は、上記特徴量に基づいて番組内の無音区間を検出し、無音区間情報２４を生成する。また、無音区間検出部１３は、ＣＭ区間判定部１５に当該無音区間情報２４を出力する。【００４１】  候補区間検出部１４は、上記特徴量に基づいて番組内のダイジェストシーンの候補となる区間（以下、候補区間）を検出し、候補区間情報２５を生成する。また、候補区間検出部１４は、ダイジェストリスト作成部１６に当該候補区間情報２５を出力する。【００４２】  ＣＭ区間判定部１５は、上記無音区間情報２４に基づき、無音区間の時間間隔をみることで、ＣＭ区間を判定する。そして、ＣＭ区間判定部１５は、判定したＣＭ区間をＣＭ区間情報２７として、ダイジェストリスト作成部１６へ出力する。【００４３】  ダイジェストリスト作成部１６は、候補区間情報２５およびＣＭ区間情報２７に基づいて、ダイジェストシーンの位置を示す情報であるダイジェストシーンリスト２８を作成する。そして、ダイジェストリスト作成部１６は、当該ダイジェストシーンリスト２８を大容量記録媒体１７及び再生制御部１８へ出力する。【００４４】  大容量記録媒体１７は、ＡＶ信号やダイジェストシーンリスト２８を記録するための媒体であり、ＤＶＤやＨＤＤなどで実現される。【００４５】  再生制御部１８は、受信したＡＶ信号や大容量記録媒体１７に記録されたＡＶ信号の再生およびモニタへ出力等の再生制御を行う。【００４６】  なお、図１に示す特徴量算出部１２、無音区間検出部１３、候補区間検出部１４、ＣＭ区間判定部１５およびダイジェストリスト作成部１６は、典型的には集積回路であるＬＳＩとして実現されてもよい。特徴量算出部１２、無音区間検出部１３、候補区間検出部１４、ＣＭ区間判定部１５およびダイジェストリスト作成部１６は、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。【００４７】  次に、図２を用いて、本実施形態で用いられる各種データについて説明する。以下に説明する各種データは、例えば半導体メモリによって実現される一時記憶部（図示せず）に格納される。図２において、比較用特徴量情報２１（図２（Ａ））は、上記無音区間等を検出するために用いられ、直前のフレームについての時刻情報２１１および特徴量算出部１２により算出された音声パワレベル値が格納される直前特徴量２１２を有する。【００４８】  無音始端情報２２（図２（Ｂ））は、無音始端時刻を有しており、無音区間を検出するために用いられる。【００４９】  候補始端情報２３（図２（Ｃ））は、候補始端時刻を有しており、候補区間を検出するために用いられる。【００５０】  無音区間情報２４（図２（Ｄ））は、無音区間検出部１３による無音区間の検出結果が格納される。無音区間情報２４は、区間番号２４１と点数２４２と始端時刻２４３と終端時刻２４４との集合から成る。区間番号２４１は、各無音区間を識別するための番号である。点数２４２は、当該無音区間が、どの程度ＣＭ区間の端である可能性が高いかを評価した値である。当該点数が高いほど、当該無音区間はＣＭ区間の端である可能性が高いとし、逆にこの点数が低ければ、番組中にたまたま出てきた無音区間である（すなわち、ＣＭ区間の端ではない）可能性が高いものとする。始端時刻２４３および終端時刻２４４は、当該無音区間の開始時刻および終了時刻を示す時刻情報である。【００５１】  候補区間情報２５（図２（Ｅ））は、候補区間検出部１４による候補区間の検出結果が格納される。候補区間情報２５は、候補番号２５１と始端時刻２５２と終端時刻２５３との集合からなる。候補番号２５１は、各候補区間を識別するための番号である。始端時刻２５２および終端時刻２５３は、当該候補区間の開始時刻および終了時刻を示す時刻情報である。【００５２】  暫定ＣＭ始端情報２６（図２（Ｆ））は、ＣＭ区間判定部１５がＣＭ区間を検出するために用いる暫定ＣＭ始端時刻を有し、ＣＭ区間の始端となり得る無音区間の始端時刻が格納される。【００５３】  ＣＭ区間情報２７（図２（Ｇ））は、ＣＭ区間判定部１５によって検出されたＣＭ区間の情報が格納される。ＣＭ区間情報２７は、ＣＭ番号２７１とＣＭ始端時刻２７２とＣＭ終端時刻２７３との集合からなる。ＣＭ番号２７１は、各ＣＭ区間を識別するための番号である。ＣＭ始端時刻２７２およびＣＭ終端時刻２７３は、当該ＣＭ区間の開始時刻および終了時刻を示す時刻情報である。【００５４】  ダイジェストシーンリスト２８（図２（Ｈ））は、番組中のダイジェストシーンとなる区間の時刻情報を示すファイルである。ダイジェスト番号２８１とダイジェスト始端時刻２８２とダイジェスト終端時刻２８３との集合からなる。ダイジェスト番号２８１は、各ダイジェスト区間を識別するための番号である。ダイジェスト始端時刻２８２およびダイジェスト終端時刻２８３は、当該ダイジェスト区間の開始時刻および終了時刻を示す時刻情��である。【００５５】  以下、図３〜図９を用いて、ダイジェスト生成装置１０が行うダイジェストシーンリスト作成処理の詳細動作を説明する。図３は、第１の実施形態にかかるダイジェストシーンリスト作成処理の詳細動作を示すフローチャートである。図３に示す処理は、ユーザによる録画指示によって開始される。また、図３に示す処理のスキャンタイムは１フレームであるとする。【００５６】  図３において、まず、ダイジェスト生成装置１０は、録画の終了が指示されたか否かを判定する（ステップＳ１）。その結果、録画の終了が指示された場合は（ステップＳ１でＹＥＳ）、ダイジェストシーンリスト作成処理を終了する。一方、録画の終了が指示されていない場合は（ステップＳ１でＮＯ）、特徴量算出部１２は、受信部１１から１フレーム分の信号を取得する（ステップＳ２）。次に、特徴量算出部１２は、当該取得した信号を分析し、音声パワレベル（特徴量）を算出する（ステップＳ３）。【００５７】  次に、無音区間検出部１３は、無音区間検出処理を行って無音区間を検出する（ステップＳ４）。図４は、上記ステップＳ４で示した無音区間検出処理の詳細を示すフローチャートである。図４において、まず、無音区間検出部１３は、ステップＳ３で算出した音声信号のパワレベルが所定の閾値以下であるか否かを判定する（ステップＳ１１）。その結果、所定の閾値以下であれば（ステップＳ１１でＹＥＳ）、無音区間検出部１３は、１つ前のフレームにかかる特徴量が格納されている直前特徴量２１２を参照し、その値が所定の閾値以下であるか否かを判定する（ステップＳ１２）。つまり、現在のフレームと１つ前のフレームとの音声パワレベルの変化を判定することになる。その結果、所定の閾値以下でなければ（ステップＳ１２でＮＯ）、無音区間検出部１３は、当該フレームの時刻情報を無音始端情報２２へ格納しておく（ステップＳ１３）。なお、処理開始直後は、直前特徴量２１２にはまだ何も格納されていないため、この場合は、所定の閾値以下ではないとして処理をすすめる。一方、所定の閾値以下であれば（ステップＳ１２でＹＥＳ）、無音区間継続中であるため、そのまま無音区間検出処理を終了する。【００５８】  一方、上記ステップＳ１１の結果、ステップＳ３で抽出した音声信号のパワレベルが所定の閾値以下でない場合は（ステップＳ１１でＮＯ）、無音区間検出部１３は、直前特徴量２１２を参照し、ここに格納されているパワレベルが所定の閾値以下であるか否かを判定する（ステップＳ１４）。その結果、所定の閾値以下であれば（ステップＳ１４でＹＥＳ）、継続していた無音区間が１つ前のフレームで終了したことになるため、無音区間検出部１３は、上記無音始端情報２２の無音始端時刻から１つ前のフレームの時刻情報２１１までの区間を１つの無音区間として、無音区間情報２４に出力する（ステップＳ１５）。次に、無音区間検出部１３は、ステップＳ１５で出力した無音区間について、後述するようなポイント評価処理（ステップＳ１６）を行う。【００５９】  一方、ステップＳ１４の判定の結果、直前特徴量２１２のパワレベルが所定の閾値以下でなければ（ステップＳ１４でＮＯ）、無音区間ではない区間が継続中であるため、無音区���検出部１３は、処理を終了する。なお、処理開始直後は、直前特徴量２１２にはまだ何も格納されていないため、この場合も、所定の閾値以下でないとして処理をすすめる。以上で、無音区間検出処理が終了する。【００６０】  次に、図５を用いて、上述したステップＳ１６におけるポイント評価処理の詳細について説明する。本処理では、最後に検出した無音区間の前１５秒、３０秒、６０秒の時点が無音区間か否かを判定し、無音区間であれば、それぞれの無音区間情報に１点を加算する処理である。これにより、いずれかＣＭの始端あるいは終端であると考えられる無音区間については点数が高くすることができる。つまり、ＣＭ区間の両端が無音区間であるという性質、および１つのＣＭ区間の長さが１５秒、３０秒あるいは６０秒であるという性質を利用して、番組中に発生する無音区間についての「ＣＭ区間の端らしさ」を、点数をつけることにより評価していく処理を行う。その結果、番組中にたまたま発生した無音区間とＣＭの境界を示す無音区間とを区別することが可能となる。【００６１】  図５において、まず、無音区間検出部１３は、無音区間情報２４に最後に格納された無音区間の始端時刻２４３を取得する。そして、無音区間検出部１３は、当該時刻の１５秒前の時刻を有する無音区間があるか否かを、無音区間情報２４を検索することで判定する（ステップＳ２１）。その結果、無音区間が検索できれば（ステップＳ２１でＹＥＳ）、無音区間検出部１３は、最後に格納された無音区間、およびステップＳ２１で検索した無音区間のそれぞれの点数２４２に１を加算する（ステップＳ２２）。一方、ステップＳ２１の判定の結果、１５秒前の無音区間を検索できなければ（ステップＳ２１でＮＯ）、無音区間検出部１３は、ステップＳ２２の処理は行わずに、処理をステップＳ２３に進める。次に、無音区間検出部１３は、ステップＳ２１と同様に３０秒前が無音区間であるか否かを判定する（ステップＳ２３）。その結果、検索できれば（ステップＳ２３でＹＥＳ）、無音区間検出部１３は、最後に格納した無音区間、および今回検索した無音区間のそれぞれの点数２４２に１を加算する（ステップＳ２４）。一方、ステップＳ２３の判定の結果、３０秒前の無音区間を検索できなければ（ステップＳ２３でＮＯ）、無音区間検出部１３は、ステップＳ２４の処理は行わずに、処理をステップＳ２５に進める。ステップＳ２５においては、無音区間検出部１３は、ステップＳ２１やＳ２３と同様に、６０秒前に無音区間があるか否かを判定し、あれば、ステップＳ２２やＳ２４と同様に点数２４２に１を加算する。以上で、ステップＳ１６にかかるポイント評価処理は終了する。なお、上述の説明では無音区間の始端時刻２４３を基準に無音区間情報２４を検索したが、これに限らず、無音区間の終端時刻２４４、あるいは当該無音区間中の任意の時点を基準にして検索しても良い。【００６２】  図３に戻り、ステップＳ４の処理の後、候補区間検出部１４は、候補区間検出処理を行う（ステップＳ５）。この処理は、音声パワレベルが所定の閾値以上の区間をダイジェストシーンの候補区間として検出する処理である。【００６３】  図６は、上記ステップＳ５で示した候補区間検出処理の詳��を示すフローチャートである。図６において、まず、候補区間検出部１４は、ステップＳ３で抽出した音声信号のパワレベルが所定の閾値以上であるか否かを判定する（ステップＳ３１）。その結果、所定の閾値以上であれば（ステップＳ３１でＹＥＳ）、続いて候補区間検出部１４は、上記直前特徴量２１２が所定の閾値以上であるか否かを判定する（ステップＳ３２）。その結果、所定の閾値以上でなければ（ステップＳ３２でＮＯ）、候補区間検出部１４は、ステップＳ２で取得したフレーム（現在処理対象となっているフレーム）の時刻情報を候補始端情報２３へ格納する（ステップＳ３３）。なお、処理開始直後は、直前特徴量２１２にはまだ何も格納されていないため、この場合は、所定の閾値以上ではないとして処理をすすめる。一方、所定の閾値以上であれば（ステップＳ３２でＹＥＳ）、候補区間継続中であるため、候補区間検出部１４は、処理をステップＳ３６へ進める。【００６４】  一方、上記ステップＳ３１の結果、ステップＳ３で算出した音声信号のパワレベルが所定の閾値以上でない場合は（ステップＳ３１でＮＯ）、候補区間検出部１４は、直前特徴量２１２を参照し、ここに格納されているパワレベルが所定の閾値以上であるか否かを判定する（ステップＳ３４）。その結果、所定の閾値以上であれば（ステップＳ３４でＮＯ）、継続していた候補区間が１つ前のフレームで終了したことになるため、候補区間検出部１４は、上記候補始端情報２３に格納されている候補始端時刻から、１つ前のフレームの時刻である時刻情報２１１までの区間を１つの候補区間として、候補区間情報２５に出力する（ステップＳ３５）。【００６５】  一方、ステップＳ３４の判定の結果、直前特徴量２１２の値が所定の閾値以上でなければ（ステップＳ３４でＮＯ）、候補区間ではない区間が継続中であるため、候補区間検出部１４は、処理をステップＳ３６へ進める。なお、処理開始直後は、直前特徴量２１２にはまだ何も格納されていないため、所定の閾値以上でないとして処理をすすめる。ステップＳ３６においては、候補区間検出部１４は、上記ステップＳ３で取得した音声信号のパワレベルを、直前特徴量２１２に格納する（ステップＳ３６）。以上で、候補区間検出処理が終了する。【００６６】  図３に戻り、ステップＳ５の処理が終われば、次に、ＣＭ区間判定部１５は、ＣＭ区間判定処理を行う（ステップＳ６）。図７は、上記ステップＳ６で示したＣＭ区間判定処理の詳細を示すフローチャートである。図７において、まず、ＣＭ区間判定部１５は、無音区間情報２４を検索し、現在のフレームの６０秒前の時点に、点数２４２が所定値以上（例えば３点）の無音区間が存在するかどうかを判定する（ステップＳ４１）。すなわち、６０秒前の時点が無音区間であったか否かを判定することになる。ここで、無音区間存在の検索の時点を６０秒前としているのは、本実施形態では、１つのＣＭ区間の長さが最大６０秒と仮定しているためである。そのため、１つのＣＭ区間の長さが最大３０秒と仮定する場合は、当該検索の時点を３０秒にすればよい。ステップＳ４１の判定の結果、６０秒前の時点が無音区間でなければ（ステップＳ４１でＮＯ）、ＣＭ区間判定部１５は、処理を後述の��テップＳ４６へ進める。【００６７】  一方、ステップＳ４１の判定の結果、無音区間であれば（ステップＳ４１でＹＥＳ）、ＣＭ区間判定部１５は、暫定ＣＭ始端情報２６にデータが存在するか否かを判定する（ステップＳ４２）。その結果、暫定ＣＭ始端情報２６にデータが存在しなければ（ステップＳ４２でＮＯ）、ＣＭ区間判定部１５は、検索した無音区間の時刻情報を暫定ＣＭ始端情報２６に出力する（ステップＳ４９）。一方、すでにデータが存在すれば（ステップＳ４２でＹＥＳ）、ＣＭ区間判定部１５は、暫定ＣＭ始端情報２６から暫定始端時刻を取得し、これをＣＭ始端時刻２７２として、ＣＭ番号２７１と関連付けてＣＭ区間情報２７に出力する。併せて、ステップＳ４１で検索した無音区間（すなわち、６０秒前の時点の無音区間）の終端時刻をＣＭ終端時刻２７３として、ＣＭ区間情報２７に出力する（ステップＳ４３）。【００６８】  次に、ＣＭ区間判定部１５は、後述するダイジェストシーンリストを作成させるためのフラグである、Ｄリスト作成フラグをオンに設定する（ステップＳ４４）。続いて、ＣＭ区間判定部１５は、当該６０秒前の無音区間情報の終端時刻を暫定ＣＭ始端情報２６の始端時刻として出力する（ステップＳ４５）。【００６９】  次に、ＣＭ区間判定部１５は、暫定ＣＭ始端情報２６の時刻から１２０秒以上経過しているか否かを判定する（ステップＳ４６）。つまり、ＣＭ始端の可能性のある無音区間が見つかった後、１２０秒間、点数２４２が所定値以上の無音区間がなければ、当該無音区間はＣＭの始端ではないとするものである。ここで、判定基準の時間を１２０秒としているのは、本実施形態では１つのＣＭ区間が最大６０秒と仮定しているためである。つまり、一度ＣＭ区間の始端候補がみつかり、その６０秒後に無音区間が見つかったとしても、当該無音区間がＣＭ区間の終端か否かが確定するためには更に６０秒必要となるからである。【００７０】  ステップＳ４６の判定の結果、１２０秒以上経過していれば（ステップＳ４６でＹＥＳ）、ＣＭ区間判定部１５は、暫定ＣＭ始端情報２６をクリアする（ステップＳ４７）。続いて、ＣＭ区間判定部１５は、Ｄリスト作成フラグをオンに設定する（ステップＳ４８）。一方、１２０秒以上経過していない場合は（ステップＳ４６でＮＯ）、そのまま処理を終了する。以上で、ＣＭ区間判定処理は終了する。【００７１】  ここで、図８を用いて、上記ＣＭ区間判定処理について補足説明する。図８において、点Ａ〜点Ｇは、無音区間であり且つ１５秒間隔のＣＭ区間の端である。上述した処理によれば、図８の点Ｅ（６０秒）の時点で、点Ａが暫定ＣＭ始端とされる。その後、点Ｆ（７５秒）の時点で、点Ａ〜点ＢがＣＭ区間であると確定し、当該区間の時刻情報がＣＭ区間情報２７に出力される。併せて、点Ｂが新たな暫定ＣＭ始端とされる。その後、点Ｇの時点で、点Ｂ〜点ＣがＣＭ区間として確定し、ＣＭ区間情報に出力され、これに併せて点Ｃが暫定ＣＭ始端とされることになる。このように、上述のような処理によれば、幾分かの遅延時間が発生する形ではあるが、番組録画中においても、正確なＣＭ区間を並行して確定していくことができる。【００７２】  図３に戻り、ステップＳ６の処理が��われば、次に、ダイジェストリスト作成部１６は、ダイジェストシーンリスト出力処理を行う（ステップＳ７）。図９は、上記ステップＳ７で示したダイジェストシーンリスト出力処理の詳細を示すフローチャートである。図９において、まず、ダイジェストリスト作成部１６は、Ｄリスト作成フラグがオンか否かを判定する（ステップＳ５１）。その結果、オンでない場合（ステップＳ５１でＮＯ）、ダイジェストリスト作成部１６は、そのまま処理を終了する。一方、オンであれば（ステップＳ５１でＹＥＳ）、ダイジェストリスト作成部１６は、以前にダイジェストシーンリスト出力処理を行ってから以降に、候補区間情報２５に新たな候補区間が追加されたか否かを判定する（ステップＳ５２）。その結果、候補区間が追加されていなければ（ステップＳ５２でＮＯ）、ダイジェストリスト作成部１６は、そのままダイジェストシーンリスト作成処理を終了する。一方、以前にダイジェストシーンリスト出力処理を行ったときから候補区間が新たに追加されている場合は（ステップＳ５２でＹＥＳ）、ダイジェストリスト作成部１６は、増加分の候補区間の情報を１件取得する（ステップＳ５３）。次に、ダイジェストリスト作成部１６は、当該候補区間がＣＭ区間内に含まれているか否かを、ＣＭ区間情報２７を参照して判定する（ステップＳ５４）。その結果、ＣＭ区間内でなければ（ステップＳ５４でＮＯ）、ダイジェストリスト作成部１６は、当該候補区間の情報をダイジェストシーンリスト２８に出力する（ステップＳ５５）。一方、ＣＭ区間内であれば（ステップＳ５４でＹＥＳ）、処理をステップＳ５６に進める。つまり、候補区間がＣＭ区間でもある場合は、当該候補区間はダイジェストシーンとしては採用しない、という振り分けを行うことになる。【００７３】  次に、ダイジェストリスト作成部１６は、増加分の候補区間全てについて上記振り分けの処理を行ったか否かを判定する（ステップＳ５６）。その結果、まだ未処理の増加分の候補区間が残っていれば（ステップＳ５６でＮＯ）、ダイジェストリスト作成部１６は、上記ステップＳ５３に戻って処理を繰り返す。一方、増加分の候補区間について全て処理した場合は、ダイジェストリスト作成部１６は、Ｄリスト作成フラグをオフに設定し（ステップＳ５７）、当該ダイジェストシーンリスト出力処理を終了する。以上で、第１の実施形態にかかるダイジェストシーンリスト作成処理は終了する。【００７４】  このように、第１の実施形態では、番組の録画と並行しながら、単純に音声パワレベルが所定値以上であるダイジェスト候補区間を抜き出し、その中から、ＣＭ区間に該当するものを差し引いていくことで、番組区間内におけるダイジェストシーンだけを抽出したダイジェストシーンリストを録画と並行しながら作成していくことができる。これにより、番組の録画終了後に、別途ダイジェストシーンリスト生成のための処理を行う必要がなくなり、当該生成処理のための処理待ち時間のない快適な視聴環境をユーザに提供することができる。【００７５】  なお、上述した実施形態では、無音区間の検出処理を無音区間検出部１３が行っているが、これに限らず、ＣＭ区間判定部１５が、ＣＭ区間の判定処理に先立って無音区間��検出するようにしてもよい。【００７６】  また、ダイジェストシーンの検出についても、上述した音声のパワレベルを用いる方式に限らず、例えば、特定の番組ジャンルであるスポーツに限定して、映像の動きベクトルから動きのスローなシーン（繰り返しのスローモーションシーン）を特定し、この直前の数カットを盛り上がっているシーンとして検出する方式や、番組に付与されたテキスト情報と映像・音声信号の特徴量とを組み合わせて重要シーンを検出する方式を用いても良い。もちろん、これらのダイジェストシーン検出方式に限定するものではなく、ダイジェストシーンを検出するものであればどのような方式であってもよい。同様に、ＣＭ区間の検出についても、上述したような音声パワレベルを用いる方式に限らず、例えば、映像の輝度情報から映像のシーンチェンジ点を検出し、その発生間隔に基づいてＣＭ区間を判定するようにしてもよい。この場合は、上記特徴量として、映像の輝度情報を用いれば良い。【００７７】  また、上述のダイジェストリストを用いて、番組録画中に当該番組の追いつき再生を行っても良い。この場合は、ユーザが追いつき再生を指示する。この指示を受け、再生制御部１８は、録画開始から２分以上経っているかを判定し、２分以上であれば、上述の処理で生成されていくダイジェストリストを用いてダイジェストシーンのみ再生する。一方、２分以上でなければ、再生制御部１８は、早見再生（例えば、再生速度１．５倍での再生等）を行う。その後、早見再生が実放送に追いつけば、当該早見再生を停止し、実時間放送の出力に切り替えるようにしてもよい。また、上記ダイジェストシーンの再生終了後は、その後の再生についてはユーザの指示に委ねるようしてもよい。例えば、ダイジェストシーン通常の再生を行っても良いし、間引いて再生するようにしてもよい。例えば、６０分番組において番組開始後３０分経過した時点で、ユーザが「ダイジェストシーンを１０分で再生するように」という旨の追いつき再生を指示したとする。この場合は、再生制御部１８は、その時点で作成されているダイジェストシーンリストに基づいて、１０分で終わるようにダイジェストシーンを再生していく。そして、ダイジェストシーンの再生が終わった後の視聴についてはユーザに委ね、その指示を待つ。すなわち、ダイジェストシーンの再生後は、番組開始後４０分経過していることから、ダイジェストシーン再生中の１０分間の番組について、ユーザの指示を受けて間引き再生を行うようにしてもよいし、早見再生を行うようにしてもよい。もちろん、当該１０分間の番組については再生せずに、実放送を見てもよい。この場合は、再生制御部１８は、ユーザの指示を受けて再生処理を終了することになる。このように、本実施形態によれば、録画と並行してダイジェストシーンリストが生成されていくため、録画途中の任意のタイミングであっても、ダイジェスト再生を行うことができる。【００７８】  また、上述の実施形態では、ダイジェスト候補区間からＣＭ区間を差し引いてダイジェストシーン情報を作成していた。しかし、ダイジェスト候補区間から差し引く区間はＣＭ区間に限るものではない。例えば、静止画が表示されている区間を検出して差し引くように��てもよい。これは、例えば、ある番組を再放送する際において、ライセンスや肖像権の関係上、番組内で放送できないシーンが生じる場合がある。このようなときは、放送できないシーンについては代わりに静止画（「表示できません」という表示がされている）が表示されるような編集が放送前になされてから、放送される。そのため、上記静止画の特徴量（例えば、映像の動きベクトルが０）を検出して、静止画が継続して表示されている静止画区間を検出する。そして、ダイジェスト候補区間から当該静止画区間（つまり、放送禁止区間）を差し引いてダイジェストシーン情報を作成するようにしてもよい。このようなＣＭ区間や静止画区間等の所定の特徴を有する区間を特定区間として検出し、当該特定区間をダイジェスト候補区間から差し引くようにすれば、適切にダイジェストシーンだけを抜き出したダイジェストリストを生成することができる。【００７９】（第２の実施形態）
次に、図１０から図１３を参照して、本発明の第２の実施形態について説明する。上述の第１の実施形態では、ダイジェストシーンの候補区間を随時検出している。これに対して、第２の実施形態では、候補区間を検出せずに、ダイジェストシーン検出のため必要な特徴量を所定時間分溜めておき、所定のタイミングでＣＭ区間以外の当該特徴量からダイジェストシーンを検出する。図１０は、本発明の第２の実施形態に係るダイジェスト生成装置３０の構成を示したブロック図である。図１０において、特徴量算出部１２は、算出した特徴量と時刻情報とを関連付け、一時蓄積特徴量３６として一時記憶部３１に格納する。一時記憶部３１は、所定時間分のフレームの特徴量および時刻情報を保持する容量を有する。本実施形態では、２分間分のフレームの情報を保持できるものとする。また、一時記憶部３１は、リングバッファ方式により古いデータから順に上書きされていくものとする。ダイジェストリスト作成部３２は、ＣＭ区間情報２７および一時記憶部３１に記憶された特徴量に基づいて、ＣＭ区間以外の区間からダイジェストシーンを検出し、ダイジェストシーンリスト２８を作成する。これらを除けば、当該実施形態に係るダイジェスト生成装置３０は、上述した第１の実施形態と、基本的に同じ構成を成している。そのため、同一箇所には同一の参照符号を付して詳細な説明を省略する。【００８０】  次に、図１１を用いて、第２の実施形態で用いられるデータについて説明する。第２の実施形態では、第１の実施形態で用いたデータの他、一時蓄積特徴量３６、ダイジェスト直前情報３７、ダイジェスト始端情報３８を用いる。一時蓄積特徴量３６はダイジェストシーンの検出に用いられるものであり、時刻情報３６１および特徴量３６２を有する。時刻情報３６１には、フレームの時刻情報が格納される。特徴量３６２には、特徴量算出部１２が算出した、ダイジェストシーン検出のために用いられる特徴量（本実施形態では音声パワレベル）が格納される。ダイジェスト直前情報３７（図１１（Ｂ））も、ダイジェストシーンの検出に用いられるものであり、ダイジェスト直前時刻情報３７１およびダイジェスト直前特徴量３７２を有する。ダイジェスト直前時刻情報３７１には、現在処理対象となっているフレームの１つ前のフレームにかかる時刻情報が格納される。ダイジェスト直前特徴量３７２には、現在処理対象となっているフレームの１つ前のフレームについての特徴量が格納される。ダイジェスト始端情報３８（図１１（Ｃ））は、ダイジェスト始端時刻を有しており、ダイジェストシーンを検出するために用いられる。【００８１】  以下、図１２〜図１３を用いて、本発明の第２の実施形態にかかるダイジェストシーンリスト作成処理を説明する。図１２は、第２の実施形態にかかるダイジェストシーンリスト作成処理の詳細動作を示すフローチャートである。図１１において、ステップＳ６１、Ｓ６２の処理は、上述の第１の実施形態で図３を用いて説明したステップＳ１、Ｓ２の処理と同様であるため、ここでは詳細な説明を省略する。また、ステップＳ６３にかかる特徴量算出処理についても、算出した特徴量を上記一時記憶部３１に出力する点を除けば、上述の第１の実施形態で��３を用いて説明したステップＳ３の処理と同様であるため、詳細な説明は省略する。また、ステップＳ６４にかかる無音区間検出処理についても、処理の最後に、ステップＳ６３で算出した特徴量（音声信号のパワレベル）を、直前特徴量２１２に格納する点を除けば、上述の第１の実施形態で図４を用いて説明したステップＳ４の処理と同様であるため、詳細な説明は省略する。【００８２】  ステップＳ６４の次に、ＣＭ区間判定部１５は、ＣＭ区間判定処理を行い、ＣＭ区間情報を作成する（ステップＳ６５）。このステップＳ６５の動作についても、上述の第１の実施形態で図７を用いて説明したステップＳ６の処理と同様であるため、詳細な説明を省略する。【００８３】  ステップＳ６５の処理が終われば、ダイジェストリスト作成部３２は、ダイジェストリスト出力処理を行う（ステップＳ６６）。図１３は、上記ステップＳ６６で示したダイジェストリスト出力処理の詳細を示すフローチャートである。図１３において、まず、ダイジェストリスト作成部３２は、一時蓄積特徴量３６に１２０秒分のフレームの特徴量が蓄積されたか否かを判定する（ステップＳ７１）。これは、本実施形態においてＣＭ区間の最大長を６０秒と想定しているところ、例えば番組冒頭にＣＭ区間が６０秒あった場合に、当該ＣＭ区間が確定するためには最大１２０秒必要となることから、少なくとも番組開始から１２０秒間は、本処理を行わないようにするためのものである。ステップＳ７１の判定の結果、まだ１２０秒分蓄積されていなければ（ステップＳ７１でＮＯ）、ダイジェストリスト出力処理を終了する。一方、蓄積されていれば（ステップＳ７１でＹＥＳ）、ダイジェストリスト作成部１６は、一時蓄積特徴量３６から、一番古い時刻情報３６１および特徴量３６２を取得する（ステップＳ７２）。【００８４】  続いて、ダイジェストリスト作成部３２は、ステップＳ７２で取得した時刻情報３６１の示す時刻がＣＭ区間内に存在するか否かを、ＣＭ区間情報を参照して判定する（ステップＳ７３）。その結果、ＣＭ区間内であれば（ステップＳ７３でＹＥＳ）、ダイジェストリスト作成部３２は、ダイジェストリスト生成処理を終了する。一方、ＣＭ区間内でなければ（ステップＳ７３でＮＯ）、ダイジェストリスト作成部３２は、特徴量３６２の値が所定値以上か否かを判定する（ステップＳ７４）。その結果、所定値以上であれば（ステップＳ７４でＹＥＳ）、ダイジェストリスト作成部３２は、ダイジェスト直前特徴量３７２が所定値以上か否かを判定する（ステップＳ７５）。つまり、ステップＳ７２で取得したフレームと当該フレームの１つ前のフレームとの音声パワレベルの変化を判定する。その結果、ダイジェスト直前特徴量３７２が所定値以上でなければ（ステップＳ７５でＮＯ）、当該フレームの時刻情報をダイジェスト始端情報３８に退避する（ステップＳ７６）。なお、最初の一回目の処理のときにおいては、ダイジェスト直前特徴量２１２にまだ何も格納されていないため、このときは、所定値以上でないとして処理をすすめる。一方、ステップＳ７５の判定の結果、ダイジェスト直前特徴量３７２が所定値以上であれば（ステップＳ７５でＹＥＳ）、ダイジェストリスト作成部１６は、ス��ップＳ７６の処理を行わずに、ステップＳ７７の処理に進む。【００８５】  一方、ステップＳ７４の判定の結果、特徴量３６２の値が所定値以上でなければ（ステップＳ７４でＮＯ）、次に、ダイジェストリスト作成部３２は、ダイジェスト直前特徴量３７２が所定値以上か否かを判定する（ステップＳ７８）。その結果、ダイジェスト直前特徴量３７２が所定値以上でなければ（ステップＳ７８でＮＯ）、ダイジェストリスト作成部１６は、ダイジェストリスト生成処理を終了する。一方、ダイジェスト直前特徴量３７２が所定値以上であれば（ステップＳ７８でＹＥＳ）、継続していたダイジェストシーンが１つ前のフレームで終了したことになるため、上記ダイジェスト始端情報３８の示すダイジェスト始端時刻からダイジェスト直前時刻情報３７１までの区間を１つのダイジェスト区間として、ダイジェストシーンリスト２８に出力する（ステップＳ７９）。【００８６】  次に、ダイジェストリスト作成部１６は、当該フレームの音声パワレベルをダイジェスト直前特徴量３７２に退避する（ステップＳ７７）。以上で、第２の実施形態にかかるダイジェストシーンリスト作成処理が終了する。【００８７】  このように、第２の実施形態では、番組の録画と並行しながら、ＣＭ区間を検出し、ＣＭ区間以外の番組区間からダイジェストシーンを検出していくことができる。これにより、番組の録画終了後に、別途ダイジェストシーンリスト生成のための処理を行う必要がなくなり、当該生成処理のための処理待ち時間のない快適な視聴環境をユーザに提供することができる。【００８８】  なお、上述した各実施形態は、コンピュータに実行させるプログラムを格納した記録媒体の形態で提供されてもよい。この場合は、当該記録媒体に格納されたダイジェスト生成プログラムを読み込み、ダイジェスト生成装置（より正確には、図示しない制御部）が、図３、図１２に示すような処理を実行すればよい。
【産業上の利用可能性】
【００８９】  本発明にかかるダイジェスト生成装置、ダイジェスト生成方法、ダイジェスト生成プログラムを格納した記録媒体、およびダイジェスト生成装置に用いられる集積回路は、番組を録画しながらダイジェストシーン情報を生成することができ、ＨＤＤレコーダやＤＶＤレコーダ等の用途に有用である。
【図１】
2007013407.tif 000002
【図２】
2007013407.tif 000003
【図３】
2007013407.tif 000004
【図４】
2007013407.tif 000005
【図５】
2007013407.tif 000006
【図６】
2007013407.tif 000007
【図７】
2007013407.tif 000008
【図８】
2007013407.tif 000009
【図９】
2007013407.tif 000010
【図１０】
2007013407.tif 000011
【図１１】
2007013407.tif 000012
【図１２】
2007013407.tif 000013
【図１３】
2007013407.tif 000014
【図１４】
2007013407.tif 000015
【図１５】
2007013407.tif 000016
【手続補正書】
【提出日】平成19年4月25日(2007.4.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置であって、
所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する特徴量算出部と、
前記受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、前記特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する特定区間端検出部と、
前記特徴量が算出される度に、当該特徴量に基づいて、前記番組の全体の区間のうち前記特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成するダイジェストシーン情報作成部とを備える、ダイジェスト生成装置。
【請求項２】
前記ダイジェストシーン情報作成部は、
前記単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、前記受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出部を含み、
前記特定区間端検出部によって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間が前記ダイジェスト候補区間と重複するか否かを判定し、前記ダイジェスト区間検出部によって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する、請求項１に記載のダイジェスト生成装置。
【請求項３】
前記ダイジェストシーン情報作成部は、
前記算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶部を含み、
前記特徴量が算出される度に、前記一時記憶部に記憶されている特徴量にかかる時点が前記特定区間端検出部によって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分の放送信号に含まれるコンテンツのうちダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する、請求項１に記載のダイジェスト生成装置。
【請求項４】
前記特徴量算出部は、第１及び第２の特徴量を算出し、
前記特定区間端検出部は、第１の特徴量に基づいて特定区間の始端または終端を判定し、
前記ダイジェスト区間検出部は、第２の特徴量に基づいて前記ダイジェスト候補区間を検出する、請求項２に記載のダイジェスト生成装置。
【請求項５】
前記特定区間端検出部は、
前記特徴量が所定の条件を満たすとき、当該条件を満たす特徴量のみを含む区間を特定区間候補として検出する特定区間候補検出部と、
前記番組内における前記特定区間候補同士の時間差に基づいて特定区間の始端または終端となる候補を検出する特定区間判定部とを含む、請求項１に記載のダイジェスト生成装置。
【請求項６】
前記特定区間判定部は、前記特定区間候補が検出される度に、検出された特定区間候補から所定時間前の時点が既に検出された特定区間候補に含まれていれば、当該所定時間前の時点を特定区間の始端とし、当該特定区間候補を特定区間の終端として検出する、請求項５記載のダイジェスト生成装置。
【請求項７】
前記特定区間検出部は、
前記特定区間候補が検出される度に、最後に検出された特定区間候補から所定の第１時間前の時点に、または、当該最後に検出された特定区間候補から所定の第２時間前の時点に、すでに検出された特定区間候補が存在するか否かを判定する判定部と、
前記判定部によって特定区間候補が存在すると判定された場合、存在すると判定された特定区間候補および当該最後に検出された特定区間候補についてそれぞれ点数を加算する加算部と、
点数が所定値以上である対象候補が検出されてから所定の第３時間が経過する度に、当該対象候補から当該第３時間前の時点に、点数が当該所定値以上の特定区間候補が存在するか否かを判定し、存在しない場合、当該対象候補を特定区間の始端とする始端決定部と、
点数が所定値以上である対象候補が検出されてから所定の第３時間が経過する度に、当該第３時間が経過した時点に、点数が当該所定値以上の特定区間候補が存在するか否かを判定し、存在しない場合、当該対象候補を特定区間の終端とする終端決定部とを備える、請求項５記載のダイジェスト生成装置。
【請求項８】
前記特徴量算出部は、音声信号の音声パワレベルを前記特徴量として算出し、
前記特定区間候補検出部は、前記パワレベルが所定値以下の無音区間を前記特定区間候補として検出する、請求項５記載のダイジェスト生成装置。
【請求項９】
前記特徴量算出部は、映像信号に基づく輝度情報を前記特徴量として算出し、
前記特定区間候補検出部は、前記輝度情報の変化量が所定値以上であるシーンチェンジ点を前記特定区間候補として検出する、請求項５記載のダイジェスト生成装置。
【請求項１０】
放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成方法であって、
所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する特徴量算出ステップと、
前記受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、前記特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する特定区間端検出ステップと、
前記特徴量が算出される度に、当該特徴量に基づいて、前記番組の全体の区間のうち前記特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成するダイジェストシーン情報作成ステップとを備える、ダイジェスト生成方法。
【請求項１１】
前記ダイジェストシーン情報作成ステップは、
前記単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、前記受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出ステップを含み、
前記特定区間端検出ステップによって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間が前記ダイジェスト候補区間と重複するか否かを判定し、前記ダイジェスト区間検出ステップによって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する、請求項１０記載のダイジェスト生成方法。
【請求項１２】
前記ダイジェストシーン情報作成ステップは、
前記算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶ステップを含み、
前記特徴量が算出される度に、前記一時記憶ステップによって記憶された特徴量にかかる時点が前記特定区間端検出ステップによって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する、請求項１０記載のダイジェスト生成方法。
【請求項１３】
放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置のコンピュータに実行させるダイジェスト生成プログラムを格納した記録媒体であって、
所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する特徴量算出ステップと、
前記受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、前記特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する特定区間端検出ステップと、
前記特徴量が算出される度に、当該特徴量に基づいて、前記番組の全体の区間のうち前記特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成するダイジェストシーン情報作成ステップとを前記コンピュータに実行させるプログラムを格納した記録媒体。
【請求項１４】
前記ダイジェストシーン情報作成ステップは、
前記単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、前記受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出ステップを含み、
前記特定区間端検出ステップによって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間が前記ダイジェスト候補区間と重複するか否かを判定し、前記ダイジェスト区間検出ステップによって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する、請求項１３記載の記録媒体。
【請求項１５】
前記ダイジェストシーン情報作成ステップは、
前記算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶ステップを含み、
前記特徴量が算出される度に、前記一時記憶ステップによって記憶された特徴量にかかる時点が前記特定区間端検出ステップによって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する、請求項１３記載の記録媒体。
【請求項１６】
放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置に用いられる集積回路あって、
所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する特徴量算出部と、
前記受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、前記特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する特定区間端検出部と、
前記特徴量が算出される度に、当該特徴量に基づいて、前記番組の全体の区間のうち前記特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成するダイジェストシーン情報作成部とを備える、ダイジェスト生成装置に用いられる集積回路。
【請求項１７】
前記ダイジェストシーン情報作成部は、
前記単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、前記受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出部を含み、
前記特定区間端検出部によって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間が前記ダイジェスト候補区間と重複するか否かを判定し、前記ダイジェスト区間検出部によって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する、請求項１６記載の集積回路。
【請求項１８】
前記ダイジェストシーン情報作成部は、
前記算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶部を含み、
前記特徴量が算出される度に、前記一時記憶部に記憶されている特徴量にかかる時点が前記特定区間端検出部によって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する、請求項１６記載の集積回路。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ダイジェストシーンの生成に関し、より特定的には、テレビ放送などから映像や音声の特徴量を算出し、これらを利用して特定の重要シーンを決定するダイジェストシーンの生成に関する。
【背景技術】
【０００２】
従来より、テレビ放送などから映像や音声の特徴量を算出し、これらを利用して重要シーンを決定するダイジェスト（要約）生成装置がある。このような装置においては、ダイジェストの生成につき、次のような方式が一般的に用いられる。まず、一度記録媒体に録画されたＡＶ信号から映像・音声の特徴量を１番組分算出し、それらの特徴量に基づきＣＭ区間を検出して、ダイジェスト再生のプレイリストなどの時刻情報をＣＭ区間以外から算出する方式がある。
【０００３】
この方式を採用する従来のダイジェスト生成装置の構成について、図１４を用いて説明する。図１４は、ＣＭ区間を除外したダイジェストの生成を行うダイジェスト生成装置の構成例である。図１４において、受信部１０１は、放送電波を受信し、音声・映像信号（以下、ＡＶ信号）に復調する。大容量記憶媒体１０２は、受信したＡＶ信号を記録する媒体である。ＨＤＤ等がこれに該当する。特徴量抽出部１０３は、ダイジェスト生成のために必要な特徴量（以下、ダイジェスト特徴量）とＣＭ検出に必要な特徴量（以下、ＣＭ特徴量）とを大容量記憶媒体１０２に記憶されたＡＶ信号から算出する。ここで、ダイジェスト特徴量としては、動きベクトルや輝度情報に基づくシーンチェンジ検出結果、音声パワ、番組に付与されたテキスト情報、などが考えられる。また、ＣＭ特徴量としては、輝度情報に基づくシーンチェンジ検出結果や、音声無音部の情報、などが考えられる。ＣＭ検出部１０４は、算出されたＣＭ特徴量に基づきＣＭ区間（の始端・終端の時刻情報）を検出し、ダイジェスト検出部１０５に出力する。ＣＭ区間の検出方法としては、映像の輝度情報から映像シーンチェンジを検出し、その検出された時間間隔が一定の時間（１５秒、３０秒）であればＣＭ区間と判定する方法や、音声の無音部を検出し、同様に時間間隔を調べてＣＭ区間を判定する方法を用いる。ダイジェスト検出部１０５は、上記ダイジェスト特徴量とＣＭ検出部１０４から出力されたＣＭ区間情報とに基づき、ＣＭ区間外からダイジェストシーンを検出する。また、検出したダイジェストシーン（の始端・終端の時刻情報）をダイジェスト情報として再生制御部１０６に出力する。ダイジェストシーンの検出方法としては、スポーツ中継等の場合に、映像の動きベクトルから動きのスローなシーン（繰り返しのスローモーションシーン）を特定し、この直前の数カットを盛り上がっているシーンとして検出する方法（例えば特許文献１）や、音声パワ情報の局所的に大きい値を取るシーンを盛り上がっているシーンとして検出する方法（例えば特許文献２）、また番組に付与されたテキスト情報と映像・音声信号の特徴量とを組み合わせて重要シーンを検出する方法（例えば特許文献３）などを用いる。再生制御部１０６は、上記大容量記憶媒体１０２からＡＶ信号を読み出し、上記ダイジェスト情報に基づいてダイジェスト再生を行う。このような構成により、ユーザが録画した番組を視聴する際、すなわち、大容量記憶媒体１０２に記憶されたＡＶ信号を再生する際に、ＣＭ区間を除いた番組区間からダイジェストシーン情報を作成し、ダイジェスト再生を行うことが可能となる。
【０００４】
また、番組の録画と並行して特徴量も算出しておき、当該特徴量を記録媒体に格納しておく方式もある。図１９は、録画処理と並行して特徴量を算出しながらリアルタイムにダイジェストシーン候補を検出してＣＭ特徴量と共に大容量記憶手段に記憶しておき、再生時にＣＭ区間を検出してダイジェストシーン候補の中からＣＭ区間に含まれるものを除外して正しいダイジェスト情報を生成するダイジェスト生成装置の構成例である。図１９において、受信部１０１は、受信したＡＶ信号を大容量記憶媒体１０２に記録するのに併せて、当該ＡＶ信号を特徴量抽出部１０３にも出力する。特徴量抽出部１０３は、ＣＭ特徴量を算出し、大容量記憶媒体１０２に格納する。これに併せて、特徴量抽出部１０３は、例えば音声のパワレベル等の、上記ダイジェスト特徴量をダイジェスト検出部１０５に出力する。ダイジェスト検出部１０５は、当該ダイジェスト特徴量を分析し、例えば音声のパワレベルが所定の閾値以上であるシーンをダイジェストシーン候補として検出する。そして、ダイジェスト検出部１０５は、検出したシーンについて、ダイジェスト候補情報として大容量記憶媒体１０２に格納する。つまり、番組録画と並行して、ダイジェスト候補となるシーンを検出することになる。そして、当該ダイジェスト候補情報（時刻情報）と、ＣＭ特徴量を大容量記憶媒体１０２に記録しておく。ここで、ＣＭ検出については、リアルタイムではＣＭ区間の始端・終端が特定できないため、ここでは、後の検出処理に必要なＣＭ特徴量のみを記録しておくものである。そして、当該録画した番組をユーザの指示で再生する際に、ＣＭ検出部１０４は、大容量記億媒体１０２から上記ＣＭ特徴量を読み込み、ＣＭ区間を検出する。そして、ＣＭ検出部１０４は、検出結果をＣＭ区間情報としてＣＭ区間除去部１０７に出力する。ＣＭ区間除去部１０７は、大容量記憶媒体１０２から読み込んだダイジェスト候補情報からＣＭ区間に該当する部分を削除して、ダイジェスト情報を作成する。つまり、録画時に、例えば音声パワレベルが所定値以上のシーンをＣＭ区間も含めて仮検出しておき、ダイジェスト候補情報として記録しておく。そして、録画終了後、例えば再生開始指示を受けた時に、当該録画された番組全体（の特徴量）を分析してＣＭ区間を検出し、ダイジェスト候補からＣＭ区間を差し引くことで、番組区間内のダイジェスト区間を抽出するものである。
【特許文献１】特開２００４−１２８５５０号公報
【特許文献２】特開平１０−０３９８９０号公報
【特許文献３】特開２００１−１１９６４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したようなダイジェスト生成装置においては、以下に示す問題点があった。まず、１つ目の方式では、録画終了後、例えばユーザによるダイジェスト再生開始指示を受けたタイミングで、特徴量算出、ＣＭ区間検出、ダイジェストシーン検出、およびダイジェスト情報作成という処理を行っている。従って、ダイジェスト再生の開始指示後、実際に再生が開始されるまでに上述の処理待ちの時間が発生してしまうという問題点がある。また、２つ目の方式では、録画時に特徴量の算出およびダイジェスト候補となるシーンの情報を検出する。そのため、１つ目の方式に比べて再生指示時に行われていた特徴量算出の処理にかかる時間を削減できる。しかし、ＣＭ区間の検出については、ＣＭ区間の始端終端がリアルタイムでは判断できないことから、やはり録画終了後（再生開始指示時等）に行っている。そのため、この方式であっても、ダイジェスト情報作成のための処理待ち時間は発生してしまう。特に、一般的なＤＶＤレコーダ等の民生機器は、パーソナルコンピュータに比べると約１／１０ほどの性能しか備えていないＣＰＵを搭載することが一般的である。そのため、上記処理待ちの時間も長くなり、当該待ち時間による不快感や使い勝手の悪さ等の悪印象をユーザに与えてしまう。
【０００６】
それ故に、本発明の目的は、番組の録画終了後における当該番組のダイジェスト情報生成のための処理待ち時間がないダイジェスト生成装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は以下のような構成を採用した。
【０００８】
第１の発明は、放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置であって、特徴量算出部と、特定区間端検出部と、ダイジェストシーン情報作成部とを備える。特徴量算出部は、所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する。特定区間端検出部は、前記受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、前記特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する。ダイジェストシーン情報作成部は、前記特徴量が算出される度に、当該特徴量に基づいて、前記番組の全体の区間のうち前記特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成する。
【０００９】
第２の発明は、第１の発明において、ダイジェストシーン情報作成部は、単位時間分のＡＶ信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分のＡＶ信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、受信されたＡＶ信号についてダイジェスト候補区間を検出するダイジェスト区間検出部を含む。更に、ダイジェストシーン情報作成部は、特定区間端検出部によって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間がダイジェスト候補区間と重複するか否かを判定し、ダイジェスト区間検出部によって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する。
【００１０】
第３の発明は、第１の発明において、ダイジェストシーン情報作成部は、算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶部を含む。また、ダイジェストシーン情報作成部は、特徴量が算出される度に、一時記憶部に記憶されている特徴量にかかる時点が特定区間端検出部によって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分の放送信号に含まれるコンテンツのうちダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する。
【００１１】
第４の発明は、第２の発明において、特徴量算出部は、第１及び第２の特徴量を算出し、特定区間端検出部は、第１の特徴量に基づいて特定区間の始端または終端を判定し、ダイジェスト区間検出部は、第２の特徴量に基づいてダイジェスト候補区間を検出する。
【００１２】
第５の発明は、第１の発明において、特定区間端検出部は、特徴量が所定の条件を満たすとき、当該条件を満たす特徴量のみを含む区間を特定区間候補として検出する特定区間候補検出部と、番組内における特定区間候補同士の時間差に基づいて特定区間の始端または終端となる候補を検出する特定区間判定部とを含む。
【００１３】
第６の発明は、第５の発明において、特定区間判定部は、特定区間候補が検出される度に、検出された特定区間候補から所定時間前の時点が既に検出された特定区間候補に含まれていれば、当該所定時間前の時点を特定区間の始端とし、当該特定区間候補を特定区間の終端として検出する。
【００１４】
第７の発明は、第５の発明において、特定区間検出部は、特定区間候補が検出される度に、最後に検出された特定区間候補から所定の第１時間前の時点に、または、当該最後に検出された特定区間候補から所定の第２時間前の時点に、すでに検出された特定区間候補が存在するか否かを判定する判定部と、判定部によって特定区間候補が存在すると判定された場合、存在すると判定された特定区間候補および当該最後に検出された特定区間候補についてそれぞれ点数を加算する加算部と、点数が所定値以上である対象候補が検出されてから所定の第３時間が経過する度に、当該対象候補から当該第３時間前の時点に、点数が当該所定値以上の特定区間候補が存在するか否かを判定し、存在しない場合、当該対象候補を特定区間の始端とする始端決定部と、点数が所定値以上である対象候補が検出されてから所定の第３時間が経過する度に、当該第３時間が経過した時点に、点数が当該所定値以上の特定区間候補が存在するか否かを判定し、存在しない場合、当該対象候補を特定区間の終端とする終端決定部とを備える。
【００１５】
第８の発明は、第５の発明において、特徴量算出部は、音声信号の音声パワレベルを特徴量として算出し、特定区間候補検出部は、パワレベルが所定値以下の無音区間を特定区間候補として検出する。
【００１６】
第９の発明は、第５の発明において、特徴量算出部は、映像信号に基づく輝度情報を特徴量として算出し、特定区間候補検出部は、輝度情報の変化量が所定値以上であるシーンチェンジ点を特定区間候補として検出する。
【００１７】
第１０の発明は、放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成方法であって、特徴量算出ステップと、特定区間端検出ステップと、ダイジェストシーン情報作成ステップとを備える。特徴量算出ステップは、所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する。特定区間端検出ステップは、受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する。ダイジェストシーン情報作成ステップは、特徴量が算出される度に、当該特徴量に基づいて、番組の全体の区間のうち特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成する。
【００１８】
第１１の発明は、第１０の発明において、ダイジェストシーン情報作成ステップは、単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出ステップを含む。また、ダイジェストシーン情報作成ステップは、特定区間端検出ステップによって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間がダイジェスト候補区間と重複するか否かを判定し、前記ダイジェスト区間検出ステップによって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する
【００１９】
第１２の発明は、第１０の発明において、ダイジェストシーン情報作成ステップは、算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶ステップを含む。また、ダイジェストシーン情報作成ステップは、特徴量が算出される度に、一時記憶ステップによって記憶された特徴量にかかる時点が特定区間端検出ステップによって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する。
【００２０】
第１３の発明は、放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置のコンピュータに実行させるダイジェスト生成プログラムを格納した記録媒体であって、特徴量算出ステップと、特定区間端検出ステップと、ダイジェストシーン情報作成ステップとを格納している。特徴量算出ステップは、所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出するための処理である。特定区間端検出ステップは、受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出するための処理である。ダイジェストシーン情報作成ステップは、特徴量が算出される度に、当該特徴量に基づいて、番組の全体の区間のうち特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成するための処理である。
【００２１】
第１４の発明は、第１３の発明において、ダイジェストシーン情報作成ステップは、単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出ステップを含む。また、ダイジェストシーン情報作成ステップは、特定区間端検出ステップによって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間が前記ダイジェスト候補区間と重複するか否かを判定し、ダイジェスト区間検出ステップによって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する。
【００２２】
第１５の発明は、第１３の発明において、ダイジェストシーン情報作成ステップは、算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶ステップを含む。また、ダイジェストシーン情報作成ステップは、特徴量が算出される度に、一時記憶ステップによって記憶された特徴量にかかる時点が特定区間端検出ステップによって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する。
【００２３】
第１６の発明は、放送される番組の放送信号を受信して記録媒体に記録する際に当該番組に関するダイジェストシーン情報を生成するダイジェスト生成装置に用いられる集積回路あって、特徴量算出部と、特定区間端検出部と、ダイジェストシーン情報作成部とを備える。特徴量算出部は、所定の単位時間の放送信号が受信される度に、当該受信された単位時間分の放送信号から、当該放送信号に含まれる映像および音声の少なくとも一方に関する特徴を示す特徴量を少なくとも１種類算出する。特定区間端検出部は、受信された放送信号のうちですでに特徴量が算出された信号部分に含まれる所定の時点が特定区間の始端または終端となるか否かを、特徴量が算出される度に判定することによって、特定区間の始端または終端となる時点を検出する。ダイジェストシーン情報作成部は、特徴量が算出される度に、当該特徴量に基づいて、番組の全体の区間のうち特定区間を除いた区間にかかる放送信号がダイジェストシーンか否かを判定してダイジェストシーン情報を生成する。
【００２４】
第１７の発明は、第１６の発明において、ダイジェストシーン情報作成部は、単位時間分の放送信号に含まれるコンテンツがダイジェストシーンであるか否かを、当該単位時間分の放送信号について特徴量が算出される度に当該特徴量に基づいて判定することによって、受信された放送信号についてダイジェスト候補区間を検出するダイジェスト区間検出部を含む。また、ダイジェストシーン情報作成部は、特定区間端検出部によって特定区間の始端および終端の組が検出される度に、当該始端から当該終端までの特定区間がダイジェスト候補区間と重複するか否かを判定し、ダイジェスト区間検出部によって検出されたダイジェスト候補区間のうちで当該特定区間と重複するダイジェスト候補区間を除いた区間を示す情報をダイジェストシーン情報として生成する。
【００２５】
第１８の発明は、第１６の発明において、ダイジェストシーン情報作成部は、算出された特徴量を最新の算出時点から所定時間分まで記憶する一時記憶部を含む。また、ダイジェストシーン情報作成部は、特徴量が算出される度に、一時記憶部に記憶されている特徴量にかかる時点が特定区間端検出部によって検出された特定区間の始端から終端までの間に含まれるか否かを判定し、含まれない場合にのみ、単位時間分のＡＶ信号に含まれるコンテンツのうちでダイジェストシーンであるコンテンツを検出して、ダイジェストシーン情報を生成する。
【発明の効果】
【００２６】
上記第１の発明によれば、番組を記録しながら特定区間（例えばＣＭ区間）を検出できるため、番組の記録と並行して、特定区間を除外したダイジェストシーン情報を生成することができる。これにより、録画終了後におけるダイジェストシーン情報生成のための処理待ち時間を無くすことができ、ユーザに快適なダイジェスト再生操作を提供することができる。更に、番組記録途中に追っかけ再生をする場合においても、当該記録途中の時点に近いところまでのダイジェスト再生を行うこともでき、より使い勝手の良い再生環境を提供することができる。
【００２７】
上記第２乃至第３の発明によれば、上記第１の発明と同様の効果を得ることができる。
【００２８】
上記第４の発明によれば、２種類の特徴量を用いることができる。そのため、特定区間あるいはダイジェスト区間のそれぞれの検出に適した特徴量を利用し、より的確に特定区間あるいはダイジェスト区間を検出することができる。
【００２９】
上記第５乃至第６の発明によれば、特定区間候補同士の時間間隔に基づいて特定区間を判定する。これにより、特定区間をより的確に判定することができる。
【００３０】
上記第７の発明によれば、特定区間候補につき、所定の時間間隔に基づいて点数付けを行う。これにより、特定区間の始端あるいは終端らしさが評価できる。さらに、点数の高い特定区間候補を特定区間の始端または終端とするため、番組中にたまたま存在した特定区間候補を、誤って特定区間の始端または終端であると判定することを防ぐことができる。その結果、より的確に特定区間を除外したダイジェストシーン情報を作成することができる。
【００３１】
上記第８の発明によれば、無音区間を特定区間候補とする。これにより、例えばＣＭ区間のような、区間の最初と終わりが無音区間であるという性質を利用した的確な特定区間の検出ができる。
【００３２】
上記第９の発明によれば、輝度情報が大きく変化したシーンチェンジ点を特定区間候補とする。そのため、輝度情報が大きく変化する番組から特定区間への変わり目について、特定区間候補とすることができ、その結果、より的確に特定区間を判定することができる。
【００３３】
上記第１０乃至第１８の発明によれば、上記第１の発明と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００３４】
本発明は、番組の録画と並行して、ダイジェストシーンの位置を示すダイジェストシーンリストを作成していく。以下に説明する本実施形態においては、ダイジェストシーンは、音声パワレベルが局所的に大きい値を取るシーン、つまり、盛り上がっているシーンをダイジェストシーンとして採用する。そのため、音声パワレベルが所定値以上であるシーンをダイジェスト候補区間として抜き出しておく。その一方で、音声パワレベルが所定値以下の区間を無音区間として抜き出し、当該無音区間が、所定の間隔（例えば１５秒間隔）で現れた区間をＣＭ区間として抜き出しておく。これは、ＣＭ区間の最初と最後には無音区間があること、およびＣＭ区間の長さは一定であるという性質を有することから、無音区間が一定の間隔で現れる部分はＣＭ区間であると考えられるからである。そして、ＣＭ区間が１つ抜き出される度に、ダイジェスト候補区間の情報からＣＭ区間に該当する情報を除くことで、番組区間内のダイジェストシーンを示すダイジェストシーンリストを作成する。なお、本実施形態において、１つのＣＭ区間の長さは、最大で６０秒であるものとして説明する。
【００３５】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るダイジェスト生成装置の構成を示したブロック図である。図１において、ダイジェスト生成装置１０は、受信部１１と特徴量算出部１２と無音区間検出部１３と候補区間検出部１４とＣＭ区間判定部１５とダイジェストリスト作成部１６と大容量記録媒体１７と再生制御部１８とで構成される。
【００３６】
受信部１１は、放送電波を受信し、画像信号及び音声信号（以下、ＡＶ信号）に復調する。また、受信部１１は、復調したＡＶ信号を、特徴量算出部１２、大容量記録媒体１７、再生制御部１８へ出力する。
【００３７】
特徴量算出部１２は、上記ＡＶ信号を分析して特徴量を算出し、無音区間検出部１３および候補区間検出部１４に出力する。ここで、特徴量とは、番組内のＣＭ区間やダイジェストシーンを判別するために用いられるものである。ＣＭ区間を判定するための特徴量としては、上述のように無音区間の発生間隔に基づいてＣＭ区間を判定することから、音声信号のパワレベルやパワスペクトルなどの音声特徴量が該当する。一方、ダイジェストシーンを判定するための特徴量としては、例えば、映像信号の輝度情報や動きベクトル等の映像特徴量や、音声信号のパワレベルやパワスペクトルなどの音声特徴量が該当する。本実施形態では、ＣＭ区間およびダイジェストシーンの双方の判定に音声信号のパワレベルを特徴量として用いるものとして説明する。
【００３８】
無音区間検出部１３は、上記特徴量に基づいて番組内の無音区間を検出し、無音区間情報２４を生成する。また、無音区間検出部１３は、ＣＭ区間判定部１５に当該無音区間情報２４を出力する。
【００３９】
候補区間検出部１４は、上記特徴量に基づいて番組内のダイジェストシーンの候補となる区間（以下、候補区間）を検出し、候補区間情報２５を生成する。また、候補区間検出部１４は、ダイジェストリスト作成部１６に当該候補区間情報２５を出力する。
【００４０】
ＣＭ区間判定部１５は、上記無音区間情報２４に基づき、無音区間の時間間隔をみることで、ＣＭ区間を判定する。そして、ＣＭ区間判定部１５は、判定したＣＭ区間をＣＭ区間情報２７として、ダイジェストリスト作成部１６へ出力する。
【００４１】
ダイジェストリスト作成部１６は、候補区間情報２５およびＣＭ区間情報２７に基づいて、ダイジェストシーンの位置を示す情報であるダイジェストシーンリスト２８を作成する。そして、ダイジェストリスト作成部１６は、当該ダイジェストシーンリスト２８を大容量記録媒体１７及び再生制御部１８へ出力する。
【００４２】
大容量記録媒体１７は、ＡＶ信号やダイジェストシーンリスト２８を記録するための媒体であり、ＤＶＤやＨＤＤなどで実現される。
【００４３】
再生制御部１８は、受信したＡＶ信号や大容量記録媒体１７に記録されたＡＶ信号の再生およびモニタへ出力等の再生制御を行う。
【００４４】
なお、図１に示す特徴量算出部１２、無音区間検出部１３、候補区間検出部１４、ＣＭ区間判定部１５およびダイジェストリスト作成部１６は、典型的には集積回路であるＬＳＩとして実現されてもよい。特徴量算出部１２、無音区間検出部１３、候補区間検出部１４、ＣＭ区間判定部１５およびダイジェストリスト作成部１６は、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。
【００４５】
次に、図２を用いて、本実施形態で用いられる各種データについて説明する。以下に説明する各種データは、例えば半導体メモリによって実現される一時記憶部（図示せず）に格納される。図２において、比較用特徴量情報２１（図２（Ａ））は、上記無音区間等を検出するために用いられ、直前のフレームについての時刻情報２１１および特徴量算出部１２により算出された音声パワレベル値が格納される直前特徴量２１２を有する。
【００４６】
無音始端情報２２（図２（Ｂ））は、無音始端時刻を有しており、無音区間を検出するために用いられる。
【００４７】
候補始端情報２３（図２（Ｃ））は、候補始端時刻を有しており、候補区間を検出するために用いられる。
【００４８】
無音区間情報２４（図２（Ｄ））は、無音区間検出部１３による無音区間の検出結果が格納される。無音区間情報２４は、区間番号２４１と点数２４２と始端時刻２４３と終端時刻２４４との集合から成る。区間番号２４１は、各無音区間を識別するための番号である。点数２４２は、当該無音区間が、どの程度ＣＭ区間の端である可能性が高いかを評価した値である。当該点数が高いほど、当該無音区間はＣＭ区間の端である可能性が高いとし、逆にこの点数が低ければ、番組中にたまたま出てきた無音区間である（すなわち、ＣＭ区間の端ではない）可能性が高いものとする。始端時刻２４３および終端時刻２４４は、当該無音区間の開始時刻および終了時刻を示す時刻情報である。
【００４９】
候補区間情報２５（図２（Ｅ））は、候補区間検出部１４による候補区間の検出結果が格納される。候補区間情報２５は、候補番号２５１と始端時刻２５２と終端時刻２５３との集合からなる。候補番号２５１は、各候補区間を識別するための番号である。始端時刻２５２および終端時刻２５３は、当該候補区間の開始時刻および終了時刻を示す時刻情報である。
【００５０】
暫定ＣＭ始端情報２６（図２（Ｆ））は、ＣＭ区間判定部１５がＣＭ区間を検出するために用いる暫定ＣＭ始端時刻を有し、ＣＭ区間の始端となり得る無音区間の始端時刻が格納される。
【００５１】
ＣＭ区間情報２７（図２（Ｇ））は、ＣＭ区間判定部１５によって検出されたＣＭ区間の情報が格納される。ＣＭ区間情報２７は、ＣＭ番号２７１とＣＭ始端時刻２７２とＣＭ終端時刻２７３との集合からなる。ＣＭ番号２７１は、各ＣＭ区間を識別するための番号である。ＣＭ始端時刻２７２およびＣＭ終端時刻２７３は、当該ＣＭ区間の開始時刻および終了時刻を示す時刻情報である。
【００５２】
ダイジェストシーンリスト２８（図２（Ｈ））は、番組中のダイジェストシーンとなる区間の時刻情報を示すファイルである。ダイジェスト番号２８１とダイジェスト始端時刻２８２とダイジェスト終端時刻２８３との集合からなる。ダイジェスト番号２８１は、各ダイジェスト区間を識別するための番号である。ダイジェスト始端時刻２８２およびダイジェスト終端時刻２８３は、当該ダイジェスト区間の開始時刻および終了時刻を示す時刻情報である。
【００５３】
以下、図３〜図９を用いて、ダイジェスト生成装置１０が行うダイジェストシーンリスト作成処理の詳細動作を説明する。図３は、第１の実施形態にかかるダイジェストシーンリスト作成処理の詳細動作を示すフローチャートである。図３に示す処理は、ユーザによる録画指示によって開始される。また、図３に示す処理のスキャンタイムは１フレームであるとする。
【００５４】
図３において、まず、ダイジェスト生成装置１０は、録画の終了が指示されたか否かを判定する（ステップＳ１）。その結果、録画の終了が指示された場合は（ステップＳ１でＹＥＳ）、ダイジェストシーンリスト作成処理を終了する。一方、録画の終了が指示されていない場合は（ステップＳ１でＮＯ）、特徴量算出部１２は、受信部１１から１フレーム分の信号を取得する（ステップＳ２）。次に、特徴量算出部１２は、当該取得した信号を分析し、音声パワレベル（特徴量）を算出する（ステップＳ３）。
【００５５】
次に、無音区間検出部１３は、無音区間検出処理を行って無音区間を検出する（ステップＳ４）。図４は、上記ステップＳ４で示した無音区間検出処理の詳細を示すフローチャートである。図４において、まず、無音区間検出部１３は、ステップＳ３で算出した音声信号のパワレベルが所定の閾値以下であるか否かを判定する（ステップＳ１１）。その結果、所定の閾値以下であれば（ステップＳ１１でＹＥＳ）、無音区間検出部１３は、１つ前のフレームにかかる特徴量が格納されている直前特徴量２１２を参照し、その値が所定の閾値以下であるか否かを判定する（ステップＳ１２）。つまり、現在のフレームと１つ前のフレームとの音声パワレベルの変化を判定することになる。その結果、所定の閾値以下でなければ（ステップＳ１２でＮＯ）、無音区間検出部１３は、当該フレームの時刻情報を無音始端情報２２へ格納しておく（ステップＳ１３）。なお、処理開始直後は、直前特徴量２１２にはまだ何も格納されていないため、この場合は、所定の閾値以下ではないとして処理をすすめる。一方、所定の閾値以下であれば（ステップＳ１２でＹＥＳ）、無音区間継続中であるため、そのまま無音区間検出処理を終了する。
【００５６】
一方、上記ステップＳ１１の結果、ステップＳ３で抽出した音声信号のパワレベルが所定の閾値以下でない場合は（ステップＳ１１でＮＯ）、無音区間検出部１３は、直前特徴量２１２を参照し、ここに格納されているパワレベルが所定の閾値以下であるか否かを判定する（ステップＳ１４）。その結果、所定の閾値以下であれば（ステップＳ１４でＹＥＳ）、継続していた無音区間が１つ前のフレームで終了したことになるため、無音区間検出部１３は、上記無音始端情報２２の無音始端時刻から１つ前のフレームの時刻情報２１１までの区間を１つの無音区間として、無音区間情報２４に出力する（ステップＳ１５）。次に、無音区間検出部１３は、ステップＳ１５で出力した無音区間について、後述するようなポイント評価処理（ステップＳ１６）を行う。
【００５７】
一方、ステップＳ１４の判定の結果、直前特徴量２１２のパワレベルが所定の閾値以下でなければ（ステップＳ１４でＮＯ）、無音区間ではない区間が継続中であるため、無音区間検出部１３は、処理を終了する。なお、処理開始直後は、直前特徴量２１２にはまだ何も格納されていないため、この場合も、所定の閾値以下でないとして処理をすすめる。以上で、無音区間検出処理が終了する。
【００５８】
次に、図５を用いて、上述したステップＳ１６におけるポイント評価処理の詳細について説明する。本処理では、最後に検出した無音区間の前１５秒、３０秒、６０秒の時点が無音区間か否かを判定し、無音区間であれば、それぞれの無音区間情報に１点を加算する処理である。これにより、いずれかＣＭの始端あるいは終端であると考えられる無音区間については点数が高くすることができる。つまり、ＣＭ区間の両端が無音区間であるという性質、および１つのＣＭ区間の長さが１５秒、３０秒あるいは６０秒であるという性質を利用して、番組中に発生する無音区間についての「ＣＭ区間の端らしさ」を、点数をつけることにより評価していく処理を行う。その結果、番組中にたまたま発生した無音区間とＣＭの境界を示す無音区間とを区別することが可能となる。
【００５９】
図５において、まず、無音区間検出部１３は、無音区間情報２４に最後に格納された無音区間の始端時刻２４３を取得する。そして、無音区間検出部１３は、当該時刻の１５秒前の時刻を有する無音区間があるか否かを、無音区間情報２４を検索することで判定する（ステップＳ２１）。その結果、無音区間が検索できれば（ステップＳ２１でＹＥＳ）、無音区間検出部１３は、最後に格納された無音区間、およびステップＳ２１で検索した無音区間のそれぞれの点数２４２に１を加算する（ステップＳ２２）。一方、ステップＳ２１の判定の結果、１５秒前の無音区間を検索できなければ（ステップＳ２１でＮＯ）、無音区間検出部１３は、ステップＳ２２の処理は行わずに、処理をステップＳ２３に進める。次に、無音区間検出部１３は、ステップＳ２１と同様に３０秒前が無音区間であるか否かを判定する（ステップＳ２３）。その結果、検索できれば（ステップＳ２３でＹＥＳ）、無音区間検出部１３は、最後に格納した無音区間、および今回検索した無音区間のそれぞれの点数２４２に１を加算する（ステップＳ２４）。一方、ステップＳ２３の判定の結果、３０秒前の無音区間を検索できなければ（ステップＳ２３でＮＯ）、無音区間検出部１３は、ステップＳ２４の処理は行わずに、処理をステップＳ２５に進める。ステップＳ２５においては、無音区間検出部１３は、ステップＳ２１やＳ２３と同様に、６０秒前に無音区間があるか否かを判定し、あれば、ステップＳ２２やＳ２４と同様に点数２４２に１を加算する。以上で、ステップＳ１６にかかるポイント評価処理は終了する。なお、上述の説明では無音区間の始端時刻２４３を基準に無音区間情報２４を検索したが、これに限らず、無音区間の終端時刻２４４、あるいは当該無音区間中の任意の時点を基準にして検索しても良い。
【００６０】
図３に戻り、ステップＳ４の処理の後、候補区間検出部１４は、候補区間検出処理を行う（ステップＳ５）。この処理は、音声パワレベルが所定の閾値以上の区間をダイジェストシーンの候補区間として検出する処理である。
【００６１】
図６は、上記ステップＳ５で示した候補区間検出処理の詳細を示すフローチャートである。図６において、まず、候補区間検出部１４は、ステップＳ３で抽出した音声信号のパワレベルが所定の閾値以上であるか否かを判定する（ステップＳ３１）。その結果、所定の閾値以上であれば（ステップＳ３１でＹＥＳ）、続いて候補区間検出部１４は、上記直前特徴量２１２が所定の閾値以上であるか否かを判定する（ステップＳ３２）。その結果、所定の閾値以上でなければ（ステップＳ３２でＮＯ）、候補区間検出部１４は、ステップＳ２で取得したフレーム（現在処理対象となっているフレーム）の時刻情報を候補始端情報２３へ格納する（ステップＳ３３）。なお、処理開始直後は、直前特徴量２１２にはまだ何も格納されていないため、この場合は、所定の閾値以上ではないとして処理をすすめる。一方、所定の閾値以上であれば（ステップＳ３２でＹＥＳ）、候補区間継続中であるため、候補区間検出部１４は、処理をステップＳ３６へ進める。
【００６２】
一方、上記ステップＳ３１の結果、ステップＳ３で算出した音声信号のパワレベルが所定の閾値以上でない場合は（ステップＳ３１でＮＯ）、候補区間検出部１４は、直前特徴量２１２を参照し、ここに格納されているパワレベルが所定の閾値以上であるか否かを判定する（ステップＳ３４）。その結果、所定の閾値以上であれば（ステップＳ３４でＮＯ）、継続していた候補区間が１つ前のフレームで終了したことになるため、候補区間検出部１４は、上記候補始端情報２３に格納されている候補始端時刻から、１つ前のフレームの時刻である時刻情報２１１までの区間を１つの候補区間として、候補区間情報２５に出力する（ステップＳ３５）。
【００６３】
一方、ステップＳ３４の判定の結果、直前特徴量２１２の値が所定の閾値以上でなければ（ステップＳ３４でＮＯ）、候補区間ではない区間が継続中であるため、候補区間検出部１４は、処理をステップＳ３６へ進める。なお、処理開始直後は、直前特徴量２１２にはまだ何も格納されていないため、所定の閾値以上でないとして処理をすすめる。ステップＳ３６においては、候補区間検出部１４は、上記ステップＳ３で取得した音声信号のパワレベルを、直前特徴量２１２に格納する（ステップＳ３６）。以上で、候補区間検出処理が終了する。
【００６４】
図３に戻り、ステップＳ５の処理が終われば、次に、ＣＭ区間判定部１５は、ＣＭ区間判定処理を行う（ステップＳ６）。図７は、上記ステップＳ６で示したＣＭ区間判定処理の詳細を示すフローチャートである。図７において、まず、ＣＭ区間判定部１５は、無音区間情報２４を検索し、現在のフレームの６０秒前の時点に、点数２４２が所定値以上（例えば３点）の無音区間が存在するかどうかを判定する（ステップＳ４１）。すなわち、６０秒前の時点が無音区間であったか否かを判定することになる。ここで、無音区間存在の検索の時点を６０秒前としているのは、本実施形態では、１つのＣＭ区間の長さが最大６０秒と仮定しているためである。そのため、１つのＣＭ区間の長さが最大３０秒と仮定する場合は、当該検索の時点を３０秒にすればよい。ステップＳ４１の判定の結果、６０秒前の時点が無音区間でなければ（ステップＳ４１でＮＯ）、ＣＭ区間判定部１５は、処理を後述のステップＳ４６へ進める。
【００６５】
一方、ステップＳ４１の判定の結果、無音区間であれば（ステップＳ４１でＹＥＳ）、ＣＭ区間判定部１５は、暫定ＣＭ始端情報２６にデータが存在するか否かを判定する（ステップＳ４２）。その結果、暫定ＣＭ始端情報２６にデータが存在しなければ（ステップＳ４２でＮＯ）、ＣＭ区間判定部１５は、検索した無音区間の時刻情報を暫定ＣＭ始端情報２６に出力する（ステップＳ４９）。一方、すでにデータが存在すれば（ステップＳ４２でＹＥＳ）、ＣＭ区間判定部１５は、暫定ＣＭ始端情報２６から暫定始端時刻を取得し、これをＣＭ始端時刻２７２として、ＣＭ番号２７１と関連付けてＣＭ区間情報２７に出力する。併せて、ステップＳ４１で検索した無音区間（すなわち、６０秒前の時点の無音区間）の終端時刻をＣＭ終端時刻２７３として、ＣＭ区間情報２７に出力する（ステップＳ４３）。
【００６６】
次に、ＣＭ区間判定部１５は、後述するダイジェストシーンリストを作成させるためのフラグである、Ｄリスト作成フラグをオンに設定する（ステップＳ４４）。続いて、ＣＭ区間判定部１５は、当該６０秒前の無音区間情報の終端時刻を暫定ＣＭ始端情報２６の始端時刻として出力する（ステップＳ４５）。
【００６７】
次に、ＣＭ区間判定部１５は、暫定ＣＭ始端情報２６の時刻から１２０秒以上経過しているか否かを判定する（ステップＳ４６）。つまり、ＣＭ始端の可能性のある無音区間が見つかった後、１２０秒間、点数２４２が所定値以上の無音区間がなければ、当該無音区間はＣＭの始端ではないとするものである。ここで、判定基準の時間を１２０秒としているのは、本実施形態では１つのＣＭ区間が最大６０秒と仮定しているためである。つまり、一度ＣＭ区間の始端候補がみつかり、その６０秒後に無音区間が見つかったとしても、当該無音区間がＣＭ区間の終端か否かが確定するためには更に６０秒必要となるからである。
【００６８】
ステップＳ４６の判定の結果、１２０秒以上経過していれば（ステップＳ４６でＹＥＳ）、ＣＭ区間判定部１５は、暫定ＣＭ始端情報２６をクリアする（ステップＳ４７）。続いて、ＣＭ区間判定部１５は、Ｄリスト作成フラグをオンに設定する（ステップＳ４８）。一方、１２０秒以上経過していない場合は（ステップＳ４６でＮＯ）、そのまま処理を終了する。以上で、ＣＭ区間判定処理は終了する。
【００６９】
ここで、図８を用いて、上記ＣＭ区間判定処理について補足説明する。図８において、点Ａ〜点Ｇは、無音区間であり且つ１５秒間隔のＣＭ区間の端である。上述した処理によれば、図８の点Ｅ（６０秒）の時点で、点Ａが暫定ＣＭ始端とされる。その後、点Ｆ（７５秒）の時点で、点Ａ〜点ＢがＣＭ区間であると確定し、当該区間の時刻情報がＣＭ区間情報２７に出力される。併せて、点Ｂが新たな暫定ＣＭ始端とされる。その後、点Ｇの時点で、点Ｂ〜点ＣがＣＭ区間として確定し、ＣＭ区間情報に出力され、これに併せて点Ｃが暫定ＣＭ始端とされることになる。このように、上述のような処理によれば、幾分かの遅延時間が発生する形ではあるが、番組録画中においても、正確なＣＭ区間を並行して確定していくことができる。
【００７０】
図３に戻り、ステップＳ６の処理が終われば、次に、ダイジェストリスト作成部１６は、ダイジェストシーンリスト出力処理を行う（ステップＳ７）。図９は、上記ステップＳ７で示したダイジェストシーンリスト出力処理の詳細を示すフローチャートである。図９において、まず、ダイジェストリスト作成部１６は、Ｄリスト作成フラグがオンか否かを判定する（ステップＳ５１）。その結果、オンでない場合（ステップＳ５１でＮＯ）、ダイジェストリスト作成部１６は、そのまま処理を終了する。一方、オンであれば（ステップＳ５１でＹＥＳ）、ダイジェストリスト作成部１６は、以前にダイジェストシーンリスト出力処理を行ってから以降に、候補区間情報２５に新たな候補区間が追加されたか否かを判定する（ステップＳ５２）。その結果、候補区間が追加されていなければ（ステップＳ５２でＮＯ）、ダイジェストリスト作成部１６は、そのままダイジェストシーンリスト作成処理を終了する。一方、以前にダイジェストシーンリスト出力処理を行ったときから候補区間が新たに追加されている場合は（ステップＳ５２でＹＥＳ）、ダイジェストリスト作成部１６は、増加分の候補区間の情報を１件取得する（ステップＳ５３）。次に、ダイジェストリスト作成部１６は、当該候補区間がＣＭ区間内に含まれているか否かを、ＣＭ区間情報２７を参照して判定する（ステップＳ５４）。その結果、ＣＭ区間内でなければ（ステップＳ５４でＮＯ）、ダイジェストリスト作成部１６は、当該候補区間の情報をダイジェストシーンリスト２８に出力する（ステップＳ５５）。一方、ＣＭ区間内であれば（ステップＳ５４でＹＥＳ）、処理をステップＳ５６に進める。つまり、候補区間がＣＭ区間でもある場合は、当該候補区間はダイジェストシーンとしては採用しない、という振り分けを行うことになる。
【００７１】
次に、ダイジェストリスト作成部１６は、増加分の候補区間全てについて上記振り分けの処理を行ったか否かを判定する（ステップＳ５６）。その結果、まだ未処理の増加分の候補区間が残っていれば（ステップＳ５６でＮＯ）、ダイジェストリスト作成部１６は、上記ステップＳ５３に戻って処理を繰り返す。一方、増加分の候補区間について全て処理した場合は、ダイジェストリスト作成部１６は、Ｄリスト作成フラグをオフに設定し（ステップＳ５７）、当該ダイジェストシーンリスト出力処理を終了する。以上で、第１の実施形態にかかるダイジェストシーンリスト作成処理は終了する。
【００７２】
このように、第１の実施形態では、番組の録画と並行しながら、単純に音声パワレベルが所定値以上であるダイジェスト候補区間を抜き出し、その中から、ＣＭ区間に該当するものを差し引いていくことで、番組区間内におけるダイジェストシーンだけを抽出したダイジェストシーンリストを録画と並行しながら作成していくことができる。これにより、番組の録画終了後に、別途ダイジェストシーンリスト生成のための処理を行う必要がなくなり、当該生成処理のための処理待ち時間のない快適な視聴環境をユーザに提供することができる。
【００７３】
なお、上述した実施形態では、無音区間の検出処理を無音区間検出部１３が行っているが、これに限らず、ＣＭ区間判定部１５が、ＣＭ区間の判定処理に先立って無音区間を検出するようにしてもよい。
【００７４】
また、ダイジェストシーンの検出についても、上述した音声のパワレベルを用いる方式に限らず、例えば、特定の番組ジャンルであるスポーツに限定して、映像の動きベクトルから動きのスローなシーン（繰り返しのスローモーションシーン）を特定し、この直前の数カットを盛り上がっているシーンとして検出する方式や、番組に付与されたテキスト情報と映像・音声信号の特徴量とを組み合わせて重要シーンを検出する方式を用いても良い。もちろん、これらのダイジェストシーン検出方式に限定するものではなく、ダイジェストシーンを検出するものであればどのような方式であってもよい。同様に、ＣＭ区間の検出についても、上述したような音声パワレベルを用いる方式に限らず、例えば、映像の輝度情報から映像のシーンチェンジ点を検出し、その発生間隔に基づいてＣＭ区間を判定するようにしてもよい。この場合は、上記特徴量として、映像の輝度情報を用いれば良い。
【００７５】
また、上述のダイジェストリストを用いて、番組録画中に当該番組の追いつき再生を行っても良い。この場合は、ユーザが追いつき再生を指示する。この指示を受け、再生制御部１８は、録画開始から２分以上経っているかを判定し、２分以上であれば、上述の処理で生成されていくダイジェストリストを用いてダイジェストシーンのみ再生する。一方、２分以上でなければ、再生制御部１８は、早見再生（例えば、再生速度１．５倍での再生等）を行う。その後、早見再生が実放送に追いつけば、当該早見再生を停止し、実時間放送の出力に切り替えるようにしてもよい。また、上記ダイジェストシーンの再生終了後は、その後の再生についてはユーザの指示に委ねるようしてもよい。例えば、ダイジェストシーン通常の再生を行っても良いし、間引いて再生するようにしてもよい。例えば、６０分番組において番組開始後３０分経過した時点で、ユーザが「ダイジェストシーンを１０分で再生するように」という旨の追いつき再生を指示したとする。この場合は、再生制御部１８は、その時点で作成されているダイジェストシーンリストに基づいて、１０分で終わるようにダイジェストシーンを再生していく。そして、ダイジェストシーンの再生が終わった後の視聴についてはユーザに委ね、その指示を待つ。すなわち、ダイジェストシーンの再生後は、番組開始後４０分経過していることから、ダイジェストシーン再生中の１０分間の番組について、ユーザの指示を受けて間引き再生を行うようにしてもよいし、早見再生を行うようにしてもよい。もちろん、当該１０分間の番組については再生せずに、実放送を見てもよい。この場合は、再生制御部１８は、ユーザの指示を受けて再生処理を終了することになる。このように、本実施形態によれば、録画と並行してダイジェストシーンリストが生成されていくため、録画途中の任意のタイミングであっても、ダイジェスト再生を行うことができる。
【００７６】
また、上述の実施形態では、ダイジェスト候補区間からＣＭ区間を差し引いてダイジェストシーン情報を作成していた。しかし、ダイジェスト候補区間から差し引く区間はＣＭ区間に限るものではない。例えば、静止画が表示されている区間を検出して差し引くようにしてもよい。これは、例えば、ある番組を再放送する際において、ライセンスや肖像権の関係上、番組内で放送できないシーンが生じる場合がある。このようなときは、放送できないシーンについては代わりに静止画（「表示できません」という表示がされている）が表示されるような編集が放送前になされてから、放送される。そのため、上記静止画の特徴量（例えば、映像の動きベクトルが０）を検出して、静止画が継続して表示されている静止画区間を検出する。そして、ダイジェスト候補区間から当該静止画区間（つまり、放送禁止区間）を差し引いてダイジェストシーン情報を作成するようにしてもよい。このようなＣＭ区間や静止画区間等の所定の特徴を有する区間を特定区間として検出し、当該特定区間をダイジェスト候補区間から差し引くようにすれば、適切にダイジェストシーンだけを抜き出したダイジェストリストを生成することができる。
【００７７】
（第２の実施形態）
次に、図１０から図１３を参照して、本発明の第２の実施形態について説明する。上述の第１の実施形態では、ダイジェストシーンの候補区間を随時検出している。これに対して、第２の実施形態では、候補区間を検出せずに、ダイジェストシーン検出のため必要な特徴量を所定時間分溜めておき、所定のタイミングでＣＭ区間以外の当該特徴量からダイジェストシーンを検出する。図１０は、本発明の第２の実施形態に係るダイジェスト生成装置３０の構成を示したブロック図である。図１０において、特徴量算出部１２は、算出した特徴量と時刻情報とを関連付け、一時蓄積特徴量３６として一時記憶部３１に格納する。一時記憶部３１は、所定時間分のフレームの特徴量および時刻情報を保持する容量を有する。本実施形態では、２分間分のフレームの情報を保持できるものとする。また、一時記憶部３１は、リングバッファ方式により古いデータから順に上書きされていくものとする。ダイジェストリスト作成部３２は、ＣＭ区間情報２７および一時記憶部３１に記憶された特徴量に基づいて、ＣＭ区間以外の区間からダイジェストシーンを検出し、ダイジェストシーンリスト２８を作成する。これらを除けば、当該実施形態に係るダイジェスト生成装置３０は、上述した第１の実施形態と、基本的に同じ構成を成している。そのため、同一箇所には同一の参照符号を付して詳細な説明を省略する。
【００７８】
次に、図１１を用いて、第２の実施形態で用いられるデータについて説明する。第２の実施形態では、第１の実施形態で用いたデータの他、一時蓄積特徴量３６、ダイジェスト直前情報３７、ダイジェスト始端情報３８を用いる。一時蓄積特徴量３６はダイジェストシーンの検出に用いられるものであり、時刻情報３６１および特徴量３６２を有する。時刻情報３６１には、フレームの時刻情報が格納される。特徴量３６２には、特徴量算出部１２が算出した、ダイジェストシーン検出のために用いられる特徴量（本実施形態では音声パワレベル）が格納される。ダイジェスト直前情報３７（図１１（Ｂ））も、ダイジェストシーンの検出に用いられるものであり、ダイジェスト直前時刻情報３７１およびダイジェスト直前特徴量３７２を有する。ダイジェスト直前時刻情報３７１には、現在処理対象となっているフレームの１つ前のフレームにかかる時刻情報が格納される。ダイジェスト直前特徴量３７２には、現在処理対象となっているフレームの１つ前のフレームについての特徴量が格納される。ダイジェスト始端情報３８（図１１（Ｃ））は、ダイジェスト始端時刻を有しており、ダイジェストシーンを検出するために用いられる。
【００７９】
以下、図１２〜図１３を用いて、本発明の第２の実施形態にかかるダイジェストシーンリスト作成処理を説明する。図１２は、第２の実施形態にかかるダイジェストシーンリスト作成処理の詳細動作を示すフローチャートである。図１１において、ステップＳ６１、Ｓ６２の処理は、上述の第１の実施形態で図３を用いて説明したステップＳ１、Ｓ２の処理と同様であるため、ここでは詳細な説明を省略する。また、ステップＳ６３にかかる特徴量算出処理についても、算出した特徴量を上記一時記憶部３１に出力する点を除けば、上述の第１の実施形態で図３を用いて説明したステップＳ３の処理と同様であるため、詳細な説明は省略する。また、ステップＳ６４にかかる無音区間検出処理についても、処理の最後に、ステップＳ６３で算出した特徴量（音声信号のパワレベル）を、直前特徴量２１２に格納する点を除けば、上述の第１の実施形態で図４を用いて説明したステップＳ４の処理と同様であるため、詳細な説明は省略する。
【００８０】
ステップＳ６４の次に、ＣＭ区間判定部１５は、ＣＭ区間判定処理を行い、ＣＭ区間情報を作成する（ステップＳ６５）。このステップＳ６５の動作についても、上述の第１の実施形態で図７を用いて説明したステップＳ６の処理と同様であるため、詳細な説明を省略する。
【００８１】
ステップＳ６５の処理が終われば、ダイジェストリスト作成部３２は、ダイジェストリスト出力処理を行う（ステップＳ６６）。図１３は、上記ステップＳ６６で示したダイジェストリスト出力処理の詳細を示すフローチャートである。図１３において、まず、ダイジェストリスト作成部３２は、一時蓄積特徴量３６に１２０秒分のフレームの特徴量が蓄積されたか否かを判定する（ステップＳ７１）。これは、本実施形態においてＣＭ区間の最大長を６０秒と想定しているところ、例えば番組冒頭にＣＭ区間が６０秒あった場合に、当該ＣＭ区間が確定するためには最大１２０秒必要となることから、少なくとも番組開始から１２０秒間は、本処理を行わないようにするためのものである。ステップＳ７１の判定の結果、まだ１２０秒分蓄積されていなければ（ステップＳ７１でＮＯ）、ダイジェストリスト出力処理を終了する。一方、蓄積されていれば（ステップＳ７１でＹＥＳ）、ダイジェストリスト作成部１６は、一時蓄積特徴量３６から、一番古い時刻情報３６１および特徴量３６２を取得する（ステップＳ７２）。
【００８２】
続いて、ダイジェストリスト作成部３２は、ステップＳ７２で取得した時刻情報３６１の示す時刻がＣＭ区間内に存在するか否かを、ＣＭ区間情報を参照して判定する（ステップＳ７３）。その結果、ＣＭ区間内であれば（ステップＳ７３でＹＥＳ）、ダイジェストリスト作成部３２は、ダイジェストリスト生成処理を終了する。一方、ＣＭ区間内でなければ（ステップＳ７３でＮＯ）、ダイジェストリスト作成部３２は、特徴量３６２の値が所定値以上か否かを判定する（ステップＳ７４）。その結果、所定値以上であれば（ステップＳ７４でＹＥＳ）、ダイジェストリスト作成部３２は、ダイジェスト直前特徴量３７２が所定値以上か否かを判定する（ステップＳ７５）。つまり、ステップＳ７２で取得したフレームと当該フレームの１つ前のフレームとの音声パワレベルの変化を判定する。その結果、ダイジェスト直前特徴量３７２が所定値以上でなければ（ステップＳ７５でＮＯ）、当該フレームの時刻情報をダイジェスト始端情報３８に退避する（ステップＳ７６）。なお、最初の一回目の処理のときにおいては、ダイジェスト直前特徴量２１２にまだ何も格納されていないため、このときは、所定値以上でないとして処理をすすめる。一方、ステップＳ７５の判定の結果、ダイジェスト直前特徴量３７２が所定値以上であれば（ステップＳ７５でＹＥＳ）、ダイジェストリスト作成部１６は、ステップＳ７６の処理を行わずに、ステップＳ７７の処理に進む。
【００８３】
一方、ステップＳ７４の判定の結果、特徴量３６２の値が所定値以上でなければ（ステップＳ７４でＮＯ）、次に、ダイジェストリスト作成部３２は、ダイジェスト直前特徴量３７２が所定値以上か否かを判定する（ステップＳ７８）。その結果、ダイジェスト直前特徴量３７２が所定値以上でなければ（ステップＳ７８でＮＯ）、ダイジェストリスト作成部１６は、ダイジェストリスト生成処理を終了する。一方、ダイジェスト直前特徴量３７２が所定値以上であれば（ステップＳ７８でＹＥＳ）、継続していたダイジェストシーンが１つ前のフレームで終了したことになるため、上記ダイジェスト始端情報３８の示すダイジェスト始端時刻からダイジェスト直前時刻情報３７１までの区間を１つのダイジェスト区間として、ダイジェストシーンリスト２８に出力する（ステップＳ７９）。
【００８４】
次に、ダイジェストリスト作成部１６は、当該フレームの音声パワレベルをダイジェスト直前特徴量３７２に退避する（ステップＳ７７）。以上で、第２の実施形態にかかるダイジェストシーンリスト作成処理が終了する。
【００８５】
このように、第２の実施形態では、番組の録画と並行しながら、ＣＭ区間を検出し、ＣＭ区間以外の番組区間からダイジェストシーンを検出していくことができる。これにより、番組の録画終了後に、別途ダイジェストシーンリスト生成のための処理を行う必要がなくなり、当該生成処理のための処理待ち時間のない快適な視聴環境をユーザに提供することができる。
【００８６】
なお、上述した各実施形態は、コンピュータに実行させるプログラムを格納した記録媒体の形態で提供されてもよい。この場合は、当該記録媒体に格納されたダイジェスト生成プログラムを読み込み、ダイジェスト生成装置（より正確には、図示しない制御部）が、図３、図１２に示すような処理を実行すればよい。
【産業上の利用可能性】
【００８７】
本発明にかかるダイジェスト生成装置、ダイジェスト生成方法、ダイジェスト生成プログラムを格納した記録媒体、およびダイジェスト生成装置に用いられる集積回路は、番組を録画しながらダイジェストシーン情報を生成することができ、ＨＤＤレコーダやＤＶＤレコーダ等の用途に有用である。
【図面の簡単な説明】
【００８８】
【図１】第１の実施形態にかかるダイジェスト生成装置１０の構成を示すブロック図
【図２】本発明で用いられるデータの一例を示す図
【図３】ダイジェストシーンリスト生成処理を示すフローチャート
【図４】図３のステップＳ４で示した無音区間検出処理の詳細を示すフローチャート
【図５】図４のステップＳ１６で示したポイント評価処理の詳細を示すフローチャート
【図６】図３のステップＳ５で示した候補区間検出処理の詳細を示すフローチャート
【図７】図３のステップＳ６で示したＣＭ区間判定処理の詳細を示すフローチャート
【図８】ＣＭ区間判定処理におけるＣＭ区間判定の一例を示す図
【図９】図３のステップＳ７で示したダイジェストシーンリスト出力処理の詳細を示すフローチャート
【図１０】第２の実施形態にかかるダイジェスト生成装置１０の構成を示すブロック図
【図１１】本発明で用いられるデータの一例を示す図
【図１２】第２の実施形態にかかるダイジェストシーンリスト生成処理を示すフローチャート
【図１３】図１２のステップＳ６６で示した無音区間検出処理の詳細を示すフローチャート
【図１４】従来の記録再生装置の構成を示すブロック図
【図１５】従来の記録再生装置の構成を示すブロック図
【符号の説明】
【００８９】
１０、３０  ダイジェスト生成装置
１１  受信部
１２  特徴量算出部
１３  無音区間検出部
１４  候補区間検出部
１５  ＣＭ区間判定部
１６、３２  ダイジェストリスト作成部
１７  大容量記録媒体
１８  再生制御部
２１  比較用特徴量情報
２２  無音始端情報
２３  候補始端情報
２４  無音区間情報
２５  候補区間情報
２６  暫定ＣＭ始端情報
２７  ＣＭ区間情報
２８  ダイジェストシーンリスト
３１  一時記憶部
３６  一時蓄積特徴量
３７  ダイジェスト直前情報
３８  ダイジェスト始端情報
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007013407.tif 000017
【図２】
2007013407.tif 000018
【図３】
2007013407.tif 000019
【図４】
2007013407.tif 000020
【図５】
2007013407.tif 000021
【図６】
2007013407.tif 000022
【図７】
2007013407.tif 000023
【図８】
2007013407.tif 000024
【図９】
2007013407.tif 000025
【図１０】
2007013407.tif 000026
【図１１】
2007013407.tif 000027
【図１２】
2007013407.tif 000028
【図１３】
2007013407.tif 000029
【図１４】
2007013407.tif 000030
【図１５】
2007013407.tif 000031
【国際調査報告】
2007013407.tif 000032
2007013407.tif 000033
2007013407.tif 000034