(57)【要約】  【課題】  本発明は、単純な演算処理によって特徴のある画像を抽出してダイジェスト再生することができる映像記録再生装置を提供することを目的とする。  【解決手段】  ダイジェスト再生用演算部１８において、映像信号のエッジ検出処理と二値化処理とを行い、画像の特徴を表す画像特徴領域に高エッジの画素が集中し、それ以外の領域に高エッジの画素の集中がない場合、このシーンを抽出して、ダイジェスト再生用のシーンに設定する。【選択図】      図１
2008085700.tif 000002
【特許請求の範囲】
【請求項１】
符号化された映像コンテンツを取得するコンテンツ取得部と、該コンテンツ取得部で取得された前記映像コンテンツより映像信号及び音声信号を復号するデコーダ部を備え、前記映像コンテンツの特徴シーンを用いて再生を行う映像再生装置において、
前記映像コンテンツを構成するフレームの映像信号を二値化処理して、前記フレームの所定の領域において、二値化処理後に所定値となる画素の集中頻度を検出し、当該集中頻度に基づいて当該フレームが前記特徴シーンを構成するフレームであるか否かを判定する特徴抽出部を有することを特徴とする映像再生装置。
【請求項２】
前記特徴抽出部において、前記所定値となる画素の集中頻度が高い領域として設定される画像特徴領域に対して、二値化処理後に所定値となる画素の集中頻度を検出し、当該集中頻度が高いとき、当該フレームが前記特徴シーンを構成するフレームであると判定することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記特徴抽出部において、前記画像特徴領域における前記所定値となる画素の集中頻度が高いフレームである場合、更に、前記画像特徴領域以外の領域であって前記所定値となる画素の集中頻度が低い領域として設定される検索領域に対して、二値化処理後に所定値となる画素の集中頻度を検出し、当該集中頻度が低いとき、当該フレームが前記特徴シーンを構成するフレームであると判定することを特徴とする請求項２に記載の映像再生装置。
【請求項４】
前記特徴抽出部において、二値化処理された前記映像コンテンツを構成する前記フレームのうち、前記画像特徴領域内で前記所定値となる画素の集中頻度が高いフレームに対して、前記画像特徴領域以外で前記所定値となる画素の集中頻度が高い領域を検出し、当該領域を前記検索領域に設定することを特徴とする請求項３に記載の映像再生装置。
【請求項５】
前記特徴抽出部において、符号化された前記映像信号における離散コサイン変換係数の直流成分に対して二値化処理を施すことで、当該二値化処理された離散コサイン変換係数の直流成分に基づいて、当該フレームが前記特徴シーンを構成するフレームであるか否かの判定を行うことを特徴とする請求項１〜請求項４のいずれかに記載の映像再生装置。
【請求項６】
前記特徴抽出部において、前記映像信号に対してエッジ検出処理を施した値に対して二値化処理を施すことで、当該二値化処理された前記エッジ検出処理後の前記映像信号の値に基づいて、当該フレームが前記特徴シーンを構成するフレームであるか否かの判定を行うことを特徴とする請求項１〜請求項５のいずれかに記載の映像再生装置。
【請求項７】
前記特徴抽出部に与える前記フレームが、前記映像コンテンツにおける所定時間間隔毎のフレームであることを特徴とする請求項１〜請求項６のいずれかに記載の映像再生装置。
【請求項８】
映像コンテンツの特徴シーンを用いて再生を行う再生用プログラムにおいて、
前記映像コンテンツを構成するフレームの映像信号を二値化処理する第１ステップと、
前記フレームの所定の領域において、前記第１ステップの二値化処理後に所定値となる画素の集中頻度を検出する第２ステップと、
前記第２ステップで検出した当該集中頻度に基づいて前記フレームが前記特徴シーンを構成するフレームであるか否かを判定する第３ステップと、
を有し、
前記第３ステップで前記特徴シーンを構成するフレームであると判定されたフレームにより、再生を行うことを特徴とする再生用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツを再生する映像再生装置に関するものとで、特に、映像コンテンツのダイジェストシーンを再生する機能を備えた映像再生装置に関する。
【背景技術】
【０００２】
映像コンテンツを記録媒体に記録するとともに再生することのできる映像記録再生装置には、その映像コンテンツの内容を簡単に視聴者に把握させるために、映像コンテンツの一部を抽出してつなぎ合わせて再生する、ダイジェスト再生が行われるものがある（特許文献１参照）。特許文献１では、映像コンテンツにおける時間軸上の各位置での映像特徴や音声特徴を用いてシーンの切換を検出するための情報処理方法が提案されており、この情報処理方法によって検出されたシーンの切換に基づいて、ダイジェスト再生やチャプター生成が行われるものとなっている。
【０００３】
又、このようにシーンの切換を検出するための画像特徴の一つとして、映像に重なって表示される字幕（テロップ）の有無により決定されるものがある。このテロップの表示される領域を検出する技術を利用することで、映像内の文字検索を行うことができる文字検索方法が提案されている（特許文献２参照）。この文字検索方法によると、等輝度となる画素列を検出することで、特定の幅を持った線を選択的に抽出し、この特定の幅を持った線が集中する領域を認識することで、テロップの表示される領域を検出する。そして、検出した領域における文字画像の特徴を確認することで、検索目的となる文字列との照合が行われる。
【特許文献１】特開２００６−５４６１９号公報
【特許文献２】特開２００２−２７９４３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の特許文献１で提案されている情報処理装置は、複数種類の映像特徴及び音声特徴の相関に基づいて、シーンの切換を検出しているため、フレーム毎に各特徴に対する演算処理を施す必要があった。そのため、各特徴に対する演算処理にかかる負担が大きくなるだけでなく、シーンの種類を決定する各特徴の設定も複雑なものとなっている。又、特許文献２で提案されている文字検索方法においては、文字列の検出を行うために文字が表示された領域の認識を行うが、領域認識を行うための演算処理において、等輝度となる画素を検出することで特定の幅となる線を認識している。この場合、線幅が特定のものであることが検出するための要素として重要となり、その演算も複雑化する。
【０００５】
このような問題を鑑みて、本発明は、単純な演算処理によって特徴のある画像を抽出して再生することができる映像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の映像再生装置は、符号化された映像コンテンツを取得するコンテンツ取得部と、該コンテンツ取得部で取得された前記映像コンテンツより映像信号及び音声信号を復号するデコーダ部を備え、前記映像コンテンツの特徴シーンを用いて再生を行う映像再生装置において、前記映像コンテンツを構成するフレームの映像信号を二値化処理して、前記フレームの所定の領域において、二値化処理後に所定値となる画素の集中頻度を検出し、当該集中頻度に基づいて当該フレームが前記特徴シーンを構成するフレームであるか否かを判定する特徴抽出部を有することを特徴とする。
【０００７】
このように構成することで、二値化処理後に所定値となる画素の集中頻度を検出して、輝度値格差の大きいテロップなどが表示された領域を認識することができる。よって、簡単な演算処理によって、テロップなどが表示された領域の座標位置を確認して、その座標位置に基づいて前記特徴シーンを構成するフレームの判定を行うことができる。これにより、前記特徴シーンを用いて再生を行うためにフレームの判定を行うための演算処理を簡単なものとし、前記特徴抽出部に相当する以下の実施形態におけるダイジェスト再生演算部の負担を低減することができる。
【０００８】
尚、前記コンテンツ取得部として、記録媒体に記録された映像コンテンツを読み出すものであっても構わないし、放送信号やストリーミングを受信するものであっても構わない。又、前記映像コンテンツは、映像信号及び音声信号により符号化されたＴＳなどのデジタルデータによって構成される。更に、特徴シーンとして、ニュース番組によるヘッドラインの表示されるシーンなどの、番組内容を把握することのできる特徴を備えたフレームによって構成される。
【０００９】
そして、前記特徴抽出部において、前記所定値となる画素の集中頻度が高い領域として設定される画像特徴領域に対して、二値化処理後に所定値となる画素の集中頻度を検出し、当該集中頻度が高いとき、当該フレームが前記特徴シーンを構成するフレームであると判定する。当該画像特徴領域を番組の種類に応じて予め設定することで、該画像特徴領域における二値化処理後に所定値となる画素の集中頻度を計測するだけで、前記特徴シーンを構成するフレームの判定を行うことができる。よって、その演算処理にかかる負担をより低減させることができる。
【００１０】
更に、前記特徴抽出部において、前記画像特徴領域における前記所定値となる画素の集中頻度が高いフレームである場合、更に、前記画像特徴領域以外の領域であって前記所定値となる画素の集中頻度が低い領域として設定される検索領域に対して、二値化処理後に所定値となる画素の集中頻度を検出し、当該集中頻度が低いとき、当該フレームが前記特徴シーンを構成するフレームであると判定する。このように動作することで、前記特徴シーンを構成するフレームの判定動作をより正確なものとすることができる。
【００１１】
又、前記特徴抽出部において、二値化処理された前記映像コンテンツを構成する前記フレームのうち、前記画像特徴領域内で前記所定値となる画素の集中頻度が高いフレームに対して、前記画像特徴領域以外で前記所定値となる画素の集中頻度が高い領域を検出し、当該領域を前記検索領域に設定するものとすることで、前記検索領域を前記特徴抽出部において自動で設定することができる。よって、予め前記検索領域の設定されていない映像コンテンツに対しても、前記検索領域の設定を行うことができ、前記特徴シーンを構成するフレームの判定動作をより正確なものとすることができる。
【００１２】
又、前記特徴抽出部において、符号化された前記映像信号における離散コサイン変換係数の直流成分に対して二値化処理を施すことで、当該二値化処理された離散コサイン変換係数の直流成分に基づいて、当該フレームが前記特徴シーンを構成するフレームであるか否かの判定を行うものとしても構わない。これにより、符号化された前記映像信号を復号していない状態で、前記特徴シーンを構成するフレームの判定を行うことができるため、符号化された前記映像信号の復号処理を省略することができ、その演算処理にかかる負担を更に低減することができる。
【００１３】
又、前記特徴抽出部において、前記映像信号に対してエッジ検出処理を施した値に対して二値化処理を施すことで、当該二値化処理された前記エッジ検出処理後の前記映像信号の値に基づいて、当該フレームが前記特徴シーンを構成するフレームであるか否かの判定を行うものとするものとしても構わない。これにより、ラプラシアン（２回微分）を用いたエッジ強調演算や縦線エッジ検出又は横線エッジ検出を用いた演算などによるエッジ検出処理がなされたフレームに対して二値化処理が施されるため、輝度格差の大きい画素位置をより正確に判定することができる。
【００１４】
又、前記特徴抽出部に与える前記フレームが、前記映像コンテンツにおける所定時間間隔毎のフレームであるものとすることで、前記特徴抽出部において演算処理を行うフレーム数を少なくすることができる。これにより、演算のために記憶するデータ量を低減することができ、演算処理に利用するメモリ量の低減を図ることができる。
【００１５】
又、本発明の再生用プログラムは、映像コンテンツの特徴シーンを用いて再生を行う再生用プログラムにおいて、前記映像コンテンツを構成するフレームの映像信号を二値化処理する第１ステップと、前記フレームの所定の領域において、前記第１ステップの二値化処理後に所定値となる画素の集中頻度を検出する第２ステップと、前記第２ステップで検出した当該集中頻度に基づいて前記フレームが前記特徴シーンを構成するフレームであるか否かを判定する第３ステップと、を有し、前記第３ステップで前記特徴シーンを構成するフレームであると判定されたフレームにより、再生を行うことを特徴とする。
【００１６】
この再生用プログラムを映像再生装置で利用することで、二値化処理後に所定値となる画素の集中頻度を検出して、輝度値格差の大きいテロップなどが表示された領域を認識することができる。よって、簡単な演算処理によって、テロップなどが表示された領域の座標位置を確認して、その座標位置に基づいて前記特徴シーンを構成するフレームの判定を行うことができる。これにより、再生用のフレームの判定を行うための演算処理を簡単なものとし、映像再生装置における負担を低減することができる。
【発明の効果】
【００１７】
本発明によると、テロップなどが表示された領域を簡単な演算処理によって認識して、特徴シーンを抽出することができる。
【発明を実施するための最良の形態】
【００１８】
＜第１の実施形態＞
本発明の第１の実施形態について、以下に図面を参照して説明する。図１は、本実施形態における映像記録再生装置の内部構成を示すブロック図である。
【００１９】
図１の映像記録再生装置１は、全体を制御するＣＰＵ１１と、ＣＰＵ１１で処理されるプログラムや演算処理時に得られた一時的な演算結果を記録するメモリ１２と、受信した放送信号を所望のチャンネルで復調してＴＳ（Transport Stream）を得るチューナ部１３と、ＴＳをＭＰＥＧ２（Moving Picture Experts Group-2）方式などの符号化方式で復号化して映像信号と音声信号を生成するデコーダ部１４と、チューナ部１３で得られたＴＳを記録する記録媒体１５と、記録媒体１５の記録制御を行う記録媒体制御部１６と、ユーザからの入力が行われるユーザインターフェース（ユーザＩＦ）１７と、デコーダ部１４で得られた映像信号に基づいてダイジェスト再生用のフレームを抽出するダイジェスト再生用演算部１８と、各ブロック間の信号のやりとりを行うためのバス回線１９と、を備える。
【００２０】
このように構成される映像記録再生装置１における記録動作及び通常の再生動作について、以下に説明する。
【００２１】
（記録動作）
まず、映像記録再生装置１による記録動作について説明する。ユーザＩＦ１７の操作又はメモリ１２に記録された予約情報に基づいて、ＣＰＵ１１が記録動作の開始が指示されていることを認識すると、ＣＰＵ１１は、まず、この記録動作の開始とともに指示された記録する番組のチャンネルを認識する。そして、チューナ部１３で選局されるチャンネル周波数が所望されたチャンネルに応じたものに変更され、放送信号の受信動作が開始される。
【００２２】
このようにして、選局動作が開始されると、チューナ部１３では、選局した放送信号に対して、ＱＰＳＫ（Quadrature Phase Shift Keying）やＱＡＭ（Quadracture Amplitude Modulation）などの変調方式による復調を施すことにより、所望のチャンネルのＴＳを取得する。そして、取得されたＴＳが記録媒体制御部１６に与えられると、記録媒体１５に書き込まれる。このとき、記録媒体１５にＴＳが書き込まれた領域のアドレス情報が、メモリ１２内のアドレス情報テーブルに記録される。
【００２３】
その後、ユーザＩＦ１７の操作又はメモリ１２に記録された予約情報に基づいて、記録動作の停止が指示されていることをＣＰＵ１１が認識すると、チューナ部１３での選局動作を停止するとともに、記録媒体１５への記録動作を停止する。
【００２４】
（通常の再生動作）
次に、映像記録再生装置１による再生動作について説明する。ユーザＩＦ１７の操作によって、再生動作の開始が指示されると、ＣＰＵ１１で再生が所望される映像コンテンツが認識される。そして、メモリ１２に記録されたアドレス情報テーブルを参照することで、再生が所望された映像コンテンツが記録された記録媒体１５におけるアドレスが認識されて、記録媒体制御部１６に対して、認識されたアドレスに記録されたＴＳを記録媒体１５より読み出すように指示する。
【００２５】
記録媒体制御部１６は、ＣＰＵ１１で指定されたアドレスに記録されたＴＳを記録媒体１５より読み出すと、デコーダ部１４に与える。これにより、デコーダ部１４において、記録媒体制御部１６より与えられたＴＳをＭＰＥＧ２などの圧縮符号化方式に基づいて復号化を行い、再生が所望される映像コンテンツの映像信号と音声信号とを生成する。よって、デコーダ部１４で得られた映像信号及び音声信号がそれぞれ、ディスプレイ２及びスピーカ３に与えられることによって、ユーザに所望された映像コンテンツの映像及び音声が再生される。
【００２６】
（ダイジェスト再生動作）
このような記録動作及び再生動作を行う映像記録再生装置において、特徴のある画像となるフレームを抽出して再生するダイジェスト再生について、以下に説明する。図２は、本例におけるダイジェスト再生動作を示すフローチャートである。
【００２７】
ユーザＩＦ１７の操作によって、ダイジェスト再生動作が指示されると、ＣＰＵ１１でダイジェスト再生が所望される映像コンテンツが認識される（ＳＴＥＰ１）。そして、メモリ１２に記録されたアドレス情報テーブルを参照することで、再生が所望された映像コンテンツが記録された記録媒体１５におけるアドレスが認識されて、記録媒体制御部１６に対して、認識されたアドレスに記録されたＴＳを記録媒体１５より読み出すように指示する（ＳＴＥＰ２）。
【００２８】
この記録媒体制御部１６によって読み出されるＴＳは、映像信号により再生されるフレームが一定時間周期のフレーム毎に分割されるように、記録された所望の映像コンテンツ全てのＴＳが読み出されるのではなく、分割されたフレームに対するＴＳのみが読み出される。そして、分割されたフレームに対するＴＳが記録媒体１５から読み出されて、デコーダ部１４に与えられて、圧縮符号化方式に基づいて復号されることで、分割されたフレームに対する映像信号が得られる（ＳＴＥＰ３）。
【００２９】
尚、映像コンテンツ全てのフレームと分割されたフレームとの関係は、図３のような関係になる。即ち、通常再生時においてＮフレームが連続して再生される映像コンテンツに対して、ｘ秒毎の間隔となるＭフレーム（Ｍ＜Ｎ）が抽出されることとなる。ＮフレームとＭフレームの関係は、１秒間にｎフレームが再生されるものとすると、Ｍ＝Ｎ／（ｎ×ｘ）＋１の関係となる。よって、抽出されるＭフレームとなるフレームＦ１，Ｆ２，Ｆ３，…，Ｆ（Ｍ−１），ＦＭはそれぞれ、映像コンテンツの０秒目、ｘ秒目、２×ｘ秒目、…、（ｎ−２）×ｘ秒目、（ｎ−１）×ｘ秒目のフレームとなる。
【００３０】
このように、Ｍフレームが抽出されるとき、抽出するための時間間隔（ｘ秒）については、その時間間隔（ｘ秒）が長く、ダイジェスト再生用に検出する基準となる画像特徴が表示される時間よりも長い間隔に設定されると、この画像特徴を表示されるフレームの抽出ができない場合がある。逆に、抽出するための時間間隔（ｘ秒）については、その時間間隔（ｘ秒）を短くした場合は、抽出されるＭフレームが多くなる。よって、ダイジェスト再生のための演算を行うときに、抽出したＭフレームの映像信号を一時的に記憶する領域が不足する場合がある。
【００３１】
そして、デコーダ部１４で得られたＭフレーム分の映像信号がダイジェスト再生用演算部１８に与えられる。このダイジェスト再生用演算部１８は、図４のように、デコーダ部１４から与えられる映像信号や処理が施された映像信号を一時的に記憶するメモリ１８１と、映像信号に対してエッジ検出処理を施すエッジ検出処理部１８２と、エッジ検出処理部１８２でエッジ検出処理された映像信号を二値化する二値化処理部１８３と、ダイジェスト再生用となるフレームを判断するための領域（後述の検索領域）を検出する検索領域検出部１８４と、ダイジェスト再生用となるフレームを抽出するフレーム抽出部１８５と、を備える。
【００３２】
ダイジェスト再生用演算部１８では、デコーダ部１４で得られたＭフレーム分の映像信号を、メモリ１８１に一時的に記憶する（ＳＴＥＰ４）。そして、エッジ検出処理部１８２において、Ｍフレーム分の映像信号それぞれに対してエッジ検出処理を行ってメモリ１８１に一時的に記憶する（ＳＴＥＰ５）。このエッジ検出処理としては、例えば、ラプラシアン（２回微分）を用いたエッジ強調演算によるものであっても構わないし、縦線エッジ検出又は横線エッジ検出を用いたものであっても構わない。
【００３３】
その後、二値化処理部１８３において、メモリ１８１から読み出されたエッジ検出処理が施された各フレームの映像信号に対して、閾値に基づいて二値化処理を施してメモリ１８１に一時的に記憶する（ＳＴＥＰ６）。この二値化処理によって、閾値よりもエッジ成分の高い部分の値が最大値とされ、閾値よりもエッジ成分の低い部分の値が最小値とされる。このとき、ダイジェスト再生に利用されるフレームの画像特徴をテロップなどの文字表示によるものとするとき、閾値として、テロップによるエッジを表す値よりも低く、且つ、人物などの自然画像によるエッジを表す値よりも高い値を設定する。
【００３４】
そして、ＣＰＵ１１によって、ダイジェスト再生が指示された映像コンテンツについて、初めてダイジェスト再生が指示された番組であるか否かが判別される（ＳＴＥＰ７）。即ち、放送時刻が異なるが同一番組となる別の映像コンテンツに対して、既にダイジェスト再生がなされていないか否かが判別される。このとき、例えば、メモリ１２に記録されたＥＰＧ（Electric Program Guide）情報を確認することで、ダイジェスト再生が指示された映像コンテンツの番組名を認識する。そして、ダイジェスト再生された番組の履歴情報を参照するなどして、認識したコンテンツの番組名の番組に対して、ダイジェスト再生がなされたか否かが判別される。
【００３５】
ＳＴＥＰ７において、ダイジェスト再生が初めて指示された番組であることが認識されると（Ｙｅｓ）、二値化処理部１８３で二値化処理が施された各フレームの映像信号がメモリ１８１より検索領域検出部１８４に与えられて、エッジ成分の高い部分の集中する領域が検出される（ＳＴＥＰ８）。このとき、各フレームについて、エッジ成分の高い部分の集中する領域を検出することで、画像特徴を備える領域である画像特徴領域を備えるフレームにおいて、画像特徴領域以外のエッジ成分の高い部分の集中する領域を検索領域として設定する。又、画像特徴領域については、例えば、ニュース番組については画面の下中央領域、相撲番組については画面中央の左右領域というように、番組の種類毎に設定され、メモリ１８１内に記憶されるものとする。
【００３６】
このＳＴＥＰ８における検索領域検出部１８４での動作について、図５のフローチャートを参照して、以下に説明する。まず、検索領域検出部１８４では、メモリ１８１より番組の種類に基づく画像等特徴領域の座標位置が読み出されて、画像の特徴を示す画像特徴領域の座標位置が認識される（ＳＴＥＰ８００）。そして、検索領域検出部１８４が、メモリ１８１より二値化処理された１フレームの映像信号を読み出す（ＳＴＥＰ８０１）。このＳＴＥＰ８０１の動作は、画像特徴領域が認識されて移行されたときは、Ｍフレームの映像信号のうち、１フレーム目の映像信号が読み出され、動作ループされたときは、Ｍフレームの映像信号のうち、処理が終了したフレームの次のフレームの映像信号が読み出される。
【００３７】
そして、ＳＴＥＰ８０１で取り出したフレームの映像信号において、画像特徴領域においてエッジ成分の高い画素（高エッジの画素）が集中しているか否かの検出が行われる（ＳＴＥＰ８０２）。このとき、画像特徴領域を構成する画素数に対して、この画像特徴領域における高エッジの画素数の割合が所定値（例えば、２０％）以上となったとき、画像特徴領域に高エッジの画素が集中しているものと判断する。即ち、画像特徴領域に高エッジの画素が集中していることを認識することで、ダイジェスト再生を行うためのフレームの特徴を示す画像特徴領域においてテロップ表示がなされているものと判断される。
【００３８】
ＳＴＥＰ８０２において、画像特徴領域において高エッジの画素が集中していることが検出されると（Ｙｅｓ）、この画像特徴領域以外において、高エッジの画素となる画素位置を検出して、検出した画素位置をメモリ１８１に記録する（ＳＴＥＰ８０３）。このとき、検出された高エッジの画素について、同一の画素位置の画素が各フレームで検出される度に検出回数が計数され、その検出回数も画素位置と共にメモリ１８１に記録される。即ち、例えば、垂直方向にｘ画素、水平方向にｙ画素となる画素位置の画素が、ｎフレームにおいて高エッジの画素として検出された場合、その画素位置が（ｘ、ｙ）とされるとともに、その検出回数がｎ回として、メモリ１８１に記録される。
【００３９】
ＳＴＥＰ８０２において、画像特徴領域において高エッジの画素が集中していないものと判断されたとき（Ｎｏ）、又は、ＳＴＥＰ８０３における画像特徴領域以外の高エッジの画素となる画素位置の検出がなされると、二値化処理部１８３で二値化処理が施された全てのフレームについて処理が終了したか否かが確認される（ＳＴＥＰ８０４）。即ち、ＳＴＥＰ３で分割されて抽出されたフレームがＭフレームであるとき、Ｍフレーム全てについて処理したか否かが確認される。全てのフレームについて処理がなされていないときは（Ｎｏ）、ＳＴＥＰ８０１に移行して、次に処理するフレームがメモリ１８１より読み出される。
【００４０】
又、ＳＴＥＰ８０４において、全てのフレームについて処理が終了したことが確認されると（Ｙｅｓ）、メモリ１８１に記録された高エッジの画素の画素位置と検出回数とに基づいて、画像特徴領域以外の領域において、高エッジの画素が集中している領域が検索領域として設定される（ＳＴＥＰ８０５）。このとき、検索領域に使用された画素位置と検出回数が、メモリ１８１の一時的な記憶から削除される。そして、この設定された検索領域が、メモリ１８１にＥＰＧ情報などから確認された番組名と関連されて記憶され（ＳＴＥＰ８０６）、ＳＴＥＰ８での処理動作を終了する。
【００４１】
尚、ＳＴＥＰ８０５において、例えば、検出回数が所定回数以上となる高エッジの画素の画素位置が確認されることで、検索領域が設定されるものとしても構わない。更に、所定の画素数の領域毎に、検出回数が所定回数以上となる高エッジの画素の割合を計測し、その割合が所定値以上となる領域によって検索領域が設定されるものとしても構わない。更に、この高エッジの画素の割合が所定値以上となる領域の連続する領域数を確認し、連続する領域数が所定領域以上となったとき、この連続した領域を検索領域として設定するものとしても構わない。
【００４２】
このＳＴＥＰ８では、例えば、図６（ａ）のように、ニュース項目となるヘッドラインが画像の中央下側領域Ａ１にテロップ表示されることが多いニュース番組において、このヘッドラインが表示されるシーンとなるフレームを抽出して再生することで、ダイジェスト再生が実現される。よって、画像の中央下側領域Ａ１の座標位置を画像特徴領域として特定し、この画像特徴領域に高エッジの画素が集中していることを検出することで、画像特徴領域にテロップが表示されることが認識される。
【００４３】
又、ヘッドラインが表示されていないシーンとなるフレームにおいても、画像の中央下側領域Ａ１にテロップが表示されることがあるが、図６（ｂ）のように、このヘッドラインが表示されていないシーンにおいては、領域Ａ２のように、画像の中央下側領域Ａ１以外の領域においても別のテロップが出現している可能性が高い。よって、この画像特徴領域となる画像の中央下側領域Ａ１以外の領域において高エッジの画素を検出し、高エッジの画素として出現頻度（フレーム数）が高い画素によって構成される領域Ａ２を、検索領域として設定する。これにより、この検索領域に高エッジの画素が存在することが確認されたとき、画像特徴領域以外にも別のテロップが出現しているため、ヘッドラインが表示されるシーンを構成するフレームでないことを認識することができる。
【００４４】
又、ＳＴＥＰ７において、ダイジェスト再生が既に指示されたことのある番組であることが認識されたとき（Ｎｏ）、ダイジェスト再生を行う映像コンテンツの番組に対する検索領域及び画像特徴領域をメモリ１８１より読み出す（ＳＴＥＰ９）。このとき、番組の種類に基づいてそして、ＳＴＥＰ８及びＳＴＥＰ９における処理により検索領域及び画像特徴領域が認識されたとき、ダイジェスト再生を行うフレームの抽出処理を行う（ＳＴＥＰ１０）。このフレームの抽出処理動作について、図７のフローチャートを参照して説明する。
【００４５】
フレームの抽出処理動作が開始すると、フレーム抽出部１８５は、メモリ１８１より二値化処理された１フレームの映像信号を読み出す（ＳＴＥＰ１０００）。このＳＴＥＰ１０００の動作は、フレームの抽出処理動作が開始したときは、Ｍフレームの映像信号のうち、１フレーム目の映像信号が読み出され、動作ループされたときは、Ｍフレームの映像信号のうち、処理が終了したフレームの次のフレームの映像信号が読み出される。
【００４６】
そして、ＳＴＥＰ１０００で取り出したフレームの映像信号において、画像特徴領域においてエッジ成分の高い画素（高エッジの画素）が集中しているか否かの検出が行われる（ＳＴＥＰ１００１）。このとき、ＳＴＥＰ８０２における検索領域検出部１８４の動作と同様、画像特徴領域を構成する画素数に対して、この画像特徴領域における高エッジの画素数の割合が所定値（例えば、２０％）以上となったとき、画像特徴領域に高エッジの画素が集中しているものと判断する。
【００４７】
そして、画像特徴領域において高エッジの画素が集中していることが検出されると（Ｙｅｓ）、検索領域検出部１８４で検出された検索領域においても、高エッジの画素が集中していないか否かが検出される（ＳＴＥＰ１００２）。このとき、検索領域を構成する画素数に対して、この検索領域における高エッジの画素数の割合が所定値（例えば、１０％）以下となったとき、検索領域に高エッジの画素が集中していないものと判断する。
【００４８】
このＳＴＥＰ１００１及びＳＴＥＰ１００２の検出処理動作によって、高エッジの画素が画像特徴領域のみに集中しているか否かが認識される。即ち、ＳＴＥＰ１００１において、画像特徴領域内で高エッジの画素が集中しているものと判断され（Ｙｅｓ）、且つ、ＳＴＥＰ１００２において、検索領域内で高エッジの画素が集中していないものと判断されたとき（Ｙｅｓ）、ＳＴＥＰ１０００で読み出したフレームがダイジェスト再生用となるフレームであるものと判断され、ＳＴＥＰ１００３に移行する。又、ＳＴＥＰ１００１において、画像特徴領域内で高エッジの画素が集中していないものと判断されたとき（Ｎｏ）、又は、ＳＴＥＰ１００２において、検索領域内でも高エッジの画素が集中しているものと判断されたとき（Ｎｏ）、ＳＴＥＰ１０００で読み出したフレームがダイジェスト再生用となるフレームでないものと判断され、ＳＴＥＰ１００４に移行する。
【００４９】
そして、ＳＴＥＰ１００３において、ＳＴＥＰ１０００で読み出して処理を行っているフレームを識別するためのフレーム情報をメモリ１８１に格納すると、ＳＴＥＰ１００４に移行する。このフレーム情報として、映像コンテンツの最初のフレームからのフレーム数であっても構わないし、映像コンテンツの最初のフレームの記録時刻からの相対時間に相当する再生時間であっても構わない。尚、このフレーム情報をテキストでメモリ１８１に記録するものとしても構わない。
【００５０】
又、ＳＴＥＰ１００４においては、二値化処理部１８３で二値化処理が施された全てのフレームについて処理が終了したか否かが確認される。即ち、ＳＴＥＰ３で分割されて抽出されたフレームがＭフレームであるとき、Ｍフレーム全てについて処理したか否かが確認される。全てのフレームについて処理がなされていないときは（Ｎｏ）、ＳＴＥＰ１０００に移行して、次に処理するフレームがメモリ１８１より読み出される。
【００５１】
上述のループ動作が行われているとき、ＳＴＥＰ１００４において、全てのフレームに対する処理が終了したことを確認すると（Ｙｅｓ）、メモリ１８１に記録されたフレーム情報が読み出される（ＳＴＥＰ１００５）。フレーム抽出部１８５において、ダイジェスト再生用となるフレーム位置がフレーム情報によって認識されると、認識されたフレーム位置よりダイジェスト再生するためのフレームを指定するプレイリストデータが生成される（ＳＴＥＰ１００６）。
【００５２】
このプレイリストデータは、例えば、図８（ａ）に示すように、ＳＴＥＰ３で分割されたフレームのうち、最初のフレームＦ０からａ番目のフレームＦａが、連続してダイジェスト再生する最初のフレームであり、最初のフレームＦ０からｂ番目のフレームＦｂが、連続してダイジェスト再生する最後のフレームであるときは、このフレームＦａからフレームＦｂまでの連続したフレームがダイジェスト再生用のフレームであることを示す表記がなされる。このとき、ｘ秒毎の間隔となるＭフレームが抽出されるため、フレームＦａからフレームＦｂまでの連続したフレームがダイジェスト再生用のフレームであることを示すプレイリストデータ上において、例えば、図８（ｂ）又は図８（ｃ）のように、テキストで「ａｘ〜ｂｘ」又は「ａｘ，ｂｘ」のように表記されるものとしても構わない。
【００５３】
更に、図８（ａ）に示すように、フレームＦｂの後のフレームにおいて、最初のフレームＦ０からｃ番目及びｄ番目のフレームＦｃ，Ｆｄの間のフレームが連続してダイジェスト再生するフレームとして検出された場合、プレイリストデータ上において、図８（ｂ）又は図８（ｃ）のように、フレームＦｃからフレームＦｄまでの連続したフレームがダイジェスト再生用のフレームであることを示す表記が追加されたものとなる。このように、連続してダイジェスト再生することが検出されたフレームの最初と最後のフレームを全て表記したデータによって、プレイリストデータを生成する。
【００５４】
このようにして、ＳＴＥＰ１００６でプレイリストデータを生成することで、このプレイリストデータに基づいて、ダイジェスト再生用のフレームとして抽出されるフレームを認識することができる。そして、生成したプレイリストデータがメモリ１２に与えられると、ＣＰＵ１１によってメモリ１２に与えられたプレイリストデータに基づいて、ダイジェスト再生するためのフレームが認識され、ダイジェスト再生するためのフレームを記録媒体制御部１６が記録媒体１５より読み出して、デコーダ部１４で復号する（ＳＴＥＰ１００７）。
【００５５】
これにより、デコーダ部１４で復号された映像信号及び音声信号がそれぞれ、ディスプレイ２及びスピーカ３に与えられることによって、ユーザに所望された映像コンテンツの映像及び音声が再生される。このようにして、ダイジェスト再生動作が行われると、ＳＥＴＰ１００６で生成されたプレイリストデータが記録媒体制御部１６に与えられ、記録媒体１５に映像コンテンツに関連づけて記録される（ＳＴＥＰ１００８）。その後、図７のフローチャートによるＳＴＥＰ１０のフレームの抽出処理動作を終了し、ダイジェスト再生動作を終了する。
【００５６】
尚、上述のようにしてダイジェスト再生動作が行われるとき、検索領域が予め設定されるものとしても構わない。即ち、番組の種類によって、高エッジの画素が集中する画像特徴領域と、高エッジの画素が集中しない検索領域とを予めメモリ１８１に記録する。そして、映像コンテンツの番組の種類が検索領域も設定されたものである場合、ＳＴＥＰ８における検索領域検出部１８４による検索領域の設定動作を行うことなく、ＳＴＥＰ１０におけるフレームの抽出処理動作が行われる。即ち、ＳＴＥＰ７において、検索領域が設定されているか否かによって、ＳＴＥＰ８又はＳＴＥＰ１０のいずれに移行するかを決定する要にしても構わない。
【００５７】
このとき、例えば、相撲の取り組みなどにおいて対戦相手がテロップ表示されるシーンでは、図９のように、対戦力士の名前がテロップ表示される領域Ａ３，Ａ４が、画面中央の左右に配置される。よって、この画面中央の左右領域Ａ３，Ａ４が、高エッジの画素が集中する画像特徴領域として設定される。又、領域Ａ３，Ａ４に挟まれた画面中央領域Ａ５はテロップ表示がなく輝度の変化が小さいため、高エッジの画素が集中していない検索領域として設定される。
【００５８】
又、番組の種類によって、画像特徴領域及び検索領域が設定されるものとしたが、番組の種類によって、画像特徴領域及び検索領域における高エッジの画素の集中を検出する基準となる閾値が変更されるものとしても構わない。即ち、番組の種類に異なる画像特徴領域及び検索領域における閾値がメモリ１８１に記憶され、検索領域検出部１８４及びフレーム抽出部１８５で利用される。
【００５９】
更に、本実施形態においては、記録媒体に記録される映像コンテンツがデジタルデータによるものとしたが、アナログデータによるものであっても構わない。このとき、記録媒体から読み出された映像コンテンツがアナログデータであるため、ダイジェスト再生用演算部１８においてデジタル演算処理を行う場合は、デジタルデータに変換して処理されるものとしても構わない。
【００６０】
本実施形態によると、画像特徴領域及び検索領域それぞれにおいて、エッジ処理された映像信号に対して二値化処理した後、この二値化処理した映像信号によって高エッジの画素の集中する頻度を検出することで、ダイジェスト再生を行うフレームであるか否かが判断される。これにより、簡単な演算処理によって、テロップなどの高エッジの画素が集中する領域が特定の座標位置に配置されたフレームを抽出することができる。そして、特徴のあるシーンのみで再生されるダイジェスト再生を簡単に実現することができる。
【００６１】
＜第２の実施形態＞
本発明の第２の実施形態について、以下に図面を参照して説明する。図１０は、本実施形態における映像記録再生装置の内部構成を示すブロック図である。尚、図１０の映像記録再生装置において、図１に示す映像記録再生装置と同一の目的で使用する部分については、同一の符号を付してその詳細な説明は省略する。
【００６２】
図１０の映像記録再生装置１ａは、映像記録再生装置１におけるダイジェスト再生用演算部１８の代わりに、記録媒体制御部１６によって記録媒体１５から読み出されたＴＳに基づいてダイジェスト再生用のフレームを抽出するダイジェスト再生用演算部１８ａを備える。このように構成される映像記録再生装置１ａの記録動作及び再生動作については、第１の実施形態における映像記録再生装置１（図１参照）と同様であるため、その説明については省略し、以下ではダイジェスト再生に関する動作及び構成について説明する。
【００６３】
ダイジェスト再生用演算部１８ａは、図１１に示すように、ダイジェスト再生用演算部１８（図２参照）の構成に対して、記録媒体制御部１６より与えられるＴＳに対してＭＰＥＧ方式によるＤＣＴ（Digital Cosine Transfer）係数のＤＣ成分を抽出するＤＣ成分抽出部１８０を追加した構成となる。このダイジェスト再生用演算部１８ａでは、記録媒体制御部１６より与えられるＴＳを一時的に格納すると、ＤＣ成分抽出部１８０において、メモリ１８１からＴＳを読み出してＤＣ成分を抽出して、再びメモリ１８１に格納する。
【００６４】
よって、エッジ検出処理部１８２、二値化処理部１８３、検索領域検出部１８４、及びフレーム抽出部１８５それぞれでは、ＤＣ成分抽出部１８０で抽出されたＤＣ成分に基づいて、各処理動作を行う。このように、本実施形態では、８画素×８画素をＤＣＴ処理された後に量子化変換されたＤＣＴ係数のＤＣ成分を利用して各処理動作を行うため、８画素×８画素を１単位として、各領域における高エッジの画素の集中頻度が検出される。そして、検出された各領域における高エッジの画素の集中頻度の領域に基づいて、ダイジェスト再生用のフレームが抽出されるようなプレイリストデータが生成されて、ダイジェスト再生が実現される。
【００６５】
このダイジェスト再生動作について、図１２のフローチャートを参照して説明する。尚、図１２のフローチャートにおいて、図２のフローチャートと同一の動作ステップについては、同一の符号を付して、その詳細な説明は省略する。
【００６６】
まず、ユーザＩＦ１７を介してダイジェスト再生動作が指示されると、ダイジェスト再生が所望される映像コンテンツが認識されて、この映像コンテンツのＴＳが記録媒体制御部１６によって記録媒体１５より読み出される（ＳＴＥＰ１，ＳＴＥＰ２）。尚、ＳＴＥＰ２においては、一定時間周期毎のフレームに対するＴＳのみが読み出される。そして、記録媒体１５より読み出されたＴＳは、ＤＣ成分抽出部１８０において、ＤＣＴ係数のＤＣ成分が抽出された後（ＳＴＥＰ３ａ）、この抽出されたＤＣＴ係数のＤＣ成分が各フレーム毎にダイジェスト再生用演算部１８ａに与えられてメモリ１８１に一時的に記憶される（ＳＴＥＰ４ａ）。
【００６７】
その後は、メモリ１８１に記憶された各フレームのＤＣＴ係数のＤＣ成分に対して、第１の実施形態と同様、エッジ検出処理部１８２でエッジ検出処理が施された後、二値化処理部１８３で二値化処理が施される（ＳＴＥＰ５、ＳＴＥＰ６）。そして、既に検索領域の検出又は設定がなされた番組に対する映像コンテンツであるか否かが確認され、検索領域の検出及び設定のいずれもなされていない番組である場合は、検索領域の検出がなされた後に、ダイジェスト再生用のフレームの抽出が行われ、又、検索領域の検出又は設定がなされている番組である場合は、直接ダイジェスト再生用のフレームの抽出が行われる（ＳＴＥＰ７〜ＳＴＥＰ１０）。
【００６８】
尚、本実施形態において、図１３のように、ダイジェスト再生用演算部１８ａにおいてエッジ検出処理部１８２を除いた構成とし、二値化処理部１８３で、ＤＣＴ係数のＤＣ成分によって表されるフレームに対して二値化処理を行うものとしても構わない。即ち、ＤＣ成分が閾値より高いＤＣＴ係数の値を最大値に変更し、ＤＣ成分が閾値より低いＤＣＴ係数の値を最小値に変更して、１フレームにおける各ＤＣＴ係数のＤＣ成分を二値化する。そして、検索領域検出部１８４及びフレーム抽出部１８５では、二値化されたＤＣＴ係数のＤＣ成分に基づいて、画像特徴領域及び検索領域それぞれについて、高いＤＣＴ係数のＤＣ成分となる画素領域（８画素×８画素による領域を示す）が密集しているか否かを判断する。
【００６９】
このように、本実施形態においては、ＴＳのＤＣＴ係数を利用してダイジェスト再生動作を行うため、第１の実施形態と比べて、その演算処理を単純化することができるとともに、演算に係る負担を低減することができる。更に、テロップのように自然画像と比べて輝度値が大きく異なる画像に基づいて、ダイジェスト再生用のフレームを抽出する場合は、このＤＣＴ係数によっても判別することができる。よって、第１の実施形態のように、ＴＳを復号する必要がなく、プレイリストデータを生成するまでの演算時間を短縮することができる。
【００７０】
又、第１の実施形態では、デコーダ部１４で復号された映像信号の値に基づいて、又、第２の実施形態では、記録媒体１５から読み出されたＴＳのＤＣＴ係数に基づいて、それぞれダイジェスト再生用のフレームを抽出するものとしたが、ダイジェスト再生用演算部を図１１のような構成として、番組の種類に応じて、映像信号の値又はＴＳのＤＣＴ係数のいずれによってダイジェスト再生用のフレームの抽出を行うか設定されるものとしても構わない。このとき、更に、ＴＳのＤＣＴ係数によってダイジェスト再生用のフレームの抽出を行う場合、番組の種類に応じて、エッジ検出処理を施すか否かが設定されるものとしても構わない。
【００７１】
尚、第１及び第２の実施形態において、記録媒体１５に記録された映像コンテンツに対してダイジェスト再生動作が行われるものとしたが、チューナ部１３で受信中の映像コンテンツに対してダイジェスト再生動作が行われるものとしても構わない。即ち、チューナ部１５で得られたＴＳを記録媒体１５に一時的に格納して、記録媒体１５をバッファとして利用することにより、受信した映像コンテンツのダイジェスト再生動作を行う。
【００７２】
このとき、第１の実施形態では、記録媒体１５に一時的に格納されたＴＳが、デコーダ部１４で復号化されて得られた映像信号がダイジェスト再生用演算部１８に与えられて、ダイジェスト再生用のフレームが抽出されることで、ダイジェスト再生動作が行われる。又、第２の実施形態では、記録媒体１５に一時的に格納されたＴＳがダイジェスト再生用演算部１８ａに与えられて、ダイジェスト再生用のフレームが抽出され、デコーダ部１４で復号化されることで、ダイジェスト再生動作が行われる。更に、チューナ部１３については、アンテナやケーブルによって受信する放送信号を選局するものであっても構わないし、インターネットにより配信されるストリーミングを受信するものであっても構わない。
【産業上の利用可能性】
【００７３】
本発明は、チューナの有無にかかわらず映像を記録媒体から再生することのできるハードディスクレコーダやＤＶＤプレーヤやビデオテーププレーヤなどの映像再生装置に利用可能である。又、映像を記録媒体に記録することのできるハードディスクレコーダやＤＶＤレコーダやビデオテープレコーダなどの映像記録再生装置に利用可能である。更に、スポーツ番組やニュース番組などのテロップ表示されるシーンを映像コンテンツの特徴シーンとする番組に対して、この特徴シーンを抽出してダイジェスト再生する場合に、特に利用可能である。
【図面の簡単な説明】
【００７４】
【図１】は、本発明の第１の実施形態の映像記録再生装置の構成を示すブロック図である。
【図２】は、図１の映像記録再生装置のダイジェスト再生動作を示すフローチャートである。
【図３】は、映像コンテンツ全てのフレームと分割されたフレームとの関係を示す図である。
【図４】は、図１の映像記録再生装置のダイジェスト再生用演算部の構成を示すブロック図である。
【図５】は、図２のダイジェスト再生動作における検索領域の設定動作を示すフローチャートである。
【図６】は、ダイジェスト再生用のフレームの構成と検索領域にテロップを備えるフレームの構成とを示す図である。
【図７】は、図２のダイジェスト再生動作におけるフレームの抽出処理動作を示すフローチャートである。
【図８】は、映像コンテンツからダイジェスト再生用に抽出されたフレームとプレイリストデータの関係の一例を示す図である。
【図９】は、ダイジェスト再生用のフレームを検出するための画像特徴領域と検索領域との別の関係を示す図である。
【図１０】は、本発明の第２の実施形態の映像記録再生装置の構成を示すブロック図である。
【図１１】は、図１０の映像記録再生装置のダイジェスト再生用演算部の構成を示すブロック図である。
【図１２】は、図１０の映像記録再生装置のダイジェスト再生動作を示すフローチャートである。
【図１３】は、図１０の映像記録再生装置のダイジェスト再生用演算部の別の構成を示すブロック図である。
【符号の説明】
【００７５】
１，１ａ    映像記録再生装置
２    ディスプレイ
３    スピーカ
１１    ＣＰＵ
１２    メモリ
１３    チューナ部
１４    デコーダ部
１５    記録媒体
１６    記録媒体制御部
１７    ユーザＩＦ
１８，１８ａ    ダイジェスト再生用演算部
１９    バス回線
【図１】
2008085700.tif 000003
【図２】
2008085700.tif 000004
【図３】
2008085700.tif 000005
【図４】
2008085700.tif 000006
【図５】
2008085700.tif 000007
【図６】
2008085700.tif 000008
【図７】
2008085700.tif 000009
【図８】
2008085700.tif 000010
【図９】
2008085700.tif 000011
【図１０】
2008085700.tif 000012
【図１１】
2008085700.tif 000013
【図１２】
2008085700.tif 000014
【図１３】
2008085700.tif 000015
【手続補正書】
【提出日】平成18年12月27日(2006.12.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】
符号化された映像コンテンツを取得するコンテンツ取得部と、該コンテンツ取得部で取得された前記映像コンテンツより映像信号及び音声信号を復号するデコーダ部を備える映像再生装置において、
前記映像コンテンツの特徴シーンを抽出する特徴抽出部を有し、
前記特徴抽出部が、
映像コンテンツを構成するフレームに対してエッジ画素の検出を行うエッジ検出処理部と、
前記エッジ検出処理部で検出されたエッジ画素の個数に基づいて、特徴シーンであるか否かを判定する判定部と、
を有することを特徴とする、映像再生装置。