(57)【要約】  本発明は、ニュース番組や情報番組など種々の話題からなるテレビ放送を記録する場合に、話題の変化点を、入力映像信号のみから検出し、チャプタ分割点を得ることのできる映像信号記録装置を得ることを目的とする。領域分割部（５）は、入力映像信号の画像を複数の領域に分割する。特徴抽出部（６）は、分割された領域毎に画素値の統計量を求め、画像の特徴ベクトルを得る。判定部（７ｂ）は、特徴抽出部（６）が出力する現在の画像の特徴ベクトルと、メモリ（８）が出力する過去の画像の特徴ベクトルとを、画面の中央領域、領域毎及び全画面で比較することにより、現在の画像と過去の画像が同じチャプタに属するか否かを判定する。チャプタ開始点記録部（９）は、判定の結果、過去の画像と同じチャプタに属さないと判定した画像の位置を示す情報を記録する。
2009031398.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数の領域に分割する領域分割部と、
前記領域分割部の出力端に接続された入力端を備え、前記複数の領域の内で少なくとも１つの領域に於ける画素値の統計量を算出し、算出された前記統計量に基づき、前記入力画像の特徴ベクトルを決定する特徴抽出部と、
前記特徴抽出部の出力端に接続された入力端を備え、前記特徴抽出部より出力される前記特徴ベクトルと、前記特徴抽出部からの前記特徴ベクトルの出力時よりも以前の時点に於いて求められた過去の特徴ベクトルとを比較し、前記入力画像が前記過去の特徴ベクトルに対応する過去の画像と類似した画像であるか否かを判定する判定部とを備えたことを特徴とする、
類似画像判別装置。
【請求項２】
チャプタ毎に複数のフレームが連なる映像信号を受信する入力端を備え、前記映像信号から任意のフレームを抽出して前記任意のフレームを複数の領域に分割する領域分割部と、
前記領域分割部の出力端に接続された入力端を備え、前記複数の領域の内で少なくとも１つの領域に於ける画素値の統計量を算出し、算出された前記統計量に基づき、前記任意のフレームの特徴ベクトルを現在のフレームの特徴ベクトルとして決定する特徴抽出部と、
前記特徴抽出部の出力端に接続された入力端を備え、前記特徴抽出部より出力される前記現在のフレームの前記特徴ベクトルを、過去のフレームの特徴ベクトルとして記憶する記憶部と、
前記特徴抽出部の出力端に接続された第１入力端及び前記記憶部の出力端に接続された第２入力端を備え、前記特徴抽出部より出力された前記現在のフレームの前記特徴ベクトルと、前記記憶部より読み出された前記過去のフレームの前記特徴ベクトルとを比較することにより、前記現在のフレームの画像が前記過去のフレームの画像と類似しているか否かを判定し、前記現在のフレームの前記画像が前記過去のフレームの前記画像と類似していないと判定した場合には、前記現在のフレームが前記過去のフレームとは異なるチャプタに属すると判断して、前記現在のフレームの位置を示す情報を出力する判定部と、
前記判定部の出力端に接続された入力端を備え、前記判定部より受信した前記現在のフレームの位置を示す前記情報を、新たなチャプタの開始点として記録するチャプタ開始点記録部とを備えたことを特徴とする、
チャプタ判定装置。
【請求項３】
請求項２記載のチャプタ判定装置であって、
前記現在のフレームの前記特徴ベクトルは、少なくとも１つの領域を含み且つ前記複数の領域の一部分である第１領域に含まれる各領域について算出される画素値の統計量に基づき決定されており、
前記過去のフレームの前記特徴ベクトルは、少なくとも１つの領域を含み且つ前記複数の領域の一部分である第２領域に含まれる各領域について算出される画素値の統計量に基づき決定されており、
前記第１領域と前記第２領域とは互いに相違する領域であることを特徴とする、
チャプタ判定装置。
【請求項４】
請求項２記載のチャプタ判定装置であって、
前記判定部は、
前記被分割領域の内で、画像の中央部に位置する領域に含まれる特徴ベクトル、分割された個々の領域毎に含まれる特徴ベクトル、及び画像の全領域に含まれる特徴ベクトルの組み合わせで以って、前記現在のフレームの前記画像が前記過去のフレームの前記画像と同じチャプタに属するか否かを判定することを特徴とする、
チャプタ判定装置。
【請求項５】
請求項２記載のチャプタ判定装置であって、
前記映像信号のシーンチェンジを検出するシーンチェンジ検出部と、
前記シーンチェンジ検出部が前記シーンチェンジを検出する結果に応じて、前記映像信号の画像の内でシーンチェンジした画像のみを前記領域分割部の前記入力端に出力する切替部とを更に備えることを特徴とする、
チャプタ判定装置。
【請求項６】
請求項２記載のチャプタ判定装置であって、
前記統計量はヒストグラムであることを特徴とする、
チャプタ判定装置。
【請求項７】
映像信号を記録する装置であって、
請求項２記載のチャプタ判定装置を、前記映像信号をその内容によりチャプタ分割し、チャプタ開始点を記録する装置として備えることを特徴とする、
映像信号記録装置。
【請求項８】
チャプタ毎に複数のフレームが連なる映像信号を受信する入力端を備え、前記映像信号から任意のフレームを抽出して前記任意のフレームを複数の領域に分割する領域分割部と、
前記領域分割部の出力端に接続された入力端を備え、前記複数の領域の内で少なくとも１つの領域に於ける画素値の統計量を算出し、算出された前記統計量に基づき、前記任意のフレームの特徴ベクトルを現在のフレームの特徴ベクトルとして決定する特徴抽出部と、
現在のチャプタの特徴ベクトルを記憶する記憶部と、
前記特徴抽出部の出力端に接続された第１入力端及び前記記憶部の出力端に接続された第２入力端と、第１出力端及び前記記憶部の入力端に接続された第２出力端とを備え、前記特徴抽出部が出力する前記現在のフレームの前記特徴ベクトルと、前記記憶部から読み出した前記現在のチャプタの前記特徴ベクトルとを比較して、前記現在のフレームの画像が前記現在のチャプタに属するフレームの画像と類似しているか否かを判定し、（ｉ）前記現在のフレームの前記画像が前記現在のチャプタの前記画像と類似していないと判定した場合には、前記現在のフレームが前記現在のチャプタに属していないと判断して、前記現在のフレームの位置を示す情報を前記第１出力端から出力すると共に、前記現在のフレームの前記特徴ベクトルを新たなチャプタの特徴ベクトルとして前記第２出力端より出力する一方、（ｉｉ）前記現在のフレームの前記画像が前記現在のチャプタの前記画像と類似していると判定した場合には、前記現在のフレームが前記現在のチャプタに属していると判断して、前記現在の画像の前記特徴ベクトルと前記現在のチャプタの前記特徴ベクトルとに基づいて、前記現在のチャプタの前記特徴ベクトルを更新し、前記現在のチャプタの更新された特徴ベクトルを前記第２出力端より出力する判定部と、
前記判定部の前記第１出力端に接続された入力端を備え、前記判定部より受信した前記現在のフレームの位置を示す前記情報を、前記新たなチャプタの開始点として記録するチャプタ開始点記録部とを備え、
前記記憶部は、（ｉ）前記判定部より前記新たなチャプタの前記特徴ベクトルを受信した場合には、前記記憶部が記憶している前記現在のチャプタの前記特徴ベクトルに代えて、前記新たなチャプタの前記特徴ベクトルを前記現在のチャプタの前記特徴ベクトルとして記憶する一方、（ｉｉ）前記判定部より前記現在のチャプタの前記更新された特徴ベクトルを受信した場合には、前記記憶部が記憶している前記現在のチャプタの前記特徴ベクトルに代えて、前記現在のチャプタの前記更新された特徴ベクトルを前記現在のチャプタの前記特徴ベクトルとして記憶することを特徴とする、
チャプタ判定装置。
【請求項９】
請求項８記載のチャプタ判定装置であって、
前記現在のフレームの前記特徴ベクトルは、少なくとも１つの領域を含み且つ前記複数の領域の一部分である第１領域に含まれる各領域について算出される画素値の統計量に基づき決定されており、
前記現在のチャプタの前記特徴ベクトルは、少なくとも１つの領域を含み且つ前記複数の領域の一部分である第２領域に含まれる各領域について算出される画素値の統計量に基づき決定されており、
前記第１領域と前記第２領域とは互いに相違する領域であることを特徴とする、
チャプタ判定装置。
【請求項１０】
請求項８記載のチャプタ判定装置であって、
前記判定部は、
前記被分割領域の内で、画像の中央部に位置する領域に含まれる特徴ベクトル、分割された個々の領域毎に含まれる特徴ベクトル、及び画像の全領域に含まれる特徴ベクトルの組み合わせで以って、前記現在のフレームの前記画像が前記過去のフレームの前記画像と同じチャプタに属するか否かを判定することを特徴とする、
チャプタ判定装置。
【請求項１１】
請求項８記載のチャプタ判定装置であって、
前記映像信号のシーンチェンジを検出するシーンチェンジ検出部と、
前記シーンチェンジ検出部が前記シーンチェンジを検出する結果に応じて、前記映像信号の画像の内でシーンチェンジした画像のみを前記領域分割部の前記入力端に出力する切替部とを更に備えることを特徴とする、
チャプタ判定装置。
【請求項１２】
請求項８記載のチャプタ判定装置であって、
前記統計量はヒストグラムであることを特徴とする、
チャプタ判定装置。
【請求項１３】
映像信号を記録する装置であって、
請求項８記載のチャプタ判定装置を、前記映像信号をその内容によりチャプタ分割し、チャプタ開始点を記録する装置として備えることを特徴とする、
映像信号記録装置。
【請求項１４】
静止画像を複数の領域に分割する領域分割部と、
前記領域分割部の出力端に接続された入力端を備え、前記複数の領域の内で少なくとも１つの領域に於ける画素値の統計量を算出し、算出された前記統計量に基づき、前記静止画像の特徴ベクトルを決定する特徴抽出部と、
前記特徴抽出部の出力端に接続された入力端を備え、前記特徴抽出部より出力される前記特徴ベクトルと、予め定められた画像群の特徴ベクトルとを比較し、前記静止画像が前記予め定められた画像群の内の何れの画像と類似した画像であるか否かを判定することにより、前記静止画像が如何なる内容の画像であるかを判定する画像判定部と、
前記画像判定部の出力端に接続された入力端を備え、前記画像判定部から出力される画像判定信号が与える前記静止画像の前記内容に応じた画像処理を行う画像処理部とを備えたことを特徴とする、
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像信号をその内容によりチャプタ分割し、チャプタ開始点を記録するチャプタ判定技術に関する。
【背景技術】
【０００２】
一般に、映画等を記録した映像信号記録媒体は、ランダムアクセスが可能な様にチャプタ分割され、チャプタ毎の再生が可能な様にチャプタ開始点が記録されている。テレビ放送等を記録する映像信号記録装置に於いても、興味のある部分のみを再生したいということがある。特に、ニュース番組や情報番組等、種々の話題から成るテレビ放送の場合、興味のある話題のみを再生するため、話題毎にチャプタ分割を行い、チャプタ毎の再生を行いたいことがある。このため、従来の映像信号記録装置では、入力映像信号からチャプタを自動検出する各種の方法が開発されている。例えば、映像信号のシーンチェンジ点をチャプタ開始点とする方法がある（例えば、特許文献１参照。）。【０００３】
しかし、全てのシーンチェンジ点を採用すると数が多くなりすぎることから、音声の無い無音部分を検出し、無音部分とシーンチェンジ点とが一致する部分をチャプタ分割点とする方法がある（例えば、特許文献２参照。）。【０００４】
又、シーンチェンジ点のフレームを、異なる日時に放送された映像信号のシーンチェンジフレームと比較し、類似したフレームが高い頻度で検出される場合に、そのシーンチェンジ点を意味のあるシーンチェンジとして、チャプタ分割開始点とする方法もある（例えば、特許文献３参照。）。【０００５】
【特許文献１】特公平５−７４２７３号公報（第２−３頁、第１図）
【特許文献２】特開平９−２１４８７９号公報（第３頁、図１）
【特許文献３】特開平１１−２５９０６１号公報（第３−６頁、図４）
【０００６】
従来の技術では、シーンチェンジを検出し、シーンチェンジ点をチャプタ分割点とするため、チャプタが多くなりすぎるという問題点があった。【０００７】
又、チャプタの数を減少させるためには、音声信号や他の映像信号を参照する必要があるという問題点があった。
【発明の開示】
【０００８】
本発明は、斯かる問題点に鑑みて成されたものであり、ニュース番組又は情報番組等の種々の話題から成るテレビ放送を記録する場合に、話題の変化点を、入力映像信号のみから検出し、チャプタ分割点を得ることを、その目的とする。
【０００９】
本発明の主題に係るチャプタ判定装置は、チャプタ毎に複数のフレームが連なる映像信号を受信する入力端を備え、前記映像信号から任意のフレームを抽出して前記任意のフレームを複数の領域に分割する領域分割部と、前記領域分割部の出力端に接続された入力端を備え、前記複数の領域の内で少なくとも１つの領域に於ける画素値の統計量を算出し、算出された前記統計量に基づき、前記任意のフレームの特徴ベクトルを現在のフレームの特徴ベクトルとして決定する特徴抽出部と、前記特徴抽出部の出力端に接続された入力端を備え、前記特徴抽出部より出力される前記現在のフレームの前記特徴ベクトルを、過去のフレームの特徴ベクトルとして記憶する記憶部と、前記特徴抽出部の出力端に接続された第１入力端及び前記記憶部の出力端に接続された第２入力端を備え、前記特徴抽出部より出力された前記現在のフレームの前記特徴ベクトルと、前記記憶部より読み出された前記過去のフレームの前記特徴ベクトルとを比較することにより、前記現在のフレームの画像が前記過去のフレームの画像と類似しているか否かを判定し、前記現在のフレームの前記画像が前記過去のフレームの前記画像と類似していないと判定した場合には、前記現在のフレームが前記過去のフレームとは異なるチャプタに属すると判断して、前記現在のフレームの位置を示す情報を出力する判定部と、前記判定部の出力端に接続された入力端を備え、前記判定部より受信した前記現在のフレームの位置を示す前記情報を、新たなチャプタの開始点として記録するチャプタ開始点記録部とを備えたことを特徴とする。
【００１０】
本発明の主題によれば、入力映像信号の画像を複数の領域に分割し、分割された領域の少なくとも１つの領域に於ける画素値の統計量を求めて、画像の特徴ベクトルとし、現在の画像の特徴ベクトルと、過去の画像の特徴ベクトルとを比較することにより、画面構成の変化を基に現在の画像と過去の画像とが同じチャプタに属するか否かを判定するので、大まかな画面構成や画面特徴の推移からチャプタ分割を行うことが出来、シーンチェンジよりも少ないチャプタ分割点を自動生成することが出来る。
【００１１】
又、本発明の主題によれば、画像の特徴ベクトルにより、現在の画像の特徴ベクトルと、過去の画像の特徴ベクトルとを比較する際に、比較する単位を、分割された領域の内で、画像の中央部に位置する領域に含まれる特徴ベクトル、分割された個々の領域毎に含まれる特徴ベクトル、及び画像の全領域に含まれる特徴ベクトルとの組み合わせで判定するので、画面の中央領域に重要な情報が含まれる画像や、それ以外の領域に重要な情報が含まれる画像等、多様な画像に対して適切に特徴を捉えて、現在の画像が現在のチャプタに属するか否かを判定することが出来ると言う効果がある。
【００１２】
この発明の目的、特徴、局面、および利点は、以下の詳細な記載と添付図面とによって、より明白となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係る映像信号記録装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に於ける入力映像信号の例を示す図である。
【図３】本発明の実施の形態１に於ける、映像信号からチャプタ分割点を得る動作手順を示すフローチャートである。
【図４】本発明の実施の形態１に於ける領域分割部が、フレームを各領域に分割する一例を示す図である。
【図５】本発明の実施の形態１に於いて、フレーム間で比較される領域を示す図である。
【図６】本発明の実施の形態１に於いて、フレーム間で比較される領域を示す図である。
【図７】本発明の実施の形態１に於いて、フレーム間で比較される領域を示す図である。
【図８】本発明の実施の形態１に於いて、フレーム間で比較される領域を示す図である。
【図９】本発明の実施の形態１に於いて、フレーム間で比較される領域を示す図である。
【図１０】本発明の実施の形態１に於いて、フレーム間で比較される領域を示す図である。
【図１１】本発明の実施の形態１に於いて、フレーム間で比較される領域を示す図である。
【図１２】本発明の実施の形態１に於いて、フレーム間で比較される領域を示す図である。
【図１３】本発明の実施の形態２に係る映像信号記録装置の構成を示すブロック図である。
【図１４】領域分割部による１フレームの領域分割の例を示す図である。
【図１５】実施の形態２に係る判定部の構成を示すブロック図である。
【図１６】本発明の実施の形態３に係る映像信号記録装置の構成を示すブロック図である。
【図１７】本発明の実施の形態３に於ける、映像信号からチャプタ分割点を得る動作手順を示すフローチャートである。
【図１８】本発明の実施の形態３に於ける判定部の内部構成例を示すブロック図である。
【図１９】本発明の実施の形態３の変形例に係る判定部の内部構成例を示すブロック図である。
【図２０】本発明の実施の形態４に係る映像信号記録装置の構成を示すブロック図である。
【図２１】本発明の実施の形態５に係る映像信号記録装置の構成を示すブロック図である。
【図２２】本発明の実施の形態６に係る画像処理装置の構成を示すブロック図である。
【図２３】本発明の実施の形態６に於ける画像判定部の内部構成例を示すブロック図である。
【発明を実施するための最良の形態】
【００１４】
（実施の形態１）
図１は、この発明の実施の形態１に係る映像信号記録装置の構成を示すブロック図である。図１に於いて、各参照符号は次の構成要素を示す。１はアンテナ、２はアンテナ１から出力されるＲＦ信号からＡＶ信号を抽出するチューナ、３はチューナ２から出力されるＡＶ信号を記録する録画部、４はチューナ２から出力されるＡＶ信号をデコードし、チャプタ毎に複数のフレームが連なる映像信号を出力するデコーダである。又、５は、デコーダ４から出力される、チャプタ毎に複数のフレームが連なる映像信号から任意のフレームを抽出した上で、抽出した当該フレーム（「現在のフレーム」に該当。）の画像（「現在の画像」に該当。）を複数の領域に分割する領域分割部である。又、６は、領域分割部５から出力される現在のフレームの各領域の映像信号に対して、少なくとも一つの領域における画素値の統計量を算出し、算出した統計量に基づき、現在のフレームの特徴ベクトルを決定する特徴抽出部である。又、８は、特徴抽出部６から出力される現在のフレームの特徴ベクトルを、後述する「過去のフレーム」の特徴ベクトルとして、記憶するメモリである。又、７は、特徴抽出部６から出力される現在の画像の特徴ベクトルとメモリ８から出力される（読み出される）過去の画像の特徴ベクトルとに基づいて、換言すれば、現在のフレームの特徴ベクトル及び過去のフレームの特徴ベクトルに基づいて、現在のフレーム及び過去のフレームが同じチャプタに属するか否かを判定する判定部である。又、９は、判定部７において過去の画像と同じチャプタに属さないと判定された現在の画像の位置を示す情報を記録するチャプタ開始点記録部（例えばＨＤＤより成る。）である。【００１５】
尚、図１中の領域分割部５、特徴抽出部６及び判定部７は、ハードウェア（回路）で構成される他、ソフトウェアによる制御の下でマイクロコンピュータによって実現されても良い。【００１６】
以下では、上記の「チャプタ」とは、映像信号に含まれる複数のフレームの内で、同一の話題に関するフレームから構成されるフレーム群のことを意味する。例えば、図２に示すように、映像信号が、山の話題と学校の話題とから構成されている場合には、山に関する話題のフレームｉからフレームｊまでの各フレームは、同一のチャプタＰに属することになり、一方、学校に関する話題のフレームｋからフレームｌまでの各フレームは、同一のチャプタＰ＋１に属することになる。【００１７】
次に、図１、図３、及び図４により、映像信号記録装置の動作について記載する。図３は、実施の形態１において、映像信号からチャプタ分割点を得る動作手順を示すフローチャートである。図４（ａ），図４（ｂ），図４（ｃ）は、実施の形態１における領域分割部５が、フレームを各領域に分割する領域分割処理の一例を示す図である。【００１８】
先ず、アンテナ１から出力されるＲＦ信号はチューナ２に入力され、選局した放送局のＡＶ信号が、チューナ２より抽出される。抽出されたＡＶ信号は、ハードディスクドライブなどの録画部３に記録される。【００１９】
チューナ２から出力されるＡＶ信号はデコーダ４にも入力され、ＡＶ信号の内からビデオストリームが抽出された上で、抽出されたビデオストリームがデコードされた映像信号が、デコーダ４より出力される。例えば、デジタル放送信号の場合、チューナ２から出力されるＡＶ信号は、ＭＰＥＧ−２のトランスポートストリームの信号であるが、トランスポートストリームからＭＰＥＧ−２ビデオストリームが分離され、更に分離されたＭＰＥＧ−２ビデオストリームはＭＰＥＧ−２デコード化されて、映像信号が出力される。【００２０】
デコーダ４から出力される映像信号は、領域分割部５によって、フレーム毎に、複数の領域に分割される（図３のステップＳ１）。領域分割の一例としては、図４（ａ）に示すように、１フレームを垂直方向に３つの領域に分割する。【００２１】
領域分割されたフレームに対して、特徴抽出部６において、領域毎に画素値の統計量が求められ、画像の特徴ベクトルが定められる（図３のステップＳ２）。【００２２】
例えば、特徴抽出部６は、領域毎の画素値の統計量として、各領域の輝度信号の平均値を求める。ここで、１フレームが図４（ａ）に示す様に３分割されているとすると、３つの領域の輝度信号の平均値を求めることとなるので、フレーム毎に得られる特徴量は、
Ｖ（ｎ），ｎ＝０，１，２
の様に、３つの要素から成るベクトルとなる。領域分割がＮ分割である場合には、フレーム毎に得られる特徴量は、
Ｖ（ｎ），ｎ＝０，・・・，Ｎ−１
の様に、Ｎ個の要素から成るベクトルとなる。【００２３】
また、例えば、特徴抽出部６が、各領域の輝度信号と２つの色差信号とについて平均値を求める場合には、フレーム毎に得られる特徴量は、
Ｖ（ｎ），ｎ＝０，・・・，３Ｎ−１
の様に、３Ｎ個の要素から成るベクトルとなる。【００２４】
判定部７は、特徴抽出部６から出力される現在の画像の特徴ベクトルＶ（ｎ）と、メモリ８に記憶された過去の画像の特徴ベクトルＶ'（ｎ）とを比較し、現在の画像と過去の画像とが同じチャプタに属するか否かを判定する。尚、初回の動作に於いては、比較対象は存在しないため、判定部７は上記の比較処理を行わず、現在の画像の特徴ベクトルＶ（ｎ）がメモリ８内に過去の画像の特徴ベクトルＶ'（ｎ）として記憶されるだけである。【００２５】
具体的には、判定部７は、特徴抽出部６から出力される現在のフレームの特徴ベクトルＶ（ｎ）（ｎ＝０，・・・，Ｎ−１）から、メモリ８に記憶された過去のフレームの特徴ベクトルＶ'（ｎ）（ｎ＝０，・・・，Ｎ−１）に対する距離関数ｄｉｓｔ（Ｖ，Ｖ'）を定め（図３のステップＳ３）、距離関数ｄｉｓｔ（Ｖ，Ｖ'）が所定値β以下のときに、現在のフレームと過去のフレームとは同じチャプタに属すると判定する（図３のステップＳ４）。距離関数ｄｉｓｔ（Ｖ，Ｖ'）は、例えば、【００２６】
【数１】
2009031398.tif 000003
【００２７】
の様に、現在のフレームにおいて領域毎に得られる特徴量と、過去のフレームにおいて領域毎に得られる特徴量との差を、領域毎の距離として算出し、領域毎の距離を全ての領域について足し合わせたものとして定められる。【００２８】
或いは、ベクトルの成分ｎ毎に重み付けＷ（ｎ）を行って、【００２９】
【数２】
2009031398.tif 000004
【００３０】
の様に、距離関数ｄｉｓｔ（Ｖ，Ｖ'）を定めても良い。【００３１】
他方、判定手段７は、現在のフレームが過去のフレームと同じチャプタに属さないと判定した場合には、現在のフレームの位置を示す情報を、新たなチャプタの開始点として、ハードディスクドライブなどのチャプタ開始点記録部９に記録する（図３のステップＳ５）。なお、このチャプタ開始点記録部９は、録画部３と同じ媒体を共有する構成としてもよい。【００３２】
なお、上述では、現在のフレームにおいて領域毎に得られる特徴量と、過去のフレームにおいて領域毎に得られる特徴量との差を、領域毎の距離として算出し、領域毎の距離を全ての領域について足し合わせたもの（もしくは重み付けを行って足し合わせたもの）を距離関数に設定しているが、これに代えて、距離関数は全ての領域ではなく、一部の領域について領域毎の距離を足し合わせることで距離関数を設定することもできる。後者の場合、一部の特徴的な領域に注目して、フレームの属するチャプタを判定することができるので、チャプタ分割点の数を減らすことができる。【００３３】
例えば、入力映像信号が、図２に示したように、最初の話題（チャプタＰ）が山に関するものであり、次の話題（チャプタＰ＋１）が学校に関するものであった場合には、山の画像に関しては画面上部に空が写っていることが多いため、図４（ａ）のように垂直方向に３分割すると、最上部の領域の色に特徴が表れる。このため、最上部の領域の色差信号の値を比較することにより、チャプタＰとチャプタＰ＋１との区別を行うことができる。この場合、フレームの中央部から最下部にかけての色が変化したことによってチャプタ分割点を検出することがなくなるため、チャプタ分割点の数を減らすことができる。【００３４】
また、上述においては、フレームが属するチャプタの判定は、現在のフレームにおいて領域毎に得られる特徴量と、過去のフレームにおいて領域毎に得られる特徴量との差を、領域毎に足し合わせて成る距離関数に基づいて行われるとしているが、領域毎に得られる特徴量の差そのものを距離関数に設定して、この様に設定された距離関数をチャプタの判定に用いることができる。【００３５】
例えば、領域毎に得られる特徴量の差と、所定値ｅとの比較を行い、距離関数が所定値ｅ以下である領域の数が所定数ａ以上のときに、現在のフレームと過去のフレームとが同じチャプタに属すると、判定部７は判定する。この様な判定によれば、特徴的な領域の各々について比較を行うので、現在のフレームの一部と過去のフレームの一部とが同じチャプタに属すると判定される場合に於いても、判定部７は現在のフレームと過去のフレームとが同じチャプタに属すると判定できるので、チャプタ分割点の検出数を減らすことができる。【００３６】
又、上述においては、現在のフレームの領域と過去のフレームの領域との比較に関しては、現在のフレームの最上部と過去のフレームの最上部といったように、フレーム間で同じ位置の領域の比較を行っているが、これに代えて、現在のフレームの最上部と過去のフレームの最下部といったように、フレーム間で異なる位置の領域の比較を行うこともできる。この様な比較によれば、フレーム内における特徴的領域の位置が変化した場合であっても、フレーム間で対応した同じ特徴をもつ領域どうしを比較することができる。【００３７】
又、上述においては、図４（ａ）のようにフレームを領域分割しているが、図４（ｂ）のように、フレームをその水平方向及び垂直方向に共に領域分割することとしても良い。或いは、図４（ｃ）のように、フレームをその画面中央部とその画面周辺部とに分けた上でフレームの領域分割を行ってもよい。図４（ｂ）及び図４（ｃ）のように分割した場合に於いても、図４（ａ）のように分割した場合と同様に、特徴が表れる領域どうしの色信号の値を比較することにより、チャプタ分割点を検出することができる。【００３８】
さらに、図４（ｂ）ないし図４（ｃ）のように画面中央部の領域と周辺部の領域とにフレームが分割されている場合には、判定部７における距離関数を、現在のフレームの中央部の特徴と過去のフレームの周辺部の特徴との相関、あるいは、現在のフレームの周辺部の特徴と過去のフレームの中央部の特徴との相関を含むように構成しても良い。これにより、カメラのパンニング、又は、主要被写体の移動に対応することができる。【００３９】
例えば、図５に示すように、判定部７は、現在のフレームの左側２列の領域（図５（ａ）に於いてハッチングを付した領域）と、過去のフレームの右側２列の領域（図５（ｂ）に於いてハッチングを付した領域）とを比較する。これにより、カメラの左から右へのパンニング、又は、主要被写体の右から左への移動に対応することができる。同様に、判定部７は、現在のフレームの右側２列の領域と、過去のフレームの左側２列の領域とを比較することで、カメラの右から左へのパンニング、又は、主要被写体の左から右への移動に対応することができる。【００４０】
また、図６に示すように、判定部７は、現在のフレームの下側２列の領域（図６（ａ）に於いてハッチングを付した領域）と、過去のフレームの上側２列の領域（図６（ｂ）に於いてハッチングを付した領域）とを比較する。これにより、カメラの下から上へのチルト、又は、主要被写体の上から下への移動に対応することができる。同様に、判定部７は、現在のフレームの上側２列の領域と、過去のフレームの下側２列の領域とを比較することで、カメラの上から下へのチルト、又は、主要被写体の下から上への移動に対応することができる。【００４１】
また、図７に示すように、判定部７は、現在のフレームの左端の１列の領域（図７（ａ）に於いてハッチングを付した領域）と、過去のフレームの真中の縦１列（図７（ｂ）に於いてハッチングを付した領域）及び過去のフレームの右端の１列（図７（ｃ）に於いてハッチングを付した領域）の各々とを、比較する。これにより、カメラの左から右へのパンニング、又は、主要被写体の右から左への移動に対応することができる。同様に、判定部７は、現在のフレームの真中の縦１列の領域または現在のフレームの右端の１列の領域と、過去のフレーム中の縦１列の領域とを比較することで、カメラのパンニング、又は、主要被写体の移動に対応することができる。【００４２】
また、図８に示すように、判定部７は、現在のフレームの下端の１列の領域（図８（ａ）に於いてハッチングを付した領域）と、過去のフレームの真中の横１列（図８（ｂ）に於いてハッチングを付した領域）及び過去のフレームの上端の１列（図８（ｃ）に於いてハッチングを付した領域）の各々とを、比較する。これにより、カメラの上から下へのチルト、又は、主要被写体の下から上への移動に対応することができる。同様に、判定部７は、現在のフレームの中央の横１列または現在のフレームの上端の１列の領域と、過去のフレーム中の横１列とを比較する場合も、同様にして、カメラのチルト、又は、主要被写体の移動に対応することができる。【００４３】
また、図９に示すように、判定部７は、現在のフレームの左端下部の２領域（図９（ａ）に於いてハッチングを付した領域）と、過去のフレームの左端上部の２領域（図９（ｂ）に於いてハッチングを付した領域）、過去のフレームの真中の縦１列の下部２領域（図９（ｃ）に於いてハッチングを付した領域）、過去のフレームの真中の縦1列の上部２領域（図９（ｄ）に於いてハッチングを付した領域）、過去のフレームの右端下部の２領域（図９（ｅ）に於いてハッチングを付した領域）及び過去のフレームの右端上部の２領域（図９（ｆ）に於いてハッチングを付した領域）の各々とを、比較する。これにより、カメラの右から左へのパンニングとカメラの上から下へのチルト、又は、主要被写体の左から右への移動と主要被写体の下から上への移動に対応することができる。同様に、判定部７は、現在のフレームの左端上部の２領域、現在のフレームの真中の縦１列の上部２領域、現在のフレームの真中の縦1列の下部２領域、現在のフレームの右端上部の２領域、及び現在のフレームの右端下部の２領域の各々と、過去のフレーム中の縦２領域とを比較することで、カメラのパンニング、チルト、または主要被写体の移動に対応することができる。【００４４】
また、図１０に示すように、判定部７は、現在のフレームの下端左部の２領域（図１０（ａ）に於いてハッチングを付した領域）と、過去のフレームの真中の横１列の左部２領域（図１０（ｂ）に於いてハッチングを付した領域）、過去のフレームの上端左部の２領域（図１０（ｃ）に於いてハッチングを付した領域）、過去のフレームの下端右部の２領域（図１０（ｄ）に於いてハッチングを付した領域）、過去のフレームの真中の横1列の右部２領域（図１０（ｅ）に於いてハッチングを付した領域）及び過去のフレームの上端右部の２領域（図１０（ｆ）に於いてハッチングを付した領域）の各々とを、比較する。これにより、カメラの右から左へのパンニングと上から下へのチルト、又は、主要被写体の左から右と下から上への移動に対応することができる。同様に、判定部７は、現在のフレームの上端左部の２領域、現在のフレームの真中の横１列の左部２領域、現在のフレームの上端右部の２領域、現在のフレームの真中の横1列の右部２領域、及び現在のフレームの下端右部の２領域の各々と、過去のフレーム中の縦２領域とを比較することで、カメラのパンニング、チルト、または主要被写体の移動に対応することができる。【００４５】
また、図１１に示すように、判定部７は、現在のフレームの１領域（図１１（ａ）に於いてハッチングを付した領域）と、過去のフレームの１領域（図１１（ｂ）〜図１１（ｉ）の各々に於いてハッチングを付した領域）の各々とを、比較する。これにより、カメラのパンニング、チルト、または主要被写体の移動に対応することができる。【００４６】
また、図１２に示すように、判定部７は、現在のフレームの中央部の１領域（図１２（ａ）に於いてハッチングを付した領域）と、過去のフレームの左上部の１領域（図１２（ｂ）に於いてハッチングを付した領域）、過去のフレームの左下部の１領域（図１２（ｃ）に於いてハッチングを付した領域）、過去のフレームの右上部の１領域（図１２（ｄ）に於いてハッチングを付した領域）及び過去のフレームの右下部の１領域（図１２（ｅ）に於いてハッチングを付した領域）の各々とを、比較する。これにより、カメラのパンニング、チルト、または主要被写体の移動に対応することができる。【００４７】
又、上述においては、各色信号の平均値を用いてフレームの特徴量を求めているが、さらに、さまざまな話題に対する切替点を検出するために、各色信号のヒストグラムを用いてフレームの特徴ベクトルを求めてもよい。例えば、領域分割部５がフレームを各領域ｄ（ｄ＝０，１，２）に分解した場合に於いて、特徴抽出部６は、各領域ｄ（ｄ＝０，１，２）の各色信号ｓ（ｓ＝０，１，２）のヒストグラムｈ（ｄ，ｓ，ｍ）（ｍ＝０，・・・，２５５）を抽出し、ヒストグラムｈ（ｄ，ｓ，ｍ）を特徴ベクトルとして出力してもよい。あるいは、ヒストグラムｈ（ｄ，ｓ，ｍ）の代わりに、特徴抽出部６は、累積ヒストグラムｈ'（ｄ，ｓ，ｍ）を、【００４８】
【数３】
2009031398.tif 000005
【００４９】
により求め、これを特徴ベクトルとして出力してもよい。【００５０】
あるいは、特徴抽出部６は、累積ヒストグラムｈ'（ｄ，ｓ，ｍ）の特徴を表すために、累積ヒストグラムｈ'（ｄ，ｓ，ｍ）に於いて統計の対象となる画素の数が各領域の画素数のａ（ｉ）％（例えば、ａ（０）＝１０、ａ（１）＝５０、ａ（２）＝９０とする。）以上となる、最小のｍの値での累積ヒストグラムｈ'（ｄ，ｓ，ｍ）をｈｃ（ｄ，ｓ，ｉ）と設定し、ｈｃ（ｄ，ｓ，ｉ）を特徴ベクトルとして出力してもよい。【００５１】
特徴ベクトルがｈｃ（ｄ，ｓ，ｉ）（ｄ＝０，１，２；ｓ＝０，１，２；ｉ＝０，１，２）のようなフォーマットである場合には、判定部７は、特徴ベクトルＶ（ｎ）を、【００５２】
【数４】
2009031398.tif 000006
【００５３】
によって示される特徴ベクトルＶ（ｎ）に置き換えた上で、同様に、距離関数ｄｉｓｔ（Ｖ，Ｖ'）を求める。【００５４】
又、上述では、判定部７は、現在のフレームの特徴量及び過去のフレームの特徴量から距離関数を定めることで、チャプタの判定を行っている。これに代えて、判定部７は、現在のフレームの特徴量及び過去のフレームの特徴量から相関関数ｒｅｌａ（Ｖ，Ｖ'）を、例えば、
ｒｅｌａ（Ｖ，Ｖ'）＝１／ｄｉｓｔ（Ｖ，Ｖ'）
の様に、距離関数ｄｉｓｔ（Ｖ，Ｖ'）の逆数として定め、この相関関数ｒｅｌａ（Ｖ，Ｖ'）を用いてチャプタの判定を行うこともできる。【００５５】
また、上述においては、特徴抽出部６は、各色信号ｓ（ｓ＝０，１，２）のヒストグラムを基に特徴ベクトルを求めるとしている。これに代えて、例えば、入力映像信号が輝度信号と２つの色差信号とから成る場合には、特徴抽出部６は、２つの色差信号のヒストグラムのみから特徴ベクトルを求めることにより、演算量を削減し、かつ、大まかな特徴を把握することができる。【００５６】
以上の様に、実施の形態１によれば、各フレームの画面構成の特徴から、チャプタの分割点を抽出するため、シーンチェンジがあっても、おおよその被写体の特徴が同等であれば、チャプタとして入力映像信号を分割せず、被写体が大きく変化したときにのみ入力映像信号をチャプタとして分割することができる。すなわち、現在のフレームの一部の特徴的部分及び過去のフレームの一部の特徴的部分を取り出して、それらの特徴的部分の特徴が同等であれば、判定部７は、両フレームが同じチャプタに属すると判定するので、現在のフレーム全体の特徴と過去のフレーム全体の特徴とを比較する場合に比べて、チャプタ分割点の検出数を減少させることができる。【００５７】
また、フレームを分割して得られる複数の領域が画面中央部と周辺部とに分かれている場合には、現在のフレームの中央部の特徴と過去のフレームの周辺部の特徴との相関、あるいは、現在のフレームの周辺部の特徴と過去のフレームの中央部の特徴との相関を含むように距離関数を構成することにより、カメラのパンニング、又は、主要被写体の移動に対応した、チャプタ分割点の判定をすることができる。【００５８】
また、特徴抽出部６は、各色信号のヒストグラムを用いてフレームの特徴ベクトルを求めるため、チャプタによって異なるヒストグラムの特徴を捉えて判定することができる。よって、さまざまな話題に対する切替点を検出することができる。【００５９】
なお、実施の形態１においては、領域分割部５が、デコーダ４から出力される映像信号の各フレームを領域分割するとしているが、デコーダ４から出力される映像信号がインターレース信号の場合には、領域分割部５がフィールド単位で領域分割を行うように、映像信号記録装置を構成してもよい。【００６０】
（実施の形態２）
図１３は、この発明の本実施の形態に係る映像信号記録装置の構成を示すブロック図である。図１３に於いて、アンテナ１はＲＦ信号を受信し、チューナ２はアンテナ１から出力されるＲＦ信号からＡＶ信号を抽出する。録画部３は、チューナ２から出力されるＡＶ信号を記録する。デコーダ４は、チューナ２から出力されるＡＶ信号をデコードする。領域分割部５は、デコーダ４から出力される、チャプタ毎に複数のフレームが連なる映像信号から任意のフレームを抽出した上で、抽出した当該フレーム（「現在のフレーム」に該当。）の画像（「現在の画像」に該当。）を複数の領域に分割する。特徴抽出部６は、領域分割部５から出力される各領域の映像信号に対して、領域毎に、画素値の統計量を求め、画像の特徴ベクトルを得る。メモリ８は、特徴抽出部６から出力される特徴ベクトルを、過去の画像（過去のフレーム）の特徴ベクトルとして、記憶する。判定部７ｂは、特徴抽出部６から出力される現在の画像の特徴ベクトルとメモリ８から読み出される過去の画像の特徴ベクトルとに基づいて、現在の画像と過去の画像とが同じチャプタに属するか否かを判定する。チャプタ開始点記録部９は、判定部７ｂに於いて現在の画像が過去の画像と同じチャプタに属さないと判定された場合に於ける、現在の画像の位置を示す情報を記録する。【００６１】
尚、図１３中の領域分割部５、特徴抽出部６及び判定部７ｂは、ハードウェア（回路）で構成される他、マイクロコンピュータに於いてソフトウェアによって実現されても良い。【００６２】
次に、図１３の装置の動作について記載する。先ず、アンテナ１から出力されるＲＦ信号はチューナ２に入力され、チューナ２は、ユーザーが選局した放送局のＡＶ信号をＲＦ信号より抽出する。そして、ハードディスクドライブ等より成る録画部３は、抽出されたＡＶ信号を記録する。【００６３】
チューナ２から出力されるＡＶ信号はデコーダ４にも入力され、デコーダ４は、ＡＶ信号の内から映像信号のみを抽出し、抽出した映像信号をデコード化した後、デコード画像を出力する。例えば、デジタル放送信号の場合、チューナ２から出力されるＡＶ信号は、ＭＰＥＧ−２のトランスポートストリームとなっているが、トランスポートストリームからＭＰＥＧ−２ビデオストリームが分離され、更にＭＰＥＧ−２デコードの処理が施されて、デコード化された映像信号が出力される。【００６４】
領域分割部５は、デコーダ４から出力される映像信号を、フレーム毎に、複数の領域に分割する。ここで、図１４は、領域分割部５による領域分割の各例を示す。図１４（ａ）はフレームを垂直方向に３分割した領域分割の例を示しており、図１４（ｂ）は、フレームを水平方向と垂直方向とにそれぞれ３分割した領域分割の例を示している。又、図１４（ｃ）は、フレームの背景を４つに分割した領域を背景領域とし、画面の中央に位置する領域を中央領域として、区別する領域分割の例である。又、図１４（ｄ）は、フレームを水平方向と垂直方向とにそれぞれ４分割した領域分割の例であり、図中の番号は、領域番号を示す。又、図１４（ｅ）は、フレームを水平方向と垂直方向とにそれぞれ５分割した領域分割の例である。以下、本実施の形態では、図１４（ｄ）の領域分割を用いて、本装置の動作を記載する。【００６５】
図１４（ｄ）に示す様に、フレームを水平方向と垂直方向とにそれぞれ４分割する領域分割されたフレームの映像信号より、特徴抽出部６は、各領域毎に画素値の統計量を求めて、画像の特徴ベクトルを出力する。【００６６】
例えば、特徴抽出部６は、各領域ｄの各色信号ｓ（Ｒ，Ｇ，Ｂ信号、ないしは、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＮＴＳＣ方式の放送の場合））のヒストグラムｈ（ｄ，ｓ，ｍ）（ｍ＝０，・・・，２５５）（当該ヒストグラムの横軸は階調であり、その縦軸は当該階調を示す画素の数である。）を抽出し、更に、このヒストグラムｈ（ｄ，ｓ，ｍ）を累積化して得られる累積ヒストグラムｈ'（ｄ，ｓ，ｍ）を、【００６７】
【数５】
2009031398.tif 000007
【００６８】
で以って、画素値の統計量として、求める。その上で、特徴抽出部６は、この累積ヒストグラムｈ'（ｄ，ｓ，ｍ）の特徴を表すために、累積ヒストグラムｈ'（ｄ，ｓ，ｍ）が与える画素数が各領域ｄの画素数のα（ｉ）％（例えば、α（０）＝１０，α（１）＝５０，α（２）＝９０とする。）となるときの最小のｍの値を、累積ヒストグラム取得ポイントｈｃ（ｄ，ｓ，ｉ）として求め、当該累積ヒストグラム取得ポイントｈｃ（ｄ，ｓ，ｉ）を「特徴ベクトル」として出力する。【００６９】
本実施の形態では、輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒとから画素値の統計量を求めた上で画像の特徴の抽出を行うものとする。図１４（ｄ）の領域分割を行う場合、フレームは１６個の領域に分割されることになり、フレーム毎に得られる特徴量は、１６個の領域の輝度信号Ｙ及び２つの色差信号Ｃｂ、Ｃｒについて、累積ヒストグラム取得ポイント数を３箇所として、１４４（＝１６×３×３）個となる。従って、特徴抽出部６から出力される特徴ベクトルが上記ｈｃ（ｄ，ｓ，ｉ）（ｄ＝０，１，・・・，１５；ｓ＝０，１，２；ｉ＝０，１，２）の様なフォーマットである場合には、【００７０】
【数６】
2009031398.tif 000008
【００７１】
として、特徴ベクトルＶ（ｎ）（ｎ＝０，・・・，１６（領域分割数）×３（特徴を抽出する信号の数）×３（累積ヒストグラム取得ポイント数）−１）が出力される。【００７２】
ここで、図１５は、判定部７ｂの構成を示すブロック図である。図１５に於いて、中央領域判定部３０１は、分割された領域の内でフレームの中央部に位置する領域に含まれる特徴ベクトルで以って、現フレームと過去のフレームとの特徴を比較する。又、領域別判定部３０２は、分割された個々の領域毎に含まれる特徴ベクトルで以って、現フレームと過去のフレームとを比較する。又、全領域判定部３０３は、画像の全領域に含まれる特徴ベクトルで以って、現フレームと過去のフレームとの特徴を比較する。又、距離算出部３０４は、中央領域判定部３０１、領域別判定部３０２、及び全領域判定部３０３から出力される、それぞれの判定結果に基づき、現フレームと過去のフレームとの距離を算出する部分である。更に、比較部３０５は、距離算出部３０４の結果を所定の値と比較する部分である。【００７３】
以下では、図１５及び図１４（ｄ）を参照して、判定部７ｂの動作を記載する。判定部７ｂは、特徴抽出部６から出力される特徴ベクトルＶ（ｎ）（ｎ＝０，・・・，１６×３×３−１）と、メモリ８から出力される過去のフレームの特徴ベクトルＶ'（ｎ）（ｎ＝０，・・・，１６×３×３−１）とに対して、分割された領域の内で、フレームの中央部に位置する領域、ここでは図１４（ｄ）の各領域５，６，９，１０に含まれる特徴ベクトルを、中央領域判定部３０１に入力する。そして、中央領域判定部３０１は、入力された特徴ベクトルの内で、それぞれの領域の２つの色差信号Ｃｂ，Ｃｒの中央値を表す成分、即ち、上記累積ヒストグラム取得ポイントを与える画素数が領域に含まれる画素数の５０％となるポイントを示す成分により、現在のフレームと過去のフレームとを比較し、中央領域判定値ａを求める。【００７４】
ここで、記載の便宜のために、領域５の現在のフレームの一方の色差信号Ｃｂの中央値を示す特徴ベクトルの成分をＣｂ50（５）、他方の色差信号Ｃｒの中央値を示す特徴ベクトルの成分をＣｒ50（５）、領域５の過去のフレームの一方の色差信号Ｃｂの中央値を示す特徴ベクトルの成分をＣｂ' 50（５）、他方の色差信号Ｃｒの中央値を示す特徴ベクトルの成分をＣｒ' 50（５）と記す。以下、領域６，９，１０についても同様に、Ｃｂ50（６）、Ｃｒ50（６）、Ｃｂ' 50（６）、Ｃｒ' 50（６）、Ｃｂ50（９）、Ｃｒ50（９）、Ｃｂ' 50（９）、Ｃｒ' 50（９）、Ｃｂ50（１０）、Ｃｒ50（１０）、Ｃｂ' 50（１０）、Ｃｒ' 50（１０）と記す。【００７５】
中央領域判定部３０１は、フレームの中央に位置する各領域５，６，９，１０の現在のフレームと過去のフレームの、一方の色差信号Ｃｂの中央値の差分、及び、他方の色差信号Ｃｒの中央値の差分を各々計算し、中央領域判定値ａを求める。中央領域判定値ａは、例えば、色差信号Ｃｂ、Ｃｒのそれぞれに対する中央領域判定値をａcb、ａcrとして求められ、現在のフレームと過去のフレームの同一領域の色差信号Ｃｂ、Ｃｒそれぞれの中央値の絶対値差分を算出して、【００７６】
【数７】
2009031398.tif 000009
【００７７】
として、定められる。【００７８】
又、分割された個々の領域０〜１５に含まれる特徴ベクトルは、領域別判定部３０２に入力される。そして、領域別判定部３０２は、輝度信号Ｙ及び２つの色差信号Ｃｂ，Ｃｒの各々の上記累積ヒストグラム取得ポイントを与える画素数が領域に含まれる画素数の１０％、５０％、及び９０％となるポイントを示す特徴ベクトルの各成分により、現在のフレームと過去のフレームとを領域毎に比較し、領域別判定値ｂ（ｎ）（ｎ＝０，・・・，１５）を求める。【００７９】
ここで、記載の便宜上、領域０の現在のフレームの一方の色差信号Ｃｂの画素数１０％となるポイントを示す特徴ベクトルの成分をＣｂ10（０）、５０％となるポイントを示す特徴ベクトルの成分ををＣｂ50（０）、９０％となるポイントを示す特徴ベクトルの成分をＣｂ90（０）と各々記載し、他方の色差信号Ｃｒについても同様に、Ｃｒ10（０）、Ｃｒ50（０）、Ｃｒ90（０）と記載する。又、輝度信号Ｙについても、同様に、Ｙ10（０）、Ｙ50（０）、Ｙ90（０）と記載する。以下、その他の領域１〜領域１５についても、同様に示すものとする。このとき、領域別判定部３０２は、領域０〜１５のそれぞれについて、現在のフレームと過去のフレームの輝度信号Ｙと２つの色差信号Ｃｂ及びＣｒの画素数の１０％、５０％、及び９０％となるポイントを示す値の差分を計算し、領域別判定値ｂ（ｎ）（ｎ＝０，・・・，１５）を求める。領域別判定値ｂ（ｎ）は、例えば、現在のフレーム及び過去のフレームの同一領域のＹ、Ｃｂ、Ｃｒそれぞれの１０％、５０％、及び９０％となるポイントを示す各値の絶対値差分を算出して、【００８０】
【数８】
2009031398.tif 000010
【００８１】
として、定められる。【００８２】
又、全ての領域に含まれる特徴ベクトルは、全領域判定部３０３に入力される。全領域判定部３０３は、現在のフレームと過去のフレームとの全画面での差分を計算し、全領域判定値ｃを求める。全領域判定値ｃは、輝度信号Ｙ並びに色差信号Ｃｂ及びＣｒのそれぞれについて、ｃy、ｃcb、ｃcrとして求められる。例えば、現在のフレームと過去のフレームの、同一領域の輝度信号Ｙ並びに色差信号Ｃｂ及びＣｒのそれぞれの１０％、５０％、及び９０％となるポイントを示す各値の絶対値差分を計算し、それらの全画面分の和を算出して、【００８３】
【数９】
2009031398.tif 000011
【００８４】
として、定められる。【００８５】
次に、距離算出部３０４の動作について記載する。中央領域判定部３０１から出力された中央領域判定値ａcb、ａcrと、領域別判定部３０２から出力された領域別判定値ｂ（ｎ）（ｎ＝０，・・・，１５）と、全領域判定部３０３から出力されたＹ、Ｃｂ、Ｃｒ別の全領域判定値ｃy、ｃcb、ｃcrは、距離算出部３０４に入力される。そして、距離算出部３０４は、予め定められた距離関数ｄｉｓｔ（ａ，ｂ，ｃ）により、それぞれの出力から、現在のフレームと過去のフレームとの類似度を示す、「距離」を算出する。以下、距離関数ｄｉｓｔ（ａ，ｂ，ｃ）による距離算出の内容について記載する。【００８６】
中央領域判定部３０１から出力された中央領域判定値ａcb、ａcrは、現在のフレームと過去のフレームの画面中央部の色の差を示すものである。画面中央部分は、フレームの主な特徴を示す情報が多く含まれる重要部分である可能性が高いので、中央領域判定値ａcb、ａcrの値が小さければ、現在のフレームと過去のフレームとの類似度が高い、即ち、両フレームが同じチャプタに属する可能性が高くなる。尚、画像の大まかな特徴を把握するためには、色の特徴での判別が有効であるため、ここでは２つの色差信号Ｃｂ、Ｃｒの特徴ベクトルを用いて、中央領域判定値ａcb、ａcrを求めている。更に、距離算出部３０４は、中央領域判定値ａcb、ａcrを用いて、例えば、ａcbとａcrの和、或いは、ａcb、ａcrそれぞれの二乗の和を算出して、中央領域判定による、現在のフレームと過去のフレームとの類似度を示す距離ａresを求める。現在のフレームと過去のフレームとの中央領域の色が一致する場合には、距離ａresは０となる。【００８７】
次に、領域別判定部３０２から出力された領域別判定値ｂ（ｎ）（ｎ＝０，・・・，１５）は、現在のフレームと過去のフレームとの領域毎の輝度信号Ｙ，色差信号Ｃｂ，Ｃｒの累積ヒストグラムの特徴の差を示すものである。領域別判定値ｂ（ｎ）の値が小さければ、当該領域別判定値ｂ（ｎ）を与える領域が、現在のフレームと過去のフレームとで似ている、或いは、一致している可能性が高くなる。距離算出部３０４は、領域一致基準値ｂthre1を定め、領域別判定値ｂ（ｎ）＜領域一致基準値ｂthre1ならば、現在のフレームの領域と過去のフレームの同一領域とは一致する可能性が高いと判定する。【００８８】
更に、距離算出部３０４は、現在のフレームの領域と過去のフレームの同一領域との間で一致する可能性が高いと判定される領域の個数を計数した値を領域一致数ｂcountとして求め、領域別判定による、現在のフレームと過去のフレームとの類似度を示す距離ｂresをｂres＝（画面内の全ての領域数−ｂcount）として求める。領域一致数ｂcountが画面内の全領域の個数となる場合、即ち、画面内の全ての領域が現在のフレームと過去のフレームとで一致する場合には、距離ｂresは０となる。【００８９】
次に、全領域判定部３０３から出力された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ別の全領域判定値ｃy、ｃcb、ｃcrは、Ｙ、Ｃｂ、Ｃｒ別に、現在のフレームと過去のフレームとの全画面に渡る特徴の差を示すものである。距離算出部３０４は、全領域判定値ｃy、ｃcb、ｃcrを用いて、距離ｃresを求める。尚、ここまでは、全領域判定値として、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ、それぞれの全領域判定値ｃy、ｃcb、ｃcrを求めてきたが、以下では、全領域判定値として、輝度信号の特徴を示す、ｃyのみを採用するものとして説明を続ける。この場合、全領域判定値ｃyを、現在のフレームと過去のフレームとの類似度を示す距離ｃresとする。現在のフレームと過去のフレームとの全領域の輝度信号Ｙの特徴ベクトルが一致する場合には、距離ｃresは０となる。【００９０】
この全領域判定による距離ｃresが小さければ、全画面に渡る輝度差が小さいので、現在のフレームと過去のフレームとが似ている可能性が高くなる。逆に、全領域判定による距離ｃresの値が極端に大きければ、中央領域判定による距離ａres及び領域別判定による距離ｂresが小さく、現在のフレームと過去のフレームとが似ていると判定されていても、両フレームは同じチャプタに属する可能性が低いと、比較部３０５は判定する。つまり、中央領域による距離ａresが小さく、中央領域の色が似ていても、画面の輝度差が極端に大きいときには、現在のフレームは過去のフレームとは異なる内容を示している可能性が高いので、両フレームは同じチャプタに属さないと、比較部３０５は判定する。【００９１】
上述した様に、距離算出部３０４は、中央領域判定部３０１から出力された中央領域判定値ａcb、ａcrと、領域別判定部３０２から出力された領域別判定値ｂ（ｎ）（ｎ＝０，・・・，１５）と、距離算出部３０４が自ら求めた領域一致数ｂcountと、全領域判定部３０３から出力されたＹ、Ｃｂ、Ｃｒ別の全領域判定値ｃy、ｃcb、ｃcrの内でｃyとを用いて、現在のフレームと過去のフレームとの類似度を示す距離ａres、ｂres、ｃresを算出する。【００９２】
次に、距離算出部３０４で算出された、距離ａres、ｂres、ｃresは比較部３０５に入力される。比較部３０５は、距離関数ｄｉｓｔ（ａ，ｂ，ｃ）により、３つの値の関係から、現在のフレームと過去のフレームとが同じチャプタに属するか否かを判定する。ここで、距離関数ｄｉｓｔ（ａ，ｂ，ｃ）は、３つの値ａres、ｂres、ｃresの重要度により、それぞれの値に重み付けＷ（ａ）、Ｗ（ｂ）、Ｗ（ｃ）を乗じて、例えば、【００９３】
【数１０】
2009031398.tif 000012
【００９４】
として、定められる。尚、各重み付けＷ（ａ）、Ｗ（ｂ）、Ｗ（ｃ）は、予め比較部３０５に設定されている。【００９５】
距離関数ｄｉｓｔ（ａ，ｂ，ｃ）に於ける重み付けＷ（ａ）、Ｗ（ｂ）、Ｗ（ｃ）の設定に関しては、画面中央部の色情報を示す、中央領域判定による距離ａresはフレームの類似性を最も確実に表すものとして、距離ａresの値の重み付けＷ（ａ）を大きく設定する、或いは、領域別判定による距離ｂresが小さく、現在のフレームと過去のフレームとで一致する同一領域の面積が全画面の面積に対して比率が高い場合には、現在のフレームと過去のフレームとは類似の可能性が高いとして、領域別判定による距離ｂresの重み付けＷ（ｂ）を大きく設定する。【００９６】
比較部３０５は、距離算出部３０４から出力される距離ａres、ｂres、ｃresに対して上記の様に重み付けＷ（ａ）、Ｗ（ｂ）、Ｗ（ｃ）を乗ずることにより、距離関数ｄｉｓｔ（ａ，ｂ，ｃ）を生成した上で、距離関数ｄｉｓｔ（ａ，ｂ，ｃ）を、その保有する所定値βと比較する。そして、ｉ）距離関数ｄｉｓｔ（ａ，ｂ，ｃ）が所定値β以下のときには、比較部３０５は、現フレームが現在のチャプタに属することを示す判定信号を出力し、ｉｉ）距離関数ｄｉｓｔ（ａ，ｂ，ｃ）が所定値βよりも大きいときには、比較部３０５は、現フレームが現在のチャプタに属さないことを示す判定信号を出力する。【００９７】
以上の様に、判定部７ｂは、画面の中央領域での類似度の判定と、領域別の類似度判定と、全画面での類似度判定とを行い、それぞれの判定結果により算出された距離に重み付けを施して成る距離関数ｄｉｓｔ（ａ，ｂ，ｃ）が所定値βよりも大きいか否かの判定により、現フレームが過去のフレームと同じチャプタに属するか否かを判定する。【００９８】
従って、本実施の形態によれば、次の利点が得られる。即ち、画面の中央部分にフレームの主な特徴を示す重要部分が含まれる場合には、画面の中央領域での類似度の判定結果により、正しく類似度を判定することが出来る。又、重要部分が画面の中央領域の外に存在する場合にも、領域別での類似度判定結果により、正しく類似度を判定することが出来る。又、全画面での輝度の変化の類似度判定の条件を加えることにより、より適切な類似度の判定を行うことが出来る。【００９９】
判定部７ｂが、現フレームが過去のフレームと同じチャプタに属さないと判定した場合には、現フレームの位置を示す情報を、新たなチャプタの開始点として、ハードディスクドライブ等の記録装置より成るチャプタ開始点記録部９に記録する。【０１００】
既述の通り、図２は、入力映像信号がチャプタ分割された状態を示す図である。図２は、画像ｋのフレームに於いて、最初の山に関する話題（チャプタＰ）から、次の学校に関する話題（チャプタＰ＋１）に、チャプタが変わっている様子を示す。【０１０１】
尚、チャプタ開始点記録部９が録画部３と同じ媒体を共有する様に、チャプタ開始点記録部９を構成しても良い。【０１０２】
上述に於いては、図１４（ｄ）の様にフレームを領域分割する場合について、図１３の本装置の動作の記載を行なったが、図１４（ａ）、図１４（ｂ）、図１４（ｃ）、及び図１４（ｅ）の何れかの様に、フレームを領域分割することとしても良い。この内で、特に、図１４（ｂ）又は図１４（ｅ）の様に、フレームが画面中央部とその周辺部とに領域分割されている場合には、判定部７ｂに於ける距離関数を、現フレームの中央部の特徴と過去フレームの周辺部の特徴との相関、或いは、その逆に、現フレームの周辺部の特徴と過去フレームの中央部の特徴との相関を含む様に構成しても良い。この様な構成は、現在よりも前の過去フレームの周辺部が、現在のフレームに於いてはその中央部に位置する場合、或いは、その逆の場合に対処可能とするものであり、この様な構成を採用することにより、テレビ放送用のビデオカメラのパンニング、又は、主要被写体の移動に対応することが可能となる。【０１０３】
又、上述に於いては、入力映像信号が輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒとから成る場合について記載している。しかしながら、図１３の特徴抽出部６は、輝度信号Ｙのヒストグラムのみから特徴ベクトルを求めることとしても良いし、或いは、２つの色差信号Ｃｂ、Ｃｒのヒストグラムのみから特徴ベクトルを求めることとしても良い。又、入力映像信号は、Ｒ、Ｇ、Ｂ信号より成ることとしても良い。【０１０４】
又、上述に於いては、中央領域判定と、領域別判定と、全領域判定との３つを組み合わせる場合について記載しているが、この構成に限られるものではなく、中央領域判定に対して、外周領域判定を組み合わせることとしても良い。【０１０５】
又、上述に於いては、中央領域判定に於いて、特徴ベクトルの内、２つの色差信号Ｃｂ、Ｃｒの中央値にあたる成分をを用いているが、この構成に限られるものではなく、これに代えて、中央領域判定に於いて、２つの色差信号Ｃｂ、Ｃｒの累積ポイント１０％及び９０％を示す特徴ベクトルを用いても良いし、或いは、輝度信号の特徴ベクトルを用いても良い。【０１０６】
又、上述に於いては、領域別判定に、輝度信号Ｙ及び２つの色差信号Ｃｂ、Ｃｒのそれぞれの累積ポイント１０％、５０％、及び９０％を示す特徴ベクトルを用いているが、これに限られるものではなく、それに代えて、輝度信号Ｙのみ、或いは、２つの色差信号Ｃｂ、Ｃｒのみの特徴ベクトルで以って判定しても良い。【０１０７】
又、上述に於いては、累積ヒストグラム取得ポイントを、累積画素数が、全画素数の１０％、５０％、及び９０％となる３箇所で求めているが、これに限られるものではなく、その他の割合、例えば、２５％、５０％、及び７５％の割合にしても良く、更には、累積ヒストグラム取得ポイントを求める箇所の数を増やす様にしても良い。【０１０８】
又、上述に於いては、全領域判定に、輝度信号Ｙの全領域の累積ポイント１０％、５０％、及び９０％を示す特徴ベクトルを用いて条件を導いているが、これに限られるものではなく、２つの色差信号Ｃｂ、Ｃｒの特徴ベクトルを用いて条件を導いても良い。【０１０９】
又、上述に於いては、中央領域判定による距離ａres、領域別判定による距離ｂres、及び全領域判定による距離ｃresを求める際に、数７、数８及び数９に示す様に、特徴ベクトルの差分の絶対値を計算することにより、中央領域判定値、領域別判定値及び全領域判定値を求めているが、算出方法はこれに限られるものではなく、特徴ベクトルの差分の二乗を計算して中央領域判定値、領域別判定値及び全領域判定値を求めても良いし、又は、偏差値を計算して中央領域判定値、領域別判定値及び全領域判定値を求めても良い。【０１１０】
又、上述に於いては、距離関数ｄｉｓｔ（ａ，ｂ，ｃ）を数１０に示す様に求めることとしているが、距離関数ｄｉｓｔ（ａ，ｂ，ｃ）の算出方法はこれに限られるものではなく、各距離ａres、ｂres、ｃresの値の二乗の値に重み付けを行うことで距離関数ｄｉｓｔ（ａ，ｂ，ｃ）を求めることとしても良い。【０１１１】
以上の様に、実施の形態２によれば、各フレームを領域に分割し、画面の中央領域での類似度の判定と、領域別の類似度判定と、全画面での類似度判定とを行い、それぞれの判定結果を組み合わせて、現フレームが過去のフレームと同じチャプタに属するか否かを判定するので、画面の中央部分にフレームの主な特徴を示す重要部分が含まれる場合は画面の中央領域での類似度の判定結果により、正しく類似度を判定することが出来、又、重要部分が画面の中央領域の外に存在する場合にも、領域別での類似度判定結果により、正しく類似度を判定することが出来る。加えて、全画面での輝度の変化の類似度判定の条件を加えることにより、より適切な判定を行うことが出来る。【０１１２】
又、本実施の形態によれば、各フレームの画面構成の特徴からチャプタの分割点を抽出するため、シーンチェンジがあっても、おおよその被写体の特徴が同等であれば、チャプタとして入力映像信号を分割せず、被写体が大きく変化したときにのみ入力映像信号をチャプタとして分割することが出来る。【０１１３】
尚、本実施の形態に於いては、領域分割部５は、デコーダ４から出力される映像信号の各フレームを領域分割することとしているが、デコーダ４から出力される映像信号がインターレース信号の場合には、領域分割部５がフィールド単位で領域分割を行う様に映像信号記録装置を構成しても良い。【０１１４】
又、本実施の形態に於いても、特徴抽出部６が領域分割部５から出力される各領域の映像信号に対して領域毎に画素値の統計量を求めて画像の特徴ベクトルを得ることに代えて、実施の形態１の図５〜図１２の各例とその記載の様に、分割された複数の領域の内で少なくとも１つの領域に関して画素値の統計量を求めて画像の特徴ベクトルを得ることとしても良い。従って、現在のフレームの特徴ベクトルは、少なくとも１つの領域を含み且つ分割された複数の領域の一部分である第１領域に含まれる各領域について算出される画素値の統計量に基づき決定されている一方、過去のフレームの特徴ベクトルは、少なくとも１つの領域を含み且つ分割された複数の領域の一部分である第２領域に含まれる各領域について算出される画素値の統計量に基づき決定されており、上記第１領域と上記第２領域とは互いに一致しない領域として構成される。【０１１５】
（実施の形態３）
図１６は、この発明の実施の形態３に係る映像信号記録装置の構成を示すブロック図である。図１３において、実施の形態１の図１の構成要素と同一部分には同一参照符号が付されており、それらの記載は省略される。図１６に於いて、特徴的な構成要素は次の通りである。即ち、領域分割部５ａは、デコーダ４から出力される、チャプタ毎に複数のフレームが連なる映像信号の内で、抽出された任意のフレーム（以下の「現在のフレーム」に該当。）を、複数の領域に分割する。又、特徴抽出部６ａは、領域分割部５ａから出力される現在のフレームの各領域毎に画素値の統計量を算出し、算出した統計量に基づき、現在のフレームの特徴ベクトルを決定する。又、判定部７ａは、特徴抽出部６ａから出力される現在のフレームの特徴ベクトルとメモリ８ａから出力される「現在のチャプタ」の特徴ベクトルに基づいて、現在のフレームの画像が過去の画像と同じ現在のチャプタに属するか否かを判定する。又、メモリ８ａは、判定部７ａから出力される現在のチャプタの特徴ベクトルを記憶する。【０１１６】
尚、図１６中の領域分割部５ａ、特徴抽出部６ａ及び判定部７ａは、ハードウェア（回路）で構成される他に、マイクロコンピュータに於いてソフトウェアによって実現されても良い。【０１１７】
図１８は、判定部７ａの内部構成を示すブロック図である。図１８において、各参照符号は、次の構成要素を示す。即ち、距離算出部５０１は、特徴抽出部６から出力される現在のフレームの特徴ベクトルと、メモリ８ａから出力される現在のチャプタの特徴ベクトルとの距離関数を求める。又、比較部５０２は、距離算出部５０１から出力される距離関数を所定値βと比較する。又、特徴ベクトル更新部５０３は、比較部５０２の結果に基づき、現在のフレームの特徴ベクトルと現在のチャプタの特徴ベクトルとから、現在のチャプタの特徴ベクトルを再度決定することにより特徴ベクトルの更新を行う。【０１１８】
次に、図１６、図１７及び図１８に基づき、本映像信号記録装置の動作について記載する。ここで、図１７は、実施の形態３において、映像信号からチャプタ分割点を得る動作手順を示すフローチャートである。図１７に於いて、図３と同一参照符号のステップは、対応する実施の形態１と同一部分のステップを示す。実施の形態３の映像信号記録装置は、判定部７ａ及びメモリ８ａの動作の点に於いて、実施の形態１の映像信号記録装置と異なる。尚、アンテナ１から特徴抽出部６ａまでの動作は実施の形態１と同様であるので、それらの記載を省略する。【０１１９】
まず、図１８に基づいて、判定部７ａの動作を記載する。特徴抽出部６ａから出力される現在のフレームの特徴ベクトルをＶ（ｎ）（ｎ＝０，・・・，Ｎ−１）、メモリ８ａに記憶された現在のチャプタの特徴ベクトルをＶ'（ｎ）（ｎ＝０，・・・，Ｎ−１）と定義すると、実施の形態１の判定部７と同様に、距離算出部５０１は、特徴ベクトルＶ（ｎ）から特徴ベクトルＶ'（ｎ）に対する距離関数ｄｉｓｔ（Ｖ，Ｖ'）を定める（図１７のステップＳ３ａ）。【０１２０】
次に、比較部５０２は、距離算出部５０１から出力される距離関数ｄｉｓｔ（Ｖ，Ｖ'）を所定値βと比較し、距離関数ｄｉｓｔ（Ｖ，Ｖ'）が所定値β以下のときには、現在のフレームが現在のチャプタに属することを示す判定信号を出力し、逆に距離関数ｄｉｓｔ（Ｖ，Ｖ'）が所定値βより大きいときには、現在のフレームが現在のチャプタに属さないことを示す判定信号を出力する（図１７のステップＳ４）。【０１２１】
比較部５０２の出力が「現在のフレームが現在のチャプタに属さないことを示す判定信号」である場合には、特徴ベクトル更新部５０３は、現在のフレームの特徴ベクトルＶ（ｎ）を、新しいチャプタの特徴ベクトルとして、メモリ８ａに記憶する（図１７のステップＳ１３０１）。そして、比較部５０２は、現在のフレームの位置を示す情報を、新たなチャプタの開始点として、ハードディスクドライブ等のチャプタ開始点記録部９に記録する（図１７のステップＳ５）。【０１２２】
他方、比較部５０２の出力が「現在のフレームが現在のチャプタに属することを示す判定信号」である場合には、特徴ベクトル更新部５０３は、現在のフレームの特徴ベクトルＶ（ｎ）と、現在のチャプタの特徴ベクトルＶ'（ｎ）とから、現在のチャプタの特徴ベクトルを更新する（図１７のステップＳ１３０２）。例えば、
Ｖ'（ｎ）＝（Ｖ（ｎ）＋Ｖ'（ｎ））／２，  ｎ＝０，・・・，Ｎ−１
として、特徴ベクトル更新部５０３は、現在のチャプタの特徴ベクトルＶ'（ｎ）を更新する。【０１２３】
あるいは、特徴ベクトル更新部５０３は、現在のチャプタに属するフレーム数をカウントし、現在のチャプタに属するフレーム数がＴであった場合に、
Ｖ'（ｎ）＝（Ｖ（ｎ）＋Ｖ'（ｎ）×Ｔ）／（Ｔ＋１），  ｎ＝０，・・・，Ｎ−１
の式より、現在のチャプタの特徴ベクトルＶ'（ｎ）を更新してもよい。【０１２４】
上記の更新後に、特徴ベクトル更新部５０３は、更新された現在のチャプタの特徴ベクトルＶ'（ｎ）を、現在のチャプタの特徴ベクトルＶ'（ｎ）として、メモリ８ａに記憶する（図１７のステップＳ１３０３）。【０１２５】
以上の様に、実施の形態３によれば、本装置は、現在のチャプタの特徴ベクトルを逐次更新するシステムを備えるので、現在のフレームの特徴ベクトルが過去の１フレームの特徴ベクトルと比較されるのではなくて、同じチャプタに属すると判定された過去の複数フレームの特徴ベクトルから現在のチャプタの特徴ベクトルが更新され、現在のフレームの特徴ベクトルと更新後の現在のチャプタの特徴ベクトルＶ'（ｎ）とが比較されるので、より安定した判定が可能となる。【０１２６】
なお、フレームの分割方法、特徴ベクトルの設定方法、距離関数又は相関関数の設定方法及びチャプタの判定方法については、実施の形態１で述べた方法を適応可能である。【０１２７】
（実施の形態３の変形例）
図１９は、この発明の実施の形態３の変形例に係る判定部７ａＡの構成を示すブロック図であり、実施の形態２に於ける判定部７ｂの構成を基に図１６の判定部７ａの構成を修正した場合に相当している。【０１２８】
（実施の形態４）
本実施の形態は、実施の形態１又は２の改良に関するものである。尚、本実施の形態を実施の形態３に適用しても良い。【０１２９】
図２０は、本発明の本実施の形態に係る映像信号記録装置を示すブロック図であって、図１の映像信号記録装置と比較して相違する点は、図２０の本装置が構成要素６０１，６０２を備える点にある。その他の構成要素は、図１の対応構成要素と同一である。即ち、シーンチェンジ検出部６０１は、デコーダ４から出力される映像信号のシーンチェンジを検出する機能を呈する部分であり、切替器６０２は、シーンチェンジ検出部６０１の判定結果に従って、デコーダ４から出力される映像信号を出力するか否かを切り替える機能を呈するスイッチである。【０１３０】
次に、図２０の本装置の動作について記載する。既述の通り、図２０の映像信号記録装置は、シーンチェンジ検出部６０１を備えており、シーンチェンジ検出部６０１の検出結果に応じて、シーンチェンジの画像の映像信号のみを領域分割部５に入力する様に、切替器６０２を制御する。この点が、実施の形態１とは異なる。従って、アンテナ１からチャプタ開始点記録部９までの各構成要素の動作は実施の形態１の場合と同様であるので、それらの構成要素の動作の記載を割愛する。【０１３１】
シーンチェンジ検出部６０１は、デコーダ４から出力される映像信号のシーンチェンジを検出する。例えば、シーンチェンジ検出部６０１は、デコーダ４から出力される映像信号の現フレームの画素と前フレームの画素との差分絶対値和を求め、この差分絶対値和が所定値よりも大きいときに、シーンチェンジと判定する。或いは、シーンチェンジ検出部６０１は、現フレームのヒストグラムと、前フレームのヒストグラムとを比較し、ヒストグラムの差が所定値以上のときに、シーンチェンジと判定しても良い。或いは、シーンチェンジ検出部６０１は、チューナ２から出力されるＡＶ信号がＭＰＥＧ−２ストリームである場合には、ＭＰＥＧ−２ビデオストリームをデコードしたときに得られる動きベクトルをシーンチェンジ検出部６０１に入力し、動きベクトルの平均が所定値以上のときに、シーンチェンジと判定しても良い。或いは、シーンチェンジ検出部６０１は、ＭＰＥＧ−２ビデオストリームをデコードしたときに得られるマクロブロック情報をシーンチェンジ検出部６０１に入力し、イントラマクロブロックの個数が所定値以上のときにシーンチェンジと判定しても良い。【０１３２】
切替器６０２は、シーンチェンジ検出部６０１がシーンチェンジと判定したフレームを領域分割部５に入力し、シーンチェンジと判定されなかったフレームを領域分割部５に入力しない様に、デコーダ４より入力したフレームの出力を制御する。従って、領域分割部５、特徴抽出部６、判定部７、メモリ８及びチャプタ開始点記録部９は、シーンチェンジと判定されたフレームに対してのみ動作する。【０１３３】
以上の様に、本実施の形態によれば、シーンチェンジを検出し、シーンチェンジと判定されたフレームのみに対してチャプタ分割点か否かの判定を行うので、本装置の演算量を削減することが出来ると言う効果がある。【０１３４】
なお、フレームの分割方法、特徴ベクトルの設定方法、距離関数や相関関数の設定方法、及びチャプタの判定方法については、実施の形態１で述べた方法を適応可能である。【０１３５】
又、既述した様に、判定部７及びメモリ８を、実施の形態３における判定部７ａ及びメモリ８ａで構成することも可能である。この場合によれば、同じチャプタに属すると判定した過去の複数フレームの特徴ベクトルから現在のチャプタの特徴ベクトルが更新され、現在のフレームの特徴ベクトルと更新後の現在のチャプタの特徴ベクトルとが比較されるので、より安定した判定が可能となる。【０１３６】
（実施の形態５）
本実施の形態は、図２０に例示した実施の形態４の改良に関するものである。【０１３７】
図２１は、本発明の実施の形態５に係る映像信号記録装置の構成を示すブロック図である。図２１に於いて、映像分離部７０１はチューナ２から出力されるＡＶ信号から映像信号を分離する部分である。又、可変長復号部７０２は、映像分離部７０１から出力されるビデオストリームを、チャプタ毎に複数のフレームが連なるＤＣＴ係数に変換する。又、領域分割部５ｂは、ＤＣＴ係数から、現在のフレームを複数の領域に分割する。又、特徴抽出部６ｂは、現在のフレームの分割された複数の領域の内で、少なくとも一つの領域に於ける周波数成分の統計量を算出し、算出した統計量に基づき、現在のフレームの特徴ベクトルを決定する機能を呈する。【０１３８】
次に、図２１の本装置の動作について記載する。図２１の映像信号記録装置は、図２０のデコーダ４の代わりに、映像分離部７０１を用いる点が、実施の形態４と異なる。【０１３９】
先ず、アンテナ１、チューナ２、録画部３の動作は、実施の形態１ないし４の何れかの場合と同様であるので、それらの動作の記載を省略する。チューナ２から出力されるＡＶ信号は、映像分離部７０１に入力される。例えば、デジタル放送信号の場合、チューナ２から出力されるＡＶ信号は、ＭＰＥＧ−２のトランスポートストリームとなっている。そこで、映像分離部７０１は、トランスポートストリームからＭＰＥＧ−２ビデオストリームを分離する。【０１４０】
次に、可変長復号部７０２は、映像分離部７０１から入力されたビデオストリームを可変長復号し、ＤＣＴ係数と付随するマクロブロック情報とに変換する。【０１４１】
シーンチェンジ検出部６０１は、可変長復号部７０２から出力されるＤＣＴ係数と付随するマクロブロック情報とからシーンチェンジを検出する。例えば、シーンチェンジ検出部６０１は、マクロブロック情報から動きベクトルを抽出し、動きベクトルの平均が所定値以上のときに、シーンチェンジと判定する。あるいは、シーンチェンジ検出部６０１は、マクロブロック情報からイントラマクロブロックか否かの情報を抽出し、イントラマクロブロックの個数が所定値以上のときにシーンチェンジと判定しても良い。【０１４２】
切替器６０２は、可変長復号部７０２から出力されるＤＣＴ係数の内で、シーンチェンジ検出部６０１がシーンチェンジと判定したフレームのＤＣＴ係数を領域分割部５ｂに入力し、シーンチェンジと判定されなかったフレームのＤＣＴ係数は、領域分割部５ｂに入力しない様に、領域分割部５ｂへの入力を制御する。【０１４３】
領域分割部５ｂは、入力されたＤＣＴ係数の各フレームを、複数の領域に分割する。例えば、領域分割部５ｂは、ＤＣＴ係数を一旦、マクロブロック単位に分割し、図４（ａ）の各領域毎にマクロブロックのＤＣＴ係数をまとめる。【０１４４】
特徴抽出部６ｂは、領域毎に分割されたＤＣＴ係数から画素値の統計量を求め、画像の特徴ベクトルを算出する。例えば、特徴抽出部６ｂは、領域毎に分割されたＤＣＴ係数からブロック単位の直流成分を抽出し、直流成分のヒストグラムから、特徴ベクトルを算出する。このとき、実施の形態１と同様に、ヒストグラムそのものを特徴ベクトルとしても良いし、又は、ヒストグラムから算出した値を特徴ベクトルとしても良い。【０１４５】
或いは、特徴抽出部６ｂは、ＤＣＴ係数からブロック単位の直流成分と高周波成分を抽出し、両者のヒストグラム又は両者の平均値から、特徴ベクトルを求めても良い。【０１４６】
特徴抽出部６ｂから出力される特徴ベクトルは、判定部７及びメモリ８に入力される。判定部７、メモリ８、及び、チャプタ開始点記録部９の動作は、実施の形態１と同様であるので、それらの構成要素の動作の記載を省略する。【０１４７】
本実施の形態は以上の様に構成されているので、入力映像信号がＭＰＥＧ−２等で符号化されたビデオストリームである場合に、ビデオストリームを映像信号にまでデコードするのでは無く、途中のＤＣＴ係数までデコーダした信号内の情報を利用して、シーンチェンジ検出及び特徴抽出を行うことが出来るので、本装置の演算量又は回路規模を削減することが出来ると言う利点が得られる。【０１４８】
尚、本実施の形態に於ける判定部７及びメモリ８を、それぞれ、実施の形態２に於ける判定部７ｂ及びメモリ８に置き換えても良い。【０１４９】
更には、本実施の形態に於ける判定部７及びメモリ８を、それぞれ、実施の形態３に於ける判定部７ａ及びメモリ８ａに置き換えても良い。この変形例の場合によれば、同じチャプタに属すると判定した過去の複数フレームの特徴ベクトルから現在のチャプタの特徴ベクトルを更新し、現在のフレームの特徴ベクトルと更新後の現在のチャプタの特徴ベクトルとを比較するので、より安定した判定が可能となる。【０１５０】
（実施の形態６）
既述の通り、実施の形態１〜５は、動画像を入力画像として、各画像の特徴を特徴ベクトルとして抽出し、前後の画像間、或いは、シーンチェンジ毎の画像間での特徴ベクトルの距離により類似度を判定し、チャプタ分割を行う点に、その特徴を具備している。【０１５１】
これに対して、本実施の形態は、静止画像を入力画像として、各画像の特徴を特徴ベクトルとして抽出し、この画像がどの様な内容の画像であるかを判定する点に、その特徴点を有する。より具体的には、本実施の形態は、画像の特徴を、輝度及び色の特徴から求めることにより、例えば、デジタルカメラによる撮影写真の静止画等の様に、撮影条件により（例えば、逆光又はハイコントラストの影響により）、撮影者の意図通りに得られなかった画像に対して、撮影者の意図に近づく様に画質補正を行い、プリンタ等の画像出力装置で画像を出力する際に、撮影意図に近い高画質なプリント画像を得るために、必要な補正の種類と補正の度合いとを指針として設定する点に、その特徴を具備する。【０１５２】
ここで、図２２は、本発明の本実施の形態に係る画像処理装置の構成例を示すブロック図である。【０１５３】
図２２に於いて、各参照符号は、次の構成要素を示す。即ち、５は入力画像を複数の領域に分割する領域分割部、６は、領域分割部５から出力される領域毎に画素値の統計量を求めることで、画像の特徴ベクトルを得る特徴抽出部である。又、画像判定部１０は、特徴抽出部６から出力される特徴ベクトルと、同部１０自体が保有する、予めサンプルとして定められた画像群に関する特徴ベクトルとの比較処理に基づいて、入力画像がどの様な内容の画像であるかを判定する部分である。又、画像処理部１１は、画像判定部１０から出力される画像判定信号に基づいて、入力画像の内容により異なる画像処理を施す部分である。画像処理部１１の出力信号は、プリンタ等の画像出力装置（図示せず。）に出力される。【０１５４】
図２２に於いて、図１又は図１３と同一参照符号の構成要素は、実施の形態１又は２の対応構成要素と同一部分を示す。【０１５５】
尚、図２２中の領域分割部５、特徴抽出部６、画像判定部１０及び画像処理部１１の各々は、ハードウェア（回路）で構成される他、ソフトウェアによる制御の下でマイクロコンピュータによって実現されても良い。【０１５６】
以上の通り、本実施の形態に係る画像処理装置が実施の形態１又は２に係る映像信号記録装置（図１又は図１３）と構成上相違する点は、（１）入力画像が動画像でなくて静止画像である点と、（２）画像間の距離を判定する判定部７に変わり、入力画像の内容を判定するための画像判定部１０と、画像判定部１０により判定される入力画像の内容により、異なる画像処理を施す画像処理部１１とが構成要素として加わる点とにある。【０１５７】
次に、図２２の装置の動作について記載する。但し、領域分割部５及び特徴抽出部６の各々の動作は実施の形態１又は２の対応する構成要素の動作と同様であるので、それらの詳細な動作の記載はここでは省略する。先ず、領域分割部５は、入力画像を複数の領域に分割し、特徴抽出部６は、それぞれの領域毎に画素値の統計量を求め、それを画像の「特徴ベクトル」として画像判定部１０へ出力する。次に、画像判定部１０は、特徴抽出部６から出力された画像の「特徴ベクトル」を用いて、入力画像がどの様な内容の画像であるかを判定し、画像処理部１１は、画像判定部１０から出力される画像判定信号に基づいて、入力画像の内容により異なる画像処理を施す。以下、実施の形態２と同様に、本実施の形態に於いても、特徴抽出部６が特徴として抽出する信号を、輝度信号Ｙと２つの色差信号Ｃｂ，Ｃｒとする場合について記載する。【０１５８】
図２３は、図２２の画像判定部１０の構成を示すブロック図である。図２３に於いて、輝度特徴判定部１０１は、特徴抽出部６により抽出された特徴ベクトルの内で、輝度信号の特徴ベクトルを用いて、入力画像がどの様な輝度の特徴を持つかを判定する。又、色特徴判定部１０２は、特徴抽出部６により抽出された特徴ベクトルの内で、色差信号の特徴ベクトルを用いて、入力画像がどの様な色の特徴を持つかを判定する。更に、画面構成特徴判定部１０３は、特徴抽出部６により抽出された輝度信号及び色差信号の各々の特徴ベクトルが、画面構成上、どの様な特徴を持つかを判定する。そして、輝度特徴判定部１０１、色特徴判定部１０２及び画面構成特徴判定部１０３の各判定結果は、判定結果合成部１０４に入力される。判定結果合成部１０４は、入力画像の輝度信号の特徴による判定結果、色差信号の特徴による判定結果、及び画面構成上の特徴による判定結果を合成して、入力画像がどの様な内容の画像であるかを判定し、その判定結果を、画像判定信号として、図２２の画像処理部１１へと出力する。【０１５９】
次に、図２３の画像判定部１０の各部の動作について、順次に記載する。【０１６０】
輝度特徴判定部１０１は、輝度信号の高低又は分布等の特徴により、入力画像が明るい画像であるか、それとも暗い画像であるか、或いは、入力画像に於いて明るい部分が偏っているか、それとも明るい部分が満遍なく広がっているか等の入力画像の状況判断を行い、当該状況判断に応じて、入力画像が、逆光又は順光の何れの状況の下で撮影された画像であるかを判定し、更には、光源の状態等を判定することで、撮影が室内で行われたか、撮影が屋外で行われたか、或いは、撮影された画像が夜景を表示する画像であるか等の判定を行う。より具体的には、輝度特徴判定部１０１は、サンプル画像群用の特徴ベクトルとして予め定められた、逆光状況の下で撮影された一例の画像の特徴ベクトル、順光状況の下で撮影された一例の画像の特徴ベクトル、室内で撮影された一例の画像の特徴ベクトル、屋外で撮影された一例の画像の特徴ベクトル、及び、夜景を表示する一例の画像の特徴ベクトル等を保有しており、これらのサンプル画像群用の特徴ベクトルと、特徴抽出部６より受信した輝度信号の特徴ベクトルとの比較処理を通じて、入力画像が予め定められたサンプル画像群の内の何れのサンプル画像と類似しているかを判定する。【０１６１】
又、色特徴判定部１０２は、色差信号の特徴により、入力画像は赤色を多く含む画像であるか、入力画像は緑色を多く含む画像であるか、又は、入力画像は青色を多く含む画像であるか等の入力画像の状況判断を行うことで、入力画像は空の青に近い画像か、入力画像は海の青に近い画像か、入力画像は山の緑に近い画像か、等の判定をする。より具体的には、色特徴判定部１０２は、サンプル画像群用の特徴ベクトルとして予め定められた、空の青を表示する一例の画像の特徴ベクトル、海の青を表示する一例の画像の特徴ベクトル、及び、山の緑を表示する一例の画像の特徴ベクトル等を保有しており、これらのサンプル画像群用の特徴ベクトルと、特徴抽出部６より受信した色差信号の特徴ベクトルとの比較処理を通じて、入力画像が予め定められたサンプル画像群の内の何れのサンプル画像と類似しているかを判定する。【０１６２】
又、画面構成特徴部１０３は、輝度信号及び色差信号の各々の画面上での分布位置等により、入力画像は緑を多く含む画像であっても、それは森を表示する画像か、それとも一本の木を表示する画像であるかという様に、遠景と近景とを区別する等、画面構成上の特徴を用いた判定を実行する。より具体的には、画面構成特徴部１０３は、サンプル画像群用の特徴ベクトルとして予め定められた、遠景の一例を表す画像の特徴ベクトル及び近景の一例を表す画像の特徴ベクトル等を保有しており、これらのサンプル画像群用の特徴ベクトルと、輝度信号及び色差信号の各々の特徴ベクトルとの比較処理を通じて、入力画像が予め定められたサンプル画像群の内の何れのサンプル画像と類似しているかを判定する。【０１６３】
以上の輝度特徴判定部１０１、色特徴判定部１０２及び画面構成特徴判定部１０３の各々の判定結果を基にして、判定結果合成部１０４は、入力画像がどの様な内容の画像であるかを判定する。この判定の結果として、判定結果合成部１０４は、例えば、入力画像を「海」、「山」、「空」等のシーンに分類することが出来、また、「逆光」、「順光」等の光の状態の区別を行うことが出来る。この判定の結果である、入力画像のシーン分類、及び、「逆光」又は「順光」等の入力画像の内容を示す画像判定信号に基づいて、図２２の画像処理部１１は、それぞれの入力画像に適した画像処理を施す。【０１６４】
画像処理部１１は、画像判定部１０より出力される画像判定信号の判定結果に基づいて、入力画像の内容に適した画像処理を行う。ここで、画像処理部１１に於いて行われる画像処理の内容は、逆光状態、ハイコントラスト等を補正するための階調補正、人物の肌を美しく見せるための美肌補正、又は、人が好ましいと感じる記憶色を再現するための色変換補正等である。【０１６５】
以上の様に、本実施の形態によれば、静止画像である入力画像を複数の領域に分割し、領域毎に輝度信号及び色差信号のそれぞれに対して画素値の統計量を求め、この統計量を基にして、輝度信号の特徴、色差信号の特徴、及び画面構成上の特徴を求めるので、光源の特徴、色の特徴、及び画面構成の特徴の組み合わせで入力画像の特徴を捉えて、入力画像の内容の特徴を適切に判定することが出来、この判定結果を用いることにより、最適な画像処理を行うことが出来る。従って、本実施の形態をプリンタ等の画像出力装置に適用すれば、デジタルカメラによる撮影写真等の様に、撮影条件により（例えば、逆光又はハイコントラストの影響により）、撮影者の意図通りに得られなかった画像に対しても、画像の内容の特徴を適切に捉え、撮影者の撮影意図に近づける画質補正を行うために必要な補正の種類と補正の度合いとを設定するための指針を得て、適切な画像処理を行うことが出来るので、プリンタ等の出力に於いて、高画質な画像を得ることが出来る。【０１６６】
尚、上述に於いては、画像の特徴を抽出する信号として、輝度信号と２つの色差信号Ｃｂ，Ｃｒによる表色系とを用いる場合について記載しているが、本実施の形態はこれに限られるものではなく、画像の特徴を抽出する信号としてＲＧＢ表色系を用いても良いし、或いは、ＨＳＶ表色系（Ｈ（Ｈｕｅ），Ｓ（Ｓａｔｕｒａｔｉｏｎ），Ｖ（Ｖａｌｕｅ））を画像の特徴を抽出する信号として用いても良い。又、これらの複数の表色系を用いて入力静止画像の各特徴を抽出し、これらの特徴を組み合わせた条件により画像判定を行うことで、より適切な画像判定を行うことが期待出来る。【０１６７】
（付記）
以上、本発明の実施の形態を詳細に開示し記述したが、以上の記述は本発明の適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲から逸脱することの無い範囲内で考えることが可能である。
【産業上の利用可能性】
【０１６８】
この発明は、例えば、ＤＶＤレコーダ、携帯端末電話機又はプリンタを制御する画像処理装置（パーソナルコンピュータ等）に適用して好適である。
【図１】
2009031398.tif 000013
【図２】
2009031398.tif 000014
【図３】
2009031398.tif 000015
【図４】
2009031398.tif 000016
【図５】
2009031398.tif 000017
【図６】
2009031398.tif 000018
【図７】
2009031398.tif 000019
【図８】
2009031398.tif 000020
【図９】
2009031398.tif 000021
【図１０】
2009031398.tif 000022
【図１１】
2009031398.tif 000023
【図１２】
2009031398.tif 000024
【図１３】
2009031398.tif 000025
【図１４】
2009031398.tif 000026
【図１５】
2009031398.tif 000027
【図１６】
2009031398.tif 000028
【図１７】
2009031398.tif 000029
【図１８】
2009031398.tif 000030
【図１９】
2009031398.tif 000031
【図２０】
2009031398.tif 000032
【図２１】
2009031398.tif 000033
【図２２】
2009031398.tif 000034
【図２３】
2009031398.tif 000035
【手続補正書】
【提出日】平成21年8月26日(2009.8.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の主題に係るチャプタ判定装置は、チャプタ毎に複数のフレームが連なる映像信号を受信する入力端を備え、前記映像信号から任意のフレームを抽出して前記任意のフレームを複数の領域に分割する領域分割部と、前記領域分割部の出力端に接続された入力端を備え、前記複数の領域の内で少なくとも１つの領域に於ける画素値の統計量を算出し、算出された前記統計量に基づき、前記任意のフレームの特徴ベクトルを現在のフレームの特徴ベクトルとして決定する特徴抽出部と、前記特徴抽出部の出力端に接続された入力端を備え、前記特徴抽出部より出力される前記現在のフレームの前記特徴ベクトルを、過去のフレームの特徴ベクトルとして記憶する記憶部と、前記特徴抽出部の出力端に接続された第１入力端及び前記記憶部の出力端に接続された第２入力端を備え、前記特徴抽出部より出力された前記現在のフレームの前記特徴ベクトルと、前記記憶部より読み出された前記過去のフレームの前記特徴ベクトルとを比較することにより、前記現在のフレームの画像が前記過去のフレームの画像と類似しているか否かを判定し、前記現在のフレームの前記画像が前記過去のフレームの前記画像と類似していないと判定した場合には、前記現在のフレームが前記過去のフレームとは異なるチャプタに属すると判断して、前記現在のフレームの位置を示す情報を出力する判定部と、前記判定部の出力端に接続された入力端を備え、前記判定部より受信した前記現在のフレームの位置を示す前記情報を、新たなチャプタの開始点として記録するチャプタ開始点記録部とを備え、前記特徴抽出部は、前記任意のフレームの画像の中央に位置し前記任意のフレームの画像より小さい面積を持つ中央領域に於ける画素値の前記統計量を算出するとともに、前記中央領域以外の少なくとも１つの領域に於ける画素値の前記統計量を算出するとを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の主題によれば、入力映像信号の画像を複数の領域に分割し、分割された領域のうち前記入力画像の中央に位置し前記入力画像より小さい面積を持つ中央領域に於ける画素値の統計量と、前記中央領域以外の少なくとも１つの領域に於ける画素値の統計量との算出により画像の特徴ベクトルを決定し、現在の画像の特徴ベクトルと、過去の画像の特徴ベクトルとを比較することにより、画面構成の変化を基に現在の画像と過去の画像とが同じチャプタに属するか否かを判定するので、大まかな画面構成や画面特徴の推移からチャプタ分割を行うことが出来、シーンチェンジよりも少ないチャプタ分割点を自動生成することが出来る。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を複数の領域に分割する領域分割部と、
前記領域分割部の出力端に接続された入力端を備え、前記複数の領域の内で少なくとも１つの領域に於ける画素値の統計量を算出し、算出された前記統計量に基づき、前記入力画像の特徴ベクトルを決定する特徴抽出部と、
前記特徴抽出部の出力端に接続された入力端を備え、前記特徴抽出部より出力される前記特徴ベクトルと、前記特徴抽出部からの前記特徴ベクトルの出力時よりも以前の時点に於いて求められた過去の特徴ベクトルとを比較し、前記入力画像が前記過去の特徴ベクトルに対応する過去の画像と類似した画像であるか否かを判定する判定部とを備え、
前記特徴抽出部は、前記入力画像の中央に位置し前記入力画像より小さい面積を持つ中央領域に於ける画素値の前記統計量を算出するとともに、前記中央領域以外の少なくとも１つの領域に於ける画素値の前記統計量を算出することを特徴とする、
類似画像判別装置。
【請求項２】
チャプタ毎に複数のフレームが連なる映像信号を受信する入力端を備え、前記映像信号から任意のフレームを抽出して前記任意のフレームを複数の領域に分割する領域分割部と、
前記領域分割部の出力端に接続された入力端を備え、前記複数の領域の内で少なくとも１つの領域に於ける画素値の統計量を算出し、算出された前記統計量に基づき、前記任意のフレームの特徴ベクトルを現在のフレームの特徴ベクトルとして決定する特徴抽出部と、
前記特徴抽出部の出力端に接続された入力端を備え、前記特徴抽出部より出力される前記現在のフレームの前記特徴ベクトルを、過去のフレームの特徴ベクトルとして記憶する記憶部と、
前記特徴抽出部の出力端に接続された第１入力端及び前記記憶部の出力端に接続された第２入力端を備え、前記特徴抽出部より出力された前記現在のフレームの前記特徴ベクトルと、前記記憶部より読み出された前記過去のフレームの前記特徴ベクトルとを比較することにより、前記現在のフレームの画像が前記過去のフレームの画像と類似しているか否かを判定し、前記現在のフレームの前記画像が前記過去のフレームの前記画像と類似していないと判定した場合には、前記現在のフレームが前記過去のフレームとは異なるチャプタに属すると判断して、前記現在のフレームの位置を示す情報を出力する判定部と、
前記判定部の出力端に接続された入力端を備え、前記判定部より受信した前記現在のフレームの位置を示す前記情報を、新たなチャプタの開始点として記録するチャプタ開始点記録部とを備え、
前記特徴抽出部は、前記任意のフレームの画像の中央に位置し前記任意のフレームの画像より小さい面積を持つ中央領域に於ける画素値の前記統計量を算出するとともに、前記中央領域以外の少なくとも１つの領域に於ける画素値の前記統計量を算出することを特徴とする、
チャプタ判定装置。
【請求項３】
請求項２記載のチャプタ判定装置であって、
前記映像信号のシーンチェンジを検出するシーンチェンジ検出部と、
前記シーンチェンジ検出部が前記シーンチェンジを検出する結果に応じて、前記映像信号の画像の内でシーンチェンジした画像のみを前記領域分割部の前記入力端に出力する切替部とを更に備えることを特徴とする、
チャプタ判定装置。
【請求項４】
請求項２記載のチャプタ判定装置であって、
前記統計量はヒストグラムであることを特徴とする、
チャプタ判定装置。
【請求項５】
映像信号を記録する装置であって、
請求項２記載のチャプタ判定装置を、前記映像信号をその内容によりチャプタ分割し、チャプタ開始点を記録する装置として備えることを特徴とする、
映像信号記録装置。
【請求項６】
チャプタ毎に複数のフレームが連なる映像信号を受信する入力端を備え、前記映像信号から任意のフレームを抽出して前記任意のフレームを複数の領域に分割する領域分割部と、
前記領域分割部の出力端に接続された入力端を備え、前記複数の領域の内で少なくとも１つの領域に於ける画素値の統計量を算出し、算出された前記統計量に基づき、前記任意のフレームの特徴ベクトルを現在のフレームの特徴ベクトルとして決定する特徴抽出部と、
現在のチャプタの特徴ベクトルを記憶する記憶部と、
前記特徴抽出部の出力端に接続された第１入力端及び前記記憶部の出力端に接続された第２入力端と、第１出力端及び前記記憶部の入力端に接続された第２出力端とを備え、前記特徴抽出部が出力する前記現在のフレームの前記特徴ベクトルと、前記記憶部から読み出した前記現在のチャプタの前記特徴ベクトルとを比較して、前記現在のフレームの画像が前記現在のチャプタに属するフレームの画像と類似しているか否かを判定し、（ｉ）前記現在のフレームの前記画像が前記現在のチャプタの前記画像と類似していないと判定した場合には、前記現在のフレームが前記現在のチャプタに属していないと判断して、前記現在のフレームの位置を示す情報を前記第１出力端から出力すると共に、前記現在のフレームの前記特徴ベクトルを新たなチャプタの特徴ベクトルとして前記第２出力端より出力する一方、（ｉｉ）前記現在のフレームの前記画像が前記現在のチャプタの前記画像と類似していると判定した場合には、前記現在のフレームが前記現在のチャプタに属していると判断して、前記現在の画像の前記特徴ベクトルと前記現在のチャプタの前記特徴ベクトルとに基づいて、前記現在のチャプタの前記特徴ベクトルを更新し、前記現在のチャプタの更新された特徴ベクトルを前記第２出力端より出力する判定部と、
前記判定部の前記第１出力端に接続された入力端を備え、前記判定部より受信した前記現在のフレームの位置を示す前記情報を、前記新たなチャプタの開始点として記録するチャプタ開始点記録部とを備え、
前記記憶部は、（ｉ）前記判定部より前記新たなチャプタの前記特徴ベクトルを受信した場合には、前記記憶部が記憶している前記現在のチャプタの前記特徴ベクトルに代えて、前記新たなチャプタの前記特徴ベクトルを前記現在のチャプタの前記特徴ベクトルとして記憶する一方、（ｉｉ）前記判定部より前記現在のチャプタの前記更新された特徴ベクトルを受信した場合には、前記記憶部が記憶している前記現在のチャプタの前記特徴ベクトルに代えて、前記現在のチャプタの前記更新された特徴ベクトルを前記現在のチャプタの前記特徴ベクトルとして記憶し、
前記特徴抽出部は、前記任意のフレームの画像の中央に位置し前記任意のフレームの画像より小さい面積を持つ中央領域に於ける画素値の前記統計量を算出するとともに、前記中央領域以外の少なくとも１つの領域に於ける画素値の前記統計量を算出することを特徴とする、
チャプタ判定装置。
【請求項７】
請求項６記載のチャプタ判定装置であって、
前記映像信号のシーンチェンジを検出するシーンチェンジ検出部と、
前記シーンチェンジ検出部が前記シーンチェンジを検出する結果に応じて、前記映像信号の画像の内でシーンチェンジした画像のみを前記領域分割部の前記入力端に出力する切替部とを更に備えることを特徴とする、
チャプタ判定装置。
【請求項８】
請求項６記載のチャプタ判定装置であって、
前記統計量はヒストグラムであることを特徴とする、
チャプタ判定装置。
【請求項９】
映像信号を記録する装置であって、
請求項６記載のチャプタ判定装置を、前記映像信号をその内容によりチャプタ分割し、チャプタ開始点を記録する装置として備えることを特徴とする、
映像信号記録装置。
【請求項１０】
静止画像を複数の領域に分割する領域分割部と、
前記領域分割部の出力端に接続された入力端を備え、前記複数の領域の内で少なくとも１つの領域に於ける画素値の統計量を算出し、算出された前記統計量に基づき、前記静止画像の特徴ベクトルを決定する特徴抽出部と、
前記特徴抽出部の出力端に接続された入力端を備え、前記特徴抽出部より出力される前記特徴ベクトルと、予め定められた画像群の特徴ベクトルとを比較し、前記静止画像が前記予め定められた画像群の内の何れの画像と類似した画像であるか否かを判定することにより、前記静止画像が如何なる内容の画像であるかを判定する画像判定部と、
前記画像判定部の出力端に接続された入力端を備え、前記画像判定部から出力される画像判定信号が与える前記静止画像の前記内容に応じて画像の補正を行う画像処理部とを備え、
前記特徴抽出部は、前記静止画像の中央に位置し前記静止画像より小さい面積を持つ中央領域に於ける画素値の前記統計量を算出するとともに、前記中央領域以外の少なくとも１つの領域に於ける画素値の前記統計量を算出することを特徴とする、
画像処理装置。
【国際調査報告】
2009031398.tif 000036
2009031398.tif 000037
2009031398.tif 000038
2009031398.tif 000039
2009031398.tif 000040
2009031398.tif 000041