(57)【特許請求の範囲】
【請求項１】
コンテンツの画像信号と音声信号から、それぞれ異なる特徴を表す複数の第１の特徴データを検出する第１の特徴検出手段と、
前記第１の特徴検出手段により検出された複数の前記第１の特徴データのそれぞれに対して、前記第１の特徴データに基づいてデータを検出する特徴に応じた重みをコンテンツ毎またはコンテンツのジャンル毎に変えて設定する設定手段と、
前記設定手段により重みが設定された複数の前記第１の特徴データに基づいて、それぞれ異なる特徴を表す複数の第２の特徴データを検出する第２の特徴検出手段と、
前記第２の特徴検出手段により検出された複数の前記第２の特徴データに基づいて、選択することを許容する、コンテンツに関する操作を決定し、ユーザに提示する提示手段と、
前記提示手段により提示された操作の中からユーザにより選択された操作を実行する実行手段と
を備える信号処理装置。
【請求項２】
前記提示手段は、画面表示または音声出力によって、選択することを許容するコンテンツに関する操作を提示する
請求項１に記載の信号処理装置。
【請求項３】
前記第１の特徴検出手段は、音声信号に基づいて前記第１の特徴データを検出する複数の処理系と、画像信号に基づいて前記第１の特徴データを検出する複数の処理系を有しており、それぞれの処理系において前記第１の特徴データを検出し、
前記第２の特徴検出手段は複数の処理系を有しており、それぞれの処理系において前記第２の特徴データを検出する
請求項１に記載の信号処理装置。
【請求項４】
コンテンツの画像信号と音声信号から、それぞれ異なる特徴を表す複数の第１の特徴データを検出し、
検出した複数の前記第１の特徴データのそれぞれに対して、前記第１の特徴データに基づいてデータを検出する特徴に応じた重みをコンテンツ毎またはコンテンツのジャンル毎に変えて設定し、
重みを設定した複数の前記第１の特徴データに基づいて、それぞれ異なる特徴を表す複数の第２の特徴データを検出し、
検出した複数の前記第２の特徴データに基づいて、選択することを許容する、コンテンツに関する操作を決定し、ユーザに提示し、
提示した操作の中からユーザにより選択された操作を実行する
ステップを含む信号処理方法。
【請求項５】
コンテンツの画像信号と音声信号から、それぞれ異なる特徴を表す複数の第１の特徴データを検出し、
検出した複数の前記第１の特徴データのそれぞれに対して、前記第１の特徴データに基づいてデータを検出する特徴に応じた重みをコンテンツ毎またはコンテンツのジャンル毎に変えて設定し、
重みを設定した複数の前記第１の特徴データに基づいて、それぞれ異なる特徴を表す複数の第２の特徴データを検出し、
検出した複数の前記第２の特徴データに基づいて、選択することを許容する、コンテンツに関する操作を決定し、ユーザに提示し、
提示した操作の中からユーザにより選択された操作を実行する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、信号処理方法、およびプログラムに関し、特に、階層的な特徴の検出を、柔軟に、かつ効率的に行うことができるようにした信号処理装置、信号処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、ハードディスクレコーダなどの録画機器が普及してきている。今後はハードディスクの大容量化、圧縮技術の向上などに伴い、録画機器に記録させておくことのできるコンテンツの数がますます増えていくものと考えられる。
【０００３】
そこで、録画機器に記録させておいた大量のコンテンツを効率よく管理、視聴できるようにすることが要求されると考えられることから、それを実現するための技術が各種提案されている。
【０００４】
例えば、コンテンツの画像信号や音声信号を解析することによって特徴を検出し、検出した特徴に基づいてチャプタを自動的に設定したり、検出した特徴から特定される代表的なシーンだけを連続的に再生するダイジェスト再生を行ったりする技術がある。ユーザは、録画機器により自動的に設定されたチャプタを指定することによって、見たいシーンからコンテンツを再生させたり、ダイジェスト再生によってコンテンツ全体の概要を短時間で確認したりすることができる。
【０００５】
ところで、このようなチャプタの設定やダイジェスト再生には、コンテンツ中に含まれるCM(Commercial Message)の位置、人の顔が映っているかどうか、盛り上がりのシーンであるかどうか、などの複数の特徴が考慮される。
【０００６】
また、チャプタの設定やダイジェスト再生に考慮されるCMの位置、人の顔が映っているシーンであるかどうか、盛り上がりのシーンであるかどうかなどの特徴自体も、コンテンツ中に含まれるシーンチェンジの位置、フェードイン、フェードアウトの位置、人による発話のあるシーンであるかどうか、などの複数の特徴を考慮して決定される。
【０００７】
さらに、CMの位置、人の顔が映っているシーンであるかどうか、盛り上がりのシーンであるかどうかなどを決定するのに考慮されるシーンチェンジの位置、フェードイン、フェードアウトの位置、人による発話のあるシーンであるかどうかなどの特徴自体も、コンテンツの画像信号の輝度、色、音声信号のパワー、周波数などの複数の特徴を考慮して決定される。
【０００８】
すなわち、最終的に行われるチャプタの設定やダイジェスト再生は、コンテンツの画像信号の輝度、色、音声信号のパワー、周波数などの内容的にレベルの低い特徴を検出する処理と、CMの位置、人の顔が映っているシーンであるかどうか、盛り上がりのシーンであるかどうかなどの内容的にレベルの高い特徴を低レベルの特徴の検出結果に基づいて検出する処理といったように、階層的な特徴の検出を経て実現される。
【０００９】
特許文献１には、画像を構成する成分のヒストグラムを生成し、生成したヒストグラムに基づいて、シーンチェンジを検出する技術が開示されている。
【特許文献１】特開２００４−２８２３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来の階層的な特徴の検出においては、低レベルの特徴を検出する処理と高レベルの特徴を検出する処理の関係は固定であり、柔軟に、かつ効率的に特徴の検出を行うことができないことがあった。
【００１１】
例えば、ある高レベルの特徴を検出する処理が、第１と第２の低レベルの特徴を用いて行われるように設計されている場合、その高レベルの特徴の検出を第１と第２の低レベルの特徴以外の第３の低レベルの特徴をも用いて行った方がよい結果を効率的に得ることができるといったことが後から判明した場合であっても、それに応じて、高レベルの特徴の検出に用いる特徴を変更することができないことがあった。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、階層的な特徴の検出を、柔軟に、かつ効率的に行うことができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の信号処理装置は、コンテンツの画像信号と音声信号から、それぞれ異なる特徴を表す複数の第１の特徴データを検出する第１の特徴検出手段と、前記第１の特徴検出手段により検出された複数の前記第１の特徴データのそれぞれに対して、前記第１の特徴データに基づいてデータを検出する特徴に応じた重みをコンテンツ毎またはコンテンツのジャンル毎に変えて設定する設定手段と、前記設定手段により重みが設定された複数の前記第１の特徴データに基づいて、それぞれ異なる特徴を表す複数の第２の特徴データを検出する第２の特徴検出手段と、前記第２の特徴検出手段により検出された複数の前記第２の特徴データに基づいて、選択することを許容する、コンテンツに関する操作を決定し、ユーザに提示する提示手段と、前記提示手段により提示された操作の中からユーザにより選択された操作を実行する実行手段とを備える。
【００１５】
前記提示手段には、画面表示または音声出力によって、選択することを許容するコンテンツに関する操作を提示させることができる。
【００１６】
前記第１の特徴検出手段は、音声信号に基づいて前記第１の特徴データを検出する複数の処理系と、画像信号に基づいて前記第１の特徴データを検出する複数の処理系を有しており、それぞれの処理系において前記第１の特徴データを検出し、前記第２の特徴検出手段は複数の処理系を有しており、それぞれの処理系において前記第２の特徴データを検出することができる。
【００１７】
本発明の一側面の信号処理方法またはプログラムは、コンテンツの画像信号と音声信号から、それぞれ異なる特徴を表す複数の第１の特徴データを検出し、検出した複数の前記第１の特徴データのそれぞれに対して、前記第１の特徴データに基づいてデータを検出する特徴に応じた重みをコンテンツ毎またはコンテンツのジャンル毎に変えて設定し、重みを設定した複数の前記第１の特徴データに基づいて、それぞれ異なる特徴を表す複数の第２の特徴データを検出し、検出した複数の前記第２の特徴データに基づいて、選択することを許容する、コンテンツに関する操作を決定し、ユーザに提示し、提示した操作の中からユーザにより選択された操作を実行するステップを含む。
【００１８】
本発明の一側面においては、コンテンツの画像信号と音声信号から、それぞれ異なる特徴を表す複数の第１の特徴データが検出され、検出された複数の前記第１の特徴データのそれぞれに対して、前記第１の特徴データに基づいてデータを検出する特徴に応じた重みがコンテンツ毎またはコンテンツのジャンル毎に変えて設定され、重みが設定された複数の前記第１の特徴データに基づいて、それぞれ異なる特徴を表す複数の第２の特徴データが検出される。また、検出された複数の前記第２の特徴データに基づいて、選択することを許容する、コンテンツに関する操作が決定され、ユーザに提示され、提示された操作の中からユーザにより選択された操作が実行される。
【発明の効果】
【００１９】
本発明の一側面によれば、階層的な特徴の検出を、柔軟に、かつ効率的に行うことができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について図を参照して説明する。
【００２５】
図１は、本発明の一実施形態に係る信号処理装置１を示す図である。
【００２６】
信号処理装置１はハードディスクを内蔵するデジタル録画機器である。信号処理装置１には、ケーブルを介してテレビジョン受像機２が接続される。
【００２７】
信号処理装置１は、BS(Broadcasting Satellite)／CS(Communications Satellite)デジタル放送、地上デジタル放送、またはインターネットを介して行われる放送によって提供されるコンテンツ（番組）の映像や音声をテレビジョン受像機２から出力させたり、コンテンツをハードディスクに記録させ、録画を行ったりする。すなわち、信号処理装置１には、図示せぬアンテナからの信号などが供給されるようになされている。信号処理装置１は、録画済みのコンテンツをユーザによる指示に応じて再生し、コンテンツの映像や音声をテレビジョン受像機２から出力させる。
【００２８】
また、信号処理装置１は、放送波やインターネットを介して放送局などによって配信されるEPG(Electronic Program Guide)データを取得し、管理する。EPGデータには、それぞれのコンテンツについて、コンテンツのタイトル、放送日時、ジャンル、出演者などのコンテンツに関する情報が含まれる。
【００２９】
信号処理装置１は、例えば録画済みのコンテンツのタイトルが一覧表示されるタイトルリストの画面から所定のコンテンツが選択されたとき、選択されたコンテンツを用いて行うことができる操作をユーザに提示する機能を有する。ユーザに提示する操作は、コンテンツの画像信号、音声信号から検出された特徴に基づいて選択される。
【００３０】
チャプタ自動生成モード、レーベルイメージ生成モード、ダイジェスト再生モード、タイトル自動生成モード、自動編集モードなどの動作モード（操作）が信号処理装置１には用意されており、その中から選択された動作モードがユーザに提示される。
【００３１】
チャプタ自動生成モードは録画済みのコンテンツにチャプタを自動的に設定するモードであり、レーベルイメージ生成モードは録画済みのコンテンツをダビングした光ディスクのレーベル面の画像（レーベルイメージ）を自動的に作成するモードである。
【００３２】
ダイジェスト再生モードは録画済みのコンテンツのダイジェスト再生を行うモードであり、タイトル自動生成モードは録画済みのコンテンツを元に他のタイトルを自動的に生成するモードである。自動編集モードのは録画済みのコンテンツのカット編集を自動的に行うモードである。
【００３３】
ユーザは、選択可能なものとして提示された動作モードの中から所定の動作モードを選択し、選択した動作モードの処理を実行させることができる。
【００３４】
図２は、動作モードの提示画面の例を示す図である。
【００３５】
図２の例においては、「コンテンツＡ」が選択され、チャプタ自動生成モード、レーベルイメージ生成モード、ダイジェスト再生モード、タイトル自動生成モード、自動編集モードのうち、チャプタ自動生成モード、ダイジェスト再生モード、タイトル自動生成モードの３つの動作モードが選択可能な動作モードとしてユーザに提示されている。
【００３６】
ユーザは、選択可能とされている動作モードのボタンを押すことによって、その動作モードを実行させることができる。図２において、ボタンが実線で示されていることは、そのボタンに名前が表示されている動作モードを選択することができることを表し、点線で示されていることは、そのボタンに名前が表示されている動作モードを選択することができないことを表す。
【００３７】
例えば、ボタンが操作されることによって図２の画面からチャプタ自動生成モードが選択されたとき、「コンテンツＡ」の解析結果に基づいて、CMの開始位置、終了位置、シーンの切り替わりの位置などの所定の位置に、ユーザによる操作によらずに自動的にチャプタを設定する処理が信号処理装置１により行われる。ユーザは、信号処理装置１により設定されたチャプタを選択することで、好みのシーンから「コンテンツＡ」の再生を開始させることができる。
【００３８】
コンテンツの特徴を検出し、動作モードを提示する信号処理装置１の処理についてはフローチャートを参照して後述する。
【００３９】
図３は、信号処理装置１のハードウエア構成例を示すブロック図である。
【００４０】
CPU(Central Processing Unit)１１は、ROM(Read Only Memory)１２、または記録部１９に記録されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)１３には、CPU１１が実行するプログラムやデータなどが適宜記録される。これらのCPU１１、ROM１２、およびRAM１３は、バス１４により相互に接続されている。
【００４１】
CPU１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、受信部１６、入力部１７、出力部１８、記録部１９、通信部２０、およびドライブ２１が接続されている。
【００４２】
受信部１６は、アンテナ１６Ａからの放送波信号を受信、復調し、MPEG-TS(Moving Picture Experts Group-Transport Stream)を取得する。受信部１６は、録画の対象になっているコンテンツやEPGデータをMPEG-TSから取得し、取得したデータを入出力インタフェース１５を介して記録部１９に出力する。
【００４３】
入力部１７は、リモートコントローラからの信号を受信し、ユーザの操作の内容を表す情報を入出力インタフェース１５、バス１４を介してCPU１１に出力する。
【００４４】
出力部１８は、再生が指示されたコンテンツのデータをデコードし、得られた映像信号に基づいて、コンテンツの映像をテレビジョン受像機２に表示させる。
【００４５】
記録部１９は例えばハードディスクからなり、CPU１１が実行するプログラムや、入出力インタフェース１５を介して受信部１６から供給されたコンテンツ、EPGデータなどの各種のデータを記録する。家庭用のビデオカメラで撮影されたコンテンツが信号処理装置１に取り込まれた場合、記録部１９には、その取り込まれたコンテンツも記録される。
【００４６】
通信部２０は、サーバと通信を行い、インターネットを介して行われる放送によって配信されるコンテンツのデータや、サーバが配信するEPGデータを取得する。通信部２０は、取得したデータを入出力インタフェース１５を介して記録部１９に出力し、記録させる。
【００４７】
ドライブ２１は、装着された光ディスクなどのリムーバブルメディア２２に録画済みのコンテンツをダビングしたり、リムーバブルメディア２２に記録されているプログラムやデータを取得したりする。取得されたプログラムやデータは、必要に応じて記録部１９に転送され、記録される。
【００４８】
図４は、信号処理装置１の機能構成例を示すブロック図である。図４に示す機能部のうちの少なくとも一部は、図３のCPU１１により所定のプログラムが実行されることによって実現される。
【００４９】
図４に示されるように、信号処理装置１においては、低レベル特徴検出系３１、中レベル特徴検出系３２、高レベル特徴検出系３３、動作モード実行系３４、重み係数設定系３５、重み係数DB３６、および動作モード判定系３７が実現される。
【００５０】
低レベル特徴検出系３１は、コンテンツの画像信号を対象として処理を行う処理系であるエッジ検出系３１Ａ、輝度検出系３１Ｂ、色信号検出系３１Ｃと、コンテンツの音声信号を対象として処理を行う処理系であるパワー検出系３１Ｄ、周波数解析系３１Ｅから構成される。低レベル特徴検出系３１に対しては、タイトルリストの画面からユーザにより選択されるなどして特徴検出の対象となったコンテンツの画像信号と音声信号が供給される。タイトルリストの画面から選択されたときに特徴を検出する処理が行われるのではなく、タイトルリストの画面から選択される前にあらかじめ処理が行われるようにしてもよい。
【００５１】
中レベル特徴検出系３２は、カット点検出系３２Ａ、フェード区間検出系３２Ｂ、テロップ区間検出系３２Ｃ、動きベクトル検出系３２Ｄ、ブロック特徴検出系３２Ｅ、無音区間検出系３２Ｆ、話者区間検出系３２Ｇ、および音楽区間検出系３２Ｈから構成される。
【００５２】
高レベル特徴検出系３３は、CM検出系３３Ａ、類似画像検出系３３Ｂ、顔検出系３３Ｃ、盛り上がり区間検出系３３Ｄ、キーフレーム検出系３３Ｅ、および人物検出系３３Ｆから構成される。
【００５３】
動作モード実行系３４は、チャプタ自動生成系３４Ａ、レーベルイメージ生成系３４Ｂ、ダイジェスト再生系３４Ｃ、タイトル自動生成系３４Ｄ、および自動編集系３４Ｅから構成される。
【００５４】
低レベル特徴検出系３１は、コンテンツの画像信号、音声信号を解析することによって直接得られる特徴を検出する処理系であり、中レベル特徴検出系３２は、低レベル特徴検出系３１により得られた検出結果に基づいて特徴を検出する処理系である。高レベル特徴検出系３３は、中レベル特徴検出系３２により得られた検出結果に基づいて特徴を検出する処理系である。
【００５５】
すなわち、中レベル特徴検出系３２により検出される特徴は低レベル特徴検出系３１により検出された特徴に基づいて検出されるものであるから、低レベル特徴検出系３１により検出される特徴より内容的にレベルの高い特徴といえる。また、高レベル特徴検出系３３により検出される特徴は中レベル特徴検出系３２により検出された特徴に基づいて検出されるものであるから、中レベル特徴検出系３２により検出される特徴より内容的にレベルの高い特徴といえる。
【００５６】
このように、信号処理装置１においては、低レベル特徴検出系３１により低レベルの特徴が検出され、中レベル特徴検出系３２により中レベルの特徴が検出され、高レベル特徴検出系３３により高レベルの特徴が検出されるといったように、特徴の検出がいわば階層的に行われる。
【００５７】
低レベル特徴検出系３１のエッジ検出系３１Ａは、コンテンツの画像信号に基づいてエッジを検出し、フレーム内のエッジの位置を表す情報などを中レベル特徴検出系３２のカット点検出系３２Ａ乃至ブロック特徴検出系３２Ｅに出力する。
【００５８】
エッジは信号が変化する部分であるため、信号の変化分を取り出す微分を用いて検出する方式が一般的である。エッジ検出系３１Ａは、例えば、次式（１）により画像の水平方向の微分量ｆxと垂直方向（Ｙ方向）の微分量ｆyを算出する。
【数１】
0004433027.tif 000002
【００５９】
式（１）においてｓ（ｉ，ｊ）は、Ｘ方向の座標位置がｉであり、Ｙ方向の座標位置がｊである画素の値を表す。
【００６０】
また、エッジ検出系３１Ａは、算出した微分量に基づいて、座標位置（ｉ，ｊ）におけるエッジの強さｅ（ｉ，ｊ）を下式（２）により算出する。
【数２】
0004433027.tif 000003
【００６１】
エッジ検出系３１Ａは、式（２）により算出したエッジの強さが閾値を超える場合、その画素の位置をエッジの位置として検出し、検出結果を出力する。他の方法によりエッジの検出が行われるようにしてもよい。
【００６２】
輝度検出系３１Ｂは、コンテンツの画像信号から各画素の輝度を検出し、輝度の情報を中レベル特徴検出系３２のカット点検出系３２Ａ、フェード区間検出系３２Ｂ、動きベクトル検出系３２Ｄ、ブロック特徴検出系３２Ｅに出力する。
【００６３】
色信号検出系３１Ｃは、コンテンツの画像信号から各画素の色信号を検出し、色信号の情報を中レベル特徴検出系３２のカット点検出系３２Ａ、動きベクトル検出系３２Ｄ、ブロック特徴検出系３２Ｅに出力する。
【００６４】
パワー検出系３１Ｄは、コンテンツの音声信号から音声のパワーを検出し、音声のパワーの情報を中レベル特徴検出系３２のカット点検出系３２Ａ、無音区間検出系３２Ｆ、話者区間検出系３２Ｇ、音楽区間検出系３２Ｈに出力する。
【００６５】
周波数解析系３１Ｅは、コンテンツの音声信号を対象として周波数解析を行い、各周波数帯域に含まれる音声の情報を中レベル特徴検出系３２のカット点検出系３２Ａ、無音区間検出系３２Ｆ、話者区間検出系３２Ｇ、音楽区間検出系３２Ｈに出力する。
【００６６】
中レベル特徴検出系３２のカット点検出系３２Ａは、低レベル特徴検出系３１の各処理系から供給された検出結果に基づいてカット点（シーンチェンジ点）を検出し、カット点の位置を表す情報を高レベル特徴検出系３３のCM検出系３３Ａ、類似画像検出系３３Ｂ、顔検出系３３Ｃ、キーフレーム検出系３３Ｅに出力する。
【００６７】
カット点を検出するとき、カット点検出系３２Ａは、低レベル特徴検出系３１の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行う。低レベル特徴検出系３１の各処理系から供給された検出結果が数値で表される場合、カット点検出系３２Ａは、それぞれの検出結果に重み係数を乗算し、重み係数を乗算した検出結果に基づいてカット点の検出を行う。
【００６８】
低レベル特徴検出系３１の各処理系から供給された検出結果のうち、カット点の検出において特に重要な検出結果に対しては、カット点の検出結果に大きく寄与することになるような重み係数が設定され、あまり重要でない検出結果に対しては、カット点の検出結果にあまり寄与することにならないような重み係数が設定される。
【００６９】
具体的には、カット点検出系３２Ａは、各フレームの画像を所定の数の領域に分割し、領域毎に求められる輝度情報、色信号情報（色差情報）の平均値に基づいてフレーム間差分演算、またはフィールド間差分演算を行い、差分を閾値と比較することによってカット点を検出する。例えば、カット点がない場合、各領域のフレーム間、またはフィールド間差分は閾値より小さくなり、カット点がある場合、閾値より大きくなる。
【００７０】
すなわち、この場合、低レベル特徴検出系３１の各処理系から供給された検出結果のうち、輝度検出系３１Ｂから供給された検出結果と色信号検出系３１Ｃから供給された検出結果に対して、大きな重み係数が設定されることになる。
【００７１】
フェード区間検出系３２Ｂは、低レベル特徴検出系３１の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、フェード区間を検出する。フェード区間検出系３２Ｂは、検出したフェード区間の位置を表す情報を高レベル特徴検出系３３の類似画像検出系３３Ｂ、顔検出系３３Ｃ、およびキーフレーム検出系３３Ｅに出力する。
【００７２】
テロップ区間検出系３２Ｃは、低レベル特徴検出系３１の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、テロップが表示される区間であるテロップ区間を検出する。テロップ区間検出系３２Ｃは、検出したテロップ区間の位置を表す情報を高レベル特徴検出系３３の盛り上がり区間検出系３３Ｄ、およびキーフレーム検出系３３Ｅに出力する。例えば、フレームの下方の所定の範囲内にエッジが多く検出され、そのような状態が所定の区間だけ続いている場合、その区間はテロップ区間であるとして検出される。
【００７３】
動きベクトル検出系３２Ｄは、低レベル特徴検出系３１の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、対応する画素の移動方向と移動量を表す動きベクトルを検出する。動きベクトル検出系３２Ｄは、検出した動きベクトルの情報を高レベル特徴検出系３３の類似画像検出系３３Ｂ、顔検出系３３Ｃ、盛り上がり区間検出系３３Ｄ、キーフレーム検出系３３Ｅに出力する。
【００７４】
ブロック特徴検出系３２Ｅは、低レベル特徴検出系３１の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、１フレームの画像を分割した領域毎の輝度の平均、色信号の平均などのブロック特徴を検出する。ブロック特徴検出系３２Ｅは、検出したブロック特徴の情報を高レベル特徴検出系３３の類似画像検出系３３Ｂ、顔検出系３３Ｃ、盛り上がり区間検出系３３Ｄ、キーフレーム検出系３３Ｅに出力する。
【００７５】
無音区間検出系３２Ｆは、低レベル特徴検出系３１の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、無音区間を検出する。無音区間検出系３２Ｆは、検出した無音区間の情報を高レベル特徴検出系３３のCM検出系３３Ａ、盛り上がり区間検出系３３Ｄ、キーフレーム検出系３３Ｅ、および人物検出系３３Ｆに出力する。
【００７６】
話者区間検出系３２Ｇは、低レベル特徴検出系３１の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、人の発話がある区間である話者区間を検出する。話者区間検出系３２Ｇは、検出した話者区間の情報を高レベル特徴検出系３３の盛り上がり区間検出系３３Ｄ、キーフレーム検出系３３Ｅ、および人物検出系３３Ｆに出力する。
【００７７】
音楽区間検出系３２Ｈは、低レベル特徴検出系３１の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、音楽が流れている区間である音楽区間を検出する。音楽区間検出系３２Ｈは、検出した音楽区間の情報を高レベル特徴検出系３３の盛り上がり区間検出系３３Ｄとキーフレーム検出系３３Ｅに出力する。
【００７８】
高レベル特徴検出系３３のCM検出系３３Ａは、中レベル特徴検出系３２の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、CM区間の検出を行う。
【００７９】
日本で放送されるテレビCMを考えた場合、１５秒の整数倍の時間毎に無音区間を検出できるという特徴がある。従って、CM検出系３３Ａは、無音区間検出系３２Ｆから供給された検出結果が、そのような１５秒の整数倍の時間毎に無音区間が検出されたことを表すようなものである場合、無音区間と無音区間の間をテレビCMの区間として検出する。この場合、中レベル特徴検出系３２から供給された検出結果のうち、無音区間検出系３２Ｆから供給された検出結果に対して大きな重み係数が乗算され、CM区間の検出が行われることになる。
【００８０】
CM検出系３３Ａは、検出したCM区間を表す情報を動作モード実行系３４と動作モード判定系３７に出力する。
【００８１】
類似画像検出系３３Ｂは、中レベル特徴検出系３２の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、類似画像が連続する区間を検出する。例えば、類似画像検出系３３Ｂは、動きベクトル検出系３２Ｄにより検出された動きベクトルとブロック特徴検出系３２Ｅにより検出されたブロック特徴から、同じような画像が続いていると判断されたシーンに含まれる画像を類似画像として判断する。
【００８２】
類似画像検出系３３Ｂは、検出した類似画像の区間を表す情報を動作モード実行系３４と動作モード判定系３７に出力する。
【００８３】
顔検出系３３Ｃは、中レベル特徴検出系３２の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、人の顔を検出する。例えば、顔検出系３３Ｃは、ブロック特徴検出系３２Ｅにより検出されたブロック特徴から輪郭や顔の各部分を検出した場合、その輪郭の部分を人の顔として検出する。
【００８４】
顔検出系３３Ｃは、検出した人の顔の数やフレーム内の位置などの情報を動作モード実行系３４と動作モード判定系３７に出力する。
【００８５】
盛り上がり区間検出系３３Ｄは、中レベル特徴検出系３２の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、コンテンツの内容が盛り上がっている盛り上がり区間を検出する。例えば、盛り上がり区間検出系３３Ｄは、テロップ区間検出系３２Ｃによりテロップが頻繁に現れるとして検出された区間であって、話者区間検出系３２Ｇにより人の発言が頻繁に現れるとして検出された区間を盛り上がり区間として検出する。
【００８６】
盛り上がり区間検出系３３Ｄは、検出した盛り上がり区間の情報を動作モード実行系３４と動作モード判定系３７に出力する。
【００８７】
キーフレーム検出系３３Ｅは、中レベル特徴検出系３２の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、コンテンツの内容を表していると考えられるフレームであるキーフレームを検出する。キーフレーム検出系３３Ｅは、検出したキーフレームの情報を動作モード実行系３４と動作モード判定系３７に出力する。
【００８８】
人物検出系３３Ｆは、中レベル特徴検出系３２の各処理系から供給された検出結果に対して、重み係数設定系３５により設定された重み係数に基づいて重み付けを行い、人物の有無を検出する。人物検出系３３Ｆは、検出した人物の有無を表す情報を動作モード実行系３４と動作モード判定系３７に出力する。
【００８９】
このように、低レベル特徴検出系３１の各処理系と中レベル特徴検出系３２の各処理系はネットワーク的に接続され、中レベル特徴検出系３２の各処理系と高レベル特徴検出系３３の各処理系はネットワーク的に接続される。これにより、後段の処理系においては、前段の処理系からの検出結果を重み係数に応じて寄与させて特徴の検出を行うことが可能になる。
【００９０】
なお、図４に示される各処理系の接続関係は適宜変更可能である。例えば、中レベル特徴検出系３２の全ての処理系が高レベル特徴検出系３３のCM検出系３３Ａに接続され、中レベル特徴検出系３２の全ての処理系の検出結果がCM検出系３３Ａに供給されるようにしてもよい。
【００９１】
図５は、中レベル特徴検出系３２の各処理系と高レベル特徴検出系３３の各処理系において行われる重み付けの例を示す図である。
【００９２】
ここでは、CM検出系３３Ａにおいて行われるCM検出のときの重み付けについて説明するが、他の処理系においても同様にして重み付けが行われる。
【００９３】
図５の例においては、カット点検出系３２Ａにより検出されたカット点の特徴を表す特徴データｆ1は乗算器ｍ1に入力され、フェード区間検出系３２Ｂにより検出されたフェード区間の特徴を表す特徴データｆ2は乗算器ｍ2に入力される。音楽区間検出系３２Ｈにより検出された音楽区間の特徴を表す特徴データｆmは乗算器ｍmに入力される。
【００９４】
また、図５の例においては、乗算器ｍ1に対しては重み係数ｗ1が設定され、乗算器ｍ2に対しては重み係数ｗ2が設定されている。また、乗算器ｍmに対しては重み係数ｗmが設定されている。
【００９５】
それぞれの乗算器に設定される重み係数は、信号処理装置１の開発時に学習によって得られたものである。信号処理装置１が製品として販売された後、信号処理装置１のファームウエアのアップデートによって重み係数が更新されるようにしてもよい。
【００９６】
乗算器ｍ1は、特徴データｆ1と重み係数ｗ1を乗算し、乗算結果を加算器ｐ1に出力する。乗算器ｍ2は、特徴データｆ2と重み係数ｗ2を乗算し、乗算結果を加算器ｐ1に出力する。乗算器ｍmは、特徴データｆmと重み係数ｗmを乗算し、乗算結果を加算器ｐ1に出力する。
【００９７】
加算器ｐ1は、それぞれの乗算器から供給された乗算結果を加算して得られた値Ｆと閾値Ｆthを比較し、値Ｆが閾値Ｆthより大きいか否かを判定する。加算器ｐ1は、値Ｆが閾値Ｆthより大きい場合、対象となっている区間がCM区間であると判定し、CM区間が検出されたことを表す検出結果を出力する。
【００９８】
この場合、値Ｆと学習時に求められていた値に基づいて出力の確からしさが計算により求められ、出力されるようにしてもよい。例えば、CM検出の学習時に求められていた後述する最終出力（または、収束出力値）が１００とすると、実際の検出時に出力値が７０として求められた場合には、CM検出の確からしさは７０％として評価できることになる。
【００９９】
図４の説明に戻り、動作モード実行系３４のチャプタ自動生成系３４Ａは、チャプタ自動生成モードの処理を実行することがユーザにより選択されたとき、高レベル特徴検出系３３の各処理系から供給された検出結果に基づいて、対象になっているコンテンツの所定の位置にチャプタを設定する。
【０１００】
例えば、チャプタ自動生成系３４Ａは、CM検出系３３Ａにより検出されたCM区間の開始位置、終了位置にチャプタを設定したり、盛り上がり区間検出系３３Ｄにより検出された盛り上がり区間の開始位置、終了位置にチャプタを設定したりする。また、チャプタ自動生成系３４Ａは、CM検出系３３ＡによりCM区間が検出されなかった場合や盛り上がり区間検出系３３Ｄにより盛り上がり区間が検出されなかった場合、一定時間毎にチャプタを設定する。
【０１０１】
レーベルイメージ生成系３４Ｂは、レーベルイメージ生成モードの処理を実行することがユーザにより選択されたとき、高レベル特徴検出系３３の各処理系から供給された検出結果に基づいて、対象になっているコンテンツのレーベルイメージを生成する。
【０１０２】
例えば、レーベルイメージ生成系３４Ｂは、顔検出系３３Ｃにより検出された顔が映っているフレーム、キーフレーム検出系３３Ｅにより検出されたキーフレームや、記録部１９に記録されているEPGデータから取得される、コンテンツのタイトル、放送日時、チャンネル番号などのテキスト情報を所定の位置に配置し、レーベルイメージを生成する。
【０１０３】
図６Ａ乃至図６Ｃは、レーベルイメージの例を示す図である。
【０１０４】
図６Ａは、複数の画像とテキスト情報を含むモードＡのレーベルイメージの例を示す図であり、図６Ｂは、１つの画像とテキスト情報を含むモードＢのレーベルイメージの例を示す図である。図６Ｃは、テキスト情報だけを含むモードＣのレーベルイメージの例を示す図である。図６Ａ、図６Ｂにおいて長方形の枠は画像を表し、図６Ａ乃至図６Ｃに示されるテキスト情報は例えばEPGデータから取得された情報である。
【０１０５】
どのモードのレーベルイメージを生成するかは、ユーザが選択することができるようにしてもよいし、どのモードが適しているかが高レベル特徴検出系３３の検出結果に応じて動作モード判定系３７により判定され、適しているとして判定されたモードがユーザに提示されるようにしてもよい。
【０１０６】
例えば、キーフレームの画像を用いてレーベルイメージが生成されるようになされている場合、キーフレーム検出系３３Ｅにより複数のキーフレームが検出されたときにはモードＡが適しているとして判定され、キーフレーム検出系３３Ｅによりキーフレームが１つだけ検出されたときにはモードＢが適しているとして判定される。キーフレーム検出系３３Ｅによりキーフレームが検出されなかったときにはモードＣが適しているとして判定される。
【０１０７】
ダイジェスト再生系３４Ｃは、ダイジェスト再生モードの処理を実行することがユーザにより選択されたとき、高レベル特徴検出系３３の各処理系から供給された検出結果に基づいて、対象になっているコンテンツを所定の時間内で再生できるように圧縮し、ダイジェスト再生を行う。ダイジェスト再生においては、コンテンツ全体の概要をユーザが把握できるような区間が再生される。
【０１０８】
図７は、ダイジェスト再生の対象となる区間の例を示す図である。
【０１０９】
図７の例においては、１つの長方形の枠は所定の数のフレームからなる区間を表し、１乃至３の番号が付されている区間がキーフレームを含む区間としてキーフレーム検出系３３Ｅにより判定されている。この場合、ダイジェスト再生系３４Ｃにおいては、図７の下向きの矢印の先に示されるように、１乃至３の番号が付されている区間が再生されることによってダイジェスト再生が行われる。
【０１１０】
人物検出系３３Ｆにより検出された人物区間がダイジェスト再生の対象とされるようにしてもよい。また、話者区間検出系３２Ｇにより検出された話者区間の情報がダイジェスト再生系３４Ｃにも供給されるようになされている場合、話者区間がダイジェスト再生の対象とされるようにしてもよい。
【０１１１】
なお、１分程度の再生時間しかない短いコンテンツを１０秒のように再生時間（録画時間）が極端に短いコンテンツに圧縮してもユーザはコンテンツの内容をほとんど把握することができない。従って、ダイジェスト再生モードの処理を実行することがユーザにより選択されたとき、許容できる圧縮率がコンテンツの再生時間に応じて動作モード判定系３７により自動的に判定され、選択可能な圧縮率がユーザに提示されるようにしてもよい。
【０１１２】
図８は、コンテンツの圧縮率の例を示す図である。
【０１１３】
図８の横軸はコンテンツの録画時間を示し、縦軸は圧縮率を示す。図８の例においては、録画時間が５分までのコンテンツについては圧縮率が１、すなわちダイジェスト再生を行うことができないものとされ、録画時間が５分から２０分のコンテンツについては圧縮率を３／４としてダイジェスト再生を行うことが許容されている。
【０１１４】
また、録画時間が２０分から４０分のコンテンツについては圧縮率を１／２としてダイジェスト再生を行うことが許容され、録画時間が４０分から６０分のコンテンツについては圧縮率を１／４としてダイジェスト再生を行うことが許容されている。
【０１１５】
例えば、再生時間が６０分のコンテンツが対象になっている場合、３／４，１／２，１／４の３種類の圧縮率が提示され、ユーザは、提示された圧縮率の中から好みの圧縮率を選択することができる。
【０１１６】
図４のタイトル自動生成系３４Ｄは、タイトル自動生成モードの処理を実行することがユーザにより選択されたとき、高レベル特徴検出系３３の各処理系から供給された検出結果に基づいて、対象になっているコンテンツを元に他のタイトルを自動的に生成する。
【０１１７】
自動編集系３４Ｅは、自動編集モードの処理を実行することがユーザにより選択されたとき、高レベル特徴検出系３３の各処理系から供給された検出結果に基づいて、対象になっているコンテンツのカット編集を行う。
【０１１８】
図９は、カット編集の例を示す図である。
【０１１９】
図９においても、１つの長方形の枠は所定の数のフレームからなる区間を表す。図９の例においては、１乃至３の番号が付されている区間、４乃至６の番号が付されている区間、および、７，８の番号が付されている区間が編集有効区間として自動編集系３４Ｅにより判定されている。
【０１２０】
この場合、自動編集系３４Ｅにおいては、図９の下向きの矢印の先に示されるように、編集有効区間の画像だけが切り出されることによってカット編集が行われる。カット点となる３の番号が付されている区間と４の番号が付されている区間の間の位置、６の番号が付されている区間と７の番号が付されている区間の間の位置にクロスフェードなどの映像効果が施されるようにしてもよい。
【０１２１】
例えば、人の顔が映っているとして顔検出系３３Ｃにより検出された区間が編集有効区間として判定される。家庭用のビデオカメラで撮影したコンテンツが信号処理装置１に取り込まれ、そのコンテンツが処理対象のコンテンツになっている場合、家庭用のビデオカメラでは人を撮影することが多いと考えられるから、人の顔が映っている区間が切り出されるようにすることは有効な処理となる。
【０１２２】
なお、編集有効区間を決定するモードとして、人の顔が映っている区間を編集有効区間とする顔中心編集モードと、人の顔が映っている区間と人の顔が映っていない区間を半分くらいずつ編集有効区間とする通常モード（デフォルト編集モード）が用意されるようにしてもよい。
【０１２３】
２つのモードのうちのいずれのモードによってカット編集を行うのかは、自動編集モードの処理を行うことを指示した後にユーザが手動で選択するようにしてもよいし、人物が検出された時間に応じて自動編集系３４Ｅにより自動的に選択されるようにしてもよい。例えば、コンテンツの再生時間全体に対して、人物が検出された時間の割合が閾値より高い場合、顔中心編集モードが選択され、閾値より低い場合、通常モードが選択される。
【０１２４】
図４の重み係数設定系３５は、処理対象のコンテンツ自体やコンテンツのジャンルに応じて重み係数を重み係数DB３６から読み出し、読み出した重み係数を、中レベル特徴検出系３２と高レベル特徴検出系３３の各処理系に設定する。処理対象のコンテンツが変わる毎に、または処理対象のコンテンツのジャンルが変わる毎に、異なる重み係数が設定されることになる。
【０１２５】
動作モード判定系３７は、高レベル特徴検出系３３の各処理系から供給された検出結果に基づいて、処理対象のコンテンツを対象としてユーザが選択することができる動作モードを選択する。動作モード判定系３７は、出力部１８を制御して図２に示されるような画面をテレビジョン受像機２に表示させ、選択可能な動作モードをユーザに提示する。
【０１２６】
ここで、重み係数の学習について説明する。
【０１２７】
図１０は、重み係数の学習を行う学習装置５１を示す図である。
【０１２８】
学習装置５１はパーソナルコンピュータなどによって実現される。学習装置５１による重み係数の学習は例えば信号処理装置１の開発時に行われる。
【０１２９】
図１０に示されるように、学習装置５１に対しては、教師データとなるコンテンツが入力される。教師データからは特徴の検出結果が出力され、それを確認した開発者による操作に応じて重み係数が調整される。調整が繰り返されることによって最終的に得られた重み係数が重み係数DB３６に記録され、上述したような実際の特徴の検出に用いられる。
【０１３０】
図１１は、学習装置５１の機能構成例を示すブロック図である。図１１に示す機能部のうちの少なくとも一部は、学習装置５１のCPUにより所定のプログラムが実行されることによって実現される。
【０１３１】
図１１に示されるように、学習装置５１においては、信号処理装置１の低レベル特徴検出系３１、中レベル特徴検出系３２、高レベル特徴検出系３３に対応する形で、低レベル特徴検出系６１、中レベル特徴検出系６２、高レベル特徴検出系６３が実現される。重複する説明については適宜省略する。また、学習装置５１においては重み係数設定系６４も実現される。
【０１３２】
低レベル特徴検出系６１、中レベル特徴検出系６２、高レベル特徴検出系６３の各処理系は、信号処理装置１の低レベル特徴検出系３１、中レベル特徴検出系３２、高レベル特徴検出系３３の各処理系にそれぞれ対応する。
【０１３３】
すなわち、低レベル特徴検出系６１のエッジ検出系６１Ａは、教師データとなるコンテンツの画像信号に基づいてエッジを検出し、検出結果を中レベル特徴検出系６２のカット点検出系６２Ａ乃至ブロック特徴検出系６２Ｅに出力する。
【０１３４】
輝度検出系６１Ｂは、コンテンツの画像信号に基づいて輝度を検出し、検出結果を中レベル特徴検出系６２のカット点検出系６２Ａ、フェード区間検出系６２Ｂ、動きベクトル検出系６２Ｄ、ブロック特徴検出系６２Ｅに出力する。
【０１３５】
色信号検出系６１Ｃは、コンテンツの画像信号から各画素の色信号を検出し、検出結果を中レベル特徴検出系６２のカット点検出系６２Ａ、テロップ区間検出系６２Ｃ、動きベクトル検出系６２Ｄ、ブロック特徴検出系６２Ｅに出力する。
【０１３６】
パワー検出系６１Ｄは、コンテンツの音声信号から音声のパワーを検出し、検出結果を中レベル特徴検出系６２のカット点検出系６２Ａ、無音区間検出系６２Ｆ、話者区間検出系６２Ｇ、音楽区間検出系６２Ｈに出力する。
【０１３７】
周波数解析系６１Ｅは、コンテンツの音声信号を対象として周波数解析を行い、各周波数帯域に含まれる音声の情報を検出結果として中レベル特徴検出系６２のカット点検出系６２Ａ、無音区間検出系６２Ｆ、話者区間検出系６２Ｇ、音楽区間検出系６２Ｈに出力する。
【０１３８】
中レベル特徴検出系６２のカット点検出系６２Ａは、低レベル特徴検出系６１の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、カット点を検出する。カット点検出系６２Ａは、検出結果を高レベル特徴検出系６３のCM検出系６３Ａ、類似画像検出系６３Ｂ、顔検出系６３Ｃ、キーフレーム検出系６３Ｅに出力する。
【０１３９】
フェード区間検出系６２Ｂは、低レベル特徴検出系６１の各処理系から供給された検出結果検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、フェード区間を検出する。フェード区間検出系６２Ｂは、検出結果を高レベル特徴検出系６３の類似画像検出系６３Ｂ、顔検出系６３Ｃ、およびキーフレーム検出系６３Ｅに出力する。
【０１４０】
テロップ区間検出系６２Ｃは、低レベル特徴検出系６１の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、テロップ区間を検出する。テロップ区間検出系６２Ｃは、検出結果を高レベル特徴検出系６３の盛り上がり区間検出系６３Ｄ、およびキーフレーム検出系６３Ｅに出力する。
【０１４１】
動きベクトル検出系６２Ｄは、低レベル特徴検出系６１の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、動きベクトルを検出する。動きベクトル検出系６２Ｄは、検出結果を高レベル特徴検出系６３の類似画像検出系６３Ｂ、顔検出系６３Ｃ、盛り上がり区間検出系６３Ｄ、キーフレーム検出系６３Ｅに出力する。
【０１４２】
ブロック特徴検出系６２Ｅは、低レベル特徴検出系６１の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、ブロック特徴を検出する。ブロック特徴検出系６２Ｅは、検出結果を高レベル特徴検出系６３の類似画像検出系６３Ｂ、顔検出系６３Ｃ、盛り上がり区間検出系６３Ｄ、キーフレーム検出系６３Ｅに出力する。
【０１４３】
無音区間検出系６２Ｆは、低レベル特徴検出系６１の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、無音区間を検出する。無音区間検出系６２Ｆは、検出結果を高レベル特徴検出系６３のCM検出系６３Ａ、盛り上がり区間検出系６３Ｄ、キーフレーム検出系６３Ｅ、および人物検出系６３Ｆに出力する。
【０１４４】
話者区間検出系６２Ｇは、低レベル特徴検出系６１の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、話者区間を検出する。話者区間検出系６２Ｇは、検出結果を高レベル特徴検出系６３の盛り上がり区間検出系６３Ｄ、キーフレーム検出系６３Ｅ、および人物検出系６３Ｆに出力する。
【０１４５】
音楽区間検出系６２Ｈは、低レベル特徴検出系６１の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、音楽区間を検出する。音楽区間検出系６２Ｈは、検出結果を高レベル特徴検出系６３の盛り上がり区間検出系６３Ｄとキーフレーム検出系６３Ｅに出力する。
【０１４６】
高レベル特徴検出系６３のCM検出系６３Ａは、中レベル特徴検出系６２の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、CM区間を検出する。CM検出系６３Ａは、検出結果を外部に出力する。
【０１４７】
類似画像検出系６３Ｂは、中レベル特徴検出系６２の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、類似画像を検出する。類似画像検出系６３Ｂは、検出結果を外部に出力する。
【０１４８】
顔検出系６３Ｃは、中レベル特徴検出系６２の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、人の顔を検出する。顔検出系６３Ｃは、検出結果を外部に出力する。
【０１４９】
盛り上がり区間検出系６３Ｄは、中レベル特徴検出系６２の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、盛り上がり区間を検出する。盛り上がり区間検出系６３Ｄは、検出結果を外部に出力する。
【０１５０】
キーフレーム検出系６３Ｅは、中レベル特徴検出系６２の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、キーフレームを検出する。キーフレーム検出系６３Ｅは、検出結果を外部に出力する。
【０１５１】
人物検出系６３Ｆは、中レベル特徴検出系６２の各処理系から供給された検出結果に対して、重み係数設定系６４により設定された重み係数に基づいて重み付けを行い、人物の有無を検出する。人物検出系６３Ｆは、検出結果を外部に出力する。
【０１５２】
このように、低レベル特徴検出系６１の各処理系と中レベル特徴検出系６２の各処理系は、低レベル特徴検出系３１の各処理系と中レベル特徴検出系３２の各処理系と同様にして接続され、中レベル特徴検出系６２の各処理系と高レベル特徴検出系６３の各処理系は、中レベル特徴検出系３２の各処理系と高レベル特徴検出系３３の各処理系と同様にして接続される。なお、図１１に示される各処理系の接続関係も適宜変更可能である。
【０１５３】
重み係数設定系６４は、開発者による操作に応じて、中レベル特徴検出系６２と高レベル特徴検出系６３の各処理系に重み係数を設定する。
【０１５４】
図１２は、中レベル特徴検出系６２と高レベル特徴検出系６３の各処理系の構成例を示す図である。
【０１５５】
図１２の例においては、カット点検出系６２Ａにより検出されたカット点の特徴を表す特徴データｆ1が乗算器ｍ11に入力され、フェード区間検出系６２Ｂにより検出されたフェード区間の特徴を表す特徴データｆ2が乗算器ｍ12に入力される。また、音楽区間検出系６２Ｈにより検出された音楽区間の特徴を表す特徴データｆmが乗算器ｍMに入力される。
【０１５６】
乗算器ｍ11においては、特徴データｆ1と重み係数ｗ1（ｎ）が乗算され、乗算器ｍ12においては、特徴データｆ2と重み係数ｗ2（ｎ）が乗算され、乗算器ｍMにおいては、特徴データｆmと重み係数ｗm（ｎ）が乗算される。それぞれの乗算器の乗算結果は加算器ｐ11に供給され、加算器ｐ11において加算された後、判定データ出力Ｆoとして出力される。
【０１５７】
このような構成によって、重み係数の学習は例えば次のようにして行われる。
【０１５８】
（１）はじめに、検出する特徴が１つ選択される。図１２の例においては、検出する特徴としてCM区間が選択されている。ここでは、CM検出に用いられる重み係数の学習について説明するが、他の特徴の検出に用いられる重み係数の学習も同様にして行われる。
【０１５９】
（２）重み係数ｗ1を決定するために、可変の係数である重み係数ｗ1（ｎ）が乗算器ｍ11に設定され、判定データ出力Ｆoが最も大きくなる（確からしくなる）ときの係数が重み係数ｗ1として選択される。重み係数ｗ1（ｎ）以外の重み係数である重み係数ｗ2（ｎ），・・・，ｗM（ｎ）に対しては、初期設定値である例えば０．５の固定値が設定される。
【０１６０】
図１３は、判定データ出力Ｆoの確からしさの判定の例を示す図である。
【０１６１】
図１３の横軸は重み係数を示し、縦軸は確からしさ（検出率）を示す。確からしさは例えば開発者により設定される。
【０１６２】
図１３の例においては、重み係数ｗ1（ｎ）として重み係数ｗ1(０)が設定されたときの判定データ出力Ｆoの確からしさはｐ0で表され、重み係数ｗ1(１)が設定されたときの判定データ出力Ｆoの確からしさはｐ1で表されている。また、重み係数ｗ1（ｎ）として重み係数ｗ1(２)が設定されたときの判定データ出力Ｆoの確からしさはｐ2で表され、重み係数ｗ1(３)が設定されたときの判定データ出力Ｆoの確からしさはｐ3で表されている。
【０１６３】
この場合、判定データ出力Ｆoの確からしさが最も大きくなるのは重み係数ｗ1(２)が設定されているときであるから、重み係数ｗ1(２)が、乗算器ｍ11に設定される重み係数ｗ1として選択される。
【０１６４】
（３）次に、重み係数ｗ2を決定するために、可変の係数である重み係数ｗ2（ｎ）が乗算器ｍ12に設定され、図１３に示されるようにして、判定データ出力Ｆoが最も大きくなるときの係数が重み係数ｗ2として選択される。このとき、乗算器ｍ11に対しては上記（２）で選択された重み係数ｗ1が設定される。
【０１６５】
（４）上記（２），（３）と同様の処理が、乗算器ｍMに設定される重み係数が選択されるまで繰り返される。
【０１６６】
（５）上記（１）乃至（４）の調整が、判定データ出力Ｆoの値が収束するまで繰り返される。ここで、判定データ出力Ｆoの値が収束した状態とは、ｋ−１回目の調整によって得られた判定データ出力Ｆo（ｋ−１）と、ｋ回目の調整によって得られた判定データ出力Ｆo（ｋ）が等しいか、差分が閾値δb以下になった状態をいう。例えば、下式（３）の条件を満たすとき収束したものとされる。
【数３】
0004433027.tif 000004
【０１６７】
処理が収束しない場合もあるので、例えば、上記（１）乃至（４）の調整を１０００回繰り返しても判定データ出力Ｆoが収束しない場合は１０００回で調整を打ち切るといったように、（１）乃至（４）の調整の繰り返し回数が制限されるようにしてもよい。
【０１６８】
中レベル特徴検出系６２と高レベル特徴検出系６３の各処理系に設定される重み係数についても、同様にして学習が行われる。学習によって得られた重み係数は、実際の特徴の検出時に信号処理装置１において用いられる重み係数として重み係数DB３６に記録される。重み係数の調整が繰り返されることによって各処理系において最終的に得られた判定データ出力Ｆoも参照値Ｆxとして記録される。
【０１６９】
なお、重み係数の学習は、複数のコンテンツや、ジャンルの異なるコンテンツを教師データとして行われ、それぞれのコンテンツ、それぞれのジャンルに対応した重み係数が重み係数DB３６に記録される。
【０１７０】
ここで、図１４のフローチャートを参照して、学習装置５１により行われる学習処理について説明する。
【０１７１】
ここでも、CM区間を検出するときに用いられる重み係数を学習する処理について説明するが、他の特徴を検出するときに用いられる重み係数の学習時にも同様の処理が行われる。
【０１７２】
ステップＳ１において、重み係数設定系６４は、各乗算器の重み係数として０．５などの固定の値を設定して重み係数の初期設定を行う。
【０１７３】
ステップＳ２において、重み係数設定系６４は、処理の回数を表すｋの値として１、ｋの値の最大値を表すｋmaxとして１０００を設定して処理回数の初期設定を行う。
【０１７４】
ステップＳ３において、重み係数設定系６４は、ｍの値に１を設定して特徴データの入力の初期設定を行う。
【０１７５】
ステップＳ４において、重み係数設定系６４は、特徴データｆmを乗算器に入力する。ｍの値が初期設定がされた直後の１である場合、図１２の乗算器ｍ11に対してカット点の特徴の検出結果を表す特徴データｆ1が入力される。
【０１７６】
ステップＳ５において、重み係数設定系６４はｍの値を１だけ加算する。
【０１７７】
ステップＳ６において、重み係数設定系６４は、ｍの値が閾値ｍthを超えたか否かを判定する。閾値ｍthは全ての乗算器の数を表す値になる。
【０１７８】
ｍの値が閾値ｍthを超えていないとステップＳ６において判定した場合、重み係数設定系６４は、ステップＳ４に戻り、特徴データの入力を繰り返す。
【０１７９】
一方、全ての特徴データを乗算器に入力し終えたことから、ｍの値が閾値ｍthを超えたとステップＳ６において判定した場合、ステップＳ７において、重み係数設定系６４は、ｍの値に１を設定して係数調整用の初期設定を行う。
【０１８０】
ステップＳ８において、重み係数設定系６４は、重み係数の変数ｎと判定データ出力Ｆnの値に０を設定して初期設定を行う。
【０１８１】
ステップＳ９において重み係数ｗmの調整処理が行われる。この調整処理においては、図１２を参照して説明したような処理が行われ、重み係数ｗmが選択される。ステップＳ９において行われる重み係数ｗmの調整処理については図１５のフローチャートを参照して後述する。
【０１８２】
ステップＳ１０において、重み係数設定系６４はｍの値を１だけ加算する。
【０１８３】
ステップＳ１１において、重み係数設定系６４は、ｍの値が閾値ｍthを超えたか否かを判定する。
【０１８４】
ｍの値が閾値ｍthを超えていないとステップＳ１１において判定した場合、重み係数設定系６４は、ステップＳ９に戻り、重み係数ｗmの調整処理を繰り返す。
【０１８５】
一方、全ての重み係数の調整を終えたことから、ｍの値が閾値ｍthを超えたとステップＳ１１において判定した場合、ステップＳ１２において、重み係数設定系６４は、上式（３）の条件を満たしているか否か、すなわち、判定データ出力Ｆoの値が収束しているか否かを判定する。
【０１８６】
判定データ出力Ｆoの値が収束していないとステップＳ１２において判定した場合、ステップＳ１３において、重み係数設定系６４は、ｋの値を１だけ加算する。
【０１８７】
ステップＳ１４において、重み係数設定系６４は、ｋの値が最大値ｋmaxを超えたか否かを判定する。
【０１８８】
ｋの値が最大値ｋmaxを超えていないとステップＳ１４において判定した場合、ステップＳ８に戻り、重み係数設定系６４は、以上の処理を繰り返す。
【０１８９】
一方、ステップＳ１４においてｋの値が最大値ｋmaxを超えたと判定した場合、または、ステップＳ１２において判定データ出力Ｆoの値が収束していると判定した場合、重み係数設定系６４は処理を終了させる。
【０１９０】
次に、図１５のフローチャートを参照して、図１４のステップＳ９において行われる重み係数ｗmの調整処理について説明する。
【０１９１】
ステップＳ２１において、重み係数設定系６４は、いまのｎの値を適用して可変の重み係数ｗm（ｎ）を設定する。
【０１９２】
ステップＳ２２において、重み係数設定系６４は、判定データ出力Ｆo（ｋ）を検出する。
【０１９３】
ステップＳ２３において、重み係数設定系６４は、判定データ出力Ｆo（ｋ）が値Ｆnを超えたか否かを判定する。
【０１９４】
判定データ出力Ｆo（ｋ）が値Ｆnを超えていないとステップＳ２３において判定した場合、ステップＳ２４において、重み係数設定系６４は、ｎの値が０を超えたか否かを判定する。
【０１９５】
ｎの値が０を超えていないとステップＳ２４において判定した場合、ステップＳ２１に戻り、重み係数設定系６４は、以上の処理を繰り返す。
【０１９６】
一方、判定データ出力Ｆo（ｋ）が値Ｆnを超えたとステップＳ２３において判定した場合、ステップＳ２５において、重み係数設定系６４は、ステップＳ２２で検出された判定データ出力Ｆo（ｋ）と値Ｆnの差分が閾値δa以下になったか否か、すなわち、下式（４）の条件を満たしているか否かを判定する。
【数４】
0004433027.tif 000005
【０１９７】
上式（４）の条件を満たしていないとステップＳ２５において判定した場合、ステップＳ２６において、重み係数設定系６４は、いまの判定データ出力Ｆo（ｋ）を値Ｆnとして設定する。
【０１９８】
ステップＳ２７において、重み係数設定系６４は、ｎの値を１だけ加算する。
【０１９９】
ステップＳ２８において、重み係数設定系６４は、ｎの値が、あらかじめ設定されている最大値ｎmaxを超えたか否かを判定する。
【０２００】
ｎの値が最大値ｎmaxを超えていないとステップＳ２８において判定した場合、ステップＳ２１に戻り、重み係数設定系６４は、以上の処理を繰り返す。
【０２０１】
一方、ステップＳ２８においてｎの値が最大値ｎmaxを超えたと判定した場合、ステップＳ２５において上式（４）の条件を満たしていると判定した場合、または、ステップＳ２４においてｎの値が０を超えたと判定した場合、重み係数設定系６４は、図１４のステップＳ９以降の処理を行う。
【０２０２】
重み係数の学習は以上のようにして行われる。学習によって得られた重み係数が重み係数DB３６に記録された後、信号処理装置１は、実際に特徴を検出し、特徴の検出結果に基づいて動作モードを提示する処理を行うことが可能になる。
【０２０３】
次に、図１６のフローチャートを参照して、信号処理装置１の処理について説明する。
【０２０４】
この処理は、コンテンツの録画が完了したときなどの所定のタイミングで開始される。録画が完了したコンテンツなどの、処理対象とするコンテンツの画像信号、音声信号は、先頭から順に、低レベル特徴検出系３１に入力され、所定の区間のデータ毎に特徴の検出が行われる。
【０２０５】
ステップＳ５１において、低レベル特徴検出系３１は、それぞれの処理系において、コンテンツの画像信号、音声信号を解析し、低レベルの特徴を検出する。低レベル特徴検出系３１は、各処理系による検出結果を中レベル特徴検出系３２に出力する。
【０２０６】
ステップＳ５２において、中レベル特徴検出系３２は中レベルの特徴検出処理を行う。中レベルの特徴検出処理によって得られた検出結果は高レベル特徴検出系３３に出力される。
【０２０７】
ステップＳ５３において、高レベル特徴検出系３３は高レベルの特徴検出処理を行う。高レベルの特徴検出処理によって得られた検出結果は動作モード実行系３４と動作モード判定系３７に出力される。動作モード判定系３７に出力された検出結果は動作モード判定系３７おいて保持され、所定のコンテンツがユーザにより選択されたとき、ユーザに提示する動作モードを選択することに用いられる。
【０２０８】
ステップＳ５２において行われる中レベルの特徴検出処理とステップＳ５３において行われる高レベルの特徴検出処理については図１７のフローチャートを参照して後述する。
【０２０９】
ステップＳ５４において、動作モード判定系３７は、動作モード表示処理を行い、選択可能な動作モードをユーザに提示する。その後、処理は終了される。ステップＳ５４において行われる動作モード表示処理については図１８のフローチャートを参照して後述する。
【０２１０】
次に、図１７のフローチャートを参照して、図１６のステップＳ５２において行われる中レベルの特徴検出処理と、ステップＳ５３において行われる高レベルの特徴検出処理について説明する。
【０２１１】
図１７の処理と同様の処理が、中レベル特徴検出系３２と高レベル特徴検出系３３のそれぞれの処理系において行われる。ここでは、高レベル特徴検出系３３のCM検出系３３Ａにおいて行われる処理について説明するが、他の処理系においても同様の処理が行われる。特徴検出処理の開始時、重み係数設定系３５からCM検出系３３Ａに対しては、CM検出に用いられる学習済みの重み係数が供給される。
【０２１２】
ステップＳ６１において、CM検出系３３Ａはｍの値に１を設定する。図５を参照して説明したように、中レベル特徴検出系３２と高レベル特徴検出系３３の各処理系はｍ個の乗算器と１個の加算器を有しており、注目する乗算器がｍの値に応じて選択される。
【０２１３】
ステップＳ６２において、CM検出系３３Ａは、重み係数設定系３５から供給された重み係数のうちの重み係数ｗmを注目する乗算器に設定する。
【０２１４】
ステップＳ６３において、CM検出系３３Ａは、ｍの値を１だけ加算する。
【０２１５】
ステップＳ６４において、CM検出系３３Ａは、ｍの値が閾値ｍthを超えたか否かを判定する。
【０２１６】
ｍの値が閾値ｍthを超えていないとステップＳ６４において判定した場合、ステップＳ６２に戻り、CM検出系３３Ａは重み係数の設定を繰り返す。
【０２１７】
一方、全ての重み係数を設定し終えたことから、ｍの値が閾値ｍthを超えたとステップＳ６４において判定した場合、ステップＳ６５において、CM検出系３３Ａは、ｍの値に１を設定する。
【０２１８】
ステップＳ６６において、CM検出系３３Ａは、特徴データｆmを注目する乗算器に入力する。ｍの値が１である場合、図５の乗算器ｍ1に対してカット点の特徴の検出結果を表す特徴データｆ1が入力される。特徴データが入力された乗算器においては、特徴データと重み係数が乗算され、乗算結果が加算器ｐ1に出力される。
【０２１９】
ステップＳ６７において、CM検出系３３Ａは、ｍの値を１だけ加算する。
【０２２０】
ステップＳ６８において、CM検出系３３Ａは、ｍの値が閾値ｍthを超えたか否かを判定する。
【０２２１】
ｍの値が閾値ｍthを超えていないとステップＳ６８において判定した場合、ステップＳ６６に戻り、CM検出系３３Ａは、特徴データの入力を繰り返す。
【０２２２】
一方、全ての特徴データを入力し終えたことから、ｍの値が閾値ｍthを超えたとステップＳ６８において判定した場合、ステップＳ６９において、CM検出系３３Ａは、それぞれの乗算器からの乗算結果を加算器ｐ1によって加算することによってデータ出力値としての値Ｆを検出する。
【０２２３】
ステップＳ７０において、CM検出系３３Ａは、検出した値Ｆと、学習終了時に保存しておいた参照値Ｆxを比較する。
【０２２４】
ステップＳ７１において、CM検出系３３Ａは、値Ｆから参照値Ｆxを減算した値の絶対値が、閾値としてあらかじめ設定されている値Ｆth以下であるか否かを判定する。
【０２２５】
値Ｆから参照値Ｆxを減算した値の絶対値が値Ｆth以下であるとステップＳ７１において判定した場合、ステップＳ７２において、CM検出系３３Ａは、処理対象になっている区間には検出対象、すなわちCMが含まれていると判定する。
【０２２６】
一方、値Ｆから参照値Ｆxを減算した値の絶対値が値Ｆth以下ではないとステップＳ７１において判定した場合、ステップＳ７３において、CM検出系３３Ａは、処理対象になっている区間にはCMが含まれていないと判定する。
【０２２７】
ステップＳ７４において、CM検出系３３Ａは、ステップＳ７２またはステップＳ７３の判定結果を後段の動作モード実行系３４と動作モード判定系３７に出力する。以上の処理が、処理対象になっているコンテンツの全ての区間について行われた後、図１６のステップＳ５２、またはステップＳ５３に戻り、それ以降の処理が行われる。
【０２２８】
次に、図１８のフローチャートを参照して、図１６のステップＳ５４において行われる動作モード表示処理について説明する。
【０２２９】
ステップＳ８１において、動作モード判定系３７は、ユーザにより選択されたコンテンツを処理対象のコンテンツとして選択する。
【０２３０】
ステップＳ８２において、動作モード判定系３７は、選択可能な動作モードを自動的に選択し、ユーザに提示する自動判定モードが設定されているか否かを判定する。
【０２３１】
自動判定モードが設定されていないとステップＳ８２において判定された場合、ステップＳ８３において手動モードの処理が行われる。例えば、全ての動作モードが一覧表示され、その中から選択された動作モードを実行することができる場合には選択された動作モードが実行され、実行することができない場合には選択された動作モードは実行されない。
【０２３２】
一方、自動判定モードが設定されているとステップＳ８２において判定した場合、動作モード判定系３７は、それぞれの動作モードの処理が実行可能であるか否かを順に判定する。
【０２３３】
すなわち、動作モード判定系３７は、ステップＳ８４において、いま選択されているコンテンツを対象としてチャプタ自動生成モードの処理を実行することができるか否かを判定するチャプタ自動生成モード判定処理を行い、ステップＳ８５において、いま選択されているコンテンツを対象としてレーベルイメージ生成モードの処理を実行することができるか否かを判定するレーベルイメージ生成モード判定処理を行う。
【０２３４】
また、動作モード判定系３７は、ステップＳ８６において、いま選択されているコンテンツを対象としてダイジェスト再生モードの処理を実行することができるか否かを判定するダイジェスト再生モード判定処理を行い、ステップＳ８７において、いま選択されているコンテンツを対象として自動編集モードの処理を実行することができるか否かを判定する自動編集モード判定処理を行う。ステップＳ８４乃至ステップＳ８７において行われる判定処理については図２０のフローチャートを参照して後述する。
【０２３５】
なお、図１８の例においては、チャプタ自動生成モード、レーベルイメージ生成モード、ダイジェスト再生モード、および自動編集モードの４つの動作モードの処理が実行可能であるか否かについての判定が行われるものとされているが、さらに多くの動作モードが用意されている場合、そのそれぞれの動作モードについても、処理が実行可能であるか否かが順に判定される。
【０２３６】
ステップＳ８８において、動作モード判定系３７は、実行可能であると判定した動作モードを提示する図２に示されるような画面を表示する。実行可能な動作モードの中から所定の動作モードが選択されたとき、選択された動作モードの処理が動作モード実行系３４により実行される。
【０２３７】
ステップＳ８８において画面表示が行われた後、または、ステップＳ８３において手動モードでの処理が行われた後、図１６のステップＳ５４に戻り、処理が終了される。
【０２３８】
図１９Ａ乃至図１９Ｄは、動作モードの表示の例を示す図である。
【０２３９】
図１９Ａは、チャプタ自動生成モードの処理が実行可能として判定された場合に表示されるボタンの例を示す図であり、図１９Ｄは、チャプタ自動生成モードの処理が実行できないとして判定された場合に表示されるボタンの例を示す図である。実行可能として判定された動作モードのボタンははっきり表示され、実行できないとして判定された動作モードのボタンははっきりとは表示されない。
【０２４０】
なお、特徴の解析結果に基づいて、設定することができるチャプタの数が多い場合には図１９Ｂに示されるようなボタンが表示され、設定することができるチャプタの数が少ない場合には図１９Ｃに示されるようなボタンが表示されるといったように、動作モードの程度もあわせて表示されるようにしてもよい。
【０２４１】
図１９Ｂの例においては、ボタンの下に配置される５つの四角が全て強調表示され、図１９Ｃの例においては、ボタンの下に配置される５つの四角のうちの２つの四角だけが強調表示されている。
【０２４２】
次に、図２０のフローチャートを参照して、図１８のステップＳ８４において行われるチャプタ自動生成モード判定処理について説明する。
【０２４３】
ここでは、ステップＳ８４において行われる処理について説明するが、ステップＳ８５乃至ステップＳ８７のそれぞれのステップにおいても同様の処理が行われる。
【０２４４】
ステップＳ１０１において、動作モード判定系３７は、判定フラグＦに０、動作レベルＮに０を設定することによって初期設定を行う。
【０２４５】
ステップＳ１０２において、動作モード判定系３７は、特徴の検出結果として高レベル特徴検出系３３のCM検出系３３Ａから出力されたヒストグラムデータを取得する。
【０２４６】
ここで、高レベル特徴検出系３３による特徴の検出結果を表すヒストグラムデータについて説明する。
【０２４７】
図２１は、高レベル特徴検出系３３の類似画像検出系３３Ｂによる特徴の検出結果の例を示す図である。
【０２４８】
図２１の例においては、３０分のコンテンツを対象として類似画像の検出を行った場合に、最初の１分の映像の区間からは類似画像が連続する区間として１０秒の区間が検出され、次の１分の映像の区間からは類似画像が連続する区間として２０秒の区間が検出されたものとされている。また、次の１分間とその次の１分間の映像の区間からは類似画像が連続する区間として２０秒の区間がそれぞれ検出され、その後、類似画像が連続する区間が検出されなかったものとされている。
【０２４９】
このような検出結果が図２２に示されるようなヒストグラムデータにより表され、高レベル特徴検出系３３の各処理系から出力される。図２２の横軸はヒストグラムレベルを表し、縦軸はデータ数を表す。
【０２５０】
図２３は、高レベル特徴検出系３３の各処理系から出力されたヒストグラムデータにより表される内容を示す図である。
【０２５１】
CM検出系３３Ａから出力されたヒストグラムデータは、５分間などの一定時間毎のCMの検出数を表し、類似画像検出系３３Ｂから出力されたヒストグラムデータは、１分間などの一定時間毎の、類似画像が継続したフレーム数、または時間長を表す。
【０２５２】
顔検出系３３Ｃから出力されたヒストグラムデータは、１分間などの一定時間毎の、顔が継続して検出されたフレーム数、または時間長を表し、盛り上がり区間検出系３３Ｄから出力されたヒストグラムデータは、１分間などの一定時間毎の、盛り上がり区間の時間長を表す。人物検出系３３Ｆから出力されたヒストグラムデータは、１分間などの、顔が継続して検出されたフレーム数、または時間長を表す。図２３には示されていないが、同様に、キーフレーム検出系３３Ｅから出力されたヒストグラムデータは、１分間などの一定時間毎のキーフレームの数などを表す。
【０２５３】
図２４は、ヒストグラムレベルの例を示す図である。
【０２５４】
図２４の例においては、CM検出系３３Ａによる検出結果である一定時間毎のCMの検出数が０〜１個である場合はヒストグラムレベル１、２〜４個である場合はヒストグラムレベル２、５〜７個である場合はヒストグラムレベル３、８〜９個である場合はヒストグラムレベル４、１０個以上である場合はヒストグラムレベル５とされている。
【０２５５】
また、類似画像検出系３３Ｂによる検出結果である一定時間毎の類似画像が継続した時間長が０〜９秒である場合はヒストグラムレベル１、１０〜１９秒である場合はヒストグラムレベル２、２０〜２９秒である場合はヒストグラムレベル３、３０〜３９秒である場合はヒストグラムレベル４、４０秒以上である場合はヒストグラムレベル５とされている。
【０２５６】
顔検出系３３Ｃによる検出結果である一定時間毎の顔が継続して検出された時間長、盛り上がり区間検出系３３Ｄによる検出結果である一定時間毎の盛り上がり区間の時間長、および、人物検出系３３Ｆによる検出結果である一定時間毎の顔が継続して検出された時間長についても、類似画像検出系３３Ｂによる検出結果と同様にしてヒストグラムレベルが設定される。
【０２５７】
以上のようにして高レベル特徴検出系３３の各処理系から出力されたヒストグラムデータは、システムを簡単にするため、ヒストグラム全体のデータ数が例えば１００となるように、単位時間あたりのデータに換算して正規化される。
【０２５８】
例えば、図２５に示されるように、単位時間を１時間（６０分）として正規化が行われる。この場合、コンテンツの時間をｔ分、ヒストグラムレベルｎにおける正規化処理前のデータ数をｈ（ｎ）とすると、正規化後のデータ数Ｈ（ｎ）は、下式（５）により求められる。ｋは処理系毎の正規化定数である。
【数５】
0004433027.tif 000006
【０２５９】
処理対象のコンテンツの時間が長いと検出されるデータの数が多くなり、そのままだとコンテンツ毎に判定基準を設定する必要があり、システムが複雑になってしまうが、このように正規化を行うようにすることにより、システムを簡単なものにすることができる。
【０２６０】
図２０の説明に戻り、ステップＳ１０３において、動作モード判定系３７は、CM検出系３３Ａから供給されたヒストグラム中に、あらかじめ設定されている基準を超えたレベルのデータがあるか否かを判定する。動作モード判定系３７に対しては、レベル３、レベル４などの、それぞれの動作モードが実行可能であるか否かを判断するための基準となるレベルがあらかじめ設定されている。
【０２６１】
あらかじめ設定されている基準を超えたレベルのデータがあるとステップＳ１０３において判定した場合、ステップＳ１０４において、動作モード判定系３７は、高レベル特徴検出系３３の盛り上がり区間検出系３３Ｄから出力されたヒストグラムデータを取得する。
【０２６２】
ステップＳ１０５において、動作モード判定系３７は、盛り上がり区間検出系３３Ｄから供給されたヒストグラム中に、あらかじめ設定されている基準を超えたレベルのデータがあるか否かを判定する。
【０２６３】
あらかじめ設定されている基準を超えたレベルのデータがあるとステップＳ１０５において判定した場合、ステップＳ１０６において、動作モード判定系３７は、判定フラグＦの値を１だけ加算する。
【０２６４】
ステップＳ１０７において、動作モード判定系３７は、盛り上がり区間検出系３３Ｄから出力されたヒストグラム全体における、基準を超えたヒストグラムデータの割合Ｎ1を検出する。
【０２６５】
ステップＳ１０７において割合Ｎ1を検出した場合、または、ステップＳ１０５において、盛り上がり区間検出系３３Ｄから供給されたヒストグラム中に、あらかじめ設定されている基準を超えたレベルのデータがないと判定した場合、ステップＳ１０８において、動作モード判定系３７は、高レベル特徴検出系３３の人物検出系３３Ｆから出力されたヒストグラムデータを取得する。
【０２６６】
ステップＳ１０９において、動作モード判定系３７は、人物検出系３３Ｆから供給されたヒストグラム中に、あらかじめ設定されている基準を超えたレベルのデータがあるか否かを判定する。
【０２６７】
あらかじめ設定されている基準を超えたレベルのデータがあるとステップＳ１０９において判定した場合、ステップＳ１１０において、動作モード判定系３７は、判定フラグＦの値を１だけ加算する。
【０２６８】
ステップＳ１１１において、動作モード判定系３７は、高レベル特徴検出系３３の人物検出系３３Ｆから出力されたヒストグラム全体における、基準を超えたヒストグラムデータの割合Ｎ2を検出する。
【０２６９】
ステップＳ１１１において割合Ｎ2を検出した場合、ステップＳ１０９において、人物検出系３３Ｆから供給されたヒストグラム中に、あらかじめ設定されている基準を超えたレベルのデータがないと判定した場合、または、ステップＳ１０３において、CM検出系３３Ａから供給されたヒストグラム中に、あらかじめ設定されている基準を超えたレベルのデータがないと判定した場合、ステップＳ１１２において、動作モード判定系３７は、判定フラグＦの値が０を超えているか否かを判定する。
【０２７０】
判定フラグＦの値が０を超えていないとステップＳ１１２において判定した場合、ステップＳ１１３において、動作モード判定系３７は、チャプタ自動生成モードの処理を実行することができないと判定する。
【０２７１】
一方、判定フラグＦの値が０を超えているとステップＳ１１２において判定した場合、ステップＳ１１４において、動作モード判定系３７は、Ｎ1とＮ2を加算して得られた値を動作レベルＮの値に設定する。
【０２７２】
ステップＳ１１５において、動作モード判定系３７は、チャプタ自動生成モードの処理が実行可能であると判定する。
【０２７３】
図２６は、動作モードの基準の例を示す図である。
【０２７４】
図２６の例においては、チャプタ自動生成モードの盛り上がりチャプタという機能の処理を実行可能と判断する基準が、CM検出系３３Ａから出力されたヒストグラム全体においてヒストグラムレベル３以上のデータが７０％以下であり、盛り上がり区間検出系３３Ｄから出力されたヒストグラム全体においてヒストグラムレベル３以上のデータが３０％以上あり、人物検出系３３Ｆから出力されたヒストグラム全体においてヒストグラムレベル４以上のデータが３０％以上として設定されている。
【０２７５】
また、レーベルイメージ生成モードのキーフレーム画像レーベルという機能の処理を実行可能と判断する基準が、CM検出系３３Ａから出力されたヒストグラム全体においてヒストグラムレベル３以上のデータが７０％以下であり、顔検出系３３Ｃから出力されたヒストグラム全体においてヒストグラムレベル４以上のデータが３０％以上あり、盛り上がり区間検出系３３Ｄから出力されたヒストグラム全体においてヒストグラムレベル３以上のデータが３０％以上として設定されている。
【０２７６】
他の動作モードについてもそれぞれ基準が設定されており、この基準に基づいて、それぞれの動作モードが実行可能であるか否かが判断される。
【０２７７】
以上の処理により、信号処理装置１は、実行可能な動作モードを自動的に判断し、ユーザに提示することができる。
【０２７８】
また、ユーザは、実行可能な動作モードを確実に選択することができるため、操作を効率的に行なうことができ、大変便利となる。
【０２７９】
また、信号処理装置１においては、階層的なネットワーク構造によって信号処理が行われるため、有効な信号を所定の処理系に効率的に寄与させることができる。
【０２８０】
例えば、フェード区間の検出を考えた場合、フェード区間では画像エッジがほとんど検出されず、輝度特徴、色特徴の相関性がほとんど無いことが分かっていることから、それらの特徴を表す関係のない信号をフェード区間の検出に寄与させないようにすることが可能になる。
【０２８１】
図２７乃至図３４は、特徴の検出結果の具体例を示す図である。
【０２８２】
図２７乃至図３４においては、上から、処理対象の映像区間、その区間を含む所定の区間を対象としたCM検出系３３Ａの検出結果、類似画像検出系３３Ｂの検出結果、顔検出系３３Ｃの検出結果、盛り上がり区間検出系３３Ｄの検出結果、人物検出系３３Ｆの検出結果が示されている。高レベル特徴検出系３３の各処理系の検出結果を表すグラフにおいて、横軸は時刻を表し、縦軸は検出レベルを表す。それぞれのグラフの右側には、正規化後のヒストグラム表示の検出結果が示されている。
【０２８３】
図２７に示されるように、シーンの盛り上がり区間が検出されないような区間だけからなるコンテンツが処理対象になっている場合、チャプタ自動生成モードに関しては、一定の区間毎にチャプタ点を設定するモードの処理しか実行できないとして判断される。一定区間毎にチャプタ点を設定するモードが選択されたとき、一定の区間毎にチャプタ点が設定される。
【０２８４】
一方、図２８に示されるように、シーンの盛り上がり区間が検出されるコンテンツが処理対象になっている場合、盛り上がりに応じてチャプタ点を設定するモードの処理をも実行可能であるとして判断される。盛り上がりに応じてチャプタ点を設定するモードの処理が選択されたとき、盛り上がり区間の前後の位置にチャプタ点が設定される。
【０２８５】
図２８の例においては、チャプタ点Ｃ1，Ｃ2が設定されている。チャプタ自動生成モードの処理が実行可能であるか否かは正規化後のヒストグラムデータに基づいて判断されるが、チャプタ点を設定する位置は高レベル特徴検出系３３の各処理系の検出結果に基づいて判断される。
【０２８６】
また、図２９に示されるように、シーンの盛り上がり区間などがなく、キーフレームを検出することができないような区間だけからなるコンテンツが対象になっている場合、レーベルイメージ作成モードに関しては、キーフレームの画像を含むレーベルイメージを自動作成するモードの処理は実行できないとして判断される。この場合、記録開始位置の先頭のフレームＦ1が代表画像として管理される。
【０２８７】
一方、図３０に示されるように、類似画像の区間が検出されるコンテンツが対象になっている場合、キーフレームの画像を含むレーベルイメージを自動作成するモードの処理が実行可能であるとして判断される。キーフレームの画像を含むレーベルイメージを自動作成するモードの処理が選択されたとき、類似画像区間の開始位置のフレームＦ2がキーフレームとして選択され、フレームＦ2の画像を含むレーベルイメージが作成される。
【０２８８】
さらに、図３１に示されるように、類似画像の区間がなく、キーフレームが検出されないようなコンテンツが対象になっている場合、ダイジェスト再生モードに関しては、一定の区間毎にスキップ再生を行うモードの処理しか実行できないとして判断される。一定の区間毎にスキップ再生を行うモードの処理が選択されたとき、図３１の実線矢印で示される一定時間毎の区間だけが再生される。
【０２８９】
一方、図３２に示されるように、類似画像の区間が検出されるコンテンツが対象になっている場合、類似画像の区間だけをダイジェスト再生するモードの処理をも実行可能であるとして判断される。類似画像の区間だけをダイジェスト再生するモードの処理が選択されたとき、図３２の実線矢印で示される類似画像の区間だけが再生される。
【０２９０】
また、図３３に示されるように、シーンの盛り上がり区間が検出されないような区間だけからなるコンテンツが対象になっている場合、自動編集モードに関しては、その処理を実行することができないとして判断される。この場合、編集はユーザが手動で行うことになる。
【０２９１】
一方、図３４に示されるように、シーンの盛り上がり区間が検出されるコンテンツが対象になっている場合、自動編集モードの処理は実行可能であるとして判断される。自動編集モードの処理が選択されたとき、図３４の実線矢印で示される盛り上がり区間と、その盛り上がり区間と所定の時間だけ離れた位置にある区間Ｔｓが例えば切り出しの対象とされる。
【０２９２】
以上においては、階層的なネットワーク構造を有する処理系において信号処理が行われるものとしたが、図３５に示されるように、ニューラルネットワークの構造を有する処理系において信号処理が行われるようにしてもよい。
【０２９３】
図３５の例においては、中レベル特徴検出系３２の各処理系の検出結果が入力とされ、信号処理の結果が、動作モードが実行可能であるか否かを判定する処理系に入力されている。
【０２９４】
以上においては、選択可能な動作モードが画面表示によってユーザに提示されるものとしたが、音声によって提示されるようにしてもよい。
【０２９５】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどにインストールされる。
【０２９６】
インストールされる実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアである図３に示されるリムーバブルメディア２２に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。プログラムは、ROM１２や記録部１９に、あらかじめインストールしておくことができる。
【０２９７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２９８】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２９９】
【図１】本発明の一実施形態に係る信号処理装置を示す図である。
【図２】画面の例を示す図である。
【図３】信号処理装置のハードウエア構成例を示すブロック図である。
【図４】信号処理装置の機能構成例を示すブロック図である。
【図５】重み付けの例を示す図である。
【図６】レーベルイメージの例を示す図である。
【図７】ダイジェスト再生の対象となる区間の例を示す図である。
【図８】ダイジェスト再生によるコンテンツの圧縮率の例を示す図である。
【図９】カット編集の例を示す図である。
【図１０】学習装置を示す図である。
【図１１】学習装置の機能構成例を示すブロック図である。
【図１２】重み係数の学習の例を示す図である。
【図１３】判定データ出力の確からしさの判定の例を示す図である。
【図１４】学習装置により行われる学習処理について説明するフローチャートである。
【図１５】図１４のステップＳ９において行われる重み係数の調整処理について説明するフローチャートである。
【図１６】信号処理装置の処理について説明するフローチャートである。
【図１７】図１６のステップＳ５２において行われる中レベルの特徴検出処理と、ステップＳ５３において行われる高レベルの特徴検出処理について説明するフローチャートである。
【図１８】図１６のステップＳ５４において行われる動作モード表示処理について説明するフローチャートである。
【図１９】動作モードの表示の例を示す図である。
【図２０】図１８のステップＳ８４乃至ステップＳ８７のそれぞれのステップにおいて行われる判定処理について説明するフローチャートである。
【図２１】特徴の検出結果の例を表す図である。
【図２２】ヒストグラムの例を示す図である。
【図２３】ヒストグラムデータにより表される内容を示す図である。
【図２４】ヒストグラムレベルの例を示す図である。
【図２５】ヒストグラムデータの正規化について示す図である。
【図２６】動作モードの基準の例を示す図である。
【図２７】特徴の検出結果の具体例を示す図である。
【図２８】特徴の検出結果の他の具体例を示す図である。
【図２９】特徴の検出結果のさらに他の具体例を示す図である。
【図３０】特徴の検出結果の具体例を示す図である。
【図３１】特徴の検出結果の他の具体例を示す図である。
【図３２】特徴の検出結果のさらに他の具体例を示す図である。
【図３３】特徴の検出結果の具体例を示す図である。
【図３４】特徴の検出結果の他の具体例を示す図である。
【図３５】信号処理装置の他の機能構成例を示すブロック図である。
【符号の説明】
【０３００】
１  信号処理装置，  ３１  低レベル特徴検出系，  ３２  中レベル特徴検出系，  ３３  高レベル特徴検出系，  ３４  動作モード実行系，  ３５  重み係数設定系，  ３６  重み係数DB，  ３７  動作モード判定系，  ５１  学習装置
【図１】
0004433027.tif 000007
【図２】
0004433027.tif 000008
【図３】
0004433027.tif 000009
【図４】
0004433027.tif 000010
【図５】
0004433027.tif 000011
【図６】
0004433027.tif 000012
【図７】
0004433027.tif 000013
【図８】
0004433027.tif 000014
【図９】
0004433027.tif 000015
【図１０】
0004433027.tif 000016
【図１１】
0004433027.tif 000017
【図１２】
0004433027.tif 000018
【図１３】
0004433027.tif 000019
【図１４】
0004433027.tif 000020
【図１５】
0004433027.tif 000021
【図１６】
0004433027.tif 000022
【図１７】
0004433027.tif 000023
【図１８】
0004433027.tif 000024
【図１９】
0004433027.tif 000025
【図２０】
0004433027.tif 000026
【図２１】
0004433027.tif 000027
【図２２】
0004433027.tif 000028
【図２３】
0004433027.tif 000029
【図２４】
0004433027.tif 000030
【図２５】
0004433027.tif 000031
【図２６】
0004433027.tif 000032
【図２７】
0004433027.tif 000033
【図２８】
0004433027.tif 000034
【図２９】
0004433027.tif 000035
【図３０】
0004433027.tif 000036
【図３１】
0004433027.tif 000037
【図３２】
0004433027.tif 000038
【図３３】
0004433027.tif 000039
【図３４】
0004433027.tif 000040
【図３５】
0004433027.tif 000041