(57)【要約】【課題】シーンの内容を視聴者に明確に伝達可能なサムネイルを生成する映像コンテンツ処理装置、映像コンテンツ処理方法及びプログラムを提供すること。【解決手段】映像コンテンツ処理装置１０は、シーン判定部１１と、サムネイル生成部１２を備える。シーン判定部１１は、映像コンテンツにおいて、映像コンテンツ内のシーンの特徴量が所定値以上一致する２つ以上のシーンを類似のシーンとして検出する。サムネイル生成部１２は、映像コンテンツを分割する複数のチャプタについて、チャプタに含まれるシーン内の画像を抽出することにより、チャプタのサムネイルを生成する。サムネイル生成部１２は、チャプタに含まれるシーンが類似のシーンである場合に、そのシーンから、文字等の表示領域が表示される画像を抽出し、文字等の表示領域が強調して表示されるようにその画像を加工処理した画像に基づいて、チャプタのサムネイルを生成する。【選択図】図１
2016119552.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツにおいて、前記映像コンテンツ内のシーンの特徴量が所定値以上一致する２つ以上のシーンを類似のシーンとして検出するシーン判定部と、
前記映像コンテンツを分割する複数のチャプタについて、前記チャプタに含まれるシーン内の画像を抽出し、前記画像に基づいて前記チャプタのサムネイルを生成するサムネイル生成部と、を備え、
前記サムネイル生成部は、前記チャプタに前記類似のシーンが含まれる場合に、前記チャプタに含まれる前記類似のシーンから、文字、記号又は重畳された画像の少なくともいずれかが含まれる領域が表示される画像を抽出し、前記領域が強調して表示されるように前記画像を加工処理した画像に基づいて前記チャプタのサムネイルを生成する、
映像コンテンツ処理装置。
【請求項２】
前記映像コンテンツ処理装置は、前記映像コンテンツ内において２回以上出現する特定のシーンの特徴量を予め記憶した記憶部をさらに備え、
前記シーン判定部は、前記映像コンテンツ内のシーンの特徴量と、前記記憶部に記憶された前記特定のシーンの特徴量とを比較することにより、前記映像コンテンツ内において前記類似のシーンを検出する、
請求項１に記載の映像コンテンツ処理装置。
【請求項３】
前記シーン判定部は、前記映像コンテンツを解析して、前記映像コンテンツ内の２つ以上のシーンに共通する所定値以上の特徴量を検出することにより、検出した所定値以上の特徴量を含むシーンを前記類似のシーンとして検出する、
請求項１に記載の映像コンテンツ処理装置。
【請求項４】
前記特徴量は、特定の人物の顔情報、画像の構図情報又は特定の背景情報の少なくともいずれかを含む、
請求項１ないし３のいずれか１項に記載の映像コンテンツ処理装置。
【請求項５】
前記サムネイル生成部は、前記チャプタに前記類似のシーンが含まれる場合に、前記チャプタに含まれる前記類似のシーンから前記領域が初めて表示される画像を抽出し、前記領域が強調して表示されるように前記画像を加工処理した画像に基づいて前記チャプタのサムネイルを生成する、
請求項１ないし４のいずれか１項に記載の映像コンテンツ処理装置。
【請求項６】
前記サムネイル生成部は、前記チャプタに前記類似のシーンが含まれる場合に、前記領域が拡大された前記画像に基づいて前記チャプタのサムネイルを生成する、
請求項１ないし５のいずれか１項に記載の映像コンテンツ処理装置。
【請求項７】
前記サムネイル生成部は、前記チャプタに前記類似のシーンが含まれる場合に、前記領域の輝度を上げた前記画像に基づいて前記チャプタのサムネイルを生成する、
請求項１ないし６のいずれか１項に記載の映像コンテンツ処理装置。
【請求項８】
前記サムネイル生成部は、前記チャプタに前記類似のシーンが含まれる場合に、前記領域以外の領域の透明度、輝度又は明度の少なくともいずれかを下げた前記画像に基づいて前記チャプタのサムネイルを生成する、
請求項１ないし７のいずれか１項に記載の映像コンテンツ処理装置。
【請求項９】
前記サムネイル生成部は、前記チャプタに前記類似のシーンが含まれない場合、前記チャプタにおけるシーンの中から人物の顔が表示された画像を抽出し、前記人物の顔が表示された領域が強調して表示されるように前記画像を加工処理した画像に基づいて前記チャプタのサムネイルを生成する、
請求項１ないし８のいずれか１項に記載の映像コンテンツ処理装置。
【請求項１０】
前記サムネイル生成部は、前記チャプタに前記類似のシーンが含まれない場合、前記人物の顔が表示された領域を拡大した前記画像に基づいて前記チャプタのサムネイルを生成する、
請求項９に記載の映像コンテンツ処理装置。
【請求項１１】
前記サムネイル生成部は、前記チャプタに前記類似のシーンが含まれない場合、前記人物の顔が表示された領域の輝度を上げた前記画像に基づいて前記チャプタのサムネイルを生成する、
請求項９又は１０に記載の映像コンテンツ処理装置。
【請求項１２】
前記サムネイル生成部は、前記チャプタに前記類似のシーンが含まれない場合、前記人物の顔が表示された領域以外の領域の透明度、輝度又は明度の少なくともいずれかを下げた前記画像に基づいて前記チャプタのサムネイルを生成する、
請求項９ないし１１のいずれか１項に記載の映像コンテンツ処理装置。
【請求項１３】
前記映像コンテンツ処理装置は、前記シーン判定部が検出した前記類似のシーンとそれ以外のシーンとが前記複数のチャプタで区切られるように前記複数のチャプタを設定するチャプタ設定部をさらに備える、
請求項１ないし１２のいずれかに記載の映像コンテンツ処理装置。
【請求項１４】
前記映像コンテンツ処理装置は、録画したテレビ番組を前記映像コンテンツとして格納する映像コンテンツ格納部をさらに備える録画装置である、
請求項１ないし１３のいずれかに記載の映像コンテンツ処理装置。
【請求項１５】
映像コンテンツにおいて、前記映像コンテンツ内のシーンの特徴量が所定値以上一致する２つ以上のシーンを類似のシーンとして検出するステップと、
前記映像コンテンツを分割する複数のチャプタについて、前記チャプタに含まれるシーン内の画像を抽出し、前記画像に基づいて前記チャプタのサムネイルを生成するステップと、を備え、
前記チャプタに前記類似のシーンが含まれる場合には、前記チャプタに含まれる前記類似のシーンから、文字、記号又は重畳された画像の少なくともいずれかが含まれる領域が表示される画像を抽出し、前記領域が強調して表示されるように前記画像を加工処理した画像に基づいて、前記チャプタの前記サムネイルを生成する、
映像コンテンツ処理装置における映像コンテンツ処理方法。
【請求項１６】
請求項１５に記載の映像コンテンツ処理方法を映像コンテンツ処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツ処理装置、映像コンテンツ処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、録画再生装置の中には、録画したテレビ番組の各シーンに対応するサムネイル画像（以下、サムネイル画像を単にサムネイルと記載）を生成するものがある。視聴者は、番組再生の際にサムネイルを閲覧することにより、番組中の所望のシーンを早く検索することができる。
【０００３】
例えば、特許文献１の表示装置は、文字列が含まれるフレームのみを縮小してサムネイルを生成することにより、生成する全てのサムネイルを、文字列が含まれる画像にしている。
【０００４】
また、特許文献２には、動画コンテンツにおいて人物の顔、文字、ロゴ等の特徴的な画像を抽出し、抽出した画像の位置（時間）のサムネイルを取得する再生装置が開示されている。
【０００５】
他の関連技術として、特許文献３には、ＴＶ放送の画面における文字情報領域（例えば文字テロップ）を拡大して、その画面上に重畳表示する画面拡大装置が開示されている。特許文献４には、画面上におけるキャプションや字幕などの文字部分を切り出してスケーリングし、スケーリング後の当該文字部分を別途スケーリングした原画像上に多重化する映像変換装置が開示されている。特許文献５には、録画のメディア登録情報のスクリーン表示において、視聴者が選択した項目を不透明な領域で表示するビデオ録画再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２０１８１５号公報
【特許文献２】特許４５３９８８４号公報
【特許文献３】特開２００６−２１１２０７号公報
【特許文献４】特開２００３−２５９２１５号公報
【特許文献５】米国特許公開２００４／０２８３８０号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
録画再生装置が生成するサムネイルの大きさは、原画像の大きさに比較すると小さい。そのため、特許文献１及び２にかかる技術により生成されたサムネイルに表示される文字は、現画像に表示される文字と比較して小さくなる。従って、視聴者がサムネイルを閲覧する際に文字列の内容を現実的に視認し辛くなってしまうため、視聴者は、サムネイルにかかるシーンの内容を明確に理解できなくなるという課題があった。
【０００８】
本発明は、このような問題点を解決するためになされたものであり、シーンの内容を視聴者に明確に伝達可能なサムネイルを生成する映像コンテンツ処理装置、映像コンテンツ処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様にかかる映像コンテンツ処理装置は、シーン判定部と、サムネイル生成部を備える。シーン判定部は、映像コンテンツにおいて、前記映像コンテンツ内のシーンの特徴量が所定値以上一致する２つ以上のシーンを類似のシーンとして検出する。サムネイル生成部は、前記映像コンテンツを分割する複数のチャプタについて、前記チャプタに含まれるシーン内の画像を抽出し、前記画像に基づいて前記チャプタのサムネイルを生成する。ここでサムネイル生成部は、前記チャプタに前記類似のシーンが含まれる場合に、前記チャプタに含まれる前記類似のシーンから、文字、記号又は重畳された画像の少なくともいずれかが含まれる領域が表示される画像を抽出し、前記領域が強調して表示されるように前記画像を加工処理した画像に基づいて前記チャプタのサムネイルを生成する。
【００１０】
本発明の第２の態様にかかる映像コンテンツ処理方法は、映像コンテンツ処理装置における映像コンテンツ処理方法である。この映像コンテンツ処理方法は、以下のステップ（ａ）〜（ｂ）を備える。
（ａ）映像コンテンツにおいて、前記映像コンテンツ内のシーンの特徴量が所定値以上一致する２つ以上のシーンを類似のシーンとして検出するステップ、及び
（ｂ）前記映像コンテンツを分割する複数のチャプタについて、前記チャプタに含まれるシーン内の画像を抽出し、前記画像に基づいて前記チャプタのサムネイルを生成するステップ。ここで、前記チャプタに前記類似のシーンが含まれる場合には、映像コンテンツ処理装置は、前記チャプタに含まれる前記類似のシーンから、文字、記号又は重畳された画像の少なくともいずれかが含まれる領域が表示される画像を抽出し、前記領域が強調して表示されるように前記画像を加工処理した画像に基づいて、前記チャプタの前記サムネイルを生成する。
【００１１】
本発明の第３の態様にかかるプログラムは、本発明の第２の態様にかかる映像コンテンツ処理方法を映像コンテンツ処理装置に実行させるものである。
【発明の効果】
【００１２】
本発明により、シーンの内容を視聴者に明確に伝達可能なサムネイルを生成する映像コンテンツ処理装置、映像コンテンツ処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１にかかる映像コンテンツ処理装置の一例を示すブロック図である。
【図２】実施の形態１にかかる映像コンテンツ処理装置の処理方法の一例を示すフローチャートである。
【図３】実施の形態２にかかる録画再生装置の一例を示すブロック図である。
【図４】実施の形態２にかかるニュース番組における、カットポイントとチャプタポイントとサムネイルの生成例が示されている。
【図５Ａ】実施の形態２において、メインシーンの冒頭においてテロップが表示されている画像の一例である。
【図５Ｂ】図５Ａの画像を加工処理した画像を示している。
【図６Ａ】実施の形態２において、メインシーンの冒頭においてテロップが表示されている画像の他の例である。
【図６Ｂ】図６Ａの画像を加工処理した画像を示している。
【図７】実施の形態２にかかるサムネイルのテレビ画面上での表示例である。
【図８】実施の形態２にかかるサムネイル生成部がニュース番組の時間順に各チャプタのサムネイルを生成する処理の一例を示すフローチャートである。
【図９Ａ】実施の形態２において、非メインシーンにおいて人物の顔が表示されている画像の一例である。
【図９Ｂ】図９Ａの画像を加工処理した画像を示している。
【発明を実施するための形態】
【００１４】
[実施の形態１]
以下、図面を参照して本発明の実施の形態１について説明する。図１に示す通り、実施の形態１にかかる映像コンテンツ処理装置１０は、シーン判定部１１とサムネイル生成部１２を備える。映像コンテンツ処理装置１０は、例えばテレビ番組の録画再生装置、インターネットにおいて映像コンテンツを配信するコンテンツ配信サーバといったコンピュータである。映像コンテンツ処理装置１０は、テレビ番組、映画、インターネット放送等の映像コンテンツに関して、サムネイルを生成する。
【００１５】
映像コンテンツは、その内容に応じて、複数のチャプタ（内容単位）に分割される。映像コンテンツは、例えばシーンの切り替えに応じて、複数のチャプタに分割することができる。ここで、映像コンテンツを分割するチャプタは、映像コンテンツ処理装置１０内に設けられたチャプタ設定部により設定されてもよいし、映像コンテンツ処理装置１０以外の装置で設定されてもよい。また、チャプタに含まれるシーンは、１つであってもよいし、複数であってもよい。
【００１６】
シーン判定部１１は、映像コンテンツにおいて、映像コンテンツ内のシーンの特徴量が所定値以上一致する２つ以上のシーンを類似のシーンとして検出する。ここで、シーンの特徴量は、シーンがどのようなシーンであるかを特徴付ける情報量であり、例えば、映像コンテンツにおいて所定の回数又は所定の時間以上出現する特定の人物の顔情報、画像の構図情報又は特定の背景情報を含む。
【００１７】
特定の人物の顔情報は、映像コンテンツ中における進行役の人物（換言すれば、トピックを視聴者やゲストに提示する人物）の顔情報が一例として示される。特定の人物の顔情報は、映像コンテンツがニュース番組であればニュースキャスターの顔情報であり、映像コンテンツがトークショーやバラエティショーであれば司会者の顔情報である。
【００１８】
例えば、映像コンテンツ内において、特定の人物の顔が出現するシーンが２つあった場合に、シーン判定部１１は、人物の顔情報（２つのシーンの特徴量）が所定値以上一致すると判定する。この所定値は、例えば顔の色情報における一致率である。例えば、２つのシーンに映る顔が異なる向きであったとしても、両方のシーンとも特定の人物の顔が映るシーンである場合には、シーン判定部１１は、２つのシーンの特徴量が所定値以上一致すると判定する。なお、異なる人物の顔が出現する２つのシーンがあるような場合に、シーン判定部１１は、その２つのシーンの特徴量の一致度は所定値未満と判定する。この所定値は、特定の人物の顔が出現するシーンを判定可能な閾値である。
【００１９】
画像の構図情報は、例えば映像コンテンツにおける人物の配置を示した情報である。構図情報は、例えば、正面を向いた１人又は２人（少数）の人物の上半身が映された構図であってもよいし、少数の人物の全身が映された構図であってもよい。ここで、少数の人物は、画面の縦中央の領域に位置している。また、少数の人物は、画面の横方向において、端を除いた中心又は中心近くの領域に位置していてもよい。
【００２０】
例えば、映像コンテンツ内において、特定の画像の構図が出現するシーンが２つあった場合に、シーン判定部１１は、その２つのシーンの特徴量が所定値以上一致すると判定する。この所定値は、例えば構図の色情報における一致率である。なお、異なる画像の構図が出現する２つのシーンがあるような場合に、シーン判定部１１は、その２つのシーンの特徴量の一致度は所定値未満と判定する。この所定値は、特定の画像の構図が出現するシーンを判定可能な閾値である。
【００２１】
特定の背景情報は、画面に登場する人物の背景についての情報である。背景情報は、例えば、背景が特定のスタジオや屋外の場所であることを示す色情報であってもよい。
【００２２】
例えば、映像コンテンツ内において、特定の背景が出現するシーンが２つあった場合に、シーン判定部１１は、その２つのシーンの特徴量が所定値以上一致すると判定する。この所定値は、例えば背景の色情報における一致率である。このとき、２つのシーンにおいて特定の背景が占める領域の割合が多少異なっていても、シーン判定部１１は、その２つのシーンの特徴量が所定値以上一致すると判定する。なお、異なる背景が出現する２つのシーンがあるような場合に、シーン判定部１１は、その２つのシーンの特徴量の一致度は所定値未満と判定する。
【００２３】
以上のシーンの特徴量は、例えば、ニュースキャスターや司会者がトピックを視聴者に提示する際に画面に現れる特徴量である。なお、シーンの特徴量は、特定の人物の顔情報、画像の構図情報又は特定の背景情報のいずれか１つが含まれてもよいし、２つ以上の情報が含まれてもよい。また、シーンの特徴量はこれらの具体例に限定されるものではない。このようなシーンの特徴量は、特定のシーンの特徴量として、例えば映像コンテンツ処理装置１０の図示せぬ記憶部に予め記憶することができる。
【００２４】
サムネイル生成部１２は、映像コンテンツのチャプタにおけるシーン内の画像を抽出し、その画像に基づいて、チャプタのサムネイルを生成する。サムネイルは、映像コンテンツの原画像よりも縮小された画像である。このサムネイルを全てのチャプタについて生成することにより、視聴者は、各チャプタにどのような内容が映し出されているかを、サムネイルを視認することで確認できる。なお、サムネイルは、１つのチャプタについて、１又は複数生成される。
【００２５】
ここで、サムネイル生成部１２は、サムネイル生成対象となるチャプタに含まれるシーンが類似のシーンである場合に、そのシーンにおいて、文字、記号又は重畳された（スーパーインポーズされた）画像の少なくともいずれかが含まれる領域（以下、文字等の表示領域と記載）が存在する画像を抽出する。ここでサムネイル生成部１２は、公知の画像認識技術（例えばパターン認識技術）を用いて、シーン中の画像において、文字、記号又は重畳された画像の少なくともいずれかが含まれる領域の存在を判定する。
【００２６】
ここで、文字は、シーン中においてボードやディスプレイに表示されている文字であってもよいし、画面にスーパーインポーズされたテロップ中の文字であってもよい。記号は、ロゴ、図案化された文字等を含むものである。重畳された画像には、背景画像（例えばスタジオが映っている画像）に重畳される写真やコンピュータで生成されたイメージが含まれる。映像コンテンツがニュース番組である場合、重畳された画像には、ニュースのトピックを示すロゴや記号等が表示されることもある。背景画像にこのような画像が重畳された画像が、映像コンテンツにおいて実際に表示される画像となる。
【００２７】
サムネイル生成部１２は、文字等の表示領域が存在する画像を抽出後、抽出した画像においてその領域が強調して表示されるようにその画像を加工処理する。そして、加工処理後の画像をサムネイルとして設定する。
【００２８】
なお、様々な処理を行う機能ブロックとして図１に記載された映像コンテンツ処理装置１０の各要素は、ハードウェア的には、メモリやその他のＩＣ（Integrated Circuit）等の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラム等を用いて実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せを用いていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。実施の形態２における録画再生装置においても同様である。
【００２９】
以下、映像コンテンツ処理装置１０の処理方法の一例について、図２を参照して説明する。
【００３０】
まず、シーン判定部１１は、映像コンテンツにおいて、第１のチャプタに含まれる第１のシーンの特徴量と、記憶部に記憶された特定のシーンの特徴量とが、所定の閾値以上で一致するか否かを判定する。換言すれば、シーン判定部１１は、第１のシーンと特定のシーンとが類似であるか否かを判定している。
【００３１】
所定の閾値以上一致した場合に、シーン判定部１１は、第１のシーンが類似のシーンであることを判定する。シーン判定部１１は、第２のチャプタに含まれるシーンの特徴量と、記憶部に記憶された特定のシーンの特徴量とが、所定の閾値以上一致するか否かを判定し、所定の閾値以上一致した場合に、第２のシーンが類似のシーンであることを判定する。このとき、シーン判定部１１は、第１のシーンと第２のシーンとが類似であると判定する。換言すれば、第１のシーンの特徴量と第２のシーンの特徴量とは所定値以上一致するといえる。シーン判定部１１は、映像コンテンツの一部又は全部のチャプタのシーンにおいて、同様の判定を行う。
【００３２】
このようにして、シーン判定部１１は、シーンの特徴量が所定値以上一致する２つ以上シーンを、類似のシーンとして映像コンテンツ内で検出する（ステップＳ１１）。
【００３３】
サムネイル生成部１２は、シーン判定部１１が映像コンテンツにおける類似のシーンを検出後、サムネイル生成対象となるチャプタに含まれるシーンが、その類似のシーンであるか否かを判定する（ステップＳ１２）。
【００３４】
対象のチャプタに類似のシーンが含まれる場合（ステップＳ１２のＹｅｓ）、サムネイル生成部１２は、そのシーンにおいて、文字等の表示領域が存在する画像を抽出する。そして、その画像においてその領域が強調して表示されるように画像を加工処理し、加工処理後の画像を縮小したものをサムネイルに設定する（ステップＳ１３）。
【００３５】
対象のチャプタには類似のシーンが含まれない場合（ステップＳ１２のＮｏ）、サムネイル生成部１２は、対象のチャプタにおけるシーンから画面を抽出し、その画面を縮小したものを、対象のチャプタにおけるサムネイルに設定する。つまり、サムネイル生成部１２は、シーン内の画像中の領域について加工処理を行わない状態で、その画像をサムネイルに設定する（ステップＳ１４）。以上のようにして、サムネイル生成部１２は、チャプタにおけるサムネイルを生成する。
【００３６】
まとめると、シーン判定部１１は、映像コンテンツにおいて複数現れる類似のシーンを判定し、サムネイル生成部１２は、生成対象のチャプタに含まれるシーンがその類似するシーンである場合に、文字等の表示領域が強調されるようなサムネイルを生成する。複数の類似するシーンが現れる映像コンテンツでは、その類似するシーンにおいて、その類似するシーン以降のシーンで話される内容の概略（トピック）が表示される場合が多い。例えば、ニュース番組では、ニュースキャスターが登場するシーン（類似するシーン）において、ニュースの概略が字幕テロップやロゴ等で表示される。
【００３７】
本実施形態にかかる映像コンテンツ処理装置において、視聴者は、トピックが強調して表示されるサムネイルを見ることができるため、シーンの内容を明確に理解することができる。また、サムネイルでトピックが表示されているため、単なる文字情報でトピックを表示する場合と比較して、映像コンテンツ処理装置１０は、視聴者に対して訴求力高く映像コンテンツのトピックの表示を行うことができる。
【００３８】
さらに、サムネイル生成部１２は、生成対象のチャプタに類似するシーンが含まれない場合、文字等の表示領域が強調されるような加工処理を行わない。このため、視聴者は、トピック部分のみが強調して表示されるサムネイルを視認するため、トピック以外の文字表示等をトピックと混同することがない。
【００３９】
また、映像コンテンツ処理装置１０には、映像コンテンツ内において２回以上出現する特定のシーンの特徴量を予め記憶した記憶部が設けられている。シーン判定部１１は、映像コンテンツ内のシーンの特徴量と、この記憶部に記憶された特定のシーンの特徴量とを比較することにより、類似のシーンを映像コンテンツ内で検出することができる。このため、映像コンテンツにおいて各シーンの比較を行うことで類似のシーンを検出する場合と比較して、映像コンテンツ処理装置１０は、類似のシーンの検出をより早く実行することができる。
【００４０】
また、類似のシーンを判定するための特徴量として、特定の人物の顔情報、画像の構図情報又は特定の背景情報の少なくともいずれかを用いることもできる。このとき、サムネイル生成部１２は、サムネイル生成対象となるチャプタに含まれるシーンが類似のシーンである場合に、文字等の表示領域が存在するとともに、特定の人物、人物の特定の配置又は特定の背景が出現するシーンの画像を画像として抽出する。
【００４１】
以上に示した実施の形態１にかかる映像コンテンツ処理装置１０の処理は、適宜変更することができる。例えば、ステップＳ１２の処理は、サムネイル生成部１２ではなく、シーン判定部１１が実行してもよい。また、サムネイル生成部１２は、生成対象のチャプタに類似するシーンが含まれない場合、文字等の表示領域が強調されるような加工処理以外の加工処理を画像に施してもよい。
【００４２】
また、判定に用いるシーンの特徴量は、映像コンテンツ処理装置１０の記憶部に記憶されていなくともよい。例えば、シーン判定部１１は、映像コンテンツを解析して、映像コンテンツ内の２つ以上のシーンに共通する所定値以上の特徴量を検出してもよい。シーン判定部１１は、検出した所定値以上の特徴量を含むシーンを、前記類似のシーンとして検出する。つまり、シーン判定部１１は、映像コンテンツ内のシーンを実際に比較した上で類似のシーンを検出する。これによって、映像コンテンツ処理装置１０は、類似のシーンを判定するための特徴量が予め記憶されていない状態であっても、類似のシーンにおいて文字等を強調した画像のサムネイルを生成することができる。
【００４３】
[実施の形態２]
以下、図面を参照して本発明の実施の形態２について説明する。実施の形態２では、実施の形態１において説明した映像コンテンツ処理装置の具体例について説明する。
【００４４】
図３に示す通り、実施の形態２にかかる録画再生装置２０は、映像コンテンツ記憶部２１と特徴量記憶部２２とシーン判定／チャプタ設定部２３とサムネイル生成部２４を備える。
【００４５】
映像コンテンツ記憶部２１には、視聴者の操作によって録画された映像コンテンツとして、ニュース番組が記憶されている。映像コンテンツ記憶部２１は、例えばＨＤＤ（Hard Disk Drive）で構成されている。特徴量記憶部２２には、ニュース番組においてニュースキャスターが画面に現れるシーン（以下、メインシーンと記載）を識別するための特徴量が記憶されている。メインシーンは、実施の形態１における類似のシーンに対応する。特徴量は、ニュースキャスターの顔情報、ニュースキャスターが画面所定の位置にいることを示す構図情報、又はニュースを報道するスタジオを示す背景情報の少なくともいずれか１つを含む。例えば、ニュースキャスターのクローズアップシーンがメインシーンである場合、構図情報は、ニュースキャスターが画面中央、又は画面中央から右若しくは左側に少しずれた領域に位置している構図を示していてもよい。また、構図情報には、ニュースキャスターの位置情報だけでなく、背景色の情報も含まれていてもよい。
【００４６】
シーン判定／チャプタ設定部２３は、映像コンテンツ記憶部２１に記憶されたニュース番組におけるシーンの特徴量を抽出することにより、シーンの切り替えを判定して、シーンの切り替え箇所にカットポイントを設定する。また、シーン判定／チャプタ設定部２３は、カットポイントで定義された各シーンがメインシーンか非メインシーンかを判定する。この非メインシーンは、ニュース番組における録画映像や中継映像等、ニュースキャスターが登場しないシーンをいう。また、シーン判定／チャプタ設定部２３は、判定対象シーンがメインシーンと判定した場合に、メインシーンと非メインシーンの区切りの箇所にチャプタポイントを設定する。このようにして、シーン判定／チャプタ設定部２３はチャプタを設定する。
【００４７】
サムネイル生成部２４は、映像コンテンツ記憶部２１に記憶されたニュース番組において、各チャプタにおけるシーン内の画像を抽出することにより、各チャプタについて１つのサムネイルを生成する。このサムネイルは、映像コンテンツ記憶部２１に記憶された映像コンテンツを再生する際に、録画再生装置２０が、録画再生装置２０と接続されたテレビに映し出す画像である。ここで、サムネイル生成部２４は、シーン判定／チャプタ設定部２３が実行したシーン判定の結果に基づいて、サムネイルの生成方法を変更する。
【００４８】
図４には、映像コンテンツ記憶部２１に記憶されたニュース番組における、カットポイントとチャプタポイントとサムネイルの生成例が示されている。図４を参照して、シーン判定／チャプタ設定部２３とサムネイル生成部２４の処理の詳細について説明する。
【００４９】
ニュース番組において、ニュースの各トピック（ニュース＃１、ニュース＃２、・・・）のシーンは、ニュースキャスターが現れるメインシーンとそれ以外の非メインシーンで構成される。例えばニュース＃１の全体シーンは、メインシーン１、非メインシーン１、メインシーン２（図４では、メイン１、非メイン１、メイン２と記載）の３つのシーンで構成されている。同様に、ニュース＃２の全体シーンは、メインシーン３、非メインシーン２、メインシーン４（図４では、メイン３、非メイン２、メイン４と記載）の３つのシーンで構成されている。
【００５０】
シーン判定／チャプタ設定部２３は、ニュース番組におけるシーンの特徴量を抽出することにより、ニュース番組のシーンの切り替えを判定して、シーンの切り替え箇所にカットポイントを設定する。このカットポイントは、図４において黒三角で示されている。なお、非メインシーン１及び２においては、その中でもシーンの切り替えが生ずるので、メインシーンとの区切りの箇所以外の場所にもカットポイントが設定される。
【００５１】
次に、シーン判定／チャプタ設定部２３は、カットポイントで定義された各シーンについて、シーンの特徴量と特徴量記憶部２２に記憶された特徴量とが所定の閾値以上一致するか否かを判定する。判定対象シーンの特徴量が記憶された特徴量と所定の閾値以上一致する場合には、シーン判定／チャプタ設定部２３は、判定対象シーンがメインシーンと判定する。また、判定対象シーンの特徴量と記憶された特徴量との一致が所定の閾値未満である場合には、判定対象シーンが非メインシーンと判定する。
【００５２】
シーン判定／チャプタ設定部２３は、以上のようにしてメインシーンと非メインシーンを識別し、メインシーンと非メインシーンの区切りの箇所にチャプタポイントを設定する。以上のようにして設定されたチャプタポイントは、図４において、メインシーン１と非メインシーン１との間、非メインシーン１とメインシーン２との間、メインシーン３と非メインシーン２との間、非メインシーン２とメインシーン４との間にそれぞれ設けられている。これらのチャプタポイントは、図４において白三角で示されている。
【００５３】
また、シーン判定／チャプタ設定部２３は、同じメインシーン内においてシーンが切り替わる箇所がある場合には、その切り替わる箇所においてチャプタポイントを設定する。シーンが切り替わるとは、ニュースキャスターが今まで話していたニュースを終了し、次のニュースを読み上げることをいう。この切り替えは、例えば画面上において新たに文字等の表示領域が表示されることにより、検出できる。そのため、図４では、メインシーン２とメインシーン３との間にチャプタポイントが設定されている。
【００５４】
シーン判定／チャプタ設定部２３は、以上のようにして複数のチャプタを設定する。図４では、メインシーン１を含むチャプタをチャプタ１、非メインシーン１を含むチャプタをチャプタ２、メインシーン２を含むチャプタをチャプタ３、メインシーン３を含むチャプタをチャプタ４、非メインシーン２を含むチャプタをチャプタ５、メインシーン４を含むチャプタをチャプタ６としている。なお、シーン判定／チャプタ設定部２３は、設定した各チャプタについて、その各チャプタにメインシーンが含まれるか否かのチャプタ情報を、シーン判定／チャプタ設定部２３内部の記憶部に格納する。
【００５５】
そして、サムネイル生成部２４は、ニュース番組において、シーン判定／チャプタ設定部２３が設定した各チャプタにおけるシーン内の画像を抽出することにより、各チャプタのサムネイルを生成する。ここで、サムネイル生成部２４は、シーン判定／チャプタ設定部２３内部の記憶部に格納されたチャプタ情報に基づき、サムネイル生成対象となるチャプタにメインシーンが含まれるか否かを判定する。
【００５６】
サムネイル生成対象のチャプタにメインシーンが含まれていると判定される場合、サムネイル生成部２４は、メインシーン冒頭における文字等の表示領域において、その領域が強調して表示されるようにその画像を加工処理する。文字等の表示領域の具体例については、実施の形態１で示した通りである。図４では、チャプタ１、チャプタ３、チャプタ４、チャプタ６の冒頭の画像であって、文字等の表示領域が含まれる画像をサムネイル生成部２４は抽出している。そして、抽出した画像の加工処理を行い、加工処理後の画像をサムネイルに設定する。図４では、チャプタ１、チャプタ３、チャプタ４、チャプタ６の各チャプタについて作成されたサムネイルが白四角で示されている。
【００５７】
ここで、サムネイル生成部２４は、メインシーン冒頭においてニュースキャスターが映っている画面を検出し、その画面から時間が経過して最初に文字等の表示領域が現れた画面を抽出する。つまり、サムネイル生成部２４は、メインシーンにおいて最初に文字等の表示領域が現れた画面を抽出する。これは、メインシーンにおいて最初に現れる文字等の表示領域が、そのメインシーンにおけるニュースのトピックを伝えるものであると考えられるからである。
【００５８】
以下、例を挙げて、サムネイル生成部２４が実行する加工処理の詳細について説明する。図５Ａは、メインシーンの冒頭においてテロップが表示されている画像の一例である。サムネイル生成部２４は、この画像Ｐ１のテロップ領域Ｔ１を文字等の表示領域として抽出する。そして、抽出したテロップ領域Ｔ１を画像の縦方向（図５Ａにおける上下方向）及び横方向（図５Ａにおける左右方向）に拡大して、原画像に重畳する。さらに、サムネイル生成部２４は、拡大されたテロップ領域Ｔ１（テロップ領域Ｔ１’）以外の領域（ニュースキャスター、背景等が映っている領域）に半透明のフィルタをかける処理を実行する。
【００５９】
図５Ｂは、加工処理後の画像Ｐ１を示している。この画像Ｐ１では、テロップ領域Ｔ１が拡大されてテロップ領域Ｔ１’となっているとともに、テロップ領域Ｔ１’以外の領域の明度及び輝度が暗くなっている。そのため、テロップ領域Ｔ１’が強調されて見やすくなっている。この画像Ｐ１を縮小することにより、サムネイル生成部２４はサムネイルを生成する。なお、テロップ領域Ｔ１’は、画像Ｐ１の中央領域に重畳されている。
【００６０】
図６Ａは、メインシーンの冒頭においてテロップが表示されている画像の他の例である。サムネイル生成部２４は、この画像Ｐ２のテロップ領域Ｔ２及び重畳された画像の領域（重畳画像領域）Ｃ１を文字等の表示領域として抽出する。そして、抽出したテロップ領域Ｔ２及び重畳画像領域Ｃ１を縦方向及び横方向に拡大して、原画像に重畳する。さらに、サムネイル生成部２４は、拡大されたテロップ領域Ｔ２（テロップ領域Ｔ２’）及び重畳画像領域Ｃ１（重畳画像領域Ｃ１’）以外の領域（ニュースキャスター、背景等が映っている領域）に半透明のフィルタをかける処理を実行する。
【００６１】
図６Ｂは、加工処理後の画像Ｐ２を示している。画像Ｐ２においても、画像Ｐ１と同様の理由で、テロップ領域Ｔ２’及び重畳画像領域Ｃ１’が強調されて見やすくなっている。この画像Ｐ２を縮小することにより、サムネイル生成部２４はサムネイルを生成する。なお、テロップ領域Ｔ２は、図６Ｂにおいて画像Ｐ２の下段領域に重畳されており、重畳画像領域Ｃ１は、画像Ｐ２の左側の上部〜中央領域に重畳されている。これらの領域は、拡大前のテロップ領域Ｔ２及び重畳画像領域Ｃ１が画像Ｐ２上に配置されていた領域である。拡大されたテロップ領域Ｔ２’と重畳画像領域Ｃ１’とは、離れた位置で重畳されている。
【００６２】
以上の例では、文字等の表示領域が画面に１つだけある場合と画面に複数ある場合とでは、文字等の表示領域の拡大方法を変更している。図５Ａ、図５Ｂに示すように、文字等の表示領域が画面に１つだけある場合には、サムネイル生成部２４は、拡大した文字等の表示領域を画面中央に表示させている。これは、生成されたサムネイルを視聴者が見る際に、拡大した文字等の表示領域が画面端にある場合と比較して、文字等の表示領域を視聴者がより見やすくできるためである。
【００６３】
これに対し、図６Ａ、図６Ｂに示すように、文字等の表示領域が画面に複数ある場合には、サムネイル生成部２４は、拡大した複数の文字等の表示領域を、それぞれが重ならないような位置に配置している。また、サムネイル生成部２４は、それぞれの文字等の表示領域を拡大する際にも、他の文字等の表示領域と重ならない大きさになるように、それぞれの文字等の表示領域の拡大率を調整している。このように、複数の文字等の表示領域が重ならないため、生成されたサムネイルを視聴者が見る際に、全ての文字等の表示領域について、欠けがない状態で見ることができる。つまり、視聴者はサムネイルを見たときに、ニュースのトピックを漏れがなく見ることができる。
【００６４】
なお、サムネイル生成部２４は、テロップ領域Ｔ１を画面の横幅一杯に最大限拡大して、テロップ領域Ｔ１の左右端を画面の左右端と揃えるように、テロップ領域Ｔ１を画面に重畳してもよい。
【００６５】
また、サムネイル生成部２４は、テロップ領域Ｔ１における文字部分を検出し、その文字部分が画面の横幅一杯に最大限拡大されるようにテロップ領域Ｔ１を拡大してもよい。ここで、サムネイル生成部２４は、テロップ領域Ｔ１の文字部分が画面から欠けないよう、文字部分の左右端を画面の左右端と揃えるように、テロップ領域Ｔ１を画面に重畳してもよい。テロップ領域Ｔ２においても、同様の処理が可能である。
【００６６】
図４に戻り、チャプタ１、チャプタ３、チャプタ４、チャプタ６以外のチャプタにおけるサムネイルの生成処理について説明する。サムネイル生成対象のチャプタにメインシーンが含まれていないと判定される場合、サムネイル生成部２４は、チャプタ内のシーン（非メインシーン）冒頭の画像を抽出して、その画像を縮小することにより、サムネイルを生成する。図４では、チャプタ２、チャプタ５について作成されたサムネイルが黒四角で示されている。このように、サムネイル生成部２４は、シーン判定により識別されたシーン分類に応じてサムネイルの生成方法を変更する。
【００６７】
図７は、以上のようにして生成されたサムネイルのテレビ画面上での表示例である。図７に示す通り、画像Ｐ１、Ｐ２はメインシーンを示すサムネイルである。そのため、画像Ｐ１及びＰ２における文字等の表示領域が拡大されている。拡大された文字等の表示領域は、画像Ｐ１ではテロップ領域Ｔ１’、画像Ｐ２ではテロップ領域Ｔ２’及び重畳画像領域Ｃ１’である。これに対し、画像Ｐ３、Ｐ４は非メインシーンを示すサムネイルである。そのため、画像Ｐ３、Ｐ４では文字等の表示領域を拡大する処理はなされていない。例えば、画像Ｐ３にはテロップ領域Ｔ３が映し出されているものの、テロップ領域Ｔ３はサムネイルの縮小処理に応じて縮小されており、拡大されていない。なお、視聴者は、図７のように表示された複数のサムネイルのうち１つを選択することで、選択されたサムネイルに対応したチャプタをテレビで再生させることができる。
【００６８】
次に、図８を参照して、サムネイル生成部２４がニュース番組の時間順に各チャプタのサムネイルを生成する処理を説明する。
【００６９】
まず、サムネイル生成部２４は、ニュース番組において設定されたチャプタポイントを読み込む（ステップＳ２１）。サムネイル生成部２４がニュース番組において初めてサムネイルを生成する場合には、サムネイル生成部２４は、最も先頭の（時間が早い）チャプタポイントを読み込む。
【００７０】
次に、サムネイル生成部２４は、読み込んだチャプタポイントにかかるチャプタ（サムネイル生成対象チャプタ）がメインシーンを含むか否かを判定する（ステップＳ２２）。この判定は、シーン判定／チャプタ設定部２３内部の記憶部に格納されたチャプタ情報に基づいて実行される。
【００７１】
サムネイル生成対象チャプタがメインシーンを含む場合（ステップＳ２２のＹｅｓ）、サムネイル生成部２４は、文字等の表示領域が含まれる画像をメインシーンから抽出し、文字等の表示領域が強調されるように加工処理を行った画像をサムネイルに設定する（ステップＳ２３）。この処理の詳細については上述の通りである。
【００７２】
サムネイル生成対象チャプタがメインシーンを含まない場合（ステップＳ２２のＮｏ）、サムネイル生成部２４は、チャプタ内の非メインシーン冒頭の画像を抽出して、その画像を縮小することにより、サムネイルを生成する。換言すれば、サムネイル生成部２４は、通常のサムネイル作成処理を行う（ステップＳ２４）。
【００７３】
サムネイル生成部２４がサムネイルを生成した後、サムネイル生成部２４は、ニュース番組内に次のチャプタがあるか否か（即ち、サムネイルが未設定のチャプタがあるか否か）を判定する（ステップＳ２５）。ニュース番組内に次のチャプタがある場合（ステップＳ２５のＹｅｓ）、サムネイル生成部２４は、次のチャプタのチャプタポイントを読み込む（ステップＳ２１）。以降、サムネイル生成部２４は、ループして上述の処理を繰りかえす。ニュース番組内に次のチャプタがない場合（ステップＳ２５のＮｏ）、サムネイル生成部２４は処理を終了する。
【００７４】
以上のようにして、録画再生装置２０は、チャプタに含まれるシーンがメインシーンである場合に、そのチャプタのサムネイルを、文字等の表示領域が強調して表示されるように生成する。このため、サムネイルの視聴者は、メインシーンの内容を明確に理解することができる。
【００７５】
具体的には、サムネイル生成に用いる画像において文字等の表示領域を拡大させることにより、サムネイルになっても文字等の表示領域を視聴者にとって見やすくすることができる。また、サムネイル生成に用いる画像において文字等の表示領域以外の領域に半透明のフィルタをかける処理を行うことで、文字等の表示領域を視聴者にとってより見やすくすることができる。文字等の表示領域はニュースの内容を表示しているものであるため、視聴者にとって重要な情報である。一方、文字等の表示領域以外の領域（例えばニュースキャスターが映っている領域）は、ニュースの内容を示しているものではないため、サムネイルで表示する必要はない。むしろ、この領域が映っていることにより、視聴者にとって文字等の表示領域が見えにくくなることが想定される。これが、上述の処理を行っている理由である。
【００７６】
なお、サムネイル生成部２４は、サムネイル生成に用いる画像において検出した文字等の表示領域において、その領域のみの輝度を上げる加工処理を行ってもよい。そして、サムネイル生成部２４は、加工処理後の画像に基づいてサムネイルを生成する。このようにしても、文字等の表示領域を視聴者にとって見やすくすることができる。なお、サムネイル生成部２４は、この処理を、この処理単体だけで実行してもよいし、文字等の表示領域を拡大する処理と並行に行ってもよい。
【００７７】
また、サムネイル生成部２４は、サムネイル生成に用いる画像における文字等の表示領域以外の領域において、不透明のフィルタをかける処理を実行してもよいし、灰色や黒色で塗りつぶす処理を実行してもよい。さらに、サムネイル生成部２４は、文字等の表示領域以外の領域の輝度を下げる処理を実行してもよい。このように、サムネイル生成部２４は、画像中の文字等の表示領域以外の領域の透明度、輝度又は明度の少なくともいずれかを下げた画像を生成し、その加工処理後の画像を縮小することによりサムネイルを生成してもよい。以上の処理を実行しても、文字等の表示領域を視聴者にとって見やすくすることができる。
【００７８】
実施の形態２において、サムネイル生成部２４は、メインシーンにおいて最初に文字等の表示領域が現れた画面を、サムネイル生成に用いる画像として抽出することができる。これにより、メインシーンにおけるニュースのトピックが表示された画像を、より確実にサムネイル化できる。
【００７９】
なお、サムネイル生成部２４は、ニュース番組冒頭のメインシーンにおいては、最初に文字等の表示領域が現れた画面ではなく、２番目に文字等の表示領域が現れた画面を、サムネイル生成に用いる画像として抽出してもよい。ニュース番組の中には、ニュース番組冒頭のメインシーンにおいて、最初にニュースキャスターの紹介が記載されたテロップが現れ、次に現れるテロップにニュースのトピックが記載される場合がある。この場合、ニュース番組冒頭のメインシーンでは、２番目に表示されるテロップが表示される画像に基づいてサムネイルを生成することにより、ユーザにニュースのトピックを適切に伝えることができる。なお、ニュース番組の中には、ニュース番組冒頭のメインシーンにおいて、３番目以降に表示されるテロップにニュースのトピックが記載されていることも考えられる。この場合、ニュース番組冒頭のメインシーンでは、３番目以降に表示されるテロップが表示される画像に基づいてサムネイルを生成してもよい。
【００８０】
実施の形態２において、シーン判定／チャプタ設定部２３は、シーン判定において識別したメインシーンとそれ以外のシーンとが分割するようにチャプタを設定することができる。そのため、視聴者はニュース番組の再生画面において文字等の表示領域が強調されたサムネイルを選択することにより、メインシーンを再生させることができる。従って、メインシーンのみを容易に再生させることができる。
【００８１】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態２では録画再生装置の処理について説明したが、映像コンテンツ配信サーバでも同様の処理が実行できる。このサーバは、サムネイルを生成後、視聴者端末からの要求に応じて、サムネイル情報を付した映像コンテンツを視聴者端末に配信する。視聴者端末では、映像コンテンツ閲覧の際にサムネイルを視認することができるため、映像コンテンツ内の所望のシーンを早く検索することができる。
【００８２】
実施の形態２では、映像コンテンツの具体例としてニュース番組を取り上げている。しかしながら、映像コンテンツの具体例は、トークショーやバラエティショーといったような、特定の人物（例えば司会者）が所定の時間毎に別のトピックを提示するような番組であってもよい。この場合でも、特定の人物が映るシーンで表示される字幕テロップやロゴ等を示す映像は、現在取り上げる内容の概略（トピック）を示すものであると考えられる。そのような字幕テロップやロゴ等を示す映像が含まれる画像をサムネイルにすることで、視聴者は、サムネイル閲覧の段階でニュースのトピックを理解することができる。
【００８３】
シーン判定／チャプタ設定部２３は、特徴量記憶部２２に記憶された特徴量を用いずに、シーン判定を行ってもよい。例えば、シーン判定／チャプタ設定部２３は、ニュース番組を解析して、そのニュース番組に所定の頻度又は所定の時間登場する人物をニュースキャスターと判定し、そのニュースキャスターの顔情報が現れるニュース番組中のシーンをメインシーンと判定してもよい。又は、シーン判定／チャプタ設定部２３は、ニュース番組を解析して、そのニュース番組に所定の頻度又は所定の時間登場する構図情報又は背景情報を識別し、その構図情報又は背景情報が現れるニュース番組中のシーンをメインシーンと判定してもよい。
【００８４】
シーン判定／チャプタ設定部２３におけるチャプタの設定は、ニュース番組中のシーンがメインシーンか否かの判定結果に基づいて実行された。しかしながら、チャプタの設定は、ニュース番組中のシーンがメインシーンか否かの判定とは独立に実行されていてもよい。ただし、実施の形態２に記載した通り、シーン判定において識別したメインシーンとそれ以外のシーンとが分割するようにチャプタを設定することで、視聴者にメインシーンのみを容易に再生させることができる。
【００８５】
実施の形態２において、文字等の表示領域についての加工処理（拡大処理又は輝度を上げる処理の少なくともいずれかの処理）と、文字等の表示領域以外の加工処理（領域の透明度、明度又は輝度の少なくともいずれかを下げる処理）は、そのいずれかのみが実行されてもよいし、両方が実行されてもよい。
【００８６】
サムネイル生成部２４は、サムネイル生成対象となるチャプタにメインシーンが含まれない場合、チャプタにおける非メインシーンの中から人物の顔が表示された画像を抽出する。ここで、サムネイル生成部２４は、抽出した画像中においてその人物の顔が表示された領域が強調して表示されるように画像を加工処理し、加工処理後の画像を縮小することにより、サムネイル生成対象となるチャプタのサムネイルを生成してもよい。
【００８７】
上述の通り、非メインシーンは、ニュース番組における録画映像や中継映像等のシーンであると推定される。ここで、サムネイル生成部２４は、非メインシーンに登場する人物の顔を強調させたサムネイルを生成することにより、視聴者は、生成されたサムネイルを視認するだけで、非メインシーンのトピックに関連する人物が誰であるかを明確に理解することができる。そのため、視聴者は、サムネイルを見た段階で、非メインシーンの内容を推定することができる。
【００８８】
例えば、サムネイル生成部２４は、人物の顔が表示された領域（顔領域）を拡大した画像、又は顔領域の輝度を上げた画像を生成し、その画像を縮小することで、非メインシーンに登場する人物の顔を強調させたサムネイルを生成してもよい。また、サムネイル生成部２４は、顔領域以外の領域の透明度、輝度又は明度の少なくともいずれかを下げた加工処理を行った画像を生成し、加工処理後の画像を縮小することにより、サムネイル生成対象となるチャプタのサムネイルを生成してもよい。なお、顔領域の拡大又は輝度を上げる処理は、その両方が実行されてもよい。また、顔領域の拡大処理と顔領域以外の領域の透明度、輝度又は明度の少なくともいずれかを下げる処理は、そのいずれかのみが実行されてもよいし、その両方が実行されてもよい。
【００８９】
以上の処理を、具体例を示して説明する。図９Ａは、非メインシーンにおいて人物の顔が表示されている画像の一例である。サムネイル生成部２４は、この画像Ｐ５の人物の顔領域Ｆ１を抽出し、抽出した顔領域Ｆ１を縦方向及び横方向に拡大して、原画像に重畳する。さらに、サムネイル生成部２４は、拡大された顔領域Ｆ１（顔領域Ｆ１’）以外の領域に半透明のフィルタをかける処理を実行する。
【００９０】
図９Ｂは、加工処理後の画像Ｐ６を示している。画像Ｐ６において、顔領域Ｆ１’は強調されて見やすくなっている。この画像Ｐ６を縮小することにより、サムネイル生成部２４はサムネイルを生成する。
【００９１】
サムネイル生成部２４は、画像の一部領域について加工処理を行ってサムネイルを生成する場合、原画像において加工処理を行った画像を生成し、それを縮小することでサムネイルを生成した。しかしながら、サムネイル生成部２４は、原画像を縮小した後、縮小後の画像の一部領域について加工処理を行ったものをサムネイルに設定してもよい。
【００９２】
実施の形態１及び２で示した装置の処理は、制御方法の１つとして、コンピュータに実行させることができる。例えば、実施の形態１に示した処理のフローを、制御プログラムとして映像コンテンツ処理装置に実行させてもよい。その他の処理フローについても同様にしてコンピュータに実行させることができる。
【００９３】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００９４】
１０  映像コンテンツ処理装置
１１  シーン判定部
１２  サムネイル生成部
２０  録画再生装置
２１  映像コンテンツ記憶部
２２  特徴量記憶部
２３  シーン判定／チャプタ設定部
２４  サムネイル生成部
【図１】
2016119552.tif 000003
【図２】
2016119552.tif 000004
【図３】
2016119552.tif 000005
【図４】
2016119552.tif 000006
【図５Ａ】
2016119552.tif 000007
【図５Ｂ】
2016119552.tif 000008
【図６Ａ】
2016119552.tif 000009
【図６Ｂ】
2016119552.tif 000010
【図７】
2016119552.tif 000011
【図８】
2016119552.tif 000012
【図９Ａ】
2016119552.tif 000013
【図９Ｂ】
2016119552.tif 000014