(57)【要約】【課題】映像コンテンツの内容を効率的に、かつ面白みのある形でユーザに確認させることができるようにする。【解決手段】代表縮小映像コンテンツを生成するとき、はじめに、オリジナルの映像コンテンツを構成する全ての画像を対象として特徴の抽出が行われる。特徴の抽出が行われたとき、その結果に基づいて複数の画像が切り出され、切り出された画像に基づいて、それを再生したときに、特殊効果を施した画像を所定の時間ずつ表示されるような代表縮小映像コンテンツが生成される。代表縮小映像コンテンツを再生して得られた代表縮小映像は、録画済みの映像コンテンツに関する情報の一覧からなるタイトルリストに表示される。本発明は映像コンテンツを扱う機器に適用することができる。【選択図】図３
2008147838.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツを構成するそれぞれの画像の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された特徴に基づいて、前記映像コンテンツを構成する画像の中から複数の画像を選択する選択手段と、
前記選択手段により選択されたそれぞれの画像に特殊効果を施す画像処理手段と、
前記映像コンテンツに関する情報として、前記画像処理手段により特殊効果が施されたそれぞれの画像を所定の時間ずつ順次表示させる表示制御手段と
を備える画像処理装置。
【請求項２】
映像コンテンツを記録する記録手段をさらに備え、
前記表示制御手段は、前記記録手段により記録されている映像コンテンツに関する情報の一覧に表示させる情報として、前記画像処理手段により特殊効果が施されたそれぞれの画像を所定の時間ずつ順次表示させる
請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記特徴抽出手段により抽出された特徴に基づいて、前記映像コンテンツを構成する画像を表示順に並べたときにそれぞれ離れた位置にある画像を選択する
請求項１に記載の画像処理装置。
【請求項４】
映像コンテンツを構成するそれぞれの画像の特徴を抽出し、
抽出した特徴に基づいて、前記映像コンテンツを構成する画像の中から複数の画像を選択し、
選択したそれぞれの画像に特殊効果を施し、
前記映像コンテンツに関する情報として、特殊効果を施したそれぞれの画像を所定の時間ずつ順次表示させる
ステップを含む画像処理方法。
【請求項５】
映像コンテンツを構成するそれぞれの画像の特徴を抽出し、
抽出した特徴に基づいて、前記映像コンテンツを構成する画像の中から複数の画像を選択し、
選択したそれぞれの画像に特殊効果を施し、
前記映像コンテンツに関する情報として、特殊効果を施したそれぞれの画像を所定の時間ずつ順次表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、映像コンテンツの内容を効率的に、かつ面白みのある形でユーザに確認させることができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、ハードディスクレコーダなどの録画機器においては、映像コンテンツのタイトルとともに、映像コンテンツの内容を表すサムネイルを提示することによって、録画済みの映像コンテンツの中から再生対象の映像コンテンツをユーザが選択する際の利便性を高めることが行われてきた。サムネイルとして、映像コンテンツを再生したときに表示される１フレームの画像を縮小して得られた画像（静止画）が用いられている。
【０００３】
特許文献１には、各クリップを構成する複数時点のサムネイルをストーリーボード・ウィンドウに表示することにより、ストーリーボード・ウィンドウ上で、プログラム全体のストーリーだけでなく、各クリップ内のストーリーをもユーザが容易に確認することができるようにした技術が開示されている。
【特許文献１】特開２００５−３５４６６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、サムネイルとして表示される画像は、映像コンテンツを構成する膨大な画像の中のわずか１フレームの画像であり、また、その１フレームの画像の選択も、映像コンテンツの先頭のものを選択するなどの簡易なアルゴリズムに従って行われるのが一般的であるため、必ずしも、表示されるサムネイルが映像コンテンツの内容を適切に表すものであるとは限らない。
【０００５】
例えば、連続ドラマなどの同じ番組をユーザが毎週録画していた場合、異なる放送回のものであるにもかかわらず、それらの録画済みのドラマの情報として、ドラマのタイトル画面を縮小した画像などがサムネイルとして常に表示されることがある。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、映像コンテンツの内容を効率的に、かつ面白みのある形でユーザに確認させることができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の画像処理装置は、映像コンテンツを構成するそれぞれの画像の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された特徴に基づいて、前記映像コンテンツを構成する画像の中から複数の画像を選択する選択手段と、前記選択手段により選択されたそれぞれの画像に特殊効果を施す画像処理手段と、前記映像コンテンツに関する情報として、前記画像処理手段により特殊効果が施されたそれぞれの画像を所定の時間ずつ順次表示させる表示制御手段とを備える。
【０００８】
映像コンテンツを記録する記録手段をさらに設けることができる。この場合、前記表示制御手段には、前記記録手段により記録されている映像コンテンツに関する情報の一覧に表示させる情報として、前記画像処理手段により特殊効果が施されたそれぞれの画像を所定の時間ずつ順次表示させることができる。
【０００９】
前記選択手段には、前記特徴抽出手段により抽出された特徴に基づいて、前記映像コンテンツを構成する画像を表示順に並べたときにそれぞれ離れた位置にある画像を選択させることができる。
【００１０】
本発明の一側面の画像処理方法またはプログラムは、映像コンテンツを構成するそれぞれの画像の特徴を抽出し、抽出した特徴に基づいて、前記映像コンテンツを構成する画像の中から複数の画像を選択し、選択したそれぞれの画像に特殊効果を施し、前記映像コンテンツに関する情報として、特殊効果を施したそれぞれの画像を所定の時間ずつ順次表示させるステップを含む。
【００１１】
本発明の一側面においては、映像コンテンツを構成するそれぞれの画像の特徴が抽出され、抽出された特徴に基づいて、前記映像コンテンツを構成する画像の中から複数の画像が選択される。また、選択されたそれぞれの画像に特殊効果が施され、前記映像コンテンツに関する情報として、特殊効果が施されたそれぞれの画像が所定の時間ずつ順次表示される。
【発明の効果】
【００１２】
本発明の一側面によれば、映像コンテンツの内容を効率的に、かつ面白みのある形でユーザに確認させることができる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００１４】
本発明の一側面の画像処理装置（例えば、図１の画像処理装置１）は、映像コンテンツを構成するそれぞれの画像の特徴を抽出する特徴抽出手段（例えば、図５の特徴抽出部６３）と、前記特徴抽出手段により抽出された特徴に基づいて、前記映像コンテンツを構成する画像の中から複数の画像を選択する選択手段（例えば、図５の画像切り出し部６６）と、前記選択手段により選択されたそれぞれの画像に特殊効果を施す画像処理手段（例えば、図５の特殊効果演算部７０）と、前記映像コンテンツに関する情報として、前記画像処理手段により特殊効果が施されたそれぞれの画像を所定の時間ずつ順次表示させる表示制御手段（例えば、図５の代表縮小映像コンテンツ再生部７３）とを備える。
【００１５】
この画像処理装置には、映像コンテンツを記録する記録手段（例えば、図５の映像コンテンツ記録部６４）をさらに設けることができる。
【００１６】
本発明の一側面の画像処理方法またはプログラムは、映像コンテンツを構成するそれぞれの画像の特徴を抽出し、抽出した特徴に基づいて、前記映像コンテンツを構成する画像の中から複数の画像を選択し、選択したそれぞれの画像に特殊効果を施し、前記映像コンテンツに関する情報として、特殊効果を施したそれぞれの画像を所定の時間ずつ順次表示させるステップ（例えば、図７のステップＳ２２）を含む。
【００１７】
以下、本発明の実施の形態について図を参照して説明する。
【００１８】
図１は、本発明の一実施形態に係る画像処理装置１を示す図である。
【００１９】
図１に示されるように、画像処理装置１にはケーブルを介してテレビジョン受像機２が接続される。画像処理装置１は、ハードディスクなどの記録媒体を内蔵しており、デジタルテレビジョン放送、あるいはインターネットを介した放送によって提供される番組などの映像コンテンツをハードディスクに記録（録画）する。すなわち、画像処理装置１には、アンテナからの信号などが供給されるようになされている。画像処理装置１は、リモートコントローラなどを用いて行われるユーザの操作に応じて録画済みの映像コンテンツを再生し、番組の映像や音声をテレビジョン受像機２から出力させる。
【００２０】
再生の対象とする映像コンテンツは、画像処理装置１により表示されるタイトルリストからユーザによって選択される。タイトルリストは、画像処理装置１に記録されている映像コンテンツに関する情報の一覧であり、画像処理装置１の各種の機能を一元管理するメニュー画面から表示させることが可能とされる。
【００２１】
図２は、メニュー画面とタイトルリストの例を示す図である。
【００２２】
図２に示されるように、メニュー画面には、それぞれの機能を表すアイコンであるアイコン１１乃至１７が横方向に配列して表示される。
【００２３】
アイコン１１乃至１７は、ユーザによる左右方向の操作に応じて、その全体がまとめて移動して表示される。ユーザが左ボタンを１回だけ押した場合、アイコン１１乃至１７はそれぞれ１つのアイコン分だけ右方向に移動して表示され、反対に右ボタンを１回だけ押した場合、アイコン１１乃至１７はそれぞれ１つのアイコン分だけ左方向に移動して表示される。アイコン１１乃至１７の表示位置の移動に伴い、表示範囲から外れることになったアイコンは消え、新たに表示範囲に入ることになったアイコンは表示される。
【００２４】
また、アイコン１１乃至１７の表示位置が移動することに応じて、図２のアイコン１３の表示位置に新たに表示されるようになったアイコンにより表される機能が注目される機能になるように、注目する機能も切り替えられる。
【００２５】
アイコン１１は、各種の設定を行うときに選択される「設定」の機能を表し、アイコン１２は、音楽の再生を行うときに選択される「ミュージック」の機能を表し、アイコン１３は、録画済みの映像コンテンツの再生などを行うときに選択される「ビデオ」の機能を表す。
【００２６】
アイコン１４は「地上波デジタルテレビジョン放送」の機能を表し、アイコン１５は「BS(Broadcasting Satellite)デジタルテレビジョン放送」の機能を表す。アイコン１６は「CS(Communications Satellite)デジタルテレビジョン放送」の機能を表し、アイコン１７は、画像処理装置１に接続された外部機器の設定や操作を行うときに選択される「外部機器」の機能を表す。
【００２７】
図２の例においては、「設定」、「ミュージック」、「ビデオ」、「地上波デジタルテレビジョン放送」、「BSデジタルテレビジョン放送」、「CSデジタルテレビジョン放送」、「外部機器」の機能の中から「ビデオ」の機能がユーザにより注目された状態とされており、タイトルリストが表示されている。「ビデオ」の機能を表すアイコン１３は他のアイコンと異なる色によって表示される。
【００２８】
図２のタイトルリストにおいては、録画済みのそれぞれの映像コンテンツの内容を表すサムネイル２１乃至２７が、いま注目されている「ビデオ」を表すアイコン１３の位置を基準に縦方向に配列して表示されている。サムネイル２１とサムネイル２２はアイコン１３の上方に表示され、サムネイル２３乃至２７はアイコン１３の下方に表示されている。表示範囲から一部外れていることから、サムネイル２７はその一部だけが表示されている。録画済みの映像コンテンツの全てについてこのようなサムネイルが用意されており、ユーザは、表示させるサムネイルを切り替えることができる。
【００２９】
また、図２のタイトルリストにおいては、サムネイル２１乃至２７のうちのカーソルＣによって囲まれて表示されているサムネイル２３の右隣にだけ、サムネイル２３により内容が表される映像コンテンツのタイトル、放送日時、再生時間、チャンネル番号などの情報も表示されている。
【００３０】
サムネイル２１乃至２７は、ユーザによる上下方向の操作に応じて、その全体がまとめて移動して表示される。ユーザが上ボタンを１回だけ押した場合、サムネイル２１乃至２７はそれぞれ１つのサムネイル分だけ下方向に移動して表示され、反対に下ボタンを１回だけ押した場合、サムネイル２１乃至２７はそれぞれ１つのサムネイル分だけ上方向に移動して表示される。サムネイル２１乃至２７の表示位置の移動に伴い、表示範囲から外れることになったサムネイルは消え、新たに表示範囲に入ることになったサムネイルは表示される。
【００３１】
カーソルＣの位置は固定であり、サムネイルの表示位置が移動することに応じて、カーソルＣによって囲まれて表示されるようになったサムネイルの右隣には、そのサムネイルにより内容が表される映像コンテンツのタイトル、放送日時、再生時間、チャンネル番号などの情報が表示される。
【００３２】
なお、「設定」、「ミュージック」などの他の機能が注目されているときも同様に、注目されている機能を表すアイコンの位置を基準として、その機能に属するコンテンツを表す情報が縦方向に並べて表示される。
【００３３】
画像処理装置１においては、このようにしてタイトルリストに表示されるサムネイルは、録画済みのオリジナルの映像コンテンツから切り出された複数フレームの静止画に基づいて生成された映像（動画）とされており、時間の経過に伴って、その表示内容が変化する。タイトルリストに表示されるサムネイルを構成する画像の切り出しは、オリジナルの映像コンテンツを構成する画像の特徴の抽出結果に基づいて行われる。
【００３４】
以下、適宜、サムネイルを表示するのに用いられるコンテンツを、オリジナルの映像コンテンツから切り出された代表の画像を縮小した画像から構成される映像コンテンツという意味で「代表縮小映像コンテンツ」という。「代表縮小映像コンテンツ」が再生されることによってタイトルリストにサムネイルとして表示される映像は「代表縮小映像」となる。
【００３５】
図３は、代表縮小映像コンテンツの生成の例を示す図である。
【００３６】
図３の上方に示される画像Ｐ1乃至Ｐ5は、録画済みの１つの映像コンテンツを構成する５フレームの静止画である。録画されたオリジナルの状態のまま映像コンテンツを再生したとき、画像Ｐ1乃至Ｐ5が３０フレーム／秒などの所定のフレームレートで順に表示される。図３の横軸は時間軸を表す。
【００３７】
図３の例においては、画像Ｐ1乃至Ｐ5には人の顔が写っており、オリジナルの映像コンテンツが再生されることによって、ユーザは人の顔が右方向に移動していくような映像を見ることになる。
【００３８】
代表縮小映像コンテンツを生成するとき、はじめに、オリジナルの映像コンテンツを構成する全ての画像を対象として特徴の抽出が行われる。画像の特徴だけでなく、音声の特徴を抽出することが行われるようにしてもよい。
【００３９】
特徴の抽出が行われたとき、その結果に基づいて複数の画像が切り出される。抽出される特徴の内容と、特徴に基づく画像の切り出しについては後述する。図３の例においては、画像Ｐ1乃至Ｐ5のうちの画像Ｐ1と画像Ｐ5が切り出されている。画像の切り出しは、例えば、このように表示順で並べたときにそれぞれ離れた位置にある画像が切り出されるようにして行われる。
【００４０】
代表縮小映像コンテンツは、画像をそのまま一定時間間隔で順に表示するようなものではなく、特殊効果を施した画像を所定の時間ずつ表示するようなものとされる。
【００４１】
図３の例においては、オリジナルの映像コンテンツから切り出された画像Ｐ1が特殊効果が施された形で時刻ｔ1から時刻ｔ2までの時間だけ表示され、画像Ｐ5が特殊効果が施された形で時刻ｔ2から時刻ｔ3までの時間だけ表示されるものになるように、特殊効果が施された画像Ｐ1と画像Ｐ5がつなぎ合わされることによって代表縮小映像コンテンツが生成されている。
【００４２】
図３の下方に示される画像Ｐ1、画像Ｐ5において、斜線が付されている領域は例えば黒色の領域であり、この例においては、斜線が付されていない、人の顔を含む楕円の範囲が徐々に広がっていくような特殊効果が施されている。
【００４３】
時刻ｔ1から時刻ｔ3までの時間が代表縮小映像コンテンツの１回の再生にかかる時間となる。タイトルリストにサムネイルを表示する間、代表縮小映像コンテンツの再生は繰り返される。
【００４４】
このように、代表縮小映像コンテンツは、オリジナルの映像コンテンツと較べて、画枠、時間の両方向に縮小された映像を表示するようなものとして生成される。
【００４５】
代表縮小映像コンテンツを再生して得られた代表縮小映像がサムネイルとして表示されることにより、静止画が表示され続ける場合に較べて提示される情報量を多くすることができ、録画済みの映像コンテンツの内容をユーザに効率的に確認させることができる。
【００４６】
また、そのことを、特殊効果を施すことで面白みのある形で実現することができる。例えば、番組のタイトル画面がサムネイルとして表示され続けていたとしても面白みは少ない。
【００４７】
以上のようにして代表縮小映像コンテンツを生成し、生成した代表縮小映像コンテンツに基づいてサムネイルを表示する画像処理装置１の処理についてはフローチャートを参照して後述する。
【００４８】
図４は、画像処理装置１のハードウエア構成例を示すブロック図である。
【００４９】
CPU(Central Processing Unit)３１は、ROM(Read Only Memory)３２、または記録部３９に記録されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)３３には、CPU３１が実行するプログラムやデータなどが適宜記録される。これらのCPU３１、ROM３２、およびRAM３３は、バス３４により相互に接続されている。
【００５０】
CPU３１にはまた、バス３４を介して入出力インタフェース３５が接続されている。入出力インタフェース３５には、受信部３６、入力部３７、出力部３８、記録部３９、通信部４０、およびドライブ４１が接続されている。
【００５１】
受信部３６は、アンテナ３６Ａからの放送波信号を受信、復調し、MPEG-TS(Moving Picture Experts Group-Transport Stream)を取得する。受信部３６は、録画の対象になっている番組のデータ（番組の映像、音声のデータ）をMPEG-TSから抽出し、抽出したデータを入出力インタフェース３５を介して記録部３９に出力する。
【００５２】
入力部３７は、リモートコントローラからの信号を受信し、ユーザの操作の内容を表す情報を入出力インタフェース３５、バス３４を介してCPU３１に出力する。CPU３１においては、入力部３７から供給される情報に対応して録画済みの映像コンテンツの再生などの各種の処理が行われる。
【００５３】
出力部３８は、CPU３１がソフトウエア的に映像コンテンツをデコードすることによって得られた映像などをテレビジョン受像機２に表示させる。
【００５４】
記録部３９は例えばハードディスクからなり、CPU３１が実行するプログラムや、入出力インタフェース３５を介して受信部３６から供給された映像コンテンツなどの各種のデータを記録する。
【００５５】
通信部４０は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信を行う。インターネットを介して放送された映像コンテンツが通信部４０において受信されるようにしてもよい。
【００５６】
ドライブ４１は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３９に転送され、記録される。
【００５７】
図５は、画像処理装置１の機能構成例を示すブロック図である。図５に示す機能部のうちの少なくとも一部は、図４のCPU３１により所定のプログラムが実行されることによって実現される。
【００５８】
映像コンテンツ取得部６１は、受信部３６を制御して録画の対象とする映像コンテンツを取得し、取得した映像コンテンツを映像コンテンツ符号化部６２と特徴抽出部６３に出力する。
【００５９】
映像コンテンツ符号化部６２は、映像コンテンツ取得部６１から供給された映像コンテンツに対して、所定のフォーマットのデータに変換するなどの処理を必要に応じて施し、得られた映像コンテンツを映像コンテンツ記録部６４に出力する。
【００６０】
特徴抽出部６３は、映像コンテンツ取得部６１から供給された映像コンテンツを構成するそれぞれの画像の特徴を抽出し、抽出結果に基づいて、画像切り出し部６６による画像の切り出し（選択）、画像選別部６７による画像の選別、画像並べ替え部６８による画像の並び替え、特殊効果演算部７０による特殊効果を施す処理を制御する。特徴の抽出は、適宜、音声を対象としても行われる。
【００６１】
例えば、特徴抽出部６３は、画素値の変化に基づいてシーンチェンジの発生を検出し、シーンチェンジの直後の画像を切り出すように画像切り出し部６６を制御したり、シーンチェンジが多く発生する区間を盛り上がりの区間として検出し、盛り上がりの区間に含まれる画像を一定間隔で切り出すように画像切り出し部６６を制御したりする。特徴抽出部６３は、肌色の領域を検出することによって人の顔を検出し、人の顔が写っている画像を切り出すように画像切り出し部６６を制御したりもする。
【００６２】
また、特徴抽出部６３は、オリジナルの映像コンテンツが、ビデオカメラなどを用いてユーザ自身によって撮影されたパーソナルコンテンツである場合、手ぶれの影響が現れている画像を画素値に基づいて検出し、画像切り出し部６６により切り出された画像の中から、そのような画像を除くように画像選別部６７を制御したり、撮影時間の短い区間に含まれる画像を除くように画像選別部６７を制御したりする。特徴抽出部６３は、画像に写っている被写体の内容を判別し、似たような画像が多くならないように画像選別部６７を制御したりもする。
【００６３】
特徴抽出部６３は、オリジナルの映像コンテンツが放送コンテンツである場合、文字認識を行うことによってテロップが表示されている画像を検出し、画像切り出し部６６により切り出された画像の中から、テロップが表示される画像を除くように画像選別部６７を制御したり、シーンチェンジの発生タイミングなどからCM(Commercial Message)区間を検出し、画像切り出し部６６により切り出された画像の中から、CM区間に含まれる画像を除くように画像選別部６７を制御したりもする。オリジナルの映像コンテンツがスポーツ番組である場合、テロップによって試合結果が表示されることがあり、そのようなテロップを含む画像は、番組をまだ見ていないユーザにとってサムネイルとして提示されるのは好ましくないから除かれ、CM区間は映像コンテンツの内容を表さないから除かれる。
【００６４】
特徴抽出部６３は、画像選別部６７により選別された画像を時系列順に並べるように画像並べ替え部６８を制御したり、シーンチェンジの発生回数や音量から求められた盛り上がり度などのある特徴量に注目し、その特徴量が多く抽出された順に画像を並べるように画像並べ替え部６８を制御したりする。
【００６５】
特徴抽出部６３は、顔検出によって検出した人の顔を含む一部の領域だけを表示した後に徐々に画像全体を表示させていくといったように、特殊効果の種別や最初に表示する領域を特徴量に基づいて決定し、そのような特殊効果が施されるように特殊効果演算部７０を制御したり、盛り上がり度の高い区間から切り出された画像が長い時間表示されるように、代表縮小映像コンテンツの１回の再生時間を盛り上がり度の割合に応じてそれぞれの画像に分配し、分配した時間だけ特殊効果が施された画像が表示されるように特殊効果演算部７０を制御したりする。
【００６６】
盛り上がり度が高い画像は代表縮小映像の１フレームに単独で表示され、盛り上がり度が低い画像は代表縮小映像の１フレームに同時に複数フレーム表示されるといったように、画枠（縦×横）や同時に表示される画像の数が特徴量に基づいて制御されるようにしてもよい。
【００６７】
なお、映像コンテンツが放送コンテンツである場合、特徴抽出部６３による特徴の抽出が、EPG(Electronic Program Guide)データから判断される番組のジャンルなども考慮して行われるようにしてもよい。
【００６８】
例えば、映像コンテンツのジャンルが「スポーツ」である場合には、音量が大きく、周波数成分がノイズに近いような音と同時に表示される画像の区間が盛り上がり度が高い区間として抽出される。盛り上がり度が高いとして抽出された区間は、番組が野球中継である場合、ホームランのシーンであると認識される確率が他の区間より高くなり、サッカー番組である場合、ゴールシーンであると認識される確率が他の区間より高くなる。また、番組がゴルフ番組である場合、ショットのシーンであると認識される確率が他の区間より高くなる。
【００６９】
映像コンテンツ記録部６４は、映像コンテンツ符号化部６２から供給された映像コンテンツを記録する。映像コンテンツ記録部６４に記録された映像コンテンツは、適宜、映像コンテンツ再生部６５、画像切り出し部６６により読み出される。
【００７０】
映像コンテンツ再生部６５は、ユーザによって再生が指示された録画済みの映像コンテンツを映像コンテンツ記録部６４から読み出し、読み出した映像コンテンツを再生することによって得られた映像信号をGUI(Graphical User Interface)部７４に出力する。例えば、所定の映像コンテンツがユーザによりタイトルリストから選択され、再生が指示されたとき、映像コンテンツ再生部６５に対しては、再生が指示された映像コンテンツに関する情報がユーザ要求受信部７５から供給されてくる。
【００７１】
画像切り出し部６６は、代表縮小映像コンテンツを生成する元となるオリジナルの映像コンテンツを映像コンテンツ記録部６４から読み出し、読み出した映像コンテンツを構成する画像から、所定の画像を所定の数だけ特徴抽出部６３による制御に従って切り出す。画像切り出し部６６は、切り出した画像を画像選別部６７に出力する。
【００７２】
なお、特徴抽出部６３により抽出された特徴に基づくことなく、単に、５秒／１０秒／１５秒／３０秒／１分などの所定の間隔で画像の切り出しが行われるようにしてもよい。この場合、例えば、映像コンテンツの全体の再生時間と代表縮小映像コンテンツの１回の再生時間から切り出し間隔が決定される。
【００７３】
画像選別部６７は、画像切り出し部６６から供給された画像の中から、代表縮小映像コンテンツの生成に実際に用いる画像を特徴抽出部６３による制御に従って選別し、選別した画像を画像並べ替え部６８に出力する。上述したように、テロップが表示されている画像やCM区間から切り出された画像などが画像選別部６７により除かれる。
【００７４】
画像並べ替え部６８は、画像選別部６７から供給された画像を特徴抽出部６３による制御に従って並び替え、それぞれの画像を並び替えた順に画像縮小部６９に出力する。
【００７５】
画像縮小部６９は、画像並べ替え部６８から供給された画像を、それぞれ、サムネイルとして表示するのに適当なサイズの画像に縮小し、縮小して得られた画像を特殊効果演算部７０に出力する。
【００７６】
特殊効果演算部７０は、画像縮小部６９から供給された画像に対して、一部の領域または全体の回転、縮小、拡大、移動などの特殊効果を特徴抽出部６３による制御に従って施し、特殊効果を施して得られたそれぞれの画像を代表縮小映像コンテンツ生成部７１に出力する。
【００７７】
代表縮小映像コンテンツ生成部７１は、特殊効果演算部７０により特殊効果が施された画像を、連続して表示されるように順につなぎ合わせることによって代表縮小映像コンテンツを生成し、生成した代表縮小映像コンテンツを代表縮小映像コンテンツ記録部７２に出力する。
【００７８】
代表縮小映像コンテンツ記録部７２は、代表縮小映像コンテンツ生成部７１から供給された代表縮小映像コンテンツを記録する。代表縮小映像コンテンツ記録部７２に記録された代表縮小映像コンテンツは、タイトルリストを表示するとき、代表縮小映像コンテンツ再生部７３により読み出される。
【００７９】
代表縮小映像コンテンツ再生部７３は、タイトルリストに代表縮小映像を表示するのに用いる代表縮小映像コンテンツを代表縮小映像コンテンツ記録部７２から読み出し、読み出した代表縮小映像コンテンツを再生することによって得られた映像信号をGUI部７４に出力する。代表縮小映像コンテンツ再生部７３に対しては、例えば、ユーザによってタイトルリストの表示が指示されたことを表す情報がユーザ要求受信部７５から供給されてくる。代表縮小映像コンテンツ再生部７３においては、複数の代表縮小映像コンテンツの再生が同時に行われる。
【００８０】
GUI部７４は、図２に示されるようなメニュー画面をテレビジョン受像機２に表示し、ユーザ要求受信部７５から供給された情報によって表されるユーザの操作の内容に応じてタイトルリストを表示させたりする。タイトルリストを表示させるとき、GUI部７４は、代表縮小映像コンテンツ再生部７３から供給された映像信号に基づいて代表縮小映像を並べて表示させるとともに、カーソルＣによって代表縮小映像が囲まれている映像コンテンツのタイトルなどを表示させる。映像コンテンツのタイトルなどの情報は、例えば代表縮小映像コンテンツと対応付けて記録されており、それがGUI部７４に供給される。
【００８１】
また、GUI部７４は、映像コンテンツの再生が指示されたときに映像コンテンツ再生部６５から供給される映像信号に基づいて、映像コンテンツの映像をテレビジョン受像機２に表示させる。
【００８２】
ユーザ要求受信部７５は、リモートコントローラなどを用いて行われるユーザの操作を受信し、受信したユーザの操作の内容を表す情報を映像コンテンツ再生部６５、代表縮小映像コンテンツ再生部７３、GUI部７４に出力する。
【００８３】
次に、以上のような構成を有する画像処理装置１の処理について説明する。
【００８４】
はじめに、図６のフローチャートを参照して、代表縮小映像コンテンツを生成する画像処理装置１の処理について説明する。
【００８５】
ステップＳ１において、映像コンテンツ取得部６１は、録画の対象とする映像コンテンツを取得し、取得した映像コンテンツを映像コンテンツ符号化部６２と特徴抽出部６３に出力する。映像コンテンツ符号化部６２に供給された映像コンテンツは、変換処理などが必要に応じて施された後、映像コンテンツ記録部６４に記録される。
【００８６】
ステップＳ２において、特徴抽出部６３は、映像コンテンツ取得部６１から供給された映像コンテンツを構成するそれぞれの画像の特徴を抽出する。
【００８７】
ステップＳ３において、特徴抽出部６３は、特徴の抽出結果に基づいて、切り出しの対象とする画像の位置を決定する。上述したように、例えばシーンチェンジが検出された直後の位置などが、切り出しの対象とする画像の位置として決定される。
【００８８】
ステップＳ４において、特徴抽出部６３は、画像切り出し部６６を制御して画像の切り出しを行う。画像切り出し部６６においては、代表縮小映像コンテンツを生成する元となるオリジナルの映像コンテンツが映像コンテンツ記録部６４から読み出され、読み出された映像コンテンツを構成する画像の中から、特徴抽出部６３により指定された位置の画像が切り出される。画像切り出し部６６により切り出された画像は画像選別部６７に出力される。
【００８９】
ステップＳ５において、特徴抽出部６３は画像の選別を行うか否かを判定する。ここでは、例えば、特徴の抽出結果に基づいて、画像切り出し部６６に切り出させた画像の中に手ぶれの影響が現れている画像が含まれていると判断した場合、または、画像切り出し部６６に切り出させた画像の中にCM区間の画像が含まれていると判断した場合、選別を行うものとして判定される。
【００９０】
ステップＳ５において画像の選別を行うと判定した場合、特徴抽出部６３は、ステップＳ６において、画像選別部６７を制御し、画像切り出し部６６により切り出された画像から、代表縮小映像コンテンツの生成に実際に用いる画像を選別する。画像選別部６７により選別された画像は画像並べ替え部６８に出力される。一方、ステップＳ５において画像の選別を行わないと判定された場合、ステップＳ６の処理はスキップされる。
【００９１】
ステップＳ７において、特徴抽出部６３は、画像の提示順序を決定し、画像並べ替え部６８を制御して、画像選別部６７から画像並べ替え部６８に供給された画像を並び替える。順番が並び替えられた画像は画像縮小部６９に出力される。
【００９２】
ステップＳ８において、画像縮小部６９は、画像並べ替え部６８から供給された画像を、サムネイルとして表示するのに適当なサイズの画像に縮小し、縮小して得られた画像を特殊効果演算部７０に出力する。
【００９３】
ステップＳ９において、特徴抽出部６３は、施す特殊効果の内容が画像毎に異なるか否かを判定する。例えば、特徴抽出部６３は、特徴と特殊効果の内容とを複数パターン対応付けて管理しており、代表縮小映像コンテンツを生成する元になる画像として選別されたある画像と、他の画像の特徴が大きく異なる場合、施す特殊効果の内容が画像毎に異なるとして判定する。
【００９４】
ステップＳ９において特殊効果の内容が画像毎に異なると判定した場合、ステップＳ１０において、特徴抽出部６３は、画像毎に、施す特殊効果の内容を決定する。一方、ステップＳ９において特殊効果の内容が画像毎に異ならないと判定された場合、ステップＳ１０の処理はスキップされる。
【００９５】
ステップＳ１１において、特徴抽出部６３は、特殊効果演算部７０を制御し、画像縮小部６９から特殊効果演算部７０に供給された画像に対して特殊効果を施す。特殊効果を施して得られた画像は代表縮小映像コンテンツ生成部７１に出力される。
【００９６】
ステップＳ１２において、代表縮小映像コンテンツ生成部７１は、特殊効果演算部７０により特殊効果が施された画像を順につなぎ合わせることによって代表縮小映像コンテンツを生成し、生成した代表縮小映像コンテンツを代表縮小映像コンテンツ記録部７２に出力する。
【００９７】
ステップＳ１３において、代表縮小映像コンテンツ記録部７２は、代表縮小映像コンテンツ生成部７１から供給された代表縮小映像コンテンツを記録し、処理を終了させる。
【００９８】
映像コンテンツが取得される毎に以上の処理が繰り返されることにより、代表縮小映像コンテンツ記録部７２には、録画済みの映像コンテンツの全てについて、代表縮小映像を表示するために用いられる代表縮小映像コンテンツが用意されることになる。
【００９９】
次に、図７のフローチャートを参照して、代表縮小映像を表示する画像処理装置１の処理について説明する。この処理は、例えば、メニュー画面が表示されている状態で「ビデオ」の機能を選択する操作がユーザにより入力されたときに開始される。
【０１００】
ステップＳ２１において、ユーザ要求受信部７５は、ユーザによる操作を代表縮小映像の表示要求として受信し、タイトルリストの表示が指示されたことを表す情報を代表縮小映像コンテンツ再生部７３に出力する。
【０１０１】
ステップＳ２２において、代表縮小映像コンテンツ再生部７３は、代表縮小映像コンテンツを代表縮小映像コンテンツ記録部７２から読み出し、読み出した代表縮小映像コンテンツを再生する。代表縮小映像コンテンツが再生されることによって得られた映像信号はGUI部７４に出力され、その映像信号に基づいて、代表縮小映像がGUI部７４により表示される。
【０１０２】
これにより、図２に示されるようなタイトルリストが表示された状態になる。ユーザは、代表縮小映像の表示を見て、再生対象とする映像コンテンツを選択することができる。再生対象とする映像コンテンツが選択されたとき、ユーザ要求受信部７５においてはその要求が受信され、再生が要求された映像コンテンツに関する情報が映像コンテンツ再生部６５に出力される。
【０１０３】
ステップＳ２３において、映像コンテンツ再生部６５は、再生する映像コンテンツを映像コンテンツ記録部６４から読み出し、読み出した映像コンテンツの再生を開始する。映像コンテンツが再生されることによって得られた映像信号はGUI部７４に出力され、GUI部７４により、映像コンテンツの映像がメニュー画面に代えてテレビジョン受像機２に表示される。
【０１０４】
以上の処理により、オリジナルの映像コンテンツから切り出された１フレームの画像を縮小したものがサムネイルとして表示され続ける場合に較べて、一定の時間内に、内容の濃い情報をユーザに提供することができる。
【０１０５】
すなわち、録画済みの映像コンテンツのうち、盛り上がっているシーンから切り出された複数の画像から構成される映像を見ることができ、ユーザは、オリジナルの映像コンテンツを試しに再生してみることなく、代表縮小映像だけから、映像コンテンツの大まかな内容を手早く知ることができる。
【０１０６】
また、手ぶれの影響が現れているような画像は代表縮小映像コンテンツの生成に用いられないようにしたり、連続する画像は代表縮小映像コンテンツの生成に用いられないようにしたりしたため、手ぶれの影響が激しく現れている画像が続けて表示されることによりそれを見ているユーザが映像酔いするといったことを防ぐことができる。
【０１０７】
以上においては、代表縮小映像は、図２に示されるようにタイトルリストに表示されるものとしたが、１つの映像コンテンツに関する情報の詳細画面などの他の画面に表示されるようにしてもよい。
【０１０８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１０９】
コンピュータが実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアである図４のリムーバブルメディア４２に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１１０】
そして、プログラムは、リムーバブルメディア４２をドライブ４１に装着することにより、入出力インタフェース３５を介して、記録部３９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０で受信し、記録部３９にインストールすることができる。その他、プログラムは、ROM３２や記録部３９に、あらかじめインストールしておくことができる。
【０１１１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１２】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１１３】
【図１】本発明の一実施形態に係る画像処理装置を示す図である。
【図２】メニュー画面とタイトルリストの例を示す図である。
【図３】代表縮小映像コンテンツの生成の例を示す図である。
【図４】画像処理装置のハードウエア構成例を示すブロック図である。
【図５】画像処理装置の機能構成例を示すブロック図である。
【図６】画像処理装置の代表縮小映像コンテンツ生成処理について説明するフローチャートである。
【図７】画像処理装置の代表縮小映像表示処理について説明するフローチャートである。
【符号の説明】
【０１１４】
１  画像処理装置，  ２  テレビジョン受像機，  ６３  特徴抽出部，  ６６  画像切り出し部，  ６７  画像選別部，  ６８  画像並べ替え部，  ６９  画像縮小部，  ７０  特殊効果演算部，  ７１  代表縮小映像コンテンツ生成部，  ７２  代表縮小映像コンテンツ記録部，  ７３  代表縮小映像コンテンツ再生部，  ７４  GUI部
【図１】
2008147838.tif 000003
【図２】
2008147838.tif 000004
【図３】
2008147838.tif 000005
【図４】
2008147838.tif 000006
【図５】
2008147838.tif 000007
【図６】
2008147838.tif 000008
【図７】
2008147838.tif 000009